标签: #학습률

← 全部文章

• 损失函数与训练技巧：交叉熵、focal loss、热图损失、数据增强、学习率调度、混合精度

  本文总结了决定模型“判定什么算做得好”的损失函数，以及让训练更快更稳定的各种技巧。通过具体的数值计算展示了 focal loss 如何解决交叉熵在简单背景的 10 万个网格中被淹没的问题（CE 中的物体份额 5.3% → focal 96.5%，直接计算），并确认了热图损失（MSE 与减分较少的 focal）、数据增强（AlexNet·U-Net·mixup）、热身 + 余弦学习率、大批次线性缩放规则，以及半精度下小梯度归零现象和损失缩

  2026-10-17 · 14 分钟阅读 #비전 모델#손실 함수#focal loss#데이터 증강#학습률