标签: #온도

← 全部文章

• 知识蒸馏：将大模型学到的知识转移给小模型——以及“录像版教师 → 实时学生”

  知识蒸馏是一种将大模型（教师）的输出作为小模型（学生）标准答案的训练方法。我们依次来看 Hinton 等人（2015）的想法：教师通过温度调节柔化的概率中包含了“错误答案之间的相似性”信息，如何在损失函数中混合标准答案以及 T² 修正，以及 DeiT、Noisy Student、“耐心教师”、EfficientAT 和 DWPose 的相关数值。接着，我们在一个玩具示例中运行了 TT Score 的计划：“能够看到未来的录像版教师，教导

  2026-10-17 · 17 分钟阅读 #비전 모델#지식 증류#온도#DeiT#Noisy Student