标签: #DeiT

← 全部文章

• 知识蒸馏：将大模型学到的知识转移给小模型——以及“录像版教师 → 实时学生”

  知识蒸馏是一种将大模型（教师）的输出作为小模型（学生）标准答案的训练方法。我们依次来看 Hinton 等人（2015）的想法：教师通过温度调节柔化的概率中包含了“错误答案之间的相似性”信息，如何在损失函数中混合标准答案以及 T² 修正，以及 DeiT、Noisy Student、“耐心教师”、EfficientAT 和 DWPose 的相关数值。接着，我们在一个玩具示例中运行了 TT Score 的计划：“能够看到未来的录像版教师，教导

  2026-10-17 · 17 分钟阅读 #비전 모델#지식 증류#온도#DeiT#Noisy Student

• Vision Transformer: 将图像读作 16×16 图块的句子，以及为什么需要大量数据

  我们来看看 ViT（2021）的原理，它用原本用于阅读句子的 Transformer 来阅读图像。它将图像切割成 16×16 的图块并像单词一样排列，通过自注意力机制观察所有图块对之间的关系。「切割图块并进行线性变换」与步幅为 16 的卷积完全相同，如果没有位置嵌入，模型将完全不知道图块的顺序，当分辨率增加 2 倍时，注意力开销会变成 16 倍，我们通过 numpy 验证了这些。由于放弃了卷积通过结构赋予的「邻近项互相关联」的假设，它仅

  2026-10-17 · 13 分钟阅读 #비전 모델#ViT#트랜스포머#셀프 어텐션#위치 임베딩