标签: #ViT

← 全部文章

• 自监督学习 2：MAE —— 遮挡图中四分之三并让其猜测，为什么能学得好

  正如文中的完形填空（BERT）培育了语言模型一样，在图像中，遮挡部分碎片并让其猜测也能学到很好的特征。本文解释了为什么 MAE 让 BERT 的 15% 变成 75%（图像比文字包含多得多的冗余），仅将可见碎片输入编码器以将计算量减少 3 倍以上的非对称结构，以及仅在被遮挡碎片上衡量的像素损失。在一个 16 块的玩具图像中，将遮挡比例改为 25–90% 并亲自进行训练后，对于玩具而言 75% 并不是最优的。这个原因直接展示了 MAE 的

  2026-10-17 · 11 分钟阅读 #비전 모델#자기지도 학습#MAE#BEiT#마스킹

• Vision Transformer: 将图像读作 16×16 图块的句子，以及为什么需要大量数据

  我们来看看 ViT（2021）的原理，它用原本用于阅读句子的 Transformer 来阅读图像。它将图像切割成 16×16 的图块并像单词一样排列，通过自注意力机制观察所有图块对之间的关系。「切割图块并进行线性变换」与步幅为 16 的卷积完全相同，如果没有位置嵌入，模型将完全不知道图块的顺序，当分辨率增加 2 倍时，注意力开销会变成 16 倍，我们通过 numpy 验证了这些。由于放弃了卷积通过结构赋予的「邻近项互相关联」的假设，它仅

  2026-10-17 · 13 分钟阅读 #비전 모델#ViT#트랜스포머#셀프 어텐션#위치 임베딩