标签: #BEiT

← 全部文章

• 自监督学习 2：MAE —— 遮挡图中四分之三并让其猜测，为什么能学得好

  正如文中的完形填空（BERT）培育了语言模型一样，在图像中，遮挡部分碎片并让其猜测也能学到很好的特征。本文解释了为什么 MAE 让 BERT 的 15% 变成 75%（图像比文字包含多得多的冗余），仅将可见碎片输入编码器以将计算量减少 3 倍以上的非对称结构，以及仅在被遮挡碎片上衡量的像素损失。在一个 16 块的玩具图像中，将遮挡比例改为 25–90% 并亲自进行训练后，对于玩具而言 75% 并不是最优的。这个原因直接展示了 MAE 的

  2026-10-17 · 11 分钟阅读 #비전 모델#자기지도 학습#MAE#BEiT#마스킹