タグ: #DeiT

← すべての記事

• 知識蒸留：大きなモデルの知識を小さなモデルに移転する — そして「録画済み教員 → リアルタイム生徒」

  知識蒸留は、大きなモデル（教員）の出力を小さなモデル（生徒）の正解として用いる学習法です。温度により滑らかにした教員の確率に「不正解の間での類似度」という情報が含まれているというHintonら（2015）の考え、正解を損失に混ぜる方法とT²の補正、DeiT・Noisy Student・「忍耐強い教員」・EfficientAT・DWPoseの数値を順に見ていきます。そして、TT Scoreの計画である「未来を見ることができる録画済み教員が

  2026-10-17 · 17 分で読めます #비전 모델#지식 증류#온도#DeiT#Noisy Student

• Vision Transformer: 画像を16×16のパッチの文章として読む、そしてデータが多く必要な理由

  文章を読んでいたTransformerで画像を読み込むViT（2021年）の原理を見ていきます。画像を16×16のパッチに切り分けて単語のように並べ、自己注意（Self-Attention）であらゆるパッチのペアの関係を見ます。「パッチに切り分けて線形変換する」ことがストライド16の畳み込みと全く同じであること、位置埋め込み（Position Embedding）がなければモデルがパッチの順序を全く分からないこと、解像度を2倍に増やすと

  2026-10-17 · 13 分で読めます #비전 모델#ViT#트랜스포머#셀프 어텐션#위치 임베딩