タグ: #트랜스포머

← すべての記事

• Vision Transformer: 画像を16×16のパッチの文章として読む、そしてデータが多く必要な理由

  文章を読んでいたTransformerで画像を読み込むViT（2021年）の原理を見ていきます。画像を16×16のパッチに切り分けて単語のように並べ、自己注意（Self-Attention）であらゆるパッチのペアの関係を見ます。「パッチに切り分けて線形変換する」ことがストライド16の畳み込みと全く同じであること、位置埋め込み（Position Embedding）がなければモデルがパッチの順序を全く分からないこと、解像度を2倍に増やすと

  2026-10-17 · 13 分で読めます #비전 모델#ViT#트랜스포머#셀프 어텐션#위치 임베딩

• DETR: 検出を集合予測へ、ハンガリアンマッチングとアンカーフリー検出

  アンカーやNMSのように人間が決めていた部品をなくし、検出を「ボックスの集合を一度に出力する」ことに再定義したDETR（2020年）を見ていきます。クエリの100個のスロットがそれぞれボックスを1つずつ出力し、学習時は正解と1:1でペアリングされ、ペアのないスロットは「物体なし」を学びます。ペアリングに使うハンガリアンアルゴリズムを自分で実装して順列の全探索と200問題すべてで一致することを確認し、重なった2人の選手の例で「順に最もコス

  2026-10-17 · 12 分で読めます #비전 모델#DETR#트랜스포머#헝가리안 알고리즘#집합 예측