タグ: #self-attention
GPU・LLM・MLOps・Kubernetes、そしてマインドセット · 2 件
Transformer構造の完全解剖 — AttentionからKV Cacheまで
Transformerのself-attention、マルチヘッド、位置エンコーディング、FFN、残差接続と正規化をゼロから分解して説明します。テンソルのshapeとパラメータ数の計算、causal mask、エンコーダ/デコーダ構造、そして推論時のKV cacheまでを一つの流れでつなげます。
2026-06-26 · 25 分で読めます #llm#transformer#attention#positional-encoding#kv-cacheVision Transformer（ViT）論文の徹底分析：1枚の画像は16x16の単語に値する ♪ 聞けます
GoogleのViT論文を深層分析する。画像をパッチシーケンスに変換する革新的アプローチ、Patch EmbeddingとPosition Embeddingの原理、CNN比での性能とデータ効率性のトレードオフ、そしてDeiT、Swin Transformer、BEiTなどの後続研究まで総整理する。
2026-03-01 · 43 分で読めます #vit#vision-transformer#computer-vision#transformer#image-classification