タグ: #positional-encoding

← すべての記事

• 位置エンコーディング — RoPE と文脈拡張の代償

  ropetheta 一つが文脈長にどう作用するかを波長の計算で示し、Llama 3 の 500000、Qwen3 の ABF、DeepSeek-V3 と Kimi K2 の YaRN 設定、GLM-4.5 の部分回転を実際の config で比較します。長い文脈がなぜ無料でないのかを、プリフィルの演算量とキャッシュのコストから整理します。

  2026-08-12 · 11 分で読めます #ai-papers#model-internals#rope#positional-encoding#long-context

• 位置エンコーディングの完全理解 — 正弦波からRoPEまで

  なぜTransformerに位置情報が必要かから始め、sinusoidal、learned、相対位置エンコーディング、そしてRoPEとALiBiを段階的に説明します。長さの外挿とコンテキスト拡張(NTK, YaRN)、マルチモーダルのM-RoPEまでつなげ、よくある落とし穴を整理します。

  2026-06-26 · 29 分で読めます #llm#positional-encoding#rope#alibi#long-context

• Transformer構造の完全解剖 — AttentionからKV Cacheまで

  Transformerのself-attention、マルチヘッド、位置エンコーディング、FFN、残差接続と正規化をゼロから分解して説明します。テンソルのshapeとパラメータ数の計算、causal mask、エンコーダ/デコーダ構造、そして推論時のKV cacheまでを一つの流れでつなげます。

  2026-06-26 · 25 分で読めます #llm#transformer#attention#positional-encoding#kv-cache

• LLMコンテキストウィンドウ拡張技術完全ガイド：RoPE、ALiBi、YaRNからRing Attentionまで

  LLMのコンテキストウィンドウを512から2Mトークンまで拡張する技術を分析します。RoPEの数学的原理からNTK-aware、YaRN、Ring Attentionまで、実践コードとともに解説します。

  2026-03-03 · 11 分で読めます #llm#context-window#rope#yarn#positional-encoding