タグ: #MLA

← すべての記事

• KVキャッシュはなぜ必要なのか：再計算を避けるための記憶

  言語モデルはトークンを1つずつ生成し、生成するたびに過去のすべてのトークンを参照します。過去のトークンのK・Vは1度計算すれば変化しないため、保存しておいて再利用します。これがKVキャッシュです。numpy製のおもちゃモデルで測定したところ、512トークンを生成する際にキャッシュがない場合は8.0秒、ある場合は0.49秒であり、両方式の出力は同じでした。その代わり、キャッシュはメモリを消費します。トークン1つのKVは「2 × 層数 ×

  2026-10-13 · 19 分で読めます #KV 캐시#LLM 서빙#트랜스포머#어텐션#GQA