タグ: #gpu-memory
GPU・LLM・MLOps・Kubernetes、そしてマインドセット · 1 件
KVキャッシュとPagedAttention — 推論メモリのすべて
LLM推論でメモリを最も消費する張本人であるKVキャッシュを深く掘り下げます。KVキャッシュとは何か、なぜメモリを消費するのか、メモリの計算と断片化の問題、PagedAttentionのブロック管理、prefix共有とKV量子化まで、開発者の視点で整理します。
2026-06-26 · 21 分で読めます #kv-cache#paged-attention#inference#gpu-memory#quantization