タグ: #throughput
GPU・LLM・MLOps・Kubernetes、そしてマインドセット · 2 件
推論を速く — Speculative Decodingとスループット最適化
LLMのdecodeが遅い根本的な理由から、speculative decodingで速度を引き上げる原理、MedusaやEAGLEのような変種、chunked prefillとprefill/decodeの分離、遅延とスループットのトレードオフ、そしてTTFTやTPOTのような測定指標まで、推論高速化の核心を整理します。
2026-06-26 · 23 分で読めます #speculative-decoding#throughput#inference#mlops#latencySpeculative DecodingでLLM推論を2〜3倍高速化：原理から実践実装まで
Speculative Decodingの数学的原理、Draft-Verifyパイプライン、受容確率分析、vLLM/TensorRT-LLMでの実践的な適用方法、そしてAppleのMirror Speculative Decodingまでを深層分析する。
2026-03-02 · 11 分で読めます #llm#speculative-decoding#inference#optimization#vllm