タグ: #llm-serving

← すべての記事

• LLM推論サービング2026 — vLLM、SGLang、TensorRT-LLMの比較

  2026年のLLM推論サービングを一目で整理します。prefillとdecodeの性質の違い、continuous batching、paged KVキャッシュといった核心原理から、vLLM、SGLang、TensorRT-LLMの強み弱みの比較と選択ガイド、実際のデプロイ設定まで、開発者の視点で扱います。

  2026-06-26 · 26 分で読めます #llm-serving#vllm#sglang#tensorrt-llm#inference

• マルチモーダルLLMのサービング — 画像入力が生む新たな課題

  テキスト専用LLMサービングとの違いから、ビジョンエンコーダの追加段階、可変のビジュアルトークン数、プリフィルコストの急増、マルチモーダルKVキャッシュとバッチングの難しさ、遅延分解とスループット最適化、コストと運用の落とし穴まで、マルチモーダルLLMサービングの実務を整理します。

  2026-06-26 · 24 分で読めます #mlops#multimodal#llm-serving#vllm#kv-cache

• 推論を速く — Speculative Decodingとスループット最適化

  LLMのdecodeが遅い根本的な理由から、speculative decodingで速度を引き上げる原理、MedusaやEAGLEのような変種、chunked prefillとprefill/decodeの分離、遅延とスループットのトレードオフ、そしてTTFTやTPOTのような測定指標まで、推論高速化の核心を整理します。

  2026-06-26 · 23 分で読めます #speculative-decoding#throughput#inference#mlops#latency