タグ: #SGLang
Kubernetes・DevOps・MLOps を自分で動かして測った値で書くブログ · 1 件
vLLM と SGLang の比較、そしてベンチマークを正しく行う方法
2つの推論エンジンのプリフィックスキャッシュ構造や設計哲学、機能、ワークロードの形状別の選択基準を比較し、オープンループ負荷、プリフィックスキャッシュの罠、パーセンタイル読み取りを含むベンチマーク方法を公式ツールで確認してまとめます。結果をSLO基準のGPU台数に換算する手順まで扱い、優劣を断定せずに直接測定する方法を紹介します。
2026-10-07 · 40 分で読めます #vLLM#SGLang#RadixAttention#벤치마크#용량 계획