タグ: #llm-d

← すべての記事

• vLLMが削除したメトリック名をドキュメントがまだ参照しているとき：llm-dのドキュメントPRが2時間9分でマージされるまで

  llm-dの3つのドキュメントが、現在のvLLMが出力しなくなったメトリック名を参照していました。ガイドのvllm:gpuprefixcachehitrateはvLLM 0.10で消えたV0エンジンのゲージであり、オートスケーラー設計ドキュメントとDigitalOceanダッシュボードのvllm:timeperoutputtokensecondsは0.11で名前が変更され0.15で削除されたヒストグラムでした。vLLM v0.31.0の

  2026-10-16 · 18 分で読めます #오픈소스#오픈소스 기여#llm-d#vLLM#Prometheus