タグ: #관측성
Kubernetes・DevOps・MLOps を自分で動かして測った値で書くブログ · 2 件
vLLMが削除したメトリック名をドキュメントがまだ参照しているとき:llm-dのドキュメントPRが2時間9分でマージされるまで
llm-dの3つのドキュメントが、現在のvLLMが出力しなくなったメトリック名を参照していました。ガイドのvllm:gpuprefixcachehitrateはvLLM 0.10で消えたV0エンジンのゲージであり、オートスケーラー設計ドキュメントとDigitalOceanダッシュボードのvllm:timeperoutputtokensecondsは0.11で名前が変更され0.15で削除されたヒストグラムでした。vLLM v0.31.0の
2026-10-16 · 18 分で読めます #오픈소스#오픈소스 기여#llm-d#vLLM#PrometheusgRPCのデバッグと観測:grpcurl、リフレクション、channelz、そしてメトリクスの罠
gRPCはバイナリであるため、curlで中身を見ることはできません。その代わりに、サーバーが自らスキーマを通知するリフレクション(grpcurlがこれを使用)、標準のヘルスサービス、チャネル・サブチャネル・ソケットの統計情報を取得できるchannelz、そしてメトリクスが窓の役割を果たします。小さなクラスターの指標から2つの罠が見つかりました。kube-apiserver 1.34のetcdクライアント指標であるgrpcclientms
2026-10-16 · 18 分で読めます #gRPC#grpcurl#서버 리플렉션#channelz#Prometheus