标签: #관측성
用亲手运行、亲手测量的数据来写 Kubernetes、DevOps 与 MLOps · 2 篇
当文档仍在引用 vLLM 已删除的指标名称时:llm-d 文档 PR 在短短 2 小时 9 分钟内成功合并的全过程
llm-d 的三处文档当时仍在引用当前 vLLM 不再导出的指标名称。指南中的 vllm:gpuprefixcachehitrate 是在 vLLM 0.10 中消失的 V0 引擎 Gauge,而自动扩缩器设计文档以及 DigitalOcean 仪表盘中的 vllm:timeperoutputtokenseconds 则是自 0.11 起改名、并在 0.15 中被删除的 Histogram。我们直接拉取了 vllm v0.31.0 的
2026-10-16 · 18 分钟阅读 #오픈소스#오픈소스 기여#llm-d#vLLM#PrometheusgRPC 调试与可观测性:grpcurl、反射、channelz 以及指标陷阱
gRPC 是基于二进制的,因此无法用 curl 直接查看。取而代之的是,服务器自身告知其架构的反射(grpcurl 使用此功能)、标准健康检查服务、统计通道、子通道及套接字的 channelz,以及作为窗口的指标。我们在小型集群的指标中发现了两个陷阱:kube-apiserver 1.34 的 etcd 客户端指标 grpcclientmsgreceivedtotal 在一元调用中统计的不是成功而是失败(Range 132 次 = Ra
2026-10-16 · 18 分钟阅读 #gRPC#grpcurl#서버 리플렉션#channelz#Prometheus