标签: #production-stack
用亲手运行、亲手测量的数据来写 Kubernetes、DevOps 与 MLOps · 1 篇
vLLM production-stack · LMCache · llm-d: 引擎前端与 KV 缓存层的代码导览
要将单个 vLLM 引擎构建为 Kubernetes 上的服务，需要前端（路由器·网关）、将 KV 缓存扩展到 GPU 之外的层，以及连接两者的指标。本文将逐个文件、逐行地追踪 production-stack 的 Python 路由器与 Helm Chart、vLLM 的 KV 连接器接口与 LMCache 实现，以及 llm-d 的 EPP（实际代码位于 llm-d-router 仓库）。特别是，我们绘制了一条路径：引擎定义的一行指
2026-10-16 · 40 分钟阅读 #오픈소스#코드 읽기#vLLM#production-stack#LMCache