标签: #KServe
用亲手运行、亲手测量的数据来写 Kubernetes、DevOps 与 MLOps · 1 篇
使用 Kubernetes CRD 与 Operator 自动化部署 LLM 推理服务
LLM 推理服务的扩展单位不是单个 Pod，而是 Pod 组，因此很难仅用 Deployment 来表达，这类服务由 LeaderWorkerSet、KServe、Dynamo 等 CRD 与 Operator 来处理。本文通过官方文档和当前 Schema，确认了调谐循环、所有者引用与 Finalizer、CRD 版本管理、滚动更新、与 Argo CD 的冲突，并结合在隔离的实验环境中验证的行为作为依据进行撰写。
2026-10-08 · 48 分钟阅读 #쿠버네티스#CRD#오퍼레이터#LeaderWorkerSet#KServe