标签: #Kubernetes
用亲手运行、亲手测量的数据来写 Kubernetes、DevOps 与 MLOps · 2 篇
多租户 GPU 调度与容量规划
从默认调度器处理 GPU 方式的局限性出发,梳理 Kueue 与 Volcano 的设计差异、拓扑感知放置、GPU 共享的隔离局限性,以及 DRA 的当前状态。最后,将作者在实验环境中测得的数据作为基准点,展示根据请求率和延迟目标逆算 GPU 数量的方法。
2026-10-08 · 37 分钟阅读 #Kubernetes#GPU#Kueue#Volcano#스케줄링混合 GPU Kubernetes 与 Cilium·Istio 网络
本文总结了将本地(On-Premise)GPU 节点和云端节点绑定为一个或多个集群时的选项、网络路径,以及 Cilium 与 Istio 的分工。重点讨论了大模型(LLM)服务中的长连接与流式响应如何在超时、负载均衡和健康检查中失效。
2026-10-08 · 46 分钟阅读 #Kubernetes#하이브리드클라우드#GPU#Cilium#Istio