标签: #NVLink
用亲手运行、亲手测量的数据来写 Kubernetes、DevOps 与 MLOps · 2 篇
GPU硬件与驱动故障诊断
本篇基于NVIDIA官方文档，系统梳理了DCGM指标、XID代码、ECC、NVLink、降频降级（Throttling & PCIe Downgrade）、单个慢速GPU拖慢整体的现象，并将其与Kubernetes的隔离、自动恢复、告警设计结合起来。作者的实验环境仅为消费级GPU，因此没有经历过XID和ECC故障的记录，同时在消费级GPU上通过实测输出展示了指标缺失的现象。
2026-10-07 · 32 分钟阅读 #DCGM#XID#ECC#NVLink#스로틀링使用 RDMA 和 NCCL 解读 GPU 网络：InfiniBand、RoCE 与 Kubernetes 部署
本文梳理了 GPU 服务器内外通信层级与带宽的差异，阐述了 InfiniBand 与 RoCE v2 的区别、GPUDirect RDMA、NCCL 的工作原理与测试方法以及常见故障。最后，总结了 Kubernetes 中使用 RDMA 的组件，并将其与第六篇关于推理所需的 RDMA 场景联系起来。
2026-10-07 · 41 分钟阅读 #RDMA#InfiniBand#RoCE#NCCL#GPUDirect