DevOps 博客
基于我们自己运维的 Kubernetes 集群,亲手运行、亲手测量后写成。遇到并修复的故障、逐行读过的源码、并排测量的工具,都以系列的形式连载。
- 系列文章以亲手测得的数字为依据,并写明测量环境与方法。
- 每个主题拆成多篇,可以从头到尾跟着读。
- 许多文章也提供英文、韩文和日文版本。
按系列阅读
- 家用实验室故障笔记共 4 篇 · 从第 1 篇读起公网连接中断的那一天:MetalLB L2 广播四处飘移,最初的对策是让所有人都不要广播
- 基础设施是如何运行的共 3 篇 · 从第 1 篇读起cert-manager 是如何生成和轮换证书的
- k3s·RKE2·k0s 比较共 3 篇 · 从第 1 篇读起k3s·RKE2·k0s 结构对比:控制平面如何启动以及默认包含什么
- 学生虚拟机启动全过程共 6 篇 · 从第 1 篇读起学生虚拟机启动指南 1:从学生、后端、KubeVirt、存储四层看整体架构
- KubeVirt 源码阅读共 8 篇 · 从第 1 篇读起阅读 KubeVirt 源代码 1:仓库地图 —— 从哪里开始读
- 开源架构阅读共 7 篇 · 从第 1 篇读起CloudNativePG 读书笔记:PID 1 的管理器、套接字那头的插件、一条 WAL 的旅程
- gRPC 剖析共 8 篇 · 从第 1 篇读起gRPC 解决的问题与全貌:契约、代码生成、通道、HTTP/2
- LLM KV 缓存剖析共 4 篇 · 从第 1 篇读起为什么需要 KV 缓存:记住之前的内容以避免重复计算
阅读最多
统计最近 30 天从搜索引擎和其他网站链接进入的访问。
最新文章
用亲手运行、亲手测量的数据来写 Kubernetes、DevOps 与 MLOps · 1064 篇
发夹 NAT 实测 1:仅在局域网内打不开我们的域名
如果在路由器后面部署了服务,经常会遇到这样的情况:从外部可以很好地访问域名,但在同一个局域网内却无法访问。如果路由器仅通过端口转发修改目的地址,服务器就会直接响应同一网段的客户端,而等待来自公网地址响应的客户端则会丢弃该响应。发夹 NAT 是指连同源地址一起修改,使响应经由路由器返回的方法,而 NAT 规范(RFC 4787·5382)要求必须支持此功能。本文通过图解剖析了这两种情况,并对比了分离 DNS、hosts 文件、路由器配置以
2026-10-31 · 17 分钟阅读 #네트워크#NAT#헤어핀 NAT#루프백 NAT#DNS发卡式 NAT 实测 2:当 Pod 访问自己的 Service 时
在 Kubernetes 中,如果 Pod 请求与其自身关联的 Service 地址,该请求必须经过 Service 并返回到同一个 Pod。由于这与路由器的发卡(Hairpin)问题形式相同,因此解决方法也一样:同时修改目的地址和源地址。本文结合源码与官方文档,验证了 Linux 网桥的 hairpinmode 以及 kubelet 的 hairpinMode 在 Kubernetes 1.24 之后除了在源码中进行配置验证外不再被实
2026-10-31 · 18 分钟阅读 #쿠버네티스#네트워크#헤어핀 NAT#Service#kube-proxy解除 Tensor Core 限制实测 1:矩阵乘法提速 1.6 倍,实时球体搜寻提速 0.9%
NVIDIA 的消费级显卡以 FP32 累加的 FP16、BF16、TF32 Tensor Core 运算速度只有一半。第三方内核模块 gpu-unlock 会在引导时通过 GPU 安全处理器的引导路径解除此限制。在一台 24GB GPU 服务器上运行后,内核日志中的速度选择寄存器从 0x43301046 变为了 0x88888888,8192³ 矩阵乘法的 BF16 吞吐量从 70.1 提升至 113.0 TFLOPS,达到了 1.6
2026-10-31 · 29 分钟阅读 #GPU#텐서 코어#커널 모듈#프로파일링#PyTorch2026年 LLM 训练研究趋势:优化器、数据、蒸馏与 RL
本文按门类整理了 2026 年下半年的 LLM 训练论文。在预训练方面,Muon 系列正逐渐成为默认优化器;一项扩展定律表明,当网络数据中 AI 生成内容的比例超过 31% 时,数据短缺才会凸显其负面影响;而以小预算从头开始训练的配方(IMU-1、Puro-2B)则采用了 Muon 变体、长衰减调度以及质量课程。在后训练方面,“少做改动”成为了共识:一方面分析指出 RL 仅改变少数决策点,另一方面结果显示同系列 on-policy 蒸馏
2026-10-31 · 14 分钟阅读 #LLM 학습#사전학습#데이터 큐레이션#지식 증류#강화학습强化学习是在筛选吗:用 0.5B 模型重新测量的 GRPO 与 pass@k
强化学习后训练究竟是创造了新能力,还是挑选出了基础模型偶尔能给出的答案?我们在 0.5B 指令模型上用三位数乘法算术直接运行了 GRPO,并测量了 pass@k。通过大量问题训练 75 步后,计算准确率(pass@1)从 0.25 升到了 0.66,但抽样 32 次且至少答对一次的概率从 0.84 降至 0.81,保持基本一致。若将步数增加到 150 步,该上限会降至 0.68,从 k=16 开始,基础模型反而超越了它。如果只看连答案格
2026-10-31 · 24 分钟阅读 #강화학습#GRPO#RLVR#pass@k#LoRA小型 GPT 实测 AdamW 对比 Muon 对比 MUON+
使用 3400 万参数的 GPT 在 1 亿个 FineWeb-Edu 托盘(Token)上进行训练,仅更换优化器进行对比。即使为每个优化器单独搜索学习率、对齐 weight decay 的实际强度并调整嵌入层的 AdamW 后,Muon 的最终验证损失仍比 AdamW 低 0.081(种子集,标准差 0.003)。在达到相同损失时,AdamW 需要 1.4–1.6 倍的 Token;当批大小(Batch Size)扩大到 4 倍时,差
2026-10-31 · 17 分钟阅读 #Muon#MUON+#AdamW#옵티마이저#LLM 사전학습Muon 详解:将梯度矩阵正交化的优化器
阅读 2026 年大语言模型(LLM)预训练论文时,经常会看到 Muon 代替 AdamW 出现在优化器的位置。Muon 通过将动量矩阵转换为奇异值全为 1 的矩阵,将原本集中在少数方向的更新均匀分摊到所有方向。由于它用五次矩阵乘法(Newton–Schulz 迭代)来近似替代 SVD,因此计算成本低,并且仅用于隐藏层的二维矩阵。用组合矩阵重新测量后发现,原本前 10 个方向占据的 93.7% 能量在经过 5 次迭代后均匀分散到了 2.
2026-10-31 · 15 分钟阅读 #Muon#옵티마이저#AdamW#Newton-Schulz#MUON+封闭式网络 k0s 多节点实测 3:3 节点 HA 上的 Rook-Ceph 与 CloudNativePG
我们将所有 3 个节点设为主工作一体机(既是控制平面又是工作节点),在没有外部负载均衡器的情况下,通过 k0s 的 CPLB(keepalived 虚拟 IP)和 NLLB(每个节点的 envoy)将 API 组合在一起。当我们停止带有虚拟 IP 的节点时,API 在四次测试中均在 0~3 秒内恢复(写入为 1~3 秒);当停止两个节点时,etcd 失去过半数节点,导致写入在 30 秒内全部失败。我们在其上将 18 个镜像(1.8GB)
2026-10-31 · 37 分钟阅读 #쿠버네티스#k0s#폐쇄망#고가용성#Rook闭网 k0s 多节点实测 2:2 台节点,在控制器停止 90 秒期间工作节点持续响应
如果只有 2 台服务器,人们会倾向于把两台都设为控制器。但由于 2 个 etcd 成员的半数是 2,所以只要挂掉一个,写入就会停止,能承受的故障数依然和 1 台时一样是 0。因此,2 台方案采用了 1 个控制器 + 1 个工作节点的架构,并对控制器进行了 90 秒的停止测试。在以 5 秒间隔测量的 18 次中,API 虽然全部失败了 18 次,但工作节点的 nginx 却全部返回了 200。重新启动控制器后,API 在 3~4 秒内恢复
2026-10-31 · 18 分钟阅读 #쿠버네티스#k0s#k0sctl#폐쇄망#etcd封闭网 k0s 多节点实测 1:如何证明拦截了互联网,以及单节点
在互联网被屏蔽的环境中部署 k0s,相比于“带了什么进去”,证明“确实没有任何东西流出外部”要困难得多。本文记录了使用一个导入服务器和一个虚拟机内的 nftables 构建封闭网,并通过三重确认的过程:外部 HTTPS 在 0.014 秒内被拒绝(curl rc=7),未导入的镜像报出 ErrImagePull,且在使用 k0sctl 安装和备份期间,导入服务器向外发起的 TCP 连接数为 0。对于 k0s 来说,只需要一个二进制文件(
2026-10-31 · 24 分钟阅读 #쿠버네티스#k0s#폐쇄망#에어갭#nftablesKubeVirt 实测直播迁移 1:客机停顿了 0.34 秒,但服务中断了 2.4 秒
KubeVirt 的直播迁移(Live Migration)可以在保持客机运行的同时将其迁移至其他节点。在对无负载的 1Gi VM 进行五次迁移后,libvirt 测得的客机停顿时间为 343ms(338–490),但是通过 Service 在外部发起的测温新连接却有 2.4 秒(1.2–2.8)没有响应,并且维持的 TCP 连接五次全部中断。这是因为在 masquerade 网络中,迁移结束后包裹客机的 Pod 本身会被替换。本文通过
2026-10-30 · 35 分钟阅读 #쿠버네티스#KubeVirt#가상머신#라이브 마이그레이션#CPU 모델KubeVirt 热迁移实测 2:繁忙内存、节点腾空、并发上限
采用默认配置时,持续重写内存的虚拟机无法迁移成功。当为 1Gi 内存的 Guest 施加 512MB 的写入负载时,Guest 的脏页产生速度与传输速度几乎持平,导致预拷贝无法结束,并在约 300 秒后放弃。带宽限制没有起作用(设定为 32Mi,但实际速率约为 75MiB/s);开启 autoConverge 后,三次测试均在 33–43 秒内成功。若节点上缺少 vm.unprivilegeduserfaultfd,postCopy 会
2026-10-30 · 20 分钟阅读 #쿠버네티스#KubeVirt#가상머신#라이브 마이그레이션#drain万神殿穹顶是如何支撑近两千年的:用 Blender 制作的解说视频
通过 3D 解说视频与剖面图,深入探讨直径 43 米、毫无钢筋的混凝土穹顶为何能屹立约 1,900 年。从越往上越薄、越往上骨料越轻、内部格子天花板、顶部眼洞(Oculus)四个减重设计,到出现裂缝的穹顶如何仅靠多道拱券的压力维持平衡,以及阶梯式圆环和眼洞压缩环的作用,均通过论文数据进行了确认。视频使用 Blender Python 脚本从零开始建模并渲染,本文也简要记录了该过程。
2026-10-30 · 14 分钟阅读 #건축#구조#판테온#로마 콘크리트#돔服务器为什么无法通过两台节点实现 HA(高可用)2:一个见证节点所带来的改变与残留的陷阱
在两台数据节点的基础上,再增加一台没有数据负载的见证 VM(2 vCPU、2 GiB)即可实现自动故障转移。将节点隔离后,PostgreSQL 在 22.6 秒到 32.7 秒内、Redis Sentinel 在 6.5 秒到 7.0 秒内选出了新主节点,所有测试中确认收到的写入丢失数均为 0。将见证节点关闭 90 秒,PostgreSQL、Redis 和 OpenSearch 的写入失败次数也均为 0。然而,“数据节点依然只有两台”这
2026-10-30 · 26 分钟阅读 #고가용성#HA#PostgreSQL#Redis#OpenSearch为什么两台服务器无法实现 HA (高可用) 1: PostgreSQL·Redis·OpenSearch·ClickHouse·SeaweedFS 实测
如果只有两台服务器,直觉上似乎坏了一台,另一台还能顶上,但实际情况并非如此。PostgreSQL(Patroni + etcd)、Redis(Sentinel)、OpenSearch、ClickHouse(Keeper)和 SeaweedFS 这五种服务全部都是通过「多数派」来选举主节点的,而两台服务器的多数派是 2,所以只要丢失一台,多数派就不复存在了。我们在 TT Lab 实验 VM 上通过 Docker Compose 部署了这五
2026-10-30 · 25 分钟阅读 #고가용성#HA#PostgreSQL#Redis#OpenSearch韩语文档 OCR 比较 1:将 PP-OCRv5、PaddleOCR-VL-1.6、Unlimited-OCR-2 放在相同的 60 页中重新测试
文档 OCR 正在从查找行并读取字符的传统流水线,转向直接读取整张图像的视觉语言模型(VLM)。然而,著名的公开基准测试(OmniDocBench、MPDocBench、MarathonDocBench)全部局限于英语和中文,因此在韩语文档中究竟哪个表现更好,只能亲自测量。我们制作了 60 页已知正确字符的韩语文档(普通正文、模糊副本、表格、长文档),并在单张 24GB GPU 上运行了传统的 PP-OCRv5 韩语模型、连接布局与小型
2026-10-30 · 35 分钟阅读 #OCR#문서 인식#PaddleOCR#PaddleOCR-VL#Unlimited-OCR韩文文档 OCR 比较 2:安装时卡住的五个地方以及用 eval() 运行模型输出的代码
在准备第 1 篇的测量时,我们收集了实际卡住的地方。Hugging Face 的 Xet 下载在 2.88GB 处停止;在一个包含 PyTorch 的容器中同时加入 Paddle 时,NCCL 库发生冲突导致 torch 崩溃;服务器容器中缺少 OpenCV 所需的 libGL。改成 headless OpenCV 后,PaddleX 的依赖检查却因发行版名称而拦截,在两个版本之间切换时导致 cv2 文件夹损坏。漫长的测量由于远程连接中
2026-10-30 · 16 分钟阅读 #OCR#PaddleOCR#Unlimited-OCR#Hugging Face#OpenCV服务器听不见的麦克风:将 Gemini Live API WebSocket 示例更新为当前格式的历程
Gemini Cookbook 中的 WebSocket 版 Live API 入门示例使用已废弃的 mediachunks 发送麦克风声音和屏幕,在每个对话轮次结束时清空播放队列,并且只播放消息的第一片断。TT Lab 的语音对话中继使用的是相同的协议,即将 realtimeInput.audio 和 interrupted 信号作为同一协议使用,因此我提交了一个 PR (google-gemini/cookbook1433) 以使其
2026-10-28 · 16 分钟阅读 #오픈소스#오픈소스 기여#Gemini#Live API#Python当文档仍在第一行使用两年前已废弃的 spec.running 时:KubeVirt 用户指南 PR 在十天内合并的背后
KubeVirt 的 VirtualMachine 字段 spec.running 自 v1.4.0(2024-09 合并)起已被废弃,API 服务器在每次创建或修改包含该字段的 VM 时都会返回警告。然而,用户指南的 Run Strategies 页面依然将 Running 作为首选设置来介绍,用于开启和关闭 VM,且从未提及过废弃信息。架构页面将示例 VM 改为了 runStrategy: Halted,但周围的文本却依然提到了 s
2026-10-28 · 14 分钟阅读 #오픈소스#오픈소스 기여#KubeVirt#쿠버네티스#문서提出两个修复方案并让负责人选择:Kubeflow Trainer 安装文档从 v2.1.0 升级到 v2.3.0 的过程
Kubeflow Trainer 的安装文档固定了 VERSION=v2.1.0,而在同一页面的下方,却要求使用该版本 Helm Chart 中并不存在的 --set runtimes. 和 --set crds.enabled。由于 2.1.0 版本的 Chart 既没有这两个键,也没有对应的值验证架构,Helm 会在没有报错的情况下忽略这些值,导致按照文档从上到下操作的人安装出来的环境里没有任何训练运行时。由于之前曾有过“仅升级版本
2026-10-28 · 12 分钟阅读 #오픈소스#오픈소스 기여#Kubeflow#Helm#문서