标签: #배치
用亲手运行、亲手测量的数据来写 Kubernetes、DevOps 与 MLOps · 1 篇
← 全部文章
服务器推理的一个老生常谈的技巧是“将请求打包（批处理）一次性运行可以更好地利用 GPU”。我们依次研究了 Clipper 的自适应批处理、Clockwork 的“每次一个”、Triton 的动态批处理程序以及 Kubernetes 的 GPU 时间切片，并用我们自己的球体模型进行了直接测量。在实验用的笔记本 GPU 上，512×288 的输入随着批次的增加，每秒处理的窗口数反而减少了（FP16 批次 1 时每秒 102 个 → 批次 1
2026-10-15 · 12 分钟阅读 #비전 모델#실시간#배치#동적 배치#GPU 공유
