标签: #torch.compile
用亲手运行、亲手测量的数据来写 Kubernetes、DevOps 与 MLOps · 1 篇
运维功能：休眠模式、启动时间、/metrics 以及 --api-key 无法覆盖的路径
在不关闭服务器的情况下释放 GPU 的休眠模式、缩短重新加载时间的编译缓存、用于查看状态的 /metrics，以及亲自测试的身份验证。休眠第 2 阶段在 42ms 内将 GPU 内存从 6,168MiB 释放至 606MiB，重新加载权重唤醒耗时 0.39 秒（相同配置重启需 32 秒）。第 1 阶段在将权重迁移至 CPU 的过程中导致限额分别为 4GiB 和 4.5GiB 的容器因内存不足（OOM）而被终止，使用 0.32.0 版本重
2026-10-27 · 17 分钟阅读 #vLLM#sleep mode#잠자기 모드#기동 시간#torch.compile