标签: #보안

← 全部文章

• 运维功能：休眠模式、启动时间、/metrics 以及 --api-key 无法覆盖的路径

  在不关闭服务器的情况下释放 GPU 的休眠模式、缩短重新加载时间的编译缓存、用于查看状态的 /metrics，以及亲自测试的身份验证。休眠第 2 阶段在 42ms 内将 GPU 内存从 6,168MiB 释放至 606MiB，重新加载权重唤醒耗时 0.39 秒（相同配置重启需 32 秒）。第 1 阶段在将权重迁移至 CPU 的过程中导致限额分别为 4GiB 和 4.5GiB 的容器因内存不足（OOM）而被终止，使用 0.32.0 版本重

  2026-10-27 · 17 分钟阅读 #vLLM#sleep mode#잠자기 모드#기동 시간#torch.compile

• 工具调用：解析器将文本转换为函数调用，strict 约束参数

  模型调用工具实际上是模型在编写特定格式的文本。vLLM 通过聊天模板将工具列表放入提示词中，解析器则将模型编写的文本转换为 OpenAI 格式的 toolcalls。如果 toolchoice 是 required 或特定的函数名，结构化输出就会强制规定调用的外观。然而，在 8GB 级 GPU 上用 0.6B 模型重新测试时，在未开启 strict 的情况下，5 次 required 调用中没有一次的参数遵守了架构（3 次空的 {}，1

  2026-10-27 · 15 分钟阅读 #vLLM#도구 호출#tool calling#function calling#구조화 출력