标签: #에이전트
用亲手运行、亲手测量的数据来写 Kubernetes、DevOps 与 MLOps · 1 篇
工具调用：解析器将文本转换为函数调用，strict 约束参数
模型调用工具实际上是模型在编写特定格式的文本。vLLM 通过聊天模板将工具列表放入提示词中，解析器则将模型编写的文本转换为 OpenAI 格式的 toolcalls。如果 toolchoice 是 required 或特定的函数名，结构化输出就会强制规定调用的外观。然而，在 8GB 级 GPU 上用 0.6B 模型重新测试时，在未开启 strict 的情况下，5 次 required 调用中没有一次的参数遵守了架构（3 次空的 {}，1
2026-10-27 · 15 分钟阅读 #vLLM#도구 호출#tool calling#function calling#구조화 출력