标签: #llguidance
用亲手运行、亲手测量的数据来写 Kubernetes、DevOps 与 MLOps · 1 篇
结构化输出：为每个 Token 屏蔽「非法字符」的代价
结构化输出会在模型选择下一个 Token 之前，将语法上不可能出现的 Token 的概率置零。因此，对话能力几乎为零的 0.6B 模型在指定 JSON Schema 的情况下，48 次中有 46 次输出了正确的 JSON，而在未指定时则为 0 次。出错的两次均是因为触及了 maxtokens 而被截断。代价体现在两个方面：新 Schema 的首次请求因为生成语法在 xgrammar 中耗时 446ms、在 guidance 中耗时 97
2026-10-27 · 17 分钟阅读 #vLLM#구조화 출력#structured outputs#JSON 스키마#xgrammar