タグ: #llguidance

← すべての記事

• 構造化出力: トークンごとに「使えない文字」をマスクするコスト

  構造化出力は、モデルが次のトークンを選択する直前に、文法上現れ得ないトークンの確率を 0 にマスクします。そのため、会話能力がほとんどない 0.6B モデルであっても、JSON スキーマを指定すると 48 回中 46 回正しい JSON を出力し、指定しない場合は 0 回でした。間違った 2 回はいずれも maxtokens に達して途切れたケースでした。コストは 2 つの場所にあります。新しいスキーマに対する初回のリクエストでは、文法

  2026-10-27 · 17 分で読めます #vLLM#구조화 출력#structured outputs#JSON 스키마#xgrammar