태그: #llguidance
GPU·LLM·MLOps·쿠버네티스, 그리고 마음가짐에 관한 글 · 1 편
구조화 출력: 토큰마다 「쓸 수 없는 글자」를 가리는 비용
구조화 출력은 모델이 다음 토큰을 고르기 직전에, 문법상 올 수 없는 토큰의 확률을 0으로 가립니다. 그래서 대화 능력이 거의 없는 0.6B 모델도 JSON 스키마를 지정하면 48번 중 46번 올바른 JSON 을 냈고, 지정하지 않으면 0번이었습니다. 틀린 두 번은 모두 maxtokens 에 걸려 잘린 경우였습니다. 비용은 두 곳에 있습니다. 새 스키마의 첫 요청은 문법을 만드느라 xgram
2026-10-27 · 17 분 읽기 #vLLM#구조화 출력#structured outputs#JSON 스키마#xgrammar