태그: #strict
GPU·LLM·MLOps·쿠버네티스, 그리고 마음가짐에 관한 글 · 1 편
도구 호출: 파서가 글을 함수 호출로 바꾸고, strict 가 인자를 묶는다
모델이 도구를 부르는 일은 사실 모델이 정해진 모양의 글을 쓰는 일입니다. vLLM 은 채팅 템플릿으로 도구 목록을 프롬프트에 넣고, 모델이 쓴 글을 파서가 OpenAI 형식의 toolcalls 로 바꿉니다. toolchoice 가 required 나 특정 함수 이름이면 구조화 출력이 호출의 겉모양을 강제합니다. 그런데 8GB급 GPU 에서 0.6B 모델로 재 보니 strict 를 켜지 않은
2026-10-27 · 15 분 읽기 #vLLM#도구 호출#tool calling#function calling#구조화 출력