태그: #llm-as-judge

← 전체 글

• 평가자 병목 — 약한 채점자가 시스템 전체의 상한이 됩니다

  하네스를 아무리 고쳐도 점수가 안 오른다면, 병목은 하네스가 아니라 평가자일 수 있습니다. 측정할 수 없는 품질은 선택할 수 없고, 그래서 약한 채점자가 시스템 전체의 상한이 됩니다. 하네스 엔지니어링 시리즈 5편에서 스모크 테스트부터 단위 테스트, 루브릭, 채점 자료 격리, 견제 지표 패널까지 평가자의 사다리와 평가 보정을 먼저 해야 하는 이유를 정리했습니다.

  2026-08-12 · 10 분 읽기 #llm#agent#harness-engineering#하네스엔지니어링#AI에이전트

• 평가 주도 개발에서 가장 먼저 보정해야 하는 것은 심사자입니다

  Airbnb 엔지니어링이 2026년 7월에 공개한 평가 주도 개발 회고는 평가셋을 먼저 쓰라는 이야기가 아니라, 채점하는 모델부터 계측기로 인정받아야 한다는 이야기에 가깝습니다. 이 글은 심사자 모델을 골든셋 50~100개로 보정하는 절차, 일치도를 단순 정확도가 아니라 카파로 재야 하는 이유, 그리고 보정되지 않은 심사자가 어떻게 팀 전체를 잘못된 방향으로 최적화시키는지를 실행 가능한 코드

  2026-08-09 · 15 분 읽기 #ai#llm#eval-driven-development#llm-as-judge#evaluation

• 텍스트·이미지·에이전트를 각각 어떻게 재는가 — 세 영역의 측정이 근본적으로 다른 이유 ♪ 들을 수 있어요

  텍스트·이미지·에이전트는 같은 "성능"이라는 단어를 쓰지만 측정 구조가 전혀 다릅니다. 텍스트는 정답이 있는 척하는 객관식과 정답이 없는 생성형으로 갈라지고, 이미지는 분포 거리와 사람 판단이 어긋나며, 에이전트는 부분 성공·환경 상태·비결정성 때문에 애초에 하나의 숫자로 압축되지 않습니다. 이 글은 각 영역의 대표 지표가 실제로 계산하는 값을 정의 수준에서 뜯어보고, 영역마다 "지표는 높은

  2026-08-02 · 37 분 읽기 #llm-evaluation#multimodal#llm-as-judge#agent-benchmark#metrics

• LLM 평가를 감으로 하지 않는 법 — 표본 크기, 심사자 편향, CI 회귀 테스트

  프롬프트를 고치고 "좋아진 것 같다"로 배포하는 팀은 조용히 쌓이는 회귀를 볼 방법이 없습니다. 평가를 어서션, 골든 데이터셋, LLM 심사자, 사람 평가의 네 층위로 나눠 각각의 비용과 신뢰도를 정리하고, 심사자 모델의 위치 편향과 길이 선호를 어떻게 상쇄하는지 다룹니다. 예시 20개로 낸 결론의 신뢰구간이 실제로 얼마나 넓은지 계산하고, 짝지은 비교가 필요 표본을 몇 분의 일로 줄이는지

  2026-07-26 · 19 분 읽기 #llm#evaluation#llm-as-judge#statistics#regression-testing

• 챗봇 평가 체계 구축 가이드: LLM-as-Judge·RAGAS·자동화 테스트 파이프라인

  LLM 기반 챗봇의 품질 평가 체계를 체계적으로 구축하는 방법을 다룹니다. RAGAS 프레임워크를 활용한 RAG 파이프라인 평가, LLM-as-Judge 패턴, 자동화 테스트 파이프라인 구축, 프로덕션 모니터링까지 실전 가이드를 제공합니다.

  2026-03-10 · 28 분 읽기 #chatbot#evaluation#ragas#llm-as-judge#testing