태그: #llm-as-a-judge

← 전체 글

• 리더보드와 벤치마크를 읽는 법 — SOTA는 왜 유통기한이 짧은가

  벤치마크 방법론 논문 열두 편을 arXiv 원문 초록에서 직접 확인해, 리더보드 숫자를 어떻게 읽어야 하는지 정리했습니다. 데이터 오염, 프롬프트 형식 민감도, 평가 하네스 차이, 자체 보고, 리더보드의 표집 비대칭, LLM 심사자의 편향, 그리고 오차 막대를 붙이는 통계적 접근까지 다룹니다. 영역별 최신 기술 리포트 읽기 시리즈의 마지막 편이자, 앞선 다섯 편을 읽는 방법에 대한 안내입니다

  2026-08-12 · 13 분 읽기 #ai-papers#paper-review#technical-report#benchmark#evaluation