タグ: #eval-driven-development
GPU・LLM・MLOps・Kubernetes、そしてマインドセット · 1 件
評価駆動開発で最初に較正すべきなのは審査者です
Airbnbエンジニアリングが2026年7月に公開した評価駆動開発の振り返りは、評価セットを先に書けという話ではなく、採点する側のモデルがまず計測器として認められなければならないという話に近いものです。この記事は、審査者モデルをゴールデンセット50〜100件で較正する手順、一致度を単純な正確度ではなくカッパで測るべき理由、そして較正されていない審査者がどうやってチーム全体を誤った方向へ最適化させてしまうのかを、実行可能なコードとともに整
2026-08-09 · 16 分で読めます #ai#llm#eval-driven-development#llm-as-judge#evaluation