タグ: #RLVR

← すべての記事

• RLは選び出しているのか: 0.5Bモデルで検証したGRPOとpass@k

  RL後学習は新しい能力を作るのでしょうか、それともベースがたまに出していた答えを選び出しているのでしょうか。0.5Bの指示モデルに三桁の掛け算算数でGRPOを直接回し、pass@kを測定しました。多くの問題で75ステップ学習すると計算精度(pass@1)は0.25から0.66に上がりましたが、32回引いて1つでも正解する確率は0.84対0.81で同じでした。150ステップまで増やすと、その上限は0.68に下がり、k=16からベースが上回

  2026-10-31 · 24 分で読めます #강화학습#GRPO#RLVR#pass@k#LoRA