标签: #Qwen2.5

← 全部文章

• 强化学习是在筛选吗：用 0.5B 模型重新测量的 GRPO 与 pass@k

  强化学习后训练究竟是创造了新能力，还是挑选出了基础模型偶尔能给出的答案？我们在 0.5B 指令模型上用三位数乘法算术直接运行了 GRPO，并测量了 pass@k。通过大量问题训练 75 步后，计算准确率（pass@1）从 0.25 升到了 0.66，但抽样 32 次且至少答对一次的概率从 0.84 降至 0.81，保持基本一致。若将步数增加到 150 步，该上限会降至 0.68，从 k=16 开始，基础模型反而超越了它。如果只看连答案格

  2026-10-31 · 24 分钟阅读 #강화학습#GRPO#RLVR#pass@k#LoRA