상태: 초안 (2026-10-31). 논문 수치는 arXiv 원문(본문은 같은 판의 HTML)을 직접 열어 표·그림 번호와 함께 옮겼습니다. 7절의 실험 교훈은 이 시리즈 2·3편의 실측에서 나왔습니다. 논문을 고른 근거(Hugging Face 업보트, 공개 데이터셋 내려받기 수)는 2026-10-31 에 확인한 값입니다. 작성 규칙: 실측 데이터가 기본이고, 못 잰 것은 「미실측」, 확인하지 못한 것은 「미확인」으로 표시합니다.
목차
- 1. 이 글의 지도
- 2. 데이터: 웹의 AI 글은 얼마의 가치가 있나
- 3. 증류: 같은 계열 모델 사이의 on-policy 증류
- 4. 작은 모델 레시피: 적은 토큰, 적은 돈
- 5. 갈래를 가로질러 보이는 것
- 6. 논문을 읽고 작게 재현할 때 챙길 것
- 7. 두 실험에서 배운 것
- 참고 문헌
1. 이 글의 지도
앞의 세 편은 두 질문을 깊게 팠습니다. 「Muon 은 AdamW 보다 나은가」(1편, 2편)와 「RL 은 새 능력을 만드는가」(3편)입니다. 이 글은 한 걸음 물러서서 2026년 하반기(7–10월)에 나온 학습 논문 가운데 영향이 큰 것을 골라 흐름을 정리합니다. 사전학습 쪽에서 옵티마이저 말고 데이터와 작은 모델 레시피, 후학습 쪽에서 RL 말고 증류를 봅니다.
고른 방법은 이렇습니다. 2026-07-01 부터 10-31 까지 arXiv 를 키워드로 검색하고 Hugging Face 일간 논문 122일 치를 업보트 순으로 정렬한 뒤, 데이터 큐레이션·혼합, 증류, 작은 모델 사전학습 분야에서 업보트·공개 데이터셋 사용량·코드 저장소 별이 두드러진 논문을 골랐습니다. 인용 수는 나온 지 1–3달이라 판별력이 없어 쓰지 않았습니다.
| 갈래 | 논문 | 한 줄 |
|---|---|---|
| 옵티마이저 | MUON+, Spectral Allocation, SOAP·Muon and Beyond | 1·2편 |
| 데이터 | How Much Is an AI Token Worth?(2609.40295) | 웹의 AI 글은 데이터가 모자랄 때만 도움이 된다 |
| 증류 | Scaling Properties of Same-Family On-Policy Distillation(2609.32722) | 학생 정답률은 √KL 에 선형으로 오르고, 약한 교사를 넘어선다 |
| 작은 모델 | IMU-1(2602.02522), Puro-2B(2608.27370) | 작은 예산으로 처음부터 사전학습하는 레시피 |
| RL | 2605.06241, 2607.16097, 2609.25463 | 3편 |
2. 데이터: 웹의 AI 글은 얼마의 가치가 있나
「How Much Is an AI Token Worth? Scaling Laws for Wild AI-Generated Web Text」(arXiv 2609.40295, 메릴랜드대·Pangram Labs)는 지금 사전학습 데이터의 가장 현실적인 문제를 정량화했습니다. 웹 크롤에는 이미 AI 가 쓴 글이 많이 섞여 있습니다. FineWeb 필터를 통과한 토큰 가운데 AI 로 판정된 비율은 2024-06 10.1%, 2025-06 16.1%, 2026-08 31.1% 로 늘었습니다(그림 1). 더 곤란한 것은 품질 필터가 AI 글을 더 잘 남긴다는 점입니다. 원시 크롤 문서 1만 개를 감사해 보니 AI 문서가 필터를 통과하는 비율이 사람 문서보다 FineWeb 파이프라인에서 2.3배, DCLM 파이프라인에서 9.8배 높았습니다(그림 2).
저자들은 19.9M–973M 모델 800개를 학습해, 사람 토큰을 고정하고 AI 토큰을 더해 가며 사람 글 검증 손실을 쟀습니다. 결론은 부호가 바뀐다는 것입니다. 사람 토큰/파라미터가 10 아래로 데이터가 모자란 모델에서는 AI 토큰이 손실을 낮추지만, 20(Chinchilla 최적) 이상에서는 AI 토큰을 더할수록 손실이 오릅니다. 같은 양의 새 사람 토큰은 계속 손실을 낮춥니다(그림 3). 이 현상을 맞추는 새 스케일링 법칙의 예측 오차는 Chinchilla 식의 약 1/5 이었습니다(표 1). 평가 쪽 교훈도 있습니다. AI 글이 22% 섞인 검증 세트로 재면 해로운 학습의 95.5% 가 개선으로 보였습니다(그림 6). 검증 세트를 사람 글과 AI 글로 나눠야 한다는 뜻입니다.
읽을 때 감안할 점도 원문에 있습니다. 공저자 일부가 AI 글 검출기 회사 소속이고 연구비도 그 회사가 댔습니다. 「AI 글」의 정의가 그 회사 검출기의 판정이라는 점, 법칙을 973M 까지만 검증했다는 점도 한계입니다.
3. 증류: 같은 계열 모델 사이의 on-policy 증류
「Scaling Properties of Same-Family On-Policy Distillation」(arXiv 2609.32722)은 7–10월 증류 논문 가운데 Hugging Face 업보트가 가장 많았습니다(329). on-policy 증류(OPD)는 학생이 직접 만든 답에 대해, 토큰마다 「교사의 로그 확률 − 학생의 로그 확률」을 보상으로 주는 방식입니다. 교사가 만든 답을 따라 쓰는 SFT(off-policy)와 달리 학생이 실제로 가는 길에서 배웁니다.
Qwen2.5 0.5B–14B 를 수학 RL 로 교사로 만들고 크기를 엇갈려 증류한 결과, 세 가지가 눈에 띕니다. 학습 초반에는 학생의 정답률이 √KL(학생이 처음에서 얼마나 멀어졌나)에 거의 선형으로 오릅니다(25개 실행의 선형 적합 R² 0.932–0.988, 그림 2). 약한 교사로 강한 학생을 가르치면 학생이 교사를 넘습니다(그림 4). 그리고 정답률이 같다면 작은 교사가 더 잘 가르칩니다(멱법칙의 교사 크기 지수 β = −0.27, 표 2). 교사 답을 SFT 로 먼저 깔고 시작하면 약한 교사 → 강한 학생 조합에서 크게 해로웠습니다(0.5B 교사에서 학생 3B/7B/14B 가 −6.6/−15.7/−19.4점). 범위는 좁습니다. 모델 계열 하나, 과제 하나(수학), 조합마다 실행 하나입니다.
3편의 실험과 이어 읽으면 재미있는 대목이 있습니다. 같은 base 끼리의 OPD 는 다섯 크기 모두에서 학생에게 직접 RL 한 결과와 0.5점 안이었습니다(4.1절). RL 이 바꾸는 것이 드문 결정 지점의 선택이라면(2605.06241), 그 선택을 교사의 분포로 직접 가르쳐도 비슷한 곳에 닿는다는 그림과 맞습니다.
4. 작은 모델 레시피: 적은 토큰, 적은 돈
IMU-1(2602.02522)
독립 연구자가 쓴 IMU-1 은 430M 모델을 72B 토큰으로 학습해 4T 토큰을 쓴 SmolLM2-360M 에 가까운 점수를 냈습니다(평균 0.574 대 0.586, 표 3). 새 기법보다 최근 기법을 모아 검증한 레시피 논문입니다. 구조에는 QK-Norm, 머리별 게이트, 정규화한 value residual, 층별 정규화 축소를 더했고, 옵티마이저는 NorMuon(Muon 결과를 뉴런 단위로 다시 정규화)에 Cautious Weight Decay(갱신과 가중치의 부호가 같을 때만 감쇠)와 μP 를 썼습니다. 임베딩·출력층·1차원 파라미터는 AdamW 입니다. 학습률은 WSD 에 마지막 20% 를 1−√t 모양으로 줄이는 방식이었고, 70M 제거 실험에서 감소 20% 가 코사인과 같은 손실(3.125)을 냈습니다(표 7). 데이터는 세 단계로 나눠 단계마다 품질 점수 문턱을 올렸습니다. 원문 안에서 학습률이 0.0235, 0.013, 0.011 세 값으로 적혀 있는 등 서로 맞지 않는 곳이 있어 그대로 옮겨 쓰기 전에 확인이 필요합니다.
Puro-2B(2608.27370)
칭화대 팀의 Puro-2B 는 소비자용 GPU 로 2B 모델을 1.4T 토큰까지 처음부터 학습했고, 최종 실행의 가속기 임대 환산 비용이 약 6.9천 달러였습니다. 15개 벤치마크 평균에서 Qwen2-1.5B 를 넘고 Qwen2.5-1.5B 에 가까웠습니다(표 3·4). 핵심 기법은 셋입니다.
- MuonH: 행렬마다 처음 노름의 구 위에 가중치를 묶어 두고(갱신 뒤 다시 사영), weight decay 를 0 으로 둡니다. 유효 학습률이 명시적이 되고, 튜닝한 Muon 보다 같은 손실에 계산을 16.1% 덜 썼습니다(4.3.1절).
- 긴 선형 감소: 최대 학습률이 클수록, 학습이 길수록 감소 구간이 길어야 했습니다(0.6B 탐색, 그림 6). IMU-1 의 「20% 가 최적」과 겉으로는 엇갈리지만 최대 학습률·토큰 수·감소 모양이 달라 직접 비교할 수는 없습니다.
- 품질 커리큘럼 + 체크포인트 평균: 출처마다 품질 점수 오름차순으로 정렬해 좋은 데이터가 뒤에 오게 하고, 상수 학습률로 이어 학습한 뒤 마지막 체크포인트 여섯 개를 평균했습니다.
헤드라인 비용에는 데이터 처리·작은 실험·실패한 실행·인건비가 빠져 있고, 체크포인트 평균을 시작한 지점은 두 후보 중 결과를 보고 고른 것이라 그 이득은 선택 편향을 감안해 읽어야 합니다.
5. 갈래를 가로질러 보이는 것
- 옵티마이저는 Muon 계열이 기본값이 되어 가고 있습니다. 데이터 논문(nanochat 의 Muon), IMU-1(NorMuon), Puro-2B(MuonH)가 모두 은닉 행렬에 Muon 계열을, 임베딩·출력층·1차원 파라미터에 AdamW 를 씁니다. 바뀌는 것은 「직교화 결과를 어떻게 다시 크기 맞추나」(NorMuon, MUON+, MuonH)입니다.
- 학습률 스케줄은 「끝을 열어 둔 구간 + 감소」입니다. WSD 가 표준이고, 논쟁은 감소 구간의 길이와 모양입니다.
- 데이터는 출처 안의 품질 순서로 다룹니다. 다만 그 품질 점수가 AI 글을 우대한다는 경고(2절)를 함께 읽어야 합니다. 품질 점수로 커리큘럼을 짜면 후반부 데이터의 AI 비율이 오를 수 있는데, 두 레시피 모두 이 점을 다루지 않습니다(필자의 추론, 미검증).
- 후학습은 「적게 바꾸기」 쪽으로 이해가 모이고 있습니다. RL 이 바꾸는 토큰은 드물고(2605.06241), 적은 문제로도 비슷한 효과가 나고(2504.20571, ReasonMaxxer), 같은 계열의 증류가 RL 과 거의 같은 곳에 닿습니다(2609.32722). 그래서 롤아웃 효율(2609.25463)과 「무엇을 학습할 문제로 고르나」가 연구의 중심으로 옮겨 가고 있습니다.
- 평가를 쪼개야 보입니다. 섞인 검증 세트가 해를 숨기고(2절), 형식 교정이 능력 향상처럼 보입니다(3편).
6. 논문을 읽고 작게 재현할 때 챙길 것
두 실험을 하면서 겪은 함정을 체크리스트로 남깁니다.
- 학습률은 규약과 함께 옮긴다. Muon 의 「0.02」는 크기 보정 규약에 따라 뜻이 다릅니다(1편 표).
- 조건과 판정 기준은 결과를 보기 전에 적는다. 바꿔야 하면 이유와 시각을 남긴다. 이번에도 RL 실험의 과제를 학습 전에 두 번 바꿨고, 그 기록이 없었다면 결과를 보고 고른 것과 구별할 수 없었을 것입니다.
- 샘플링 기본값을 확인한다. 모델 파일의
generation_config.json에 반복 벌점 1.1 이 들어 있었고, 명시하지 않은 값이 RL 표본에 끼어들 뻔했습니다. RL 의 표본은 정책 그대로여야 기울기 식이 맞습니다. - 형식과 능력을 나눠 잰다. 3편에서 이 차이가 결론을 바꿨습니다.
- 작은 모델은 다르게 움직일 수 있다. 2607.16097 의 20M 모델, Yue 외 표 4 의 150 스텝처럼, 짧은 학습·작은 모델에서는 큰 모델의 결론이 그대로 나오지 않을 수 있습니다.
7. 두 실험에서 배운 것
두 실험의 숫자는 2편과 3편에 있습니다. 여기서는 논문 흐름과 엮어 세 가지만 남깁니다.
1. 옵티마이저: 작은 규모에서도 Muon 의 이점은 컸고, 「짧고 큰 배치」 쪽에서 더 컸다. 3,400만 파라미터 모델을 토큰 1억으로 학습했을 때, 학습률을 옵티마이저마다 따로 맞춘 뒤에도 Muon 의 최종 검증 손실이 AdamW 보다 0.081 낮았습니다(시드 셋, 표준편차 0.003). 같은 손실에 AdamW 는 토큰이 1.4–1.6배 들었고, 배치를 4배로 키우자 격차는 0.219 로 벌어졌습니다. 논문들이 말하는 「큰 배치에서 Muon 이 데이터 효율을 지킨다」와 같은 방향이고, 크기(논문의 10–15% 대 이 실험의 40–60%)는 짧은 학습 탓으로 봅니다. 반면 MUON+ 의 이득은 이 크기에서 잡음과 구분되지 않았습니다(미리 정한 학습률에서는 0.013 나빴고, 사후 점검에서 학습률을 낮추자 0.006 앞섬). 2026년의 「직교화 결과 다듬기」 갈래는 효과가 작아서, 작은 실험으로는 잡음과 구분하기 어렵습니다.
2. RL: 「골라낸다」는 0.5B 에서도 보였고, 형식이 그 그림을 가릴 수 있다. 많은 문제로 한 GRPO 는 계산 정확도 pass@1 을 0.25 에서 0.66 으로 올렸지만 pass@32 는 그대로였고, 더 학습하면 내려갔습니다. 응답을 보면 베이스가 가끔 쓰던 「곱셈을 쪼개는」 풀이를 골라 굳혔습니다. 이것은 4절 끝의 「후학습은 적게 바꾸기」 흐름과 맞습니다. 그런데 답 형식까지 채점하면 같은 결과가 「상한도 크게 올랐다」로 보였습니다. 작은 모델일수록 형식 교정의 몫이 크다는 것은 1-shot RLVR 과 Dr. GRPO 가 이미 경고한 점이고, 직접 겪어 보니 결론을 뒤집을 만큼 컸습니다.
3. 「적은 데이터로 충분하다」는 장치와 함께 읽어야 한다. 문제 16개·1개로 한 GRPO 는 KL·엔트로피 항 없이 돌리자 형식만 배우고 계산은 나빠졌습니다. 적은 문제로 성공한 논문들은 KL·엔트로피 항(1-shot RLVR)이나 베이스 분포에 묶어 두는 앵커(ReasonMaxxer)를 함께 썼습니다. 「적게 바꾸기」가 잘 되려면 「바꾸지 말아야 할 곳을 묶어 두기」가 같이 있어야 한다는 것이 이 시리즈의 마지막 가설입니다(미실측).
참고 문헌
- Russell 외, "How Much Is an AI Token Worth? Scaling Laws for Wild AI-Generated Web Text", arXiv 2609.40295.
- Bao 외, "Scaling Properties of Same-Family On-Policy Distillation", arXiv 2609.32722.
- Grigorev, "IMU-1: Sample-Efficient Pre-training of Small Language Models", arXiv 2602.02522.
- Luo 외, "Puro-2B"(제목의 나머지는 GPU 모델명을 담고 있어 줄임), arXiv 2608.27370.
- Gholipour 외, "Rollout Efficiency in RL for Reasoning LLMs", arXiv 2609.25463.
- 옵티마이저·RL 논문은 1–3편의 참고 문헌.