タグ: #pretraining
GPU・LLM・MLOps・Kubernetes、そしてマインドセット · 2 件
学習レシピ — 事前学習から後学習まで、レポートは何を書くか
Llama 3 の三段階と六回の文脈拡張、Qwen3 の三段階事前学習、DeepSeek-V3 の学習率スケジュールと二段階 YaRN 拡張、Kimi K2 のデータ再記述実験を、レポートに書かれたとおりに比較し、学習段階の記述を読む方法を整理します。
2026-08-12 · 12 分で読めます #ai-papers#model-internals#pretraining#training-recipe#data-mixtureこれらのモデルはどう作られたのか — 2026年オープンウェイトパイプライン解剖
2026年8月時点でHugging Faceの上位に並ぶオープンウェイトモデルのカードと技術レポートを読み、データ収集から量子化デプロイまでの制作パイプラインを順番に整理しました。MoEのスパース性が20倍を超えた理由、グローバルアテンションを減らす四つのアプローチ、事前学習のトークン予算と安定化技法、SFT後の選好最適化と強化学習、そして蒸留と低ビットデプロイまでを実際のモデルを例に扱います。重要な前提を先に明かすと、ほとんどのオープ
2026-08-02 · 31 分で読めます #llm#pretraining#moe#post-training#quantization