タグ: #megatron-lm

← すべての記事

• 分散学習 & GPUインフラ 2026 ディープダイブ — DeepSpeed、FSDP2、Megatron-LM、Ray Train、JAX、TorchTitan、Blackwell GB200、MI325X、TPU v5p 総まとめ

  DeepSpeed/FSDP2/Megatron-LM/Ray Train/JAX/TorchTitan/Composerを比較し、NVIDIA Blackwell GB200 NVL72、AMD MI325X、Intel Gaudi 3、AWS Trainium 2、Google TPU v5p/v6e Trillimuまで。3D並列化、ZeRO-FSDP等価性、MoEのAll-to-All、fp8/mxfp4精度、NCCLチューニン

  2026-05-16 · 20 分で読めます #distributed-training#deepspeed#fsdp#megatron-lm#ray

• 大規模モデルトレーニング完全ガイド：1000億パラメータ超LLM事前学習の実践戦略

  1000億パラメータ超LLMの事前学習を完全解説。スケーリング則（Chinchilla）、Megatron-LM、3D並列化、チェックポイント戦略、学習安定性、データ混合まで実践例とともに徹底解説。

  2026-03-17 · 26 分で読めます #large-scale-training#llm#megatron-lm#distributed-training#scaling-laws