태그: #fsdp
GPU·LLM·MLOps·쿠버네티스, 그리고 마음가짐에 관한 글 · 5 편
#fsdp 태그가 붙은 글은 5편이고, 가장 최근 글은 2026-08-02에 올라왔습니다.
함께 자주 붙은 태그: #distributed-training 4 #deepspeed 3 #2026-03 2 #llm 2 #pytorch 2
최근 90일 동안 많이 읽힌 글:
멀티 GPU 학습의 네 가지 병렬화 — 무엇을 쪼개고 무엇을 통신하는가
데이터 병렬, 텐서 병렬, 파이프라인 병렬, 컨텍스트 병렬이 각각 무엇을 쪼개고 그 대가로 무엇을 통신하는지를 숫자로 정리했습니다. 먼저 Adam 혼합정밀 학습의 파라미터당 16바이트 장부를 세우고, ZeRO 1~3단계가 그 장부의 어느 항을 GPU 수로 나누는지 계산합니다. 이어서 활성화 메모리 공식으로 체크포인팅이 왜 100GB를 1GB로 만드는지 확인하고, 각 병렬화의 통신량을 스텝당
2026-08-02 · 23 분 읽기 #mlops#distributed-training#multi-gpu#fsdp#deepspeedLLM 파인튜닝 프레임워크 2026 — Axolotl / Unsloth / LLaMA-Factory / TRL / PEFT / TorchTune 심층 가이드 ♪ 들을 수 있어요
2026년 LLM 파인튜닝 생태계를 한 번에 정리한다. Axolotl·Unsloth·LLaMA-Factory·TRL·PEFT·TorchTune 같은 오픈소스 프레임워크부터 LLM Foundry(MosaicML, Databricks 인수), Modal·Together·OpenAI·Anthropic·Cohere의 클라우드 파인튜닝 API까지. QLoRA·FSDP·DeepSpeed Zero 같은
2026-05-16 · 44 분 읽기 #llm#finetuning#axolotl#unsloth#llama-factory분산 학습 & GPU 인프라 2026 딥다이브 — DeepSpeed, FSDP2, Megatron-LM, Ray Train, JAX, TorchTitan, Blackwell GB200, MI325X, TPU v5p 총정리
DeepSpeed/FSDP2/Megatron-LM/Ray Train/JAX/TorchTitan/Composer를 비교하고, NVIDIA Blackwell GB200 NVL72, AMD MI325X, Intel Gaudi 3, AWS Trainium 2, Google TPU v5p/v6e Trillium까지. 3D 병렬화, ZeRO-FSDP 등가성, MoE All-to-All, fp8/mxfp
2026-05-16 · 23 분 읽기 #distributed-training#deepspeed#fsdp#megatron-lm#rayTorch-Titan 완전 가이드: PyTorch 대규모 분산 학습의 모든 것
PyTorch Titan(torchtitan)으로 대규모 LLM 분산 학습을 마스터하는 완전 가이드. FSDP2, 파이프라인 병렬화, Tensor 병렬화, 4D 병렬화, 플래시 어텐션, 혼합 정밀도까지 실전 예제와 함께 배웁니다.
2026-03-17 · 31 분 읽기 #torch-titan#distributed-training#pytorch#fsdp#deep-learningPyTorch 내부 구조 & 고급 최적화: autograd, torch.compile, FSDP, Triton까지
PyTorch autograd 엔진, torch.compile() TorchInductor 최적화, FSDP 분산 학습, gradient checkpointing, 커스텀 CUDA 연산까지 PyTorch 완전 정복 가이드입니다.
2026-03-17 · 15 분 읽기 #pytorch#torch-compile#fsdp#triton#혼합정밀도