태그: #peft

← 전체 글

• LoRA rank를 바꾸면 학습률도 바꿔야 하나 — μA(2026)가 가른 두 레짐, 그리고 그 측정의 한계

  LoRA에서 rank를 바꾸면 최적 학습률을 다시 찾아야 한다는 통념과, "1/r 스케일링을 쓰면 학습률은 rank와 무관하다"는 통념이 실무에서 동시에 돌아다닙니다. 2026년 2월 arXiv에 올라온 μA(Maximal-Update Adaptation) 논문은 이 둘이 모두 맞다고 말합니다 — 단, 당신이 어떤 α 규약과 어떤 초기화를 쓰느냐에 따라. 이 글은 μA가 유도한 두 레짐(η가

  2026-07-16 · 31 분 읽기 #llm#lora#fine-tuning#peft#training

• LLM 파인튜닝 프레임워크 2026 — Axolotl / Unsloth / LLaMA-Factory / TRL / PEFT / TorchTune 심층 가이드 ♪ 들을 수 있어요

  2026년 LLM 파인튜닝 생태계를 한 번에 정리한다. Axolotl·Unsloth·LLaMA-Factory·TRL·PEFT·TorchTune 같은 오픈소스 프레임워크부터 LLM Foundry(MosaicML, Databricks 인수), Modal·Together·OpenAI·Anthropic·Cohere의 클라우드 파인튜닝 API까지. QLoRA·FSDP·DeepSpeed Zero 같은

  2026-05-16 · 44 분 읽기 #llm#finetuning#axolotl#unsloth#llama-factory

• LLM 파인튜닝 2026 완벽 가이드 - LoRA · QLoRA · DoRA · GaLore · Unsloth · Axolotl · TRL · PEFT · MLX-LM 심층 분석 ♪ 들을 수 있어요

  2026년 LLM 파인튜닝 생태계는 LoRA의 단순한 어댑터에서 출발해 QLoRA의 4비트, DoRA의 분해, GaLore의 그라디언트 프로젝션까지 5년 만에 거대한 가지를 펼쳤다. Hugging Face의 PEFT 0.14와 TRL 0.13이 표준 인터페이스를 잡았고, Unsloth가 2배 빠른 학습으로 단일 GPU 시장을 흔들었으며, Axolotl과 LLaMA-Factory가 YAML로

  2026-05-16 · 41 분 읽기 #llm-fine-tuning#lora#qlora#dora#galore

• Unsloth로 LLM 파인튜닝 완전 가이드 2025: QLoRA, 4bit 양자화, 2배 빠른 학습

  Unsloth로 LLM 파인튜닝의 모든 것! QLoRA/LoRA 원리, 4bit 양자화(bitsandbytes), Unsloth 2x 속도 비밀, Llama 3/Mistral/Qwen 파인튜닝, 데이터 준비, 학습 설정, VRAM 최적화, GGUF/GPTQ 변환, 배포까지.

  2026-03-25 · 25 분 읽기 #unsloth#llm#fine-tuning#qlora#lora

• Fine-tuning 실전 가이드: LoRA와 QLoRA로 나만의 모델 만들기

  H100 7대 없어도 됩니다. LoRA와 QLoRA를 사용하면 소비자용 GPU 한 장으로 70B 모델을 파인튜닝할 수 있습니다. 실전 코드와 함께 처음부터 끝까지 설명합니다.

  2026-03-18 · 12 분 읽기 #fine-tuning#lora#qlora#llm#ai-development

• LLM 파인튜닝 완전 가이드: LoRA, QLoRA, RLHF, DPO 마스터하기

  LLM 파인튜닝의 모든 기법을 다루는 완전 가이드. Full Fine-tuning부터 LoRA, QLoRA, RLHF, DPO, Instruction Tuning까지 HuggingFace PEFT와 함께 실전 예제로 마스터합니다.

  2026-03-17 · 34 분 읽기 #llm#fine-tuning#lora#qlora#rlhf

• HuggingFace 생태계 완전 정복: Transformers, Datasets, PEFT, Accelerate 마스터하기

  HuggingFace의 전체 생태계를 완전히 마스터하는 가이드. Transformers, Datasets, Tokenizers, PEFT, Accelerate, Diffusers, Hub API까지 실전 예제와 함께 모두 배웁니다.

  2026-03-17 · 28 분 읽기 #huggingface#transformers#peft#accelerate#nlp

• LLM Fine-tuning 실전 가이드: LoRA, QLoRA, PEFT로 효율적 모델 적응

  LLM Fine-tuning의 이론과 실전을 다룹니다. LoRA의 저랭크 분해 원리, QLoRA의 4비트 양자화 기법, PEFT 라이브러리 활용법, 데이터셋 구성 전략, 하이퍼파라미터 튜닝까지 프로덕션 수준의 모델 적응 파이프라인을 구축합니다.

  2026-03-13 · 17 분 읽기 #llm#fine-tuning#lora#qlora#peft

• LLM 파인튜닝 실전 가이드: LoRA·QLoRA·PEFT로 구현하는 효율적 도메인 적응

  LLM 파인튜닝의 핵심 기법인 LoRA의 저랭크 분해 원리, QLoRA의 4비트 양자화 파인튜닝, Hugging Face PEFT 라이브러리 활용법을 심층 분석. 데이터셋 준비, 하이퍼파라미터 튜닝, 평가 메트릭, Full Fine-tuning과의 비교, 실패 사례와 복구 절차, 프로덕션 체크리스트를 다룹니다.

  2026-03-11 · 21 분 읽기 #llm#fine-tuning#lora#qlora#peft

• LLM 파인튜닝 실전 — LoRA, QLoRA, PEFT로 나만의 모델 만들기

  LLM 파인튜닝의 실전 가이드. LoRA의 수학적 원리부터 QLoRA로 소비자 GPU에서 대형 모델 학습, PEFT 라이브러리 활용법까지 코드 예제로 상세히 다룹니다.

  2026-03-02 · 10 분 읽기 #llm#fine-tuning#lora#qlora#peft

• LoRA: 대규모 언어 모델의 효율적 파인튜닝 논문 분석

  LoRA(Low-Rank Adaptation) 논문의 핵심 원리를 수학적으로 분석하고, HuggingFace PEFT를 활용한 실전 적용법을 정리한다.

  2026-03-01 · 28 분 읽기 #ai-papers#lora#fine-tuning#llm#peft