태그: #lora
GPU·LLM·MLOps·쿠버네티스, 그리고 마음가짐에 관한 글 · 13 편
#lora 태그가 붙은 글은 13편이고, 가장 최근 글은 2026-07-16에 올라왔습니다.
함께 자주 붙은 태그: #llm 10 #fine-tuning 9 #peft 9 #qlora 8 #2026-03 5
최근 90일 동안 많이 읽힌 글:
LoRA rank를 바꾸면 학습률도 바꿔야 하나 — μA(2026)가 가른 두 레짐, 그리고 그 측정의 한계
LoRA에서 rank를 바꾸면 최적 학습률을 다시 찾아야 한다는 통념과, "1/r 스케일링을 쓰면 학습률은 rank와 무관하다"는 통념이 실무에서 동시에 돌아다닙니다. 2026년 2월 arXiv에 올라온 μA(Maximal-Update Adaptation) 논문은 이 둘이 모두 맞다고 말합니다 — 단, 당신이 어떤 α 규약과 어떤 초기화를 쓰느냐에 따라. 이 글은 μA가 유도한 두 레짐(η가
2026-07-16 · 31 분 읽기 #llm#lora#fine-tuning#peft#trainingLLM 파인튜닝 2026 완벽 가이드 - LoRA · QLoRA · DoRA · GaLore · Unsloth · Axolotl · TRL · PEFT · MLX-LM 심층 분석 ♪ 들을 수 있어요
2026년 LLM 파인튜닝 생태계는 LoRA의 단순한 어댑터에서 출발해 QLoRA의 4비트, DoRA의 분해, GaLore의 그라디언트 프로젝션까지 5년 만에 거대한 가지를 펼쳤다. Hugging Face의 PEFT 0.14와 TRL 0.13이 표준 인터페이스를 잡았고, Unsloth가 2배 빠른 학습으로 단일 GPU 시장을 흔들었으며, Axolotl과 LLaMA-Factory가 YAML로
2026-05-16 · 41 분 읽기 #llm-fine-tuning#lora#qlora#dora#galoreAI 이미지 생성 2026 — Flux / Midjourney 7 / Ideogram 3 / Recraft / SD 3.5 / GPT-4o / Imagen 4 심층 가이드 ♪ 들을 수 있어요
2026년의 AI 이미지 생성은 더 이상 한 모델의 이야기가 아니다. Black Forest Labs의 Flux 1.1 Pro와 Kontext가 오픈웨이트로 사진실적 품질의 새 기준을 세웠고, Midjourney 7이 미적 감각의 표준으로 자리를 굳혔고, Ideogram 3가 텍스트가 들어간 이미지에서 독주하고, Recraft V3가 디자인(벡터, 로고)이라는 별도 카테고리를 열었다. Sta
2026-05-15 · 54 분 읽기 #ai-image#image-generation#flux#midjourney#ideogramFine-tuning 완전 가이드: SFT, DPO, LoRA/QLoRA, 합성 데이터, 한국어 모델 (2025)
"Fine-tuning은 죽었다"는 소리도, "RAG로 다 된다"는 소리도 반쯤만 맞다. 2025년 시점에서 SFT/DPO/RLHF의 지형, LoRA·QLoRA로 가볍게 튜닝하는 실전, 합성 데이터 파이프라인, 한국어 모델(Solar, Qwen, Llama) 파인튜닝, 그리고 Fine-tune vs RAG vs Prompt의 경계선을 한 글로 정리합니다.
2026-04-15 · 23 분 읽기 #fine-tuning#llm#ai#lora#qloraAI 엔지니어링 실전 — LLM API, RAG, 에이전트, LoRA/DPO, 벡터 DB, 평가, 관측, Prompt Injection 완전 가이드 (2025)
LLM API 프로덕션 호출의 진짜 어려움, RAG가 단순 조회가 아닌 이유, 에이전트 패턴(ReAct/Plan-Execute/ReWOO), 파인튜닝 언제/언제 하지 말까(LoRA/QLoRA/DPO), 벡터 DB 선택 매트릭스, LLM 평가의 근본적 어려움, 비용 최적화, Prompt Injection 방어까지. 데모가 아닌 '진짜 프로덕션' AI 앱을 만드는 법.
2026-04-15 · 20 분 읽기 #ai-engineering#llm#rag#ai-agent#loraUnsloth로 LLM 파인튜닝 완전 가이드 2025: QLoRA, 4bit 양자화, 2배 빠른 학습
Unsloth로 LLM 파인튜닝의 모든 것! QLoRA/LoRA 원리, 4bit 양자화(bitsandbytes), Unsloth 2x 속도 비밀, Llama 3/Mistral/Qwen 파인튜닝, 데이터 준비, 학습 설정, VRAM 최적화, GGUF/GPTQ 변환, 배포까지.
2026-03-25 · 25 분 읽기 #unsloth#llm#fine-tuning#qlora#loraFine-tuning 실전 가이드: LoRA와 QLoRA로 나만의 모델 만들기
H100 7대 없어도 됩니다. LoRA와 QLoRA를 사용하면 소비자용 GPU 한 장으로 70B 모델을 파인튜닝할 수 있습니다. 실전 코드와 함께 처음부터 끝까지 설명합니다.
2026-03-18 · 12 분 읽기 #fine-tuning#lora#qlora#llm#ai-developmentLLM 파인튜닝 완전 가이드: LoRA, QLoRA, RLHF, DPO 마스터하기
LLM 파인튜닝의 모든 기법을 다루는 완전 가이드. Full Fine-tuning부터 LoRA, QLoRA, RLHF, DPO, Instruction Tuning까지 HuggingFace PEFT와 함께 실전 예제로 마스터합니다.
2026-03-17 · 34 분 읽기 #llm#fine-tuning#lora#qlora#rlhf생성형 AI & 디퓨전 모델 완전 정복: Stable Diffusion, ControlNet, 비디오 생성까지
DDPM 수학부터 Stable Diffusion 구조, ControlNet, LoRA fine-tuning, Sora 비디오 생성까지 생성형 AI 완전 기술 가이드입니다.
2026-03-17 · 19 분 읽기 #generative-ai#diffusion-model#stable-diffusion#controlnet#비디오생성LLM Fine-tuning 실전 가이드: LoRA, QLoRA, PEFT로 효율적 모델 적응
LLM Fine-tuning의 이론과 실전을 다룹니다. LoRA의 저랭크 분해 원리, QLoRA의 4비트 양자화 기법, PEFT 라이브러리 활용법, 데이터셋 구성 전략, 하이퍼파라미터 튜닝까지 프로덕션 수준의 모델 적응 파이프라인을 구축합니다.
2026-03-13 · 17 분 읽기 #llm#fine-tuning#lora#qlora#peftLLM 파인튜닝 실전 가이드: LoRA·QLoRA·PEFT로 구현하는 효율적 도메인 적응
LLM 파인튜닝의 핵심 기법인 LoRA의 저랭크 분해 원리, QLoRA의 4비트 양자화 파인튜닝, Hugging Face PEFT 라이브러리 활용법을 심층 분석. 데이터셋 준비, 하이퍼파라미터 튜닝, 평가 메트릭, Full Fine-tuning과의 비교, 실패 사례와 복구 절차, 프로덕션 체크리스트를 다룹니다.
2026-03-11 · 21 분 읽기 #llm#fine-tuning#lora#qlora#peftLLM 파인튜닝 실전 — LoRA, QLoRA, PEFT로 나만의 모델 만들기
LLM 파인튜닝의 실전 가이드. LoRA의 수학적 원리부터 QLoRA로 소비자 GPU에서 대형 모델 학습, PEFT 라이브러리 활용법까지 코드 예제로 상세히 다룹니다.
2026-03-02 · 10 분 읽기 #llm#fine-tuning#lora#qlora#peftLoRA: 대규모 언어 모델의 효율적 파인튜닝 논문 분석
LoRA(Low-Rank Adaptation) 논문의 핵심 원리를 수학적으로 분석하고, HuggingFace PEFT를 활용한 실전 적용법을 정리한다.
2026-03-01 · 28 분 읽기 #ai-papers#lora#fine-tuning#llm#peft