블로그

#2026-03 762#culture 283#deep-dive 275#kubernetes 262#career 233#ai 223#llm 217#devops 198#2026-04 158#security 149#observability 118#database 113#communication 108#history 107#architecture 101#productivity 98#performance 93#linux 90#networking 89#finance 87#economy 84#mindset 80#psychology 79#ai-papers 78#food 78#it 78#travel 78#japanese 76#deep-learning 75#english 74#gpu 74#ai-agent 69#business-travel 69#postgresql 67#cs-fundamentals 63#rag 63#systems 63#python 56#learning 54#self-improvement 53

• 텍스트 생성 오픈 모델, 크기대별로 고르는 법

  오픈 텍스트 생성 모델을 고를 때 크기는 성능 등급이 아니라 배치 제약입니다. 이 글은 온디바이스용 소형, 단일 GPU에 올리는 중형, 서버가 필요한 대형으로 나눠 각 구간에서 실제로 확인한 모델들의 파라미터, 컨텍스트, 라이선스를 정리하고, MoE 모델의 메모리 계산이 왜 다른지, 컨텍스트 확장이 왜 공짜가 아닌지, 카드가 요구하는 실행 조건을 무시하면 무엇이 깨지는지를 설명합니다. 오픈

  2026-08-12 · 12 분 읽기 #ai#llm#huggingface#open-source-llm#text-generation

• 음성 모델 고르기: STT와 TTS의 실전 기준

  음성 모델은 텍스트 모델과 달리 언어 지원, 오디오 길이 제약, 실시간성, 화자 분리 여부가 먼저 정해지고 그다음에 모델이 결정됩니다. 이 글은 2026-08-12에 확인한 STT와 TTS 오픈 모델의 파라미터, 라이선스, 지원 언어, 오디오 제약을 정리하고, 실시간이라는 말을 어떻게 쪼개야 하는지, 카드에 적힌 환각과 동의 관련 경고가 왜 설계 제약인지를 설명합니다. 오픈 모델 가이드 시리

  2026-08-12 · 13 분 읽기 #ai#huggingface#open-source-llm#speech-to-text#text-to-speech

• 한국어를 지원하는 오픈 모델과 토크나이저 비용

  한국어 지원이라는 표기는 그 언어를 처리한다는 뜻이지 잘한다는 보장이 아닙니다. 이 글은 2026-08-12에 확인한 한국어 전용·이중언어 오픈 모델과 다국어 모델의 카드 값을 정리하고, 토크나이저가 한국어를 어떻게 쪼개는지가 왜 그대로 비용과 컨텍스트 소모로 이어지는지, 그리고 그것을 직접 재는 방법을 설명합니다. 한국어 모델에서 특히 갈리는 라이선스 유형도 함께 다룹니다. 오픈 모델 가이

  2026-08-12 · 12 분 읽기 #ai#llm#huggingface#open-source-llm#korean-nlp

• 라이선스와 배포: 유형 읽는 법과 양자화 배포판 출처 확인

  오픈 모델의 license 필드에 적힌 짧은 식별자는 목차일 뿐이고 실제 조건은 전문에 있습니다. 이 글은 2026-08-12에 실제로 마주친 라이선스 유형들을 정리하고, 커뮤니티 라이선스와 비상업 조건이 무엇을 요구하는지, 게이트 저장소가 배포 파이프라인에서 왜 문제가 되는지, 그리고 GGUF 같은 양자화 배포판의 출처를 어떻게 확인해야 하는지를 설명합니다. 오픈 모델 가이드 시리즈 마지막

  2026-08-12 · 13 분 읽기 #ai#llm#huggingface#open-source-llm#license

• 코드 모델 고르기: 자동완성과 대화형, FIM, 라이선스

  코드 모델은 편집기 안에서 커서 위치를 채우는 자동완성용과 질문에 답하는 대화형이 서로 다른 제품입니다. 이 글은 2026-08-12에 확인한 오픈 코드 모델들의 파라미터, 컨텍스트, FIM 지원 표기, 라이선스를 정리하고, 기본 모델에 채팅을 시키면 왜 실패하는지, 코드 모델에서 라이선스가 왜 특히 조심스러운지를 설명합니다. 오픈 모델 가이드 시리즈 7편입니다.

  2026-08-12 · 13 분 읽기 #ai#llm#huggingface#open-source-llm#code-llm

• 비전과 멀티모달: 이미지 이해, OCR, VLM 고르기

  비전 모델은 하나의 범주가 아닙니다. 대화형 VLM, OCR 전용, 문서 구조화, 이미지 검색용 임베딩은 서로 다른 물건이고 대체되지 않습니다. 이 글은 2026-08-12에 확인한 각 범주의 오픈 모델 카드 값을 정리하고, 해상도와 다중 이미지 처리 같은 실제 제약, 그리고 카드가 명시한 금지 용도를 함께 다룹니다. 오픈 모델 가이드 시리즈 6편입니다.

  2026-08-12 · 13 분 읽기 #ai#huggingface#open-source-llm#vision-language-model#ocr

• 허깅페이스 모델 카드 읽는 법: 무엇을 믿고 무엇을 의심할까

  허깅페이스 모델 카드에서 실제로 판단 근거가 되는 항목은 라이선스, 파라미터 수, 컨텍스트 길이, intended use, limitations, 학습 데이터 여섯 가지입니다. 이 글은 각 항목이 무엇을 뜻하고 무엇을 숨기는지, 다운로드 수와 좋아요 수가 왜 품질 지표가 아닌지, 그리고 카드에 적혀 있지 않은 항목을 어떻게 다뤄야 하는지를 2026-08-12에 실제로 확인한 모델 페이지 사례

  2026-08-12 · 12 분 읽기 #ai#llm#huggingface#open-source-llm#model-card

• 임베딩과 리랭커, RAG에서 실제로 중요한 것

  RAG를 만들 때 임베딩 모델 선택을 좌우하는 것은 리더보드 순위가 아니라 차원, 최대 입력 길이, 접두어 규약, 다국어 표기, 그리고 리랭커와의 역할 분담입니다. 이 글은 2026-08-12에 확인한 임베딩·리랭커 모델들의 실제 카드 값을 정리하고, MTEB 점수가 무엇을 말해 주지 않는지, 한국어 문서를 다룰 때 무엇을 직접 재야 하는지를 설명합니다. 오픈 모델 가이드 시리즈 3편입니다.

  2026-08-12 · 12 분 읽기 #ai#llm#huggingface#open-source-llm#embedding

• vLLM 내부 구조 (5) — 접두사 캐싱, 시스템 프롬프트 설계가 곧 성능이 되는 이유

  vLLM의 접두사 캐싱이 언제 적중하고 언제 못 하는지를 공식 설계 문서 기준으로 정리했습니다. 블록 해시가 앞 블록에 사슬처럼 묶이는 구조, 꽉 찬 블록만 캐시되는 이유, 프롬프트 맨 앞에 넣은 타임스탬프 하나가 캐시 전체를 날리는 과정, 그리고 cachesalt까지 다룹니다. vLLM 내부 구조 시리즈 5편.

  2026-08-12 · 13 분 읽기 #vllm#prefix-caching#kv-cache#prompt-engineering#llm

• vLLM 내부 구조 (3) — 연속 배칭이 GPU를 놀게 두지 않는 방법

  정적 배칭이 왜 GPU를 놀리는지, vLLM의 이터레이션 단위 스케줄링이 그것을 어떻게 없애는지 정리했습니다. prefill과 decode의 성격 차이, V1의 통합 스케줄러와 토큰 예산, chunked prefill이 지연과 처리량에 미치는 영향을 공식 문서 기준으로 확인했습니다. vLLM 내부 구조 시리즈 3편.

  2026-08-12 · 12 분 읽기 #vllm#continuous-batching#chunked-prefill#llm#inference

• vLLM 내부 구조 (4) — 스케줄러와 선점, 처리량이 갑자기 무너지는 지점

  vLLM 스케줄러가 매 스텝 무엇을 결정하는지, 대기 큐와 실행 큐가 어떻게 움직이는지, KV 캐시가 모자랄 때 일어나는 선점(preemption)이 지연과 처리량을 어떻게 무너뜨리는지 공식 문서와 V1 스케줄러 소스로 확인해 정리했습니다. recompute와 swap의 차이, fcfs와 priority 정책도 함께 다룹니다. vLLM 내부 구조 시리즈 4편.

  2026-08-12 · 12 분 읽기 #vllm#scheduler#preemption#kv-cache#llm

• vLLM 내부 구조 (1) — 요청 하나가 토큰이 되어 나오기까지

  vLLM에 요청 하나가 들어와 토큰이 나오기까지의 전체 경로를 따라갑니다. API 서버, 스케줄러, KV 캐시 매니저, 워커, 샘플러가 각각 무슨 일을 하는지, V1 재작성 이후 프로세스가 어떻게 나뉘는지를 공식 문서와 소스로 확인해 정리했습니다. vLLM 내부 구조 시리즈 1편.

  2026-08-12 · 10 분 읽기 #vllm#llm#inference#gpu#ai-platform

• vLLM 내부 구조 (7) — 배포 튜닝과 흔한 함정, OOM 진단 순서

  vLLM 배포를 실제로 튜닝하는 순서를 정리했습니다. gpumemoryutilization이 무엇을 정하는지, 텐서 병렬과 파이프라인 병렬을 언제 쓰는지, 양자화와 KV 캐시 자료형을 어떻게 고르는지, 그리고 OOM이 났을 때 기동 단계와 운영 단계를 나눠 진단하는 순서까지 공식 문서 기준으로 확인해 정리했습니다. vLLM 내부 구조 시리즈 마지막 편.

  2026-08-12 · 17 분 읽기 #vllm#gpu#quantization#tensor-parallel#llm

• vLLM 내부 구조 (2) — PagedAttention은 KV 캐시를 왜 페이지로 쪼갰는가

  PagedAttention이 KV 캐시를 블록 단위로 쪼갠 이유를 원 논문(arXiv:2309.06180)과 vLLM 공식 설계 문서로 확인해 정리했습니다. 연속 할당이 만드는 내부·외부 단편화, 블록 테이블이 하는 일, 블록 크기를 키우고 줄일 때의 트레이드오프까지 다룹니다. vLLM 내부 구조 시리즈 2편.

  2026-08-12 · 12 분 읽기 #vllm#paged-attention#kv-cache#llm#gpu

• vLLM 내부 구조 (6) — 컨텍스트 윈도우, max_model_len, max_tokens 완전 정리

  컨텍스트 윈도우와 maxtokens 차이가 헷갈린다면 이 글 하나로 정리됩니다. 모델의 컨텍스트 윈도우(구조적 한계), vLLM의 maxmodellen(엔진 설정), 요청당 생성 상한인 maxtokens와 maxcompletiontokens, 그리고 배치 한도인 maxnumbatchedtokens와 maxnumseqs가 각각 무엇을 제한하는지 비교표와 실제 에러 메시지로 정리했습니다. 입력과

  2026-08-12 · 20 분 읽기 #vllm#context-window#max-model-len#max-tokens#llm

• 음성 인식·합성 기술 리포트, 무엇을 읽을 것인가 — WER 한 숫자로는 안 보이는 것

  음성 인식과 합성 기술 리포트 열 편을 arXiv 원문 초록에서 직접 확인해 정리했습니다. Whisper와 Omnilingual ASR, Qwen3-ASR, Open ASR Leaderboard, Seed-TTS와 F5-TTS, CosyVoice 2, Qwen3-TTS, Fish Audio S2, Moshi, Qwen2.5-Omni와 MOSS-Audio가 각각 무엇을 새로 했고 저자들이 어떤

  2026-08-12 · 14 분 읽기 #ai-papers#paper-review#technical-report#speech-recognition#text-to-speech

• 이미지 생성·이해 기술 리포트, 무엇을 읽을 것인가 — 샘플 이미지 대신 설계를 읽기

  이미지 생성과 이해 기술 리포트 열한 편을 arXiv 원문 초록에서 직접 확인해 정리했습니다. 정류 흐름 트랜스포머와 VAR, Emu3, SANA, Janus-Pro, FLUX.1 Kontext, Qwen-Image 계열, Seedream 4.0, Z-Image와 Mage-Flow, InternVL3, 그리고 평가 쪽 Qwen-Image-Bench까지 각각 무엇을 새로 했고 저자들이 어떤 한

  2026-08-12 · 14 분 읽기 #ai-papers#paper-review#technical-report#image-generation#diffusion-transformer

• 토크나이저 내부 — 한국어가 토큰을 더 먹는 이유와 그 비용

  바이트 수준 BPE가 어떻게 동작하는지 설명하고, Qwen3와 DeepSeek-V3, Mixtral의 실제 토크나이저 파일을 내려받아 같은 뜻의 영어와 한국어 문장을 직접 토큰화해 비교합니다. 어휘 크기의 트레이드오프, config의 vocabsize와 실제 어휘 수가 다른 이유, 그리고 토큰 수가 비용과 문맥 창에 미치는 영향을 정리합니다.

  2026-08-12 · 11 분 읽기 #ai-papers#model-internals#tokenizer#bpe#korean-nlp

• 정규화와 활성화 — 학습을 무너뜨리지 않는 법

  RMSNorm과 프리노름, SwiGLU가 왜 지금의 표준이 되었는지 config 값으로 확인하고, Qwen3의 QK-Norm과 Kimi K2의 QK-Clip처럼 어텐션 로짓 폭주를 막는 최신 장치를 실제 리포트의 수치와 함께 정리합니다. 안정성을 위해 무엇을 추가하고 무엇을 감수하는지 다룹니다.

  2026-08-12 · 11 분 읽기 #ai-papers#model-internals#rmsnorm#swiglu#training-stability

• 어텐션 변형 — MHA에서 MLA까지, KV 캐시는 어떻게 줄어드는가

  MHA, MQA, GQA, MLA를 실제 config 값으로 비교합니다. Qwen3, Mixtral, GLM-4.5의 그룹 쿼리 어텐션과 DeepSeek-V3, Kimi K2의 잠재 어텐션이 토큰당 KV 캐시를 몇 배 줄이는지 공식과 숫자로 계산하고, 그 대가로 무엇을 내주는지 정리합니다.

  2026-08-12 · 10 분 읽기 #ai-papers#model-internals#attention#gqa#mla