태그: #inference

← 전체 글

• Qwen3.8-27B의 하이브리드 어텐션 — 64개 층 중 16개만 KV 캐시를 쌓는 구조

  27B 모델이 26만 토큰 컨텍스트를 노트북에서 감당하는 이유는 파라미터 수가 아니라 층 구성에 있습니다. Qwen3.8-27B는 64개 층 중 48개를 선형 어텐션(Gated DeltaNet)으로, 16개만 일반 어텐션으로 배치해 KV 캐시가 자라는 층 자체를 4분의 1로 줄였습니다. 이 구조가 무엇을 아끼고 무엇을 잃는지, FP8 블록 양자화가 어디에 적용되는지, 그리고 로컬 추론을 검토

  2026-08-14 · 15 분 읽기 #llm#inference#quantization#local-llm#attention

• Cerebras Ultrafast와 에이전트 루프의 병목 — 초당 750토큰이 줄이지 못하는 시간

  Cerebras와 OpenAI가 초당 최대 750토큰을 내는 추론 티어를 공개했습니다. 발표문이 밝히는 원리는 연산량이 아니라 데이터 이동이고, 가중치를 웨이퍼 위 SRAM에 올려 두는 방식입니다. 왜 배치 1의 디코딩이 메모리 대역폭에 묶이는지, 발표된 배속 수치가 무엇을 재고 무엇을 재지 않는지, 그리고 토큰 생성이 빨라져도 줄지 않는 시간이 여러분의 에이전트 루프에서 몇 퍼센트인지 계산

  2026-08-14 · 14 분 읽기 #llm#inference#hardware#latency#performance

• 지금 주목받는 오픈소스 (1) AI 에이전트와 LLM 도구

  LLM 애플리케이션 스택은 추론 서버, 오케스트레이션, 게이트웨이, 에이전트, RAG로 층이 갈라졌습니다. 각 층에서 실제로 쓰이는 오픈소스 12개를 스타 순위가 아니라 역할별로 묶어 소개합니다. 프로젝트마다 무엇을 대체하는지, 성숙도가 어느 정도인지, 어떤 상황에서 쓰면 안 되는지를 함께 정리했고, 저장소 경로와 라이선스, 스타 수, 최근 푸시 날짜는 2026년 8월 12일 GitHub에서

  2026-08-12 · 10 분 읽기 #open-source#llm#ai-agent#ai-platform#rag

• 텍스트 생성 오픈 모델, 크기대별로 고르는 법

  오픈 텍스트 생성 모델을 고를 때 크기는 성능 등급이 아니라 배치 제약입니다. 이 글은 온디바이스용 소형, 단일 GPU에 올리는 중형, 서버가 필요한 대형으로 나눠 각 구간에서 실제로 확인한 모델들의 파라미터, 컨텍스트, 라이선스를 정리하고, MoE 모델의 메모리 계산이 왜 다른지, 컨텍스트 확장이 왜 공짜가 아닌지, 카드가 요구하는 실행 조건을 무시하면 무엇이 깨지는지를 설명합니다. 오픈

  2026-08-12 · 12 분 읽기 #ai#llm#huggingface#open-source-llm#text-generation

• vLLM 내부 구조 (3) — 연속 배칭이 GPU를 놀게 두지 않는 방법

  정적 배칭이 왜 GPU를 놀리는지, vLLM의 이터레이션 단위 스케줄링이 그것을 어떻게 없애는지 정리했습니다. prefill과 decode의 성격 차이, V1의 통합 스케줄러와 토큰 예산, chunked prefill이 지연과 처리량에 미치는 영향을 공식 문서 기준으로 확인했습니다. vLLM 내부 구조 시리즈 3편.

  2026-08-12 · 12 분 읽기 #vllm#continuous-batching#chunked-prefill#llm#inference

• vLLM 내부 구조 (1) — 요청 하나가 토큰이 되어 나오기까지

  vLLM에 요청 하나가 들어와 토큰이 나오기까지의 전체 경로를 따라갑니다. API 서버, 스케줄러, KV 캐시 매니저, 워커, 샘플러가 각각 무슨 일을 하는지, V1 재작성 이후 프로세스가 어떻게 나뉘는지를 공식 문서와 소스로 확인해 정리했습니다. vLLM 내부 구조 시리즈 1편.

  2026-08-12 · 10 분 읽기 #vllm#llm#inference#gpu#ai-platform

• 추론 강도는 모델 선택이 아니라 요청 단위 배포 파라미터입니다

  ARC Prize가 공개한 DeepSeek V4 Flash 0731 결과 페이지에는 점수가 하나가 아니라 추론 강도별로 세 개 실려 있습니다. 이 글은 그 세 숫자에서 실제로 읽어 낼 수 있는 것을 계산합니다. 같은 강도 상향이 쉬운 벤치마크에서는 5퍼센트포인트를, 어려운 벤치마크에서는 15퍼센트포인트를 사 준다는 사실과, 그렇다면 강도를 모델 설정이 아니라 요청마다 결정하는 값으로 다뤄야

  2026-08-09 · 14 분 읽기 #llm#benchmark#arc-agi#inference#cost

• LLM 추론 VRAM 계산법 — 가중치보다 KV 캐시가 먼저 터집니다

  "이 모델이 우리 GPU에 올라갑니까"라는 질문에 곱셈 몇 번으로 답하는 방법을 정리했습니다. 가중치 메모리는 파라미터 수 곱하기 바이트로 끝나지만, 실제로 배포를 막는 것은 시퀀스 길이와 배치에 비례해서 자라는 KV 캐시입니다. KV 캐시 공식과 GQA가 이를 몇 분의 일로 줄이는 원리, 프리필 활성화와 프레임워크 오버헤드의 크기, PagedAttention이 없앤 단편화 손실, 그리고 4

  2026-07-26 · 21 분 읽기 #llm#inference#vram#kv-cache#quantization

• PD 분리는 처리량을 늘리지 않는다 — 프리필/디코드 분리가 실제로 사는 것

  프리필과 디코드를 다른 GPU로 쪼개는 PD 분리는 2026년 vLLM·SGLang·TensorRT-LLM에 모두 들어온 설계지만, 어디를 봐도 "2배에서 7배"라는 숫자만 돌아다닙니다. 그런데 vLLM 공식 문서는 같은 기능을 두고 "분리 프리필은 처리량을 개선하지 않는다"고 대문자로 못 박아 두었습니다. 둘 다 맞습니다 — 그 벤더 숫자들은 전부 처리량이 아니라 goodput(SLO를 지

  2026-07-16 · 30 분 읽기 #llm#ai#inference#kv-cache#vllm

• Mac mini가 온디바이스 AI 머신이 된 이유 — 애플 실리콘 임원 인터뷰가 말하는 것, 말하지 않는 것

  애플 실리콘 수석 프로덕트 매니저 더그 브룩스가 The Deep View 인터뷰에서 Mac mini와 Mac Studio에 대한 수요와 온디바이스 AI의 방향을 이야기했습니다. 개발자들이 왜 이 작은 데스크톱을 로컬 LLM·에이전트 머신으로 고르는지, 통합 메모리 구조의 진짜 이점은 무엇인지, 그리고 CUDA 생태계 격차와 최근 가격 인상이라는 정직한 트레이드오프까지 — 임원의 발언을 그대로

  2026-07-11 · 11 분 읽기 #apple-silicon#on-device-ai#local-llm#mac-mini#inference

• 더 생각한다고 더 맞는 것은 아니다: 테스트타임 컴퓨트와 과잉사고

  2026년 4월, Shu Zhou 등 6명은 "When More Thinking Hurts"에서 추론 토큰을 무작정 늘리는 흐름에 정면으로 질문을 던집니다. 저자들의 보고에 따르면 컴퓨트 예산이 커질수록 추가 추론 토큰의 한계 효용은 크게 줄어들고, 어느 지점부터 모델은 "과잉사고"에 빠져 이미 맞혔던 답을 스스로 뒤엎습니다. 최적 사고 길이는 문제 난이도마다 다르므로, 모두에게 같은 예산을

  2026-07-11 · 12 분 읽기 #ai#llm#reasoning#inference#test-time-compute

• Hybrid SWA로 긴 컨텍스트 추론 최적화하기 — Xiaomi MiMo v2.5가 실제로 한 것

  슬라이딩 윈도우 어텐션(SWA)과 풀 어텐션을 층별로 섞는 하이브리드 SWA는 긴 컨텍스트 추론의 KV 캐시 메모리와 연산량을 함께 줄이는 최근의 주류 설계입니다. Xiaomi가 공개한 MiMo v2.5 추론 최적화 글을 근거로, 하이브리드 SWA가 무엇이고 왜 중요한지, MiMo v2.5가 실제로 어떤 아키텍처와 시스템 엔지니어링을 했는지(70층 중 10층만 풀 어텐션, 윈도우 128, 이

  2026-07-11 · 15 분 읽기 #ai#llm#inference#attention#optimization

• KV 캐시를 4비트로 — SAW-INT4와 시스템을 아는 INT4 양자화

  긴 컨텍스트 LLM 서빙에서 진짜 메모리 병목은 가중치가 아니라 KV 캐시입니다. 이를 INT4로 그냥 줄이면 정확도가 무너지는데, 2026년 4월 프리프린트 SAW-INT4는 토큰 단위 INT4 양자화에 블록 대각 아다마르 회전을 더해 순진한 INT4가 잃은 정확도를 거의 되찾는다고 보고합니다. 이 논문의 진짜 각도는 정확도만이 아니라 처리량입니다 — 페이지드 KV 캐시 레이아웃에 바로 통

  2026-07-11 · 13 분 읽기 #ai#llm#quantization#inference#kv-cache

• LLM 캐싱의 원리 — 프롬프트 캐싱과 Prefix Cache는 왜 돈을 아껴주는가

  프롬프트 앞부분이 같으면 왜 비용이 10분의 1이 될까요? 답은 트랜스포머 내부의 KV 캐시에 있습니다. 어텐션이 인과적(causal)이라 앞쪽 토큰들의 Key/Value 벡터는 뒤에 무엇이 오든 변하지 않고, 그래서 저장해 뒀다가 재사용할 수 있습니다. prefill과 decode의 구분, KV 캐시의 메모리 수치, vLLM·SGLang의 prefix cache 구현, 그리고 Anthrop

  2026-07-08 · 14 분 읽기 #ai#llm#caching#inference#performance

• 최신 LLM 양자화 기술 총정리 — GPTQ·AWQ부터 FP8·MXFP4·KV 캐시 양자화까지

  양자화는 모델의 숫자를 더 적은 비트로 표현해 메모리와 비용을 줄이는 기술입니다. 비트가 줄어도 품질이 버티는 이유(이상치와 스케일링), GPTQ와 AWQ의 접근 차이, llama.cpp GGUF의 k-quant, QLoRA의 NF4, 그리고 2026년의 중심축인 FP8과 마이크로스케일링 FP4(MXFP4·NVFP4), 다음 병목인 KV 캐시 양자화까지 — W4A16 같은 표기법 읽는 법과

  2026-07-08 · 15 분 읽기 #ai#llm#quantization#inference#optimization

• LLM 추론 서빙 2026 — vLLM, SGLang, TensorRT-LLM 비교

  2026년의 LLM 추론 서빙을 한눈에 정리합니다. prefill과 decode의 성격 차이, continuous batching, paged KV 캐시 같은 핵심 원리부터 vLLM, SGLang, TensorRT-LLM의 강약점 비교와 선택 가이드, 실제 배포 설정까지 개발자 관점에서 다룹니다.

  2026-06-26 · 27 분 읽기 #llm-serving#vllm#sglang#tensorrt-llm#inference

• 추론을 빠르게 — Speculative Decoding과 처리량 최적화

  LLM의 decode가 느린 근본 이유부터 speculative decoding으로 속도를 끌어올리는 원리, 메두사와 EAGLE 같은 변형, chunked prefill과 prefill/decode 분리, 지연과 처리량의 트레이드오프, 그리고 TTFT/TPOT 같은 측정 지표까지 추론 가속의 핵심을 정리합니다.

  2026-06-26 · 23 분 읽기 #speculative-decoding#throughput#inference#mlops#latency

• 멀티모달 LLM 서빙 — 이미지 입력이 만드는 새로운 과제

  텍스트 전용 LLM 서빙과 무엇이 다른지부터, 비전 인코더 추가 단계, 가변 비주얼 토큰 수, 프리필 비용 급증, 멀티모달 KV 캐시와 배칭의 난점, 지연 분해와 처리량 최적화, 비용과 운영 함정까지 멀티모달 LLM 서빙의 실무를 정리합니다.

  2026-06-26 · 30 분 읽기 #mlops#multimodal#llm-serving#vllm#kv-cache

• KV 캐시와 PagedAttention — 추론 메모리의 모든 것

  LLM 추론에서 메모리를 가장 많이 먹는 주범인 KV 캐시를 깊이 파헤칩니다. KV 캐시가 무엇이고 왜 메모리를 잡아먹는지, 메모리 산수와 단편화 문제, PagedAttention의 블록 관리, prefix 공유와 KV 양자화까지 개발자 관점에서 정리합니다.

  2026-06-26 · 22 분 읽기 #kv-cache#paged-attention#inference#gpu-memory#quantization

• 커스텀 ASIC vs GPU — 칩 전쟁의 투자 관점 ♪ 들을 수 있어요

  클라우드 사업자의 자체 칩(커스텀 ASIC) 부상과 추론 시장의 변화를 투자 관점에서 분석합니다. 엔비디아의 해자와 그에 대한 도전, 밸류체인 수혜 지도, 그리고 핵심 리스크를 균형 있게 정리합니다.

  2026-06-18 · 39 분 읽기 #asic#gpu#semiconductor#investing#nvidia