태그: #latency
GPU·LLM·MLOps·쿠버네티스, 그리고 마음가짐에 관한 글 · 5 편
#latency 태그가 붙은 글은 5편이고, 가장 최근 글은 2026-08-14에 올라왔습니다.
함께 자주 붙은 태그: #inference 3 #llm 2 #performance 2 #speculative-decoding 2 #throughput 2
최근 90일 동안 많이 읽힌 글:
Cerebras Ultrafast와 에이전트 루프의 병목 — 초당 750토큰이 줄이지 못하는 시간
Cerebras와 OpenAI가 초당 최대 750토큰을 내는 추론 티어를 공개했습니다. 발표문이 밝히는 원리는 연산량이 아니라 데이터 이동이고, 가중치를 웨이퍼 위 SRAM에 올려 두는 방식입니다. 왜 배치 1의 디코딩이 메모리 대역폭에 묶이는지, 발표된 배속 수치가 무엇을 재고 무엇을 재지 않는지, 그리고 토큰 생성이 빨라져도 줄지 않는 시간이 여러분의 에이전트 루프에서 몇 퍼센트인지 계산
2026-08-14 · 14 분 읽기 #llm#inference#hardware#latency#performance평균은 아무것도 말하지 않는다 — 지연 시간을 분포로 디버깅하는 법
2026년 7월 27일 공개돼 해커뉴스 상단에 오른 Farid Zakaria의 글 "The mean means nothing"은 캐싱 계층을 배포한 뒤 평균 지연이 112ms에서 122ms로 9% 나빠진 상황을 다룹니다. 같은 데이터에서 p50은 99ms에서 54ms로 46% 개선됐고, p99는 309ms에서 678ms로 119% 악화됐습니다. 하나의 데이터가 정반대 결론 두 개를 동시에 지
2026-07-31 · 25 분 읽기 #observability#latency#performance#histogram#percentile추론을 빠르게 — Speculative Decoding과 처리량 최적화
LLM의 decode가 느린 근본 이유부터 speculative decoding으로 속도를 끌어올리는 원리, 메두사와 EAGLE 같은 변형, chunked prefill과 prefill/decode 분리, 지연과 처리량의 트레이드오프, 그리고 TTFT/TPOT 같은 측정 지표까지 추론 가속의 핵심을 정리합니다.
2026-06-26 · 23 분 읽기 #speculative-decoding#throughput#inference#mlops#latency프롬프트 캐싱 실전 가이드: 에이전트 앱의 비용과 지연 시간을 함께 줄이는 방법
에이전트 애플리케이션에서 프롬프트 캐싱이 왜 중요한지, OpenAI와 Anthropic의 차이, 프롬프트 구조화 패턴, ROI 판단법, 흔한 실수, 마이그레이션 체크리스트까지 실무 관점에서 정리합니다.
2026-04-12 · 16 분 읽기 #prompt-caching#latency#cost-optimization#ai-agent#llmopsSpeculative Decoding으로 LLM 추론 2~3배 빠르게: 원리부터 실전 구현까지
Speculative Decoding의 수학적 원리, Draft-Verify 파이프라인, 수용 확률 분석, vLLM/TensorRT-LLM에서의 실전 적용법, 그리고 Apple의 Mirror Speculative Decoding까지 심층 분석한다.
2026-03-02 · 9 분 읽기 #llm#speculative-decoding#inference#optimization#vllm