태그: #GQA
GPU·LLM·MLOps·쿠버네티스, 그리고 마음가짐에 관한 글 · 1 편
KV 캐시는 왜 필요한가: 다시 계산하지 않으려고 기억해 두는 것
언어 모델은 토큰을 하나씩 만들고, 만들 때마다 앞의 모든 토큰을 돌아봅니다. 앞 토큰의 K·V 는 한 번 계산하면 바뀌지 않으므로 저장해 두고 다시 씁니다. 이것이 KV 캐시입니다. numpy 장난감 모델로 재 보니 512토큰을 만드는 데 캐시가 없으면 8.0초, 있으면 0.49초였고 두 방식의 출력은 같았습니다. 대신 캐시는 메모리를 먹습니다. 토큰 하나의 KV 는 2 × 층 × KV 헤
2026-10-13 · 19 분 읽기 #KV 캐시#LLM 서빙#트랜스포머#어텐션#GQA