태그: #TTFT

← 전체 글

• LMCache: KV 캐시를 GPU 밖으로, 엔진 사이로

  GPU 메모리 안의 프리픽스 캐시는 자리가 모자라면 지워지고, 엔진 인스턴스마다 따로입니다. LMCache 는 KV 를 CPU 메모리·디스크·원격 저장소에 내려 두었다가, 같은 앞부분이 다시 오면 다시 계산하는 대신 불러옵니다. 8GB급 GPU 실측에서 GPU 에 다 안 들어가는 문서 5만 토큰을 다시 읽힐 때 첫 토큰이 576ms 에서 48.6ms 가 되었고, 처음 읽을 때 저장 비용은 약

  2026-10-13 · 18 분 읽기 #KV 캐시#LMCache#vLLM#KV 오프로딩#CacheBlend