태그: #production-stack
GPU·LLM·MLOps·쿠버네티스, 그리고 마음가짐에 관한 글 · 1 편
vLLM production-stack · LMCache · llm-d: 엔진 앞단과 KV 캐시 계층의 코드 지도 ♪ 들을 수 있어요
vLLM 엔진 하나를 쿠버네티스 위 서비스로 만들려면 앞단(라우터·게이트웨이), KV 캐시를 GPU 밖으로 넓히는 계층, 그리고 둘을 잇는 메트릭이 필요합니다. 이 글은 production-stack 의 Python 라우터와 헬름 차트, vLLM 의 KV 커넥터 인터페이스와 LMCache 구현, llm-d 의 EPP(실제 코드는 llm-d-router 저장소)를 파일과 줄 단위로 따라갑니다.
2026-10-16 · 40 분 읽기 #오픈소스#코드 읽기#vLLM#production-stack#LMCache