태그: #llm-d

← 전체 글

• vLLM 이 지운 메트릭 이름을 문서가 아직 부를 때: llm-d 문서 PR 이 2시간 9분 만에 병합되기까지

  llm-d 의 문서 세 곳이 지금의 vLLM 이 내보내지 않는 메트릭 이름을 부르고 있었습니다. 가이드의 vllm:gpuprefixcachehitrate 는 vLLM 0.10 에서 사라진 V0 엔진의 게이지였고, 오토스케일러 설계 문서와 DigitalOcean 대시보드의 vllm:timeperoutputtokenseconds 는 0.11 에서 이름이 바뀌어 0.15 에서 지워진 히스토그램이었

  2026-10-16 · 18 분 읽기 #오픈소스#오픈소스 기여#llm-d#vLLM#Prometheus

• vLLM production-stack · LMCache · llm-d: 엔진 앞단과 KV 캐시 계층의 코드 지도 ♪ 들을 수 있어요

  vLLM 엔진 하나를 쿠버네티스 위 서비스로 만들려면 앞단(라우터·게이트웨이), KV 캐시를 GPU 밖으로 넓히는 계층, 그리고 둘을 잇는 메트릭이 필요합니다. 이 글은 production-stack 의 Python 라우터와 헬름 차트, vLLM 의 KV 커넥터 인터페이스와 LMCache 구현, llm-d 의 EPP(실제 코드는 llm-d-router 저장소)를 파일과 줄 단위로 따라갑니다.

  2026-10-16 · 40 분 읽기 #오픈소스#코드 읽기#vLLM#production-stack#LMCache