태그: #스케줄러

← 전체 글

• 연속 배칭, chunked prefill, 접두사 캐시를 반복 측정으로 다시 재기

  vLLM 의 기본 세 기능을 0.6B 모델로 다시 쟀습니다. 이번에는 조건마다 서너 번 반복해 중앙값을 쓰고, 기능을 아예 끈 기준선을 함께 두었습니다. 한 번에 한 요청만 돌리게 하면(--max-num-seqs 1) 동시 16요청의 처리량이 174.6 tok/s 에 머물렀고, 기본 설정은 1,683 tok/s 로 9.6배였습니다. 3,700토큰 입력이 끼어들 때 디코드가 멈추는 최대 시간은

  2026-10-27 · 15 분 읽기 #vLLM#연속 배칭#chunked prefill#접두사 캐시#cache_salt