タグ: #스케줄러

← すべての記事

• 連続バッチ処理、chunked prefill、プレフィックスキャッシュを繰り返し測定で再計測する

  vLLMの基本3機能を0.6Bモデルで再計測しました。今回は条件ごとに3〜4回繰り返して中央値を採用し、機能を完全にオフにしたベースラインを併置しました。1度に1リクエストだけ処理させる場合（--max-num-seqs 1）は同時に16リクエストののスループットが174.6 tok/sにとどまり、デフォルト設定は1,683 tok/sで9.6倍でした。3,700トークンの入力が割り込むときのデコード停止の最大時間は、チャンク512トー

  2026-10-27 · 15 分で読めます #vLLM#연속 배칭#chunked prefill#접두사 캐시#cache_salt