タグ: #메트릭

← すべての記事

• 運用機能：スリープモード、起動時間、/metrics、そして --api-key が守らない領域

  サーバーを落とさずにGPUを空けるスリープモード、再起動時間を縮めるコンパイルキャッシュ、状態を確認する /metrics、そして認証について実際に検証しました。スリープ2段階目は42msでGPUメモリを6,168MiBから606MiBに解放し、重みを再ロードして復帰させるのに0.39秒かかりました（同設定での再起動は32秒）。1段階目は重みをCPUに移動する途中で4GiBと4.5GiB制限のコンテナをどちらもOOMで強制終了させ、0.

  2026-10-27 · 17 分で読めます #vLLM#sleep mode#잠자기 모드#기동 시간#torch.compile