태그: #api-key

← 전체 글

• 운영 기능: 잠자기 모드, 기동 시간, /metrics, 그리고 --api-key 가 지키지 않는 길

  서버를 끄지 않고 GPU 를 비우는 잠자기 모드, 다시 띄우는 시간을 줄이는 컴파일 캐시, 상태를 보는 /metrics, 그리고 인증을 직접 재 봤습니다. 잠자기 2단계는 42ms 만에 GPU 메모리를 6,168MiB 에서 606MiB 로 비웠고, 가중치를 다시 읽어 깨우는 데 0.39초가 걸렸습니다(같은 설정의 재기동은 32초). 1단계는 가중치를 CPU 로 옮기다 4GiB 와 4.5GiB

  2026-10-27 · 17 분 읽기 #vLLM#sleep mode#잠자기 모드#기동 시간#torch.compile