태그: #OpenAI 호환 API

← 전체 글

• 직접 만든 임베딩 서버를 Dynamo 임베딩 워커로 바꿔 끼울 수 있는가

  운영 중인 임베딩 서버(직접 만든 FastAPI 서버)와 같은 모델을 Dynamo 의 임베딩 워커로 올리고, 같은 입력을 양쪽에 보내 견줬습니다. 벡터는 같았습니다(문서 40개의 코사인 유사도 최소 0.9995). 같은 GPU 에서 묶음 8개 요청의 순차 지연은 54ms 에서 37ms 로, 동시 4 의 처리량은 초당 141문서에서 396문서로 바뀌었습니다. 그러나 그대로 바꿔 끼울 수는 없었

  2026-11-15 · 11 분 읽기 #NVIDIA Dynamo#vLLM#임베딩#Qwen3-Embedding#쿠버네티스