タグ: #Qwen3-Embedding

← すべての記事

• 自作の埋め込みサーバーをDynamoの埋めで込みワーカーに置き換えることはできるか

  稼働中の埋め込みサーバー（自作のFastAPIサーバー）と同じモデルをDynamoの埋め込みワーカーとしてデプロイし、同じ入力を両方に送って比較しました。ベクトルは同一でした（文書40件のコサイン類似度最小0.9995）。同一GPU上でのバッチサイズ8のリクエストにおけるシーケンシャルレイテンシは54msから37msへ、並行度4のスループットは秒間141文書から396文書へと変化しました。しかし、そのまま置き換えることはできませんでした

  2026-11-15 · 11 分で読めます #NVIDIA Dynamo#vLLM#임베딩#Qwen3-Embedding#쿠버네티스