タグ: #샘플링
Kubernetes・DevOps・MLOps を自分で動かして測った値で書くブログ · 1 件
LLM サービングを OpenTelemetry で観測する: vLLM が実際に出力するシグナル、標準との距離、コレクターでの補完
vLLM で OpenTelemetry トレーシングを有効化してコレクターを接続し、1つのリクエストがどのようなスパンと属性として残るのか、メトリクスがどのような名前で出力されるのか、有効化のコストはどれくらいか、GenAI セマンティック規約と何が異なるのかを直接測定しました。コレクターの変換プロセッサーで名前を標準に合わせ、テールベースサンプリングで遅いリクエストのみを残すことまで確認しました。OTCA の試験範囲(コレクターパイ
2026-10-08 · 25 分で読めます #OpenTelemetry#OTCA#vLLM#트레이싱#컬렉터