タグ: #LLaVA
Kubernetes・DevOps・MLOps を自分で動かして測った値で書くブログ · 1 件
ビジョン・言語モデルとストリーミング:どのように学習させ、なぜスポーツベンチマークで弱いのか
動画を見て言葉で答えるビジョン・言語モデル(Video-LLM)がどのように学習されるのか、そしてテニスや卓球のような速いラケットスポーツのベンチマークでなぜ人間の半分程度の水準にとどまるのかをまとめます。画像エンコーダーと言語モデルをつなぐ2段階学習(LLaVA)、フレームをトークンに圧縮して実際の時刻を位置エンコーディングに組み込む方法(Qwen2.5-VL)、リアルタイム実況のための3つの仕組み(発話タイミングを合わせる損失、字幕
2026-10-17 · 17 分で読めます #비전 모델#영상-언어 모델#LLaVA#Qwen2.5-VL#스트리밍