タグ: #n-gram

← すべての記事

• 推論デコーディング：当たれば4倍、外れれば損

  推論デコーディングは、安価な方法で次の数トークンをあらかじめ予測し、大きなモデルがそのドラフトを一括して検証することで、一致した分を一度に受け入れる手法です。貪欲デコーディングでは、出力が変化しないのが原則です。最も軽量なn-gram方式を8GBクラスのGPUと0.6Bモデルで測定したところ、文章をそのままコピーする作業において、単体で使用した際の秒間176.4トークンが、704.1トークン（4.0倍、提案4個）および1,117トークン

  2026-10-27 · 17 分で読めます #vLLM#추측 디코딩#speculative decoding#n-gram#EAGLE