タグ: #QAT

← すべての記事

• ビット数を減らす：FP16・BF16・INT8 量子化、事後量子化と量子化認識学習、較正データ

  学習は32ビット浮動小数点（FP32）で行いますが、推論は16ビットや8ビットの整数でも可能です。ビット数を減らすとメモリ転送が減り、専用の演算器を利用できるため高速化します。FP16とBF16が範囲と精度をどのように分け合っているか、INT8が実数をメモリ上の目盛りに合わせる式 r = S(q − Z)、学習後に範囲だけを測定する事後量子化（PTQ）と学習中に量子化を模倣するQAT、範囲を決定する較正データを論文の数値とともに見ていき

  2026-10-15 · 18 分で読めます #비전 모델#실시간#FP16#BF16#INT8