タグ: #메모리 대역폭

← すべての記事

• 音声対話の原理を数値で確かめる：デコーディングはメモリ帯域幅、合成はフレーム数、ストリーミングはキャッシュ

  リアルタイム音声対話の3つのパーツ（対話LLM、音声認識、音声合成）がなぜその時間で終わるのかを原理で説明し、第20回で実際に測定した値で1つずつ検証します。LLMのトークン速度は、サイズと精度が異なる4つのモデルで実際に測定したメモリ帯域幅の86〜98%、同時リクエスト16件で総スループットが約14〜15倍、入力処理は演算限界の約75〜80%であり、合成は1フレームあたり約76ms、ストリーミング音声認識のチャンクは80ms×フレーム

  2026-10-07 · 32 分で読めます #음성 에이전트#LLM 추론#메모리 대역폭#스트리밍 ASR#TTS