タグ: #역전파

← すべての記事

• 畳み込みニューラルネットワークは何を学ぶか：フィルター、受容野、逆伝播、そしてLeNetとAlexNet

  畳み込みニューラルネットワーク（CNN）が画像から「何を」学ぶのか、最小の単位から確認します。3×3のフィルターが画像の上をスライドしながら掛け合わせて足し合わせる計算、層を重ねるごとに広がる受容野、損失を減らす方向にフィルターを修正する逆伝播と勾配降下をnumpyの例で実際に動かしてみます（ランダムに開始したフィルターが500ステップで垂直エッジフィルターになります）。その次にLeNet-5（1998）とAlexNet（2012）が何

  2026-10-17 · 14 分で読めます #비전 모델#합성곱#CNN#역전파#경사 하강

• ResNet: 残差接続が深いネットワークの学習を可能にした理由とバッチ正規化

  層をさらに積み重ねたにもかかわらず学習エラーまで悪化する「深さのパラドックス」を、ResNetがどのように解決したのかを見ていきます。ブロックが出力全体ではなく「入力に加える差分」だけを学ぶようにすると、逆伝播で勾配が足し算のショートカットに沿ってそのまま下りてきます。バッチ正規化が何をするのか（そして元の説明と後の研究の説明がどう異なるのか）についても整理します。実際に動かした小規模な実験（深さ4・16・64、正規化の有無）では、単純

  2026-10-17 · 13 分で読めます #비전 모델#ResNet#잔차 연결#배치 정규화#기울기 소실