标签: #ResNet

← 全部文章

• ResNet: 残差连接如何让深层网络可训练以及批归一化

  本文探讨了 ResNet 如何解决堆叠更多层却导致训练误差变大的“深度悖论”。如果让模块学习的不是整个输出，而是“需要加到输入上的差值”，那么在反向传播中梯度就会沿着加法捷径直接向下传递。同时梳理了批归一化（Batch Normalization）的作用（以及最初的解释与后续研究的解释有何不同）。在亲自运行的小实验中（深度 4、16、64，有无归一化），直接堆叠的 64 层网络即使加了归一化也无法训练，而残差 + 批归一化则成功将 64

  2026-10-17 · 13 分钟阅读 #비전 모델#ResNet#잔차 연결#배치 정규화#기울기 소실