标签: #역전파

← 全部文章

• ResNet: 残差连接如何让深层网络可训练以及批归一化

  本文探讨了 ResNet 如何解决堆叠更多层却导致训练误差变大的“深度悖论”。如果让模块学习的不是整个输出，而是“需要加到输入上的差值”，那么在反向传播中梯度就会沿着加法捷径直接向下传递。同时梳理了批归一化（Batch Normalization）的作用（以及最初的解释与后续研究的解释有何不同）。在亲自运行的小实验中（深度 4、16、64，有无归一化），直接堆叠的 64 层网络即使加了归一化也无法训练，而残差 + 批归一化则成功将 64

  2026-10-17 · 13 分钟阅读 #비전 모델#ResNet#잔차 연결#배치 정규화#기울기 소실

• 卷积神经网络学到了什么：滤波器、感受野、反向传播与 LeNet 和 AlexNet

  本篇从最小的单位开始，探讨卷积神经网络（CNN）在图像中学习到了「什么」。我们通过 numpy 示例亲自动手运行了 3×3 滤波器在图像上滑动、相乘并相加的计算过程，随着层数增加而不断扩大的感受野，以及为减少损失而修正滤波器的反向传播和梯度下降（一个随机初始化的滤波器在 500 步后变成了垂直边界滤波器）。接着，我们通过论文中的数值和条件总结了 LeNet-5（1998）和 AlexNet（2012）所带来的变革，并阐述了为什么 TT

  2026-10-17 · 14 分钟阅读 #비전 모델#합성곱#CNN#역전파#경사 하강