49. 残差网络（ResNet）：从梯度消失到千层网络的训练革命

1. 为什么网络越深反而越难训练2012年AlexNet在ImageNet竞赛中夺冠时只有8层而到了2014年VGG网络已经达到了19层。当时很多研究者都认为只要不断增加网络深度模型的性能就会持续提升。但现实却给了我们一个反直觉的答案——当网络深度超过某个临界点后准确率不仅不会提升反而会显著下降。这个现象在2015年何恺明团队的论文中被明确揭示在CIFAR-10数据集上56层网络的测试误差反而比20层网络更高。这就像让一个博士生去做小学数学题结果反而比小学生错得更多显然违背常理。问题的根源在于梯度消失。在反向传播过程中梯度需要从输出层逐层向前传递。对于传统的链式求导梯度是各层导数的乘积。当网络很深时多个小于1的数连乘会导致梯度指数级衰减。举个例子假设每层的梯度传递效率是0.9经过50层后梯度就变成了0.9^50≈0.005几乎可以忽略不计。2. 残差连接的革命性设计2.1 残差块的核心思想ResNet的解决方案堪称四两拨千斤既然深层网络难以学习恒等映射identity mapping那就干脆让网络只学习输入与输出之间的残差residual。具体实现就是在传统卷积块旁边增加一条捷径shortcut connection让输入信号可以直接跳过若干层。数学表达式非常简单输出 F(x) x其中F(x)是卷积层的输出x是原始输入。这个设计有两大精妙之处当F(x)0时网络自动退化为恒等映射保证深层网络至少不会比浅层更差反向传播时梯度可以通过捷径无损传递彻底解决梯度消失问题2.2 残差块的代码实现用PyTorch实现一个基础残差块只需要十几行代码class BasicBlock(nn.Module): def __init__(self, in_channels, out_channels, stride1): super().__init__() self.conv1 nn.Conv2d(in_channels, out_channels, kernel_size3, stridestride, padding1, biasFalse) self.bn1 nn.BatchNorm2d(out_channels) self.conv2 nn.Conv2d(out_channels, out_channels, kernel_size3, stride1, padding1, biasFalse) self.bn2 nn.BatchNorm2d(out_channels) self.shortcut nn.Sequential() if stride ! 1 or in_channels ! out_channels: self.shortcut nn.Sequential( nn.Conv2d(in_channels, out_channels, kernel_size1, stridestride, biasFalse), nn.BatchNorm2d(out_channels) ) def forward(self, x): out F.relu(self.bn1(self.conv1(x))) out self.bn2(self.conv2(out)) out self.shortcut(x) return F.relu(out)3. ResNet的架构演进3.1 经典ResNet变体ResNet家族有几个标志性成员ResNet-18/34使用基础残差块适合移动端部署ResNet-50/101/152引入瓶颈设计Bottleneck用1x1卷积先降维再升维ResNeXt采用分组卷积增加基数cardinalityWide ResNet增加每层的通道数减少深度下表对比了不同模型的参数量模型层数参数量(M)Top-1错误率ResNet-181811.727.9%ResNet-505025.623.9%ResNet-10110144.522.6%ResNet-15215260.221.3%3.2 预激活残差块原始ResNet在相加后才做ReLU激活这可能导致信号在深层逐渐衰减。后续改进的预激活版本ResNet v2调整了操作顺序原始Conv - BN - ReLU - Conv - BN - Add - ReLU 改进BN - ReLU - Conv - BN - ReLU - Conv - Add这种设计让梯度可以直接回传到任意浅层使得训练1000层以上的网络成为可能。在ImageNet上1001层的ResNet仍能保持22.8%的Top-1错误率。4. 残差连接的深远影响4.1 在Transformer中的应用2017年提出的Transformer架构同样采用了残差连接。每个子层自注意力/前馈网络都包裹着残差连接和层归一化LayerNorm(x Sublayer(x))这种设计对训练深层Transformer至关重要。以GPT-3为例其96层结构中包含384个残差连接每层4个线性变换没有残差连接根本无法训练。4.2 在计算机视觉中的创新残差思想催生了许多衍生架构DenseNet将所有前置层通过拼接相连HRNet在多分辨率分支间建立残差连接EfficientNet在MBConv模块中引入残差Vision Transformer在patch嵌入和注意力模块中使用残差5. 实战建议与调参技巧5.1 学习率设置由于残差连接的稳定性ResNet可以使用较大的初始学习率基础模型0.1配合线性warmup大模型0.4配合cosine衰减微调0.01-0.0015.2 标准化策略推荐使用BatchNorm时将BN放在卷积和激活之间初始化γ0β0首个残差块设为1冻结BN的统计量进行微调5.3 通道维度匹配当shortcut连接的维度不匹配时有三种解决方案用0填充缺失通道计算量小但可能欠拟合使用1x1卷积调整维度最常用对所有shortcut做投影参数量大但效果最好在医疗影像分析项目中使用ResNet-50配合适当的数据增强我们仅用10万张胸部X光片就达到了94.3%的肺炎检测准确率。关键是在最后一个残差块后添加了空间注意力模块这说明残差网络仍然是现代计算机视觉的强大基础。