185、注意力机制进化：SAN的二阶通道注意力与RCAN的残差通道注意力对比

185、注意力机制进化：SAN的二阶通道注意力与RCAN的残差通道注意力对比从一次模型退化说起去年有个项目，用EDSR做4倍超分，训练到第200个epoch时PSNR死活卡在32.1dB不动了。我盯着loss曲线看了半小时，发现它像条死鱼一样平躺——梯度还在更新，但指标纹丝不动。当时第一反应是学习率没调好，试了cosine annealing、warm restart，甚至手动调了三次衰减策略，结果都一样。后来翻到RCAN论文，才意识到问题出在“注意力机制”上。EDSR没有显式的通道注意力，深层特征被平等对待，导致高频细节和低频背景混在一起，模型学不动了。换上RCAN的残差通道注意力后，同样的训练配置，PSNR直接跳到32.8dB。但更让我意外的是，后来试了SAN的二阶通道注意力，在相同参数量下又涨了0.15dB。这两个注意力机制，一个是一阶统计量的极致利用，一个是二阶统计量的降维打击。今天就把它们的实现细节和踩坑经验掰开揉碎讲清楚。残差通道注意力：RCAN的“特征筛选器”RCAN的核心思路很朴素：每个通道对重建的贡献不一样，得给它们分配不同的权重。但问题在于，怎么让网络自己学会这个权重分配？RCAN的做法是：先用全局平均池化把每个通道压缩成一个标量（相当于问“这个通道整体有多活跃”），然后接两个全连接层来学习通道间的非线性关系，最后用sigmoid输出0到1之间的权重，乘回原始特征图。代码实现时有个细节特别容易翻车——全连接层的缩减比r。论文里