U-Net 网络详解

U-Net 是 2015 年 Olaf Ronneberger 等人提出的网络架构最初用于医学图像分割现在广泛应用于语音增强、图像去噪、语义分割等领域。一、整体结构为什么叫U-Net形状像个U字左边编码器不断下采样变窄右边解码器不断上采样变宽中间有跳跃连接把左边的特征搬运到右边。二、编码器Encoder / 收缩路径任务提取特征逐步降低分辨率增加感受野每一层结构重复多次输入特征图 ──→ [3×3 Conv, ReLU] ──→ [3×3 Conv, ReLU] ──→ [2×2 MaxPool, stride2] ↓ 保存特征给跳跃连接用 ↓ 特征图尺寸减半通道数翻倍具体尺寸变化示例假设输入是一张572×572的灰度图1通道层操作输出尺寸通道数输入-572×5721Block12×Conv3×3568×56864MaxPool2×2284×28464Block22×Conv3×3280×280128MaxPool2×2140×140128Block32×Conv3×3136×136256MaxPool2×268×68256Block42×Conv3×364×64512MaxPool2×232×32512规律每经过一个 Block空间尺寸÷2通道数×2。三、瓶颈层Bottleneck最深层特征图最小语义信息最丰富输入: 32×32, 512通道 ↓ [3×3 Conv, 1024通道] ──→ [3×3 Conv, 1024通道] ↓ 输出: 28×28, 1024通道 ← 这是整个网络最窄的地方这里每个像素对应原始输入中很大一片区域的信息感受野最大但空间细节已经丢失。四、解码器Decoder / 扩张路径任务逐步恢复空间分辨率生成与输入等大的输出每一层结构来自更深层的上采样特征 ──→ [2×2 转置卷积/上采样] ──→ 尺寸翻倍 ↑ 来自编码器对应层的特征 ───────────→ [Concat拼接] ──→ [3×3 Conv, ReLU] ×2 ↓ 输出特征图尺寸恢复通道减半具体尺寸变化接上表层操作输出尺寸通道数瓶颈-28×281024Up1转置卷积上采样56×56512Concat Block4特征56×5610242×Conv3×352×52512Up2转置卷积上采样104×104256Concat Block3特征104×1045122×Conv3×3100×100256Up3转置卷积上采样200×200128Concat Block2特征200×2002562×Conv3×3196×196128Up4转置卷积上采样392×39264Concat Block1特征392×3921282×Conv3×3388×38864输出1×1 Conv388×3882分类数五、跳跃连接Skip Connection—— U-Net 的灵魂为什么需要它问题编码器下采样时空间细节边缘、纹理不断丢失。瓶颈层虽然语义丰富但看不清物体边界在哪里。解决把编码器每一层的高分辨率特征直接搬运到解码器对应层让解码器既能用深层的语义信息又能用浅层的细节信息。具体怎么拼接编码器 Block2 输出: 280×280, 128通道 ──→ 保存 ↓ 瓶颈层输出: 28×28, 1024通道 ──→ 上采样到 56×56, 512通道 ↓ [Concat] ↓ 解码器 Up1 输入: 56×56, (512512)1024通道 ↓ 卷积压缩到 512通道形象比喻编码器是摄影师从远到近先拍全景再拍细节解码器是修图师从小图修回大图跳跃连接是把原始高清素材直接给修图师参考避免修图时把边缘修糊六、U-Net 在语音增强中的应用语音增强的 U-Net 通常工作在时频域STFT 谱图输入: 带噪语音的幅度谱/复数谱 (T时间帧, F频率 bins) 比如 (256, 128) ↓ 编码器下采样 (128, 64) ──→ 保存跳跃特征 (64, 32) ──→ 保存跳跃特征 (32, 16) ──→ 保存跳跃特征 (16, 8) ← 瓶颈层 ↓ 解码器上采样 (32, 16) 跳跃特征 ──→ 卷积 (64, 32) 跳跃特征 ──→ 卷积 (128, 64) 跳跃特征 ──→ 卷积 (256, 128) ← 输出特征图 ↓ 输出层 预测掩码如 IRM 或 cRM或 直接预测干净谱关键区别图像 U-Net输入输出都是 2D 空间图语音 U-Net输入输出是2D 时频图横轴时间纵轴频率但操作完全一样七、为什么 U-Net 这么有效优势解释多尺度特征融合浅层抓边缘/纹理深层抓语义/整体跳跃连接把两者结合端到端训练输入什么尺寸输出什么尺寸不需要后处理参数高效编码器解码器共享结构跳跃连接不增加参数定位精确分割/增强的边界清晰因为保留了浅层高分辨率信息八、U-Net 的变体变体改进点U-Net跳跃连接变成密集连接多尺度融合更充分Attention U-Net在跳跃连接上加注意力机制只传有用的特征Res-UNet把普通卷积换成残差块训练更深更稳定Dilated U-Net用空洞卷积替代下采样不丢失分辨率Wave-U-Net直接在 1D 波形上操作不做 STFT九、一句话总结U-Net 编码器下采样提取语义 解码器上采样恢复尺寸 跳跃连接把浅层细节搬运给深层它解决了深度学习分割/增强任务的核心矛盾要看得远感受野大又要看得清分辨率高而这两者本来是不可兼得的。U-Net 通过跳跃连接巧妙地作弊——让解码器同时拥有两者的能力。