简介面向医学图像处理研究人员和深度学习开发者该资源提供基于transUnet与swinUnet的医学图像分割实验对比项目涵盖完整模型实现、训练与推理代码以及dice系数、IoU、召回率、精确度等评估指标并支持一键运行便于快速复现并客观比较两种先进分割架构的性能差异。压缩包内共71个文件以Python源码、pyc缓存文件为主同时包含模型权重(pth)、配置文件、示例图片与说明文档整体体积约98.76MB目录划分清晰覆盖训练、评估、预测等完整环节可直接基于项目开展二次开发、调参或数据预处理。目前已有344人学习下载适用于希望借助Swin Transformer与U-Net融合思路开展课题研究、构建基准实验或探索医学影像分割改进方案的学生与工程师能够有效减少重复搭建成本更快聚焦算法对比与优化。1. 把 transUnet 和 swinUnet 放进同一套代码里对比先明确要比什么医学图像分割这个方向U-Net 当了将近十年的默认基线transUnet 和 swinUnet 是 Transformer 入场后最有代表性的两个改造路径一个把 ViT 嵌入 U-Net 编码器一个用 Swin Transformer 重写整个编解码结构。这个项目把两个模型的训练、预测、评估代码完整拆开放进同一仓库、同一数据管线和同一指标体系下跑实验对比。谁的分割精度更高、谁的召回率更稳、显存占用差多少跑一次就能得到量化结果。适合正在给分割任务选主干网络的算法工程师以及要复现论文对比实验的研究生直接拿去改数据集跑。2. 架构差异决定选型transUnet 的混合编码与 swinUnet 的窗口注意力2.1 TransUnetViT 全局注意力与 CNN 局部特征的耦合transUnet 的出发点很直接纯 CNN 编码器感受野有限纯 Transformer 在小规模医学数据上又容易欠拟合那就把两者串起来。常见实现里 CNN 分支用 ResNet 前几个 stage 提取高分辨率浅层特征最后一个 stage 的输出经过 1x1 卷积投影成 patch embedding再送入 12 层 Transformer encoder 做全局自注意力建模。解码器仍然是 U-Net 风格的上采样与跳跃连接这就同时拿到了 CNN 的局部纹理和 Transformer 的长距离依赖。代码结构上model.py里的 forward 大致是这个形状class TransUnet(nn.Module): def __init__(self, img_size224, num_classes2): super().__init__() # CNN 分支负责浅层特征Transformer 分支负责全局建模 self.cnn ResNetV2(pretrainedTrue) self.proj nn.Conv2d(1024, 768, kernel_size1) # 通道对齐 self.transformer TransformerEncoder(dim768, depth12, heads12) self.decoder DecoderCUP() def forward(self, x): x1, x2, x3 self.cnn(x) # 三个层次的 CNN 特征 z self.proj(x3) # 转成 patch embedding z self.transformer(z) # 全局自注意力 out self.decoder(z, [x1, x2, x3]) # 跳跃连接逐层融合 return outself.proj这一步很关键它把 ResNet 输出的 1024 维特征压缩到 Transformer 能接受的 768 维 embedding 空间depth12直接决定全局建模的深度改小能省显存但会损失长距离依赖x1、x2、x3三个不同分辨率的 CNN 特征要一路带到解码器和 Transformer 输出做 concat 或 add这样浅层的边界细节不会在多次下采样中丢失。这个设计的成本要想清楚ViT 部分的自注意力计算量随图像分辨率近似平方级增长。输入从 224 提到 512显存占用会明显上涨对比实验里如果两个模型都用 512 输入transUnet 的迭代速度通常更慢。小数据场景下Transformer encoder 必须在足够大的预训练初始化下才能收敛依赖 ResNet 的 ImageNet 权重几乎是必要条件。2.2 SwinUnet窗口注意力与对称编解码结构SwinUnet 走的是另一条路不保留 CNN 分支编码器和解码器全部用 Swin Transformer block 搭建。下采样靠 patch merging 完成通道数逐层翻倍空间尺寸逐层减半上采样靠 patch expanding 完成把通道还原回空间分辨率。整体是个对称结构和 U-Net 的编码器-解码器布局一一对应。计算效率的核心在窗口注意力。每个 stage 先把特征图划分成固定大小的窗口在窗口内部做自注意力下一个 stage 再把窗口整体平移一个偏移量让信息在相邻窗口之间流动。这样自注意力的计算范围从全局缩小到窗口内复杂度从像素数的平方降到线性这也是它能在更高分辨率下训练而不爆显存的原因。权重文件名swin_tiny_patch4_window7_224.pth已经把关键超参写明白了patch4表示 patch size 是 4window7表示窗口大小是 7x7224是预训练时的输入分辨率。文件放在 SwinUnet 目录下model.py加载时通常只取编码器部分的权重解码器是随机初始化的。两个模型放在同一仓库里对比起来很直观对比维度transUnetswinUnet编码器构成ResNet ViT 混合纯 Swin Transformer注意力类型全局自注意力窗口 移位窗口注意力下采样方式CNN stride / 池化patch merging上采样方式转置卷积 / 双线性patch expanding依赖的预训练权重ResNet ImageNet 权重swin_tiny_patch4_window7_224.pth计算量随分辨率变化近似平方增长近似线性增长代码目录TransUnet/SwinUnet/2.3 从权重文件和目录结构看两个模型的工程差异两个文件夹里都各自维护了model.py、dataset.py、train.py、predict.py、evaluate.py或同类文件说明项目刻意把两套流程做成对称的。SwinUnet 侧多了__init__.py和transforms.py工程上更像一个完整可 import 的包TransUnet 侧则明显是在原版基础上做了指标扩展摘要里提到加了 recall、precision 等等对应项目里的evaluate.py和confuse_matrix.py原版往往只报告 dice 和 IoU。预训练权重加载方式也需要分开处理。SwinUnet 直接依赖仓库里的.pth文件加载时用torch.load(pretrained_path)要注意权重的 key 是否被module.前缀包裹用了 DataParallel 训练后保存的权重通常需要在加载时 strip 掉这一层。transUnet 侧常见做法是走 torchvision 或 timm 加载 ResNet 预训练权重不用手动下载文件。选型逻辑落到数据上才是真实的如果目标是多器官 CT 这类整体结构强、器官间相对位置固定的任务transUnet 的全局注意力更容易抓住跨器官的空间关系如果是高分辨率输入、小目标为主的任务swinUnet 的窗口机制在精度和显存之间更均衡。需要提醒的是本项目是二维分割如果数据本身是三维 CT 序列还要把 3D U-Net 类模型放进对比池二维模型之间的对比结论不能直接平移到三维任务上。3. 数据流转与训练脚本把对比实验的变量先控制住3.1 dataset.py 与 transforms.py成对增强的关键细节两个模型目录各自维护dataset.py和transforms.py接口必须对齐否则对比实验的第一个变量就不可控。常见的__getitem__实现是读取图像和 mask做尺寸归一化返回(image, label)张量# dataset.py 中典型的 __getitem__ 实现 def __getitem__(self, idx): img_path, mask_path self.samples[idx] img cv2.imread(img_path) # BGR 图像 mask cv2.imread(mask_path, 0) # 单通道 mask保留类别索引 img cv2.cvtColor(img, cv2.COLOR_BGR2RGB) img, mask self.transform(img, mask) # 成对增强 img torch.from_numpy(img).permute(2, 0, 1).float() / 255.0 mask torch.from_numpy(mask).long() return img, mask这里最容易被忽略的是cv2.imread(mask_path, 0)直接按灰度读入标注文件里的类别索引不会丢transform必须同时作用于 img 和 mask并保证随机种子一致否则增强后图像和标注在空间位置上对不上图像除以 255 是为了统一到预训练权重习惯的输入分布。transforms.py里一般组合随机旋转、水平翻转、仿射变换但医学图像的增强要克制增强操作适用场景风险水平翻转CT / MRI 横断面破坏左右语义需按器官判断随机旋转 ±15°大多数器官大角度会引入非解剖形态随机缩放多尺度目标缩放因子过大导致小目标消失亮度 / 对比度扰动MRI、超声幅度过大会改变组织对比弹性形变小样本扩充参数过大会使边界失真注意验证集和测试集只做 resize 与归一化绝不能使用随机增强。如果验证集也做随机旋转评估出来的指标会比真实性能虚高。3.2 train.py 的关键参数与损失函数组合train.py 的核心是训练循环两个模型共用同一套超参对比才有意义。学习率、batch size、epoch、优化器、损失函数、数据增强都要固定只替换模型本身# train.py 中的核心训练循环伪代码 optimizer torch.optim.AdamW(model.parameters(), lr1e-4, weight_decay1e-4) scheduler torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max200) criterion DiceLoss() nn.CrossEntropyLoss() for epoch in range(200): model.train() for images, masks in train_loader: images, masks images.cuda(), masks.cuda() preds model(images) loss criterion(preds, masks) optimizer.zero_grad() loss.backward() optimizer.step() # 每个 epoch 结束在验证集上计算 dice 并保存最优lr1e-4是 Transformer 编码器常见的起点相比纯 CNN 的1e-3要小因为自注意力对学习率更敏感DiceLoss() CrossEntropyLoss()组合是为了处理背景占比过大的问题交叉熵提供稳定梯度dice 损失直接把优化目标和评估指标对齐CosineAnnealingLR适合长 epoch 训练能避免后期学习率过大导致 loss 震荡。num_workers和pin_memory也值得检查。医学图像切出的 patch 通常不大CPU 预处理可能成为瓶颈我一般把num_workers设为 GPU 卡数的 4 倍左右配合pin_memoryTrue减少 Host 到 Device 的拷贝时间。两个模型目录下各有requirements.txt依赖基本一致少了环境差异这个变量对比出来的结果才干净。3.3 训练监控、验证集与模型保存策略train.py 保存权重的方式直接影响后续评估。我建议不只是存最后一个 epoch而是同时保存按验证集 dice 和按验证集 IoU 筛选出的最优 checkpoint再留一份最后一次迭代的last.pth。原因在于 dice 和 IoU 虽然正相关但对小目标区域的敏感度不同按不同指标挑出来的模型不一定相同评估阶段可以回头比较。日志至少要记录每轮的 loss、dice、recall、precision 这四项。只盯 loss 会漏掉关键信息loss 缓慢下降不代表分割质量变好可能只是背景类拟合得更好了。训练集和验证集的分工也要在脚本层面硬性区分数据增强只作用于训练集验证集做确定性变换否则 checkpoint 的筛选标准本身就不可信。4. 评估体系与混淆矩阵dice、IoU、recall、precision 的计算和解读4.1 四个核心指标在像素级二分类下的定义分割指标本质上都建立在 TP、FP、FN、TN 四个数字上。医学图像里背景像素通常占绝大多数准确率在这种不平衡分布下毫无参考价值真正要看的是 dice、IoU、recall、precision。对应代码可以写得很短def compute_metrics(pred, label, eps1e-6): tp (pred label).sum() # 预测为正且真实为正 fp (pred ~label).sum() # 预测为正但真实为负 fn (~pred label).sum() # 预测为负但真实为正 dice 2 * tp / (2 * tp fp fn eps) iou tp / (tp fp fn eps) recall tp / (tp fn eps) # 真实正样本被召回的比例 precision tp / (tp fp eps) # 预测正样本中真实为正的比例 return dice, iou, recall, precisioneps1e-6是防除零保护当图像全黑或预测全黑时返回 0 而不是报错pred和label需要先转成布尔张量实际工程里通过sigmoid(pred) 0.5得到预测 mask。四个指标的分工要分清楚指标数学含义分割场景下的解读常见误读Dice2TP / (2TPFPFN)分割区域与真实区域的重叠度小目标数值偏低不代表模型完全失败IoUTP / (TPFPFN)交集与并集之比数值略低于 dice趋势一致RecallTP / (TPFN)真实病变被检出的比例不能单看全预测为正会虚高PrecisionTP / (TPFP)预测为病变的像素中真实病变占比阈值上调会升高但 recall 会降4.2 evaluate.py 与 confuse_matrix.py 的配合方式项目里 TransUnet 文件夹中明确出现了evaluate.py和confuse_matrix.pySwinUnet 侧也有对应文件。evaluate.py 负责在测试集上输出整体指标confuse_matrix.py 则输出类别级别的混淆矩阵。整体 dice 高不等于每个类别都分割得好混淆矩阵能暴露具体问题比如第 2 类区域经常被错分成第 1 类说明两类在纹理或灰度分布上过于接近需要增加该类别的 loss 权重。推理评估时model.eval()和torch.no_grad()必须成对出现。加载权重建议用torch.load(..., map_locationcpu)再转 GPU避免路径依赖。如果发现预测结果全是一个类别优先检查三处checkpoint 是否真正加载成功、输入归一化方式是否与训练一致、输出层是 sigmoid 还是 softmax这三个错误在对比实验中出现频率最高。4.3 对比实验结果怎么读才有工程价值把两个模型的测试集指标列成一张表真正有信息量的不是均值本身而是差距超过 5 个百分点的类别。通常 transUnet 在目标区域大、边界清晰、需要全局上下文的类别上占优swinUnet 在高分辨率输入、小目标的场景下更稳这也是它在多器官分割里常被选作主干的原因。医学图像分割的实验对比结论一定要落到某个类别上为什么差而不是笼统地说哪个网络更好。指标还可以反过来指导优化方向。如果 swinUnet 的 recall 明显偏低说明漏检多常见原因是类别不平衡可以给损失函数加类别权重或在推理时调低二值化阈值如果 precision 偏低说明误检多优先级应该放在后处理而不是继续调模型。评估指标的作用是定位模型的短板不只是用来比胜负。5. 预测与推理predict.py 的输入输出、滑动窗口与后处理5.1 单张图像推理的标准化流程predict.py 做的事情是把训练好的 checkpoint 和一张测试图像变成最终的分割 mask。目录里的 predict.py 和 README 放在一起说明训练和预测是两条独立流程。单张推理的代码很短但边界条件不少# predict.py 单张图像推理伪代码 def predict_single(model, img, device): model.eval() img img.unsqueeze(0).to(device) # [1, C, H, W] with torch.no_grad(): logits model(img) # [1, num_classes, H, W] pred torch.argmax(logits, dim1) # [1, H, W]类别索引 return pred.squeeze(0).cpu().numpy()unsqueeze(0)是把单张图像补成 batch 大小为 1argmax(dim1)在类别维度上取最大响应输出直接是类别索引如果模型是二分类 sigmoid 输出这里要改成(sigmoid(logits) 0.5)。推理时务必确认模型处于 eval 模式否则 dropout 和 batch norm 的行为会改变预测结果。5.2 滑动窗口重叠推理与拼接测试图像分辨率如果大于训练输入尺寸直接 resize 会损失小目标细节更稳妥的做法是切 patch 推理再拼回原图。stride取 patch size 的一半让相邻 patch 有 50% 重叠重叠区域取概率均值能有效消除拼接接缝处的伪影stride patch_size // 2 # 50% 重叠 for y in range(0, H - patch_size 1, stride): for x in range(0, W - patch_size 1, stride): patch img[y:ypatch_size, x:xpatch_size] prob, _ model_infer(patch) # 返回类概率 acc[y:ypatch_size, x:xpatch_size] prob cnt[y:ypatch_size, x:xpatch_size] 1 result acc / np.maximum(cnt, 1)cnt矩阵记录每个像素被多少次预测覆盖最后做归一化np.maximum(cnt, 1)防止边缘像素没有被任何 patch 覆盖导致除零。重叠比例增大可以换来更平滑的边界但推理时间会线性增加。工程上如果时间紧张可以先对整图做一次小 scale 的快速推理再对置信度处于阈值附近的区域做二次精细推理而不是所有区域都跑滑动窗口。5.3 阈值选择与连通域后处理模型输出的概率图变成二值 mask 时阈值不一定要固定在 0.5。目标区域小且模型预测偏保守时把阈值下调到 0.3 到 0.4 能在不显著抬升 FP 的情况下提升 recall生产环境对误检容忍度低时可以上调阈值。比较稳妥的做法是在验证集上以 0.05 为步长扫描 0.3 到 0.7 之间的阈值选出 dice 最高或根据业务需求选 recall 与 precision 最均衡的那个值。predict.py 如果带了后处理通常是去掉面积过小的连通域。把预测 mask 中小于 N 个像素的连通域剔除或者只保留面积最大的 K 个区域对消除背景噪声点很有效。N 的取值取决于图像分辨率一般从 20 到 50 开始试分辨率越高 N 越大。这类后处理只改变预测 mask不改变模型权重可以在评估阶段反复调参不需要重新训练。6. 复现这个实验的完整顺序与高频踩坑点6.1 环境、权重与数据路径对齐拿到项目后第一步不是跑 train.py而是先确认环境。两个目录各自有 requirements.txt建议建独立虚拟环境再安装。装完后先用一条命令验证 GPU 是否真的可用python -c import torch; print(torch.__version__, torch.cuda.is_available())如果返回cuda.is_available()为 False后面所有训练都会落到 CPU 上速度差出两个量级而且报错方式很隐晦。SwinUnet 侧要确认swin_tiny_patch4_window7_224.pth和model.py的路径关系transUnet 侧则确认 ResNet 预训练权重能否正常下载。数据路径建议在 dataset.py 里改成绝对路径或软链接避免两个模型目录之间路径不一致影响读取。6.2 三个最常见的实验事故现象常见原因处理方式训练 loss 在降验证 dice 不涨过拟合到背景类检查类别权重增强正则提前停predict 输出全黑或全白checkpoint 路径错误或归一化不一致打印预测概率最大值确认加载逻辑两个模型指标差距小于 1 个点只在均值上比较按类别拆开看 recall找差异来源医学图像分割的实验对比结论不能建立在单次运行上。数据量允许时跑两次取均值或做 k 折交叉验证否则 dice 的一两个点波动完全可能被随机种子翻转。内置的confuse_matrix.py和 README 把验证路径都留好了先从一个 epoch、小输入尺寸跑通完整流程再拉到正式配置出指标。这个顺序能最快定位到问题是在模型还是在工程流程。本文还有配套的精品资源点击获取