简介图像超分辨率是计算机视觉中的经典任务旨在从低分辨率图像中重建高频细节本质上是病态问题。生成对抗网络GAN的引入让超分效果显著提升ESRGAN作为代表性模型通过RRDB残差密集块、相对判别器和感知损失改进在2至4倍自然图像放大、老照片纹理修复等场景中表现出色。在PyTorch中实现ESRGAN需要关注数据归一化、CUDA环境配置、LR-HR配对、损失权重调节等细节。实际工程中常见的坑包括输入分布不一致、训练不稳定、推理伪影等。掌握这些技术要点能帮助开发者将超分模型高效落地到生产环境为视频素材增强、监控截图前处理等应用提供可靠支持。1. 先说结论ESRGAN能解决什么问题不能解决什么问题前两天有个朋友给我发来一张图说用ESRGAN图像超分辨率把一段720p纪录片截帧放到1080p结果花草边缘全是奇怪的扭曲纹理。我一看他的代码输入图像用的是0到1归一化而我给他的模型训练时用的是-1到1区间。这类问题在PyTorch超分项目里特别常见模型本身没问题错在数据流和训练配置对不上。所以这篇不打算只贴一堆“跑通代码”而是把ESRGAN在PyTorch下的完整落地链路串一遍重点讲清楚每个环节为什么这么设计以及我在实际训练和部署时踩过的坑。1.1 一张模糊图背后的真实需求ESRGAN全称是Enhanced Super-Resolution Generative Adversarial Network底层思路是用生成对抗网络从低分辨率图像中恢复高频细节。很多人第一次接触它以为超分就是把图片“放大变清晰”其实这里有个关键区别放大upsampling只是插值超分super-resolution是在插值基础上重建缺失的高频信息。因为同一个低分辨率图像可能对应无数个合理的高分辨率结果所以超分本质上是个病态问题ESRGAN要做的是从这些可行解里挑出一个“看起来最自然”的答案。正因为这样ESRGAN在实际项目里的定位从来不是万能放大器。我的经验是它最适合处理2到4倍的自然图像放大、老照片纹理修复、视频素材细节增强在低分辨率图像上恢复植被、皮肤、布料、砖墙这类“有重复纹理”的区域作为下游任务的前处理比如把监控截图、直播截图先超分再送入识别模型。你如果只是想把一张图从300像素放大到1200像素同时保持人脸可辨认它通常比双三次插值、Lanczos插值好很多那种“塑料感”会明显下降。但如果你的核心诉求是“真实像素还原”比如车牌号、人脸身份、医学影像上的细节ESRGAN不一定适合因为它本质是在用先验知识“脑补”纹理脑补出来的部分不一定是客观真实。1.2 什么时候别用ESRGAN我见过不少项目在错误场景里硬套ESRGAN最后效果还不如普通插值。下面几种情况建议你先冷静人脸识别或者身份核验类场景绝对别直接用生成对抗网络超分。GAN会把皱纹、五官比例“修复”得很自然但它会改变人脸的身份信息导致识别模型分数异常。就算是人眼也觉得舒服对机器来说这可能是一张“假脸”。车牌、工业仪表读数、医学影像同理这类场景要的是可验证的真实像素不是视觉上的“高清”。文字截图也不适合。ESRGAN对笔画密集的地方容易生成糊在一起的伪纹理尤其是宋体、衬线体这类细节多的字体。你超分文字图不如直接用专门的文字超分模型或者矢量重绘。另外如果输入图像本身是严重JPEG压缩过的表面上只有256分辨率实际上还叠加了压缩伪影这时候应该先做去压缩伪影或者用Real-ESRGAN那套退化建模方案而不是原版ESRGAN。最后提醒一句放大倍数不要贪。ESRGAN在4倍以内效果比较可控硬上8倍的话模型会开始编造不存在的结构远处的树会变成一团团“面条”人脸会出现类似水彩画的涂抹感。如果业务确实需要8倍更合理的做法是分两级比如先超分到2倍、再超分到4倍中间加一次轻微锐化或去伪影处理。2. ESRGAN的核心部件拆解RRDB、RaGAN和有玄机的感知损失很多超分项目用起来简单但一改结构就崩原因是对ESRGAN的改进点理解不到位。它并不是单纯把SRGAN网络加深几层而是动了三个关键地方生成器主干从ResNet换成了RRDB判别器换成了相对判别器RaGAN感知损失从激活后特征换成了激活前特征。理解这三刀你才知道后续调参该动哪里。2.1 从SRGAN到ESRGAN改了哪三刀SRGAN是ESRGAN的前身它用ResNet残差块做生成器用普通判别器区分真假感知损失用VGG激活后的特征图算欧氏距离。训练结果虽然比MSE类方法锐利但会产生不自然的纹理部分区域像“磨皮过度”。ESRGAN的改进可以归纳为三个方向第一生成器主干去掉了BatchNorm改成RRDB残差密集块。BN在超分里其实是个麻烦东西它会把batch内统计量引入单张图像的生成过程训练时如果batch size偏小统计量抖动会让输出的局部亮度和颜色不稳定。删掉BN之后网络可以做得特别深官方用了23个RRDB配合残差缩放训练稳定性反而更好。第二判别器从“判断真假”改成“判断相对真假”也就是RaGAN。普通GAN判别器看到一张图只会输出一个“真实度”分数它不知道这张图是相对谁更真实。RaGAN让判别器比较真实图和生成图的相对真实程度梯度信息更丰富生成器不会过早满足于“骗过判别器”而停止细化纹理。第三感知损失从VGG激活之后挪到了激活之前。论文里的解释是激活后的特征经过ReLU截断稀疏性更强丢失了一部分纹理信息激活前的特征保留了更完整的重建信息用来约束生成器能保留更多边缘和细节。这一点我在实测中体会很明显换到激活前特征之后生成图边缘过钝的概率明显下降。2.2 生成器里的RRDB为什么能撑起超分质量RRDB全称Residual in Residual Dense Block中文可以理解成“双重残差里的密集连接块”。每个RRDB内部包含三个RDBResidual Dense Block每个RDB又由4到5个卷积层组成且每层输入都拼接前面所有层的输出形成密集连接。这种设计让信息流既能横向穿过整个block又能在纵向深度上反复融合最终保留大量局部高频细节。我代码里比较习惯这样实现单层RDBimport torch import torch.nn as nn import torch.nn.functional as F class ResidualDenseBlock(nn.Module): def __init__(self, nf64, gc32, scale0.2): super().__init__() self.conv1 nn.Conv2d(nf, gc, 3, padding1) self.conv2 nn.Conv2d(nf gc, gc, 3, padding1) self.conv3 nn.Conv2d(nf 2 * gc, gc, 3, padding1) self.conv4 nn.Conv2d(nf 3 * gc, gc, 3, padding1) self.conv5 nn.Conv2d(nf 4 * gc, nf, 3, padding1) self.lrelu nn.LeakyReLU(0.2, inplaceTrue) self.scale scale def forward(self, x): x1 self.lrelu(self.conv1(x)) x2 self.lrelu(self.conv2(torch.cat((x, x1), 1))) x3 self.lrelu(self.conv3(torch.cat((x, x1, x2), 1))) x4 self.lrelu(self.conv4(torch.cat((x, x1, x2, x3), 1))) x5 self.conv5(torch.cat((x, x1, x2, x3, x4), 1)) return x5 * self.scale x class RRDB(nn.Module): def __init__(self, nf64, gc32, scale0.2): super().__init__() self.rdb1 ResidualDenseBlock(nf, gc) self.rdb2 ResidualDenseBlock(nf, gc) self.rdb3 ResidualDenseBlock(nf, gc) self.scale scale def forward(self, x): out self.rdb1(x) out self.rdb2(out) out self.rdb3(out) return out * self.scale x注意代码里每个block最后都乘了一个0.2这就是残差缩放。如果不做这个缩放23个RRDB叠起来残差信号会不断叠加导致深层特征爆炸训练时会出现loss突然跳到NaN的现象。这个0.2在官方实现里叫residual_scale是超分网络稳定性的关键不是随便拍脑袋写的。生成器整体结构大致是“浅层特征提取 - 23个RRDB - 残差融合 - PixelShuffle上采样 - 输出”。上采样部分我习惯用卷积加PixelShuffle而不是反卷积因为反卷积容易产生棋盘格伪影。PixelShuffle相当于把多个通道重新排列成空间像素能避免那种周期性噪点。2.3 判别器与损失函数主观质量才是目标ESRGAN的判别器结构比生成器简单就是一个带下采样的二分类网络但核心是它改成相对判别。普通判别器会让生成器把图像往“全体真实分布”拉相对判别器会让生成器和当前batch里的真实图对比哪个更真实。这样生成器的目标是“比真实图更像真实图”训练梯度会稳定很多。我用PyTorch实现相对判别损失时会这么写class Discriminator(nn.Module): def __init__(self, in_nc3, nf64): super().__init__() body [ nn.Conv2d(in_nc, nf, 3, 1, 1), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(nf, nf, 3, 2, 1), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(nf, 2 * nf, 3, 1, 1), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(2 * nf, 2 * nf, 3, 2, 1), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(2 * nf, 4 * nf, 3, 1, 1), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(4 * nf, 4 * nf, 3, 2, 1), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(4 * nf, 8 * nf, 3, 1, 1), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(8 * nf, 8 * nf, 3, 2, 1), nn.LeakyReLU(0.2, inplaceTrue), nn.AdaptiveAvgPool2d(1), nn.Flatten(), nn.Linear(8 * nf, 1), ] self.body nn.Sequential(*body) def forward(self, x): return self.body(x) def rgan_adversarial_loss(D, real, fake): real_logit D(real) fake_logit D(fake) real_prob torch.sigmoid(real_logit - fake_logit.mean(dim0, keepdimTrue)) fake_prob torch.sigmoid(fake_logit - real_logit.mean(dim0, keepdimTrue)) d_loss -torch.log(real_prob 1e-12).mean() - torch.log(1.0 - fake_prob 1e-12).mean() g_loss -torch.log(fake_prob 1e-12).mean() return d_loss, g_loss感知损失部分我一般取预训练VGG19的features前35层也就是到conv4_4但不过ReLU。输入到VGG前要把图像从[-1,1]映射回[0,1]更严格的实现还需要做ImageNet均值和方差归一化否则特征分布会偏差。当然正式训练我建议用BasicSR仓库里封装好的VGG特征提取器它会处理这些细节我这里只是给一个最简版本from torchvision.models import vgg19 vgg vgg19(pretrainedTrue).features[:35].eval() for p in vgg.parameters(): p.requires_grad False def perceptual_loss(fake, real): fake (fake 1) / 2 real (real 1) / 2 return F.l1_loss(vgg(fake), vgg(real))3. PyTorch环境与数据组织把训练前的每一步做扎实很多人在超分项目上不是死在模型设计而是死在环境和数据上。环境装错版本训练到一半出现算子不兼容数据没组织好loss下降得再好看验证集依旧一塌糊涂。所以这部分我单独拿出来讲别跳过。3.1 PyTorch版本和CUDA的匹配问题ESRGAN本身对PyTorch版本不算特别敏感但上手时最容易踩坑的是CUDA编译版本不匹配。我的建议是用conda独立环境别一股脑装在base环境里不然后面跑其他项目时版本冲突会让你怀疑人生。最简单的安装方式是这样conda create -n esrgan python3.10 -y conda activate esrgan pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118如果你用30系以后的显卡比如4060、5060建议装对应新版本CUDA的PyTorch可以去PyTorch官网找cu121或者cu124的wheel。关键是装完之后一定要验证python -c import torch; print(torch.__version__); print(torch.cuda.is_available()); print(torch.cuda.get_device_name(0))如果输出torch.cuda.is_available()是False而且是在Windows上装的新显卡驱动大概率是PyTorch版本过旧换新版重装即可。还有一个常见情况是笔记本装了双显卡PyTorch默认PD板卡需要去NVIDIA控制面板把默认GPU设置成独显不然训练慢到怀疑人生。还有一类设备需要注意Jetson平台。比如JetPack 6.2.2对应的是aarch64架构不能用普通PC的pip源直接装PyTorch官方会提供与JetPack版本配套的预编译wheel。很多人在自己的Jetson上跑超分模型结果卡在安装阶段大半天其实只要直接从NVIDIA官方release通道下载对应wheel然后用pip安装就没问题了。版本对不上时不要强行降级CUDA优先找和JetPack匹配的PyTorch版本。3.2 训练数据的LR-HR配对与batch策略ESRGAN训练时输入的是成对的低分辨率图和高分辨率图低分辨率图通常由高分辨率图做双三次下采样得到。最常用的数据集是DIV2K、Flickr2K训练规模不用太大几百张高清图切块就够。原因是超分任务的特征复用性很强纹理结构是互通的不像分类任务那样需要海量语义标签。我在准备数据时比较推荐这个流程把HR图裁剪成128×128或192×192的小块用F.interpolate(scale_factor0.25, modebicubic, antialiasTrue)从HR块下采样得到32×32或48×48的LR块实际训练时对LR-HR对做同步随机翻转、旋转增加多样性归一化到[-1,1]区间标准做法是transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))。这里最容易犯的错是数据加载时把LR和HR各自随机裁剪导致位置对不上loss永远降不下去。正确做法是先用同一个随机种子生成裁剪坐标或者对两个tensor用同一个索引切片确保LR和HR严格对齐。batch size方面显存允许的情况下我一般先给16。如果显卡只有8GB显存可以把crop size调小到96×96batch size降到8别硬顶。实践里小batch训练出来的模型稳定性不一定差但如果你想用官方23个RRDB还要大batch建议gradient accumulation。4. 核心代码逐段拆解别背源码要理解每一行在干什么这一节我把自己常用的PyTorch实现拆开讲代码不是官方逐字复刻但结构完全够用。重点是理解forward里的形状变化以及训练循环里的顺序问题。4.1 生成器与RRDB的PyTorch实现生成器部分核心就是“浅层特征 RRDB主体 上采样”。我前面已经给了RRDB代码这里把完整生成器补上class Generator(nn.Module): def __init__(self, in_nc3, out_nc3, nf64, nb23, gc32): super().__init__() self.conv_first nn.Conv2d(in_nc, nf, 3, padding1) self.body nn.Sequential(*[RRDB(nf, gc) for _ in range(nb)]) self.conv_body nn.Conv2d(nf, nf, 3, padding1) self.upconv1 nn.Conv2d(nf, nf * 4, 3, padding1) self.upconv2 nn.Conv2d(nf, nf * 4, 3, padding1) self.conv_last nn.Conv2d(nf, out_nc, 3, padding1) self.lrelu nn.LeakyReLU(0.2, inplaceTrue) def forward(self, x): fea self.lrelu(self.conv_first(x)) out self.conv_body(self.body(fea)) out out fea out self.lrelu(self.upconv1(out)) out F.pixel_shuffle(out, 2) out self.lrelu(self.upconv2(out)) out F.pixel_shuffle(out, 2) out self.conv_last(out) return out你注意看upconv1输出的通道数是nf * 4然后用pixel_shuffle重排成空间大小翻倍、通道数变回nf这就是一个完整的2倍上采样。要做4倍超分就重复两次这个操作和官方结构一致。如果你想要更快的推理速度也可以在最后一次性用pixel_shuffle的4倍上采样但那种结构在训练时回传梯度会稍微不同需要自己对比。4.2 相对判别器与损失拼装训练GAN时判别器和生成器的更新节奏很关键。我一般先用L1损失预热生成器一段时间这时候只优化生成器不训练判别器。预热的意义是让生成器先学会一个“基础放大能力”避免从随机初始化直接进GAN对抗生成器会崩溃输出一堆彩色噪点。预热迭代次数不一定固定我习惯观察L1 loss降到比较平缓之后再切GAN。GAN联合训练的伪代码如下# 预热阶段只用L1 for step, (lr, hr) in enumerate(train_loader): lr, hr lr.to(device), hr.to(device) sr G(lr) loss F.l1_loss(sr, hr) opt_G.zero_grad() loss.backward() opt_G.step() # 联合训练阶段 for step, (lr, hr) in enumerate(train_loader): lr, hr lr.to(device), hr.to(device) sr G(lr) # 更新判别器 opt_D.zero_grad() d_loss, _ rgan_adversarial_loss(D, hr, sr.detach()) d_loss.backward() opt_D.step() # 更新生成器 opt_G.zero_grad() loss_pixel F.l1_loss(sr, hr) loss_percep perceptual_loss(sr, hr) loss_gan, _ rgan_adversarial_loss(D, hr, sr) loss loss_percep 0.005 * loss_gan 0.01 * loss_pixel loss.backward() opt_G.step()这里生成器总loss是三项相加感知损失权重最大GAN损失权重取0.005像素L1损失权重取0.01。如果你发现生成图太“油”或者出现水彩痕可以把GAN损失权重降到0.001如果生成图过于平滑、细节不足适当提高感知损失权重。整体上ESRGAN是在“锐利”和“自然”之间找平衡权重没有绝对标准必须跟着验证集的主观效果走。4.3 训练循环里的顺序与坑第一坑是sr.detach()不能省。判别器反向传播时不能把梯度传到生成器否则生成器会被判别器偷着更新一步破坏整体节奏。很多人用PyTorch写GAN时习惯一起算两个loss再同时backward结果训练特别不稳定就是这个原因。第二坑是PyTorch 2.x里的编译和自动混合精度。我建议前期用FP32把流程跑通别一上来就上AMP。GAN本身对梯度噪声敏感AMP缩放参数设置不当容易让判别器先崩。先确保模型能稳定收敛再把需要用AMP的算子单独加GradScaler。第三坑是学习率。预热阶段我常用lr2e-4进入GAN联合训练后降到1e-4再用余弦退火缓慢衰减。如果loss出现NaN第一反应不是换学习率而是检查数据里有没有全黑图、全白图或者标签是否错位。5. 推理部署与实测调优从“能跑”到“效果好”训练出一版模型只是起点。真正落到项目里最耗时间的其实是推理阶段的效果调优。这一节讲讲我自己常用的推理脚本、质量评价体系以及遇到伪影时的排查顺序。5.1 推理脚本的正确姿势加载预训练权重时要注意PyTorch 2.6开始默认weights_onlyTrue如果直接用torch.load(path)加载老版本的checkpoint可能会报weights_only相关错误。解决办法是显式声明state_dict torch.load(esrgan_x4.pth, map_locationcpu, weights_onlyTrue) G.load_state_dict(state_dict, strictFalse)用strictFalse的原因是如果官方权重里有些buffer名称和你手写代码不一致直接加载会报错先宽松加载再打印缺失键名去排查。如果你用的是官方RRDB_ESRGAN_x4.pth加载后记得G.eval()推理时包在torch.no_grad()里。对大图做推理时一次性送入整张4K图显存会爆掉。我的做法是分块推理块与块之间加overlap然后对重叠区域做平均避免边缘拼接痕迹。下面这段代码足够演示思路def tile_infer(model, lr, scale4, tile_size256, overlap16): model.eval() _, _, h, w lr.shape out torch.zeros(1, 3, h * scale, w * scale).to(lr.device) count torch.zeros_like(out) step tile_size - overlap for y in range(0, h, step): for x in range(0, w, step): y0 min(y, h - tile_size) x0 min(x, w - tile_size) tile lr[:, :, y0:y0 tile_size, x0:x0 tile_size] with torch.no_grad(): sr_tile model(tile) y1 y0 * scale x1 x0 * scale out[:, :, y1:y1 sr_tile.shape[2], x1:x1 sr_tile.shape[3]] sr_tile count[:, :, y1:y1 sr_tile.shape[2], x1:x1 sr_tile.shape[3]] 1 return out / count.clamp(min1)这个版本不算最优但胜在容易理解和修改。真正在生产里我还会把重叠区域换成渐入渐出的权重比如在xy方向各做一个线性渐变mask这样即使模型在tile边界产生轻微差异也能无缝融合。5.2 图像质量评价为什么PSNR高了不一定好看训练超分模型最迷惑的地方是PSNR涨了人肉眼看起来却变差了。原因是PSNR和SSIM都是基于像素对齐的全参考指标它们偏好“平滑、保守、接近原图”的预测结果。GAN生成器为了增加纹理会故意制造一些原图里没有但看起来合理的高频细节这会让PSNR下降却让主观视觉更好。所以我现在评估模型时不再只盯PSNR而是看下面几个指标的组合PSNR/SSIM用于判断生成图是否过度偏离真实分布但不作为主要追求LPIPS用预训练神经网络特征算感知距离数值越低主观感知越接近NIQE无参考指标适合评估大图观感数值越低说明自然度越高人工A/B对比把老图和超分结果并列放大到1:1让业务方直接选。PSNR算的时候有个细节如果训练时HR做了边界裁切计算PSNR前也要把输入图像边界裁掉对应的像素一般是scale倍数的像素否则数值会偏低。另外超分图像最好转成Y通道计算PSNR/SSIM因为人眼对亮度更敏感。5.3 常见伪影与修复思路超分结果出现伪影时不要急着换模型先定位是哪个阶段的问题。我总结下来95%的伪影可以归成三类第一类颜色偏移。观察输出图的肤色、草色整体偏灰或偏紫多半是归一化范围不一致。比如训练时图像在[-1,1]推理时却用[0,1]输入模型看到的分布完全不一样颜色自然乱掉。检查推理代码里的归一化处理强制统一即可。第二类边缘水波纹或连续扭曲。这通常是GAN权重过高生成器在边缘区域过度创造纹理。先试降低gan_weight同时看感知损失是否用的激活前特征如果是激活后特征赶紧改过来。这类伪影在文字、树枝、栏杆上特别明显。第三类整体模糊、细节缺失。这不是GAN的问题很可能是生成器太浅或者预热的L1阶段没训练够。可以增大nb参数到23或者把训练块从96提升到128以上。6. 从图像到视频ESRGAN的扩展玩法与我的经验把ESRGAN做成视频超分是很多人最终的需求但逐帧处理只是一个开始。直接对视频每一帧分别超分结果会有明显的闪烁感因为相邻帧抖动让重建的纹理不稳定。我把自己做过的两种方案分享一下不一定是最先进的但很实用。6.1 视频超分的基本套路最简单的流程是抽帧、逐帧超分、再合成视频。这个方案适合对时间一致性要求不高的短视频比如二次元片段、风景素材。重点是抽帧时不要重新压缩用ffmpeg -i input.mp4 frames/%06d.png抽成PNG序列处理完再用无损编码合成否则二次压缩会把超分恢复出来的细节又破坏掉。如果发现画面闪烁明显一个轻量补救方案是做一个时域稳定后处理把前后帧超分结果的亮度、颜色对齐到当前帧用高斯权重混合。这样做不会增加很多计算量但能压掉大部分闪变。更重度的方案是用BasicVSR这类视频超分模型但它需要的训练资源和数据量会高一个量级。6.2 我的个人实操经验最后分享几个反复踩坑之后换来的经验。第一个是“预训练权重不是免死金牌”。就算你直接下载官方ESRGAN权重也一定要先跑一张自己业务域的测试图确认色彩、倾向符合预期。很多开源权重是用DIV2K这种自然图像训练的放到动漫、游戏UI、显微图像上会水土不服。解决办法是拿几百张业务图做轻量fine-tune不用训练太久几轮就能扳回风格偏差。第二个是“超分不能修复模糊”。如果输入图像本身失焦很严重ESRGAN生成出来的细节是假的而且会放大噪点。遇到这种图我通常先做一次去模糊或锐化再送进ESRGAN效果反而更好。超分模型不是修图软件它是“纹理重建器”不是“对焦拯救者”。第三个是“保存模型时把归一化和推理参数一起存进配置”。我之前因为换了设备推理脚本里忘了图像范围是[-1,1]还是[0,1]白白浪费了几天调参时间。现在我的每个项目都会单独写一个infer_config.json记录输入尺寸、归一化方式、训练时的下采样算法、是否crop border这样无论谁接手都能快速复现结果。ESRGAN这块内容看着不难但细节非常多。把我上面说的模块、数据、训练、推理四个方面串起来你不仅能跑通一个PyTorch超分项目还能在遇到效果问题时有一张清楚的排查地图。本文还有配套的精品资源点击获取 PyTorch ESRGAN图像超分实战：原理、训练与部署避坑指南
简介图像超分辨率是计算机视觉中的经典任务旨在从低分辨率图像中重建高频细节本质上是病态问题。生成对抗网络GAN的引入让超分效果显著提升ESRGAN作为代表性模型通过RRDB残差密集块、相对判别器和感知损失改进在2至4倍自然图像放大、老照片纹理修复等场景中表现出色。在PyTorch中实现ESRGAN需要关注数据归一化、CUDA环境配置、LR-HR配对、损失权重调节等细节。实际工程中常见的坑包括输入分布不一致、训练不稳定、推理伪影等。掌握这些技术要点能帮助开发者将超分模型高效落地到生产环境为视频素材增强、监控截图前处理等应用提供可靠支持。1. 先说结论ESRGAN能解决什么问题不能解决什么问题前两天有个朋友给我发来一张图说用ESRGAN图像超分辨率把一段720p纪录片截帧放到1080p结果花草边缘全是奇怪的扭曲纹理。我一看他的代码输入图像用的是0到1归一化而我给他的模型训练时用的是-1到1区间。这类问题在PyTorch超分项目里特别常见模型本身没问题错在数据流和训练配置对不上。所以这篇不打算只贴一堆“跑通代码”而是把ESRGAN在PyTorch下的完整落地链路串一遍重点讲清楚每个环节为什么这么设计以及我在实际训练和部署时踩过的坑。1.1 一张模糊图背后的真实需求ESRGAN全称是Enhanced Super-Resolution Generative Adversarial Network底层思路是用生成对抗网络从低分辨率图像中恢复高频细节。很多人第一次接触它以为超分就是把图片“放大变清晰”其实这里有个关键区别放大upsampling只是插值超分super-resolution是在插值基础上重建缺失的高频信息。因为同一个低分辨率图像可能对应无数个合理的高分辨率结果所以超分本质上是个病态问题ESRGAN要做的是从这些可行解里挑出一个“看起来最自然”的答案。正因为这样ESRGAN在实际项目里的定位从来不是万能放大器。我的经验是它最适合处理2到4倍的自然图像放大、老照片纹理修复、视频素材细节增强在低分辨率图像上恢复植被、皮肤、布料、砖墙这类“有重复纹理”的区域作为下游任务的前处理比如把监控截图、直播截图先超分再送入识别模型。你如果只是想把一张图从300像素放大到1200像素同时保持人脸可辨认它通常比双三次插值、Lanczos插值好很多那种“塑料感”会明显下降。但如果你的核心诉求是“真实像素还原”比如车牌号、人脸身份、医学影像上的细节ESRGAN不一定适合因为它本质是在用先验知识“脑补”纹理脑补出来的部分不一定是客观真实。1.2 什么时候别用ESRGAN我见过不少项目在错误场景里硬套ESRGAN最后效果还不如普通插值。下面几种情况建议你先冷静人脸识别或者身份核验类场景绝对别直接用生成对抗网络超分。GAN会把皱纹、五官比例“修复”得很自然但它会改变人脸的身份信息导致识别模型分数异常。就算是人眼也觉得舒服对机器来说这可能是一张“假脸”。车牌、工业仪表读数、医学影像同理这类场景要的是可验证的真实像素不是视觉上的“高清”。文字截图也不适合。ESRGAN对笔画密集的地方容易生成糊在一起的伪纹理尤其是宋体、衬线体这类细节多的字体。你超分文字图不如直接用专门的文字超分模型或者矢量重绘。另外如果输入图像本身是严重JPEG压缩过的表面上只有256分辨率实际上还叠加了压缩伪影这时候应该先做去压缩伪影或者用Real-ESRGAN那套退化建模方案而不是原版ESRGAN。最后提醒一句放大倍数不要贪。ESRGAN在4倍以内效果比较可控硬上8倍的话模型会开始编造不存在的结构远处的树会变成一团团“面条”人脸会出现类似水彩画的涂抹感。如果业务确实需要8倍更合理的做法是分两级比如先超分到2倍、再超分到4倍中间加一次轻微锐化或去伪影处理。2. ESRGAN的核心部件拆解RRDB、RaGAN和有玄机的感知损失很多超分项目用起来简单但一改结构就崩原因是对ESRGAN的改进点理解不到位。它并不是单纯把SRGAN网络加深几层而是动了三个关键地方生成器主干从ResNet换成了RRDB判别器换成了相对判别器RaGAN感知损失从激活后特征换成了激活前特征。理解这三刀你才知道后续调参该动哪里。2.1 从SRGAN到ESRGAN改了哪三刀SRGAN是ESRGAN的前身它用ResNet残差块做生成器用普通判别器区分真假感知损失用VGG激活后的特征图算欧氏距离。训练结果虽然比MSE类方法锐利但会产生不自然的纹理部分区域像“磨皮过度”。ESRGAN的改进可以归纳为三个方向第一生成器主干去掉了BatchNorm改成RRDB残差密集块。BN在超分里其实是个麻烦东西它会把batch内统计量引入单张图像的生成过程训练时如果batch size偏小统计量抖动会让输出的局部亮度和颜色不稳定。删掉BN之后网络可以做得特别深官方用了23个RRDB配合残差缩放训练稳定性反而更好。第二判别器从“判断真假”改成“判断相对真假”也就是RaGAN。普通GAN判别器看到一张图只会输出一个“真实度”分数它不知道这张图是相对谁更真实。RaGAN让判别器比较真实图和生成图的相对真实程度梯度信息更丰富生成器不会过早满足于“骗过判别器”而停止细化纹理。第三感知损失从VGG激活之后挪到了激活之前。论文里的解释是激活后的特征经过ReLU截断稀疏性更强丢失了一部分纹理信息激活前的特征保留了更完整的重建信息用来约束生成器能保留更多边缘和细节。这一点我在实测中体会很明显换到激活前特征之后生成图边缘过钝的概率明显下降。2.2 生成器里的RRDB为什么能撑起超分质量RRDB全称Residual in Residual Dense Block中文可以理解成“双重残差里的密集连接块”。每个RRDB内部包含三个RDBResidual Dense Block每个RDB又由4到5个卷积层组成且每层输入都拼接前面所有层的输出形成密集连接。这种设计让信息流既能横向穿过整个block又能在纵向深度上反复融合最终保留大量局部高频细节。我代码里比较习惯这样实现单层RDBimport torch import torch.nn as nn import torch.nn.functional as F class ResidualDenseBlock(nn.Module): def __init__(self, nf64, gc32, scale0.2): super().__init__() self.conv1 nn.Conv2d(nf, gc, 3, padding1) self.conv2 nn.Conv2d(nf gc, gc, 3, padding1) self.conv3 nn.Conv2d(nf 2 * gc, gc, 3, padding1) self.conv4 nn.Conv2d(nf 3 * gc, gc, 3, padding1) self.conv5 nn.Conv2d(nf 4 * gc, nf, 3, padding1) self.lrelu nn.LeakyReLU(0.2, inplaceTrue) self.scale scale def forward(self, x): x1 self.lrelu(self.conv1(x)) x2 self.lrelu(self.conv2(torch.cat((x, x1), 1))) x3 self.lrelu(self.conv3(torch.cat((x, x1, x2), 1))) x4 self.lrelu(self.conv4(torch.cat((x, x1, x2, x3), 1))) x5 self.conv5(torch.cat((x, x1, x2, x3, x4), 1)) return x5 * self.scale x class RRDB(nn.Module): def __init__(self, nf64, gc32, scale0.2): super().__init__() self.rdb1 ResidualDenseBlock(nf, gc) self.rdb2 ResidualDenseBlock(nf, gc) self.rdb3 ResidualDenseBlock(nf, gc) self.scale scale def forward(self, x): out self.rdb1(x) out self.rdb2(out) out self.rdb3(out) return out * self.scale x注意代码里每个block最后都乘了一个0.2这就是残差缩放。如果不做这个缩放23个RRDB叠起来残差信号会不断叠加导致深层特征爆炸训练时会出现loss突然跳到NaN的现象。这个0.2在官方实现里叫residual_scale是超分网络稳定性的关键不是随便拍脑袋写的。生成器整体结构大致是“浅层特征提取 - 23个RRDB - 残差融合 - PixelShuffle上采样 - 输出”。上采样部分我习惯用卷积加PixelShuffle而不是反卷积因为反卷积容易产生棋盘格伪影。PixelShuffle相当于把多个通道重新排列成空间像素能避免那种周期性噪点。2.3 判别器与损失函数主观质量才是目标ESRGAN的判别器结构比生成器简单就是一个带下采样的二分类网络但核心是它改成相对判别。普通判别器会让生成器把图像往“全体真实分布”拉相对判别器会让生成器和当前batch里的真实图对比哪个更真实。这样生成器的目标是“比真实图更像真实图”训练梯度会稳定很多。我用PyTorch实现相对判别损失时会这么写class Discriminator(nn.Module): def __init__(self, in_nc3, nf64): super().__init__() body [ nn.Conv2d(in_nc, nf, 3, 1, 1), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(nf, nf, 3, 2, 1), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(nf, 2 * nf, 3, 1, 1), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(2 * nf, 2 * nf, 3, 2, 1), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(2 * nf, 4 * nf, 3, 1, 1), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(4 * nf, 4 * nf, 3, 2, 1), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(4 * nf, 8 * nf, 3, 1, 1), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(8 * nf, 8 * nf, 3, 2, 1), nn.LeakyReLU(0.2, inplaceTrue), nn.AdaptiveAvgPool2d(1), nn.Flatten(), nn.Linear(8 * nf, 1), ] self.body nn.Sequential(*body) def forward(self, x): return self.body(x) def rgan_adversarial_loss(D, real, fake): real_logit D(real) fake_logit D(fake) real_prob torch.sigmoid(real_logit - fake_logit.mean(dim0, keepdimTrue)) fake_prob torch.sigmoid(fake_logit - real_logit.mean(dim0, keepdimTrue)) d_loss -torch.log(real_prob 1e-12).mean() - torch.log(1.0 - fake_prob 1e-12).mean() g_loss -torch.log(fake_prob 1e-12).mean() return d_loss, g_loss感知损失部分我一般取预训练VGG19的features前35层也就是到conv4_4但不过ReLU。输入到VGG前要把图像从[-1,1]映射回[0,1]更严格的实现还需要做ImageNet均值和方差归一化否则特征分布会偏差。当然正式训练我建议用BasicSR仓库里封装好的VGG特征提取器它会处理这些细节我这里只是给一个最简版本from torchvision.models import vgg19 vgg vgg19(pretrainedTrue).features[:35].eval() for p in vgg.parameters(): p.requires_grad False def perceptual_loss(fake, real): fake (fake 1) / 2 real (real 1) / 2 return F.l1_loss(vgg(fake), vgg(real))3. PyTorch环境与数据组织把训练前的每一步做扎实很多人在超分项目上不是死在模型设计而是死在环境和数据上。环境装错版本训练到一半出现算子不兼容数据没组织好loss下降得再好看验证集依旧一塌糊涂。所以这部分我单独拿出来讲别跳过。3.1 PyTorch版本和CUDA的匹配问题ESRGAN本身对PyTorch版本不算特别敏感但上手时最容易踩坑的是CUDA编译版本不匹配。我的建议是用conda独立环境别一股脑装在base环境里不然后面跑其他项目时版本冲突会让你怀疑人生。最简单的安装方式是这样conda create -n esrgan python3.10 -y conda activate esrgan pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118如果你用30系以后的显卡比如4060、5060建议装对应新版本CUDA的PyTorch可以去PyTorch官网找cu121或者cu124的wheel。关键是装完之后一定要验证python -c import torch; print(torch.__version__); print(torch.cuda.is_available()); print(torch.cuda.get_device_name(0))如果输出torch.cuda.is_available()是False而且是在Windows上装的新显卡驱动大概率是PyTorch版本过旧换新版重装即可。还有一个常见情况是笔记本装了双显卡PyTorch默认PD板卡需要去NVIDIA控制面板把默认GPU设置成独显不然训练慢到怀疑人生。还有一类设备需要注意Jetson平台。比如JetPack 6.2.2对应的是aarch64架构不能用普通PC的pip源直接装PyTorch官方会提供与JetPack版本配套的预编译wheel。很多人在自己的Jetson上跑超分模型结果卡在安装阶段大半天其实只要直接从NVIDIA官方release通道下载对应wheel然后用pip安装就没问题了。版本对不上时不要强行降级CUDA优先找和JetPack匹配的PyTorch版本。3.2 训练数据的LR-HR配对与batch策略ESRGAN训练时输入的是成对的低分辨率图和高分辨率图低分辨率图通常由高分辨率图做双三次下采样得到。最常用的数据集是DIV2K、Flickr2K训练规模不用太大几百张高清图切块就够。原因是超分任务的特征复用性很强纹理结构是互通的不像分类任务那样需要海量语义标签。我在准备数据时比较推荐这个流程把HR图裁剪成128×128或192×192的小块用F.interpolate(scale_factor0.25, modebicubic, antialiasTrue)从HR块下采样得到32×32或48×48的LR块实际训练时对LR-HR对做同步随机翻转、旋转增加多样性归一化到[-1,1]区间标准做法是transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))。这里最容易犯的错是数据加载时把LR和HR各自随机裁剪导致位置对不上loss永远降不下去。正确做法是先用同一个随机种子生成裁剪坐标或者对两个tensor用同一个索引切片确保LR和HR严格对齐。batch size方面显存允许的情况下我一般先给16。如果显卡只有8GB显存可以把crop size调小到96×96batch size降到8别硬顶。实践里小batch训练出来的模型稳定性不一定差但如果你想用官方23个RRDB还要大batch建议gradient accumulation。4. 核心代码逐段拆解别背源码要理解每一行在干什么这一节我把自己常用的PyTorch实现拆开讲代码不是官方逐字复刻但结构完全够用。重点是理解forward里的形状变化以及训练循环里的顺序问题。4.1 生成器与RRDB的PyTorch实现生成器部分核心就是“浅层特征 RRDB主体 上采样”。我前面已经给了RRDB代码这里把完整生成器补上class Generator(nn.Module): def __init__(self, in_nc3, out_nc3, nf64, nb23, gc32): super().__init__() self.conv_first nn.Conv2d(in_nc, nf, 3, padding1) self.body nn.Sequential(*[RRDB(nf, gc) for _ in range(nb)]) self.conv_body nn.Conv2d(nf, nf, 3, padding1) self.upconv1 nn.Conv2d(nf, nf * 4, 3, padding1) self.upconv2 nn.Conv2d(nf, nf * 4, 3, padding1) self.conv_last nn.Conv2d(nf, out_nc, 3, padding1) self.lrelu nn.LeakyReLU(0.2, inplaceTrue) def forward(self, x): fea self.lrelu(self.conv_first(x)) out self.conv_body(self.body(fea)) out out fea out self.lrelu(self.upconv1(out)) out F.pixel_shuffle(out, 2) out self.lrelu(self.upconv2(out)) out F.pixel_shuffle(out, 2) out self.conv_last(out) return out你注意看upconv1输出的通道数是nf * 4然后用pixel_shuffle重排成空间大小翻倍、通道数变回nf这就是一个完整的2倍上采样。要做4倍超分就重复两次这个操作和官方结构一致。如果你想要更快的推理速度也可以在最后一次性用pixel_shuffle的4倍上采样但那种结构在训练时回传梯度会稍微不同需要自己对比。4.2 相对判别器与损失拼装训练GAN时判别器和生成器的更新节奏很关键。我一般先用L1损失预热生成器一段时间这时候只优化生成器不训练判别器。预热的意义是让生成器先学会一个“基础放大能力”避免从随机初始化直接进GAN对抗生成器会崩溃输出一堆彩色噪点。预热迭代次数不一定固定我习惯观察L1 loss降到比较平缓之后再切GAN。GAN联合训练的伪代码如下# 预热阶段只用L1 for step, (lr, hr) in enumerate(train_loader): lr, hr lr.to(device), hr.to(device) sr G(lr) loss F.l1_loss(sr, hr) opt_G.zero_grad() loss.backward() opt_G.step() # 联合训练阶段 for step, (lr, hr) in enumerate(train_loader): lr, hr lr.to(device), hr.to(device) sr G(lr) # 更新判别器 opt_D.zero_grad() d_loss, _ rgan_adversarial_loss(D, hr, sr.detach()) d_loss.backward() opt_D.step() # 更新生成器 opt_G.zero_grad() loss_pixel F.l1_loss(sr, hr) loss_percep perceptual_loss(sr, hr) loss_gan, _ rgan_adversarial_loss(D, hr, sr) loss loss_percep 0.005 * loss_gan 0.01 * loss_pixel loss.backward() opt_G.step()这里生成器总loss是三项相加感知损失权重最大GAN损失权重取0.005像素L1损失权重取0.01。如果你发现生成图太“油”或者出现水彩痕可以把GAN损失权重降到0.001如果生成图过于平滑、细节不足适当提高感知损失权重。整体上ESRGAN是在“锐利”和“自然”之间找平衡权重没有绝对标准必须跟着验证集的主观效果走。4.3 训练循环里的顺序与坑第一坑是sr.detach()不能省。判别器反向传播时不能把梯度传到生成器否则生成器会被判别器偷着更新一步破坏整体节奏。很多人用PyTorch写GAN时习惯一起算两个loss再同时backward结果训练特别不稳定就是这个原因。第二坑是PyTorch 2.x里的编译和自动混合精度。我建议前期用FP32把流程跑通别一上来就上AMP。GAN本身对梯度噪声敏感AMP缩放参数设置不当容易让判别器先崩。先确保模型能稳定收敛再把需要用AMP的算子单独加GradScaler。第三坑是学习率。预热阶段我常用lr2e-4进入GAN联合训练后降到1e-4再用余弦退火缓慢衰减。如果loss出现NaN第一反应不是换学习率而是检查数据里有没有全黑图、全白图或者标签是否错位。5. 推理部署与实测调优从“能跑”到“效果好”训练出一版模型只是起点。真正落到项目里最耗时间的其实是推理阶段的效果调优。这一节讲讲我自己常用的推理脚本、质量评价体系以及遇到伪影时的排查顺序。5.1 推理脚本的正确姿势加载预训练权重时要注意PyTorch 2.6开始默认weights_onlyTrue如果直接用torch.load(path)加载老版本的checkpoint可能会报weights_only相关错误。解决办法是显式声明state_dict torch.load(esrgan_x4.pth, map_locationcpu, weights_onlyTrue) G.load_state_dict(state_dict, strictFalse)用strictFalse的原因是如果官方权重里有些buffer名称和你手写代码不一致直接加载会报错先宽松加载再打印缺失键名去排查。如果你用的是官方RRDB_ESRGAN_x4.pth加载后记得G.eval()推理时包在torch.no_grad()里。对大图做推理时一次性送入整张4K图显存会爆掉。我的做法是分块推理块与块之间加overlap然后对重叠区域做平均避免边缘拼接痕迹。下面这段代码足够演示思路def tile_infer(model, lr, scale4, tile_size256, overlap16): model.eval() _, _, h, w lr.shape out torch.zeros(1, 3, h * scale, w * scale).to(lr.device) count torch.zeros_like(out) step tile_size - overlap for y in range(0, h, step): for x in range(0, w, step): y0 min(y, h - tile_size) x0 min(x, w - tile_size) tile lr[:, :, y0:y0 tile_size, x0:x0 tile_size] with torch.no_grad(): sr_tile model(tile) y1 y0 * scale x1 x0 * scale out[:, :, y1:y1 sr_tile.shape[2], x1:x1 sr_tile.shape[3]] sr_tile count[:, :, y1:y1 sr_tile.shape[2], x1:x1 sr_tile.shape[3]] 1 return out / count.clamp(min1)这个版本不算最优但胜在容易理解和修改。真正在生产里我还会把重叠区域换成渐入渐出的权重比如在xy方向各做一个线性渐变mask这样即使模型在tile边界产生轻微差异也能无缝融合。5.2 图像质量评价为什么PSNR高了不一定好看训练超分模型最迷惑的地方是PSNR涨了人肉眼看起来却变差了。原因是PSNR和SSIM都是基于像素对齐的全参考指标它们偏好“平滑、保守、接近原图”的预测结果。GAN生成器为了增加纹理会故意制造一些原图里没有但看起来合理的高频细节这会让PSNR下降却让主观视觉更好。所以我现在评估模型时不再只盯PSNR而是看下面几个指标的组合PSNR/SSIM用于判断生成图是否过度偏离真实分布但不作为主要追求LPIPS用预训练神经网络特征算感知距离数值越低主观感知越接近NIQE无参考指标适合评估大图观感数值越低说明自然度越高人工A/B对比把老图和超分结果并列放大到1:1让业务方直接选。PSNR算的时候有个细节如果训练时HR做了边界裁切计算PSNR前也要把输入图像边界裁掉对应的像素一般是scale倍数的像素否则数值会偏低。另外超分图像最好转成Y通道计算PSNR/SSIM因为人眼对亮度更敏感。5.3 常见伪影与修复思路超分结果出现伪影时不要急着换模型先定位是哪个阶段的问题。我总结下来95%的伪影可以归成三类第一类颜色偏移。观察输出图的肤色、草色整体偏灰或偏紫多半是归一化范围不一致。比如训练时图像在[-1,1]推理时却用[0,1]输入模型看到的分布完全不一样颜色自然乱掉。检查推理代码里的归一化处理强制统一即可。第二类边缘水波纹或连续扭曲。这通常是GAN权重过高生成器在边缘区域过度创造纹理。先试降低gan_weight同时看感知损失是否用的激活前特征如果是激活后特征赶紧改过来。这类伪影在文字、树枝、栏杆上特别明显。第三类整体模糊、细节缺失。这不是GAN的问题很可能是生成器太浅或者预热的L1阶段没训练够。可以增大nb参数到23或者把训练块从96提升到128以上。6. 从图像到视频ESRGAN的扩展玩法与我的经验把ESRGAN做成视频超分是很多人最终的需求但逐帧处理只是一个开始。直接对视频每一帧分别超分结果会有明显的闪烁感因为相邻帧抖动让重建的纹理不稳定。我把自己做过的两种方案分享一下不一定是最先进的但很实用。6.1 视频超分的基本套路最简单的流程是抽帧、逐帧超分、再合成视频。这个方案适合对时间一致性要求不高的短视频比如二次元片段、风景素材。重点是抽帧时不要重新压缩用ffmpeg -i input.mp4 frames/%06d.png抽成PNG序列处理完再用无损编码合成否则二次压缩会把超分恢复出来的细节又破坏掉。如果发现画面闪烁明显一个轻量补救方案是做一个时域稳定后处理把前后帧超分结果的亮度、颜色对齐到当前帧用高斯权重混合。这样做不会增加很多计算量但能压掉大部分闪变。更重度的方案是用BasicVSR这类视频超分模型但它需要的训练资源和数据量会高一个量级。6.2 我的个人实操经验最后分享几个反复踩坑之后换来的经验。第一个是“预训练权重不是免死金牌”。就算你直接下载官方ESRGAN权重也一定要先跑一张自己业务域的测试图确认色彩、倾向符合预期。很多开源权重是用DIV2K这种自然图像训练的放到动漫、游戏UI、显微图像上会水土不服。解决办法是拿几百张业务图做轻量fine-tune不用训练太久几轮就能扳回风格偏差。第二个是“超分不能修复模糊”。如果输入图像本身失焦很严重ESRGAN生成出来的细节是假的而且会放大噪点。遇到这种图我通常先做一次去模糊或锐化再送进ESRGAN效果反而更好。超分模型不是修图软件它是“纹理重建器”不是“对焦拯救者”。第三个是“保存模型时把归一化和推理参数一起存进配置”。我之前因为换了设备推理脚本里忘了图像范围是[-1,1]还是[0,1]白白浪费了几天调参时间。现在我的每个项目都会单独写一个infer_config.json记录输入尺寸、归一化方式、训练时的下采样算法、是否crop border这样无论谁接手都能快速复现结果。ESRGAN这块内容看着不难但细节非常多。把我上面说的模块、数据、训练、推理四个方面串起来你不仅能跑通一个PyTorch超分项目还能在遇到效果问题时有一张清楚的排查地图。本文还有配套的精品资源点击获取