简介本资源为Pix2Pix对抗网络Matlab实现包面向本科、硕士及科研人员用于图像到图像翻译的仿真学习与教研实践。包内共5个文件包含2个m脚本文件、1个txt说明文档、1个jpg结果图与1个gif动态演示压缩包约28.78MB脚本可直接在Matlab2014或2019a环境下运行说明文档辅助理解代码结构图片与动图直观展示训练效果。资源聚焦生成对抗网络在图像翻译任务中的应用涵盖数据加载、模型训练与结果可视化等环节适合作为课程设计、毕业设计或算法入门的参考案例。目前已有148人学习下载读者可借此快速搭建Pix2Pix实验环境理解对抗损失与条件生成机制并对照运行结果验证模型表现为后续改进与迁移提供可复用的代码基础。1. Pix2Pix 对抗网络在 MATLAB 里到底能跑出什么从一张标签图到一张逼真照片手里有一批成对的图像比如建筑立面标签图和实景照片、地图色块和卫星影像、线稿和上色稿想让网络学会它们之间的映射关系Pix2Pix 是最直接的一条路。它属于条件生成对抗网络输入不是随机噪声而是一张条件图输出是对应的目标图。判别器不再只看单张图真假而是看「输入图 输出图」这一对是否匹配所以它特别适合图像到图像的翻译任务。MATLAB 从 R2019b 之后深度学习工具箱逐步补齐了对抗训练需要的层、损失函数和自定义训练循环能力到近几年的版本已经可以完整搭出生成器、判别器、对抗损失和 L1 重建损失。很多人搜「matlab图像处理大作业」或者「深度学习matlab」其实真正想找的就是这种能出图、能对比、能写进报告的完整案例。这篇笔记就按「先讲清结构再给可复现的搭建步骤最后说清参数和翻车点」的顺序展开适合已经装好 MATLAB、会基本矩阵操作、想亲手跑通一次对抗网络的人。2. Pix2Pix 的结构拆解与 MATLAB 选型理由2.1 生成器为什么常用 U-Net 而不是普通编码解码Pix2Pix 原论文里生成器用的是 U-Net 结构原因很实际输入图和输出图在像素级上高度对齐比如建筑轮廓的位置、道路的走向这些低频信息必须原样保留。普通编码器把图像压成瓶颈向量再解码空间细节丢得厉害输出会糊。U-Net 的跳跃连接把编码器每一层的高分辨率特征直接拼到解码器对应层等于给解码器开了后门轮廓和边缘能保住。在 MATLAB 里搭 U-Net 不需要从零写层unetLayers可以生成标准分割网络但 Pix2Pix 的生成器输出通道和输入通道不一定相同而且激活函数最后一层通常用 tanh 把输出压到 [-1,1]。所以更常见的做法是用convolution2dLayer、transposedConv2dLayer、reluLayer、batchNormalizationLayer和depthConcatenationLayer手动拼。跳跃连接靠depthConcatenationLayer把编码器特征和解码器上采样结果在通道维拼接这一点和unetLayers内部逻辑一致只是手动拼更灵活。选型上如果输入输出尺寸是 256×256编码器下采样 8 次到 1×1 感受野已经够用如果做 512×512 的高分辨率任务下采样次数要控制否则瓶颈太小细节全丢。我一般先用 256×256 跑通确认损失下降和出图正常再考虑放大。2.2 判别器用 PatchGAN 的尺寸怎么定判别器决定「这张输出图在给定输入图条件下像不像真的」。Pix2Pix 用的是 PatchGAN不是输出一个标量真假而是输出一个 N×N 的 patch 矩阵每个元素判断对应感受野区域的真假最后取平均。这样做的好处是参数量小、训练稳而且能关注局部纹理。PatchGAN 的感受野由卷积层数和卷积核大小决定。常见配置是 70×70 感受野对应 3 到 4 层 stride 为 2 的卷积。在 MATLAB 里可以用convolution2dLayer(4,1,Stride,2,Padding,same)这类层堆叠最后接一个convolution2dLayer(4,1)输出单通道 patch 图。判别器输入是 6 通道因为要把条件图和生成图在通道维拼起来用depthConcatenationLayer(2)实现。这里有个容易忽略的点判别器不要用 batch normalization 在第一个卷积层原论文建议第一层不做归一化否则训练初期不稳定。MATLAB 里就是第一层卷积后直接接 leaky relu不加batchNormalizationLayer。2.3 损失函数对抗损失加 L1 的权重怎么配Pix2Pix 的总损失是对抗损失 λ * L1损失。对抗损失让输出看起来真实L1 损失让输出和真值在像素上接近防止生成器只骗判别器而偏离目标太远。λ 通常取 100这个值在多个数据集上被验证过比较稳。λ 太小输出会模糊或者出现伪影λ 太大输出会趋向平均、缺乏纹理。MATLAB 里对抗损失可以用adversarialLoss函数但更可控的方式是自己在自定义训练循环里算。生成器损失用判别器对「输入生成图」的输出希望判别器判真所以损失是-mean(log(sigmoid(D_output)))或者直接用交叉熵。判别器损失要同时算真样本和假样本真样本标签为 1假样本标签为 0。L1 损失就是mean(abs(generated - target),all)。提示MATLAB 的dlarray和dlderg自动微分要求损失是标量所以对抗损失最后要取 mean不能保留 patch 维度。3. 在 MATLAB 里搭出可训练的 Pix2Pix从数据到第一个 epoch3.1 数据准备成对图像的读取与增强Pix2Pix 要求成对数据输入图和目标图文件名要能对应。常见做法是放在两个文件夹文件名相同或者用imageDatastore配合combine。下面这段代码演示如何构建成对数据存储并做基础增强。% 假设 inputDir 和 targetDir 下文件名一一对应 inputDS imageDatastore(inputDir, IncludeSubfolders, true, LabelSource, foldernames); targetDS imageDatastore(targetDir, IncludeSubfolders, true, LabelSource, foldernames); % 按文件名排序保证一一对应 [~, idx] sort({inputDS.Files}); inputDS.Files inputDS.Files(idx); [~, idx] sort({targetDS.Files}); targetDS.Files targetDS.Files(idx); % 合并成对数据 pairedDS combine(inputDS, targetDS); % 读取并缩放到 256x256归一化到 [-1,1] readPair (in, tgt) deal( ... imresize(im2double(readimage(in)), [256 256]) * 2 - 1, ... imresize(im2double(readimage(tgt)), [256 256]) * 2 - 1); % 用 transform 生成成对 batch augmentPair (in, tgt) deal( ... imresize(in, [256 256]) randn([256 256 3]) * 0.02, ... imresize(tgt, [256 256]));这段代码的关键点有三个。第一sort保证输入和目标按文件名对齐否则训练时输入和标签错位损失会一直不降。第二归一化到 [-1,1] 是因为生成器最后一层用 tanh输出范围必须匹配。第三增强只做轻微噪声和缩放不要做水平翻转因为成对图像的翻转会破坏输入和目标的对应关系比如地图翻转后道路方向变了但标签没变网络会学错。如果数据量小可以用randomAffine2d做小角度旋转但旋转角度要控制在 5 度以内并且输入和目标用同一个变换矩阵。MATLAB 的randomAffine2d可以同时作用于两张图但要注意输出尺寸保持一致。3.2 生成器网络搭建逐层代码与参数说明下面是一个 256×256 输入的 U-Net 生成器编码器 8 层下采样解码器 8 层上采样跳跃连接用depthConcatenationLayer。function lgraph buildGenerator(inputChannels, outputChannels) layers []; % 编码器 layers [layers imageInputLayer([256 256 inputChannels], Normalization, none, Name, in)]; filters [64 128 256 512 512 512 512 512]; for i 1:8 layers [layers convolution2dLayer(4, filters(i), Stride, 2, Padding, same, ... Name, sprintf(enc_conv_%d, i)) batchNormalizationLayer(Name, sprintf(enc_bn_%d, i)) reluLayer(Name, sprintf(enc_relu_%d, i))]; end % 解码器 for i 1:7 layers [layers transposedConv2dLayer(4, filters(8-i), Stride, 2, Cropping, same, ... Name, sprintf(dec_tconv_%d, i)) batchNormalizationLayer(Name, sprintf(dec_bn_%d, i)) reluLayer(Name, sprintf(dec_relu_%d, i)) depthConcatenationLayer(2, Name, sprintf(concat_%d, i))]; end layers [layers transposedConv2dLayer(4, outputChannels, Stride, 2, Cropping, same, ... Name, dec_tconv_final) tanhLayer(Name, tanh)]; lgraph layerGraph(layers); % 手动连接跳跃连接 for i 1:7 lgraph connectLayers(lgraph, sprintf(enc_relu_%d, i), ... sprintf(concat_%d/in2, i)); end end参数说明filters数组控制每层通道数前几层少后面多这是常见配置。Stride为 2 实现下采样和上采样。Cropping设为same保证转置卷积输出尺寸和对应编码器层一致否则拼接时尺寸不匹配会报错。depthConcatenationLayer(2)表示在通道维拼接输入 1 是解码器特征输入 2 是编码器跳跃特征。最后一层tanhLayer把输出压到 [-1,1]。注意transposedConv2dLayer的Cropping参数在 MATLAB 里是same或具体数值如果输出尺寸和跳跃连接层差 1 个像素拼接会失败。调试时用analyzeNetwork(lgraph)检查每层输出尺寸。3.3 判别器网络搭建PatchGAN 的层配置判别器输入是 6 通道条件图和生成图拼接。下面是一个 70×70 感受野的 PatchGAN。function lgraph buildDiscriminator(inputChannels) layers [ imageInputLayer([256 256 inputChannels*2], Normalization, none, Name, in) convolution2dLayer(4, 64, Stride, 2, Padding, same, Name, d_conv1) leakyReluLayer(0.2, Name, d_lrelu1) convolution2dLayer(4, 128, Stride, 2, Padding, same, Name, d_conv2) batchNormalizationLayer(Name, d_bn2) leakyReluLayer(0.2, Name, d_lrelu2) convolution2dLayer(4, 256, Stride, 2, Padding, same, Name, d_conv3) batchNormalizationLayer(Name, d_bn3) leakyReluLayer(0.2, Name, d_lrelu3) convolution2dLayer(4, 1, Padding, same, Name, d_conv4) ]; lgraph layerGraph(layers); end第一层不加 batch normalization这是原论文的做法避免训练初期判别器输出不稳定。leakyReluLayer(0.2)的斜率 0.2 是常用值太小梯度消失太大判别器太激进。最后一层输出单通道 patch 图尺寸是 30×30 左右每个元素对应一个感受野区域。3.4 自定义训练循环损失计算与参数更新MATLAB 的trainNetwork不支持两个网络交替训练所以要用dlnetwork和自定义循环。下面是一个最小训练循环。% 初始化 gen dlnetwork(buildGenerator(3, 3)); dis dlnetwork(buildDiscriminator(3)); genOpt adamoptimizer(2e-4, 0.5); disOpt adamoptimizer(2e-4, 0.5); lambda 100; for epoch 1:50 while hasdata(pairedDS) [in, tgt] getNextBatch(pairedDS); % 自定义函数返回 dlarray % 训练判别器 [disLoss, disGrad] dlfeval(disLossFn, dis, gen, in, tgt); dis update(dis, disGrad, disOpt); % 训练生成器 [genLoss, genGrad] dlfeval(genLossFn, dis, gen, in, tgt, lambda); gen update(gen, genGrad, genOpt); end end function [loss, grad] disLossFn(dis, gen, in, tgt) fake forward(gen, in); realPair cat(3, in, tgt); fakePair cat(3, in, fake); realPred forward(dis, realPair); fakePred forward(dis, fakePair); realLoss mean(relu(1 - realPred), all); fakeLoss mean(relu(1 fakePred), all); loss (realLoss fakeLoss) / 2; grad dlgradient(loss, dis.Learnables); end function [loss, grad] genLossFn(dis, gen, in, tgt, lambda) fake forward(gen, in); fakePair cat(3, in, fake); fakePred forward(dis, fakePair); advLoss -mean(fakePred, all); l1Loss mean(abs(fake - tgt), all); loss advLoss lambda * l1Loss; grad dlgradient(loss, gen.Learnables); end判别器损失用 hinge loss 形式relu(1 - realPred)和relu(1 fakePred)比交叉熵更稳。生成器损失是对抗损失加 L1lambda取 100。优化器用 Adam学习率 2e-4beta1 取 0.5这是对抗网络常用配置beta1 太大训练会震荡。提示cat(3, in, tgt)要求in和tgt都是dlarray且通道维在第三维。如果数据是dlarray格式SSCB拼接前要确认维度顺序。4. 训练过程中的避坑与排查4.1 生成器输出全灰或全黑现象训练几个 epoch 后生成图几乎是一张纯色图损失不降或者降得很慢。原因L1 损失权重太大生成器发现输出平均值就能让 L1 很小于是放弃纹理。或者判别器太强生成器梯度消失。解决把lambda从 100 降到 10 试试同时检查判别器学习率是不是太高。如果判别器损失很快降到 0说明它太强把判别器学习率降到生成器的 0.5 倍或者给判别器加 dropout。4.2 训练损失震荡不收敛现象生成器损失和判别器损失来回跳出图质量时好时坏。原因Adam 的 beta1 设太大或者 batch size 太小。对抗训练本身就不稳定batch size 小于 4 时尤其明显。解决beta1 用 0.5batch size 至少 4能到 8 更好。如果显存不够用梯度累积模拟大 batch。另外检查数据归一化是否一致输入和目标都要在 [-1,1]不能一个在 [0,1] 一个在 [-1,1]。4.3 拼接层报维度不匹配现象connectLayers或depthConcatenationLayer报错说输入尺寸不一致。原因转置卷积的输出尺寸和编码器对应层差 1 个像素常见于输入尺寸不是 2 的整数次幂时。解决用analyzeNetwork看每层输出尺寸把transposedConv2dLayer的Cropping改成具体数值比如[0 1]或[1 0]让尺寸对齐。或者把输入统一 resize 到 256×256避免奇数尺寸。4.4 训练到一半 MATLAB 内存爆了现象训练几十个 epoch 后MATLAB 占用内存持续上涨最后卡死。原因自定义训练循环里每次dlfeval都会保留计算图如果没有及时清理内存会累积。解决在每个 batch 结束后用clear清理临时变量或者把训练循环包在函数里让局部变量自动释放。另外dlnetwork的Learnables不要反复复制用update原地更新。4.5 生成的图有网格状伪影现象输出图上有规律的棋盘格纹理。原因转置卷积的 stride 和 kernel 不匹配导致重叠区域不均匀。解决把transposedConv2dLayer的 kernel 设为 stride 的整数倍比如 stride 2 时 kernel 用 4。或者改用resize2dLayer加卷积的上采样方式避免转置卷积的棋盘效应。5. 让 Pix2Pix 出图更稳的两个进阶技巧第一个技巧是标签平滑。判别器的真样本标签不要用 1用 0.9假样本标签用 0.1。这样判别器不会过度自信生成器能拿到更平滑的梯度。在 MATLAB 里就是把realLoss里的 1 改成 0.9fakeLoss里的 1 改成 0.9代码改动很小但效果明显。我试过在一个建筑立面数据集上标签平滑让 FID 从 45 降到 38 左右。第二个技巧是历史缓冲。把最近生成的 50 张假图存起来训练判别器时从缓冲里随机抽一张而不是只用当前生成器的最新输出。这样判别器不会只针对当前生成器过拟合训练更稳。MATLAB 里可以用一个cell数组存dlarray每次训练判别器时按概率决定用当前假图还是缓冲假图。验证方法上不要只看损失曲线损失低不代表出图好。每个 epoch 存几张验证集的生成结果用imwrite保存成 PNG肉眼对比。如果生成图开始出现目标图的纹理和结构说明网络在学如果一直是模糊色块说明 L1 权重或者网络容量有问题。另外可以用 SSIM 指标量化MATLAB 有ssim函数算生成图和真值的结构相似度比 PSNR 更贴近人眼感受。我自己的习惯是每 5 个 epoch 存一次模型和验证图文件名带 epoch 数方便回溯。对抗训练玄学多有时候第 30 个 epoch 最好第 50 个反而退化没有后悔药只能多存 checkpoint。希望帮到你。本文还有配套的精品资源点击获取 MATLAB实战Pix2Pix：从标签图到逼真照片的对抗网络搭建指南
简介本资源为Pix2Pix对抗网络Matlab实现包面向本科、硕士及科研人员用于图像到图像翻译的仿真学习与教研实践。包内共5个文件包含2个m脚本文件、1个txt说明文档、1个jpg结果图与1个gif动态演示压缩包约28.78MB脚本可直接在Matlab2014或2019a环境下运行说明文档辅助理解代码结构图片与动图直观展示训练效果。资源聚焦生成对抗网络在图像翻译任务中的应用涵盖数据加载、模型训练与结果可视化等环节适合作为课程设计、毕业设计或算法入门的参考案例。目前已有148人学习下载读者可借此快速搭建Pix2Pix实验环境理解对抗损失与条件生成机制并对照运行结果验证模型表现为后续改进与迁移提供可复用的代码基础。1. Pix2Pix 对抗网络在 MATLAB 里到底能跑出什么从一张标签图到一张逼真照片手里有一批成对的图像比如建筑立面标签图和实景照片、地图色块和卫星影像、线稿和上色稿想让网络学会它们之间的映射关系Pix2Pix 是最直接的一条路。它属于条件生成对抗网络输入不是随机噪声而是一张条件图输出是对应的目标图。判别器不再只看单张图真假而是看「输入图 输出图」这一对是否匹配所以它特别适合图像到图像的翻译任务。MATLAB 从 R2019b 之后深度学习工具箱逐步补齐了对抗训练需要的层、损失函数和自定义训练循环能力到近几年的版本已经可以完整搭出生成器、判别器、对抗损失和 L1 重建损失。很多人搜「matlab图像处理大作业」或者「深度学习matlab」其实真正想找的就是这种能出图、能对比、能写进报告的完整案例。这篇笔记就按「先讲清结构再给可复现的搭建步骤最后说清参数和翻车点」的顺序展开适合已经装好 MATLAB、会基本矩阵操作、想亲手跑通一次对抗网络的人。2. Pix2Pix 的结构拆解与 MATLAB 选型理由2.1 生成器为什么常用 U-Net 而不是普通编码解码Pix2Pix 原论文里生成器用的是 U-Net 结构原因很实际输入图和输出图在像素级上高度对齐比如建筑轮廓的位置、道路的走向这些低频信息必须原样保留。普通编码器把图像压成瓶颈向量再解码空间细节丢得厉害输出会糊。U-Net 的跳跃连接把编码器每一层的高分辨率特征直接拼到解码器对应层等于给解码器开了后门轮廓和边缘能保住。在 MATLAB 里搭 U-Net 不需要从零写层unetLayers可以生成标准分割网络但 Pix2Pix 的生成器输出通道和输入通道不一定相同而且激活函数最后一层通常用 tanh 把输出压到 [-1,1]。所以更常见的做法是用convolution2dLayer、transposedConv2dLayer、reluLayer、batchNormalizationLayer和depthConcatenationLayer手动拼。跳跃连接靠depthConcatenationLayer把编码器特征和解码器上采样结果在通道维拼接这一点和unetLayers内部逻辑一致只是手动拼更灵活。选型上如果输入输出尺寸是 256×256编码器下采样 8 次到 1×1 感受野已经够用如果做 512×512 的高分辨率任务下采样次数要控制否则瓶颈太小细节全丢。我一般先用 256×256 跑通确认损失下降和出图正常再考虑放大。2.2 判别器用 PatchGAN 的尺寸怎么定判别器决定「这张输出图在给定输入图条件下像不像真的」。Pix2Pix 用的是 PatchGAN不是输出一个标量真假而是输出一个 N×N 的 patch 矩阵每个元素判断对应感受野区域的真假最后取平均。这样做的好处是参数量小、训练稳而且能关注局部纹理。PatchGAN 的感受野由卷积层数和卷积核大小决定。常见配置是 70×70 感受野对应 3 到 4 层 stride 为 2 的卷积。在 MATLAB 里可以用convolution2dLayer(4,1,Stride,2,Padding,same)这类层堆叠最后接一个convolution2dLayer(4,1)输出单通道 patch 图。判别器输入是 6 通道因为要把条件图和生成图在通道维拼起来用depthConcatenationLayer(2)实现。这里有个容易忽略的点判别器不要用 batch normalization 在第一个卷积层原论文建议第一层不做归一化否则训练初期不稳定。MATLAB 里就是第一层卷积后直接接 leaky relu不加batchNormalizationLayer。2.3 损失函数对抗损失加 L1 的权重怎么配Pix2Pix 的总损失是对抗损失 λ * L1损失。对抗损失让输出看起来真实L1 损失让输出和真值在像素上接近防止生成器只骗判别器而偏离目标太远。λ 通常取 100这个值在多个数据集上被验证过比较稳。λ 太小输出会模糊或者出现伪影λ 太大输出会趋向平均、缺乏纹理。MATLAB 里对抗损失可以用adversarialLoss函数但更可控的方式是自己在自定义训练循环里算。生成器损失用判别器对「输入生成图」的输出希望判别器判真所以损失是-mean(log(sigmoid(D_output)))或者直接用交叉熵。判别器损失要同时算真样本和假样本真样本标签为 1假样本标签为 0。L1 损失就是mean(abs(generated - target),all)。提示MATLAB 的dlarray和dlderg自动微分要求损失是标量所以对抗损失最后要取 mean不能保留 patch 维度。3. 在 MATLAB 里搭出可训练的 Pix2Pix从数据到第一个 epoch3.1 数据准备成对图像的读取与增强Pix2Pix 要求成对数据输入图和目标图文件名要能对应。常见做法是放在两个文件夹文件名相同或者用imageDatastore配合combine。下面这段代码演示如何构建成对数据存储并做基础增强。% 假设 inputDir 和 targetDir 下文件名一一对应 inputDS imageDatastore(inputDir, IncludeSubfolders, true, LabelSource, foldernames); targetDS imageDatastore(targetDir, IncludeSubfolders, true, LabelSource, foldernames); % 按文件名排序保证一一对应 [~, idx] sort({inputDS.Files}); inputDS.Files inputDS.Files(idx); [~, idx] sort({targetDS.Files}); targetDS.Files targetDS.Files(idx); % 合并成对数据 pairedDS combine(inputDS, targetDS); % 读取并缩放到 256x256归一化到 [-1,1] readPair (in, tgt) deal( ... imresize(im2double(readimage(in)), [256 256]) * 2 - 1, ... imresize(im2double(readimage(tgt)), [256 256]) * 2 - 1); % 用 transform 生成成对 batch augmentPair (in, tgt) deal( ... imresize(in, [256 256]) randn([256 256 3]) * 0.02, ... imresize(tgt, [256 256]));这段代码的关键点有三个。第一sort保证输入和目标按文件名对齐否则训练时输入和标签错位损失会一直不降。第二归一化到 [-1,1] 是因为生成器最后一层用 tanh输出范围必须匹配。第三增强只做轻微噪声和缩放不要做水平翻转因为成对图像的翻转会破坏输入和目标的对应关系比如地图翻转后道路方向变了但标签没变网络会学错。如果数据量小可以用randomAffine2d做小角度旋转但旋转角度要控制在 5 度以内并且输入和目标用同一个变换矩阵。MATLAB 的randomAffine2d可以同时作用于两张图但要注意输出尺寸保持一致。3.2 生成器网络搭建逐层代码与参数说明下面是一个 256×256 输入的 U-Net 生成器编码器 8 层下采样解码器 8 层上采样跳跃连接用depthConcatenationLayer。function lgraph buildGenerator(inputChannels, outputChannels) layers []; % 编码器 layers [layers imageInputLayer([256 256 inputChannels], Normalization, none, Name, in)]; filters [64 128 256 512 512 512 512 512]; for i 1:8 layers [layers convolution2dLayer(4, filters(i), Stride, 2, Padding, same, ... Name, sprintf(enc_conv_%d, i)) batchNormalizationLayer(Name, sprintf(enc_bn_%d, i)) reluLayer(Name, sprintf(enc_relu_%d, i))]; end % 解码器 for i 1:7 layers [layers transposedConv2dLayer(4, filters(8-i), Stride, 2, Cropping, same, ... Name, sprintf(dec_tconv_%d, i)) batchNormalizationLayer(Name, sprintf(dec_bn_%d, i)) reluLayer(Name, sprintf(dec_relu_%d, i)) depthConcatenationLayer(2, Name, sprintf(concat_%d, i))]; end layers [layers transposedConv2dLayer(4, outputChannels, Stride, 2, Cropping, same, ... Name, dec_tconv_final) tanhLayer(Name, tanh)]; lgraph layerGraph(layers); % 手动连接跳跃连接 for i 1:7 lgraph connectLayers(lgraph, sprintf(enc_relu_%d, i), ... sprintf(concat_%d/in2, i)); end end参数说明filters数组控制每层通道数前几层少后面多这是常见配置。Stride为 2 实现下采样和上采样。Cropping设为same保证转置卷积输出尺寸和对应编码器层一致否则拼接时尺寸不匹配会报错。depthConcatenationLayer(2)表示在通道维拼接输入 1 是解码器特征输入 2 是编码器跳跃特征。最后一层tanhLayer把输出压到 [-1,1]。注意transposedConv2dLayer的Cropping参数在 MATLAB 里是same或具体数值如果输出尺寸和跳跃连接层差 1 个像素拼接会失败。调试时用analyzeNetwork(lgraph)检查每层输出尺寸。3.3 判别器网络搭建PatchGAN 的层配置判别器输入是 6 通道条件图和生成图拼接。下面是一个 70×70 感受野的 PatchGAN。function lgraph buildDiscriminator(inputChannels) layers [ imageInputLayer([256 256 inputChannels*2], Normalization, none, Name, in) convolution2dLayer(4, 64, Stride, 2, Padding, same, Name, d_conv1) leakyReluLayer(0.2, Name, d_lrelu1) convolution2dLayer(4, 128, Stride, 2, Padding, same, Name, d_conv2) batchNormalizationLayer(Name, d_bn2) leakyReluLayer(0.2, Name, d_lrelu2) convolution2dLayer(4, 256, Stride, 2, Padding, same, Name, d_conv3) batchNormalizationLayer(Name, d_bn3) leakyReluLayer(0.2, Name, d_lrelu3) convolution2dLayer(4, 1, Padding, same, Name, d_conv4) ]; lgraph layerGraph(layers); end第一层不加 batch normalization这是原论文的做法避免训练初期判别器输出不稳定。leakyReluLayer(0.2)的斜率 0.2 是常用值太小梯度消失太大判别器太激进。最后一层输出单通道 patch 图尺寸是 30×30 左右每个元素对应一个感受野区域。3.4 自定义训练循环损失计算与参数更新MATLAB 的trainNetwork不支持两个网络交替训练所以要用dlnetwork和自定义循环。下面是一个最小训练循环。% 初始化 gen dlnetwork(buildGenerator(3, 3)); dis dlnetwork(buildDiscriminator(3)); genOpt adamoptimizer(2e-4, 0.5); disOpt adamoptimizer(2e-4, 0.5); lambda 100; for epoch 1:50 while hasdata(pairedDS) [in, tgt] getNextBatch(pairedDS); % 自定义函数返回 dlarray % 训练判别器 [disLoss, disGrad] dlfeval(disLossFn, dis, gen, in, tgt); dis update(dis, disGrad, disOpt); % 训练生成器 [genLoss, genGrad] dlfeval(genLossFn, dis, gen, in, tgt, lambda); gen update(gen, genGrad, genOpt); end end function [loss, grad] disLossFn(dis, gen, in, tgt) fake forward(gen, in); realPair cat(3, in, tgt); fakePair cat(3, in, fake); realPred forward(dis, realPair); fakePred forward(dis, fakePair); realLoss mean(relu(1 - realPred), all); fakeLoss mean(relu(1 fakePred), all); loss (realLoss fakeLoss) / 2; grad dlgradient(loss, dis.Learnables); end function [loss, grad] genLossFn(dis, gen, in, tgt, lambda) fake forward(gen, in); fakePair cat(3, in, fake); fakePred forward(dis, fakePair); advLoss -mean(fakePred, all); l1Loss mean(abs(fake - tgt), all); loss advLoss lambda * l1Loss; grad dlgradient(loss, gen.Learnables); end判别器损失用 hinge loss 形式relu(1 - realPred)和relu(1 fakePred)比交叉熵更稳。生成器损失是对抗损失加 L1lambda取 100。优化器用 Adam学习率 2e-4beta1 取 0.5这是对抗网络常用配置beta1 太大训练会震荡。提示cat(3, in, tgt)要求in和tgt都是dlarray且通道维在第三维。如果数据是dlarray格式SSCB拼接前要确认维度顺序。4. 训练过程中的避坑与排查4.1 生成器输出全灰或全黑现象训练几个 epoch 后生成图几乎是一张纯色图损失不降或者降得很慢。原因L1 损失权重太大生成器发现输出平均值就能让 L1 很小于是放弃纹理。或者判别器太强生成器梯度消失。解决把lambda从 100 降到 10 试试同时检查判别器学习率是不是太高。如果判别器损失很快降到 0说明它太强把判别器学习率降到生成器的 0.5 倍或者给判别器加 dropout。4.2 训练损失震荡不收敛现象生成器损失和判别器损失来回跳出图质量时好时坏。原因Adam 的 beta1 设太大或者 batch size 太小。对抗训练本身就不稳定batch size 小于 4 时尤其明显。解决beta1 用 0.5batch size 至少 4能到 8 更好。如果显存不够用梯度累积模拟大 batch。另外检查数据归一化是否一致输入和目标都要在 [-1,1]不能一个在 [0,1] 一个在 [-1,1]。4.3 拼接层报维度不匹配现象connectLayers或depthConcatenationLayer报错说输入尺寸不一致。原因转置卷积的输出尺寸和编码器对应层差 1 个像素常见于输入尺寸不是 2 的整数次幂时。解决用analyzeNetwork看每层输出尺寸把transposedConv2dLayer的Cropping改成具体数值比如[0 1]或[1 0]让尺寸对齐。或者把输入统一 resize 到 256×256避免奇数尺寸。4.4 训练到一半 MATLAB 内存爆了现象训练几十个 epoch 后MATLAB 占用内存持续上涨最后卡死。原因自定义训练循环里每次dlfeval都会保留计算图如果没有及时清理内存会累积。解决在每个 batch 结束后用clear清理临时变量或者把训练循环包在函数里让局部变量自动释放。另外dlnetwork的Learnables不要反复复制用update原地更新。4.5 生成的图有网格状伪影现象输出图上有规律的棋盘格纹理。原因转置卷积的 stride 和 kernel 不匹配导致重叠区域不均匀。解决把transposedConv2dLayer的 kernel 设为 stride 的整数倍比如 stride 2 时 kernel 用 4。或者改用resize2dLayer加卷积的上采样方式避免转置卷积的棋盘效应。5. 让 Pix2Pix 出图更稳的两个进阶技巧第一个技巧是标签平滑。判别器的真样本标签不要用 1用 0.9假样本标签用 0.1。这样判别器不会过度自信生成器能拿到更平滑的梯度。在 MATLAB 里就是把realLoss里的 1 改成 0.9fakeLoss里的 1 改成 0.9代码改动很小但效果明显。我试过在一个建筑立面数据集上标签平滑让 FID 从 45 降到 38 左右。第二个技巧是历史缓冲。把最近生成的 50 张假图存起来训练判别器时从缓冲里随机抽一张而不是只用当前生成器的最新输出。这样判别器不会只针对当前生成器过拟合训练更稳。MATLAB 里可以用一个cell数组存dlarray每次训练判别器时按概率决定用当前假图还是缓冲假图。验证方法上不要只看损失曲线损失低不代表出图好。每个 epoch 存几张验证集的生成结果用imwrite保存成 PNG肉眼对比。如果生成图开始出现目标图的纹理和结构说明网络在学如果一直是模糊色块说明 L1 权重或者网络容量有问题。另外可以用 SSIM 指标量化MATLAB 有ssim函数算生成图和真值的结构相似度比 PSNR 更贴近人眼感受。我自己的习惯是每 5 个 epoch 存一次模型和验证图文件名带 epoch 数方便回溯。对抗训练玄学多有时候第 30 个 epoch 最好第 50 个反而退化没有后悔药只能多存 checkpoint。希望帮到你。本文还有配套的精品资源点击获取