简介面向大学生竞赛与深度学习实践者的手写文字擦除一等奖方案完整资源包。该方案针对试卷扫描图中手写红黑蓝笔迹、手画线段、污渍脏点与印刷字重叠等复杂场景提供从数据划分、模型训练到测试推理的全流程实现。官方训练集共1081对方案另划出1000张训练、81张验证并包含测试集A/B处理逻辑。包内含22个Python脚本、3个Shell脚本、2个readme及说明文档等30个文件压缩包约95KB覆盖loss设计、PSNR指标计算、模型结构如BiSeNetV2、SA-GAN、NAFA与ckpt转换、ONNX导出等模块目录结构清晰便于按功能快速定位。已有337人学习适合想要复现榜首思路、改进图像修复算法的参赛者与研究入门者。下载即得可直接运行的源码、配套数据调用说明与模型转换文档能够在本地快速跑通整体流程并为后续针对性调优提供可靠起点。1. 手写文字擦除为什么这个下载即用方案绕开了通用修复模型的坑扫描件或照片上压着手写批注想在不伤底图的前提下把字迹抹掉这是文档数字化的高频需求。通用 inpainting 在移除路人、水印这类独立对象时表现尚可但遇到手写笔迹就露馅字迹往往是密集、细长、不均匀的连通区域被覆盖的背景又是打印体文字和纸张纹理模型一旦感受野不够或结构先验不足就会在擦除区域里“补出”一团模糊或不存在的笔画。所谓“第 1 名方案”通常不是单一模型多牛而是数据构造、掩码生成、模型结构和训练策略四个环节都针对手写笔迹做了专门设计最后被打包成 python 源码 数据 模型 文档说明的工程目录。这篇博文就从模型选型讲起逐步拆到数据管线、训练推理和评估验证让你拿到这类下载即用项目时能真正改得动、跑得通、调得准。2. 手写文字擦除方案拆解为什么泛化修复模型撑不住这个场景2.1 文字区域与自然破损区的本质差异结构先验从哪来自然图像修复面对的是被遮挡的物体比如移除前景人物后要补出的背景相对连续、低频成分多。手写文字擦除面对的是另一类情况被擦除区域的周围往往紧挨着印刷体文字行笔画间距均匀、横竖撇捺有规律而掩码本身是极其不规则的细长条。如果只用 U-Net 普通卷积的修复结构每个像素的感受野有限模型只能“看到”掩码附近十几个像素的信息。手写笔迹的轨迹是长程相关的比如一个横跨 200 像素的长横线中间被掩码切断后模型必须在两端记忆之间建立连接。这就是为什么早期用 Partial Convolution 做文字擦除时长笔画区域经常出现断点或残留。这类方案在处理大面积矩形掩码时有效但面对不规则笔画掩码时有效卷积区域会被掩码吃掉大半注意力机制又无法覆盖全局。所以榜单上跑在前面的文字擦除方案几乎都把“全局上下文建模”放在第一位而不是只在通道数或层数上堆砌。常见做法是引入具有大感受野的视觉主干或在网络内部加频谱变换分支让模型对掩码两端的长程依赖更敏感。2.2 榜单级方案的关键组件全局依赖加结构保持的搭配以 OpenMMLab 等仓库中出现频次较高的修复结构为参考这类方案的主干通常包括一个带残差连接和空洞卷积的编码器、一个负责全局上下文建模的替换卷积模块以及一个多尺度解码器。核心模块的伪代码结构如下import torch import torch.nn as nn import torch.nn.functional as F class FourierConvBlock(nn.Module): def __init__(self, in_ch, out_ch): super().__init__() self.conv nn.Conv2d(in_ch, out_ch, 3, 1, 1) self.spectral nn.Sequential( nn.Conv2d(in_ch, in_ch, 1), nn.ReLU(inplaceTrue), nn.Conv2d(in_ch, in_ch, 1), ) def forward(self, x, mask): b, c, h, w x.shape # 低频全局建模整图的 DFT 频谱参与修复掩码区域也能获得远端信息 x_fft torch.fft.rfft2(x, normortho) x_fft torch.view_as_real(x_fft).permute(0, 3, 1, 2) x_freq self.spectral(x_fft) x_freq torch.view_as_complex(x_freq.permute(0, 2, 3, 1).contiguous()) x_global torch.fft.irfft2(x_freq, s(h, w), normortho) x_local self.conv(x) # 掩码区域由全局频谱分支主导非掩码区域由局部卷积主导 x_out x_local * (1 - mask) x_global * mask return x_out这段代码覆盖了这类方案最核心的替换策略局部卷积负责保持邻近像素的一致性频谱变换分支负责从整幅图像的频域信息中还原掩码区域的低频结构。mask在这里是归一化到 0 到 1 的掩码1 代表待擦除区域送入网络前要乘到输入图像上或作为额外通道拼接。参数上的要点是频谱分支的隐藏通道保持输入通道的 1/4 左右即可过大会带来大量全局计算开销。掩码区域占比超过 30% 时x_global的权重可以适度调高到 0.7否则修复结果容易出现“糊成一片”的低频假象。2.3 训练策略与损失函数怎么配只靠 L1 或 L2 损失训练修复模型结果总是偏模糊因为像素级损失鼓励模型取所有可能输出的平均。手写文字擦除更需要锐利的笔画边界和被遮盖的印刷体边缘所以损失函数基本是组合拳。常见配置如下损失项权重范围作用L1 / Huber 损失1.0约束整体像素亮度稳定训练感知损失LPIPS0.51.0在 VGG 特征空间比较保持结构对抗损失PatchGAN0.10.3提升局部纹理真实感消除模糊风格损失Gram 矩阵0.1保持纸张纹理一致性训练时我一般会把感知损失的权重先固定到 1.0对抗损失的权重从 0.1 起步每 5 个 epoch 观察一次验证集输出。如果重建区域过于平滑优先加对抗损失权重而不是盲目加大感知损失因为感知损失过大会让模型过度关注高频细节反而在平整背景下产生不自然的纹理。2.4 显存与速度权衡的工程取舍这类带频谱分支的模型在 512x512 分辨率下单卡训练显存占用约 812GB。如果只有一块 6GB 显存的卡常见做法是切 patch 训练把输入裁成 256x256 的随机区域同时保证掩码在 patch 内的面积占比控制在 10% 到 40% 之间。推理时再切换到全分辨率并开启混合精度python train.py --img-size 256 --batch-size 8 --mixed-precision混合精度训练在这里不是可选项而是默认项因为频谱分支的傅里叶变换在 FP16 下能显著降低显存占用同时保持精度。需要注意torch.fft在 FP16 下会自动提升到 FP32 计算实际显存节省主要在卷积层所以别指望整体显存减半。3. 手写文字擦除的数据集怎么来合成管线与掩码构造3.1 真实标注数据为什么贵透过 OCR 辅助标注看成本手写文字擦除需要成对的“带字图 干净背景图”。真实场景下收集一批带手写批注的试卷或合同再用图像编辑工具逐张擦除手写笔迹效率极低一小时最多标注几张而且不同人的标注风格会影响模型泛化。另一个思路是用 OCR 检测手写笔迹的包围框再辅助人工微调得到掩码但框是矩形直接作为掩码会覆盖大量无辜背景导致模型学到“把整块内容抹掉”而不是“擦除笔迹保留底图”。所以榜单方案的训练数据几乎都以合成为主用干净文档图像做底图在上面叠加渲染出的手写笔迹同时自动生成精确到像素的笔迹掩码。3.2 用 python 代码合成手写笔迹数据合成管线需要四类素材底图可以是扫描文档、打印文本渲染图或自然纸纹理、手写风格字体文件、随机语料和背景噪声。核心逻辑是把手写文字渲染到透明图层再经过随机变换叠加到底图上import cv2 import numpy as np from PIL import Image, ImageDraw, ImageFont def render_handwriting(bg: np.ndarray, text: str, font_path: str) - tuple[np.ndarray, np.ndarray]: # 随机手写笔迹的颜色蓝色钢笔、黑色签字笔、红色批注笔 color np.random.choice([(20, 30, 140), (30, 30, 30), (0, 0, 200)]) h, w bg.shape[:2] overlay Image.new(RGBA, (w, h), (0, 0, 0, 0)) draw ImageDraw.Draw(overlay) font_size np.random.randint(24, 60) font ImageFont.truetype(font_path, font_size) # 随机位置、随机旋转角度模拟真实批注的随意性 x, y np.random.randint(0, int(w * 0.3)), np.random.randint(0, int(h * 0.5)) angle np.random.uniform(-8, 8) draw.text((x, y), text, fontfont, fill(*color, 200)) overlay overlay.rotate(angle, center(x, y), resampleImage.BICUBIC) hand np.array(overlay)[..., :3].astype(np.float32) alpha np.array(overlay)[..., 3:4].astype(np.float32) / 255.0 # 笔画抖动沿随机方向平移 1-2 像素模拟运笔不稳定 kernel np.random.randint(5, 10) * 2 1 alpha cv2.GaussianBlur(alpha, (kernel, kernel), 0) fused bg.astype(np.float32) * (1 - alpha) hand * alpha mask (alpha 0.5).astype(np.uint8) * 255 return fused.astype(np.uint8), maskrender_handwriting把文字渲染到 RGBA 图层后做旋转和抖动模糊alpha通道同时作为融合权重和掩码来源。注意两个细节模糊核大小必须和字体大小联动字体越大模糊核越大否则合成的笔迹边缘要么过硬要么虚散掩码阈值取 0.5 而不是 0能避免半透明抗锯齿像素被错误归入掩码区域造成训练时标签不一致。3.3 掩码是训练成败的分水岭合成数据生成的掩码天然是笔画级。实际推理时掩码来源不同要么由用户手动涂抹要么由文本检测模型生成这两类掩码都比合成掩码粗糙笔画边界通常在 23 个像素的误差。训练时如果只用精确掩码推理时遇到膨胀或收缩的掩码就会退化。解决办法是训练时做掩码增强def augment_mask(mask, erosion_range(0, 2), dilation_range(0, 3)): kernel_sizes list(range(erosion_range[0] * 2 1, dilation_range[1] * 2 2, 2)) k np.random.choice(kernel_sizes) kernel cv2.getStructuringElement(cv2.MORPH_RECT, (k, k)) if np.random.rand() 0.5: return cv2.erode(mask, kernel, iterations1) else: return cv2.dilate(mask, kernel, iterations1)每次迭代随机对掩码做一次腐蚀或膨胀让模型见过不同松紧程度的掩码边界。我在实际训练中验证过加了这一行随机增强后推理时用不够精确的手绘掩码也能保持擦除效果稳定。掩码膨胀比腐蚀更常见因为用户涂抹时倾向盖住完整笔迹腐蚀到笔画内部反而会留下残边。3.4 数据规模与混合配比建议合成数据做主力真实数据做微调。一般合成数据 10 万张级别起步真实标注数据几百到一千张就足够让模型适应真实扫描件的色彩分布。合成语料选择手写风格文本不要用印刷体随机字符串底图要覆盖空白纸、横线纸、有打印文字的页面三种类型比例约 3:3:4。空白纸上擦除手写笔迹最简单打印文字页上最难因为掩码和底图文字叠加后模型要区分“哪些笔画是被盖住的、哪些是底图原有的”。4. 源码、模型与下载即用从零跑通推理和训练4.1 requirements 与目录结构下载即用的项目包通常按以下结构组织拿到手先花两分钟核对目录确认权重文件和文档描述一致text_eraser/ ├── checkpoints/ │ └── text_eraser_v1.pth ├── data/ │ ├── train/ │ │ ├── images/ │ │ └── masks/ │ └── val/ ├── src/ │ ├── models/ │ ├── datasets/ │ └── utils/ ├── scripts/ │ ├── train.py │ └── inference.py ├── docs/ │ └── README.md └── requirements.txt环境配置建议 python 3.9 或 3.10torch与torchvision用 2.x 的稳定版。requirements.txt里核心依赖是 opencv-python、pillow、numpy、timm部分模型用、lpips。先执行pip install -r requirements.txt再单独确认 torch 版本和本机 CUDA 匹配torch装错版本是这类项目最常见的启动失败原因。4.2 单张图片推理脚本加载模型与预处理推理脚本的核心流程是读图、做掩码、归一化、模型前向、后处理。掩码如果没有现成的分割结果可以用 OpenCV 的createFastLineDetector或直接让用户涂抹生成。这里给出加载模型和推理的完整链路import cv2 import torch from src.models import build_model model build_model(text_eraser_v1, pretrainedcheckpoints/text_eraser_v1.pth) model.eval().cuda() img cv2.imread(input.jpg) # BGR, HxWx3 mask cv2.imread(mask.png, 0) # 单通道, 0 或 255 img_rgb cv2.cvtColor(img, cv2.COLOR_BGR2RGB) # 缩放到 8 的倍数这是频谱分支的约束条件 pad_h (8 - img.shape[0] % 8) % 8 pad_w (8 - img.shape[1] % 8) % 8 img_pad cv2.copyMakeBorder(img_rgb, 0, pad_h, 0, pad_w, cv2.BORDER_REPLICATE) mask_pad cv2.copyMakeBorder(mask, 0, pad_h, 0, pad_w, cv2.BORDER_CONSTANT, value0) t_img torch.from_numpy(img_pad).float().permute(2, 0, 1).unsqueeze(0) / 127.5 - 1 t_mask torch.from_numpy(mask_pad).float().unsqueeze(0).unsqueeze(0) / 255.0 with torch.no_grad(): out model(t_img.cuda(), t_mask.cuda())[0] # 输出会同时返回图像和残差掩码 out_img (out[0].clamp(-1, 1).cpu().permute(1, 2, 0).numpy() 1) * 127.5 out_img out_img[: img.shape[0], : img.shape[1]] out_bgr cv2.cvtColor(out_img.astype(uint8), cv2.COLOR_RGB2BGR) cv2.imwrite(output.jpg, out_bgr)这里有两个容易被忽略的参数BORDER_REPLICATE而不是BORDER_CONSTANT是因为频谱分支会取整图变换边缘补零会产生高频振铃掩码归一化到 01因为模型在训练时对掩码做了同样的缩放。输出裁剪回原始尺寸时务必使用切片而不是resizeresize会引入插值误差让边缘区域出现色差。4.3 训练启动与断点续训的细节训练脚本一般支持从命令行指定数据路径、图片尺寸和恢复点典型启动命令如下python scripts/train.py \ --data-dir data/train \ --val-dir data/val \ --img-size 256 \ --batch-size 8 \ --lr 1e-4 \ --epochs 60 \ --ckpt checkpoints/text_eraser_v1.pth训练时学习率用 1e-4 起步每 20 个 epoch 乘以 0.1 做一次衰减。60 个 epoch 中前 10 个 epoch 建议冻结频谱分支只训练普通卷积层等局部重建稳定后再放开全局分支否则一开始频谱分支的梯度噪声会打乱底层特征。Windows 环境下注意data_dir路径分隔符和num_workers设置num_workers在 Windows 上超过 4 容易出现内存复制错误改为 2 即可。5. 手写文字擦除效果验证与三个常见踩坑点5.1 定量评估PSNR 之外还应该看什么PSNR 和 SSIM 只能反映像素级重建质量无法衡量手写文字是否擦干净。两个常见做法一是用 OCR 工具分别识别原图和擦除后的图像对比字符错误率变化二是用深度特征相似度 LPIPS 评估感知一致性。手写字擦除的专有指标是把掩码区域的 OCR 置信度变化作为辅助参考。对一个下载即用项目最快验证方法是python scripts/eval.py --data-dir data/val --metric psnr ssiam lpips只看 PSNR 会踩坑PSNR 高但输出整体模糊因为模糊图像和原图对应区域像素值接近。打印几张样本目检重点关注三种区域——长横线附近的背景、两个笔画的交叉点、笔画紧贴打印文字边缘的位置。5.2 三个高频坑残影、整体模糊、纹理被抹平第一擦除后残留笔迹边缘原因是掩码比实际笔画细导致模型没有获得完整遮挡信息。解决方法是推理前对输入掩码做一次 3x3 膨胀让掩码完全覆盖笔迹这一操作在实际项目中几乎总能提升视觉干净度。第二输出区域平滑如磨皮常见原因是对抗损失权重过低把adv_loss_weight从 0.1 提到 0.3 并延长训练即可。第三纸张纹理被过度修复成了纯色块。这是感知损失权重过大的典型症状感知损失会强拉重建区域的高频特征和原图一致而纸张的随机噪点在特征空间里占据显著位置模型为了匹配这种高频就产生了过度平滑或过度锐化。优先调低感知损失到 0.5而不是简单调大对抗损失。5.3 一个偷懒但有效的验证脚本思路如果你只想快速验证一个下载即用项目是否靠谱不需要完整训练可以手工合成一组带有手写笔迹的测试图固定掩码后分别用不同掩码膨胀系数推理三次观察三张输出图的重建稳定性。稳定性的意义在于掩码有小幅变化时擦除结果不该出现整段重建区域的闪烁。如果不同膨胀系数下重建内容差异巨大说明模型对掩码边界过度敏感这种方案在真实场景中几乎不可用。把这条验证逻辑写进 eval 脚本里比单跑一次推理更能判断方案的工程成熟度。本文还有配套的精品资源点击获取 手写文字擦除方案拆解：从模型结构到数据管线的工程实践
简介面向大学生竞赛与深度学习实践者的手写文字擦除一等奖方案完整资源包。该方案针对试卷扫描图中手写红黑蓝笔迹、手画线段、污渍脏点与印刷字重叠等复杂场景提供从数据划分、模型训练到测试推理的全流程实现。官方训练集共1081对方案另划出1000张训练、81张验证并包含测试集A/B处理逻辑。包内含22个Python脚本、3个Shell脚本、2个readme及说明文档等30个文件压缩包约95KB覆盖loss设计、PSNR指标计算、模型结构如BiSeNetV2、SA-GAN、NAFA与ckpt转换、ONNX导出等模块目录结构清晰便于按功能快速定位。已有337人学习适合想要复现榜首思路、改进图像修复算法的参赛者与研究入门者。下载即得可直接运行的源码、配套数据调用说明与模型转换文档能够在本地快速跑通整体流程并为后续针对性调优提供可靠起点。1. 手写文字擦除为什么这个下载即用方案绕开了通用修复模型的坑扫描件或照片上压着手写批注想在不伤底图的前提下把字迹抹掉这是文档数字化的高频需求。通用 inpainting 在移除路人、水印这类独立对象时表现尚可但遇到手写笔迹就露馅字迹往往是密集、细长、不均匀的连通区域被覆盖的背景又是打印体文字和纸张纹理模型一旦感受野不够或结构先验不足就会在擦除区域里“补出”一团模糊或不存在的笔画。所谓“第 1 名方案”通常不是单一模型多牛而是数据构造、掩码生成、模型结构和训练策略四个环节都针对手写笔迹做了专门设计最后被打包成 python 源码 数据 模型 文档说明的工程目录。这篇博文就从模型选型讲起逐步拆到数据管线、训练推理和评估验证让你拿到这类下载即用项目时能真正改得动、跑得通、调得准。2. 手写文字擦除方案拆解为什么泛化修复模型撑不住这个场景2.1 文字区域与自然破损区的本质差异结构先验从哪来自然图像修复面对的是被遮挡的物体比如移除前景人物后要补出的背景相对连续、低频成分多。手写文字擦除面对的是另一类情况被擦除区域的周围往往紧挨着印刷体文字行笔画间距均匀、横竖撇捺有规律而掩码本身是极其不规则的细长条。如果只用 U-Net 普通卷积的修复结构每个像素的感受野有限模型只能“看到”掩码附近十几个像素的信息。手写笔迹的轨迹是长程相关的比如一个横跨 200 像素的长横线中间被掩码切断后模型必须在两端记忆之间建立连接。这就是为什么早期用 Partial Convolution 做文字擦除时长笔画区域经常出现断点或残留。这类方案在处理大面积矩形掩码时有效但面对不规则笔画掩码时有效卷积区域会被掩码吃掉大半注意力机制又无法覆盖全局。所以榜单上跑在前面的文字擦除方案几乎都把“全局上下文建模”放在第一位而不是只在通道数或层数上堆砌。常见做法是引入具有大感受野的视觉主干或在网络内部加频谱变换分支让模型对掩码两端的长程依赖更敏感。2.2 榜单级方案的关键组件全局依赖加结构保持的搭配以 OpenMMLab 等仓库中出现频次较高的修复结构为参考这类方案的主干通常包括一个带残差连接和空洞卷积的编码器、一个负责全局上下文建模的替换卷积模块以及一个多尺度解码器。核心模块的伪代码结构如下import torch import torch.nn as nn import torch.nn.functional as F class FourierConvBlock(nn.Module): def __init__(self, in_ch, out_ch): super().__init__() self.conv nn.Conv2d(in_ch, out_ch, 3, 1, 1) self.spectral nn.Sequential( nn.Conv2d(in_ch, in_ch, 1), nn.ReLU(inplaceTrue), nn.Conv2d(in_ch, in_ch, 1), ) def forward(self, x, mask): b, c, h, w x.shape # 低频全局建模整图的 DFT 频谱参与修复掩码区域也能获得远端信息 x_fft torch.fft.rfft2(x, normortho) x_fft torch.view_as_real(x_fft).permute(0, 3, 1, 2) x_freq self.spectral(x_fft) x_freq torch.view_as_complex(x_freq.permute(0, 2, 3, 1).contiguous()) x_global torch.fft.irfft2(x_freq, s(h, w), normortho) x_local self.conv(x) # 掩码区域由全局频谱分支主导非掩码区域由局部卷积主导 x_out x_local * (1 - mask) x_global * mask return x_out这段代码覆盖了这类方案最核心的替换策略局部卷积负责保持邻近像素的一致性频谱变换分支负责从整幅图像的频域信息中还原掩码区域的低频结构。mask在这里是归一化到 0 到 1 的掩码1 代表待擦除区域送入网络前要乘到输入图像上或作为额外通道拼接。参数上的要点是频谱分支的隐藏通道保持输入通道的 1/4 左右即可过大会带来大量全局计算开销。掩码区域占比超过 30% 时x_global的权重可以适度调高到 0.7否则修复结果容易出现“糊成一片”的低频假象。2.3 训练策略与损失函数怎么配只靠 L1 或 L2 损失训练修复模型结果总是偏模糊因为像素级损失鼓励模型取所有可能输出的平均。手写文字擦除更需要锐利的笔画边界和被遮盖的印刷体边缘所以损失函数基本是组合拳。常见配置如下损失项权重范围作用L1 / Huber 损失1.0约束整体像素亮度稳定训练感知损失LPIPS0.51.0在 VGG 特征空间比较保持结构对抗损失PatchGAN0.10.3提升局部纹理真实感消除模糊风格损失Gram 矩阵0.1保持纸张纹理一致性训练时我一般会把感知损失的权重先固定到 1.0对抗损失的权重从 0.1 起步每 5 个 epoch 观察一次验证集输出。如果重建区域过于平滑优先加对抗损失权重而不是盲目加大感知损失因为感知损失过大会让模型过度关注高频细节反而在平整背景下产生不自然的纹理。2.4 显存与速度权衡的工程取舍这类带频谱分支的模型在 512x512 分辨率下单卡训练显存占用约 812GB。如果只有一块 6GB 显存的卡常见做法是切 patch 训练把输入裁成 256x256 的随机区域同时保证掩码在 patch 内的面积占比控制在 10% 到 40% 之间。推理时再切换到全分辨率并开启混合精度python train.py --img-size 256 --batch-size 8 --mixed-precision混合精度训练在这里不是可选项而是默认项因为频谱分支的傅里叶变换在 FP16 下能显著降低显存占用同时保持精度。需要注意torch.fft在 FP16 下会自动提升到 FP32 计算实际显存节省主要在卷积层所以别指望整体显存减半。3. 手写文字擦除的数据集怎么来合成管线与掩码构造3.1 真实标注数据为什么贵透过 OCR 辅助标注看成本手写文字擦除需要成对的“带字图 干净背景图”。真实场景下收集一批带手写批注的试卷或合同再用图像编辑工具逐张擦除手写笔迹效率极低一小时最多标注几张而且不同人的标注风格会影响模型泛化。另一个思路是用 OCR 检测手写笔迹的包围框再辅助人工微调得到掩码但框是矩形直接作为掩码会覆盖大量无辜背景导致模型学到“把整块内容抹掉”而不是“擦除笔迹保留底图”。所以榜单方案的训练数据几乎都以合成为主用干净文档图像做底图在上面叠加渲染出的手写笔迹同时自动生成精确到像素的笔迹掩码。3.2 用 python 代码合成手写笔迹数据合成管线需要四类素材底图可以是扫描文档、打印文本渲染图或自然纸纹理、手写风格字体文件、随机语料和背景噪声。核心逻辑是把手写文字渲染到透明图层再经过随机变换叠加到底图上import cv2 import numpy as np from PIL import Image, ImageDraw, ImageFont def render_handwriting(bg: np.ndarray, text: str, font_path: str) - tuple[np.ndarray, np.ndarray]: # 随机手写笔迹的颜色蓝色钢笔、黑色签字笔、红色批注笔 color np.random.choice([(20, 30, 140), (30, 30, 30), (0, 0, 200)]) h, w bg.shape[:2] overlay Image.new(RGBA, (w, h), (0, 0, 0, 0)) draw ImageDraw.Draw(overlay) font_size np.random.randint(24, 60) font ImageFont.truetype(font_path, font_size) # 随机位置、随机旋转角度模拟真实批注的随意性 x, y np.random.randint(0, int(w * 0.3)), np.random.randint(0, int(h * 0.5)) angle np.random.uniform(-8, 8) draw.text((x, y), text, fontfont, fill(*color, 200)) overlay overlay.rotate(angle, center(x, y), resampleImage.BICUBIC) hand np.array(overlay)[..., :3].astype(np.float32) alpha np.array(overlay)[..., 3:4].astype(np.float32) / 255.0 # 笔画抖动沿随机方向平移 1-2 像素模拟运笔不稳定 kernel np.random.randint(5, 10) * 2 1 alpha cv2.GaussianBlur(alpha, (kernel, kernel), 0) fused bg.astype(np.float32) * (1 - alpha) hand * alpha mask (alpha 0.5).astype(np.uint8) * 255 return fused.astype(np.uint8), maskrender_handwriting把文字渲染到 RGBA 图层后做旋转和抖动模糊alpha通道同时作为融合权重和掩码来源。注意两个细节模糊核大小必须和字体大小联动字体越大模糊核越大否则合成的笔迹边缘要么过硬要么虚散掩码阈值取 0.5 而不是 0能避免半透明抗锯齿像素被错误归入掩码区域造成训练时标签不一致。3.3 掩码是训练成败的分水岭合成数据生成的掩码天然是笔画级。实际推理时掩码来源不同要么由用户手动涂抹要么由文本检测模型生成这两类掩码都比合成掩码粗糙笔画边界通常在 23 个像素的误差。训练时如果只用精确掩码推理时遇到膨胀或收缩的掩码就会退化。解决办法是训练时做掩码增强def augment_mask(mask, erosion_range(0, 2), dilation_range(0, 3)): kernel_sizes list(range(erosion_range[0] * 2 1, dilation_range[1] * 2 2, 2)) k np.random.choice(kernel_sizes) kernel cv2.getStructuringElement(cv2.MORPH_RECT, (k, k)) if np.random.rand() 0.5: return cv2.erode(mask, kernel, iterations1) else: return cv2.dilate(mask, kernel, iterations1)每次迭代随机对掩码做一次腐蚀或膨胀让模型见过不同松紧程度的掩码边界。我在实际训练中验证过加了这一行随机增强后推理时用不够精确的手绘掩码也能保持擦除效果稳定。掩码膨胀比腐蚀更常见因为用户涂抹时倾向盖住完整笔迹腐蚀到笔画内部反而会留下残边。3.4 数据规模与混合配比建议合成数据做主力真实数据做微调。一般合成数据 10 万张级别起步真实标注数据几百到一千张就足够让模型适应真实扫描件的色彩分布。合成语料选择手写风格文本不要用印刷体随机字符串底图要覆盖空白纸、横线纸、有打印文字的页面三种类型比例约 3:3:4。空白纸上擦除手写笔迹最简单打印文字页上最难因为掩码和底图文字叠加后模型要区分“哪些笔画是被盖住的、哪些是底图原有的”。4. 源码、模型与下载即用从零跑通推理和训练4.1 requirements 与目录结构下载即用的项目包通常按以下结构组织拿到手先花两分钟核对目录确认权重文件和文档描述一致text_eraser/ ├── checkpoints/ │ └── text_eraser_v1.pth ├── data/ │ ├── train/ │ │ ├── images/ │ │ └── masks/ │ └── val/ ├── src/ │ ├── models/ │ ├── datasets/ │ └── utils/ ├── scripts/ │ ├── train.py │ └── inference.py ├── docs/ │ └── README.md └── requirements.txt环境配置建议 python 3.9 或 3.10torch与torchvision用 2.x 的稳定版。requirements.txt里核心依赖是 opencv-python、pillow、numpy、timm部分模型用、lpips。先执行pip install -r requirements.txt再单独确认 torch 版本和本机 CUDA 匹配torch装错版本是这类项目最常见的启动失败原因。4.2 单张图片推理脚本加载模型与预处理推理脚本的核心流程是读图、做掩码、归一化、模型前向、后处理。掩码如果没有现成的分割结果可以用 OpenCV 的createFastLineDetector或直接让用户涂抹生成。这里给出加载模型和推理的完整链路import cv2 import torch from src.models import build_model model build_model(text_eraser_v1, pretrainedcheckpoints/text_eraser_v1.pth) model.eval().cuda() img cv2.imread(input.jpg) # BGR, HxWx3 mask cv2.imread(mask.png, 0) # 单通道, 0 或 255 img_rgb cv2.cvtColor(img, cv2.COLOR_BGR2RGB) # 缩放到 8 的倍数这是频谱分支的约束条件 pad_h (8 - img.shape[0] % 8) % 8 pad_w (8 - img.shape[1] % 8) % 8 img_pad cv2.copyMakeBorder(img_rgb, 0, pad_h, 0, pad_w, cv2.BORDER_REPLICATE) mask_pad cv2.copyMakeBorder(mask, 0, pad_h, 0, pad_w, cv2.BORDER_CONSTANT, value0) t_img torch.from_numpy(img_pad).float().permute(2, 0, 1).unsqueeze(0) / 127.5 - 1 t_mask torch.from_numpy(mask_pad).float().unsqueeze(0).unsqueeze(0) / 255.0 with torch.no_grad(): out model(t_img.cuda(), t_mask.cuda())[0] # 输出会同时返回图像和残差掩码 out_img (out[0].clamp(-1, 1).cpu().permute(1, 2, 0).numpy() 1) * 127.5 out_img out_img[: img.shape[0], : img.shape[1]] out_bgr cv2.cvtColor(out_img.astype(uint8), cv2.COLOR_RGB2BGR) cv2.imwrite(output.jpg, out_bgr)这里有两个容易被忽略的参数BORDER_REPLICATE而不是BORDER_CONSTANT是因为频谱分支会取整图变换边缘补零会产生高频振铃掩码归一化到 01因为模型在训练时对掩码做了同样的缩放。输出裁剪回原始尺寸时务必使用切片而不是resizeresize会引入插值误差让边缘区域出现色差。4.3 训练启动与断点续训的细节训练脚本一般支持从命令行指定数据路径、图片尺寸和恢复点典型启动命令如下python scripts/train.py \ --data-dir data/train \ --val-dir data/val \ --img-size 256 \ --batch-size 8 \ --lr 1e-4 \ --epochs 60 \ --ckpt checkpoints/text_eraser_v1.pth训练时学习率用 1e-4 起步每 20 个 epoch 乘以 0.1 做一次衰减。60 个 epoch 中前 10 个 epoch 建议冻结频谱分支只训练普通卷积层等局部重建稳定后再放开全局分支否则一开始频谱分支的梯度噪声会打乱底层特征。Windows 环境下注意data_dir路径分隔符和num_workers设置num_workers在 Windows 上超过 4 容易出现内存复制错误改为 2 即可。5. 手写文字擦除效果验证与三个常见踩坑点5.1 定量评估PSNR 之外还应该看什么PSNR 和 SSIM 只能反映像素级重建质量无法衡量手写文字是否擦干净。两个常见做法一是用 OCR 工具分别识别原图和擦除后的图像对比字符错误率变化二是用深度特征相似度 LPIPS 评估感知一致性。手写字擦除的专有指标是把掩码区域的 OCR 置信度变化作为辅助参考。对一个下载即用项目最快验证方法是python scripts/eval.py --data-dir data/val --metric psnr ssiam lpips只看 PSNR 会踩坑PSNR 高但输出整体模糊因为模糊图像和原图对应区域像素值接近。打印几张样本目检重点关注三种区域——长横线附近的背景、两个笔画的交叉点、笔画紧贴打印文字边缘的位置。5.2 三个高频坑残影、整体模糊、纹理被抹平第一擦除后残留笔迹边缘原因是掩码比实际笔画细导致模型没有获得完整遮挡信息。解决方法是推理前对输入掩码做一次 3x3 膨胀让掩码完全覆盖笔迹这一操作在实际项目中几乎总能提升视觉干净度。第二输出区域平滑如磨皮常见原因是对抗损失权重过低把adv_loss_weight从 0.1 提到 0.3 并延长训练即可。第三纸张纹理被过度修复成了纯色块。这是感知损失权重过大的典型症状感知损失会强拉重建区域的高频特征和原图一致而纸张的随机噪点在特征空间里占据显著位置模型为了匹配这种高频就产生了过度平滑或过度锐化。优先调低感知损失到 0.5而不是简单调大对抗损失。5.3 一个偷懒但有效的验证脚本思路如果你只想快速验证一个下载即用项目是否靠谱不需要完整训练可以手工合成一组带有手写笔迹的测试图固定掩码后分别用不同掩码膨胀系数推理三次观察三张输出图的重建稳定性。稳定性的意义在于掩码有小幅变化时擦除结果不该出现整段重建区域的闪烁。如果不同膨胀系数下重建内容差异巨大说明模型对掩码边界过度敏感这种方案在真实场景中几乎不可用。把这条验证逻辑写进 eval 脚本里比单跑一次推理更能判断方案的工程成熟度。本文还有配套的精品资源点击获取