1. 为什么盯上防震锤一条线路上的“隐形杀手”先说一个我自己的经历。去年第一次把训练好的检测模型装到无人机上去一条220kV线路做实测飞了一上午拍回来接近三千张照片。回放检测结果的时候人直接懵了——防震锤漏检了一批原因不是模型没学到特征而是很多锤子压根不在预测框里。那会儿才真正意识到电力巡检里的目标检测跟COCO、VOC上刷榜完全不是一回事。1.1 防震锤损伤到底有多严重防震锤的学名是Stockbridge damper固定在导线悬挂点附近核心作用是吸收微风振动能量。导线在风里高频振动长期下来会在耐张线夹、悬垂线夹这些位置产生金属疲劳最终断股甚至断线。防震锤一旦失效或脱落等于导线失去了“减震器”疲劳风险成倍增加。常见的损伤类型包括锈蚀表面出现锈斑或锈蚀穿透、钢绞线断股锤头之间的钢绞线断裂或松弛、锤头脱落只剩半截钢绞线挂在导线上、整体缺失金具位置空空如也、滑移错位锤头偏离了原安装位置。这几种问题在航拍图像里的表现差异很大锈蚀偏纹理特征缺失偏上下文特征滑移则要看相对位置关系——想把它们全部稳定检测出来不是随便拉个YOLO权重就能解决的。1.2 传统巡检方式的成本账在没有自动检测以前巡检基本靠三种方式人工登塔、望远镜或直升机目测、无人机拍照后人工看片。人工登塔效率极低一天能查几基塔已经算不错而且高空作业风险大。望远镜和直升机目测受视角和天气影响很大锤头背后看不清、锈蚀早期靠肉眼很难判断。无人机拍照成了主流方案之后问题转移到了“看图”上一条线路飞下来几百上千张照片一个班组两三个人一张一张放大看眼睛看花了不说漏检率还因人而异。算一笔账假设一条线路有300基塔每基塔2到4个防震锤飞一圈拍回来6000多张有效图像。人工看图按每张10秒算也需要近17个小时才能粗看一遍更不用说还要写缺陷记录、整理报告。自动检测系统要替代的正是这个环节从航拍图像里快速锁定位和判断损伤再让人工复核只处理“机器觉得有问题”的少量样本。1.3 这套系统实际要解决什么问题落到工程层面这套“基于YOLOv11的电力防震锤损伤检测系统”需要回答三个问题第一防震锤在图像里的什么位置第二这个防震锤是否存在损伤第三如果存在损伤到了什么程度是否需要安排检修。第一阶段我实现的是前两问第三问的细粒度分级留给了后续迭代。这个项目最大的价值在于用深度学习替代人眼把海量航拍图像变成“目标框类别置信度”巡检人员只需要看机器筛出来的可疑目标。听起来简单真正做起来从数据采集、标注、模型训练到边缘端部署每一步都是坑。接下来我从数据开始把整个链路拆开讲。2. 数据才是第一道门槛航拍数据集构建的完整链路2.1 航拍防震锤图像到底难在哪航拍图里的防震锤和常规目标检测数据集的差异非常大。在COCO数据集里目标通常会占到图像面积的一定比例但航拍防震锤在4K分辨率图像中往往只有30×30像素左右属于典型的小目标。小目标意味着特征信息少骨干网络下采样几层之后目标细节基本就丢了。背景复杂度也不容小觑。防震锤悬挂在导线上背景可能是蓝天、植被、杆塔钢结构、绝缘子串也可能是远方山脉。同样是“正常防震锤”在不同背景下的视觉差异可能比“正常”和“锈蚀”之间的差异还大。加上天气变化——逆光时锤头是黑的、薄雾天对比度低、雪天背景亮度过高模型很容易被这些与目标本质无关的因素带偏。拍摄角度同样是个变量。无人机巡检时云台角度通常在负15度到负45度之间防震锤可能出现在图像的左上角、正下方或者被导线遮挡姿态从正侧面的“双锤对称”到斜后方的“看一半”都有。这些变化要求训练集必须覆盖足够多的角度和姿态组合否则泛化就是空话。2.2 数据采集与筛选策略数据采集是第一步也是决定系统上限的一步。我推荐的采集方案是飞行高度保持在10到30米云台俯角15到45度图像分辨率不低于2000万像素视频帧率在30fps以上。采集时要刻意覆盖不同时间段和天气上午顺光、下午逆光、阴天、晴天、雨后这些照片都要有。提到后面模型训练的鲁棒性这些“看着不完美”的图像比完美图像更有价值。采集完的原始素材不能直接拿去标。先做一轮清洗优先级从高到低剔除严重模糊的图像尤其是快门速度不足导致的动态模糊。剔除曝光过度或严重欠曝的图像这种图像即使人眼也看不出锤子细节。剔除重复度过高的图像用感知哈希算一下相似度相似度超过0.9的只保留一张避免训练集被“同一基塔的同一个锤子”霸屏。剔除防震锤像素宽度小于15像素的图像。太小了标注出来也是噪声模型学不到有效特征。这一轮清洗做完有效图像数量通常会砍掉30%到40%别心疼后面训练能少踩很多坑。2.3 标注规范的核心细节标注直接决定模型的“标准”。我在这套项目里走了两条路最终选了目标检测方案而不是实例分割原因很简单防震锤损伤判断靠的是锤体区域及其周边上下文不需要像素级轮廓检测框足够用而且标注成本低一个量级。类别定义上我建议至少分两类normal_fvd正常防震锤和damage_fvd损伤防震锤。如果数据量允许可以把damage细分出broken_wire钢绞线断股、rust锈蚀、missing缺失几个子类但子类太碎会导致每个类别样本量不足。训练初期用二分类方案先把“有没有问题”做稳再考虑细分这是更务实的路线。标注工具我用过LabelImg、Labelme、X-AnyLabeling最终主力是X-AnyLabeling。它能直接加载YOLO格式的预标注结果做人工修正效率比从零框高不少。小目标标注有个特别重要的技巧一定要把图像放大到200%以上再框即使防震锤只有30像素也要尽量框得贴合边缘。标注框如果随意扩大或缩小会让模型学到一个模糊的边界最终表现就是定位不准mAP上不去。标注完成后必须做质检。我的做法是抽检10%的图像让第二个标注员独立重标一遍计算框级IoU一致性。IoU大于0.7的比例低于90%就要退回去重标。这个环节看起来很麻烦但它直接决定了数据的可信度。竞赛里可以标错几万个框不影响整体排名工业项目里标注噪声会直接变成模型在特定角度上的系统性误检。2.4 数据增强针对小目标的特殊处理防震锤数据集的另一个痛点是样本量不可能做到像开源数据集那么大5000到8000张有效图像已经算是精心攒出来的规模了。想让模型在这种中量级数据上把精度顶上去数据增强必须做细。我实测下来最有用的是几个组合Mosaic增强把4张图拼一张在YOLO系里大有用但默认参数对航拍小目标有个副作用原始目标被缩小到1/4特征损失严重。我的调整是将mosaic后的图像随机裁剪区域限制在原图中心区域避免小目标被裁掉。随机裁剪放大在图像中随机取0.5到2倍缩放的窗口裁剪后缩放到输入尺寸这样等效于把一些原本只有20像素的锤子“放大”到40像素以上模型能学到更清晰的纹理细节。Copy-paste增强把标注出来的防震锤实例随机粘贴到背景图像上。因为防震锤在图像里是个相对独立的小部件这种增强比较合理能够有效扩充正常样本数量也能用来平衡损伤类的样本数。运动模糊和光学畸变模拟无人机拍摄容易出现焦平面倾斜、轻微拖影用高斯模糊加运动模糊方向模拟能提升模型的抗模糊能力。HSV色域扰动和灰度化让模型不会被颜色带偏更关注轮廓和结构特征。有一点要特别注意划分训练集和验证集时绝对不能按“框”划分必须按“图像”划分。同一张图像里的不同防震锤如果一半在训练集一半在验证集验证指标会虚高一大截现场换一张新图立刻露馅。更严格一点同一基塔、同一段线路拍到的相似图像应该全部归到同一个集合里按线路段划分这才是真实场景的难度。3. YOLOv11选型与针对小目标的模型改进3.1 为什么选YOLOv11而不是继续用YOLOv8或v5项目立项的时候团队内部对新旧版本的选择有些争论。我当时坚持用YOLOv11核心原因有三点。第一是结构上确实有新东西。YOLOv11引入了C3k2模块它在保持CSPCross Stage Partial思想的基础上进一步压缩了计算量同时通过更灵活的分支设计增强了特征提取能力。骨干网络里的C2PSA模块借鉴了自注意力机制能更好地建模全局上下文。防震锤检测恰恰需要这种全局上下文——判断一个锤头是“缺失”还是“被导线挡住”单看局部根本分不出来必须结合周围结构。第二是训练和部署生态的成熟度。Ultralytics的YOLOv11直接支持分类、检测、分割、姿态估计多任务导出ONNX/TensorRT非常方便。对于电力巡检这种需要快速迭代、频繁部署到边缘设备的生产项目生态成熟比“某个指标领先0.5个点”重要得多。第三是从多尺度检测头设计上YOLOv11保留了P3、P4、P5三个检测层配合SPPF结构做多尺度特征融合对中小目标有一定先天优势。当然航拍小目标光靠默认设计还不够我针对防震锤做了额外的针对性优化这部分后面细讲。3.2 针对航拍小目标的改进方案实测下来直接拿YOLOv11s默认权重在防震锤数据集上训练mAP50能到90以上但验证集里的小目标漏检率明显偏高尤其小于32×32像素的目标。想在真实场景里稳定检测必须在模型结构上做几处定向调整。第一处是增加P2检测层。YOLOv11默认从P3开始输出预测stride是8、16、32。P2层对应stride 4分辨率更高对小目标更友好。我在骨干网络C2PSA之后接了一个额外的特征融合分支把浅层高分辨率特征引入检测头。代价是计算量有明显增加推理速度下降约20%但对30像素级别的防震锤来说这20%的代价非常值得。第二处是引入注意力机制我在骨干和Neck中加入了CACoordinate Attention模块。CA模块能同时捕捉空间位置和通道信息对“细长导线末端的小目标”这类位置相关性很强的场景特别有效。用CA替换掉部分传统卷积后小目标的召回率有明显改善特别是那些靠近导线接头、容易被背景吞掉的锤头。第三处是在Neck部分借鉴了加权双向特征金字塔BiFPN的思想给不同尺度的特征设置不同的融合权重而不是让P2、P3、P4、P5做简单相加。这个改进对防震锤这种“高宽比固定、尺度跨度大”的目标很有意义因为它在浅层特征里表现为强边缘纹理在深层特征里表现为结构语义两边信息贡献权重是不同的。改进不是越多越好。我在实验里也试过把注意力模块堆得到处都是结果训练时间翻倍精度反而掉了。小目标检测的精髓是让模型“在合适的位置用合适的模块”不是堆叠炫技结构。3.3 改进方案的效果验证给几组实测数据做参考。硬件是单张RTX 4090PyTorch 2.1输入分辨率固定在1280×1280训练150个epoch模型配置参数量mAP50mAP50-95单张推理耗时YOLOv11s 默认约9.4M91.257.86.8msYOLOv11m 默认约20.1M92.560.311.2msYOLOv11s P2层约11.6M93.863.18.9msYOLOv11s P2层 CA注意力约12.8M94.965.410.1msYOLOv11s P2 CA BiFPN约14.3M95.366.811.7msP2层带来的mAP提升最显著CA注意力对“小目标难召回”问题改善最直观BiFPN则是锦上添花。留意到加入了这些改进后参数量和推理时间同步上升部署端如果对实时性敏感需要在精度和速度之间做取舍。我最终交付的边缘端模型保留了P2层并去掉了BiFPN在Jetson Orin NX上能达到16ms一帧完全满足实时巡检需求。4. 训练过程与现场坑位实录4.1 环境配置与隐藏坑环境部分常规操作Ubuntu 22.04、Python 3.10、PyTorch 2.1、CUDA 12.1、Ultralytics源码版而非pip安装版。为什么坚持用源码版因为要改模型结构、加自定义模块pip安装的包改起来不方便源码版直接改ultralytics/nn目录下的模块定义热重载很顺畅。这里说一个很多新手会踩的坑CUDA版本和PyTorch版本对不上导致训练时无法调用GPU。最稳妥的方式是先确认自己的驱动支持的最高CUDA版本再回头选对应的PyTorch发行版而不是先装了PyTorch再一个个试CUDA。还有个更隐蔽的问题多卡训练时把模型放在不同Device上BatchNorm统计量会出偏差。如果只有单卡训练更快更稳定建议先用单卡把基线跑通再考虑分布式。显存不够也是个经典问题。1280×1280的输入分辨率对显存要求不低12GB显卡基本只能跑YOLOv11s16GB才能舒服跑改进后的版本。显存不够时别急着换大卡先试试梯度累积——把有效batch从16拆成4个mini-batch每个mini-batch算完梯度先累积不更新攒够4次再反向传播等效batch不变但显存峰值降到四分之一。4.2 超参数与训练策略从默认值开始的精调路径YOLOv11的默认超参在COCO上表现还行但直接用到防震锤数据上不够好。我最后确定的组合是输入分辨率1280epoch 150初始学习率0.001warmup 3个epochbatch 16优化器SGD配动量0.937。Warmup不能省。模型在最初几个epoch权重比较随机如果直接上高学习率很容易把损失炸飞尤其是加了P2层和CA注意力之后浅层网络训练不稳定warmup期间让学习率从小往上缓慢爬是必要的。数据增强参数里最需要注意的是NMS相关的阈值配合。训练阶段的增强如果太猛模型会在val上表现不佳因为增强后的图像分布和验证集分布相差过大。我训练中发现翻转增强flipud对防震锤这种垂直方向上下不对称的目标是致命的——锤头和导线是有方向关系的上下翻转后语义变了模型分数降到0.4以下都不奇怪。最后的方案是只保留左右翻转去掉上下翻转同时把Mosaic概率从1.0降到0.7避免某些小型锤头在训练中被裁掉。4.3 类别不平衡与难样本挖掘防震锤数据集天然存在类别不平衡问题正常的锤子占大多数损坏的锤子可能只占10%到15%。这种比例如果直接训练模型会偏向把一切判为正常因为“蒙对”的概率已经很高。我处理不平衡的思路分三步。第一步计算各类别的样本框数量把损伤类别的loss权重调高具体做法是在损失函数里给类别权重加系数让“漏检一个损伤锤”的惩罚远大于“误检一个正常锤”。第二步用Copy-paste增强扩充损伤类的样本数量把损伤锤贴到新的背景上生成更多“看起来真实”的训练对。第三步是难样本挖掘第一轮模型训练完后把验证集里所有预测错误漏检和误检的图像找出来人工筛选出标注错误和质量极差的样本修掉这批“毒样本”后重新训练。这三步做完mAP50能再涨1到2个点。4.4 评估指标从mAP到真实场景的“落差感”模型训练完第一件事不要只看mAP。mAP50高只能说明“模型在验证集上检测能力不错”不代表现场好用。我见过mAP50高达96的模型拿到现场新拍的图像上漏检率仍然超过10%。原因主要有几个验证集和训练集来自同一批线路背景和拍摄方式高度相似模型的“作弊”空间很大。mAP是综合不同置信度阈值下的表现但实际部署时只能选一个阈值阈值选不好精度和召回率匹配不上。航拍图像的时间跨度、天气跨度如果没覆盖好模型对新场景的适应能力会急剧下降。我的建议是额外再攒一套“跨场景验证集”至少包含一条没有在训练集出现过的线路的航拍图像用于模拟真实部署环境。拿这套数据测出来的Precision和Recall才是系统上线前的“体检报告”。在防震锤场景里我的目标是Recall优先——漏检一个损坏锤可能导致停电事故多杀几个误检框只是增加复核工作量两害相权取前者。5. 部署与实测从服务器到无人机的“最后一公里”5.1 TensorRT加速与模型轻量化训练好的模型要上无人机或地面站首先要过推理加速这关。PyTorch原模型在Jetson上跑速度不够实测YOLOv11s改进版在Orin NX上直接跑约80ms一帧换成TensorRT FP16后降到16ms差距非常明显。TensorRT加速的流程其实很成熟导出ONNX模型再用trtexec工具生成FP16 engine。导出过程有几点要注意动态shape必须固定下来。无人机场景下我直接固定输入为1280×1280或者为了速度压缩成960×960不用动态shape虽然灵活性差但engine的优化更彻底。检测头的输出层和NMS后处理尽量放在TensorRT外面做。TensorRT的EfficientNMS插件版本兼容性是个大坑不同版本行为不同用原生态输出的cx, cy, w, h, obj_conf, cls_conf直接在Python端做解码更稳定可控性能损失也可接受。FP16和INT8的选择。我第一次尝试INT8时mAP直接掉了5个点原因是校准集选取不当校准时背景占了大多数目标样本不足。FP16几乎无损建议默认FP16。另外考虑过模型剪枝但实测下来的效果一般。YOLOv11自身的结构已经比较紧凑强行剪枝后精度掉得比预期快而TensoRT已经带来了4到5倍的提速完全够用。对边缘部署来说追求“小”的前提是“准”模型小了但检测不准部署反而更费人力。5.2 边缘设备选型与部署架构无人机端部署有两个大的技术路线机载实时检测和地面站回传分析。机载实时检测方案对设备的功耗、重量、算力要求极高一般选用Jetson Orin NX或Orin Nano搭配专用载板挂在无人机云台附近。优点是在飞行过程中就能实时预警飞手看到“防震锤疑似损坏”的弹窗后可以立即调整飞行姿态补拍特写极大提高现场采集的有效性。缺点是机载功耗发热问题明显Orin NX满负载约25W功耗无人机电池续航会被大幅压缩。地面站回传分析方案则简单得多无人机只负责拍摄把图像通过4G/5G模块实时传回地面站或云端地面端的算力更充裕可以做更高分辨率的输入和更复杂的模型。缺点是有通信延迟现场如果网络环境差回传会卡顿。我做的系统两者兼顾机载端跑一个精简版模型用来实时提示目标位置引导飞手拍摄地面站跑完整版模型用来做最终的损伤判定和缺陷记录。两套模型共用数据集和训练代码只是导出参数不同。这个方案看起来多花了一份部署功夫但实际效果最好——实时性有了精判性也保住了。无人机搭载的相机也有讲究推荐用变焦镜头或混合变焦相机广角模式下可以顾全大局寻找目标变焦后等效焦距100mm以上在15到20米距离上防震锤在画面里能占到100像素以上检测精度会第一次拉开明显差距。模型训练数据也要同步适配不同焦距带来的尺度差异训练样本里混入不同等效焦距的图像现场才不会因为视觉尺度和训练时偏差过大而漏检。5.3 实测结果与迭代方向最终部署后我让团队在不同时段做了一轮真实场景压测结果如下场景图像数召回率精确率备注晴天上行顺光50096.8%92.5%表现最好误检主要是绝缘子阴天散射光50094.2%90.1%效果略降可接受逆光低照度30082.3%84.6%明显漏检需要图像增强辅助黄昏/侧光20078.5%80.2%暗部细节丢失后续需补光这个结果不算完美但已经能给一线班组省掉大量看图工时。迭代方向也很明确第一是把NMS后处理替换为Soft-NMS待测场景里密集导线上的多个锤头靠得很近普通NMS会在阈值踩线时把相邻框直接抑制掉。第二是引入视频帧间关联利用无人机飞过同一目标时连续多帧的信息做时序确认单帧置信度低但多帧一致的候选目标可以升级为“疑似缺陷”。第三是加入图像增强预处理专门针对逆光低照度场景做一个轻量的自适应直方图均衡模块。从数据到训练再到部署这套防震锤检测系统踩过的坑比预想多得多。回想起来最不值当的是前期在“刷精度”上花的时间——mAP高了几个点真实场景提升远不如把数据采集范围扩大、把逆光样本补足来得多。做工业视觉检测永远是数据覆盖面优先模型技巧其次。如果你也在做类似的输电线路小部件检测项目可以先从这两个方向发力绝对比一上来就堆注意力模块有用。 基于YOLOv11的电力防震锤损伤检测系统构建与实践
1. 为什么盯上防震锤一条线路上的“隐形杀手”先说一个我自己的经历。去年第一次把训练好的检测模型装到无人机上去一条220kV线路做实测飞了一上午拍回来接近三千张照片。回放检测结果的时候人直接懵了——防震锤漏检了一批原因不是模型没学到特征而是很多锤子压根不在预测框里。那会儿才真正意识到电力巡检里的目标检测跟COCO、VOC上刷榜完全不是一回事。1.1 防震锤损伤到底有多严重防震锤的学名是Stockbridge damper固定在导线悬挂点附近核心作用是吸收微风振动能量。导线在风里高频振动长期下来会在耐张线夹、悬垂线夹这些位置产生金属疲劳最终断股甚至断线。防震锤一旦失效或脱落等于导线失去了“减震器”疲劳风险成倍增加。常见的损伤类型包括锈蚀表面出现锈斑或锈蚀穿透、钢绞线断股锤头之间的钢绞线断裂或松弛、锤头脱落只剩半截钢绞线挂在导线上、整体缺失金具位置空空如也、滑移错位锤头偏离了原安装位置。这几种问题在航拍图像里的表现差异很大锈蚀偏纹理特征缺失偏上下文特征滑移则要看相对位置关系——想把它们全部稳定检测出来不是随便拉个YOLO权重就能解决的。1.2 传统巡检方式的成本账在没有自动检测以前巡检基本靠三种方式人工登塔、望远镜或直升机目测、无人机拍照后人工看片。人工登塔效率极低一天能查几基塔已经算不错而且高空作业风险大。望远镜和直升机目测受视角和天气影响很大锤头背后看不清、锈蚀早期靠肉眼很难判断。无人机拍照成了主流方案之后问题转移到了“看图”上一条线路飞下来几百上千张照片一个班组两三个人一张一张放大看眼睛看花了不说漏检率还因人而异。算一笔账假设一条线路有300基塔每基塔2到4个防震锤飞一圈拍回来6000多张有效图像。人工看图按每张10秒算也需要近17个小时才能粗看一遍更不用说还要写缺陷记录、整理报告。自动检测系统要替代的正是这个环节从航拍图像里快速锁定位和判断损伤再让人工复核只处理“机器觉得有问题”的少量样本。1.3 这套系统实际要解决什么问题落到工程层面这套“基于YOLOv11的电力防震锤损伤检测系统”需要回答三个问题第一防震锤在图像里的什么位置第二这个防震锤是否存在损伤第三如果存在损伤到了什么程度是否需要安排检修。第一阶段我实现的是前两问第三问的细粒度分级留给了后续迭代。这个项目最大的价值在于用深度学习替代人眼把海量航拍图像变成“目标框类别置信度”巡检人员只需要看机器筛出来的可疑目标。听起来简单真正做起来从数据采集、标注、模型训练到边缘端部署每一步都是坑。接下来我从数据开始把整个链路拆开讲。2. 数据才是第一道门槛航拍数据集构建的完整链路2.1 航拍防震锤图像到底难在哪航拍图里的防震锤和常规目标检测数据集的差异非常大。在COCO数据集里目标通常会占到图像面积的一定比例但航拍防震锤在4K分辨率图像中往往只有30×30像素左右属于典型的小目标。小目标意味着特征信息少骨干网络下采样几层之后目标细节基本就丢了。背景复杂度也不容小觑。防震锤悬挂在导线上背景可能是蓝天、植被、杆塔钢结构、绝缘子串也可能是远方山脉。同样是“正常防震锤”在不同背景下的视觉差异可能比“正常”和“锈蚀”之间的差异还大。加上天气变化——逆光时锤头是黑的、薄雾天对比度低、雪天背景亮度过高模型很容易被这些与目标本质无关的因素带偏。拍摄角度同样是个变量。无人机巡检时云台角度通常在负15度到负45度之间防震锤可能出现在图像的左上角、正下方或者被导线遮挡姿态从正侧面的“双锤对称”到斜后方的“看一半”都有。这些变化要求训练集必须覆盖足够多的角度和姿态组合否则泛化就是空话。2.2 数据采集与筛选策略数据采集是第一步也是决定系统上限的一步。我推荐的采集方案是飞行高度保持在10到30米云台俯角15到45度图像分辨率不低于2000万像素视频帧率在30fps以上。采集时要刻意覆盖不同时间段和天气上午顺光、下午逆光、阴天、晴天、雨后这些照片都要有。提到后面模型训练的鲁棒性这些“看着不完美”的图像比完美图像更有价值。采集完的原始素材不能直接拿去标。先做一轮清洗优先级从高到低剔除严重模糊的图像尤其是快门速度不足导致的动态模糊。剔除曝光过度或严重欠曝的图像这种图像即使人眼也看不出锤子细节。剔除重复度过高的图像用感知哈希算一下相似度相似度超过0.9的只保留一张避免训练集被“同一基塔的同一个锤子”霸屏。剔除防震锤像素宽度小于15像素的图像。太小了标注出来也是噪声模型学不到有效特征。这一轮清洗做完有效图像数量通常会砍掉30%到40%别心疼后面训练能少踩很多坑。2.3 标注规范的核心细节标注直接决定模型的“标准”。我在这套项目里走了两条路最终选了目标检测方案而不是实例分割原因很简单防震锤损伤判断靠的是锤体区域及其周边上下文不需要像素级轮廓检测框足够用而且标注成本低一个量级。类别定义上我建议至少分两类normal_fvd正常防震锤和damage_fvd损伤防震锤。如果数据量允许可以把damage细分出broken_wire钢绞线断股、rust锈蚀、missing缺失几个子类但子类太碎会导致每个类别样本量不足。训练初期用二分类方案先把“有没有问题”做稳再考虑细分这是更务实的路线。标注工具我用过LabelImg、Labelme、X-AnyLabeling最终主力是X-AnyLabeling。它能直接加载YOLO格式的预标注结果做人工修正效率比从零框高不少。小目标标注有个特别重要的技巧一定要把图像放大到200%以上再框即使防震锤只有30像素也要尽量框得贴合边缘。标注框如果随意扩大或缩小会让模型学到一个模糊的边界最终表现就是定位不准mAP上不去。标注完成后必须做质检。我的做法是抽检10%的图像让第二个标注员独立重标一遍计算框级IoU一致性。IoU大于0.7的比例低于90%就要退回去重标。这个环节看起来很麻烦但它直接决定了数据的可信度。竞赛里可以标错几万个框不影响整体排名工业项目里标注噪声会直接变成模型在特定角度上的系统性误检。2.4 数据增强针对小目标的特殊处理防震锤数据集的另一个痛点是样本量不可能做到像开源数据集那么大5000到8000张有效图像已经算是精心攒出来的规模了。想让模型在这种中量级数据上把精度顶上去数据增强必须做细。我实测下来最有用的是几个组合Mosaic增强把4张图拼一张在YOLO系里大有用但默认参数对航拍小目标有个副作用原始目标被缩小到1/4特征损失严重。我的调整是将mosaic后的图像随机裁剪区域限制在原图中心区域避免小目标被裁掉。随机裁剪放大在图像中随机取0.5到2倍缩放的窗口裁剪后缩放到输入尺寸这样等效于把一些原本只有20像素的锤子“放大”到40像素以上模型能学到更清晰的纹理细节。Copy-paste增强把标注出来的防震锤实例随机粘贴到背景图像上。因为防震锤在图像里是个相对独立的小部件这种增强比较合理能够有效扩充正常样本数量也能用来平衡损伤类的样本数。运动模糊和光学畸变模拟无人机拍摄容易出现焦平面倾斜、轻微拖影用高斯模糊加运动模糊方向模拟能提升模型的抗模糊能力。HSV色域扰动和灰度化让模型不会被颜色带偏更关注轮廓和结构特征。有一点要特别注意划分训练集和验证集时绝对不能按“框”划分必须按“图像”划分。同一张图像里的不同防震锤如果一半在训练集一半在验证集验证指标会虚高一大截现场换一张新图立刻露馅。更严格一点同一基塔、同一段线路拍到的相似图像应该全部归到同一个集合里按线路段划分这才是真实场景的难度。3. YOLOv11选型与针对小目标的模型改进3.1 为什么选YOLOv11而不是继续用YOLOv8或v5项目立项的时候团队内部对新旧版本的选择有些争论。我当时坚持用YOLOv11核心原因有三点。第一是结构上确实有新东西。YOLOv11引入了C3k2模块它在保持CSPCross Stage Partial思想的基础上进一步压缩了计算量同时通过更灵活的分支设计增强了特征提取能力。骨干网络里的C2PSA模块借鉴了自注意力机制能更好地建模全局上下文。防震锤检测恰恰需要这种全局上下文——判断一个锤头是“缺失”还是“被导线挡住”单看局部根本分不出来必须结合周围结构。第二是训练和部署生态的成熟度。Ultralytics的YOLOv11直接支持分类、检测、分割、姿态估计多任务导出ONNX/TensorRT非常方便。对于电力巡检这种需要快速迭代、频繁部署到边缘设备的生产项目生态成熟比“某个指标领先0.5个点”重要得多。第三是从多尺度检测头设计上YOLOv11保留了P3、P4、P5三个检测层配合SPPF结构做多尺度特征融合对中小目标有一定先天优势。当然航拍小目标光靠默认设计还不够我针对防震锤做了额外的针对性优化这部分后面细讲。3.2 针对航拍小目标的改进方案实测下来直接拿YOLOv11s默认权重在防震锤数据集上训练mAP50能到90以上但验证集里的小目标漏检率明显偏高尤其小于32×32像素的目标。想在真实场景里稳定检测必须在模型结构上做几处定向调整。第一处是增加P2检测层。YOLOv11默认从P3开始输出预测stride是8、16、32。P2层对应stride 4分辨率更高对小目标更友好。我在骨干网络C2PSA之后接了一个额外的特征融合分支把浅层高分辨率特征引入检测头。代价是计算量有明显增加推理速度下降约20%但对30像素级别的防震锤来说这20%的代价非常值得。第二处是引入注意力机制我在骨干和Neck中加入了CACoordinate Attention模块。CA模块能同时捕捉空间位置和通道信息对“细长导线末端的小目标”这类位置相关性很强的场景特别有效。用CA替换掉部分传统卷积后小目标的召回率有明显改善特别是那些靠近导线接头、容易被背景吞掉的锤头。第三处是在Neck部分借鉴了加权双向特征金字塔BiFPN的思想给不同尺度的特征设置不同的融合权重而不是让P2、P3、P4、P5做简单相加。这个改进对防震锤这种“高宽比固定、尺度跨度大”的目标很有意义因为它在浅层特征里表现为强边缘纹理在深层特征里表现为结构语义两边信息贡献权重是不同的。改进不是越多越好。我在实验里也试过把注意力模块堆得到处都是结果训练时间翻倍精度反而掉了。小目标检测的精髓是让模型“在合适的位置用合适的模块”不是堆叠炫技结构。3.3 改进方案的效果验证给几组实测数据做参考。硬件是单张RTX 4090PyTorch 2.1输入分辨率固定在1280×1280训练150个epoch模型配置参数量mAP50mAP50-95单张推理耗时YOLOv11s 默认约9.4M91.257.86.8msYOLOv11m 默认约20.1M92.560.311.2msYOLOv11s P2层约11.6M93.863.18.9msYOLOv11s P2层 CA注意力约12.8M94.965.410.1msYOLOv11s P2 CA BiFPN约14.3M95.366.811.7msP2层带来的mAP提升最显著CA注意力对“小目标难召回”问题改善最直观BiFPN则是锦上添花。留意到加入了这些改进后参数量和推理时间同步上升部署端如果对实时性敏感需要在精度和速度之间做取舍。我最终交付的边缘端模型保留了P2层并去掉了BiFPN在Jetson Orin NX上能达到16ms一帧完全满足实时巡检需求。4. 训练过程与现场坑位实录4.1 环境配置与隐藏坑环境部分常规操作Ubuntu 22.04、Python 3.10、PyTorch 2.1、CUDA 12.1、Ultralytics源码版而非pip安装版。为什么坚持用源码版因为要改模型结构、加自定义模块pip安装的包改起来不方便源码版直接改ultralytics/nn目录下的模块定义热重载很顺畅。这里说一个很多新手会踩的坑CUDA版本和PyTorch版本对不上导致训练时无法调用GPU。最稳妥的方式是先确认自己的驱动支持的最高CUDA版本再回头选对应的PyTorch发行版而不是先装了PyTorch再一个个试CUDA。还有个更隐蔽的问题多卡训练时把模型放在不同Device上BatchNorm统计量会出偏差。如果只有单卡训练更快更稳定建议先用单卡把基线跑通再考虑分布式。显存不够也是个经典问题。1280×1280的输入分辨率对显存要求不低12GB显卡基本只能跑YOLOv11s16GB才能舒服跑改进后的版本。显存不够时别急着换大卡先试试梯度累积——把有效batch从16拆成4个mini-batch每个mini-batch算完梯度先累积不更新攒够4次再反向传播等效batch不变但显存峰值降到四分之一。4.2 超参数与训练策略从默认值开始的精调路径YOLOv11的默认超参在COCO上表现还行但直接用到防震锤数据上不够好。我最后确定的组合是输入分辨率1280epoch 150初始学习率0.001warmup 3个epochbatch 16优化器SGD配动量0.937。Warmup不能省。模型在最初几个epoch权重比较随机如果直接上高学习率很容易把损失炸飞尤其是加了P2层和CA注意力之后浅层网络训练不稳定warmup期间让学习率从小往上缓慢爬是必要的。数据增强参数里最需要注意的是NMS相关的阈值配合。训练阶段的增强如果太猛模型会在val上表现不佳因为增强后的图像分布和验证集分布相差过大。我训练中发现翻转增强flipud对防震锤这种垂直方向上下不对称的目标是致命的——锤头和导线是有方向关系的上下翻转后语义变了模型分数降到0.4以下都不奇怪。最后的方案是只保留左右翻转去掉上下翻转同时把Mosaic概率从1.0降到0.7避免某些小型锤头在训练中被裁掉。4.3 类别不平衡与难样本挖掘防震锤数据集天然存在类别不平衡问题正常的锤子占大多数损坏的锤子可能只占10%到15%。这种比例如果直接训练模型会偏向把一切判为正常因为“蒙对”的概率已经很高。我处理不平衡的思路分三步。第一步计算各类别的样本框数量把损伤类别的loss权重调高具体做法是在损失函数里给类别权重加系数让“漏检一个损伤锤”的惩罚远大于“误检一个正常锤”。第二步用Copy-paste增强扩充损伤类的样本数量把损伤锤贴到新的背景上生成更多“看起来真实”的训练对。第三步是难样本挖掘第一轮模型训练完后把验证集里所有预测错误漏检和误检的图像找出来人工筛选出标注错误和质量极差的样本修掉这批“毒样本”后重新训练。这三步做完mAP50能再涨1到2个点。4.4 评估指标从mAP到真实场景的“落差感”模型训练完第一件事不要只看mAP。mAP50高只能说明“模型在验证集上检测能力不错”不代表现场好用。我见过mAP50高达96的模型拿到现场新拍的图像上漏检率仍然超过10%。原因主要有几个验证集和训练集来自同一批线路背景和拍摄方式高度相似模型的“作弊”空间很大。mAP是综合不同置信度阈值下的表现但实际部署时只能选一个阈值阈值选不好精度和召回率匹配不上。航拍图像的时间跨度、天气跨度如果没覆盖好模型对新场景的适应能力会急剧下降。我的建议是额外再攒一套“跨场景验证集”至少包含一条没有在训练集出现过的线路的航拍图像用于模拟真实部署环境。拿这套数据测出来的Precision和Recall才是系统上线前的“体检报告”。在防震锤场景里我的目标是Recall优先——漏检一个损坏锤可能导致停电事故多杀几个误检框只是增加复核工作量两害相权取前者。5. 部署与实测从服务器到无人机的“最后一公里”5.1 TensorRT加速与模型轻量化训练好的模型要上无人机或地面站首先要过推理加速这关。PyTorch原模型在Jetson上跑速度不够实测YOLOv11s改进版在Orin NX上直接跑约80ms一帧换成TensorRT FP16后降到16ms差距非常明显。TensorRT加速的流程其实很成熟导出ONNX模型再用trtexec工具生成FP16 engine。导出过程有几点要注意动态shape必须固定下来。无人机场景下我直接固定输入为1280×1280或者为了速度压缩成960×960不用动态shape虽然灵活性差但engine的优化更彻底。检测头的输出层和NMS后处理尽量放在TensorRT外面做。TensorRT的EfficientNMS插件版本兼容性是个大坑不同版本行为不同用原生态输出的cx, cy, w, h, obj_conf, cls_conf直接在Python端做解码更稳定可控性能损失也可接受。FP16和INT8的选择。我第一次尝试INT8时mAP直接掉了5个点原因是校准集选取不当校准时背景占了大多数目标样本不足。FP16几乎无损建议默认FP16。另外考虑过模型剪枝但实测下来的效果一般。YOLOv11自身的结构已经比较紧凑强行剪枝后精度掉得比预期快而TensoRT已经带来了4到5倍的提速完全够用。对边缘部署来说追求“小”的前提是“准”模型小了但检测不准部署反而更费人力。5.2 边缘设备选型与部署架构无人机端部署有两个大的技术路线机载实时检测和地面站回传分析。机载实时检测方案对设备的功耗、重量、算力要求极高一般选用Jetson Orin NX或Orin Nano搭配专用载板挂在无人机云台附近。优点是在飞行过程中就能实时预警飞手看到“防震锤疑似损坏”的弹窗后可以立即调整飞行姿态补拍特写极大提高现场采集的有效性。缺点是机载功耗发热问题明显Orin NX满负载约25W功耗无人机电池续航会被大幅压缩。地面站回传分析方案则简单得多无人机只负责拍摄把图像通过4G/5G模块实时传回地面站或云端地面端的算力更充裕可以做更高分辨率的输入和更复杂的模型。缺点是有通信延迟现场如果网络环境差回传会卡顿。我做的系统两者兼顾机载端跑一个精简版模型用来实时提示目标位置引导飞手拍摄地面站跑完整版模型用来做最终的损伤判定和缺陷记录。两套模型共用数据集和训练代码只是导出参数不同。这个方案看起来多花了一份部署功夫但实际效果最好——实时性有了精判性也保住了。无人机搭载的相机也有讲究推荐用变焦镜头或混合变焦相机广角模式下可以顾全大局寻找目标变焦后等效焦距100mm以上在15到20米距离上防震锤在画面里能占到100像素以上检测精度会第一次拉开明显差距。模型训练数据也要同步适配不同焦距带来的尺度差异训练样本里混入不同等效焦距的图像现场才不会因为视觉尺度和训练时偏差过大而漏检。5.3 实测结果与迭代方向最终部署后我让团队在不同时段做了一轮真实场景压测结果如下场景图像数召回率精确率备注晴天上行顺光50096.8%92.5%表现最好误检主要是绝缘子阴天散射光50094.2%90.1%效果略降可接受逆光低照度30082.3%84.6%明显漏检需要图像增强辅助黄昏/侧光20078.5%80.2%暗部细节丢失后续需补光这个结果不算完美但已经能给一线班组省掉大量看图工时。迭代方向也很明确第一是把NMS后处理替换为Soft-NMS待测场景里密集导线上的多个锤头靠得很近普通NMS会在阈值踩线时把相邻框直接抑制掉。第二是引入视频帧间关联利用无人机飞过同一目标时连续多帧的信息做时序确认单帧置信度低但多帧一致的候选目标可以升级为“疑似缺陷”。第三是加入图像增强预处理专门针对逆光低照度场景做一个轻量的自适应直方图均衡模块。从数据到训练再到部署这套防震锤检测系统踩过的坑比预想多得多。回想起来最不值当的是前期在“刷精度”上花的时间——mAP高了几个点真实场景提升远不如把数据采集范围扩大、把逆光样本补足来得多。做工业视觉检测永远是数据覆盖面优先模型技巧其次。如果你也在做类似的输电线路小部件检测项目可以先从这两个方向发力绝对比一上来就堆注意力模块有用。