简介本资源是面向计算机视觉初学者与船舶智能监测领域开发者的YOLOv7船舶检测一站式实践包聚焦海上目标识别、港口安防与航运监管等实际场景。压缩包共2377个文件247.63MB涵盖772张船舶实拍图像jpg、742份VOC格式标注xml、741份YOLO格式标签txt辅以36个配置yaml、31个训练/推理/部署脚本py、14个Jupyter实验笔记ipynb及TensorBoard日志、Dockerfile、预训练权重pt等关键组件完整覆盖数据准备、模型训练、性能可视化与跨平台部署全流程。目前已有1055人学习下载资源结构清晰含YOLOv7与YOLOv5对比实验、TensorRT/ONNX Runtime动态批处理加速方案及mAP与loss曲线分析可直接复现、微调或迁移至其他水域目标检测任务。1. 项目缘起为什么是YOLOv7做船舶检测最近在整理一个港口航道监控相关的项目客户的核心需求是从海量视频流里实时识别出各类船舶包括货轮、渔船、游艇甚至是一些小型快艇。这个场景有几个硬性要求一是速度要快最好能在普通GPU上跑到实时比如30FPS以上二是精度要高尤其是在复杂海况、天气多变、目标大小差异巨大的情况下不能漏检、错检三是模型要轻方便后续部署到边缘设备上。一开始我们试过一些经典的Two-Stage检测器精度是没得说但速度实在跟不上。也试过YOLOv5效果不错但在处理远处小目标船舶比如几个像素点的船时召回率还是不太理想。直到我们把目光投向了YOLOv7。说实话YOLOv7刚出来的时候社区里讨论很多有人说它是“缝合怪”也有人说它在速度和精度上找到了新的平衡点。经过我们团队的实际测试在船舶检测这个特定任务上YOLOv7的表现确实让人眼前一亮。它不仅在公开数据集上指标漂亮更重要的是其网络结构中的一些设计比如扩展高效层聚合网络E-ELAN和基于级联的模型缩放对于处理船舶目标尺度多变、背景复杂海浪、倒影、雾气的特性有天然的适配优势。所以这个项目就成了一个标准的“YOLOv7船舶检测”实践。今天这篇文章我就把从数据集准备、环境搭建、模型训练调优到最后的推理部署和代码规范检查的完整流程结合我们踩过的坑和积累的经验毫无保留地分享出来。无论你是想复现一个完整的项目还是仅仅想了解YOLOv7在特定领域的应用细节相信都能找到需要的东西。文末也会提供我们整理好的代码和数据集链接。2. 核心武器拆解YOLOv7的网络结构精要很多人用YOLOv7就是直接跑官方代码对里面的改动一知半解。要真正用好它尤其是在船舶检测这种有特殊性的任务上理解其核心结构至关重要。YOLOv7并非简单的YOLOv5升级版它在骨干网络Backbone、颈部Neck和头部Head都做了大量重新设计。2.1 骨干网络Backbone的进化E-ELANYOLOv7的骨干网络基于ELANEfficient Layer Aggregation Network改进而来称为E-ELAN。它的核心思想是通过控制最短和最长的梯度路径让网络能够学习到更丰富的特征。你可以把它想象成一个更高效的信息高速公路系统。在传统的卷积块叠加中信息传递路径相对固定。而E-ELAN通过分组卷积Group Convolution和通道重排Shuffle在不破坏原始梯度路径的情况下增加了特征的多样性。具体来说它将特征图在通道维度上分组每组独立进行不同层数的卷积操作然后再拼接起来并打乱通道顺序。这样做的好处是网络每一层都能看到来自前面不同“分组”经过不同深度处理后的特征增强了特征表示能力。对于船舶检测这个设计尤其有用。船舶的特征既有整体轮廓需要深层次语义特征也有局部细节如桅杆、烟囱、吃水线需要浅层细节特征。E-ELAN这种结构能更好地融合多尺度特征让模型同时“看清”远处小船的模糊轮廓和近处大船的细节纹理。2.2 颈部Neck的协同MPConv与SPPCSPCYOLOv7的颈部结构可以看作是“加强版”的路径聚合网络PANet它包含了多个下采样和上采样路径用于融合来自骨干网络不同阶段的特征。这里有两个关键模块MPConvMaxPooling Conv 这个模块用于下采样路径。它并行使用最大池化和一个步长为2的卷积然后将结果拼接。相比单一的下采样方式MPConv能保留更多信息避免在压缩特征图时丢失小目标的关键特征。对于海面上的小型渔船或快艇这个设计能有效降低它们在特征图上的“消失”速度。SPPCSPCSpatial Pyramid Pooling Cross Stage Partial Connections 这是对SPPFSpatial Pyramid Pooling Fast的改进。它通过多个不同尺寸的池化核进行并行池化捕获不同范围的上下文信息然后将所有结果与原始特征拼接。这个模块通常放在骨干网络末端能为模型提供“多尺度感受野”。在船舶检测中这意味着模型能同时利用近距离的局部上下文判断船体结构和远距离的全局上下文判断船与海天线的位置关系、与其他船的相对位置这对于在复杂背景中稳定检测非常有帮助。2.3 头部Head与标签分配策略隐式知识学习与Coarse-to-FineYOLOv7的检测头是“解耦头”Decoupled Head即分类和回归任务使用不同的分支这已经是现代检测器的标配。但其精髓在于训练阶段的**标签分配Label Assignment**策略。YOLOv7提出了由粗到细的引导式标签分配Coarse-to-Fine lead guided label assignment。简单说它包含两个阶段粗匹配阶段使用一个简单的规则如基于IoU初步筛选出大量的候选正样本。精匹配阶段让模型本身参与进来根据预测框和真实框的匹配程度如预测的IoU值从候选集中挑选出最终用于计算损失的正样本。这种策略让标签分配过程不再是静态的、手工设定的而是动态的、由模型学习驱动的。对于船舶数据集目标尺度、长宽比变化大货船细长渔船短宽这种动态分配策略比固定规则如YOLOv5的Anchor-Based更能适应数据分布有助于提升尤其是困难样本被遮挡、极小目标的召回率。此外YOLOv7还引入了隐式知识学习的概念通过添加一些可学习的模块不直接参与最终输出来辅助主干网络学习更通用的特征表示可以理解为给模型增加了一个“陪练”。理解这些结构你就能明白为什么YOLOv7在保持速度的同时提升了精度。在后续的调参中你也可以有的放矢比如调整E-ELAN的分组数、修改SPPCSPC的池化核大小来更好地适配你的数据集特性。3. 从零到一构建专属船舶检测数据集模型再强也离不开高质量的数据。网上公开的船舶数据集不少比如SeaShips、SMD还有热词里提到的Aeroscapes虽然主要是航空影像但包含港口场景、DOTA通过mmrotate训练说明其包含旋转目标适合斜框检测船舶。但直接用这些数据集往往无法满足特定需求比如我们项目需要识别特定港口的特种工程船。因此构建或增强自己的数据集是必经之路。3.1 数据采集与来源我们的数据主要来自四个渠道公开数据集作为基础我们使用了SeaShips6类船舶约3万张图像和SMD的一部分。这提供了丰富的正样本。网络爬虫使用关键词如“港口监控”、“海上航行”、“船舶AIS截图”从合规的图片视频网站爬取相关图像和视频帧。这里必须严格遵守法律法规和平台协议仅用于技术研究。客户提供项目方提供的港口摄像头历史视频这是最贴合实际场景的数据。合成数据针对一些稀少类别如消防船、引航船我们使用了Blender进行3D建模并渲染到真实海景背景中以增加样本多样性。3.2 数据标注工具与规范标注我们主要使用LabelImg矩形框和Roboflow在线协作平台。对于是否需要斜框我们做了对比在港口停泊密集或船舶朝向不一时斜框能减少背景干扰但会增加标注成本和模型复杂度需使用如mmrotate框架。我们最终选择了水平框因为我们的主要场景是航道航行船舶姿态相对固定水平框已足够且YOLOv7原生支持部署简单。标注规范至关重要类别定义明确且互斥。我们定义了Cargo货轮、Tanker油轮、Fishing渔船、Passenger客轮/游轮、Sailboat帆船、Speedboat快艇、Other其他。框体原则紧贴船体包含通常在水面上的全部结构如起重机、雷达。对于被遮挡超过50%的船舶标注可见部分并标记为difficult。背景与困难样本特意保留了一些有雾、雨天、黄昏、波浪反射强烈的图像并确保每类船舶在这些条件下都有一定数量的样本。这是提升模型鲁棒性的关键。3.3 数据预处理与增强策略YOLOv7的训练代码内置了强大的数据增强但我们根据船舶特点进行了定制化修改在data/hyps/hyp.scratch.p5.yaml中调整几何增强mosaic四图拼接和mixup非常有效能极大地增加小目标样本远处船舶的出现频率并模拟船舶密集的场景。色彩增强hsv_h色调、hsv_s饱和度、hsv_v明度的调整范围加大以模拟不同天气和海况。特别是降低v明度和增加hsv_s饱和度可以模拟雾天和夕阳场景。特殊增强我们增加了运动模糊模拟相机抖动或船舶高速移动和雨雾模拟的增强这些对于岸基摄像头拍摄的视频流非常实用。一个重要的经验是不要一开始就使用所有最强增强。应先以基础增强训练一个基准模型观察其在验证集上哪些场景表现差如小目标漏检、雾天误检再有针对性地加强相关增强并可能补充对应场景的数据。最终我们整理的数据集包含约2.5万张图像8个类别并按照70%训练、20%验证、10%测试的比例划分。数据集采用YOLO格式每个图像对应一个.txt文件内容为class_id x_center y_center width_height坐标已归一化。4. 训练全流程环境、命令与调参实战有了数据和模型理解接下来就是实战训练。这里我会详细说明每一步并穿插我们遇到的具体问题和解决方案。4.1 环境搭建与代码准备我们使用的环境是Ubuntu 20.04, Python 3.8, PyTorch 1.12.1cu113, CUDA 11.3。# 1. 克隆官方仓库 git clone https://github.com/WongKinYiu/yolov7.git cd yolov7 # 2. 安装依赖 (建议使用虚拟环境) pip install -r requirements.txt # 3. 安装pycocotools用于评估如果需要 pip install pycocotools # 4. 获取预训练权重可选但强烈推荐 # 从官方Release页面下载yolov7.pt, yolov7-tiny.pt等放到项目根目录。注意PyTorch和CUDA版本需匹配。如果遇到torch.cuda.is_available()返回False请检查驱动和CUDA安装。4.2 数据集配置文件准备在data目录下创建自己的配置文件例如data/ships.yaml。# ships.yaml train: /path/to/your_dataset/images/train # 训练集图片路径 val: /path/to/your_dataset/images/val # 验证集图片路径 test: /path/to/your_dataset/images/test # 测试集图片路径可选 # 类别数 nc: 7 # 类别名称列表 names: [Cargo, Tanker, Fishing, Passenger, Sailboat, Speedboat, Other]确保你的数据集目录结构是your_dataset/ ├── images/ │ ├── train/ │ ├── val/ │ └── test/ └── labels/ ├── train/ ├── val/ └── test/4.3 启动训练从预训练模型微调这是最常用的方式能极大加快收敛并提升性能。python train.py \ --weights yolov7.pt \ # 加载预训练权重 --data data/ships.yaml \ # 数据集配置文件 --hyp data/hyps/hyp.scratch.p5.yaml \ # 超参数文件可修改 --epochs 300 \ # 总训练轮数 --batch-size 16 \ # 根据GPU内存调整 --img-size 640 \ # 输入图像尺寸 --device 0 \ # GPU ID多卡可用 0,1,2,3 --workers 8 \ # 数据加载线程数 --name ships_det_v7 \ # 本次训练运行名称 --project runs/train \ # 结果保存目录 --exist-ok # 允许覆盖同名实验关键参数解析--weights: 从预训练模型开始。yolov7.pt是在COCO上训练的包含了通用的物体检测知识。--hyp: 超参数文件里面定义了学习率、优化器、损失权重、数据增强强度等。调参的主战场就在这里。--img-size: 默认640。如果数据集目标普遍较小如远洋船舶可以尝试增大到896甚至1280但会显著增加显存消耗和训练时间。--batch-size: 在显存允许范围内尽可能设大有利于训练稳定。如果遇到OOM内存溢出可以减小batch-size或img-size或者使用--multi-scale训练动态调整输入尺寸。4.4 超参数调优心得直接使用默认hyp.scratch.p5.yaml通常能得到不错的结果但针对船舶数据我们做了以下调整在hyp.finetune.yaml中lr0: 0.01 # 初始学习率从预训练微调可调小如0.001 lrf: 0.01 # 最终学习率因子 (lr0 * lrf) momentum: 0.937 weight_decay: 0.0005 warmup_epochs: 3.0 warmup_momentum: 0.8 warmup_bias_lr: 0.1 # 损失函数权重 box: 0.05 # 框回归损失权重保持较小 cls: 0.3 # 分类损失权重针对多类船舶可适当关注 cls_pw: 1.0 # 分类BCL正样本权重 obj: 0.7 # 目标性损失权重对密集小目标可微调 obj_pw: 1.0 # 目标性BCL正样本权重 iou_t: 0.20 # IoU训练阈值 # 数据增强 flipud: 0.0 # 上下翻转概率船舶上下翻转不常见设为0 fliplr: 0.5 # 左右翻转概率船舶左右对称可保留 mosaic: 1.0 # Mosaic增强概率保持1.0 mixup: 0.1 # Mixup增强概率可适当降低避免类别混淆过度我们的调参经验学习率微调时lr0从0.01降到0.001或0.005防止破坏预训练好的特征。如果从头训练--weights 则用0.01。数据增强mosaic和mixup对提升小目标检测非常有效但mixup太强可能导致模型对清晰单目标的判别能力下降我们最终设为0.1。flipud上下翻转对船舶不适用因为天空和海水上下翻转后语义完全错误。损失权重初期更关注obj目标性损失确保模型能“找到”目标尤其是小目标。中后期可以平衡cls分类损失让模型分清船舶类别。多尺度训练使用--multi-scale选项让模型在每次迭代时接受不同尺寸的输入默认范围在img-size的±50%这能极大地提升模型对不同尺度目标的鲁棒性强烈推荐。4.5 训练监控与问题排查训练开始后重点关注runs/train/ships_det_v7目录下的文件results.png损失曲线和指标曲线。健康的曲线应该是训练和验证损失平滑下降mAP0.5和mAP0.5:0.95稳步上升。train_batchx.jpg查看训练时数据增强后的效果确认增强是否合理标注框是否正确。val_batchx_labels.jpg和val_batchx_pred.jpg查看验证集的真实标签和模型预测对比直观判断检测效果。常见问题与解决损失NaN或突然爆炸通常是学习率过高、批次大小太小或数据有问题。检查数据标注是否有空标签文件、坐标值是否超出[0,1]降低学习率增大batch-size。mAP不升反降或震荡可能是过拟合或数据增强太强。尝试减少增强强度如降低mixup概率增加正则化如稍微提高weight_decay或者使用早停--patience参数。小目标检测效果差这是船舶检测的常见痛点。除了调整hyp中的obj权重更有效的方法是1) 确保数据集中有足够多的小目标样本可通过Mosaic增强2) 尝试使用更大的输入分辨率--img-size 8963) 使用YOLOv7专门为小目标优化的版本如yolov7-tiny或yolov7-w6更大的宽度。训练完成后最好的模型权重会保存在runs/train/ships_det_v7/weights/best.pt。5. 模型评估、推理与部署优化模型训练好了怎么知道它到底行不行又该怎么用它5.1 模型评估不仅仅是看mAP使用以下命令在测试集上评估模型python test.py \ --weights runs/train/ships_det_v7/weights/best.pt \ --data data/ships.yaml \ --task test \ # 在test集上评估 --img-size 640 \ --batch-size 32 \ --device 0 \ --save-json \ # 保存结果用于详细分析 --project runs/test \ --name ships_final_eval关键输出指标mAP0.5(PASCAL VOC mAP) IoU阈值为0.5时的平均精度。这是最常用的指标值越高越好。mAP0.5:0.95(COCO mAP) IoU阈值从0.5到0.95步长0.05的平均精度。这个指标更严格更能综合反映模型定位的精确度。precision和recall查看各类别的精确率和召回率。对于船舶检测我们通常更关心recall漏检率要低但precision也不能太低误报太多会干扰监控系统。深入分析生成的results.jsonCOCO格式可以导入到更专业的分析工具如pycocotools或fiftyone中查看每个类别在不同面积目标小、中、大上的AP值。这能帮你发现模型是在“大船”还是“小船”上栽了跟头。5.2 单张图像/视频推理使用detect.py脚本进行推理# 单张图片 python detect.py \ --weights runs/train/ships_det_v7/weights/best.pt \ --source path/to/your/image.jpg \ --img-size 640 \ --conf-thres 0.25 \ # 置信度阈值过滤低置信度预测 --iou-thres 0.45 \ # NMS的IoU阈值用于合并重叠框 --device 0 \ --save-txt \ # 保存检测结果为YOLO格式的txt文件 --save-conf \ # 在txt文件中保存置信度 --project runs/detect \ --name demo # 视频文件 python detect.py --weights best.pt --source path/to/video.mp4 # 摄像头实时检测 python detect.py --weights best.pt --source 0参数调优建议--conf-thres默认0.25。在实际部署中如果对误报容忍度低可以提高到0.4或0.5如果对漏检容忍度低可以降低到0.15或0.1。需要在验证集上画P-R曲线来寻找最佳平衡点。--iou-thres默认0.45。对于船舶目标如果画面中船舶密集、可能重叠可以适当降低如0.4以避免一个目标被多个框检测如果船舶间距大可以适当提高如0.5以更严格地过滤重叠框。--save-txt保存的txt文件可用于后续的轨迹跟踪、计数等任务。5.3 模型导出与部署优化为了在边缘设备或生产环境中高效运行需要将PyTorch模型转换为更高效的格式。1. 导出为TorchScriptpython export.py \ --weights runs/train/ships_det_v7/weights/best.pt \ --img-size 640 640 \ --batch-size 1 \ --device cpu \ # 指定导出设备 --include torchscript这会生成best.torchscript.pt文件可以在C环境中通过LibTorch调用性能比Python推理高。2. 导出为ONNXpython export.py \ --weights best.pt \ --img-size 640 640 \ --batch-size 1 \ --device cpu \ --include onnx \ --simplify \ # 简化ONNX图 --opset 12 # ONNX算子集版本生成best.onnx。ONNX模型可以被TensorRT、OpenVINO、ONNX Runtime等多种推理引擎支持。3. 使用TensorRT加速针对NVIDIA GPU这是实现极致推理速度的关键。步骤稍复杂# 1. 安装TensorRT需与CUDA版本匹配 # 2. 将ONNX模型转换为TensorRT引擎 trtexec --onnxbest.onnx \ --saveEnginebest.engine \ --fp16 \ # 使用FP16精度速度更快精度损失可接受 --workspace4096 \ # 显存工作空间大小(MB) --minShapesinput:1x3x640x640 \ --optShapesinput:1x3x640x640 \ --maxShapesinput:1x3x640x640转换成功后可以使用TensorRT的Python或C API加载best.engine进行推理。在我们的测试中RTX 3080TensorRTFP16相比原生PyTorch推理速度提升了约3-5倍完全满足实时视频流处理需求。部署经验动态Batch和尺寸在export.py和trtexec中可以通过--dynamic参数支持动态批次和输入尺寸但会增加引擎构建复杂度和推理延迟。对于固定摄像头场景建议使用固定尺寸。INT8量化如果追求极致的边缘部署如Jetson系列可以尝试INT8量化能进一步压缩模型、提升速度但需要校准数据集并可能带来一定的精度损失。预处理和后处理集成为了进一步提升端到端效率可以考虑将图像预处理归一化、BGR2RGB等和后处理NMS也集成到TensorRT引擎中这需要自定义插件或使用支持这些操作的框架。6. 代码规范检查与项目维护一个完整的项目不仅仅是跑通训练和推理。良好的代码规范和项目管理习惯对于团队协作和后期维护至关重要。这也是热词中“检查代码规范”所关心的。6.1 使用工具自动化检查我们主要使用以下工具来保证代码质量Black 自动格式化Python代码统一风格。black train.py detect.py export.pyFlake8 检查代码风格和潜在错误如未使用的变量、过长的行。flake8 . --count --selectE9,F63,F7,F82 --show-source --statisticsisort 自动整理和排序import语句。isort .pre-commit 将上述工具集成到Git提交钩子中在每次git commit时自动运行检查确保提交的代码符合规范。在项目根目录创建.pre-commit-config.yaml文件进行配置。6.2 项目结构与文档一个清晰的项目结构能让人一目了然yolov7_ship_detection/ ├── data/ │ ├── hyps/ # 超参数配置文件 │ ├── scripts/ # 数据下载、处理脚本 │ └── ships.yaml # 数据集配置文件 ├── models/ # 模型定义文件来自官方YOLOv7 ├── utils/ # 工具函数来自官方YOLOv7 ├── weights/ # 存放预训练和训练好的权重 ├── datasets/ # 符号链接或实际存放数据集的地方 ├── runs/ # 训练、测试、检测结果应由代码自动生成 ├── scripts/ # 自定义的训练、评估、部署脚本 │ ├── train.sh │ ├── evaluate.sh │ └── deploy_to_tensorrt.sh ├── configs/ # 实验配置文件记录每次实验的参数 ├── docs/ # 项目文档如数据标注规范、API说明 ├── requirements.txt # Python依赖 ├── README.md # 项目总览快速开始指南 └── .gitignore在README.md中务必写清楚1) 项目简介2) 环境安装步骤3) 数据准备指南4) 如何训练5) 如何评估与推理6) 如何部署。好的文档能为你节省大量日后回答重复问题的时间。6.3 版本控制与实验管理Git 使用Git进行代码版本控制。为不同的功能开发创建分支通过Pull Request合并到主分支。实验跟踪 每次训练都是一个实验。我们使用TensorBoard或Weights Biases (WB)来跟踪实验。在train.py中可以通过--logger参数启用。# 使用TensorBoard tensorboard --logdir runs/train # 在train.py中默认已支持TensorBoard日志记录WB能提供更强大的协作和实验对比功能强烈推荐团队使用。它能记录超参数、指标曲线、系统资源使用情况甚至验证集预测样例让你轻松复现最佳实验。通过这套代码规范和项目管理流程我们的船舶检测项目从最初的研究原型平稳地过渡到了可以持续迭代、多人协作的工程化项目为后续的模型更新和功能扩展打下了坚实基础。本文还有配套的精品资源点击获取 YOLOv7船舶检测实战：从网络结构解析到工程化部署全流程
简介本资源是面向计算机视觉初学者与船舶智能监测领域开发者的YOLOv7船舶检测一站式实践包聚焦海上目标识别、港口安防与航运监管等实际场景。压缩包共2377个文件247.63MB涵盖772张船舶实拍图像jpg、742份VOC格式标注xml、741份YOLO格式标签txt辅以36个配置yaml、31个训练/推理/部署脚本py、14个Jupyter实验笔记ipynb及TensorBoard日志、Dockerfile、预训练权重pt等关键组件完整覆盖数据准备、模型训练、性能可视化与跨平台部署全流程。目前已有1055人学习下载资源结构清晰含YOLOv7与YOLOv5对比实验、TensorRT/ONNX Runtime动态批处理加速方案及mAP与loss曲线分析可直接复现、微调或迁移至其他水域目标检测任务。1. 项目缘起为什么是YOLOv7做船舶检测最近在整理一个港口航道监控相关的项目客户的核心需求是从海量视频流里实时识别出各类船舶包括货轮、渔船、游艇甚至是一些小型快艇。这个场景有几个硬性要求一是速度要快最好能在普通GPU上跑到实时比如30FPS以上二是精度要高尤其是在复杂海况、天气多变、目标大小差异巨大的情况下不能漏检、错检三是模型要轻方便后续部署到边缘设备上。一开始我们试过一些经典的Two-Stage检测器精度是没得说但速度实在跟不上。也试过YOLOv5效果不错但在处理远处小目标船舶比如几个像素点的船时召回率还是不太理想。直到我们把目光投向了YOLOv7。说实话YOLOv7刚出来的时候社区里讨论很多有人说它是“缝合怪”也有人说它在速度和精度上找到了新的平衡点。经过我们团队的实际测试在船舶检测这个特定任务上YOLOv7的表现确实让人眼前一亮。它不仅在公开数据集上指标漂亮更重要的是其网络结构中的一些设计比如扩展高效层聚合网络E-ELAN和基于级联的模型缩放对于处理船舶目标尺度多变、背景复杂海浪、倒影、雾气的特性有天然的适配优势。所以这个项目就成了一个标准的“YOLOv7船舶检测”实践。今天这篇文章我就把从数据集准备、环境搭建、模型训练调优到最后的推理部署和代码规范检查的完整流程结合我们踩过的坑和积累的经验毫无保留地分享出来。无论你是想复现一个完整的项目还是仅仅想了解YOLOv7在特定领域的应用细节相信都能找到需要的东西。文末也会提供我们整理好的代码和数据集链接。2. 核心武器拆解YOLOv7的网络结构精要很多人用YOLOv7就是直接跑官方代码对里面的改动一知半解。要真正用好它尤其是在船舶检测这种有特殊性的任务上理解其核心结构至关重要。YOLOv7并非简单的YOLOv5升级版它在骨干网络Backbone、颈部Neck和头部Head都做了大量重新设计。2.1 骨干网络Backbone的进化E-ELANYOLOv7的骨干网络基于ELANEfficient Layer Aggregation Network改进而来称为E-ELAN。它的核心思想是通过控制最短和最长的梯度路径让网络能够学习到更丰富的特征。你可以把它想象成一个更高效的信息高速公路系统。在传统的卷积块叠加中信息传递路径相对固定。而E-ELAN通过分组卷积Group Convolution和通道重排Shuffle在不破坏原始梯度路径的情况下增加了特征的多样性。具体来说它将特征图在通道维度上分组每组独立进行不同层数的卷积操作然后再拼接起来并打乱通道顺序。这样做的好处是网络每一层都能看到来自前面不同“分组”经过不同深度处理后的特征增强了特征表示能力。对于船舶检测这个设计尤其有用。船舶的特征既有整体轮廓需要深层次语义特征也有局部细节如桅杆、烟囱、吃水线需要浅层细节特征。E-ELAN这种结构能更好地融合多尺度特征让模型同时“看清”远处小船的模糊轮廓和近处大船的细节纹理。2.2 颈部Neck的协同MPConv与SPPCSPCYOLOv7的颈部结构可以看作是“加强版”的路径聚合网络PANet它包含了多个下采样和上采样路径用于融合来自骨干网络不同阶段的特征。这里有两个关键模块MPConvMaxPooling Conv 这个模块用于下采样路径。它并行使用最大池化和一个步长为2的卷积然后将结果拼接。相比单一的下采样方式MPConv能保留更多信息避免在压缩特征图时丢失小目标的关键特征。对于海面上的小型渔船或快艇这个设计能有效降低它们在特征图上的“消失”速度。SPPCSPCSpatial Pyramid Pooling Cross Stage Partial Connections 这是对SPPFSpatial Pyramid Pooling Fast的改进。它通过多个不同尺寸的池化核进行并行池化捕获不同范围的上下文信息然后将所有结果与原始特征拼接。这个模块通常放在骨干网络末端能为模型提供“多尺度感受野”。在船舶检测中这意味着模型能同时利用近距离的局部上下文判断船体结构和远距离的全局上下文判断船与海天线的位置关系、与其他船的相对位置这对于在复杂背景中稳定检测非常有帮助。2.3 头部Head与标签分配策略隐式知识学习与Coarse-to-FineYOLOv7的检测头是“解耦头”Decoupled Head即分类和回归任务使用不同的分支这已经是现代检测器的标配。但其精髓在于训练阶段的**标签分配Label Assignment**策略。YOLOv7提出了由粗到细的引导式标签分配Coarse-to-Fine lead guided label assignment。简单说它包含两个阶段粗匹配阶段使用一个简单的规则如基于IoU初步筛选出大量的候选正样本。精匹配阶段让模型本身参与进来根据预测框和真实框的匹配程度如预测的IoU值从候选集中挑选出最终用于计算损失的正样本。这种策略让标签分配过程不再是静态的、手工设定的而是动态的、由模型学习驱动的。对于船舶数据集目标尺度、长宽比变化大货船细长渔船短宽这种动态分配策略比固定规则如YOLOv5的Anchor-Based更能适应数据分布有助于提升尤其是困难样本被遮挡、极小目标的召回率。此外YOLOv7还引入了隐式知识学习的概念通过添加一些可学习的模块不直接参与最终输出来辅助主干网络学习更通用的特征表示可以理解为给模型增加了一个“陪练”。理解这些结构你就能明白为什么YOLOv7在保持速度的同时提升了精度。在后续的调参中你也可以有的放矢比如调整E-ELAN的分组数、修改SPPCSPC的池化核大小来更好地适配你的数据集特性。3. 从零到一构建专属船舶检测数据集模型再强也离不开高质量的数据。网上公开的船舶数据集不少比如SeaShips、SMD还有热词里提到的Aeroscapes虽然主要是航空影像但包含港口场景、DOTA通过mmrotate训练说明其包含旋转目标适合斜框检测船舶。但直接用这些数据集往往无法满足特定需求比如我们项目需要识别特定港口的特种工程船。因此构建或增强自己的数据集是必经之路。3.1 数据采集与来源我们的数据主要来自四个渠道公开数据集作为基础我们使用了SeaShips6类船舶约3万张图像和SMD的一部分。这提供了丰富的正样本。网络爬虫使用关键词如“港口监控”、“海上航行”、“船舶AIS截图”从合规的图片视频网站爬取相关图像和视频帧。这里必须严格遵守法律法规和平台协议仅用于技术研究。客户提供项目方提供的港口摄像头历史视频这是最贴合实际场景的数据。合成数据针对一些稀少类别如消防船、引航船我们使用了Blender进行3D建模并渲染到真实海景背景中以增加样本多样性。3.2 数据标注工具与规范标注我们主要使用LabelImg矩形框和Roboflow在线协作平台。对于是否需要斜框我们做了对比在港口停泊密集或船舶朝向不一时斜框能减少背景干扰但会增加标注成本和模型复杂度需使用如mmrotate框架。我们最终选择了水平框因为我们的主要场景是航道航行船舶姿态相对固定水平框已足够且YOLOv7原生支持部署简单。标注规范至关重要类别定义明确且互斥。我们定义了Cargo货轮、Tanker油轮、Fishing渔船、Passenger客轮/游轮、Sailboat帆船、Speedboat快艇、Other其他。框体原则紧贴船体包含通常在水面上的全部结构如起重机、雷达。对于被遮挡超过50%的船舶标注可见部分并标记为difficult。背景与困难样本特意保留了一些有雾、雨天、黄昏、波浪反射强烈的图像并确保每类船舶在这些条件下都有一定数量的样本。这是提升模型鲁棒性的关键。3.3 数据预处理与增强策略YOLOv7的训练代码内置了强大的数据增强但我们根据船舶特点进行了定制化修改在data/hyps/hyp.scratch.p5.yaml中调整几何增强mosaic四图拼接和mixup非常有效能极大地增加小目标样本远处船舶的出现频率并模拟船舶密集的场景。色彩增强hsv_h色调、hsv_s饱和度、hsv_v明度的调整范围加大以模拟不同天气和海况。特别是降低v明度和增加hsv_s饱和度可以模拟雾天和夕阳场景。特殊增强我们增加了运动模糊模拟相机抖动或船舶高速移动和雨雾模拟的增强这些对于岸基摄像头拍摄的视频流非常实用。一个重要的经验是不要一开始就使用所有最强增强。应先以基础增强训练一个基准模型观察其在验证集上哪些场景表现差如小目标漏检、雾天误检再有针对性地加强相关增强并可能补充对应场景的数据。最终我们整理的数据集包含约2.5万张图像8个类别并按照70%训练、20%验证、10%测试的比例划分。数据集采用YOLO格式每个图像对应一个.txt文件内容为class_id x_center y_center width_height坐标已归一化。4. 训练全流程环境、命令与调参实战有了数据和模型理解接下来就是实战训练。这里我会详细说明每一步并穿插我们遇到的具体问题和解决方案。4.1 环境搭建与代码准备我们使用的环境是Ubuntu 20.04, Python 3.8, PyTorch 1.12.1cu113, CUDA 11.3。# 1. 克隆官方仓库 git clone https://github.com/WongKinYiu/yolov7.git cd yolov7 # 2. 安装依赖 (建议使用虚拟环境) pip install -r requirements.txt # 3. 安装pycocotools用于评估如果需要 pip install pycocotools # 4. 获取预训练权重可选但强烈推荐 # 从官方Release页面下载yolov7.pt, yolov7-tiny.pt等放到项目根目录。注意PyTorch和CUDA版本需匹配。如果遇到torch.cuda.is_available()返回False请检查驱动和CUDA安装。4.2 数据集配置文件准备在data目录下创建自己的配置文件例如data/ships.yaml。# ships.yaml train: /path/to/your_dataset/images/train # 训练集图片路径 val: /path/to/your_dataset/images/val # 验证集图片路径 test: /path/to/your_dataset/images/test # 测试集图片路径可选 # 类别数 nc: 7 # 类别名称列表 names: [Cargo, Tanker, Fishing, Passenger, Sailboat, Speedboat, Other]确保你的数据集目录结构是your_dataset/ ├── images/ │ ├── train/ │ ├── val/ │ └── test/ └── labels/ ├── train/ ├── val/ └── test/4.3 启动训练从预训练模型微调这是最常用的方式能极大加快收敛并提升性能。python train.py \ --weights yolov7.pt \ # 加载预训练权重 --data data/ships.yaml \ # 数据集配置文件 --hyp data/hyps/hyp.scratch.p5.yaml \ # 超参数文件可修改 --epochs 300 \ # 总训练轮数 --batch-size 16 \ # 根据GPU内存调整 --img-size 640 \ # 输入图像尺寸 --device 0 \ # GPU ID多卡可用 0,1,2,3 --workers 8 \ # 数据加载线程数 --name ships_det_v7 \ # 本次训练运行名称 --project runs/train \ # 结果保存目录 --exist-ok # 允许覆盖同名实验关键参数解析--weights: 从预训练模型开始。yolov7.pt是在COCO上训练的包含了通用的物体检测知识。--hyp: 超参数文件里面定义了学习率、优化器、损失权重、数据增强强度等。调参的主战场就在这里。--img-size: 默认640。如果数据集目标普遍较小如远洋船舶可以尝试增大到896甚至1280但会显著增加显存消耗和训练时间。--batch-size: 在显存允许范围内尽可能设大有利于训练稳定。如果遇到OOM内存溢出可以减小batch-size或img-size或者使用--multi-scale训练动态调整输入尺寸。4.4 超参数调优心得直接使用默认hyp.scratch.p5.yaml通常能得到不错的结果但针对船舶数据我们做了以下调整在hyp.finetune.yaml中lr0: 0.01 # 初始学习率从预训练微调可调小如0.001 lrf: 0.01 # 最终学习率因子 (lr0 * lrf) momentum: 0.937 weight_decay: 0.0005 warmup_epochs: 3.0 warmup_momentum: 0.8 warmup_bias_lr: 0.1 # 损失函数权重 box: 0.05 # 框回归损失权重保持较小 cls: 0.3 # 分类损失权重针对多类船舶可适当关注 cls_pw: 1.0 # 分类BCL正样本权重 obj: 0.7 # 目标性损失权重对密集小目标可微调 obj_pw: 1.0 # 目标性BCL正样本权重 iou_t: 0.20 # IoU训练阈值 # 数据增强 flipud: 0.0 # 上下翻转概率船舶上下翻转不常见设为0 fliplr: 0.5 # 左右翻转概率船舶左右对称可保留 mosaic: 1.0 # Mosaic增强概率保持1.0 mixup: 0.1 # Mixup增强概率可适当降低避免类别混淆过度我们的调参经验学习率微调时lr0从0.01降到0.001或0.005防止破坏预训练好的特征。如果从头训练--weights 则用0.01。数据增强mosaic和mixup对提升小目标检测非常有效但mixup太强可能导致模型对清晰单目标的判别能力下降我们最终设为0.1。flipud上下翻转对船舶不适用因为天空和海水上下翻转后语义完全错误。损失权重初期更关注obj目标性损失确保模型能“找到”目标尤其是小目标。中后期可以平衡cls分类损失让模型分清船舶类别。多尺度训练使用--multi-scale选项让模型在每次迭代时接受不同尺寸的输入默认范围在img-size的±50%这能极大地提升模型对不同尺度目标的鲁棒性强烈推荐。4.5 训练监控与问题排查训练开始后重点关注runs/train/ships_det_v7目录下的文件results.png损失曲线和指标曲线。健康的曲线应该是训练和验证损失平滑下降mAP0.5和mAP0.5:0.95稳步上升。train_batchx.jpg查看训练时数据增强后的效果确认增强是否合理标注框是否正确。val_batchx_labels.jpg和val_batchx_pred.jpg查看验证集的真实标签和模型预测对比直观判断检测效果。常见问题与解决损失NaN或突然爆炸通常是学习率过高、批次大小太小或数据有问题。检查数据标注是否有空标签文件、坐标值是否超出[0,1]降低学习率增大batch-size。mAP不升反降或震荡可能是过拟合或数据增强太强。尝试减少增强强度如降低mixup概率增加正则化如稍微提高weight_decay或者使用早停--patience参数。小目标检测效果差这是船舶检测的常见痛点。除了调整hyp中的obj权重更有效的方法是1) 确保数据集中有足够多的小目标样本可通过Mosaic增强2) 尝试使用更大的输入分辨率--img-size 8963) 使用YOLOv7专门为小目标优化的版本如yolov7-tiny或yolov7-w6更大的宽度。训练完成后最好的模型权重会保存在runs/train/ships_det_v7/weights/best.pt。5. 模型评估、推理与部署优化模型训练好了怎么知道它到底行不行又该怎么用它5.1 模型评估不仅仅是看mAP使用以下命令在测试集上评估模型python test.py \ --weights runs/train/ships_det_v7/weights/best.pt \ --data data/ships.yaml \ --task test \ # 在test集上评估 --img-size 640 \ --batch-size 32 \ --device 0 \ --save-json \ # 保存结果用于详细分析 --project runs/test \ --name ships_final_eval关键输出指标mAP0.5(PASCAL VOC mAP) IoU阈值为0.5时的平均精度。这是最常用的指标值越高越好。mAP0.5:0.95(COCO mAP) IoU阈值从0.5到0.95步长0.05的平均精度。这个指标更严格更能综合反映模型定位的精确度。precision和recall查看各类别的精确率和召回率。对于船舶检测我们通常更关心recall漏检率要低但precision也不能太低误报太多会干扰监控系统。深入分析生成的results.jsonCOCO格式可以导入到更专业的分析工具如pycocotools或fiftyone中查看每个类别在不同面积目标小、中、大上的AP值。这能帮你发现模型是在“大船”还是“小船”上栽了跟头。5.2 单张图像/视频推理使用detect.py脚本进行推理# 单张图片 python detect.py \ --weights runs/train/ships_det_v7/weights/best.pt \ --source path/to/your/image.jpg \ --img-size 640 \ --conf-thres 0.25 \ # 置信度阈值过滤低置信度预测 --iou-thres 0.45 \ # NMS的IoU阈值用于合并重叠框 --device 0 \ --save-txt \ # 保存检测结果为YOLO格式的txt文件 --save-conf \ # 在txt文件中保存置信度 --project runs/detect \ --name demo # 视频文件 python detect.py --weights best.pt --source path/to/video.mp4 # 摄像头实时检测 python detect.py --weights best.pt --source 0参数调优建议--conf-thres默认0.25。在实际部署中如果对误报容忍度低可以提高到0.4或0.5如果对漏检容忍度低可以降低到0.15或0.1。需要在验证集上画P-R曲线来寻找最佳平衡点。--iou-thres默认0.45。对于船舶目标如果画面中船舶密集、可能重叠可以适当降低如0.4以避免一个目标被多个框检测如果船舶间距大可以适当提高如0.5以更严格地过滤重叠框。--save-txt保存的txt文件可用于后续的轨迹跟踪、计数等任务。5.3 模型导出与部署优化为了在边缘设备或生产环境中高效运行需要将PyTorch模型转换为更高效的格式。1. 导出为TorchScriptpython export.py \ --weights runs/train/ships_det_v7/weights/best.pt \ --img-size 640 640 \ --batch-size 1 \ --device cpu \ # 指定导出设备 --include torchscript这会生成best.torchscript.pt文件可以在C环境中通过LibTorch调用性能比Python推理高。2. 导出为ONNXpython export.py \ --weights best.pt \ --img-size 640 640 \ --batch-size 1 \ --device cpu \ --include onnx \ --simplify \ # 简化ONNX图 --opset 12 # ONNX算子集版本生成best.onnx。ONNX模型可以被TensorRT、OpenVINO、ONNX Runtime等多种推理引擎支持。3. 使用TensorRT加速针对NVIDIA GPU这是实现极致推理速度的关键。步骤稍复杂# 1. 安装TensorRT需与CUDA版本匹配 # 2. 将ONNX模型转换为TensorRT引擎 trtexec --onnxbest.onnx \ --saveEnginebest.engine \ --fp16 \ # 使用FP16精度速度更快精度损失可接受 --workspace4096 \ # 显存工作空间大小(MB) --minShapesinput:1x3x640x640 \ --optShapesinput:1x3x640x640 \ --maxShapesinput:1x3x640x640转换成功后可以使用TensorRT的Python或C API加载best.engine进行推理。在我们的测试中RTX 3080TensorRTFP16相比原生PyTorch推理速度提升了约3-5倍完全满足实时视频流处理需求。部署经验动态Batch和尺寸在export.py和trtexec中可以通过--dynamic参数支持动态批次和输入尺寸但会增加引擎构建复杂度和推理延迟。对于固定摄像头场景建议使用固定尺寸。INT8量化如果追求极致的边缘部署如Jetson系列可以尝试INT8量化能进一步压缩模型、提升速度但需要校准数据集并可能带来一定的精度损失。预处理和后处理集成为了进一步提升端到端效率可以考虑将图像预处理归一化、BGR2RGB等和后处理NMS也集成到TensorRT引擎中这需要自定义插件或使用支持这些操作的框架。6. 代码规范检查与项目维护一个完整的项目不仅仅是跑通训练和推理。良好的代码规范和项目管理习惯对于团队协作和后期维护至关重要。这也是热词中“检查代码规范”所关心的。6.1 使用工具自动化检查我们主要使用以下工具来保证代码质量Black 自动格式化Python代码统一风格。black train.py detect.py export.pyFlake8 检查代码风格和潜在错误如未使用的变量、过长的行。flake8 . --count --selectE9,F63,F7,F82 --show-source --statisticsisort 自动整理和排序import语句。isort .pre-commit 将上述工具集成到Git提交钩子中在每次git commit时自动运行检查确保提交的代码符合规范。在项目根目录创建.pre-commit-config.yaml文件进行配置。6.2 项目结构与文档一个清晰的项目结构能让人一目了然yolov7_ship_detection/ ├── data/ │ ├── hyps/ # 超参数配置文件 │ ├── scripts/ # 数据下载、处理脚本 │ └── ships.yaml # 数据集配置文件 ├── models/ # 模型定义文件来自官方YOLOv7 ├── utils/ # 工具函数来自官方YOLOv7 ├── weights/ # 存放预训练和训练好的权重 ├── datasets/ # 符号链接或实际存放数据集的地方 ├── runs/ # 训练、测试、检测结果应由代码自动生成 ├── scripts/ # 自定义的训练、评估、部署脚本 │ ├── train.sh │ ├── evaluate.sh │ └── deploy_to_tensorrt.sh ├── configs/ # 实验配置文件记录每次实验的参数 ├── docs/ # 项目文档如数据标注规范、API说明 ├── requirements.txt # Python依赖 ├── README.md # 项目总览快速开始指南 └── .gitignore在README.md中务必写清楚1) 项目简介2) 环境安装步骤3) 数据准备指南4) 如何训练5) 如何评估与推理6) 如何部署。好的文档能为你节省大量日后回答重复问题的时间。6.3 版本控制与实验管理Git 使用Git进行代码版本控制。为不同的功能开发创建分支通过Pull Request合并到主分支。实验跟踪 每次训练都是一个实验。我们使用TensorBoard或Weights Biases (WB)来跟踪实验。在train.py中可以通过--logger参数启用。# 使用TensorBoard tensorboard --logdir runs/train # 在train.py中默认已支持TensorBoard日志记录WB能提供更强大的协作和实验对比功能强烈推荐团队使用。它能记录超参数、指标曲线、系统资源使用情况甚至验证集预测样例让你轻松复现最佳实验。通过这套代码规范和项目管理流程我们的船舶检测项目从最初的研究原型平稳地过渡到了可以持续迭代、多人协作的工程化项目为后续的模型更新和功能扩展打下了坚实基础。本文还有配套的精品资源点击获取