简介面向深度学习与目标检测研究者的多光谱目标检测项目资料围绕基于Yolov5Transformer的多光谱目标检测系统提出跨模态融合变换器CFT。CFT不同于传统CNN方法借助Transformer自注意力机制捕获长距离依赖并整合全局上下文信息同时完成模态内与模态间特征融合显著提升RGB与热成像联合检测的稳健性和精度。压缩包约39.75MB共114个文件以43个yaml配置、30个Python源码、22个pyc编译文件为主体另含shell脚本、Markdown说明、示例图片及Dockerfile覆盖模型构建、参数配置、数据准备、训练推理与环境部署的完整流程。已有997人学习下载适合研究者复现论文实验、对比SOTA方法或进行工程二次开发。预览内容中的演示动图和示例图片可供直观评估CFT效果目录结构清晰便于快速定位核心代码与配置文件使用者可在现有工程基础上调整数据集与融合策略拓展到自定义多光谱检测场景也可借鉴其跨模态设计思路改进网络结构。1. 多光谱目标检测Yolov5 加 Transformer 到底在解决什么问题把可见光图像和红外图像直接堆在同一个模型里做训练看起来只是把输入通道从 3 改成 4 或 6实际跑起来会发现大量问题红外图和可见光图视角有偏差、两路特征的亮度分布完全不同、模型在白天和晚上表现忽高忽低。多光谱目标检测的核心难点从来不是“多一个传感器”而是如何让模型学会在不同光谱下提取互补信息并在特征层面把两路信号融合起来。这个项目方案选择 Yolov5 作为检测骨架、Transformer 作为特征交互模块是为了在工程稳定性与远距离依赖建模之间找一个平衡点。两套框架的结合方式也值得先说清楚Yolov5 负责候选框的回归与分类Transformer 负责在不同光谱分支之间做注意力交互。这套设计适合有可见光与热红外、可见光与近红外数据对的研究人员和工程师既能跑通一个完整训练链路也能在消融实验里解释“Transformer 在哪个环节起作用”。接下来我会按照技术选型、工程实现、训练调优、验证技巧的顺序把这套系统从零搭起来。2. 为什么用 Yolov5 而不是其他检测器Transformer 加在哪里最合理2.1 Yolov5 在工程落地上的不可替代性Yolov5 虽然不是当前精度最高的检测器但在工程落地场景里它的生态成熟度仍然是最高的。训练脚本、数据增强、模型导出、TensorRT 部署链路完整社区里针对各类硬件平台的适配方案齐全遇到问题几乎都能搜到现成处理方案。在“高分项目”这类需要快速出结果、稳定复现的任务里Yolov5 的容错率明显高于 Yolov8 或 RT-DETR——后两者要么部署工具链还没完全成熟要么对 Transformer 结构内置过深导致调参成本变高。多光谱任务还有一个特殊性输入分辨率往往比普通可见光检测更大。红外相机常见分辨率是 640×512 或 1280×1024配准后的融合图像若保留原始尺寸Yolov5 的 CSPDarknet 骨架在特征提取效率上优于多数 Transformer 检测器这对显存占用和推理速度都是实际优势。2.2 Transformer 在多光谱融合中的角色不是替代 Backbone很多人一看到“基于 Yolov5Transformer”就以为要把 Yolov5 的 backbone 整个换成 Vision Transformer。这种做法在多光谱场景下并不推荐原因有两点Swin Transformer 这类结构虽然全局建模能力强但数据需求量更大。多光谱数据集通常比单模态数据集小一个数量级直接替换 backbone 极易过拟合。Yolov5 的颈部网络PANet擅长多尺度特征融合这部分结构在目标检测任务里已经很成熟没必要推翻重来。Transformer 更合理的插入位置是在 Yolov5 的检测头之前作为一个跨光谱特征交互模块。具体做法是将 RGB 分支和红外分支的特征图分别提取出来后在特征金字塔的某一层做 Token 化处理送入 Transformer Encoder 进行注意力交互再把交互后的特征映射回原特征图尺寸送入检测头。2.2.1 从通道拼接升级到注意力融合的收益最简单的多光谱融合方式是直接拼接比如把 3 通道可见光和 3 通道红外图像在通道维度合并成 6 通道输入。这种方式实现成本最低但问题也最明显模型只能隐式学习两路信号的关系当红外目标特征较弱或与背景对比度低时注意力很难自动分配到有用的模态上。注意力融合则把“选择哪路信号”这件事显式化。Transformer Encoder 的 Self-Attention 机制会对所有空间位置和模态通道进行两两关联计算模型可以自适应地决定在当前场景下更信任可见光的纹理信息还是更信任红外的热辐射信息。夜间场景没有可见光纹理时注意力权重会自动偏向红外分支。2.3 注意力机制与多光谱特征的匹配逻辑Transformer 的注意力机制本质上是计算 Query 与 Key 之间的相似度再按相似度加权求和 Value。在多光谱场景中这个机制恰好对应一个物理直觉可见光分支可能看清楚了目标轮廓红外分支可能看清了目标温度分布注意力机制负责把两路信息的有效部分加权合并。这里需要注意一个工程细节多光谱特征融合时Query 和 Key 应该来自不同模态还是同一模态实践结论是交叉注意力Cross-Attention的效果通常优于自注意力Self-Attention。也就是让可见光分支去查询红外分支的关键区域同时让红外分支查询可见光分支的关键区域双路交互后拼接或相加。这样每个分支既保留了自身独有的模态特征又获取了另一个分支的补充信息。3. 搭建 Yolov5Transformer 多光谱检测系统的完整工程实现3.1 数据集组织与预处理多光谱数据集的组织方式和普通目标检测数据集的核心区别在于“配对”。可见光图像和红外图像必须严格按帧对齐同一行代码里要能同时取到两路图像及其对应的标注信息。推荐的数据目录结构如下dataset/ ├── images/ │ ├── visible/ │ │ ├── 000001.jpg │ │ └── 000002.jpg │ └── infrared/ │ ├── 000001.png │ └── 000002.png ├── labels/ │ ├── 000001.txt │ ├── 000002.txt └── train.txt标注文件格式与 Yolov5 原生格式一致每行内容为class_id x_center y_center width height坐标值均归一化到 0-1。这里的核心约束是可见光图像和红外图像的分辨率必须一致如果原始数据来自不同相机需要先做配准和裁剪。3.1.1 配准失败时的兜底方案如果两路图像存在几像素的偏移最简单的处理方式是做一个中心裁剪把边缘偏移区域裁掉。例如原始图像为 640×512裁剪为 608×480 后再用于训练。裁剪会损失边缘目标但对整个系统的稳定性收益远大于损失因为 Transformer 的注意力计算对空间错位非常敏感。3.2 模型结构改造在 Yolov5 中插入 Transformer 层在 Yolov5 的models/目录下新建一个yolov5_multispectral.yaml配置文件结构上保持 Yolov5 原有的 backbone 和 Neck 不变只修改 Detect 层之前的部分。以下是一个可运行的模型配置示例# yolov5_multispectral.yaml nc: 3 # 按实际类别数修改 backbone: - [-1, 1, Conv, [64, 6, 2, 2]] # 0-P1/4 - [-1, 1, Conv, [128, 3, 2]] # 1-P2/8 - [-1, 3, C3, [128]] - [-1, 1, Conv, [256, 3, 2]] # 3-P3/16 - [-1, 6, C3, [256]] - [-1, 1, Conv, [512, 3, 2]] # 5-P4/32 - [-1, 9, C3, [512]] - [-1, 1, Conv, [1024, 3, 2]] # 7-P5/64 - [-1, 3, C3, [1024]] - [-1, 1, SPPF, [1024, 5]] # 9 # 修改点增加一个跨模态特征融合分支 multispectral_fusion: - [-1, 1, Conv, [512, 1, 1]] # 将1024通道压缩到512 - [-1, 1, TransformerEncoder, [512, 8]] # 512维8头注意力 head: - [-1, 1, Conv, [512, 3, 2]] # 上采样前的降维 - [-1, 1, nn.Upsample, [None, 2, nearest]] - [[-1, 6], 1, Concat, [1]] # 与backbone第6层融合 - [-1, 3, C3, [512, False]] # 后续检测头部分与原生Yolov5保持一致这个配置里的TransformerEncoder层是核心新增模块需要继承nn.Module自行实现。具体代码放在models/common.py中核心逻辑如下import torch import torch.nn as nn from einops import rearrange class TransformerEncoder(nn.Module): def __init__(self, dim, num_heads, ff_dim2048, dropout0.1): super().__init__() self.attn nn.MultiheadAttention(dim, num_heads, dropoutdropout) self.norm1 nn.LayerNorm(dim) self.norm2 nn.LayerNorm(dim) self.ffn nn.Sequential( nn.Linear(dim, ff_dim), nn.GELU(), nn.Dropout(dropout), nn.Linear(ff_dim, dim), nn.Dropout(dropout) ) def forward(self, x): # x: [B, C, H, W] B, C, H, W x.shape # 转换为序列形式 [H*W, B, C] x rearrange(x, b c h w - (h w) b c) # 自注意力 attn_out, _ self.attn(x, x, x) x self.norm1(x attn_out) # 前馈网络 ffn_out self.ffn(x) x self.norm2(x ffn_out) # 恢复为特征图 x rearrange(x, (h w) b c - b c h w, hH, wW) return x代码的核心逻辑是先把特征图展平成序列送入多头注意力层做全局交互再恢复成特征图结构。dim设置为 512 是为了与 Yolov5 在 P4 层的通道数对齐num_heads设置为 8 保证每个头分管 64 维的注意力计算。ffn的中间维度取 2048即 512 的 4 倍这是 Transformer 的常见经验值。这套代码跑通后的实际表现是注意力层对输入特征图的所有空间位置同时建模目标区域之间无论距离多远都能直接建立关联这对于大尺寸目标、遮挡目标以及弱红外目标都有明显帮助。3.3 多光谱数据的输入改造模型结构改好后还需要让数据加载器同时读取可见光和红外图像。修改datasets.py中的LoadImagesAndLabels类在__getitem__方法中增加一个读取分支def __getitem__(self, index): # 原有代码读取可见光图像 path self.img_files[index] img cv2.imread(path) # 新增代码拼接红外图像路径并读取 infrared_path path.replace(visible, infrared).replace(.jpg, .png) img_ir cv2.imread(infrared_path) # 两路图像做相同的数据增强 img, img_ir self.augment(img, img_ir) # 在通道维度拼接 [6, H, W] img np.concatenate([img, img_ir], axis2) img img.transpose((2, 0, 1)) # 转换为 [C, H, W] 格式 img np.ascontiguousarray(img) return img, labels, path, shapes关键约束在最后的拼接操作上可见光和红外图像必须经过完全一致的数据增强变换包括缩放、翻转、色彩抖动的一致性策略。因为两路信号是配准关系任何一方的独立变换都会破坏空间对应。这个细节在论文里不会写但实际训练中只要出现一次增强不一致Transformer 的跨模态注意力就学不到有效规律最终表现为训练损失震荡不收敛。3.4 训练命令与参数选择改造完成后使用以下命令开始训练python train.py \ --data multispectral.yaml \ --cfg yolov5_multispectral.yaml \ --weights yolov5s.pt \ --batch-size 16 \ --epochs 100 \ --img 640 \ --device 0这里有几个参数需要特别说明。--batch-size设置为 16 是因为 Transformer 层的注意力矩阵对显存消耗较大batch 过大容易 OOM--img保持 640 是因为 Yolov5 的 anchor 尺寸是基于 640 分辨率预设的改大会导致 anchor 失效。--weights加载的是原生 Yolov5 的预训练权重backbone 部分可以复用但新增的 Transformer 层无法加载权重初始化时是一个随机状态。训练时需要注意观察 loss 曲线的行为。前 20 个 epoch 内如果 loss 比纯 Yolov5 下降得更慢这是正常现象因为 Transformer 层在随机初始化的情况下会引入额外的噪声。如果 50 个 epoch 后训练 loss 仍在高位平台期需要检查数据增强是否同步作用于两路输入、红外图像是否被错误地归一化到了与可见光相同的均值与方差范围。4. 训练调优绕过 Yolov5Transformer 最常用的 5 个坑4.1 两路图像亮度分布不一致导致的预训练权重失灵可见光图像的像素范围通常在 0-255 且分布均匀但红外图像的像素值高度集中在某个窄区间。如果不做额外处理直接拼接输入 Yolov5预训练权重的第一层卷积核会被红外通道的异常分布冲垮。常见做法是对红外图像单独做 CLAHE 对比度自适应直方图均衡化再与可见光图像拼接。处理方式是在数据加载器的预处理阶段加入如下逻辑def preprocess_infrared(img_ir): # 转为灰度后做CLAHE if len(img_ir.shape) 3: img_ir cv2.cvtColor(img_ir, cv2.COLOR_BGR2GRAY) clahe cv2.createCLAHE(clipLimit3.0, tileGridSize(8, 8)) img_ir clahe.apply(img_ir) # 扩展回三通道保持与可见光的维度一致 img_ir cv2.merge([img_ir, img_ir, img_ir]) return img_irclipLimit设置为 3.0tileGridSize设置为 8×8这两个参数控制对比度增强的强度和局部性。过大的clipLimit会产生噪声放大过小的tileGridSize会导致局部块之间出现边界伪影。4.2 小目标在 Transformer 层被下采样丢失Yolov5 的 P5 层stride 32特征图分辨率只有 20×20Transformer 层加在 P4 或 P5 层都面临小目标信息不足的问题。输入分辨率为 640 时一个 32×32 像素的小目标在 P5 层只剩 1×1 像素注意力机制在这个尺度上根本无法建立有效关联。推荐做法是将 Transformer 层加在 P3 层stride 8之后也就是 80×80 特征图的尺度。此时 32×32 的目标还有 4×4 像素的表达空间注意力机制有足够的信息量做跨区域交互。代价是计算量显著增大80×806400 个 Token 的注意力矩阵为 6400×6400显存占用呈平方级增长。如果显存不足可以先把特征图切成 4 个 40×40 的块分别做注意力计算后再拼接回完整特征图这样能把显存占用降低到原来的四分之一。4.3 超参数需要对 Transformer 层单独适配Yolov5 自带的hyp.scratch.yaml超参数是针对纯卷积结构调优的加入 Transformer 后需要做两处调整lr0初始学习率从默认的 0.01 降低到 0.005。Transformer 层的梯度更新与卷积层不同它在训练早期对学习率更敏感过大的学习率容易导致注意力权重矩阵震荡。weight_decay从默认的 0.0005 降低到 0.0001。Transformer 层有 LayerNorm 和全连接层正则项过强会导致注意力分布退化到接近均匀分布失去选择性聚焦的能力。修改方式是在训练时指定自定义超参数文件python train.py \ --hyp hyp.multispectral.yaml \ --data multispectral.yaml \ --cfg yolov5_multispectral.yaml4.4 类别不平衡在多光谱场景下的放大效应多光谱数据集中夜间红外目标的漏检率天然高于日间可见光目标这会导致训练过程中夜间样本的梯度贡献被日间样本压制。Yolov5 自带的cls_pw参数类别平衡权重可以缓解这个问题。假设你有两个类别——白天行人和夜晚行人可以手动修改类别权重cls_pw: 1.5 # 对难分类别额外加权另一个实用手段是时间维度的采样平衡。训练时保证每个 batch 中白天和夜晚样本各占一半避免模型只学到白天场景的分布。4.5 过拟合的判断与早停多光谱数据集规模不大Transformer 层参数量又不小过拟合风险比纯 Yolov5 高很多。判断标准是训练 loss 持续下降但验证 mAP 连续 10 个 epoch 不增长且验证 loss 开始回升。此时优先做法不是减少 Transformer 层数而是增加 Dropout 比例。从默认的 0.1 调整到 0.3同时将--patience参数设置为 20。这是因为 Yolov5 的patience默认值是 100在多光谱场景下过长的等待只会浪费时间。下面的表格总结了不同问题场景下最优先检查的参数问题现象优先检查项推荐调整训练 loss 下降慢Transformer 输入通道分布红外 CLAHE 预处理验证 mAP 长期停滞特征层位置从 P4 移到 P3小目标漏检严重特征图分辨率切块注意力或提高输入尺寸白天好夜晚差数据采样batch 内按时段平衡过拟合明显Dropout从 0.1 提到 0.35. 用置信度分布定位 Yolov5Transformer 的出错环节跑通训练之后需要一种方法判断系统的主要误差来源是模态融合、检测头回归还是数据问题。这里有一个可复现的验证技巧统计模型在不同置信度区间内预测框的 IoU 分布。具体做法是在验证集上导出每个预测框的置信度和对应真实框的最大 IoU按置信度分桶统计平均 IoU。如果高置信度0.8-0.95的框平均 IoU 较低低于 0.5说明检测头回归质量差与 Transformer 融合无关优先检查回归损失权重。如果置信度区间分布异常集中大量预测落在 0.5-0.7且红外样本占比高的场景表现更差说明跨模态融合不充分需要检查 Transformer 层是否真的接收到了来自两个分支的差异化特征。第三种情况最高发红外分支和可见光分支经过多层卷积后特征分布逐渐趋于同质化。验证方法是在训练后提取两个分支在 Transformer 输入层的特征图计算特征之间的余弦相似度。若相似度超过 0.9说明两个分支已经退化成了同一个特征提取器Transformer 的跨模态注意力变成了自注意力。针对这个情况常见的对策是增加一个模态差异损失在训练时约束两个分支的特征互信息不过高。可以简单地在总损失中加入一项# 伪代码模态差异损失 loss_modality F.cosine_similarity(feat_visible, feat_infrared).mean() loss_total loss_det 0.1 * loss_modality系数 0.1 是一个经验起点太大会迫使两个分支学习完全不相关的特征反而损害检测精度。用这个损失约束后重新训练观察验证集上 mAP 的变化方向再用网格搜索微调这个系数。这样既验证了 Transformer 加进来的效果也把训练资源花在了能改变结果的地方。本文还有配套的精品资源点击获取 Yolov5+Transformer多光谱目标检测：跨光谱特征融合与工程实现
简介面向深度学习与目标检测研究者的多光谱目标检测项目资料围绕基于Yolov5Transformer的多光谱目标检测系统提出跨模态融合变换器CFT。CFT不同于传统CNN方法借助Transformer自注意力机制捕获长距离依赖并整合全局上下文信息同时完成模态内与模态间特征融合显著提升RGB与热成像联合检测的稳健性和精度。压缩包约39.75MB共114个文件以43个yaml配置、30个Python源码、22个pyc编译文件为主体另含shell脚本、Markdown说明、示例图片及Dockerfile覆盖模型构建、参数配置、数据准备、训练推理与环境部署的完整流程。已有997人学习下载适合研究者复现论文实验、对比SOTA方法或进行工程二次开发。预览内容中的演示动图和示例图片可供直观评估CFT效果目录结构清晰便于快速定位核心代码与配置文件使用者可在现有工程基础上调整数据集与融合策略拓展到自定义多光谱检测场景也可借鉴其跨模态设计思路改进网络结构。1. 多光谱目标检测Yolov5 加 Transformer 到底在解决什么问题把可见光图像和红外图像直接堆在同一个模型里做训练看起来只是把输入通道从 3 改成 4 或 6实际跑起来会发现大量问题红外图和可见光图视角有偏差、两路特征的亮度分布完全不同、模型在白天和晚上表现忽高忽低。多光谱目标检测的核心难点从来不是“多一个传感器”而是如何让模型学会在不同光谱下提取互补信息并在特征层面把两路信号融合起来。这个项目方案选择 Yolov5 作为检测骨架、Transformer 作为特征交互模块是为了在工程稳定性与远距离依赖建模之间找一个平衡点。两套框架的结合方式也值得先说清楚Yolov5 负责候选框的回归与分类Transformer 负责在不同光谱分支之间做注意力交互。这套设计适合有可见光与热红外、可见光与近红外数据对的研究人员和工程师既能跑通一个完整训练链路也能在消融实验里解释“Transformer 在哪个环节起作用”。接下来我会按照技术选型、工程实现、训练调优、验证技巧的顺序把这套系统从零搭起来。2. 为什么用 Yolov5 而不是其他检测器Transformer 加在哪里最合理2.1 Yolov5 在工程落地上的不可替代性Yolov5 虽然不是当前精度最高的检测器但在工程落地场景里它的生态成熟度仍然是最高的。训练脚本、数据增强、模型导出、TensorRT 部署链路完整社区里针对各类硬件平台的适配方案齐全遇到问题几乎都能搜到现成处理方案。在“高分项目”这类需要快速出结果、稳定复现的任务里Yolov5 的容错率明显高于 Yolov8 或 RT-DETR——后两者要么部署工具链还没完全成熟要么对 Transformer 结构内置过深导致调参成本变高。多光谱任务还有一个特殊性输入分辨率往往比普通可见光检测更大。红外相机常见分辨率是 640×512 或 1280×1024配准后的融合图像若保留原始尺寸Yolov5 的 CSPDarknet 骨架在特征提取效率上优于多数 Transformer 检测器这对显存占用和推理速度都是实际优势。2.2 Transformer 在多光谱融合中的角色不是替代 Backbone很多人一看到“基于 Yolov5Transformer”就以为要把 Yolov5 的 backbone 整个换成 Vision Transformer。这种做法在多光谱场景下并不推荐原因有两点Swin Transformer 这类结构虽然全局建模能力强但数据需求量更大。多光谱数据集通常比单模态数据集小一个数量级直接替换 backbone 极易过拟合。Yolov5 的颈部网络PANet擅长多尺度特征融合这部分结构在目标检测任务里已经很成熟没必要推翻重来。Transformer 更合理的插入位置是在 Yolov5 的检测头之前作为一个跨光谱特征交互模块。具体做法是将 RGB 分支和红外分支的特征图分别提取出来后在特征金字塔的某一层做 Token 化处理送入 Transformer Encoder 进行注意力交互再把交互后的特征映射回原特征图尺寸送入检测头。2.2.1 从通道拼接升级到注意力融合的收益最简单的多光谱融合方式是直接拼接比如把 3 通道可见光和 3 通道红外图像在通道维度合并成 6 通道输入。这种方式实现成本最低但问题也最明显模型只能隐式学习两路信号的关系当红外目标特征较弱或与背景对比度低时注意力很难自动分配到有用的模态上。注意力融合则把“选择哪路信号”这件事显式化。Transformer Encoder 的 Self-Attention 机制会对所有空间位置和模态通道进行两两关联计算模型可以自适应地决定在当前场景下更信任可见光的纹理信息还是更信任红外的热辐射信息。夜间场景没有可见光纹理时注意力权重会自动偏向红外分支。2.3 注意力机制与多光谱特征的匹配逻辑Transformer 的注意力机制本质上是计算 Query 与 Key 之间的相似度再按相似度加权求和 Value。在多光谱场景中这个机制恰好对应一个物理直觉可见光分支可能看清楚了目标轮廓红外分支可能看清了目标温度分布注意力机制负责把两路信息的有效部分加权合并。这里需要注意一个工程细节多光谱特征融合时Query 和 Key 应该来自不同模态还是同一模态实践结论是交叉注意力Cross-Attention的效果通常优于自注意力Self-Attention。也就是让可见光分支去查询红外分支的关键区域同时让红外分支查询可见光分支的关键区域双路交互后拼接或相加。这样每个分支既保留了自身独有的模态特征又获取了另一个分支的补充信息。3. 搭建 Yolov5Transformer 多光谱检测系统的完整工程实现3.1 数据集组织与预处理多光谱数据集的组织方式和普通目标检测数据集的核心区别在于“配对”。可见光图像和红外图像必须严格按帧对齐同一行代码里要能同时取到两路图像及其对应的标注信息。推荐的数据目录结构如下dataset/ ├── images/ │ ├── visible/ │ │ ├── 000001.jpg │ │ └── 000002.jpg │ └── infrared/ │ ├── 000001.png │ └── 000002.png ├── labels/ │ ├── 000001.txt │ ├── 000002.txt └── train.txt标注文件格式与 Yolov5 原生格式一致每行内容为class_id x_center y_center width height坐标值均归一化到 0-1。这里的核心约束是可见光图像和红外图像的分辨率必须一致如果原始数据来自不同相机需要先做配准和裁剪。3.1.1 配准失败时的兜底方案如果两路图像存在几像素的偏移最简单的处理方式是做一个中心裁剪把边缘偏移区域裁掉。例如原始图像为 640×512裁剪为 608×480 后再用于训练。裁剪会损失边缘目标但对整个系统的稳定性收益远大于损失因为 Transformer 的注意力计算对空间错位非常敏感。3.2 模型结构改造在 Yolov5 中插入 Transformer 层在 Yolov5 的models/目录下新建一个yolov5_multispectral.yaml配置文件结构上保持 Yolov5 原有的 backbone 和 Neck 不变只修改 Detect 层之前的部分。以下是一个可运行的模型配置示例# yolov5_multispectral.yaml nc: 3 # 按实际类别数修改 backbone: - [-1, 1, Conv, [64, 6, 2, 2]] # 0-P1/4 - [-1, 1, Conv, [128, 3, 2]] # 1-P2/8 - [-1, 3, C3, [128]] - [-1, 1, Conv, [256, 3, 2]] # 3-P3/16 - [-1, 6, C3, [256]] - [-1, 1, Conv, [512, 3, 2]] # 5-P4/32 - [-1, 9, C3, [512]] - [-1, 1, Conv, [1024, 3, 2]] # 7-P5/64 - [-1, 3, C3, [1024]] - [-1, 1, SPPF, [1024, 5]] # 9 # 修改点增加一个跨模态特征融合分支 multispectral_fusion: - [-1, 1, Conv, [512, 1, 1]] # 将1024通道压缩到512 - [-1, 1, TransformerEncoder, [512, 8]] # 512维8头注意力 head: - [-1, 1, Conv, [512, 3, 2]] # 上采样前的降维 - [-1, 1, nn.Upsample, [None, 2, nearest]] - [[-1, 6], 1, Concat, [1]] # 与backbone第6层融合 - [-1, 3, C3, [512, False]] # 后续检测头部分与原生Yolov5保持一致这个配置里的TransformerEncoder层是核心新增模块需要继承nn.Module自行实现。具体代码放在models/common.py中核心逻辑如下import torch import torch.nn as nn from einops import rearrange class TransformerEncoder(nn.Module): def __init__(self, dim, num_heads, ff_dim2048, dropout0.1): super().__init__() self.attn nn.MultiheadAttention(dim, num_heads, dropoutdropout) self.norm1 nn.LayerNorm(dim) self.norm2 nn.LayerNorm(dim) self.ffn nn.Sequential( nn.Linear(dim, ff_dim), nn.GELU(), nn.Dropout(dropout), nn.Linear(ff_dim, dim), nn.Dropout(dropout) ) def forward(self, x): # x: [B, C, H, W] B, C, H, W x.shape # 转换为序列形式 [H*W, B, C] x rearrange(x, b c h w - (h w) b c) # 自注意力 attn_out, _ self.attn(x, x, x) x self.norm1(x attn_out) # 前馈网络 ffn_out self.ffn(x) x self.norm2(x ffn_out) # 恢复为特征图 x rearrange(x, (h w) b c - b c h w, hH, wW) return x代码的核心逻辑是先把特征图展平成序列送入多头注意力层做全局交互再恢复成特征图结构。dim设置为 512 是为了与 Yolov5 在 P4 层的通道数对齐num_heads设置为 8 保证每个头分管 64 维的注意力计算。ffn的中间维度取 2048即 512 的 4 倍这是 Transformer 的常见经验值。这套代码跑通后的实际表现是注意力层对输入特征图的所有空间位置同时建模目标区域之间无论距离多远都能直接建立关联这对于大尺寸目标、遮挡目标以及弱红外目标都有明显帮助。3.3 多光谱数据的输入改造模型结构改好后还需要让数据加载器同时读取可见光和红外图像。修改datasets.py中的LoadImagesAndLabels类在__getitem__方法中增加一个读取分支def __getitem__(self, index): # 原有代码读取可见光图像 path self.img_files[index] img cv2.imread(path) # 新增代码拼接红外图像路径并读取 infrared_path path.replace(visible, infrared).replace(.jpg, .png) img_ir cv2.imread(infrared_path) # 两路图像做相同的数据增强 img, img_ir self.augment(img, img_ir) # 在通道维度拼接 [6, H, W] img np.concatenate([img, img_ir], axis2) img img.transpose((2, 0, 1)) # 转换为 [C, H, W] 格式 img np.ascontiguousarray(img) return img, labels, path, shapes关键约束在最后的拼接操作上可见光和红外图像必须经过完全一致的数据增强变换包括缩放、翻转、色彩抖动的一致性策略。因为两路信号是配准关系任何一方的独立变换都会破坏空间对应。这个细节在论文里不会写但实际训练中只要出现一次增强不一致Transformer 的跨模态注意力就学不到有效规律最终表现为训练损失震荡不收敛。3.4 训练命令与参数选择改造完成后使用以下命令开始训练python train.py \ --data multispectral.yaml \ --cfg yolov5_multispectral.yaml \ --weights yolov5s.pt \ --batch-size 16 \ --epochs 100 \ --img 640 \ --device 0这里有几个参数需要特别说明。--batch-size设置为 16 是因为 Transformer 层的注意力矩阵对显存消耗较大batch 过大容易 OOM--img保持 640 是因为 Yolov5 的 anchor 尺寸是基于 640 分辨率预设的改大会导致 anchor 失效。--weights加载的是原生 Yolov5 的预训练权重backbone 部分可以复用但新增的 Transformer 层无法加载权重初始化时是一个随机状态。训练时需要注意观察 loss 曲线的行为。前 20 个 epoch 内如果 loss 比纯 Yolov5 下降得更慢这是正常现象因为 Transformer 层在随机初始化的情况下会引入额外的噪声。如果 50 个 epoch 后训练 loss 仍在高位平台期需要检查数据增强是否同步作用于两路输入、红外图像是否被错误地归一化到了与可见光相同的均值与方差范围。4. 训练调优绕过 Yolov5Transformer 最常用的 5 个坑4.1 两路图像亮度分布不一致导致的预训练权重失灵可见光图像的像素范围通常在 0-255 且分布均匀但红外图像的像素值高度集中在某个窄区间。如果不做额外处理直接拼接输入 Yolov5预训练权重的第一层卷积核会被红外通道的异常分布冲垮。常见做法是对红外图像单独做 CLAHE 对比度自适应直方图均衡化再与可见光图像拼接。处理方式是在数据加载器的预处理阶段加入如下逻辑def preprocess_infrared(img_ir): # 转为灰度后做CLAHE if len(img_ir.shape) 3: img_ir cv2.cvtColor(img_ir, cv2.COLOR_BGR2GRAY) clahe cv2.createCLAHE(clipLimit3.0, tileGridSize(8, 8)) img_ir clahe.apply(img_ir) # 扩展回三通道保持与可见光的维度一致 img_ir cv2.merge([img_ir, img_ir, img_ir]) return img_irclipLimit设置为 3.0tileGridSize设置为 8×8这两个参数控制对比度增强的强度和局部性。过大的clipLimit会产生噪声放大过小的tileGridSize会导致局部块之间出现边界伪影。4.2 小目标在 Transformer 层被下采样丢失Yolov5 的 P5 层stride 32特征图分辨率只有 20×20Transformer 层加在 P4 或 P5 层都面临小目标信息不足的问题。输入分辨率为 640 时一个 32×32 像素的小目标在 P5 层只剩 1×1 像素注意力机制在这个尺度上根本无法建立有效关联。推荐做法是将 Transformer 层加在 P3 层stride 8之后也就是 80×80 特征图的尺度。此时 32×32 的目标还有 4×4 像素的表达空间注意力机制有足够的信息量做跨区域交互。代价是计算量显著增大80×806400 个 Token 的注意力矩阵为 6400×6400显存占用呈平方级增长。如果显存不足可以先把特征图切成 4 个 40×40 的块分别做注意力计算后再拼接回完整特征图这样能把显存占用降低到原来的四分之一。4.3 超参数需要对 Transformer 层单独适配Yolov5 自带的hyp.scratch.yaml超参数是针对纯卷积结构调优的加入 Transformer 后需要做两处调整lr0初始学习率从默认的 0.01 降低到 0.005。Transformer 层的梯度更新与卷积层不同它在训练早期对学习率更敏感过大的学习率容易导致注意力权重矩阵震荡。weight_decay从默认的 0.0005 降低到 0.0001。Transformer 层有 LayerNorm 和全连接层正则项过强会导致注意力分布退化到接近均匀分布失去选择性聚焦的能力。修改方式是在训练时指定自定义超参数文件python train.py \ --hyp hyp.multispectral.yaml \ --data multispectral.yaml \ --cfg yolov5_multispectral.yaml4.4 类别不平衡在多光谱场景下的放大效应多光谱数据集中夜间红外目标的漏检率天然高于日间可见光目标这会导致训练过程中夜间样本的梯度贡献被日间样本压制。Yolov5 自带的cls_pw参数类别平衡权重可以缓解这个问题。假设你有两个类别——白天行人和夜晚行人可以手动修改类别权重cls_pw: 1.5 # 对难分类别额外加权另一个实用手段是时间维度的采样平衡。训练时保证每个 batch 中白天和夜晚样本各占一半避免模型只学到白天场景的分布。4.5 过拟合的判断与早停多光谱数据集规模不大Transformer 层参数量又不小过拟合风险比纯 Yolov5 高很多。判断标准是训练 loss 持续下降但验证 mAP 连续 10 个 epoch 不增长且验证 loss 开始回升。此时优先做法不是减少 Transformer 层数而是增加 Dropout 比例。从默认的 0.1 调整到 0.3同时将--patience参数设置为 20。这是因为 Yolov5 的patience默认值是 100在多光谱场景下过长的等待只会浪费时间。下面的表格总结了不同问题场景下最优先检查的参数问题现象优先检查项推荐调整训练 loss 下降慢Transformer 输入通道分布红外 CLAHE 预处理验证 mAP 长期停滞特征层位置从 P4 移到 P3小目标漏检严重特征图分辨率切块注意力或提高输入尺寸白天好夜晚差数据采样batch 内按时段平衡过拟合明显Dropout从 0.1 提到 0.35. 用置信度分布定位 Yolov5Transformer 的出错环节跑通训练之后需要一种方法判断系统的主要误差来源是模态融合、检测头回归还是数据问题。这里有一个可复现的验证技巧统计模型在不同置信度区间内预测框的 IoU 分布。具体做法是在验证集上导出每个预测框的置信度和对应真实框的最大 IoU按置信度分桶统计平均 IoU。如果高置信度0.8-0.95的框平均 IoU 较低低于 0.5说明检测头回归质量差与 Transformer 融合无关优先检查回归损失权重。如果置信度区间分布异常集中大量预测落在 0.5-0.7且红外样本占比高的场景表现更差说明跨模态融合不充分需要检查 Transformer 层是否真的接收到了来自两个分支的差异化特征。第三种情况最高发红外分支和可见光分支经过多层卷积后特征分布逐渐趋于同质化。验证方法是在训练后提取两个分支在 Transformer 输入层的特征图计算特征之间的余弦相似度。若相似度超过 0.9说明两个分支已经退化成了同一个特征提取器Transformer 的跨模态注意力变成了自注意力。针对这个情况常见的对策是增加一个模态差异损失在训练时约束两个分支的特征互信息不过高。可以简单地在总损失中加入一项# 伪代码模态差异损失 loss_modality F.cosine_similarity(feat_visible, feat_infrared).mean() loss_total loss_det 0.1 * loss_modality系数 0.1 是一个经验起点太大会迫使两个分支学习完全不相关的特征反而损害检测精度。用这个损失约束后重新训练观察验证集上 mAP 的变化方向再用网格搜索微调这个系数。这样既验证了 Transformer 加进来的效果也把训练资源花在了能改变结果的地方。本文还有配套的精品资源点击获取