简介面向自动驾驶与车路协同研究者的 DAIR-V2X 数据集详解项目源码可帮助快速掌握首个大规模多模态多视角车路协同数据集的整体框架。资源以网页形式浓缩了协同子集的数据下载、解压方法、目录结构、二维与三维标注文件及坐标变换信息便于在浏览器中直接阅读与检索。压缩包仅4KB共2个文件以HTML页面为主、附1个inscode配置文件内容集成于单一页面适合作为数据集入门速查和协同感知课题的参考资料。目前已有337人学习。通过它可系统了解三个子集的划分逻辑以及协同子集在目标检测、跟踪与场景理解中的标注特点同时获知公开下载入口与数据集在协同感知领域的优势、局限性有助于研究者快速评估是否适用自身实验并规避数据使用中的常见问题。 DAIR-V2X这个数据集做自动驾驶感知和车路协同方向的人这两年应该都不陌生。它不是又一个KITTI或者nuScenes的复刻版而是把视角从单车感知拉到了“车端路端”协同感知。项目源码和工具链也都开源在官方仓库里上手门槛不高但想用得明白、训得对还是有一些需要提前踩明白的门道。这篇文章就把我的使用经验和源码梳理整理出来给后来的人节省点时间。如果你正在做协同感知方向的研究或者准备在DAIR-V2X上跑baseline、对比实验这篇文章基本能帮你把从数据下载到评估的全流程理顺。1. 项目概述与整体设计思路1.1 DAIR-V2X是什么DAIR-V2X是清华大学智能产业研究院AIR发布的一个面向车路协同自动驾驶的开源数据集全称是“DAIR-V2X: A Large-Scale Dataset for Vehicle-Infrastructure Cooperative 3D Object Detection”。它解决的是单车智能在复杂交通环境下的感知盲区问题——路边建筑物遮挡、施工区域、远处突然窜出的非机动车单靠车上那几颗传感器很难提前发现。路侧感知设备安装在信号灯杆、电子屏杆这些高处视野开阔得多能提前几秒甚至几十秒看到车辆视野外的目标。DAIR-V2X的核心就是把车端感知和路端感知的数据、标注、评测工具一起开源出来让研究者可以做V2I车与基础设施、V2V车与车、V2X多端融合三种模式的感知研究。这个数据集采集自真实道路场景覆盖城市快速路、高速、交叉口等多种路况包含相机图像和激光雷达点云两种主要模态并且提供了完整的3D目标标注。数据划分上官方按协同感知研究的需求设计了多个子集车端单视角子集、路侧单视角子集、协同融合子集方便研究者分别评估不同方案的性能。1.2 为什么值得投入时间去研究它我最早接触DAIR-V2X其实是被它的“协同标注”吸引的。很多数据集标注是“各自标注各自的”比如车端图像标注一套框路侧点云标注一套框两者互不联系。DAIR-V2X不一样它把同一个场景中车端与路端传感器看到的同一批目标做了一个统一的3D标注同时记录了每个目标在各自传感器坐标系下的位置、尺寸、朝向。这意味着你可以直接研究“路侧看到的目标怎么融合进车端坐标系”这个核心问题。它的价值体现在四个层面。第一真实场景。不是仿真环境生成的假数据而是真实采集的、带传感器噪声、带遮挡、带天气变化的数据。拿它做出来的结果落地的可信度比纯仿真高很多。第二三种协同模式统一评测。V2I、V2V、V2X三种模式使用了同一套标注规范和评测指标你用同一个模型在这三种模式下跑出来的结果可以直接横向对比这对写论文、做技术选型都很有参考价值。第三工具链完整。官方在GitHub开源了包括数据加载、坐标系转换、可视化、评估指标计算的完整工具包不用自己造轮子也不用对着原始二进制格式发愁。第四它是目前车路协同3D检测数据集里少有的“又大又全”的。单帧数据里包含了车端相机、车端雷达、路侧相机、路侧雷达四路传感器数据也就是说同一时刻同一个场景你能拿到两个视角、四种传感器的完整信息这对做多模态融合、跨视角融合研究的人来说是刚需。简单来分类适合和这个数据集打交道的人主要有三类做车路协同感知算法的研究人员、做自动驾驶多传感器融合的工程师、以及需要标准benchmark来验证自己模型的在校学生。如果你只是单纯想在KITTI上跑一个单目3D检测那DAIR-V2X不是你的菜但如果你关注“车端路端怎么协同才能检测得更远更准”这个数据集是目前最合适的切入点了。2. 数据集构成与标注格式详解2.1 数据规模与传感器配置DAIR-V2X的整体规模官方公布的数字是包含约21000帧图像、约39000帧点云以及超过70000个3D标注目标。车端数据采集使用了高线束激光雷达和多个工业级相机路侧端同样配置了激光雷达和高清相机所有传感器在采集时做了时间同步和空间标定保证同一目标在四路传感器里的位置是对得上的。采集场景上数据主要来自城市道路、高速公路、交叉口等典型行车环境覆盖了白天、夜晚、晴天、阴天等多种光照和天气条件。对于协同感知研究来说这个场景覆盖度很重要不同天气和光照条件下的激光雷达反射特征、相机曝光效果差异很大模型在这些数据上的表现能更真实地反映泛化能力。从协同模式的维度看数据集被划分为三种子集V2I模式提供车端感知数据和路侧感知数据V2V模式提供两台车端感知数据V2X模式则同时提供车端、路侧以及两者融合后的数据。这个设计让研究者可以灵活选择研究范围如果只关心路侧视觉检测可以直接用路侧子集如果想做特征级融合就用V2X子集。表格整理一下主要模态数据模态车端Vehicle路侧Infrastructure激光雷达点云有有相机图像有有GPS/IMU轨迹有有传感器标定参数有有3D目标标注有有2.2 目录结构与标注文件规范拿到官方数据包之后解压出来的目录结构大致是这样不同版本可能略有差异但核心模块一致DAIR-V2X/ ├── data/ │ ├── cooperative-raw/ # 协同原始数据点云、图像 │ ├── cooperative-annotations/ # 协同标注 │ ├── vehicle-side/ # 车端数据 │ ├── infrastructure-side/ # 路侧数据 │ └── labeling/ # 标注文件 ├── dair-v2x/ # 官方工具箱 │ ├── data_utils/ # 数据处理工具 │ ├── visualization/ # 可视化脚本 │ └── evaluation/ # 评估脚本 └── config/ # 配置文件标注文件采用JSON格式核心是每个3D目标的位置position、尺寸size、朝向rotation以及类别和跟踪ID。一个标注对象的典型结构如下{ frame_id: 000123, objects: [ { category: car, track_id: 7, psr: { position: {x: 12.34, y: -5.67, z: -0.82}, size: {length: 4.52, width: 1.82, height: 1.63}, rotation: {yaw: 0.47} } }, { category: pedestrian, track_id: 12, psr: { position: {x: 8.16, y: 3.28, z: -0.35}, size: {length: 0.72, width: 0.62, height: 1.72}, rotation: {yaw: -0.25} } } ] }这里psr就是Position-Size-Rotation的缩写和很多自动驾驶数据集里用角点坐标表示3D框的方式不同DAIR-V2X用“中心点长宽高偏航角”来表示好处是和nuScenes的box表示法接近转起来方便。类别方面数据集标注了car、truck、bus、cyclist、pedestrian、van、motocyclist等常见交通参与者基本覆盖了典型的道路目标类型。2.3 标注格式的兼容性设计DAIR-V2X在标注格式设计上花了不少心思。官方同时提供了KITTI风格和nuScenes风格的标注转换工具这意味着一套数据可以无缝接进你熟悉的训练框架。如果你之前跑KITTI的3D检测代码你可以把DAIR-V2X标注转成KITTI的格式来训练如果你习惯用nuScenes的devkit做数据处理基础数据结构也是兼容的。这个设计在实际使用中省了很多事。我一开始为了把数据喂进自己的模型写了一个转换脚本写了两天后发现官方工具箱里其实已经提供了convert功能血亏。所以建议大家拿到数据先花半天时间把官方的代码库翻一翻别急着写自己的转换逻辑。3. 核心难点与坐标系转换理解3.1 传感器标定与坐标转换关系DAIR-V2X使用中最容易绕晕的就是坐标系。它涉及的坐标系至少有四种相机像素坐标系、相机归一化坐标系、激光雷达坐标系、自车坐标系或全局坐标系。路侧和车端的激光雷达各自有一个雷达坐标系相机有相机坐标系再加上GPS/IMU提供的全局定位坐标关系链比KITTI这样的单车数据集要复杂得多。对于协同感知来说最核心的转换路径是路侧目标在路侧雷达坐标系下的3D框 → 转换到全局坐标系 → 再转换到自车坐标系。这中间涉及两次刚体变换每次变换都需要准确的平移向量和旋转矩阵。以路侧感知到自车感知的坐标转换为例基本流程是import numpy as np def transform_box_to_ego(box_in_infra, T_infra_global, T_global_ego): # box_in_infra: [x, y, z, l, w, h, yaw] 路侧雷达坐标系下 center_infra np.array([box_in_infra[0], box_in_infra[1], box_in_infra[2], 1.0]) center_global T_infra_global center_infra center_ego np.linalg.inv(T_global_ego) center_global # yaw角的旋转要单独处理 yaw_infra box_in_infra[6] yaw_global yaw_infra yaw_from_infra_to_global yaw_ego yaw_global - yaw_from_ego_to_global return [center_ego[0], center_ego[1], center_ego[2], box_in_infra[3], box_in_infra[4], box_in_infra[5], yaw_ego]转换本身不复杂难的是确保每个矩阵的符号和顺序都对。我踩过一个坑路侧到全局的旋转矩阵官方给的是“路侧雷达坐标系到全局坐标系”的变换而我在代码里顺手求了逆再乘导致转换后的点云和标注框偏移了十几米排查了大半天。3.2 时间同步与协同标注逻辑坐标转换之外另一个核心概念是时间同步。协同感知里车端和路侧的传感器是独立工作的各自记录各自的时间戳。要判断“车端看到的目标”和“路侧看到的目标”是不是同一个目标除了空间上的对齐时间上的对齐也很重要。DAIR-V2X在数据采集时做了硬件级的时间同步但实际使用中不同模态数据的帧率并不一致点云帧率和图像帧率就不同。加载数据后需要做时间戳的最近邻匹配找到车端和路侧在时间上最接近的一对帧再进行融合。官方工具箱中提供了时间戳对齐的接口可以直接调用。协同标注的逻辑也值得说。每个目标在车端和路侧都有自己的标注同时协同标注文件里会标注目标在两个视角下的对应关系。这种跨视角的目标关联信息在很多数据集里是没有的但它恰好是研究协同感知中“匹配”问题的基础。你可以拿它研究怎么判断同一个目标在不同传感器下的观测是否属于同一实体这也是目前协同感知领域一个很有价值的研究方向。4. 项目源码实操与完整流程4.1 环境准备与数据下载DAIR-V2X的代码库主要基于Python实现依赖项包括numpy、PyTorch评估和部分baseline模型需要、OpenCV、matplotlib、numba等。如果只是想处理和可视化数据不跑模型训练的话环境要求不高普通的深度学习环境就能跑。安装依赖的基本方式git clone https://github.com/AIR-THU/DAIR-V2X.git cd DAIR-V2X pip install -r requirements.txt数据下载需要去官网申请填写基本信息和用途后官方会提供网盘链接。下载时注意分块下载因为整个数据集体积较大网络不好的话很容易中断。下载完解压后建议先用官方提供的工具跑一遍数据完整性检查确认所有文件都下载完整了再开始使用。我遇到过解压到一半报错的情况原因是某个分卷下载不完整重新下载后才解决。4.2 数据加载与可视化实操官方工具箱里提供了数据加载和可视化脚本。以可视化3D标注框为例核心流程是读取激光雷达点云 → 读取标注文件 → 将3D框投影到图像平面或绘制在点云场景中。一个简化版的点云可视化代码如下import laspy import numpy as np # 读取点云 point_cloud laspy.read(path_to_pointcloud.las) points np.vstack([ point_cloud.x, point_cloud.y, point_cloud.z ]).T # 读取标注 import json with open(path_to_annotation.json, r) as f: annotation json.load(f) # 可视化标注框简化逻辑 for obj in annotation[objects]: pos obj[psr][position] size obj[psr][size] yaw obj[psr][rotation][yaw] # 根据中心点、长宽高、偏航角绘制3D框 # 实际会画8个顶点和12条边 draw_3d_box(points, pos, size, yaw)注意这里为了说明流程做了一些简化实际官方可视化脚本里会把点云上色、标注框的边线绘制、相机图像投影、BEV视角投影全部整合在一起输出的图可以直接放在论文里用。拿出一个样本跑一下可视化你就能直观感受到“车端看到什么、路侧看到什么、协同后能看到什么”的差异。4.3 协同感知模型的训练与评估官方仓库提供了一些经典的baseline模型包括基于点云和基于多模态的协同感知方案。训练流程上数据加载器已经写好了你需要做的就是配置数据集路径、指定协同模式V2I还是V2X、选择模型结构然后启动训练。评估层面DAIR-V2X提供了一套完整的评估工具支持计算3D目标检测的AP指标同时支持在BEV视角下计算。官方还提供了不同距离区间的评测——短距离0-30米、中距离30-50米、远距离50-100米分开计算AP。这个设计非常实用因为协同感知的核心优势恰恰体现在中远距离目标上单独看整体AP会掩盖掉这个差距。以下是一个典型的评估流程# 训练阶段在配置文件中指定数据路径和模型 python tools/train.py --config configs/v2x.yaml # 推理得到预测结果 python tools/inference.py --checkpoint /path/to/checkpoint.pth # 评估指标计算 python dair-v2x/evaluation/evaluate.py --result /path/to/results --gt /path/to/ground_truth评估工具还会生成可视化对比图把车端单视角的检测结果、路侧单视角的检测结果、协同融合后的检测结果放在一起展示。看到协同方案检测出的框明显更远、更稳定时你会对“为什么要做车路协同”有更直观的理解。5. 常见问题与实操避坑记录5.1 数据使用中的典型问题排查我在实际使用中遇到过不少问题整理了一份速查表供参考现象可能原因解决方法点云可视化时框和点云对不上坐标转换矩阵用错或求逆错误检查外参矩阵方向打印变换后中心点坐标验证图像投影后3D框漂移明显相机内参读取错误或图像尺寸不匹配确认内参是否对应原始分辨率缩放图像需同步缩放内参时间戳匹配后目标位置跳跃车端和路侧时间未对齐使用工具箱时间戳对齐接口匹配窗口不宜过大训练时加载数据报错标注json格式版本不兼容检查数据版本和代码版本是否匹配官方更新了标注规范评估时AP结果异常低预测结果坐标系和评估标准不一致确认预测框在哪个坐标系下评估前统一转换到自车坐标系下载的大文件解压失败分卷下载不完整重新下载对应分卷解压前校验md55.2 几个值得分享的实操心得第一拿到数据千万别急着跑模型先花时间把坐标系转换吃透。协同感知和单车感知最大的区别就在这单车感知里你只需要把相机坐标和雷达坐标对齐到车体协同感知里还要多一步“把路侧坐标系下的目标搬到自车坐标系”。这一环做不对后面所有训练评估都是白费功夫。第二可视化是最好的debug工具。不管是检查标注加载是否正确、坐标转换有没有问题、还是模型预测效果好不好先把结果可视化出来看一眼再跑评估能省很多时间。肉眼可能看不出平均精度差一个点但一定能看出一辆车框到了马路对面这种严重错误。第三善用官方工具箱里的数据转换接口。官方提供了向KITTI和nuScenes格式转换的工具如果你的模型已经在这些数据集上训练过直接把DAIR-V2X转成对应格式来做微调比自己写一套新数据加载器要稳妥得多。按照我的实际体验在DAIR-V2X上做协同感知的baseline对比时直接用官方工具转换数据、用熟悉的框架训练三个星期左右就能跑通完整的“数据加载-训练-评估”流程。第四关于baseline的选择建议从简单的开始。先跑通一个基于后融合late fusion的baseline也就是把车端和路端的检测结果分别拿到然后做目标级的匹配与融合再把坐标系统一到自车坐标系下最后评估。把这条链路跑通之后再考虑特征级融合、端到端融合这些更复杂的方法。上来就碰特征级融合的话很容易被坐标系、特征对齐、时间同步这些坑绊住问题定位起来特别麻烦。最后再说一点DAIR-V2X的数据采样频率、场景分布、目标密度等都和实地采集条件相关使用前建议仔细读一读官方文档和论文里的数据统计部分了解数据的分布特性再设计自己的训练集验证集划分。盲目地在数据集上随便跑个模型可能只是过了一遍流程并没有真正利用好这个数据集的核心价值。本文还有配套的精品资源点击获取