亚利桑那大学开发出新方法 可为深度学习应用自动生成雷达摄像头数据集

盖世汽车讯 近年来，机器人专家和计算机科学家一直在开发范围广泛的系统，以检测环境中的物体并进行相应的导航。而这些系统中的大多数都是基于在大型图像数据集上训练的机器学习和深度学习算法构建。虽然现在有大量用于训练机器学习模型的图像数据集，但包含雷达传感器收集数据的数据集仍然很少，尽管雷达相对于光学传感器具有显著优势。此外，许多可用的开源雷达数据集很难适用于多种用户应用程序。

据外媒报道，亚利桑那大学（University of Arizona）的研究人员最近开发出一种新方法，可以自动生成包含标记雷达数据摄像头图像的数据集。该方法使用摄像头图像流上（又称YOLO）的高精度目标检测算法和关联技术（又称匈牙利算法）来标记雷达点云。

（图片来源：Sengupta）

亚利桑那大学的博士生和此项研究的主要研究员Arindam Sengupta表示：“使用雷达的深度学习应用需要大量标记的训练数据，而标记雷达数据并非易事。该方法主要通过手动将其与并行获得的图像数据流进行比较来完成，是一个极其耗时且劳动密集型的过程。我们的想法是，如果摄像头和雷达在查看同一个物体，那么我们可以利用基于图像的物体检测框架（在案例中又称YOLO）来自动标记雷达数据，而非手动查看图像。”

Sengupta及其同事称该方法的三个特征是协同校准、聚类和关联能力。该方法可对雷达及其摄像头进行共同校准，以确定雷达检测到物体的位置使如何根据摄像头的数字像素进行转换的。

Sengupta表示：“我们使用基于密度的聚类方案（DBSCAN）来检测和消除噪声/杂散雷达回波；以及将雷达回波分离成簇以区分不同的物体；最后，使用帧内和帧间匈牙利算法（HA）进行关联。该帧内HA将YOLO预测与给定帧内的协同标定雷达簇相关联，而帧间HA在连续帧中关联与同一目标相关的雷达簇，以便即使在光学传感器间歇失效的情况下也能在帧中标记雷达数据。”

未来，该新方法可以帮助自动生成雷达摄像头和仅雷达数据集。此外，该团队还探索了基于雷达摄像头传感器融合方法和仅由雷达收集数据的概念验证分类方案。

Sengupta表示：“我们还建议使用有效的12维雷达特征向量，结合空间、多普勒和RCS统计数据构建，而不是传统使用点云分布或微多普勒数据。”

最终，Sengupta及其同事的研究可为快速调查和训练开辟新的可能性，以使用传感器融合对基于深度学习的模型进行分类或跟踪。这些模型可助力提高从自动驾驶汽车到小型机器人等众多机器人系统的性能。