福瑞泰克沈骏强：福瑞泰克对多传感器融合系统的思考

9月28日—29日，“中国车谷2021智能汽车产业创新论坛”隆重召开。本次论坛由武汉经济技术开发区和东风汽车集团有限公司联合主办，由武汉市智能汽车产业创新联盟与盖世汽车联合承办，主要围绕智能汽车的创新发展这一主题展开，涉及到人机共驾、地图定位、人工智能与芯片、仿真测试等多个热门领域。以下是福瑞泰克CTO沈骏强博士的发言：

大家下午好，非常荣幸能够参加这次传感器融合分论坛。今天我想跟大家分享一下，福瑞泰克对多传感器融合系统的一些思考，和我们所做的一些工作。

为什么要做传感器融合？每一个传感器都有它的优点，也有它的劣势。所以，融合就是要发挥各种传感器的长处，能够做到扬长避短，能够做到1+1>2这样的效果。

融合技术在智能驾驶行业中的应用，主要从几个方面来看。第一个是容错性，各种传感器做得再可靠，总有一些失效的情况。当传感器失效的时候，可以做功能的降级，但智能驾驶的功能并不会完全消失，所以多传感器存在相互冗余，互做备份这样的作用。

第二个是针对传感器预判的容错机制，各种传感器对目标的检测，有它的长处和短处。所以传感器的预判容错，就意味着当个别传感器的感知存在错误的时候，比如说误检或者漏检的时候，通过融合技术，能够获得更为准确的检测效果。

所谓的互补性指的是单一传感器存在感知局限性，比如说视觉对环境光比较敏感，雷达对静止目标感知误检比较多等等。所以各种传感器存在它的长板和短板，我们希望通过传感器融合这样的技术，来做到传感器之间的互补，这样的话，在晚上或者恶劣天气的时候，摄像头的感知性能下降的时候，毫米波雷达、激光雷达，能够起到弥补的作用。

第三个是指它的经济性，有些单一传感器，激光雷达是目前价格比较高，我们怎么来获得跟激光雷达相对等效的感知结果，我可以通过多传感器融合的一些手段。我们福瑞泰克也在做4D成像的毫米波雷达，通过4D成像毫米波雷达，跟摄像头融合，能够在一定程度上起到激光雷达相关的一些效果。所以有一定的经济性。

福瑞泰克是本土全栈的自动驾驶解决方案提供商，同时我们也可以提供灵活可定制的、可解耦软硬件的服务。我们基于融合技术的ADAS解决方案，有1V1R，1V3R，以及1V5R1D的方案。高阶辅助驾驶产品方面包含了我们自研以及和合作伙伴共同开发的产品。我们通过对这些产品的不同组合，能够构建出不同功能的产品：像L2的低配，1V1R的系统，加上中配的1V3R的系统，L2.5高配的1V5R+DMS+ADC10。L2.9包括四个雷达，加上DMS，再加上前后视摄像头和第二代域控制器ADC20。我们的第三代域控制器，包括五个雷达加DMS，12超声波，再加上四个环视摄像头，再加上HDMap，四个测视摄像头，三个激光雷达等这样的产品组合。目前，我司重点围绕高阶的L2产品以及围绕域控制器，来构建我们的系统。

同时我们在自动驾驶上，也有比较大的投入，我们的传感器融合技术，也应用到L4这样的场景。我们的L4重点在低速封闭或者半封闭的园区场景。

我们的1V1R量产系统，在2019年的C—NCAP AEB测试中获得满分。后续我们也有不少车型，在测试当中获得满分或者接近满分的成绩。

我们福瑞泰克怎么做传感器融合，我讲一下我们做传感器融合的大致的算法框架。这是相对比较经典和比较传统的一种融合方法，包括数据预处理，航迹预测，目标关联，航迹更新，航迹起始，属性计算，航迹输出。融合系统的输入，是一个广义的，不光包括毫米波、摄像头等等这些大家看得到的感知的输入，也包括各种车辆上安装的传感器，比如说车速，IMU，也有高精地图，作为我们感知融合的输入。

其次融合的本质就是找到不同传感器之间，能够对同一个物理目标，在感知层面进行感知目标的匹配，能够在感知空间，找到不同传感器之间，对同一个物理目标的感知匹配。

不同的传感器存在差异性，所以对某一个物理目标，不同传感器能不能检测到，检测到这个目标空的空间位置是不是准确，能不能找到目标之间的一个匹配的关系，是我们需要重点关注的。

传感器的融合，在我们目前已经量产的系统中使用了相对比较传统的方法，也就是目标级融合。但是，我们目前也在做关于特征级的，以及原始级的传感器融合。所谓特征级和原始级，是对原始信号处理的不同阶段的输出。在原始级的融合，Radar原始信号和摄像头的图像输出，通过深度学习的方法进行融合处理。介于原始和目标级的融合，是特征级的融合，传感器的原始目标输出以后，经过一些信号处理，对一些中间状态的特征或目标进行融合。所以特征级的传感器融合，目前应用比较广泛，它的效果比目标级融合的效果会更好。

这里面也给大家分享一下，我们福瑞泰克在传感器融合上做的一些工作，举几个例子。第一个是基于目标和车道的道路几何信息融合，怎么样判断目标是不是CIP，车辆前方路径上的目标，我们把车先道线信息和目标信息做了融合，能够有效地判断前方的目标是不是CIP目标。

第二个例子，关于多个同类传感器的点迹融合。在这个例子里面，有雷达的目标输入，也有摄像头的目标输入，总共有五个毫米波雷达。这里面做的不光是把雷达目标和摄像头目标做了匹配，同时也对安装在车辆不同空间位置的毫米波雷达的目标进行了一个空间融合，所以大家可以看到，在这个例子里面，是对车辆360度无死角的目标感知，这些目标是来自前摄像头，前雷达以及四个侧边雷达信息融合的结果。

传感器融合能够提高用户的体验，夜晚通常会对视觉目标感知性能造成影响。在这个例子中，视觉目标对目标的感知和距离测量会存在抖动。通过毫米波雷达跟视觉的目标融合，能够解决位置，检测距离不稳，抖动所引起的问题。

下面这个例子是关于夜晚ACC跟踪丢失的情况下，怎么保证融合后的目标能够比较平稳地对目标实施跟踪。我们对目标的历史轨迹进行了处理，通过对目标的历史轨迹的存储和处理，对丢失的目标进行推测，来做一定的补偿。

下面这个例子是对后方超车目标的横向位置的判断，在这个例子里面，我们安装了一个前向摄像头，一个前向毫米波雷达，以及四个角雷达。对后方超车的目标横向位置，如果是单纯采用摄像头，或者是单纯采用毫米波雷达的话，它的横向距离会产生抖动。通过融合的方法，能够对后方超车的目标横向距离进行补偿，在一定程度上，能够对目标的横向位置进行平滑处理。

这个是车辆在发生颠簸的情况下，对车道线的检测，可能会产生偏差，当车辆经过减速带，车道线检测会不正常，导致车道线右侧压线。我们用到了对车身信号，加速传感器的一些输出信号，对车道线的检测进行补偿。

这个例子里面，我们对车道线的几个参数，C0、C1、C2、C3进行检测，通过车身信号进行平滑处理。

福瑞泰克在多传感器融合这个方面，做了很多工作，这里也列了一些我们的专利成果。从我们公司成立之初，到现在在传感器融合方面做了不少工作，产生了不少成果。

在我们的感知融合开发流程方面，也做了不少工作，包括各种规范化的流程、模板，来对我们在测试过程当中，所遇到的一些融合的问题进行跟踪和记录，最终解决这些问题。通过对这些数据的分析，来积累我们的corner case，同时进行分析和定位。

这里列的是部分典型AEB误触发场景，我们通过对数据的分析，不断地积累扩大我们的corner case的场景库。同时我们有相关的工具链，来支撑我们软件的快速迭代，我们有仿真系统产生的场景数据，我们也有对实际路测数据的记录。我们对每一个软件版本在释放之前，通过实际路测的数据的一个回放，来验证我们的这个系统，是能够达到相关的技术要求。通过数据回灌，应用于我们的传感器融合，针对一些典型的工况，比如说过弯的一些工况，城区工况进行验证。

最后我想再概括一下，多传感器融合技术如何针对传感器形成互补，大家知道，多传感器融合，它的融合策略，是跟场景和功能相结合的，这里面包括几个方面。第一个是感知的方位，对前向目标的融合，和对侧边目标的融合策略是有差异的。比如说对前向目标的融合的侧重点在于怎么来平衡误触发和漏检，前向更侧重于避免误触发，对静止目标采取过滤的策略。但是对侧边的融合感知策略，我宁可误检也不要漏检，在换道的时候，我还是选择一个比较保守的策略。所以这个是跟感知方位有关的。

第二个是跟车速有关的，在高速行驶以及低速行驶的时候，融合策略也有所不同。

第三个是跟外部环境有关，白天、夜晚、雨雪天。在不同的外部环境条件下，融合策略也会发生一定的改变。

第四个就是关于冗余，当传感器失效的时候，冗余怎么来保证系统还有一定的功能。

讲到不同的传感器的性能，包括摄像头、毫米波雷达，对不同的目标，比如说运动目标，静止目标，毫米波雷达的感知性能是有很大的差异。这里面我特别想讲一下最近大家比较关注的小鹏汽车撞车的事件。我觉得跟之前特斯拉等的撞车事故相比，是有一个本质的区别。大家知道区别在哪里吗？之前的撞车事故，撞的是静止目标，但小鹏这次撞的是一个运动目标。为什么会撞上去，我觉得小鹏忽略了对毫米波雷达对运动目标的感知性能，在融合策略上抑制了毫米波雷达对运动目标的感知优势。

最后，再讲一下关于多传感器融合技术的发展，随着算力平台的持续提升，融合感知技术也在不断地发展，所以说，从传统的目标级别的融合，逐渐过渡到特征级别，和原始数据级别的融合。同时也会融入更多的传感器，包括地图，V2X等智慧交通的信息。今后因为它的算法会越来越复杂，有可能会从车端到路端，从终端到云端的发展趋势。

我的演讲就到这里，谢谢大家！