智行者张放：自动驾驶大脑开发及应用

9月28日—29日，“中国车谷2021智能汽车产业创新论坛”隆重召开。本次论坛由武汉经济技术开发区和东风汽车集团有限公司联合主办，由武汉市智能汽车产业创新联盟与盖世汽车联合承办，主要围绕智能汽车的创新发展这一主题展开，涉及到人机共驾、地图定位、人工智能与芯片、仿真测试等多个热门领域。以下是智行者联合创始人、研发副总裁张放的发言：

大家上午好，我是智行者的张放，很高兴在这里跟大家一起分享北京智行者在自动驾驶大脑的研发以及落地应用方面的一些工作。

我们开发的自动驾驶大脑，其实核心的目标是打造数据驱动的全场景全工况的自动驾驶量产解决方案。这里面有一个核心的词，就是全场景全工况。我们理解的全场景全工况包含了以下三个场景，一个是开放的结构化道路，左下角的视频展现了我们在武汉市公开道路上高峰时段的运营场景，也是在武汉东风汽车公司领航项目的支持下，现阶段运行了约20台的Robotaxi。此外，我们也会在今年年底，在北京、武汉以及苏州等地，运营不少于100台的自动驾驶出租车。

第二个是半封闭非结构化的场景，比如小区、公园等场景。第三个是3D的越野场景。我们希望打造统一的自动驾驶大脑，实现全场景、全工况的量产落地。自动驾驶大脑的核心有三个模块，首先是自动驾驶的软件操作系统，第二个是自动驾驶数据闭环系统，第三个是自动驾驶中央计算单元。

为了实现统一的自动驾驶大脑，高效的赋能到不同的场景，我们设计了高内聚，低耦合的系统架构，保证不同场景的功能复用和快速开发。在车端，将业务功能和基础功能进行解耦。业务功能主要是处理跟场景和业务强相关的任务，比如跟乘用车、商用车相关的编队行驶任务，跟清扫车相关的调度和清洁任务，以及在特种领域相关的侦查任务。在基础软件这个模块，主要是处理跟自动驾驶联系最紧密的行走功能，包括不同的层次，功能软件、系统软件以及硬件平台。

功能软件是系统方案最核心的模块之一，包含了自动驾驶算法相关的感知、定位、预测和规划控制等模块。在系统软件层，包含服务层、中间件和操作系统。底层的硬件平台，主要包含自研的自动驾驶中央控制器、组合导航设备、传感器等。我们在云端部署了数据闭环系统，包含了数据管理平台、模型平台和测评系统。我们会在云端将我们的场景库进行部署，将评估的工具也布置在云端。此外，我们也可以为客户提供非常丰富的工具链，包括在车端的一些数据挖掘的工具，如何高效的挖掘高价值的场景数据，高精地图的工具，以及传感器的标定同步工具。

下面第一部分，主要介绍一下AVOS自动驾驶软件操作系统，这是一套全栈自研的算法及软件。首先是环境感知模块，在新一代的系统方案里，我们设计了高精相机为主，固态激光和毫米波为辅的车规级传感器布置方案，希望通过这样一套统一的技术方案，打通Robotaxi和L2+的硬件架构和软件架构，实现数据统一和数据闭环。然后通过多传感器融合算法，实现对客观世界的统一准确的物理描述。在定位建图方面，智行者是首个推出软硬件一体的融合激光匹配的量产定位解决方案。通过自研的高精地图绘制技术，实现在云端24小时的并行流水线式的建图，建图精度可以控制在10厘米以内，也可以在云端实现不间断更新。

规划控制方面，我们都了解无论是对于感知还是预测，都有一定的不确定性。所以我们提出了一套纵横向耦合的概率建模方法，提升对不确定性问题和极端工况的处理能力。此外，由于数据流在自动驾驶的不同软件环节都有一定的耗时，我们提出了基于时间同步架构的车辆控制方法，弥补了数据流在车辆控制方面造成的迟滞。最后为了提高的调试和测试效率，智行者自建了高保真的仿真系统，包含数百项的测试场景，覆盖了绝大多数的典型场景，包括城市、高速工况。最后通过自动化的调度，实现数据初始化、过程监控、结果输出的整套闭环流程。

在多源融合感知层面，我们可以拆分不同的模块为我们的客户服务。激光检测模块主要是处理基于3D点云的目标检测。语义理解主要处理栅栏、路障、可通行区域等语义信息。视觉检测涵盖了通用障碍物的2D和3D检测，以及红绿灯检测和车道线检测等方面。此外，感知层还包含毫米波检测模块和多传感器融合模块。最后基于硬件同步触发的方式，我们实现了多源传感器高精度的时空同步，可以实现像素级的空间同步以及毫秒级以内的时间同步。

在高精地图方面，我们设计了从数据采集到地图下发的完整的自动化pipeline。有以下几个特点：第一成本比较低，不需要专门的地图采集车，运营车辆就可以完成这项工作。第二是通用性比较强，我们设计了一套统一的地图pipeline，适应不同的产品线，主要包含了低速和高速的产品线。在响应速度方面，可以支持24小时的实时建图，因为我们布置在云端，可以实现自动触发，最多在云端支持8个并发任务。适应能力也是比较强，可以适应典型的城市工况以及小区园区的工况，包括隧道的场景、高架的场景，都可以实现覆盖。不需要手动调参，整个自动化建图的成功率达到95%以上。

右侧主要展示了我们整个自动建图的过程，包括从数据采集、数据上传、自动建图、仿真测试、地图质检、地图输出以及OTA部署的流程。

在定位方面，我们设计了一套融合定位架构。右侧这个视频，是我们在武汉的一些典型场景，武汉这边的高架桥比较多，这属于相对比较复杂的场景。我们设计的融合定位方案有以下几个模块：通过激光SLAM处理一些有遮挡的或者特征比较丰富的场景；通过RTK保证开阔场景下的定位导航；除此之外，也可以通过IMU和轮速计保证自动驾驶车辆在一定时间内的相对定位精度。我们会在今年年底，推出基于视觉匹配的融合定位。

上面主要是介绍了一些跟算法、跟软件相关的工作，第二部分我想介绍一下我们设计的一套数据闭环系统。因为大家都知道，自动驾驶属于一个很复杂的系统工程，我们是没法从理论上证明自动驾驶是否是安全的，是否比人安全。通常都是通过不断地路测，不断丰富我们的场景库，提升我们自动驾驶的核心能力。因为我们设计的这套数据闭环系统，核心就是如何高效的处理在路测过程中的长尾效应。这里面列举了几个典型的场景，其实都是挑了一些在武汉运营的典型数据。左上角就是一个老人推着垃圾车，老人时隐时现，其实这个对我们检测的挑战是非常大的。右边是一个拖车。左下角是一个洒水车，这个在南方包括在武汉是经常见到的场景。右下角是一个环卫工人在洗地。

这些场景其实都是我们在路测过程中经常发现的场景，如何高效的利用这些场景，如何高效的收集这些场景，是设计这套数据闭环系统的目标。

为了高效的处理这些场景，我们设计了一套车端推理、云端训练的数据闭环系统。包括数据筛选、数据回传、数据标注、数据清洗，模型的优化和评估，最后通过OTA进行部署升级。这里重点的介绍一下在车端如何进行数据筛选，也叫如何进行高价值的数据挖掘。什么是高价值的数据挖掘？是指这些数据我们采集下来之后，能够反哺到我们的算法，能够反哺到整个自动驾驶方案，这些我们定义为高价值数据。大家都清楚，当路测里程积累到一定的数量级之后，会发生严重的样本不均衡现象。在我们的场景库内，也许某些样本比例非常高，有一些样本比例非常低。如果在这个时候，继续去进行随机数据采集，对模型提升的作用并不大，有时甚至有反作用，因为这个时候模型已经饱和。为此我们需要开展针对性的路测，采集模型需要的场景，补充数据库里面的样本短板。除了样本不均衡，数据挖掘的另外一个原因是数据存储相关。如果在实际的路测过程中，采取全量的自动驾驶数据，包括中间过程的数据，其实每台车每天的数据量是在TB级别。如果都采集下来，在后端处理方面，无论是数据筛选或者是对于数据存储，造成了非常大的资源浪费。一个是样本均衡，一个是数据存储，基于这两个原因，一定要在车端布置高价值的数据采集器。我们定义了两个场景，一个是人工示教的模式，通过对比人工驾驶员和自动驾驶系统的差异，将这些差异数据作为高价值的数据样本进行回收。第二个是自动挖掘，是指在自动驾驶的过程中，自动收集我们认为有价值的数据。在自动挖掘里面，我们也是定义了两种不同的类型。第一种叫显性的安全数据，它就是指在自动驾驶过程中，会出现一些非预期的表现,比如说急刹车、急转弯。理论上我们的感知可以覆盖200米的范围，而且是360度无死角的感知，是不应该出现的。因此我们会进行挖掘和存储，用于后续的算法提升。第二种类型叫做隐形的优化数据，是指整车表现正常，但对于某些模块有提升作用的数据

右侧是我们挖掘到的一个场景，一个卡车拉着一个树，在右下角的场景可以看到，通过融合策略可以保证我们输出结果的正确性和车辆运行的正确性。我们在这里也把数据挖出来，添到我们的样本库，提升后续单个模块的检测精度。

总结下来，在整个的数据闭环系统里面包含三个部分。第一个数据平台，涵盖从数据的筛选、采集、清洗、入库、检索等功能的管理平台。第二个是模型平台，通过对CPU、GPU高效的资源调度和管理，实现模型和算法的高效迭代。最后是一个测试平台，基于内部定义的一些测评指标，实现自动化的测评，实现报告输出和结果输出。

下面介绍一下自动驾驶硬件平台，其实主要是应用不同的软件算法模块，会使用不同的硬件计算单元。组合导航模块，可以支持不同的融合策略，比如说三通道、四通道、五通道等。对于环境感知，我们采用以AI芯片为主的感知融合嵌入式设备。对自动驾驶大脑，主要是以CPU和MCU安全芯片为主，去执行PNC的策略以及底层安全控制的策略。最后是一套数据记录单元，通过这样一套专用的数据传输黑匣子，实现OTA部署、远程控制等功能。在整个的设计过程中，对中央计算单元的防护、温度和功耗也都有一定的优化和考量。

最后介绍一下智行者的落地进展，在这里面我们也分为不同的层面。第一个层面是跟安全性相关的场景。在安全层面，智行者以无人特种车为核心，建立一套安全保障体系，让人类远离高危行业，保证生命安全。这样场景的特点是基于非先验的高精地图的方案，我们需要在线完成导航任务。第二点是纯3D场景下的感知和规控方案。无人特种车的应用领域主要包括应急救援、国防等方面的无人化。

第二个场景跟效率和体验相关。智行者打造了服务智慧生活的基础产品和场景，包括赋能环卫行业、赋能出行行业。在今年，我们会批量落地的Robotaxi和Robobus。低速车领域，在第一款量产产品之后，我们今年也推出了三款不同的产品，扩充了产品品类。新品主要是应用在室内的洗扫任务，场景包括大型商超、火车站等。

最后，简单总结一下。目前我们已经实现了在高速、中速、低速等不同场景的批量商业化落地,是国内首批实现产品化和商业化的企业，远销海外十余个国家和地区。