腾讯自动驾驶仿真技术总监孙驰天：数字孪生仿真加速自动驾驶落地

9月28-29日， 2021年“东方风起领航、智能驾驶跃迁——中国车谷2021智能汽车产业创新发展论坛”在武汉市举办，会议以智能驾驶为主线，通过一个主论坛+六个平行分论坛的形式，对智能驾驶趋势、智能驾驶系统技术及人机共驾、车路协同及网联技术、人工智能与芯片、感知融合技术、智能驾驶测试和评价技术、高精地图与定位技术等主题展开讨论。

在9月29日的“智能驾驶测试和评价技术”第五分论坛上，腾讯自动驾驶仿真技术总监孙驰天发表了“数字孪生仿真加速自动驾驶落地”的主旨演讲，内容如下：

腾讯自动驾驶仿真技术总监孙驰天

今天特别荣幸有这个机会向大家分享一下腾讯在自动驾驶和智慧交通领域用数字孪生技术进行仿真加速的工作。今天可能会聚焦到实际碰到的问题以及具体是如何解决这些问题的细节上面来。

首先简单介绍一下，腾讯大家都熟悉，但是腾讯自动驾驶部门可能大家还是觉得比较陌生，因为我们确实也是比较低调，我们成立了五年时间，其实腾讯自动驾驶部门这五年来一直比较集中在做一件事情，我们给自己定位是做自动驾驶研发落地的工具箱和加速器，所以我们部门聚焦在四个方向：基于数字孪生技术，用了腾讯游戏技术的虚拟仿真系统TAD Sim；第二个是车端全栈算法（TAD Pilot）；第三个是TAD Cloud；第四个是高精度地图服务。

最开始腾讯自动驾驶部门来源于腾讯地图，我们从腾讯地图开始做腾讯高精度地图，然后开始做自动驾驶，2017年正式成立了自动驾驶业务中心，真正开始做自动驾驶业务相关的工作。这几年来我们也是打造了三位一体技术平台，高精度地图平台，云开发平台和虚拟仿真平台。

不管是我们自己内部进行自动驾驶开发，还是跟腾讯合作伙伴进行交流联合项目，这几年我们明显感觉到有两个落地的难题。第一个是感知算法所需要的训练数据集，全球各个科技公司每年投放大量的钱做数据采集和标注，每年10亿美元量级，这个成本对于所有科技公司都是比较大的消耗。第二个测试验证，测试验证的安全性和时间和金钱，这个大家都比较熟悉。那这里我重点提一下OTA，工信部前段时间发了要求，以后网联车是不允许自动OTA，而是由监管机构进行OTA所有算法的验证，这样一个要求就相当于对自动行业算法验证测试平台提出了更高的要求。我们可以想象到以后自动驾驶算法，如果通过OTA进行升级，一定需要第三测试机构进行验证的。

当然使用仿真来解决刚才说的这些问题肯定要基于一个仿真平台，腾讯花了四年半时间打造了这样一套虚拟仿真平台，我们的目的是想构建一个类似于电影《头号玩家》里的绿洲系统。前段时间有一个新的电影《失控玩家》，也是这样一个概念。那我们做什么样的工作呢？我们总结了四个仿真核心能力：1、对于场景的几何还原，重点是对场景三维还原，一般是基于三维重建技术，当然每家技术路径不太一样，还原完三维场景之后，我们的目的是为了运行传感器仿真，基于各种物理模型进行精确传感器仿真，这个传感器仿真准确结果也是基于现实世界精准还原上的，这样才可能拿到比较精准的传感器结果；2、对于场景的逻辑还原，这里涉及到动态场景的元素生成，如何将真实世界的运动逻辑非常精确的还原出来；3、对于场景的物理还原，主要面向控制算法和动力学仿真，这里涉及到车辆动力学模型计算，摩擦力，轮胎模型计算，这跟物理性相关的；4、在云端高并发运行，原因也比较清楚，我们现在要面向测试场景库的量级已经远远大于之前ADAS的量级，在本地是无法实现这个目的的。

我们花了四年半时间打造了这么一套面向自动驾驶系统TAD Sim，我们基于高精度地图构建三维环境，从实到虚把世界映射进来，同时里面基于真值系统还原场景要素和属性，并且用到算法和训练测试中间去，同时我们还会生成很多动态要素帮助我们生成各种各样测试的场景。

说到细节点，第一个跟大家分享一下我们如何还原一个测试区域静态场景的测试工作。首先是基于真实场景做标注，为了减少标注成本，并且极大的丰富数据集场景，我们构建了一套工具链，一个是场景生成的算法，一个是场景识别的算法，这两个算法是闭环互相提高的迭代方式。我们通过纯虚拟的数据转换成了带有100%正确的标注数据（图像、点云），基于这些我们转换出来的，带有完全正确标注结果的数据集拿来训练感知算法。感知算法提升又会进一步提升基于采集数据生成虚拟世界三维场景的工具链的效率，所以目前这个工具链我们跑了三年半时间，不管是转换效率，还是生成效率都是比较高的，目前我们也是通过这套系统，不仅在自动驾驶仿真方向建立静态的场景，也是在更广阔的智慧交通的应用方向上建立城市级别的交通场景。

场景云端进行三维重建的时候，数据储存的成本和计算成本都是非常高的。那有没有什么办法解决这个问题呢？ 就是使用神经网络结合多源地理数据大规模自动生成场景。

在我们生成城市场景时，云端支撑也是非常重要的降本增效的工具。如果生成一个五百平方公里左右的城区，我们大概要花22小时，如果放在腾讯云的话1小时内就可以生成完毕，关键是基本成本为零，唯一花的成本就是电费，仅此而已，所以这种方式可以极大满足城市建模的需求。

下面跟大家分享一下我们在测试体系建立的时候面临动态场景如何还原，也就是场景库如何积累的问题。我们开发了TAD Sim单机版和云端版，这两个系统用了这么长时间，其实也面临一些挑战，最核心的就是真实性的问题。我们的交通流模型做了很多探索，包括跟高校合作的，也有自研的交通流模型，有基于规则的、也有基于神经网络的，我们也在着力探索如何将真实世界的交通场景映射到虚拟测试的环境内部。目前，我们认为的路径，是通过真实交通的实时数据，和雷摄一体的交通流提取，这两者结合起来就能比较有效的补充真实交通仿真场景库以及提升自动驾驶仿真测试场景库的真实性。

谢谢大家。