未动科技CEO孙铮：智能驾舱视觉技术发展趋势及场景落地

12月1日-2日，由盖世汽车主办的“2020第二届车联网与智能座舱大会”隆重召开。本次会议主要围绕车联网、座舱域控制器、车载操作系统OS、OTA、座舱显示等车联网及智能座舱领域热门话题展开探讨，共谋产业未来发展之路。下面是北京未动科技有限公司CEO孙铮在本次大会上的发言。

北京未动科技有限公司CEO 孙铮

大家好！我是未动科技孙铮，今天非常高兴有机会和大家分享，我这次的主题是“智能驾舱视觉技术发展趋势及场景落地”。在一两年前和大家分享的时候，还在谈愿景，谈我们在做的技术，今天就不一样了，今天我们终于可以跟大家分享我们的一些落地成果，上车经验。同时，今天也跟大家分享一下我们未来的一些技术和正在研发的技术，以及正在实现量产的前沿技术趋势。

先简单介绍一下未动科技，我们成立于2014年，致力于通过视觉感知、视觉AI技术赋能智能座舱和智能驾驶。我们服务于主机厂，聚焦于和业内上下游的合作伙伴一起提高驾乘的体验。我们有两个大的方向，一个是智能驾舱，一个是智能驾驶，今天着重介绍我们的技术在驾舱方面的应用。

第一部分分享一下我们所观察到的行业趋势。这是罗兰贝格的一个信息，我们很认同他们的看法。在驾舱通往第三空间的道路上，传统的驾舱是娱乐中心，在这个过程当中随着感知尤其是智能感知的出现，使得人机交互更加智能化，以及电气化、共享汽车、自动驾驶的发展，整个驾舱其实更像是一个除了办公室和家庭之外舒适的第三空间。我们现在所处的阶段正好是第二、第三阶段。

非常有幸，我们中国的企业在第二、第三阶段参与了整个变革，同时在世界范围内，我们是和其他的国家和地区齐头并进，甚至在一些方面我们是领先于世界，所以说在整个汽车行业大的发展过程当中，我们非常有幸跟上了大潮，并且推动了产业发展。

大家经常问我在驾舱里放摄像头做什么？核心有两个诉求，都是关系到安全，一个是汽车的主动安全，这是刚需。但是刚需的事情可能驾驶员并不一定能够经常体验到，因为发生的概率极小，在出现事故的时候才能意识到安全的要性。

另一方面则是为乘客带来更高的价值，通过人机交互提升舒适性、便捷性。视觉能帮助增强驾驶员或者乘客的驾乘体验，其中交互性是一个很重要的驱动力。接下来看看具体的功能大家就知道，为什么我强调安和交互。

说到安全必须要提到法规，目前欧洲的法规还没有完全公布，原来是说2022年7月份要强制实施，现在目标是2023年，什么意思呢？欧洲的车大家都知道是5星评级，没有视觉的主动安全，也就是过去大家听说过的DMS，没有这个东西5星评级少一星，那你的车上市以后上保险，保险价值就要高，从而导致消费者付出更多的成本，所以说还不如买一辆有主动安全DMS功能的车。预计在2023年，欧洲的车都有基于视觉的DMS功能，现在可以通过其他的，比如说通过驾车的时长去监测驾驶员的疲劳程度，但是2023年一定会强制，这是从安全法律法规角度来考虑。

另外一个很重要的要求是对儿童的监测。在美国由于把儿童遗忘在车里面造成的伤亡事故非常多，所以说对于儿童的监控非常重要，特别是监控驾舱里头是否有遗留儿童，多大岁数的儿童。目前的目标是2025年会强制。当然这里不仅是需要视觉监测是否有儿童，可能还需要其他一些雷达去监测儿童的存在。

另外一个安全关系到了自动驾驶。大家知道汽车智能化肯定先是解放双脚，最早的ACC不需要踩油门。接下来就是解放双手，可以脱手驾驶，但是必须要眼睛盯着路面。再高级别的自动驾驶就可以不盯着路面，L3可以在路面上玩微信，做其他的事情都可以，解放双手双脚、解放眼睛。但大家知道在L5来临之前，车还是有方向盘的，需要有负责驾驶的人来驾驶，因此人机切换的过程安全很重要，车必须保证驾驶员是盯在路面上，拿着方向盘，这个过程需要有DMS，所以视觉监控是很重要的功能。

刚才提到的都是安全功能，从法律法规上对于安全的要求，无论是DMS还是OMS，有的叫IMS，统一称IMS，都是安全法规的需求。另外一个很高的需求就是人机交互，为了更方便人和驾舱的交互。

很重要的时间点是2019、2020年。去年的这个时候我们一直在说2020年将会是DMS的元年，的确也是。大家可以看到，从去年开始一系列的主流车企，不仅仅是造车新势力车企开始去定点，我们通常所说的主流品牌，包括国内的OEM品牌和合资品牌也纷纷开始定点。到明年，我们会看到越来越多的车企定点。大家可以看到，早在2018年推出的CT6和奥迪A8就都有DMS功能，现在欧洲的很多车都加上了DMS功能，国内的车也正在加，下面我会介绍一下我们定点和量产的经验。

这是一个整体的数字，从国内乘用车的保有量到乘用车内智能驾舱视觉系统的产值来看，处在一个爆发期。

刚才谈到的是趋势，现在谈一下具体的功能。DMS能为驾驶员提供什么？这里看到有两个功能，一个就是安全，疲劳、注意力不集中、不规范驾驶等都属于安全范畴，但是这里已经出现了一些和交互相关的，比如说人脸识别、情绪识别、人脸属性识别，这些能够为驾驶员提供什么呢？

大家知道人脸识别尤其是在国内，大家用手机刷脸付款，渗透率非常高。汽车上通过人脸识别可以进行定制化、个性化，其实就相当于汽车能够识别每一位驾驶员甚至乘客是谁，为他们做一些定制化，因为它可以记忆这个人曾经做了什么，比如说调节座椅、空调设置，人脸支付甚至刷脸开车门，这些都是基于生物识别、人脸识别的功能。情绪识别、人脸属性识别也是，汽车能够感知驾驶员甚至每位乘客的身份，记住他的年龄，甚至能够识别他实时情绪变化，由此去引入比如说不同的音乐、氛围灯等功能。

刚才提到了OMS，OMS更多的是驾舱，比如遗留儿童的监测，欧洲的法规还要求检测儿童是否是6岁以下，检测前排是不是有儿童座椅，因为安全气囊弹出来的时候对儿童是非常危险的，这一系列都是从安全的角度出发。

另外一个场景就是基于交互为驾乘提供更舒适的体验。这里很重要的就是多模态的交互，我在不同场合跟大家交流过多模态交互，这个是哈曼的介绍，通过4个麦克风可以识别出乘客坐在哪里，比如乘客说把窗户摇下，系统就可以知道在哪一个位置摇下车窗，这个就是基于语音识别的交互。同样视觉在里面也可以观察人的位置、行为，甚至观察人的手势、视线，为驾舱提供一系列的交互功能。

接下来一个视频是我们在今年年初CES上的展示，大家可以看一下，通过精确的视线追踪可以实现什么样的功能。我们让驾驶员去看不同的圆点，通过视觉算法捕捉到人的视线的位置。这里大家可以看到，通过视线可以确定乘员在看哪一个屏，哪一个屏就会亮，就是视线点亮屏的功能，这个就是语音识别和视觉视线追踪融合的多模态交互典型应用场景。他看到一个建筑物的位置，汽车知道他注视的方向，可以查询这个建筑物到底是什么商店，查询商店信息，甚至可以查到里头是不是有停车位。大家记得小鹏汽车有一个360的摄像头，甚至可以通过视线去看一个建筑物进行拍照，这是视线追踪和其他的语音、地图相结合的典型应用。

谈到视线追踪，精度有多少呢？我听大家说能到3度、2度，我给大家演示一下我们这个精度能精确到多少，大家看到有一个同事在读电话号码，另外一个同事随着他说的眼睛去注视，我们能非常快速准确地识别他眼睛注视的方位，这是非常精确的一个视线追踪。这是我介绍的未来趋势、功能和现在一些新的技术。

接下来跟大家分享一下我们落地的一些工程化的经验。这是典型的智能驾舱视觉算法在不同的硬件产品上应用，这个硬件是不同的SOC，可能是车机，可能是独立的控制器，这是典型车机的，包括大家车机主流的高通、MTK、NXP、TI这些传统车机或者仪表的平台。再有一部分就是独立的控制器，典型的就是ADAS、SOC，包括TI、NXP、华为都有，这是工程化实时部署的一些芯片方案。

操作系统可以在安卓上、可以在QNX上，独立的控制器一般是在LINUX上。这个也是一个典型的配置方法，通过连接到摄像头去实现算法，算法可以在CPU、NPU甚至GPU上，多样部署不同的计算单元，异构的部署。

驾舱内的视觉用摄像头，我们一般是I2，或者RGBI2，这两类用的比较多。这两类摄像头又分为两种，刚才的摄像头比较快的那个，就是来介绍区别的，因为它是一行行扫的，人在动的时候图像画面会产生模糊，我们要通过图像人工智能算法去处理不同的场景，不同摄像头带来的困扰。从图像的角度大家知道越清晰越好，可以根据自己的需求去选择，同时车载又和传统的家里安防环境不一样，整个工况非常复杂，大家可以看一下晴天、阴天，包括太阳直射和斜射，都是基于图象识别的算法需要解决的问题，这些都是工程和算法的问题，在落地过程当中要迈过的槛。

这是我们实际车型的图，这款摄像头的质量还不是非常好，补光非常暗，这种情况下我们要识别出驾驶员是不是疲劳、是不是分神，而且还带了帽子，这也是在工程落地的时候需要去解决的一个又一个的问题。

还有一个问题，车厂经常提给我们，疲劳现在有标准吗？是不是说他闭眼几秒钟，通过监测判断他是3秒、5秒、1秒，确定他是否疲劳，疲劳到底是怎么定义？通过视觉来解决疲劳，和真正的人类或者咱们驾驶员的疲劳是什么关系呢？为此我们做了一个很重要的研究，就是研究人的疲劳。大家看我们有一个实验室是专门通过心电图、脑电图去测试人的疲劳，通过传统在心理学、医学上积累的经验去判断人的疲劳，通过这个依据去检验我们通过视觉定义的疲劳，建立起一一对应的关系，这个大大帮助我们如何更加科学、精确地去定义。这是疲劳的一个指数，给大家介绍一下，传统定义疲劳只是闭眼的时长，现在我们对于疲劳的判定，已经不再局限于眼睛的睁闭，而是根据眼球动作和面部其他的细微表情来判断。

所以说驾舱内视觉方案其实已经不仅仅是视觉算法工程师的天下，而是已经拓展到了心理学、医学等领域，只有全方面研究疲劳，才能真正解决实际问题，这个跟最初大家说通过视觉方法来解决驾舱问题已经完全不一样了，尽管我们提供的是视觉解决方案，但我们研究的范畴已经远远超过了视觉。

现在的落地，我们已经拿到了8个车厂24款车型定点，在未来的三五年内将会有150万台车用我们的智能视觉驾舱解决方案，包括DMS、OMS，大家可以想象，很多车厂车型还在继续定点当中，这个数字只会越来越大，一直在增长。

接下来用一段视频结束我的演讲，这个视频介绍的是我们和合作伙伴延锋一起开发的一个智能驾舱，大家可以看到视觉智能在智能驾舱里面的应用，那个摄像头就是DMS的摄像头，视线点亮屏，后面的OMS是识别儿童。

我们跟很多主机厂和tier1有很好的合作，通过视觉及语音多模态交互实现智能化，为驾驶员和乘客提供更好、更安全舒适的驾乘体验，谢谢大家！