Eyesight李斌:计算机视觉AI技术在驾驶员和舱内监控的运用

2020年9月10日，第三届“光”+智能驾驶技术高峰论坛隆重召开，本次论坛邀请了众多来自整车企业、咨询机构、科研院所，以及激光雷达、红外夜视、摄像头等传感器厂商的知名专家、学者到会研讨，共话光与汽车电子行业市场前景。以下为Eyesight 亚太区销售副总裁李斌现场演讲实录：

Eyesight 亚太区销售副总裁李斌

各位老朋友、新朋友，大家下午好！我是来自以色列Eyesight的李斌，非常感谢盖世汽车给我们这个机会可以跟大家一起分享。

首先介绍一下Eyesight，我们是一家纯算法的公司，只做计算机视觉在车舱内的监控，接下来会简单介绍一下。这是我们的一个愿景即把机器视觉带到各处。说到机器视觉，舱内的机器视觉分了三个产品：

1、DRIVER SNESE，就是DMS，驾驶员监控，主要是针对驾驶员的；

2、CABIN SENSE，有叫OMS的，有叫舱内监控的，就是除了驾驶员以外的舱内监控。

3、FLEET SENSE。

这张图大家可以看，每年135万人因交通事故死亡，这是国际卫生组织WHO的标准官方数据，数据多多少少每年会有一些变化，125万、135万，差不多这么多，我相信今年的数字可能会减少，因为新冠肺炎疫情的影响，可能上路的车少了。

我想说的是安全永远是一个话题，所以数据有时候挺吓人。

我解释一下中间的80%是什么意思，这是美国很有名的汽车协会，NHTSA，80%是在碰撞前的三秒钟驾驶员分神，可能是弯腰捡手机，可能其他什么原因造成了死亡，这是很重要的死亡原因。 另外20%是因为疲劳驾驶、打瞌睡造成的死亡。

第一个大约80%跟驾驶员分神有关系，第二个大约20%是由于疲劳，都是从数据上讲。

中国在前年交通部颁了一个后装市场商用车的115号文，去年吹风吹了很久，883一直没有出，所以中国的DMS也是有一个法规，但是主要是针对后装。美国有一个最新的要求，2024年DMS会出法规，大家有兴趣可以找一下。看起来DMS作为对驾驶员安全的强规，是一种对人类生命的保障。陆陆续续欧盟、中国，整个国际上都是有法规支持的。

这些应用场景，第一个肯定是安全性。我举个例子，比如说打电话、看手机，一些分神的操作，当然是安全的要求。

第二个是ADAS融合，大家知道ADAS是前视，前几年很有名的，网上传的照片、实际案例，特斯拉自动驾驶，驾驶员真的完全离手，把一个橘子压在方向盘的传感器上，车子以为他的手扶着，就自己开了，这个在法规是不允许的，现在L2-L3 DMS应该都是有包含的。

第三个我就不陈述了，就是一个主动，或者是被动安全都可以这么说，气囊、根据人的姿势、体重、坐姿怎么打开的策略。

最后一个是车联网的应用，Face ID，这个中国这边很流行。

DMS的输出我们觉得大约分两个层级。从算法层来讲，下面圆的圈出来的部分是机器算法输出，输出的是角度、距离等等一些实际的尺寸。根据每帧动态的输出，上面是实时输出，包括分神、疲劳、Face ID，目光关注的区域、行为、系统本身的监控，对系统自检，另外还有一些自动的校准，我们认为这是一个比较完整的算法，应该提供的功能和接口。

这是我们公司的产品副总裁，实际在车上面的影像，大家可以看到他在打电话被监控，抽烟、打电话，这是我们专门根据中国的115号文，为中国市场做的，欧洲和北美市场我们没有这些功能，因为目前他们还没有要求。

你可以看到，我们先报分神，我本人如果在系统上面模拟疲劳，很难模拟出来，有机会可以向大家继续交流，我们的算法相对比较复杂，考虑的因素比较多，你简单睁闭眼、我们系统不一定报你疲劳，因为疲劳真正的核效不是人工做标签，怎么样核准算法跟疲劳之间的关系？是真正测试者连续工作八小时，不喝水、不吃东西、不睡觉，在专业模拟器上，通过各种仪器，包括脑电图、心电图以及专业医生的判断，跟我们算法的判断做对比得比较准。有一些车厂或者一级供应商说能不能3秒钟眨眼，一秒钟30次、一秒钟15次，我们能不能改参数？我建议大家不要改，因为这是有知识产权的。我们自己是机器算法方面的专家，但是我们不是疲劳专家，所以我们跟全世界最有名的疲劳研究所合作，超过20所各种研究院、大学，基于超过200份以上的专业文件做疲劳方面的研究。要假装出一种疲劳状态，很难，系统不能识别。

这个图最右边的跟大家差不多，戴口罩，我们并不是因为今年新冠才研究的，在前年就发现亚洲区，特别是很多女性在开车的时候戴口罩，为了更好的适应亚洲这边驾驶员的一些习惯，所以我们研究戴口罩、戴帽子，让我们算法在有很多的干扰因素的情况下，仍然是可以去追踪的。这是我们的摄像头，因为涉及到要适应车内环境光的变化，所有的DMS都对光学有一定的要求。这是我们在一个乘用车上典型的几个建议安装位置。

DMS和ADAS整个集成所带来的好处。首先第一点就是L1-L3，自动驾驶域需要的前驱，特别是在L3级别的，如果是手脱离方向盘的时候，这个时候DMS显得非常重要，因为系统要在人工驾驶的时候，是不是把自动驾驶的车交给人工控制，如果人是睡着的，在脱手的情况下，L3的驾驶怎么交给人工，这是非常关键的应用。

下面我讲一下比较时髦的，现在很多车厂都要的这个东西。有的叫OMS，有的叫车厢内的检测。

第一，这个主要是美国热车法规，小孩子在车里面，家长下车了，车窗一锁，停在外面，等到2个小时以后干点别的事，孩子死了，每年全球平均大约6-7个发生这个事故，所以美国有专门的热车法规，据我所知除了美国，中国还没有。

第二，方便性的设计，这个主要跟Face ID有关，乘客、乘员，我知道你这个乘客是谁，年龄、性别，你喜欢的温度、放什么歌。人机互动，OMS是作为一个检测输出的，乘员的Face ID。

第三，在国内发展的很快，以滴滴为首的网约车，关注车的卫生、后排的乘客，有没有遗留物。

最后我多说一个数据，这个也是车联网最关心的大数据。网上很多流传一个笑话，开奥迪的人经常去哪儿，开奔驰的经常去什么地方，我经常去桑拿的可能就开凯迪拉克。打了标签，还有年龄、性别、职业，这些东西我本人不太清楚，跟我们关系不大，只是作为一个输入的接口可以把这些数据收集起来。

这是一个典型的OMS，一般一个车上的应用，真正就是应用，我们今天都是跟光学相关的项目，这是一个两排的车，每一排装一个摄像头比较合适，一般都是角度比较大的摄像头，如果是三排可能就要装三个摄像头，但是现在因为成本的控制，很多车厂说我就前排装一个，是不是能照到后排？不一定，这个是受物理影响的。

最后我讲一下关于商用车，后装一些车队管理的信息，这个在全球是一个蛮热的话题。为什么讲车商用车，这个片子里面我简单说几个数据，商用车平均事故率是20%，如果有一个车队，有10辆车，每年至少有两辆车要出事故，这两辆车出事故，平均一次事故的损失50万人民币，听起来很吓人，但是确实是这么吓人。前一段时间我记得网上新闻有报道一个拉苹果手机的货车在高速出事，满地都是苹果手机，苹果官方说把这一批手机全部关了，你捡了可能也没有用，因为序列号都是连着的。这带来的损失，第三方供应链，车子本身破损带来的损失是非常巨大的，平均下来大约50万。

这是车队管理里面的一些典型，怎么样通过机器视觉，怎么样通过算法上传，一步一步，怎么样去管理车队，这是一个典型的流程。包括所谓的出租车、网约车，包括一些货运，包括一些商业的城际，或者是公交车。

这是我们产品外观的样子，这是网络对车的管理，我们认为这是一个非常典型的商用车管理模式，但是我们不知道将来会不会在乘用车上有一些类似的管家，随着车联网的爆发，这个可能是一个新兴的行业也说不定，中国现在的创新能力还是蛮强的，在应用方面很厉害。

首先我们提供算法、软件，也可以提供软件+硬件的解决方案，换句话说我们也提供摄像头。另外我们提供后装市场的总体解决方案。

大概我的介绍就到这里，大家看看有什么问题，或者是我能够解答的，如果有任何问题，欢迎有机会找我们的微信官方账户，也可以找盖世他们跟我们取得联系。 多谢大家的时间，非常感谢。

提示：本文根据发言整理，未经专家审核，请勿转载。