安霸半导体杜典嵘：安霸AI视觉芯片在智能汽车中的应用

6月29日—30日，由盖世汽车主办的“2021中国汽车半导体产业大会” 隆重召开。本次会议主要围绕中国车企缺芯现状、供应链国产化安全建设、车载芯片平台的搭建设计、自动驾驶、智能座舱领域的芯片需求和应用案例、功率半导体在三电中的应用以及芯片测试和功能安全等话题展开讨论，共谋产业未来发展之路。下面是安霸半导体汽车系统应用总监 杜典嵘在本次大会上的发言。

安霸半导体汽车系统应用总监 杜典嵘

各位嘉宾，上午好。很高兴今天能有机会在这里和大家分享一下安霸AI视觉芯片解决方案在智能汽车中的应用。

首先介绍一下我们公司，安霸2004年成立，专注于高清视觉芯片。公司成立之初就推出了H.264视频编码芯片，凭借其高效率的视频编码能力，我们很快就在专业高清编码设备市场站稳了脚跟。

2007年安霸中国在上海成立，并设立了深圳分公司。安霸非常注重技术创新和技术积累，本地团队主要是由资深的研发人员组成，不仅提供给中国市场基于最新芯片的硬件参考设计，而且从事全栈软件的开发，包括操作系统内核、底层驱动、中间件、应用方案的开发等。

安霸2016年就已推出了符合AEC-Q100 Grade2的车规芯片。2017年推出10纳米制程的基于CVFlow架构的AI视觉芯片，它相较于前面几代芯片除了制程更先进以外，其ISP性能更优秀、功耗更低。今年年初推出5纳米制程CV5，CV5在摄像头接入和视频处理能力上面又有了非常大的提升，适用于新一代智能驾驶域控制器。今年下半年安霸还会推出更高算力、更先进制程的AI视觉芯片。

2019年安霸获得博世集团最佳供应商奖，这是从全球43000家供应商里挑选出在创新、质量、成本、供应链方面都特别优秀的47家，颁发了这个奖。

安霸多年前就开始为车规级功能安全的质量认证做准备，芯片路线图里基本上是符合AEC-Q100 Grade2的车规芯片，也有达到功能安全ASIL-B的芯片。从硬件设计到SDK软件开发流程都符合ISO26262，Exida对整个开发流程进行审计。我们具有IATF16949供应商资质。

安霸AI视觉芯片CV2X系列为合作伙伴提供一个开放的算力平台，客户和合作伙伴可以把他们的算法运行在我们CV芯片平台上，来满足市场的各种应用。安霸已与国内主流的算法提供商进行了紧密的合作。

CV2x SoC有三大核心IP：H264/H265视频编码、图像处理 - 我们有超过15年的图像处理经验，我们有专业的低噪度处理算法和宽动态算法，能让图像质量更清晰、细节更丰富、色彩更真实，为后面的AI算法提供更好的数据源头。还有就是CVflow，也就是我们的NPU。CVflow可以做到更小的延时、更低的功耗。CVflow是一个开放平台，支持市面上的主流神经网络框架包括TensorFlow、Caffe、ONNX、Pytorch都支持。去年开始我们和百度展开深入合作，我们的网络转换工具目前可以原生支持Paddle框架。各种神经网络模型基本上都可以一键部署到安霸CV芯片平台上。这三个核心硬件模块都有各自的片上高速缓存，他们被CPU统一配置、各司其职、高效率运转。

安霸芯片自带的ISP的处理能力比较强大，不管在舱内、还是舱外，对各种场景都做了专门的优化，可以很好的应对复杂光照场景。CV2X系列最高可以达到4Kp60的实时处理能力、支持多路图像传感器间同步式分处理、支持不同波段的光谱融合。

这里播放一段视频。左边是安霸120db高动态图像, 隧道内外都看得非常清楚；右边是搭载其它ISP的处理效果，隧道内细节丢失很多，隧道外完全过曝。目前市面上智能驾驶辅助系统在进出隧道的时候常常出现功能降级的情况，之前有测试报告提到Model3进出隧道时候功能降级比例高达80%，如果前端图像是右边这种情况，那么再好的AI算法也是没有用武之地。

这里讲讲芯片功耗，CV22AQ是CV2x系列里一颗中端芯片，用于前视ADAS。当我们跑一个典型应用的时候，CPU负载量跑到80%，CVflow跑到80%，CV22AQ+LPDDR4总功耗小于2瓦。CV2x系列芯片里面用于做舱内多路视觉系统的CV25AQ+DRAM功耗小于1.5瓦，而用于做多V接入L2+系统的CV2+DRAM的小于4瓦。

安霸在车载领域的解决方案，单路及多路行车记录仪已在多款车型上大批量量产。前装单路和多路电子后视镜也早已量产，后视镜其实是对ISP要求非常高的产品，尤其在恶劣的工况下，黑夜低光照情况、雨天。在黑夜情况下，数字图像传感器搭配优秀的ISP能达到比人眼感光度要好的效果。雨天大家开车都知道，如果外面下很大的雨，外后视镜和玻璃上都有很多水珠。而搭配安霸芯片的电子后视镜，可以让车主清楚地看到车外的画面。

舱内应用主要包括驾驶员和乘客监控，主要看驾驶员有没有分心、疲惫、以及体态特征。在国内有一个趋势是把FACE ID加上去，调节相关的配置参数比如座椅位置、开音乐或者亮氛围灯等。舱内监控主要是看乘客表情特征、身体特征等，更重要的是可以检测舱内有没有遗留儿童或者遗留物品。从美国和欧洲法规的发布时间表看，2022年之后新车可能都要搭配驾驶员监控和舱内监控。

因为CV2x芯片可以接入多路摄像头，所以还可以接入FACE ID刷脸解锁车门。这个应用除了做人脸识别之外，它的安全性达金融支付级别，安霸有完整的芯片级安全机制支持这个场景。

前视ADAS L2+小型控制器多域控方案。安霸向汽车市场持续推出了品类繁多的车规芯片，只要在车上跟视觉相关的应用，在安霸的芯片家族里面都能找到对应解决方案。

下面重点讲一下舱内多路智能视觉+刷脸开门解决方案。第一个是驾驶员监控，主要对驾驶员行为和视线做判断，而人眨眼频率非常高，因此这一路需要搭载全局曝光的图像传感器，才能清晰捕捉人眼变化。第二是乘客与舱内监控，它要求在可见光较强的时呈现出彩色图像；可见光弱时，比如晚上或者阴暗的地库，用940纳米的IR灯补光，呈现黑白图像。而刷脸开门，除了做普通的人脸识别之外，更重要的是安全保证，因此这个模组要有深度信息，甚至还需要人脸肌肤纹理信息，这样才能避免用照片或者头模就把门打开了。还有一种方案同时接入全局曝光，RGB图像传感器，RGB IR和TOF传感器。在TOF传感器平面图上面做人脸识别，深度图像上面做活体检测。

驾驶员监控+舱内监控多模解决方案。场内监控可以用1路~2路，为什么有这个需要呢？第一原因是针对大型SUV有第三排，一个摄像头不能覆盖后两排所有的乘客；第二个原因是有些车型对第二排座位遗留物品比较在意，所以会一个摄像头看乘客的脸部、一个专门的摄像头看第二排座位上的情况。我们推荐用CV25AQ或者CV28AQ。CV28AQ算力接近1T，CV25AQ是CV28AQ的两倍。

舱内的摄像头因为会看到人脸，所以需要保护用户隐私，安霸的CV2x系列芯片上面有专门的安全相关硬件模块，它能够提供安全的运行环境和信任链，还有非对称加密机制，在这个基础上面，我们提供了整套信息安全计算框架，客户基于这套框架可以做到系统启动安全，OTA安全升级，这两项我们在长城咖啡智能座舱项目上面都已经落地实现。另外对保护乘客隐私很重要的是加密车主、乘客的生物数据，把人脸信息脱敏。另外对于记录舱内信息的SD卡，我们还可以做到全盘加密，就算SD卡遗失，上面的信息也不会被别人看到。

这里舱内RGB-IR处理的视频。左边是彩色图像，右边是黑白图像。这个图片是在黑夜，舱内光线是比较暗的，靠940的红外灯补光，所以舱内图像是黑白的；而舱外其实可见光是足够的，比如广告牌、交通灯等，这些地方可以看到彩色信息，这里做了IR和RGB的融合。

舱内多路智能视觉解决方案的参考设计我们管它叫“大眼”，上面搭载的是CV25AQ芯片，这个参考设计能覆盖前面讲到的所有舱内应用场景，客户只要在这个基础上做一些裁减就能较快作出自己的ECU来。它支持不同类型多摄像头同时接入，各路图像处理，独立运行不同算法，同时支持FPD-Link和GMSL1/2。支持车载以太网交换机，可以作为舱内视觉域数据存储中心。

安霸的前视ADAS解决方案，近两年取得了不错的进展。目前的出货方案主要是基于CV22AQ 的200万图像传感器搭配100度的镜头。因为我们够提供非常好的图像处理算法，所以对相关的AI算法非常有帮助。一般现在做单目前视ADAS会有一个测距算法。我们的ISP在细节还原方面做得非常优秀，在这样一个硬件配置上，绝大多数算法提供商ADAS算法运行上基本上可以做到150米机动车稳定检测距离，100米内纵向误差能控制在5%，横向误差30米之内，行人检测距离是80米，距离误差控制在10%之内。我们在国内商用车的市占率挺高的，各种搭载安霸前装ADAS方案的车型都陆续落地。乘用车落地周期比较长，预计在今年会有搭载安霸芯片的方案量产。

这个标题除了ADAS之外还有一个“+”，这是因为安霸CV2x单芯片其实通过加入额外摄像头模组，增加新的功能。

上面的图是前视ADAS+DMS，CV22AQ做前视ADAS的ECU上，加入一个全局曝光的图像传感器，就可以加入DMS驾驶员监控的功能。CV22AQ可以单芯片实现前视ADAS+DMS二合一。下面的图是前视ADAS+DVR，如果CV22主流搭载200万摄像头，它的镜头一般是100度，这个角度可能无法满足国标DVR的标准，所以可以加一个RGB图像传感器，配120度摄像头接入CV22上面，开启编码功能，就可以做到前视ADAS和DVR，这个对于主机厂来说是非常有吸引力的。而前视ADAS现在都在往800万走，用800万摄像头加120度镜头接到CV22AQ，这一套硬件配置就可以涵盖ADAS和DVR功能，并且800万图像传感器可以提供更远的探测距离和更精准的准确度，对于复杂的交通环境适应性会更好。

下面是L2+ ADAS解决方案，上面搭载的芯片是CV2AQ，前视是800万超高清摄像头，再搭载4个侧视高清摄像头应对高速场景ADAS。按照Tesla的搭法，就是在B柱上面搭两个侧前，后视镜下方上面搭两个侧后。同时我们还可以搭载4个环视高清视频摄像头应对低速场景。 这是L2+ ADAS通用平台，我们提供给客户做应用开发的参考设计“明眸Brighteye”，这上面搭载的是CV2AQ芯片，CV2AQ视频处理可以最高达到16Mp30。

以上就是我今天讲的几个主要车载解决方案。我们的CV2x系列芯片通用一套SDK，感知算法和应用程序在一个芯片上运行好优化好，放到另外一个芯片上基本上是无缝迁移，这对客户开发成本来说是很大的节省。

总结一下安霸芯片的三大独立核心：视频编码，ISP图像处理，开放AI平台。我们还提供了一套强大的网络转换工具，客户算法可以很容易跑在我们平台上。我们有强大的本土技术团队，从硬件参考设计到SDK开发，从操作系统到底层驱动、中间件，上层应用、解决方案，都是我们在国内自主开发的。我们对于国内市场有非常深刻的了解，对于国内客户的响应也非常快。我们核心团队是由芯片行业内非常资深的硬件和软件人士组成，在安霸工作都超过10年以上，是一个非常稳定积极向上的团队。我们是开放的算力平台，和国内的算法厂商都跟我们有很深入的合作，构建了一个强大的、良好的生态系统。

谢谢大家的聆听，希望有机会和大家有更多更深入的合作。