座舱监测系统增长爆发，智能未来可期

July 31, 2023

Fanny Hu

发布于2023-07-31

汽车“三化”，电动化、智能化、网联化，正在带动汽车产业驶入新一轮变革。

其中，在智能化的浪潮中，智能座舱又因其更容易落地而正在进入一波迅速的增长浪潮。高工智能汽车研究院监测数据显示，2022年中国市场（不含进出口）乘用车搭载智能数字座舱前装标配交付795.05万辆，同比增长40.59%。

我们对智能座舱的未来有很多期望：汽车不仅可以把我们带到任何地方，还可以成为我们的舒适之地，倾听我们，与我们沟通，保护我们并娱乐我们。然而，如果你只从外表去看这近800万辆声称拥有智能座舱的汽车，你很可能会发现其中的许多与传统座舱最大的区别在于将传统的仪表盘换成了类似平板的屏幕，并增加了一些语音控制。

当然，这些功能也很重要，且智能座舱实际上还有一些不那么容易一眼察觉的功能，比如OTA和车联网，都使它们与传统座舱不同。但是，仅仅只有这些，所谓的智能座舱实际上与传统座舱区别并不明显。未来的智能座舱，将成为驾驶者除了工作和生活的空间外的舒适的“第三空间”，而这样的简单改装显然还满足不了这样的需求。

一个舒适的空间需要亲密感和个性化的设置。汽车需要知道谁在驾驶，谁在乘车，并相应地调整设置，而这只能建立在座舱监测的基础上——即通过传感器和车载芯片组的实时计算对汽车乘员进行感知，了解谁在那里，他们在做什么。

当然，汽车公司们也已经意识到这点。2022年，前装基于摄像头的座舱监测系统的乘用车，较前一年接近翻倍，预计未来三年仍将保持高速增长。

汽车智能化的趋势不可扭转，未来，每辆智能汽车都可能配备一个座舱监测系统。那么，目前的座舱监测系统是什么样的，能够达到智能化的需求吗？未来还将如何发展？

人工智能加速IMS技术落地

座舱监测系统是什么

座舱监测系统，有时又叫座舱感知系统，是指使用安装在车上的摄像头和其他传感器跟踪车辆驾驶员和乘客的状态和活动的系统。监测的方向包括乘员的位置、姿势、手势、面部表情、生命体征等。因此，从其本质上，座舱监测系统可分为驾驶员监测系统（DMS）和乘客监测系统（OMS）。

座舱监测系统可以提示驾驶员不要在精神状态不佳的情况下驾驶，比如不应分心驾驶、酒后驾驶或疲劳驾驶，也可以与其他功能联动，根据监测数据自动调整车内设置，打造舒适的座舱环境。

智能座舱是一个新概念，但分心驾驶并不是一个新概念。实际上，DMS并不是一个新鲜产物。第一辆配备DMS的汽车在2006年就已经推出。

当时市场上有两种DMS。被动DMS主要通过驾驶行为，比如通过检查驾驶员的方向盘转向和行驶轨迹是否稳定来监测驾驶员。而主动DMS希望能够在驾驶员出现异常行为之前就发现其状态不佳。因此，早期的主动式DMS大多选择使用摄像头拍摄驾驶员的视频，然后将其上传到云端，靠后台人工检查，发现驾驶员是否有分心或者其他不良驾驶行为。

虽然被动式DMS因为容易受到道路环境状况等外界因素影响，检测的可靠性不如主动式DMS。但当时的技术方案中，时滞和巨大的人力成本阻碍了主动式DMS的推广。

直到进入近十几年，人工智能在识别人脸方面取得了巨大进展，DMS才取得了突破。通过在将芯片安装在车内，实时分析拍摄驾驶员状态的视频流，新一代的DMS在数据不离开车的情况下，就能对驾驶员状态进行实时监测，并向驾驶员发送实时警报。

基于计算机视觉算法的主动式DMS方案，刚好切中运营商用车的公司的痛点，如卡车运输公司、公交公司、出租车公司等。通过监测公司旗下驾驶员的驾驶状态，DMS可以有效减少事故，降低公司的财产损失。因此早期的DMS技术，主要被应用在商用车上

出于同样的逻辑，OMS也被引入商用车中。尽管没有人能真正确定第一批OMS是什么时候被安装上车，但普遍认为OMS的出现比DMS稍晚一些，并首先引入到出租车中以探测未经授权的乘客或车中的拥挤。

从商用车向乘用车普及

每年，在车祸中丧生的人约有130万人，其中94%的事故原因来自人为错误。虽然没有统计数据表明乘用车驾驶员比商用车驾驶员表现更好，但由于隐私和成本问题，早期IMS并没有大规模进入乘用车领域。

但这一点正在迅速改变。2022年，前装基于摄像头的驾驶员监测系统（DMS）乘用车已经达到118.64万辆，年增长率为109.2%，而前装乘客监测系统（OMS）乘用车达到69.65万辆，年增长率为93.69%。这样的增长率十分惊人，甚至高于搭载智能座舱汽车的年增长率。统计还预计未来三年其仍将保持高增速，预计2025年DMS前装搭载量有望将突破 750 万辆规模。

改变这一情况的原因之一，正是前述的智能座舱对于座舱监测系统的需求。在智能座舱中，只有配备座舱监测系统，才能真正达到自适应调节，让座舱变得智能而舒适。

提供高体验的智能座舱，目前更多的是高端车辆的需求，座舱监测装机量提升的另一大原因，来自于政策法规的推动。

其中，最早一批注重驾驶员疲劳问题，推出相关法规的就是欧盟地区。据统计，欧洲10%到25%的交通事故都是由疲劳驾驶或是驾驶员注意力分散引起的。由此，欧盟2022年7月开始强制实施的欧盟通用安全法规(GSR）要求所有最高设计速度超过70公里/小时的车辆，都必须安装驾驶员疲劳驾驶和注意力分散监控，在70公里/小时的速度以上自动启动。系统需要不受天气影响，在白天和黑夜都能够运行，并在嗜睡等级KSS≥8级时向驾驶员进行提醒。2026年6月之后，车辆没有安装合适的“驾驶员嗜睡和注意力警告系统”，也就是主动式DMS，会被禁止销售。

此外，从2023年1月起，如果一辆新车没有监测驾驶员状态的主动安全系统，欧洲新车安全评鉴协会（E-NCAP）将不为新车给予五星级评级，而如果搭载儿童检测功能和警报策略（OMS的重要方向）的车辆可额外加分。虽然并不是官方法规，欧洲新车安全评鉴协会的评级影响力极大。在全球化背景下，只要产品需要销售到欧洲，车企就需要考虑为车辆安装座舱监测系统，这极大促进了IMS的装机率。

在中国，类似的趋势也在出现。与欧洲新车安全评鉴协会相对的中国新车评价规程（C-NCAP）预计也将从2025年起测试车辆的DMS能力，目前也已确定会在2025版规程中加入儿童遗忘车内提醒功能测评。行业广泛估计，中国将于2027年推出强制部署驾乘监测系统的法规。

除了法规规定之外，自动驾驶的普及也加速了部署座舱监测，尤其提高了驾驶员监测系统的必要性。

2019年，中国仅有5.2%的乘用车具有L2级自动驾驶功能，而到2022年，中国29.4%的乘用车都具有L2级自动驾驶功能，造车新势力们更是将其生产的70%的乘用车安装的L2级自动驾驶功能作为销售亮点。

而由于自动驾驶技术尚不成熟，许多情况下车辆需要驾驶员紧急接管。无论是因为不懂自动驾驶技术导致的驾驶员将有限自动驾驶误认为是完全自动驾驶，还是因为有了无人驾驶技术，驾驶员有意松懈，自动驾驶技术导致的事故在全世界范围内频频发生。这使得搭载自动驾驶技术的车辆配合部署驾驶员监测系统有了必要性。

2017年，通用汽车量产的“Super Cruise”，被认为是全球第一款将视觉DMS系统用于驾驶员监控的自动辅助驾驶系统。通过面部识别和眼球追踪，Super Cruise系统一旦监测到驾驶员注意力不集中或者需要驾驶员接管时，可通过方向盘上的指示灯颜色、座椅震动与声音警告三种方式来提醒驾驶员接管。

不少搭载自动驾驶的车辆甚至使用驾驶员监测系统来监测驾驶员，由其长期表现判断司机驾驶的负责程度，据此选择性地为更负责任的驾驶员提供更高级版本的自动驾驶。特斯拉（部分区域）、小鹏汽车（智驾分）都有类似的设计。

主流座舱监测技术

目前，视觉方向的主动式座舱监测方案已经基本成熟，也是业内主要的技术路线。监测技术主要涉及三个环节，摄像头/传感器进行图像的捕捉与输入；芯片板进行解码与演算；信息娱乐系统的人机交互进行监测提示与反馈。接下来本文主要就前两点中的技术路线和难点分别简述：

摄像头

座舱监测系统以车载摄像头拍摄的视频流作为输入。由于监测主要在行车时发挥作用，必须考虑到强光或弱光状态下的摄像头工作表现，这是技术上最大的难点。

目前大部分座舱监测系统均采用成本较低的传统2D可见光摄像头，配合红外LED。座舱监测系统搭配红外照明，是为了能在夜间和逆光状态下也能准确识别脸部。此外，由于红外光可以穿透墨镜镜片，被遮挡的眼部信息也能够正常成像，很好地解决了驾驶员眼镜反光或佩戴墨镜的问题。

目前，2D摄像头已经能够完成大部分的监测任务，但当应用需要高距离精度以及三维成像时，例如需要达到车内面部id支付级别，则需要3D的视觉感知技术。主流的3D视觉感知技术主要分为结构光、ToF和双目三种技术路线。而在落在智能座舱上，主流的选择是3D ToF技术，搭配红外光源，如VCSEL光源。

奥比中光公司的陈挚博士将ToF技术的优势总结为以下几点：

能够直接获取深度信息，对应用算法更加友好，获得更好的人车交互效果；
ToF技术基于主动光源发射，模组抗干扰性好，可输出高精度深度数据，探测数据更准确；
在模组结构上，ToF模组结构相对简单，在车上可靠性更高。

此外，也有厂商认为3D ToF技术路线通过将物体的三维轮廓以不同颜色代表不同距离的方式呈现出虚拟图像(类似点云)，而并非直接捕捉RGB彩色图像，实现获得人的轮廓和行为，不会造成隐私问题，是更优的选择。

目前，搭载3DToF技术的座舱监测系统也已经进入量产周期。相比于DMS，OMS因为要识别整个车辆内部的信息，更多搭载了3DToF技术。

摄像头的安装位置也存在不同的方案。在DMS中，有单摄像头和多摄像头的方案。

单摄像头方案，大多数集成在驾驶员侧的A柱或方向盘，功能主要是人脸识别和疲劳分心监测。而多摄像头方案中摄像头一般分别位于A柱、内后视镜以及车顶位置，负责不同功能。多摄像头方案的市场占比已经超过3成。

另一种单摄像头方案则是集成在内后视镜附近。不但可以只用一颗摄像头就完成DMS的监测，还可以额外提供OMS的功能。而普通情况下，需要增设摄像头来进行OMS监测。有业内人士表示，基于摄像头的OMS方案，其成本将在DMS基础上增加40-80元左右。

芯片与算法

如前所述，座舱监测本质上是对画面信息进行实时计算的系统，这离不开芯片与算法的参与。

除了普通面部识别遇到的头部转动、遮挡、化妆、表情等问题，座舱监测中的算法问题也有其特殊难点。在座舱监测前装方案方面，目前主要有软硬一体的解决方案和多家供应商组合供应硬件、算法公司提供算法两种模式。

在后者的情况下，由于计算机视觉算法对图像质量有较高要求，而不同的车载摄像头成像质量与公开数据集图像质量差异较大，数据标注和算法训练都涉及到重新适配问题。

此外，由于座舱监测的计算主要发生在车上，对芯片的计算能力也提出了要求。头豹研究院在研报中曾指出：“由于DMS需要对大量数据进行处理，且要求与整车进行融合，对耐高温、稳定性等方面要求高，所以普通工业级芯片无法满足，需要运用车规级芯片才能支撑起强大功能运作。”

而实际上，由于车内计算功能的增多，即使是适用于高端智能座舱的高通8155芯片，若没有协处理器，AI 模块占用率也居高不下，存在车机卡顿、死机风险。因此还需要一颗 AI 专用协处理器以保证算力充足。

高工汽车此前一份报告指出，未来 DMS 系统的趋势是与座舱或域控制器集成，通过在算力芯片嵌入 DMS 算法，来集成系统和控制成本。

多传感器组合，从预警走向智能座舱

目前，座舱监测主要还是以视觉方案，向驾驶员预警危险驾驶和提示乘客将儿童遗忘在车上这样的危险行为为主。未来随着智能座舱的发展，自动驾驶可能的普及，座舱监测必然逐渐走向多种传感器结合，以帮助乘客在座舱里获得更加舒适的体验。

除了预警外，视觉传感器也能玩出许多其他花样。比如自动驾驶技术研发商Minieye公司推出的无缝入车功能。当用户靠近车身时，通过车上搭载的2D及3D摄像头，利用身份识别与活体检测技术进行交叉身份验证。确认用户为车主后，可以主动为用户打开车门，快速登陆车机系统，提升交互体验。

造车新势力中的理想推出的L9车型，采用了TOF立体3D摄像头对乘客的动作进行识别，后排乘客可以通过手势与娱乐屏进行交互。尚未落地的一些其他基于视觉的交互也十分有趣。长安汽车公布了一项智能调节座椅的专利，可以根据车内摄像头，识别驾乘人员的胖瘦高低形态，并自动将座椅调节到适宜的位置、角度。吉利汽车申请了“根据乘客衣物自动调节车内温度”的专利，通过摄像头识别乘客的衣物类型，继而智能调节车内温度等。

除了视觉传感器之外，许多公司也在开发其他方向的传感器用于智能监测，如雷达、触觉传感器、听觉传感器、甚至脑电图、心电图、体温感应等。

比如理想推出的L9车型，就配备了6颗阵列式麦克风，支持6音区识别。副驾乘客说："打开座椅加热"，系统就会对应开启副驾座椅的加热功能，而主驾驶室的座椅保持不变。

通过多传感器结合的多模态计算，可以想见，未来智能座舱的用户体验一定会更上一个台阶。