视觉传感器在智能网联汽车中的实际应用

随着电子化、信息化与人工智能技术的发展，小型化和嵌入式的视觉传感器得到了广泛应用，人们可以从车载摄像头中获得更智能的结果，即通过摄像头的视场，感知驾驶环境。

前面提到智能驾驶汽车使用的摄像头主要有单目摄像头、双目摄像头和红外摄像头，以及各种摄像头的组合形式。在已经大规模市场化的车辆中，如图2-11所示的特斯拉智能驾驶汽车拥有3个前视摄像头，1个后视摄像头，2个侧视摄像头、12个超声波雷达和一个安装在车身上的前毫米波雷达。

智能驾驶汽车的视觉传感器可实现车道偏离警告、前方碰撞预警、行人碰撞预警、交通标志识别、盲点监控、驾驶人注意力监控、全景环视、泊车辅助和车道保持辅助等功能。

（1）车道偏离警告系统

 车道偏离警告系统是一种通过及时警告来辅助驾驶人，以减少因为车道偏离引起交通事故的系统，主要通过摄像头作为环境感知传感器。

当车道偏离系统打开时，摄像头将持续检测环境，在各种气候、光照条件下并通过图像处理识别车道线，感知道路几何形状并获得当前车道中的车辆位置参数，结合车辆状态传感器获得车速、转向灯状态、转向盘转角等车辆动态参数，通过车道偏离评估算法评估车道偏离的可能性（根据转向盘的方向、车辆的速度、车辆与车道的角度来估算偏离时间），必要时通过声音、仪表显示、转向盘/座椅振动等人机交互方式提醒驾驶人。如果驾驶人打开转向灯并正常改变车道，车道偏离警告系统将不会给出任何提示。当车辆异常偏离车道时，传感器将及时收集车辆数据和驾驶人的操作状态，然后由控制器发出警报信号，为驾驶人提供更多的反应时间。

车道偏离预警系统组成主要有：

① 图像处理模块

② 防抱死制动系统控制模块

③ 动力转向控制模块

④ 仪表盘

⑤ 方向盘模块

⑥ 车身控制模块/网关模块

⑦ 动力传动系统控制模块

（2）汽车防碰撞系统

 汽车防碰撞系统主要用于协助驾驶人避免追尾、与行人/非机动车等交通参与者碰撞、与道路上其他障碍物碰撞等交通事故。汽车防碰撞系统基于摄像头/雷达或多种传感器组合方式，检测前方障碍物并评估碰撞风险，根据风险等级进行各级预警，直至主动制动等方式提醒驾驶人或者主动控制车辆，避免碰撞事故发生。

防碰撞系统使用雷达和摄像头探测汽车前方的行人。如果汽车接近行人，风窗玻璃上首先会亮起红色警告灯，同时鸣响警报声提醒驾驶人。

如果碰撞危险进一步增加，辅助紧急制动系统开始起作用，减小制动衬块和制动盘之间的距离以缩短制动时间，同时还会增加制动液压，即使驾驶人没有用力踩制动踏板也能进行最有效的制动。如果车辆仍未制动，而系统认为即将发生碰撞，汽车会进行自动制动，最大限度地降低车速，进而避免事故或减少事故带来的伤害。

（3）交通标志识别系统

车辆安全系统的交通标志识别系统利用前置摄像头组合模式通过特征识别算法，识别道路上的交通标志，发出预警信号或自动调整车辆运行状态，从而提高车辆的安全性和合规性，此功能可以辅助驾驶人及时发现交通标志。

交通标志可分为警告标志、禁止标志、指示标志等，如图2-12所示。根据交通标志颜色和形状的预先设计，可以提前对不同的交通标志进行分类，并将颜色形状分类的结果作为交通标志检测和识别的先验知识。可采用的视觉分类识别方法主要包括∶基于不同距离的模板匹配识别方法、大量数据样本的机器学习识别方法、粒子群优化和遗传算法等智能算法的识别方法等。

 交通标志识别系统包括检测和识别两部分，由于各国、各地区的交通标志设计标准和规范有很大区别，还需要根据不同区域的交通标志对识别算法进行调整。交通标志通常处于复杂的环境条件下，识别过程易受环境照明和转向的影响。

交通标志分为警告标志、禁止标志、指示标志。

分类识别方法主要包括：基于不同距离的模板匹配识别方法、大量数据样本的机器学习识别方法、粒子群优化和遗传算法等智能算法的识别方法等。

根据交通标志颜色和形状的确定，我们可以进一步对三种不同的交通标志进行分类，并将颜色形状分类的结果作为交通标志检测和识别的先验知识。

交通标志识别功能可以帮助驾驶人及时发现并识别各类交通标志，避免了因没有及时发现交通指示而违法交通规则等情况，提高了车辆行驶的安全，是智能交通系统和先进辅助驾驶系统的重要组成部分。

（4）换道辅助系统及盲点监测

盲点监测系统又称并线辅助系统，主要功能是扫除后视镜盲区并通过侧方摄像头或雷达将车左右后视镜盲区内的影像显示在车内。由于车辆后视镜中有一个视觉盲区，因此在换道前无法看到盲区中的车辆。如果盲区内有超车车辆，则会发生车道碰撞，在大雨、雾天、夜间光线暗淡的情况下，更难看到后面的车辆，换道更危险。

换道辅助系统主要功能是扫除后视镜盲区，主要通过侧方摄像头、后视摄像头或雷达检测盲区内影响车辆换道的交通参与者，并通过仪表、后视镜指示灯等方式提示驾驶人，避免因为驾驶人视觉盲区导致的换道/转向过程中发生事故的风险。

由于车辆后视镜中有一个视觉盲区，因此在换道或转向过程中，可能无法及时估计或者看到盲区中的车辆，如果盲区内有车辆，则会发生车道碰撞;另外，在大雨、雾天、夜间光线暗淡的情况下，更难看到后面的车辆，换道或者转向发生交通事故的风险也会增加。

换道辅助系统可以解决后视镜盲点问题，摄像头或者雷达用于探测车辆两侧后视镜盲点内的超车车辆，提醒驾驶人在变道过程中避免后视镜盲点，避免事故的发生。

当在盲区检测到对换道或转向有影响的车辆时，安装在后视镜的指示灯闪烁。如果驾驶人没有注意到指示灯的闪烁并准备换车道，在发生碰撞的危险前，系统会及时发出声音警报，再次提醒驾驶人换车道很危险，不应换车道。未来随着感知手段的丰富，感知能力的不断提升，系统会在危险即将发生时主动控制车辆，进一步防止因为驾驶人误操作导致的事故。在换道辅助系统的辅助下，驾驶过程中不间断的检测和提醒，可以有效防止因恶劣天气、驾驶人疏忽、后视镜盲点、新手上路等驾驶过程中的潜在危险造成交通事故。

（5）驾驶人监控系统

驾驶员注意力监控也称为疲劳监测系统或注意力辅助系统，疲劳驾驶预警系统是一种基于驾驶员生理反应特性的驾驶员疲劳监测预警技术。通过不断检测驾驶员的驾驶习惯，可以感觉到驾驶员在疲劳驾驶后及时向驾驶员发出警告，提醒驾驶员应适当在安全岛停车休息。

驾驶人监控系统包括疲劳监控、驾驶行为监控、注意力监控等。它不断检测驾驶人的驾驶状态，使驾驶人保持安全驾驶所需的注意力，以及在自动驾驶和人工驾驶切换过程中，保证驾驶人有足够时间接管车辆。

驾驶人监控可以分为两种类型∶一种是间接式监控，即通过驾驶人对车辆的操纵，判断驾驶人是否处于正常驾驶状态；另一种是直接式监控，即通过摄像头对驾驶人的视线、面部状态等进行跟踪，判断驾驶人状态是否满足安全驾驶需求。

另一类主要的检测方法是通过图像分析对驾驶员的面部和眼睛特征进行疲劳评估，也称驾驶员安全警告系统，该系统在车速超过65Km/h时会被激活。

驾驶员安全警告系统由一个摄像头、多个传感器和一个控制单元组成。您请说说其工作原理是什么？

（6）车道保持辅助系统

车道保持辅助系统基于车道偏离警告系统，在驾驶人未能及时响应预警，或者驾驶人将转向任务完全交给自动驾驶系统控制时，控制转向等底盘执行机构，使车辆保持在车道内安全行驶。

车道保持辅助系统是智能驾驶辅助系统之一，基于车道偏离警告系统控制制动和转向控制协调装置，通常进入车道保持状态要求最低限速为60km/h。当检测到车辆即将偏离车道线时，向转向电机发出指令，以纠正车辆的行驶方向。

（7）泊车辅助系统 

泊车辅助系统是用于泊车或倒车的安全辅助装置。

泊车辅助是用于停车或倒车的安全辅助装置，有手动和自动两种类型的汽车倒车辅助。目前，主流的停车辅助系统是由倒车摄像头和汽车监视器组成。

自动泊车辅助系统实现过程包括车位检测、泊车路径规划、自动泊车控制等。其中车位检测可以通过超声波雷达或者视觉检测车位线/泊车空间实现，而泊车路径规划则由自动泊车辅助系统完成。自动泊车控制过程中，自动泊车辅助系统根据车辆与车位的相对位置，对驱动、制动、转向甚至换档和驻车制动系统进行控制。

在自动泊车辅助系统应用的初级阶段，有时系统只能实现侧向车位/垂直车位的检测与路径规划，控制过程中有时需要驾驶人在车上辅助换档或者保持车速在5～10km/h以下。由于技术的限制，有些自动泊车辅助系统虽然允许驾驶人在车外，但是需要随时监控车辆周围环境，通过例如一直按住手机 APP上的按钮方式实现自动泊车，一旦松手，系统就会终止并停车。

随着智能网联汽车感知手段的不断发展，自动泊车辅助系统的智能化水平会不断提升，驾乘人员可以在离停车场更远的地方离开车辆，由车辆自主完成泊车，且车辆能够响应人的召唤从停车场驶出，自主泊车可以适应的泊车位（甚至无明确泊车标志的泊车空间）的种类会越来越复杂，这样自动泊车辅助系统就能够提供更舒适的驾乘体验。

（8）全景停车

汽车环绕全景图像停车辅助系统包括多个安装在汽车周围的摄像头、图像采集组件、视频合成/处理组件、数字图像处理组件和车辆显示器。这些装置可以同时采集车辆周围的图像，对图像处理单元进行变形恢复→视图转换→图像拼接→图像增强，最终形成车辆360°全景仰视图。

如图2-13 所示，全景环视系统包括多个安装在汽车周围的摄像头、图像采集组件、视频合成/处理组件、数字图像处理组件和车辆显示器。

这些装置可以同时采集车辆周围的图像，对图像处理单元进行变形恢复→视图转换→图像拼接→图像增强，最终形成车辆 360°全景视图。

通过更复杂的空间图像拼接算法，可以消除传统俯视图拼接带来的近距离畸变，提供一种立体环视的效果，能够更好地辅助驾驶人理解车辆周围环境。

（9）红外夜视系统

汽车夜视系统采用红外线技术，结构由红外摄像头和挡风玻璃上的灯光显示系统两部分组成。

 安装这种夜视系统后，驾驶员可以像白天一样透过灯光显示系统看到道路的行驶条件。当两辆车相遇时，可以大大减少对车前驾驶员的视力刺激，也可以提高驾驶员在雾中辨别的能力。

红外夜视系统采用红外夜视技术实现对夜间行车过程中环境的感知。夜间行车对驾驶人来说是最危险的，因为驾驶人在夜间的能见度很差，而且灯光的范围和亮度有限。在红外夜视系统的辅助下，驾驶人可以不受光照影响了解道路的行驶条件，尤其在检测行人等有明显红外辐射的物体中，红外夜视系统具有明显的优势。

请说说什么是被动红外夜视技术？什么是主动红外夜视技术？

（10）智能照明系统

为了适应汽车自动驾驶和数字化的趋势，智能视觉传感器系统正逐步取代部分现代汽车照明系统，例如：奔驰几何多光束LED大灯。

一方面，照明系统是保证车辆能够在环境光线不足情况下，补充灯光满足环境感知需求的重要系统；另一方面，照明系统也可以通过灯光变化与环境中其他交通参与者交互，是汽车安全性的重要保证。

为了适应汽车自动驾驶和数字化的趋势，具备智能视觉传感器的灯光系统正逐步用于汽车照明系统。智能照明系统可以调整灯光满足驾驶人与前视摄像头的照明需求，同时摄像头可以感知环境，进一步控制前照灯的光形、光强等变化。未来智能照明系统不仅能够主动辅助驾驶人更好地看见环境，还能通过智能化技术辅助驾驶人或者自动驾驶系统更好地理解环境。

在新的照明系统中，软件用于处理传感器信号、检测和识别车辆周围的物体、建立三维环境和跟踪物体的运动，例如，采用四线激光雷达、超声波传感器、红外视觉感知等技术，将灯具的照明功能转化为外部照明通信接口。在自动驾驶模式下行驶中检测到潜在危险时，利用前大灯的投射技术可以改变光束的形状，并对其他车辆或行人发出警告。

（11）电子后视镜 

电子后视镜通过摄像头成像，并将后视图像投影到车内的显示屏上，取代传统的镜片式后视镜。这种技术能够有效地降低风阻，提供更加全面灵活的视野，减小后视盲区。

电子后视镜对摄像头的各方面要求更高，在高像素、无畸变、宽动态、低照度、高可靠性方面都有着极高的要求。另外，因为技术问题，目前电子后视镜在大部分国家还不能在汽车市场上使用。

但是，由于电子后视镜的诸多优点，一些国家已经开始为电子后视镜的应用放开了相关法规。日本为鼓励汽车产业发展，在2016 年通过了一项新法规，允许无后视镜汽车上路。而且据称在2023年前，日本29%的汽车将使用摄像头代替后视镜，且12%的汽车将不再有侧镜。特斯拉、通用、大众等车厂也向美国国家公路交通安全管理局（NHTSA）申请用摄像头代替后视镜，奥迪也在与各国相关专家接洽，争取使电子后视镜早日合法化，并能够普及开来。