智能网联汽车环境感知与路径规划

5.11汽车自动驾驶环境感知

1.多传感器融合

前面章节分别介绍了智能网联汽车上各类传感器的原理、特点和应用，从中可以看到，各类传感器因其测量原理，在环境感知方面有着各自明显的优缺点，例如，毫米波雷达具有耐候性，可以全天候工作，但分辨率不够高，无法区分人与物；摄像头具有较高的分辨率，可以感知颜色，但受强光影响较大。激光雷达可以提供具有三维信息的特性，对环境的可重构性很强，但受天气影响较大。毫米波雷达可以弥补激光雷达、视觉传感器在环境适应性上的不足；视觉传感器或者激光雷达可以弥补毫米波雷达在目标分类上的不足等。传感器各有各自的优点和缺点，需要相互融合，才能使智能网联汽车更加准确地理解环境，进而做出准确的决策。

环境感知是通过摄像头、激光雷达、毫米波雷达、超声波雷达、陀螺仪、加速度计等传感器感知周围环境信息和车辆状态信息。

图5-3  雷达扫描与点云视图的产生

如图5-3所示，环境信息主要包括道路信息、周边车辆与行人信息。道路信息包括道路的宽度、坡度、交通标志灯；周边车辆信息包括车辆大小，行驶的速度、加速度、方向等；周边行人信息包括行人的数量、位置及行走方向等。

未来，为了实现满足实际应用需求的自动驾驶甚至无人驾驶系统，需要多种传感器相互配合，实现智能网联汽车对环境的准确理解。汽车自动化的程度越高，集成在车辆上的传感器的数量和类型也越多，只有这样才能够保证信息获取充分，且有冗余保障的车辆安全自动行驶。为了保证安全，必须对多传感器的信息进行融合。多传感器融合可以显著提高系统的冗余度和容错性，从而保证决策的速度和正确性，这是自动驾驶系统向智能驾驶方向发展，最终实现无人驾驶的必然趋势。

图5-4  多传感器融合示意图

传感器融合的理论方法有贝叶斯准则、卡尔曼滤波、D-S证据理论、模糊集合理论、人工神经网络等。软件算法能够联合虚拟摄像头和环境传感器数据融合算法，从而得到更精确的数据分析与自主控制决策。图5-4是以两个传感器为例，示意了多传感器融合的过程。

从融合等级上，多传感器融合分为原始数据级融合、特征数据级融合和目标数据级融合。单一传感器中，越靠近原始数据，干扰信号和真实信号并存的可能性越大，即越早启动融合，真实信息的保留和干扰信息的去除效果越好，但同时也为数据同步、处理算法计算量带来相应的挑战。实际应用中，应结合感知需求、芯片计算能力选择合适的融合架构和方法，构建由各类传感器信息组成的数字环境，实现智能网联汽车对环境的感知和理解。

2.智能网联汽车环境感知数据库

对环境的完整感知和正确理解是智能网联汽车所有功能实现的基础。为了开发并测试智能网联汽车的环境理解算法，一些高校和科研机构将珍贵的环境感知数据库分享出来，用于智能网联汽车各领域的研究和产业化应用。                

图5-5  KITTI 数据集场景采集和标注的图像

目前，专门用于无人驾驶的数据集中，比较著名的有KITTI和Cityscapes。无人驾驶的数据集的主要作用是对汽车上安装的各种传感器采集的外部场景数据进行分析，并呈现无人驾驶车辆的实际情况。以KITT 数据集为例，该数据集是视觉图像与三维雷达数据的融合，利用KITT数据集可以实现在车辆真实应用环境下立体图像、光流、视觉距离测量、三维目标检测、三维跟踪等计算机视觉技术的性能评测。如图5-5所示，该数据集包含从城市、郊区、乡村和高速公路等场景采集的真实图像数据，整个数据集由389 对立体图像和光流图、在测评里程内的视觉测距序列和超过20k的三维标记对象图像组成。完整的数据集应包括立体数据、光流数据、视觉里程计数据、目标跟踪数据、道路解析数据等。

5.1.2 汽车自动驾驶路径规划

路径规划是解决智能网联汽车如何到达行驶目标问题的上层模块，它依赖于为智能网联汽车驾驶定制的高精度地图，与普通导航单纯提供指引的性质不同，智能网联汽车的路径规划模块需要提供能够引导车辆正确驶向目的地的轨迹。这些轨迹至少要达到车道级导航的水平，而且轨迹上影响车辆行驶的周边环境也需要被准确描述和考虑，如图5-6所示。

目前，由于位置信息涉及国家安全问题，我国在电子地图应用中会对真实坐标实行加偏处理，高精度定位自然也受到一定程度的法规限制，因此高精度地图、高精度定位和导航仅能够提供全局车道级的路径规划。从应用角度来说，在自动驾驶中，亚米级车道级的规划通过相关信息融合已经能够满足需求，单纯依赖高精度定位解决分米级甚至厘米级定位，性能提升和成本增加方面并不匹配。在全局亚米级定位基础上，进一步借助车道线的检测，实现汽车局部车道内路径规划也尤为重要，自动驾驶不仅需要避障和感知道路交通信息，还需要遵守交通规则。

图5-6  高精度地图中的车辆可行驶轨迹示意图

路径规划模块需要根据局部环境感知、可用的全局车道级路径、相关交通规则，提供能够引导车辆驶向目的地（或目的点）的路径。路径规划可分为全局路径规划方法、局部路径规划方法和混合路径规划方法三种。

全局路径规划方法可以视为一种离线规划方法，根据获取的环境信息为车辆规划一条道路，规划路径的准确性取决于获取外部环境信息的准确性。全局路径规划方法通常会找到最优路径，但需要预先知道整个环境的准确信息和行驶目标。

局部路径规划方法是一种在线规划方法，主要考虑车辆当前的局部环境信息，使车辆在局部环境中能够安全行驶。局部路径规划依靠安装在车身上的传感装置来获取局部信息，感知评判环境的实时变化，做出相应的路径规划决策。与全局路径规划方法相比，局部路径规划方法具有实时性。

路径规划问题具有以下特点：

①复杂性：在复杂环境中，尤其是动态时变环境中，车辆的路径规划非常复杂，需要大量的计算。

②随机性：在复杂环境的变化中，往往存在许多随机和不确定因素。

③多约束性：车辆行驶存在几何约来和物理约束。几何约束取决于车辆的形状，而物理约束则取决于车辆的速度和加速度。

④多目标：车辆运动过程中对路径性能有许多要求，如最短路径、最佳时间、最佳安全性能和最低能耗，这些指标之间往往存在冲突，需要系统权衡决策。

路径规划技术是车辆自动控制技术的重要组成部分，根据根据环境信息的已知程度，全局路径规划是在对全局环境已知时，根据算法搜索出最优或接近最优的路径。而局部路径规划则是在对环境局部未知或完全来知时，通过传感器为自动驾驶系统提供有用的信息确定障碍物和目标点的位置，并规划起始点到目标点的最优化路径。智能网联汽车的路径规划能力是车辆智能化水平的重要体现。

全局路径规划，主要的算法有栅格法、拓扑法、可视图法等；局部路径规划，常用的算法有栅格法、人工势场法、遗传算法、空间搜索法、层次法、动作行为法、Dijkstra 算法、Lee 算法、Floyd算法等。下面介绍几种常用的路径规划算法。

（1）全局路径规划算法

1）栅格法。如图5-7所示，栅格法是利用格栅单元来表示整个工作环境，并将自动驾驶连续工作环境离散为一系列网格单元。

图5-7 多激光雷达栅格地图融合系统

自动驾驶的整个工作环境分为两种网格∶自由栅格和障碍栅格。自由栅格指的是某一栅格范围内不含有任何障碍物。障碍栅格指的是这个栅格范围内存在障碍物，有的时候可能整个栅格内都布满障碍物。由于计算机处理信息的形式是二进制的，可给每个栅格分配一个累积值，称为CV 值，它表示网格中存在障碍时的可信度。CV 值越高，障碍物出现的概率越高。一般来说，CV 值为1表示光栅是势垒光栅，CV 值为0表示光栅是自由光栅。在路径搜索中，自动驾驶只根据一定的搜索算法搜索自由空间，最终规划出从起点到目标点的最优路径。

2）拓扑法。如图5-8所示，拓扑法是将自动驾驶工作空间分割为具有拓扑特征的子空间，建立拓扑网络，在拓扑网络上找到从起始点到目标点的拓扑路径，最后从拓扑路径中找到几何路径。

图5-8拓扑网络

拓扑方法的优点是，无论环境多么复杂，都能找到无障碍路径；缺点是建立拓扑网络的过程比较复杂，计算量很大。

当障碍物数量增加或障碍物位置发生变化时，修改原有的拓扑网络是一个非常困难的问题，通常用于基于静态矢量地图的导航路径规划。

3）可视图法。可视图法首先将自动驾驶汽车视为一个点，然后将起点、障碍物和目标点的每个端点连接起来，并以直线连接各个端点，从而将路径规划问题转化为从起点到目标点的最短路径寻找问题。可视图法的优点是概念直观、简单，缺点是灵活性不好。如图5-9 所示，当目标点或障碍物或起始点发生变化时，需要对视图进行重构，而且障碍物的数目越多，算法越复杂。

图5-9 视图重构

（2）局部路径规划算法

1）遗传算法。遗传算法是自动驾驶路径规划常用的算法。该算法模拟达尔文的生物进化理论，结合进化中优胜劣汰的概念，是一种基于自然选择和遗传学原理的搜索算法。

如图5-10所示，遗传算法在整个进化过程中的遗传操作是随机的且不固定的，但其特点不是完全随机搜索，它可以有效地利用历史信息预测下一代的预期性能，通过一代一代的进化，最终聚集到一个最适合环境，得到了问题的最佳解决方案。遗传算法主要由编码方法、初始群生成方法、适应度函数、遗传运算和算法终止条件等组成。为了用遗传算法成功地解决优化问题，各部分的设计至关重要。

在遗传算法的路径规划中，初始种群是随机产生的。为了避免陷入局部极值点，种群数量必须达到一定的规模。然而，种群数量大会导致搜索空间大、删除冗余个体的能力差等问题，会严重影响路径规划的速度。

遗传算法有以下特点∶不会产生无效的路径，但是在复杂的环境中，很难创建链接图。此外，遗传算法计算效率低，计算时间长，在遗传进化过程中需要大量的存储空间。

图5-9 局部路径规划中的遗传算法

2）蚁群算法。智能网联汽车路径规划的蚁群算法可以简单地描述为∶以当前网格为中心，在每只蚂蚁的起点g-begin 放置 m个蚂蚁，根据某个策略进行选择，然后进入下一个网格，利用本地信息更新策略更新信息素。

当第一个蚂蚁k 到达目标节点 g-end 时，由于它首先到达并且花费的时间最少，因此在当前一轮优化中，它获得的路径是最优的，在k所得的路径上执行全局信息更新并保存，此路径是当前的最佳路径。

让迭代次数增加1，然后k以g-begin为目标重复g-end 中的过程。如果蚂蚁得到了一个新的路径，那么新的路径将与当前的最优路径进行比较。如果新路径优于当前最优路径，则当前路径将更新为新路径，并获得新的当前最优路径的全局信息更新。如果在最后一次全局信息更新之后，当前的最优路径没有更新，并且生成了新的M 路径后依然没有更新，那么全局信息更新将在当前最优路径上执行，不断地重复比较，直到完成指定数量的迭代或满足其他设置条件为止。

蚁群算法相对于遗传算法来说具有一定的记忆力。蚁群算法有多种原理，如觅食原理、避障原理和遗传算法。蚁群算法属于群智能优化算法，具有并行性。每一个粒子都能被主动优化，而遗传算法不能。蚁群算法是基于环境中信息素的指示，遗传算法是基于适│者生存的生物进化思想。遗传算法有三种操作∶选择、交叉和变异，每个运算符都有自己的不同方法。通过对算子方法的修改和匹配，可以得到不同的改进遗传算法。

遗传算法具有快速的全局搜索能力，因此可以快速搜索全局最优路径，但系统中的反馈信息利用率不高，往往导致不作为的冗余迭代，求解效率低。蚁群算法通过信息素的积累和更新，收敛于最优路径。它具有分布性、并行性和全局收敛性等优点，但在初始阶段，所有路径上的信息素都是相等的，使得蚁群算法有点像贪婪算法，收敛速度慢，得到的解往往不是最优解。为了克服这两种算法各自的缺点，发挥各自的优势形成互补优势，可以将遗传算法和蚁群算法结合起来。首先，利用遗传算法的随机搜索、快速性和全局收敛性生成问题的初始信息素分布，然后充分利用蚁群算法的并行性、正反馈机制和高效性来解决问题。这样，融合算法在求解效率上优于遗传算法，在时间效率上优于蚁群算法，形成了效率和时间效率较高的启发式算法。

3）神经网络。神经网络可以通过大量实际驾驶行为数据，学习避障和路径规划中隐含的、难以人工设计并提取的特征。

智能网联汽车所面临的环境是不断变化和随机的，难以用数学公式来描述，可以通过对实际驾驶操作的采集，获取实际驾驶数据样本集，由神经网络预测学习样本中的驾驶行为特征。例如，图5-11显示了某个驾驶场景的行驶路径深度学习训练，通过神经网络可以学习驾驶人的行为，并根据当前获取的环境信息决策行驶轨迹，进而可以控制车辆的转向、制动、驱动实现轨迹跟踪。

4）人工势场法。人工势场法是 Khatib提出的虚拟方法，如图5-12 所示，其基本思想是将汽车在周围环境中的运动设计为在人工引力场中的抽象运动，目标点对移动车辆产生“引力”，障碍物对移动的车辆产生“斥力”，最后通过求合力来控制自动驾驶车辆的运动。

人工势场法的路径一般是平滑、安全的，但该方法存在局部最优点问题，容易陷入局部极小点，在相似的障碍物之间找不到路径，检测到新的环境障碍物后，人工势场法规划的路径可能发生振荡，在狭窄通道中摆动。

为了克服上述问题，可以对人工势场法进行改进。在新的势函数中，考虑车辆与目标点之间的相对距离，以适应自动驾驶路径规划的要求。

图5-11 基于安全场理论的自动驾驶车辆决策规划深度学习训练方法（图片源自智车科技）

通过以上全局路径规划、局部路径规划算法，将可以为行为决策的模块提供引导自动驾驶汽车到达目的地的轨迹曲线，解决在一定约束条件下，在一定范围内时空路径的优化问题。时空路径是指车辆在一定时间内行驶的轨迹，轨迹不仅包括位置信息，还包括整个轨迹和车辆姿态的时间信息（时间、速度、加速度、曲率等）。

局部路径规划可进一步分为轨迹规划和速度规划。轨迹规划只解决根据行为决策和综合地图信息，在二维平面上定义一定的代价函数下对轨迹进行优化的问题。速度规划是选择一个或多个轨迹后，解决用什么样的速度来行驶。速度规划由车辆当前状态、行驶目标以及轨迹曲率等决定。

轨迹规划算法在很大程度上依赖于地图对道路的定义，在车辆模型和道路模型下，由轨迹规划生成的轨迹是从区间到车辆姿态向量集的连续映射。在每个轨迹的末端，轨迹优化的目标是筛选出满足所有可能轨迹曲线边界条件的轨迹曲线，然后找到平滑的、代价最低的曲线，如图5- 13 所示。