CN105318888B - 基于无人机感知的无人驾驶车辆路径规划方法 - Google Patents

Abstract

本发明是一种基于无人机感知的无人驾驶车辆路径规划方法，实现快速规划车辆行驶路径。本方法基于无人飞行器感知系统，利用无人飞行器拍摄目标车辆周围的道路视频图像，发送给地面站；地面站接收视频图像并进行处理，获得车辆与道路信息，根据车辆位置进行路径规划，并将路线传递给无人驾驶车辆；地面站的计算机模块计算飞行控制信号控制无人飞行器跟随车辆前进，并实时修正路径。本发明基于无人飞行器平台，工作状态稳定，从高空拍摄车辆周围道路环境，覆盖范围广，所观察到的道路交通信息清晰明确，可以快速得到目标车辆周围道路分布状况与交通状况，能获得合理的路径规划，路线更为精确，路况分析更为及时准确。

Description

基于无人机感知的无人驾驶车辆路径规划方法

技术领域

本发明涉及图像处理领域，具体涉及一种基于无人机感知的无人驾驶车辆路径规划技术，能够通过无人飞行器感知车辆周围道路环境，并快速规划该车辆行驶路径。

背景技术

智能车辆与交通技术兴起，无人驾驶车辆技术作为其关键技术之一被开发。无人驾驶车辆行驶过程需要多部分协同工作，保证对大量的内部数据监测，外部附近障碍感知以及行驶路线预判与规划等才能使其安全行使。

现行无人驾驶车辆的行驶路线预判与规划技术部分通过道路行驶学习，部分依赖于GPS导航。对于道路行驶学习，多次进行行驶路线训练后，无人驾驶车辆机器学习的成果显著，但是之后无人驾驶车辆只能应对单一路线，应用范围有限。GPS导航技术成熟，应用广泛，使用方便，与智能交通系统结合后，能够结合道路状况进行导航，制定合理路线。但是GPS定位对信号有要求，在城市环境中，信号受到干扰，容易产生定位不准的情况，影响行驶安全。同时，随着各种城建项目实施，城市电子地图更新缓慢，造成地图与城市实际情况不符合，同样威胁无人驾驶车辆的安全行使。此外，智能交通系统目前应用范围较小，反应交通状况存在延迟，无法及时修改实行路径，导致车辆停滞，辅助规划效果有限。

发明内容

本发明针对现有车辆路径规划技术中的不足，提供了一种基于无人机感知的无人驾驶车辆路径规划方法。该方法依据通过无人飞行器高空平台得到的道路与交通信息进行目标车辆行驶路径的规划。

本发明提供的基于无人机感知的无人驾驶车辆路径规划方法，基于无人飞行器感知系统。

所述的无人飞行器感知系统包括无人飞行器和地面站。所述的无人飞行器通过系留绳由目标车辆供电，无人飞行器上搭载摄像装置、第一无线通信模块和第一图像传输模块；通过摄像装置对路面进行拍摄，获得道路的视频图像；通过第一图像传输模块将拍摄的视频图像传输至地面站；通过第一无线通信模块接收飞行控制信号。所述的地面站放置在目标车辆上，并由目标车辆供电；地面站装有第二无线通信模块、第二图像传输模块和计算机模块；通过第二无线通信模块传输飞行控制信号给无人飞行器；通过第二图像传输模块接收无人飞行器传来视频图像；通过计算机模块，对接收的视频图像进行处理，获得道路信息并进行路径规划，并计算飞行控制参数给无人飞行器，同时通过数据线与无人驾驶车辆进行信息交互。

所述的无人驾驶车辆路径规划方法，实现步骤如下：

步骤(1)启动无人飞行器感知系统，无人飞行器起飞，悬停后与地面站建立通信，拍摄目标车辆周围的道路视频图像，发送给地面站；

步骤(2)地面站接收视频图像并进行处理，获得车辆与道路信息，根据车辆位置进行路径规划，并将路线传递给无人驾驶车辆。所述的车辆与道路信息包括目标车辆与道路的位置关系、车辆之间的距离、以及道路区域。

步骤(3)计算机模块控制无人飞行器跟随车辆前进，实时修正路径。

进一步，所述的步骤(2)的工作过程包括：

步骤2.1、无人飞行器拍摄时，增稳云台控制摄像装置的镜头垂直地面进行拍摄，图像为俯视投影，通过比例变换获得物体间的实际距离。

步骤2.2、地面站的计算机模块对视频图形进行图像处理，绘制道路区域，检索车辆，得到各条道路上车辆总面积与道路面积的比值，并对目标车辆进行路径规划。

进一步，所述的步骤(3)中，计算机模块将视频图像的画面中心作为无人飞行器所处位置，在设定的区域范围内寻找用特殊颜色标记车顶的目标车辆，发现目标车辆位置后，计算无人飞行器与车辆间的实际偏移距离与方向。地面站只对无人飞行机的俯仰与偏航两个参数进行控制，采用双模参数自校正模糊PID计算飞行控制参数，在得到飞行控制参数后发送给无人飞行器。步骤(3)中，当无人飞行器丢失目标车辆后，通过系留绳提供对无人飞行器的引导。

本发明技术方案，有如下创新点与优势：

(1)本发明基于无人飞行器平台，工作状态稳定，从高空拍摄车辆周围道路环境，覆盖范围广，该位置下所观察到的道路交通信息清晰明确，通过图像处理后可以快速得到目标车辆周围道路分布状况与交通状况，该信息实时、准确，依据该数据能够获得合理的路径规划。基于无人飞行器感知平台相比于传统的GPS进行路线导航，路线更为精确，相比于智能交通网络提供的道路交通状况，路况分析更为及时。

(2)本发明所采用的无人飞行器跟随无人驾驶车辆移动，可以实时采集到以车辆为中心周围的道路分布与交通状况，实现实时修正无人驾驶车辆的行驶路径，确保能够获得最佳路线。由于无人飞行器的速度有限，同时出于安全性考虑，无人驾驶车辆行驶速度需要控制在40km/h以下。

(3)本发明采用的无人飞行器系统通过车载装置供电。地面站直接将充电接口与信息交互接口集成，简化了地面站组成结构与系统搭建操作，同时维持地面站的稳定运行。道路与交通信息的感知则需要无人飞行器长时间滞空拍摄，由于现行无人飞行器电池续航时间有限，采用系留绳供电维持其飞行。此外，系留绳具备一定引导能力，能够在一定程度上阻止无人飞行器与车辆失散。

(4)本发明中，无人飞行器用于采集道路信息，而地面站承当数据处理工作。减少无人飞行器处理进程，使无人飞行器拥有更多资源来优化飞行控制过程以提升飞行精度与飞行安全。地面站的计算机模块计算能力较高，稳定性高，负责接收图像、处理图像，从而进行路径规划与无人机控制参数计算，并且完成信息交互。两部分装置互相协同，可快捷、流畅地实现无人飞行器感知系统的车辆路径规划。

附图说明

图1是本发明采用的无人飞行器感知系统组成示意图；

图2是本发明的无人驾驶车辆路径规划方法的流程示意图；

图3是本发明的道路与车辆识别过程示意图；

图4是本发明实施例中对路径进行全局规划的示意图；

图5是本发明实施例中对车辆周围行驶路径进行局部规划的示意图。

附图中：1、需要路径规划的目标车辆，2、地面站，3、系留绳，4、无人飞行器。

具体实施方式

下面结合附图对本发明作进一步说明：

如图1所示，本发明采用的无人飞行器感知系统，其包括：需要路径规划的目标车辆1，地面站2，系留绳3，以及无人飞行器4。所述的地面站2放置在目标车辆1上，由车辆1供电，无人飞行器4通过系留绳3由车辆1供电。

本发明实施例无人飞行器4为四旋翼无人飞行器。无人飞行器4上搭载有GPS(全球定位系统)模块、AHRS(航姿参考系统)模块和飞行控制装置，以保证无人飞行器的稳定安全飞行。无人飞行器4上搭载增稳云台和摄像装置，以实现无人飞行器对路面的稳定拍摄，获得道路与交通的视频图像。无人飞行器4上搭载第一无线通信模块和第一图像传输模块。通过第一无线通信模块接收飞行控制信号。通过第一图像传输模块将拍摄的视频图像传输至地面站2。

地面站2装有第二无线通信模块、第二图像传输模块和计算机模块。通过第二无线通信模块传输飞行控制信号给无人飞行器4。通过第二图像传输模块接收无人飞行器4传来视频图像。通过计算机模块，对接收的视频图像进行处理，获得道路信息并进行路径规划，并通过数据线与无人驾驶车辆1进行信息交互。地面站2可以将充电接口与信息交互接口集成，以简化地面站结构，同时解决供电问题。

如图2所示，本发明基于无人机感知的无人驾驶车辆路径规划方法的工作流程图，其步骤如下：

步骤(1)本发明采用无人飞行器4拍摄目标车辆1周围的道路视频图像，并将视频图像发送给地面站2，以进行目标车辆1周围道路分布与路上车辆数量信息的收集。

系统开始运行时，无人飞行器4起飞上升100-200米并悬停，同时与车辆1建立通信，开始拍摄目标车辆1周围的道路与交通信息的视频图像，发送给地面站2。

当无人飞行器4飞行高度为120-150米时，镜头角度为60°-80°。位于该高度时，无人飞行器4的视野半径在70-125米，包含目标车辆1在内的大范围物体，可以保证能够获取足够多的道路信息进行路径规划。

无人飞行器4所搭载的摄像装置单目镜头需要进行标定，以修正在其拍摄过程中直线产生的弧度，还原道路与车辆变形，降低环境感知的干扰与误检率。

步骤(2)地面站2接收视频图像并进行处理，获得车辆与道路信息，根据车辆位置进行路径规划，然后地面站2通过数据线将路线传递给无人驾驶车辆。车辆与道路信息包括道路的长度和宽度，目标车辆与其他车辆之间的距离等。

无人飞行器4进行拍摄的视频通过第一图像传输模块将视频图像传回地面站2。地面站2的计算机模块将立即进行图像处理，以获得车辆、道路信息，并进行路径规划。步骤(2)的工作过程如下：

步骤2.1、拍摄时，增稳云台控制摄像装置的镜头垂直地面进行拍摄，图像为俯视投影，其中物体的距离信息可以直接通过比例计算得到，避免透视运算与坐标变换。

通过输入目标车辆长度a，宽度b，根据比例k：

s＝kS

其中，A、B为图像中位于目标车辆1的对角线的两点，坐标分别为(x_A,y_A)、(x_B,y_B)；S为图像中两物体的距离，s为两物体现实中的距离。

可以获得图像中的距离信息，包括道路长度、宽度等。

步骤2.2、地面站2的计算机模块对采集到的道路视频图像进行图像处理，通过图像配准、颜色阈值分割、形态学操作以及分类器识别等方法获得车辆与道路信息，从而进行路径规划。具体过程如下：

①、通过图像配准进行增稳，跟踪图像中的特征点获取图像背景的运动，从而通过仿射变换方法消除抖动。

②、如图3所示，将拍摄的图像从RGB(红，绿，蓝)颜色空间转换到HSV(色调，饱和度，亮度)颜色空间。然后选取图像中饱和度值在0％-5％内的区域将其亮度调整成0(黑色)，其余区域的亮度设置为255(白色)，从而得到道路二值图像。

对二值图像进行形态学开闭运算，其中，采用圆为结构元素，其直径为道路上车辆宽度的1/2，从而消除道路上车辆造成的空洞，平滑道路边界。

然后进行边缘检测，由于二值图像中每个像素点的灰度值为0或255，其中，灰度突变处则为道路边界。但是通过形态学操作后得到的边缘可能为不规则曲线，需要通过霍夫变换绘制边缘直线，从而获得规则的道路区域，建立二维道路模型。

霍夫变换过程：对于道路边缘线a上的若干个点A₁(x₁,y₁,),A₂(x₂,y₂,),…,A_n(x_n,y_n,)，近似满足直线：Xcosθ+Ysinθ＝r，其中θ、r是参数。以点A₁(x₁,y₁,)为例，将x₁、y₁作为参数，则在r-θ参数平面上，可以得到曲线：r＝Xcosθ+Ysinθ。由此，可以将点集A转换成r-θ平面上的若干曲线，这些曲线过同一点(θ,r)。经过霍夫变换后，统计r-θ平面上的峰值点，获取该点坐标，即直线的参数θ、r，从而绘制出直线。

③、随后，通过采用基于Haar特征级联分类器进行车辆检测，获取图像中各车辆中心点的坐标以及车辆长、宽与大小。使用分类器检测时，寻找图形中的某一大型车辆，设定搜索窗口的长为该大型车辆长度的1.2倍，搜索窗口的宽为该大型车辆宽度的1.2倍，并保持检索窗口尺寸不变，以排除检测到其他非车辆物体，保证检测精度。检测结束后，计算各条道路上车辆总面积与道路面积的比值，该比值将作为路径规划的依据之一。

④、最后进行路径规划，其包含：全局规划和局部规划。

全局规划时，如图4所示，计算机模块根据无人飞行器4上的GPS信息，在当前地图位置中设置感兴趣区域，并在该区域内将上述步骤得到的道路模型进行模板匹配，得到目标车辆在电子地图中的位置。根据车辆位置与终点位置，结合C空间算法与Dijkstra算法，进行全局规划。利用C空间算法，在电子地图中，将不可通行区域拓展成多边形，将起始点、终点和所有多边形顶点间用直线连接，建立路径信息拓扑网络。然后采用Dijkstra算法搜索最短路径，该算法依次遍历所有顶点，并以道路长度与道路上车辆数量的加权值w＝k₁d+k₂h为各个顶点的权值，进行计算得到最优解，其中d为两顶点间距，h为车辆道路面积比值，k₁、k₂取值由所在城市决定，为预先设定的经验值。全局规划在无人飞行器4悬停建立与地面站2的通信后，执行一次即可，随后判断车辆1的行驶轨迹是否在路线上，如果偏离则重新规划。

局部规划时，计算机模块图像处理时得到目标车辆2与其他车辆的位置距离关系，采用人工势场法，限定范围在当前可行驶道路(避免逆行)上，虚拟前方为力场方向，其他车辆为斥力，建立引力场函数进行路径寻找。必要时通过连续帧计算其他车辆运动速度，并将其导入函数进行计算以进行路径寻找。局部规划提供一种行驶轨迹参考，实际决策由车辆1电子控制单元结合各传感器数据综合给出。

步骤(3)计算机模块控制无人飞行器4跟随目标车辆1前进，用于实时修正路径。

步骤(3)工作原理包括：

1、计算机模块通过图像处理得到无人飞行器4与目标车辆1的位置关系，根据偏移距离和方向与PID控制原理，计算无人飞行器4的飞行控制参数并发送至无人飞行器4，控制无人飞行器4跟随车辆前进，用于实时修正路径。

2、为了简化控制过程，只对飞行过程中的无人飞行器4的俯仰与偏航两个参数进行控制。控制采用双模参数自校正模糊PID计算飞行控制参数。

3、其中，计算位置关系时，在图像处理过程中以画面中心作为无人飞行器4所处位置，在画面中心附近设定一个感兴趣区域范围，寻找用特殊颜色标记车顶的目标车辆。在根据图像中两物体的位置关系计算现实中距离。然后获得无人飞行器与车辆间的实际偏移距离与方向。

4、当无人飞行器丢失目标车辆后，系留绳能够在一定程度上提供对无人飞行器的引导。

Claims (6)

1.一种基于无人机感知的无人驾驶车辆路径规划方法，其特征在于，该方法基于一种无人飞行器感知系统；所述的无人飞行器感知系统包括无人飞行器和地面站；

所述的无人飞行器通过系留绳由目标车辆供电，无人飞行器上搭载增稳云台、摄像装置、第一无线通信模块和第一图像传输模块；通过摄像装置对路面进行拍摄，获得道路的视频图像；通过第一图像传输模块将拍摄的视频图像传输至地面站；通过第一无线通信模块接收飞行控制信号；

所述的地面站放置在目标车辆上，并由目标车辆供电；地面站装有第二无线通信模块、第二图像传输模块和计算机模块；通过第二无线通信模块传输飞行控制信号给无人飞行器；通过第二图像传输模块接收无人飞行器传来视频图像；通过计算机模块，对接收的视频图像进行处理，获得道路信息并进行路径规划；

所述的无人驾驶车辆路径规划方法的实现步骤如下：

步骤1，启动无人飞行器感知系统，无人飞行器起飞，悬停后与地面站建立通信，拍摄目标车辆周围的道路视频图像，发送给地面站；

步骤2，地面站接收视频图像并进行处理，获得车辆与道路信息，根据车辆位置进行路径规划，并将路线传递给无人驾驶车辆；所述的车辆与道路信息包括目标车辆与道路的位置关系、车辆之间的距离、以及道路区域；

步骤2.1：无人飞行器拍摄视频图像时，增稳云台控制摄像装置的镜头垂直地面进行拍摄，所得到的视频图像为俯视投影，通过比例变换获得物体间的实际距离；

步骤2.2、地面站的计算机模块对视频图形进行图像处理，绘制道路区域，检索车辆，得到各条道路上车辆总面积与道路面积的比值，并对目标车辆进行路径规划；

步骤3，计算机模块控制无人飞行器跟随目标车辆前进，并实时修正路径。

2.根据权利要求1所述的基于无人机感知的无人驾驶车辆路径规划方法，其特征在于，所述的步骤1中，无人飞行器起飞至地面站所在车辆上方100-200米处悬停。

3.根据权利要求1所述的基于无人机感知的无人驾驶车辆路径规划方法，其特征在于，所述的步骤1中，对无人飞行器上的摄像装置的单目镜头进行标定，以修正在其拍摄过程中直线产生的弧度。

4.根据权利要求1所述的基于无人机感知的无人驾驶车辆路径规划方法，其特征在于，所述的步骤2.2中，进行图形处理，包括：

①、通过图像配准进行增稳，跟踪图像中的特征点获取图像背景的运动，通过仿射变换方法消除抖动；

②、将拍摄的图像从RGB颜色空间转换到HSV颜色空间，然后选取图像中饱和度值在0％-5％内的区域将其亮度调整成0，其余区域的亮度设置为255，得到道路二值图像；

对二值图像进行形态学开闭运算，其中，采用圆为结构元素，其直径为道路上车辆宽度的1/2，消除道路上车辆造成的空洞，平滑道路边界；

然后进行边缘检测和霍夫变换，绘制边缘直线，获得规则的道路区域，建立道路模型；

③、采用基于Haar特征级联分类器进行车辆检测，获取图像中各车辆中心点的坐标以及车辆长、宽与大小；使用分类器检测时，寻找图形中的某一大型车辆，设定搜索窗口的长为该大型车辆长度的1.2倍，搜索窗口的宽为该大型车辆宽度的1.2倍，并保持检索窗口尺寸不变；车辆检测结束后，计算各条道路上车辆总面积与道路面积的比值；

④、进行路径规划，包含：全局规划和局部规划；

全局规划时，根据无人飞行器的GPS信息，将所得到的道路模型进行模板匹配，得到目标车辆在电子地图中的位置，根据车辆位置与终点位置，进行全局规划；

局部规划时，根据所得到的目标车辆与其他车辆的位置距离关系，采用人工势场法，限定范围在当前可行驶道路上，虚拟前方为力场方向，其他车辆为斥力，建立引力场函数进行路径寻找。

5.根据权利要求4所述的基于无人机感知的无人驾驶车辆路径规划方法，其特征在于，所述的④中进行全局规划时，在电子地图中，将不可通行区域拓展成多边形，将起始点、终点和所有多边形顶点间用直线连接，建立路径信息拓扑网络；然后采用Dijkstra算法搜索最短路径，在搜索时，设置顶点的权值w＝k₁d+k₂h，其中k₁和k₂为预先设定的经验值，d为两顶点间距，h为车辆道路面积比值。

6.根据权利要求1所述的基于无人机感知的无人驾驶车辆路径规划方法，其特征在于，所述的步骤3中，计算机模块将视频图像的画面中心作为无人飞行器所处位置，在设定的区域范围内寻找用特殊颜色标记车顶的目标车辆，发现目标车辆位置后，计算无人飞行器与车辆间的实际偏移距离与方向；只对无人飞行机的俯仰与偏航两个参数进行控制，采用双模参数自校正模糊PID计算飞行控制参数，在得到飞行控制参数后发送给无人飞行器；

当无人飞行器丢失目标车辆后，通过系留绳提供对无人飞行器的引导。