CN103386975B - 一种基于机器视觉的车辆避障方法及系统 - Google Patents

Abstract

本发明提出了一种基于机器视觉的车辆避障方法及系统，该避障方法包括如下步骤：处理器采用基于单幅图像的障碍物检测算法判定缩微车前方是否存在障碍物；处理器对两个摄像头进行标定，采用立体视觉的方法确定障碍物的高度并将高度信息传输给控制器；测距装置检测相邻两车道的车辆状况，为避障换道提供可行驶的区域并将可行使区域的信息传输给控制器；控制器根据获得的信息，采用自适应换道策略，向运行控制模块发送命令，完成车辆的自主换道。本发明的避障方法稳定、自适应程度高，车辆避障姿态流畅，避障成功率高达98%以上。

Description

一种基于机器视觉的车辆避障方法及系统

技术领域

本发明涉及智能交通技术领域，具体涉及一种基于机器视觉的车辆避障方法及系统。

背景技术

随着城市化进程的加快，现有的交通基础设施和管理办法落后于时代的发展。单纯通过拓宽道路、建设高架、铺设轨道交通、设立标志、鼓励乘坐公共交通、甚至空中交通，依靠传统的方法远远不能适应现代交通的发展，需要发展智能交通系统。智能交通系统是将先进的信息技术、数据通信传输技术、控制技术以及人工智能技术等有效地综合运用于整个交通管理体系而建立起来的大范围、全方位发挥作用的实时、准确、高效运输的综合交通指挥、管理与控制系统。

智能交通系统产生于上世纪60年代末。上世纪80年代以来，该领域的研究进入了一个飞速发展的阶段。美国、日本、加拿大、德国、法国等西方主要经济强国都对此投入大量人力物力，可以说“智能交通”是交通运输进入信息时代的重要标志。将先进的智能交通系统应用于现有交通设施，可以有效减少交通负荷和环境污染、保证交通安全、提高运输效率、促进社会经济发展、提高人民生活质量，并能够推动社会信息化及新产业的形成。更重要的是，随着现代化技术的不断前进，也使得交通智能化有了实现的可能。作为未来交通发展的趋势之一，我国政府及科技、交通管理等有关部门高度重视并积极推动智能交通系统的发展。智能交通系统在中国的开发和应用将会形成一个巨大的市场，规模可在百亿甚至千亿元以上，它势必对中国的道路、交通、通讯、电信、交通管理等各个方面产生巨大的推动。

作为智能交通系统的重要研究内容之一，智能车辆驾驶主要研究无人驾驶技术或者作为辅助驾驶系统帮助驾驶员完成车辆驾驶任务。这些任务包括跟踪道路，保持车辆行驶在正确的道路上，维持车辆之间的一个安全距离，根据当前的交通状况和道路特征调节车辆的速度，横跨车道以达到超车和避障的目的以及找到达目的地的最短路径和在市区内方便的行驶和停靠。智能车辆驾驶系统集中地运用了计算机、传感器、信息融合、通讯、人工智能以及自动控制等技术，是典型的高新技术综合体。智能车辆驾驶系统将有效减轻驾驶员的负担，减少驾驶员疲劳驾驶的现象，有利于提高交通安全，同时，配合城市交通控制系统，合理分配交通流，实现交通顺畅。随着计算机和机器人技术的飞速发展，智能车辆研究已经取得了长足进展，并广泛应用于军事、科研、民用等各个领域。在军事方面，智能车辆可以在危险地带代替士兵完成战场侦察等任务；在科研方面，智能车辆可以在外星从事勘探等工作；在民用方面，可作为自动或辅助驾驶系统来减少交通事故。

视觉系统在智能车辆系统中主要起到环境探测和辨识的作用。与其他的传感器相比，计算机视觉具有检测信息量大、能够遥测等优点。缺点是在复杂环境下，要将探测的目标与背景区分开，将有用信息提取出来所需的计算量很大，单纯以硬件条件来解决，容易导致系统的实时性较差。目前的智能车辆技术中自主导航和自动驾驶是智能车辆开发的关键技术，而自主导航和自动驾驶的实现过程中，非常关键的技术是完成障碍物的识别和避障，这是一个亟需解决的技术问题。

发明内容

为了克服上述现有技术中存在的缺陷，本发明的目的是提供一种基于机器视觉的车辆避障方法及系统，提高车辆行驶过程中的避障成功率、车辆行驶的稳定性更强。

为了实现本发明的上述目的，根据本发明的一个方面，本发明提供了一种基于机器视觉的车辆避障方法，包括如下步骤：

S1：处理器采用基于单幅图像的障碍物检测算法判定缩微车前方是否存在障碍物，如果有障碍物，则将障碍物距离和障碍物所处车道的检测信息传输给控制器，并执行步骤S2，如果没有障碍物，则继续执行步骤S1；

S2：处理器对两个摄像头进行标定，采用立体视觉的方法判定障碍物中心位置、上边界中心位置的三维坐标，从而确定障碍物的高度并将所述障碍物高度信息传输给控制器；

S3：车身两侧的测距装置检测相邻两车道的车辆状况，为避障换道提供可行驶的区域并将所述可行使区域的信息传输给所述控制器；

S4：控制器根据获得的障碍物距离、障碍物所处车道、障碍物高度以及相邻两车道的可行使区域信息，采用自适应换道策略，向运行控制模块发送命令，控制车轮的转向和速度，完成车辆的自主换道。

在本发明的一种优选实施方式中，所述单幅图像的障碍物检测算法的步骤为：

S21：对图像进行色彩空间变换RGB转HSV，并单独抽取S通道图像；

S22：对S图像利用大津法进行动态阈值二值化得到二值图像Bin，对Bin图像去噪，消除干扰；

S23：在Bin图像上搜索所有可能存在的障碍物轮廓，根据设置的筛选条件将误判的障碍物剔除；

S24：并根据车道线的方位判定障碍物所处车道。

在本发明的一种优选实施方式中，所述立体视觉的方法为：

S31：根据主摄像头A和辅助摄像头B的安装位置，分别进行标定，得出摄像头的内参数、外参数，以及主摄像头A和辅助摄像头B之间的间距b；

S32：对辅助摄像头B获取的图像采用基于单幅图像的障碍物检测方法，获取障碍物中心位置、上边界中心位置在图像坐标系下的二维坐标；

S33：利用如下公式获取障碍物在主摄像头坐标系下的三维坐标x_c,y_c,z_c，并利用摄像头的标定参数，得出障碍物在世界坐标系下的三维坐标，

$(x_c,y_c,z_c)=(\frac{{\mathrm{bu}}_1}{u_1-u_2},\frac{{\mathrm{bv}}_1}{u_1-u_2},\frac{\mathrm{bf}}{u_1-u_2}),$

其中，b为两摄像头的间距，f为摄像头的焦距（u₁，v₁）为标定点在A摄像头平面的投影位置，（u₂，v₂）为标定点在B摄像头平面的投影位置，并且v₁=v₂。

在本发明的另一种优选实施方式中，所述分段式自适应控制策略是指：根据车身距离车道中间的偏移角度和距离，以及车身此刻的行驶速度，根据参数degree_per_dist自适应适度调整下一时刻的车身转角和车速，当车辆行驶在直道的中间附近位置时，始终保持车身以全速直行的方向行驶，若偏向车道两侧的任意一侧，则进行微调。

为了实现本发明的上述目的，根据本发明的另一个方面，本发明提供了一种基于机器视觉的车辆避障系统，包括主摄像头A、辅助摄像头B、测距装置、处理器和控制器，所述主摄像头A和辅助摄像头B分别用于获取路面的图像并将所述图像传输给所述处理器；所述处理器用于判定缩微车前方是否存在障碍物并将障碍物距离和障碍物所处车道的检测信息传输给控制器，同时处理器对主摄像头A和辅助摄像头B进行标定，判定障碍物中心位置、上边界中心位置的三维坐标，从而确定障碍物的高度并将所述障碍物高度信息传输给控制器；所述测距装置位于车身两侧，用于检测相邻两车道的车辆状况并将可行使区域的信息传输给所述控制器；控制器与运行控制模块相连，所述运行控制模块与车轮相连，控制器根据获得的障碍物距离、障碍物所处车道、障碍物高度以及相邻两车道的可行使区域信息，向运行控制模块发送命令，所述运行控制模块控制车轮的转向和速度，完成车辆的自主换道。

本发明的有益效果是：

本发明首先采用基于单幅图像的障碍物检测算法判定前方是否存在障碍物，避免了直接采用立体视觉系统进行检测导致的实时性不够的问题，检测周期短；然后进一步利用双摄像头，运用立体视觉系统判定障碍物的高度信息；本发明的避障方法稳定、自适应程度高，车辆避障姿态流畅，避障成功率高达98%以上。

本发明采用立体视觉的方法障碍物的高度信息，兼顾了系统的实时性和准确性要求。

本发明根据车辆所处的状态模式，采用分段式自适应控制策略，对底层控制器发送控制命令。根据车身距离车道中间的偏移角度和距离，以及车身此刻的行驶速度，根据参数degree_per_dist自适应适度调整下一时刻的车身转角和车速。直道作为弯道的特殊道路类型，当车辆行驶在直道的中间附近位置时，始终保持车身以全速直行的方向行驶，若偏向车道两侧的任意一侧，则根据分段式自适应控制策略进行适度微调。相比较其他控制方法，本发明中方法可有效减少车身舵机角度的调整次数，摆脱车身因频繁调整行驶方向导致的车身左右摇晃，从而保障车身相对稳定的行驶。

本发明分段式自适应控制策略可有效减少车身舵机角度的调整次数，摆脱车身因频繁调整行驶方向导致的车身左右摇晃，从而保障车身相对稳定的行驶。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明一种优选实施方式中缩微智能车硬件架构；

图2是本发明基于机器视觉的车辆避障方法流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

本发明可以应用于实际的车辆，也可以应用于缩微车，在本发明的一种优选实施方式中，采用缩微车进行说明，具体采用的缩微车与真车按照1:10的缩微比获得。

本发明提供了一种基于机器视觉的缩微车，其包括底盘，在该底盘上设置有马达和舵机。该缩微车还包括摄像头、主板和控制板，摄像头用于获取路面图片，路面图片用于识别车道线、道路标识及障碍物等信息；主板的处理器与摄像头相连，主板根据摄像头传输的信息运行控制程序并下达控制命令，控制板与主板相连，控制板接收主板下达的控制命令通过运行控制模块控制马达和舵机的运行，控制车轮的行进。

本发明还提供了一种基于机器视觉的缩微智能车避障系统，如图1所示，包括主摄像头A、辅助摄像头B、测距装置、处理器和控制器，所述主摄像头A和辅助摄像头B分别用于获取路面的图像并将所述图像传输给所述处理器；所述处理器用于判定缩微车前方是否存在障碍物并将障碍物距离和障碍物所处车道的检测信息传输给控制器，同时处理器对主摄像头A和辅助摄像头B进行标定，判定障碍物中心位置、上边界中心位置的三维坐标，从而确定障碍物的高度并将所述障碍物高度信息传输给控制器；所述测距装置位于车身两侧，用于检测相邻两车道的车辆状况并将可行使区域的信息传输给所述控制器；控制器与运行控制模块相连，所述运行控制模块与车轮相连，控制器根据获得的障碍物距离、障碍物所处车道、障碍物高度以及相邻两车道的可行使区域信息，向运行控制模块发送命令，所述运行控制模块控制车轮的转向和速度，完成车辆的自主换道。

在本实施方式中，该缩微车底盘选用HPIcupracer底盘，该底盘带有电机和舵机，用于机械运动。控制板采用DFR0003型号的Arduino控制板。主板采用嵌入式x86主板。摄像头可以为1个，也可以为多个，当摄像头为多个时，每一个摄像头均与主板相连，在本发明的一个优选实施方中，摄像头为两个，在本发明的一个更加优选实施方中，摄像头为罗技摄像头。

本发明的基于机器视觉的缩微车通过主板和控制板根据视觉传感器获取的路面图片信息控制马达和舵机的运行，该缩微车相对于原尺度车辆，缩微智能车的结构简单，造价低廉，多车测试环境容易构建。并且实验场地和环境容易调整，可以方便地进行多种不同环境下的实验。

本发明缩微车的硬件架构包括设计合理的与车身长度、空间结构相匹配的整车硬件架构，在本实施方式中，将缩微车的车身空间分为上、中、下三层结构，在每层结构中放置对应的硬件装置。控制板、底盘等硬件位于车身下层，在中层放置主板，在上层车身空间设置视觉传感器。底层控制器和处理器分别供电。图像摄取装置安装于智能车的上方距离地面20-25cm处。

在本发明的一种优选实施方式中，该缩微车还包括用于判断运行方向及上下坡角度的电子罗盘和用于判断前后车距及相邻车道缩微车距离的红外测距传感器，电子罗盘和红外测距传感器分别与控制板相连，控制板根据电子罗盘和红外测距传感器传输的信息控制马达和舵机的运行。

在本发明的一个优选实施方式中，红外测距传感器为两路，一路用于判断前后车距，另一路用于判断该缩微车与相邻车道的缩微车的距离。

本发明通过利用电子罗盘和红外测距传感器，实现了对缩微车辆行驶的精确控制，大大提高了行驶的安全性。

在本实施方式中，该缩微车还包括电源，本发明的一种优选实施方式中，采用12V锂电池给主板供电；采用8V锂电池给电机供电；视觉传感器和控制板均由主板供电。

在本实施方式中，缩微车还包括车壳，为了便于实现对缩微车的研究，需要考虑各配件的安置情况，包括重量、尺寸因素，由于X86主板和马达耗电量高，若选用大功率电池会增加缩微车重量，因此需要选用尺寸小，功率合适的电池，同时车壳的选用也需要考虑尺寸因素。在本发明的一种优选实施方式中，外形设计时遵循以下原则：

1、主板电池和马达电池能够方便的安装、拆卸，以方便充电；

2、控制板电池无需经常拆卸，但须预留充电口；

3、车壳必须方便拆卸，换装电池。可以根据车身的大小定制车壳，考虑电池和车壳统一设计，方便更换电池。

本发明还提供了一种基于机器视觉的缩微智能车避障方法，如图2所示，其包括如下步骤：

S1：处理器采用基于单幅图像的障碍物检测算法判定缩微车前方是否存在障碍物，如果有障碍物，则将障碍物距离和障碍物所处车道的检测信息传输给控制器，并执行步骤S2，如果没有障碍物，则继续执行步骤S1；

S2：处理器对两个摄像头进行标定，采用立体视觉的方法判定障碍物中心位置、上边界中心位置的三维坐标，从而确定障碍物的高度并将所述障碍物高度信息传输给控制器；

S3：车身两侧的测距装置检测相邻两车道的车辆状况，为避障换道提供可行驶的区域并将所述可行使区域的信息传输给所述控制器；

S4：控制器根据获得的障碍物距离、障碍物所处车道、障碍物高度以及相邻两车道的可行使区域信息，采用自适应换道策略，向运行控制模块发送命令，控制车轮的转向和速度，完成车辆的自主换道。

在本实施方式中，所述单幅图像的障碍物检测算法的步骤为：

S21：对图像进行色彩空间变换RGB转HSV，并单独抽取S通道图像；

S22：对S图像利用大津法进行动态阈值二值化得到二值图像Bin，对Bin图像去噪，消除干扰；

S23：在Bin图像上搜索所有可能存在的障碍物轮廓，根据设置的筛选条件将误判的障碍物剔除；

S24：并根据车道线的方位判定障碍物所处车道。

在本实施方式中，所述立体视觉的方法为：

S31：根据主摄像头A和辅助摄像头B的安装位置，分别进行标定，得出摄像头的内参数、外参数，以及主摄像头A和辅助摄像头B之间的间距b，在本实施方式中，摄像头的内参数、外参数可以按照现有技术中的获取方法得出；

S32：对辅助摄像头B获取的图像采用基于单幅图像的障碍物检测方法，获取障碍物中心位置、上边界中心位置在图像坐标系下的二维坐标；

S33：利用如下公式获取障碍物在主摄像头坐标系下的三维坐标x_c,y_c,z_c，并利用摄像头的标定的内参数和外参数，得出障碍物在世界坐标系下的三维坐标，

$(x_c,y_c,z_c)=(\frac{{\mathrm{bu}}_1}{u_1-u_2},\frac{{\mathrm{bv}}_1}{u_1-u_2},\frac{\mathrm{bf}}{u_1-u_2}),$

其中，b为两摄像头的间距，f为摄像头的焦距，，（u₁，v₁）为标定点在A摄像头平面的投影位置，（u₂，v₂）为标定点在B摄像头平面的投影位置，在本实施方式中，标定点在A摄像头平面的投影位置与在B摄像头平面的投影位置的纵坐标相等，即有v₁=v₂；

在本实施方式中，所述分段式自适应控制策略是指：根据车身距离车道中间的偏移角度和距离，以及车身此刻的行驶速度，根据参数degree_per_dist自适应适度调整下一时刻的车身转角和车速，当车辆行驶在直道的中间附近位置时，始终保持车身以全速直行的方向行驶，若偏向车道两侧的任意一侧，则进行微调。

本发明在步骤S1之前还具有以下步骤：通过巡线系统进行巡线，确定车道线。在本实施方式中，缩微车的巡线系统包括图像获取模块、主板和控制器，所述图像获取模块用于获取视觉传感器采集的路面的RGB彩色图像并将所述RGB彩色图像传输给所述主板，所述RGB彩色图像中含有车道线信息；所述主板包括巡线模块，所述巡线模块包括图像处理模块、二值化模块、边缘检测模块和处理器；所述图像处理模块接收所述图像获取模块获取的RGB彩色图像并将所述RGB彩色图像转化为灰度图像；所述二值化模块与所述图像处理模块相连，用于接收所述灰度图像并获取所述灰度图像中每帧图像的最佳动态阈值并进行图像分割，得到二值图像，将车道线分离出来；所述边缘检测模块与所述二值化模块相连，用于接收并对所述二值化图像进行边缘检测，得到含有车道线的内、外边缘的边缘图像；所述处理器与所述边缘检测模块相连，所述处理器利用霍夫变换在所述边缘图像中检测车道线并获取车道线参数，建立车道线模型；处理器利用获取的所述车道线参数，通过逆透视变换获取车辆在世界坐标系中所处的车道位置数据，以及车辆转角和距离参数，判别车辆的行驶模式；同时利用获取的车辆转角以及距离参数，根据车辆的行驶模式，采用分段式自适应控制策略，向控制器发送控制命令；所述控制器分别与处理器、舵机和电机相连，用于接收所述处理器的控制命令，并根据控制命令调整舵机和电机的工作参数，实时控制车辆的行车方向以及行车速度。

在本实施方式中，主板还包括初始化模块、障碍物检测模块、红绿灯检测模块、交通标志检测模块、地面标志检测模块；所述初始化模块分别与所述视觉传感器、所述马达和所述舵机相连，用于对所述视觉传感器、所述马达和所述舵机进行初始化；所述障碍物检测模块与所述视觉传感器相连，用于根据所述视觉传感器获取的路面图片检测车辆前方的障碍物；所述红绿灯检测模块与所述视觉传感器相连，用于根据所述视觉传感器获取的路面图片检测红绿灯的工作情况；所述交通标志检测模块与所述视觉传感器相连，用于根据所述视觉传感器获取的路面图片对交通标志进行识别和判断；所述地面标志检测模块与所述视觉传感器相连，用于根据所述视觉传感器获取的路面图片识别车辆所处车道的地面标志。本发明通过主板的初始化模块对视觉传感器、马达和舵机进行初始化，提高了行驶的准确性，另外，该主板能够具有的寻线模块、障碍物检测模块、红绿灯检测模块、交通标志检测模块、地面标志检测模块，实现了自动车道线跟踪、道路位置检测、自动换道、多车互动和分析车辆目标方向的能力，提高了行驶的安全性。

在本发明的另一种优选实施方式中，主板还包括速度控制模块和方向控制模块，速度控制模块和所述方向控制模块两者分别与初始化模块、寻线模块、障碍物检测模块、红绿灯检测模块、交通标志检测模块和地面标志检测模块相连。速度控制模块接收所述初始化模块、寻线模块、障碍物检测模块、红绿灯检测模块、交通标志检测模块、地面标志检测模块检测的信息并产生速度控制信息，所述速度控制模块将速度控制信息传输给所述控制板，所述控制板控制所述马达的运行速度。方向控制模块接收所述初始化模块、寻线模块、障碍物检测模块、红绿灯检测模块、交通标志检测模块、地面标志检测模块检测的信息，并产生方向控制信息，所述方向控制模块将方向控制信息传输给所述控制板，所述控制板控制舵机的方向。本发明的主板通过速度控制模块和方向控制模块控制马达的运行速度和舵机的方向，实现缩微车在对周围环境的感知后应采取的行为决策，包括寻线行走，壁障，遵守交通规则等，提高了行驶的安全性。

在本发明的一种优选实施方式中，主板采用嵌入式x86主板，基于该主板的缩微车具有自动车道线跟踪、道路位置检测、自动换道、多车互动和分析车辆目标方向的能力。在本实施方式中，主板具有USB接口，其数量可以根据需要连接的硬件进行调整，可以为限不限于4路，其中，2路USB接口连接摄像头，1路USB接口连接无线网卡；1路USB接口连接控制板。控制板上有多路数字I/O口，用于连接红外测距传感器、电子罗盘，马达和舵机等设备。

本发明主板的各模块能够实现复杂道路环境下动、静态目标环境感知的相关算法，包括寻线算法、障碍物检测算法、红绿灯检测算法、交通标志检测算法、地面标志检测算法；实现缩微车在对周围环境的感知后应采取的行为决策，包括寻线行走，壁障，遵守交通规则等。

本发明还提供了一种基于机器视觉的缩微车控制系统，其包括至少一台缩微车、服务器和管理端电脑，服务器与缩微车的主板相连，服务器与主板进行双向信息交互；管理端电脑与服务器相连，管理端电脑接收服务器传输的信息并通过服务器对所述缩微车的运行进行监控管理。

在本实施方式中，缩微车与服务器通过TCP连接，也可以通过无线网络将缩微车终端与服务器连接起来，服务器将信息传输给管理端电脑，管理端电脑实时监控缩微车的运行状态，实现对缩微车的监控管理。

本发明的基于机器视觉的缩微车控制系统的搭建是基于PC平台基础上实现的，通过视觉传感器在模拟的高仿真缩微车测试平台上对缩微车的环境感知与智能行为决策能力进行测试。缩微车是通过无线通信等技术手段将获取的信息连接到服务器的网络中,然后加以分析，得出策略，从而实现对缩微车行为的控制，从而达到车与路、车与车、车与城市网络实现相互连接。在该缩微车控制系统上，由于缩微车的实验环境相对封闭，而且缩微车基本不存在安全方面的问题，因此自主驾驶实验不会受到法律法规等非技术方面的约束。另外相对于原尺度车辆，缩微车的结构简单，造价低廉，多车测试环境容易构建。并且实验场地和环境容易调整，可以方便地进行多种不同环境下的实验。缩微车的研究是伴随着城市交通拥堵的日益加重以及智能交通解决方案技术的不断进步而出现的，也是城市智能交通以热点区域为主、以车为对象的管理模式转变的重要体现之一，推动了我国智能交通的向前发展。

在本发明的一种优选实施例中，管理端电脑内具有缩微车远程监控管理系统，该缩微车远程监控管理系统包括智能车终端管理模块和远程监控功能模块，其中，智能车终端管理模块包括系统基础属性配置模块、终端管理模块、状态信息基础属性配置模块、状态信息定制管理模块、控制指令发布模块和采集图片管理模块，缩微车通过服务器分别与系统基础属性配置模块、终端管理模块、状态信息基础属性配置模块、状态信息定制管理模块、控制指令发布模块和采集图片管理模块相连，系统基础属性配置模块用于设置缩微车系统的基础参数，具体包括但不限于缩微车上摄像头位置坐标标定、每秒读取摄像头图片帧数、通信接口、缩微车网络编号等信息。状态信息基础属性配置模块与缩微车的主板相连，用于管理缩微车行驶过程中的动态信息，包括行驶速度、加减速度、上下坡角度识别、行驶位置坐标等信息。状态信息定制管理模块与缩微车主板相连，用于管理需要和远程管理端的消息定制，用于封装并实时发送给缩微车的远程管理参数。控制指令发布模块用于配置所有接收和发送指令的格式及具体参数。采集图片管理模块用于管理视觉传感器在行驶过程是实时采集的道路信息，对图片进行相关分析处理，并将结果反馈给状态信息基础属性配置模块。远程监控功能模块包括用户连接状态监控模块和自动返回状态或更新信息模块，其中，用户连接状态监控模块与缩微车主板相连，用于实现每台缩微车控制系统与远程管理端电脑的连接监控，显示每台缩微车与管理端电脑的连接情况，显示每台缩微车当前的速度及运行状态等参数，自动返回状态或更新信息模块与缩微车主板相连，用于实时获取缩微车运行状态等参数，首先发送读取指令，缩微车接收到读取指令后将相关信息发送给远程控制端，远程控制端接收到最新的运动状态参数后对数据进行更新，再通过用户连接状态监控模块进行显示。

本发明通过缩微车远程监控管理系统实时监控缩微车的运行状态，缩微车终端与服务器保持连接，实现在信息网络平台上根据不同的功能需求对缩微车属性信息和静、动态信息进行提取和有效利用，并根据不同的功能需求对缩微车的运行状态进行有效的监管和提供综合服务。

本发明的巡线方法包括如下步骤：

S1：图像获取模块获取路面的RGB彩色图像，所述RGB彩色图像中含有车道线信息；

S2：图像处理模块将所述RGB彩色图像转化为灰度图像；

S3：二值化模块获取所述灰度图像中每帧图像的最佳动态阈值并进行图像分割，得到二值图像，将车道线分离出来；

S4：边缘检测模块对所述二值化图像进行边缘检测，得到含有车道线的内、外边缘的边缘图像；

S5：处理器利用霍夫变换在所述边缘图像中检测车道线并获取车道线参数，建立车道线模型；

S6：处理器利用获取的所述车道线参数，通过逆透视变换获取车辆在世界坐标系中所处的车道位置数据，根据所述路面图像信息，判别车辆的行驶模式；

S7：处理器利用步骤S6获取的车辆转角以及距离参数，根据车辆的行驶模式，采用分段式自适应控制策略，向控制器发送控制命令；

S8：所述控制器接收到处理器的控制命令，通过对舵机、电机进行参数调整，实时控制车辆的行车方向以及行车速度。

在本实施方式中，所述步骤S5中建立的车道线模型，在车道为直道的情况下，车道线为直线模型；在车道为弯道的情况下，车道线为弯道的切线模型。

在本实施方式中，所述步骤S6中的行驶模式包括直道模式，弯道模式，上坡模式，下坡模式，十字路口模式，丁字路口模式，跟随模式，换道模式，停车模式九种。

在本发明的一种优选实施方式中，该缩微车控制方法具体包括如下步骤：

第一步：搭建本发明的基于机器视觉的缩微车控制系统。该缩微车具有自动车道线跟踪、道路位置检测、自动换道、多车互动和分析车辆目标方向的能力。该缩微车控制系统基于局域无线网络远程控制，具有远程车辆跟踪、车间通信和远程行驶状态分析的能力。在本实施方式中，按照缩微智能车与真车1:10的缩微比，根据车身的高度，设置缩微智能车上摄像头的位置，使其具有最佳盲区（车头与获取图像下边缘的距离），在本实施方式中，取为28cm。

本发明综合运用了机器视觉、人工智能、模式识别、无线传感网和仪表可靠性等多学科交叉的先进技术，针对城市交通特点，利用仿真技术，在三维立体交通沙盘仿真测试平台上复现现实交通运行状况，或虚拟出未来交通运行的状况，使得能够低成本、低危险地显现已发生或未发生的交通事件，对其特征和规律进行研究，将本发明的技术方案移植到真车上，可以帮助企业开发具有完全自主知识产权的智能汽车，为司机提供了控制车辆和预防危险情况的驾驶辅助手段，提升驾驶人员的车辆控制能力，预防交通事故和保护行人安全。

本发明智能车辆驾驶主要研究整体自动或者作为辅助驾驶系统完成车辆驾驶任务。这些任务包括跟踪道路，保持车辆行驶在正确的道路上，维持车辆之间的一个安全距离，根据当前的交通状况和道路特征调节车辆的速度，横跨车道以达到超车和避障的目的以及找到达目的地的最短路径和在市区内方便的行驶和停靠。基于机器视觉的缩微智能车在实现对障碍物、交红绿灯、交通标志等的识别中从而达到无人驾驶的目的，都要通过机器视觉来进行实现。机器视觉就是用机器代替人眼来做测量和判断。

在本实施方式中，视觉传感器将被摄取目标转换成图像信号，传送给主板，该主板还包括模数转换装置，模数转换装置根据图像信号的像素分布和亮度、颜色等信息，将图像信号转变成数字化信号；主板的寻线模块，障碍物检测模块，红绿灯检测模块，交通标志检测模块，地面标志检测模块对这些数字信号进行运算来抽取各自的目标特征并根据判别的结果来控制现场的设备动作。在本实施方式中，优选采用OpenCV图像处理软件内的函数对图像进行处理。在本实施方式中，采用的函数包括但不限于图片格式转换函数cvCvtColor()，设置图像感兴趣区域函数cvSetImageROI()，二值化处理函数cvThreshold()，寻找轮廓函数cvFindContours()，轮廓边界框返回函数cvBoundingRect()等。

第二步：主板的初始化模块对视觉传感器、马达和舵机进行初始化。

初始化该模块可实现的功能是：对所有模块中参数的初始化，包括但不限于对视觉传感器属性，投影矩阵，马达速度，舵机的方向进行初始化，在本发明的一个优选实施方式中，初始化的取值可以根据实验或者本领域常用数据进行设定。在具体算法实现上，主要调用opencv的函数进行处理。例如设置视觉传感器属性参数调用的函数包括：

cvCreateCameraCapture();该函数为摄像头获取函数,可由该函数获得缩微智能车上下两个摄像头的属性值。

cvSetCaptureProperty(pCapture,CV_CAP_PROP_FRAME_WIDTH,320);

cvSetCaptureProperty(pCapture,CV_CAP_PROP_FRAME_HEIGHT,240);

这两个函数是对摄像头获取的图片的尺寸进行设定，函数中设定的图片尺寸为320像素*240像素的大小。

第三步：视觉传感器获取路面图片并将路面图片传输给主板。

第四步：主板根据路面图片进行寻线、寻线方法包括如下步骤：

S1：图像获取模块获取路面的RGB彩色图像，所述RGB彩色图像中含有车道线信息，通常道路上车道线的颜色一般为白色，或间断，或连续；道路路面为黑灰色，路宽约为35cm，本实施方式中暂不考虑下雨天雨水反光等因素的影响；

S2：图像处理模块将所述RGB彩色图像转化为灰度图像；

S3：二值化模块运用大津法获取所述灰度图像中每帧图像的最佳动态阈值并进行图像分割，得到二值图像，将车道线分离出来；

S4：边缘检测模块运用canny算子对所述二值化图像进行边缘检测，得到含有车道线的内、外边缘的边缘图像；

S5：处理器利用霍夫变换在所述边缘图像中检测车道线并获取车道线参数，建立车道线模型，在车道为直道的情况下，车道线为直线模型；在车道为弯道的情况下，车道线为弯道的切线模型；

S6：处理器利用获取的所述车道线参数，通过逆透视变换获取车辆在世界坐标系中所处的车道位置数据，并辅以图像中其他特征的提取，判别车辆当前时刻的状态模式，如所处车道为直道或弯道，是否进入十字路口或丁字路口等，以便后续控制车辆实时巡线；

S7：处理器利用步骤S6获取的车辆转角以及距离参数，根据车辆的行驶模式，采用分段式自适应控制策略，向控制器发送控制命令；

S8：所述控制器接收到处理器的控制命令，通过对舵机、电机进行参数调整，实时控制车辆的行车方向以及行车速度。

本发明的巡线方法稳定、易控制，巡线时间可以在10毫秒之内完成，缩微智能车的行驶速度可达1-2米/秒，折算到真车约为40-60km/h。

在本实施方式中，处理器也可以利用图像变换函数hLines2()进行找线，图像变换函数cvHoughLines2()找到了图像中的许多线，有些是想要的，有些是不想要的，为了得到车道线，就必须要进行条件筛选，具体条件可以包括但不限于对车道线的距离、斜率阈值，车道线的距离和斜率阈值可以根据具体现实中实际道路上的车道线的距离和车道线的斜率进行选取，也可以按比例进行减小或者放大选取。

找到车道线以后，为了方便缩微车换道，可以根据车道线左右是否存在绿地的条件来确定所处的具体是哪个车道，具体的换道条件为，如果车道右侧有绿地，则说明车道是最右面的车道，只能向左换车道；如果车道左侧有绿地，则说明车道是做左侧的绿地，只能向右换车道，如果左右两侧都没有绿地，则说明是中间的车道，则向左侧或者右侧换车道都可以。本发明的寻线方法能够快速准确地找到车道线，提高了行车的安全性。

在本发明的一种优选实施方式中，障碍物检测模块对前方出现的障碍物进行识别以及作出相应的处理，障碍物检测方法包括如下步骤：

S21:障碍物检测模块接收视觉传感器获取的路面图片后对路面图片进行格式转换。障碍物检测模块从视觉传感器获取图片后，为了能避免光线影响，在图片的处理过程中需要选择合适的颜色空间，在本实施方式中，将RGB格式转换为HSV格式来进行处理，采用的格式转换函数为：cvCvtColor(image,imgHSV,CV_RGB2HSV)。

S22：障碍物检测模块进行灰度转换、二值化处理、寻找轮廓和条件筛选。在本实施方式中，调用opencv中库函数对路面图片进行灰度转换、二值化处理、寻找轮廓、条件筛选。具体主要调用的opencv函数为：

二值化处理函数cvThreshold()；

寻找轮廓函数cvFindContours()。

在寻找到轮廓后，对障碍物进行条件筛选，具体根据障碍物距缩微车的距离、障碍物的颜色、尺寸、面积等特征进行筛选。便能实现对障碍物的识别，从而指挥缩微车的动作，包括停止或换道。在本实施方式中，筛选的条件可以根据实际试验进行设定。

在本发明的另一种优选实施方式中，红绿灯检测方法包括如下步骤：

S31：当缩微车行驶至十字路口模式时，红绿灯检测模块首先判断道路图片是否存在停止线，若存在，则执行步骤S32。

S32：根据视觉传感器与红绿灯的高度阈值，获取感兴趣区域。在红绿灯的检测过程中，由于摄像头与红绿灯的高度均是固定的，为了提高处理速度，减少环境干扰等因素，因此采用设置感兴趣区域。在本实施方式中，视觉传感器与红绿灯的高度阈值可以根据具体试验或者实际道路中的视觉传感器与红绿灯的高度进行设置，具体设置的高度阈值为红绿灯的高度加减一定的度所形成的范围。

S33：读取感兴趣区域内的像素点的R、G、B三刺激值并与设定的红绿灯的R、G、B三刺激值进行比较，当满足误差要求时，感兴趣区域为目标区域。具体的误差范围可以根据具体实验具体设定。

S34：对目标区域进行条件筛选，所述条件筛选的项目包括筛选像素点的个数，R、G、B三刺激值分别所占的比例，当所有条件均满足，则判断出是红灯还是绿灯。

本发明的红绿灯检测方法通过选定感兴趣区域，并在感兴趣区域中选择目标区域，提高了红绿灯检测的快速性，对目标区域进行条件筛选，提高了红绿灯检测的准确性。

在本发明的一种优选实施方式中，交通标志类型包括直行，禁止直行，右转，禁止右转，左转，禁止左转六种类型，缩微智能车通过该模块实现对以上交通标志的识别与判断。交通标志检测方法包括如下步骤：

S41：所述交通标志检测模块检测所获取的图片中某个像素点及其周围连通域是否存在红色像素点，若存在，则设置为目标区域并进入步骤S42，具体的联通域的大小可以根据试验中交通标志的大小设定，具体可以但不限于小于、大于或等于交通标志的大小。

S42：在目标区域内搜索黑色像素点，并获取包含黑色像素的连通区域的矩形，通过尺寸调整函数调整所述矩形的大小，在本实施方式中，通过尺寸调整函数cvResize()将矩形大小调整为7个像素*5个像素大小的矩形。

S43：提取所述矩形内的特征信息，与模板进行匹配，如果匹配成功，则得出交通标志的类型，使缩微车将执行相应的操作。

本发明的交通标志检测方法通过选定目标区域并调整目标区域内矩形的大小，提高了交通标志检测的快速性，将特征信息与模板进行匹配，提高了交通标志检测的准确性。

在本发明的一种优选实施方式中，实现缩微车对所处车道地面标志的识别及反应行为，如直走右转标志，地面标志检测方法包括如下步骤：

S51：地面标志检测模块接收视觉传感器获取的路面图片后对路面图片进行灰度转换以及二值化处理。

S52：地面标志检测模块对二值化图像进行边缘检测，具体可以但不限于采用Canny函数二值化图像进行边缘检测。

S53：地面标志检测模块进行找线处理，并根据线条的大小进行筛选。

S54：提取所述线条的特征信息，与模板进行匹配，如果匹配成功，则得出地面标志的类型，使缩微车将执行相应的操作。

在本发明的一个优选实施方式中，主板的控制程序的运行过程为：首先，主板的初始化模块对视觉传感器、马达和舵机进行初始化。初始化后，视觉传感器检测路面图片并将路面图片传输给寻线模块、障碍物检测模块、红绿灯检测模块、交通标志检测模块以及地面标志检测模块。寻线模块寻找车道线，缩微车正常行进。在行进的过程中，障碍物检测模块判断车道是否干净，红绿灯检测模块检测是否用停止线。障碍物检测模块判断车道干净，则缩微车继续寻线行进，如果障碍物检测模块判断车道不干净，障碍物检测模块检测并经过条件筛选判断是否有障碍物，如果有障碍物则停车，停车后重新检测是否有障碍物，如果仍有障碍物则继续停车，如果没有障碍物则继续寻线行进，避免了错误检测障碍物导致停车的情况发生，提高了准确性；如果障碍物检测模块判断没有障碍物或者经过条件筛选后不需要停车，则判断换道条件是否符合，如果换道条件符合，则进行换道，在换道的过程不断检测换道是否结束，如果结束，则继续寻线行进，如果没结束，继续换道，如果换道条件不满足，则在原车道继续行驶。

红绿灯检测模块检测是否用停止线，如果没有停止线，则缩微车继续寻线行进，如果有停止线，则判断是否有红灯；如果有红灯，则停车，红灯灭后，进入十字路口行进模式，寻线模块寻找车道线，寻找到车道线后，缩微车正常行进，如果没有寻找到车道线，寻线模块继续寻线；如果没有红灯，交通标志检测模块检测是否有交通标志，如果有，则按照交通标志行走，寻线模块寻找车道线，寻找到车道线后，缩微车正常行进，如果没有寻找到车道线，寻线模块继续寻线。如果没有交通标志，则进入十字路口行进模式，寻线模块寻找车道线，寻找到车道线后，缩微车正常行进，如果没有寻找到车道线，寻线模块继续寻线。

第五步：主板向控制板下达控制命令，控制马达和舵机的运行。具体是主板的速度控制模块接收初始化模块、寻线模块、障碍物检测模块、红绿灯检测模块、交通标志检测模块、地面标志检测模块检测的信息并产生速度控制信息，所述速度控制模块将速度控制信息传输给所述控制板，所述控制板控制所述马达的运行速度。所述方向控制模块接收所述初始化模块、寻线模块、障碍物检测模块、红绿灯检测模块、交通标志检测模块、地面标志检测模块检测的信息，并产生方向控制信息，所述方向控制模块将方向控制信息传输给所述控制板，所述控制板控制所述舵机的方向。

第六步：主板将缩微车的运行信息传输给服务器并通过服务器传输给管理端电脑，管理端电脑通过缩微车远程监控管理系统实现对缩微车的运行进行监控管理。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (5)

1.一种基于机器视觉的车辆避障方法，其特征在于，包括如下步骤：

S1：处理器采用基于单幅图像的障碍物检测算法判定缩微车前方是否存在障碍物，如果有障碍物，则将障碍物距离和障碍物所处车道的检测信息传输给控制器，并执行步骤S2，如果没有障碍物，则继续执行步骤S1；

S2：处理器对两个摄像头进行标定，采用立体视觉的方法判定障碍物中心位置、上边界中心位置的三维坐标，从而确定障碍物的高度并将所述障碍物高度信息传输给控制器；

S3：车身两侧的测距装置检测相邻两车道的车辆状况，为避障换道提供可行驶的区域并将所述可行使区域的信息传输给所述控制器；

S4：控制器根据获得的障碍物距离、障碍物所处车道、障碍物高度以及相邻两车道的可行使区域信息，采用自适应换道策略，向运行控制模块发送命令，控制车轮的转向和速度，完成车辆的自主换道。

2.如权利要求1所述的基于机器视觉的车辆避障方法，其特征在于：所述单幅图像的障碍物检测算法的步骤为：

S21：对图像进行色彩空间变换RGB转HSV，并单独抽取S通道图像；

S22：对S图像利用大津法进行动态阈值二值化得到二值图像Bin，对Bin图像去噪，消除干扰；

S23：在Bin图像上搜索所有可能存在的障碍物轮廓，根据设置的筛选条件将误判的障碍物剔除；

S24：并根据车道线的方位判定障碍物所处车道。

3.如权利要求1所述的基于机器视觉的车辆避障方法，其特征在于：所述立体视觉的方法为：

S31：根据主摄像头A和辅助摄像头B的安装位置，分别进行标定，得出摄像头的内参数、外参数，以及主摄像头A和辅助摄像头B之间的间距b；

S32：对辅助摄像头B获取的图像采用基于单幅图像的障碍物检测方法，获取障碍物中心位置、上边界中心位置在图像坐标系下的二维坐标；

S33：利用如下公式获取障碍物在主摄像头坐标系下的三维坐标x_c,y_c,z_c，并利用摄像头的标定参数，得出障碍物在世界坐标系下的三维坐标，

$(x_c,y_c,z_c)=(\frac{{\mathrm{bu}}_1}{u_1-u_2},\frac{{\mathrm{bv}}_1}{u_1-u_2},\frac{bf}{u_1-u_2}),$

其中，b为两摄像头的间距，f为摄像头的焦距，(u₁，v₁)为标定点在A摄像头平面的投影位置，(u₂，v₂)为标定点在B摄像头平面的投影位置，并且v₁＝v₂。

4.如权利要求1所述的基于机器视觉的车辆避障方法，其特征在于：在步骤S1之前还具有步骤：通过巡线系统进行巡线，确定车道线，在巡线时，采用分段式自适应控制策略，所述分段式自适应控制策略是指：根据车身距离车道中间的偏移角度和距离，以及车身此刻的行驶速度，根据参数degree_per_dist自适应适度调整下一时刻的车身转角和车速，当车辆行驶在直道的中间附近位置时，始终保持车身以全速直行的方向行驶，若偏向车道两侧的任意一侧，则进行微调。

5.一种利用权利要求1所述的基于机器视觉的车辆避障方法的避障系统，其特征在于，包括主摄像头A、辅助摄像头B、测距装置、处理器和控制器，

所述主摄像头A和辅助摄像头B分别用于获取路面的图像并将所述图像传输给所述处理器；

所述处理器用于判定缩微车前方是否存在障碍物并将障碍物距离和障碍物所处车道的检测信息传输给控制器，同时处理器对主摄像头A和辅助摄像头B进行标定，判定障碍物中心位置、上边界中心位置的三维坐标，从而确定障碍物的高度并将所述障碍物高度信息传输给控制器；

所述测距装置位于车身两侧，用于检测相邻两车道的车辆状况并将可行使区域的信息传输给所述控制器；

控制器与运行控制模块相连，所述运行控制模块与车轮相连，控制器根据获得的障碍物距离、障碍物所处车道、障碍物高度以及相邻两车道的可行使区域信息，向运行控制模块发送命令，所述运行控制模块控制车轮的转向和速度，完成车辆的自主换道。