CN112560707B - 基于激光光源的移动式道面检测方法及系统 - Google Patents

Abstract

本发明提供了移动式道面检测方法及系统，方法包括采用激光光源照射道面，获取多光谱相机拍摄该道面获得的可见光谱下的彩色图像和红外光谱下的灰度图像；对所述彩色图像进行检测，获得道面污染区域；对所述灰度图像进行检测，获得道面污染区域和道面异物区域；分别从彩色图像提取出所述道面污染区域和道面异物区域对应的子区域，组成4通道图像；将所述4通道图像输入至预设的分类识别网络；获取分类识别网络输出的识别结果。该方法提升单次检测覆盖面积。

Description

基于激光光源的移动式道面检测方法及系统

技术领域

本发明属于道面异物及破损检测技术领域，具体涉及基于激光光源的移动式道面检测方法及系统。

背景技术

在公路养护工作中，需要定期对道面状况破损进行检测。准确掌握道面病变过程，为制定科学的养护计划提供数据支撑。在机场道面维护工作中，不仅要对道面破损进行检测，也要对道面的异物进行检测，避免以扎破轮胎、吸入发动机的形式损坏航空器。

移动式道面检测是一种常见的技术框架。在移动平台上利用毫米波雷达、激光雷达进行检测是常见的技术路线，但是设备成本高、移动检测速度慢。针对以上问题，出现了可见光/红外成像设备与结构光协同进行道面检测的技术路线，大幅降低了设备成本、提升了检测速度。但是结构光受技术条件限制，存在覆盖面积小的缺陷，限制了单次检测覆盖能力。

发明内容

针对现有技术中的缺陷，本发明提供一种基于激光光源的移动式道面检测方法及系统，提升单次检测覆盖面积。

第一方面，一种基于激光光源的移动式道面检测方法，包括以下步骤：

采用激光光源照射道面，获取多光谱相机拍摄该道面获得的可见光谱下的彩色图像和红外光谱下的灰度图像；

对所述彩色图像进行检测，获得道面污染区域；

对所述灰度图像进行检测，获得道面污染区域和道面异物区域；

分别从彩色图像提取出所述道面污染区域和道面异物区域对应的子区域，组成4通道图像；

将所述4通道图像输入至预设的分类识别网络；

获取分类识别网络输出的识别结果。

优选地，所述对所述彩色图像进行检测，获得道面污染区域具体包括：

将彩色图像从“红+绿+蓝”三通道模式转换到“一维亮度+二维色彩”三通道模式；提取一维亮度通道信号生成亮度值图像；

提取二维彩色通道信号生成第一色彩值图像和第二色彩值图像；

对所述亮度值图像、第一色彩值图像和第二色彩值图像进行分析，获得道面污染区域。

优选地，所述对所述亮度值图像、第一色彩值图像和第二色彩值图像进行分析，获得道面污染区域具体包括：

根据亮度值图像中所有像素的亮度值计算亮度平均值和亮度标准样本差，定义亮度平均值和亮度标准样本差落入预设的亮度异常范围内的区域为所述道面污染区域；

将亮度值图像转换为亮度二进制图像；

根据第一色彩值图像计算第一彩色平均值和第一彩色标准样本差，根据第二色彩值图像计算第二彩色平均值和第二彩色标准样本差，定义第一彩色平均值、第一彩色标准样本差、第二彩色平均值和第二彩色标准样本差落入预设的彩色异常范围内的区域为所述道面污染区域；

将第一色彩值图像和第二彩色值图像转换为彩色二进制图像；

将所述亮度二进制图像和彩色二进制图像中每个像素进行逻辑或计算，定义计算结果中像素值为1的区域为所述道面污染区域。

优选地，所述将亮度值图像转换为亮度二进制图像具体包括：

根据下式将亮度值图像B(x,y)转换为亮度离群图像difB(x,y)；

其中，b_avg为所述彩色平均值，b_std为彩色标准样本差；

根据预设的亮度转换阈值将亮度离群图像转换为所述亮度二进制图像。

优选地，所述将第一色彩值图像和第二彩色值图像转换为彩色二进制图像具体包括：

根据下式将第一色彩值图像C1(x,y)和第二彩色值图像C2(x,y)转换为彩色离群图像difC(x,y)；

其中，c1_avg为所述第一彩色平均值，c1_std为第一彩色标准样本差；c2_avg为所述第二彩色平均值，c2_std为第二彩色标准样本差；

根据预设的彩色转换阈值将彩色离群图像转换为所述彩色二进制图像。

优选地，所述对所述灰度图像进行检测，获得道面污染区域和道面异物区域具体包括：

根据预设的衰减模型，对灰度图像进行矫正，得到矫正图像；所述衰减模型为I^/(x,y)＝I(x,y)/sin(α)，其中α为像素对应地面成像点和激光光源连线与地平面的夹角，I(x,y)为灰度图像，I^/(x,y)为矫正图像；

对所述矫正图像进行分析，获得道面污染区域和道面异物区域。

优选地，所述对所述矫正图像进行分析，获得道面污染区域和道面异物区域具体包括：

定义矫正图像中灰度值低于预设的最小灰度值的区域为所述道面污染区域；

根据下式计算道面污染区域的位置校正参数delta；

delta＝htan(α)；

其中，h为道面污染区域内的像素在x坐标方向上的最大差值；α为像素对应地面成像点和激光光源连线与地平面的夹角；

根据道面污染区域和位置校正参数，计算道面异物区域，其中道面异物区域中像素的x坐标分布与道面污染区域中像素的x坐标分布相同，道面异物区域中像素的y坐标的上限为道面污染区域中像素的y坐标的下限，道面异物区域中像素的y坐标的下限为道面污染区域中像素的y坐标的上限减去位置校正参数delta。

优选地，所述分类识别网络用于当识别出道面存在不属于道面固有结构及破损的目标时，定义该目标为道面异物；

所述分类识别网络的训练方法包括：

A：建立包含正常道面样本、道面破损样本和道面异物样本的训练样本库；

B：根据正常道面样本、道面破损样本对分类识别网络进行初始化；

C：将正常道面样本和道面异物样本输入分类识别网络，记录分类识别网络输出的特征向量，按照支持向量机方法计算分类参数；

D：用得到的分类参数替换分类识别网络的分类决策层参数，根据正常道面样本和道面破损样本继续输入分类识别网络，重复执行步骤C，完成分类识别网络的训练。

优选地，所述分类识别网络具体用于：

获取目标的道面固有结构及破损的相似度得分；

判断得到的相似度得分是否低于预设的道面固有结构及破损阈值，如果是，定义该目标为道面异物；如果不是，定义该目标为相似度得分最高对应的类别。

第二方面，一种基于激光光源的移动式道面检测系统，包括移动平台，所述移动平台上设有计算控制单元，以及与计算控制单元电连接的多个检测单元；

检测单元上设有多光谱相机和激光光源，其中多光谱相机的安装高度大于激光光源的安装高度，且多光谱相机和激光光源均朝前下方俯视安装；多光谱相机的视野覆盖范围与激光光源的照射范围相同；

所述计算控制单元用于执行第一方面所述的移动式道面检测方法。

由上述技术方案可知，本发明提供的基于激光光源的移动式道面检测方法及系统，提升单次检测覆盖面积。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1为本发明实施例一提供的移动式道面检测方法的流程图。

图2为本发明实施例五提供的移动式道面检测系统的模块框图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

实施例一：

一种基于激光光源的移动式道面检测方法，参见图1，包括以下步骤：

S1：采用激光光源照射道面，获取多光谱相机拍摄该道面获得的可见光谱下的彩色图像和红外光谱下的灰度图像；

S2：对所述彩色图像进行检测，获得道面污染区域；

S3：对所述灰度图像进行检测，获得道面污染区域和道面异物区域；

S4：分别从彩色图像提取出所述道面污染区域和道面异物区域对应的子区域，组成4通道图像；

S5：将所述4通道图像输入至预设的分类识别网络；

具体地，分类识别网络用于对输入的图像进行道面异物及破损识别。由于道面异物可能是任何物体，具有缺乏共性、难以穷举的特点，所以该分类识别网络对道面固有结构及破损进行识别时，判定不属于分类识别网络中已有类别的目标为异物。

S6：获取分类识别网络输出的识别结果。

该方法以激光光源照明方式取代现有技术中的结构光照明方式，结合可见光和红外成像设备进行道面异物及破损检测，能够大幅提升单次检测覆盖面积。同时能有效地弥补结构光几何图案信息缺失造成的影响。

实施例二：

实施例二在实施例一的基础上，限定了可见光谱下的道面检测方法。

所述对所述彩色图像进行检测，获得道面污染区域具体包括：

S21：将彩色图像从“红+绿+蓝”三通道模式转换到“一维亮度+二维色彩”三通道模式；提取一维亮度通道信号生成亮度值图像；

S22：提取二维彩色图像的彩色通道信号生成第一色彩值图像和第二色彩值图像；

S23：对所述亮度值图像、第一色彩值图像和第二色彩值图像进行分析，获得道面污染区域；具体包括：

S231：根据亮度值图像中所有像素的亮度值计算亮度平均值b_avg和亮度标准样本差b_std，定义亮度平均值b_avg和亮度标准样本差b_std落入预设的亮度异常范围内的区域为所述道面污染区域；

S232：将亮度值图像转换为亮度二进制图像,具体包括：

根据下式将亮度值图像B(x,y)转换为亮度离群图像difB(x,y)；

其中，(x,y)为像素坐标，b_avg所述彩色平均值，b_std为彩色标准样本差；

根据预设的亮度转换阈值将亮度离群图像转换为所述亮度二进制图像。

S233：根据第一色彩值图像计算第一彩色平均值c1_avg和第一彩色标准样本差c1_std，根据第二色彩值图像计算第二彩色平均值c2_avg和第二彩色标准样本差c2_std，定义第一彩色平均值c1_avg、第一彩色标准样本差c1_std、第二彩色平均值c2_avg和第二彩色标准样本差c2_std落入预设的彩色异常范围内的区域为所述道面污染区域；

S234：将第一色彩值图像和第二彩色值图像转换为彩色二进制图像,具体包括：

根据下式将第一色彩值图像C1(x,y)和第二彩色值图像C2(x,y)转换为彩色离群图像difC(x,y)；

其中，c1_avg为所述第一彩色平均值，c1_std为第一彩色标准样本差；c2_avg为所述第二彩色平均值，c2_std为第二彩色标准样本差；

根据预设的彩色转换阈值将彩色离群图像转换为所述彩色二进制图像

S235：将所述亮度二进制图像和彩色二进制图像中每个像素进行逻辑或计算，定义计算结果中像素值为1的区域为所述道面污染区域。

由此可见，该可见光谱下的道面检测方法能够通过道面异物及破损与道面固有结构的成像色彩、亮度及纹理差异，有效进行检测。

本发明实施例所提供的方法，为简要描述，实施例部分未提及之处，可参考前述方法实施例中相应内容。

实施例三：

实施例三在上述实施例的基础上，限定了红外光谱下的道面检测方法。

所述对所述灰度图像进行检测，获得道面污染区域和道面异物区域具体包括：

S31：根据预设的衰减模型，对灰度图像I(x,y)进行矫正，得到矫正图像I^/(x,y)；

具体地，该方法的衰减模型为按照激光照射强度从近到远的衰减模型，用于对照射光强不均进行矫正。I^/(x,y)＝I(x,y)/sin(α)，α为像素对应地面成像点和激光光源连线与地平面的夹角。

S32：对所述矫正图像进行分析，获得道面污染区域和道面异物区域，具体包括：

S321：定义矫正图像中灰度值低于预设的最小灰度值的区域为所述道面污染区域；

S322：根据下式计算道面污染区域的位置校正参数delta；

delta＝htan(α)；

其中，h为道面污染区域内的像素在x坐标方向上的最大差值；α为像素对应地面成像点和激光光源连线与地平面的夹角；

S323：根据道面污染区域和位置校正参数，计算道面异物区域，其中道面异物区域中像素的x坐标分布与道面污染区域中像素的x坐标分布相同，道面异物区域中像素的y坐标的上限为道面污染区域中像素的y坐标的下限，道面异物区域中像素的y坐标的下限为道面污染区域中像素的y坐标的上限减去位置校正参数delta。

由此可见，该红外光谱下的道面检测方法够通过道面异物及破损造成的起伏与平坦道面的形状差异，有效进行检测。

本发明实施例所提供的方法，为简要描述，实施例部分未提及之处，可参考前述方法实施例中相应内容。

实施例四：

实施例四在上述实施例的基础上，限定了分类识别网络的训练方法和识别方法。

所述分类识别网络用于当识别出道面存在不属于道面固有结构及破损的目标时，定义该目标为道面异物；

其中，所述分类识别网络的训练方法包括：

A：建立包含正常道面样本、道面破损样本和道面异物样本的训练样本库；

B：根据正常道面样本、道面破损样本对分类识别网络进行初始化；

C：将正常道面样本和道面异物样本输入分类识别网络，记录分类识别网络输出的特征向量，按照支持向量机方法计算分类参数；

D：用得到的分类参数替换分类识别网络的分类决策层参数，根据正常道面样本和道面破损样本继续输入分类识别网络，重复执行步骤C，完成分类识别网络的训练，直至正常道面样本、道面破损样本和道面异物样本均有较好的识别准确度。

其中，所述分类识别网络具体用于：

获取目标的道面固有结构及破损的相似度得分；

判断得到的相似度得分是否低于预设的道面固有结构及破损阈值，如果是，定义该目标为道面异物；如果不是，定义该目标为相似度得分最高对应的类别。

由此可见，该分类识别网络识别方法能够通过识别道面异物，通过排除法识别道面异物，解决道面异物可能是任何物体，缺乏共性、难以穷举的问题。

本发明实施例所提供的方法，为简要描述，实施例部分未提及之处，可参考前述方法实施例中相应内容。

实施例五：

一种基于激光光源的移动式道面检测系统，包括移动平台，参见图2，所述移动平台上设有计算控制单元，以及与计算控制单元电连接的多个检测单元；

检测单元上设有多光谱相机和激光光源，其中多光谱相机的安装高度大于激光光源的安装高度，且多光谱相机和激光光源均朝前下方俯视安装；多光谱相机的视野覆盖范围与激光光源的照射范围相同；

所述计算控制单元用于执行上述的移动式道面检测方法。

具体地，移动平台包括移动机器人、移动车辆等等移动设备。移动平台上可以搭载的多个检测单元、一个无线通信单元、一个定位单元和一个计算控制单元。一个检测单元包含一个多光谱相机(例如双光谱相机)和一个激光光源。检测单元、无线通信单元、定位单元均链接至计算控制单元，计算控制单元控制移动平台移动。

多光谱相机和激光光源安装时，多光谱相机可以安装在较高的高度(例如1.5米以上)，朝前下方俯视。激光光源可以安装在较低的高度(例如0.2米以下)，朝前下方照射。这样多光谱相机视野覆盖的道面区域为该检测单元的覆盖范围，激光光源照射范围完全覆盖多光谱相机视野覆盖的道面区域。

该系统利用具有多种覆盖范围的检测单元，使移动平台具备前方中央到前方两侧的带状覆盖能力。如果需要调整检测单元的覆盖范围，使得覆盖范围更远，可以使用更长的焦距、更小的俯视角度和更高的安装位置，或者是调整激光光源的光束宽度或发散角度，以及照射角度，实现多光谱相机视野的全覆盖照射。

优选地，所述移动式道面检测系统设有高速检测模式和仔细检测模式；

所述计算控制单元还用于在移动式道面检测系统启动时，设置其模式为高速检测模式，当识别出所述道面污染区域或道面异物区域时，设置其模式为仔细检测模式。

具体地，该系统具有高速检测模式和仔细检测模式。

该系统首先启动高速检测模式，该系统通过无线通信单元向计算控制单元发送开始运行信号。移动平台进入巡检模式，按照设定的行驶轨迹和速度行驶。同时，检测单元将采集到的图像信号不断传送到计算控制单元，由计算控制单元进行道面异物和道面破损检测。计算控制单元采集定位单元的定位信号，并将定位信号和图像通过无线通信单元实时传送到后台。

该系统在高速检测模式下，如果检测到道面异物或道面破损后，立刻退出高速检测模式，进入仔细检测模式，按照定位信号接近目标，再经过仔细检测确认后，将检测目标的图像和定位信息传送到后台。如果移动平台具有清理功能，可以启动清理功能进行道面清理，道面清理后，恢复高速检测模式。

本发明实施例所提供的系统，为简要描述，实施例部分未提及之处，可参考前述方法实施例中相应内容。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种基于激光光源的移动式道面检测方法，其特征在于，包括以下步骤：

采用激光光源照射道面，获取多光谱相机拍摄该道面获得的可见光谱下的彩色图像和红外光谱下的灰度图像；

对所述彩色图像进行检测，获得道面污染区域；

对所述灰度图像进行检测，获得道面污染区域和道面异物区域；

分别从彩色图像提取出所述道面污染区域对应的子区域，从灰度图像提取出所述道面异物区域对应的子区域，组成4通道图像；

将所述4通道图像输入至预设的分类识别网络；获取分类识别网络输出的识别结果。

2.根据权利要求1所述基于激光光源的移动式道面检测方法，其特征在于，所述对所述彩色图像进行检测，获得道面污染区域具体包括：

将彩色图像从“红+绿+蓝”三通道模式转换到“一维亮度+二维色彩”三通道模式；提取一维亮度通道信号生成亮度值图像；

提取二维彩色通道信号生成第一色彩值图像和第二色彩值图像；

对所述亮度值图像、第一色彩值图像和第二色彩值图像进行分析，获得道面污染区域。

3.根据权利要求2所述基于激光光源的移动式道面检测方法，其特征在于，所述对所述亮度值图像、第一色彩值图像和第二色彩值图像进行分析，获得道面污染区域具体包括：

根据亮度值图像中所有像素的亮度值计算亮度平均值和亮度标准样本差，定义亮度平均值和亮度标准样本差落入预设的亮度异常范围内的区域为所述道面污染区域；

将亮度值图像转换为亮度二进制图像；

根据第一色彩值图像计算第一彩色平均值和第一彩色标准样本差，根据第二色彩值图像计算第二彩色平均值和第二彩色标准样本差，定义第一彩色平均值、第一彩色标准样本差、第二彩色平均值和第二彩色标准样本差落入预设的彩色异常范围内的区域为所述道面污染区域；

将第一色彩值图像和第二彩色值图像转换为彩色二进制图像；

将所述亮度二进制图像和彩色二进制图像中每个像素进行逻辑或计算，定义计算结果中像素值为1的区域为所述道面污染区域。

4.根据权利要求3所述基于激光光源的移动式道面检测方法，其特征在于，所述将亮度值图像转换为亮度二进制图像具体包括：

根据下式将亮度值图像B(x,y)转换为亮度离群图像difB(x,y)；

其中，b_avg为所述亮度平均值，b_std为亮度标准样本差；

根据预设的亮度转换阈值将亮度离群图像转换为所述亮度二进制图像。

5.根据权利要求3所述基于激光光源的移动式道面检测方法，其特征在于，所述将第一色彩值图像和第二彩色值图像转换为彩色二进制图像具体包括：

根据下式将第一色彩值图像C1(x,y)和第二彩色值图像C2(x,y)转换为彩色离群图像difC(x,y)；

其中，c1_avg为所述第一彩色平均值，c1_std为第一彩色标准样本差；c2_avg为所述第二彩色平均值，c2_std为第二彩色标准样本差；

根据预设的彩色转换阈值将彩色离群图像转换为所述彩色二进制图像。

6.根据权利要求1所述基于激光光源的移动式道面检测方法，其特征在于，所述对所述灰度图像进行检测，获得道面污染区域和道面异物区域具体包括：

根据预设的衰减模型，对灰度图像进行矫正，得到矫正图像；所述衰减模型为I^/(x,y)＝I(x,y)/sin(α)，其中α为像素对应地面成像点和激光光源连线与地平面的夹角，I(x,y)为灰度图像，I^/(x,y)为矫正图像；

对所述矫正图像进行分析，获得道面污染区域和道面异物区域。

7.根据权利要求6所述基于激光光源的移动式道面检测方法，其特征在于，所述对所述矫正图像进行分析，获得道面污染区域和道面异物区域具体包括：

定义矫正图像中灰度值低于预设的最小灰度值的区域为所述道面污染区域；

根据下式计算道面污染区域的位置校正参数delta；

delta＝h tan(α)；

其中，h为道面污染区域内的像素在x坐标方向上的最大差值；α为像素对应地面成像点和激光光源连线与地平面的夹角；

根据道面污染区域和位置校正参数，计算道面异物区域，其中道面异物区域中像素的x坐标分布与道面污染区域中像素的x坐标分布相同，道面异物区域中像素的y坐标的上限为道面污染区域中像素的y坐标的下限，道面异物区域中像素的y坐标的下限为道面污染区域中像素的y坐标的上限减去位置校正参数delta。

8.根据权利要求1所述基于激光光源的移动式道面检测方法，其特征在于

所述分类识别网络用于当识别出道面存在不属于道面固有结构及破损的目标时，定义该目标为道面异物；

所述分类识别网络的训练方法包括：

A：建立包含正常道面样本、道面破损样本和道面异物样本的训练样本库；

B：根据正常道面样本、道面破损样本对分类识别网络进行初始化；

C：将正常道面样本和道面异物样本输入分类识别网络，记录分类识别网络输出的特征向量，按照支持向量机方法计算分类参数；

D：用得到的分类参数替换分类识别网络的分类决策层参数，根据正常道面样本和道面破损样本继续输入分类识别网络，重复执行步骤C，完成分类识别网络的训练。

9.根据权利要求8所述基于激光光源的移动式道面检测方法，其特征在于，

所述分类识别网络具体用于：

获取目标的道面固有结构及破损的相似度得分；

判断得到的相似度得分是否低于预设的道面固有结构及破损阈值，如果是，定义该目标为道面异物；如果不是，定义该目标为相似度得分最高对应的类别。

10.一种基于激光光源的移动式道面检测系统，其特征在于，包括移动平台，所述移动平台上设有计算控制单元，以及与计算控制单元电连接的多个检测单元；

检测单元上设有多光谱相机和激光光源，其中多光谱相机的安装高度大于激光光源的安装高度，且多光谱相机和激光光源均朝前下方俯视安装；多光谱相机的视野覆盖范围与激光光源的照射范围相同；

所述计算控制单元用于执行权利要求1～9中任一权利要求所述的移动式道面检测方法。

Images