CN108197523B - 基于图像转换及轮廓邻域差异的夜间车辆检测方法及系统 - Google Patents

Abstract

本发明提供一种基于图像转换及轮廓邻域差异的夜间车辆检测方法及系统，其通过对相机采集的图像数据进行预处理得到包含车灯的亮度块；根据车灯高度、面积和车灯间距筛选掉部分非车灯区域；并将透视图转换鸟瞰图，检测鸟瞰图中的高亮区域并将该高亮区域自透视图中删除；根据轮廓点平均灰度值与轮廓平均灰度值之间差异剔除反光源的亮度块；最后根据车灯高度以及车灯间距来匹配同一车辆的车灯。本发明基于普通白光工业相机特性提出一种低成本解决方案，并利用车辆车灯在夜间中的亮度特征，对称性对图像数据进行删选，通过车灯灯光与地面反射灯光速度方向的不同、光源轮廓与反射光轮廓邻域内亮度变化信息不同进行进一步约束，达到车辆检测的目的。

Description

基于图像转换及轮廓邻域差异的夜间车辆检测方法及系统

技术领域

本发明涉及自动驾驶行业的交通信息检测领域，具体涉及一种基于图像转换及轮廓邻域差异的夜间车辆检测方法及系统。

背景技术

车辆检测在视觉应用中比较普遍，尤其是在安防、道路摄像分析较多。在上述场景中普遍相机位姿都处在固定状态，而在车载行业，相机都随车辆一起运动，位姿都在不断变化，更加增加了项目复杂性。常见ADAS产品中的目标检测，如PD(Pedestrian Detection)、VD(Vehicle Detection)都在白天场景的应用较多，基于人物、车辆的特征如行人轮廓梯度特征、车辆车底阴影，车牌、颜色，基于地面估计计算Stixel来计算行人车辆等，目标特征比较丰富，而在夜间场景，环境光照不是很理想，在城市道路中，对车辆检测能利用的特征信息非常少，同时来车、周围环境光的影响都给车辆检测与识别造成了不小的干扰，怎么将车辆从车流中进行区分也是不小的难点。不少解决方案使用红外夜视仪等特殊设备进行行人热量检测，但是该方案成本(仅传感器)在4～6万左右，易受环境影响，不适合量产需求。

发明内容

针对现阶段技术的不足，本发明的目的是提供一种能够精确识别夜间行程车辆的低成本车辆检测方法及系统。

一种基于图像转换及轮廓邻域差异的夜间车辆检测方法，所述基于图像转换及轮廓邻域差异的夜间车辆检测方法包括以下步骤：

S1、采集前向相机的图像数据，对采集到的图像数据进行图像预处理得到精分区域中包含车灯的亮度块；

S2、利用车灯所在光源高度、以及单个亮度块区域面积和同一辆车车灯之间经验值筛选掉精分区域亮度块中大部分的非车灯区域；

S3、将透视图转换到逆透视变换的鸟瞰图，检测鸟瞰图中的高亮区域，并将该高亮区域自透视图中删除；

S4、在透视图上的亮度块中提取最大外接多边形轮廓，依此再向外构建一个新的多边形轮廓，根据两个轮廓上点的平均灰度值之间差异剔除路面反光源的亮度块；

S5、基于车灯所在光源高度以及车灯之间的距离来匹配同一车辆的车灯。

一种基于图像转换及轮廓邻域差异的夜间车辆检测系统，所述基于图像转换及轮廓邻域差异的夜间车辆检测系统包括以下功能模块：

阈值检测模块、用于采集前向相机的图像数据，对采集到的图像数据进行图像预处理得到精分区域中包含车灯的亮度块；

阈值筛选模块、用于利用车灯所在光源高度、以及单个亮度块区域面积和同一辆车车灯之间经验值筛选掉亮度块中大部分的非车灯区域；

图像转换筛选模块、用于将透视图转换到逆透视变换的鸟瞰图，检测鸟瞰图中的高亮区域，并将该高亮区域自透视图中删除；

差异判断模块、用于在透视图上的亮度块中提取最大外接多边形轮廓，依此再向外构建一个新的多边形轮廓，根据两个轮廓上点的平均灰度值之间差异剔除路面反光源的亮度块；

阈值匹配模块、用于基于车灯所在光源高度以及车灯之间的距离来匹配同一车辆的车灯。

本发明提供一种基于图像转换及轮廓邻域差异的夜间车辆检测方法及系统，其基于普通白光工业相机在夜间主要环境光照对成像有巨大影响的特性，提出一种基于普通CMOS相机通过控制曝光的低成本解决方案，通过利用车辆车灯在夜间中的亮度特征，对称性，在道路出现位置固定这三点对相机采集的图像数据进行删选，通过车灯灯光与地面反射灯光速度方向的不同、光源与地面反射光大气折射率不同、光源轮廓与反射光轮廓邻域内亮度变化信息不同进行进一步约束，并通过距离与水平约束达到同一车辆车灯的匹配，从而达到车辆检测的目的。

附图说明

图1是本发明实施例中所述基于图像转换及轮廓邻域差异的夜间车辆检测方法的流程框图；

图2是图1中步骤S1的流程框图；

图3是图1中步骤S2的流程框图；

图4是图1中步骤S3的流程框图；

图5是图1中步骤S4的流程框图；

图6是本发明实施例所述基于图像转换及轮廓邻域差异的夜间车辆检测方法的步骤流程图；

图7是本发明实施例所述基于图像转换及轮廓邻域差异的夜间车辆检测系统的模块框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1和图6所示，本发明提供一种基于图像转换及轮廓邻域差异的夜间车辆检测方法，所述基于图像转换及轮廓邻域差异的夜间车辆检测方法包括以下步骤：

S1、采集前向相机的图像数据，对采集到的图像数据进行图像预处理得到精分区域中包含车灯的亮度块。

由于相机和镜头型号确定好之后会存在对一定范围外的目标成像太小，无法进行精确区分，因此，对该范围外的图像不进行精确识别，故如图2所示，所述步骤S1包括以下分步骤：

S11、采集前向相机的图像数据，根据所选相机和镜头确定能检测的最大距离、稳定检测距离的经验阈值对图像数据的ROI区域进行精分区域和粗分区域的划分；

S12、对粗分区域的图像仅进行灰度值阈值操作，检测出粗分区域中的亮度块；

S13、对精分区域的图像进行灰度转化，利用大气反射模型去除精分区域中的部分车灯光源与地面反射光，并基于灰度值阈值操作得到精分区域中包含车灯的亮度块。

为方便说明，本实施例以8mm定焦镜头结合CMOS RGB相机为例进行说明，所述前向CMOS相机紧贴车辆前挡风玻璃水平放置，经过试验得知该镜头与相机能在30m范围内成像的目标像素大小比较符合常见算法检测需求，30m以外的目标由于成像太小，在车辆检测时往往只有一团白光块，无法精确区分车辆，故而相机安装好后，在图像中标记处30m的直线并记录处在图像中位置，通过标记的直线对采集的图像进行划分，将30m以内的区域划分为精分区域，将30m以外的区域划分为粗分区域，对粗分区域的图像仅进行灰度值阈值操作，检测出粗分区域中的亮度块，不作精准分割，对精分区域的图像作精准检测，通过检测车辆之间大灯匹配，从而解决路面反光对车灯匹配的影响。

S2、利用车灯所在光源高度、以及单个亮度块区域面积和同一辆车车灯之间经验值筛选掉亮度块中大部分的非车灯区域。

由于车灯所在光源高度、单个亮度块区域面积、同一车辆中左右车灯之间的间距，这几个数值均为预先设置好的阈值参数，通过这几个阈值参数对比亮度块所在高度、单个亮度块区域面积以及同一高度且相邻的亮度块之间的间距，从而对图像中的亮度块进行进一步筛选，具体如图3所示，步骤S2包括以下分步骤：

S21、根据车灯所在光源高度，删除精分区域和粗分区域中高度不符合光源高度的亮度块；

S22、根据车灯的面积大小，删除精分区域和粗分区域中单个亮度块区域面积与车灯面积相差超过阈值差值的亮度块。

S23、根据同一辆车车灯之间的间距，对精分区域中同一高度且相邻的亮度块进行匹配。

由于地面反光所形成的的亮光块主要在垂直方向上，而车灯的亮光块主要在水平方向，因此在鸟瞰图中，水平方向的车灯是不可见的，故检测出来的亮光块均为地面反射光，通过逆透视变换能将这种运动特性区分出来从而达到筛除路面反射光的目的，如步骤S3所述：

S3、将透视图转换到逆透视变换的鸟瞰图，检测鸟瞰图中的高亮区域，并将该高亮区域自透视图中删除。

具体的，如图4所示，所述步骤S3包括如下分步骤：

S31、根据世界坐标系转换到图像像素坐标系之间的单应矩阵，将透视图转换到逆透视变换的鸟瞰图；

其中，所述世界坐标系转换到图像像素坐标系之间的单应矩阵的求解方法如下：

在平坦地面上选取一个矩形，标记矩形的四个顶点，在图像ROI区域中找到对应的四个顶点像素坐标，利用OpenCV中的getPerspectiveTransform函数求解得到世界坐标系转换到图像像素坐标系之间的单应矩阵H。

S32、对鸟瞰图进行图像灰度阈值处理，检测鸟瞰图中的高亮区域；

S33、提取图像高亮度区域轮廓并记录该轮廓相对于图像左上角原点的相对关系；

S34、将鸟瞰图转换到为透视图，并根据相对关系将图像高亮度区域对应的区域删除。

由于图像左上角原点不管在透视图还是鸟瞰图中，其位置始终保持不变，因此以图像左上角原点作为参考对象，确定鸟瞰图中的高亮区域在透视图中的位置，从而将地面反射光的亮度块进行删除，剔除路面反光对车灯匹配的影响。

根据车灯作为光源它轮廓邻域的信息是陡然下降，而车灯轮廓邻域灰度值变化较为缓慢的区别特性，通过利用车灯轮廓与周围邻域周围亮度值的对比，从而能够区分反射光与车灯光源之间的差别，具体操作如步骤S4所述：

S4、在透视图上的亮度块中提取最大外接多边形轮廓，依此再向外构建一个新的多边形轮廓，根据两个轮廓上点的平均灰度值之间差异剔除路面反光源的亮度块。

其中，如图5所示，步骤S4包括以下分步骤：

S41、在透视图上的亮光块中提取外接最大多边形轮廓；

S42、向外迭代最大多边形轮廓的最邻近匹配点建立新的外围轮廓；

S43、计算新的外围轮廓的轮廓平均灰度值与原来轮廓平均灰度值之间差异，如果差异大，证明亮度下降较快，为光源点，反之，则为路面反光进行剔除。

通过上述步骤，基本将路面反射光的亮度块全部剔除，剩下的亮度块基本属于车灯自身的亮度块，因此通过车灯所在光源高度以及车灯之间的距离等数值能够匹配得到同一车辆两车灯的亮度块，进而确定夜间车辆的位置。具体如步骤S5所述：

S5、基于车灯所在光源高度以及车灯之间的距离来匹配同一车辆的车灯。

具体的，根据车灯所在光源高度，删除精分区域和粗分区域中高度不符合光源高度的亮度块；并根据同一辆车车灯之间的间距，对同一高度且相邻的亮度块进行同一车辆的车灯匹配，从而识别夜间车辆的位置。

为更进一步说明本发明所述基于图像转换及轮廓邻域差异的夜间车辆检测方法，下面结合图6所示的步骤流程图进行进一步说明。

步骤1：采集相机t时刻的图像数据，进入步骤2；

步骤2：根据距离经验阈值将图像数据进行精分区域和粗分区域的划分；对粗分区域进行步骤3；对精分区域进行步骤5；

步骤3：对粗分区域仅进行灰度值阈值操作，进入步骤4；

步骤4：根据车灯所在光源高度、以及单个亮度块区域面积筛选掉亮度块中大部分的非车灯区域，直接进入步骤17；

步骤5：对精分区域进行图像预处理，识别亮度块，进入步骤6；

步骤6：根据车灯所在光源高度、以及单个亮度块区域面积和同一辆车车灯之间经验值筛选掉亮度块中大部分的非车灯区域，进入步骤7；

步骤7：将透视图转换到逆透视变换的鸟瞰图，进入步骤8；

步骤8：对鸟瞰图进行图像灰度阈值处理，检测鸟瞰图中是否存在高亮区域；如果存在高亮度区域，则进行步骤9；如果不存在高亮度区域，则进行步骤11；

步骤9：提取图像高亮度区域轮廓并记录该轮廓相对于图像左上角原点的相对关系，进入步骤10；

步骤10：将鸟瞰图转换到为透视图，并根据相对关系将图像高亮度区域对应的区域删除，进入步骤11；

步骤11：在透视图上的亮光块中提取外接最大多边形轮廓，进入步骤12；

步骤12：向外迭代最大多边形轮廓的最邻近匹配点，向外构建邻域轮廓，进入步骤13；

步骤13：比较外接最大多边形轮廓和构建的邻域轮廓之间平均灰度值，如果差异大，则为反光源，进入步骤14；反之则为光源点，进入步骤15；

步骤14：保留该区域，进入步骤16；

步骤15：剔除该区域，进入步骤16；

步骤16：基于车灯所在光源高度以及车灯之间的距离来匹配同一车辆的车灯，进入步骤17；

步骤17：输出结果。

同时，本发明还提供一种基于图像转换及轮廓邻域差异的夜间车辆检测系统，如图7所示，所述基于图像转换及轮廓邻域差异的夜间车辆检测系统包括以下功能模块：

阈值检测模块、用于采集前向相机的图像数据，对采集到的图像数据进行图像预处理得到精分区域中包含车灯的亮度块；

阈值筛选模块、用于利用车灯所在光源高度、以及单个亮度块区域面积和同一辆车车灯之间经验值筛选掉亮度块中大部分的非车灯区域；

图像转换筛选模块、用于将透视图转换到逆透视变换的鸟瞰图，检测鸟瞰图中的高亮区域，并将该高亮区域自透视图中删除；

差异判断模块、用于在透视图上的亮度块中提取最大外接多边形轮廓，依此再向外构建一个新的多边形轮廓，根据两个轮廓上点的平均灰度值之间差异剔除路面反光源的亮度块；

阈值匹配模块、用于基于车灯所在光源高度以及车灯之间的距离来匹配同一车辆的车灯。

其中，所述阈值检测模块包括以下功能单元：

区域划分单元、用于采集前向相机的图像数据，并根据所选相机和镜头确定能检测的最大距离、稳定检测距离的经验阈值对图像数据的ROI区域进行精分区域和粗分区域的划分；

粗分识别单元、用于对粗分区域的图像仅进行灰度值阈值操作，检测出粗分区域中的亮度块；

精分预处理单元、用于对精分区域的图像进行灰度转化，利用大气反射模型去除精分区域中的部分车灯光源与地面反射光，并基于灰度值阈值操作得到精分区域中包含车灯的亮度块。

其中，所述阈值筛选模块包括以下功能单元：

高度筛选单元、用于根据车灯所在光源高度，删除精分区域和粗分区域中高度不符合光源高度的亮度块；

面积筛选单元、用于根据车灯的面积大小，删除精分区域和粗分区域中单个亮度块区域面积与车灯面积相差超过阈值差值的亮度块。

间距匹配单元、用于根据同一辆车车灯之间的间距，对精分区域中同一高度且相邻的亮度块进行匹配。

其中，所述图像转换筛选模块包括以下功能单元：

视图转换单元、根据世界坐标系转换到图像像素坐标系之间的单应矩阵，将透视图转换到逆透视变换的鸟瞰图；

灰度检测单元、对鸟瞰图进行图像灰度阈值处理，检测鸟瞰图中的高亮区域；

参考提取单元、提取图像高亮度区域轮廓并记录该轮廓相对于图像左上角原点的相对关系；

反射光斑剔除单元、将鸟瞰图转换到为透视图，并根据相对关系将图像高亮度区域对应的区域删除。

其中，所述差异判断模块包括以下功能单元：

轮廓提取单元、在透视图上的亮光块中提取外接最大多边形轮廓；

迭代处理单元、向外迭代最大多边形轮廓的最邻近匹配点建立新的外围轮廓；

差异比较单元、计算新的外围轮廓的轮廓平均灰度值与原来轮廓平均灰度值之间差异，如果差异大，证明亮度下降较快，为光源点，反之，则为路面反光进行剔除。

本发明提供一种基于图像转换及轮廓邻域差异的夜间车辆检测方法及系统，其基于普通白光工业相机在夜间主要环境光照对成像有巨大影响的特性，提出一种基于普通CMOS相机通过控制曝光的低成本解决方案，通过利用不同距离，将图像的ROI区域分成粗分区域及精分区域实现分距离曝光控制、地面反射灯光抑制，消除地面反光对车灯的影响，同时利用车辆车灯在夜间中的亮度特征，对称性，在道路出现位置固定这三点对相机采集的图像数据进行删选，通过车灯灯光与地面反射灯光速度方向的不同、光源与地面反射光大气折射率不同、光源轮廓与反射光轮廓邻域内亮度变化信息不同进行进一步约束，最后通过距离与水平约束达到同一车辆车灯的匹配，从而达到车辆检测的目的。

以上装置实施例与方法实施例是一一对应的，装置实施例简略之处，参见方法实施例即可。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能性一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应超过本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机储存器、内存、只读存储器、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其他形式的存储介质中。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (8)

1.一种基于图像转换及轮廓邻域差异的夜间车辆检测方法，其特征在于，所述基于图像转换及轮廓邻域差异的夜间车辆检测方法包括以下步骤：

S1、采集前向相机的图像数据，对采集到的图像数据进行图像预处理得到精准分割区域中包含车灯的亮度块；

S2、利用车灯所在光源高度、以及单个亮度块区域面积和同一辆车车灯之间经验值筛选掉精准分割区域亮度块中大部分的非车灯区域；

S3、将透视图转换到逆透视变换的鸟瞰图，检测鸟瞰图中的高亮区域，并将该高亮区域自透视图中删除；

S4、在删除高亮区域后的透视图上的亮度块中提取最大外接多边形轮廓，依此再向外构建一个新的多边形轮廓，根据两个轮廓上点的平均灰度值之间差异剔除路面反光源的亮度块；

S5、基于车灯所在光源高度以及车灯之间的距离来匹配同一车辆的车灯。

2.根据权利要求1所述基于图像转换及轮廓邻域差异的夜间车辆检测方法，其特征在于，所述步骤S1包括以下分步骤：

S11、采集前向相机的图像数据，根据所选相机和镜头确定能检测的最大距离、稳定检测距离的经验阈值对图像数据的ROI区域进行精准分割区域和粗分区域的划分；

S12、对粗分区域的图像仅进行灰度值阈值操作，检测出粗分区域中的亮度块；

S13、对精准分割区域的图像进行灰度转化，利用大气反射模型去除精准分割区域中的部分车灯光源与地面反射光，并基于灰度值阈值操作得到精准分割区域中包含车灯的亮度块。

3.根据权利要求1所述基于图像转换及轮廓邻域差异的夜间车辆检测方法，其特征在于，所述步骤S2包括以下分步骤：

S21、根据车灯所在光源高度，删除精准分割区域和粗分区域中高度不符合光源高度的亮度块；

S22、根据车灯的面积大小，删除精准分割区域和粗分区域中单个亮度块区域面积与车灯面积相差超过阈值差值的亮度块；

S23、根据同一辆车车灯之间的间距，对精准分割区域中同一高度且相邻的亮度块进行匹配。

4.根据权利要求1所述基于图像转换及轮廓邻域差异的夜间车辆检测方法，其特征在于，所述步骤S3包括以下分步骤：

S31、根据世界坐标系转换到图像像素坐标系之间的单应矩阵，将透视图转换到逆透视变换的鸟瞰图；

S32、对鸟瞰图进行图像灰度阈值处理，检测鸟瞰图中的高亮区域；

S33、提取图像高亮度区域轮廓并记录该轮廓相对于图像左上角原点的相对关系；

S34、将鸟瞰图转换到为透视图，并根据相对关系将图像高亮度区域对应的区域删除。

5.根据权利要求4所述基于图像转换及轮廓邻域差异的夜间车辆检测方法，其特征在于，所述世界坐标系转换到图像像素坐标系之间的单应矩阵的求解方法如下：

在平坦地面上选取一个矩形，标记矩形的四个顶点，在图像ROI区域中找到对应的四个顶点像素坐标，利用OpenCV中的getPerspectiveTransform函数求解得到世界坐标系转换到图像像素坐标系之间的单应矩阵H。

6.根据权利要求1所述基于图像转换及轮廓邻域差异的夜间车辆检测方法，其特征在于，所述步骤S4包括以下分步骤：

S41、在透视图上的亮光块中提取外接最大多边形轮廓；

S42、向外迭代最大多边形轮廓的最邻近匹配点建立新的外围轮廓；

S43、计算新的外围轮廓的轮廓平均灰度值与原来轮廓平均灰度值之间差异，如果差异大，证明亮度下降较快，为光源点，反之，则为路面反光进行剔除。

7.根据权利要求1所述基于图像转换及轮廓邻域差异的夜间车辆检测方法，其特征在于，所述前向相机紧贴车辆前挡风玻璃水平放置的CMOS相机。

8.一种基于图像转换及轮廓邻域差异的夜间车辆检测系统，其特征在于，所述基于图像转换及轮廓邻域差异的夜间车辆检测系统包括以下功能模块：

阈值检测模块、用于采集前向相机的图像数据，对采集到的图像数据进行图像预处理得到精准分割区域中包含车灯的亮度块；

阈值筛选模块、用于利用车灯所在光源高度、以及单个亮度块区域面积和同一辆车车灯之间经验值筛选掉亮度块中大部分的非车灯区域；

图像转换筛选模块、用于将透视图转换到逆透视变换的鸟瞰图，检测鸟瞰图中的高亮区域，并将该高亮区域自透视图中删除；

差异判断模块、用于在删除高亮区域后的透视图上的亮度块中提取最大外接多边形轮廓，依此再向外构建一个新的多边形轮廓，根据两个轮廓上点的平均灰度值之间差异剔除路面反光源的亮度块；

阈值匹配模块、用于基于车灯所在光源高度以及车灯之间的距离来匹配同一车辆的车灯。

Images