CN112037159A - 一种跨相机道路空间融合及车辆目标检测跟踪方法及系统 - Google Patents

Abstract

本发明公开了一种跨相机道路空间融合及车辆目标检测跟踪方法及系统，该方法进行两个交通场景的背景图像提取及场景标定，获得标定参数；分别划分场景拼接区域，设置长度、宽度方向像素距离比参数组，生成空白空间融合图像；将分场景中像素取出放入空白空间融合图像中，获得带有空间信息的融合图像；利用针对车辆数据集训练的深度神经网络Yolov3，在连续的图像序列中，对车辆目标进行检测获得二维包络模型参数，结合空间融合信息，完成跨相机车辆目标检测跟踪。本发明可适应包含公共区域的连续道路交通场景，利用摄像机标定完成跨相机道路空间融合，并结合深度神经网络提取场景中大量车辆目标完成跨相机车辆目标检测跟踪，实现简单且具有较高的通用性。

Description

一种跨相机道路空间融合及车辆目标检测跟踪方法及系统

技术领域

本发明属于智能交通技术领域，具体涉及一种跨相机道路空间融合及车辆目标检测跟踪方法及系统。

背景技术

跨相机道路空间融合目前在虚拟现实和计算机视觉等领域得到了广泛应用，常见融合方法主要有专业设备采集和图像处理。前者能够得到较好的融合效果，但是设备昂贵，操作复杂，不利于推广；后者通过相机采集多幅包含公共区域的图像，运用图像融合等技术完成空间融合，这种方法成本低，融合效果较好，具有较好的应用型，是目前空间融合的主要方法。

图像融合技术通常需要依赖图像灰度、频域和特征信息。灰度信息实现简单，但是计算量较大，算法效率较低；频域信息对于场景之间仅存在平移的情况适应性较好，如果场景之间有旋转，会大大降低算法的效率；特征信息需要通过对场景之间寻找特征点对获得，算法效率与精度与提取的特征点对数量和准确定有很大关系。

发明内容

针对现有技术中的缺陷和不足，本发明提供了一种跨相机道路空间融合及车辆目标检测跟踪方法及系统，克服现有摄像头传感器监控范围有限等缺陷。

为达到上述目的，本发明采取如下的技术方案：

一种跨相机道路空间融合及车辆目标检测跟踪方法，该方法使用相机标定技术对跨相机场景进行标定，利用跨相机场景中的公共区域完成道路空间融合，同时采用深度学习的方法对车辆目标进行检测，完成对跨相机车辆追踪；

具体包括如下步骤：

步骤1，输入场景1和场景2交通场景背景图像p₁和p₂，视频帧图像序列组s₁和s₂；

步骤2，构建坐标系和模型，完成相机标定：从步骤1得到的背景图像p₁和p₂中提取消失点，建立相机模型和坐标系，世界坐标系包含x，y，z轴，图像坐标系包含u，v轴、车辆目标在图像坐标系下的二维包络框模型，并结合消失点进行相机标定，得到相机标定参数H₁和H₂，H表示二维图像与三维真实世界空间的映射关系矩阵；

步骤3，设置控制点标识道路区域范围：在p₁和p₂中分别设定2个控制点标识道路区域范围，控制点位于道路中线位置，设场景1控制点世界坐标为

和

图像坐标为

和

设场景2控制点世界坐标为

和

图像坐标为

和

其中

为场景1和2对应控制点在世界坐标系中x轴上的值，Y₁ ¹，Y₂ ¹，Y₁ ²，Y₂ ²为场景1和2对应控制点在世界坐标系中y轴上的值；

为场景1和2对应控制点在图像坐标系中u轴上的值，

为场景1和2对应控制点在图像坐标系中v轴上的值；

步骤4，生成带空间信息的道路空间融合图像M_p：

步骤4.1，设置控制参数组，划定M_p中对应场景1和场景2部分像素范围；已知道路宽度为w(mm)，宽度方向像素距离比为r_w(像素/mm)，长度方向距离像素比为r_l(像素/mm)，生成的空间融合图像M_p的像素宽度为wr_w，像素长度为

场景1部分对应像素长度为

场景2部分对应像素长度为

步骤4.2，生成空间融合图像M_p：分别遍历空间融合图像M_p中场景1部分像素

和场景2部分像素

对应场景1世界坐标

中取对应像素值至空间融合图场景1部分，对应场景2世界坐标

中取对应像素值至空间融合图场景2部分，如果分场景图中有像素则取出，没有则跳过，直到像素全部取完，即完成道路空间融合图像M_p的生成；其中取像素的方括号内为先u轴后v轴坐标，世界坐标的方括号内为先x轴后y轴坐标；

步骤4.3，解析空间信息：

(1)由融合图M_p上任一像素坐标(u，v)解析其在统一世界坐标系、场景1世界坐标系、场景2世界坐标系的世界坐标：

统一世界坐标：(v/r_w，u/r_l+Y₁ ¹，0)

场景1世界坐标：

场景2世界坐标：

(2)由地面任意点世界坐标(X，Y，0)解析其在融合图M_p中图像坐标：

世界坐标在场景1中：

世界坐标在场景2中：

步骤5，跨相机目标检测：

使用道路车辆数据集训练的目标检测网络Yolov3，对步骤1的视频帧图像序列组s₁和s₂分别进行目标检测，获得目标检测结果在图像坐标下的二维包络框模型：

上式中，

为第t个场景的第i帧图像，S为场景数，F为每个场景下的视频帧数，x_tp，y_tp分别为二维包围框左上角点在图像坐标u，v轴的值，w为二维包围框在图像中的像素宽度，h为二维包围框在图像中的像素高度，由二维包络框模型可以计算出车辆下底边中点在分场景中的图像坐标(x_tp+w/2，y_tp+h)，先利用步骤2中的H矩阵将其转换为分场景中的世界坐标，再由步骤4转换至M_p中图像坐标，完成跨相机目标检测；

步骤6，跨相机目标跟踪：

在目标检测的基础上，对每个目标提取3个特征点进行跟踪，获得其图像坐标

其中，

为第i个特征点的图像坐标，x_f，y_f分别为特征点在图像坐标u，v轴的值；在跨相机的重叠区域中，通过特征点关联匹配确定同一车辆，完成跨相机目标跟踪。

一种跨相机道路空间融合及车辆目标检测跟踪系统，该系统包括：

数据输入模块，用于输入需要拼接的多个交通场景背景图像和与场景对应的包含车辆的视频帧图像序列组；

相机标定模块，用于建立相机模型和坐标系、车辆目标在图像坐标系下的二维包络框模型，进行相机标定，获取相机标定参数和最终的场景二维-三维变换矩阵；

控制点标识道路区域设置模块，用于在p₁和p₂中分别设定2个控制点标识道路区域范围，控制点位于道路中线位置，设场景1控制点世界坐标和图像坐标；设场景2控制点世界坐标和图像坐标；

道路空间融合模块：用于在相机标定的基础上，设置场景控制点参数组，生成带有道路空间信息的融合图像；

跨相机车辆目标检测跟踪模块，用于使用深度学习目标检测Yolov3对视频帧图像中的车辆目标进行检测，检测结果包括车辆目标在二维包络框模型下的二维坐标信息以及车辆目标的车辆类别；在车辆目标检测的基础上，对目标提取特征点完成跟踪；将单场景目标检测跟踪结果映射至道路空间融合图像，完成跨相机车辆目标检测跟踪；

结果输出模块，将生成带有空间信息的融合图像、车辆目标检测跟踪结果输出，得到跨相机车辆目标检测跟踪结果。

本发明与现有技术相比，有益的技术效果是：

本发明的方法实现简单，可以应用于包含公共区域的跨相机道路空间融合及车辆目标检测跟踪，保证道路监控环境下的通用性，满足智能交通监控系统中准确获取交通参数的需求。使用深度学习的方法对车辆目标进行检测的方法，因为其稳定性和精度都很高，具有较为广泛的应用。

附图说明

图1为本发明提供的跨相机道路空间融合及车辆目标检测跟踪的算法流程；

图2为本发明中摄像机模型的坐标系的示意图；其中，(a)为摄像机模型的世界坐标系的侧视图，(b)为摄像机模型的相机坐标系的俯视图；

图3为本发明中标定条件在坐标系下的表示示意图；其中，(a)为标定条件在世界坐标系下的表示示意图，(b)为标定条件在图像坐标系下的表示示意图；

图4为本发明实施例所采用的跨相机交通图像；

图5为本发明实施例中跨相机道路空间融合图像；

图6为本发明车辆目标二维包络框模型图；

图7为本发明实施例中跨相机车辆目标检测跟踪结果；

具体实施方式

以下对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

本发明使用相机标定技术对跨相机场景进行标定，利用跨相机场景中的公共区域完成道路空间融合，同时采用深度学习的方法对车辆目标进行检测，对跨相机车辆完成追踪；这些参数在道路环境中很容易获取，这充分保证了此方法在此场景下的通用性。

实施例1：

如图1至图7所示，本发明公开了一种跨相机道路空间融合及车辆目标检测跟踪方法及系统，详细步骤如下：

步骤1，输入场景1和场景2交通场景背景图像p₁和p₂，视频帧图像序列组s₁和s₂；其中，背景图像是指图像上不包含车辆目标的图像，视频帧图像是指相机采集的原始视频中提取出来的图像；

步骤2，构建坐标系、模型，完成摄像机标定。从步骤1得到的背景图像p₁和p₂中提取消失点，建立摄像机模型和坐标系(世界坐标系、图像坐标系)、车辆目标在图像坐标系下的二维包络框模型，并结合消失点进行相机标定，得到相机标定参数H₁和H₂；

参考论文《A Taxonomy and Analysis of Camera Calibration Methods forTraffic Monitoring Applications》的方法，如图2所示，建立摄像机模型、世界坐标系O-XYZ、相机坐标系O-X_CY_CZ_C、图像坐标系O-UV，摄像机模型简化为针孔模型，所建坐标系均为右手系，世界坐标系包含x，y，z轴，原点位于相机在路面的投影点，z轴垂直于地面方向向上，图2的(a)侧视图中可以看出，x轴指向纸内，用

表示，y轴垂直于xoz平面，图2的(b)俯视图中可以看出，z轴指向纸外，用⊙表示；相机坐标系包含x_c，y_c，z_c，原点位于相机所处位置，x_c轴与世界坐标系下的x轴平行，z_c轴正向沿着相机的光轴指向地面，y_c轴垂直于x_coz_c平面指向地面。图中的主点为r点，为z_c轴延伸至与地面的交点，根据图2中的角度关系，r点在世界坐标系下的坐标为(0，hcotφ，0)；图像坐标系为图像平面坐标系，以r点为原点，水平向右为u轴，垂直向下为v轴。

相机标定参数为：设相机焦距为f，相机原点距离地面高度为h，相机俯仰角为φ，相机偏转角(相机光轴在路平面投影与道路延伸方向的夹角)为θ，由于相机自旋角可以通过简单的图像旋转进行表示，并且对于标定结果无影响，因此不予考虑。

由论文中的推导可知：

如图3所示，采用单个消失点标定的方法，设沿道路方向消失点坐标为(u₀，v₀)，垂直道路方向消失点坐标为(u₁，v₁)，l为道路中的一段物理距离，w为道路的物理宽度，有关于未知参量f的四次方程：

其中，为计算方便引入中间变量k_V＝δτl/wv₀，δ为道路物理宽度w在图像上对应的像素距离，τ＝(v_f-v₀)(v_b-v₀)/(v_f-v_b)，其中，v_b和v_f分别表示l的两个端点在图像坐标系中v轴对应的坐标值；

通过上述公式(1)至(3)计算得到相机标定参数。

设图像上任意一点的世界坐标为(x，y，z)，世界坐标系的点与图像坐标系的点的投影关系为：

其中，α为比例因子。

最终得到二维图像坐标与三维世界坐标之间的转换关系为：

步骤3，设置控制点标识道路区域范围。在p₁和p₂中分别设定2个控制点标识道路区域范围，控制点通常位于道路中线位置，设场景1控制点世界坐标为

和

图像坐标为

和

设场景2控制点世界坐标为

和

图像坐标为

和

步骤4，生成带空间信息的道路空间融合图像M_p。

步骤4.1，设置控制参数组，划定M_p中对应场景1和场景2部分像素范围。已知道路宽度为w(mm)，宽度方向像素距离比为r_w(像素/mm)，长度方向距离像素比为r_l(像素/mm)，生成的空间融合图像M_p的像素宽度为wr_w，像素长度为

场景1部分对应像素长度为

场景2部分对应像素长度为

步骤4.2，生成空间融合图像M_p。分别遍历空间融合图像M_p中场景1部分像素

和场景2部分像素

对应场景1世界坐标

中取对应像素值至空间融合图场景1部分，对应场景2世界坐标

中取对应像素值至空间融合图场景2部分，如果分场景图中有像素则取出，没有则跳过，直到像素全部取完，即完成道路空间融合图像M_p的生成；

步骤4.3，解析空间信息。

(1)由融合图M_p上任一像素(u，v)解析其在统一世界坐标系、场景1世界坐标系、场景2世界坐标系的世界坐标：

统一世界坐标：(v/r_w，u/r_l+Y₁ ¹)

场景1世界坐标：

场景2世界坐标：

(2)由地面任意点世界坐标(X，Y，0)解析其在融合图M_p中图像坐标：

世界坐标在场景1中：

世界坐标在场景2中：

步骤5，跨相机目标检测。

使用道路车辆数据集训练的目标检测网络，对步骤1的视频帧图像序列组s₁和s₂分别进行目标检测，获得目标检测结果在图像坐标下的二维包络框模型

表示第t个场景的第i帧图像，S表示场景数，F表示帧数，由二维包络框模型可以计算出车辆下底边中点在分场景中的图像坐标(x_tp+w/2，y_tp+h)，先将其转换为分场景中的世界坐标，再由步骤4转换至M_p中图像坐标，即可完成跨相机目标检测。

步骤6，跨相机目标跟踪。

在目标检测的基础上，对每个目标提取3个特征点进行跟踪，3个特征点使用的是光流法进行特征点跟踪，获得其图像坐标

在跨相机的重叠区域中，通过特征点关联匹配确定同一车辆，完成跨相机目标跟踪。

实施例2：

本实施例提供一种跨相机道路空间融合及车辆目标检测跟踪系统，该系统包括：

数据输入模块，用于输入需要拼接的多个交通场景背景图像和与场景对应的包含车辆的视频帧图像序列组；

相机标定模块，用于建立相机模型和坐标系、车辆目标在图像坐标系下的二维包络框模型，进行相机标定，获取相机标定参数和最终的场景二维-三维变换矩阵；

控制点标识道路区域设置模块，用于在p₁和p₂中分别设定2个控制点标识道路区域范围，控制点位于道路中线位置，设场景1控制点世界坐标和图像坐标；设场景2控制点世界坐标和图像坐标；

道路空间融合模块：用于在相机标定的基础上，设置场景控制点参数组，生成带有道路空间信息的融合图像；

跨相机车辆目标检测跟踪模块，用于使用深度学习目标检测Yolov3对视频帧图像中的车辆目标进行检测，检测结果包括车辆目标在二维包络框模型下的二维坐标信息以及车辆目标的车辆类别；在车辆目标检测的基础上，对目标提取特征点完成跟踪；将单场景目标检测跟踪结果映射至道路空间融合图像，完成跨相机车辆目标检测跟踪；

结果输出模块，将生成带有空间信息的融合图像、车辆目标检测跟踪结果输出，得到跨相机车辆目标检测跟踪结果。

实施例3：

为了验证本发明所提出方法的有效性，本发明的一个实施例采用了以图4所示的一组实际道路交通场景图像，在此实际交通场景中识别出沿道路方向的单个消失点，并且对摄像机进行了标定。如图5所示，为采用本发明所提方法完成道路空间融合的结果图。在此基础上，通过深度网络的方法对视频帧序列组中的车辆目标进行检测，结合道路空间融合结果，完成跨相机车辆目标检测与跟踪，结果如图7所示。

实验结果表明，通过本方法完成的道路空间融合，具有较高的精度，能够较好的完成跨相机车辆目标检测与跟踪，实验结果如表1所示，实验结果说明本方法完全能够满足跨相机道路交通场景下车辆目标检测与跟踪的任务，该实验在一定程度上证明了本发明所提出方法的有效性。

表1跨相机车辆目标检测与跟踪结果

Claims (2)

1.一种跨相机道路空间融合及车辆目标检测跟踪方法，其特征在于，该方法使用相机标定技术对跨相机场景进行标定，利用跨相机场景中的公共区域完成道路空间融合，同时采用深度学习的方法对车辆目标进行检测，完成对跨相机车辆追踪；

具体包括如下步骤：

步骤1，输入场景1和场景2交通场景背景图像p₁和p₂，视频帧图像序列组s₁和s₂；

步骤2，构建坐标系和模型，完成相机标定：从步骤1得到的背景图像p₁和p₂中提取消失点，建立相机模型和坐标系，世界坐标系包含x,y,z轴，图像坐标系包含u,v轴、车辆目标在图像坐标系下的二维包络框模型，并结合消失点进行相机标定，得到相机标定参数H₁和H₂，H表示二维图像与三维真实世界空间的映射关系矩阵；

步骤3，设置控制点标识道路区域范围：在p₁和p₂中分别设定2个控制点标识道路区域范围，控制点位于道路中线位置，设场景1控制点世界坐标为

和

图像坐标为

和

设场景2控制点世界坐标为

和

图像坐标为

和

其中

为场景1和2对应控制点在世界坐标系中x轴上的值，Y₁ ¹,

Y₁ ²,

为场景1和2对应控制点在世界坐标系中y轴上的值；

为场景1和2对应控制点在图像坐标系中u轴上的值，

为场景1和2对应控制点在图像坐标系中v轴上的值；

步骤4，生成带空间信息的道路空间融合图像M_p：

步骤4.1，设置控制参数组，划定M_p中对应场景1和场景2部分像素范围；已知道路宽度为w(mm)，宽度方向像素距离比为r_w(像素/mm)，长度方向距离像素比为r_l(像素/mm)，生成的空间融合图像M_p的像素宽度为wr_w，像素长度为

场景1部分对应像素长度为

场景2部分对应像素长度为

步骤4.2，生成空间融合图像M_p：分别遍历空间融合图像M_p中场景1部分像素

和场景2部分像素

对应场景1世界坐标

中取对应像素值至空间融合图场景1部分，对应场景2世界坐标

中取对应像素值至空间融合图场景2部分，如果分场景图中有像素则取出，没有则跳过，直到像素全部取完，即完成道路空间融合图像M_p的生成；其中取像素的方括号内为先u轴后v轴坐标，世界坐标的方括号内为先x轴后y轴坐标；

步骤4.3，解析空间信息：

(1)由融合图M_p上任一像素坐标(u,v)解析其在统一世界坐标系、场景1世界坐标系、场景2世界坐标系的世界坐标：

统一世界坐标：(v/r_w,u/r_l+Y₁ ¹,0)

场景1世界坐标：

场景2世界坐标：

(2)由地面任意点世界坐标(X,Y,0)解析其在融合图M_p中图像坐标：

世界坐标在场景1中：

世界坐标在场景2中：

步骤5，跨相机目标检测：

使用道路车辆数据集训练的目标检测网络Yolov3，对步骤1的视频帧图像序列组s₁和s₂分别进行目标检测，获得目标检测结果在图像坐标下的二维包络框模型：

上式中，

为第t个场景的第i帧图像，S为场景数，F为每个场景下的视频帧数，x_tp,y_tp分别为二维包围框左上角点在图像坐标u,v轴的值，w为二维包围框在图像中的像素宽度，h为二维包围框在图像中的像素高度，由二维包络框模型可以计算出车辆下底边中点在分场景中的图像坐标(x_tp+w/2,y_tp+h)，先利用步骤2中的H矩阵将其转换为分场景中的世界坐标，再由步骤4转换至M_p中图像坐标，完成跨相机目标检测；

步骤6，跨相机目标跟踪：

在目标检测的基础上，对每个目标提取3个特征点进行跟踪，获得其图像坐标

其中，

为第i个特征点的图像坐标，x_f,y_f分别为特征点在图像坐标u,v轴的值；在跨相机的重叠区域中，通过特征点关联匹配确定同一车辆，完成跨相机目标跟踪。

2.一种跨相机道路空间融合及车辆目标检测跟踪系统，其特征在于，该系统包括：

数据输入模块，用于输入需要拼接的多个交通场景背景图像和与场景对应的包含车辆的视频帧图像序列组；

相机标定模块，用于建立相机模型和坐标系、车辆目标在图像坐标系下的二维包络框模型，进行相机标定，获取相机标定参数和最终的场景二维—三维变换矩阵；

控制点标识道路区域设置模块，用于在p₁和p₂中分别设定2个控制点标识道路区域范围，控制点位于道路中线位置，设场景1控制点世界坐标和图像坐标；设场景2控制点世界坐标和图像坐标；

道路空间融合模块：用于在相机标定的基础上，设置场景控制点参数组，生成带有道路空间信息的融合图像；

跨相机车辆目标检测跟踪模块，用于使用深度学习目标检测Yolov3对视频帧图像中的车辆目标进行检测，检测结果包括车辆目标在二维包络框模型下的二维坐标信息以及车辆目标的车辆类别；在车辆目标检测的基础上，对目标提取特征点完成跟踪；将单场景目标检测跟踪结果映射至道路空间融合图像，完成跨相机车辆目标检测跟踪；

结果输出模块，将生成带有空间信息的融合图像、车辆目标检测跟踪结果输出，得到跨相机车辆目标检测跟踪结果。

Images