CN107480646A - 一种基于双目视觉的车载视频异常运动检测方法 - Google Patents
一种基于双目视觉的车载视频异常运动检测方法 Download PDFInfo
- Publication number
- CN107480646A CN107480646A CN201710722400.7A CN201710722400A CN107480646A CN 107480646 A CN107480646 A CN 107480646A CN 201710722400 A CN201710722400 A CN 201710722400A CN 107480646 A CN107480646 A CN 107480646A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- mtd
- mfrac
- optical flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 73
- 238000001514 detection method Methods 0.000 title claims abstract description 41
- 230000005856 abnormality Effects 0.000 claims abstract description 31
- 230000003287 optical effect Effects 0.000 claims description 102
- 230000009466 transformation Effects 0.000 claims description 20
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000000694 effects Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000011002 quantification Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 5
- 230000002401 inhibitory effect Effects 0.000 claims description 5
- 230000005764 inhibitory process Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000003014 reinforcing effect Effects 0.000 claims description 2
- 238000000034 method Methods 0.000 description 9
- 206010039203 Road traffic accident Diseases 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/231—Hierarchical techniques, i.e. dividing or merging pattern sets so as to obtain a dendrogram
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medicines Containing Antibodies Or Antigens For Use As Internal Diagnostic Agents (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于双目视觉的车载视频异常运动检测方法,根据双目图像中特征点的真实距离，将特征点划分为多层，并基于每层特征点运动模型的不同，进一步将每层特征点分为不同集合，对每个运动模型对应的特征点集合进行聚类，从而得到一系列待检测的异常运动区域，根据每个区域的异常运动参数：光流幅值、光流方向、真实距离以及所属车道线，通过建立的异常运动检测模型，计算每个待检测区域的异常性值，从而得到图像中的异常运动区域。本发明提供的基于双目视觉的车载视频异常运动检测方法能有效地检测出车载视频中的异常运动区域，以及该异常运动区域对自车的威胁大小。
Description
技术领域
本发明涉及图像处理和计算机视觉领域，尤其涉及一种基于双目视觉的车载视频异常运动检测方法。
背景技术
随着汽车工业的迅速发展和汽车数量的不断增加，伴随着越来越极端和频繁发生的交通事故，造成巨大的人员伤亡和财产损失。作为减少交通事故、降低事故损失的一种有效手段，汽车安全辅助驾驶技术成为交通工程领域的研究前沿。
在汽车辅助驾驶系统的运动目标检测技术研究中，行人和车辆的识别及跟踪已取得了丰硕的研究成果。然而，这些方法的基本思路都是需要先进行目标的分类和识别，再进行目标的跟踪。但是，受车辆的形状、大小，以及行人姿势变化等因素的影响，运动目标的检测非常困难，这也限制了汽车安全辅助驾驶系统的作用。同时，在实际的驾驶场景中，驾驶员真正关注的是交通环境中所存在的异常运动目标，而无需识别异常运动目标的是行人、车辆或者其他物体。因此，如果从异常运动检测的角度入手，对交通环境中的异常运动目标建立异常性模型，对这些运动目标进行碰撞可能性量化，及时为驾驶员提供必要的碰撞预警信息，将会大大提高汽车安全辅助驾驶系统的性能，提高驾驶安全性，降低交通事故的发生。
因此，当前需要一种基于双目视觉的车载视频异常运动检测的技术方案来解决上述问题。
发明内容
本发明所要解决的技术问题是提供一种基于双目视觉的车载视频异常运动检测方法，解决传统的基于图像特征的检测方法中，仅能对特定类型的目标进行检测，实用性较低，只能适用于单一场景的问题。
为了解决上述问题，本发明提供了一种基于双目视觉的车载视频异常运动检测方法，包括：
1)按照一定步长在当前帧的左视图中提取像素点，作为原左视图的特征点，结合前一帧图像计算特征点的光流信息，获得特征点对集合，并在当前帧的左视图中检测车道线；
2)通过当前帧的左视图和右视图计算视差矩阵，基于双目视觉成像原理得到视差值和真实距离的关系，计算每个特征点在相机坐标系中的真实距离，并由近及远将特征点划分为多层；
3)根据得到的多层特征点集合，分别对每一层对应的特征点对进行多次仿射变换建模，将其划分为多个集合，每个集合中的特征点符合同一种运动模型；
4)根据得到的符合不同运动模型的多个特征点集合，分别对每个运动模型对应的特征点集合，采用基于密度的聚类算法进行聚类，从而得到各待检测区域的位置和大小；
5)根据得到的各待检测区域的位置和大小，结合视差矩阵、光流信息和车道线信息，计算各待检测区域的光流幅值、光流方向、真实距离和所属车道；
6)建立异常运动检测模型，根据得到的各待检测区域的信息，计算该区域的异常性值，完成异常运动区域的检测。
进一步，步骤1)具体为：
1.1)计算相邻两帧图像中特征点的光流信息，需要通过计算一次正向和一次反向光流来筛选特征点，两次光流信息的误差小于设定阈值的特征点才会保留；
1.2)在当前帧的左视图中检测车道线：基于霍夫变换检测出线段，筛选出线段斜率在设定范围内的线段集合，进一步从线段集合中，找出线段起点最靠近图像的垂直中线且线段终点不超过图像的垂直中线的线段，作为左车道线；找出线段起点最靠近图像的垂直中线且不超过垂直中线的线段，作为右车道线。如果在当前帧图像中没有检测到车道线，则使用上一帧图像的车道线信息。
进一步，步骤3)具体为：
3.1)第1次将该层上所有的特征点用于建立仿射变换模型，满足该仿射变换模型的特征点叫内点，不满足该仿射变换模型的特征点叫外点；
3.2)之后进行M-1次仿射变换建模，每次建模的特征点对都是上一次仿射变换建模后的外点。从而将每层上的特征点划分为多个集合，每个集合中的特征点符合同一种运动模型。
进一步，步骤5)具体为：
5.1)根据聚类算法得到的区域位置和大小，统计该区域内所有特征点的光流方向直方图和光流幅值直方图，选择统计值最大的光流方向和光流幅值作为该区域的光流方向和光流幅值；
5.2)统计该区域内视差值大于0的像素点的视差值，计算平均视差，利用视差值和真实距离的关系，计算该区域的真实距离；
5.3)将图像根据车道线划分为左车道区域、右车道区域、同车道区域，然后利用车道线与待检测区域几何中心的几何关系计算该待检测区域所属的车道。
进一步，步骤6)具体为：
6.1)根据该帧图像中所有待检测区域的最大光流幅值和最小光流幅值，归一化每一个待检测区域光流幅值，将其作为该区域的初始异常值；
6.2)将该区域的真实距离通过高斯分布模型转换到[0,1]，并通过指数型广义加权算子进行加强或者抑制，将最终的距离权值作为真实距离对异常值的影响权值；
6.3)根据待检测区域所属的车道，通过不同的光流方向的权值计算公式计算待检测区域的光流方向权值；
6.4)结合待检测区域的初始异常值、距离权值和光流方向权值，计算得到该区域的异常性值。
进一步，步骤5)具体为：
步骤5.1、统计该待检测区域内所有特征点的光流幅值直方图，将统计值最高的光流幅值作为该区域的光流幅值fi；
步骤5.2、将360°等分为NBin个区间，统计该待检测区域内所有特征点的光流方向直方图，将统计值最高的光流方向作为该区域的光流方向Oi；
步骤5.3、统计待检测区域Ri内所有视差值大于0的像素点的视差值之和与个数，计算其平均视差值作为该待检测区域的视差值，并利用视差值和真实距离的关系，计算得到该待检测区域的真实距离：
其中，表示区域Ri的平均视差值，ni表示区域Ri中视差值大于0的像素点的个数，dj表示区域Ri中视差值大于0的像素点的视差值，f为相机焦距，b为基线。
步骤5.4、计算待检测区域Ri所属车道：
其中，表示区域Ri的几何中心，y＝hl(x)和y＝hr(x)分别表示左车道直线方程和右车道直线方程。
进一步，步骤6)具体为：
步骤6.1、根据该帧图像中所有待检测区域中的最大光流幅值fmag_max和最小光流幅值fmag_min，归一化待检测区域Ri的光流幅值，并将其作为该待检测区域的初始异常性值：
其中，fi表示区域Ri的光流幅值。
步骤6.2、假设距离权值符合高斯分布模型，则距离权值计算公式如下：
其中，Di表示待检测区域Ri到自车的距离，σ2取值为5；
步骤6.3、由于待检测区域距离自车的远近对自车的威胁程度是不同的，如果距离较远，目标区域的异常性则会降低，如果距离较近，目标区域的异常性则会加强，因此，采用一种指数型广义加权算子对距离权值进行加强或抑制，将其结果作为该待检测区域真实距离对异常性值的影响权值：
n＝ln(2)/(ln(2)-ln(1-αd))
其中，αd表示距离对异常性的影响程度，αd越大，则影响越强，反之，影响越弱，αd取值为0.9，ed表示抑制或加强的临界值，大于ed则加强距离权值对异常性的影响，反之，则抑制距离权值对异常性的影响，本发明中ed取值为0.5。
步骤6.4、待检测区域Ri属于不同的车道，其光流方向权值的计算公式也将不同，如下所示：
当Li＝1时：
当Li＝2时：
当Li＝0时：
其中，Oi表示待检测区域Ri的光流方向,OV表示待检测区域的几何中心到自车的方向，Old表示左车道线的下端点到上端点的方向，Olu表示左车道线的上端点到下端点的方向，Ord表示右车道线的上端点到下端点的方向，Oru表示右车道的下端点到上端点的方向，NBin表示方向等分数量；
步骤6.5、待检测区域Ri的异常性量化公式为：
其中，norm(x)为归一化函数，将参数x归一化为[0,1]；
根据异常性量化公式计算每个待检测区域的异常性值，如果异常性值大于阈值，则该区域为异常运动区域。
本发明提供了一种基于双目视觉的车载视频异常运动检测方法。该方法根据双目图像中特征点的真实距离，将特征点划分为多层，并基于每层特征点运动模型的不同，进一步将每层特征点分为不同集合，对每个运动模型对应的特征点集合进行聚类，从而得到一系列待检测的异常运动区域，根据每个区域的异常运动参数，通过建立的异常运动检测模型，计算每个待检测区域的异常性值，从而得到图像中的异常运动区域。本发明提供的异常运动检测机制能有效地检测出车载视频中的异常运动区域，以及该异常运动区域对自车的威胁大小。应用本发明，解决了传统的基于图像特征的目标检测算法中只能检测特定类型目标的问题，具有更高的实用性，并且准确率较高。
附图说明
图1是本发明基于双目视觉的车载视频异常运动检测方法的流程图。
图2是本发明基于双目视觉的车载视频异常运动检测方法操作示例。
图3是本发明基于双目视觉的车载视频待检测区域异常性值计算方法操作示例。
图4是本发明基于双目视觉的车载视频异常运动检测方法的角度转换模型。
具体实施方式
本发明提供了一种基于双目视觉的车载视频异常运动检测方法。该方法根据双目图像中特征点的真实距离，将特征点划分为多层，并基于每层特征点运动模型的不同，进一步将每层特征点分为不同集合，对每个运动模型对应的特征点集合进行聚类，从而得到一系列待检测的异常运动区域，根据每个区域的异常运动参数：光流幅值、光流方向、真实距离以及所属车道线，通过建立的异常运动检测模型，计算每个待检测区域的异常性值，从而得到图像中的异常运动区域。本发明提供的基于双目视觉的车载视频异常运动检测方法能有效地检测出车载视频中的异常运动区域，以及该异常运动区域对自车的威胁大小。应用本发明，能解决传统的基于图像特征的目标检测算法只能检测特定类型目标的问题，具有更高的实用性，并且准确率较高。
本发明包括以下步骤：
1)按照一定步长在当前帧的左视图中提取像素点，作为左视图的特征点，结合前一帧图像计算特征点的光流信息，获得特征点对集合，并对当前帧的左视图进行车道线检测；
获得特征点对集合的具体步骤为：
1.1)按照一定步长在当前帧的左视图中提取像素点，作为左视图的特征点；
1.2)基于光流法计算所有特征点的光流信息，在前一帧左视图中获得各特征点所对应的匹配点；
1.3)基于光流法计算这些匹配点在当前帧左视图中的匹配点，计算第二次光流法得到的当前帧左视图中的匹配点和当前帧中原对应特征点之间的误差，对当前帧中的特征点进行筛选，如果误差大于设定的阈值，则剔除该特征点对。
2)通过当前帧的左视图和右视图计算视差矩阵，基于双目视觉成像原理得到视差值和真实距离的关系，计算每个特征点在相机坐标系中的真实距离，并由近及远将特征点划分为多层，其中视差值小于等于0的特征点划分到第0层，视差值大于0的特征点将根据真实距离的不同划分到相对应的层；
3)根据得到的多层特征点集合，分别对每层上的特征点对进行多次仿射变换建模，进而将这些特征点对划分为多个集合，每一个集合中的特征点符合同一种运动模型；
首先，将每层上的所有特征点对，采用RANSAC算法计算出的单应性矩阵进行第一次的运动建模，满足该运动模型的特征点对叫内点，不满足该运动模型的特征点对叫外点；之后每次采用RANSAC算法建立仿射变换模型的特征点对都是前一次建立仿射变换模型后的外点；重复多次采用RANSAC算法对每层上的所有特征点对进行仿射变换建模；最后，这些特征点对被划分为多个集合，每个集合中的特征点符合同一种运动模型。
4)对每个运动模型对应的特征点集合，采用基于密度的聚类算法进行聚类，从而得到多个待检测区域的位置和大小；由于第0层的特征点的距离是小于等于0的，可以忽视。同时，为了更加准确地得到待检测区域，对不同层的特征点集合将采用不同的聚类密度进行聚类；
5)根据得到的各待检测区域的位置和大小，结合视差图像、光流信息和车道线信息，计算各待检测区域的光流幅值、光流方向、真实距离和所属车道；
计算各待检测区域的光流幅值、光流方向、真实距离和所属车道的具体步骤为：
5.1)统计该区域内所有特征点的光流幅值直方图，将光流幅值直方图中统计值最高的光流幅值作为该区域的光流幅值；
5.2)为了准确地统计该区域内所有特征点的光流方向直方图，将360°等分为NBin个区间，将光流方向直方图中统计值最高的光流方向作为该区域的光流方向；
5.3)统计该区域内所有视差值大于0的像素点的视差值之和与个数，计算其平均视差值作为该区域的视差值，并利用视差值和真实距离的关系，计算得到该区域的真实距离；
5.4)将图像根据车道线划分为左车道区域、右车道区域、同车道区域，然后利用车道线与待检测区域几何中心的几何关系计算该待检测区域所属的车道。
6)建立异常运动检测模型，根据得到的各待检测区域的信息，计算该区域的异常性值，完成异常运动区域的检测。
6.1)根据该帧图像中所有待检测区域的最大和最小光流幅值，归一化每个待检测区域的光流幅值，并将其作为该区域的初始异常性值；
6.2)假设距离权值符合高斯分布模型,将各待检测区域的真实距离转换到[0,1]；
6.3)由于待检测区域距离自车的远近对自车的威胁程度是不同的，如果距离较远，待检测区域的异常性则会降低，如果距离较近，待检测区域的异常性则会加强，因此，采用一种指数型广义加权算子对距离权值进行加强或抑制，将其结果作为该待检测区域真实距离对异常性值的影响权值；
6.4)根据待检测区域所属车道的不同，采用不同的光流方向权值计算公式计算该待检测区域的光流方向权值；
6.5)结合待检测区域的初始异常性值、距离权值和光流方向权值，计算得到该待检测区域的异常性值。
本发明在计算机视觉领域有着广泛的应用，例如：辅助驾驶、智能机器人等等。下面参照附图，对本发明进行详尽的描述。
1)按照一定步长在当前帧的左视图中提取像素点，作为左视图的特征点，步长系数为5；
2)根据前一帧图像和当前帧图像，分别计算一次正向光流信息和一次反向光流信息，获得特征点对集合，并根据两次光流信息的误差对获得的特征点对集合进行筛选，删除两次光流信息误差大于设定阈值的特征点对。本发明设定阈值为1像素；
3)基于霍夫变换，在当前帧左视图中进行车道线检测；
3.1)对当前帧的左视图进行二值化处理，阈值为120，并进行一次腐蚀和一次膨胀处理；
3.2)采用Canny算子提取图像的边缘特征点，然后基于霍夫变换检测出图像中的线段集合；
3.3)扫描线段集合中的每条线段，计算其斜率k，并判断斜率k属于左车道线斜率范围还是右车道线斜率范围，从而将线段集合分为左线段集合和右线段集合。其中，左车道线斜率范围为(-1.5,-0.5)，右车道线斜率范围为(0.5,1.5)；
3.4)扫描左线段集合中的每条线段，寻找线段起点最靠近图像的垂直中线且线段终点不超过图像的垂直中线的线段，作为该帧图像中的左车道线；
3.5)同理，扫描右线段集合中的每条线段，寻找线段起点最靠近图像的垂直中线且不超过图像的垂直中线的线段，作为该帧图像中的右车道线。
4)通过当前帧左视图和右视图计算视差矩阵，并基于双目视觉成像原理得到视差值和真实距离的关系，计算每个特征点在相机坐标系中的真实距离，并由近及远将特征点划分为N层；
4.1)根据双目视觉成像原理，可以得到视差和真实距离之间的关系：
其中，f为相机焦距，b为基线，d为视差值。
4.2)根据每个特征点的真实距离，将特征点划分为N层。由近及远将距离区间划分为N个层次，分别为：(-∞,0),[0,5),[5,10),[10,20),[20,40),[40,100),[100,+∞)。本发明中N＝7；
5)对每层上的特征点对进行M次仿射变换建模，将每层上的特征点对划分为M个集合；
5.1)首先，将每层上的所有特征点对，采用RANSAC算法计算出的单应性矩阵进行第一次运动建模，满足该运动模型的特征点对叫内点，不满足该运动模型的特征点对叫外点；
5.2)将前一次仿射变换建模后的外点，采用RANSAC算法建立仿射变换模型，得到满足该运动模型的内点和不满足该运动模型的外点；
5.3)重复M-2次步骤5.2；
5.4)最后，每层上的所有特征点对被划分为M个集合，每个集合中的特征点符合同一种运动模型。
6)根据得到的符合不同运动模型的M个特征点集合，对每个运动模型中的特征点集合采用基于密度的聚类算法进行聚类，从而得到各待检测区域的位置和大小；由于第0层的特征点的距离是小于0的，可以忽视。同时，为了更加准确地得到各待检测区域，对于位于不同层的特征点采用不同的聚类密度：
其中，R和N分别表示基于密度聚类的范围和该范围内的特征点个数阈值，L表示特征点所属的层次；
7)根据得到的待检测区域的位置和大小，结合视差图像、光流信息和车道线信息，计算待检测区域的光流幅值、光流方向、真实距离和所属车道；
7.1)统计该待检测区域内所有特征点的光流幅值直方图，将统计值最高的光流幅值作为该区域的光流幅值fi；
7.2)如图4所示，将360°等分为NBin个区间，统计该待检测区域内所有特征点的光流方向直方图，将统计值最高的光流方向作为该区域的光流方向Oi，本发明中NBin取值为36。
7.3)统计待检测区域Ri内所有视差值大于0的像素点的视差值之和与个数，计算其平均视差值作为该待检测区域的视差值，并利用视差值和真实距离的关系，计算得到该待检测区域的真实距离：
其中，表示区域Ri的平均视差值，ni表示区域Ri中视差值大于0的像素点的个数，dj表示区域Ri中视差值大于0的像素点的视差值，f为相机焦距，b为基线。
7.4)计算待检测区域Ri所属车道：
其中，表示区域Ri的几何中心，y＝hl(x)和y＝hr(x)分别表示左车道直线方程和右车道直线方程。
8)建立异常运动检测模型，根据得到的各待检测区域的信息，计算该区域的异常性值，完成异常运动区域的检测。
8.1)根据该帧图像中所有待检测区域中的最大光流幅值fmag_max和最小光流幅值fmag_min，归一化待检测区域Ri的光流幅值，并将其作为该待检测区域的初始异常性值：
其中，fi表示区域Ri的光流幅值。
8.2)假设距离权值符合高斯分布模型，则距离权值计算公式如下：
其中，Di表示待检测区域Ri到自车的距离，σ2取值为5；
8.3)由于待检测区域距离自车的远近对自车的威胁程度是不同的，如果距离较远，目标区域的异常性则会降低，如果距离较近，目标区域的异常性则会加强，因此，采用一种指数型广义加权算子对距离权值进行加强或抑制，将其结果作为该待检测区域真实距离对异常性值的影响权值：
n＝ln(2)/(ln(2)-ln(1-αd))
其中，αd表示距离对异常性的影响程度，αd越大，则影响越强，反之，影响越弱，本发明中αd取值为0.9，ed表示抑制或加强的临界值，大于ed则加强距离权值对异常性的影响，反之，则抑制距离权值对异常性的影响，本发明中ed取值为0.5。
8.4)待检测区域Ri属于不同的车道，其光流方向权值的计算公式也将不同，如下所示：
当Li＝1时：
当Li＝2时：
当Li＝0时：
其中，Oi表示待检测区域Ri的光流方向,OV表示待检测区域的几何中心到自车的方向，Old表示左车道线的下端点到上端点的方向，Olu表示左车道线的上端点到下端点的方向，Ord表示右车道线的上端点到下端点的方向，Oru表示右车道的下端点到上端点的方向，NBin表示方向等分数量。以上计算公式中的方向都是通过图4的角度模型转换到[0,NBin-1]的值。
8.5)待检测区域Ri的异常性量化公式为：
其中，norm(x)为归一化函数，将参数x归一化为[0,1]。
根据异常性量化公式计算每个待检测区域的异常性值，如果异常性值大于阈值，则该区域为异常运动区域，本发明中该阈值取值为1.0。
本发明提供了一种基于双目视觉的车载视频异常运动检测方法，能快速准确地从车载视频流中检测到异常运动区域，及时向驾驶员提供预警信息，提高驾驶安全性，同时本发明解决了传统检测算法中只能检测特定类型的运动目标的问题，具有更广的实用性。
Claims (7)
1.一种基于双目视觉的车载视频异常运动检测方法，其特征在于，包括以下步骤：
1)按照一定步长在当前帧的左视图中提取像素点，作为原左视图的特征点，结合前一帧图像计算特征点的光流信息，获得特征点对集合，并在当前帧的左视图中检测车道线；
2)通过当前帧的左视图和右视图计算视差矩阵，基于双目视觉成像原理得到视差值和真实距离的关系，计算每个特征点在相机坐标系中的真实距离，并由近及远将特征点划分为多层；
3)根据得到的多层特征点集合，分别对每一层对应的特征点对进行多次仿射变换建模，将其划分为多个集合，每个集合中的特征点符合同一种运动模型；
4)根据得到的符合不同运动模型的多个特征点集合，分别对每个运动模型对应的特征点集合，采用基于密度的聚类算法进行聚类，从而得到各待检测区域的位置和大小；
5)根据得到的各待检测区域的位置和大小，结合视差矩阵、光流信息和车道线信息，计算各待检测区域的光流幅值、光流方向、真实距离和所属车道；
6)建立异常运动检测模型，根据得到的各待检测区域的信息，计算该区域的异常性值，完成异常运动区域的检测。
2.根据权利要求1所述的一种基于双目视觉的车载视频异常运动检测方法，其特征在于，步骤1)具体为：
1.1)计算相邻两帧图像中特征点的光流信息，需要通过计算一次正向和一次反向光流来筛选特征点，两次光流信息的误差小于设定阈值的特征点才会保留；
1.2)在当前帧的左视图中检测车道线：基于霍夫变换检测出线段，筛选出线段斜率在设定范围内的线段集合，进一步从线段集合中，找出线段起点最靠近图像的垂直中线且线段终点不超过图像的垂直中线的线段，作为左车道线；找出线段起点最靠近图像的垂直中线且不超过垂直中线的线段，作为右车道线。如果在当前帧图像中没有检测到车道线，则使用上一帧图像的车道线信息。
3.根据权利要求1所述的一种基于双目视觉的车载视频异常运动检测方法，其特征在于，步骤3)具体为：
3.1)第1次将该层上所有的特征点用于建立仿射变换模型，满足该仿射变换模型的特征点叫内点，不满足该仿射变换模型的特征点叫外点；
3.2)之后进行M-1次仿射变换建模，每次建模的特征点对都是上一次仿射变换建模后的外点。从而将每层上的特征点划分为多个集合，每个集合中的特征点符合同一种运动模型。
4.根据权利要求1所述的一种基于双目视觉的车载视频异常运动检测方法，其特征在于，步骤5)具体为：
5.1)根据聚类算法得到的区域位置和大小，统计该区域内所有特征点的光流方向直方图和光流幅值直方图，选择统计值最大的光流方向和光流幅值作为该区域的光流方向和光流幅值；
5.2)统计该区域内视差值大于0的像素点的视差值，计算平均视差，利用视差值和真实距离的关系，计算该区域的真实距离；
5.3)将图像根据车道线划分为左车道区域、右车道区域、同车道区域，然后利用车道线与待检测区域几何中心的几何关系计算该待检测区域所属的车道。
5.根据权利要求1所述的一种基于双目视觉的车载视频异常运动检测方法，其特征在于，步骤6)具体为：
6.1)根据该帧图像中所有待检测区域的最大光流幅值和最小光流幅值，归一化每一个待检测区域光流幅值，将其作为该区域的初始异常值；
6.2)将该区域的真实距离通过高斯分布模型转换到[0,1]，并通过指数型广义加权算子进行加强或者抑制，将最终的距离权值作为真实距离对异常值的影响权值；
6.3)根据待检测区域所属的车道，通过不同的光流方向的权值计算公式计算待检测区域的光流方向权值；
6.4)结合待检测区域的初始异常值、距离权值和光流方向权值，计算得到该区域的异常性值。
6.根据权利要求1所述的一种基于双目视觉的车载视频异常运动检测方法，其特征在于，步骤5)具体为：
步骤5.1、统计该待检测区域内所有特征点的光流幅值直方图，将统计值最高的光流幅值作为该区域的光流幅值fi；
步骤5.2、将360°等分为NBin个区间，统计该待检测区域内所有特征点的光流方向直方图，将统计值最高的光流方向作为该区域的光流方向Oi；
步骤5.3、统计待检测区域Ri内所有视差值大于0的像素点的视差值之和与个数，计算其平均视差值作为该待检测区域的视差值，并利用视差值和真实距离的关系，计算得到该待检测区域的真实距离：
<mrow>
<msubsup>
<mi>d</mi>
<mrow>
<mi>a</mi>
<mi>v</mi>
<mi>g</mi>
</mrow>
<mi>i</mi>
</msubsup>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<msub>
<mi>n</mi>
<mi>i</mi>
</msub>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>n</mi>
<mi>i</mi>
</msub>
</munderover>
<msub>
<mi>d</mi>
<mi>j</mi>
</msub>
</mrow>
<mrow>
<msub>
<mi>D</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<mi>f</mi>
<mo>*</mo>
<mi>b</mi>
</mrow>
<msubsup>
<mi>d</mi>
<mrow>
<mi>a</mi>
<mi>v</mi>
<mi>g</mi>
</mrow>
<mi>i</mi>
</msubsup>
</mfrac>
</mrow>
其中，表示区域Ri的平均视差值，ni表示区域Ri中视差值大于0的像素点的个数，dj表示区域Ri中视差值大于0的像素点的视差值，f为相机焦距，b为基线。
步骤5.4、计算待检测区域Ri所属车道：
其中，表示区域Ri的几何中心，y＝hl(x)和y＝hr(x)分别表示左车道直线方程和右车道直线方程。
7.根据权利要求1所述的一种基于双目视觉的车载视频异常运动检测方法，其特征在于，步骤6)具体为：
步骤6.1、根据该帧图像中所有待检测区域中的最大光流幅值fmag_max和最小光流幅值fmag_min，归一化待检测区域Ri的光流幅值，并将其作为该待检测区域的初始异常性值：
<mrow>
<msup>
<msub>
<mi>A</mi>
<mi>i</mi>
</msub>
<mo>&prime;</mo>
</msup>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>f</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>f</mi>
<mrow>
<mi>m</mi>
<mi>a</mi>
<mi>g</mi>
<mo>_</mo>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
</msub>
</mrow>
<mrow>
<msub>
<mi>f</mi>
<mrow>
<mi>m</mi>
<mi>a</mi>
<mi>g</mi>
<mo>_</mo>
<mi>max</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>f</mi>
<mrow>
<mi>m</mi>
<mi>a</mi>
<mi>g</mi>
<mo>_</mo>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
</msub>
</mrow>
</mfrac>
</mrow>
其中，fi表示区域Ri的光流幅值。
步骤6.2、假设距离权值符合高斯分布模型，则距离权值计算公式如下：
<mrow>
<msubsup>
<mi>w</mi>
<mi>d</mi>
<mi>i</mi>
</msubsup>
<mo>=</mo>
<msup>
<mi>e</mi>
<mrow>
<mo>-</mo>
<mfrac>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>D</mi>
<mi>i</mi>
</msub>
<mo>/</mo>
<mn>10</mn>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mrow>
<mn>2</mn>
<msup>
<mi>&sigma;</mi>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
</mrow>
</msup>
</mrow>
其中，Di表示待检测区域Ri到自车的距离，σ2取值为5；
步骤6.3、由于待检测区域距离自车的远近对自车的威胁程度是不同的，如果距离较远，目标区域的异常性则会降低，如果距离较近，目标区域的异常性则会加强，因此，采用一种指数型广义加权算子对距离权值进行加强或抑制，将其结果作为该待检测区域真实距离对异常性值的影响权值：
<mrow>
<msubsup>
<mi>w</mi>
<mi>d</mi>
<mrow>
<mi>i</mi>
<mo>&prime;</mo>
</mrow>
</msubsup>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mrow>
<mo>(</mo>
<mrow>
<mn>1</mn>
<mo>-</mo>
<msub>
<mi>e</mi>
<mi>d</mi>
</msub>
</mrow>
<mo>)</mo>
</mrow>
<mo>*</mo>
<msup>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<msubsup>
<mi>w</mi>
<mi>d</mi>
<mi>i</mi>
</msubsup>
<mo>-</mo>
<msub>
<mi>e</mi>
<mi>d</mi>
</msub>
</mrow>
<mrow>
<mn>1</mn>
<mo>-</mo>
<msub>
<mi>e</mi>
<mi>d</mi>
</msub>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
<mi>n</mi>
</msup>
<mo>+</mo>
<msub>
<mi>e</mi>
<mi>d</mi>
</msub>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<msubsup>
<mi>w</mi>
<mi>d</mi>
<mi>i</mi>
</msubsup>
<mo>></mo>
<msub>
<mi>e</mi>
<mi>d</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>e</mi>
<mi>d</mi>
</msub>
<mo>-</mo>
<msub>
<mi>e</mi>
<mi>d</mi>
</msub>
<mo>*</mo>
<msup>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<msub>
<mi>e</mi>
<mi>d</mi>
</msub>
<mo>-</mo>
<msubsup>
<mi>w</mi>
<mi>d</mi>
<mi>i</mi>
</msubsup>
</mrow>
<msub>
<mi>e</mi>
<mi>d</mi>
</msub>
</mfrac>
<mo>)</mo>
</mrow>
<mi>n</mi>
</msup>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<msubsup>
<mi>w</mi>
<mi>d</mi>
<mi>i</mi>
</msubsup>
<mo><</mo>
<msub>
<mi>e</mi>
<mi>d</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>e</mi>
<mi>d</mi>
</msub>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<msubsup>
<mi>w</mi>
<mi>d</mi>
<mi>i</mi>
</msubsup>
<mo>=</mo>
<msub>
<mi>e</mi>
<mi>d</mi>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
n＝ln(2)/(ln(2)-ln(1-αd))
其中，αd表示距离对异常性的影响程度，αd越大，则影响越强，反之，影响越弱，αd取值为0.9，ed表示抑制或加强的临界值，大于ed则加强距离权值对异常性的影响，反之，则抑制距离权值对异常性的影响，本发明中ed取值为0.5。
步骤6.4、待检测区域Ri属于不同的车道，其光流方向权值的计算公式也将不同，如下所示：
当Li＝1时：
<mrow>
<msubsup>
<mi>w</mi>
<mi>O</mi>
<mi>i</mi>
</msubsup>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mfrac>
<mrow>
<msub>
<mi>O</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>O</mi>
<mrow>
<mi>l</mi>
<mi>d</mi>
</mrow>
</msub>
</mrow>
<mrow>
<msub>
<mi>O</mi>
<mi>V</mi>
</msub>
<mo>-</mo>
<msub>
<mi>O</mi>
<mrow>
<mi>l</mi>
<mi>d</mi>
</mrow>
</msub>
</mrow>
</mfrac>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>O</mi>
<mrow>
<mi>l</mi>
<mi>d</mi>
</mrow>
</msub>
<mo><</mo>
<msub>
<mi>O</mi>
<mi>i</mi>
</msub>
<mo>&le;</mo>
<msub>
<mi>O</mi>
<mi>V</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mfrac>
<mrow>
<msub>
<mi>O</mi>
<mrow>
<mi>l</mi>
<mi>u</mi>
</mrow>
</msub>
<mo>+</mo>
<msub>
<mi>N</mi>
<mrow>
<mi>B</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>O</mi>
<mi>i</mi>
</msub>
</mrow>
<mrow>
<msub>
<mi>O</mi>
<mrow>
<mi>l</mi>
<mi>u</mi>
</mrow>
</msub>
<mo>+</mo>
<msub>
<mi>N</mi>
<mrow>
<mi>B</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>O</mi>
<mi>V</mi>
</msub>
</mrow>
</mfrac>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>O</mi>
<mi>V</mi>
</msub>
<mo><</mo>
<msub>
<mi>O</mi>
<mi>i</mi>
</msub>
<mo><</mo>
<msub>
<mi>N</mi>
<mrow>
<mi>B</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mfrac>
<mrow>
<msub>
<mi>O</mi>
<mrow>
<mi>l</mi>
<mi>u</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>O</mi>
<mi>i</mi>
</msub>
</mrow>
<mrow>
<msub>
<mi>O</mi>
<mrow>
<mi>l</mi>
<mi>u</mi>
</mrow>
</msub>
<mo>+</mo>
<msub>
<mi>N</mi>
<mrow>
<mi>B</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>O</mi>
<mi>V</mi>
</msub>
</mrow>
</mfrac>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mn>0</mn>
<mo>&le;</mo>
<msub>
<mi>O</mi>
<mi>i</mi>
</msub>
<mo><</mo>
<msub>
<mi>O</mi>
<mrow>
<mi>l</mi>
<mi>u</mi>
</mrow>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>0</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>o</mi>
<mi>t</mi>
<mi>h</mi>
<mi>e</mi>
<mi>r</mi>
<mi>w</mi>
<mi>i</mi>
<mi>s</mi>
<mi>e</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
当Li＝2时：
<mrow>
<msubsup>
<mi>W</mi>
<mi>o</mi>
<mi>i</mi>
</msubsup>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mfrac>
<mrow>
<msub>
<mi>O</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>O</mi>
<mrow>
<mi>r</mi>
<mi>u</mi>
</mrow>
</msub>
</mrow>
<mrow>
<msub>
<mi>O</mi>
<mi>V</mi>
</msub>
<mo>-</mo>
<msub>
<mi>O</mi>
<mrow>
<mi>r</mi>
<mi>u</mi>
</mrow>
</msub>
</mrow>
</mfrac>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>O</mi>
<mrow>
<mi>r</mi>
<mi>u</mi>
</mrow>
</msub>
<mo>&le;</mo>
<msub>
<mi>O</mi>
<mi>i</mi>
</msub>
<mo>&le;</mo>
<msub>
<mi>O</mi>
<mi>V</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mfrac>
<mrow>
<msub>
<mi>O</mi>
<mrow>
<mi>r</mi>
<mi>d</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>O</mi>
<mi>i</mi>
</msub>
</mrow>
<mrow>
<msub>
<mi>O</mi>
<mrow>
<mi>r</mi>
<mi>d</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>O</mi>
<mi>V</mi>
</msub>
</mrow>
</mfrac>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>O</mi>
<mi>V</mi>
</msub>
<mo><</mo>
<msub>
<mi>O</mi>
<mi>i</mi>
</msub>
<mo>&le;</mo>
<msub>
<mi>O</mi>
<mrow>
<mi>r</mi>
<mi>d</mi>
</mrow>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>0</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>o</mi>
<mi>t</mi>
<mi>h</mi>
<mi>e</mi>
<mi>r</mi>
<mi>w</mi>
<mi>i</mi>
<mi>s</mi>
<mi>e</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
当Li＝0时：
<mrow>
<msubsup>
<mi>W</mi>
<mi>o</mi>
<mi>i</mi>
</msubsup>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mfrac>
<mrow>
<msub>
<mi>O</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<mfrac>
<msub>
<mi>N</mi>
<mrow>
<mi>B</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
</msub>
<mn>4</mn>
</mfrac>
</mrow>
<mrow>
<mfrac>
<msub>
<mi>N</mi>
<mrow>
<mi>B</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
</msub>
<mn>2</mn>
</mfrac>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mfrac>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mfrac>
<msub>
<mi>N</mi>
<mrow>
<mi>B</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
</msub>
<mn>4</mn>
</mfrac>
<mo>&le;</mo>
<msub>
<mi>O</mi>
<mi>i</mi>
</msub>
<mo>&le;</mo>
<mfrac>
<mrow>
<mn>3</mn>
<msub>
<mi>N</mi>
<mrow>
<mi>B</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
</msub>
</mrow>
<mn>4</mn>
</mfrac>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mfrac>
<mrow>
<mfrac>
<mrow>
<mn>5</mn>
<msub>
<mi>N</mi>
<mrow>
<mi>B</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
</msub>
</mrow>
<mn>4</mn>
</mfrac>
<mo>-</mo>
<msub>
<mi>O</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<mn>1</mn>
</mrow>
<mrow>
<mfrac>
<msub>
<mi>N</mi>
<mrow>
<mi>B</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
</msub>
<mn>2</mn>
</mfrac>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mfrac>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mfrac>
<mrow>
<mn>3</mn>
<msub>
<mi>N</mi>
<mrow>
<mi>B</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
</msub>
</mrow>
<mn>4</mn>
</mfrac>
<mo>&le;</mo>
<msub>
<mi>O</mi>
<mi>i</mi>
</msub>
<mo>&le;</mo>
<msub>
<mi>N</mi>
<mrow>
<mi>B</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mfrac>
<mrow>
<mfrac>
<msub>
<mi>N</mi>
<mrow>
<mi>B</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
</msub>
<mn>4</mn>
</mfrac>
<mo>-</mo>
<msub>
<mi>O</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<mn>1</mn>
</mrow>
<mrow>
<mfrac>
<msub>
<mi>N</mi>
<mrow>
<mi>B</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
</msub>
<mn>2</mn>
</mfrac>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mfrac>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mn>0</mn>
<mo>&le;</mo>
<msub>
<mi>O</mi>
<mi>i</mi>
</msub>
<mo><</mo>
<mfrac>
<msub>
<mi>N</mi>
<mrow>
<mi>B</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
</msub>
<mn>4</mn>
</mfrac>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
其中，Oi表示待检测区域Ri的光流方向,OV表示待检测区域的几何中心到自车的方向，Old表示左车道线的下端点到上端点的方向，Olu表示左车道线的上端点到下端点的方向，Ord表示右车道线的上端点到下端点的方向，Oru表示右车道的下端点到上端点的方向，NBin表示方向等分数量；
步骤6.5、待检测区域Ri的异常性量化公式为：
<mrow>
<msub>
<mi>A</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mi>n</mi>
<mi>o</mi>
<mi>r</mi>
<mi>m</mi>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mi>o</mi>
<mi>r</mi>
<mi>m</mi>
<mo>(</mo>
<mrow>
<msubsup>
<mi>A</mi>
<mi>i</mi>
<mo>&prime;</mo>
</msubsup>
<mo>*</mo>
<msubsup>
<mi>w</mi>
<mi>d</mi>
<mi>i</mi>
</msubsup>
</mrow>
<mo>)</mo>
<mo>*</mo>
<msubsup>
<mi>w</mi>
<mi>o</mi>
<mi>i</mi>
</msubsup>
<mo>)</mo>
</mrow>
</mrow>
其中，norm(x)为归一化函数，将参数x归一化为[0,1]；
根据异常性量化公式计算每个待检测区域的异常性值，如果异常性值大于阈值，则该区域为异常运动区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710722400.7A CN107480646B (zh) | 2017-08-22 | 2017-08-22 | 一种基于双目视觉的车载视频异常运动检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710722400.7A CN107480646B (zh) | 2017-08-22 | 2017-08-22 | 一种基于双目视觉的车载视频异常运动检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107480646A true CN107480646A (zh) | 2017-12-15 |
| CN107480646B CN107480646B (zh) | 2020-09-25 |
Family
ID=60601473
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710722400.7A Expired - Fee Related CN107480646B (zh) | 2017-08-22 | 2017-08-22 | 一种基于双目视觉的车载视频异常运动检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107480646B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108230305A (zh) * | 2017-12-27 | 2018-06-29 | 浙江新再灵科技股份有限公司 | 基于视频分析扶梯异常运行状态检测的方法 |
| CN108491763A (zh) * | 2018-03-01 | 2018-09-04 | 北京市商汤科技开发有限公司 | 三维场景识别网络的无监督训练方法、装置及存储介质 |
| CN109492609A (zh) * | 2018-11-27 | 2019-03-19 | 上海芯仑光电科技有限公司 | 一种检测车道线的方法和车辆、及计算设备 |
| CN109816611A (zh) * | 2019-01-31 | 2019-05-28 | 北京市商汤科技开发有限公司 | 视频修复方法及装置、电子设备和存储介质 |
| CN111047908A (zh) * | 2018-10-12 | 2020-04-21 | 富士通株式会社 | 跨线车辆的检测装置、方法及视频监控设备 |
| CN112258462A (zh) * | 2020-10-13 | 2021-01-22 | 广州杰赛科技股份有限公司 | 一种车辆检测方法、装置及计算机可读存储介质 |
| CN112651269A (zh) * | 2019-10-12 | 2021-04-13 | 常州通宝光电股份有限公司 | 一种快速检测夜间前方同向车辆方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105678787A (zh) * | 2016-02-03 | 2016-06-15 | 西南交通大学 | 一种基于双目鱼眼摄像头的载重货车行驶障碍物检测及跟踪方法 |
| CN106240458A (zh) * | 2016-07-22 | 2016-12-21 | 浙江零跑科技有限公司 | 一种基于车载双目相机的车辆前方碰撞预警方法 |
| CN106256606A (zh) * | 2016-08-09 | 2016-12-28 | 浙江零跑科技有限公司 | 一种基于车载双目相机的车道偏离预警方法 |
| CN106991669A (zh) * | 2017-03-14 | 2017-07-28 | 北京工业大学 | 一种基于深度选择性差异的显著性检测方法 |
-
2017
- 2017-08-22 CN CN201710722400.7A patent/CN107480646B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105678787A (zh) * | 2016-02-03 | 2016-06-15 | 西南交通大学 | 一种基于双目鱼眼摄像头的载重货车行驶障碍物检测及跟踪方法 |
| CN106240458A (zh) * | 2016-07-22 | 2016-12-21 | 浙江零跑科技有限公司 | 一种基于车载双目相机的车辆前方碰撞预警方法 |
| CN106256606A (zh) * | 2016-08-09 | 2016-12-28 | 浙江零跑科技有限公司 | 一种基于车载双目相机的车道偏离预警方法 |
| CN106991669A (zh) * | 2017-03-14 | 2017-07-28 | 北京工业大学 | 一种基于深度选择性差异的显著性检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 吴卫东: "基于视觉注意机制的视频显著目标检测技术研究", 《中国优秀硕士学位论文全文数据库-信息科技辑》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108230305A (zh) * | 2017-12-27 | 2018-06-29 | 浙江新再灵科技股份有限公司 | 基于视频分析扶梯异常运行状态检测的方法 |
| CN108491763A (zh) * | 2018-03-01 | 2018-09-04 | 北京市商汤科技开发有限公司 | 三维场景识别网络的无监督训练方法、装置及存储介质 |
| CN111047908A (zh) * | 2018-10-12 | 2020-04-21 | 富士通株式会社 | 跨线车辆的检测装置、方法及视频监控设备 |
| CN111047908B (zh) * | 2018-10-12 | 2021-11-02 | 富士通株式会社 | 跨线车辆的检测装置、方法及视频监控设备 |
| WO2020107523A1 (zh) * | 2018-11-27 | 2020-06-04 | 上海芯仑光电科技有限公司 | 一种检测车道线的方法和车辆、及计算设备 |
| CN109492609B (zh) * | 2018-11-27 | 2020-05-15 | 上海芯仑光电科技有限公司 | 一种检测车道线的方法和车辆、及计算设备 |
| CN109492609A (zh) * | 2018-11-27 | 2019-03-19 | 上海芯仑光电科技有限公司 | 一种检测车道线的方法和车辆、及计算设备 |
| US11941891B2 (en) | 2018-11-27 | 2024-03-26 | OmniVision Sensor Solution (Shanghai) Co., Ltd. | Method for detecting lane line, vehicle and computing device |
| CN109816611A (zh) * | 2019-01-31 | 2019-05-28 | 北京市商汤科技开发有限公司 | 视频修复方法及装置、电子设备和存储介质 |
| US11544820B2 (en) | 2019-01-31 | 2023-01-03 | Beijing Sensetime Technology Development Co., Ltd. | Video repair method and apparatus, and storage medium |
| CN112651269A (zh) * | 2019-10-12 | 2021-04-13 | 常州通宝光电股份有限公司 | 一种快速检测夜间前方同向车辆方法 |
| CN112651269B (zh) * | 2019-10-12 | 2024-05-24 | 常州通宝光电股份有限公司 | 一种快速检测夜间前方同向车辆方法 |
| CN112258462A (zh) * | 2020-10-13 | 2021-01-22 | 广州杰赛科技股份有限公司 | 一种车辆检测方法、装置及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107480646B (zh) | 2020-09-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107480646B (zh) | 一种基于双目视觉的车载视频异常运动检测方法 | |
| Bilal et al. | Real-time lane detection and tracking for advanced driver assistance systems | |
| CN106407893B (zh) | 一种检测车道线的方法、装置和设备 | |
| CN113370977B (zh) | 一种基于视觉的智能车辆前向碰撞预警方法及系统 | |
| CN106096525B (zh) | 一种复合型车道识别系统及方法 | |
| JP5297078B2 (ja) | 車両の死角における移動物体を検知するための方法、および死角検知装置 | |
| EP3007099B1 (en) | Image recognition system for a vehicle and corresponding method | |
| Labayrade et al. | In-vehicle obstacles detection and characterization by stereovision | |
| CN105460009B (zh) | 汽车控制方法及装置 | |
| Yan et al. | A method of lane edge detection based on Canny algorithm | |
| KR100975749B1 (ko) | 단일 차선을 이용한 차선 인식 및 차량의 차선 이탈 검출 방법 | |
| Huang et al. | Lane detection based on inverse perspective transformation and Kalman filter | |
| Bedruz et al. | Real-time vehicle detection and tracking using a mean-shift based blob analysis and tracking approach | |
| CN111738071B (zh) | 一种基于单目摄像机的运动变化的逆透视变换方法 | |
| KR101342124B1 (ko) | 영상을 이용한 전방 차량 인식 및 추적 시스템 및 이를 이용한 차량 인식 및 추적 방법 | |
| CN104636724A (zh) | 一种基于目标一致性的车载相机快速行人车辆检测方法 | |
| Li et al. | A robust lane detection method based on hyperbolic model | |
| CN108256445A (zh) | 车道线检测方法及系统 | |
| CN114693716A (zh) | 一种面向复杂交通条件下的驾驶环境综合识别信息提取方法 | |
| Dinh et al. | Image segmentation based on histogram of depth and an application in driver distraction detection | |
| CN104504730A (zh) | 一种对停放车辆及抛落物的区分方法 | |
| JP2018124963A (ja) | 画像処理装置、画像認識装置、画像処理プログラム、及び画像認識プログラム | |
| Ying et al. | An illumination-robust approach for feature-based road detection | |
| Gupta et al. | Robust lane detection using multiple features | |
| EP4009228A1 (en) | Method for determining a semantic free space |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200925 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |