CN105844222A - 基于视觉的前方车辆碰撞预警系统及方法 - Google Patents
基于视觉的前方车辆碰撞预警系统及方法 Download PDFInfo
- Publication number
- CN105844222A CN105844222A CN201610158143.4A CN201610158143A CN105844222A CN 105844222 A CN105844222 A CN 105844222A CN 201610158143 A CN201610158143 A CN 201610158143A CN 105844222 A CN105844222 A CN 105844222A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- collision
- module
- detection
- front vehicles
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
- B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于视觉的前方车辆碰撞预警系统及方法,包括:车辆前方场景获取模块、有效区域计算模块、车辆检测模块、车辆定位模块、碰撞预警模块;车辆前方场景获取模块用于录制车辆前方的实时路况场景;有效区域计算模块用于计算车辆前方自车道及与自车道相邻的左右车道的检测区域在图像中的投影位置;车辆检测模块用于检测在有效区域内的车辆,确定车辆候选区;车辆定位模块用于获取车辆候选区内车辆的置信度并得到前方车辆下底边的精确位置;碰撞预警模块用于根据碰撞时间发布不同等级的预警。本发明能够适用于各种恶劣天气,并提供车辆碰撞时间,设定预警等级,及时准确地做出预警提示。
Description
技术领域
本发明涉及汽车电子及碰撞预警技术,具体地,涉及一种基于视觉的前方车辆碰撞预警系统及方法。
背景技术
随着中国经济的快速增长,汽车保有量在中国每年以数百万辆的速度增加。随着道路车辆增多,驾驶员因疲劳、疏忽等原因不能及时发现与前车追尾的危险,造成追尾事故的发生事件时有发生。前方车辆预警通过安装在车辆前方的相机,并采用车载处理器对得到的车辆前方场景视频进行图像处理,为驾驶员提供前方车辆碰撞预警,从而提高驾驶的安全性。基于视觉的碰撞预警系统由安装在车辆前方的相机获取车辆前方场景,因此基于场景内容的车辆检测以及前方车辆距离的计算是一个关键环节。车辆检测的准确性以及车辆距离的精确性直接决定了前方车辆预警系统的效果和便利性。现有的方法是根据车辆的特征先验信息,如水平边缘、垂直边缘,边缘对称性,下底边阴影特征,车辆后车灯等等特征信息,检测视频中是否有车辆。这种方法只是在某些场景下有效,对于阴天、雨天导致边缘不清楚,或者被遮挡导致边缘不完整时,该方法不能正常工作。
准确性和有效性是前方车辆预警系统需要考虑的主要问题。现有的前方车辆预警系统有的准确度不高,有的适用性差,从而降低了前方车辆碰撞预警系统的可用性。
相关检索结果1:
申请(专利)号:CN103569110A
名称:基于机器视觉的前车碰撞警告系统及采用该系统实现前车碰撞警告的方法
上述发明公开一种基于机器视觉的前车碰撞警告系统及采用该系统实现前车碰撞警告的方法,其采用先进的计算机视觉模式识别算法,结合高速数字信号处理器对安装在车上的前视摄像头采集的行车路况实时分析,可以在预测到将与前车碰撞的情况下向驾驶员发出视觉、听觉或触觉方面的警告,以提示司机注意安全行驶,有效减少追尾事故发生。
与本发明技术相比,相关检索结果1中所采用的车辆检测方法与本发明不同,且本发明增加了车辆底边定位法,定位准确度更高。
相关检索结果2:
申请(专利)号:CN102303563B
名称:前车碰撞预警系统及方法
上述发明提出一种前车碰撞预警系统,包括电连接的前车识别单元,距离测量单元和报警单元;其中前车识别单元包括至少一个摄像头,用于接收传递前方车辆信号;距离测量单元与前车识别单元连接,计算车体与前方车辆之间的距离和碰撞时间,当碰撞时间小于设定的阈值时,通过报警单元发出前车碰撞报警信号。前车碰撞预警方法的实现包括以下步骤:步骤1标定摄像单元,以接收前方车辆信号;步骤2检测的有效区域;步骤3通过连通分量分析法获取水平和垂直边缘,并进行整合;步骤4验证有效区域内是否有车辆;步骤5计算车体和前方车辆之间的距离,并判断是否发出报警指令;步骤6根据报警指令发出报警信号。
与本发明技术相比,相关检索结果2只是利用车辆特征方法,如边缘检测,对称性等,并没有提供车辆定位功能。此外,本发明中检测与前车距离的计算方法与上述发明不同,本发明通过车辆定位模块确定前方车辆下底边的精确位置,利用相机模块参数,计算车辆在世界坐标中的位置,进而确定前方车辆与自身的物理距离;并根据前后两帧检测出的距离差,计算相对速度,进而计算出辆车碰撞的时间。本发明中的方法无需通过复杂的似然度函数计算权值来判断车辆的灰度特征,进而分析出多个候选区域中的车辆;因此计算速度更快,预警更及时,且具备预警等级划分功能。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种基于视觉的前方车辆碰撞预警系统及方法。
根据本发明提供的基于视觉的前方车辆碰撞预警系统,包括:车辆前方场景获取模块、有效区域计算模块、车辆检测模块、车辆定位模块、碰撞预警模块,其中:
-所述车辆前方场景获取模块至少包含一个设置在车辆前方的摄像头,用于录制车辆前方的实时路况场景;
-所述有效区域计算模块,用于根据摄像头的型号参数,在不同检测距离时,计算车辆前方自车道及与自车道相邻的左右车道的检测区域在图像中的投影位置;
-所述车辆检测模块包括车辆检测分类器,所述车辆检测分类器经由车辆样本和背景样本训练后用于检测在有效区域内的车辆,确定车辆候选区;
-所述车辆定位模块,用于获取车辆候选区内车辆的置信度,根据设置的置信度阈值去除背景,并确定前方车辆的边缘位置,检测前方车辆下底边的阴影区域后得到前方车辆下底边的精确位置;
-所述碰撞预警模块,用于根据前方车辆下底边的位置确定与前方车辆的物理距离,并计算出与前方车辆的相对速度和碰撞时间,并根据碰撞时间发布不同等级的预警。
优选地,所述有效区域计算模块检测车辆前方三个车道区域内的车辆,设置自车辆所在位置为区域中心,向左拓展1.5个车道宽,向右拓展1.5个车道宽,得到检测宽度,利用相机模型参数,根据不同的检测距离,计算检测区域在图像上的投影位置;
其中,所述有效区域是指:车辆前方自车道和与自车道相邻的左、右两个车道区域投影到摄像机图像中所在的对应区域。
优选地,所述车辆检测模块中包含有车辆样本和背景样本,所述车辆样本包括不同车型的车辆的图片,所述背景样本为在各种天气状况下的不包含车辆的背景图片;分别通过大量的车辆样本和背景样本训练车辆检测分类器,用经过训练的车辆检测分类器在摄像机的视频图像的有效区域中检测是否存在车辆,若存在则获取车辆的位置,确定车辆候选区。
优选地,所述车辆定位模块包括:车辆验证模块和车辆下底边定位模块;
所述车辆验证模块用于在车辆候选区域中获取前方车辆的水平边缘和垂直边缘,计算边缘的对称性,检测车辆下底边阴影和车辆车后灯的位置,利用边缘对称性、下底边阴影、以及车辆车后灯获取车辆的置信度;根据设置的不同置信度阈值去除背景;
具体地,边缘对称性计算是指获取车辆候选区域图像的垂直梯度图像,统计每一列的梯度强度,得到边缘统计直方图,计算直方图的两个峰值,并确定峰值所在的列,分别记为x1,x2,所述两列定义为车辆的左右边缘,则能够计算得到车辆的中心xc以及车辆的宽度w,计算公式如下:
xc=(x1+x2)/2;
w=x2-x1;
所述车辆下底边定位模块,用于计算车辆候选区域的水平边缘和垂直边缘,确定车辆的精确边缘位置,并检测车辆下底边的阴影区域,结合阴影区域确定车辆的下底边的精确位置;
具体地,车辆候选区域的水平边缘和垂直边缘是通过对车辆候选区域图像进行中心差分滤波[-1,0,1]计算图像水平方向的像素差以及垂直方向的像素差,获得到水平边缘和垂直边缘。
优选地,所述碰撞预警模块包括碰撞时间计算模块和碰撞时间警告模块;
所述碰撞时间计算模块用于根据车辆下底边的位置以及摄像机的位置参数确定车辆在世界坐标中的位置后得到前方车辆与自车的物理距离;并根据摄像机视频前后两帧图像检测出前方车辆与自车物理距离的距离差,计算相对速度和车辆碰撞的时间;
具体地,假设前后两帧图像中的前方车辆与自车的距离为D1和D2,距离差为Diff;根据视频的帧率确定前后两帧的时间间隔,即为前后两帧的时间差,记为Dt,则自车与目标车辆的相对速度v和碰撞时间t的公式计算如下:
Diff=D1-D2;
v=Diff/Dt;
进而碰撞时间为t=D2/v;
碰撞时间警告模块用于根据输出的碰撞时间,以及预先设定的预警等级,发出预警警告。
根据本发明提供的基于视觉的前方车辆碰撞预警方法,包括如下步骤:
车辆前方场景获取步骤:录制车辆前方的实时路况场景;
有效区域计算步骤:根据摄像头的型号参数,在不同检测距离时,计算车辆前方自车道及与自车道相邻的左右车道的检测区域在图像中的投影位置;
车辆检测步骤:检测在有效区域内的车辆,确定车辆候选区;
车辆定位步骤:获取车辆候选区内车辆的置信度,根据设置的置信度阈值去除背景,并确定前方车辆的边缘位置,检测前方车辆下底边的阴影区域后得到前方车辆下底边的精确位置;
碰撞预警步骤:根据前方车辆下底边的位置确定与前方车辆的物理距离,并计算出与前方车辆的相对速度和碰撞时间,并根据碰撞时间发布不同等级的预警。
优选地,所述有效区域计算步骤包括:检测车辆前方三个车道区域内的车辆,设置自车辆所在位置为区域中心,向左拓展1.5个车道宽,向右拓展1.5个车道宽,得到检测宽度,利用相机模型参数,根据不同的检测距离,计算检测区域在图像上的投影位置;
其中,所述有效区域是指:车辆前方自车道和与自车道相邻的左、右两个车道区域投影到摄像机图像中所在的对应区域。
优选地,所述车辆检测步骤包括:搜集车辆样本和背景样本,所述车辆样本包括不同车型的车辆的图片,所述背景样本为在各种天气状况下的不包含车辆的背景图片;分别通过车辆样本和背景样本训练车辆检测分类器,用经过训练的车辆检测分类器在摄像机的视频图像的有效区域中检测是否存在车辆,若存在则获取车辆的位置,确定车辆候选区。
优选地,所述车辆定位步骤包括:
车辆验证步骤:在车辆候选区域中获取前方车辆的水平边缘和垂直边缘,计算边缘的对称性,检测车辆下底边阴影和车辆车后灯的位置,利用边缘对称性、下底边阴影、以及车辆车后灯获取车辆的置信度;根据设置的不同置信度阈值去除背景;
具体地,边缘对称性计算是指获取车辆候选区域图像的垂直梯度图像,统计每一列的梯度强度,得到边缘统计直方图,计算直方图的两个峰值,并确定峰值所在的列,分别记为x1,x2,所述两列定义为车辆的左右边缘,则能够计算得到车辆的中心xc以及车辆的宽度w,计算公式如下:
xc=(x1+x2)/2;
w=x2-x1;
车辆下底边定位步骤:计算车辆候选区域的水平边缘和垂直边缘,确定车辆的边缘位置,并检测车辆下底边的阴影区域,结合阴影区域确定车辆的下底边的精确位置;
具体地,车辆候选区域的水平边缘和垂直边缘是通过对车辆候选区域图像进行中心差分滤波[-1,0,1]计算图像水平方向的像素差以及垂直方向的像素差,获得到水平边缘和垂直边缘。
优选地,所述碰撞预警步骤包括:
碰撞时间计算步骤:根据车辆下底边的位置以及摄像机的位置参数确定车辆在世界坐标中的位置后得到前方车辆与自车的物理距离;并根据摄像机视频前后两帧图像检测出前方车辆与自车物理距离的距离差,计算相对速度和辆车碰撞的时间;
具体地,假设前后两帧图像中的前方车辆与自车的距离为D1和D2,距离差为Diff;根据视频的帧率确定前后两帧的时间间隔,即为前后两帧的时间差,记为Dt,则自车与目标车辆的相对速度v和碰撞时间t的公式计算如下:
Diff=D1-D2;
v=Diff/Dt;
进而碰撞时间为t=D2/v;
碰撞时间警告步骤:根据输出的碰撞时间,以及预先设定的预警等级,发出预警警告。
与现有技术相比,本发明具有如下的有益效果:
1、本发明提供的基于视觉的前方车辆碰撞预警方法能够适用于各种恶劣天气,并提供车辆碰撞时间,设定预警等级,及时准确地做出预警提示。
2、本发明提供的基于视觉的前方车辆碰撞预警方法能够准确计算出与前车的距离,并计算出两车的相对速度,当碰撞时间大于1s时,不输出警告,碰撞时间小于1s时发出报警提示;减少误报率,提高驾车体验及安全性。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本发明提供的基于视觉的前方车辆碰撞预警方法的流程示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进。这些都属于本发明的保护范围。
根据本发明提供的基于视觉的前方车辆碰撞预警系统,包括:车辆前方场景获取模块、有效区域计算模块、车辆检测模块、车辆定位模块、碰撞预警模块,其中:
-所述车辆前方场景获取模块至少包含一个设置在车辆前方的摄像头,用于录制车辆前方的实时路况场景;
-所述有效区域计算模块,用于根据摄像头的型号参数,在不同检测距离时,计算车辆前方自车道及与自车道相邻的左右车道的检测区域在图像中的投影位置;
-所述车辆检测模块包括车辆检测分类器,所述车辆检测分类器经由车辆样本和背景样本训练后用于检测在有效区域内的车辆,确定车辆候选区;
-所述车辆定位模块,用于获取车辆候选区内车辆的置信度,根据设置的置信度阈值去除背景,并确定前方车辆的精确边缘位置,检测前方车辆下底边的阴影区域后得到前方车辆下底边的精确位置;
-所述碰撞预警模块,用于根据前方车辆下底边的位置确定与前方车辆的物理距离,并计算出与前方车辆的相对速度和碰撞时间,并根据碰撞时间发布不同等级的预警。
所述有效区域计算模块检测车辆前方三个车道区域内的车辆,设置自车辆所在位置为区域中心,向左拓展1.5个车道宽,向右拓展1.5个车道宽,得到检测宽度,利用相机模型参数,根据不同的检测距离,计算检测区域在图像上的投影位置;
其中,所述有效区域是指:车辆前方自车道和与自车道相邻的左、右两个车道区域投影到摄像机图像中所在的对应区域。
所述车辆检测模块中包含有大量的车辆样本和背景样本,所述车辆样本包括不同车型的车辆的图片,所述背景样本为在各种天气状况下的不包含车辆的背景图片;分别通过大量的车辆样本和背景样本训练车辆检测分类器,用经过训练的车辆检测分类器在摄像机的视频图像的有效区域中检测是否存在车辆,若存在则获取车辆的位置,确定车辆候选区。
所述车辆定位模块包括:车辆验证模块和车辆下底边定位模块;
所述车辆验证模块用于在车辆候选区域中获取前方车辆的水平边缘和垂直边缘,计算边缘的对称性,检测车辆下底边阴影和车辆车后灯的位置,利用边缘对称性、下底边阴影、以及车辆车后灯获取候选车辆区域,即车辆的置信度;根据设置的不同置信度阈值去除背景;
所述车辆下底边定位模块,用于计算车辆候选区域的水平边缘和垂直边缘,确定车辆的精确边缘位置,并检测车辆下底边的阴影区域,结合阴影区域确定车辆的下底边的精确位置。
所述碰撞预警模块包括碰撞时间计算模块和碰撞时间警告模块;
所述碰撞时间计算模块用于根据车辆下底边的位置以及摄像机的位置参数确定车辆在世界坐标中的位置后得到前方车辆与自车的物理距离;并根据摄像机视频前后两帧图像检测出前方车辆与自车物理距离的距离差,计算相对速度和辆车碰撞的时间。
碰撞时间警告模块用于根据输出的碰撞时间,以及预先设定的预警等级,发出预警警告。
根据本发明提供的基于视觉的前方车辆碰撞预警方法,包括如下步骤:
车辆前方场景获取步骤:录制车辆前方的实时路况场景;
有效区域计算步骤:根据摄像头的型号参数,在不同检测距离时,计算车辆前方自车道及与自车道相邻的左右车道的检测区域在图像中的投影位置;
车辆检测步骤:检测在有效区域内的车辆,确定车辆候选区;
车辆定位步骤:获取车辆候选区内车辆的置信度,根据设置的置信度阈值去除背景,并确定前方车辆的精确边缘位置,检测前方车辆下底边的阴影区域后得到前方车辆下底边的精确位置;
碰撞预警步骤:根据前方车辆下底边的位置确定与前方车辆的物理距离,并计算出与前方车辆的相对速度和碰撞时间,并根据碰撞时间发布不同等级的预警。
所述有效区域计算步骤包括:检测车辆前方三个车道区域内的车辆,设置自车辆所在位置为区域中心,向左拓展1.5个车道宽,向右拓展1.5个车道宽,得到检测宽度,利用相机模型参数,根据不同的检测距离,计算检测区域在图像上的投影位置;
其中,所述有效区域是指:车辆前方自车道和与自车道相邻的左、右两个车道区域投影到摄像机图像中所在的对应区域。
所述车辆检测步骤包括:搜集大量的车辆样本和背景样本,所述车辆样本包括不同车型的车辆的图片,所述背景样本为在各种天气状况下的不包含车辆的背景图片;分别通过大量的车辆样本和背景样本训练车辆检测分类器,用经过训练的车辆检测分类器在摄像机的视频图像的有效区域中检测是否存在车辆,若存在则获取车辆的位置,确定车辆候选区。
所述车辆定位步骤包括:
车辆验证步骤:在车辆候选区域中获取前方车辆的水平边缘和垂直边缘,计算边缘的对称性,检测车辆下底边阴影和车辆车后灯的位置,利用边缘对称性、下底边阴影、以及车辆车后灯获取候选车辆区域,即车辆的置信度;根据设置的不同置信度阈值去除背景;
具体地,车辆候选区域的水平边缘和垂直边缘是通过对车辆候选区域图像进行中心差分滤波[-1,0,1]计算图像水平方向的像素差以及垂直方向的像素差,获得到水平边缘和垂直边缘。
车辆下底边定位步骤:计算车辆候选区域的水平边缘和垂直边缘,确定车辆的精确边缘位置,并检测车辆下底边的阴影区域,结合阴影区域确定车辆的下底边的精确位置。边缘对称性计算
对于垂直梯度图像,从图像左边缘开始,统计每一列的梯度强度,得到边缘统计直方图,计算直方图的两个峰值,并确定峰值所在的列,记为x1,x2,这两列可以认为车辆的左右边缘,进而可以确定车辆的中心xc=(x1+x2)/2,车辆的宽度w=x2-x1。
假设候选车辆的高度为H,在[H/3,H]和[x1,x2]区间内,以xc为中心点,以dw=w/10位步长遍历,计算对称性。
例如,对于某一行r,r属于[H/3,H],计算梯度差值diff=img(r,xc+i*dw)-img(r,xc-i*dw),如果diff小于阈值T,则认为此两个点具有对称性,否则,不具有对称性。其中,img为图像,img(i,j)代表图像img在第i行第j列的像素值。
假设满足条件的对称性的点对有N1个,所有的点对为N2个,则对称性通过如下公式计算symmetryCfd=N1/N2。
所述碰撞预警步骤包括:
碰撞时间计算步骤:根据车辆下底边的位置以及摄像机的位置参数确定车辆在世界坐标中的位置后得到前方车辆与自车的物理距离;并根据摄像机视频前后两帧图像检测出前方车辆与自车物理距离的距离差,计算相对速度和辆车碰撞的时间。
碰撞时间警告步骤:根据输出的碰撞时间,以及预先设定的预警等级,发出预警警告。
更具体的,实施例:
提供基于视觉的前方车辆碰撞预警系统,包括:车辆前方场景获取模块、有效区域计算模块、车辆检测模块、车辆验证模块、车辆定位模块、碰撞时间计算模块以及碰撞时间警告模块;具体地,
1)车辆前方场景获取模块:由安装在车辆前方不遮挡驾驶员视线的摄像头录取车辆前方实时路况场景,用于后续的场景内容分析做准备。
2)有效区域计算模块:假设检测车辆前方三个车道区域内的车辆,设置自车所在位置为区域中心,向左拓展1.5个车道宽,向右拓展1.5个车道宽,得到检测宽度,利用相机模型参数,根据不同的检测距离,计算检测区域在图像上的投影位置。
3)车辆检测模块:搜集大量的不同条件下的车辆样本以及不同类型的车辆,如晴天,雾天,雨天,卡车、小轿车,SUV等不同车型的车辆。搜集大量的背景样本,背景样本为不包含车辆的任何图片。利用搜集的车辆样本和背景样本,训练车辆检测分类器。用训练好的分类器在视频有效区域中检测车辆,确定车辆候选区域。
4)车辆验证模块:对第三步确定的车辆候选区域,计算其水平边缘和垂直边缘,计算边缘的对称性,检测车辆下底边阴影,并检测车辆车后灯。利用边缘对称性、下底边阴影、以及车辆车后灯计算候选车辆区域是车辆的置信度。根据不同的置信度阈值,可以进一步去除背景,并增加真正车辆的置信度。
5)车辆定位模块:前面得到的车辆区域,并不能精确的定位到车辆下底边。次模块计算车辆候选区域的水平边缘和垂直边缘,确定车辆的精确边缘位置,并检测车辆的下底边的阴影区域,结合阴影区域,确定车辆的下底边的精确位置。
6)碰撞时间计算模块:根据第5步得到的车辆下底边的位置,利用相机模块参数,计算车辆在世界坐标中的位置,进而确定车辆与自车的物理距离。根据前后两帧检测出的距离差,计算相对速度,进而计算出辆车碰撞的时间。
7)碰撞时间警告模块:根据输出的碰撞时间,以及预先设定的预警等级,发出预警警告。碰撞时间大于1s时,不输出警告,碰撞时间小于1s时发出报警提示。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变形或修改,这并不影响本发明的实质内容。
Claims (10)
1.一种基于视觉的前方车辆碰撞预警系统,其特征在于,包括:车辆前方场景获取模块、有效区域计算模块、车辆检测模块、车辆定位模块、碰撞预警模块,其中:
-所述车辆前方场景获取模块至少包含一个设置在车辆前方的摄像头,用于录制车辆前方的实时路况场景;
-所述有效区域计算模块,用于根据摄像头的型号参数,在不同检测距离时,计算车辆前方自车道及与自车道相邻的左右车道的检测区域在图像中的投影位置;
-所述车辆检测模块包括车辆检测分类器,所述车辆检测分类器经由车辆样本和背景样本训练后用于检测在有效区域内的车辆,确定车辆候选区;
-所述车辆定位模块,用于获取车辆候选区内车辆的置信度,根据设置的置信度阈值去除背景,并确定前方车辆的边缘位置,检测前方车辆下底边的阴影区域后得到前方车辆下底边的精确位置;
-所述碰撞预警模块,用于根据前方车辆下底边的位置确定与前方车辆的物理距离,并计算出与前方车辆的相对速度和碰撞时间,并根据碰撞时间发布不同等级的预警。
2.根据权利要求1所述的基于视觉的前方车辆碰撞预警系统,其特征在于,所述有效区域计算模块检测车辆前方三个车道区域内的车辆,设置自车辆所在位置为区域中心,向左拓展1.5个车道宽,向右拓展1.5个车道宽,得到检测宽度,利用相机模型参数,根据不同的检测距离,计算检测区域在图像上的投影位置;
其中,所述有效区域是指:车辆前方自车道和与自车道相邻的左、右两个车道区域投影到摄像机图像中所在的对应区域。
3.根据权利要求1所述的基于视觉的前方车辆碰撞预警系统,其特征在于,所述车辆检测模块中包含有车辆样本和背景样本,所述车辆样本包括不同车型的车辆的图片,所述背景样本为在各种天气状况下的不包含车辆的背景图片;分别通过大量的车辆样本和背景样本训练车辆检测分类器,用经过训练的车辆检测分类器在摄像机的视频图像的有效区域中检测是否存在车辆,若存在则获取车辆的位置,确定车辆候选区。
4.根据权利要求1所述的基于视觉的前方车辆碰撞预警系统,其特征在于,所述车辆定位模块包括:车辆验证模块和车辆下底边定位模块;
所述车辆验证模块用于在车辆候选区域中获取前方车辆的水平边缘和垂直边缘,计算边缘的对称性,检测车辆下底边阴影和车辆车后灯的位置,利用边缘对称性、下底边阴影、以及车辆车后灯获取车辆的置信度;根据设置的不同置信度阈值去除背景;
具体地,边缘对称性计算是指获取车辆候选区域图像的垂直梯度图像,统计每一列的梯度强度,得到边缘统计直方图,计算直方图的两个峰值,并确定峰值所在的列,分别记为x1,x2,所述两列定义为车辆的左右边缘,则能够计算得到车辆的中心xc以及车辆的宽度w,计算公式如下:
xc=(x1+x2)/2;
w=x2-x1;
所述车辆下底边定位模块,用于计算车辆候选区域的水平边缘和垂直边缘,确定车辆的精确边缘位置,并检测车辆下底边的阴影区域,结合阴影区域确定车辆的下底边的精确位置;
具体地,车辆候选区域的水平边缘和垂直边缘是通过对车辆候选区域图像进行中心差分滤波[-1,0,1]计算图像水平方向的像素差以及垂直方向的像素差,获得到水平边缘和垂直边缘。
5.根据权利要求4所述的基于视觉的前方车辆碰撞预警系统,其特征在于,所述碰撞预警模块包括碰撞时间计算模块和碰撞时间警告模块;
所述碰撞时间计算模块用于根据车辆下底边的位置以及摄像机的位置参数确定车辆在世界坐标中的位置后得到前方车辆与自车的物理距离;并根据摄像机视频前后两帧图像检测出前方车辆与自车物理距离的距离差,计算相对速度和车辆碰撞的时间;
具体地,假设前后两帧图像中的前方车辆与自车的距离为D1和D2,距离差为Diff;根据视频的帧率确定前后两帧的时间间隔,即为前后两帧的时间差,记为Dt,则自车与目标车辆的相对速度v和碰撞时间t的公式计算如下:
Diff=D1-D2;
v=Diff/Dt;
进而碰撞时间为t=D2/v;
碰撞时间警告模块用于根据输出的碰撞时间,以及预先设定的预警等级,发出预警警告。
6.一种基于视觉的前方车辆碰撞预警方法,其特征在于,包括如下步骤:
车辆前方场景获取步骤:录制车辆前方的实时路况场景;
有效区域计算步骤:根据摄像头的型号参数,在不同检测距离时,计算车辆前方自车道及与自车道相邻的左右车道的检测区域在图像中的投影位置;
车辆检测步骤:检测在有效区域内的车辆,确定车辆候选区;
车辆定位步骤:获取车辆候选区内车辆的置信度,根据设置的置信度阈值去除背景,并确定前方车辆的边缘位置,检测前方车辆下底边的阴影区域后得到前方车辆下底边的精确位置;
碰撞预警步骤:根据前方车辆下底边的位置确定与前方车辆的物理距离,并计算出与前方车辆的相对速度和碰撞时间,并根据碰撞时间发布不同等级的预警。
7.根据权利要求6所述的基于视觉的前方车辆碰撞预警方法,其特征在于,所述有效区域计算步骤包括:检测车辆前方三个车道区域内的车辆,设置自车辆所在位置为区域中心,向左拓展1.5个车道宽,向右拓展1.5个车道宽,得到检测宽度,利用相机模型参数,根据不同的检测距离,计算检测区域在图像上的投影位置;
其中,所述有效区域是指:车辆前方自车道和与自车道相邻的左、右两个车道区域投影到摄像机图像中所在的对应区域。
8.根据权利要求6所述的基于视觉的前方车辆碰撞预警方法,其特征在于,所述车辆检测步骤包括:搜集车辆样本和背景样本,所述车辆样本包括不同车型的车辆的图片,所述背景样本为在各种天气状况下的不包含车辆的背景图片;分别通过车辆样本和背景样本训练车辆检测分类器,用经过训练的车辆检测分类器在摄像机的视频图像的有效区域中检测是否存在车辆,若存在则获取车辆的位置,确定车辆候选区。
9.根据权利要求6所述的基于视觉的前方车辆碰撞预警方法,其特征在于,所述车辆定位步骤包括:
车辆验证步骤:在车辆候选区域中获取前方车辆的水平边缘和垂直边缘,计算边缘的对称性,检测车辆下底边阴影和车辆车后灯的位置,利用边缘对称性、下底边阴影、以及车辆车后灯获取车辆的置信度;根据设置的不同置信度阈值去除背景;
具体地,边缘对称性计算是指获取车辆候选区域图像的垂直梯度图像,统计每一列的梯度强度,得到边缘统计直方图,计算直方图的两个峰值,并确定峰值所在的列,分别记为x1,x2,所述两列定义为车辆的左右边缘,则能够计算得到车辆的中心xc以及车辆的宽度w,计算公式如下:
xc=(x1+x2)/2;
w=x2-x1;
车辆下底边定位步骤:计算车辆候选区域的水平边缘和垂直边缘,确定车辆的边缘位置,并检测车辆下底边的阴影区域,结合阴影区域确定车辆的下底边的精确位置;
具体地,车辆候选区域的水平边缘和垂直边缘是通过对车辆候选区域图像进行中心差分滤波[-1,0,1]计算图像水平方向的像素差以及垂直方向的像素差,获得到水平边缘和垂直边缘。
10.根据权利要求9所述的基于视觉的前方车辆碰撞预警方法,其特征在于,所述碰撞预警步骤包括:
碰撞时间计算步骤:根据车辆下底边的位置以及摄像机的位置参数确定车辆在世界坐标中的位置后得到前方车辆与自车的物理距离;并根据摄像机视频前后两帧图像检测出前方车辆与自车物理距离的距离差,计算相对速度和辆车碰撞的时间;
具体地,假设前后两帧图像中的前方车辆与自车的距离为D1和D2,距离差为Diff;根据视频的帧率确定前后两帧的时间间隔,即为前后两帧的时间差,记为Dt,则自车与目标车辆的相对速度v和碰撞时间t的公式计算如下:
Diff=D1-D2;
v=Diff/Dt;
进而碰撞时间为t=D2/v;
碰撞时间警告步骤:根据输出的碰撞时间,以及预先设定的预警等级,发出预警警告。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610158143.4A CN105844222B (zh) | 2016-03-18 | 2016-03-18 | 基于视觉的前方车辆碰撞预警系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610158143.4A CN105844222B (zh) | 2016-03-18 | 2016-03-18 | 基于视觉的前方车辆碰撞预警系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105844222A true CN105844222A (zh) | 2016-08-10 |
CN105844222B CN105844222B (zh) | 2019-07-30 |
Family
ID=56587593
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610158143.4A Active CN105844222B (zh) | 2016-03-18 | 2016-03-18 | 基于视觉的前方车辆碰撞预警系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105844222B (zh) |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106570487A (zh) * | 2016-11-10 | 2017-04-19 | 维森软件技术(上海)有限公司 | 物体间的碰撞预测方法和装置 |
CN107256382A (zh) * | 2017-05-19 | 2017-10-17 | 深圳佑驾创新科技有限公司 | 基于图像识别的虚拟保险杠控制方法和系统 |
CN107292282A (zh) * | 2017-07-04 | 2017-10-24 | 西安交通大学 | 一种基于语义推理和时空记忆更新的车辆检测方法 |
CN107609483A (zh) * | 2017-08-15 | 2018-01-19 | 中国科学院自动化研究所 | 面向驾驶辅助系统的危险目标检测方法、装置 |
CN107972662A (zh) * | 2017-10-16 | 2018-05-01 | 华南理工大学 | 一种基于深度学习的车辆前向碰撞预警方法 |
CN108064401A (zh) * | 2016-12-29 | 2018-05-22 | 深圳市柔宇科技有限公司 | 车辆预警方法、装置及系统 |
CN109218449A (zh) * | 2018-11-07 | 2019-01-15 | 航天信息股份有限公司 | 一种基于物联网的机场车辆辅助管理系统及管理方法 |
CN109703460A (zh) * | 2019-01-11 | 2019-05-03 | 合肥思艾汽车科技有限公司 | 多摄像头的复杂场景自适应车辆碰撞预警装置及预警方法 |
CN109815812A (zh) * | 2018-12-21 | 2019-05-28 | 辽宁石油化工大学 | 一种基于水平边缘信息累积的车辆下底边定位方法 |
CN110059566A (zh) * | 2019-03-20 | 2019-07-26 | 东软睿驰汽车技术(沈阳)有限公司 | 一种图像识别方法及装置 |
CN110962864A (zh) * | 2019-12-23 | 2020-04-07 | 高新兴物联科技有限公司 | 辅助驾驶方法、装置、终端及计算机可读存储介质 |
CN111332284A (zh) * | 2020-02-28 | 2020-06-26 | 华域视觉科技(上海)有限公司 | 一种车辆避撞灯光预警系统、方法及车辆 |
CN111369827A (zh) * | 2020-02-28 | 2020-07-03 | 华域视觉科技(上海)有限公司 | 一种行车安全灯光预警系统、方法及车辆 |
CN111950483A (zh) * | 2020-08-18 | 2020-11-17 | 北京理工大学 | 一种基于视觉的车辆前碰撞预测方法 |
CN112037365A (zh) * | 2020-09-01 | 2020-12-04 | 枣庄学院 | 面向行车记录仪基于边缘计算的车辆火灾事故检测报警系统 |
CN112365741A (zh) * | 2020-10-23 | 2021-02-12 | 淮阴工学院 | 一种基于多车道车距检测的安全预警方法及系统 |
CN112758088A (zh) * | 2019-11-05 | 2021-05-07 | 深圳市大富科技股份有限公司 | 危险源的提醒方法及高级驾驶辅助系统 |
CN113246856A (zh) * | 2021-05-28 | 2021-08-13 | 海信集团控股股份有限公司 | 车载设备及公交到站播报方法 |
CN114648504A (zh) * | 2022-03-17 | 2022-06-21 | 小米汽车科技有限公司 | 自动驾驶方法、装置、电子设备和存储介质 |
CN116500796A (zh) * | 2023-06-30 | 2023-07-28 | 合肥疆程技术有限公司 | 投影处理方法、抬头显示器、汽车及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005086079A1 (en) * | 2004-03-02 | 2005-09-15 | Sarnoff Corporation | Method and apparatus for differentiating pedestrians, vehicles, and other objects |
CN101016053A (zh) * | 2007-01-25 | 2007-08-15 | 吉林大学 | 高等级公路上车辆防追尾碰撞预警方法和系统 |
CN101211408A (zh) * | 2006-12-29 | 2008-07-02 | 沈阳东软软件股份有限公司 | 车辆侧面图像识别方法及装置、车灯误识别检测和行驶安全预测方法 |
CN102682455A (zh) * | 2012-05-10 | 2012-09-19 | 天津工业大学 | 一种基于单目视觉的前方车辆检测方法 |
CN104809437A (zh) * | 2015-04-28 | 2015-07-29 | 无锡赛睿科技有限公司 | 一种基于实时视频的车辆检测与跟踪方法 |
CN104809429A (zh) * | 2015-04-01 | 2015-07-29 | 南京航空航天大学 | 一种基于压缩感知的前方车辆检测方法 |
-
2016
- 2016-03-18 CN CN201610158143.4A patent/CN105844222B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005086079A1 (en) * | 2004-03-02 | 2005-09-15 | Sarnoff Corporation | Method and apparatus for differentiating pedestrians, vehicles, and other objects |
CN101211408A (zh) * | 2006-12-29 | 2008-07-02 | 沈阳东软软件股份有限公司 | 车辆侧面图像识别方法及装置、车灯误识别检测和行驶安全预测方法 |
CN101016053A (zh) * | 2007-01-25 | 2007-08-15 | 吉林大学 | 高等级公路上车辆防追尾碰撞预警方法和系统 |
CN102682455A (zh) * | 2012-05-10 | 2012-09-19 | 天津工业大学 | 一种基于单目视觉的前方车辆检测方法 |
CN104809429A (zh) * | 2015-04-01 | 2015-07-29 | 南京航空航天大学 | 一种基于压缩感知的前方车辆检测方法 |
CN104809437A (zh) * | 2015-04-28 | 2015-07-29 | 无锡赛睿科技有限公司 | 一种基于实时视频的车辆检测与跟踪方法 |
Cited By (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106570487A (zh) * | 2016-11-10 | 2017-04-19 | 维森软件技术(上海)有限公司 | 物体间的碰撞预测方法和装置 |
CN108064401A (zh) * | 2016-12-29 | 2018-05-22 | 深圳市柔宇科技有限公司 | 车辆预警方法、装置及系统 |
CN107256382A (zh) * | 2017-05-19 | 2017-10-17 | 深圳佑驾创新科技有限公司 | 基于图像识别的虚拟保险杠控制方法和系统 |
CN107292282B (zh) * | 2017-07-04 | 2019-10-11 | 西安交通大学 | 一种基于语义推理和时空记忆更新的车辆检测方法 |
CN107292282A (zh) * | 2017-07-04 | 2017-10-24 | 西安交通大学 | 一种基于语义推理和时空记忆更新的车辆检测方法 |
CN107609483A (zh) * | 2017-08-15 | 2018-01-19 | 中国科学院自动化研究所 | 面向驾驶辅助系统的危险目标检测方法、装置 |
CN107972662A (zh) * | 2017-10-16 | 2018-05-01 | 华南理工大学 | 一种基于深度学习的车辆前向碰撞预警方法 |
CN107972662B (zh) * | 2017-10-16 | 2019-12-10 | 华南理工大学 | 一种基于深度学习的车辆前向碰撞预警方法 |
CN109218449B (zh) * | 2018-11-07 | 2021-12-10 | 航天信息股份有限公司 | 一种基于物联网的机场车辆辅助管理系统及管理方法 |
CN109218449A (zh) * | 2018-11-07 | 2019-01-15 | 航天信息股份有限公司 | 一种基于物联网的机场车辆辅助管理系统及管理方法 |
CN109815812A (zh) * | 2018-12-21 | 2019-05-28 | 辽宁石油化工大学 | 一种基于水平边缘信息累积的车辆下底边定位方法 |
CN109703460A (zh) * | 2019-01-11 | 2019-05-03 | 合肥思艾汽车科技有限公司 | 多摄像头的复杂场景自适应车辆碰撞预警装置及预警方法 |
CN110059566A (zh) * | 2019-03-20 | 2019-07-26 | 东软睿驰汽车技术(沈阳)有限公司 | 一种图像识别方法及装置 |
WO2020186603A1 (zh) * | 2019-03-20 | 2020-09-24 | 东软睿驰汽车技术(沈阳)有限公司 | 一种图像识别方法及装置 |
WO2020187311A1 (zh) * | 2019-03-20 | 2020-09-24 | 东软睿驰汽车技术(沈阳)有限公司 | 一种图像识别方法及装置 |
CN112758088A (zh) * | 2019-11-05 | 2021-05-07 | 深圳市大富科技股份有限公司 | 危险源的提醒方法及高级驾驶辅助系统 |
CN110962864B (zh) * | 2019-12-23 | 2021-06-22 | 高新兴物联科技有限公司 | 辅助驾驶方法、装置、终端及计算机可读存储介质 |
CN110962864A (zh) * | 2019-12-23 | 2020-04-07 | 高新兴物联科技有限公司 | 辅助驾驶方法、装置、终端及计算机可读存储介质 |
CN111369827A (zh) * | 2020-02-28 | 2020-07-03 | 华域视觉科技(上海)有限公司 | 一种行车安全灯光预警系统、方法及车辆 |
CN111332284A (zh) * | 2020-02-28 | 2020-06-26 | 华域视觉科技(上海)有限公司 | 一种车辆避撞灯光预警系统、方法及车辆 |
CN111950483A (zh) * | 2020-08-18 | 2020-11-17 | 北京理工大学 | 一种基于视觉的车辆前碰撞预测方法 |
CN112037365A (zh) * | 2020-09-01 | 2020-12-04 | 枣庄学院 | 面向行车记录仪基于边缘计算的车辆火灾事故检测报警系统 |
CN112037365B (zh) * | 2020-09-01 | 2022-05-10 | 枣庄学院 | 面向行车记录仪基于边缘计算的车辆火灾事故检测报警系统 |
CN112365741A (zh) * | 2020-10-23 | 2021-02-12 | 淮阴工学院 | 一种基于多车道车距检测的安全预警方法及系统 |
CN112365741B (zh) * | 2020-10-23 | 2021-09-28 | 淮阴工学院 | 一种基于多车道车距检测的安全预警方法及系统 |
CN113246856A (zh) * | 2021-05-28 | 2021-08-13 | 海信集团控股股份有限公司 | 车载设备及公交到站播报方法 |
CN114648504A (zh) * | 2022-03-17 | 2022-06-21 | 小米汽车科技有限公司 | 自动驾驶方法、装置、电子设备和存储介质 |
CN114648504B (zh) * | 2022-03-17 | 2022-12-02 | 小米汽车科技有限公司 | 自动驾驶方法、装置、电子设备和存储介质 |
CN116500796A (zh) * | 2023-06-30 | 2023-07-28 | 合肥疆程技术有限公司 | 投影处理方法、抬头显示器、汽车及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN105844222B (zh) | 2019-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105844222A (zh) | 基于视觉的前方车辆碰撞预警系统及方法 | |
Kilicarslan et al. | Predict vehicle collision by TTC from motion using a single video camera | |
CN110443225B (zh) | 一种基于特征像素统计的虚实车道线识别方法及其装置 | |
CN112700470B (zh) | 一种基于交通视频流的目标检测和轨迹提取方法 | |
CN102765365B (zh) | 基于机器视觉的行人检测方法及行人防撞预警系统 | |
CN106652445B (zh) | 一种公路交通事故判别方法及装置 | |
US7046822B1 (en) | Method of detecting objects within a wide range of a road vehicle | |
CN105549023B (zh) | 物体检测装置及其工作方法 | |
US10699567B2 (en) | Method of controlling a traffic surveillance system | |
CN103942960B (zh) | 一种车辆变道检测方法及装置 | |
US10565867B2 (en) | Detection and documentation of tailgating and speeding violations | |
CN106679633B (zh) | 一种车载测距系统及方法 | |
CN110077399A (zh) | 一种基于道路标线、车轮检测融合的车辆防碰撞方法 | |
CN107563256A (zh) | 辅助驾驶信息产生方法及装置、辅助驾驶系统 | |
CN110065494A (zh) | 一种基于车轮检测的车辆防碰撞方法 | |
CN111198371A (zh) | 前视障碍物检测系统 | |
CN104573646A (zh) | 基于激光雷达和双目相机的车前行人检测方法及系统 | |
CN105574552A (zh) | 一种基于单目视觉的车辆测距与碰撞预警方法 | |
CN103164958B (zh) | 车辆监控方法及系统 | |
CN101303735A (zh) | 探测车辆盲点区域内运动物体的方法及盲点探测装置 | |
CN102096803A (zh) | 基于机器视觉的行人安全状态识别系统 | |
KR20090130977A (ko) | 영상처리기법을 이용한 신호교차로의 교통상충 판단 시스템및 방법 | |
CN105575125A (zh) | 一种车流视频侦测分析系统 | |
CN105260701A (zh) | 一种适用于复杂场景下的前方车辆检测方法 | |
CN110491156A (zh) | 一种感知方法、装置及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |