CN109817009A - 一种获取无人驾驶所需动态交通信息的方法 - Google Patents
一种获取无人驾驶所需动态交通信息的方法 Download PDFInfo
- Publication number
- CN109817009A CN109817009A CN201811651083.5A CN201811651083A CN109817009A CN 109817009 A CN109817009 A CN 109817009A CN 201811651083 A CN201811651083 A CN 201811651083A CN 109817009 A CN109817009 A CN 109817009A
- Authority
- CN
- China
- Prior art keywords
- image
- template
- target
- sample
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 14
- 238000001514 detection method Methods 0.000 claims abstract description 7
- 238000006073 displacement reaction Methods 0.000 claims abstract description 4
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000005286 illumination Methods 0.000 claims description 3
- 230000009191 jumping Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 abstract description 2
- 238000004519 manufacturing process Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 5
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种获取无人驾驶所需动态交通信息的方法，包括：训练样本制作；基于yolo3建立Darknet神经网络模型，将相邻检测矩形的识别结果，通过关联概率来确定是否为某一整体对象的局部，从而重新定位目标在图像上的区域，并输出样本的识别类别ID和相应得分；将识别的目标整体作为模板，在视频帧数范围内通过模板与后续若干帧的图像做模板比对，以确定该目标在后续的图像中出现的位置，通过比对值和出现的位置来判定可信度，预测其可能的位移趋势。本发明识别的道路动态事物的识别及其运动趋势的预测为无人驾驶的车辆提供路径规划和运动控制的决策信息，为路径规划的价值估算提供有力参考。
Description
技术领域
本发明属于无人驾驶技术领域，具体涉及一种获取无人驾驶所需动态交通信息的方法。
背景技术
无人驾驶汽车是智能汽车的一种，也称为轮式移动机器人，主要依靠车内的以计算机系统为主的智能驾驶仪来实现无人驾驶的目的。利用车载传感器来感知车辆周围环境，并根据感知所获得的道路、车辆位置和障碍物信息，控制车辆的转向和速度，从而使车辆能够安全、可靠地在道路上行驶。
现有技术中，对于动态交通信息的识别方法较为繁琐复杂，而且准确性较低，因此无人驾驶的车辆不能准确获取道路动态事物及其运动趋势，无人驾驶的车辆不能进行合理的路径规划和运动控制的决策。
发明内容
为了解决上述问题，本发明提供了一种获取无人驾驶所需动态交通信息的方法，识别的道路动态事物的识别及其运动趋势的预测。
本发明的技术方案为：一种获取无人驾驶所需动态交通信息的方法，包括以下步骤：
(1)训练样本制作；
(2)获取一帧图像，格栅化当前帧图像，以格栅区域作为检测中心生成相应的检测矩形，并将检测矩形区域的图像通过神经网络识别分类；
(3)将相邻检测矩形的识别结果，通过关联概率来确定是否为某一整体对象的局部，从而重新定位目标在图像上的区域，并输出样本的识别类别ID和相应得分；
(4)将识别的目标整体作为模板，在视频帧数范围内通过模板与后续若干帧的图像做模板比对，以确定该目标在后续的图像中出现的位置，通过比对值和出现的位置来判定可信度，预测其可能的位移趋势，当比对值超出阈值或该对象出现的位置具有跳跃性时，则视为目标物丢失；
(5)经过模板对比后，通过神经网络识别出的对象位置区域和模板比对的对象区域位置的重合度来确认需要追踪的对象区域，并更新模板，以优化结果，准确预测其运动趋势。
作为优选，所述步骤(1)中使用LabelImg软件对实景图通过矩形框进行对象的标注，添加分类，生成样本数据库。
作为优选，所述图像经由采用广角星光级相机拍摄，广角星光级相机的视角覆盖车身前部和左右两侧。
作为优选，所述广角星光级相机的焦距为3～4mm。
作为优选，所述样本数据库中的样本包括从不同角度、远近以及光照条件下拍摄的汽车、卡车、非机动车以及行人的图像。
作为优选，在识别道路上的动态信息后，将通过其占据图像的区域大小来作为对象远近的标尺，筛选出重点关注对象，该重点关注对象将侧重计算其相对运动趋势。
与现有技术相比，本发明的有益效果体现在：
本发明中模型的训练测试精度达95.82％，实际路测精度90.44％，且对于复杂场景(包括颠簸状态、各类识别对象有些许重叠以及距离较远导致的对象些许失真)下的各类交通参与者都可以准确识别。本发明识别的道路动态事物的识别及其运动趋势的预测为无人驾驶的车辆提供路径规划和运动控制的决策信息，为路径规划的价值估算提供有力参考。
附图说明
图1为本发明的流程示意图。
图2为本发明中动态信息识别分类预测结果示意图。
图3为本发明中识别结果的对象模板示意图。
图4为本发明中模板比对结果示意图。
图5为本发明中模板比对结果示意图。
具体实施方式
实施例1
本实施例采用多个广角星光级相机(3-4mm焦距)，视角覆盖车身前部和左右两侧。焦距越小，图像畸变越严重，所以不建议使用焦距过小的相机。对相机进行校准，一定程度上消除图像畸变，获得相机参数，用于目标空间定位估算。
(1)训练样本制作：使用LabelImg软件对实景图通过矩形框进行对象的标注，添加分类，生成样本数据库，样本包含各类汽车，卡车，非机动车，行人等，并从不同角度，远近和光照条件下拍摄，例如在应用路段不同天气，不同时间条件情况下，采集。
(2)基于yolo3建立Darknet神经网络模型，首先格栅化当前帧图像，以格栅区域作为检测中心生成相应的检测矩形，并将检测矩形区域的图像通过神经网络识别分类。
(3)并将相邻检测矩形的识别结果通过关联概率来确定是否为某一整体对象的局部，从而重新定位目标在图像上的区域，并输出样本的识别类别ID和相应得分。
(4)将识别的目标整体作为模板，在一定视频帧数范围内通过模板与后续若干帧的图像做模板比对(如cv2.TM_SQDIFF)来确认该目标在后续在图像中出现的位置，通过比对值和出现位置的合理程度来判定其可信度，来预测其可能的位移趋势。当比对值超出阈值时，或该对象出现的位置具有跳跃性则视为目标物丢失。
(5)同时在模板比对后，可以通过神经网络识别出的对象位置区域和模板比对的对象区域位置的重合度来确认需要追踪的对象区域，并跟新模板，来优化结果，准确预测其运动趋势。
(6)当该对象的模板比对失败后，说明该对象与生成模板时差异较大，如发生旋转，或大小变化较大，或确实不在相机视角中。所以不建议当前模板与后续太多的帧比对。此时，需要重新生成模板，来计算新对象的相对运动趋势。
(7)在识别道路上的动态信息后，还将通过其占据图像的区域大小来作为对象远近的标尺，筛选出重点关注对象，这些对象将侧重计算其相对运动趋势。
本发明受制于识别对象的不确定性，样本量应尽量充实，并且样本场景需要尽量丰富，不可避免的识别对象重叠的现象，仍然需要将识别对象的局部作为识别对象样本进行输入，对于由此可能出现的模型复杂不收敛的问题，在制作样本集时设定标准，对象特征被遮挡 50％以上则不作为对象样本
在动态信息的识别和运动趋势的预测方面，为提高一定距离内事物识别和预测的准确率，可添加深度相机与彩色图像相结合，建立样本。更准确的获取目标物体的位置信息。
Claims (6)
1.一种获取无人驾驶所需动态交通信息的方法，其特征在于，包括以下步骤：
(1)训练样本制作；
(2)获取一帧图像，格栅化当前帧图像，以格栅区域作为检测中心生成相应的检测矩形，并将检测矩形区域的图像通过神经网络识别分类；
(3)将相邻检测矩形的识别结果，通过关联概率来确定是否为某一整体对象的局部，从而重新定位目标在图像上的区域，并输出样本的识别类别ID和相应得分；
(4)将识别的目标整体作为模板，在视频帧数范围内通过模板与后续若干帧的图像做模板比对，以确定该目标在后续的图像中出现的位置，通过比对值和出现的位置来判定可信度，预测其可能的位移趋势，当比对值超出阈值或该对象出现的位置具有跳跃性时，则视为目标物丢失；
(5)经过模板对比后，通过神经网络识别出的对象位置区域和模板比对的对象区域位置的重合度来确认需要追踪的对象区域，并更新模板，以优化结果，准确预测其运动趋势。
2.如权利要求1所述的获取无人驾驶所需动态交通信息的方法，其特征在于，所述步骤(1)中使用LabelImg软件对实景图通过矩形框进行对象的标注，添加分类，生成样本数据库。
3.如权利要求1所述的获取无人驾驶所需动态交通信息的方法，其特征在于，所述图像经由采用广角星光级相机拍摄，广角星光级相机的视角覆盖车身前部和左右两侧。
4.如权利要求3所述的获取无人驾驶所需动态交通信息的方法，其特征在于，所述广角星光级相机的焦距为3～4mm。
5.如权利要求1所述的获取无人驾驶所需动态交通信息的方法，其特征在于，所述样本数据库中的样本包括从不同角度、远近以及光照条件下拍摄的汽车、卡车、非机动车以及行人的图像。
6.如权利要求1所述的获取无人驾驶所需动态交通信息的方法，其特征在于，在识别道路上的动态信息后，将通过其占据图像的区域大小来作为对象远近的标尺，筛选出重点关注对象，该重点关注对象将侧重计算其相对运动趋势。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811651083.5A CN109817009A (zh) | 2018-12-31 | 2018-12-31 | 一种获取无人驾驶所需动态交通信息的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811651083.5A CN109817009A (zh) | 2018-12-31 | 2018-12-31 | 一种获取无人驾驶所需动态交通信息的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109817009A true CN109817009A (zh) | 2019-05-28 |
Family
ID=66603972
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811651083.5A Pending CN109817009A (zh) | 2018-12-31 | 2018-12-31 | 一种获取无人驾驶所需动态交通信息的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109817009A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111402632A (zh) * | 2020-03-18 | 2020-07-10 | 五邑大学 | 一种交叉口行人运动轨迹的风险预测方法 |
| CN113450573A (zh) * | 2020-03-25 | 2021-09-28 | 重庆翼动科技有限公司 | 基于无人机图像识别的交通监测方法和交通监测系统 |
| CN114882717A (zh) * | 2022-03-16 | 2022-08-09 | 仓擎智能科技(上海)有限公司 | 一种基于车路协同的物体检测系统和方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103400157A (zh) * | 2013-07-23 | 2013-11-20 | 青岛海信网络科技股份有限公司 | 一种基于视频分析的道路行人及非机动车检测方法 |
| CN106127802A (zh) * | 2016-06-16 | 2016-11-16 | 南京邮电大学盐城大数据研究院有限公司 | 一种运动目标轨迹追踪方法 |
| CN106295459A (zh) * | 2015-05-11 | 2017-01-04 | 青岛若贝电子有限公司 | 基于机器视觉和级联分类器的车辆检测和预警方法 |
| CN107516423A (zh) * | 2017-07-20 | 2017-12-26 | 济南中维世纪科技有限公司 | 一种基于视频的车辆行驶方向检测方法 |
| CN107808122A (zh) * | 2017-09-30 | 2018-03-16 | 中国科学院长春光学精密机械与物理研究所 | 目标跟踪方法及装置 |
| US20180089515A1 (en) * | 2016-09-12 | 2018-03-29 | Kennesaw State University Research And Service Foundation, Inc. | Identification and classification of traffic conflicts using live video images |
| CN108229407A (zh) * | 2018-01-11 | 2018-06-29 | 武汉米人科技有限公司 | 一种视频分析中的行为检测方法与系统 |
| CN108960185A (zh) * | 2018-07-20 | 2018-12-07 | 泰华智慧产业集团股份有限公司 | 基于YOLOv2的车辆目标检测方法及系统 |
| CN109063630A (zh) * | 2018-07-27 | 2018-12-21 | 北京以萨技术股份有限公司 | 一种基于可分离卷积技术和帧差补偿策略的快速车辆检测方法 |
-
2018
- 2018-12-31 CN CN201811651083.5A patent/CN109817009A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103400157A (zh) * | 2013-07-23 | 2013-11-20 | 青岛海信网络科技股份有限公司 | 一种基于视频分析的道路行人及非机动车检测方法 |
| CN106295459A (zh) * | 2015-05-11 | 2017-01-04 | 青岛若贝电子有限公司 | 基于机器视觉和级联分类器的车辆检测和预警方法 |
| CN106127802A (zh) * | 2016-06-16 | 2016-11-16 | 南京邮电大学盐城大数据研究院有限公司 | 一种运动目标轨迹追踪方法 |
| US20180089515A1 (en) * | 2016-09-12 | 2018-03-29 | Kennesaw State University Research And Service Foundation, Inc. | Identification and classification of traffic conflicts using live video images |
| CN107516423A (zh) * | 2017-07-20 | 2017-12-26 | 济南中维世纪科技有限公司 | 一种基于视频的车辆行驶方向检测方法 |
| CN107808122A (zh) * | 2017-09-30 | 2018-03-16 | 中国科学院长春光学精密机械与物理研究所 | 目标跟踪方法及装置 |
| CN108229407A (zh) * | 2018-01-11 | 2018-06-29 | 武汉米人科技有限公司 | 一种视频分析中的行为检测方法与系统 |
| CN108960185A (zh) * | 2018-07-20 | 2018-12-07 | 泰华智慧产业集团股份有限公司 | 基于YOLOv2的车辆目标检测方法及系统 |
| CN109063630A (zh) * | 2018-07-27 | 2018-12-21 | 北京以萨技术股份有限公司 | 一种基于可分离卷积技术和帧差补偿策略的快速车辆检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 丁小可: ""基于深度学习的目标检测算法研究"", 《机电信息》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111402632A (zh) * | 2020-03-18 | 2020-07-10 | 五邑大学 | 一种交叉口行人运动轨迹的风险预测方法 |
| CN113450573A (zh) * | 2020-03-25 | 2021-09-28 | 重庆翼动科技有限公司 | 基于无人机图像识别的交通监测方法和交通监测系统 |
| CN114882717A (zh) * | 2022-03-16 | 2022-08-09 | 仓擎智能科技(上海)有限公司 | 一种基于车路协同的物体检测系统和方法 |
| CN114882717B (zh) * | 2022-03-16 | 2024-05-17 | 仓擎智能科技(上海)有限公司 | 一种基于车路协同的物体检测系统和方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111145545B (zh) | 基于深度学习的道路交通行为无人机监测系统及方法 | |
| CN112700470B (zh) | 一种基于交通视频流的目标检测和轨迹提取方法 | |
| Malik | Fast vehicle detection with probabilistic feature grouping and its application to vehicle tracking | |
| CN104378582A (zh) | 一种基于ptz摄像机巡航的智能视频分析系统及方法 | |
| CN114970321A (zh) | 一种基于动态轨迹流的场景流数字孪生方法及系统 | |
| US10699567B2 (en) | Method of controlling a traffic surveillance system | |
| CN106652465A (zh) | 一种道路异常驾驶行为的识别方法及系统 | |
| CN106663193A (zh) | 用于路缘检测和行人危险评估的系统和方法 | |
| CN102447835A (zh) | 无盲区多目标协同跟踪方法及系统 | |
| AU2021255130B2 (en) | Artificial intelligence and computer vision powered driving-performance assessment | |
| CN108645375B (zh) | 一种用于车载双目系统快速车辆测距优化方法 | |
| CN109817009A (zh) | 一种获取无人驾驶所需动态交通信息的方法 | |
| Schlipsing et al. | Video-based roll angle estimation for two-wheeled vehicles | |
| CN114693909A (zh) | 一种基于多传感器机器视觉融合的微观车辆轨迹感知设备 | |
| CN114463390A (zh) | 耦合车队跟驰强化的多孪生对抗网络跨相机车辆追踪方法 | |
| CN111797738A (zh) | 基于视频识别的多目标交通行为快速提取方法 | |
| CN110516600A (zh) | 一种基于人脸检测的公交客流检测方法 | |
| CN107506753B (zh) | 一种面向动态视频监控的多车辆跟踪方法 | |
| CN106951820B (zh) | 基于环形模板和椭圆拟合的客流统计方法 | |
| JP2021026683A (ja) | 距離推定装置 | |
| US11120292B2 (en) | Distance estimation device, distance estimation method, and distance estimation computer program | |
| CN106340031A (zh) | 一种检测运动物体的方法和装置 | |
| CN111191516B (zh) | 样本可选择更新机制的目标跟踪方法、重新记忆有效样本的方法和距离估计方法 | |
| CN117334040A (zh) | 一种跨域路侧感知多车辆关联方法及系统 | |
| CN114842660A (zh) | 一种无人车道路轨迹预测方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190528 |