CN115578703A - 激光感知融合优化方法、装置、设备及可读存储介质 - Google Patents
激光感知融合优化方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN115578703A CN115578703A CN202211216856.3A CN202211216856A CN115578703A CN 115578703 A CN115578703 A CN 115578703A CN 202211216856 A CN202211216856 A CN 202211216856A CN 115578703 A CN115578703 A CN 115578703A
- Authority
- CN
- China
- Prior art keywords
- target
- unclassified
- fusion
- classified
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 115
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000005457 optimization Methods 0.000 title claims abstract description 37
- 230000008447 perception Effects 0.000 title claims abstract description 25
- 238000013135 deep learning Methods 0.000 claims abstract description 41
- 238000001914 filtration Methods 0.000 claims abstract description 27
- 238000004590 computer program Methods 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000012216 screening Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 abstract description 18
- 238000007689 inspection Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000002829 reductive effect Effects 0.000 description 6
- 230000003068 static effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 241000283973 Oryctolagus cuniculus Species 0.000 description 1
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 241000282898 Sus scrofa Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请涉及一种激光感知融合优化方法、装置、设备及可读存储介质，涉及智能驾驶技术领域，包括基于高精度地图确定车辆所在位置的可行驶道路边缘点集，根据可行驶道路边缘点集生成感兴趣区域；基于感兴趣区域对激光雷达探测到的点云信息进行过滤，得到目标障碍物点云；通过空间聚类算法和深度学习算法分别对目标障碍物点云进行目标识别，得到未分类目标结果集和分类目标结果集；对未分类目标结果集和分类目标结果集进行目标融合，得到融合目标集。本申请通过空间聚类和高精度地图来避免出现长尾问题无法被识别，降低漏检的可能性，提高感知融合目标检测的准确性，使得深度学习只需关注常见目标的探测识别，进而降低长尾数据标注与采集的成本。
Description
技术领域
本申请涉及智能驾驶技术领域，特别涉及一种激光感知融合优化方法、装置、设备及可读存储介质。
背景技术
精准感知是发展智能自动驾驶的关键性技术之一。当前在智能驾驶环境感知领域中，如何实时探测周围环境信息，确保智能车辆安全驾驶是环境感知最为主要的任务，而针对不同的自动驾驶等级，如何配置不同的传感器来实现其对应等级自动驾驶功能尚无定论。不过在L3及以上功能等级的自动驾驶模块中，激光雷达是必不可少的传感器。
现有的以视觉为主路线或以激光雷达为主的传感器融合技术方案在环境感知融合上都需要采取至少两种以上的传感器，其并不适用于单独激光雷达传感器的感知融合。
目前针对单独激光雷达传感器的感知融合主要是以深度学习为主的方式进行目标探测，不过以数据驱动的深度学习技术路线仍然存在大量的长尾问题，以致易出现环境感知漏检问题；而当前针对长尾问题的主要解决方案是通过采集长尾问题的数据来对模型进行迭代，但是这种方式会导致激光雷达数据的成本很高。
发明内容
本申请提供一种激光感知融合优化方法、装置、设备及可读存储介质，以避免出现长尾问题无法被识别，降低漏检的可能性以及成本，并提高感知融合目标检测的准确性。
第一方面，提供了一种激光感知融合优化方法，包括以下步骤：
基于高精度地图确定车辆所在位置的可行驶道路边缘点集，根据所述可行驶道路边缘点集生成感兴趣区域；
基于所述感兴趣区域对激光雷达探测到的点云信息进行过滤，得到目标障碍物点云；
通过空间聚类算法和深度学习算法分别对所述目标障碍物点云进行目标识别，得到未分类目标结果集和分类目标结果集；
对所述未分类目标结果集和所述分类目标结果集进行目标融合，得到包含至少一个融合目标的融合目标集。
一些实施例中，所述对所述未分类目标结果集和所述分类目标结果集进行目标融合，得到融合目标集，包括：
将所述未分类目标结果集中的各个未分类目标与所述分类目标结果集中的各个分类目标进行匹配，得到匹配结果；
根据所述匹配结果确定出至少一个融合目标，以形成融合目标集。
一些实施例中，所述根据所述匹配结果确定出至少一个融合目标，包括：
若某一未分类目标与所述分类目标集中的所有分类目标均未匹配成功，将所述某一未分类目标作为融合目标；
若某一未分类目标与所述分类目标集中的其中一个分类目标匹配成功，将与所述某一未分类目标匹配成功的分类目标作为融合目标，并将所述某一未分类目标剔除；
若某一分类目标与所述未分类目标集中的所有未分类目标均未匹配成功，将所述某一分类目标作为融合目标。
一些实施例中，所述若某一分类目标与所述未分类目标集中的所有未分类目标均未匹配成功，将所述某一分类目标作为融合目标，包括：
若某一分类目标与所述未分类目标集中的所有未分类目标均未匹配成功，判断所述某一分类目标是否连续出现预设次数；
若是，将所述某一分类目标作为融合目标；
若否，将所述某一分类目标剔除。
一些实施例中，所述将所述未分类目标结果集中的各个未分类目标与所述分类目标结果集中的各个分类目标进行匹配，包括：
计算未分类目标结果集中每个未分类目标与所述分类目标结果集中各个分类目标之间的欧氏距离；
基于所述欧氏距离生成最近邻距离代价矩阵；
根据最小代价原则和所述最近邻距离代价矩阵确定所述未分类目标结果集中的未分类目标是否与所述分类目标结果集中的分类目标匹配成功。
一些实施例中，所述基于所述感兴趣区域对激光雷达探测到的点云信息进行过滤，得到目标障碍物点云，包括：
基于所述感兴趣区域对激光雷达探测到的点云信息进行初步过滤，得到与所述感兴趣区域对应的第一点云信息；
对所述第一点云信息进行地面点云过滤，得到目标障碍物点云。
一些实施例中，所述基于高精度地图确定车辆所在位置的可行驶道路边缘点集，包括：
基于车辆的预设行驶路线在高精度地图上标注出与所述预设行驶路线对应的行驶道路边缘点集；
当接收到车辆的位置信息时，根据所述位置信息从高精度地图上所标注出的行驶道路边缘点集中筛选出车辆所在位置的可行驶道路边缘点集。
第二方面，提供了一种激光感知融合优化装置，包括：
生成单元，其用于基于高精度地图确定车辆所在位置的可行驶道路边缘点集，根据所述可行驶道路边缘点集生成感兴趣区域；
过滤单元，其用于基于所述感兴趣区域对激光雷达探测到的点云信息进行过滤，得到目标障碍物点云；
识别单元，其用于通过空间聚类算法和深度学习算法分别对所述目标障碍物点云进行目标识别，得到未分类目标结果集和分类目标结果集；
融合单元，其用于对所述未分类目标结果集和所述分类目标结果集进行目标融合，得到包含至少一个融合目标的融合目标集。
第三方面，提供了一种激光感知融合优化设备，包括：存储器和处理器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行，以实现前述的激光感知融合优化方法。
第四方面，提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，当所述计算机程序被处理器执行时，以实现前述的激光感知融合优化方法。
本申请提供了一种激光感知融合优化方法、装置、设备及可读存储介质，包括基于高精度地图确定车辆所在位置的可行驶道路边缘点集，根据所述可行驶道路边缘点集生成感兴趣区域；基于所述感兴趣区域对激光雷达探测到的点云信息进行过滤，得到目标障碍物点云；通过空间聚类算法和深度学习算法分别对所述目标障碍物点云进行目标识别，得到未分类目标结果集和分类目标结果集；对所述未分类目标结果集和所述分类目标结果集进行目标融合，得到包含至少一个融合目标的融合目标集。本申请通过深度学习与空间聚类融合的方式来提升常见目标的置信度，并基于高精度地图和精准感兴趣区域的过滤，使得不常见目标也能够被空间聚类有效识别出，可有效避免因深度学习的长尾问题而导致的漏检，提高了感知融合目标检测的准确性，即通过空间聚类算法和高精度地图来避免出现长尾问题无法被识别，降低了漏检的可能性，使得深度学习只需关注常见目标的探测识别，进而降低长尾数据标注与采集的成本。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种激光感知融合优化方法的流程示意图；
图2为本申请实施例提供的激光感知融合优化方法的具体流程示意图；
图3为本申请实施例提供的目标融合的具体流程示意图；
图4为本申请实施例提供的一种激光感知融合优化装置的结构示意图；
图5为本申请实施例提供的一种激光感知融合优化设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
参见图1至图3，本申请实施例提供一种激光感知融合优化方法，包括以下步骤：
步骤S10：基于高精度地图确定车辆所在位置的可行驶道路边缘点集，根据所述可行驶道路边缘点集生成感兴趣区域；
示范性的，通过空间聚类算法可有效实现对点云的识别，不存在长尾问题无法识别的现象，不过需要对激光雷达传感器探测得到的点云信息进行精准的感兴趣区域(Region of Interest，ROI)过滤，以此来降低空间聚类方法的误检率，避免自动驾驶车辆在行驶过程中因地面点、路沿等导致的误检。可以理解的是，本实施例中将基于高精度地图获取空间聚类算法所需的精准ROI区域内点云；其中，通过高精度地图模块动态发送可行驶道路边缘静态点集，根据该道路边缘静态点集生成ROI区域，即将高精度地图模块发送的三维点集依次连接起来形成封闭区域，该封闭区域称为ROI区域(ROI区域形成的轮廓为俯视图，即BEV(鸟瞰图)视角下，不考虑高程z轴信息所形成的的轮廓)，通过该ROI区域进行点云的精准过滤。
进一步的，所述基于高精度地图确定车辆所在位置的可行驶道路边缘点集，包括：
基于车辆的预设行驶路线在高精度地图上标注出与所述预设行驶路线对应的行驶道路边缘点集；
当接收到车辆的位置信息时，根据所述位置信息从高精度地图上所标注出的行驶道路边缘点集中筛选出车辆所在位置的可行驶道路边缘点集。
示范性的，在本实施例中，自动驾驶车辆中的高精度定位模块实时发送该车辆所在位置信息，当高精度地图模块接收车辆所在位置信息后，动态发出该车辆所在位置的可行使道路边缘点集，此时需要将激光雷达传感器所探测得到的点云与高精度地图发出的点集都统一转换至车身坐标系下。具体的，自动驾驶车辆的预设行驶路线对应的道路会提前通过激光雷达传感器采集点云数据进行建图，然后高精度地图模块会在静态地图上面对预设行驶路线对应的行驶道路边缘点集的标注；当高精度地图模块在实时接收到高精度定位模块发送的车辆位置信息后，将实时发送静态地图上所标注的与自动驾驶车辆所在位置对应的可行驶道路边缘点集信息。
由于高精度地图模块是在得知自动驾驶车辆动态位置的情况下，实时发送局部自动驾驶车辆周边区域点集，因此通过这些点集生成的ROI区域相较于基于传统的视觉感知或激光点云分割等算法生成的ROI区域更加稳定；同时，通过高精度地图提供的点集信息来过滤点云的效率与准确性更高，且算力需求低。
步骤S20：基于所述感兴趣区域对激光雷达探测到的点云信息进行过滤，得到目标障碍物点云；
示范性的，在本实施例中，应当理解的是，在获取到高精度地图所确定的可行驶道路边缘点集生成的ROI区域后，基于该ROI区域对某一时刻激光雷达传感器探测得到的点云信息进行过滤，即可提取到目标障碍物点云。
进一步的，所述基于所述感兴趣区域对激光雷达探测到的点云信息进行过滤，得到目标障碍物点云，包括：
基于所述感兴趣区域对激光雷达探测到的点云信息进行初步过滤，得到与所述感兴趣区域对应的第一点云信息；
对所述第一点云信息进行地面点云过滤，得到目标障碍物点云。
示范性的，在本实施例中，基于ROI区域对车身坐标系下的激光雷达所探测到的点云信息进行过滤，以使得该点云信息中只保留位于ROI区域内的点云；然后采取去地面算法对ROI区域内的点云进行地面点云过滤，以有效去除地面起伏的噪声点云，进而保留下封闭区域内非地面点云，即目标障碍物点云。其中，本实施例中所采用的地面点云过滤算法(即地面点云提取方法)的主要步骤为：首先将点云按照高程z进行排序，获取位于最低与最高地面点区间范围内的初步地面点云；在获取初步地面点云后，通过SVD(奇异值分解)来求取地面方程；最后通过迭代N次(迭代次数N可根据实际需求确定)，将求取最小误差作为最终地面点集。
步骤S30：通过空间聚类算法和深度学习算法分别对所述目标障碍物点云进行目标识别，得到未分类目标结果集和分类目标结果集；
示范性的，在本实施例中，针对目标障碍物点云，将分别通过空间聚类算法与深度学习算法进行目标识别感知。其中，应当理解的是，传统空间聚类算法识别得到的目标是不分类的，即其得到的识别结果为未分类目标结果集；而深度学习算法识别得到的目标是分类的，且常见目标较易被稳定识别出，即深度学习得到的识别结果为分类目标结果集。可以理解的是，未分类目标结果集中的目标均是不分类的，而分类目标结果集中的目标均是已分类的，即空间聚类输出的目标不分类别、深度学习输出目标拥有类别信息。
具体的，针对目标障碍物点云，使用空间聚类算法来识别目标，输出为不分类目标结果；同时使用深度学习算法来识别目标，输出已分类目标结果。不过，使用深度学习算法进行目标识别时，往往存在长尾目标未被检测出来的问题，其主要原因在于长尾目标数据标注与采集的困难大且成本高，即数据集中很难收集齐全特殊场景下的所有目标障碍物；而本实施例则通过空间聚类方法来辅助识别出长尾目标，以此保障安全性。
步骤S40：对所述未分类目标结果集和所述分类目标结果集进行目标融合，得到包含至少一个融合目标的融合目标集。
示范性的，在本实施例中，空间聚类算法与深度学习算法分别针对目标障碍物点云输出识别的目标，将在此阶段进行目标融合；可以理解的是，可将空间聚类算法与深度学习算法得到的目标进行匹配，并根据匹配结果对空间聚类算法与深度学习算法得到的目标进行融合，最终得到融合目标集。
由此可见，基于深度学习激光感知技术导致的长尾问题，本实施例通过空间聚类方式来进行探测，以降低长尾数据的收集成本与难度；通过深度学习与空间聚类方式的融合来对常见目标(比如车辆、行人等)进行置信度提升，即常见目标能够以深度学习目标探测属性为主，而空间聚类算法作为属性补充，且针对高精度地图所提供的精准ROI过滤后的点云进行空间聚类，使得不常见的目标物体(比如野猪、兔子等)也能够被有效识别出，进而可避免因深度学习存在的长尾问题而导致的激光感知融合漏检。此外，由于空间聚类算法无法有效识别出目标类别信息，因此本实施例通过深度学习所识别出的常见目标来赋予更加精准的自动驾驶功能，以弥补空间聚类方法的类别与目标属性(比如速度、3D框)不准的问题。
进一步的，所述对所述未分类目标结果集和所述分类目标结果集进行目标融合，得到融合目标集，包括：
将所述未分类目标结果集中的各个未分类目标与所述分类目标结果集中的各个分类目标进行匹配，得到匹配结果；
根据所述匹配结果确定出至少一个融合目标，以形成融合目标集。
示范性的，在本实施例中，应当理解的是，当深度学习探测得到的常见目标与空间聚类算法探测得到的目标匹配成功，此时可以深度学习为主，即将深度学习得到的常见目标放到融合目标结果中，而去除空间聚类算法探测得到的常见目标的冗余；而针对深度学习未探测到的非常见目标，则可以空间聚类算法探测得到的未分类目标为基准，放到融合目标结果中，进而形成融合目标集。
进一步的，所述将所述未分类目标结果集中的各个未分类目标与所述分类目标结果集中的各个分类目标进行匹配，包括：
计算未分类目标结果集中每个未分类目标与所述分类目标结果集中各个分类目标之间的欧氏距离；
基于所述欧氏距离生成最近邻距离代价矩阵；
根据最小代价原则和所述最近邻距离代价矩阵确定所述未分类目标结果集中的未分类目标是否与所述分类目标结果集中的分类目标匹配成功。
示范性的，在本实施例中，参见图3所示，可将空间聚类算法识别目标障碍物点云所输出的所有目标形成的目标列表设为A，而深度学习算法识别目标障碍物点云所输出的所有目标形成的目标列表设为B；逐步循环遍历目标列表A与目标列表B，并计算A中每一个目标与B中每一个目标的欧式距离；遍历完成后，基于计算得到的欧氏距离生成目标列表A与目标列表B的最近邻(欧式)距离代价矩阵，并可将该最近邻距离代价矩阵设为CostMatrix；然后循环遍历CostMatrix中的每一个元素，判断其最近邻距离dist(即欧氏距离)是否小于设定的阈值threshold；如果最近邻距离小于阈值threshold，则保留原始距离dist不变；否则，将原始距离dist设置为无穷大，直至遍历完CostMatrix矩阵里面所有元素，形成新的CostMatrix矩阵；当遍历完成后，根据最小代价原则并采用匈牙利算法求取新的CostMatrix矩阵中目标列表A与目标列表B中各个目标的匹配对应关系。
以目标列表A包括目标X、目标Y，而目标列表B包括目标Z、目标K以及目标P为例：在新的CostMatrix矩阵中，假设目标X与目标Z之间的最近邻距离为dist1、目标X与目标K之间的最近邻距离为dist2、目标X与目标P之间的最近邻距离为dist3、目标Y与目标Z之间的最近邻距离为dist4、目标Y与目标K之间的最近邻距离为dist5、目标Y与目标P之间的最近邻距离为dist6，此时若dist1和dist2均小于预设阈值D，且dist3、dist4、dist5以及dist6均大于D。
由于dist3、dist4、dist5以及dist6均大于D，说明目标Y未成功与目标Z、目标K以及目标P匹配，且目标P也未成功与目标X、目标Y匹配；而由于dist1和dist2均小于D，说明目标X分别与目标Z和目标K初步匹配成功，此时需要根据匹配代价来确定目标X最终与目标Z还是目标K匹配成功。其中，匹配代价可以直接根据最近邻距离的大小来表征，也可以通过最近邻距离与预设阈值D之间的差值大小来表征，还可以通过其他方式来表征，具体可根据实际需求进行确定。
本实施例以最近邻距离与预设阈值D之间的差值大小来表征为例：假设dist1与D的差值为E，而dist2与D的差值为F，且E小于F，则由于E小于F，即目标X与目标Z之间的匹配代价小于目标X与目标K之间的匹配代价，因此，可确定目标X与目标Z成功匹配，而目标X未与目标K成功匹配。
可以理解的是，经过匈牙利算法后，目标列表A与目标列表B的匹配结果分为以下三种：未成功匹配的列表A(即unmatch_A)、未成功匹配的列表B(即unmatch_B)以及成功匹配的列表A与列表B(即match_A与match_B)。
进一步的，所述根据所述匹配结果确定出至少一个融合目标，包括：
若某一未分类目标与所述分类目标集中的所有分类目标均未匹配成功，将所述某一未分类目标作为融合目标；
若某一未分类目标与所述分类目标集中的其中一个分类目标匹配成功，将与所述某一未分类目标匹配成功的分类目标作为融合目标，并将所述某一未分类目标剔除；
若某一分类目标与所述未分类目标集中的所有未分类目标均未匹配成功，将所述某一分类目标作为融合目标。
示范性的，在本实施例中，根据匹配结果采取的融合方式为：①若深度学习与空间聚类目标匹配成功，则以深度学习目标为主，以提升目标置信度，同时去除空间聚类目标；②若深度学习未检测出，而空间聚类检测出，则直接将空间聚类目标放入融合目标结果中；③若空间聚类未检测出，而深度学习检测出，则可将深度学习目标加入融合目标结果中。
具体的，针对未成功匹配的unmatch_A中的目标，可将其加入融合列表(即融合目标集)中；针对匹配成功的match_A与match_B，则保留下匹配成功的match_B中的目标，提升match_B中每一个目标的置信度，并将其加入融合列表中，且删除match_A列表；而针对未成功匹配的unmatch_B中的目标，直接将其加入融合列表中。
比如，unmatch_A包括目标1和目标2，match_A包括目标3、目标4以及目标5，且match_B也包括目标3、目标4以及目标5，unmatch_B包括目标6和目标7，此时可将unmatch_A中的目标1和目标2、match_B中的目标3、目标4和目标5以及unmatch_B中的目标6和目标7加入至融合目标集中，即融合目标集包括match_B+unmatch_A+unmatch_B，则输出的融合目标将包括目标1、目标2、目标3、目标4、目标5、目标6以及目标7。
进一步的，所述若某一分类目标与所述未分类目标集中的所有未分类目标均未匹配成功，将所述某一分类目标作为融合目标，包括：
若某一分类目标与所述未分类目标集中的所有未分类目标均未匹配成功，判断所述某一分类目标是否连续出现预设次数；
若是，将所述某一分类目标作为融合目标；
若否，将所述某一分类目标剔除。
示范性的，在本实施例中，为了进一步提高融合目标的准确性，针对未成功匹配的unmatch_B(unmatch_B包括目标6和目标7)，还可进一步判断unmatch_B中的目标是不是连续出现预设次数(该预设次数可根据实际需求确定，在此不作限定)，若是，则将其保留；否则，将其从unmatch_B中删除。比如，预设次数为3次，判断unmatch_B中的目标6是否连续3帧都存在，若连续3帧或者3帧以上都存在目标6，则将目标6保留在unmatch_B中；而若目标6只在连续2帧或1帧中出现，则将目标6从unmatch_B中剔除。
假设目标6未连续出现3次，而目标7连续出现3次，此时unmatch_B只包括目标7，且match_A包括目标3、目标4以及目标5，且match_B也包括目标3、目标4以及目标5，unmatch_A包括目标1和目标2，那么此时输出的融合目标将包括目标1、目标2、目标3、目标4、目标5以及目标7。
综上，本申请通过高精度地图辅助来精准获取ROI区域点云，提升空间聚类算法的准确性与效率，并降低误检率；其次通过空间聚类来使得深度学习只需关注常见目标的探测识别，以降低长尾数据的标注与采集成本，同时空间聚类算法的加入还可在一定程度上降低深度学习对长尾问题的依赖性；本申请提出的深度学习与空间聚类结合的激光融合策略，实现了空间聚类和深度学习之间的优势互补，其既能完成基本自动驾驶功能(比如ACC、LKA等)，同时也可避免长尾问题发生而导致的安全性问题。此外，本申请提供的单激光雷达传感器融合策略可解决因深度学习不能够穷尽枚举而导致的长尾问题，即通过空间聚类方式来进行补充，确保安全性第一原则。
参见图4所示，本申请实施例还提供了一种激光感知融合优化装置，包括：
生成单元，其用于基于高精度地图确定车辆所在位置的可行驶道路边缘点集，根据所述可行驶道路边缘点集生成感兴趣区域；
过滤单元，其用于基于所述感兴趣区域对激光雷达探测到的点云信息进行过滤，得到目标障碍物点云；
识别单元，其用于通过空间聚类算法和深度学习算法分别对所述目标障碍物点云进行目标识别，得到未分类目标结果集和分类目标结果集；
融合单元，其用于对所述未分类目标结果集和所述分类目标结果集进行目标融合，得到包含至少一个融合目标的融合目标集。
进一步的，所述融合单元具体用于：
将所述未分类目标结果集中的各个未分类目标与所述分类目标结果集中的各个分类目标进行匹配，得到匹配结果；
根据所述匹配结果确定出至少一个融合目标，以形成融合目标集。
进一步的，所述融合单元具体还用于：
若某一未分类目标与所述分类目标集中的所有分类目标均未匹配成功，将所述某一未分类目标作为融合目标；
若某一未分类目标与所述分类目标集中的其中一个分类目标匹配成功，将与所述某一未分类目标匹配成功的分类目标作为融合目标，并将所述某一未分类目标剔除；
若某一分类目标与所述未分类目标集中的所有未分类目标均未匹配成功，将所述某一分类目标作为融合目标。
进一步的，所述融合单元具体还用于：
若某一分类目标与所述未分类目标集中的所有未分类目标均未匹配成功，判断所述某一分类目标是否连续出现预设次数；
若是，将所述某一分类目标作为融合目标；
若否，将所述某一分类目标剔除。
进一步的，所述融合单元具体还用于：
计算未分类目标结果集中每个未分类目标与所述分类目标结果集中各个分类目标之间的欧氏距离；
基于所述欧氏距离生成最近邻距离代价矩阵；
根据最小代价原则和所述最近邻距离代价矩阵确定所述未分类目标结果集中的未分类目标是否与所述分类目标结果集中的分类目标匹配成功。
进一步的，所述过滤单元具体用于：
基于所述感兴趣区域对激光雷达探测到的点云信息进行初步过滤，得到与所述感兴趣区域对应的第一点云信息；
对所述第一点云信息进行地面点云过滤，得到目标障碍物点云。
进一步的，所述生成单元具体用于：
基于车辆的预设行驶路线在高精度地图上标注出与所述预设行驶路线对应的行驶道路边缘点集；
当接收到车辆的位置信息时，根据所述位置信息从高精度地图上所标注出的行驶道路边缘点集中筛选出车辆所在位置的可行驶道路边缘点集。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和各单元的具体工作过程，可以参考前述激光感知融合优化方法实施例中的对应过程，在此不再赘述。
上述实施例提供的激光感知融合优化装置可以实现为一种计算机程序的形式，该计算机程序可以在如图5所示的激光感知融合优化设备上运行。
本申请实施例还提供了一种激光感知融合优化设备，包括：通过系统总线连接的存储器、处理器和网络接口，存储器中存储有至少一条指令，至少一条指令由处理器加载并执行，以实现前述的激光感知融合优化方法的全部步骤或部分步骤。
其中，网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
处理器可以是CPU，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程逻辑门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件分立硬件组件等。通用处理器可以是微处理器，或者该处理器也可以是任何常规的处理器等，处理器是计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。
存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现计算机装置的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如视频播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如视频数据、图像数据等)等。此外，存储器可以包括高速随存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘、智能存储卡(SmartMedia Card，SMC)、安全数字(Secure digital，SD)卡、闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件或其他易失性固态存储器件。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现前述的激光感知融合优化方法的全部步骤或部分步骤。
本申请实施例实现前述的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only memory，ROM)、随机存取存储器(Random Accessmemory，RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、服务器或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
本申请是参照根据本申请实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种激光感知融合优化方法，其特征在于，包括以下步骤：
基于高精度地图确定车辆所在位置的可行驶道路边缘点集，根据所述可行驶道路边缘点集生成感兴趣区域；
基于所述感兴趣区域对激光雷达探测到的点云信息进行过滤，得到目标障碍物点云；
通过空间聚类算法和深度学习算法分别对所述目标障碍物点云进行目标识别，得到未分类目标结果集和分类目标结果集；
对所述未分类目标结果集和所述分类目标结果集进行目标融合，得到包含至少一个融合目标的融合目标集。
2.如权利要求1所述的激光感知融合优化方法，其特征在于，所述对所述未分类目标结果集和所述分类目标结果集进行目标融合，得到融合目标集，包括：
将所述未分类目标结果集中的各个未分类目标与所述分类目标结果集中的各个分类目标进行匹配，得到匹配结果；
根据所述匹配结果确定出至少一个融合目标，以形成融合目标集。
3.如权利要求2所述的激光感知融合优化方法，其特征在于，所述根据所述匹配结果确定出至少一个融合目标，包括：
若某一未分类目标与所述分类目标集中的所有分类目标均未匹配成功，将所述某一未分类目标作为融合目标；
若某一未分类目标与所述分类目标集中的其中一个分类目标匹配成功，将与所述某一未分类目标匹配成功的分类目标作为融合目标，并将所述某一未分类目标剔除；
若某一分类目标与所述未分类目标集中的所有未分类目标均未匹配成功，将所述某一分类目标作为融合目标。
4.如权利要求3所述的激光感知融合优化方法，其特征在于，所述若某一分类目标与所述未分类目标集中的所有未分类目标均未匹配成功，将所述某一分类目标作为融合目标，包括：
若某一分类目标与所述未分类目标集中的所有未分类目标均未匹配成功，判断所述某一分类目标是否连续出现预设次数；
若是，将所述某一分类目标作为融合目标；
若否，将所述某一分类目标剔除。
5.如权利要求2所述的激光感知融合优化方法，其特征在于，所述将所述未分类目标结果集中的各个未分类目标与所述分类目标结果集中的各个分类目标进行匹配，包括：
计算未分类目标结果集中每个未分类目标与所述分类目标结果集中各个分类目标之间的欧氏距离；
基于所述欧氏距离生成最近邻距离代价矩阵；
根据最小代价原则和所述最近邻距离代价矩阵确定所述未分类目标结果集中的未分类目标是否与所述分类目标结果集中的分类目标匹配成功。
6.如权利要求1所述的激光感知融合优化方法，其特征在于，所述基于所述感兴趣区域对激光雷达探测到的点云信息进行过滤，得到目标障碍物点云，包括：
基于所述感兴趣区域对激光雷达探测到的点云信息进行初步过滤，得到与所述感兴趣区域对应的第一点云信息；
对所述第一点云信息进行地面点云过滤，得到目标障碍物点云。
7.如权利要求1所述的激光感知融合优化方法，其特征在于，所述基于高精度地图确定车辆所在位置的可行驶道路边缘点集，包括：
基于车辆的预设行驶路线在高精度地图上标注出与所述预设行驶路线对应的行驶道路边缘点集；
当接收到车辆的位置信息时，根据所述位置信息从高精度地图上所标注出的行驶道路边缘点集中筛选出车辆所在位置的可行驶道路边缘点集。
8.一种激光感知融合优化装置，其特征在于，包括：
生成单元，其用于基于高精度地图确定车辆所在位置的可行驶道路边缘点集，根据所述可行驶道路边缘点集生成感兴趣区域；
过滤单元，其用于基于所述感兴趣区域对激光雷达探测到的点云信息进行过滤，得到目标障碍物点云；
识别单元，其用于通过空间聚类算法和深度学习算法分别对所述目标障碍物点云进行目标识别，得到未分类目标结果集和分类目标结果集；
融合单元，其用于对所述未分类目标结果集和所述分类目标结果集进行目标融合，得到包含至少一个融合目标的融合目标集。
9.一种激光感知融合优化设备，其特征在于，包括：存储器和处理器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行，以实现权利要求1至7中任一项所述的激光感知融合优化方法。
10.一种计算机可读存储介质，其特征在于：所述计算机存储介质存储有计算机程序，当所述计算机程序被处理器执行时，以实现权利要求1至7中任一项所述的激光感知融合优化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211216856.3A CN115578703A (zh) | 2022-09-30 | 2022-09-30 | 激光感知融合优化方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211216856.3A CN115578703A (zh) | 2022-09-30 | 2022-09-30 | 激光感知融合优化方法、装置、设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115578703A true CN115578703A (zh) | 2023-01-06 |
Family
ID=84582218
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211216856.3A Pending CN115578703A (zh) | 2022-09-30 | 2022-09-30 | 激光感知融合优化方法、装置、设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115578703A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117710920A (zh) * | 2023-12-11 | 2024-03-15 | 探维科技(苏州)有限公司 | 移动主体及其可行驶区域的检测方法和装置 |
-
2022
- 2022-09-30 CN CN202211216856.3A patent/CN115578703A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117710920A (zh) * | 2023-12-11 | 2024-03-15 | 探维科技(苏州)有限公司 | 移动主体及其可行驶区域的检测方法和装置 |
| CN117710920B (zh) * | 2023-12-11 | 2024-10-29 | 探维科技(苏州)有限公司 | 移动主体及其可行驶区域的检测方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110148196B (zh) | 一种图像处理方法、装置以及相关设备 | |
| CN112581612B (zh) | 基于激光雷达和环视摄像头融合的车载栅格地图生成方法及系统 | |
| CN112329754B (zh) | 障碍物识别模型训练方法、障碍物识别方法、装置及系统 | |
| CN115049700A (zh) | 一种目标检测方法及装置 | |
| KR20170104287A (ko) | 주행 가능 영역 인식 장치 및 그것의 주행 가능 영역 인식 방법 | |
| CN112967283A (zh) | 基于双目摄像头的目标识别方法、系统、设备及存储介质 | |
| WO2024012211A1 (zh) | 自动驾驶环境感知方法、介质及车辆 | |
| CN113255444A (zh) | 图像识别模型的训练方法、图像识别方法和装置 | |
| CN114898321B (zh) | 道路可行驶区域检测方法、装置、设备、介质及系统 | |
| CN117576652A (zh) | 道路对象的识别方法、装置和存储介质及电子设备 | |
| CN115327572A (zh) | 一种车辆前方障碍物检测方法 | |
| CN116469073A (zh) | 目标识别方法、装置、电子设备、介质及自动驾驶车辆 | |
| CN115578703A (zh) | 激光感知融合优化方法、装置、设备及可读存储介质 | |
| CN112699711A (zh) | 车道线检测方法、装置、存储介质及电子设备 | |
| CN117671644A (zh) | 标识牌检测方法、装置以及车辆 | |
| CN116309943B (zh) | 一种停车场语义地图路网构建方法、装置及电子设备 | |
| CN114120254A (zh) | 道路信息识别方法、装置及存储介质 | |
| CN116184357B (zh) | 一种地面点云数据处理方法、装置、电子装置和存储介质 | |
| CN116721396A (zh) | 车道线检测方法、设备及存储介质 | |
| CN112507887A (zh) | 一种路口标志牌提取及关联的方法及装置 | |
| CN112529011A (zh) | 目标检测方法及相关装置 | |
| Jung et al. | Intelligent hybrid fusion algorithm with vision patterns for generation of precise digital road maps in self-driving vehicles | |
| CN115512330A (zh) | 基于图像分割与激光雷达点云补全的物体检测方法 | |
| CN114882458A (zh) | 一种目标跟踪方法、系统、介质及设备 | |
| CN112131947A (zh) | 道路指示线提取方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |