Nothing Special   »   [go: up one dir, main page]

CN111797734B - 车辆点云数据处理方法、装置、设备和存储介质 - Google Patents

车辆点云数据处理方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN111797734B
CN111797734B CN202010575464.0A CN202010575464A CN111797734B CN 111797734 B CN111797734 B CN 111797734B CN 202010575464 A CN202010575464 A CN 202010575464A CN 111797734 B CN111797734 B CN 111797734B
Authority
CN
China
Prior art keywords
point cloud
vehicle
determining
vehicle point
circumscribed rectangle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010575464.0A
Other languages
English (en)
Other versions
CN111797734A (zh
Inventor
曹军
陈耀达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Guangzhou Shirui Electronics Co Ltd
Original Assignee
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Guangzhou Shirui Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shiyuan Electronics Thecnology Co Ltd, Guangzhou Shirui Electronics Co Ltd filed Critical Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority to CN202010575464.0A priority Critical patent/CN111797734B/zh
Publication of CN111797734A publication Critical patent/CN111797734A/zh
Application granted granted Critical
Publication of CN111797734B publication Critical patent/CN111797734B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/251Fusion techniques of input or preprocessed data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/48Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种车辆点云数据处理方法、装置、终端设备和存储介质。对激光雷达采集到的三维点云数据进行投影,得到地平坐标系中的二维点云数据;根据所述二维点云数据确定车辆点云的主方向;确定所述车辆点云的外接矩形,所述外接矩形的边与所述主方向垂直或平行;根据所述外接矩形中与所述地平坐标系的原点之间的距离最近的顶点,以及对应于所述车辆点云的长宽参考值,确定所述车辆点云的车辆包围框。通过基于主方向的外接矩形的确定,以及基于外接矩形的车辆包围框的计算,能实现对车辆轮廓的准确计算,进而对车辆位置和姿态进行准确估计,保证对车辆的精确跟踪。

Description

车辆点云数据处理方法、装置、设备和存储介质
技术领域
本发明实施例涉及图像处理技术领域,尤其涉及车辆点云数据处理方法、装置、终端设备和存储介质。
背景技术
在机器人、自动驾驶等领域,对车辆的识别检测、定位、姿态估计和跟踪等是一个重要的功能,此功能将影响路径的规划、决策等应用。
通常要完成对车辆的定位、跟踪和姿态估计需要通过对激光雷达数据进行识别检测获得车辆对应点云,或通过激光雷达数据和图像数据进行检测和融合获得车辆对应点云。在获取车辆点云后需要利用包围框将车辆点云包围,得到车辆的位置、姿态,并可通过对包围框的跟踪实现对车辆的跟踪。车辆包围框的计算将直接影响到车辆的位置姿态估计和对车辆的跟踪效果。
目前计算车辆包围框的方法主要有如下两种思路:
一是直接计算点云的外接矩形,通过计算一个可以将全部点云包围的最小体积的长方体,得到点云的外包围框。当可以获得完整的车辆点云时,这中方法可以有效的对车辆的位置、姿态进行估计。但是在机器人、无人车等应用场景中,通常无法获得完整的车辆点云,只能获取车辆的局部信息,在此情况下,使用外接矩形的方法,不能有效的估计车辆的位置和姿态,也会对车辆跟踪造成很大的影响。请参考图2和图3,基于图2中所示的点云数据,得到图3所示的包围框,但是图2所示的点云数据实际只能表示检测物体实际形状的一部分。
二是通过将点云投影到平面,计算平面点云的凸包围,在根据凸包围计算障碍物的外接矩形,利用凸包围中最长边作为障碍物的方向。在自动驾驶的应用中,由于一般激光雷达的安装高度较高,可以扫描到车辆的顶部,在计算获得的凸包计算可以表示车辆的轮廓。但是如果激光雷达安装的比较低,如机器人等应用中,激光雷达只能扫描到车辆的侧边而无法扫描的车顶。此时计算的凸包并不能表示车辆的轮廓,车辆的大小和位置表达将错误,并且当只能扫描到非常少的车辆点云时车辆的姿态估计也会出现错误。请参考图4、图5和图6,对于,采用外接矩形计算的方式,对同一批目标在不同角度的检测,得到的包围不同,说明必然对车辆的大小和位置表达存在错误。
发明人在实现对车辆包围框的计算时,发现以上两种思路的计算方式即使在知道点云属于车辆,在激光雷达获得的点云数据在xy平面上不能完整表示车辆的轮廓时,都存在对车辆位置和姿态的估计误差,导致对车辆的跟踪出现困难。
发明内容
本发明提供了一种车辆点云数据处理方法、装置、终端设备和存储介质,以解决现有技术计算车辆包围时不能完整表示车辆轮廓的技术问题。
第一方面,本发明实施例提供了一种车辆点云数据处理方法,包括:
对激光雷达采集到的三维点云数据进行投影,得到地平坐标系中的二维点云数据;
根据所述二维点云数据确定车辆点云的主方向;
确定所述车辆点云的外接矩形,所述外接矩形的边与所述主方向垂直或平行;
根据所述外接矩形中与所述地平坐标系的原点之间的距离最近的顶点,以及对应于所述车辆点云的长宽参考值,确定所述车辆点云的车辆包围框。
第二方面,本发明实施例还提供了一种车辆点云数据处理装置,包括:
点云投影单元,用于对激光雷达采集到的三维点云数据进行投影,得到地平坐标系中的二维点云数据;
主方向确定单元,用于根据所述二维点云数据确定车辆点云的主方向;
矩形确定单元,用于确定所述车辆点云的外接矩形,所述外接矩形的边与所述主方向垂直或平行;
包围框确定单元,用于根据所述外接矩形中与所述地平坐标系的原点之间的距离最近的顶点,以及对应于所述车辆点云的长宽参考值,确定所述车辆点云的车辆包围框。
第三方面,本发明实施例还提供了一种终端设备,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如第一方面所述的车辆点云数据处理方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如第一方面所述的车辆点云数据处理方法。
上述车辆点云数据处理方法、装置、终端设备和存储介质,对激光雷达采集到的三维点云数据进行投影,得到地平坐标系中的二维点云数据;根据所述二维点云数据确定车辆点云的主方向;确定所述车辆点云的外接矩形,所述外接矩形的边与所述主方向垂直或平行;根据所述外接矩形中与所述地平坐标系的原点之间的距离最近的顶点,以及对应于所述车辆点云的长宽参考值,确定所述车辆点云的车辆包围框。通过基于主方向的外接矩形的确定,以及基于外接矩形的车辆包围框的计算,能实现对车辆轮廓的准确计算,进而对车辆位置和姿态进行准确估计,保证对车辆的精确跟踪。
附图说明
图1为本发明实施例一提供的一种车辆点云数据处理方法的流程图;
图2和图3为直接通过点云的外接矩形计算车辆包围的示意图;
图4-图6为通过点云的凸包围计算车辆包围的示意图;
图7和图8为投影前后的点云数据示意图;
图9为直线检测结果的示意图;
图10为外接矩形的示意图;
图11为车辆包围框的示意图;
图12和图13为实施本方案进行包围框检测的效果图;
图14为本发明实施例二提供的一种车辆点云数据处理装置的结构示意图;
图15为本发明实施例三提供的一种终端设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
需要注意的是,由于篇幅所限,本申请说明书没有穷举所有可选的实施方式,本领域技术人员在阅读本申请说明书后,应该能够想到,只要技术特征不互相矛盾,那么技术特征的任意组合均可以构成可选的实施方式。
例如,在实施例一的一个实施方式中,记载了一个技术特征:将聚类结果和物体分类检测结果进行重叠对齐,将分类检测结果的标签添加到聚类结果,从而判断车辆点云的类型;在实施例一的另一个实施方式中,记载了另一个技术特征:通过霍夫直线检测确定车辆点云的主方向。由于以上两个技术特征不互相矛盾,本领域技术人员在阅读本申请说明书后,应该能够想到,同时具有这两个特征的实施方式也是一种可选的实施方式。
另外需要注意的是,本方案的实施形态也不是实施例一中记载的所有技术特征的集合,其中某些技术特征的描述是为了方案的优化实现,实施例一中记载的若干技术特征的组合如果可以实现本方案的设计初衷,其即可作为一种未独立的实施方式,当然也可以作为一种具体的产品形态。
下面对各实施例进行详细说明。
实施例一
图1为本发明实施例一提供的一种车辆点云数据处理方法的流程图。实施例中提供的车辆点云数据处理方法可以由用于车辆包围计算的各种操作设备执行,该操作设备可以通过软件和/或硬件的方式实现,该操作设备可以是两个或多个物理实体构成,也可以是一个物理实体构成。
具体的,参考图1,该车辆点云数据处理方法具体包括:
步骤S101:对激光雷达采集到的三维点云数据进行投影,得到地平坐标系中的二维点云数据。
三维点云数据可以视为激光雷达输出的点云数据的一种可视化表达,例如图2所示,并不是所有的三维点云数据都位于同一平面中,而是零散分布于空间中(即虚线框表示的空间范围中)。
对于激光雷达而言,采集到的是三维点云数据,这些三维点云数据具体呈现在以激光雷达的安装位置为参考确定原点(O)得到的三维坐标系中,通常而言,该三维坐标系以地面参考确定一平面(即XOY所在的地平坐标系),以垂直地面的方向为Z轴方向。在车辆行驶过程中,最主要的是避免对周围障碍物(主要是前方车辆)的侧面(包括前后左右)接触,也就是说,在行驶过程中,主要避免自身车辆的侧轮廓侵入到前方车辆的侧轮廓。基于激光雷达采集到的三维点云数据,侧轮廓的数学表达基于三维点云数据在地平坐标系中的投影实现。提取三维点云数据(x,y,z)中的(x,y)即可得到该三维点云数据在地平坐标系中的投影(相当于视线与Z轴平行向地平坐标系俯瞰的点云分布),即将分布于立体空间中的三维点云数据映射到一个平面中得到二维点云数据,图7中的三维点云数据投影之后的二维点云数据分布如图8所示。
步骤S102:根据所述二维点云数据确定车辆点云的主方向。
在完成三维点云数据的投影后,在二维点云数据对应的图像上对应于每组车辆点云数据进行霍夫直线检测(也可使用其他直线检测方法)获得图像中的直线数据,在完成车辆点云直线检测后,根据直线的角度和对应直线的长度,统计在哪个角度范围内的直线总长度最长,即作为车辆点云的主方向。在图8的基础上进行直线检测的结果如图9所示。
因为激光雷达与检测范围内车辆的相对位置关系多变,当整车位于检测范围内没有遮挡时,能获得相对完整的车辆点云数据,但是对于部分位于检测范围内和部分被遮挡的状态,可以通过其他的检测手段和响应逻辑进行对应处理(例如通过车辆距离检测和判断进行忽略或预警)。在本方案中,在根据所述二维点云数据进行直线检测得到的线段之后,进一步判断直线检测得到的线段的长度是否达到预设的有效长度阈值,有效长度阈值可以以大部分车辆的长度和宽度为参考。因为激光雷达主要检测到车身侧面对应生成点云数据,那么在二维点云数据中进行直线检测,相当于主要基于车身侧面在地平坐标系的投影进行直线检测计算。由此,取长度和宽度之间的值作为有效长度阈值,当直线检测得到的线段的长度达到有效长度阈值,可以直接确认该线段不在宽度方向,从而判断该直线检测得到的线段所在的方向为主方向。例如参考大部分乘用车的宽度在2米以内,长度在3.5米以上,可以设置2米以上的长度作为有效长度阈值,进一步考虑到商用车2.55米的宽度超限尺寸;可以进一步预设有效长度阈值2.6米。如果直线检测得到的线段的长度为2.7米,很明显该线段不是在宽度方向上出现,该线段所在的方向即为长度方向,也就是主方向。当然,对于超宽大件(宽度3米以上)的运输,其运输时间、路线都有明确的规定约束,甚至有运输过程中的交通引导,在本方案中不必针对此类车辆进行特别处理。
另外,在进行直线检测时,可以进一步约定点云数据的处理参数。例如点离线最大距离(点云数据与当前生成的线段所在的直线的距离超出最大距离,则不拟合到当前生成的线段)、线段上两点之间的最大距离(下一点云数据与当前生成的线段上最近的端点之间的距离超出最大距离,则不拟合到当前生成的线段)、拟合点的最小数量(直线检测得到的线段中参与拟合的点云数据的个数小于最小数量,则该线段忽略)等,通过各种点云数据之间相对关系的约束,可以进一步提高直线检测的计算精度,为车辆检测提供更精准的参考。具体直线检测的运算过程不是本方案的重点所在,在此不做计算过程的说明。
步骤S103:以所述地平坐标系的原点为圆心将所述车辆点云向第一方向旋转第一角度,直至所述车辆点云的主方向与所述地平坐标系中的设定坐标轴平行得到临时车辆点云。
在完成车辆点云的主方向计算后,根据主方向与坐标轴的夹角,将车辆点云以地平坐标系的原点为圆心旋转该角度,直至车辆点云的主方向与地平坐标系中的设定坐标轴平行。在该旋转过程中,旋转方向与旋转角度相对比较灵活,具体设定的坐标轴可以是X轴,也可以是Y轴,角度可以是主方向固定与X轴(或Y轴)的正方向或负方向的夹角,也可以是主方向与X轴(或Y轴)小于90°的夹角,该夹角即为第一角度,第一方向即为主方向朝向第一角度相关坐标轴的方向(顺时针方向或逆时针方向,具体根据设定坐标轴而定)。
步骤S104:确定所述临时车辆点云的临时外接矩形,所述临时外接矩形的边与所述临时车辆点云的主方向垂直或平行。
车辆点云全部分布于外接矩形对应的区域内,并且外接矩形的每条边上都有至少一个点的分布,分布于边上的点称为外接点。对于车辆点云的外接矩形,根据外接点的选择不同,外接矩形的位置不同,在本方案中,外接矩形的四条边的位置以坐标轴为参考,与坐标轴垂直或平行。即车辆点云与外接矩形的外接点为向第一方向旋转第一角度之后,地面坐标系中最上方、最下方、最左端和最右端的点,根据外接点,可以确定旋转后的点云数据中最小和最大的x坐标值(x_min和x_max),最小和最大的y坐标值(y_min和y_max),进而可以得到矩形的四个顶点坐标(x_min,y_min)、(x_min,y_max)、(x_max,y_min)、(x_max,y_max),根据这四个顶点坐标即可确定如图10所示的外接矩形,每条边与坐标轴垂直或平行。
步骤S105:将所述临时外接矩形按第二方向旋转第一角度得到外接矩形,所述第二方向与所述第一方向相反。
将外接矩形按第二方向旋转第一角度,第二方向与第一方向相反,即可得到初始的点云数据的外接矩形。通过两次旋转得到的外接矩形,可以快速根据点云数据的坐标值直接得到合适的外接矩形,减少了基于主方向的各种角度换算和坐标值计算。
步骤S103-步骤S105用于确定所述车辆点云的外接矩形,并且该外接矩形的边与所述主方向垂直或平行。在具体实施时,也可以有其他的方式确定车辆点云的这一外接矩形,即在确认车辆点云的主方向之后,直接根据车辆点云的分布区域,确定两条与主方向平行以及两条与主方向垂直的平行线构成一个矩形,使得该矩形的每条边上均分布有车辆点云中的点,并且车辆点云中所有的点均位于该矩形内,具体的确定过程在平面关系的计算中比较常见,在此不对计算过程做详细推导。
步骤S106:根据所述外接矩形中与所述地平坐标系的原点之间的距离最近的顶点,以及对应于所述车辆点云的长宽参考值,确定所述车辆点云的车辆包围框。
对于最原始的三维点云数据,无法直接区分出这些三维点云数据对应的物体,例如无法区分出这些三维点云数据哪些是来自前方的小轿车,哪些是来自前方的行人,哪些是来自前方的大货车。
在步骤S101的投影处理之外,还需对三维点云数据进行分组识别得到至少一组车辆点云,并确定每组车辆点云对应的车辆类型。在车辆行驶、机器人运动、或固定雷达运行的过程中,除了激光雷达的检测,还有摄像头配合同时进行图像数据的采集,综合三维点云数据和图像数据即可判断一组车辆点云对应的车辆类型。为及时有效地应对外部车辆变化,需要对三维点云数据进行实时处理。车辆类型的判断基础是同一目标在同一时刻的三维点云数据和图像数据,因此,可以基于数据生成的时间戳获得与三维点云数据生成时间相同的图像数据完成车辆类型的判断。
需要说明的是,激光雷达的检测区域和摄像头的图像采集区域不一定完全一致,在本方案中,为提高数据处理效率,可以对区域较大的数据做对应的数据过滤。例如激光雷达的整个检测区域与摄像头的图像采集区域中心的部分重叠,则可以对图像数据做过滤处理,在本方案中仅处理重叠区域对应的部分数据,使得激光雷达和摄像头采集的有效数据对应的实际区域相同或接近,在后续进行车辆类型判断时,可以避免对无效数据的多余处理,提高处理速度。
在具体的分组识别过程中,对三维点云数据的处理主要是聚类分析。聚类分析通过物理位置信息的计算,把相近的同一簇点云标记为一类,具体可以用“填充聚类”、“dynamic means”或者其它不同的算法实现。其中,“填充聚类”只使用了静态一帧中的数据,把距离较近的数据归为一类。而“dynamic means”方法,可以根据帧与帧之间的特点,让聚类更为准确,标记为同一类的三维点云数据表示同一车辆点云。在聚类分析的基础上,进一步通过图像识别进行物体分类检测,在获取同一时刻检测的点云数据和图像数据对应生成的点云聚类图和物体检测分类图中,将激光簇与检测物体在位置上形成匹配关系,将聚类结果和物体分类检测结果进行重叠对齐,将分类检测结果的标签添加到聚类结果,从而判断车辆点云的类型。通过图像识别进行物体分类检测可以是现有的物体检测模型、方法或数据库,例如可以是YOLO、YOLOV2或YOLO的其他衍生网络等物体检测方法或者其他的万物检测和分类的方法,也可以是自定义生成的物体检测模型或方法。
聚类结果和物体分类检测结果进行重叠对齐的过程适用于物体分类检测结果有多个的情况,在某些场景下,也可以直接将物体分类检测结果作为车辆点云对应的车辆类型。例如将本方案实施于停车场的自动巡检机器人,自动巡检机器人对每辆车的停车姿态是否标准进行检测,其根据自身预存的停车场地图以及自身在停车场的位置,按巡检路线在每个车位前停下对车位进行激光雷达扫描和图像数据采集,在此情况下,因为激光雷达扫描范围和图像数据采集范围内只有同一个目标(或者有很明显的主体目标),此时可以直接将图像数据的物体分类检测结果作为激光雷达扫描得到的三维点云数据中的车辆点云的车辆类型。又例如,在路面行驶过程中,某个时刻检测到的三维点云数据的聚类结果为5辆车对应的车辆点云,同一时刻采集到的图像数据的物体分类检测结果为一类车辆,那么可以将物体分类检测结果直接作为所有车辆点云的车辆类型,无需执行重叠匹配添加标签的过程。
本方案中所说的分类可以是从车辆运输能力进行大体分类,例如小车(2-7座)、小巴(8-10座)、中巴(10-19座)、大巴(20座以上)、轻型货车(载重3.5吨以下)、中型货车(载重4~8吨)、重型货车(载重8吨以上)等,根据运输能力级别进行划分,并在图像识别中为检测到的车辆添加对应的分类标签,在激光簇与车辆检测结果形成匹配关系之后,将该分类标签添加到激光簇,完成对激光簇对应车辆类型的判断,基于车辆运输能力。在大体分类的基础上,可以进一步对分类进行细分,例如将小车进一步划分为A级车、B级车、C级车、D级车、小型SUV、紧凑型SUV、中型SUV、中大型SUV、大型SUV、MPV等。在处理器的算力足够,基础数据的准备充分的情况下,可以进一步将车辆细分到具体的车型(例如2020版甲品牌A款车、2019版乙品牌B款车),当然,以上分类标签和分类标准主要用于示例性说明,不表示仅有以上的分类标签的定义和分类标准的划分。
在不同分类方式的基础上,进一步设置对应的长宽参考值,分类越细,对应的长宽参考值越精确,例如小车设定长宽参考值为5.5米和2.0米,A级车设定长宽参考值为4650mm和1850mm,2020版甲品牌A款车设定长宽参考值为4641mm和1815mm。
根据物体分类检测的结果获得车辆点云对应的车辆类型之后,可以基于该车辆类型设定的长宽参考值对最小外接矩形进行修正,从而得到车辆包围框。因为激光雷达检测到的车辆的最近点和主方向是准确的,通过对应于车辆点云的长宽参考值确定的车辆包围框,能够基本消除检测误差,实现尽可能准确的位置和姿态判断,进而实现准确的跟踪和自身驾驶的调整。
具体来说,所述长宽参考值包括长度参考值和宽度参考值;
所述根据所述外接矩形中与所述地平坐标系的原点之间的距离最近的顶点,以及对应于所述车辆点云的长宽参考值,确定所述车辆点云的车辆包围框,包括:
根据所述外接矩形中与所述地平坐标系的所述原点之间的距离最近的顶点,以及所述外接矩形中的第一顶点确定长度方向,所述长度方向与所述主方向平行;
根据所述外接矩形中与所述地平坐标系的所述原点之间的距离最近的顶点,以及所述外接矩形中的第二顶点确定宽度方向,所述宽度方向与所述主方向垂直;
以所述外接矩形中与所述地平坐标系的所述原点之间的距离最近的顶点为顶点,以所述长度参考值为所述长度方向上的长度,以所述宽度参考值为所述宽度方向上的长度构造矩形作为所述车辆点云的车辆包围框。
在获得车辆点云基于主方向的外接矩形之后,计算外接矩形四个顶点离原点的距离,获得离原点距离最小的顶点,即最近顶点。根据最近顶点到其他顶点的位置方向,计算各顶点与最近顶点的连线的夹角,如果两点连线与主方向平行,则将这个角度即为a_length;如果两点连线与主方向垂直,则将这个角度即为a_width。在两个角度方向上,分别赋予该车辆点云对应车型的长宽参考值,从而得到最近顶点两个相邻的顶点,根据最近顶点以及两个相邻顶点即可确定一个矩形,该矩形即为最终确定的车辆包围框。
如图11所示,虚线框为基于车辆点云确定的外接矩形,实线框为基于外接矩形修正后确定的包围框。在实际的测试效果中可以参考图12和图13,对于同一批目标车辆在不同角度的激光雷达检测时,最终确定的车辆包围框对应相同,也即对车辆的位置和姿态的估计更加准确。
上述,对激光雷达采集到的三维点云数据进行投影,得到地平坐标系中的二维点云数据;根据所述二维点云数据确定车辆点云的主方向;确定所述车辆点云的外接矩形,所述外接矩形的边与所述主方向垂直或平行;根据所述外接矩形中与所述地平坐标系的原点之间的距离最近的顶点,以及对应于所述车辆点云的长宽参考值,确定所述车辆点云的车辆包围框。通过基于主方向的外接矩形的确定,以及基于外接矩形的车辆包围框的计算,能实现对车辆轮廓的准确计算,进而对车辆位置和姿态进行准确估计,保证对车辆的精确跟踪。
实施例二
图14为本发明实施例二提供的一种车辆点云数据处理装置的结构示意图。参考图14,该车辆点云数据处理装置包括:点云投影单元201、主方向确定单元202、矩形确定单元203和包围框确定单元204。
其中,点云投影单元201,用于对激光雷达采集到的三维点云数据进行投影,得到地平坐标系中的二维点云数据;主方向确定单元202,用于根据所述二维点云数据确定车辆点云的主方向;矩形确定单元203,用于确定所述车辆点云的外接矩形,所述外接矩形的边与所述主方向垂直或平行;包围框确定单元204,用于根据所述外接矩形中与所述地平坐标系的原点之间的距离最近的顶点,以及对应于所述车辆点云的长宽参考值,确定所述车辆点云的车辆包围框。
在上述实施例的基础上,所述矩形确定单元203,包括:
第一旋转模块,用于以所述地平坐标系的原点为圆心将所述车辆点云向第一方向旋转第一角度,直至所述车辆点云的主方向与所述地平坐标系中的设定坐标轴平行得到临时车辆点云;
临时矩形确定模块,用于确定所述临时车辆点云的临时外接矩形,所述临时外接矩形的边与所述临时车辆点云的主方向垂直或平行;
第二旋转模块,用于将所述临时外接矩形按第二方向旋转第一角度得到外接矩形,所述第二方向与所述第一方向相反。
在上述实施例的基础上,长宽参考值包括长度参考值和宽度参考值;
所述包围框确定单元204,包括:
长度方向确定模块,用于根据所述外接矩形中与所述地平坐标系的所述原点之间的距离最近的顶点,以及所述外接矩形中的第一顶点确定长度方向,所述长度方向与所述主方向平行;
宽度方向确定模块,用于根据所述外接矩形中与所述地平坐标系的所述原点之间的距离最近的顶点,以及所述外接矩形中的第二顶点确定宽度方向,所述宽度方向与所述主方向垂直;
包围框确定模块,用于以所述外接矩形中与所述地平坐标系的所述原点之间的距离最近的顶点为顶点,以所述长度参考值为所述长度方向上的长度,以所述宽度参考值为所述宽度方向上的长度构造矩形作为所述车辆点云的车辆包围框。
在上述实施例的基础上,所述装置,还包括:
车辆识别单元,用于对所述三维点云数据进行分组识别得到至少一组车辆点云,并确定每组车辆点云对应的车辆类型。
在上述实施例的基础上,所述主方向确定单元202,包括:
直线检测模块,用于根据所述二维点云数据进行直线检测;
长度判断模块,用于判断直线检测得到的线段的长度是否达到预设的有效长度阈值;
方向确定模块,用于当所述直线检测得到的线段的长度达到所述有效长度阈值,则确认所述直线检测得到的线段所在的方向为主方向。
在上述实施例的基础上,所述第一角度为所述主方向与所述设定坐标轴的夹角。
在上述实施例的基础上,所述设定坐标轴为X轴。
本发明实施例提供的车辆点云数据处理装置包含在车辆点云数据处理设备中,且可用于执行上述实施例一中提供的任一车辆点云数据处理方法,具备相应的功能和有益效果。
实施例三
图15为本发明实施例三提供的一种终端设备的结构示意图,该终端设备是前文所述车辆点云数据处理设备的一种具体的硬件呈现方案。如图15所示,该终端设备包括处理器310、存储器320、输入装置330、输出装置340以及通信装置350;终端设备中处理器310的数量可以是一个或多个,图15中以一个处理器310为例;终端设备中的处理器310、存储器320、输入装置330、输出装置340以及通信装置350可以通过总线或其他方式连接,图15中以通过总线连接为例。
存储器320作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的车辆点云数据处理方法对应的程序指令/模块(例如,车辆点云数据处理装置中的点云投影单元201、主方向确定单元202、矩形确定单元203和包围框确定单元204)。处理器310通过运行存储在存储器320中的软件程序、指令以及模块,从而执行终端设备的各种功能应用以及数据处理,即实现上述的车辆点云数据处理方法。
存储器320可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端设备的使用所创建的数据等。此外,存储器320可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器320可进一步包括相对于处理器310远程设置的存储器,这些远程存储器可以通过网络连接至终端设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置330可用于接收输入的数字或字符信息,以及产生与终端设备的用户设置以及功能控制有关的键信号输入。输出装置340可包括显示屏等显示设备。
上述终端设备包含车辆点云数据处理装置,可以用于执行任意车辆点云数据处理方法,具备相应的功能和有益效果。
实施例四
本发明实施例还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行本申请任意实施例中提供的车辆点云数据处理方法中的相关操作,且具备相应的功能和有益效果。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。
因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.车辆点云数据处理方法,其特征在于,包括:
对激光雷达采集到的三维点云数据进行投影,得到地平坐标系中的二维点云数据;
根据所述二维点云数据确定计算车辆点云的主方向;
确定所述车辆点云的外接矩形,所述外接矩形的边与所述主方向垂直或平行;
根据所述外接矩形中与所述地平坐标系的原点之间的距离最近的顶点,以及对应于所述车辆点云的长宽参考值,确定所述车辆点云的车辆包围框;
其中,所述确定所述车辆点云的外接矩形,包括:
以所述地平坐标系的原点为圆心将所述车辆点云向第一方向旋转第一角度,直至所述车辆点云的主方向与所述地平坐标系中的设定坐标轴平行得到临时车辆点云;
确定所述临时车辆点云的临时外接矩形,所述临时外接矩形的边与所述临时车辆点云的主方向垂直或平行;
将所述临时外接矩形按第二方向旋转第一角度得到外接矩形,所述第二方向与所述第一方向相反。
2.根据权利要求1所述的方法,其特征在于,所述长宽参考值包括长度参考值和宽度参考值;
所述根据所述外接矩形中与所述地平坐标系的原点之间的距离最近的顶点,以及对应于所述车辆点云的长宽参考值,确定所述车辆点云的车辆包围框,包括:
根据所述外接矩形中与所述地平坐标系的所述原点之间的距离最近的顶点,以及所述外接矩形中的第一顶点确定长度方向,所述长度方向与所述主方向平行;
根据所述外接矩形中与所述地平坐标系的所述原点之间的距离最近的顶点,以及所述外接矩形中的第二顶点确定宽度方向,所述宽度方向与所述主方向垂直;
以所述外接矩形中与所述地平坐标系的所述原点之间的距离最近的顶点为顶点,以所述长度参考值为所述长度方向上的长度,以所述宽度参考值为所述宽度方向上的长度构造矩形作为所述车辆点云的车辆包围框。
3.根据权利要求2所述的方法,其特征在于,所述根据所述外接矩形中与所述地平坐标系的原点之间的距离最近的顶点,以及对应于所述车辆点云的长宽参考值,确定所述车辆点云的车辆包围框之前,还包括:
对所述三维点云数据进行分组识别得到至少一组车辆点云,并确定每组车辆点云对应的车辆类型。
4.根据权利要求1所述的方法,其特征在于,所述根据所述二维点云数据确定车辆点云的主方向,包括:
根据所述二维点云数据进行直线检测;
判断直线检测得到的线段的长度是否达到预设的有效长度阈值;
当所述直线检测得到的线段的长度达到所述有效长度阈值,则确认所述直线检测得到的线段所在的方向为主方向。
5.根据权利要求1所述的方法,其特征在于,所述第一角度为所述主方向与所述设定坐标轴的夹角。
6.根据权利要求5所述的方法,其特征在于,所述设定坐标轴为X轴。
7.车辆点云数据处理装置,其特征在于,包括:
点云投影单元,用于对激光雷达采集到的三维点云数据进行投影,得到地平坐标系中的二维点云数据;
主方向确定单元,用于根据所述二维点云数据确定车辆点云的主方向;
矩形确定单元,用于确定所述车辆点云的外接矩形,所述外接矩形的边与所述主方向垂直或平行;
包围框确定单元,用于根据所述外接矩形中与所述地平坐标系的原点之间的距离最近的顶点,以及对应于所述车辆点云的长宽参考值,确定所述车辆点云的车辆包围框;
其中,所述矩形确定单元,包括:
第一旋转模块,用于以所述地平坐标系的原点为圆心将所述车辆点云向第一方向旋转第一角度,直至所述车辆点云的主方向与所述地平坐标系中的设定坐标轴平行得到临时车辆点云;
临时矩形确定模块,用于确定所述临时车辆点云的临时外接矩形,所述临时外接矩形的边与所述临时车辆点云的主方向垂直或平行;
第二旋转模块,用于将所述临时外接矩形按第二方向旋转第一角度得到外接矩形,所述第二方向与所述第一方向相反。
8.一种终端设备,其特征在于,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-6任一所述的车辆点云数据处理方法。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-6任一所述的车辆点云数据处理方法。
CN202010575464.0A 2020-06-22 2020-06-22 车辆点云数据处理方法、装置、设备和存储介质 Active CN111797734B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010575464.0A CN111797734B (zh) 2020-06-22 2020-06-22 车辆点云数据处理方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010575464.0A CN111797734B (zh) 2020-06-22 2020-06-22 车辆点云数据处理方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN111797734A CN111797734A (zh) 2020-10-20
CN111797734B true CN111797734B (zh) 2024-05-24

Family

ID=72803637

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010575464.0A Active CN111797734B (zh) 2020-06-22 2020-06-22 车辆点云数据处理方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN111797734B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112432647B (zh) * 2020-11-09 2023-04-25 深圳市汇川技术股份有限公司 车厢的定位方法、装置、系统及计算机可读存储介质
WO2022099510A1 (zh) * 2020-11-11 2022-05-19 深圳元戎启行科技有限公司 对象识别方法、装置、计算机设备和存储介质
CN113808186B (zh) * 2021-03-04 2024-01-16 京东鲲鹏(江苏)科技有限公司 训练数据生成方法、装置与电子设备
CN115115771A (zh) * 2021-03-22 2022-09-27 广州视源电子科技股份有限公司 印刷电路板三维重建的方法、装置、设备和存储介质
CN112985464A (zh) * 2021-05-10 2021-06-18 湖北亿咖通科技有限公司 车辆里程计的精度检测方法、电子设备及存储介质
CN113605766B (zh) * 2021-08-06 2023-09-05 恩际艾科技(苏州)有限公司 一种汽车搬运机器人的探测系统及位置调整方法
CN114279452B (zh) * 2021-12-29 2024-04-12 北京斯年智驾科技有限公司 无人集卡挂车姿态检测方法及检测系统
CN116047499B (zh) * 2022-01-14 2024-03-26 北京中创恒益科技有限公司 一种目标施工车辆的输电线路高精度实时防护系统和方法
CN114442101B (zh) * 2022-01-28 2023-11-14 南京慧尔视智能科技有限公司 基于成像毫米波雷达的车辆导航方法、装置、设备及介质
CN114706070A (zh) * 2022-02-22 2022-07-05 惠州市德赛西威智能交通技术研究院有限公司 一种基于4d毫米波雷达的自动泊车车位搜索方法和系统
CN116681758A (zh) * 2022-02-23 2023-09-01 北京百度网讯科技有限公司 车辆的姿态估计方法、装置、电子设备及存储介质
CN114648890B (zh) * 2022-03-23 2023-02-28 深圳一清创新科技有限公司 一种停车位状态检测方法、装置及智能车
CN114913469B (zh) * 2022-07-11 2022-11-22 浙江大华技术股份有限公司 一种车辆长度估计模型建立的方法、终端设备及存储介质
CN115615992B (zh) * 2022-08-25 2024-05-03 武汉纺织大学 一种耐火砖尺寸测量及缺陷检测方法
CN115512542B (zh) * 2022-09-21 2023-08-18 山东高速集团有限公司 一种基于路侧激光雷达的考虑遮挡的轨迹复原方法及系统
CN118071994B (zh) * 2024-02-27 2024-08-27 数据堂(北京)科技股份有限公司 自动驾驶场景下不完整点云数据标注方法、装置及终端
CN118038415B (zh) * 2024-04-12 2024-07-05 厦门中科星晨科技有限公司 基于激光雷达的车辆识别方法、装置、介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226833A (zh) * 2013-05-08 2013-07-31 清华大学 一种基于三维激光雷达的点云数据分割方法
CN110533923A (zh) * 2019-08-29 2019-12-03 北京精英路通科技有限公司 停车管理方法、装置、计算机设备及存储介质
CN110705385A (zh) * 2019-09-12 2020-01-17 深兰科技(上海)有限公司 一种障碍物角度的检测方法、装置、设备及介质
CN110930422A (zh) * 2018-09-20 2020-03-27 长沙智能驾驶研究院有限公司 物体外框确定方法、装置、计算机设备和可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8139115B2 (en) * 2006-10-30 2012-03-20 International Business Machines Corporation Method and apparatus for managing parking lots

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226833A (zh) * 2013-05-08 2013-07-31 清华大学 一种基于三维激光雷达的点云数据分割方法
CN110930422A (zh) * 2018-09-20 2020-03-27 长沙智能驾驶研究院有限公司 物体外框确定方法、装置、计算机设备和可读存储介质
CN110533923A (zh) * 2019-08-29 2019-12-03 北京精英路通科技有限公司 停车管理方法、装置、计算机设备及存储介质
CN110705385A (zh) * 2019-09-12 2020-01-17 深兰科技(上海)有限公司 一种障碍物角度的检测方法、装置、设备及介质

Also Published As

Publication number Publication date
CN111797734A (zh) 2020-10-20

Similar Documents

Publication Publication Date Title
CN111797734B (zh) 车辆点云数据处理方法、装置、设备和存储介质
WO2022022694A1 (zh) 自动驾驶环境感知方法及系统
US9443309B2 (en) System and method for image based mapping, localization, and pose correction of a vehicle with landmark transform estimation
CN110794406B (zh) 多源传感器数据融合系统和方法
CN111815641A (zh) 相机和雷达融合
EP3620823A1 (en) Method and device for detecting precision of internal parameter of laser radar
CN110555407B (zh) 路面车辆空间识别方法及电子设备
US11677931B2 (en) Automated real-time calibration
CN114705121B (zh) 车辆位姿测量方法、装置及电子设备、存储介质
CN112578406A (zh) 一种车辆环境信息感知方法及装置
Pantilie et al. Real-time obstacle detection using dense stereo vision and dense optical flow
Bernardi et al. High integrity lane-level occupancy estimation of road obstacles through LiDAR and HD map data fusion
WO2024179207A1 (zh) 一种道路物体识别方法及装置
Eraqi et al. Static free space detection with laser scanner using occupancy grid maps
CN116051818A (zh) 自动驾驶系统的多传感器信息融合方法
CN116385997A (zh) 一种车载障碍物精确感知方法、系统及存储介质
CN115390050A (zh) 车载激光雷达的标定方法、装置及设备
CN118149797B (zh) 栅格地图构建方法、装置、计算机设备及存储介质
CN116382308B (zh) 智能化移动机械自主寻径与避障方法、装置、设备及介质
CN114648576B (zh) 一种目标车辆的定位方法、装置以及系统
CN114821526B (zh) 基于4d毫米波雷达点云的障碍物三维边框检测方法
CN115147612B (zh) 一种基于累加点云对车辆尺寸进行实时估计的处理方法
Van Leeuwen Motion estimation and interpretation for in-car systems
US20240078749A1 (en) Method and apparatus for modeling object, storage medium, and vehicle control method
CN114136328B (zh) 一种传感器信息融合方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant