CN113763483A - 行车记录仪俯仰角标定方法及装置 - Google Patents
行车记录仪俯仰角标定方法及装置 Download PDFInfo
- Publication number
- CN113763483A CN113763483A CN202111061248.5A CN202111061248A CN113763483A CN 113763483 A CN113763483 A CN 113763483A CN 202111061248 A CN202111061248 A CN 202111061248A CN 113763483 A CN113763483 A CN 113763483A
- Authority
- CN
- China
- Prior art keywords
- image
- pitch angle
- lane line
- data recorder
- loss value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000009466 transformation Effects 0.000 claims abstract description 30
- 230000003247 decreasing effect Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 4
- 230000002085 persistent effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000004580 weight loss Effects 0.000 description 4
- 230000000712 assembly Effects 0.000 description 3
- 238000000429 assembly Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000001131 transforming effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000002355 dual-layer Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请涉及一种行车记录仪俯仰角标定方法及装置。该方法包括：识别行车记录仪拍摄的图像，获得包含车道线的第一图像，其中，所述车道线满足设定条件；根据所述行车记录仪当前的俯仰角，按设定规则获得多个预测俯仰角；分别根据所述多个预测俯仰角对所述第一图像进行IPM变换，获得多张第二图像；对于所述多张第二图像，获得每张第二图像中车道线的损失值；根据所述每张第二图像中车道线的损失值，确定车道线的损失值最小的第二图像对应的预测俯仰角为所述行车记录仪的俯仰角。本申请提供的方案，能够准确地、实时地在线完成行车记录仪俯仰角的标定。
Description
技术领域
本申请涉及导航技术领域，尤其涉及一种行车记录仪俯仰角标定方法及装置。
背景技术
相关技术的卫星定位系统例如GPS（Global Positioning System，全球定位系统）具有性能好、精度高、应用广的特点。但在某些场景下，例如桥下，涵洞，隧道，密集楼宇之间等定位信号不好的位置，相关技术的卫星定位系统的定位偏差很大，甚至无法提供定位结果，从而无法为自动驾驶车辆提供准确的导航信息。基于高精地图的语义信息匹配定位做为一个辅助定位手段，可以为自动驾驶车辆提供横向和纵向的定位纠正，能够保证车道级别的定位精度。
在以深度学习为基础的计算机视觉快速发展的今天，图像作为自动驾驶车辆的重要感知信息源，可以给自动驾驶提供道路语义信息，比如：车道线、路面指示箭头、停止线等。在以自动驾驶车辆的行车记录仪的摄像头为车载摄像头时，行车记录仪的俯仰角受到车辆行驶过程颠簸等的影响，行车记录仪的俯仰角容易发生变化，导致通过行车记录仪获取的图像，无法准确地获得图像的道路语义信息，无法准确地进行语义信息匹配定位。因此，需要对行车记录仪的俯仰角进行实时地在线标定。
相关技术的行车记录仪俯仰角的标定，基于传统标定方法，需要借助其他传感器（例如，惯性测量单元），在特定的平台进行特定的数据测量，完成行车记录仪俯仰角的标定。因此，相关技术的行车记录仪俯仰角的标定，引入新的误差，无法准确地、实时地在线完成行车记录仪俯仰角的标定。
发明内容
为解决或部分解决相关技术中存在的问题，本申请提供一种行车记录仪俯仰角标定方法及装置，能够准确地、实时地在线完成行车记录仪俯仰角的标定。
本申请第一方面提供一种行车记录仪俯仰角标定方法，所述方法包括：
识别行车记录仪拍摄的图像，获得包含车道线的第一图像，其中，所述车道线满足设定条件；
根据所述行车记录仪当前的俯仰角，按设定规则获得多个预测俯仰角；
分别根据所述多个预测俯仰角对所述第一图像进行IPM变换，获得多张第二图像；
对于所述多张第二图像，获得每张第二图像中车道线的损失值；
根据所述每张第二图像中车道线的损失值，确定车道线的损失值最小的第二图像对应的预测俯仰角为所述行车记录仪的俯仰角。
优选的，所述识别行车记录仪拍摄的图像，获得包含车道线的第一图像，其中，所述车道线满足设定条件，包括：
识别行车记录仪拍摄的图像，获得包含多条具有设定长度的车道线的第一图像。
优选的，所述根据所述行车记录仪当前的俯仰角，按设定规则获得多个预测俯仰角，包括：
根据所述行车记录仪当前的俯仰角，按设定步长分别在所述当前的俯仰角的减小和/或增加的方向获得包含所述当前的俯仰角的多个预测俯仰角。
优选的，所述对于所述多张第二图像，获得每张第二图像中车道线的损失值，包括：
对于所述多张第二图像，根据设定的损失函数，获得每张第二图像中多条具有设定长度的车道线中每条车道线的损失值；
根据每张第二图像中每条车道线的损失值、第二图像中每条车道线的损失值权重，获得每张第二图像中车道线总的损失值。
优选的，所述第二图像中每条车道线的损失值权重根据第二图像中每条车道线与所述行车记录仪的距离大小进行设置。
本申请第二方面提供一种行车记录仪俯仰角标定装置，所述装置包括：
识别模块，用于识别行车记录仪拍摄的图像，获得包含车道线的第一图像，其中，所述车道线满足设定条件；
预测模块，用于根据所述行车记录仪当前的俯仰角，按设定规则获得多个预测俯仰角；
变换模块，用于分别根据所述预测模块获得的多个预测俯仰角对所述识别模块获得的第一图像进行IPM变换，获得多张第二图像；
计算模块，用于对于所述变换模块获得的多张第二图像，获得每张第二图像中车道线的损失值；
俯仰角确定模块，用于根据所述计算模块获得的每张第二图像中车道线的损失值，确定车道线的损失值最小的第二图像对应的预测俯仰角为所述行车记录仪的俯仰角。
优选的，所述识别模块具体用于：
识别行车记录仪拍摄的图像，获得包含多条具有设定长度的车道线的第一图像。
优选的，所述预测模块具体用于：
根据所述行车记录仪当前的俯仰角，按设定步长分别在所述当前的俯仰角的减小和/或增加的方向获得包含所述当前的俯仰角的多个预测俯仰角。
优选的，所述计算模块具体用于：
对于所述变换模块获得的多张第二图像，根据设定的损失函数，获得每张第二图像中多条具有设定长度的车道线中每条车道线的损失值；
根据每张第二图像中每条车道线的损失值、第二图像中每条车道线的损失值权重，获得每张第二图像中车道线总的损失值。
本申请第三方面提供一种电子设备，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。
本申请第四方面提供一种计算机可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。
本申请提供的技术方案可以包括以下有益效果：
本申请的技术方案，无需特定的标定设备，操作简单便捷，能够提高行车记录仪俯仰角标定的标定效率，能够准确地、实时地在线完成行车记录仪俯仰角的标定，可以通过实时更新行车纪录仪当前时刻的俯仰角信息，消除路面不平整对俯仰角的影响，并对下一时刻的俯仰角进行校正，使得行车记录仪能够为后续车道保持和局部建图提供高精度的输入，保证车道线在图像经过IPM变换后的平行关系，避免车道线在图像经过IPM变换后的产生畸变，IPM变换后的图像中车道线信息平行等宽效果变好，在后续与高精地图做ICP（Iterative Closest Point，迭代最近点）算法匹配时，降低匹配误差，进一步保证自动驾驶车辆自车车道级别的定位精度，为自动驾驶车辆的导航提供精准的定位信息。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
通过结合附图对本申请示例性实施方式进行更详细地描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。
图1是本申请实施例示出的行车记录仪俯仰角标定方法的流程示意图；
图2是本申请实施例示出的行车记录仪俯仰角标定方法的另一流程示意图；
图3是本申请实施例示出的行车记录仪俯仰角标定方法的第一图像的示意图；
图4是本申请实施例示出的行车记录仪俯仰角标定方法的第二图像的示意图；
图5是本申请实施例示出的行车记录仪俯仰角标定装置的结构示意图；
图6是本申请实施例示出的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的实施方式。虽然附图中显示了本申请的实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
本申请实施例提供一种行车记录仪俯仰角标定方法，能够准确地、实时地在线完成行车记录仪俯仰角的标定。
以下结合附图详细描述本申请实施例的技术方案。
实施例一：
图1是本申请实施例示出的行车记录仪俯仰角标定方法的流程示意图。
参见图1，一种行车记录仪俯仰角标定方法，包括：
在步骤S101中，识别行车记录仪拍摄的图像，获得包含车道线的第一图像，其中，车道线满足设定条件。
在一实施方式中，自动驾驶车辆上设有行车记录仪、卫星定位系统。卫星定位系统可以包括但不限于GPS。行车记录仪可以包括但不限于单目相机。
在一种具体实施方式中，行车记录仪可以设置于车辆的前挡风玻璃处。在自动驾驶车辆行驶过程中，可以获取行车记录仪拍摄的车辆前方的视频数据，可以通过深度学习模型对视频数据中的图像进行车道线识别，获得包含车道线的识别图像，在识别图像中选取一帧第一图像，第一图像包含多条具有一定长度的车道线。
在步骤S102中，根据行车记录仪当前的俯仰角，按设定规则获得多个预测俯仰角。
在一实施方式中，可以根据安装行车记录仪时的俯仰角作为行车记录仪当前的俯仰角，也可以根据对行车记录仪俯仰角的历史标定，以历史标定的俯仰角作为行车记录仪当前的俯仰角。根据行车记录仪当前的俯仰角按设定规则获得多个大于、等于和小于当前的俯仰角的预测俯仰角。
在步骤S103中，分别根据多个预测俯仰角对第一图像进行IPM变换，获得多张第二图像。
在一实施方式中，分别以多个预测俯仰角为参数，对第一图像进行IPM（InversePerspective Mapping，逆透视变换）变换，相应地获得与多个预测俯仰角对应的IPM变换后的多张第二图像，每张第二图像对应一个预测俯仰角。
在步骤S104中，对于多张第二图像，获得每张第二图像中车道线的损失值。
在一实施方式中，对于多张第二图像，可以计算每张第二图像中多条车道线的损失值，获得每张第二图像中多条车道线的损失值。
在步骤S105中，根据每张第二图像中车道线的损失值，确定车道线的损失值最小的第二图像对应的预测俯仰角为行车记录仪的俯仰角。
在一实施方式中，根据每张第二图像中多条车道线的损失值，比较每张第二图像中多条车道线的损失值的大小，获取多张第二图像中多条车道线的损失值最小的第二图像，确定第二图像对应的预测俯仰角为行车记录仪的俯仰角。
本申请实施例示出的行车记录仪俯仰角标定方法，无需特定的标定设备，操作简单便捷，能够提高行车记录仪俯仰角标定的标定效率，能够准确地、实时地在线完成行车记录仪俯仰角的标定，可以通过实时更新行车纪录仪当前时刻的俯仰角信息，消除路面不平整对俯仰角的影响，并对下一时刻的俯仰角进行校正，使得行车记录仪能够为后续车道保持和局部建图提供高精度的输入，保证车道线在图像经过IPM变换后的平行关系，避免车道线在图像经过IPM变换后的产生畸变，IPM变换后的图像中车道线信息平行等宽效果变好，在后续与高精地图做ICP（Iterative Closest Point，迭代最近点）算法匹配时，降低匹配误差，进一步保证自动驾驶车辆自车车道级别的定位精度，为自动驾驶车辆的导航提供精准的定位信息。
实施例二：
图2是本申请实施例示出的行车记录仪俯仰角标定方法的另一流程示意图。图2相对于图1更详细描述了本申请的方案。
参见图2，一种行车记录仪俯仰角标定方法，包括：
在步骤S201中，识别行车记录仪拍摄的图像，获得包含多条具有设定长度的车道线的第一图像。
在一实施方式中，自动驾驶车辆上设有行车记录仪、卫星定位系统。卫星定位系统可以包括但不限于GPS。行车记录仪可以包括但不限于单目相机。
在一种具体实施方式中，行车记录仪可以设置于车辆的前挡风玻璃处。自动驾驶车辆可以在具有多条相互平行车道线，且多条相互平行车道线的长度大于60米的道路上行驶，在行驶过程中，可以获取行车记录仪拍摄的车辆前方的视频数据；可以通过深度学习模型对视频数据中的图像进行车道线识别，获得包含车道线的识别图像，在识别图像中选取一帧包含多条具有设定长度的车道线的第一图像。如图3所示，选取的第一图像包含四条车道线301、302、303、304，四条车道线在道路中相互平行，且图像中的车道线长度对应现实的车道线长度，现实的车道线长度大于60米。
在一种具体实施方式中，深度学习模型可以采用一次方程对视频数据中的图像进行车道线识别，避免识别的车道线后段产生扭曲畸变，以获得识别效果良好的、精度更高的包含车道线的识别图像。
在步骤S202中，根据行车记录仪当前的俯仰角，按设定步长分别在当前的俯仰角的减小和/或增加的方向获得包含当前的俯仰角的多个预测俯仰角。
在一实施方式中，可以根据安装行车记录仪时的俯仰角作为行车记录仪当前的俯仰角，也可以根据对行车记录仪俯仰角的历史标定，以历史标定的俯仰角作为行车记录仪当前的俯仰角。根据行车记录仪当前的俯仰角按设定规则获得多个大于、等于和小于当前的俯仰角的预测俯仰角。
在一具体实施方式中，可以根据行车记录仪当前的俯仰角，按设定步长分别在当前的俯仰角的减小和/或增加的方向获得包含当前的俯仰角的多个预测俯仰角。例如，行车记录仪当前的俯仰角为1度，可以按设定步长0.1度，在当前的俯仰角的减小的方向获得0.9度、0.8度、0.7度、0.6度、0.5度等5个预测俯仰角，在当前的俯仰角的增加的方向获得1.1度、1.2度、1.3度、1.4度、1.5度等5个预测俯仰角，即根据行车记录仪当前的俯仰角1度，按设定步长0.1度，在1度减小和增加的方向获得11个预测俯仰角。
需要说明的是，可以根据对俯仰角标定的精度需求，对设定步长、在当前的俯仰角的减小和/或增加的方向获得的预测俯仰角的个数进行合理的设置。本申请的实施例并不对设定步长、在当前的俯仰角的减小和增加的方向获得的预测俯仰角的个数进行限制。
在步骤S203中，分别根据多个预测俯仰角对第一图像进行IPM变换，获得多张第二图像。
在一实施方式中，分别以多个预测俯仰角为参数，对第一图像进行IPM变换，相应地获得与多个预测俯仰角对应的IPM变换后的多张第二图像，每张第二图像对应一个预测俯仰角。
在一具体实施方式中，图4所示的图像，是以一个预测俯仰角为参数IPM变换后的第二图像。图4所示的图像中具有四条车道线，根据车辆所在的车道401，可以对四条车道线进行编号，车道401的左边第一条车道线301可以编号为-1，左边第二条车道线303可以编号为-2，车道401的右边第一条车道线302可以编号为+1，右边第二条车道线304可以编号为+2。
在步骤S204中，对于多张第二图像，根据设定的损失函数，获得每张第二图像中多条具有设定长度的车道线中每条车道线的损失值。
在一实施方式中，对每一张第二图像，可以按设定的损失函数获得每张第二图像中每条车道线设定长度的损失值，即先计算设定长度的车道线的每个像素点的列坐标与该条车道线上的像素点的列坐标平均值的差，再对差求和，得到第二图像中每条车道线设定长度的损失值loss（i），损失函数如下：
式中，i为车道线的索引，即车道线的编号；n为设定长度车道线上的像素点的总个数；pk为设定长度车道线上第k个素点的列坐标；pmean为设定长度车道线上的n个像素点的列坐标的平均值。
在一具体实施方式中，第一图像和第二图像的设定长度对应现实车道线的长度，第一图像和第二图像的设定长度的车道线可以对应长度为100米的现实车道线，即在第一图像和第二图像中每条车道线的设定长度对应长度为100米的现实车道线。根据损失函数，可以分别获得图4所示四条车道线的损失值：loss（-1）、loss（-2）、loss（+1）、loss（+2）。
在一具体实施方式中，可以根据第一图像和第二图像的图像质量，调整与第一图像和第二图像中车道线的设定长度对应的现实车道线的长度，从而调整第一图像和第二图像中车道线的设定长度，其中，现实车道线的长度范围为60至120米。
在一实施方式中，列坐标是IPM变换后的图像在像素坐标系下每个像素点的纵向坐标，即图像分辨率的列数就是列坐标。
在步骤S205中，根据每张第二图像中每条车道线的损失值、第二图像中每条车道线的损失值权重，获得每张第二图像中车道线总的损失值。
在一具体实施方式中，第二图像中每条车道线的损失值权重根据第二图像中每条车道线与行车记录仪的距离大小进行设置。根据每张第二图像中每条车道线的损失值、第二图像中每条车道线的损失值权重，按加权算法获得每张第二图像中车道线总的损失值loss。例如，如图4所示，自车车道401两侧的车道线（-1和+1车道线）距离行车记录仪较近，自车两侧的车道线的清晰度和识别精度会高于距离行车记录仪较远的其他车道线（-2和+2车道线），在计算总的损失值时，采用高斯分布的原理，可以将与行车记录仪距离较近、距离相同的车道线（-1和+1车道线）的损失值权重设置为第一权重，与行车记录仪距离较远、距离相同的车道线（-2和+2车道线）的损失值权重设置为第二权重。根据图4所示第二图像中每条车道线的损失值：loss（-1）、loss（-2）、loss（+1）、loss（+2），车道线-1和+1的损失值权重：第一权重，车道线-2和+2的损失值权重：第二权重，图4所示第二图像中车道线总的损失值loss=第一权重*loss(-1)+第一权重*loss(+1)+第二权重*loss(-2)+第二权重*loss(+2)。
在一具体实施方式中，与行车记录仪距离较近、距离相同的车道线（-1和+1车道线）的损失值权重设置为1，与行车记录仪距离较远、距离相同的车道线（-2和+2车道线）的损失值权重设置为小于1。
在步骤S206中，根据每张第二图像中车道线总的损失值，确定车道线总的损失值最小的第二图像对应的预测俯仰角为行车记录仪的俯仰角。
在一实施方式中，根据每张第二图像中车道线总的损失值，比较每张第二图像中车道线总的损失值的大小，获取车道线总的损失值最小的第二图像，确定第二图像对应的预测俯仰角为行车记录仪的俯仰角。
本申请实施例示出的行车记录仪俯仰角标定方法，无需特定的标定设备，操作简单便捷，能够提高行车记录仪俯仰角标定的标定效率，能够准确地、实时地在线完成行车记录仪俯仰角的标定，可以通过实时更新行车纪录仪当前时刻的俯仰角信息，消除路面不平整对俯仰角的影响，并对下一时刻的俯仰角进行校正，使得行车记录仪能够为后续车道保持和局部建图提供高精度的输入，保证车道线在图像经过IPM变换后的平行关系，避免车道线在图像经过IPM变换后的产生畸变，IPM变换后的图像中车道线信息平行等宽效果变好，在后续与高精地图做ICP（Iterative Closest Point，迭代最近点）算法匹配时，降低匹配误差，进一步保证自动驾驶车辆自车车道级别的定位精度，为自动驾驶车辆的导航提供精准的定位信息。
进一步地，本申请实施例示出的行车记录仪俯仰角标定方法，根据行车记录仪当前的俯仰角，按设定步长分别在当前的俯仰角的减小和/或增加的方向获得包含当前的俯仰角的多个预测俯仰角，能够根据对俯仰角标定的精度需要，获得不同精度的俯仰角，以适应不同的应用场景，能够提高行车记录仪俯仰角标定的标定效率，能够准确地、实时地在线完成行车记录仪俯仰角的标定，为自动驾驶车辆的定位提供满足定位精度需求的原始数据。
实施例三：
与前述应用功能实现方法实施例相对应，本申请还提供了一种行车记录仪俯仰角标定装置、电子设备及相应的实施例。
图5是本申请实施例示出的行车记录仪俯仰角标定装置的结构示意图。
参见图5，一种行车记录仪俯仰角标定装置，包括识别模块501、预测模块502、变换模块503、计算模块504、俯仰角确定模块505。
识别模块501，用于识别行车记录仪拍摄的图像，获得包含车道线的第一图像，其中，车道线满足设定条件。
在一实施方式中，自动驾驶车辆上设有行车记录仪、卫星定位系统。卫星定位系统可以包括但不限于GPS。行车记录仪可以包括但不限于单目相机。
在一种具体实施方式中，行车记录仪可以设置于车辆的前挡风玻璃处。在自动驾驶车辆行驶过程中，识别模块501可以获取行车记录仪拍摄的车辆前方的视频数据，可以通过深度学习模型对视频数据中的图像进行车道线识别，获得包含车道线的识别图像，在识别图像中选取一帧第一图像，第一图像包含多条具有一定长度的车道线。
在一种具体实施方式中，如图3所示，识别模块501识别行车记录仪拍摄的图像，获得包含多条具有设定长度的车道线的第一图像，获得的第一图像包含四条车道线，四条车道线在道路中相互平行，且图像中的车道线长度对应现实的车道线长度，现实的车道线长度大于60米。
预测模块502，用于根据行车记录仪当前的俯仰角，按设定规则获得多个预测俯仰角。
在一实施方式中，预测模块502可以根据安装行车记录仪时的俯仰角作为行车记录仪当前的俯仰角，也可以根据对行车记录仪俯仰角的历史标定，以历史标定的俯仰角作为行车记录仪当前的俯仰角。根据行车记录仪当前的俯仰角按设定规则获得多个大于、等于和小于当前的俯仰角的预测俯仰角。
在一具体实施方式中，预测模块502可以根据行车记录仪当前的俯仰角，按设定步长分别在当前的俯仰角的减小和/或增加的方向获得包含当前的俯仰角的多个预测俯仰角。
变换模块503，用于分别根据预测模块502获得的多个预测俯仰角对识别模块501获得的第一图像进行IPM变换，获得多张第二图像。
在一实施方式中，变换模块503分别以预测模块502获得的多个预测俯仰角为参数，对识别模块501获得的第一图像进行IPM变换，相应地获得与多个预测俯仰角对应的IPM变换后的多张第二图像，每张第二图像对应一个预测俯仰角。
计算模块504，用于对于变换模块503获得的多张第二图像，获得每张第二图像中车道线的损失值。
在一实施方式中，对于变换模块503获得的多张第二图像，计算模块504可以计算每张第二图像中多条车道线的损失值，获得每张第二图像中多条车道线的损失值。
在一具体实施方式中，计算模块504对于变换模块503获得的多张第二图像，根据设定的损失函数，获得每张第二图像中多条具有设定长度的车道线中每条车道线的损失值；根据每张第二图像中每条车道线的损失值、第二图像中每条车道线的损失值权重，获得每张第二图像中车道线总的损失值。计算模块504可以根据第二图像中每条车道线与行车记录仪的距离大小进行设置第二图像中每条车道线的损失值权重。
俯仰角确定模块505，用于根据计算模块504获得的每张第二图像中车道线的损失值，确定车道线的损失值最小的第二图像对应的预测俯仰角为行车记录仪的俯仰角。
在一实施方式中，俯仰角确定模块505可以根据计算模块504获得的每张第二图像中多条车道线总的损失值，比较每张第二图像中多条车道线总的损失值的大小，获取多张第二图像中多条车道线总的损失值最小的第二图像，确定第二图像对应的预测俯仰角为行车记录仪的俯仰角。
本申请实施例示出的技术方案，无需特定的标定设备，操作简单便捷，能够提高行车记录仪俯仰角标定的标定效率，能够准确地、实时地在线完成行车记录仪俯仰角的标定，可以通过实时更新行车纪录仪当前时刻的俯仰角信息，消除路面不平整对俯仰角的影响，并对下一时刻的俯仰角进行校正，使得行车记录仪能够为后续车道保持和局部建图提供高精度的输入，保证车道线在图像经过IPM变换后的平行关系，避免车道线在图像经过IPM变换后的产生畸变，IPM变换后的图像中车道线信息平行等宽效果变好，在后续与高精地图做ICP（Iterative Closest Point，迭代最近点）算法匹配时，降低匹配误差，进一步保证自动驾驶车辆自车车道级别的定位精度。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不再做详细阐述说明。
图6是本申请实施例示出的电子设备的结构示意图。
参见图6，电子设备60包括存储器601和处理器602。
处理器602可以是中央处理单元（Central Processing Unit，CPU），还可以是其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器601可以包括各种类型的存储单元，例如系统内存、只读存储器（ROM）和永久存储装置。其中，ROM可以存储处理器602或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置（例如磁或光盘、闪存）作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备（例如软盘、光驱）。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器601可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片（例如DRAM，SRAM，SDRAM，闪存，可编程只读存储器），磁盘和/或光盘也可以采用。在一些实施方式中，存储器601可以包括可读和/或写的可移除的存储设备，例如激光唱片（CD）、只读数字多功能光盘（例如DVD-ROM，双层DVD-ROM）、只读蓝光光盘、超密度光盘、闪存卡（例如SD卡、min SD卡、Micro-SD卡等）、磁性软盘等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
存储器601上存储有可执行代码，当可执行代码被处理器602处理时，可以使处理器602执行上文述及的方法中的部分或全部。
此外，根据本申请的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。
或者，本申请还可以实施为一种计算机可读存储介质（或非暂时性机器可读存储介质或机器可读存储介质），其上存储有可执行代码（或计算机程序或计算机指令代码），当可执行代码（或计算机程序或计算机指令代码）被电子设备（或服务器等）的处理器执行时，使处理器执行根据本申请的上述方法的各个步骤的部分或全部。
以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文披露的各实施例。
Claims (10)
1.一种行车记录仪俯仰角标定方法，其特征在于，包括：
识别行车记录仪拍摄的图像，获得包含车道线的第一图像，其中，所述车道线满足设定条件；
根据所述行车记录仪当前的俯仰角，按设定规则获得多个预测俯仰角；
分别根据所述多个预测俯仰角对所述第一图像进行IPM变换，获得多张第二图像；
对于所述多张第二图像，获得每张第二图像中车道线的损失值；
根据所述每张第二图像中车道线的损失值，确定车道线的损失值最小的第二图像对应的预测俯仰角为所述行车记录仪的俯仰角。
2.根据权利要求1所述的方法，其特征在于，所述识别行车记录仪拍摄的图像，获得包含车道线的第一图像，其中，所述车道线满足设定条件，包括：
识别行车记录仪拍摄的图像，获得包含多条具有设定长度的车道线的第一图像。
3.根据权利要求1所述的方法，其特征在于，所述根据所述行车记录仪当前的俯仰角，按设定规则获得多个预测俯仰角，包括：
根据所述行车记录仪当前的俯仰角，按设定步长分别在所述当前的俯仰角的减小和/或增加的方向获得包含所述当前的俯仰角的多个预测俯仰角。
4.根据权利要求2所述的方法，其特征在于，所述对于所述多张第二图像，获得每张第二图像中车道线的损失值，包括：
对于所述多张第二图像，根据设定的损失函数，获得每张第二图像中多条具有设定长度的车道线中每条车道线的损失值；
根据每张第二图像中每条车道线的损失值、第二图像中每条车道线的损失值权重，获得每张第二图像中车道线总的损失值。
5.根据权利要求4所述的方法，其特征在于，所述第二图像中每条车道线的损失值权重根据第二图像中每条车道线与所述行车记录仪的距离大小进行设置。
6.一种行车记录仪俯仰角标定装置，其特征在于，包括：
识别模块，用于识别行车记录仪拍摄的图像，获得包含车道线的第一图像，其中，所述车道线满足设定条件；
预测模块，用于根据所述行车记录仪当前的俯仰角，按设定规则获得多个预测俯仰角；
变换模块，用于分别根据所述预测模块获得的多个预测俯仰角对所述识别模块获得的第一图像进行IPM变换，获得多张第二图像；
计算模块，用于对于所述变换模块获得的多张第二图像，获得每张第二图像中车道线的损失值；
俯仰角确定模块，用于根据所述计算模块获得的每张第二图像中车道线的损失值，确定车道线的损失值最小的第二图像对应的预测俯仰角为所述行车记录仪的俯仰角。
7.根据权利要求6所述的装置，其特征在于，所述识别模块具体用于：识别行车记录仪拍摄的图像，获得包含多条具有设定长度的车道线的第一图像。
8.根据权利要求6所述的装置，其特征在于，所述预测模块具体用于：根据所述行车记录仪当前的俯仰角，按设定步长分别在所述当前的俯仰角的减小和/或增加的方向获得包含所述当前的俯仰角的多个预测俯仰角。
9.根据权利要求7所述的装置，其特征在于，所述计算模块具体用于：对于所述变换模块获得的多张第二图像，根据设定的损失函数，获得每张第二图像中多条具有设定长度的车道线中每条车道线的损失值；
根据每张第二图像中每条车道线的损失值、第二图像中每条车道线的损失值权重，获得每张第二图像中车道线总的损失值。
10.一种计算机可读存储介质，其特征在于，计算机可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1-5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111061248.5A CN113763483B (zh) | 2021-09-10 | 2021-09-10 | 行车记录仪俯仰角标定方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111061248.5A CN113763483B (zh) | 2021-09-10 | 2021-09-10 | 行车记录仪俯仰角标定方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113763483A true CN113763483A (zh) | 2021-12-07 |
| CN113763483B CN113763483B (zh) | 2024-04-02 |
Family
ID=78794739
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111061248.5A Active CN113763483B (zh) | 2021-09-10 | 2021-09-10 | 行车记录仪俯仰角标定方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113763483B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108062774A (zh) * | 2017-10-24 | 2018-05-22 | 智车优行科技（北京）有限公司 | 车辆俯仰角确定方法、装置及其汽车 |
| CN109389650A (zh) * | 2018-09-30 | 2019-02-26 | 京东方科技集团股份有限公司 | 一种车载相机的标定方法、装置、车辆和存储介质 |
| CN110211176A (zh) * | 2019-05-31 | 2019-09-06 | 驭势科技（北京）有限公司 | 一种相机外参数校正系统与方法 |
| CN110490936A (zh) * | 2019-07-15 | 2019-11-22 | 杭州飞步科技有限公司 | 车辆摄像头的标定方法、装置、设备及可读存储介质 |
| CN111815713A (zh) * | 2020-05-29 | 2020-10-23 | 安徽酷哇机器人有限公司 | 自动标定相机外参的方法及系统 |
| US10867190B1 (en) * | 2019-11-27 | 2020-12-15 | Aimotive Kft. | Method and system for lane detection |
| CN112785655A (zh) * | 2021-01-28 | 2021-05-11 | 中汽创智科技有限公司 | 一种基于车道线检测的环视相机外参自动标定方法、装置、设备及计算机存储介质 |
| CN113313047A (zh) * | 2021-06-11 | 2021-08-27 | 中国科学技术大学 | 一种基于车道结构先验的车道线检测方法及系统 |
-
2021
- 2021-09-10 CN CN202111061248.5A patent/CN113763483B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108062774A (zh) * | 2017-10-24 | 2018-05-22 | 智车优行科技（北京）有限公司 | 车辆俯仰角确定方法、装置及其汽车 |
| CN109389650A (zh) * | 2018-09-30 | 2019-02-26 | 京东方科技集团股份有限公司 | 一种车载相机的标定方法、装置、车辆和存储介质 |
| US20200105017A1 (en) * | 2018-09-30 | 2020-04-02 | Boe Technology Group Co., Ltd. | Calibration method and calibration device of vehicle-mounted camera, vehicle and storage medium |
| CN110211176A (zh) * | 2019-05-31 | 2019-09-06 | 驭势科技（北京）有限公司 | 一种相机外参数校正系统与方法 |
| CN110490936A (zh) * | 2019-07-15 | 2019-11-22 | 杭州飞步科技有限公司 | 车辆摄像头的标定方法、装置、设备及可读存储介质 |
| US10867190B1 (en) * | 2019-11-27 | 2020-12-15 | Aimotive Kft. | Method and system for lane detection |
| CN111815713A (zh) * | 2020-05-29 | 2020-10-23 | 安徽酷哇机器人有限公司 | 自动标定相机外参的方法及系统 |
| CN112785655A (zh) * | 2021-01-28 | 2021-05-11 | 中汽创智科技有限公司 | 一种基于车道线检测的环视相机外参自动标定方法、装置、设备及计算机存储介质 |
| CN113313047A (zh) * | 2021-06-11 | 2021-08-27 | 中国科学技术大学 | 一种基于车道结构先验的车道线检测方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 刘镇波: "视觉辅助车载导航关键技术研究", 《中国博士学位论文全文数据库》, 15 February 2020 (2020-02-15) * |
| 高德芝;郑榜贵;段建民;: "基于逆透视变换的智能车辆定位技术", 《计算机测量与控制》, no. 9, 25 September 2009 (2009-09-25) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113763483B (zh) | 2024-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112113574B (zh) | 用于定位的方法、装置、计算设备和计算机可读存储介质 | |
| CN110969055B (zh) | 用于车辆定位的方法、装置、设备和计算机可读存储介质 | |
| CN115077541B (zh) | 自动驾驶车辆的定位方法、装置及电子设备、存储介质 | |
| CN114034307A (zh) | 基于车道线的车辆位姿校准方法、装置和电子设备 | |
| CN113483776A (zh) | 路径规划方法、装置及汽车 | |
| CN113566817B (zh) | 一种车辆定位方法及装置 | |
| EP4345421A2 (en) | Method for calibrating sensor parameters based on autonomous driving, apparatus, storage medium, and vehicle | |
| CN114241062A (zh) | 自动驾驶的相机外参确定方法、装置和计算机可读存储介质 | |
| CN113465615A (zh) | 车道线的生成方法及相关装置 | |
| CN114919590A (zh) | 自动驾驶车辆的速度确定方法、装置及电子设备、存储介质 | |
| CN113607159A (zh) | 高精地图车道线的优化方法、装置及设备 | |
| US11908206B2 (en) | Compensation for vertical road curvature in road geometry estimation | |
| CN115056801B (zh) | 自动驾驶的多路径识别方法、装置及电子设备、存储介质 | |
| KR20200057513A (ko) | 차량 위치 추정 장치 및 방법 | |
| CN113033253A (zh) | 相机标定方法及装置 | |
| CN112967393B (zh) | 车辆移动轨迹的修正方法、装置、电子设备及存储介质 | |
| CN114677663A (zh) | 车辆定位方法、装置及电子设备、计算机可读存储介质 | |
| CN113763483B (zh) | 行车记录仪俯仰角标定方法及装置 | |
| CN114248782B (zh) | 无人车俯仰角确定方法、装置和计算机可读存储介质 | |
| CN115950441B (zh) | 自动驾驶车辆的融合定位方法、装置及电子设备 | |
| CN116027375B (zh) | 自动驾驶车辆的定位方法、装置及电子设备、存储介质 | |
| CN114814911B (zh) | 用于自动驾驶车辆的标定方法、装置及电子设备、存储介质 | |
| CN116485861A (zh) | 单目相机绝对深度获取方法、装置、电子设备及存储介质 | |
| CN116740680A (zh) | 一种车辆定位方法、装置及电子设备 | |
| CN113538546B (zh) | 用于自动驾驶的目标检测方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |