Nothing Special   »   [go: up one dir, main page]

CN112150547A - 一种确定车体位姿的方法、装置及环视视觉里程计系统 - Google Patents

一种确定车体位姿的方法、装置及环视视觉里程计系统 Download PDF

Info

Publication number
CN112150547A
CN112150547A CN201910575005.XA CN201910575005A CN112150547A CN 112150547 A CN112150547 A CN 112150547A CN 201910575005 A CN201910575005 A CN 201910575005A CN 112150547 A CN112150547 A CN 112150547A
Authority
CN
China
Prior art keywords
vehicle body
pose
initial
camera
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910575005.XA
Other languages
English (en)
Other versions
CN112150547B (zh
Inventor
徐抗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Momenta Technology Co Ltd
Original Assignee
Beijing Chusudu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Chusudu Technology Co ltd filed Critical Beijing Chusudu Technology Co ltd
Priority to CN201910575005.XA priority Critical patent/CN112150547B/zh
Publication of CN112150547A publication Critical patent/CN112150547A/zh
Application granted granted Critical
Publication of CN112150547B publication Critical patent/CN112150547B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开一种确定车体位姿的方法、装置及环视视觉里程计系统。该方法包括：接收各初始图像；当确定重新获取车体的位姿初始值时，针对每个初始图像，选取该初始图像中的特征点，对各特征点进行三角化后得到该初始图像对应的车体位姿估计值；计算车体位姿初值，并通过最小化重投影误差得到优化后的地图点坐标和车体位姿信息；当确定继续对车体的位姿进行跟踪时，计算每个相机的相机位姿初值；将各相机的地图点通过相机位姿初值投影到对应的初始图像上，以投影位置为初值进行光流法匹配，得到对应的匹配点，并通过最小化重投影误差优化车体位姿，得到优化后的车体位姿信息。应用本发明实施例提供的方案，能够提高车辆定位的适用性。

Description

一种确定车体位姿的方法、装置及环视视觉里程计系统
技术领域
本发明涉及智能驾驶技术领域，具体而言，涉及一种确定车体位姿的方法、装置及环视视觉里程计系统。
背景技术
自动泊车中，需要获得精确的车辆位姿信息。目前获取位姿信息常用的传感器包括相机，具体的，为了充分利用环境信息，可以在车身的前后左右各安装一个相机，车上4个相机组成的系统称为车载环视系统。
基于车载环视系统可以实现车辆的视觉里程计，已知的多目视觉里程计算法，均是利用相机之间的重叠区域进行图像数据的关联。然而，此种方法要求相机安装有大部分视角重叠，在实际应用中，由于车辆的车身限制，使得这一安装要求很难达到，导致上述方法适用性较低。因此，为了解决车辆定位中的适用性问题，亟需一种提高车辆定位适用性的方法。
发明内容
本发明提供了一种确定车体位姿的方法、装置及环视视觉里程计系统，以提高车辆定位的适用性。具体的技术方案如下。
第一方面，本发明实施例提供一种确定车体位姿的方法，所述方法包括：
接收各初始图像；其中，任一所述初始图像为安装于车体的相机采集的所述车体周围环境的图像；
根据对所述各初始图像中的特征点进行跟踪的结果，确定重新获取所述车体的位姿初始值或继续对所述车体的位姿进行跟踪；
当确定重新获取所述车体的位姿初始值时，针对每个所述初始图像，选取该初始图像中的特征点，对各所述特征点进行三角化后得到该初始图像对应的车体位姿估计值；对各初始图像对应的车体位姿估计值求平均得到车体位姿初值，并通过最小化重投影误差进行相机之间联合优化，得到优化后的地图点坐标和车体位姿信息；其中，所述地图点为所述初始图像中的特征点对应的三维点；
当确定继续对所述车体的位姿进行跟踪时，根据所述车体的当前位姿和匀速模型得到车体位姿初值，将所述车体位姿初值和预先标定得到的相机外参求乘积得到每个所述相机的相机位姿初值；将各所述相机的地图点通过所述相机位姿初值投影到对应的初始图像上，以投影位置为初值进行光流法匹配，得到对应的匹配点，并通过最小化所述重投影误差优化车体位姿，得到优化后的车体位姿信息。
可选的，所述根据对所述各初始图像中的特征点进行跟踪的结果，确定重新获取所述车体的位姿初始值或继续对所述车体的位姿进行跟踪之前，所述方法还包括：
当所述初始图像中任一点坐标为(x,y)时，其中，
x＝r*cos(ψ)+x_cc,y＝r*sin(ψ)+y_cc,ψ＝arctan2(yw,xw)
将上述表达式中的相机内参值，替换为对应去畸变后的图像相机内参值，得到所述初始图像去畸变后图像中对应点的坐标；
其中，相机坐标系下的三维点P(xw,yw,zw)投影到图像的入射光角度为
Figure BDA0002111863370000021
r为对应的图像像素到图像中心的像素半径r＝f*(1+k0 *θ3+k1 *θ5+k2 *θ7+k3 *θ9)，[k0,k1,k2,k3,f,x_cc,y_cc]为离线标定的相机内参；[kk0,kk1,kk2,kk3,ff,xx_cc,yy_cc]为去畸变后的图像相机内参。
可选的，所述根据对所述各初始图像中的特征点进行跟踪的结果，确定重新获取所述车体的位姿初始值或继续对所述车体的位姿进行跟踪包括：
当对所述各初始图像中的特征点进行跟踪，确定任一所述特征点运动距离大于预设阈值时，确定重新获取所述车体的位姿初始值，否则，确定继续对所述车体的位姿进行跟踪。
可选的，所述方法还包括：
当对所述各初始图像中的特征点进行跟踪，确定当前的特征点的数量小于预设数量阈值时，添加关键帧，并通过最小化所述重投影误差对当前所有的关键帧及地图点进行联合优化，得到优化后的地图点坐标和车体位姿信息。
可选的，所述重投影误差为：
Figure BDA0002111863370000031
其中，
Figure BDA0002111863370000032
是第c个相机所观测到的第i个三维点的坐标信息，
Figure BDA0002111863370000033
为对应的特征点在图像上的坐标信息，
Figure BDA0002111863370000034
为所述相机外参，
Figure BDA0002111863370000035
为所述车体的第j个时刻的车体位姿信息。
第二方面，本发明实施例提供一种确定车体位姿的装置，所述装置包括：
图像接收模块，用于接收各初始图像；其中，任一所述初始图像为安装于车体的相机采集的所述车体周围环境的图像；
状态确定模块，用于根据对所述各初始图像中的特征点进行跟踪的结果，确定重新获取所述车体的位姿初始值或继续对所述车体的位姿进行跟踪；
第一定位模块，用于当所述状态确定模块确定重新获取所述车体的位姿初始值时，针对每个所述初始图像，选取该初始图像中的特征点，对各所述特征点进行三角化后得到该初始图像对应的车体位姿估计值；对各初始图像对应的车体位姿估计值求平均得到车体位姿初值，并通过最小化重投影误差进行相机之间联合优化，得到优化后的地图点坐标和车体位姿信息；其中，所述地图点为所述初始图像中的特征点对应的三维点；
第二定位模块，用于当所述状态确定模块确定继续对所述车体的位姿进行跟踪时，根据所述车体的当前位姿和匀速模型得到车体位姿初值，将所述车体位姿初值和预先标定得到的相机外参求乘积得到每个所述相机的相机位姿初值；将各所述相机的地图点通过所述相机位姿初值投影到对应的初始图像上，以投影位置为初值进行光流法匹配，得到对应的匹配点，并通过最小化所述重投影误差优化车体位姿，得到优化后的车体位姿信息。
可选的，所述装置还包括：去畸变模块，用于：
当所述初始图像中任一点坐标为(x,y)时，其中，
x＝r*cos(ψ)+x_cc,y＝r*sin(ψ)+y_cc,ψ＝arctan2(yw,xw)
将上述表达式中的相机内参值，替换为对应去畸变后的图像相机内参值，得到所述初始图像去畸变后图像中对应点的坐标；
其中，相机坐标系下的三维点P(xw,yw,zw)投影到图像的入射光角度为
Figure BDA0002111863370000041
r为对应的图像像素到图像中心的像素半径r＝f*(1+k0 *θ3+k1 *θ5+k2 *θ7+k3 *θ9)，[k0,k1,k2,k3,f,x_cc,y_cc]为离线标定的相机内参；[kk0,kk1,kk2,kk3,ff,xx_cc,yy_cc]为去畸变后的图像相机内参。
可选的，所述状态确定模块，具体用于：
当对所述各初始图像中的特征点进行跟踪，确定任一所述特征点运动距离大于预设阈值时，确定重新获取所述车体的位姿初始值，否则，确定继续对所述车体的位姿进行跟踪。
可选的，所述装置还包括：
关键帧添加模块，用于当对所述各初始图像中的特征点进行跟踪，确定当前的特征点的数量小于预设数量阈值时，添加关键帧，并通过最小化所述重投影误差对当前所有的关键帧及地图点进行联合优化，得到优化后的地图点坐标和车体位姿信息。
可选的，所述重投影误差为：
Figure BDA0002111863370000042
其中，
Figure BDA0002111863370000043
是第c个相机所观测到的第i个三维点的坐标信息，
Figure BDA0002111863370000044
为对应的特征点在图像上的坐标信息，
Figure BDA0002111863370000045
为所述相机外参，
Figure BDA0002111863370000046
为所述车体的第j个时刻的车体位姿信息。
第三方面，本发明实施例提供一种环视视觉里程计系统，所述系统至少包括：多个相机以及系统前端；
每个所述相机，用于采集车体周围环境的初始图像，并将所述各初始图像发送给所述系统前端；
所述系统前端，用于接收各初始图像，根据对所述各初始图像中的特征点进行跟踪的结果，确定重新获取所述车体的位姿初始值或继续对所述车体的位姿进行跟踪；当确定重新获取所述车体的位姿初始值时，针对每个所述初始图像，选取该初始图像中的特征点，对各所述特征点进行三角化后得到该初始图像对应的车体位姿估计值；对各初始图像对应的车体位姿估计值求平均得到车体位姿初值，并通过最小化重投影误差进行相机之间联合优化，得到优化后的地图点坐标和车体位姿信息；其中，所述地图点为所述初始图像中的特征点对应的三维点；当确定继续对所述车体的位姿进行跟踪时，根据所述车体的当前位姿和匀速模型得到车体位姿初值，将所述车体位姿初值和预先标定得到的相机外参求乘积得到每个所述相机的相机位姿初值；将各所述相机的地图点通过所述相机位姿初值投影到对应的初始图像上，以投影位置为初值进行光流法匹配，得到对应的匹配点，并通过最小化所述重投影误差优化车体位姿，得到优化后的车体位姿信息。
可选的，所述系统前端，还用于：
当所述初始图像中任一点坐标为(x,y)时，其中，
x＝r*cos(ψ)+x_cc,y＝r*sin(ψ)+y_cc,ψ＝arctan2(yw,xw)
将上述表达式中的相机内参值，替换为对应去畸变后的图像相机内参值，得到所述初始图像去畸变后图像中对应点的坐标；
其中，相机坐标系下的三维点P(xw,yw,zw)投影到图像的入射光角度为
Figure BDA0002111863370000051
r为对应的图像像素到图像中心的像素半径r＝f*(1+k0 *θ3+k1 *θ5+k2 *θ7+k3 *θ9)，[k0,k1,k2,k3,f,x_cc,y_cc]为离线标定的相机内参；[kk0,kk1,kk2,kk3,ff,xx_cc,yy_cc]为去畸变后的图像相机内参。
可选的，所述系统前端，具体用于：
当对所述各初始图像中的特征点进行跟踪，确定任一所述特征点运动距离大于预设阈值时，确定重新获取所述车体的位姿初始值，否则，确定继续对所述车体的位姿进行跟踪。
可选的，还包括：
系统后端，用于当对所述各初始图像中的特征点进行跟踪，确定当前的特征点的数量小于预设数量阈值时，添加关键帧，并通过最小化所述重投影误差对当前所有的关键帧及地图点进行联合优化，得到优化后的地图点坐标和车体位姿信息。
可选的，所述重投影误差为：
Figure BDA0002111863370000052
其中，
Figure BDA0002111863370000053
是第c个相机所观测到的第i个三维点的坐标信息，
Figure BDA0002111863370000054
为对应的特征点在图像上的坐标信息，
Figure BDA0002111863370000061
为所述相机外参，
Figure BDA0002111863370000062
为所述车体的第j个时刻的车体位姿信息。
由上述内容可知，本发明实施例提供的确定车体位姿的方法、装置及环视视觉里程计系统，可以接收各初始图像；其中，任一初始图像为安装于车体的相机采集的车体周围环境的图像；根据对各初始图像中的特征点进行跟踪的结果，确定重新获取车体的位姿初始值或继续对车体的位姿进行跟踪；当确定重新获取车体的位姿初始值时，针对每个初始图像，选取该初始图像中的特征点，对各特征点进行三角化后得到该初始图像对应的车体位姿估计值；对各初始图像对应的车体位姿估计值求平均得到车体位姿初值，并通过最小化重投影误差进行相机之间联合优化，得到优化后的地图点坐标和车体位姿信息；其中，地图点为初始图像中的特征点对应的三维点；当确定继续对车体的位姿进行跟踪时，根据车体的当前位姿和匀速模型得到车体位姿初值，将车体位姿初值和预先标定得到的相机外参求乘积得到每个相机的相机位姿初值；将各相机的地图点通过相机位姿初值投影到对应的初始图像上，以投影位置为初值进行光流法匹配，得到对应的匹配点，并通过最小化重投影误差优化车体位姿，得到优化后的车体位姿信息，因此相机之间仅通过标定好的外参进行刚体约束，能够在相机之间重叠区域很小的情况下，实现车辆的精确定位，提高了车辆定位的适用性。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
本发明实施例的创新点包括：
1、本发明实施例中，相机之间仅通过标定好的外参进行刚体约束，不做数据关联，因此，不要求相机之间有重叠区域，在某个相机失效的情况下，例如某个相机跟踪的点全部丢失，相机损坏停止工作等情况，其他相机依然能够通过外参进行车辆位姿的估计，在一定程度上降低了对相机的安装要求，提高了算法的适用性。并且，算法充分利用了车身周围的环境信息，拥有较高的定位精度。
2、对初始图像进行去畸变处理，可以校正图像中各点的坐标，提高图像中各目标与实际目标的一致程度，从而可以在保留图像大视角的同时，降低图像的畸变程度，进一步提高车辆定位的精度。
3、当前特征点的数量较小时，添加关键帧，进而通过所有的关键帧中的特征点进行地图点和车体位姿的优化，可以保证优化过程中特征点的数量满足定位要求，保证定位精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的确定车体位姿的方法的一种流程示意图；
图2为本发明实施例提供的确定车体位姿的装置的一种结构示意图；
图3为本发明实施例提供的环视视觉里程计系统的一种结构示意图；
图4为本发明实施例的环视视觉里程计系统的工作流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本发明实施例公开了一种确定车体位姿的方法、装置及环视视觉里程计系统，能够提高车辆定位的适用性。下面对本发明实施例进行详细说明。
图1为本发明实施例提供确定车体位姿的方法的一种流程示意图。该方法应用于处理器。该方法具体包括以下步骤。
S110：接收各初始图像；其中，任一初始图像为安装于车体的相机采集的车体周围环境的图像。
在本发明实施例中，可以通过安装于无人车上的相机，周期性的采集车体周围环境的图像。相机的采集周期(如1毫秒、2毫秒、3毫秒等)可以称为单位时间。例如，可以在车辆前后左右各安装一个相机，每个相机同步采集图像，也即每个相机均在相同的时刻采集图像。各相机采集的图像均可以称为初始图像。
并且，可以在各相机和处理器之间建立有线或无线连接，如此，各相机采集到初始图像后，可以基于已建立的连接将初始图像发送至处理器进行处理。
上述相机可以为鱼眼相机，镜头可以为鱼眼镜头、广角等，本发明实施例对此不作限定。
S120：根据对各初始图像中的特征点进行跟踪的结果，确定重新获取车体的位姿初始值或继续对车体的位姿进行跟踪。
可以理解，各相机周期性的采集初始图像，也即各相机采集到的均为初始图像序列，处理器接收到的也为初始图像序列。
处理器接收到初始图像后，可以对初始图像中的特征点进行跟踪，具体的，处理器可以分别将各相机采集的初始图像分别进行特征点跟踪。也就是说，可以针对每个相机，将其采集的上一帧初始图像中的特征点，在当前接收到的初始图像中进行跟踪。
当处理器对各初始图像中的特征点进行跟踪，确定任一特征点运动距离大于预设阈值时，表明当前车辆行进速度较快，这种情况下，为了保证车辆定位的准确性，可以确定重新获取车体的位姿初始值，也即可以进行初始化；否则，可以确定继续对车体的位姿进行跟踪。
S130：当确定重新获取车体的位姿初始值时，针对每个初始图像，选取该初始图像中的特征点，对各特征点进行三角化后得到该初始图像对应的车体位姿估计值；对各初始图像对应的车体位姿估计值求平均得到车体位姿初值，并通过最小化重投影误差进行相机之间联合优化，得到优化后的地图点坐标和车体位姿信息；其中，地图点为初始图像中的特征点对应的三维点。
在本发明实施例中，每个相机可以独立进行初始化。具体的，可以针对每个初始图像，选取其中的特征点，例如，可以采用均匀选取特征点的方式，选取各初始图像中的特征点。之后，可以对各特征点进行三角化后得到该初始图像对应的车体位姿估计值，也即各相机对应的车体位姿估计值；并对各初始图像对应的车体位姿估计值求平均得到车体位姿初值。并且，可以通过最小化重投影误差进行相机之间联合优化，得到优化后的地图点坐标和车体位姿信息。
其中，上述重投影误差为：
Figure BDA0002111863370000091
其中，
Figure BDA0002111863370000092
是第c个相机所观测到的第i个三维点的坐标信息，
Figure BDA0002111863370000093
为对应的特征点在图像上的坐标信息，
Figure BDA0002111863370000094
为相机外参，
Figure BDA0002111863370000095
为车体的第j个时刻的车体位姿信息。
其中，相机外参，也即相机相对于车体坐标系的参数，可以预先标定得到。
上述优化过程中，相机外参和特征点在图像上的坐标信息为已知数，当重投影误差值最小时的三维点坐标信息和车体位姿信息，即为优化后的地图点坐标和车体位姿信息。
S140：当确定继续对车体的位姿进行跟踪时，根据车体的当前位姿和匀速模型得到车体位姿初值，将车体位姿初值和预先标定得到的相机外参求乘积得到每个相机的相机位姿初值；将各相机的地图点通过相机位姿初值投影到对应的初始图像上，以投影位置为初值进行光流法匹配，得到对应的匹配点，并通过最小化重投影误差优化车体位姿，得到优化后的车体位姿信息。
在本发明实施例中，当确定继续对车体的位姿进行跟踪时，可以根据车体的当前位姿和匀速模型得到车体位姿初值。例如，可以根据车体当前速度信息计算得到车体在单位时间内行进位移，然后将车辆当前位姿和计算得到的行进位移相加，得到车体位姿初值。
得到车体位姿初值后，可以将车体位姿初值和预先标定得到的相机外参求乘积得到每个相机的相机位姿初值。
例如，可以通过以下公式计算得到相机位姿初始：
Figure BDA0002111863370000096
其中
Figure BDA0002111863370000097
为世界坐标系到相机坐标的变换矩阵，
Figure BDA0002111863370000098
为车辆坐标系到相机坐标系的变换矩阵，即标定的相机外参，
Figure BDA0002111863370000101
为世界坐标系到车辆坐标系的变换矩阵，即估计的车体位姿初值。
得到相机位姿初值后，可以将各相机的地图点通过相机位姿初值投影到对应的初始图像上，以投影位置为初值进行光流法匹配，得到对应的匹配点，并通过最小化重投影误差优化车体位姿，得到优化后的车体位姿信息。
其中，重投影误差与前述相同，也为：
Figure BDA0002111863370000102
上述优化过程中，三维点坐标信息(相机位姿初值)、相机外参和特征点在图像上的坐标信息(匹配点)为已知数，当重投影误差值最小时的车体位姿信息，即为优化后的车体位姿信息。
由上述内容可知，本发明实施例提供的确定车体位姿的方法，可以接收各初始图像；其中，任一初始图像为安装于车体的相机采集的车体周围环境的图像；根据对各初始图像中的特征点进行跟踪的结果，确定重新获取车体的位姿初始值或继续对车体的位姿进行跟踪；当确定重新获取车体的位姿初始值时，针对每个初始图像，选取该初始图像中的特征点，对各特征点进行三角化后得到该初始图像对应的车体位姿估计值；对各初始图像对应的车体位姿估计值求平均得到车体位姿初值，并通过最小化重投影误差进行相机之间联合优化，得到优化后的地图点坐标和车体位姿信息；其中，地图点为初始图像中的特征点对应的三维点；当确定继续对车体的位姿进行跟踪时，根据车体的当前位姿和匀速模型得到车体位姿初值，将车体位姿初值和预先标定得到的相机外参求乘积得到每个相机的相机位姿初值；将各相机的地图点通过相机位姿初值投影到对应的初始图像上，以投影位置为初值进行光流法匹配，得到对应的匹配点，并通过最小化重投影误差优化车体位姿，得到优化后的车体位姿信息，因此相机之间仅通过标定好的外参进行刚体约束，能够在相机之间重叠区域很小的情况下，实现车辆的精确定位，提高了车辆定位的适用性。
可以理解，相机采集的初始图像可能存在一定的畸变。例如，实际场景中的直线，在初始图像中可能会显示为曲线；实际场景中的圆，在初始图像中可能会显示为椭圆等。通过发生畸变的初始图像进行定位时，可能由于特征点位置信息的不准确导致车辆定位的精度下降。
作为本发明实施例的一种实施方式，处理器在根据对各初始图像中的特征点进行跟踪的结果，确定重新获取车体的位姿初始值或继续对车体的位姿进行跟踪之前，可以首先对初始图像进行去畸变处理。也就是说，可以对初始图像中各像素点的坐标进行校正。
具体的，当初始图像中任一点坐标为(x,y)时，其中，
x＝r*cos(ψ)+x_cc,y＝r*sin(ψ)+y_cc,ψ＝arctan2(yw,xw)
可以将上述表达式中的相机内参值，替换为对应去畸变后的图像相机内参值，得到初始图像去畸变后图像中对应点的坐标。
其中，相机坐标系下的三维点P(xw,yw,zw)投影到图像的入射光角度为
Figure BDA0002111863370000111
r为对应的图像像素到图像中心的像素半径r＝f*(1+k0 *θ3+k1 *θ5+k2 *θ7+k3 *θ9)，[k0,k1,k2,k3,f,x_cc,y_cc]为离线标定的相机内参；[kk0,kk1,kk2,kk3,ff,xx_cc,yy_cc]为去畸变后的图像相机内参。上述去畸变后的图像相机内参可以根据离线标定的相机内参确定。具体取值可以依据场景不同设定为不同的值，本发明实施例对此不作限定。
对初始图像进行去畸变处理，可以校正图像中各点的坐标，提高图像中各目标与实际目标的一致程度，从而可以在保留图像大视角的同时，降低图像的畸变程度，进一步提高车辆定位的精度。
作为本发明实施例的一种实施方式，当处理器对各初始图像中的特征点进行跟踪，确定当前的特征点的数量小于预设数量阈值时，可以添加关键帧。上述预设数量阈值例如可以为5、6、7等，本发明实施例对此不作限定。
并且，添加关键帧后，还可以通过最小化重投影误差对当前所有的关键帧及地图点进行联合优化，得到优化后的地图点坐标和车体位姿信息。
例如，可以在关键帧中选取特征点，之后基于特征点的坐标信息，通过最下化重投影误差得到优化后的地图点坐标和车体位姿信息。优化后的地图点坐标即为关键帧中各特征点对应的三维点的坐标。
重投影误差与前述相同，也为：
Figure BDA0002111863370000121
上述优化过程中，相机外参和特征点在图像上的坐标信息为已知数，当重投影误差值最小时的三维点坐标信息和车体位姿信息，即为优化后的地图点坐标和车体位姿信息。
当前特征点的数量较小时，添加关键帧，进而通过所有的关键帧中的特征点进行地图点和车体位姿的优化，可以保证优化过程中特征点的数量满足定位要求，保证定位精度。
图2为发明实施例提供的一种确定车体位姿的装置的结构示意图，所述装置包括：
图像接收模块210，用于接收各初始图像；其中，任一所述初始图像为安装于车体的相机采集的所述车体周围环境的图像；
状态确定模块220，用于根据对所述各初始图像中的特征点进行跟踪的结果，确定重新获取所述车体的位姿初始值或继续对所述车体的位姿进行跟踪；
第一定位模块230，用于当所述状态确定模块220确定重新获取所述车体的位姿初始值时，针对每个所述初始图像，选取该初始图像中的特征点，对各所述特征点进行三角化后得到该初始图像对应的车体位姿估计值；对各初始图像对应的车体位姿估计值求平均得到车体位姿初值，并通过最小化重投影误差进行相机之间联合优化，得到优化后的地图点坐标和车体位姿信息；其中，所述地图点为所述初始图像中的特征点对应的三维点；
第二定位模块240，用于当所述状态确定模块220确定继续对所述车体的位姿进行跟踪时，根据所述车体的当前位姿和匀速模型得到车体位姿初值，将所述车体位姿初值和预先标定得到的相机外参求乘积得到每个所述相机的相机位姿初值；将各所述相机的地图点通过所述相机位姿初值投影到对应的初始图像上，以投影位置为初值进行光流法匹配，得到对应的匹配点，并通过最小化所述重投影误差优化车体位姿，得到优化后的车体位姿信息。
由上述内容可知，本发明实施例提供的确定车体位姿的装置，可以接收各初始图像；其中，任一初始图像为安装于车体的相机采集的车体周围环境的图像；根据对各初始图像中的特征点进行跟踪的结果，确定重新获取车体的位姿初始值或继续对车体的位姿进行跟踪；当确定重新获取车体的位姿初始值时，针对每个初始图像，选取该初始图像中的特征点，对各特征点进行三角化后得到该初始图像对应的车体位姿估计值；对各初始图像对应的车体位姿估计值求平均得到车体位姿初值，并通过最小化重投影误差进行相机之间联合优化，得到优化后的地图点坐标和车体位姿信息；其中，地图点为初始图像中的特征点对应的三维点；当确定继续对车体的位姿进行跟踪时，根据车体的当前位姿和匀速模型得到车体位姿初值，将车体位姿初值和预先标定得到的相机外参求乘积得到每个相机的相机位姿初值；将各相机的地图点通过相机位姿初值投影到对应的初始图像上，以投影位置为初值进行光流法匹配，得到对应的匹配点，并通过最小化重投影误差优化车体位姿，得到优化后的车体位姿信息，因此相机之间仅通过标定好的外参进行刚体约束，能够在相机之间重叠区域很小的情况下，实现车辆的精确定位，提高了车辆定位的适用性。
可选的，所述装置还包括：去畸变模块，用于：
当所述初始图像中任一点坐标为(x,y)时，其中，
x＝r*cos(ψ)+x_cc,y＝r*sin(ψ)+y_cc,ψ＝arctan2(yw,xw)
将上述表达式中的相机内参值，替换为对应去畸变后的图像相机内参值，得到所述初始图像去畸变后图像中对应点的坐标；
其中，相机坐标系下的三维点P(xw,yw,zw)投影到图像的入射光角度为
Figure BDA0002111863370000131
r为对应的图像像素到图像中心的像素半径r＝f*(1+k0 *θ3+k1 *θ5+k2 *θ7+k3 *θ9)，[k0,k1,k2,k3,f,x_cc,y_cc]为离线标定的相机内参；[kk0,kk1,kk2,kk3,ff,xx_cc,yy_cc]为去畸变后的图像相机内参。
可选的，所述状态确定模块220，具体用于：
当对所述各初始图像中的特征点进行跟踪，确定任一所述特征点运动距离大于预设阈值时，确定重新获取所述车体的位姿初始值，否则，确定继续对所述车体的位姿进行跟踪。
可选的，所述装置还包括：
关键帧添加模块，用于当对所述各初始图像中的特征点进行跟踪，确定当前的特征点的数量小于预设数量阈值时，添加关键帧，并通过最小化所述重投影误差对当前所有的关键帧及地图点进行联合优化，得到优化后的地图点坐标和车体位姿信息。
可选的，所述重投影误差为：
Figure BDA0002111863370000141
其中，
Figure BDA0002111863370000142
是第c个相机所观测到的第i个三维点的坐标信息，
Figure BDA0002111863370000143
为对应的特征点在图像上的坐标信息，
Figure BDA0002111863370000144
为所述相机外参，
Figure BDA0002111863370000145
为所述车体的第j个时刻的车体位姿信息。
上述装置实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。
图3为本发明实施例提供的一种环视视觉里程计系统的结构示意图，所述系统至少包括：多个相机310以及系统前端320；
每个所述相机310，用于采集车体周围环境的初始图像，并将所述各初始图像发送给所述系统前端320；
所述系统前端320，用于接收各初始图像，根据对所述各初始图像中的特征点进行跟踪的结果，确定重新获取所述车体的位姿初始值或继续对所述车体的位姿进行跟踪；当确定重新获取所述车体的位姿初始值时，针对每个所述初始图像，选取该初始图像中的特征点，对各所述特征点进行三角化后得到该初始图像对应的车体位姿估计值；对各初始图像对应的车体位姿估计值求平均得到车体位姿初值，并通过最小化重投影误差进行相机之间联合优化，得到优化后的地图点坐标和车体位姿信息；其中，所述地图点为所述初始图像中的特征点对应的三维点；当确定继续对所述车体的位姿进行跟踪时，根据所述车体的当前位姿和匀速模型得到车体位姿初值，将所述车体位姿初值和预先标定得到的相机外参求乘积得到每个所述相机的相机位姿初值；将各所述相机的地图点通过所述相机位姿初值投影到对应的初始图像上，以投影位置为初值进行光流法匹配，得到对应的匹配点，并通过最小化所述重投影误差优化车体位姿，得到优化后的车体位姿信息。
由上述内容可知，本发明实施例提供的环视视觉里程计系统，可以接收各初始图像；其中，任一初始图像为安装于车体的相机采集的车体周围环境的图像；根据对各初始图像中的特征点进行跟踪的结果，确定重新获取车体的位姿初始值或继续对车体的位姿进行跟踪；当确定重新获取车体的位姿初始值时，针对每个初始图像，选取该初始图像中的特征点，对各特征点进行三角化后得到该初始图像对应的车体位姿估计值；对各初始图像对应的车体位姿估计值求平均得到车体位姿初值，并通过最小化重投影误差进行相机之间联合优化，得到优化后的地图点坐标和车体位姿信息；其中，地图点为初始图像中的特征点对应的三维点；当确定继续对车体的位姿进行跟踪时，根据车体的当前位姿和匀速模型得到车体位姿初值，将车体位姿初值和预先标定得到的相机外参求乘积得到每个相机的相机位姿初值；将各相机的地图点通过相机位姿初值投影到对应的初始图像上，以投影位置为初值进行光流法匹配，得到对应的匹配点，并通过最小化重投影误差优化车体位姿，得到优化后的车体位姿信息，因此相机之间仅通过标定好的外参进行刚体约束，能够在相机之间重叠区域很小的情况下，实现车辆的精确定位，提高了车辆定位的适用性。
可选的，所述系统前端320，还用于：
当所述初始图像中任一点坐标为(x,y)时，其中，
x＝r*cos(ψ)+x_cc,y＝r*sin(ψ)+y_cc,ψ＝arctan2(yw,xw)
将上述表达式中的相机内参值，替换为对应去畸变后的图像相机内参值，得到所述初始图像去畸变后图像中对应点的坐标；
其中，相机坐标系下的三维点P(xw,yw,zw)投影到图像的入射光角度为
Figure BDA0002111863370000151
r为对应的图像像素到图像中心的像素半径r＝f*(1+k0 *θ3+k1 *θ5+k2 *θ7+k3 *θ9)，[k0,k1,k2,k3,f,x_cc,y_cc]为离线标定的相机内参；[kk0,kk1,kk2,kk3,ff,xx_cc,yy_cc]为去畸变后的图像相机内参。
可选的，所述系统前端320，具体用于：
当对所述各初始图像中的特征点进行跟踪，确定任一所述特征点运动距离大于预设阈值时，确定重新获取所述车体的位姿初始值，否则，确定继续对所述车体的位姿进行跟踪。
可选的，还包括：
系统后端，用于当对所述各初始图像中的特征点进行跟踪，确定当前的特征点的数量小于预设数量阈值时，添加关键帧，并通过最小化所述重投影误差对当前所有的关键帧及地图点进行联合优化，得到优化后的地图点坐标和车体位姿信息。
可选的，所述重投影误差为：
Figure BDA0002111863370000161
其中，
Figure BDA0002111863370000162
是第c个相机所观测到的第i个三维点的坐标信息，
Figure BDA0002111863370000163
为对应的特征点在图像上的坐标信息，
Figure BDA0002111863370000164
为所述相机外参，
Figure BDA0002111863370000165
为所述车体的第j个时刻的车体位姿信息。
该系统实施例与图1所示方法实施例是基于同一发明构思得到的实施例，相关之处可以相互参照。上述系统实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。
下面结合一个具体的实施例，说明本发明提供的环视视觉里程计系统。
图4为本发明实施例的环视视觉里程计系统的工作流程示意图。如图4所示，安装于车体的四个相机采集到环视四路图像后，对其进行去畸变处理得到广角图。四个处理后的图像对应的状态(可以称为status)分别为：状态1、状态2、状态3、状态4，输入处理模块(可以称为manager)中，manager进行状态判断确定前端进行位置跟踪或后端进行位置优化，最终得到优化后的车体位姿信息。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (10)

1.一种确定车体位姿的方法，其特征在于，所述方法包括：
接收各初始图像；其中，任一所述初始图像为安装于车体的相机采集的所述车体周围环境的图像；
根据对所述各初始图像中的特征点进行跟踪的结果，确定重新获取所述车体的位姿初始值或继续对所述车体的位姿进行跟踪；
当确定重新获取所述车体的位姿初始值时，针对每个所述初始图像，选取该初始图像中的特征点，对各所述特征点进行三角化后得到该初始图像对应的车体位姿估计值；对各初始图像对应的车体位姿估计值求平均得到车体位姿初值，并通过最小化重投影误差进行相机之间联合优化，得到优化后的地图点坐标和车体位姿信息；其中，所述地图点为所述初始图像中的特征点对应的三维点；
当确定继续对所述车体的位姿进行跟踪时，根据所述车体的当前位姿和匀速模型得到车体位姿初值，将所述车体位姿初值和预先标定得到的相机外参求乘积得到每个所述相机的相机位姿初值；将各所述相机的地图点通过所述相机位姿初值投影到对应的初始图像上，以投影位置为初值进行光流法匹配，得到对应的匹配点，并通过最小化所述重投影误差优化车体位姿，得到优化后的车体位姿信息。
2.根据权利要求1所述的方法，其特征在于，所述根据对所述各初始图像中的特征点进行跟踪的结果，确定重新获取所述车体的位姿初始值或继续对所述车体的位姿进行跟踪之前，所述方法还包括：
当所述初始图像中任一点坐标为(x,y)时，其中，
x＝r*cos(ψ)+x_cc,y＝r*sin(ψ)+y_cc,ψ＝arctan2(yw,xw)
将上述表达式中的相机内参值，替换为对应去畸变后的图像相机内参值，得到所述初始图像去畸变后图像中对应点的坐标；
其中，相机坐标系下的三维点P(xw,yw,zw)投影到图像的入射光角度为
Figure FDA0002111863360000011
r为对应的图像像素到图像中心的像素半径r＝f*(1+k0 *θ3+k1 *θ5+k2 *θ7+k3 *θ9)，[k0,k1,k2,k3,f,x_cc,y_cc]为离线标定的相机内参；[kk0,kk1,kk2,kk3,ff,xx_cc,yy_cc]为去畸变后的图像相机内参。
3.根据权利要求1所述的方法，其特征在于，所述根据对所述各初始图像中的特征点进行跟踪的结果，确定重新获取所述车体的位姿初始值或继续对所述车体的位姿进行跟踪包括：
当对所述各初始图像中的特征点进行跟踪，确定任一所述特征点运动距离大于预设阈值时，确定重新获取所述车体的位姿初始值，否则，确定继续对所述车体的位姿进行跟踪。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当对所述各初始图像中的特征点进行跟踪，确定当前的特征点的数量小于预设数量阈值时，添加关键帧，并通过最小化所述重投影误差对当前所有的关键帧及地图点进行联合优化，得到优化后的地图点坐标和车体位姿信息。
5.根据权利要求1-4任一项所述的方法，其特征在于，
所述重投影误差为：
Figure FDA0002111863360000021
其中，
Figure FDA0002111863360000022
是第c个相机所观测到的第i个三维点的坐标信息，
Figure FDA0002111863360000023
为对应的特征点在图像上的坐标信息，
Figure FDA0002111863360000024
为所述相机外参，
Figure FDA0002111863360000025
为所述车体的第j个时刻的车体位姿信息。
6.一种确定车体位姿的装置，其特征在于，所述装置包括：
图像接收模块，用于接收各初始图像；其中，任一所述初始图像为安装于车体的相机采集的所述车体周围环境的图像；
状态确定模块，用于根据对所述各初始图像中的特征点进行跟踪的结果，确定重新获取所述车体的位姿初始值或继续对所述车体的位姿进行跟踪；
第一定位模块，用于当所述状态确定模块确定重新获取所述车体的位姿初始值时，针对每个所述初始图像，选取该初始图像中的特征点，对各所述特征点进行三角化后得到该初始图像对应的车体位姿估计值；对各初始图像对应的车体位姿估计值求平均得到车体位姿初值，并通过最小化重投影误差进行相机之间联合优化，得到优化后的地图点坐标和车体位姿信息；其中，所述地图点为所述初始图像中的特征点对应的三维点；
第二定位模块，用于当所述状态确定模块确定继续对所述车体的位姿进行跟踪时，根据所述车体的当前位姿和匀速模型得到车体位姿初值，将所述车体位姿初值和预先标定得到的相机外参求乘积得到每个所述相机的相机位姿初值；将各所述相机的地图点通过所述相机位姿初值投影到对应的初始图像上，以投影位置为初值进行光流法匹配，得到对应的匹配点，并通过最小化所述重投影误差优化车体位姿，得到优化后的车体位姿信息。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：去畸变模块，用于：
当所述初始图像中任一点坐标为(x,y)时，其中，
x＝r*cos(ψ)+x_cc,y＝r*sin(ψ)+y_cc,ψ＝arctan2(yw,xw)
将上述表达式中的相机内参值，替换为对应去畸变后的图像相机内参值，得到所述初始图像去畸变后图像中对应点的坐标；
其中，相机坐标系下的三维点P(xw,yw,zw)投影到图像的入射光角度为
Figure FDA0002111863360000031
r为对应的图像像素到图像中心的像素半径r＝f*(1+k0 *θ3+k1 *θ5+k2 *θ7+k3 *θ9)，[k0,k1,k2,k3,f,x_cc,y_cc]为离线标定的相机内参；[kk0,kk1,kk2,kk3,ff,xx_cc,yy_cc]为去畸变后的图像相机内参。
8.根据权利要求6所述的装置，其特征在于，所述状态确定模块，具体用于：
当对所述各初始图像中的特征点进行跟踪，确定任一所述特征点运动距离大于预设阈值时，确定重新获取所述车体的位姿初始值，否则，确定继续对所述车体的位姿进行跟踪。
9.一种环视视觉里程计系统，其特征在于，所述系统至少包括：多个相机以及系统前端；
每个所述相机，用于采集车体周围环境的初始图像，并将所述各初始图像发送给所述系统前端；
所述系统前端，用于接收各初始图像，根据对所述各初始图像中的特征点进行跟踪的结果，确定重新获取所述车体的位姿初始值或继续对所述车体的位姿进行跟踪；当确定重新获取所述车体的位姿初始值时，针对每个所述初始图像，选取该初始图像中的特征点，对各所述特征点进行三角化后得到该初始图像对应的车体位姿估计值；对各初始图像对应的车体位姿估计值求平均得到车体位姿初值，并通过最小化重投影误差进行相机之间联合优化，得到优化后的地图点坐标和车体位姿信息；其中，所述地图点为所述初始图像中的特征点对应的三维点；当确定继续对所述车体的位姿进行跟踪时，根据所述车体的当前位姿和匀速模型得到车体位姿初值，将所述车体位姿初值和预先标定得到的相机外参求乘积得到每个所述相机的相机位姿初值；将各所述相机的地图点通过所述相机位姿初值投影到对应的初始图像上，以投影位置为初值进行光流法匹配，得到对应的匹配点，并通过最小化所述重投影误差优化车体位姿，得到优化后的车体位姿信息。
10.根据权利要求9所述的环视视觉里程计系统，其特征在于，还包括：
系统后端，用于当对所述各初始图像中的特征点进行跟踪，确定当前的特征点的数量小于预设数量阈值时，添加关键帧，并通过最小化所述重投影误差对当前所有的关键帧及地图点进行联合优化，得到优化后的地图点坐标和车体位姿信息。
CN201910575005.XA 2019-06-28 2019-06-28 一种确定车体位姿的方法、装置及环视视觉里程计系统 Active CN112150547B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910575005.XA CN112150547B (zh) 2019-06-28 2019-06-28 一种确定车体位姿的方法、装置及环视视觉里程计系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910575005.XA CN112150547B (zh) 2019-06-28 2019-06-28 一种确定车体位姿的方法、装置及环视视觉里程计系统

Publications (2)

Publication Number Publication Date
CN112150547A true CN112150547A (zh) 2020-12-29
CN112150547B CN112150547B (zh) 2024-03-12

Family

ID=73869379

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910575005.XA Active CN112150547B (zh) 2019-06-28 2019-06-28 一种确定车体位姿的方法、装置及环视视觉里程计系统

Country Status (1)

Country Link
CN (1) CN112150547B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112734841A (zh) * 2020-12-31 2021-04-30 华南理工大学 一种用轮式里程计-imu和单目相机实现定位的方法
CN114659531A (zh) * 2022-05-16 2022-06-24 苏州挚途科技有限公司 车辆的地图定位方法、装置和电子设备
CN115115704A (zh) * 2022-06-24 2022-09-27 合众新能源汽车有限公司 确定汽车位姿信息的方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107610175A (zh) * 2017-08-04 2018-01-19 华南理工大学 基于半直接法和滑动窗口优化的单目视觉slam算法
CN107687850A (zh) * 2017-07-26 2018-02-13 哈尔滨工业大学深圳研究生院 一种基于视觉和惯性测量单元的无人飞行器位姿估计方法
CN108062776A (zh) * 2018-01-03 2018-05-22 百度在线网络技术（北京）有限公司 相机姿态跟踪方法和装置
CN109345588A (zh) * 2018-09-20 2019-02-15 浙江工业大学 一种基于Tag的六自由度姿态估计方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107687850A (zh) * 2017-07-26 2018-02-13 哈尔滨工业大学深圳研究生院 一种基于视觉和惯性测量单元的无人飞行器位姿估计方法
CN107610175A (zh) * 2017-08-04 2018-01-19 华南理工大学 基于半直接法和滑动窗口优化的单目视觉slam算法
CN108062776A (zh) * 2018-01-03 2018-05-22 百度在线网络技术（北京）有限公司 相机姿态跟踪方法和装置
CN109345588A (zh) * 2018-09-20 2019-02-15 浙江工业大学 一种基于Tag的六自由度姿态估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李卓等: "基于几何约束的视觉闭环检测和位姿优化", 《电光与控制》, pages 79 - 83 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112734841A (zh) * 2020-12-31 2021-04-30 华南理工大学 一种用轮式里程计-imu和单目相机实现定位的方法
CN112734841B (zh) * 2020-12-31 2023-04-28 华南理工大学 一种用轮式里程计-imu和单目相机实现定位的方法
CN114659531A (zh) * 2022-05-16 2022-06-24 苏州挚途科技有限公司 车辆的地图定位方法、装置和电子设备
CN115115704A (zh) * 2022-06-24 2022-09-27 合众新能源汽车有限公司 确定汽车位姿信息的方法及装置
CN115115704B (zh) * 2022-06-24 2024-07-23 合众新能源汽车股份有限公司 确定汽车位姿信息的方法及装置

Also Published As

Publication number Publication date
CN112150547B (zh) 2024-03-12

Similar Documents

Publication Publication Date Title
US11554717B2 (en) Vehicular vision system that dynamically calibrates a vehicular camera
CN109579843B (zh) 一种空地多视角下的多机器人协同定位及融合建图方法
CN110244282B (zh) 一种多相机系统和激光雷达联合系统及其联合标定方法
KR102516326B1 (ko) 이미지 라인들로부터의 카메라 외부 파라미터들 추정
CN107843251B (zh) 移动机器人的位姿估计方法
JP4414661B2 (ja) ステレオアダプタ及びそれを用いた距離画像入力装置
WO2004106856A9 (ja) ステレオカメラ支持装置、ステレオカメラ支持方法及びキャリブレーション検出装置及びキャリブレーション補正装置並びにステレオカメラシステム
CN112669354B (zh) 一种基于车辆非完整约束的多相机运动状态估计方法
CN112150547B (zh) 一种确定车体位姿的方法、装置及环视视觉里程计系统
US11636617B2 (en) Ascertainment of predistortion data for a projection and projector module
CN110887486B (zh) 一种基于激光线辅助的无人机视觉导航定位方法
JP4872890B2 (ja) 画像の歪曲補正方法
Zienkiewicz et al. Extrinsics autocalibration for dense planar visual odometry
WO2018202464A1 (en) Calibration of a vehicle camera system in vehicle longitudinal direction or vehicle trans-verse direction
US20070076096A1 (en) System and method for calibrating a set of imaging devices and calculating 3D coordinates of detected features in a laboratory coordinate system
Beck et al. Generalized B-spline camera model
Fraundorfer et al. A constricted bundle adjustment parameterization for relative scale estimation in visual odometry
CN111199576B (zh) 一种基于移动平台的室外大范围人体姿态重建方法
US20220343656A1 (en) Method and system for automated calibration of sensors
CN114199235A (zh) 一种基于扇面深度相机的定位系统及定位方法
CN113345032B (zh) 一种基于广角相机大畸变图的初始化建图方法及系统
CN112419423B (zh) 一种标定方法、装置、电子设备及存储介质
JP7311407B2 (ja) 姿勢推定装置、および、姿勢推定方法
JP2006234703A (ja) 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム
CN116907486A (zh) 一种基于特征检测的机器视觉惯性组合导航方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220303

Address after: 100083 unit 501, block AB, Dongsheng building, No. 8, Zhongguancun East Road, Haidian District, Beijing

Applicant after: BEIJING MOMENTA TECHNOLOGY Co.,Ltd.

Address before: 100083 room 28, 4 / F, block a, Dongsheng building, 8 Zhongguancun East Road, Haidian District, Beijing

Applicant before: BEIJING CHUSUDU TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant