Nothing Special   »   [go: up one dir, main page]

CN110853075B - 一种基于稠密点云与合成视图的视觉跟踪定位方法 - Google Patents

一种基于稠密点云与合成视图的视觉跟踪定位方法 Download PDF

Info

Publication number
CN110853075B
CN110853075B CN201911070899.3A CN201911070899A CN110853075B CN 110853075 B CN110853075 B CN 110853075B CN 201911070899 A CN201911070899 A CN 201911070899A CN 110853075 B CN110853075 B CN 110853075B
Authority
CN
China
Prior art keywords
image
point
frame image
algorithm
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201911070899.3A
Other languages
English (en)
Other versions
CN110853075A (zh
Inventor
陈靖
缪远东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201911070899.3A priority Critical patent/CN110853075B/zh
Publication of CN110853075A publication Critical patent/CN110853075A/zh
Application granted granted Critical
Publication of CN110853075B publication Critical patent/CN110853075B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于稠密点云与合成视图的视觉跟踪定位方法，过程为：利用对真实场景进行三维扫描，获取彩色关键帧图像和对应的深度图像，进行图像修复后，对关键帧图像进行图像编码；将摄像机实时获取的当前帧图像进行图像编码，并选出与当前帧图像编码距离最近的一张合成图像作为当前图像的参考帧图像；获得两图像上稳定的匹配特征点集合，并进行处理获得当前帧摄像机相对于三维扫描点云坐标系的六自由度位姿信息；利用光流算法进行判定，若无法满足要求，则更新当前帧图像为摄像机获取的下一帧图像，重新进行匹配。本发明能够解决激光雷达获取的三维点云与异源视觉图像的关联问题，具有实现视觉导航快速初始化定位的效果。

Description

一种基于稠密点云与合成视图的视觉跟踪定位方法
技术领域
本发明属于信息技术领域，具体涉及一种基于稠密点云与合成视图的视觉跟踪定位方法。
背景技术
大规模户外场景的视觉实时跟踪定位一直以来是计算机视觉领域的重要研究方向。户外复杂多变的环境因素，如光照、视角、遮挡、弱纹理以及随时间运动的物体等都对视觉跟踪定位算法的精度和鲁棒性造成较大的影响。荒漠、草原、山地等户外作战场景由于地域广，场景纹理信息不丰富，对视觉跟踪定位算法提出了更高的技术挑战。目前较常采用的户外大场景视觉跟踪定位算法是SLAM(实时定位与地图构建)算法。该类算法可分为基于特征的SLAM算法和基于直接法的SLAM算法。基于特征的SLAM算法可获得场景的稀疏地图和摄像机的实时运动轨迹。基于直接法的SLAM算法可获得场景的稠密地图和摄像机的实时运动轨迹。特征法和直接法各有其优缺点，分别适用于不同的应用领域。目前SLAM算法的局限性在于由于场景地图与位姿需要同时进行估算，因此计算量大、摄像机姿态估计存在误差累积漂移，且难以处理动态场景、无法实现大规模场景的应用。
为解决SLAM算法计算量大、姿态估计误差累积漂移的问题，可采用离线构建地图，在线进行跟踪定位的方式。离线地图可采用基于视觉的SFM算法(运动结构重建)或是利用三维激光雷达扫描获取。由于SFM算法获取的场景地图存在尺度不确性问题，因此难以在户外增强现实军事仿真训练中得以应用。而利用激光雷达获取户外场景的三维点云，具有扫描精度高且尺度确定的特点。因此，利用激光雷达获取场景的三维地图并用于后续基于视觉的跟踪定位，成为一个重要的研究方向。激光雷达构建的三维地图与相机获取的图像属于异源数据，存在光照变化、传感器差异、视角不同等各种不利因素影响，需要着重解决激光雷达获取的三维点云与视觉图像的关联问题。
发明内容
本发明的目的是为了克服已有技术的缺陷，为了解决激光雷达三维扫描数据与图像数据的关联，使其能够用于视觉跟踪定位的问题，提出一种基于稠密点云与合成视图的视觉跟踪定位方法。
本发明方法是通过下述技术方案实现的：
一种基于稠密点云与合成视图的视觉跟踪定位方法，具体过程为：
步骤一：利用三维激光雷达扫描仪在固定位置对真实场景进行三维扫描，获取真实场景的三维点云模型以及与点云模型相对应的彩色图像；
步骤二:将带有颜色信息的三维点云模型利用投影变换算法合成出多个特定视点下的彩色关键帧图像和对应的深度图像；
步骤三：利用所述深度图像对合成的彩色关键帧图像利用图像修复算法，修复图像中的空洞；
步骤四:提取所有修复后彩色关键帧图像上的特征点，并进行离线训练，构建码书，并对关键帧图像进行图像编码；
步骤五：将摄像机实时获取的当前帧图像进行图像编码，并选出与当前帧图像编码距离最近的一张合成图像作为当前图像的参考帧图像；
步骤六：分别提取当前帧与步骤五中选取的参考帧图像上的特征点，利用特征匹配算法获得稳定的匹配特征点集合；
步骤七：利用参考帧图像上的特征点与三维扫描点之间的投影对应关系，构建当前帧匹配特征点与三维扫描点之间的2D/3D空间匹配关系；
步骤八：根据所述空间匹配关系，利用当前帧摄像机相对于三维扫描点云坐标系的六自由度位姿信息；
步骤九：利用光流算法预测当前帧图像上匹配的特征点在下一帧图像的位置；
步骤十：若光流跟踪的匹配点数大于设定的阈值，则根据步骤八计算的得到的六自由度位姿信息结合视觉SLAM算法进行后续姿态估计，若光流跟踪的匹配点数小于设定的阈值，则更新当前帧图像为摄像机获取的下一帧图像，返回步骤五。
有益效果
本发明方法，对比已有技术，本发明通过将激光雷达获取的三维点云投影合成图像，进行图像修复、检索和匹配，因此能够解决激光雷达获取的三维点云与异源视觉图像的关联问题，具有实现视觉导航快速初始化定位的效果。
附图说明
图1为本发明实施方式的算法流程示意图；
图2为Faro扫描的真实场景三维模型图；
图3为合成关键帧图像和对应深度图，左侧为关键帧，右侧为深度图；
图4为图像修复后的关键帧图像和对应深度图，左侧为关键帧，右侧为深度图；
图5为当前帧图像与参考帧图像的特征匹配图，左侧为当前帧，右侧为参考帧。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。
本发明的设计思想为：将激光雷达获得的三维点云经过空间反投影变换，生成已知视点下的合成图像，利用合成图像与摄像机获取的实时图像进行匹配的方式，估算摄像机的实时6自由度位姿。该方法可用于机器人、无人车、无人飞行器、虚拟现实与增强现实等领域的跟踪导航或辅助定位。
本发明基于稠密点云与合成视图的视觉跟踪定位方法，如图1所示，具体步骤包括：
步骤一、将Faro激光雷达扫描仪放置在户外某一地点固定，扫描周围真实场景并获得三维点云模型以及与模型相对应的RGB图像。其中三维点云模型的每一个三维点(xw，yw，zw，r，g，b)包含在点云模型坐标系下的坐标(xw，yw，zw)T和RGB颜色信息(r，g，b)。
步骤二、将带有颜色信息的三维点云模型利用投影变换算法合成出特定视点下的彩色关键帧图像和对应的深度图像。其具体步骤包括：
(1)根据步骤一获得的三维点云模型，利用三角网格化算法生成三角面片模型并将模型导入三维模型软件中。在三维模型软件中，通过调整虚拟相机的位姿获取k个不同视点下的旋转矩阵
Figure GDA0003005400660000041
和平移矢量
Figure GDA0003005400660000042
对点云中每一个三维点(xw，yw，zw，r，g，b)利用公式(1)分别计算三维点在不同虚拟相机坐标系下的三维点坐标
Figure GDA0003005400660000043
Figure GDA0003005400660000044
(2)根据真实相机的内部参数值设定虚拟相机的内部参数，其中包括焦距(fx，fy)、主点(u0，v0)，利用公式(2)将虚拟相机坐标系下的坐标
Figure GDA0003005400660000051
变换到图像坐标系下。
Figure GDA0003005400660000052
(3)将公式(2)计算获得的图像坐标(uk，vk)，根据真实相机的分辨率W×H进行剪裁，如果
Figure GDA0003005400660000053
或
Figure GDA0003005400660000054
舍弃，否则保留。
(4)当投影到同一图像坐标(uk，vk)有多个对应的三维点(xw，yw，zw，r，g，b)时，比较三维点(xw，yw，zw，r，g，b)在虚拟相机坐标系下的三维点坐标
Figure GDA0003005400660000055
的
Figure GDA0003005400660000056
分量，保留最小正值
Figure GDA0003005400660000057
所对应的三维点，消除点云前后遮挡问题。
(5)根据投影的图像坐标(uk，vk)分别赋予对应的三维点云(xw，yw，zw，r，g，b)的颜色信息(r，g，b)和对应的虚拟相机坐标系下的三维点坐标
Figure GDA0003005400660000058
的
Figure GDA0003005400660000059
分量，合成出特定视点下的彩色关键帧图像和对应的深度图。
步骤三、根据步骤二中得到的彩色关键帧图像和对应的深度图，利用基于深度信息的图像修复算法对步骤二中获得的彩色关键帧图像逐一进行图像修复，去除彩色关键帧图像中的空洞。具体实现步骤包括：
(1)利用线性插值算法对深度图进行图像补全，去除深度图像中的空洞，
(2)利用补全的深度图修复彩色关键帧图像：
读取彩色关键帧图像的每一个像素点(u，v)，判断其是否是空白点，若该点是空白点，向空白点周围的八个方向寻找参考点(i，j)，并从深度图中获取点(u，v)和参考点(i，j)的深度，参考点不能是空白点，根据公式(3)对参考点进行加权求和填补空白点。
Figure GDA0003005400660000061
其中，点(u，v)为空白点，点(i，j)为参考点，R为参考点构成的集合，I(i，j)为点(i，j)的颜色信息，I(u，v)为填补空白点(u，v)所需的颜色信息，D(i，j)为深度加权因子，当参考点(i，j)的深度与点(u，v)的深度差值小于设定的阈值时，D(i，j)＝1，否则D(i，j)＝0，W(i，j)为点(i，j)的距离加权因子，由公式(4)计算得到，
Figure GDA0003005400660000062
(3)对关键帧图像中的每一个点都进行上述(2)步骤的处理，直至全图处理完毕，则图像修复完成。
步骤四、提取所有修复后彩色关键帧图像上的特征点，并进行离线训练，构建码书，并利用VLAD(Vector of Aggregate Locally Descriptor)算法对彩色关键帧图像进行图像编码。具体实现步骤包括：
(1)提取所有修复后彩色关键帧图像上的ORB特征点，构建特征描述子集合{xj}，利用k-means聚类算法对ORB特征点集进行聚类，获得有M个聚类中心的码书，C＝{c1 c2 ...cM}为码书的M个聚类中心；
(2)将从一幅彩色关键帧图像上提取的每个特征描述子xj利用K近邻算法与码书的M个聚类中心比较，按照最近邻原则分配到码书中与其最近邻聚类中心ci＝NN(xj)。
(3)计算每个特征描述子xj与其最近邻聚类中心ci的残差xj-ci，并对每幅彩色关键帧图像落在同一聚类中心上的残差进行累积构成VLAD向量
Figure GDA0003005400660000063
(4)将每个聚类中心上的累积残差矢量级联构建出该彩色关键帧图像的VLAD描述符。
步骤五、将摄像机实时获取的当前帧图像利用步骤四中的VLAD算法进行图像编码获取当前帧的VLAD图像描述符，并采用KNN(k近邻)算法选出与当前帧图像编码距离最近的一张彩色关键帧图像作为当前图像的参考帧图像。
步骤六、分别提取当前帧与步骤五中选取的参考帧图像上的ORB特征点，利用特征匹配算法获得稳定的匹配特征点集合。具体步骤包括：
(1)分别提取当前帧与参考帧图像的ORB特征，根据特征描述符的最近邻与次近邻之比确定初始特征匹配点集。
(2)利用8点算法计算匹配特征点集构建的基础矩阵F；
(3)根据计算的基础矩阵F构建匹配点的反投影误差，并利用RANSAC算法进一步去除野点。
步骤七、利用参考帧图像上的特征点与三维扫描点之间的投影对应关系，构建当前帧匹配特征点与三维扫描点之间的2D/3D空间匹配关系。
步骤八、根据步骤七所建立的当前帧图像坐标与三维空间点坐标的空间匹配关系，利用OpenCV中的PnP(perspective-n-point)算法求解出当前摄像机相对于三维点云坐标系的六自由度位姿信息。
步骤九、采用OpenCV中的光流跟踪算法，估算当前帧特征点在下一帧图像中的图像坐标。
步骤十、根据步骤九的光流估计结果，统计能够稳定跟踪到的特征点个数，并与设定的阈值做比较，如果能够跟踪到的特征点个数大于阈值，则根据步骤八计算的得到的六自由度位姿信息结合视觉SLAM算法进行后续姿态估计；若能够跟踪到的特征点个数小于阈值，更新当前帧图像为摄像机获取的下一帧图像，则返回步骤五，重新选择参考帧图像。
自此，就实现了基于稠密点云与合成视图的视觉跟踪定位。
如图2-5所示，图2为Faro扫描的真实场景三维模型图，利用真实场景三维模型图合成关键帧图像和对应的深度图像如图3所示，图3中左侧为关键帧图像，右侧为深度图像；经过步骤三进行图像修复后，修复后的图像如图4所示，左侧为修复后的关键帧图像，右侧为修复后的深度图像；图5为当前帧图像与参考帧图像的特征匹配图，左侧为当前帧图像，右侧为参考帧图像。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于稠密点云与合成视图的视觉跟踪定位方法，其特征在于，具体过程为：
步骤一：利用三维激光雷达扫描仪在固定位置对真实场景进行三维扫描，获取真实场景的三维点云模型以及与点云模型相对应的彩色图像；
步骤二:将带有颜色信息的三维点云模型利用投影变换算法合成出多个特定视点下的彩色关键帧图像和对应的深度图像；
步骤三：利用所述深度图像对合成的彩色关键帧图像利用图像修复算法，修复图像中的空洞；
步骤四:提取所有修复后彩色关键帧图像上的特征点，并进行离线训练，构建码书，并对关键帧图像进行图像编码；
步骤五：将摄像机实时获取的当前帧图像进行图像编码，并选出与当前帧图像编码距离最近的一张合成图像作为当前图像的参考帧图像；
步骤六：分别提取当前帧与步骤五中选取的参考帧图像上的特征点，利用特征匹配算法获得稳定的匹配特征点集合；
步骤七：利用参考帧图像上的特征点与三维扫描点之间的投影对应关系，构建当前帧匹配特征点与三维扫描点之间的2D/3D空间匹配关系；
步骤八：根据所述空间匹配关系，求解当前帧摄像机相对于三维扫描点云坐标系的六自由度位姿信息；
步骤九：利用光流算法预测当前帧图像上匹配的特征点在下一帧图像的位置；
步骤十：若光流跟踪的匹配点数大于设定的阈值，则根据步骤八计算的得到的六自由度位姿信息结合视觉SLAM算法进行后续姿态估计，若光流跟踪的匹配点数小于设定的阈值，则更新当前帧图像为摄像机获取的下一帧图像，返回步骤五。
2.根据权利要求1所述基于稠密点云与合成视图的视觉跟踪定位方法，其特征在于，所述步骤四和步骤五中采用VLAD算法进行图像编码。
3.根据权利要求1所述基于稠密点云与合成视图的视觉跟踪定位方法，其特征在于，所述步骤五中采用KNN算法选出与当前帧图像编码距离最近的一张合成图像。
4.根据权利要求1所述基于稠密点云与合成视图的视觉跟踪定位方法，其特征在于，所述步骤八中利用PnP算法求解六自由度位姿信息。
5.根据权利要求1所述基于稠密点云与合成视图的视觉跟踪定位方法，其特征在于，所述步骤三的具体过程为：
(1)利用线性插值算法对深度图进行图像补全，去除深度图像中的空洞，
(2)利用补全的深度图修复彩色关键帧图像：
读取彩色关键帧图像的每一个像素点(u,v)，判断其是否是空白点，若该点是空白点，向空白点周围的八个方向寻找参考点(i,j)，并从深度图中获取点(u,v)和参考点(i,j)的深度，参考点不能是空白点，根据公式(3)对参考点进行加权求和填补空白点
Figure FDA0003005400650000021
其中，点(u,v)为空白点，点(i,j)为参考点，R为参考点构成的集合，I(i,j)为点(i,j)的颜色信息，I(u,v)为填补空白点(u,v)所需的颜色信息，D(i,j)为深度加权因子，当参考点(i,j)的深度与点(u,v)的深度差值小于设定的阈值时，D(i,j)＝1，否则D(i,j)＝0，W(i,j)为点(i,j)的距离加权因子，由公式(4)计算得到，
Figure FDA0003005400650000031
(3)对关键帧图像中的每一个点都进行上述(2)步骤的处理，直至全图处理完毕，则图像修复完成。
CN201911070899.3A 2019-11-05 2019-11-05 一种基于稠密点云与合成视图的视觉跟踪定位方法 Expired - Fee Related CN110853075B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911070899.3A CN110853075B (zh) 2019-11-05 2019-11-05 一种基于稠密点云与合成视图的视觉跟踪定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911070899.3A CN110853075B (zh) 2019-11-05 2019-11-05 一种基于稠密点云与合成视图的视觉跟踪定位方法

Publications (2)

Publication Number Publication Date
CN110853075A CN110853075A (zh) 2020-02-28
CN110853075B true CN110853075B (zh) 2021-08-06

Family

ID=69599685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911070899.3A Expired - Fee Related CN110853075B (zh) 2019-11-05 2019-11-05 一种基于稠密点云与合成视图的视觉跟踪定位方法

Country Status (1)

Country Link
CN (1) CN110853075B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111402414B (zh) * 2020-03-10 2024-05-24 北京京东叁佰陆拾度电子商务有限公司 一种点云地图构建方法、装置、设备和存储介质
CN111462179B (zh) * 2020-03-26 2023-06-27 北京百度网讯科技有限公司 三维物体跟踪方法、装置及电子设备
CN111337947B (zh) 2020-05-18 2020-09-22 深圳市智绘科技有限公司 即时建图与定位方法、装置、系统及存储介质
CN113724365B (zh) * 2020-05-22 2023-09-26 杭州海康威视数字技术股份有限公司 一种三维重建方法及装置
CN112001966B (zh) * 2020-08-03 2023-06-09 南京理工大学 飞行训练ar系统中显示屏的定位与跟踪方法
CN112067233B (zh) * 2020-09-02 2022-08-12 中国航天空气动力技术研究院 一种用于风洞模型六自由度运动捕获方法
CN112132900B (zh) * 2020-09-29 2024-06-25 凌美芯（北京）科技有限责任公司 一种视觉重定位方法及系统
CN112184589B (zh) * 2020-09-30 2021-10-08 清华大学 一种基于语义分割的点云强度补全方法及系统
CN112669436B (zh) * 2020-12-25 2024-10-18 嘉兴恒创电力集团有限公司博创物资分公司 一种基于3d点云的深度学习样本生成方法
CN112837424B (zh) * 2021-02-04 2024-02-06 脸萌有限公司 图像处理方法、装置、设备和计算机可读存储介质
CN113781536A (zh) * 2021-09-06 2021-12-10 广州极飞科技股份有限公司 图像对齐方法和装置、电子设备和计算机可读存储介质
CN113961068B (zh) * 2021-09-29 2023-01-06 北京理工大学 一种基于增强现实头盔的近距离实物眼动交互方法
CN114887321A (zh) * 2022-04-26 2022-08-12 广州宸境科技有限公司 一种多人ar互动方法、装置、设备及存储介质
CN115880334B (zh) * 2022-12-05 2023-07-28 无锡东如科技有限公司 一种自动机器学习图谱融合的视频物体跟踪方法
CN115619837B (zh) * 2022-12-20 2023-04-14 中科航迈数控软件(深圳)有限公司 一种ar图像生成方法及相关设备
CN115661493B (zh) * 2022-12-28 2023-07-04 航天云机(北京)科技有限公司 一种对象位姿的确定方法及装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107025668A (zh) * 2017-03-30 2017-08-08 华南理工大学 一种基于深度相机的视觉里程计的设计方法
CN110288657A (zh) * 2019-05-23 2019-09-27 华中师范大学 一种基于Kinect的增强现实三维注册方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107025668A (zh) * 2017-03-30 2017-08-08 华南理工大学 一种基于深度相机的视觉里程计的设计方法
CN110288657A (zh) * 2019-05-23 2019-09-27 华中师范大学 一种基于Kinect的增强现实三维注册方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Building a dense surface map incrementally from semi-dense point cloud and RGB images;Qian-shan LI等;《Frontiers of Information Technology & Electronic Engineering》;20150703;全文 *
基于单目相机序列图像的双层过滤三维重建;匡文彬;《计算机与数字工程》;20191020;第47卷(第10期);全文 *

Also Published As

Publication number Publication date
CN110853075A (zh) 2020-02-28

Similar Documents

Publication Publication Date Title
CN110853075B (zh) 一种基于稠密点云与合成视图的视觉跟踪定位方法
CN104376552B (zh) 一种3d模型与二维图像的虚实配准方法
CN112001926B (zh) 基于多维语义映射rgbd多相机标定方法、系统及应用
CN110728671B (zh) 基于视觉的无纹理场景的稠密重建方法
CN109345588A (zh) 一种基于Tag的六自由度姿态估计方法
CN108876814B (zh) 一种生成姿态流图像的方法
CN108776989B (zh) 基于稀疏slam框架的低纹理平面场景重建方法
CN108519102B (zh) 一种基于二次投影的双目视觉里程计算方法
CN110009732A (zh) 基于gms特征匹配的面向复杂大尺度场景三维重建方法
Nagy et al. Online targetless end-to-end camera-LiDAR self-calibration
CN117197333A (zh) 基于多目视觉的空间目标重构与位姿估计方法及系统
CN113298947A (zh) 一种基于多源数据融合的变电站三维建模方法介质及系统
CN111998862A (zh) 一种基于bnn的稠密双目slam方法
CN110738730A (zh) 点云匹配方法、装置、计算机设备和存储介质
CN114996814A (zh) 一种基于深度学习与三维重建的家具设计系统
CN112630469B (zh) 一种基于结构光和多光场相机的三维检测方法
CN112907573B (zh) 一种基于3d卷积的深度补全方法
Bu et al. Semi-direct tracking and mapping with RGB-D camera for MAV
CN112243518A (zh) 获取深度图的方法、装置及计算机存储介质
CN110544279A (zh) 一种结合图像识别和遗传算法精配准的位姿估计方法
Liu et al. Dense stereo matching strategy for oblique images that considers the plane directions in urban areas
CN112712566B (zh) 基于结构参数在线校正的双目立体视觉传感器测量方法
Le Besnerais et al. Dense height map estimation from oblique aerial image sequences
Kim et al. Trends in high-resolution 3D data generation technologies
CN117974786A (zh) 一种基于多视觉动态环境重建和测量方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210806