Nothing Special   »   [go: up one dir, main page]

CN111932602B - 一种基于变焦双目立体视觉的三维重建方法 - Google Patents

一种基于变焦双目立体视觉的三维重建方法 Download PDF

Info

Publication number
CN111932602B
CN111932602B CN202010699335.2A CN202010699335A CN111932602B CN 111932602 B CN111932602 B CN 111932602B CN 202010699335 A CN202010699335 A CN 202010699335A CN 111932602 B CN111932602 B CN 111932602B
Authority
CN
China
Prior art keywords
binocular
images
dimensional reconstruction
method based
graphic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010699335.2A
Other languages
English (en)
Other versions
CN111932602A (zh
Inventor
汤文亮
乐昱
袁柯
邓学欢
刘增辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Jiaotong University
Original Assignee
East China Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Jiaotong University filed Critical East China Jiaotong University
Priority to CN202010699335.2A priority Critical patent/CN111932602B/zh
Publication of CN111932602A publication Critical patent/CN111932602A/zh
Application granted granted Critical
Publication of CN111932602B publication Critical patent/CN111932602B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/08Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10148Varying focus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Microscoopes, Condenser (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开了一种基于变焦双目立体视觉的三维重建方法,具体涉及三维重建领域,该基于变焦双目立体视觉的三维重建方法具体包括有以下步骤:步骤一:采集图像,当物体快速运动过程中,由双目对物体进行图像采集,双目分别采集的图形集成对进行比对;步骤二:自动变焦,根据所需要三维重建的物体与双目之间的实际距离进行自动调整。本发明通过多个步骤实施,利用自动变焦的双目立体视觉,以此完成对运动物体的三维重建,将双目同一时间段所采集的图形,进行收集并处理,在深度和色度的前提下进行相适应的融合,进而完成构建作业,整体能够更加快速且准确的获得图形特征,提高了双目立体视觉图像测量精度,具备较高的实用性。

Description

一种基于变焦双目立体视觉的三维重建方法
技术领域
本发明涉及三维重建技术领域,更具体地说,本发明涉及一种基于变焦双目立体视觉的三维重建方法。
背景技术
双目立体视觉融合两只眼睛获得的图像并观察它们之间的差别,使我们可以获得明显的深度感,建立特征间的对应关系,将同一空间物理点在不同图像中的映像点对应起来,这个差别,我们称作视差(Disparity)图像。
双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点,非常适合于制造现场的在线、非接触产品检测和质量控制。对运动物体(包括动物和人体形体)测量中,由于图像获取是在瞬间完成的,因此立体视觉方法是一种更有效的测量方法。
双目立体视觉系统是计算机视觉的关键技术之一,获取空间三维场景的距离信息也是计算机视觉研究中最基础的内容。
双目立体视觉的开创性工作始于上世纪的60年代中期。美国MIT的Roberts通过从数字图像中提取立方体、楔形体和棱柱体等简单规则多面体的三维结构,并对物体的形状和空间关系进行描述,把过去的简单二维图像分析推广到了复杂的三维场景,标志着立体视觉技术的诞生。随着研究的深入,研究的范围从边缘、角点等特征的提取,线条、平面、曲面等几何要素的分析,直到对图像明暗、纹理、运动和成像几何等进行分析,并建立起各种数据结构和推理规则。特别是上世纪80年代初,Marr首次将图像处理、心理物理学、神经生理学和临床精神病学的研究成果从信息处理的角度进行概括,创立了视觉计算理论框架。
这一基本理论对立体视觉技术的发展产生了极大的推动作用,在这一领域已形成了从图像的获取到最终的三维场景可视表面重构的完整体系,使得立体视觉已成为计算机视觉中一个非常重要的分支。
经过几十年来的发展,立体视觉在机器人视觉、航空测绘、反求工程、军事运用、医学成像和工业检测等领域中的运用越来越广。
但是上述技术方案在实际运用时,仍旧存在较多缺点,一般在对运动过程中的物体进行三维重建时,需要较高的精确度,并且不能稳定对其进行三维重建。
发明内容
为了克服现有技术的上述缺陷,本发明的实施例提供一种基于变焦双目立体视觉的三维重建方法,通过多个步骤实施,利用自动变焦的双目立体视觉,以此完成对运动物体的三维重建,将双目同一时间段所采集的图形,进行收集并处理,在深度和色度的前提下进行相适应的融合,进而完成构建作业,整体能够更加快速且准确的获得图形特征,提高了双目立体视觉图像测量精度,具备较高的实用性。
为实现上述目的,本发明提供如下技术方案:一种基于变焦双目立体视觉的三维重建方法,该基于变焦双目立体视觉的三维重建方法具体包括有以下步骤:
步骤一:采集图像,当物体快速运动过程中,由双目对物体进行图像采集,双目分别采集的图形集成对进行比对;
步骤二:自动变焦,根据所需要三维重建的物体与双目之间的实际距离进行自动调整,将其调整至双目立体视觉采集图像时的适宜焦距,其中双目为设备中双目立体视觉的具体执行器件;
步骤三:丰富光线,当变焦后的双目在对物体进行图像采集时,其中物体在快速运动的过程中,提前判断物体的运动速度,并预知物体在双目所拍摄的范围内的运动里程,由高精度光线感应器对运动的物体进行光线感应,并对拍摄时的色度进行补偿;
步骤四:提取并处理图形集,将双目在同一时间段所采集的图形集进行分类标记,由中央控制程序将其中内容不清晰且曝光的图形集进行自动删除,并对其中颜色缺失的图形集进行自动补偿,当整体的图形集处理之后,经过中央控制程序的分析,将双目所采集同一时间段不同的图形集进行融合,分别经过图形深度融合以及色度融合;
步骤五:建模处理,当双目所采集到的不同时间段的图形集进行融合之后,将图形信息转化为点数据信息,利用图形集中的特殊点进行重点转化,当建模中心接收到多组点数据信息之后,进入相对应的立体匹配模式,进而完成运动过程中物体的三维重建。
在一个优选地实施方式中,步骤一中,其中的第一目采集的图像为第一子图形集,第二目采集的图像为第二子图形集,第一子图形集和第二子图形集都是同一时间段所采集的图形。
在一个优选地实施方式中,步骤二中,其中双目立体视觉融合两只眼睛获得的图像并观察它们之间的差别,使我们可以获得明显的深度感,建立特征间的对应关系,将同一空间物理点在不同图像中的映像点对应起来。
在一个优选地实施方式中,步骤二中在对物体自动变焦的过程中,由于物体运动速度过快,需要利用步骤三中的执行操作,预知物体在双目所拍摄的范围内的运动里程,并快速的进行自我焦距调整。
在一个优选地实施方式中,步骤三中,在对色度进行自我补偿时,需要利用多角度灯光进行分散式照射,同时,利用降低电阻的方式对其进行光线弱化。
在一个优选地实施方式中,步骤四中,在中央控制程序上设定好指定程序,当图形集出现混乱不堪的状态,由中央控制程序自动删除。
在一个优选地实施方式中,其中的双目立体视觉包括且并不局限于双目,存在于多目状态。
在一个优选地实施方式中,在对整体进行图像采集时,需要对数据进行去噪处理,并对图像中的背景进行虚化。
本发明的技术效果和优点:
1、本发明通过多个步骤实施,利用自动变焦的双目立体视觉,以此完成对运动物体的三维重建,将双目同一时间段所采集的图形,进行收集并处理,在深度和色度的前提下进行相适应的融合,进而完成构建作业,整体能够更加快速且准确的获得图形特征,提高了双目立体视觉图像测量精度,具备较高的实用性;
2、本发明通过添加了丰富光线的步骤,能够提前判断物体的运动速度,并预知物体在双目所拍摄的范围内的运动里程,由高精度光线感应器对运动的物体进行光线感应,并对拍摄时的色度进行补偿,使得在对光线进行补偿时,有效的提高了整体的反应速度,保证了良好的补偿效果。
具体实施方式
下面将结合本发明中的实施例,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例:
本发明提供了一种基于变焦双目立体视觉的三维重建方法,其特征在于:该基于变焦双目立体视觉的三维重建方法具体包括有以下步骤:
步骤一:采集图像,当物体快速运动过程中,由双目对物体进行图像采集,双目分别采集的图形集成对进行比对,其中的第一目采集的图像为第一子图形集,第二目采集的图像为第二子图形集,第一子图形集和第二子图形集都是同一时间段所采集的图形;
步骤二:自动变焦,根据所需要三维重建的物体与双目之间的实际距离进行自动调整,将其调整至双目立体视觉采集图像时的适宜焦距,其中的双目为设备中双目立体视觉的具体执行器件,其中双目立体视觉融合两只眼睛获得的图像并观察它们之间的差别,使我们可以获得明显的深度感,建立特征间的对应关系,将同一空间物理点在不同图像中的映像点对应起来;
步骤三:丰富光线,当变焦后的双目在对物体进行图像采集时,其中物体在快速运动的过程中,提前判断物体的运动速度,并预知物体在双目所拍摄的范围内的运动里程,由高精度光线感应器对运动的物体进行光线感应,并对拍摄时的色度进行补偿,在对色度进行自我补偿时,需要利用多角度灯光进行分散式照射,同时,利用降低电阻的方式对其进行光线弱化;
步骤四:提取并处理图形集,将双目在同一时间段所采集的图形集进行分类标记,由中央控制程序将其中内容不清晰且曝光的图形集进行自动删除,并对其中颜色缺失的图形集进行自动补偿,在中央控制程序上设定好指定程序,当图形集出现混乱不堪的状态,由中央控制程序自动删除,当整体的图形集处理之后,经过中央控制程序的分析,将双目所采集同一时间段不同的图形集进行融合,分别经过图形深度融合以及色度融合;
步骤五:建模处理,当双目所采集到的不同时间段的图形集进行融合之后,将图形信息转化为点数据信息,利用图形集中的特殊点进行重点转化,当建模中心接收到多组点数据信息之后,进入相对应的立体匹配模式,进而完成运动过程中物体的三维重建。
进一步的,步骤二中在对物体自动变焦的过程中,由于物体运动速度过快,需要利用步骤四中的执行操作,预知物体在双目所拍摄的范围内的运动里程,并快速的进行自我焦距调整。
进一步的,其中的双目立体视觉包括且并不局限于双目,存在于多目状态。
进一步的,在对整体进行图像采集时,需要对数据进行去噪处理,并对图像中的背景进行虚化。
整体实施之后,通过多个步骤实施,利用自动变焦的双目立体视觉,以此完成对运动物体的三维重建,将双目同一时间段所采集的图形,进行收集并处理,在深度和色度的前提下进行相适应的融合,进而完成构建作业,整体能够更加快速且准确的获得图形特征,提高了双目立体视觉图像测量精度,具备较高的实用性。
最后:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于变焦双目立体视觉的三维重建方法,其特征在于:该基于变焦双目立体视觉的三维重建方法具体包括有以下步骤:
步骤一:采集图像,当物体快速运动过程中,由双目对物体进行图像采集,双目分别采集的图形集成对进行比对;
步骤二:自动变焦,根据所需要三维重建的物体与双目之间的实际距离进行自动调整,将其调整至双目立体视觉采集图像时的适宜焦距,其中双目为设备中双目立体视觉的具体执行器件;
步骤三:丰富光线,当变焦后的双目在对物体进行图像采集时,其中物体在快速运动的过程中,提前判断物体的运动速度,并预知物体在双目所拍摄的范围内的运动里程,由高精度光线感应器对运动的物体进行光线感应,并对拍摄时的色度进行补偿;
步骤四:提取并处理图形集,将双目在同一时间段所采集的图形集进行分类标记,由中央控制程序将其中内容不清晰且曝光的图形集进行自动删除,并对其中颜色缺失的图形集进行自动补偿,当整体的图形集处理之后,经过中央控制程序的分析,将双目所采集同一时间段不同的图形集进行融合,分别经过图形深度融合以及色度融合;
步骤五:建模处理,当双目所采集到的不同时间段的图形集进行融合之后,将图形信息转化为点数据信息,利用图形集中的特殊点进行重点转化,当建模中心接收到多组点数据信息之后,进入相对应的立体匹配模式,进而完成运动过程中物体的三维重建。
2.根据权利要求1所述的一种基于变焦双目立体视觉的三维重建方法,其特征在于:步骤一中,其中的第一目采集的图像为第一子图形集,第二目采集的图像为第二子图形集,第
一子图形集和第二子图形集都是同一时间段所采集的图形。
3.根据权利要求1所述的一种基于变焦双目立体视觉的三维重建方法,其特征在于:步骤二中,其中双目立体视觉融合两只眼睛获得的图像并观察它们之间的差别,使我们可以获得明显的深度感,建立特征间的对应关系,将同一空间物理点在不同图像中的映像点对应起来。
4.根据权利要求1所述的一种基于变焦双目立体视觉的三维重建方法,其特征在于:步骤二中在对物体自动变焦的过程中,由于物体运动速度过快,需要利用步骤三中的执行操作,预知物体在双目所拍摄的范围内的运动里程,并快速的进行自我焦距调整。
5.根据权利要求1所述的一种基于变焦双目立体视觉的三维重建方法,其特征在于:步骤三中,在对色度进行自我补偿时,需要利用多角度灯光进行分散式照射,同时,利用降低电阻的方式对其进行光线弱化。
6.根据权利要求1所述的一种基于变焦双目立体视觉的三维重建方法,其特征在于:步骤四中,在中央控制程序上设定好指定程序,当图形集出现混乱不堪的状态,由中央控制程序自动删除。
7.根据权利要求1所述的一种基于变焦双目立体视觉的三维重建方法,其特征在于:其中的双目立体视觉包括且并不局限于双目,存在于多目状态。
8.根据权利要求1所述的一种基于变焦双目立体视觉的三维重建方法,其特征在于:在对整体进行图像采集时,需要对数据进行去噪处理,并对图像中的背景进行虚化。
CN202010699335.2A 2020-07-20 2020-07-20 一种基于变焦双目立体视觉的三维重建方法 Active CN111932602B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010699335.2A CN111932602B (zh) 2020-07-20 2020-07-20 一种基于变焦双目立体视觉的三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010699335.2A CN111932602B (zh) 2020-07-20 2020-07-20 一种基于变焦双目立体视觉的三维重建方法

Publications (2)

Publication Number Publication Date
CN111932602A CN111932602A (zh) 2020-11-13
CN111932602B true CN111932602B (zh) 2024-04-05

Family

ID=73312636

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010699335.2A Active CN111932602B (zh) 2020-07-20 2020-07-20 一种基于变焦双目立体视觉的三维重建方法

Country Status (1)

Country Link
CN (1) CN111932602B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102693551A (zh) * 2011-03-22 2012-09-26 江苏瑞蚨通软件科技有限公司(中外合资) 多光谱图像融合实现三维重建的方法
CN103065351A (zh) * 2012-12-16 2013-04-24 华南理工大学 一种双目三维重建的方法
CN103278139A (zh) * 2013-05-06 2013-09-04 北京航空航天大学 一种可变焦单双目视觉传感装置
WO2018086348A1 (zh) * 2016-11-09 2018-05-17 人加智能机器人技术(北京)有限公司 双目立体视觉系统及深度测量方法
CN109308693A (zh) * 2018-08-29 2019-02-05 北京航空航天大学 由一台ptz相机构建的目标检测和位姿测量单双目视觉系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106767527B (zh) * 2016-12-07 2019-06-04 西安知象光电科技有限公司 一种三维轮廓的光学混合检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102693551A (zh) * 2011-03-22 2012-09-26 江苏瑞蚨通软件科技有限公司(中外合资) 多光谱图像融合实现三维重建的方法
CN103065351A (zh) * 2012-12-16 2013-04-24 华南理工大学 一种双目三维重建的方法
CN103278139A (zh) * 2013-05-06 2013-09-04 北京航空航天大学 一种可变焦单双目视觉传感装置
WO2018086348A1 (zh) * 2016-11-09 2018-05-17 人加智能机器人技术(北京)有限公司 双目立体视觉系统及深度测量方法
CN109308693A (zh) * 2018-08-29 2019-02-05 北京航空航天大学 由一台ptz相机构建的目标检测和位姿测量单双目视觉系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
双目立体视觉三维重建技术;卢毅;李晓艳;徐熙平;;长春工业大学学报;20151215(第06期);第84-88页 *
基于双目立体相机的室外场景三维重建系统设计;汪神岳;刘强;王超然;侯长波;;计算机测量与控制;20171125(第11期);第142-145、150页 *

Also Published As

Publication number Publication date
CN111932602A (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
DE102015011914B4 (de) Konturlinienmessvorrichtung und Robotersystem
CN111968217B (zh) 基于图片的smpl参数预测以及人体模型生成方法
CN101443817B (zh) 用于确定场景的三维重建时的对应关系的方法和装置
CN108389256B (zh) 二三维交互式无人机电力杆塔巡检辅助方法
CN112418084B (zh) 一种基于点云时序信息融合的三维目标检测方法
DE112016000356T5 (de) Selbstrektifizierung von Stereokameras
CN110044374A (zh) 一种基于图像特征的单目视觉测量里程的方法及里程计
DE112014006911T5 (de) Verfahren und System zum Scannen eines Objekts unter Verwendung eines RGB-D-Sensors
CN111524233A (zh) 一种静态场景动态目标的三维重建方法
CN104835158A (zh) 基于格雷码结构光与极线约束的三维点云获取方法
CN106155299B (zh) 一种对智能设备进行手势控制的方法及装置
EP3959497B1 (de) Verfahren und vorrichtung zum vermessen der lokalen brechkraft und/oder der brechkraftverteilung eines brillenglases
Lin et al. Research on 3D reconstruction in binocular stereo vision based on feature point matching method
CN108765495B (zh) 一种基于双目视觉检测技术的快速标定方法及系统
EP2528042A1 (de) Verfahren und Vorrichtung zum Re-Meshing von 3D-Polygonmodellen
CN111105451B (zh) 一种克服遮挡效应的驾驶场景双目深度估计方法
CN108280831A (zh) 一种图像序列光流的获取方法及系统
CN110425983A (zh) 一种基于偏振多光谱的单目视觉三维重建测距方法
CN106570908A (zh) 一种测试子母飞行物抛撒面积的立体视觉装置
CN112270701B (zh) 基于分组距离网络的视差预测方法、系统及存储介质
CN111932602B (zh) 一种基于变焦双目立体视觉的三维重建方法
CN104796624A (zh) 一种光场编辑传播方法
CN110702015A (zh) 输电线路覆冰厚度测量方法及装置
CN108399630B (zh) 一种复杂场景下感兴趣区域内目标快速测距方法
CN112819849B (zh) 一种基于三目的无标记点视觉运动捕捉方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant