CN118918265A - 基于单目相机和线激光器的三维重建方法和系统 - Google Patents
基于单目相机和线激光器的三维重建方法和系统 Download PDFInfo
- Publication number
- CN118918265A CN118918265A CN202411152360.3A CN202411152360A CN118918265A CN 118918265 A CN118918265 A CN 118918265A CN 202411152360 A CN202411152360 A CN 202411152360A CN 118918265 A CN118918265 A CN 118918265A
- Authority
- CN
- China
- Prior art keywords
- camera
- laser
- image
- dimensional
- chessboard
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000005484 gravity Effects 0.000 claims description 28
- 238000012937 correction Methods 0.000 claims description 18
- 240000007651 Rubus glaucus Species 0.000 claims description 14
- 235000011034 Rubus glaucus Nutrition 0.000 claims description 14
- 235000009122 Rubus idaeus Nutrition 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 8
- 238000009499 grossing Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 6
- 230000001678 irradiating effect Effects 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000008901 benefit Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于单目相机和线激光器的三维重建方法和系统,该方法包括:对相机进行标定得到相机参数;进行光平面标定,并结合相机参数得到光平面方程;采用线激光器扫描待重建目标,并采用相机进行拍摄得到多个激光图像,从多个激光图像中获取多个激光光条中心的像素坐标,并基于光平面方程得到多个激光光条中心的三维点云,以构成当前视角下的三维点云图;旋转待重建目标,采用线激光器进行不同视角扫描,得到不同视角下待重建目标的三维点云图,并进行点云配准以得到待重建目标完整的三维点云图;基于待重建目标完整的三维点云图,对待重建目标进行曲面重建。本发明可在各种复杂环境中实现快速、稳定、高精度、智能化的三维重建。
Description
技术领域
本发明涉及三维重建技术领域,尤其涉及一种基于单目相机和线激光器的三维重建方法和系统。
背景技术
三维重建技术是利用特定装置和方法精准测量被测物体或场景的三维信息,并使用这些信息构建物体的三维轮廓,进而还原其表面的三维结构的一种技术。这一技术在计算机视觉领域占据着举足轻重的地位,其应用领域广泛而深远,在工业产品设计、医疗检测、文物保护等领域都发挥着不可或缺的作用。
三维重建的方法大致分为被动式和主动式两大种类。被动式单目视觉方法为只使用单一摄像机作为采集设备,具有低成本、易部署等优点,但其存在固有问题,即单张图像可能对应无数真实物理世界场景,因此从图像中估计深度进而实现三维重建的难度较大。被动式双目视觉方法为利用左右相机得到的两幅校正图像找到左右图片的匹配点,然后根据几何原理恢复出环境的三维信息。但该方法难点在于左右相机图片的匹配,匹配地不精确会影响最后算法成像的效果。主动式有激光扫描法,即利用激光雷达对物体进行扫描,获取物体的三维信息。激光雷达通过发射激光束并测量其反射回来的时间来计算距离,从而构建出物体的三维模型,然而这种方法采用的设备成本较高。因此,有必要提供一种高精度、低成本的三维重建方案。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此,本发明的第一个目的在于提供一种基于单目相机和线激光器的三维重建方法,该方法能够更为经济的在各种复杂环境中实现快速、稳定、高精度、智能化的三维重建。
本发明的第二个目的在于提供一种基于单目相机和线激光器的三维重建系统。
为达到上述目的,本发明通过以下技术方案实现:
一种基于单目相机和线激光器的三维重建方法,包括:
采用相机对标定棋盘进行拍摄,得到标定棋盘图像,基于所述标定棋盘图像对所述相机进行标定得到相机参数;
通过相机、线激光器和标定棋盘进行光平面标定,并结合所述相机参数得到光平面方程;
采用所述线激光器扫描待重建目标,并采用所述相机进行拍摄得到多个激光图像,从多个所述激光图像中获取多个激光光条中心的像素坐标,并基于所述光平面方程得到多个所述激光光条中心的三维点云,以构成当前视角下所述待重建目标扫描后的三维点云图;
旋转所述待重建目标,采用所述线激光器进行不同视角扫描,得到不同视角下所述待重建目标的三维点云图,并进行点云配准以得到所述待重建目标完整的三维点云图;
基于所述待重建目标完整的三维点云图,采用曲面重建算法对所述待重建目标进行曲面重建,以实现待重建目标三维重建。
优选的,采用相机对标定棋盘进行拍摄,得到标定棋盘图像,基于所述标定棋盘图像对所述相机进行标定得到相机参数,包括:
采用所述相机对不同位姿的标定棋盘进行拍摄,得到不同位姿下的标定棋盘图像;
对每一棋盘图像进行角点检测,并对各棋盘图像中检测得到的各角点进行进一步检测得到各亚像素角点的像素坐标,基于各亚像素角点的像素坐标进行相机标定得到所述相机参数,所述相机参数包括相机内参、相机外参和畸变参数。
优选的,通过相机、线激光器和标定棋盘进行光平面标定,并结合所述相机参数得到光平面方程,包括:
对所述标定棋盘图像进行处理得到棋盘坐标系;
采用所述线激光器照射所述标定棋盘,并通过所述相机拍摄得到激光图像,对激光图像进行预处理,得到激光光条区域,采用改进的灰度重心法从所述激光光条区域中提取得到激光光条中心,并获取所述激光光条中心在所述棋盘坐标系下的空间坐标;
通过所述相机参数对所述激光光条中心在所述棋盘坐标系下的空间坐标进行转换得到所述激光光条中心在世界坐标系下的三维坐标;
调整所述相机和所述线激光器的位置,在不同位置对所述标定棋盘进行照射和拍摄,以得到不同位置下对应的多个激光光条中心,并得到不同位置下对应的多个激光光条中心在世界坐标系下的三维坐标;
将多个激光光条中心在世界坐标系下的三维坐标进行拟合得到所述光平面方程。
优选的,所述预处理的步骤包括畸变校正、高斯滤波和阈值分割。
优选的,所述畸变校正的步骤,包括:
调用畸变校正函数,输入激光图像、所述相机内参和畸变参数,通过所述畸变校正函数处理得到畸变校正后图像。
优选的,所述高斯滤波的步骤,包括:
调用高斯平滑函数,输入畸变校正后图像、高斯卷积核尺寸和标准差值,通过所述高斯平滑函数处理得到高斯滤波后的激光图像。
优选的,所述阈值分割的步骤,包括:
设定一灰度阈值;
在高斯滤波后的激光图像中,将灰度值大于所述灰度阈值的像素点设为掩膜,将掩膜以外的像素点灰度值置零,以提取得到所述激光光条区域。
优选的,采用改进的灰度重心法从所述激光光条区域中提取得到激光光条中心,包括:
对阈值分割后的激光图像的第一行进行扫描,得到第一行像素的灰度最大值,将所述灰度最大值乘以预设系数后得到一预设阈值;
从第一行中获取一光斑区域,若所述光斑区域的灰度值大于所述预设阈值,则提取所述光斑区域的重心,遍历第一行中所有光斑区域,以确定灰度值大于所述预设阈值的所有光斑区域,并提取各光斑区域的重心;
从多个重心值中选取出最大重心;
依次扫描每一行,得到每一行最大重心,对每一行最大重心所在位置的像素点进行拟合得到所述激光光条中心。
优选的,点云配准以得到所述待重建目标完整的三维点云图,包括:
选取不同视角下两幅三维点云图中至少四个特征点进行点云配准;
选取不同视角下两幅三维点云图中的一对点云,并迭代求取使得一对点云之间距离最小的变换矩阵,通过所述变换矩阵对一幅三维点云图中的点云进行变换,以实现点云精配准。
为达到上述目的,本发明第二方面提供了一种基于单目相机和线激光器的三维重建系统,应用于上述所述的基于单目相机和线激光器的三维重建方法,所述系统包括相机、线激光器、标定棋盘、导轨、旋转转台和主控组件;
所述相机、线激光器设置在所述导轨上,所述相机、线激光器、导轨与所述主控组件连接;
所述旋转转台,用于放置待重建目标;
所述标定棋盘,用于实现相机标定和光平面标定;
所述主控组件包括树莓派组件和终端计算机,所述树莓派组件用于驱动导轨,以使所述线激光器和相机在不同位置对所述标定棋盘或者待重建目标进行照射和拍摄,并且用于获取不同视角下待重建目标扫描后的三维点云图;所述终端计算机用于实现点云配准,以及待重建目标的曲面重建。
本发明至少具有以下技术效果:
1、本发明提供了一种基于单目相机和线激光器的三维重建方案,该方案不仅具有传统激光三角测量系统的优势,还通过棋盘标定的方式做到了没有初始空间位置要求的高精度系统搭建和标定,其中相机、线激光器和测量平台的位置都是无需事先精确确定的,因此本系统具有很高的搭建自由度。
2、本发明通过移动相机和线激光器进行三维重建,可有利于保护待重建物体。此外,由于采用了高精度的相机标定和高性能的激光光条中心提取算法,本发明的直线扫描具有较高的精度,满足中近距离小型物体多角度三维重建需求。另外,本发明的基本测量原理能够应用在多种测量模式和测量范围下,如需要进行室内三维扫描时,只需要调整线激光器和镜头,将线激光器和相机安装在旋转平台上进行旋转测量,测量方法与本申请方法相同,然后对点云进行转角恢复即可,因此本发明也具有很强的通用性。
3、本发明提出的基于改进的灰度重心法在树莓派上实现,该算法的鲁棒性好、对于不均匀光斑的提取精度高,对物体的轮廓测量精度高,并且树莓派的逻辑资源占用率低,运行效率提升,可以满足工业需求。
4、树莓派作为一款低成本的单板计算机,与昂贵的专业三维扫描仪相比,不仅极大地降低了硬件成本而且易于集成,同时单目相机和线激光器的组合也相对经济,使得整个系统具有较高的性价比。本发明运用树莓派来控制相机和线激光器的移动,实现了控制系统的自动化操作,具有能够在各种复杂环境中实现快速、稳定、智能化的三维重建。系统自动化程度高,扫描控制精确,能对物体进行多角度扫描并进行重建。另外,本方案具有成本效益高、灵活性好、可扩展性强以及创新性突出等优点。这些优点使得该方案在科研、教育、工业制造等多个领域具有广泛的应用前景。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
图1为本发明实施例的基于单目相机和线激光器的三维重建方法的流程图。
图2为本发明实施例的改进的灰度重心法流程图。
图3为本发明实施例的激光光条中心示意图。
图4为本发明实施例的拟合前的光平面点云图。
图5为本发明实施例的拟合后的光平面点云图。
图6为本发明实施例的线激光三角测量模型示意图。
图7为本发明实施例的不同视角下待重建目标的三维点云图。
图8为本发明实施例的待重建目标完整的三维点云图。
图9为本发明实施例的待重建目标模型图。
图10为本发明实施例的待重建目标曲面重建后示意图。
具体实施方式
下面详细描述本实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参考附图描述本实施例的基于单目相机和线激光器的三维重建方法和系统。
图1为本发明实施例的基于单目相机和线激光器的三维重建方法的流程图。如图1所示,该方法包括:
步骤S1:采用相机对标定棋盘进行拍摄,得到标定棋盘图像,基于标定棋盘图像对相机进行标定得到相机参数。
在本发明的一个实施例中,采用相机对标定棋盘进行拍摄,得到标定棋盘图像,基于标定棋盘图像对相机进行标定得到相机参数,包括:
采用相机对不同位姿的标定棋盘进行拍摄,得到不同位姿下的标定棋盘图像;对每一棋盘图像进行角点检测,并对各棋盘图像中检测得到的各角点进行进一步检测得到各亚像素角点的像素坐标,基于各亚像素角点的像素坐标进行相机标定得到相机参数,相机参数包括相机内参、相机外参和畸变参数。
本实施例中,可先拍摄标定板图像即标定棋盘图像,所述标定棋盘图像为黑白相间的网格图像。具体的,将标定棋盘放置在相机前方,分别将标定棋盘移动到不同位姿,采集过程中保持光圈和焦距不变,并且使标定棋盘尽量占据图像中大半的视野,在不同角度、不同方位下拍摄多张图像,要求覆盖整个标定棋盘区域,同时保证标定棋盘在相机视场内的范围尽量大。
进一步地,检测角点。对获取得到的多幅标定棋盘图像进行角点(棋盘格上黑白方块的交点位置)检测,然后对每个检测到的角点进一步提取亚像素角点信息,计算其在图像坐标系下的像素坐标。然后,对拍摄的多张标定棋盘图像角点信息进行标定,计算相机的内部参数、平行向量、旋转向量等,并将标定结果保存,供后续图像预处理和光平面标定使用。
具体而言,拍摄多组标定棋盘图像,从标定棋盘图像中求取标定棋盘角点像素坐标和标定棋盘坐标的对应关系,然后迭代求解单应性矩阵,从而分解出相机的内部参数、畸变参数和相对于标定棋盘的外部参数,实现相机的标定。本程序主要通过Opencv(跨平台计算机视觉库)来实现这一功能。先通过Opencv库中的cv2.findChessboardCorners函数查找相机获取到的标定棋盘并且返回标定棋盘各个角的坐标,然后使用cv2.cornerSubPix函数寻找标定棋盘的亚像素角点,最后用cv2.calibrateCamera函数对相机进行参数的标定。
步骤S2:通过相机、线激光器和标定棋盘进行光平面标定,并结合相机参数得到光平面方程。
相机标定结束后,可以得到内参、外参矩阵,但是由于存在比例因子,并不能将二维像素坐标还原成三维坐标。所以需要增加一个约束条件即光平面方程,从而得到最终的三维坐标。
在本发明的一个实施例中,通过相机、线激光器和标定棋盘进行光平面标定,并结合相机参数得到光平面方程,包括:
S21:对标定棋盘图像进行处理得到棋盘坐标系。
具体地,用相机拍摄一张标定棋盘的清晰照片,利用Opencv的棋盘角点提取函数提取标定棋盘所有角点的像素坐标,通过Opencv的PnP(估计相机位姿函数)求解函数计算标定棋盘的姿态,即获取以该标定棋盘原点为中心的坐标系相对于相机坐标系的旋转矢量和平移矢量,从而得到该标定棋盘位置的坐标系参数,得到标定棋盘位置的坐标系参数后对标定棋盘的坐标系进行提取。
S22:采用线激光器照射标定棋盘,并通过相机拍摄得到激光图像,对激光图像进行预处理,得到激光光条区域,采用改进的灰度重心法从激光光条区域中提取得到激光光条中心,并获取激光光条中心在棋盘坐标系下的空间坐标。
本实施例中,可将标定棋盘保留在当前位置,并将线激光打在标定棋盘的表面,通过相机拍摄得到激光图像,然后对激光图像进行预处理,得到激光光条区域,并采用改进的灰度重心法从激光光条区域中提取得到激光光条中心。对于棋盘坐标系而言,棋盘面等价于平面Z=0,Z表示坐标系Z轴。由于棋盘坐标系的参数已经取得,此时可求得激光光条中心在棋盘坐标系下的空间坐标。
在本发明的一个实施例中,预处理的步骤包括畸变校正、高斯滤波和阈值分割。
其中,畸变校正的步骤,包括:调用畸变校正函数,输入激光图像、相机内参和畸变参数,通过畸变校正函数处理得到畸变校正后图像。高斯滤波的步骤,包括:调用高斯平滑函数,输入畸变校正后图像、高斯卷积核尺寸和标准差值,通过高斯平滑函数处理得到高斯滤波后的激光图像。阈值分割的步骤,包括:设定一灰度阈值;在高斯滤波后的激光图像中,将灰度值大于灰度阈值的像素点设为掩膜,将掩膜以外的像素点灰度值置零,以提取得到激光光条区域。
畸变矫正过程具体为:对激光图像进行畸变矫正是准确获取三维点云坐标的前提,本发明使用的畸变矫正算法是Opencv自带的undistort函数即畸变校正函数,只要输入激光图像、相机内参与畸变参数即可获得畸变矫正后的图像。该函数的内部处理流程主要有两步,第一步是根据相机内参与畸变参数建立无畸变像素坐标系与畸变像素坐标系的映射关系,第二步是用双线性插值法将畸变后的激光图像恢复为无畸变图像,从而完成畸变矫正。
高斯滤波过程具体为:采用了Opencv中的GaussianBlur函数即高斯平滑函数实现高斯滤波,只要输入畸变校正后图像、高斯卷积核尺寸、标准差值即可进行计算,该算法对激光光条中心提取精度的影响较小,同时具有减少激光分布不均匀及线激光背景噪声的影响的优势。经过高斯滤波后图像中的背景噪声得到了控制,并且激光光条的亮度分布也变得更加均匀。
阈值分割的过程具体为:为了将激光光条区域单独提取出来,本实施例采用了基于阈值的掩膜分割方法,以光条高斯切面95%的能量集中在一设定范围内为依据,选取了固定值76作为灰度阈值,将灰度值大于该灰度阈值的像素点设为掩膜,并将掩膜以外的像素点灰度值置零,从而实现激光光条区域的分割,进而提取得到激光光条区域。
在本发明的一个实施例中,采用改进的灰度重心法从激光光条区域中提取得到激光光条中心,包括:
如图2所示,对阈值分割后的激光图像的第一行进行扫描,得到第一行像素的灰度最大值,将灰度最大值乘以预设系数0.7后得到一预设阈值;从第一行中获取一光斑区域,若光斑区域的灰度值大于预设阈值,则提取光斑区域的重心,遍历第一行中所有光斑区域,以确定灰度值大于预设阈值的所有光斑区域,并提取各光斑区域的重心;从多个重心值中选取出最大重心作为该行光斑重心;依次扫描每一行,得到每一行最大重心,对每一行最大重心所在位置的像素点进行拟合输出得到激光光条中心,即图3中的蓝色激光光条。
需要说明的是,本实施例中,可采用Numba(一种开源即时编译器)对激光光条中心提取算法进行加速。
S23:通过相机参数对激光光条中心在棋盘坐标系下的空间坐标进行转换得到激光光条中心在世界坐标系下的三维坐标。
对于空间中的一个确定点,其世界坐标系坐标值与相机坐标系坐标值满足:
其中,M1是4×4的关于世界坐标系的变换矩阵,(XW,YW,ZW)表示以标定棋盘的平面为基础建立起来的世界坐标,(XC,YC,ZC)是以相机的光心作为原点,其它三轴分别与相机平面的水平边界、垂直边界以及相机光轴平行的相机坐标。
同时,棋盘坐标系坐标值与相机坐标系坐标值满足:
其中,M2是4×4的关于棋盘坐标系的变换矩阵,(XB,YB,ZB)是棋盘坐标系下的三个坐标值。
因此,该点的棋盘坐标系坐标值与世界坐标系坐标值满足:
由于已经通过坐标系提取得到了世界坐标系参数和棋盘坐标系参数,因此M1和M2都已知,可以通过上面公式求解激光光条中心在世界坐标系下的三维坐标。
S24:调整相机和线激光器的位置,在不同位置对标定棋盘进行照射和拍摄,以得到不同位置下对应的多个激光光条中心,并得到不同位置下对应的多个激光光条中心在世界坐标系下的三维坐标。
通过以上步骤,可提取出光平面中某一条激光光条中心的世界坐标系点云。之后多次移动棋盘位置或者调整相机和线激光器的位置,扫描得到多条激光光条中心,并得到多条激光光条中心在世界坐标系下的三维坐标,即得到光平面中多条激光光条中心的点云。
S25:将多个激光光条中心在世界坐标系下的三维坐标进行拟合得到光平面方程。
本实施例中,在得到多个激光光条中心的三维坐标即得到光平面点云后,可通过最小二乘法拟合得到光平面方程。本实施例中,拟合前的光平面点云图和拟合后的光平面点云图分别如图4和图5所示。
步骤S3:采用线激光器扫描待重建目标,并采用相机进行拍摄得到多个激光图像,从多个激光图像中获取多个激光光条中心的像素坐标,并基于光平面方程得到多个激光光条中心的三维点云,以构成当前视角下待重建目标扫描后的三维点云图。
将待重建目标放置在旋转平台上,如图6所示,打开将线激光器使激光照射在待重建目标上,然后运行“点云处理.py”程序,设置步进电机驱动器(驱动用于放置线激光器和相机的导轨)的单步步进值,在当前视角下对待重建目标从一侧扫描至另一侧,得到多个激光光条中心的像素坐标,并基于光平面方程得到多个激光光条中心的三维点云,从而构成当前视角下待重建目标扫描后的三维点云图。
步骤S4:旋转待重建目标,采用线激光器进行不同视角扫描,得到不同视角下待重建目标的三维点云图,并进行点云配准以得到待重建目标完整的三维点云图。
本实施例中,控制旋转平台几个特殊角度,重复上述步骤获取不同视角下待重建目标的三维点云图,具体如图7所示。
在本发明的一个实施例中,点云配准以得到待重建目标完整的三维点云图,包括:
选取不同视角下两幅三维点云图中至少四个特征点进行点云配准;选取不同视角下两幅三维点云图中的一对点云,并迭代求取使得一对点云之间距离最小的变换矩阵,通过变换矩阵对一幅三维点云图中的点云进行变换,以实现点云精配准。
具体而言,可采用MeshLab(三维几何处理软件)软件对点云进行配准。首先是手动粗配准,然后是进行点云精配准。
手动粗配准为通过选取不同视角下的两幅三维点云图中至少4个特征点作点云配准,然后对点云图像进行手动平移、旋转,对图像进行拼接。进一步的,不断地迭代最小化两个点云即一对点云之间的距离来计算变换矩阵,以实现点云的高精度配准。
将配准后的两幅三维点云图合并为新的点云图,并依次重复以上步骤,直至待重建目标表面所有点云配准完成,获得该待重建目标完整的三维点云图,如图8所示。
步骤S5:基于待重建目标完整的三维点云图,采用曲面重建算法对待重建目标进行曲面重建,以实现待重建目标三维重建。
本实施例中,可设定相关参数并计算出三维点云图的法向量,利用曲面重建算法对完整的三维点云图进行曲面重建。在此基础上可以通过删除离群点、去除重叠的数据、优化表面细节等操作,完善重建结果,其中,待重建目标模型原图如图9所示,待重建目标曲面重建后如图10所示。需要说明的是,该步骤为现有技术,本实施例不做具体展开说明。
进一步的,本发明还提供了一种基于单目相机和线激光器的三维重建系统,其应用于上述的基于单目相机和线激光器的三维重建方法,该系统包括相机、线激光器、标定棋盘、导轨、旋转转台和主控组件。
其中,相机、线激光器设置在导轨上,相机、线激光器、导轨与主控组件连接;旋转转台用于放置待重建目标;标定棋盘用于实现相机标定和光平面标定;主控组件包括树莓派组件和终端计算机,树莓派组件用于驱动导轨,以使线激光器和相机在不同位置对标定棋盘或者待重建目标进行照射和拍摄,并且用于获取不同视角下待重建目标扫描后的三维点云图;终端计算机用于实现点云配准,以及待重建目标的曲面重建。
本实施例中,系统的测量组件由相机、线激光器和标定棋盘三部分组成。系统的运动组件包括导轨和旋转转台两部分。为对步进电机驱动器发送脉冲信号以及调用相机两种需求,本系统采用了同时具有GPIO(通用输入输出端口)信号输入能力和运算性能的树莓派4B计算机即所述的树莓派组件,并且采用笔记本电脑作为终端计算机实现点云配准,以及待重建目标的曲面重建。
综上所述,本发明不仅极大地降低了硬件成本而且易于集成,同时单目相机和线激光器的组合也相对经济,使得整个系统具有较高的性价比。本发明运用树莓派来控制相机和线激光器的移动,实现了控制系统的自动化操作,具有能够在各种复杂环境中实现快速、稳定、智能化的三维重建。并且本系统自动化程度高,扫描控制精确,能对物体进行多角度扫描并进行重建。另外,本方案具有成本效益高、灵活性好、可扩展性强以及创新性突出等优点。这些优点使得该方案在科研、教育、工业制造等多个领域具有广泛的应用前景。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
尽管本发明的内容已经通过上述优选实施例作了详细介绍,但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后,对于本发明的多种修改和替代都将是显而易见的。因此,本发明的保护范围应由所附的权利要求来限定。
Claims (10)
1.一种基于单目相机和线激光器的三维重建方法,其特征在于,包括:
采用相机对标定棋盘进行拍摄,得到标定棋盘图像,基于所述标定棋盘图像对所述相机进行标定得到相机参数;
通过相机、线激光器和标定棋盘进行光平面标定,并结合所述相机参数得到光平面方程;
采用所述线激光器扫描待重建目标,并采用所述相机进行拍摄得到多个激光图像,从多个所述激光图像中获取多个激光光条中心的像素坐标,并基于所述光平面方程得到多个所述激光光条中心的三维点云,以构成当前视角下所述待重建目标扫描后的三维点云图;
旋转所述待重建目标,采用所述线激光器进行不同视角扫描,得到不同视角下所述待重建目标的三维点云图,并进行点云配准以得到所述待重建目标完整的三维点云图;
基于所述待重建目标完整的三维点云图,采用曲面重建算法对所述待重建目标进行曲面重建,以实现待重建目标三维重建。
2.如权利要求1所述的基于单目相机和线激光器的三维重建方法,其特征在于,采用相机对标定棋盘进行拍摄,得到标定棋盘图像,基于所述标定棋盘图像对所述相机进行标定得到相机参数,包括:
采用所述相机对不同位姿的标定棋盘进行拍摄,得到不同位姿下的标定棋盘图像;
对每一棋盘图像进行角点检测,并对各棋盘图像中检测得到的各角点进行进一步检测得到各亚像素角点的像素坐标,基于各亚像素角点的像素坐标进行相机标定得到所述相机参数,所述相机参数包括相机内参、相机外参和畸变参数。
3.如权利要求2所述的基于单目相机和线激光器的三维重建方法,其特征在于,通过相机、线激光器和标定棋盘进行光平面标定,并结合所述相机参数得到光平面方程,包括:
对所述标定棋盘图像进行处理得到棋盘坐标系;
采用所述线激光器照射所述标定棋盘,并通过所述相机拍摄得到激光图像,对激光图像进行预处理,得到激光光条区域,采用改进的灰度重心法从所述激光光条区域中提取得到激光光条中心,并获取所述激光光条中心在所述棋盘坐标系下的空间坐标;
通过所述相机参数对所述激光光条中心在所述棋盘坐标系下的空间坐标进行转换得到所述激光光条中心在世界坐标系下的三维坐标;
调整所述相机和所述线激光器的位置,在不同位置对所述标定棋盘进行照射和拍摄,以得到不同位置下对应的多个激光光条中心,并得到不同位置下对应的多个激光光条中心在世界坐标系下的三维坐标;
将多个激光光条中心在世界坐标系下的三维坐标进行拟合得到所述光平面方程。
4.如权利要求3所述的基于单目相机和线激光器的三维重建方法,其特征在于,所述预处理的步骤包括畸变校正、高斯滤波和阈值分割。
5.如权利要求1所述的基于单目相机和线激光器的三维重建方法,其特征在于,所述畸变校正的步骤,包括:
调用畸变校正函数,输入激光图像、所述相机内参和畸变参数,通过所述畸变校正函数处理得到畸变校正后图像。
6.如权利要求5所述的基于单目相机和线激光器的三维重建方法,其特征在于,所述高斯滤波的步骤,包括:
调用高斯平滑函数,输入畸变校正后图像、高斯卷积核尺寸和标准差值,通过所述高斯平滑函数处理得到高斯滤波后的激光图像。
7.如权利要求6所述的基于单目相机和线激光器的三维重建方法,其特征在于,所述阈值分割的步骤,包括:
设定一灰度阈值;
在高斯滤波后的激光图像中,将灰度值大于所述灰度阈值的像素点设为掩膜,将掩膜以外的像素点灰度值置零,以提取得到所述激光光条区域。
8.如权利要求7所述的基于单目相机和线激光器的三维重建方法,其特征在于,采用改进的灰度重心法从所述激光光条区域中提取得到激光光条中心,包括:
对阈值分割后的激光图像的第一行进行扫描,得到第一行像素的灰度最大值,将所述灰度最大值乘以预设系数后得到一预设阈值;
从第一行中获取一光斑区域,若所述光斑区域的灰度值大于所述预设阈值,则提取所述光斑区域的重心,遍历第一行中所有光斑区域,以确定灰度值大于所述预设阈值的所有光斑区域,并提取各光斑区域的重心;
从多个重心值中选取出最大重心;
依次扫描每一行,得到每一行最大重心,对每一行最大重心所在位置的像素点进行拟合得到所述激光光条中心。
9.如权利要求1所述的基于单目相机和线激光器的三维重建方法,其特征在于,点云配准以得到所述待重建目标完整的三维点云图,包括:
选取不同视角下两幅三维点云图中至少四个特征点进行点云配准;
选取不同视角下两幅三维点云图中的一对点云,并迭代求取使得一对点云之间距离最小的变换矩阵,通过所述变换矩阵对一幅三维点云图中的点云进行变换,以实现点云精配准。
10.一种基于单目相机和线激光器的三维重建系统,其特征在于,应用于如权利要求1-9中任一项所述的基于单目相机和线激光器的三维重建方法,所述系统包括相机、线激光器、标定棋盘、导轨、旋转转台和主控组件;
所述相机、线激光器设置在所述导轨上,所述相机、线激光器、导轨与所述主控组件连接;
所述旋转转台,用于放置待重建目标;
所述标定棋盘,用于实现相机标定和光平面标定;
所述主控组件包括树莓派组件和终端计算机,所述树莓派组件用于驱动导轨,以使所述线激光器和相机在不同位置对所述标定棋盘或者待重建目标进行照射和拍摄,并且用于获取不同视角下待重建目标扫描后的三维点云图;所述终端计算机用于实现点云配准,以及待重建目标的曲面重建。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202411152360.3A CN118918265A (zh) | 2024-08-21 | 2024-08-21 | 基于单目相机和线激光器的三维重建方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202411152360.3A CN118918265A (zh) | 2024-08-21 | 2024-08-21 | 基于单目相机和线激光器的三维重建方法和系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118918265A true CN118918265A (zh) | 2024-11-08 |
Family
ID=93302920
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202411152360.3A Pending CN118918265A (zh) | 2024-08-21 | 2024-08-21 | 基于单目相机和线激光器的三维重建方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118918265A (zh) |
-
2024
- 2024-08-21 CN CN202411152360.3A patent/CN118918265A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111145238B (zh) | 单目内窥镜图像的三维重建方法、装置及终端设备 | |
CN110276808B (zh) | 一种单相机结合二维码测量玻璃板不平度的方法 | |
Zhang et al. | A novel calibration approach to structured light 3D vision inspection | |
CN105894499B (zh) | 一种基于双目视觉的空间物体三维信息快速检测方法 | |
CN100430690C (zh) | 利用单数码相机自由拍摄进行物体三维测量的方法 | |
CN113205593B (zh) | 一种基于点云自适应修复的高反光表面结构光场三维重建方法 | |
CN111429533B (zh) | 一种相机镜头畸变参数估计装置及方法 | |
CN112396664A (zh) | 一种单目摄像机与三维激光雷达联合标定及在线优化方法 | |
Yan et al. | Joint camera intrinsic and lidar-camera extrinsic calibration | |
CN104537707B (zh) | 像方型立体视觉在线移动实时测量系统 | |
CN112949478B (zh) | 基于云台相机的目标检测方法 | |
CN109118544B (zh) | 基于透视变换的合成孔径成像方法 | |
Nagy et al. | Online targetless end-to-end camera-LiDAR self-calibration | |
CN114998448B (zh) | 一种多约束双目鱼眼相机标定与空间点定位的方法 | |
CN111127613A (zh) | 基于扫描电子显微镜的图像序列三维重构方法及系统 | |
CN110415363A (zh) | 一种基于三目视觉的散乱物识别定位方法 | |
CN110060304B (zh) | 一种生物体三维信息采集方法 | |
CN111429571A (zh) | 一种基于时空图像信息联合相关的快速立体匹配方法 | |
CN112525106B (zh) | 基于三相机协同激光的3d探测方法及装置 | |
CN111383264A (zh) | 一种定位方法、装置、终端及计算机存储介质 | |
Williams et al. | Automatic image alignment for 3D environment modeling | |
CN112446926B (zh) | 一种激光雷达与多目鱼眼相机的相对位置标定方法及装置 | |
CN110969650B (zh) | 一种基于中心投影的强度图像与纹理序列间的配准方法 | |
CN112017259B (zh) | 一种基于深度相机与热像仪的室内定位与建图方法 | |
Hongsheng et al. | Three-dimensional reconstruction of complex spatial surface based on line structured light |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication |