CN105716542B - 一种基于柔性特征点的三维数据拼接方法 - Google Patents
一种基于柔性特征点的三维数据拼接方法 Download PDFInfo
- Publication number
- CN105716542B CN105716542B CN201610221163.1A CN201610221163A CN105716542B CN 105716542 B CN105716542 B CN 105716542B CN 201610221163 A CN201610221163 A CN 201610221163A CN 105716542 B CN105716542 B CN 105716542B
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- global
- point
- local
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000005259 measurement Methods 0.000 claims abstract description 67
- 239000011159 matrix material Substances 0.000 claims abstract description 53
- 239000013598 vector Substances 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 2
- 230000007704 transition Effects 0.000 abstract 2
- 230000003287 optical effect Effects 0.000 description 4
- 238000000691 measurement method Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
本发明一种基于柔性特征点的三维数据拼接方法属于计算机视觉测量技术领域，涉及一种基于柔性特征点的三维数据拼接方法。该方法针对具有自由曲面的大型零件的三维数据测量，采用阶梯式测量系统，利用全局控制系统和局部测量系统公共视场区域内的控制点信息，匹配控制点并求得转换矩阵；利用该转换矩阵将局部测量系统测得的三维点云数据统一到全局控制系统中，最终对全局控制系统的数据进行三维重建，实现大型零件的三维数据拼接。该方法利用投影柔性控制点，解决了传统大型零件测量过程中控制点布局繁琐和测量盲区的问题，便于测量过程中根据被测零件表面特征实时调整测量站位，提高了测量系统的现场适应性和数据拼接的精度及测量稳定性。
Description
技术领域
本发明属于计算机视觉测量技术领域，涉及一种基于柔性特征点的三维数据拼接方法
背景技术
在航空航天等领域，为保证零件的加工精度及部件的装配精度，需要对零件的三维几何尺寸等数据进行精确的测量。目前，机器视觉测量的方法凭借其测量精度高、速度快、非接触及易于操作等优点，已被广泛应用于工业现场。然而，针对一些特殊的情况，如被测零件尺寸太大、零件存在视觉盲区等，仅凭单一视场的测量数据，无法满足零部件的高精度全局测量要求。因此，需要根据大型被测零件的尺寸，先利用视觉传感器对其局部区域进行精确快速测量，获取到零件在局部坐标系下的三维数据，然后将所有局部区域的信息统一到全局坐标系下，从而获取大型零件完整的三维数据。
经文献检索，中国发明专利号：CN 102944191 A，魏新国、张广军、刘震等人发明的发明专利“一种基于平面圆靶标的三维视觉测量数据拼接方法及装置”的发明专利提出了基于单一圆靶标的三维拼接方法，该方法通过放置平面圆靶标在被测物前，移动已标定的双目视觉系统，拍摄平面圆靶标在移动前后测量位置所成的椭圆图像，提取并拟合椭圆方程，重建出平面圆靶标在前后两次局部测量坐标系下的圆特征，从而根据所述圆特征构造优化目标函数求解拼接矩阵。该方法有效解决了平面靶标部分被遮挡情况下的三维拼接失败问题，但是由于只采用单一圆特征，拼接稳定性不高。中国发明专利号：CN 102445164 A，刘震、张广军、孙军华等人发明的专利名称为：“一种大型构件表面三维形貌视觉测量方法及系统”的发明专利提出了一种包括图像采集系统、控制器、计算机、一个三维光学测头、多个平面靶标的测量系统。该方法通过三维光学测头中的双目视觉系统测量不同区域的三维形貌，在通过三维光学测头中的宽视场相机测量大型构件周围的多个平面靶标的位置，将不同区域的三维形貌信息统一到同一全局坐标系下，以实现三维形貌的测量。但是由于该方法多次进行坐标转换，存在累积误差，并且需要多次移动三维光学测头位置，操作较麻烦。
发明内容
本发明为克服现有技术的缺陷，发明一种基于柔性特征点的三维数据拼接方法，该方法采用双目视觉技术对具有自由曲面的大型零件进行快速全局测量，不需要预先布置控制点，省去了繁琐的布点流程，可根据零件表面特征自由安排测量站位，现场适应性高，并且由于坐标转换简便，随着局部测量次数的增多不会产生累积误差，具有非常高的拼接精度。
本发明采用的技术方案是一种基于柔性特征点的三维数据拼接方法，其特征是，该方法针对具有自由曲面的大型零件的三维数据测量，采用阶梯式测量系统，利用全局控制系统和局部测量系统公共视场区域内的控制点信息，匹配控制点并求得转换矩阵；利用该转换矩阵将局部测量系统测得的三维点云数据统一到全局控制系统中，最终对全局控制系统的数据进行三维重建，实现大型零件的三维数据拼接；方法的具体步骤如下：
第一步、安装阶梯式测量系统
阶梯式测量系统中，采用两台分辨率高且视场大的左、右工业相机1、2固定于测量区域后方，构成全局控制系统I，用以建立固定的全局坐标系；局部测量系统II采用两台视场较小的左、右相机8、9放置于测量区域的前方，通过移动以获取被测零件的局部信息；将被测物4放置在阶梯式测量系统中，用投影仪3投影柔性控制点阵，投影出的点阵同时被两套双目系统采集到，以实现局部坐标系到全局坐标系的坐标转换，最终完成零件的三维数据拼接；
第二步、全局坐标系与局部坐标系的建立
为建立全局控制坐标系，选择全局控制系统的左工业相机1坐标系作为全局坐标系，并对左工业相机的内外参数进行标定；通过单相机的标定，得到视场范围内任意点P在二维图像坐标系中的像素坐标(uP,vP)与世界坐标系中的坐标(xP,yP,zP)间的转换关系：
其中，K为相机的内参矩阵，H为相机的外参矩阵，fx为焦距长度与相机芯片每个单元x方向尺寸的乘积，fy为焦距长度与相机芯片每个单元y方向尺寸的乘积，(cx,cy)为相机的主点坐标，RC为像素坐标系与世界坐标系间的旋转矩阵，TC为像素坐标系与世界坐标系间的平移矩阵；
然后，对右工业相机2也进行标定，通过立体标定得到左、右工业相机的对应关系，利用空间交汇的原理，将视场内的任意空间点在左相机坐标系下进行重建，得到点在全局坐标系下的三维空间坐标；
按照上述建立全局坐标系的方法，将局部坐标系建立在局部测量系统的左相机8上；利用相同的标定方法对右相机9也进行标定，得到空间中任意一点在局部坐标系下的三维空间坐标；
第三步、全局控制点的布局与匹配
1)全局控制点的布局
为实现三维数据的全局拼接，需要在全局坐标系和局部坐标系下设立具有公共信息的全局控制点，利用具有相同特征的控制点阵，求解局部坐标系与全局坐标系间的转换矩阵；采用投影仪投影柔性全局控制点阵，点阵要求充满整个视场，其尺寸要根据测量现场全局控制系统与零件表面的位置关系实时调整，使控制点由尽可能多的像素表示，提高点的提取精度；布局好全局控制点后，利用已经标定好的相机对全局控制点图像进行采集；
设同一位置下局部测量系统测量得到的局部坐标系下控制点集为P：
P＝{Pi|Pi∈P,i∈N,i≥3} (2)
其中Pi＝(xi,yi,zi)为点Pi在局部坐标系下的三维坐标，N为控制点个数；全局控制系统得到的全局坐标系下的控制点集为Q：
Q＝{Qi|Qi∈Q,i∈N,i≥3} (3)
其中Qi＝(xi,yi,zi)为点Qi在全局坐标系下的三维坐标；
2)全局控制点的匹配
为了使局部测量系统与全局控制系统上的全局控制点相互匹配，分别构建局部坐标系下控制点集P中第i个点的描述向量Ai和全局坐标系下控制点集Q中第i个点的描述向量Bi：
Ai＝|d(Pi,P1) d(Pi,P2) … d(Pi,Pn),n≠i (4)
Bi＝|d(Qi,Q1) d(Qi,Q2) … d(Qi,Qn)|,n≠i (5)
其中,d(Pi,Pj)＝||Pi-Pj||2为点Pi与P中其他点Pj间的欧式距离，d(Qi,Qj)＝||Qi-Qj||2为点Qi与Q中其他点Qj间的欧式距离，n为控制点个数；
由于点的提取和重建存在误差，互相匹配的点对的描述向量并不完全相同，因此设定阈值φ，若点Pi和点Qj的描述向量满足如下公式：
||Ai-Bj||2＜φ (6)
则认为点Pi和点Qj是相互匹配的，Q(Pi,Qj)为匹配点对；对点集P和中的所有点进行匹配，并找到其匹配点对；最后，将P、Q中的点根据匹配关系重新编号排序，得到高精度匹配的局部坐标系下控制点集P'和全局坐标系下控制点集Q'：
其中，N为控制点个数，此时(Pk,Qk)为匹配的控制点对；
第四步、三维数据拼接及优化
利用全局坐标系下与局部坐标系对应匹配的点，建立局部坐标系与全局坐标系间的坐标转换关系，即计算旋转矩阵R和平移矩阵T；
首先，计算两匹配点集的质心点，计算公式如下：
其中为局部坐标系下控制点集的质心点，为全局坐标系下控制点集的质心点，Pk为局部坐标系下第k个控制点，Qk为全局坐标系下第k个控制点；根据两坐标系下点对的匹配关系，也为一个匹配点对；
然后分别计算两匹配点集中的特殊向量，计算公式如下：
其中，为局部坐标系下第k个点的特殊向量，为全局坐标系下第k个点的特殊向量；又由于局部坐标系和全局坐标系的匹配点对存在以下关系：
Qk＝R·Pk+T (12)
其中，R和T分别为全局坐标系与局部坐标系之间的旋转矩阵和平移矩阵；则根据以上公式，还可以表示为：
建立如下目标函数：
则求解旋转矩阵R的过程就转化为了求取使得f最小的问题；利用矩阵的奇异值分解计算得到后，根据式(11)，得到计算平移矩阵公式如下：
其中为优化后的局部坐标系与全局坐标系间的旋转矩阵，为优化后的局部坐标系与全局坐标系间的平移矩阵；
得到局部坐标系与全局坐标系间的旋转矩阵与平移矩阵后，将局部坐标系下的扫描测量数据根据公式(12)统一到全局坐标系下；
最后通过移动局部测量系统，使局部测量视场覆盖所有的感兴趣区域，并将每一部分的测量点云数据均统一到固定不变的全局坐标系下，最终实现大型零件的全局三维数据拼接。
本发明的有益效果是该方法利用投影柔性控制点，解决了传统大型零件测量过程中控制点布局繁琐和测量盲区的问题，提高了测量系统的现场适应性。采用阶梯式双目系统进行局部和全局的三维数据采集，便于测量过程中根据被测零件表面特征实时调整测量站位，保证公共视场中存在足够多的拼接控制点，提高了数据拼接的精度和测量稳定性。
附图说明
图1为基于柔性控制点的全局三维数据拼接方法原理图，图2为柔性全局控制点阵图。其中，I-全局控制系统，II-局部测量系统，1-左工业相机，2-右工业相机，3-投影仪，4-被测物，5-局部测量系统当前拍摄区域，6-矩形外边框是局部测量时视觉传感器的测量范围，7-边框内部作为全局控制点的控制点阵，8-左相机，9-右相机。
图3-拼接方法流程图。
具体实施方式
下面结合附图和技术方案详细说明本发明的具体实施方式。
实施例1，如附图1所示，搭建阶梯式测量系统。局部测量系统II由两台相机(VC-12MC-M/C 65，焦距28mm，分辨率3072*4096)和一台投影仪3(EPSON，3000lm)组成，全局控制系统I由两台高精度大视场工业相机(VC-29MC-M/C，焦距50mm,分辨率4384*6576)组成。被测物4为大型复合材料壁板。首先建立全局坐标系与局部坐标系。以全局控制系统中左工业相机1的相机坐标系作为全局坐标系，以局部测量系统中左相机8的相机坐标作为局部坐标系。保持全局控制系统I位置不变，并对全局控制系统I和局部测量系统II进行双目标定；打开投影仪3，向被测物4投影如附图2所示的柔性控制点阵。利用相机分别采集不同测量区域的图像，通过数据处理得到不同测量区域全局控制点的三维数据；将同一位置的局部坐标系下的控制点与全局坐标系下的控制点进行匹配；建立局部坐标系与全局坐标系的转换关系，将局部坐标系下的三维数据统一到全局坐标系下，最终实现三维数据的拼接与优化。
附图3为测量方法流程图。整个测量过程包括全局坐标系与局部坐标系的建立、全局控制点的布局与匹配、三维数据拼接与优化三个步骤。通过将不同位置下的局部测量系统得到的数据统一到全局坐标系下，完成三维数据拼接。实施例的具体步骤如下：
第一步、全局坐标系与局部坐标系的建立
以全局控制系统中左工业相机1的相机坐标系作为全局坐标系，以局部测量系统中左相机8的相机坐标作为局部坐标系。
根据双目系统测量视场的大小，基于张氏标定法，利用合适的二维平面靶标，对前后两套双目视觉测量系统进行标定。
首先，对全局控制系统I即后双目系统进行标定，得到标定结果如下：
左工业相机1的内参：fx＝8767.1，fy＝8751.4，cx＝3106.6，cy＝2242.1，k1＝0.10661，k2＝-0.07177；
右工业相机2的内参：fx＝8868.9，fy＝8852.4，cx＝3451.1，cy＝2194.9，k1＝0.066，k2＝1.218；
然后，对局部测量系统II进行标定，标定结果如下：
左相机8内参：fx＝5206.1，fy＝5208.4，cx＝2053.9，cy＝1527.6，k1＝-0.026，k2＝0.209；
右相机9内参：fx＝5177.0，fy＝5185.5，cx＝2138.3，cy＝1497.2，k1＝-0.026，k2＝0.178。
第二步、全局控制点的布局与匹配
1)全局控制点的布局
本实例采用投影仪3投影控制点阵，根据测量现场全局控制系统I与零件表面的位置关系确定柔性控制点的尺寸，并使控制点充满整个视场，投影出的控制点阵如附图2所示，其中，矩形外边框是局部测量时视觉传感器的测量范围6，用以保证局部测量的过程可以覆盖所有的感兴趣区域。边框内部作为全局控制点的控制点阵7，要求充满整个视场。投影柔性控制点的尺寸可根据测量现场全局控制系统与零件表面的位置关系实时调整，使控制点由尽可能多的像素表示，提高点的提取精度，从而保证三维数据拼接的质量。
利用全局控制系统I采集图像，得到局部坐标系下控制点集P＝{Pi|Pi∈P,i∈N,i≥3}，其中Pi＝(xi,yi,zi)为点Pi在局部坐标系下的三维坐标，全局坐标系下的控制点集为Q＝{Qi|Qi∈Q,i∈N,i≥3}，其中Qi＝(xi,yi,zi)为点Qi在局部坐标系下的三维坐标。
2)匹配控制点
为了匹配控制点，构建公式(4)、(5)的点集描述向量。由于点的提取和重建存在误差，互相匹配的点对的描述向量并不完全相同，因此设定阈值φ，根据公式(6)来匹配点对，将所有控制点一一匹配。最后，将P、Q中的点根据匹配关系重新编号排序，得到高精度匹配的控制点集P'＝{Pk|Pk∈P,k∈N,3≤k≤i}和Q'＝{Qk|Qk∈Q,k∈N,3≤k≤i}。
第三步、三维数据拼接与优化
利用全局坐标系下与局部坐标系对应匹配的点，建立全局坐标系与局部坐标系的坐标转换关系。首先，利用公式(8)、(9)计算两匹配点集的质心点和并且根据两坐标系下点对的匹配关系，也为一个匹配点对。然后利用公式(10)、(11)分别计算两匹配点集中的向量和建立公式(14)所示的目标函数，则利用矩阵的奇异值分解方法计算得到的即为局部坐标系与全局坐标系的旋转矩阵。接着利用公式(15)求得局部坐标系与全局坐标系的平移矩阵最后将局部坐标系下的扫描测量数据根据公式(12)统一到全局坐标系下，实现局部坐标系下的点云信息向全局坐标系的转换。
实例过程中，采集三个不同位置的图像数据，并将每一位置的测量点云数据均统一到固定不变的全局坐标系下，实现三维数据的拼接，从而完成大型零件的全局三维测量。通过计算拼接点云数据与三维数模间的均方根误差对拼接方法进行评价，通过数据对比，测量点云数据与模型对应点间的均方根误差为0.4734mm，可以满足大型壁板的测量要求。
实施例利用本发明提出的三维数据拼接方法对大型复材壁板零件进行了多站位测量，并进行了三维数据拼接和重建，重建结果显示该拼接方法可以满足大型零件的现场测量要求。
Claims (1)
1.一种基于柔性特征点的三维数据拼接方法，其特征是，该方法针对具有自由曲面的大型零件的三维数据测量，采用阶梯式测量系统，利用全局控制系统和局部测量系统公共视场区域内的控制点信息，匹配控制点并求得转换矩阵；利用该转换矩阵将局部测量系统测得的三维点云数据统一到全局控制系统中，最终对全局控制系统的数据进行三维重建，实现大型零件的三维数据拼接；方法的具体步骤如下：第一步、安装阶梯式测量系统
阶梯式测量系统中，采用两台分辨率高且视场大的左、右工业相机(1、2)固定于测量区域后方，构成全局控制系统(I)，用以建立固定的全局坐标系；局部测量系统(II)采用两台视场较小的左、右相机(8、9)放置于测量区域的前方，通过移动以获取被测零件的局部信息；将被测物(4)放置在阶梯式测量系统中，用投影仪(3)投影柔性控制点阵，投影出的点阵同时被两套双目系统采集到，以实现局部坐标系到全局坐标系的坐标转换，最终完成零件的三维数据拼接；
第二步、全局坐标系与局部坐标系的建立
为建立全局控制坐标系，选择全局控制系统的左工业相机(1)坐标系作为全局坐标系，并对左工业相机的内外参数进行标定；通过单相机的标定，得到视场范围内任意点m在二维图像坐标系中的像素坐标(um,vm)与世界坐标系中的坐标(xm,ym,zm)间的转换关系：
<mrow>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>u</mi>
<mi>m</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>v</mi>
<mi>m</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mi>K</mi>
<mo>&CenterDot;</mo>
<mi>H</mi>
<mo>&CenterDot;</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>x</mi>
<mi>m</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>y</mi>
<mi>m</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>z</mi>
<mi>m</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>f</mi>
<mi>x</mi>
</msub>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<msub>
<mi>c</mi>
<mi>x</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<msub>
<mi>f</mi>
<mi>y</mi>
</msub>
</mtd>
<mtd>
<msub>
<mi>c</mi>
<mi>y</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>&CenterDot;</mo>
<mo>&lsqb;</mo>
<mtable>
<mtr>
<mtd>
<msub>
<mi>R</mi>
<mi>C</mi>
</msub>
</mtd>
<mtd>
<msub>
<mi>T</mi>
<mi>C</mi>
</msub>
</mtd>
</mtr>
</mtable>
<mo>&rsqb;</mo>
<mo>&CenterDot;</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>x</mi>
<mi>m</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>y</mi>
<mi>m</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>z</mi>
<mi>m</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，K为相机的内参矩阵，H为相机的外参矩阵，fx为焦距长度与相机芯片每个单元x方向尺寸的乘积，fy为焦距长度与相机芯片每个单元y方向尺寸的乘积，(cx,cy)为相机的主点坐标，RC为像素坐标系与世界坐标系间的旋转矩阵，TC为像素坐标系与世界坐标系间的平移矩阵；
然后，对右工业相机(2)也进行标定，通过立体标定得到左、右工业相机的对应关系，利用空间交汇的原理，将视场内的任意空间点在左相机坐标系下进行重建，得到点在全局坐标系下的三维空间坐标；
按照上述建立全局坐标系的方法，将局部坐标系建立在局部测量系统的左相机(8)上；利用相同的标定方法对右相机(9)也进行标定，得到空间中任意一点在局部坐标系下的三维空间坐标；
第三步、全局控制点的布局与匹配
1)全局控制点的布局
为实现三维数据的全局拼接，需要在全局坐标系和局部坐标系下设立具有公共信息的全局控制点，利用具有相同特征的控制点阵，求解局部坐标系与全局坐标系间的转换矩阵；采用投影仪投影柔性全局控制点阵，点阵要求充满整个视场，其尺寸要根据测量现场全局控制系统与零件表面的位置关系实时调整，使控制点由尽可能多的像素表示，提高点的提取精度；布局好全局控制点后，利用已经标定好的相机对全局控制点图像进行采集；
设同一位置下局部测量系统测量得到的局部坐标系下控制点集为P：
P＝{Pi|Pi∈P,i∈N,i≥3} (2)
其中Pi＝(xi,yi,zi)为点Pi在局部坐标系下的三维坐标，N为控制点个数；全局控制系统得到的全局坐标系下的控制点集为Q：
Q＝{Qi|Qi∈Q,i∈N,i≥3} (3)
其中Qi＝(xi,yi,zi)为点Qi在全局坐标系下的三维坐标；
2)全局控制点的匹配
为了使局部测量系统与全局控制系统上的全局控制点相互匹配，分别构建局部坐标系下控制点集P中第i个点的描述向量Ai和全局坐标系下控制点集Q中第i个点的描述向量Bi：
Ai＝|d(Pi,P1) d(Pi,P2) … d(Pi,Pn)|,n≠i (4)
Bi＝|d(Qi,Q1) d(Qi,Q2) … d(Qi,Qn)|,n≠i (5)
其中,d(Pi,Pj)＝||Pi-Pj||2为点Pi与P中其他点Pj间的欧式距离，d(Qi,Qj)＝||Qi-Qj||2为点Qi与Q中其他点Qj间的欧式距离，n为控制点个数；
由于点的提取和重建存在误差，互相匹配的点对的描述向量并不完全相同，因此设定阈值φ，若点Pi和点Qj的描述向量满足如下公式：
||Ai-Bj||2<φ (6)
则认为点Pi和点Qj是相互匹配的，Q(Pi,Qj)为匹配点对；对点集P和Q中的所有点进行匹配，并找到其匹配点对；最后，将P、Q中的点根据匹配关系重新编号排序，得到高精度匹配的局部坐标系下控制点集P'和全局坐标系下控制点集Q'：
<mrow>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msup>
<mi>P</mi>
<mo>&prime;</mo>
</msup>
<mo>=</mo>
<mo>{</mo>
<msub>
<mi>P</mi>
<mi>k</mi>
</msub>
<mo>|</mo>
<msub>
<mi>P</mi>
<mi>k</mi>
</msub>
<mo>&Element;</mo>
<mi>P</mi>
<mo>,</mo>
<mi>k</mi>
<mo>&Element;</mo>
<mi>N</mi>
<mo>}</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msup>
<mi>Q</mi>
<mo>&prime;</mo>
</msup>
<mo>=</mo>
<mo>{</mo>
<msub>
<mi>Q</mi>
<mi>k</mi>
</msub>
<mo>|</mo>
<msub>
<mi>Q</mi>
<mi>k</mi>
</msub>
<mo>&Element;</mo>
<mi>Q</mi>
<mo>,</mo>
<mi>k</mi>
<mo>&Element;</mo>
<mi>N</mi>
<mo>}</mo>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，N为控制点个数，此时(Pk,Qk)为匹配的控制点对；
第四步、三维数据拼接及优化
利用全局坐标系下与局部坐标系对应匹配的点，建立局部坐标系与全局坐标系间的坐标转换关系，即计算旋转矩阵R和平移矩阵T；
首先，计算两匹配点集的质心点，计算公式如下：
<mrow>
<mover>
<mi>P</mi>
<mo>&OverBar;</mo>
</mover>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>n</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<msub>
<mi>P</mi>
<mi>k</mi>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>8</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mover>
<mi>Q</mi>
<mo>&OverBar;</mo>
</mover>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>n</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<msub>
<mi>Q</mi>
<mi>k</mi>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>9</mn>
<mo>)</mo>
</mrow>
</mrow>
其中为局部坐标系下控制点集的质心点，为全局坐标系下控制点集的质心点，Pk为局部坐标系下第k个控制点，Qk为全局坐标系下第k个控制点；根据两坐标系下点对的匹配关系，也为一个匹配点对；
然后分别计算两匹配点集中的特殊向量，计算公式如下：
<mrow>
<mover>
<msub>
<mi>p</mi>
<mi>k</mi>
</msub>
<mo>&RightArrow;</mo>
</mover>
<mo>=</mo>
<mover>
<mi>P</mi>
<mo>&OverBar;</mo>
</mover>
<mo>-</mo>
<msub>
<mi>P</mi>
<mi>k</mi>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>10</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mover>
<msub>
<mi>q</mi>
<mi>k</mi>
</msub>
<mo>&RightArrow;</mo>
</mover>
<mo>=</mo>
<mover>
<mi>Q</mi>
<mo>&OverBar;</mo>
</mover>
<mo>-</mo>
<msub>
<mi>Q</mi>
<mi>k</mi>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>11</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，为局部坐标系下第k个点的特殊向量，为全局坐标系下第k个点的特殊向量；又由于局部坐标系和全局坐标系的匹配点对存在以下关系：
Qk＝R·Pk+T (12)
其中，R和T分别为全局坐标系与局部坐标系之间的旋转矩阵和平移矩阵；则根据以上公式，还可以表示为：
<mrow>
<mover>
<msub>
<mi>q</mi>
<mi>k</mi>
</msub>
<mo>&RightArrow;</mo>
</mover>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>n</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<msub>
<mi>Q</mi>
<mi>k</mi>
</msub>
<mo>-</mo>
<msub>
<mi>Q</mi>
<mi>k</mi>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>n</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<mrow>
<mo>(</mo>
<mi>R</mi>
<mo>&CenterDot;</mo>
<msub>
<mi>P</mi>
<mi>k</mi>
</msub>
<mo>+</mo>
<mi>T</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mi>R</mi>
<mo>&CenterDot;</mo>
<msub>
<mi>P</mi>
<mi>k</mi>
</msub>
<mo>+</mo>
<mi>T</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>R</mi>
<mo>&CenterDot;</mo>
<mover>
<msub>
<mi>p</mi>
<mi>k</mi>
</msub>
<mo>&RightArrow;</mo>
</mover>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>13</mn>
<mo>)</mo>
</mrow>
</mrow>
建立如下目标函数：
<mrow>
<mi>min</mi>
<mi> </mi>
<mi>f</mi>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mn>3</mn>
</munderover>
<mo>|</mo>
<mo>|</mo>
<mover>
<msub>
<mi>q</mi>
<mi>k</mi>
</msub>
<mo>&RightArrow;</mo>
</mover>
<mo>-</mo>
<mi>R</mi>
<mover>
<msub>
<mi>p</mi>
<mi>k</mi>
</msub>
<mo>&RightArrow;</mo>
</mover>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>2</mn>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>14</mn>
<mo>)</mo>
</mrow>
</mrow>
则求解旋转矩阵R的过程就转化为了求取使得f最小的问题；利用矩阵的奇异值分解计算得到后，根据式(11)，得到计算平移矩阵公式如下：
<mrow>
<mover>
<mi>T</mi>
<mo>^</mo>
</mover>
<mo>=</mo>
<mover>
<mi>Q</mi>
<mo>&OverBar;</mo>
</mover>
<mo>-</mo>
<mover>
<mi>R</mi>
<mo>^</mo>
</mover>
<mo>&CenterDot;</mo>
<mover>
<mi>P</mi>
<mo>&OverBar;</mo>
</mover>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>15</mn>
<mo>)</mo>
</mrow>
</mrow>
其中为优化后的局部坐标系与全局坐标系间的旋转矩阵，为优化后的局部坐标系与全局坐标系间的平移矩阵；
得到局部坐标系与全局坐标系间的旋转矩阵与平移矩阵后，将局部坐标系下的扫描测量数据根据公式(12)统一到全局坐标系下；
最后通过移动局部测量系统，使局部测量视场覆盖所有的感兴趣区域，并将每一部分的测量点云数据均统一到固定不变的全局坐标系下，最终实现大型零件的全局三维数据拼接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610221163.1A CN105716542B (zh) | 2016-04-07 | 2016-04-07 | 一种基于柔性特征点的三维数据拼接方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610221163.1A CN105716542B (zh) | 2016-04-07 | 2016-04-07 | 一种基于柔性特征点的三维数据拼接方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105716542A CN105716542A (zh) | 2016-06-29 |
| CN105716542B true CN105716542B (zh) | 2018-04-10 |
Family
ID=56159934
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610221163.1A Active CN105716542B (zh) | 2016-04-07 | 2016-04-07 | 一种基于柔性特征点的三维数据拼接方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105716542B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111504229A (zh) * | 2020-04-10 | 2020-08-07 | 武汉理工大学 | 一种在曲板上动态投射视觉测量匹配用图案的方法 |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106918300B (zh) * | 2017-01-11 | 2019-04-05 | 江苏科技大学 | 一种基于多立体跟踪器的大型物体三维测量数据拼接方法 |
| CN107621226A (zh) * | 2017-07-18 | 2018-01-23 | 深圳大学 | 多目立体视觉的三维扫描方法及系统 |
| CN107421465B (zh) * | 2017-08-18 | 2018-12-21 | 大连理工大学 | 一种基于激光跟踪仪的双目视觉拼接方法 |
| CN107726975B (zh) * | 2017-09-20 | 2019-05-14 | 大连理工大学 | 一种基于视觉拼接测量的误差分析方法 |
| CN107860346B (zh) * | 2017-09-30 | 2019-12-20 | 北京卫星制造厂 | 一种测量坐标系配准方法 |
| CN107833201A (zh) * | 2017-10-11 | 2018-03-23 | 辽宁远天城市规划有限公司 | 一种基于无人机遥感影像的地上生物量测算方法 |
| CN108303038B (zh) * | 2017-12-21 | 2020-02-21 | 天津大学 | 基于二维光学点阵的反射型面形测量方法和装置 |
| CN109559355B (zh) * | 2018-12-04 | 2021-08-10 | 北京航空航天大学 | 一种基于相机组的无公共视场的多相机全局标定装置及方法 |
| CN110749290B (zh) * | 2019-10-30 | 2021-06-01 | 易思维（杭州）科技有限公司 | 基于三维投影的特征信息快速定位方法 |
| CN111080714B (zh) * | 2019-12-13 | 2023-05-16 | 太原理工大学 | 一种基于三维重建的平行式双目相机标定方法 |
| CN111380482B (zh) * | 2019-12-31 | 2024-08-23 | 吉林大学 | 基于直线与圆不变量的汽车形貌主动视觉重建系统与方法 |
| CN112489110A (zh) * | 2020-11-25 | 2021-03-12 | 西北工业大学青岛研究院 | 一种水下动态场景光学混合三维成像方法 |
| CN112556596B (zh) * | 2020-12-08 | 2022-07-19 | 深圳大学 | 三维变形测量系统、方法、装置和存储介质 |
| CN113432550B (zh) * | 2021-06-22 | 2023-07-18 | 北京航空航天大学 | 一种基于相位匹配的大尺寸零件三维测量拼接方法 |
| CN117021059B (zh) * | 2023-10-09 | 2024-02-06 | 北京市农林科学院智能装备技术研究中心 | 采摘机器人及其果实定位方法、装置、电子设备及介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103971353B (zh) * | 2014-05-14 | 2017-02-15 | 大连理工大学 | 采用激光辅助大型锻件测量图像数据的拼接方法 |
| CN104167001B (zh) * | 2014-08-27 | 2017-02-15 | 大连理工大学 | 基于正交补偿的大视场摄像机标定方法 |
| CN104165750B (zh) * | 2014-09-03 | 2017-01-25 | 大连理工大学 | 立体视觉结合陀螺仪风洞模型位姿测量方法 |
| CN104851104B (zh) * | 2015-05-29 | 2017-12-26 | 大连理工大学 | 采用柔性靶标高速摄相机近景大视场标定方法 |
| CN104897060B (zh) * | 2015-06-17 | 2017-08-01 | 大连理工大学 | 采用坐标跟踪控制板的大视场全局测量方法 |
| CN105157609B (zh) * | 2015-09-01 | 2017-08-01 | 大连理工大学 | 基于两组相机的大型零件全局形貌测量方法 |
-
2016
- 2016-04-07 CN CN201610221163.1A patent/CN105716542B/zh active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111504229A (zh) * | 2020-04-10 | 2020-08-07 | 武汉理工大学 | 一种在曲板上动态投射视觉测量匹配用图案的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105716542A (zh) | 2016-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105716542B (zh) | 一种基于柔性特征点的三维数据拼接方法 | |
| CN109919911B (zh) | 基于多视角光度立体的移动三维重建方法 | |
| CN109859272B (zh) | 一种自动对焦双目摄像头标定方法及装置 | |
| CN103759670B (zh) | 一种基于数字近景摄影的物体三维信息获取方法 | |
| CN110842940A (zh) | 一种建筑测量机器人多传感器融合三维建模方法及系统 | |
| CN106091983B (zh) | 包含扫描方向信息的线结构光视觉测量系统完整标定方法 | |
| CN103971353B (zh) | 采用激光辅助大型锻件测量图像数据的拼接方法 | |
| CN102364299B (zh) | 一种多个结构光投影三维型面测量头的标定技术 | |
| CN109272574B (zh) | 基于投影变换的线阵旋转扫描相机成像模型构建方法和标定方法 | |
| CN108510551B (zh) | 一种远距离大视场条件下相机参数的标定方法及系统 | |
| CN103278138B (zh) | 一种复杂结构薄部件三维位置及姿态的测量方法 | |
| CN104240262B (zh) | 一种用于摄影测量的相机外参数标定装置及标定方法 | |
| CN109272555B (zh) | 一种rgb-d相机的外部参数获得及标定方法 | |
| CN111220126A (zh) | 一种基于点特征和单目相机的空间物体位姿测量方法 | |
| CN109961485A (zh) | 一种基于单目视觉进行目标定位的方法 | |
| CN111707187B (zh) | 一种大型零件的测量方法及系统 | |
| CN112229323B (zh) | 基于手机单目视觉的棋盘格合作目标的六自由度测量方法及其应用 | |
| CN108469254A (zh) | 一种适用于仰视和俯视位姿的大视场多视觉视频测量系统全局标定方法 | |
| CN106971408A (zh) | 一种基于时空转换思想的摄像机标定方法 | |
| CN108362205B (zh) | 基于条纹投影的空间测距方法 | |
| CN114283203A (zh) | 一种多相机系统的标定方法及系统 | |
| CN105374067A (zh) | 一种基于pal相机的三维重建方法及其重建系统 | |
| CN113724337B (zh) | 一种无需依赖云台角度的相机动态外参标定方法及装置 | |
| CN104167001B (zh) | 基于正交补偿的大视场摄像机标定方法 | |
| CN113947638A (zh) | 鱼眼相机影像正射纠正方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |