Nothing Special   »   [go: up one dir, main page]

CN102692214B - 一种狭窄空间双目视觉测量定位装置及方法 - Google Patents

一种狭窄空间双目视觉测量定位装置及方法 Download PDF

Info

Publication number
CN102692214B
CN102692214B CN201210191014.7A CN201210191014A CN102692214B CN 102692214 B CN102692214 B CN 102692214B CN 201210191014 A CN201210191014 A CN 201210191014A CN 102692214 B CN102692214 B CN 102692214B
Authority
CN
China
Prior art keywords
swingle
chess
vision
platform
scaling board
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210191014.7A
Other languages
English (en)
Other versions
CN102692214A (zh
Inventor
赵剡
苏庆华
吴发林
杨奎
张少辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201210191014.7A priority Critical patent/CN102692214B/zh
Publication of CN102692214A publication Critical patent/CN102692214A/zh
Application granted granted Critical
Publication of CN102692214B publication Critical patent/CN102692214B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提出一种狭窄空间双目视觉测量定位装置及方法,适用于狭窄空间的装配、故障分析等相关技术领域,该视觉测量定位装置包括双目视觉平台和视觉测量终端,其中双目视觉平台选择基于空间四自由度的双目摄像机的视觉平台,视觉测量终端共有两组,每组视觉测量终端均有摄像机、激光器和伸缩标定板构成,两组视觉测量终端分别轴向对称的安装在双目视觉平台的两个运动转动轴上。本发明提出的一种狭窄空间双目视觉测量定位装置及方法,将视觉测量终端安装在四自由度测量平台的转动轴上,平台活动自由,测量终端安装灵活,能进行狭窄空间图像获取;且能应用于成像环境差的特殊环境,更适用于狭窄空间的目标测量,是一种有效的视觉测量实现方法。

Description

一种狭窄空间双目视觉测量定位装置及方法
技术领域
本发明涉及一种双目视觉精确测量定位装置及方法,特别适用于狭窄空间目标测量定位,可用于狭窄空间的装配、故障分析等相关技术领域。
背景技术
视觉测量定位技术以图像为信息的载体,和计算机技术紧密结合,具有非接触、全方位快速测量定位、高精度等特点,己被广泛应用于各种测量任务中。双目视觉测量定位是通过由两台摄像机组成的立体视觉系统,模拟人的视觉方式,根据三角测量原理,利用对应点的视差,对获得图像进行变换、匹配与重构,可反求出视野范围内物体的立体信息。由于被动立体视觉反求系统具有设备简单、操作方便、物体空间尺寸限制少等特点,为国内外学者专家所关注,并在立体视觉标定技术、影像中立体匹配技术等方面进行了大量的研究。在狭窄空间双目视觉中,双目摄像机的立体标定以及对应点的精确匹配问题,一直受到广泛关注,是狭窄空间双目视觉中的技术关键与难点所在。因此研究一种能直接在狭窄空间内对双目摄像机的立体标定和精确匹配的双目视觉测量定位方法对狭窄空间中测量、检测、装配等实际操作的具有重要意义。
发明内容
针对现有技术中狭窄空间摄像机标定困难,图像质量差、匹配精度低,处理速度慢的问题,本发明提出一种狭窄空间双目视觉测量定位装置及方法。通过将视觉测量终端安装在四自由度测量平台的转动轴上,平台活动自由,测量终端安装灵活,能进行狭窄空间图像获取,本发明的测量定位方法能应用于成像环境差的特殊环境,更适用于狭窄空间的目标测量,是一种有效的视觉测量实现方法。
本发明提出一种狭窄空间双目视觉测量定位装置,包括双目视觉平台和视觉测量终端,其中双目视觉平台选择基于空间四自由度的双目摄像机的视觉平台,视觉测量终端共有两组,每组视觉测量终端均有摄像机、激光器和伸缩标定板构成,两组视觉测量终端分别轴向对称的安装在双目视觉平台的两个运动转动轴上;基于空间四自由度的双目摄像机的视觉平台四个自由度分别为平台回转运动、平台俯仰运动的2个自由度以及视觉测量终端转动轴转动的2个自由度。
视觉测量终端的最下端通过固定件固定摄像机,摄像机的上方通过固定件固定激光器,激光器的上方通过固定件安装伸缩标定板,伸缩标定板由收缩支撑杆、收缩旋转杆和棋牌格标定板组成,其中收缩支撑杆一端与固定件固定,使收缩支撑杆垂直于摄像机的镜头方向,另一端通过电机转轴与收缩旋转杆的一端连接,收缩旋转杆的另一端通过电机转轴与棋牌格标定板连接;摄像机、激光器和伸缩标定板通过固定件固定在钢片上;两组视觉测量终端分别安装在相应的钢片上,两个钢片再分别与基于空间四自由度的双目摄像机的视觉平台的转动运动轴相连接,实现视觉测量终端与视觉平台的连接。
本发明提出一种狭窄空间双目视觉测量定位方法,具体包括以下几个步骤:
步骤一、摄像机实时标定
(1)标定图像的获取
当视觉测量终端在狭窄空间中进行视觉测量定位时,通过对伸缩棋牌格标定板的收缩旋转杆折叠展开的控制,将收缩旋转杆展开,同时展开棋牌格标定板,激光器和摄像机工作,激光器发出激光投射到棋牌格标定板上,摄像机获取有激光投射的棋牌格标定板图像;
根据摄像机成像几何关系,o点为摄像机光心,Xc轴和Yc轴与图像的坐标系中的X轴和Y轴相平行,Zc轴为摄像机光轴与直角XW,YW,ZW坐标系中的ZW轴重合,光轴与图像平面的交点o′为图像坐标系的原点,XW,YW,ZW构成的坐标系为世界坐标系,Xc,Yc,Zc,o组成的坐标系为摄像机坐标系,X,Y,o′构成的坐标系为图像坐标系,o′与o的连线长度为摄像机的焦距f;
狭窄空间视觉测量中摄像机成像模型为针孔模型,棋牌格标定板面上的点在测量选定的世界坐标系中的表示为Pi(xw,yw,zw)(i=1,2,...),i表示是棋牌格上的第几个点,w表示该点是以世界坐标系为参考坐标系;pi(u,v)(i=1,2,...)表示对应的Pi(xw,yw,zw)(i=1,2,...)在成像面上的所成相的像素,其中每一点的坐标(u,v)分别是该像素在整幅图像中所处的行数和列数,待标定的摄像机和激光器工作,激光器发出激光投射到棋牌格标定板上,摄像机获取有激光投射的棋牌格标定板图像;
(2)世界坐标系中的点与该点在摄像机坐标系中的点的关系
设空间中某一点在世界坐标系的位置为PW=(xw,yw,zw)T,在摄像机坐标系中的坐标为P=(x,y,z)T,则有关系式
x y z = R t x w y w z w - - - ( 1 )
将公式(1)用齐次坐标表示为
x y z 1 = R t 0 T 1 x w y w z w 1 = M 1 x w y w z w 1 - - - ( 2 )
其中M1表示世界坐标系到摄像机坐标系的变换矩阵,R为旋转矩阵,表示点Pw=(xw,yw,zw)T在欧式空间的姿态变换,3×3的正交矩阵,共有9个参数:
R = r 11 r 12 r 13 r 21 r 22 r 23 r 31 r 32 r 33 - - - ( 3 )
其中rij表示世界坐标系i轴与摄像机坐标系j轴的夹角的余弦值,i轴取XW,YW或ZW,j轴取Xc,Yc或Zc;公式(3)中的9个参数之间存在以下约束:
r 11 2 + r 12 2 + r 13 2 = 1 r 21 2 + r 22 2 + r 23 2 = 1 r 31 2 + r 32 2 + r 33 2 = 1 r 11 r 21 + r 12 r 22 + r 13 r 23 = 1 r 11 r 31 + r 12 r 32 + r 13 r 33 = 1 r 31 r 21 + r 32 r 22 + r 33 r 23 = 1 - - - ( 4 )
t=(tx,ty,tz)T为三维向量,表示点Pw=(xw,yw,zw)T在空间沿XW轴、YW轴、ZW的平移向量;
(3)世界坐标系中的点与该点在图像坐标系中对应点的关系
摄像机所拍摄的图像经过摄像机内图像采集系统转化为数字图像,数字图像在计算机内用一个m×n大小的数组来表示,m行n列中每一个元素的值为图像点的亮度,在图像坐标系中坐标(u,v)分别表示像素在数组中所在的行和列,因此得到的坐标系是以像素为单位的图像坐标系,以o′点为原点,X轴,Y轴分别与u,v轴平行,将o′定义在摄像机光轴与图像平面的交点,o′点在u,v坐标系中的坐标为(uo,vo);
每一个像素在X,Y物理坐标系下的大小为dX,dY,得到u,v与X,Y和(uo,vo)换算关系为
u = X dX + u 0 v = Y dY + v 0 - - - ( 5 )
公式(5)使用坐标与矩阵形式表达为
u v 1 = 1 dX 0 u 0 0 1 dY v 0 0 0 1 X Y 1 - - - ( 6 )
世界坐标系中的点Pw=(xw,yw,zw)T到图像坐标系中的点p(u,v)的坐标转换关系为:
s u v 1 = 1 dX 0 u 0 0 1 dY v 0 0 0 1 f 0 0 0 0 f 0 0 0 0 1 0 R t 0 T 1 x w y w z w 1 - - - ( 7 )
= α x 0 u 0 0 0 α y v 0 0 0 0 1 0 R t 0 T 1 x w y w z w 1 = M 1 M 2 x w y w z w 1 = M x w y w z w 1
其中,αx为u轴上的尺度因子,αy为v轴上的尺度因子,M为3×4的投影矩阵,M1为摄像机内部参数;M2为摄像机的外部参数,s是坐标转换的尺度因子;
(4)、摄像机的实时标定参数的计算
采用棋牌格标定板作为标定物,摄像机获取棋牌格标定板的图像,标定计算处理的过程具体为:
首先,将世界坐标建立在棋牌格所在的欧氏平面上,世界坐标系中棋牌格第一个顶点为P1=[0,0,0]T,第二个顶点为P2=[0,1,0]T,第三个点为P3=[1,1,0]T,第四个点为P4=[0,1,0]T,根据棋牌格的尺寸参数另外选取8个点:P5=[0,0.5,0]T,P6=[0.5,0,0]T,P7=[0.5,1,0]T,P8=[1,0.5,0]T,P9=[0.5,0.5,0]T,P10=[0,0.25,0]T,P11=[0.25,0,0]T,P12=[0.25,0.25,0]T
其次,采用图像处理当中特征点的提取方法,提取棋牌格四个角顶点及对应选取的其它点在图像平面上的二维点像素坐标;第一个点为p1=[u1,v1]T,第二个点为p2=[u2,v2]T,第三个点为p3=[u3,v3]T,第二个点为p4=[u4,v4]T。其它8个点:p5=[u5,v5]T,p6=[u6,v6]T,p7=[u7,v7]T,p8=[u8,v8]T,p9=[u9,v9]T,p10=[u10,v10]T,p11=[u11,v11]T,p12=[u12,v12]T
再次,计算待标定的空间点P1,P2,P3,P4…P12与图像点p1,p2,p3,p4…p12之间的映射关系,将第一个点为P1=[0,0,0]T和第一个点为p1=[u1,v1]T代入公式(7)得到一个方程,然后依次分别将P2,p2;P3,p3…P12,p12代入公式(7),得到12个方程;
最后,求解由12个棋牌格上的标定点所得到的12个方程与公式(6)旋转矩阵R的每个元素的约束方程相联立的方程组,求解出摄像机的参数矩阵式M,通过对棋牌格标定板的控制使得其回复到初始状态;
M = M 1 M 2 = α x 0 u 0 0 0 α y v 0 0 0 0 1 0 × R t 0 T 1
= α x 0 u 0 0 0 α y v 0 0 0 0 1 0 × r 11 r 12 r 13 t x r 21 r 22 r 23 t y r 31 r 32 r 33 t z 0 0 0 1 - - - ( 8 )
= m 11 m 12 m 13 m 14 m 21 m 22 m 23 m 24 m 31 m 32 m 33 m 34
其中mij由摄像机内部参数(αxy,u0,v0)和外部参数(rij,tx,ty,tz)矩阵根据矩阵的乘法得到;
通过上述步骤计算分别得到左侧摄像机和右侧摄像机的标定矩阵ML、MR
M L = m 11 L m 12 L m 13 L m 14 L m 21 L m 22 L m 23 L m 24 L m 31 L m 32 L m 33 L m 34 L , M R = m 11 R m 12 R m 13 R m 14 R m 21 R m 22 R m 23 R m 24 R m 31 R m 32 R m 33 R m 34 R - - - ( 9 )
其中由左摄像机内部参数和外部参数矩阵根据矩阵的乘法得到,由右摄像机内部参数和外部参数矩阵根据矩阵的乘法得到;
步骤二、基于激光的双目立体匹配与测量
测量定位终端的左右摄像机实时标定完成后,根据双目横向会聚模式的双目视觉测量原理,实际狭窄空间被测目标表面的一点Pw,在左摄像机中成的像为pL,右摄像机中成的像为pR,利用图像检测方法检测出在左摄像机点pL的坐标,在右摄像机点pR的坐标,然后利用该坐标求出点Pw的坐标;
采用激光双目图像匹配,采取在CCD摄象机上方加装激光源发出的光照射到目标物体上,形成高噪音比的点,利用高噪音比的点很容易在两幅二维图象中找出匹配点,完成空间点的匹配,目标物体放在视场中,两个激光器照在目标物体上的光相交为点N,可以利用两激光照在物体表面上的交点不在物体表面的方法进行分析;
N不在物体表面上,而是与物体表面分别相交于N1和N2点,当交点在物体表面时,N1和N2重合为一点,在左右成像平面上的投影分别是N1L、N1R、N2L、N2R。M点为两摄像机光轴的交点,FL和FR分别为两摄像机光学镜头的焦点;
通过N1L、N1R、N2L、N2R确定N1和N2点在世界坐标系中的位置,确定N1点在世界坐标系中位置;
N1L、N1R的坐标分别为(u1L,v1L),(u1R,v1R),由公式(7)和公式(9)得到:
( u L 1 m 31 L - m 11 L ) x w + ( u L 1 m 32 L - m 12 L ) y w + ( u L 1 m 33 L - m 13 L ) z w = m 14 L - u L 1 m 34 L ( v L 1 m 31 L - m 21 L ) x w + ( v L 1 m 32 L - m 22 L ) y w + ( v L 1 m 33 L - m 23 L ) z w = m 24 L - v L 1 m 34 L - - - ( 10 )
( u R 1 m 31 R - m 11 R ) x w + ( u R 1 m 32 R - m 12 R ) y w + ( u R 1 m 33 R - m 13 R ) z w = m 14 R - u R 1 m 34 R ( v R 1 m 31 R - m 21 R ) x w + ( v R 1 m 32 R - m 22 R ) y w + ( v R 1 m 33 R - m 23 R ) z w = m 24 R - v R 1 m 34 R - - - ( 11 )
由公式(10)消去xw得:
( u L 1 m 32 L - m 12 L u L 1 m 31 L - m 11 L - v L 1 m 32 L - m 22 L v L 1 m 31 L - m 21 L ) y w + ( u L 1 m 33 L - m 13 L u L 1 m 31 L - m 11 L - v L 1 m 33 L - m 23 L v L 1 m 31 L - m 21 L ) z w + u L 1 m 34 L - m 14 L u L 1 m 31 L - m 11 L - v L 1 m 34 L - m 24 L v L 1 m 31 L - m 21 L = 0 - - - ( 12 )
公式(12)为过射线且平行于xw轴的平面πL的方程;
由公式(11)消去xw得:
( u R 1 m 32 R - m 12 R u R 1 m 31 R - m 11 R - v R 1 m 32 R - m 22 R v R 1 m 31 R - m 21 R ) y w + ( u R 1 m 33 R - m 13 R u R 1 m 31 R - m 11 R - v R 1 m 33 R - m 23 R v R 1 m 31 R - m 21 R ) z w + u R 1 m 34 R - m 14 R u R 1 m 31 R - m 11 R - v R 1 m 34 R - m 24 R v R 1 m 31 R - m 21 R = 0 - - - ( 13 )
公式(13)为过射线且平行于xw轴的平面πR的方程;联立公式(10)和(13)求得交点NL1在世界坐标系中的空间坐标;联立式(11)和(12)可求得交点NR1在世界坐标系中的空间坐标;取NL1和NR1的中点为被测物体表面N1点坐标N1(xw,yw,zw);用同样的方法和步骤求得被测物体表面N2点的空间坐标;
当两个激光器的射线相交于物体表面上的一点时,则N1和N2点重合,求解出N1或N2点在世界坐标系的坐标。
本发明与现有技术相比的优点在于:
1、本发明提出一种狭窄空间双目视觉测量定位装置及方法,将视觉测量终端安装在四自由度测量平台的转动轴上,平台活动自由,测量终端安装灵活,能进行狭窄空间图像获取;
2、本发明提出一种狭窄空间双目视觉测量定位装置及方法,视觉测量终端中的伸缩棋牌格标定板与摄像机配合实现对测量过程中摄像机的实时标定;被测目标图像获取时,采用激光器,摄像机获取的目标图像中含有显著的激光信号,利用该图像中该激光信号既可以提高视觉测量定位速度,又可以提高测量定位精度,因此本发明能应用于成像环境差的特殊环境,更适用于狭窄空间的目标测量,是一种有效的视觉测量实现方法。
附图说明
图1为本发明的视觉测量定位平台四自由度运动简图;
图2a为本发明测量定位终端摄像机标定时的状态图;
图2b为本发明测量定位终端摄像机标定完成后的状态图
图3a为本发明的摄像机成像几何关系图;
图3b为本发明的成像面图像坐标系图;
图3c为本发明的摄像机标定原理图;
图3d为本发明的棋牌格标定板在世界坐标系中个点位置坐标图;
图4为本发明的特征匹配交叉点示意图;
图5为本发明的基于激光标记点的空间位置匹配示意图。
图6为本发明的三维空间重构点示意图
具体实施方式
下面将结合附图对本发明进行详细说明。
本发明提出一种狭窄空间双目视觉测量定位装置,该装置包括双目视觉平台和视觉测量终端,其中双目视觉平台选择现有技术中基于空间四自由度的双目摄像机的视觉平台,视觉测量终端共有两组,每组视觉测量终端均有摄像机、激光器和伸缩标定板构成,两组视觉测量终端分别轴向对称的安装在双目视觉平台的两个运动转动轴上。将视觉测量终端根据狭窄空间的特点和视觉测量定位原理进行结构设计,然后将视觉测量终端安装在四自由度平台中的两个转动运动轴上。
现有技术中已有的基于空间四自由度的双目摄像机的视觉平台的结构图如图1所示:四个自由度分别为平台回转运动、平台俯仰运动的2个自由度以及视觉测量终端(即两台摄像机)转动轴转动的2个自由度。平台回转运动的目的是增大固定点在水平面内的视觉范围。平台俯仰运动的目的在于增大固定点在垂直平面内的视觉范围;视觉测量终端转动轴的转动的目的在于调整摄像机两光轴的交点,使其交点落在目标物体上。
本发明中对视觉测量终端进行结构设计,使其应用在狭窄空间的测量,如图2所示,其中视觉测量终端是狭窄空间双目测量的核心,最下端通过固定件固定摄像机,摄像机的上方通过固定件固定激光器,激光器的上方通过固定件安装伸缩标定板。伸缩标定板由收缩支撑杆、收缩旋转杆和棋牌格标定板组成,其中收缩支撑杆一端与固定件固定,使收缩支撑杆垂直于摄像机的镜头方向,另一端通过电机转轴与收缩旋转杆的一端连接,收缩旋转杆的另一端通过电机转轴与棋牌格标定板连接。
摄像机与激光器之间的间隔距离(即摄像机的最上端与激光器的最下端之间的距离)为3~5mm,激光器与伸缩标定板的收缩旋转杆之间的间隔间距(垂直距离)可以根据摄像机参数和激光器尺寸参数进行选择,具体的距离原则为:使得摄像机获取清晰的棋牌格标定板的图像。
棋牌格标定板与收缩旋转杆通过一个可以通过电机正反转控制的转轴连接,收缩支撑杆与收缩旋转杆也是通过转轴连接。摄像机进行标定时,通过控制电机,使收缩支撑杆与收缩旋转杆之间的转轴对应的控制电机正转,使收缩支撑杆与收缩旋转杆展开即收缩支撑杆与收缩旋转杆趋向平行方向转动,直至收缩旋转杆至与收缩支撑杆平行时展开完毕;然后控制收缩旋转杆与棋牌格标定板之间连接的转轴所对应的控制电机正转,棋牌格标定板平面由与收缩旋转杆的轴线平行旋转为与收缩旋转杆的轴线有一定的角度,当棋牌格标定板的平面旋转至垂直于收缩旋转杆的轴线时,棋牌格标定板展开完毕。标定完毕后,先控制收缩旋转杆与棋牌格标定板之间连接的转轴所对应的控制电机反转,棋牌格标定板平面由原来与收缩旋转杆的轴线垂直旋转为与轴线不垂直,当棋牌格标定板的平面旋转至与连接杆的轴线平行后,控制收缩支撑杆与收缩旋转杆连接之间连接的转轴所对应的控制电机反转,收缩旋转杆旋转收缩,收缩旋转杆旋转至与收缩支撑杆重叠时,棋牌格标定板收缩完毕。
摄像机、激光器和伸缩标定板均通过辅助的固定件固定在一个强度很大的薄钢片上;两组视觉测量终端分别安装在相应的薄钢片上。两个薄钢片分别与基于空间四自由度的双目摄像机的视觉平台的转动运动轴相连接,实现视觉测量终端与视觉平台的连接。
通过调整四个自由度,调整测试测试终端位置,使之能获取测试目标准确的图像;将伸缩棋牌格标定板打开,使左侧摄像机能够获取理想的左侧棋牌格标定板的图像,右侧摄像机获取理想的右侧标定板图像。然后对左右两个摄像机进行参数标定,标定完毕后,将棋牌格标定板回复到原始的收缩状态。
然后左右视觉测量终端中的激光器和摄像机工作,获取含有激光信息的被测目标图像,利用标定的摄像机参数,结合双目视觉测量原理,基于激光进行目标匹配,完成测量和定位。
根据狭窄空间的特性和摄像机成像及视觉测量的原理,基于空间四自由度的双目摄像机的视觉平台,利用固定件将摄像机、激光器和伸缩标定板固定在一强度满足要求的薄钢片上,组成狭窄空间视觉测量定位终端如图2,然后将其安装在基于空间四自由度的双目摄像机的视觉平台的转动运动轴上;摄像机标定时,通过控制视觉测量终端中收缩支撑杆和收缩旋转杆连接的转轴控制电机、收缩旋转杆和棋牌格标定板连接的转轴控制电机来使棋牌格标定板处于标定工作状态,对摄像机的标定依据图3a~图3d所示的进行;摄像机标定完后,仍然是通过控制视觉测量终端中收缩支撑杆和收缩旋转杆连接的转轴控制电机、收缩旋转杆和棋牌格标定板连接的转轴控制电机来收缩棋牌格标定板;此时,利用摄像机获取还有激光信号的目标图像,根据图4的双目视觉测量原理,在图像中含有显著激光信号的双目视觉测量,将显著的激光信号用在双目视觉匹配如图5所示,然后利用激光信号信息在双目视觉测量中的成像位置关系,如图6,计算激光信号点在空间的位置信息。
本发明提出一种狭窄空间双目视觉测量定位方法,具体包括以下几个步骤:
步骤一、摄像机实时标定
(1)标定图像的获取
当视觉测量终端在狭窄空间中进行视觉测量定位时,视觉测量终端中的摄像机需在给定的位置和环境下进行标定。此时,通过对伸缩棋牌格标定板的收缩旋转杆折叠展开的控制,将收缩旋转杆展开,同时展开棋牌格标定板。激光器和摄像机工作,激光器发出激光投射到棋牌格标定板上,摄像机获取有激光投射的棋牌格标定板图像。
摄像机成像几何关系如附图3a所示,o点称为摄像机光心,Xc轴和Yc轴与图像的坐标系中的X轴和Y轴相平行,Zc轴为摄像机光轴与世界坐标系(定义世界坐标系为欧式空间)的任意指定直角坐标系XW,YW,ZW坐标系中的ZW轴重合,光轴与图像平面的交点o′为图像坐标系的原点。XW,YW,ZW构成的坐标系为世界坐标系,Xc,Yc,Zc,o组成的坐标系为摄像机坐标系,X,Y,o′构成的坐标系为图像坐标系,o′与o的连线长度为摄像机的焦距f。狭窄空间视觉测量中摄像机成像模型为针孔模型,棋牌格标定板面上的点在测量选定的世界坐标系中的表示为Pi(xw,yw,zw)(i=1,2,...),i表示是棋牌格上的第几个点,w表示该点是以世界坐标系为参考坐标系;pi(u,v)(i=1,2,...)表示对应的Pi(xw,yw,zw)(i=1,2,...)在成像面上的所成相的像素,其中每一点的坐标(u,v)分别是该像素在整幅图像中所处的行数和列数。待标定的摄像机和激光器工作,激光器发出激光投射到棋牌格标定板上,摄像机获取有激光投射的棋牌格标定板图像。
(2)世界坐标系中的点与该点在摄像机坐标系中的点的关系
设空间中某一点在世界坐标系的位置为PW=(xw,yw,zw)T。在摄像机坐标系中的坐标为P=(x,y,z)T
则有关系式
x y z = R t x w y w z w - - - ( 1 )
式(1)用齐次坐标可以表示为
x y z 1 = R t 0 T 1 x w y w z w 1 = M 1 x w y w z w 1 - - - ( 2 )
其中M1表示世界坐标系到摄像机坐标系的变换矩阵。R描述了点Pw=(xw,yw,zw)T在欧式空间的姿态变换,称为旋转矩阵。R为一个3×3的正交矩阵,共有9个参数,也即是
R = r 11 r 12 r 13 r 21 r 22 r 23 r 31 r 32 r 33 - - - ( 3 )
其中rij表示世界坐标系i轴(i轴可以取XW,YW,ZW)与摄像机坐标系j轴(j轴可取Xc,Yc,Zc)的夹角的余弦值。
但是式(3)中的9个参数之间并不完全独立,而是存在以下约束。
r 11 2 + r 12 2 + r 13 2 = 1 r 21 2 + r 22 2 + r 23 2 = 1 r 31 2 + r 32 2 + r 33 2 = 1 r 11 r 21 + r 12 r 22 + r 13 r 23 = 1 r 11 r 31 + r 12 r 32 + r 13 r 33 = 1 r 31 r 21 + r 32 r 22 + r 33 r 23 = 1 - - - ( 4 )
式(4)说明旋转矩阵R只存在三个独立参数。
t=(tx,ty,tz)T为一个三维向量,表示点Pw=(xw,yw,zw)T在空间沿XW轴、YW轴、ZW的平移量,称为平移向量。
(3)世界坐标系中的点与该点在图像坐标系中对应点的关系
摄像机所拍摄的图像经过摄像机内图像采集系统转化为数字图像。数字图像在计算机内可以用一个m×n大小的数组来表示,m行n列中每一个元素(像素)的值既是图像点的亮度,又称灰度。在图像坐标系中坐标(u,v)分别表示像素在数组中所在的行和列,这样得到的坐标系是以像素为单位的图像坐标系。由于(u,v)是以像素为坐标,所以要建立以物理单位为单位的图像坐标系。如附图3b所示,以o′点为原点,X轴,Y轴分别与u,v轴平行,且以mm为单位,得到的是以毫米为单位的图像坐标系。通常情况下,我们将o′定义在摄像机光轴与图像平面的交点,该点通常位于图像中心处,设o′点在u,v坐标系中的坐标为(uo,vo)。
每一个像素在X,Y物理坐标系下的大小为dX,dY。这样可以得到u,v与X,Y和(uo,vo)换算关系为
u = X dX + u 0 v = Y dY + v 0 - - - ( 5 )
式(5)使用坐标与矩阵形式可以将上式表达为
u v 1 = 1 dX 0 u 0 0 1 dY v 0 0 0 1 X Y 1 - - - ( 6 )
因此,世界坐标系中的点Pw=(xw,yw,zw)T到图像坐标系中的点p(u,v)的坐标转换关系为以下关系。
s u v 1 = 1 dX 0 u 0 0 1 dY v 0 0 0 1 f 0 0 0 0 f 0 0 0 0 1 0 R t 0 T 1 x w y w z w 1 - - - ( 7 )
= α x 0 u 0 0 0 α y v 0 0 0 0 1 0 R t 0 T 1 x w y w z w 1 = M 1 M 2 x w y w z w 1 = M x w y w z w 1
其中,αx为u轴上的尺度因子,又称为u轴上的归一化焦距;αy为v轴上的尺度因子,又称为v轴上的的归一化焦距。M为3×4的投影矩阵。M1只与摄像机本身的参数相关,故称为摄像机内部参数;M2由摄像机在世界坐标系中的相对关系决定,故称为摄像机的外部参数。s是坐标转换的尺度因子。
(4)、摄像机的实时标定参数的计算
采用棋牌格标定板作为标定物,其平面靶标上有很多方格点,方格点即为标定点。用摄像机获取棋牌格标定板得图像。以下是标定计算处理的过程。
首先,将世界坐标建立在棋牌格所在的欧氏平面上(靶标平面位于世界坐标系的XwYw平面上,即z=0)。世界坐标系中棋牌格(尺寸已知)第一个顶点为P1=[0,0,0]T,第二个顶点为P2=[0,1,0]T,第三个点为P3=[1,1,0]T,第四个点为P4=[0,1,0]T。另外根据棋牌格的尺寸参数另外选取8个点:P5=[0,0.5,0]T,P6=[0.5,0,0]T,P7=[0.5,1,0]T,P8=[1,0.5,0]T,P9=[0.5,0.5,0]T,P10=[0,0.25,0]T,P11=[0.25,0,0]T,P12=[0.25,0.25,0]T
其次,采用成熟的图像处理当中特征点的提取方法,提取棋牌格四个角顶点及对应选取的其它点在图像平面上的二维点像素坐标。第一个点为p1=[u1,v1]T,第二个点为p2=[u2,v2]T,第三个点为p3=[u3,v3]T,第二个点为p4=[u4,v4]T。其它8个点:p5=[u5,v5]T,p6=[u6,v6]T,p7=[u7,v7]T,p8=[u8,v8]T,p9=[u9,v9]T,p10=[u10,v10]T,p11=[u11,v11]T,p12=[u12,v12]T
再次,计算待标定的空间点P1,P2,P3,P4…P12与图像点p1,p2,p3,p4…p12之间的映射关系。将第一个点为P1=[0,0,0]T,和第一个点为p1=[u1,v1]T,代入式(7)得到一个方程;然后依次分别将P2,p2;P3,p3…P12,p12代入式(7);可以得到12个方程。
最后,求解由12个棋牌格上的标定点所得到的12个方程与式(6)旋转矩阵R的每个元素的约束方程相联立的方程组。求解出摄像机的参数矩阵式M(8)。通过对棋牌格标定板的控制使得其回复到初始状态。
M = M 1 M 2 = α x 0 u 0 0 0 α y v 0 0 0 0 1 0 × R t 0 T 1
= α x 0 u 0 0 0 α y v 0 0 0 0 1 0 × r 11 r 12 r 13 t x r 21 r 22 r 23 t y r 31 r 32 r 33 t z 0 0 0 1 - - - ( 8 )
= m 11 m 12 m 13 m 14 m 21 m 22 m 23 m 24 m 31 m 32 m 33 m 34
其中mij由摄像机内部参数(αxy,u0,v0)和外部参数(rij,tx,ty,tz)矩阵根据矩阵的乘法得到。
通过上述步骤计算分别得到左侧摄像机和右侧摄像机的标定矩阵ML、MR
M L = m 11 L m 12 L m 13 L m 14 L m 21 L m 22 L m 23 L m 24 L m 31 L m 32 L m 33 L m 34 L , M R = m 11 R m 12 R m 13 R m 14 R m 21 R m 22 R m 23 R m 24 R m 31 R m 32 R m 33 R m 34 R - - - ( 9 )
其中由左摄像机内部参数和外部参数矩阵根据矩阵的乘法得到。由右摄像机内部参数和外部参数矩阵根据矩阵的乘法得到。
步骤二、基于激光的双目立体匹配与测量
测量定位终端的左右摄像机实时标定完成后,根据双目横向会聚模式的双目视觉测量原理,实际狭窄空间被测目标表面的一点Pw(Pw的坐标系为世界坐标系),在左摄像机中成的像为pL,右摄像机中成的像为pR,利用成熟的图像检测方法检测出在左摄像机点pL的坐标,在右摄像机点pR的坐标,然后利用该坐标求出点Pw的坐标如附图4所示,其中关键的问题是匹配左摄像机点pL和右摄像机点pR
本方法采用激光双目图像匹配,采取在CCD摄象机上方加装激光源发出的光照射到目标物体上,形成高噪音比的点,利用高噪音比的点很容易在两幅二维图象中找出匹配点,进而快速准确地完成空间点的匹配。如图5现有一目标物体放在视场中,两个激光器照在目标物体上的光有可能相交如附图5中的点N,两激光射线的交点也有可能不在物体表面上,如N不在物体表面上,显然,两激光射线的交点在物体表面上的情况,它是两激光射线的交点在物体表面照射点重合的一种特殊情况,因此可以利用两激光照在物体表面上的交点不在物体表面的方法进行分析。
N不在物体表面上,而是与物体表面分别相交于N1和N2点(当交点在物体表面时,N1和N2重合为一点),它们在左右成像平面上的投影分别是N1L、N1R、N2L、N2R。M点为两摄像机光轴的交点,FL和FR分别为两摄像机光学镜头的焦点。
通过N1L、N1R、N2L、N2R确定N1和N2点在世界坐标系中的位置,确定N1点在世界坐标系中位置。
如附图6所示,设N1L、N1R的坐标分别为(u1L,v1L),(u1R,v1R)。由式(7)和式(9)整理得
( u L 1 m 31 L - m 11 L ) x w + ( u L 1 m 32 L - m 12 L ) y w + ( u L 1 m 33 L - m 13 L ) z w = m 14 L - u L 1 m 34 L ( v L 1 m 31 L - m 21 L ) x w + ( v L 1 m 32 L - m 22 L ) y w + ( v L 1 m 33 L - m 23 L ) z w = m 24 L - v L 1 m 34 L - - - ( 10 )
( u R 1 m 31 R - m 11 R ) x w + ( u R 1 m 32 R - m 12 R ) y w + ( u R 1 m 33 R - m 13 R ) z w = m 14 R - u R 1 m 34 R ( v R 1 m 31 R - m 21 R ) x w + ( v R 1 m 32 R - m 22 R ) y w + ( v R 1 m 33 R - m 23 R ) z w = m 24 R - v R 1 m 34 R - - - ( 11 )
由式(10)消去xw
( u L 1 m 32 L - m 12 L u L 1 m 31 L - m 11 L - v L 1 m 32 L - m 22 L v L 1 m 31 L - m 21 L ) y w + ( u L 1 m 33 L - m 13 L u L 1 m 31 L - m 11 L - v L 1 m 33 L - m 23 L v L 1 m 31 L - m 21 L ) z w + u L 1 m 34 L - m 14 L u L 1 m 31 L - m 11 L - v L 1 m 34 L - m 24 L v L 1 m 31 L - m 21 L = 0 - - - ( 12 )
式(12)即为过射线且平行于xw轴的平面πL的方程。
由(11)消去xw
( u R 1 m 32 R - m 12 R u R 1 m 31 R - m 11 R - v R 1 m 32 R - m 22 R v R 1 m 31 R - m 21 R ) y w + ( u R 1 m 33 R - m 13 R u R 1 m 31 R - m 11 R - v R 1 m 33 R - m 23 R v R 1 m 31 R - m 21 R ) z w + u R 1 m 34 R - m 14 R u R 1 m 31 R - m 11 R - v R 1 m 34 R - m 24 R v R 1 m 31 R - m 21 R = 0 - - - ( 13 )
式(13)即为过射线且平行于xw轴的平面πR的方程。
联立式(10)和(13)可求得交点NL1在世界坐标系中的空间坐标。
联立式(11)和(12)可求得交点NR1在世界坐标系中的空间坐标。
取NL1和NR1的中点即为被测物体表面N1点坐标N1(xw,yw,zw)。
用同样的方法和步骤求得被测物体表面N2点的空间坐标。
当两个激光器的射线相交于物体表面上的一点时,则N1和N2点重合,上述求解步骤只需要进行一次即可求解出N1或N2点在世界坐标系的坐标。
当需要测量物体表面其它点时,这些点只能是两激光射线的交点,或者不是两个激光射线的交点,均可用上述的方法可以求出该点在世界坐标系中的位置信息。

Claims (4)

1.一种狭窄空间双目视觉测量定位装置,其特征在于:包括双目视觉平台和视觉测量终端,其中双目视觉平台选择基于空间四自由度的双目摄像机的视觉平台,视觉测量终端共有两组,每组视觉测量终端均有摄像机、激光器和伸缩标定板构成,两组视觉测量终端分别轴向对称的安装在双目视觉平台的两个运动转动轴上;基于空间四自由度的双目摄像机的视觉平台四个自由度分别为平台回转运动、平台俯仰运动的2个自由度以及视觉测量终端转动轴转动的2个自由度;
视觉测量终端的最下端通过固定件固定摄像机,摄像机的上方通过固定件固定激光器,激光器的上方通过固定件安装伸缩标定板,伸缩标定板由收缩支撑杆、收缩旋转杆和棋牌格标定板组成,其中收缩支撑杆一端与固定件固定,使收缩支撑杆垂直于摄像机的镜头方向,另一端通过电机转轴与收缩旋转杆的一端连接,收缩旋转杆的另一端通过电机转轴与棋牌格标定板连接;摄像机、激光器和伸缩标定板通过固定件固定在钢片上;两组视觉测量终端分别安装在相应的钢片上,两个钢片再分别与基于空间四自由度的双目摄像机的视觉平台的转动运动轴相连接,实现视觉测量终端与视觉平台的连接。
2.根据权利要求1所述的一种狭窄空间双目视觉测量定位装置,其特征在于:所述的摄像机进行标定时,使收缩支撑杆与收缩旋转杆之间的转轴对应的控制电机正转,使收缩支撑杆与收缩旋转杆展开即收缩支撑杆与收缩旋转杆趋向平行方向转动,直至收缩旋转杆至与收缩支撑杆平行时展开完毕;然后控制收缩旋转杆与棋牌格标定板之间连接的转轴所对应的控制电机正转,棋牌格标定板平面由与收缩旋转杆的轴线平行旋转为与收缩旋转杆的轴线有一定的角度,当棋牌格标定板的平面旋转至垂直于收缩旋转杆的轴线时,棋牌格标定板展开完毕;标定完毕后,先控制收缩旋转杆与棋牌格标定板之间连接的转轴所对应的控制电机反转,棋牌格标定板平面由原来与收缩旋转杆的轴线垂直旋转为与轴线不垂直,当棋牌格标定板的平面旋转至与连接杆的轴线平行后,控制收缩支撑杆与收缩旋转杆连接之间连接的转轴所对应的控制电机反转,收缩旋转杆旋转收缩,收缩旋转杆旋转至与收缩支撑杆重叠时,棋牌格标定板收缩完毕。
3.根据权利要求1所述的一种狭窄空间双目视觉测量定位装置,其特征在于:所述的摄像机与激光器之间的间隔距离为摄像机的最上端与激光器的最下端之间的距离,该距离为3~5mm。
4.根据权利要求1所述的一种狭窄空间双目视觉测量定位装置,其特征在于:所述的激光器与伸缩标定板的收缩旋转杆之间的垂直间隔间距根据摄像机参数和激光器尺寸参数进行选择。
CN201210191014.7A 2012-06-11 2012-06-11 一种狭窄空间双目视觉测量定位装置及方法 Expired - Fee Related CN102692214B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210191014.7A CN102692214B (zh) 2012-06-11 2012-06-11 一种狭窄空间双目视觉测量定位装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210191014.7A CN102692214B (zh) 2012-06-11 2012-06-11 一种狭窄空间双目视觉测量定位装置及方法

Publications (2)

Publication Number Publication Date
CN102692214A CN102692214A (zh) 2012-09-26
CN102692214B true CN102692214B (zh) 2014-11-05

Family

ID=46857827

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210191014.7A Expired - Fee Related CN102692214B (zh) 2012-06-11 2012-06-11 一种狭窄空间双目视觉测量定位装置及方法

Country Status (1)

Country Link
CN (1) CN102692214B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103271784B (zh) * 2013-06-06 2015-06-10 山东科技大学 基于双目视觉的人机交互式机械手控制系统和控制方法
CN103512558B (zh) * 2013-10-08 2016-08-17 北京理工大学 一种锥形目标双目视频位姿测量方法及靶标图案
CN103747207A (zh) * 2013-12-11 2014-04-23 深圳先进技术研究院 基于视频监控网络的定位与追踪方法
CN104197926B (zh) * 2014-08-06 2017-08-11 北京信息科技大学 一种采用主动视觉方式的机器人导航装置
CN106272437B (zh) * 2016-10-12 2018-11-09 吉林大学 一种用于并联机器人双目视觉定位的最优视场求取装置
CN106625673B (zh) * 2016-12-29 2019-09-24 南京天祥智能设备科技有限公司 狭小空间装配系统及装配方法
CN108074260A (zh) * 2017-11-15 2018-05-25 深圳市诺龙技术股份有限公司 一种目标物体对象定位的方法和装置
CN108230396A (zh) * 2017-12-08 2018-06-29 深圳市商汤科技有限公司 标定装置和标定设备
CN107941456A (zh) * 2018-01-02 2018-04-20 中国空气动力研究与发展中心低速空气动力研究所 一种立式风洞双目视觉测量系统标定架
CN109212546B (zh) * 2018-09-27 2021-05-18 北京伟景智能科技有限公司 双目相机深度方向测量误差的计算方法和装置
CN109363677A (zh) * 2018-10-09 2019-02-22 中国人民解放军第四军医大学 乳腺电阻抗扫描成像手持式检测探头体表定位系统及方法
CN109754428B (zh) * 2018-11-26 2022-04-26 西北工业大学 一种用于水下双目视觉定位误差的测量方法
CN109458991A (zh) * 2019-01-08 2019-03-12 大连理工大学 一种基于机器视觉的结构位移和转角的监测方法
CN112407344B (zh) * 2020-09-28 2022-06-28 中国空间技术研究院 空间非合作目标的位姿预测方法和装置
CN112562008B (zh) * 2020-11-30 2022-04-08 成都飞机工业(集团)有限责任公司 一种局部双目视觉测量中的靶标点匹配方法
CN116570439B (zh) * 2023-07-13 2023-09-22 小舟科技有限公司 智能轮椅控制模式切换方法及装置、设备、存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101226640A (zh) * 2007-12-21 2008-07-23 西北工业大学 基于多双目立体视觉的运动捕获方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101226640A (zh) * 2007-12-21 2008-07-23 西北工业大学 基于多双目立体视觉的运动捕获方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
"A New Stereo Matching Algorithm for Binocular Vision";Tao Hu et al;《International Conference on Convergence and Hybrid Information Technology 2009》;20090829;第42-44页 *
"双目立体视觉的目标识别与定位";尚倩等;《智能系统学报》;20110831;第6卷(第4期);第303-311页 *
"带激光源的双目立体视觉机构设计";朱兴龙等;《电气技术与自动化》;20050831;第34卷(第4期);第129-131页 *
Tao Hu et al."A New Stereo Matching Algorithm for Binocular Vision".《International Conference on Convergence and Hybrid Information Technology 2009》.2009,第42-44页. *
尚倩等."双目立体视觉的目标识别与定位".《智能系统学报》.2011,第6卷(第4期),第303-311页. *
朱兴龙等."带激光源的双目立体视觉机构设计".《电气技术与自动化》.2005,第34卷(第4期),第129-131页. *

Also Published As

Publication number Publication date
CN102692214A (zh) 2012-09-26

Similar Documents

Publication Publication Date Title
CN102692214B (zh) 一种狭窄空间双目视觉测量定位装置及方法
CN103759670B (zh) 一种基于数字近景摄影的物体三维信息获取方法
CN103267491B (zh) 自动获取物体表面完整三维数据的方法及系统
US9965870B2 (en) Camera calibration method using a calibration target
CN100562707C (zh) 双目视觉转轴标定方法
CN104299261B (zh) 人体三维成像方法及系统
CN102927908B (zh) 机器人手眼系统结构光平面参数标定装置及方法
CN103954221B (zh) 大型柔性结构振动位移的双目摄影测量方法
CN101393012B (zh) 双目立体视觉测量装置
US10021340B2 (en) Method and an apparatus for generating data representative of a light field
CN103759669B (zh) 一种大型零件的单目视觉测量方法
CN102679959B (zh) 基于主动全景视觉传感器的全方位三维建模系统
CN104034263B (zh) 一种锻件尺寸的非接触测量方法
CN108288292A (zh) 一种三维重建方法、装置及设备
CN104346829A (zh) 基于pmd相机和摄像头的彩色三维重建系统及其方法
CN100417231C (zh) 立体视觉半实物仿真系统及方法
CN104424630A (zh) 三维重建方法及装置、移动终端
CN105115560B (zh) 一种船舱舱容的非接触测量方法
JP2020506487A (ja) シーンから深度情報を取得するための装置および方法
CN109712232B (zh) 一种基于光场的物体表面轮廓三维成像方法
CN106127745A (zh) 结构光3d视觉系统与线阵相机的联合标定方法及装置
CN105046743A (zh) 一种基于全局变分技术的超高分辨率三维重建方法
CN102072706A (zh) 一种多相机定位与跟踪方法及系统
CN107689065A (zh) 一种gps双目摄像机标定及空间点重建方法
CN104268876A (zh) 基于分块的摄像机标定方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20141105

Termination date: 20150611

EXPY Termination of patent right or utility model