CN114757849A - 一种具有高动态范围的成像方法 - Google Patents
一种具有高动态范围的成像方法 Download PDFInfo
- Publication number
- CN114757849A CN114757849A CN202210462653.6A CN202210462653A CN114757849A CN 114757849 A CN114757849 A CN 114757849A CN 202210462653 A CN202210462653 A CN 202210462653A CN 114757849 A CN114757849 A CN 114757849A
- Authority
- CN
- China
- Prior art keywords
- image
- target calibration
- calibration plate
- target
- alpha
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 71
- 230000009466 transformation Effects 0.000 claims description 55
- 238000000034 method Methods 0.000 claims description 44
- 238000006243 chemical reaction Methods 0.000 claims description 32
- 239000011159 matrix material Substances 0.000 claims description 20
- 230000003287 optical effect Effects 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 17
- 230000004927 fusion Effects 0.000 claims description 16
- 238000005286 illumination Methods 0.000 claims description 15
- 238000013519 translation Methods 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 9
- 238000003491 array Methods 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 5
- IHQKEDIOMGYHEB-UHFFFAOYSA-M sodium dimethylarsinate Chemical class [Na+].C[As](C)([O-])=O IHQKEDIOMGYHEB-UHFFFAOYSA-M 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims 2
- 238000003466 welding Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 230000036544 posture Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 241000540325 Prays epsilon Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提出一种具有高动态范围的成像方法,涉及高动态范围成像的技术领域,高动态光照下目标借助专用的光路系统,并基于平行布置的图像采集装置获取同一时刻的高动态图像,保证了光线光程差的一致性,提高了成像的帧率,后对采集的图像进行尺度变换、配准以及并行融合,实现高动态的成像,形成特征丰富、成像清晰的照片,定位出视场范围内目标的位置,从而为工业焊接下一时刻的焊接方向轨迹提供判别依据。
Description
技术领域
本发明涉及高动态范围成像的技术领域,更具体地,涉及一种具有高动态范围的成像方法。
背景技术
动态范围(Dynamic Range)是可变化信号(例如光信号或者声音信号)最大值与最小值的比值。在计算机图形学和相关行业,特别是涉及电影、游戏、模拟、虚拟现实和军事应用的行业,要求显示更真实的图像,即更精确地匹配所要表示的真实场景的合成图像。在工业界,如大构件待焊接轨迹等对传统视觉动态成像范围(40-60db)也提出了更高的要求(100db以上),因此,将视觉成像技术应用至工业界,需要更大的成像动态范围阈值以适应不同的成像场景。
然而,在正常的光照下,传统成像设备成像时,存在以下两种情况:(a)当高亮目标成像清晰时,暗黑区域的目标无法获取;(b)当暗黑的目标清晰成像时,高亮目标的成像较为模糊。上述两种情况使得高动态成像技术在高动态光照下,尤其在工业焊接应用时,无法获得较为完整的目标成像,成像质量差、不准确。
现有技术中公开了一种具有高动态范围的成像方法,整体上是利用普通相机拍摄的低动态范围图像与神经形态相机拍摄的图像(后重建为高动态范围灰度图),输入至训练好的神经网络中完成融合成像操作,然而,这种首先获取同一场景下的多张把不同曝光参量的低动态图像,然后将获取的多曝光图像按照一定的融合规则生成高动态范围图像的方式较为费时,难以实现实时高动态成像,并且配准以及融合时参数多变、计算量大、精度不高,难以精准衡量不同成像之间的空间及时间联系,不利于成像后进一步在工业界实际焊接领域的指导和应用。
发明内容
为解决传统的高动态范围成像方法成像费时,且成像间的空间及时间联系难以衡量的问题,本发明提出一种具有高动态范围的成像方法,成像质量高,便于获取有效的图像信息,为强弧光下的焊接、强光下的水面目标、逆光成像等高动态成像领域提供全信息的稳定成像解决方案。
为解决上述技术问题,本发明的技术方案如下:
一种具有高动态范围的成像方法,包括以下步骤:
S1.搭建供高动态光照光线传播的光路系统,沿光线在光路系统中的传播,平行布置α个图像采集装置;
S2.在待测平面上放置目标标定板,变换目标标定板的位姿,利用高动态光照入射待测平面的目标标定板,光路系统将高动态光照下的标定板分为α个成像光路后,入射α个图像采集装置;
S3.利用α个图像采集装置分别采集目标标定板的图像,得到α张目标标定板图像,基于α张目标标定板图像对α个图像采集装置的内参数与外参数进行标定,确定α个图像采集装置的内参数与外参数;
S4.对α张目标标定板图像分别进行特征提取,提取到图像感兴趣区域,并输出图像感兴趣区域的特征点集;
S5.基于α个图像采集装置的内参数与外参数、图像感兴趣区域的特征点集,利用双线性插值法对同一时刻下α张目标标定板图像进行尺度变换;
S6.对尺度变换后的α张目标标定板图像进行配准;
S7.对配准后的α张目标标定板图像对应的二维数组进行并行融合,得到融合后的全画幅图像对应的数组,进而对视场范围内的目标进行定位。
优选地,在步骤S1中,搭建的光路系统包括滤光镜、设置于滤光镜正上方且底面积与滤光镜面积匹配的α棱镜、平面镜,α为不小于3的整数;所述平面镜共α面,每一面平面镜的一端立于滤光镜所在的平面,每一面平面镜沿位于滤光镜所在平面的一端向另一端倾斜放置,α面平面镜环绕于α棱镜的周围,α个镜面分别面向α棱镜的一个棱面,高动态光照光线由滤光镜入射,再经滤光镜入射至α棱镜,α棱镜将入射光线分束为同一平面上的α路光线,分别进入α面平面镜,α面平面镜分别将α路光线反射。
在此,高动态光线由待测平面进入光路系统的滤光镜时,光束将进行分离并由一定波段的光进入α棱镜中,由α棱镜将入射光线分为同一平面上的α路,α路光线分别进入平面镜,由平面镜分别将光线作为图像采集装置的入射光线,此时图像采集装置上的光感编码器感受到光线的传播,将产生信号传导至处理器端进行控制,由处理端对信号进行分析后,下达采集命令至图像采集装置,进行图像采集,图像采集装置能在同一时刻下获取同一视场下的成像,减少时序带来的图像误差,光路系统保证了光线的光程差一致,且α个图像采集装置平行布置,运动干涉小,降低后续计算工作量,提高了成像的帧率。
优选地,在步骤S2中,所述的目标标定板为棋盘格标定板,尺寸为(2n+1)*(2n+1),其中,n表示棋盘格的格数,目标标定板的位姿能在α个图像采集装置的视场范围的六个自由度内变换5~6次,在目标标定板的位姿每变换一次时,α个图像采集装置同时采集目标标定板图像1~2次。通过调整目标标定板的不同位姿,可以使得图像采集装置采集到标定靶的图像。
优选地,基于α张目标标定板图像,采用张正友标定法对α个图像采集装置的内参数与外参数进行标定,标定后确定的α个图像采集装置的内参数分别表示为{K1,K2,...,Kα},外参数分别表示为{C1,C2,...,Cα}。
在此,由于目标标定板的位置变化后,图像采集装置的外参数会跟着变化,因此,图像采集装置的外参数需单独标定,但外参数的变化,不影响确定图像采集装置的本身属性。
优选地,在步骤S4中,设α张目标标定板图像提取到的图像感兴趣区域表示为{I1,I2,...,Iα},在每一张目标标定板图像提取图像感兴趣区域的过程中,对于每一张目标标定板图像,当其某个像素的灰度值小于目标标定板图像的灰度均方差时,则该像素的灰度值默认为0;否则,该像素的灰度值不变,过程满足表达式:
输出图像感兴趣区域的特征点集的过程为:
利用SIFT法寻找每一张目标标定板图像感兴趣区域中存在的极值点,遍历一张目标标定板图像感兴趣区域中的每一个像素点,并将该像素点的灰度值与其相邻的所有点比较,当其灰度值大于或小于图像域、尺度域内的所有相邻点的灰度值时,视作极大值点;并且在尺度空间、二维图像空间上进行每一个像素点的遍历搜索,以确保充分检测到极值点,那么每一张目标标定板图像感兴趣区域的特征点集分别为{P1,P2,...,Pα}。
在此,提取图像感兴趣区域之前还包括对图像进行预处理,剔除冗余信息。
优选地,设α个图像采集装置在同一时刻采集的同一视场下目标标定板图像内参数{K1,K2,...,Kα}的像素值表示为{(u1,v1),(u2,v2),...,(uα,vα)},图像大小表示为{(U1,V1)、(U2,V2),...,(Uα,Vα)},U1≠U2,...,≠Uα,V1≠V2,...,≠Vα;
设目标图像以同一时刻α幅目标标定板图像分辨率的最小公倍数为准,即:
ku=〔u1,u2,...,uα〕,kv=〔v1,v2,...,vα〕;
其中,ku表示α幅目标标定板图像中长边的最小公倍数,kv表示α幅目标标定板图像中宽边的最小公倍数;
设尺寸变换后目标标定板图像所占用的像素表示为{(u1',v1'),(u2',v2'),...,(uα',vα')},图像大小表示为{(U1-1,V1-1)、(U2-1,V2-1),...,(Uα-1,Vα-1)},尺度变换后的目标标定板图像像素与尺度变换前的目标标定板图像像素存在以下关系:
u1'=u2'=....=uα'=ku
v1'=v2'=...=vα'=kv
对于α幅目标标定板图像中的任意一幅目标标定板图像λ,λ=1,2,...,α;尺度变换后的目标标定板图像大小与尺度变换前的目标标定板图像大小存在以下关系:
Uλ-1=Uλ*(ku/uλ),Vλ-1=Vλ*(kv/vλ)。
在此,由于每个图像采集装置的分辨率不同,因此,每个图像采集装置采集的图像大小不一致,则目标标定板所占图像像素不一致,为保证后续图像配准的精度,将α幅目标标定板图像统一在同一分辨率下进行尺寸变换。
优选地,α幅目标标定板图像内每一个棋盘格格子占用的像素大小表示为{(u1/n,v1/n),(u2/n,v2/n),...,(uα/n,vα/n)},利用双线性插值法对同一时刻下α张目标标定板图像进行尺度变换,使尺寸变换后的α张目标标定板图像内每一个棋盘格格子所占用的像素数一致,目标图像上一个格子所占用像素为(ku/(2n+1),kv/(2n+1)),经过图像尺度变换后,则α幅目标标定板图像对应单个格子的像素变化为(ku/(2n+1),kv/(2n+1)),对于α幅目标标定板图像中的任意一幅目标标定板图像λ,λ=1,2,...,α,对应单个格子的像素与目标图像上一个格子所占用像素之差为|uλ-uλ'|,则须向目标标定板图像λ进行|uλ-uλ'|次线性差值,得到尺度变换后的α张目标标定板图像的过程为:
S51.定义目标标定板图像λ以及目标图像的左上角为坐标原点,取目标标定板图像λ点坐标Q11(x1,y1)、Q12(x2,y2)、Q21(x3,y3)、Q22(x4,y4)的灰度值函数f,且Q11,Q12,Q21,Q22,R1,R2,Z∈Pλ,Pλ表示目标标定板图像λ感兴趣区域输出的特征点集;
S52.在x方向进行线性插值,其关系如下:
接着进行y方向插值,其关系如下:
S53.目标标定板图像λ上某点T(x,y),x1<x<x2,y1<y<y2,其灰度值f(x,y)由下式得到:
S54.对齐插值后的目标标定板图像λ与目标图像之间的几何中心:
已知目标标定板图像λ与目标图像之间的边长比分别为设目标标定板图像λ上某点的像素为(i,j),目标图像上的点坐标为(i',j')的像素点通过边长比映射到目标图像上的像素点,即尺度变换后待转换图像上的像素点与原图像的像素点关系如下式:
至此,目标标定板图像λ与目标图像之间实现尺寸变换的统一。采用双线性插值方法对异源图像进行图像尺度变换,以保证同一时刻下目标标定板图像像素精度一致。
优选地,在步骤S6中,对尺度变换后的α张目标标定板图像进行配准时,基于特征基点标识及空间变换的方式,建立尺度变换后的α张目标标定板图像之间的配准模型,以使其变换至同一坐标系下;
设α个图像采集装置中任一个图像采集装置λ的像平面坐标系为Oλ-XλYλ,任一个图像采集装置η的像平面坐标系为Oη-XηYη,图像采集装置λ与图像采集装置η之间的坐标转换关系由(Rλη、Tλη)表示,Rλη表示图像采集装置λ的像平面坐标系与图像采集装置η的像平面坐标系之间的旋转矩阵,Tλη表示图像采集装置λ的像平面坐标系与图像采集装置η的像平面坐标系之间平移矩阵;Tλ、Tη分别表示图像采集装置λ与图像采集装置η的平移矩阵,Rλ、Rη分别表示图像采集装置λ与图像采集装置η的旋转矩阵;
其中,空间点与平面坐标之间的映射关系以及不同成像坐标系之间的转换关系满足:
对于实际待测物体表面上存在的点Q,其世界坐标为Qw,Q点在图像采集装置λ的像平面坐标系与图像采集装置η中的坐标表示为:
Qλ=RλQw+Tλ
Qη=RηQw+Tη
将图像采集装置λ设为目标坐标系,则:
Qλ=RληQη+Tλη
图像采集装置λ与图像采集装置η分别获取的目标标定板图像λ与目标标定板图像η的感兴趣区域的特征点集分别为Pλ与Pη,其变换关系表示为:
Pη(x,y)=kRληPη(x,y)+Tλη。
在此,配准是为了将目标板定板图像变换到同一坐标系下,图像坐标系上的匹配点可实现转换,以克服成像装置安装带来的误差,保证成像质量。
优选地,对尺度变换后的α张目标标定板图像进行配准还包括:
建立棋盘格坐标,获取变换位姿情况下的目标标定板的棋盘格四个外顶点点的坐标,在得到四个外顶点的坐标后,建立外顶点的局部坐标系,从而建立目标标定板图像外顶点与目标标定板编码的对应关系,依据棋盘格内角点世界坐标编号与内角点的矩阵坐标系编号的对应关系,实现目标标定板图像标志点的匹配,得到尺度变换后的α张目标标定板图像之间的配准程度,待测图像对应离散信号得到扩展,配准基准点在扩展后的全画幅图像对应二维数组中所处的位置相同。这个过程能提高图像之间特征点匹配的精度,对于简单多变形顶点可以自适应获取坐标。
优选地,设α个图像采集装置中图像采集装置λ采集的目标标定板图像λ尺寸变换、配准后为图像a,图像采集装置η目标标定板图像η采集的目标标定板图像η尺寸变换、配准后为图像b,图像a、图像b的离散特征二维点集分别为P1,P2,fA,fB分别是图像a与图像b的灰度值,则:
其中,其中,i=1,2,3,4,5……,n,m为像素坐标值
设图像a的有效特征空间为FA,图像b有效特征空间为FB,目标图像的特征空间为Ω,对于任意的样本ξ∈Ω,且ξ相应的2个特征矢量为g∈FA,β∈FB,并行融合公式定义为:
ξ=g+β
基于以上公式对图像a、图像b融合得到目标图像全画幅对应的二维数组图像;数组计算如下:
由此可实现同一时刻下的α副图像拼接,进而获取有效的图像信息,为下一时刻焊接方向轨迹提供判别依据。
与现有技术相比,本发明技术方案的有益效果是:
本发明提出一种具有高动态范围的成像方法,高动态光照下目标借助专用的光路系统,并基于平行布置的图像采集装置获取同一时刻的高动态图像,保证了光线光程差的一致性,提高了成像的帧率,后对采集的图像进行尺度变换、配准以及并行融合,实现高动态的成像,形成特征丰富、成像清晰的照片,定位出视场范围内目标的位置,从而为工业焊接下一时刻的行进轨迹方向提供判别依据。
附图说明
图1表示本发明实施例1中提出的具有高动态范围的目标成像定位方法的流程图;
图2表示本发明实施例1中搭建的光路系统的结构图;
图3表示本发明实施例2中提出的同一时刻下目标标定板图像进行尺度变换的过程示意图;
图4表示本发明实施例2中提出的差值变换图;
图5表示本发明实施例2中提出的目标标定板单个格子的像素尺度变换图;
图6表示本发明实施例3中提出的角点的空间变化图;
图7表示本发明实施例3中提出的标志点匹配原理图;
图8表示本发明实施例4中提出的图像a的示意图;
图9表示本发明实施例4中提出的图像b的示意图;
图10表示本发明实施例4中提出的图像a与图像b并行融合的图像示意图。
具体实施方式
附图仅用于示例性说明,不能理解为对本专利的限制;
为了更好说明本实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;
对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
本实施例提出了一种一种具有高动态范围的目标成像定位方法,该方法的流程图参见图1,具体包括以下步骤:S1.搭建供高动态光照光线传播的光路系统,沿光线在光路系统中的传播,平行布置α个图像采集装置;
S2.在待测平面上放置目标标定板,变换目标标定板的位姿,利用高动态光照入射待测平面的目标标定板,光路系统将高动态光照下的标定板分为α个成像光路后,入射α个图像采集装置;
S3.利用α个图像采集装置分别采集目标标定板的图像,得到α张目标标定板图像,基于α张目标标定板图像对α个图像采集装置的内参数与外参数进行标定,确定α个图像采集装置的内参数与外参数;
S4.对α张目标标定板图像分别进行特征提取,提取到图像感兴趣区域,并输出图像感兴趣区域的特征点集;
S5.基于α个图像采集装置的内参数与外参数、图像感兴趣区域的特征点集,利用双线性插值法对同一时刻下α张目标标定板图像进行尺度变换;
S6.对尺度变换后的α张目标标定板图像进行配准;
S7.对配准后的α张目标标定板图像对应的二维数组进行并行融合,得到融合后的全画幅图像对应的数组,进而对视场范围内的目标进行定位。
在具体实施时,高动态光照下目标借助专用的光路系统,并基于平行布置的图像采集装置获取同一时刻的高动态图像,保证了光线光程差的一致性,提高了成像的帧率,后对采集的图像进行尺度变换、配准以及并行融合,实现高动态的成像,形成特征丰富、成像清晰的照片,从而定位出视场范围内目标的位置,在工业界领域的焊接时,对于焊接图像,该方法为下一时刻的焊接行进轨迹方向提供判别依据。
在本实施例中,对搭建的光路系统进行介绍,如图2所示,光路系统包括滤光镜1、设置于滤光镜1正上方且底面积与滤光镜1面积匹配的α棱镜2、平面镜3,α为不小于3的整数;所述平面镜3共α面,每一面平面镜3的一端立于滤光镜1所在的平面,每一面平面镜3沿位于滤光镜1所在平面的一端向另一端倾斜放置,α面平面镜3环绕于α棱镜2的周围,α个镜面分别面向α棱镜2的一个棱面,高动态光照光线由滤光镜1入射,再经滤光镜1入射至α棱镜2,α棱镜2将入射光线分束为同一平面上的α路光线,分别进入α面平面镜3,α面平面镜3分别将α路光线反射。
在此,α棱镜2为四棱镜,高动态光线由待测平面进入光路系统的滤光镜1时,光束将进行分离并由一定波段的光进入四棱镜中,由四棱镜将入射光线分为同一平面上的四路,如图2所示,分别是箭头所示的①②③④,四路光线分别进入平面镜3,由平面镜3分别将光线作为图像采集装置的入射光线,图2中4表示图像采集装置,图像采集装置共4个,分别为红外相机、微光相机、大曝光量彩色相机、小曝光量彩色相机,此时图像采集装置上的光感编码器感受到光线的传播,将产生信号传导至处理器端进行控制,由处理端对信号进行分析后,下达采集命令至图像采集装置,进行图像采集,获取同一时刻下不同曝光参数下的成像,避免了时序差的影响,该光路系统保证了光线的光程差一致,且4个图像采集装置平行布置,运动干涉小,降低了后续计算工作量,提高了成像的帧率,然后所有相机拍摄的图像传送至千兆交换机,接着由千兆交换机传送至处理器,即传送至图像预处理子系统内对某一时刻下不同相机拍摄图像进行分析,将获得的四幅图像经过尺度变换、配准、融合后,形成特征丰富、成像清晰的照片,最终定位出图像采集装置视场范围内目标的位置。
实施例2
在步骤S2中,目标标定板为棋盘格标定板,尺寸为(2n+1)*(2n+1),其中,n表示棋盘格的格数,目标标定板的位姿能在α个图像采集装置的视场范围的六个自由度内变换5~6次,在目标标定板的位姿每变换一次时,α个图像采集装置同时采集目标标定板图像1~2次。通过调整目标标定板的不同位姿,可以使得图像采集装置采集到标定靶的图像,结合图2所示的光路系统结构,四个图像采集装置分别为相机I~相机IV,基于α张目标标定板图像,采用张正友标定法对α个图像采集装置的内参数与外参数进行标定,由于目标标定板的位置变化后,图像采集装置的外参数会跟着变化,因此,图像采集装置的外参数需单独标定,但外参数的变化,不影响确定图像采集装置的本身属性。
以相机I的标定为例,基于图像像素灰度值变化的梯度方法提取相机拍摄视场内标定棋盘格上的任意4个角点,令标定图片处在世界坐标系的Zw=0中,则相机理想成像模型可以写成如下形式:
其中,s为非零的尺度变换因子,γ主要代表图像x、y轴间表现的倾斜度,K表示相机的内参,设H=[r1,r2,t]T表示相机的外参,m=[u,v,1]T表示为像素坐标值,M=[Xw,Yw,Zw,1]表示世界坐标系上的值,令H=[h1,h2,h3]=qK[r1,r2,t]T',则:sm=HM,其中,r1 Tr2=0,||r1||=||r2||=1,进而可得以下内参约束关系式:
每一个角点可以得到两个等式,从标定靶图像中选取四个以上的角点,其中三个角点满足不共线即可求得矩阵H。故每张标定靶图像可以获得一个H矩阵,即:
即可改写为:
进一步可得:
令h’=[h11,h12,h13,h21,h22,h23,h31,h32,h33]T,那么有:
利用内参的正交矩阵约束条件来构造矩阵,即令B=C-TC-1即可得到相机I的内外参数。以上,可求得相机I的内参数为K1,外参数为C1。同理,按照以上标定步骤,可知相机II、相机III、相机IV的内参数为K2,K3,K4,相机II、相机III、相机IV的外参数为C2,C3,C4,即标定后确定的4个图像采集装置的内参数分别表示为{K1,K2,K3,K4},外参数分别表示为{C1,C2,C3,C4}。
在步骤S4中,提取图像感兴趣区域之前对图像进行预处理,以剔除冗余信息,设α张目标标定板图像提取到的图像感兴趣区域表示为{I1,I2,...,Iα},在每一张目标标定板图像提取图像感兴趣区域的过程中,对于每一张目标标定板图像,当其某个像素的灰度值小于目标标定板图像的灰度均方差时,则该像素的灰度值默认为0;否则,该像素的灰度值不变,过程满足表达式:
其中,f(x,y)表示某个像素的灰度值,E(∑(f(x,y)-I))2表示目标标定板图像的灰度均方差,表示目标标定板图像的平均灰度值,u*v表示目标标定板图像像素;依据上式,相机I~相机IV对应的图像I输出感兴趣区域为I1,图像II感兴趣区域为I2,图像III感兴趣区域为I3,图像IV感兴趣区域为I4。
输出图像感兴趣区域的特征点集的过程为:
利用SIFT法寻找每一张目标标定板图像感兴趣区域中存在的极值点,遍历一张目标标定板图像感兴趣区域中的每一个像素点,并将该像素点的灰度值与其相邻的所有点比较,当其灰度值大于或小于图像域、尺度域内的所有相邻点的灰度值时,视作极大值点;并且在尺度空间、二维图像空间上进行每一个像素点的遍历搜索,以确保充分检测到极值点,那么每一张目标标定板图像感兴趣区域的特征点集分别为{P1,P2,...,Pα},在本实施例中,4个图像采集装装置采集的目标标定板图像分别为Image1、Image2、Image3、Image4,输出的图像特征点集分别为P1、P2、P3、P4。
设α个图像采集装置在同一时刻采集的同一视场下目标标定板图像内参数{K1,K2,...,Kα}像素值表示为{(u1,v1),(u2,v2),...,(uα,vα)},图像大小表示为{(U1,V1)、(U2,V2),...,(Uα,Vα)},U1≠U2,...,≠Uα,V1≠V2,...,≠Vα;即在本实施例中,Image1、Image2、Image3、Image4分别代表相机I、相机II、相机III、相机IV在同一时刻拍摄同一视场下标定板的图像,其中Image1标定板所占用像素为(u1,v1),Image2标定板所占像素为(u2,v2),其中Image3标定板所占像素为(u3,v3),其中Image4标定板所占像素为(u4,v4),其中,Image1、Image2、Image3、Image4的图像大小分别为(U1,V1)、(U2,V2)、(U3,V3)、(U4,V4),由于每个相机的分辨率不同,因此每个相机拍摄的图像大小不一致,即U1≠U2≠U3≠U4,V1≠V2≠V3≠V4,因此标定板所占图像像素不一致,为保证后续图像配准的精度,四张图像应统一在同一分辨率下进行尺寸变换,本专利采用双线性插值方法对异源图像进行图像尺度变换,以保证同一时刻下标定板图像像素精度一致。目标图像以同一时刻四幅标定板图像分辨率的最小公倍数为准:
ku=〔u1,u2,u3,u4〕,kv=〔v1,v2,v3,v4〕;
其中,ku表示4幅目标标定板图像中长边的最小公倍数,kv表示4幅目标标定板图像中宽边的最小公倍数;
设尺寸变换后目标标定板图像所占用的像素表示为{(u1',v1'),(u2',v2'),...,(uα',vα')},图像大小表示为{(U1-1,V1-1)、(U2-1,V2-1),...,(Uα-1,Vα-1)},尺度变换后的目标标定板图像像素与尺度变换前的目标标定板图像像素存在以下关系:
u1'=u2'=....=uα'=ku
v1'=v2'=...=vα'=kv
即尺度变换后的标定板图像像素与尺度变换前的标定板图像像素存在以下关系:
u1'=u2'=u3'=u4'=ku
v1'=v2'=v3'=v4'=kv
对于α幅目标标定板图像中的任意一幅目标标定板图像λ,λ=1,2,...,α;尺度变换后的目标标定板图像大小与尺度变换前的目标标定板图像大小存在以下关系:
Uλ-1=Uλ*(ku/uλ),Vλ-1=Vλ*(kv/vλ)。
即在本实施例中,尺度变化按前后图像图幅大小的关系如下:
U1-1=U1*(ku/u1),V1-1=V1*(kv/v1)
U2-1=U2*(ku/u2),V2-1=V2*(kv/v2)
U3-1=U3*(ku/u3),V3-1=V3*(kv/v3)
U4-1=U4*(ku/u4),V4-1=V4*(kv/v4)
已知相机I内参数K1,其中相机I的内参像素值为(u1,v1),即在Image1上标定板区域内一个格子占用Image1的像素大小为(u1/n,v1/n),如图2所示,同样,根据上述标定结果,相机II、相机III、相机IV的标定结果分别为K2、K3、K4,即表示Image2、Image3、Image4上的标定板一个格子占用像素大小分别为(u2/n,v2/n)、(u3/n,v3/n)、(u4/n,v4/n),将Image1、Image2、Image3、Image4上的像素扩展为同一尺寸,即Image1、Image2、Image3、Image4上的标定板每一格子所占像素数均一致,输出结果如图3所示。该过程用线性插值方法实现,利用双线性插值法对同一时刻下4张目标标定板图像进行尺度变换,使尺寸变换后的4张目标标定板图像内每一个棋盘格格子所占用的像素数一致,目标图像上一个格子所占用像素为(ku/(2n+1),kv/(2n+1)),经过图像尺度变换后,则4幅目标标定板图像对应单个格子的像素变化为(ku/(2n+1),kv/(2n+1)),对于4幅目标标定板图像中的任意一幅目标标定板图像λ,λ=1,2,3,4,对应单个格子的像素与目标图像上一个格子所占用像素之差为|uλ-uλ'|,则须向目标标定板图像λ进行|uλ-uλ'|次线性差值,以相机I为例,得到Image1与目标图像之间尺度变换的过程为:
S51.参见图4及图5,定义目标标定板图像λ以及目标图像的左上角为坐标原点(图5中的圆点),取目标标定板图像λ的点坐标Q11(x1,y1)、Q12(x2,y2)、Q21(x3,y3)、Q22(x4,y4)的灰度值函数f,且Q11,Q12,Q21,Q22,R1,R2,Z∈P1,P1表示目标标定板图像Image1感兴趣区域输出的特征点集;
S52.在x方向进行线性插值,其关系如下:
接着进行y方向插值,其关系如下:
S53.目标标定板图像Image1上某点T(x,y),x1<x<x2,y1<y<y2,其灰度值f(x,y)由下式得到:
S54.对齐插值后的目标标定板图像Image1与目标图像之间的几何中心:
已知目标标定板图像Image1与目标图像之间的边长比分别为设目标标定板图像Image1上某点的像素为(i,j),目标图像上的点坐标为(i',j')的像素点通过边长比映射到目标图像上的像素点,即尺度变换后待转换图像上的像素点与原图像的像素点关系如下式:
至此,目标标定板图像Image1与目标图像之间实现尺寸变换的统一,按照以上步骤可以实现Image2、Image3、Image4与目标图像之间的尺度变换。采用双线性插值方法对异源图像进行图像尺度变换,以保证同一时刻下目标标定板图像像素精度一致。
实施例3
在步骤S6中,对尺度变换后的α张目标标定板图像进行配准时,基于特征基点标识及空间变换的方式,建立尺度变换后的α张目标标定板图像之间的配准模型,以使其变换至同一坐标系下;
设α个图像采集装置中任一个图像采集装置λ的像平面坐标系为Oλ-XλYλ,任一个图像采集装置η的像平面坐标系为Oη-XηYη,图像采集装置λ与图像采集装置η之间的坐标转换关系由(Rλη、Tλη)表示,Rλη表示图像采集装置λ的像平面坐标系与图像采集装置η的像平面坐标系之间的旋转矩阵,Tλη表示图像采集装置λ的像平面坐标系与图像采集装置η的像平面坐标系之间平移矩阵;Tλ、Tη分别表示图像采集装置λ与图像采集装置η的平移矩阵,Rλ、Rη分别表示图像采集装置λ与图像采集装置η的旋转矩阵;
在本实施例中,坐标系O1-X1Y1是相机I的成像平面坐标系;坐标系O2-X2Y2是为相机II的成像平面坐标系,坐标系O3-X3Y3是为相机III像平面坐标系;坐标系O4-X4Y4是为相机IV像平面坐标系;空间待测点P在成像I、成像II、成像III、成像IV坐标系上的映射点为P1、P2、P3、P4,A1B1C1D1、A1B1C1D2、A1B1C1D3、A1B1C1D4分别是标定板在成像坐标系中的位置;其中,相机I成像面与相机II成像面之间的坐标转换关系由(R12、T12)表示,分别是图像坐标系O1-X1Y1与图像坐标系O2-X2Y2之间的旋转矩阵以及平移矩阵;同理,(R13、T13)分别表示图像坐标系O1-X1Y1与图像坐标系O3-X3Y3之间的转换关系;(R14、T14)分别表示图像坐标系O1-X1Y1与图像坐标系O4-X4Y4之间的转换关系;点P是实际待测物体表面上(成像平面为二维)存在的点,其世界坐标为Pw。
其中,空间点与平面坐标之间的映射关系以及不同成像坐标系之间的转换关系满足:对于实际待测物体表面上存在的点Q,其世界坐标为Qw,Q点在图像采集装置λ的像平面坐标系与图像采集装置η中的坐标表示为:
Qλ=RλQw+Tλ
Qη=RηQw+Tη
将图像采集装置λ设为目标坐标系,则:
Qλ=RληQη+Tλη
图像采集装置λ与图像采集装置η分别获取的目标标定板图像λ与目标标定板图像η的感兴趣区域的特征点集分别为Pλ与Pη,其变换关系表示为:
Pη(x,y)=kRληPη(x,y)+Tλη。
配准是为了将目标板定板图像变换到同一坐标系下,图像坐标系上的匹配点可实现转换,以克服成像装置安装带来的误差,保证成像质量。
那么对于已知相机I、相机II各自平移矩阵分别为T1、T2,旋转矩阵为R1、R2。那么P点在两个坐标系中的坐标系可表示为
将左相机坐标系设为目标坐标系,可以得出:
P1=R12P2+T12
其中,
由上式结果可知,空间点与平面坐标之间的映射关系以及不同成像坐标系之间的转换关系,由此,空间点P完成在成像坐标系O1-X1Y1以及O2-X2Y2之间的转换,即图像坐标系上的匹配点可实现转换。
以上即为相机II相对于相机I的转换关系。同理,相机III、相机IV相对于相机I的空间位置关系转换过程与上相同。
对尺度变换后的α张目标标定板图像进行配准还包括:
建立棋盘格坐标,获取变换位姿情况下的目标标定板的棋盘格四个外顶点点的坐标,在得到四个外顶点的坐标后,建立外顶点的局部坐标系,从而建立目标标定板图像外顶点与目标标定板编码的对应关系,依据棋盘格内角点世界坐标编号与内角点的矩阵坐标系编号的对应关系,实现目标标定板图像标志点的匹配,得到尺度变换后的α张目标标定板图像之间的配准程度,待测图像对应离散信号得到扩展,配准基准点在扩展后的全画幅图像对应二维数组中所处的位置相同。这个过程能提高图像之间特征点匹配的精度,对于简单多变形顶点可以自适应获取坐标。
由于特征点中存在特殊的转换关系,因此Image2-1~Image4-1与Image1-1之间特征点的转换关系可按照以下步骤进行:
由于图像的空间变换具有平行线转换成平行线、有限点映射到有限点的一般特性,平移、镜像、缩放等是二维空间变换的特例,假设空间中某点(x,y)是关于直线ax+by+c=0的镜像点为(x′,y′),综合以上变换特例,某点坐标经过平移、镜像、缩放后的坐标可以用空间变换表示为:
即简化为:
p′(x′,y′)=kRp(x,y)+t
式中,p′(x′,y′)、p(x,y)是坐标矢量,k为缩放因子。
即Image1-1与Image2-1空间特征点集变换表示为:
p2(x,y)=kR12p1(x,y)+T12
为提高图像之间特征点匹配的精度,参见图6,针对简单多变形顶点的获取方法,结合姿态无规律变化的棋盘格的四个外顶点坐标的自适应获取的方法如下:
(1)以图像左上点为原点o1,水平方向为u轴,垂直方向为v轴,建立坐标系o1uv,以棋盘格左上方顶点为原点o2,左上方顶点与右上方顶点的连线为r轴,左上方顶点与左下方顶点的连线为s轴,建立坐标系o2rs;
(2)假设棋盘格坐标系和图像坐标系完全重合,其四个顶点分别为A1(x1,y1)、A2(xm,y1)、A3(xm,yn)、A4(x1,yn);Aij(xij,yij)为棋盘格坐标系中沿r方向的第i,s方向的第j的角点,且1≤i≤m、1≤j≤n,m、n、i、j∈Z;
(3)当棋盘格的位姿在视场中无规律变化时,假设坐标系o1uv与o2rs之间的平移矩阵为T=[ax,ay,0]T,旋转矩阵R=[0,0,θ]T,其中0≤ax、0≤ay,-45≤θ≤45(其余角度都可以看成是对称、镜像或者相隔360度的整数周期,故仅讨论此角度范围);εx、εy代表x、y方向棋盘格的长度为恒常量,当不考虑畸变时,εx=εy=ε,此时Aij在棋盘格坐标系o2rs中的定位坐标为:
(4)当棋盘格在视场内的位姿发生变化后,依据棋盘格坐标与图像坐标之间的映射关系,棋盘格内任意一点Aij(rij,sij)在图像坐标系中的坐标Aij′(uij,vij)满足以下关系:
即:
由此可知:
由于-45≤θ≤45,故cosθ+sinθ≥0,cosθ-sinθ≥0,此外,当棋盘格位置确定后ax、ay、θ、ε均为恒常数,即:
①当i=1、j=1时,uij+vij取最小值,此时为棋盘格的外顶点A1;
①当i=m、j=n时,uij+vij取最小值,此时刚好为棋盘格的外顶点A3;
①当i=m、j=1时,uij-vij取最大值,此时为棋盘格的外顶点A4;
①当i=1、j=n时,uij-vij取最小值,此时为棋盘格的外顶点A2;
由上述的理论推理结果可知,棋盘格的4个外顶点的计算规则如下:
在求得外顶点的图像定位坐标后,需建立图像外顶点与棋盘格标定板编码建立起对应关系,为此建立外顶点的局部坐标系,利用外四顶点定位信息进行标志点的匹配:
对棋盘格的内角点世界坐标按照从左到右,从上到下的规则进行编号;
(2)假设获取的内角点为Bp(u,v)(1≤p≤196,且p∈z),通过上述棋盘格顶点识别算法,自动获取内角点的四个外顶点坐标B1′(左上)、B2′(右上)、B3′(右下)、B4′(左下),以B1′为原点,B1′B4′为v轴,B1′B2′为u轴,建立局部棋盘格坐标系O3u3v3。
(3)将图像坐标系中的内角点Bp(u,v)转换到局部坐标系O3u3v3中,得到内角点新的坐标Cp(u,v),其变化关系如下:
Cp=R3T3Bp
式中,R3为外顶点坐标系与内角点坐标系之间的旋转矩阵,T3为外顶点坐标系与内角点坐标系之间的平移矩阵,其表达式如下:
(4)依据角点Cp(u,v)图像定位中标中的u,v值大小,进行排序,其排序规则为:将u值大小一致的排位一行,在此基础上,按照一行中,从左到右,v值从小到大排列的规则进行排序,得到新的角点图像定位坐标Cq(u,v)(1≤q≤196,且q∈z);
(5)按照内角点图像定位坐标Cq(u,v)从左到右,从上到下的规则一次编号,得到的编号结果如图7所示;
(6)依据棋盘格内角点世界坐标编号与内角点的矩阵坐标系编号的对应关系,实现标志点的匹配。
(7)根据上述标志点匹配的结果,假设不同图像之间标定板内特征点集或图像的特征点集分别为P1,P2,P3,P4,即:
E是元素全为1的m维列向量。
利用最小二乘法求取Image1-2与待配准点集之间标准差的极小值
其中,i=2,3,4。令上式满足最小化的条件如下:
令
(kR)*=Q′Q-1
求解(kR)*即可得知Image1-2与Image2-2、Image3-2、Image4-2的配准程度如何。
实施例4
设α个图像采集装置中图像采集装置λ采集的目标标定板图像λ尺寸变换、配准后为图像a,图像采集装置η目标标定板图像η采集的目标标定板图像η尺寸变换、配准后为图像b,分别如图8与图9所示,图像a、图像b的离散特征二维点集分别为P1,P2,fA,fB分别是图像a与图像b的灰度值,则:
其中,其中,i=1,2,3,4,5……,n;
由于采用基于图像配准的技术待测图像对应离散信号扩展后,配准基准点在扩展后的全画幅图像对应二维数组中所处的位置相同,因此可以采用简单、有效的并行融合算法进行处理,设图像a的有效特征空间为FA,图像b有效特征空间为FB,目标图像的特征空间为Ω,对于任意的样本ξ∈Ω,且ξ相应的2个特征矢量为g∈FA,β∈FB,并行融合公式定义为:
ξ=g+β
基于以上公式对图像a、图像b融合得到目标图像全画幅对应的二维数组图像,如图10所示;数组计算如下:
由此可实现同一时刻下的α副图像拼接,进而获取有效的图像信息,为下一时刻焊接方向轨迹提供判别依据。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种具有高动态范围的成像方法,其特征在于,包括以下步骤:
S1.搭建供高动态光照光线传播的光路系统,沿光线在光路系统中的传播,平行布置α个图像采集装置;
S2.在待测平面上放置目标标定板,变换目标标定板的位姿,利用高动态光照入射待测平面的目标标定板,光路系统将高动态光照下的标定板分为α个成像光路后,入射α个图像采集装置;
S3.利用α个图像采集装置分别采集目标标定板的图像,得到α张目标标定板图像,基于α张目标标定板图像对α个图像采集装置的内参数与外参数进行标定,确定α个图像采集装置的内参数与外参数;
S4.对α张目标标定板图像分别进行特征提取,提取到图像感兴趣区域,并输出图像感兴趣区域的特征点集;
S5.基于α个图像采集装置的内参数与外参数、图像感兴趣区域的特征点集,利用双线性插值法对同一时刻下α张目标标定板图像进行尺度变换;
S6.对尺度变换后的α张目标标定板图像进行配准;
S7.对配准后的α张目标标定板图像对应的二维数组进行并行融合,得到融合后的全画幅图像对应的数组,进而对视场范围内的目标进行定位。
2.根据权利要求1所述的具有高动态范围的成像方法,其特征在于,在步骤S1中,搭建的光路系统包括滤光镜、设置于滤光镜正上方且底面积与滤光镜面积匹配的α棱镜、平面镜,α为不小于3的整数;所述平面镜共α面,每一面平面镜的一端立于滤光镜所在的平面,每一面平面镜沿位于滤光镜所在平面的一端向另一端倾斜放置,α面平面镜环绕于α棱镜的周围,α个镜面分别面向α棱镜的一个棱面,高动态光照光线由滤光镜入射,再经滤光镜入射至α棱镜,α棱镜将入射光线分束为同一平面上的α路光线,分别进入α面平面镜,α面平面镜分别将α路光线反射。
3.根据权利要求2所述的具有高动态范围的成像方法,其特征在于,在步骤S2中,所述的目标标定板为棋盘格标定板,尺寸为(2n+1)*(2n+1),其中,n表示变量,目标标定板的位姿能在α个图像采集装置的视场范围的六个自由度内变换5~6次,在目标标定板的位姿每变换一次时,α个图像采集装置同时采集目标标定板图像1~2次。
4.根据权利要求3所述的具有高动态范围的成像方法,其特征在于,在步骤S3中,基于α张目标标定板图像,采用张正友标定法对α个图像采集装置的内参数与外参数进行标定,标定后确定的α个图像采集装置的内参数分别表示为{K1,K2,...,Kα},外参数分别表示为{C1,C2,...,Cα}。
5.根据权利要求4所述的具有高动态范围的成像方法,其特征在于,在步骤S4中,设α张目标标定板图像提取到的图像感兴趣区域表示为{I1,I2,...,Iα},在每一张目标标定板图像提取图像感兴趣区域的过程中,对于每一张目标标定板图像,当其某个像素的灰度值小于目标标定板图像的灰度均方差时,则该像素的灰度值默认为0;否则,该像素的灰度值不变,过程满足表达式:
输出图像感兴趣区域的特征点集的过程为:
利用SIFT法寻找每一张目标标定板图像感兴趣区域中存在的极值点,遍历一张目标标定板图像感兴趣区域中的每一个像素点,并将该像素点的灰度值与其相邻的所有点比较,当其灰度值大于或小于图像域、尺度域内的所有相邻点的灰度值时,视作极大值点;并且在尺度空间、二维图像空间上进行每一个像素点的遍历搜索,以确保充分检测到极值点,那么每一张目标标定板图像感兴趣区域的特征点集分别为{P1,P2,...,Pα}。
6.根据权利要求5所述的具有高动态范围的成像方法,其特征在于,设α个图像采集装置在同一时刻采集的同一视场下目标标定板图像内参数{K1,K2,...,Kα}的像素值表示为{(u1,v1),(u2,v2),...,(uα,vα)},图像大小表示为{(U1,V1)、(U2,V2),...,(Uα,Vα)},U1≠U2,...,≠Uα,V1≠V2,...,≠Vα;
设目标图像以同一时刻α幅目标标定板图像分辨率的最小公倍数为准,即:
ku=〔u1,u2,...,uα〕,kv=〔v1,v2,...,vα〕;
其中,ku表示α幅目标标定板图像中长边的最小公倍数,kv表示α幅目标标定板图像中宽边的最小公倍数;
设尺寸变换后目标标定板图像所占用的像素表示为{(u1',v1'),(u2',v2'),...,(uα',vα')},图像大小表示为{(U1-1,V1-1)、(U2-1,V2-1),...,(Uα-1,Vα-1)},尺度变换后的目标标定板图像像素与尺度变换前的目标标定板图像像素存在以下关系:
u1'=u2'=....=uα'=ku
v1'=v2'=...=vα'=kv
对于α幅目标标定板图像中的任意一幅目标标定板图像λ,λ=1,2,...,α;尺度变换后的目标标定板图像大小与尺度变换前的目标标定板图像大小存在以下关系:
Uλ-1=Uλ*(ku/uλ),Vλ-1=Vλ*(kv/vλ)。
7.根据权利要求6所述的具有高动态范围的成像方法,其特征在于,α幅目标标定板图像内每一个棋盘格格子占用的像素大小表示为{(u1/n,v1/n),(u2/n,v2/n),...,(uα/n,vα/n)},利用双线性插值法对同一时刻下α张目标标定板图像进行尺度变换,使尺寸变换后的α张目标标定板图像内每一个棋盘格格子所占用的像素数一致,目标图像上一个格子所占用像素为(ku/(2n+1),kv/(2n+1)),经过图像尺度变换后,则α幅目标标定板图像对应单个格子的像素变化为(ku/(2n+1),kv/(2n+1)),对于α幅目标标定板图像中的任意一幅目标标定板图像λ,λ=1,2,...,α,对应单个格子的像素与目标图像上一个格子所占用像素之差为|uλ-uλ'|,则须向目标标定板图像λ进行|uλ-uλ'|次线性差值,得到尺度变换后的α张目标标定板图像的过程为:
S51.定义目标标定板图像λ以及目标图像的左上角为坐标原点,取目标标定板图像λ点坐标Q11(x1,y1)、Q12(x2,y2)、Q21(x3,y3)、Q22(x4,y4)的灰度值函数f,且Q11,Q12,Q21,Q22,R1,R2,Z∈Pλ,Pλ表示目标标定板图像λ感兴趣区域输出的特征点集;
S52.在x方向进行线性插值,其关系如下:
接着进行y方向插值,其关系如下:
S53.目标标定板图像λ上某点T(x,y),x1<x<x2,y1<y<y2,其灰度值f(x,y)由下式得到:
S54.对齐插值后的目标标定板图像λ与目标图像之间的几何中心:
已知目标标定板图像λ与目标图像之间的边长比分别为设目标标定板图像λ上某点的像素为(i,j),目标图像上的点坐标为(i',j')的像素点通过边长比映射到目标图像上的像素点,即尺度变换后待转换图像上的像素点与原图像的像素点关系如下式:
至此,目标标定板图像λ与目标图像之间实现尺寸变换的统一。
8.根据权利要求7所述的具有高动态范围的成像方法,其特征在于,在步骤S6中,对尺度变换后的α张目标标定板图像进行配准时,基于特征基点标识及空间变换的方式,建立尺度变换后的α张目标标定板图像之间的配准模型,以使其变换至同一坐标系下;
设α个图像采集装置中任一个图像采集装置λ的像平面坐标系为Oλ-XλYλ,任一个图像采集装置η的像平面坐标系为Oη-XηYη,图像采集装置λ与图像采集装置η之间的坐标转换关系由(Rλη、Tλη)表示,Rλη表示图像采集装置λ的像平面坐标系与图像采集装置η的像平面坐标系之间的旋转矩阵,Tλη表示图像采集装置λ的像平面坐标系与图像采集装置η的像平面坐标系之间平移矩阵;Tλ、Tη分别表示图像采集装置λ与图像采集装置η的平移矩阵,Rλ、Rη分别表示图像采集装置λ与图像采集装置η的旋转矩阵;
其中,空间点与平面坐标之间的映射关系以及不同成像坐标系之间的转换关系满足:
对于实际待测物体表面上存在的点Q,其世界坐标为Qw,Q点在图像采集装置λ的像平面坐标系与图像采集装置η中的坐标表示为:
Qλ=RλQw+Tλ
Qη=RηQw+Tη
将图像采集装置λ设为目标坐标系,则:
Qλ=RληQη+Tλη
图像采集装置λ与图像采集装置η分别获取的目标标定板图像λ与目标标定板图像η的感兴趣区域的特征点集分别为Pλ与Pη,其变换关系表示为:
Pη(x,y)=kRληPη(x,y)+Tλη。
9.根据权利要求8所述的具有高动态范围的成像方法,其特征在于,对尺度变换后的α张目标标定板图像进行配准还包括:
建立棋盘格坐标,获取变换位姿情况下的目标标定板的棋盘格四个外顶点点的坐标,在得到四个外顶点的坐标后,建立外顶点的局部坐标系,从而建立目标标定板图像外顶点与目标标定板编码的对应关系,依据棋盘格内角点世界坐标编号与内角点的矩阵坐标系编号的对应关系,实现目标标定板图像标志点的匹配,得到尺度变换后的α张目标标定板图像之间的配准程度,待测图像对应离散信号得到扩展,配准基准点在扩展后的全画幅图像对应二维数组中所处的位置相同。
10.根据权利要求9所述的具有高动态范围的成像方法,其特征在于,设α个图像采集装置中图像采集装置λ采集的目标标定板图像λ尺寸变换、配准后为图像a,图像采集装置η目标标定板图像η采集的目标标定板图像η尺寸变换、配准后为图像b,图像a、图像b的离散特征二维点集分别为P1,P2,fA,fB分别是图像a与图像b的灰度值,则:
其中,其中,i=1,2,3,4,5……,n,m为像素坐标值;
设图像a的有效特征空间为FA,图像b有效特征空间为FB,目标图像的特征空间为Ω,对于任意的样本ξ∈Ω,且ξ相应的2个特征矢量为g∈FA,β∈FB,并行融合公式定义为:
ξ=g+β
基于以上公式对图像a、图像b融合得到目标图像全画幅对应的二维数组图像;数组计算如下:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210462653.6A CN114757849A (zh) | 2022-04-28 | 2022-04-28 | 一种具有高动态范围的成像方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210462653.6A CN114757849A (zh) | 2022-04-28 | 2022-04-28 | 一种具有高动态范围的成像方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114757849A true CN114757849A (zh) | 2022-07-15 |
Family
ID=82333298
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210462653.6A Pending CN114757849A (zh) | 2022-04-28 | 2022-04-28 | 一种具有高动态范围的成像方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114757849A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117934574A (zh) * | 2024-03-22 | 2024-04-26 | 深圳市智兴盛电子有限公司 | 行车记录仪图像优化方法、装置、设备及存储介质 |
CN118714464A (zh) * | 2024-08-29 | 2024-09-27 | 南昌工程学院 | 一种cmt焊接场景的高动态范围图像在线合成方法 |
-
2022
- 2022-04-28 CN CN202210462653.6A patent/CN114757849A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117934574A (zh) * | 2024-03-22 | 2024-04-26 | 深圳市智兴盛电子有限公司 | 行车记录仪图像优化方法、装置、设备及存储介质 |
CN118714464A (zh) * | 2024-08-29 | 2024-09-27 | 南昌工程学院 | 一种cmt焊接场景的高动态范围图像在线合成方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109813251B (zh) | 用于三维测量的方法、装置以及系统 | |
CN110782394A (zh) | 全景视频快速拼接方法及系统 | |
CN112525107B (zh) | 一种基于事件相机的结构光三维测量方法 | |
CN111145269B (zh) | 一种鱼眼相机与单线激光雷达的外方位元素的标定方法 | |
CN113686314B (zh) | 船载摄像头的单目水面目标分割及单目测距方法 | |
CN113643436B (zh) | 一种深度数据拼接融合方法及装置 | |
CN115797461A (zh) | 基于双目视觉的火焰空间定位系统标定与校正方法 | |
CN110782498A (zh) | 一种视觉传感网络的快速通用标定方法 | |
CN109859137A (zh) | 一种广角相机非规则畸变全域校正方法 | |
CN116309844A (zh) | 一种基于无人机单张航空图片的三维测量方法 | |
CN114998448A (zh) | 一种多约束双目鱼眼相机标定与空间点定位的方法 | |
CN115345942A (zh) | 空间标定方法、装置、计算机设备和存储介质 | |
CN115082538A (zh) | 基于线结构光投影的多目视觉平衡环零件表面三维重建系统及方法 | |
Nguyen et al. | CalibBD: Extrinsic calibration of the LiDAR and camera using a bidirectional neural network | |
CN116147534A (zh) | 一种基于镜面辅助的多视角三维激光扫描系统及复杂表面全景测量方法 | |
CN114757849A (zh) | 一种具有高动态范围的成像方法 | |
CN113554709A (zh) | 一种基于偏振信息的相机-投影仪系统标定方法 | |
CN114792345A (zh) | 一种基于单目结构光系统的标定方法 | |
CN112712566B (zh) | 基于结构参数在线校正的双目立体视觉传感器测量方法 | |
CN113963065A (zh) | 一种基于外参已知的镜头内参标定方法及装置、电子设备 | |
CN112258581A (zh) | 一种多鱼眼镜头全景相机的现场标定方法 | |
CN111583388A (zh) | 一种三维扫描系统的扫描方法及设备 | |
CN114485479B (zh) | 基于双目相机和惯性导航的结构光扫描测量方法及系统 | |
CN115588127A (zh) | 一种机载激光点云与多光谱影像融合的方法 | |
CN112995641B (zh) | 一种3d模组成像装置及方法、电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |