CN107945166B - 基于双目视觉的待测物体三维振动轨迹的测量方法 - Google Patents

Abstract

本发明公开了基于双目视觉的待测物体三维振动轨迹的测量方法，包括如下步骤：使用两个摄像机拍摄待测物体，获得视频流数据；两个摄像机的视频流数据均选择同一时间的一帧数据作为第一帧，并得到待测物体在第一帧中的像素坐标；通过像素相似度计算待测物体在第二帧与第一帧之间的偏移向量，并得到待测物体在第二帧中的匹配像素坐标，并结合两个摄像机的像素坐标和世界坐标之间的关系，计算待测物体在第二帧中的世界坐标；使用待测物体在第二帧中的匹配像素坐标和第二帧与第三帧的像素相似度计算第三帧的估计像素坐标和待测物体在第三帧时相应的世界坐标；按此重复，直至得到待测物体在测量时间段内的三维振动轨迹。本发明方法简单、测量精度高。

Description

基于双目视觉的待测物体三维振动轨迹的测量方法

技术领域

本发明涉及视频监控领域，具体涉及一种基于双目视觉的待测物体三维振动轨迹的测量方法。

背景技术

仪器设备如旋转设备在运行过程中容易产生较大的噪音，对静音性要求较高的场景，为了使旋转设备降低噪声，需要对旋转设备的运行情况进行监测，获取旋转设备的振动信息，从而采取主动降噪的方法减少旋转设备运行时的噪音。传统的监测旋转设备运行常常采用应变片式测量方法，这种方法主要是在二维甚至是一维上使用，三维上是实现不了的。而旋转设备的三维振动信息可以提供大量的运行资料，供工人对旋转设备进行降噪。目前，获取仪器设备的三维振动信息是一个难题。

发明内容

针对现有技术中存在的缺陷，本发明的目的在于提供一种基于双目视觉的待测物体三维振动轨迹的测量方法，该方法可以获取待测物体的三维振动轨迹，简单实用，测量精度高。

为达到以上目的，本发明采取的技术方案是：基于双目视觉的待测物体三维振动轨迹的测量方法，其包括两个方位不同的摄像机，两摄像机的透镜镜面位于同一平面上，且中轴线平行；其包括如下步骤：

使用两个摄像机拍摄待测物体，并获得两个摄像机的视频流数据；

两个摄像机的视频流数据均选择同一时间的一帧数据作为第一帧，并得到待测物体在第一帧中的像素坐标；

通过像素相似度计算待测物体在第二帧与第一帧之间的偏移向量，并得到待测物体在第二帧中的估计像素坐标，若估计像素坐标达到精度要求，则确定该估计像素坐标为待测物体在第二帧中的匹配像素坐标，并结合两个摄像机的像素坐标和世界坐标之间的关系，计算待测物体在第二帧中的世界坐标；

使用待测物体在第二帧中的匹配像素坐标和第二帧与第三帧的像素相似度计算待测物体在第三帧中的估计像素坐标和待测物体在第三帧时相应的世界坐标；

按此重复，直至得到待测物体在测量时间段内的三维振动轨迹。

进一步地，计算待测物体在第二帧中的估计像素坐标的方法包括如下步骤：

A1：选定两摄像机图像的宽高分别为W和H；待测物体最大宽高分别为w和h，待测物体在第一帧I₀中的像素坐标为(i₀,j₀)，像素分布为A₀：

A2：在第二帧I中搜索待测物体，选定搜索框的宽度和高度分别为w和h，设定搜索框的像素坐标为(i,j)，像素分布为A：

A3：计算偏移向量：

其中，ω(i,j)为像素相似度，且

，n为搜索框在第二帧中搜索时偏移的次数，(x_n,y_n)为搜索框在第二帧中第n次偏移后的像素坐标，(i,j)的取值范围是距离(x_n,y_n)最近的

个像素点的像素坐标；(i_n,j_n)为距离(x_n,y_n)最近的

个像素点的像素坐标的取值范围；

A4：令

则待测物体在第二帧中估计像素坐标为(x’_n，y’_n)＝m(x_n，y_n)＝(x_n，y_n)+M(x_n，y_n)。

进一步地，判断估计像素坐标是否为待测物体在第二帧中的匹配像素坐标的方法为：

如果||M(x_n,yn)||≤ε或者n＞N_max，则估计像素坐标为待测物体在第二帧中的匹配像素坐标；

如果||M(x_n,yn)||＞ε且n≤N_max，则返回步骤A3；

其中，ε为预设的待测物体在第二帧中跟踪步长的阈值，N_max为预设搜索框在第二帧中搜索时最大偏移次数。

进一步地，测量之前，分别获取两摄像机的内参数矩阵和两摄像机的外参数矩阵。

进一步地，外参数矩阵和外参数矩阵获取方法为张正友标定法。

进一步地，像素坐标与世界坐标转换公式为：

其中，

为内参数矩阵，

为外参数矩阵，(u,v)为待测物体在像素坐标系中的坐标；(u₀,v₀)为图像平面中心；(x,y)为待测物体在像平面坐标中的坐标；(X_W,Y_W,Z_W)为待测物体在世界坐标系中的坐标。

与现有技术相比，本发明的优点在于：

(1)本发明提供的方法，测量精度高，方法简单，基于待测物体在图像中的像素特征，在每一帧中计算整幅图像与待测物体的像素相似度，再根据像素相似度计算偏移向量，通过不断迭代得到满足条件的偏移向量，从而确定待测物体在每一帧中的匹配像素坐标。根据待测物体在两个摄像机中的匹配像素坐标即可确定三维坐标。

(2)本发明的测量方法属于一种非接触式测量方法，摄像机可安装在相对封闭的空间，因此测量方法适用于工作在恶劣环境的振动对象；耐用性高，摄像机既不与振动对象接触，工作环境也相对较好，可长时间使用。

(3)相对于传统应变片式测量，本发明提供的测量方法可以获取待测物体的三维振动信息，跟踪待测物体，并对振动轨迹有完整的记录，可以进行大量的振动分析。

附图说明

图1为本发明实施例提供的测量方法的流程图。

具体实施方式

以下结合附图及实施例对本发明作进一步详细说明。

需要说明的是，“选定”以及“预设”数据是直接确定的；“设定”的数据是需要经过计算后才能确定的。

参见图1所示，本发明实施例提供一种基于双目视觉的待测物体三维振动轨迹的测量方法，其包括两个方位不同的摄像机，两摄像机的透镜镜面位于同一平面上，且中轴线平行；其包括如下步骤：

使用两个摄像机拍摄待测物体，并获得两个摄像机的视频流数据；

两个摄像机的视频流数据均选择同一时间的一帧数据作为第一帧，并得到待测物体在第一帧中的像素坐标；第一帧中的像素坐标为选定的，因此，其为直接确定，作为计算待测物体在第二帧中的像素坐标的依据。

通过像素相似度计算待测物体在第二帧与第一帧之间的偏移向量，并得到待测物体在第二帧中的估计像素坐标，若估计像素坐标达到精度要求，则确定该估计像素坐标为待测物体在第二帧中的匹配像素坐标，并结合两个摄像机的像素坐标和世界坐标之间的关系，计算待测物体在第二帧中的世界坐标；

使用待测物体在第二帧中的匹配像素坐标和第二帧与第三帧的像素相似度计算待测物体在第三帧中的估计像素坐标和待测物体在第三帧时相应的世界坐标；也就是，判断待测物体在第三帧的估计像素坐标是否达到精度要求，如果达到，确定该估计像素坐标为待测物体在第三帧中的匹配像素坐标。

按此重复，直至得到待测物体在测量时间段内的三维振动轨迹，也就是，按照上述的通过待测物体在第一帧的像素坐标计算待测物体在第二帧中的像素坐标，再根据已经计算出来的待测物体在第二帧中的像素坐标来计算待测物体在第三帧中的像素坐标，接着根据已经计算出来的待测物体在第三帧中的像素坐标来计算待测物体在第四帧中的像素坐标，依次类推，进行计算，最终得到待测物体在测量时间段内的每一帧中的像素坐标，根据摄像机的像素坐标和世界坐标之间的转换关系，就可以得到待测物体在测量时间段内的每一帧中的世界坐标。

本发明的原理为：通过待测物体在上一帧中的匹配像素坐标计算当前帧中的匹配像素坐标，利用两个摄像机拍摄待测物体，对于同一时间待测物体在两个摄像机中的匹配像素坐标，结合两个摄像机的像素坐标和世界坐标之间的关系，即可计算待测物体在该时刻的世界坐标。

在测量时，两个摄像机同时进行，而且两摄像机的测量步骤和计算方法都是相同的，下面以其中一个摄像机中第一帧和第二帧为例，其中待测物体在第一帧中的像素坐标为选定的，故第一帧的参数都是已知，从第二帧开始都是需要进行测量的，但是，对于需要测量的连续两帧而言，待测物体在下一帧的像素坐标可由其在上一帧的像素坐标确定，而待测物体在该上一帧的像素坐标可由该上一帧自身的上一帧的像素坐标确定，简而言之，第一帧选定了，由第一帧的像素坐标可以计算出第二帧的像素坐标，再由第二帧的像素坐标计算第三帧的像素坐标，接着由第三帧的像素坐标计算第四帧的像素坐标，按此重复，即可得到待测物体在测量时间段内的三维振动轨迹，参见图1所示，由第一帧计算第二帧的具体步骤如下：

S1：获取摄像机的内参数矩阵和摄像机的外参数矩阵；内参数矩阵和外参数矩阵获取方法为常用方法，优选采用张正友标定法。

S2：选定摄像机图像的宽高分别为W和H；待测物体最大宽高分别为w和h，待测物体在第一帧I₀中的像素坐标为(i₀,j₀)，像素分布为A₀：

由于第一帧是选定的，因此，第一帧的最大宽高、待测物体在第一帧中的像素坐标和像素分布都是已知的；为了方便叙述，两个摄像机的图像还可以选定为大小相同的，且宽为W，高为H。

S3：在第二帧I中搜索待测物体，选定搜索框的宽度和高度分别为w和h，设定搜索框的像素坐标为(i,j)，像素分布为A：

S4：计算偏移向量：

其中，ω(i,j)为像素相似度，且

，n为搜索框在第二帧中搜索时偏移的次数，(x_n,y_n)为搜索框在第二帧中第n次偏移后的像素坐标，(i,j)的取值范围是距离(x_n,y_n)最近的

个像素点的像素坐标；(in,jn)为距离(x_n,yn)最近的

个像素点的像素坐标的取值范围；

令

则待测物体在第二帧中估计像素坐标为(x’_n,y’_n)＝m(x_n,y_n)＝(x_n,y_n)+M(x_n,y_n)；

S5：判断：如果||M(x_n,y_n)||≤ε或者n＞N_max，则估计像素坐标为待测物体在第二帧中的匹配像素坐标；

如果||M(x_n,y_n)||＞ε且n≤N_max，则返回步骤S4；

其中，ε为预设的待测物体在第二帧中跟踪步长的阈值，N_max为预设搜索框在第二帧中搜索时最大偏移次数。

按此重复，即可算出待测物体分别在两个摄像机每一帧中的匹配像素坐标。

关于跟踪步长的阈值，其与图像的像素分辨率、待测物体在图像中的尺寸有关，比如图像分辨率是10000*10000，待测物体在图像中的尺寸是1000*1000，设置阈值为5，含义是目标位置移动5个以上像素点的距离，判定目标移动，移动5以下，认为移动距离小到可以忽略不计，认为已经没有移动。

设置N_max的意义在于，程序不能因为找不到目标而一直循环着去找，这样程序就跑飞了。

根据待测物体在两摄像机中的匹配像素坐标，结合像素坐标与世界坐标转换公式，对方程组进行联立求解，得到待测物体在每一帧中的世界坐标；其中，像素坐标与世界坐标转换公式为：

其中，

为内参数矩阵，

为外参数矩阵，(u,v)为待测物体在像素坐标系中的坐标，即像素坐标；(u₀,v₀)为图像平面中心；(x,y)为待测物体在像平面坐标中的坐标；(X_C,Y_C,Z_C)为待测物体在摄像机坐标系中的坐标；(X_W,Y_W,Z_W)为待测物体在世界坐标系中的坐标。

比如，在第一台摄像机中待测物体的匹配像素坐标为(u₁,v₁)，在第二台摄像机中待测物体的匹配像素坐标为(u₂,v₂)。

对于第一台摄像机，

对于第二台摄像机，

方程组联立求解(X_W,Y_W,Z_W)。

分别计算同一时间待测物体在两个摄像机中的像素坐标，在判断估计像素坐标是否为匹配像素坐标时，只有当待测物体在两个摄像机中的估计像素坐标均判断为匹配像素坐标时，才计算此时的世界坐标，并进入下一帧中的计算；否则，如果待测物体在其中一个摄像机的估计像素坐标判断为匹配像素坐标，也即满足条件，但是，待测物体在另一个摄像机的估计像素坐标判断为非匹配像素坐标，也即不满足匹配像素坐标的条件，那么，满足条件的那一个会继续计算，在这个过程中，其搜索框的位置可能不会变化，也可能变化很小，直到待测物体在另一个摄像机的估计像素坐标判断为匹配像素坐标为止，之后才会计算此时的世界坐标，并进入下一帧中的计算。

本发明不局限于上述实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围之内。本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (5)

1.基于双目视觉的待测物体三维振动轨迹的测量方法，其包括两个方位不同的摄像机，两摄像机的透镜镜面位于同一平面上，且中轴线平行；其特征在于，其包括如下步骤：

使用两个摄像机拍摄待测物体，并获得两个摄像机的视频流数据；

两个摄像机的视频流数据均选择同一时间的一帧数据作为第一帧，并得到待测物体在第一帧中的像素坐标；

通过像素相似度计算待测物体在第二帧与第一帧之间的偏移向量，并得到待测物体在第二帧中的估计像素坐标，若估计像素坐标达到精度要求，则确定该估计像素坐标为待测物体在第二帧中的匹配像素坐标，并结合两个摄像机的像素坐标和世界坐标之间的关系，计算待测物体在第二帧中的世界坐标；

使用待测物体在第二帧中的匹配像素坐标和第二帧与第三帧的像素相似度计算待测物体在第三帧中的估计像素坐标和待测物体在第三帧时相应的世界坐标；

按此重复，直至得到待测物体在测量时间段内的三维振动轨迹；

其中，计算待测物体在第二帧中的估计像素坐标的方法包括如下步骤：

A1：选定两摄像机图像的宽高分别为W和H；待测物体最大宽高分别为w和h，待测物体在第一帧I₀中的像素坐标为(i₀,j₀)，像素分布为A₀：

A2：在第二帧I中搜索待测物体，选定搜索框的宽度和高度分别为w和h，设定搜索框的像素坐标为(i,j)，像素分布为A：

A3：计算偏移向量：

其中，ω(i,j)为像素相似度，且

，

n为搜索框在第二帧中搜索时偏移的次数，(x_n,y_n)为搜索框在第二帧中第n次偏移后的像素坐标，(i,j)的取值范围是距离(x_n,y_n)最近的

个像素点的像素坐标；(i_n,j_n)为距离(x_n,y_n)最近的

个像素点的像素坐标的取值范围；

A4：令

则待测物体在第二帧中估计像素坐标为(x’_n,y’_n)＝m(x_n,y_n)＝(x_n,y_n)+M(x_n,y_n)。

2.如权利要求1所述的测量方法，其特征在于，判断估计像素坐标是否为待测物体在第二帧中的匹配像素坐标的方法为：

如果||M(x_n,y_n)||≤ε或者n＞N_max，则估计像素坐标为待测物体在第二帧中的匹配像素坐标；

如果||M(x_n,y_n)||＞ε且n≤N_max，则返回步骤A3；

其中，ε为预设的待测物体在第二帧中跟踪步长的阈值，N_max为预设搜索框在第二帧中搜索时最大偏移次数。

3.如权利要求1所述的测量方法，其特征在于：测量之前，分别获取两摄像机的内参数矩阵和两摄像机的外参数矩阵。

4.如权利要求3所述的测量方法，其特征在于：外参数矩阵和外参数矩阵获取方法为张正友标定法。

5.如权利要求1所述的测量方法，其特征在于，像素坐标与世界坐标转换公式为：

其中，

为内参数矩阵，

为外参数矩阵，(u,v)为待测物体在像素坐标系中的坐标；(u₀,v₀)为图像平面中心；(x,y)为待测物体在像平面坐标中的坐标；(X_W,Y_W,Z_W)为待测物体在世界坐标系中的坐标。

Images