CN111667539B - 一种相机标定及平面测量方法 - Google Patents

Abstract

本发明公开了一种相机标定及平面测量方法，包括检测图像中运动物体贴近待测平面的3个特征点，根据这3个特征点在不同图像间的关系，构建损失函数以及优化器，求解出相机的映射参数，即完成相机的标定，本发明结构科学合理，使用安全方便，提供一种基于运动物体的相机标定方法，用于解决现有方案的不满足标定板使用条件场景，或选点三维坐标测量困难的问题，从而便于快速测量与定位。

Description

一种相机标定及平面测量方法

技术领域

本发明涉及图处理技术领域，具体为一种相机标定及平面测量方法。

背景技术

监控系统是安防系统中应用最多的系统之一，现在市面上较为适合的工地监控系统是手持式视频通信设备，视频监控现在是主流。从最早模拟监控到前些年火热数字监控再到现在方兴未艾网络视频监控，发生了翻天覆地变化。在IP技术逐步统一全球今天，我们有必要重新认识视频监控系统发展历史。从技术角度出发，视频监控系统发展划分为第一代模拟视频监控系统(CCTV)，到第二代基于“PC+多媒体卡”数字视频监控系统(DVR)，到第三代完全基于IP网络视频监控系统(IPVS)。

视屏监控摄像头被大量的运用在各个场合，如交通，安防，检测等领域。为了得到该场景下的尺度信息，则需要对该摄像头进行标定。常用的相机标定方法有张正友标定法，Tsai两步法等，这些方法都需要使用至少2*2的棋盘格标定板，或是6个以上已知三维坐标的特征点的进行标定。

然而在某些场景下，无法使用标定板标定，若使用三维坐标标定，测量时则需要借助其他仪器，且工作量大。

综上所述，现有的单目标定方案有一些局限性，因此需提供一种新的标定及平面测量方法。

发明内容

本发明提供一种相机标定及平面测量方法，可以有效解决上述背景技术中提出无法使用标定板标定，若使用三维坐标标定，测量时则需要借助其他仪器，且工作量大的问题。

为实现上述目的，本发明提供如下技术方案：一种相机标定及平面测量方法，包括检测图像中运动物体贴近待测平面的3个特征点，根据这3个特征点在不同图像间的关系，构建损失函数以及优化器，求解出相机的映射参数，即完成相机的标定；

具体步骤如下：

步骤S1：对于每张图片，提取已知物体的3个贴近待测平面的已知特征点A，B，C；

步骤S2：利用所选特征点，建立图像坐标到世界坐标的映射关系；

步骤S3：基于上述映射关系与已知特征点A，B，C，构建损失函数；

步骤S4：基于上述损失函数，构建优化器；

步骤S5：初始化单应矩阵H₀，与损失函数一同代入优化器求解出最优解，即单应矩阵H^*；

步骤S6：应用上述最优单应矩阵H^*，测量平面上物体的长度，宽度信息。

根据上述技术方案，所述S1，S2，S3，S4，S5为标定步骤，S6为测量步骤。

根据上述技术方案，所述S1还包括步骤S101和S102；

S101：已知特征点A，B，C，其中θ为AB与BC在现实空间下的夹角，通常取θ＝90°时的点A，B，C，并记录AB间真实长度W_AB，BC间真实长度L_BC，AC间真实长度R_AC；

S102：分别记录第i张图片下的，A，B，C的像素坐标[u v]^T,存入齐次矩阵：

根据上述技术方案，所述S2还包括：

S201：建立图像坐标到世界坐标的映射关系:

其中m为齐次世界坐标点m＝[X Y 1]^T；

p为齐次像素坐标点p＝[u v 1]^T；

s为使m，p保持齐次坐标的尺度因子；

S202：构建单应变换后AB间世界坐标距离:

w＝sqrt(diag((m_A-m_B)^T(m_A-m_B)))；

BC间世界坐标距离:

l＝sqrt(diag((m_C-m_B)^T(m_C-m_B)))；

AC间世界坐标距离:

r＝sqrt(diag((m_A-m_C)^T(m_A-m_C)))；

AB与BC夹角:

根据上述技术方案，所述S3中还包括：

S301：建立如下损失函数:

C(H)＝(1-k)[L_α(w,W_AB)+L_α(l,L_BC)+L_α(r,R_AC)+L_α(δ,θ)]+k[D_JS(w||W_AB)+D_JS(l||L_BC)+D_JS(r||R_AC)+D_JS(δ||θ)]；

其中:L_α为HuberLoss：

D_JS为JS散度：

D_KL为JS散度:

其中:k,α为超参数。

根据上述技术方案，所述步骤S4中还包括：

S401：建立基于Powell方法的优化器。

根据上述技术方案，所述S5中还包括如下步骤：

S501：构建初始化3x3的单应矩阵H₀，除最后一个元素为1，其余均为(0，1)之间的随机数；

S502：将步骤S501中H₀,代入步骤S401的优化器求解，计算步骤S301中损失函数C(H)；

S503：通过优化器多次迭代，使得步骤S301中损失函数C(H)值最小，即求解出最优解H^*＝argmin(C(H))。

根据上述技术方案，所述S6还包括：

S601：选取出待测物体的特征点，分别记录特征点的像素坐标p_n＝[u_nv_n1]^T,存入齐次矩阵，P＝[p₁…p_n]；

在步骤S601中，将步骤S601中特征点像素坐标P，与S503中求解出的最优单应矩阵H^*代入步骤S201中的映射，得:

M^*＝sH^*P；

在步骤S602中，求解第i个特征点与第j个特征点世界坐标距离:

在步骤S603中,为了便于可视化放入图像中显示，对变换后的点进行缩放操作:

此时像素距离正比于世界坐标距离。

与现有技术相比，本发明的有益效果：本发明结构科学合理，使用安全方便，提供一种基于运动物体的相机标定方法，用于解决现有方案的不满足标定板使用条件场景，或选点三维坐标测量困难的问题，从而便于快速测量与定位。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明的结构示意图；

图2是本发明的测试流程结构示意图；

图3是本发明的步骤S1采集结构示意图；

图4是本发明的步骤S6结果结构示意图；

图5是本发明的误差结果树形图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

实施例：如图1-2所示，本发明提供技术方案，一种相机标定及平面测量方法，包括检测图像中运动物体贴近待测平面的3个特征点，根据这3个特征点在不同图像间的关系，构建损失函数以及优化器，求解出相机的映射参数，即完成相机的标定；

具体步骤如下：

步骤S1：对于每张图片，提取已知物体的3个贴近待测平面的已知特征点A，B，C；

步骤S2：利用所选特征点，建立图像坐标到世界坐标的映射关系；

步骤S3：基于上述映射关系与已知特征点A，B，C，构建损失函数；

步骤S4：基于上述损失函数，构建优化器；

步骤S5：初始化单应矩阵H₀，与损失函数一同代入优化器求解出最优解，即单应矩阵H^*；

步骤S6：应用上述最优单应矩阵H^*，测量平面上物体的长度，宽度信息。

根据上述技术方案，所述S1，S2，S3，S4，S5为标定步骤，S6为测量步骤。

如图3所示，根据上述技术方案，所述S1还包括步骤S101和S102；

S101：已知特征点A，B，C，其中θ为AB与BC在现实空间下的夹角，通常取θ＝90°时的点A，B，C，并记录AB间真实长度W_AB，BC间真实长度L_BC，AC间真实长度R_AC；

S102：分别记录第i张图片下的，A，B，C的像素坐标[u v]^T,存入齐次矩阵：

根据上述技术方案，所述S2还包括：

S201：建立图像坐标到世界坐标的映射关系:

其中m为齐次世界坐标点m＝[X Y 1]^T；

p为齐次像素坐标点p＝[u v 1]^T；

s为使m，p保持齐次坐标的尺度因子；

S202：构建单应变换后AB间世界坐标距离:

w＝sqrt(diag((m_A-m_B)^T(m_A-m_B)))；

BC间世界坐标距离:

l＝sqrt(diag((m_C-m_B)^T(m_C-m_B)))；

AC间世界坐标距离:

r＝sqrt(diag((m_A-m_C)^T(m_A-m_C)))；

AB与BC夹角:

根据上述技术方案，所述S3中还包括：

S301：建立如下损失函数:

其中:L_α为HuberLoss：

D_JS为JS散度：

D_KL为JS散度:

其中:k,α为超参数。

根据上述技术方案，所述步骤S4中还包括：

S401：建立基于Powell方法的优化器。

根据上述技术方案，所述S5中还包括如下步骤：

S501：构建初始化3x3的单应矩阵H₀，除最后一个元素为1，其余均为(0，1)之间的随机数；

S502：将步骤S501中H₀,代入步骤S401的优化器求解，计算步骤S301中损失函数C(H)；

S503：通过优化器多次迭代，使得步骤S301中损失函数C(H)值最小，即求解出最优解H^*＝argmin(C(H))。

根据上述技术方案，所述S6还包括：

S601：选取出待测物体的特征点，分别记录特征点的像素坐标p_n＝[u_nv_n1]^T,存入齐次矩阵，P＝[p₁…p_n]；

在步骤S601中，将步骤S601中特征点像素坐标P，与S503中求解出的最优单应矩阵H^*代入步骤S201中的映射，得:

M^*＝sH^*P；

在步骤S602中，求解第i个特征点与第j个特征点世界坐标距离:

在步骤S603中,为了便于可视化放入图像中显示，对变换后的点进行缩放操作:

此时像素距离正比于世界坐标距离，如图4所示。

最后通过测试，结果如下表与图5：

与现有技术相比，本发明的有益效果：本发明结构科学合理，使用安全方便，提供一种基于运动物体的相机标定方法，用于解决现有方案的不满足标定板使用条件场景，或选点三维坐标测量困难的问题，从而便于快速测量与定位。

最后应说明的是：以上所述仅为本发明的优选实例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种相机标定及平面测量方法，其特征在于：包括检测图像中运动物体贴近待测平面的3个特征点，根据这3个特征点在不同图像间的关系，构建损失函数以及优化器，求解出相机的映射参数，即完成相机的标定；

具体步骤如下：

步骤S1：对于每张图片，提取已知物体的3个贴近待测平面的已知特征点A，B，C；

步骤S2：利用所选特征点，建立图像坐标到世界坐标的映射关系；

步骤S3：基于上述映射关系与已知特征点A，B，C，构建损失函数；

步骤S4：基于上述损失函数，构建优化器；

步骤S5：初始化单应矩阵H₀，与损失函数一同代入优化器求解出最优解，即单应矩阵H^*；

步骤S6：应用上述最优单应矩阵H^*，测量平面上物体的长度，宽度信息；

所述S1还包括步骤S101和S102；

S101：已知特征点A，B，C，其中θ为AB与BC在现实空间下的夹角，通常取θ＝90°时的点A，B，C，并记录AB间真实长度W_AB，BC间真实长度L_BC，AC间真实长度R_AC；

S102：分别记录第i张图片下的，A，B，C的像素坐标[u v]^T,存入齐次矩阵：

2.根据权利要求1所述的一种相机标定及平面测量方法，其特征在于，所述S1，S2，S3，S4，S5为标定步骤，S6为测量步骤。

3.根据权利要求1所述的一种相机标定及平面测量方法，其特征在于，所述S2还包括：

S201：建立图像坐标到世界坐标的映射关系:

其中m为齐次世界坐标点m＝[X Y 1]^T；

p为齐次像素坐标点p＝[u v 1]^T；

s为使m，p保持齐次坐标的尺度因子；

S202：构建单应变换后AB间世界坐标距离:

w＝sqrt(diag((m_A-m_B)^T(m_A-m_B)))；

BC间世界坐标距离:

l＝sqrt(diag((m_C-m_B)^T(m_C-m_B)))；

AC间世界坐标距离:

r＝sqrt(diag((m_A-m_C)^T(m_A-m_C)))；

AB与BC夹角:

4.根据权利要求3所述的一种相机标定及平面测量方法，其特征在于，所述S3中还包括：

S301：建立如下损失函数:

C(H)＝(1-k)[L_α(w,W_AB)+L_α(l,L_BC)+L_α(r,R_AC)+L_α(δ,θ)]

+k[D_JS(w||W_AB)+D_JS(l||L_BC)+D_JS(r||R_AC)+D_JS(δ||θ)]；

其中:L_α为HuberLoss：

D_JS为JS散度：

D_KL为JS散度:

其中:k,α为超参数。

5.根据权利要求4所述的一种相机标定及平面测量方法，其特征在于，所述步骤S4中还包括：

S401：建立基于Powell方法的优化器。

6.根据权利要求5所述的一种相机标定及平面测量方法，其特征在于，所述S5中还包括如下步骤：

S501：构建初始化3x3的单应矩阵H₀，除最后一个元素为1，其余均为(0，1)之间的随机数；

S502：将步骤S501中H₀,代入步骤S401的优化器求解，计算步骤S301中损失函数C(H)；

S503：通过优化器多次迭代，使得步骤S301中损失函数C(H)值最小，即求解出最优解H^*＝argmin(C(H))。

7.根据权利要求6所述的一种相机标定及平面测量方法，其特征在于，所述S6还包括：

S601：选取出待测物体的特征点，分别记录特征点的像素坐标p_n＝[u_n v_n 1]^T,存入齐次矩阵，P＝[p₁ … p_n]；

在步骤S601中，将步骤S601中特征点像素坐标P，与S503中求解出的最优单应矩阵H^*代入步骤S201中的映射，得:

M^*＝sH^*P；

在步骤S602中，求解第i个特征点与第j个特征点世界坐标距离:

在步骤S603中,为了便于可视化放入图像中显示，对变换后的点进行缩放操作:

此时像素距离正比于世界坐标距离。