CN115423884A - 一种利用河道断面水边线的摄像机姿态角标定方法 - Google Patents

Abstract

本发明公开了一种利用河道断面水边线的摄像机姿态角标定方法，包括：完成摄像机的内参标定，求出相应内参矩阵和畸变参数矩阵；对原始图像进行畸变校正；调节方位角使畸变校正图像中的标记点与纵轴线重合，将方位角置零；调节俯仰角使视场覆盖包含水边线的待测水面区域，观察水边线的水平度将横滚角调平，勘测摄像机光心的起点距和高程并建立水面摄影测量模型；在畸变校正图像中选取断面水边线上两点，确定横滚角；将两点连线与图像纵轴线交点的亚像素图像坐标，以及水位和断面地形求得的水边线世界坐标代入水面摄影测量模型解算出俯仰角。本发明无需传感器辅助即可实现高精度的姿态角现场标定，适用于河流水位、流速、漂浮物等视频监测系统。

Description

一种利用河道断面水边线的摄像机姿态角标定方法

技术领域

本发明属于智能水利视频监测技术领域，涉及一种用于河流水面摄影测量的摄像机姿态角现场标定方法，尤其涉及一种利用河道断面水边线的摄像机姿态角标定方法。

背景技术

近年来，随着视频监控及人工智能技术的快速发展，基于机器视觉的图像法水位、流速、流量在线监测新技术逐渐成为提升水文监测现代化水平的重要手段，相比传统监测手段具有测量直观、非接触式、安全高效、成本低廉等优点。根据摄影测量原理，为了将普通监控摄像机用于水面测量的目的，需要对其内、外参数进行标定，才能够建立水平面坐标与像平面坐标的映射关系。其中内参包括摄像机的焦距、像主点坐标及径向、切向畸变系数等内方位元素，外参包括摄像机的三维世界坐标及三轴姿态角组成的六个外方位元素。对以上参数的标定称为摄像机标定，是图像法测流技术的重要环节。

在实验室水槽及河工模型表面流速场的测量中，通常将相机垂直于测试平面拍摄，通过在待测平面上设置尺寸已知的参考物直接计算描述正射投影关系的尺度缩放因子。更为精确的方法是：利用标定靶盘或4个以上非共线控制点，并基于近景摄影测量领域经典的直接线性变换法(Direct Linear Transformation,DLT)整体求解单应矩阵，建立像平面和物平面间可逆的坐标变换关系。该方法具有模型简单，无需内、外方位元素初始值的特点。但必须保证控制点与待测平面严格共面，否则其在图像上的投影并不能反映真实的水面高程然而这在实际测试环境中往往难以控制，从而造成标定误差。

相比之下，大尺度河流表面的施测条件更为复杂。首先，为覆盖完整测量断面，相机通常只能架设于岸边以小倾角拍摄来获得数百甚至上千平方米的大视场，导致产生严重的图像透视畸变。图像正射校正可以修正图像透视畸变，并在一定程度上补偿远场空间分辨率的损失，但将显著增加图像变换的计算和存储量并可能引入灰度插值误差。其次，河流水位变化显著，对于山溪性河流短时内变幅可达数米。河流水面高程的变化将改变成像投影关系，进而影响测量区域的尺度和方位。再则，在河流水面上同场布设控制点存在实际困难。部分研究尝试利用水面上漂浮的标定板或激光投影点建立投影关系，可满足大拍摄倾角下小范围(数十至数百平米)流场的测量需求。但这些参照物在水面阴影、耀光等复杂光照条件下的能见度通常较差，导致难以在图像中自动检测和精确定位。当应用于大范围测量时这种检测误差将被显著放大。目前常用的流速定标方案是基于变高单应的方法。其在平面单应模型的基础上考虑了控制点到水面的距离，并引入水位和比降参数来表征水面高程的动态变化，能够有效改善小倾角下岸基式LSPIV系统的测量精度。但至少需要在河流两岸均匀分散地布设6个非共面的控制点，并采用全站仪、DGPS等专业设备勘测其世界坐标。不仅费时费力，而且在高洪期对测量人员的安全构成严重威胁。此外，研究发现VHH的DLT法对控制点的布设数量、分布方式、检测精度和镜头畸变均较为敏感，容易导致模型参数解算过程不收敛。

计算机视觉领域用于相机标定的两步法为减小现场测量对控制点的依赖提供了解决思路。其考虑了镜头的非线性畸变，并将单应矩阵分解为内、外参数矩阵。通过将摄影测量任务分解成室内的内参和畸变像差标定，和现场的平移、旋转等外参标定两步执行。使得外业所需的控制点数可减少到4个，并提高了系统布设的灵活性。例如，一种基于二维精密云台的旋转标定法首先利用近场可见性较好的控制点标定相机外方位参数的初值，再将相机旋转到测量姿态下并通过云台上的刻度盘测量相机的方位角和俯仰角的变化进行补偿.由于标定过程需要人工调节相机姿态及读数，目前尚不支持自动测量。一旦相机姿态受外部干扰产生变化，已有标定结果将不再适用。而重新勘测控制点并标定可能造成测量坐标系的不一致，给数据的利用带来麻烦。改进的方法是将摄像机与姿态传感器固连构成直接传感器定向摄影测量系统，通过姿态传感器测量摄像机的三轴姿态角，但该方法不仅需要姿态传感器具有很高的测量精度，而且要求系统集成时对两者的偏心距和偏心角进行精确检校，并在摄影测量时对实测姿态角进行补偿，才能保证测量精度，系统的成本和标定复杂度均较高。因此，研发一种免像控且简单易操作的摄像机姿态角现场标定技术是实现河流水面摄影测量及水位、流速、流量、漂浮物等多要素自动在线监测的必然需求。

发明内容

发明目的：针对河流水面摄影测量系统中的摄像机姿态角现场标定问题，提供一种利用河道断面水边线的摄像机姿态角标定方法，无需传感器辅助即可实现高精度的姿态角现场标定，适用于河流水位、流速、漂浮物等视频监测系统。

技术方案：为实现上述目的，本发明提供一种利用河道断面水边线的摄像机姿态角标定方法，包括如下步骤：

S1：完成摄像机的内参标定，求出相应内参矩阵和畸变参数矩阵；

S2：根据内参矩阵和畸变参数矩阵，对原始图像进行畸变校正；

S3：设置测量断面标记点并将摄像机架设于两点的延长线上，调节方位角使畸变校正图像中的标记点与纵轴线重合，将方位角置零；

S4：调节俯仰角使视场覆盖包含水边线的待测水面区域，观察水边线的水平度将横滚角调平，勘测摄像机光心的起点距和高程并建立水面摄影测量模型；

S5：在畸变校正图像中选取断面水边线上两点，通过计算两点连线的斜率确定横滚角；

S6：将两点连线与图像纵轴线交点的亚像素图像坐标，以及水位和断面地形求得的水边线世界坐标代入水面摄影测量模型解算出俯仰角。

进一步地，所述步骤S1中根据张正友标定法在实验室对摄像机进行内参标定，得到标定后得到像元尺寸s，内参矩阵K和畸变参数矩阵D，分别如下：

D＝[k₁ k₂ p₁ p₂] (2)

其中，C_x表示像主点的横坐标，C_y表示像主点的纵坐标，f_x表示摄像机在像平面x轴上的等效焦距，f_y表示摄像机在像平面y轴上的等效焦距，摄像机焦距f根据图像传感器的像元尺寸s计算得到：

f＝(f_x+f_y)·s/2 (3)

k₁表示第一径向畸变系数，p₁表示第一切向畸变系数，k₂表示第二径向畸变系数，p₂表示第二切向畸变系数。

进一步地，所述步骤S2中通过以下公式对图像进行畸变校正：

无畸变图像的摄像机坐标(x,y)通过以下公式转换成图像坐标(u,v)：

畸变图像的摄像机坐标(x′,y′)通过同样的方法转换成图像坐标(u′,v′)：

至此，完成图像的畸变校正。

进一步地，所述步骤S4中水面摄影测量模型的建立过程为：

建立中心投影模型，中心投影模型可表示为：

式中m₁～m₁₂为投影矩阵的元素，无实际意义；(X,Y,Z)为物点的三维空间坐标，

为像点的像素坐标；

将中心投影模型引入到水面摄影测量模型中，模型的物像共线关系可表示为：

该式使用比降系数表示水面高程Z，D₁为河段在断面方向的比降系数、D₂为沿着河岸方向的比降系数，D₃为断面的水位系数；

以摄像机光心在待测平面上的垂足点F原点建立物方坐标系：

根据水面摄影测量模型，假设物点P(X,Y,Z)、投影中心C(X_C,Y_C,Z_C)和像点p(x,y)共线，o、O分别为投影中心在像平面和水平面上的投影点；对于理想无畸变的小孔成像系统，像主点o位于图像中心，其像平面坐标(mm)为：

其中，s(mm)为图像传感器的像元尺寸、m×n(pixel)为图像分辨率；像平面坐标(x,y)可用对应的图像坐标(i,j)(pixel)表示为：

当物距OC远大于像距oC时，焦距f像距近似相等；像点和物点间满足由相似三角形建立的线性几何关系；若以像平面坐标系为基准，共线条件方程可表示为以下这种形式，投影矩阵的元素(m₁～m₁₂)可换成以下具体物理意义的系数表示：

上式描述了从像点到物点的平面坐标变换关系；其中，(x_o,y_o)为图像中心，f为摄像机焦距，Z-Z_C为摄像机相对水面的高度，Y为水面目标的y方向坐标值，系数构成的旋转矩阵可以使用摄像机相对于水平面的方位角κ、俯仰角ω和横滚角

表示：

根据摄像机与断面对应位置，此时X_C＝0且κ＝0，因此该旋转向量可简化为：

因此只剩外方位参数

未知。实际测量中，Y_C和Z_C分别为通过勘测得到的摄像机光心的起点距和高程。

进一步地，所述步骤S5中横滚角的确定方法包括：

在畸变校正后的无畸变图像中选取断面水边线上两点p₁(x₁,y₁)和p₂(x₂,y₂)，即可通过人工标记水边线在图像中的斜率，进而确定横滚角

至此，完成横滚角的计算。

进一步地，所述步骤S6中俯仰角的计算方法包括：

计算标注两点p₁(x₁,y₁)和p₂(x₂,y₂)与图像纵轴线交点的亚像素图像坐标y₀：

根据摄像机架设位置处的断面地形数据以及水位Z₀，计算水边线世界坐标Y₀，代入模型解算出俯仰角ω：

至此，完成三轴姿态角测量。

本发明中假定应用场景为内参固定的定焦摄像机，其安装位置固定且待测河道的断面地形可精确测量。以此为前提，首先在实验室中标定摄像机内参，然后在现场利用激光测距仪或全站仪精确测量摄像机的起点距、高程等定位参数，最后根据水面摄影测量模型推导出水边线坐标与姿态角的变换关系，进而利用平直的河道断面水边线依次解算摄像机的方位角、横滚角和俯仰角，实现三轴定向参数的标定。

有益效果：本发明与现有技术相比，无需传感器辅助即可实现高精度的姿态角现场标定，不但解决了现有测量方法需要依赖姿态传感器来实现测量标定，需要进行二次标定导致标定精度不稳定的问题，而且整个过程只需一次标定便可完成，标定操作简单、容易实现，解决了现有测量方法存在的系统成本和标定复杂度高的问题，降低了系统成本，保证了标定效果的稳定性，适用于河流水位、流速、漂浮物等视频监测系统。

附图说明

图1是本发明方法的流程图；

图2是摄像机架设位置示意图；

图3是具体实施方案中摄像机架设示意图；

图4是具体实施方案中所拍摄的原始图像；

图5是具体实施方案中的畸变校正图像。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

本发明提供一种利用河道断面水边线的摄像机姿态角标定方法，如图1所示，其包括如下步骤：

S1：在实验室内对摄像机进行内参标定，采用张正友标定法，标定后得到像元尺寸s，内参矩阵K和畸变参数矩阵D，具体如下；

D＝[k₁ k₂ p₁ p₂] (2)

其中，C_x表示像主点的横坐标，C_y表示像主点的纵坐标，fx表示摄像机在像平面x轴上的等效焦距，fy表示摄像机在像平面y轴上的等效焦距，摄像机焦距f根据图像传感器的像元尺寸s计算得到：

f＝(f_x+f_y)·s/2 (3)

k₁表示第一径向畸变系数，p₁表示第一切向畸变系数，k₂表示第二径向畸变系数，p₂表示第二切向畸变系数。

S2：对原始图像进行畸变校正：

畸变参数用于图像的非线性畸变校正，(x′,y′)和(x,y)分别为畸变和无畸变的摄像机坐标。

通过以下公式对图像进行畸变校正：

无畸变图像的摄像机坐标(x,y)通过以下公式转换成图像坐标(u,v)：

畸变图像的摄像机坐标(x′,y′)通过同样的方法转换成图像坐标(u′,v′)：

至此，完成图像的畸变校正。

S3：如图2所示，在待测断面两侧设置测量断面标记点并将摄像机架设于两点的延长线上，调节方位角使畸变校正图像中的标记点与纵轴线重合，将方位角置零，设备现场架设情况如图3所示。

S4：如图2所示，调节俯仰角使视场覆盖包含水边线的待测水面区域，观察水边线的水平度将横滚角调平，勘测摄像机光心的起点距和高程并建立水面摄影测量模型：

水面摄影测量模型的建立过程为：

建立中心投影模型，中心投影模型可表示为：

式中m₁～m₁₂为投影矩阵的元素，无实际意义；(X,Y,Z)为物点的三维空间坐标，

为像点的像素坐标；

将中心投影模型引入到水面摄影测量模型中，模型的物像共线关系可表示为：

该式使用比降系数表示水面高程Z，D₁为河段在断面方向的比降系数、D₂为沿着河岸方向的比降系数，D₃为断面的水位系数；

以摄像机光心在待测平面上的垂足点F原点建立物方坐标系：

根据水面摄影测量模型，假设物点P(X,Y,Z)、投影中心C(X_C,Y_C,Z_C)和像点p(x,y)共线，o、O分别为投影中心在像平面和水平面上的投影点；对于理想无畸变的小孔成像系统，像主点o位于图像中心，其像平面坐标(mm)为：

其中，s(mm)为图像传感器的像元尺寸、m×n(pixel)为图像分辨率；像平面坐标(x,y)可用对应的图像坐标(i,j)(pixel)表示为：

当物距OC远大于像距oC时，焦距f像距近似相等；像点和物点间满足由相似三角形建立的线性几何关系；若以像平面坐标系为基准，共线条件方程可表示为以下这种形式，投影矩阵的元素(m₁～m₁₂)可换成以下具体物理意义的系数表示：

上式描述了从像点到物点的平面坐标变换关系；其中，(x_o,y_o)为图像中心，f为摄像机焦距，Z-Z_C为摄像机相对水面的高度，Y为水面目标的y方向坐标值，系数构成的旋转矩阵可以使用摄像机相对于水平面的方位角κ、俯仰角ω和横滚角

表示：

根据摄像机与断面对应位置，此时X_C＝0且κ＝0，因此该旋转向量可简化为：

因此只剩外方位参数

未知。实际测量中，Y_C和Z_C分别为通过勘测得到的摄像机光心的起点距和高程。

S5：拍摄河流完整断面的原始图像，如图3所示，对得到的现场画面进行畸变校正，接着在畸变校正后的无畸变图像中选取断面水边线上两点p₁(x₁,y₁)和p₂(x₂,y₂)，如图4所示，标注出平直水边线两侧像点坐标，两点之间水平距离越大越好，以防因为选点距离过近而产生人为误差。通过人工标记水边线在图像中的斜率，进而确定横滚角

至此，完成横滚角

的计算。

S6：将两点连线与图像纵轴线交点的亚像素图像坐标，以及水位和断面地形求得的水边线世界坐标代入水面摄影测量模型解算出俯仰角：

计算标注两点p₁(x₁,y₁)和p₂(x₂,y₂)与图像纵轴线交点的亚像素图像坐标y₀：

根据摄像机架设位置处的断面地形数据以及水位Z₀，计算水边线世界坐标Y₀，代入模型解算出俯仰角ω：

至此，完成三轴姿态角测量。

基于上述方案，为了验证本发明方法的有效性，将上述本发明方法进行实例应用，具体如下：

由上述步骤S1，首先得到摄像机内参矩阵和畸变参数矩阵，如下表所示。

表1

参数	标定结果
		m(pixel)	3840
n(pixel)	2160
		f<sub>x</sub>(pixel)	2876.5066
f<sub>y</sub>(pixel)	2884.6309
		C	1947.3818
C<sub>y</sub>	1043.7429
		k<sub>1</sub>	-0.4074
k<sub>2</sub>	0.0004
		p<sub>1</sub>	0.0007
p<sub>2</sub>	-0.0004

由上述步骤S4，首先摄像机架设完毕拍摄得到原始图像，如图4所示，然后测量摄像机的起点距Y_C、高程Z_C，以及拍摄断面原始图像时的水位数据Z₀，如表2所示。

表2

根据断面地形数据以及水位值，由步骤S5计算上述标注两点与图像纵轴线交点的亚像素图像坐标y₀在世界坐标下的Y₀坐标，结果Y₀＝187.61米。

最后根据表1中的数据，对断面原始图像进行畸变校正，得到无畸变图像，然后在无畸变图像中手动选取断面平直水边线坐标p₁(x₁,y₁)和p₂(x₂,y₂)，如图5所示。再根据表2中标定所得结果，代入步骤S5、S6，得到最终摄像机实际横滚角和俯仰角参数如表3所示。

表3

至此，摄像机横滚角、俯仰角解算完成。

基于上述内容，可见本发明方法和现有的标定方法相比，本发明方法无需传感器辅助即可实现高精度的姿态角现场标定，而现有的标定方法需要通过姿态传感器进行二次标定，且标定的精度依赖于姿态传感器的自身精度。

Claims (6)

1.一种利用河道断面水边线的摄像机姿态角标定方法，其特征在于，包括如下步骤：

S1：完成摄像机的内参标定，求出相应内参矩阵和畸变参数矩阵；

S2：根据内参矩阵和畸变参数矩阵，对原始图像进行畸变校正；

S3：设置测量断面标记点并将摄像机架设于两点的延长线上，调节方位角使畸变校正图像中的标记点与纵轴线重合，将方位角置零；

S4：调节俯仰角使视场覆盖包含水边线的待测水面区域，观察水边线的水平度将横滚角调平，勘测摄像机光心的起点距和高程并建立水面摄影测量模型；

S5：在畸变校正图像中选取断面水边线上两点，通过计算两点连线的斜率确定横滚角；

S6：将两点连线与图像纵轴线交点的亚像素图像坐标，以及水位和断面地形求得的水边线世界坐标代入水面摄影测量模型解算出俯仰角。

2.根据权利要求1所述的一种利用河道断面水边线的摄像机姿态角标定方法，其特征在于，所述步骤S1中根据张正友标定法在实验室对摄像机进行内参标定，得到标定后得到像元尺寸s，内参矩阵K和畸变参数矩阵D，分别如下：

D＝[k₁ k₂ p₁ p₂] (2)

其中，C_x表示像主点的横坐标，C_y表示像主点的纵坐标，f_x表示摄像机在像平面x轴上的等效焦距，fy表示摄像机在像平面y轴上的等效焦距，摄像机焦距f根据图像传感器的像元尺寸s计算得到：

f＝(f_x+f_y)·s/2 (3)

k₁表示第一径向畸变系数，p₁表示第一切向畸变系数，k₂表示第二径向畸变系数，p₂表示第二切向畸变系数。

3.根据权利要求2所述的一种利用河道断面水边线的摄像机姿态角标定方法，其特征在于，所述步骤S2中通过以下公式对图像进行畸变校正：

无畸变图像的摄像机坐标(x,y)通过以下公式转换成图像坐标(u,v)：

畸变图像的摄像机坐标(x′,y′)通过同样的方法转换成图像坐标(u′,v′)：

至此，完成图像的畸变校正。

4.根据权利要求1所述的一种利用河道断面水边线的摄像机姿态角标定方法，其特征在于，所述步骤S4中水面摄影测量模型的建立过程为：

建立中心投影模型，中心投影模型可表示为：

式中m₁～m₁₂为投影矩阵的元素，无实际意义；(X,Y,Z)为物点的三维空间坐标，

为像点的像素坐标；

将中心投影模型引入到水面摄影测量模型中，模型的物像共线关系可表示为：

该式使用比降系数表示水面高程Z，D₁为河段在断面方向的比降系数、D₂为沿着河岸方向的比降系数，D₃为断面的水位系数；

以摄像机光心在待测平面上的垂足点F原点建立物方坐标系：

根据水面摄影测量模型，假设物点P(X,Y,Z)、投影中心C(X_C,Y_C,Z_C)和像点p(x,y)共线，o、O分别为投影中心在像平面和水平面上的投影点；对于理想无畸变的小孔成像系统，像主点o位于图像中心，其像平面坐标(mm)为：

其中，s(mm)为图像传感器的像元尺寸、m×n(pixel)为图像分辨率；像平面坐标(x,y)可用对应的图像坐标(i,j)(pixel)表示为：

当物距OC远大于像距oC时，焦距f像距近似相等；像点和物点间满足由相似三角形建立的线性几何关系；若以像平面坐标系为基准，共线条件方程可表示为以下这种形式，投影矩阵的元素(m₁～m₁₂)可换成以下具体物理意义的系数表示：

上式描述了从像点到物点的平面坐标变换关系；其中，(x_o,y_o)为图像中心，f为摄像机焦距，Z-Z_C为摄像机相对水面的高度，Y为水面目标的y方向坐标值，系数构成的旋转矩阵可以使用摄像机相对于水平面的方位角κ、俯仰角ω和横滚角

表示：

根据摄像机与断面对应位置，此时X_C＝0且κ＝0，因此该旋转向量可简化为：

Y_C和Z_C分别为通过勘测得到的摄像机光心的起点距和高程。

5.根据权利要求1所述的一种利用河道断面水边线的摄像机姿态角标定方法，其特征在于，所述步骤S5中横滚角的确定方法包括：

在畸变校正后的无畸变图像中选取断面水边线上两点p₁(x₁,y₁)和p₂(x₂,y₂)，即可通过人工标记水边线在图像中的斜率，进而确定横滚角

至此，完成横滚角的计算。

6.根据权利要求5所述的一种利用河道断面水边线的摄像机姿态角标定方法，其特征在于，所述步骤S6中俯仰角的计算方法包括：

计算标注两点p₁(x₁,y₁)和p₂(x₂,y₂)与图像纵轴线交点的亚像素图像坐标y₀：

根据摄像机架设位置处的断面地形数据以及水位Z₀，计算水边线世界坐标Y₀，代入模型解算出俯仰角ω：

至此，完成三轴姿态角测量。

Images