CN114184127B - 一种基于单相机无标靶的建筑物全局位移监测方法 - Google Patents

Abstract

一种基于单相机无标靶的建筑物全局位移监测方法，涉及建筑物位移监测技术领域，针对现有技术中需要使用多个监测分机对目标建筑进行多位置位移监测的问题，本申请在监测一个建筑的多个目标点时步骤一到步骤四仅需进行一次，可以达到采集一个角度的视频同时追踪建筑物的多个目标点的效果，并且所述的多个目标点不需要共面，它们可以分布在建筑的任何位置。本申请仅需要一台相机就可以达到通常需要多台相机才能完成的多点同时监测，节省了建筑物位移监测系统的成本。本申请不需要安装人工标靶，仅通过建筑物本身的特征点就可以建立图像像素和建筑物的位移转换关系。

Description

一种基于单相机无标靶的建筑物全局位移监测方法

技术领域

本发明涉及建筑物位移监测技术领域，具体为一种基于单相机无标靶的建筑物全局位移监测方法。

背景技术

桥梁、大厦和水坝等建筑是人类生活和商业的重要组成部分，支撑着人们的生活质量和社会的经济繁荣。但是，如果建筑物的稳定性得不到保证，就会威胁到人们的生命安全并造成财产损失。所以，监测建筑结构的稳定性非常重要。位移是评价基础设施的健康和建筑物性能的重要指标，因为其可以直接反映建筑物的变形是否超出了其安全限制。与加速度响应相比，位移响应直接反映了结构的整体刚度，因此提供了更准确的估计结构状况的潜力。此外，在一些长期监测的任务中，位移数据可以被实时采集并直接反映结构状况，以便可以对结构的异常位移立即发出警告。然而，传统的位移监测方法要求专业人员在待监测的建筑物表面安装位移监测传感器，对于监测人员专业水平要求较高。

近年来，计算机视觉领域取得了巨大的发展，其在建筑物位移监测中的应用与研究也引起了研究者们广泛的关注。与传统传感器相比，视觉传感器具有长距离、非接触式、方便部署、代价低等优点。基于视觉的位移监测方法可以对建筑进行长期、实时的监测，如专利号CN201520655611.X的方案。但是上述方案需要在被监测物体上安装特殊的人工标靶，如果需要检测多个位置的位移，则需要安装多个标靶，在建筑物多点位移监测上存在着缺陷。专利号CN202011620719.7基于多分辨率深度特征进行桥梁位移监测，避免了在实际桥梁中设立位移参考点的难题，降低了养护人员的工作强度。但是，上述专利使用的比例因子SF要求相机的光轴垂直于监测建筑的表面，所以需要使用多个监测分机对目标建筑进行多位置位移监测，整体的系统成本较高。

发明内容

本发明的目的是：针对现有技术中需要使用多个监测分机对目标建筑进行多位置位移监测的问题，提出一种基于单相机无标靶的建筑物全局位移监测方法。

本发明为了解决上述技术问题采取的技术方案是：

一种基于单相机无标靶的建筑物全局位移监测方法，包括以下步骤：

步骤一：当建筑物仅于一个方向上存在明显的位移时，对焦距固定的摄像机进行相机标定，得到相机的内参矩阵M₁和畸变系数；

步骤二：利用摄像机以固定频率采集目标建筑的位移视频；

步骤三：将步骤二中摄像机采集到的位移视频通过步骤一中得到的畸变系数进行校正，得到校正后的视频数据；

步骤四：获取四维的转换矩阵M₂，具体步骤为：

步骤四一：在校正后的视频数据中抽取建筑物静止状态下的视频帧，即建筑物静止状态下的图像，并根据建筑物的尺寸信息建立三维坐标系；

步骤四二：选取建筑物静止状态下图像上建筑物的特征点，得到特征点在图像上的二维坐标，并确定特征点在三维坐标系下的对应的三维坐标，进而得到特征点在图像上的二维坐标和在三维坐标系下的三维坐标；

步骤四三：重复步骤四二，得到至少四个特征点对应的二维坐标和三维坐标，然后使用至少四个特征点对应的二维坐标和三维坐标以及内参矩阵M₁得到相机坐标系与所建立的建筑物三维坐标系的刚体变换关系，即四维的转换矩阵M₂；

步骤五：确定待追踪的目标点在建筑物三维坐标系中的三维坐标P_w＝(x_w,y_w,z_w)，选取视频帧中以待追踪的目标点P_i＝(u,v)为中心的区域作为待追踪区域，使用目标跟踪算法追踪视频帧中待追踪区域中像素点的位移信息，对像素点的位移信息取平均值后作为目标点的像素位移信息，利用该位移信息得到特征点P＝_i(u,v)位移后的位置P_i′＝(u′,v′)；

步骤六：确定建筑物的位移方向在建筑物三维坐标系中的三维位移向量v(a,b,c)，根据三维位移向量v(a,b,c)与相机的内参矩阵M₁、四维的转换矩阵M₂以及目标点的像素位移信息得到P_w＝(x_w,y_w,z_w)在三维坐标系中的位移信息。

进一步的，所述刚体变换关系表示为：

其中，r₁₁到r₃₃代表建筑物三维坐标系到相机三维坐标系所经过的刚体变换中旋转矩阵的元素，t_x、t_y、t_z代表的是建筑物三维坐标系到相机三维坐标系所经过的刚体变换中的平移距离。

进一步的，所述目标跟踪算法为模板匹配算法、特征点匹配算法或者光流估计算法。

进一步的，所述P_w＝(x_w,y_w,z_w)在三维坐标系中的位移信息表示为：

其中，disp为目标点P_w在向量v方向上的位移，a、b、c分别为向量v的三个分量，Δ为目标点P_w的x分量在方向v上的变化量。

进一步的，所述Δ通过以下方程得到：

其中A＝r₃₁x_w+r₃₂y_w+r₃₃z_w+t_z，B＝r₃₁+b/ar₃₂+c/ar₃₃，(u′-u,v′-v)为目标点的像素位移信息。

进一步的，所述步骤一中摄像机为定焦摄像机或变焦摄像机，所述变焦摄像机焦距和视场角参数固定。

进一步的，所述步骤四中三维坐标通过建筑物的三维模型、建筑物的图纸或者手工测量的方式得到。

进一步的，所述四维的转换矩阵M₂通过透视n点问题求解方法得到。

进一步的，所述步骤六之前还包括判定摄像机在拍摄期间是否发生自身振动的步骤，若摄像机在拍摄期间没有发生自身的振动，则不作处理，若摄像机在拍摄期间发生自身的振动，则通过步骤五追踪静止的建筑物背景上特征点的位移信息，最后将步骤五中待追踪目标的位移信息减去静止的建筑物背景上的特征点的位移信息，将结果作为特征点P_i(u,v)位移后的位置P_i′(u′,v′)。

本发明的有益效果是：

本申请在监测一个建筑的多个目标点时步骤一到步骤四仅需进行一次，可以达到采集一个角度的视频同时追踪建筑物的多个目标点的效果，并且所述的多个目标点不需要共面，它们可以分布在建筑的任何位置。

本申请仅需要一台相机就可以达到通常需要多台相机才能完成的多点同时监测，节省了建筑物位移监测系统的成本。

本申请不需要安装人工标靶，仅通过建筑物本身的特征点就可以建立图像像素和建筑物的位移转换关系。

附图说明

图1为本申请的系统框图；

图2为本申请的流程图。

具体实施方式

需要特别说明的是，在不冲突的情况下，本申请公开的各个实施方式之间可以相互组合。

具体实施方式一：参照图1具体说明本实施方式，本实施方式所述的一种基于单相机无标靶的建筑物全局位移监测方法，包括以下步骤：

步骤一：当建筑物仅于一个方向上存在明显的位移时，对焦距固定的摄像机进行相机标定，得到相机的内参矩阵M₁和畸变系数；

步骤二：利用摄像机以固定频率采集目标建筑的位移视频；

步骤三：将步骤二中摄像机采集到的位移视频通过步骤一中得到的畸变系数进行校正，得到校正后的视频数据；

步骤四：获取四维的转换矩阵M₂，具体步骤为：

步骤四一：在校正后的视频数据中抽取建筑物静止状态下的视频帧，即建筑物静止状态下的图像，并根据建筑物的尺寸信息建立三维坐标系；

步骤四二：选取建筑物静止状态下图像上建筑物的特征点，得到特征点的二维坐标，并确定特征点在三维坐标系下的对应的三维坐标，进而得到特征点在图像上的二维坐标和在三维坐标系下的三维坐标；

步骤四三：重复步骤四二，得到至少四个特征点对应的二维坐标和三维坐标，然后使用至少四个特征点对应的二维坐标和三维坐标以及内参矩阵M₁得到相机坐标系与所建立的建筑物三维坐标系的刚体变换关系，即四维的转换矩阵M₂；

步骤五：确定待追踪的目标点在建筑物三维坐标系中的三维坐标P_w＝(x_w,y_w,z_w)，选取视频帧中以待追踪的目标点P_i＝(u,v)为中心的区域作为待追踪区域，使用目标跟踪算法追踪视频帧中待追踪区域中像素点的位移信息，对像素点的位移信息取平均值后作为目标点的像素位移信息，利用该位移信息得到特征点P＝_i(u,v)位移后的位置P_i′＝(u′,v′)；

步骤六：确定建筑物的位移方向在建筑物三维坐标系中的三维位移向量v(a,b,c)，根据三维位移向量v(a,b,c)与相机的内参矩阵M₁、四维的转换矩阵M₂以及目标点的像素位移信息得到P_w＝(x_w,y_w,z_w)在三维坐标系中的位移信息。

具体实施方式二：本实施方式是对具体实施方式一的进一步说明，本实施方式与具体实施方式一的区别是所述刚体变换关系表示为：

其中，r₁₁到r₃₃代表建筑物三维坐标系到相机三维坐标系所经过的刚体变换中旋转矩阵的元素，t_x、t_y、t_z代表的是建筑物三维坐标系到相机三维坐标系所经过的刚体变换中的平移距离。

具体实施方式三：本实施方式是对具体实施方式二的进一步说明，本实施方式与具体实施方式二的区别是所述目标跟踪算法为模板匹配算法、特征点匹配算法或者光流估计算法。

具体实施方式四：本实施方式是对具体实施方式三的进一步说明，本实施方式与具体实施方式三的区别是所述P_w＝(x_w,y_w,z_w)在三维坐标系中的位移信息表示为：

其中，±由目标点P_w的运动方向是否与向量v同向决定，当二者同向时，取正号，否则取符号，disp为目标点P_w在向量v方向上的位移，a、b、c分别为向量v的三个分量，Δ为目标点P_w的x分量在方向v上的变化量。

具体实施方式五：本实施方式是对具体实施方式四的进一步说明，本实施方式与具体实施方式四的区别是所述Δ通过以下方程得到：

其中A＝r₃₁x_w+r₃₂y_w+r₃₃z_w+t_z，B＝r₃₁+b/ar₃₂+c/ar₃₃，(u′-u,v′-v)为目标点的像素位移信息。

具体实施方式六：本实施方式是对具体实施方式五的进一步说明，本实施方式与具体实施方式五的区别是所述步骤一中摄像机为定焦摄像机或变焦摄像机，所述变焦摄像机焦距和视场角参数固定。

具体实施方式七：本实施方式是对具体实施方式六的进一步说明，本实施方式与具体实施方式六的区别是所述步骤四中三维坐标通过建筑物的三维模型、建筑物的图纸或者手工测量的方式得到。

具体实施方式八：本实施方式是对具体实施方式七的进一步说明，本实施方式与具体实施方式七的区别是所述四维的转换矩阵M₂通过透视n点问题求解方法得到。

具体实施方式九：本实施方式是对具体实施方式八的进一步说明，本实施方式与具体实施方式八的区别是所述步骤六之前还包括判定摄像机在拍摄期间是否发生自身振动的步骤，若摄像机在拍摄期间没有发生自身的振动，则不作处理，若摄像机在拍摄期间发生自身的振动，则通过步骤五追踪静止的建筑物背景上特征点的位移信息，最后将步骤五中待追踪目标的位移信息减去静止的建筑物背景上的特征点的位移信息，将结果作为特征点P_i(u,v)位移后的位置P_i′(u′,v′)。

实施例：

参照图1，一种基于单相机无标靶的建筑物全局位移监测系统，包括摄像机、现场监测主机以及服务器，所述摄像机通过网线/USB/HDMI接口与现场监测主机进行信号与数据传输，现场监测主机对采集的建筑物位移视频进行处理得到建筑物目标点的实际位移，所述现场监测主机通过4G/5G信号将采集到的视频数据和位移监测数据传输到服务器，服务器对视频数据和位移监测数据进行分析并存储。

一种基于单相机无标靶的建筑物全局位移监测方法，如图2所示，包括以下步骤：

步骤1：在固定焦距的情况下对所使用的摄像机进行相机标定，得到相机的内参矩阵M₁和畸变系数。

步骤2：架设摄像机以固定频率采集目标建筑的位移视频。

步骤3：步骤2中摄像机采集到的视频数据通过数据连接线实时传输到现场监测主机中，通过步骤一中得到的相机内参校正步骤2中采集到的视频帧，得到校正后的视频数据并上传到服务器。

步骤4：从步骤3中得到的校正后的视频数据抽取建筑物静止状态下的视频帧，然后选取图像上的建筑物的特征点，并根据建筑物的尺寸信息建立建筑物三维坐标系，计算所选取的特征点在建筑物三维坐标系中的三维坐标，得到至少四组二维像素坐标和它们在三维坐标系中的三维坐标。使用所得到的至少四组的对应点以及步骤1得到的内参矩阵计算得到相机坐标系与所建立的建筑物三维坐标系的刚体变换关系，其结果是一个四维的转换矩阵M₂。

步骤5：确定要追踪的目标点在建筑物三维坐标系中的三维坐标P_w，用户选取视频中以该目标点为中心的区域作为像素追踪的目标区域，使用目标跟踪算法追踪视频中感兴趣位置中的像素点的位移信息，平均这些点的位移信息作为目标点的像素位移信息。

步骤6：在建筑物仅于一个方向上存在明显的位移的情况下，确定该位移方向在建筑物三维坐标系中的三维位移向量v(a,b,c)，根据该三维位移向量与步骤1得到的相机内参矩阵、步骤4中得到的刚体变换矩阵以及步骤5中得到的目标点的像素位移信息计算得到步骤5中的P_w在三维坐标系中的位移信息，现场监测主机将监测结果传输到服务器，服务器对所有位移监测结果分析并保存。

其中步骤1到步骤4对应图2中的阴影模块，这些步骤和数据在监测一个建筑的多个目标点时仅需进行一次，并且他们得到的结果也可以作为之后监测任何点的数据源。图2中每个虚线框中的部分对应监测一个目标点的流程，根据监测的需要，其可以有任意多个。

本申请避免了在实际监测过程中需要人工安装标靶，也避免了由于限制了相机和监测目标的相对位姿关系而无法进行多点监测的问题。提出的方法仅需要使用一台相机并且无需人工标靶就可以对目标建筑进行同时多点监测，进而降低了建筑物位移监测的成本，并可以快速掌握建筑物的整体位移状况，为后续建筑物的整体健康状况监测提供了新的思路。

需要注意的是，具体实施方式仅仅是对本发明技术方案的解释和说明，不能以此限定权利保护范围。凡根据本发明权利要求书和说明书所做的仅仅是局部改变的，仍应落入本发明的保护范围内。

Claims (7)

1.一种基于单相机无标靶的建筑物全局位移监测方法，其特征在于包括以下步骤：

步骤一：当建筑物仅于一个方向上存在明显的位移时，对焦距固定的摄像机进行相机标定，得到相机的内参矩阵M₁和畸变系数；

步骤二：利用摄像机以固定频率采集目标建筑的位移视频；

步骤三：将步骤二中摄像机采集到的位移视频通过步骤一中得到的畸变系数进行校正，得到校正后的视频数据；

步骤四：获取四维的转换矩阵M₂，具体步骤为：

步骤四一：在校正后的视频数据中抽取建筑物静止状态下的视频帧，即建筑物静止状态下的图像，并根据建筑物的尺寸信息建立三维坐标系；

步骤四二：选取建筑物静止状态下图像上建筑物的特征点，得到特征点在图像上的二维坐标，并确定特征点在三维坐标系下的对应的三维坐标，进而得到特征点在图像上的二维坐标和在三维坐标系下的三维坐标；

步骤四三：重复步骤四二，得到至少四个特征点对应的二维坐标和三维坐标，然后使用至少四个特征点对应的二维坐标和三维坐标以及内参矩阵M₁得到相机坐标系与所建立的建筑物三维坐标系的刚体变换关系，即四维的转换矩阵M₂；

步骤五：确定待追踪的目标点在建筑物三维坐标系中的三维坐标P_w＝(x_w,y_w,z_w)，选取视频帧中以待追踪的目标点P_i＝(u,v)为中心的区域作为待追踪区域，使用目标跟踪算法追踪视频帧中待追踪区域中像素点的位移信息，对像素点的位移信息取平均值后作为目标点的像素位移信息，利用该位移信息得到目标点P_i＝(u,v)位移后的位置P_i′＝(u′,v′)；

步骤六：确定建筑物的位移方向在建筑物三维坐标系中的三维位移向量v(a,b,c)，根据三维位移向量v(a,b,c)与相机的内参矩阵M₁、四维的转换矩阵M₂以及目标点的像素位移信息得到P_w＝(x_w,y_w,z_w)在三维坐标系中的位移信息；

所述P_w＝(x_w,y_w,z_w)在三维坐标系中的位移信息表示为：

其中，disp为目标点P_w在向量v方向上的位移，a、b、c分别为向量v的三个分量，Δ为目标点P_w的x分量在方向v上的变化量；

所述Δ通过以下方程得到：

其中A＝r₃₁x_w+r₃₂y_w+r₃₃z_w+t_z，B＝r₃₁+b/ar₃₂+c/ar₃₃，(u′-u,v′-v)为目标点的像素位移信息。

2.根据权利要求1所述的一种基于单相机无标靶的建筑物全局位移监测方法，其特征在于所述刚体变换关系表示为：

其中，r₁₁到r₃₃代表建筑物三维坐标系到相机三维坐标系所经过的刚体变换中旋转矩阵的元素，t_x、t_y、t_z代表的是建筑物三维坐标系到相机三维坐标系所经过的刚体变换中的平移距离。

3.根据权利要求2所述的一种基于单相机无标靶的建筑物全局位移监测方法，其特征在于所述目标跟踪算法为模板匹配算法、特征点匹配算法或者光流估计算法。

4.根据权利要求1所述的一种基于单相机无标靶的建筑物全局位移监测方法，其特征在于所述步骤一中摄像机为定焦摄像机或变焦摄像机，所述变焦摄像机焦距和视场角参数固定。

5.根据权利要求4所述的一种基于单相机无标靶的建筑物全局位移监测方法，其特征在于所述步骤四中三维坐标通过建筑物的三维模型、建筑物的图纸或者手工测量的方式得到。

6.根据权利要求5所述的一种基于单相机无标靶的建筑物全局位移监测方法，其特征在于所述四维的转换矩阵M₂通过透视n点问题求解方法得到。

7.根据权利要求6所述的一种基于单相机无标靶的建筑物全局位移监测方法，其特征在于所述步骤六之前还包括判定摄像机在拍摄期间是否发生自身振动的步骤，若摄像机在拍摄期间没有发生自身的振动，则不作处理，若摄像机在拍摄期间发生自身的振动，则通过步骤五追踪静止的建筑物背景上特征点的位移信息，最后将步骤五中待追踪目标的位移信息减去静止的建筑物背景上的特征点的位移信息，将结果作为特征点P_i(u,v)位移后的位置P_i′(u′,v′)。

Images