CN111121639B - 一种刚柔一体的建筑物狭窄空间的裂缝检测系统 - Google Patents
一种刚柔一体的建筑物狭窄空间的裂缝检测系统 Download PDFInfo
- Publication number
- CN111121639B CN111121639B CN201911305749.6A CN201911305749A CN111121639B CN 111121639 B CN111121639 B CN 111121639B CN 201911305749 A CN201911305749 A CN 201911305749A CN 111121639 B CN111121639 B CN 111121639B
- Authority
- CN
- China
- Prior art keywords
- crack
- image
- mask
- net network
- crack detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 73
- 230000033001 locomotion Effects 0.000 claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000005070 sampling Methods 0.000 claims description 19
- 238000000034 method Methods 0.000 claims description 18
- 230000008602 contraction Effects 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 230000000877 morphologic effect Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 230000007797 corrosion Effects 0.000 claims description 5
- 238000005260 corrosion Methods 0.000 claims description 5
- 238000011161 development Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 3
- 230000005284 excitation Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000008901 benefit Effects 0.000 abstract description 5
- 239000000463 material Substances 0.000 abstract description 4
- 230000018109 developmental process Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000011217 control strategy Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 208000031481 Pathologic Constriction Diseases 0.000 description 1
- 241000872198 Serjania polyphylla Species 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- WYTGDNHDOZPMIW-RCBQFDQVSA-N alstonine Natural products C1=CC2=C3C=CC=CC3=NC2=C2N1C[C@H]1[C@H](C)OC=C(C(=O)OC)[C@H]1C2 WYTGDNHDOZPMIW-RCBQFDQVSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000018044 dehydration Effects 0.000 description 1
- 238000006297 dehydration reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 230000036262 stenosis Effects 0.000 description 1
- 208000037804 stenosis Diseases 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/028—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring lateral position of a boundary of the object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
一种刚柔一体的建筑物狭窄空间的裂缝检测系统，包括轮式移动小车、裂缝检测系统，轮式移动小车上设有运动控制系统、激光导航系统、超声波避障系统以及照明系统；裂缝检测系统包括移动检测平台、图像采集装置以及图像处理系统；移动检测平台为安装在轮式移动小车顶部的蛇形机械臂，图像采集装置为安装在蛇形机械臂前端的运动相机，图像处理系统包括存储器、模型训练数据集以及基于U‑Net网络的裂缝检测模型；本发明的优点在于：整体裂缝检测系统自主移动可控，减少人工和物力消耗，安全性高经济效益好。
Description
技术领域
本发明涉及建筑物裂缝检测系统，尤其涉及一种运用刚柔一体机械装置针对复杂环境中建筑物裂缝进行检测的系统及检测方法，其目的在于可有效解决复杂环境中建筑物裂缝检测困难、自主检测性低等问题，属于工程结构安全检测领域，尤其涉及裂缝检测领域。
背景技术
在水利工程、建筑工程以及航空航天工程技术领域中，工程结构安全检测的结果是工程能否投入实际运行的重要评判依据。在工程结构安全检测中，建筑物裂缝检测是其中常见的检测项目。裂缝是在混凝土硬化过程中，由于混凝土脱水，引起收缩，或者受温度高低的温差影响，引起膨胀不均匀而产生的。裂缝的存在与发展通常会使内部的钢筋等材料产生腐蚀，降低混凝土材料的承重能力，影响如堤坝、楼宇的使用寿命，严重者甚至会威胁到人们的生命安全。我国在水利行业、建筑行业等方面的工程数量众多，工程结构形式复杂多样，但总体技术状况不容乐观，面临着大量的裂缝检测工作。准确、及时地检测裂缝的发生发展过程，对保障工程安全、防止事故发生具有重要意义。
现有裂缝检测系统主要分为两种，一种为人工手持检测仪进行检测，主要适用于低层建筑物，对于稍高的建筑物需搭建高架，然后由检测人员在高架上进行检测任务。这种检测方法适用范围小，人工投入大且危险性较高。另一种为采用无人机搭载检测仪进行检测。例如，CN201420833657.1的中国实用新型专利，公开了“裂缝无人智能检测机”。利用飞控装置和GPS定位系统对无人机进行自动航点驾驶和定点悬停，在其自动驾驶过程中使用搭载的摄像机拍摄待测建筑物的墙体视频并进行存储。完成飞行任务后，将存储的墙体图片上传至计算机，利用计算机软件对图片进行处理，最终得到裂缝的信息。利用无人机可控飞行的特点，可以降低检测的人力和设备成本，且可以高效的检测高层建筑物的表层墙面信息。但是，对于建筑物内部管道隧道或墙体间隙等狭窄空间由于无人机的固有体积，使其无法进入到上述环境中进行裂缝检测，且在不开阔的区域，无人机的控制精度难以达到操作要求，很难实现有效的裂缝检测。
发明内容
本发明的目的在于提供一种能够进入建筑物的狭窄空间，可有效的实现远距离操控、非接触式自主检测的刚柔一体的建筑物裂缝检测系统。
刚柔一体的建筑物裂缝检测系统，包括轮式移动小车、裂缝检测系统，轮式移动小车上设有运动控制系统、激光导航系统、超声波避障系统以及照明系统；裂缝检测系统包括移动检测平台、图像采集装置以及图像处理系统；移动检测平台为安装在轮式移动小车顶部的蛇形机械臂，图像采集装置为安装在蛇形机械臂前端的运动相机；图像处理系统包括存储器、模型训练数据集以及基于U-Net网络的裂缝检测模型；图像处理系统执行以下操作：利用训练数据集对所设计的U-Net网络进行模型训练；获取待检测狭窄空间的裂缝图像；获取运动相机采集的待检测空间中的裂缝图像；将裂缝图像输入到训练好的U-Net模型中，以掩膜的方式输出检测后的图像；对检测后的掩膜图像进行形态学操作，采用轮廓提取计算与图像标定的方法确定裂缝的实际长度与宽度。
作为优选的方案，轮式移动小车通过其上装载的多个激光发射器构成矩形排布。与建筑物狭窄空间周围布置的激光反射板实现实时定位导航，通过运动控制器控制移动小车运动到建筑物狭窄空间的周围区域，当到达指定位置的范围内后启动照明系统，为后续图像采集提供亮度。
作为优选的方案，安装在移动小车上的蛇形机械臂通过运动控制进入到建筑物狭窄空间的内部，通过其上搭载的运动相机进行空间裂缝图像采集，所述运动相机选用GoproHER07 Black，尺寸：62.3*44.9*33mm，重量：116g，采集帧率：60采集图像的分辨率：1920×1080。
作为优选的方案，利用U-net网络对待检测图像进行裂缝检测包括以下操作：制作训练集，训练集中的图像具有标记好的裂缝区域和非裂缝区域；利用训练集训练U-net网络模型，U-net网络结构左右对称，左侧由卷积层和池化层组成，左侧为收缩路径，右侧由卷积层和反卷积层组成，右侧为扩展路径；收缩路径上进行向下采样时，每一步会有两个3×3的卷积层后连接一个2×2的池化层，每次降采样的步长为2，并且每层卷积后采用整流线性单元Relu激励函数来对图像进行降采样操作，除此之外，每一次降采样都会增加一倍的通道数；扩展路径进行向上采样时，每一步会有一个2×2的卷积层和后连接两个3×3的卷积层，扩展路径的激活函数是线性整流函数；在每一步升采样时都会加入来自相对应收缩路径的特征图，特征图通过对收缩路径上的图像进行复制和裁剪获得，保持和对应升采样过程中特征图相同的形状；U-Net网络结构中没有全连接层，网络的最后一层是一个1×1的卷积层，通过这一操作可以将32通道的特征图转换为最终所需要的检测图，最终，U-Net的整个网络一共有21层卷积层；将训练集原始灰度图像作为U-net网络的输入，原始图像对应的掩模I mask作为输出进行网络训练，最终将会得到一个以裂缝灰度图像为输入，裂缝掩模为输出的裂缝检测模型；将待检测的裂缝图像调整为灰度图像，分辨率调整为(w,h)，作为输入，利用上诉训练得到的U-net网络模型，对其进行裂缝检测并输出待检测图像的掩模Tmask。
模型训练基于Pycharm开发平台，使用基于Python语言的Tensorflow深度学习框架，搭建具收缩路径和扩展路径U“U”形U-net网络。
作为优选的方案，提取裂缝的外轮廓、裂缝轮廓上任意两点的距离，以及裂缝的面积包括以下操作：对掩模T mask进行腐蚀膨胀等形态学操作，首先创建以14为半径的平面圆形结构元素对掩膜进行腐蚀，然后创建以10为半径的平面圆形结构元素对掩膜进行膨胀以消除掩膜T mask中的轮廓毛刺和细小噪声；遍历掩模T mask中所有裂缝区域(白色)的连通域，提取相应连通区域的外接矩形，并计算该矩形的面积A mask，设定有无裂缝面积阈值A crack，当A mask≤A crack时判定该裂缝区域不存在有危害裂缝，不进行裂缝信息处理。
对A mask>A crack的裂缝区域利用Canny边缘检测进行轮廓提取，得到轮廓的坐标点集P mask，轮廓的总坐标点数记为N s，计算裂缝像素级别的长度值L p：
计算轮廓坐标点的宽度值W p：计算相邻两点间的角度值θp，并将θp值存储为数据集求取数据集中的最小θp值，并计算两点之间的长度即为W p；
选择标准参照物计算出图像中的一个像素代表的实际长度是多少，进而将上述裂缝像素级别的长度和宽度等信息转换为实际的长度值。
式中，W op为标定物的宽度像素；W or为标定物的实际宽度；W p为所测裂缝的宽度像素；W r为所测裂缝的实际长度；L p为所测裂缝的长度像素；L r为所测裂缝的实际长度。
本发明的优点在于：
1、整体裂缝检测系统自主移动可控，减少人工和物力消耗，安全性高经济效益好。
2、基于刚柔一体蛇形机械臂的裂缝检测系统主要面向建筑物狭窄空间的裂缝检测，可用于建筑物内部管道隧道或墙体间隙等环境解决了无人机进行裂缝检测时对检测区域空间的要求。
3、采用端到端的U-net网络可以实现输入待检测图像后直接输出显示待检测图像中的裂缝区域，并可以通过计算方便的获得裂缝的长度以及宽度信息。
附图说明
图1为U-net网络模型训练示意图。
具体实施方式
刚柔一体的建筑物裂缝检测系统，包括轮式移动小车、裂缝检测系统，轮式移动小车上设有运动控制系统、激光导航系统、超声波避障系统以及照明系统；裂缝检测系统包括移动检测平台、图像采集装置以及图像处理系统。其中移动检测平台为安装在轮式移动小车顶部的蛇形机械臂，图像采集装置为安装在蛇形机械臂前端的运动相机；图像处理系统包括存储器、模型训练数据集以及基于U-Net网络的裂缝检测模型。图像处理系统执行以下操作：1)利用训练数据集对所设计的U-Net网络进行模型训练2)获取待检测狭窄空间的裂缝图像3)获取运动相机采集的待检测空间中的裂缝图像4)将裂缝图像输入到训练好的U-Net模型中，以掩膜的方式输出检测后的图像5)对检测后的掩膜图像进行形态学操作，采用轮廓提取计算与图像标定的方法确定裂缝的实际长度与宽度
移动小车利用其上装载的4个激光发射器(成矩形排布)，与建筑物狭窄空间周围布置的激光反射板实现实时定位导航，通过运动控制器控制移动小车运动到建筑物狭窄空间的周围区域，当到达指定位置的范围内后启动照明系统，为后续图像采集提供亮度适宜的环境。移动小车包括运动控制器1、遥控手柄2、激光发射器3、左驱动轮4和右驱动轮5，超声传感器6，I/O接口7，电机及驱动器8，编码器9。
可自主移动小车在上述模块的作用下可满足的基本功能是：智能循迹导航、避障准确及时、承重10Kg以上。轮式移动小车实现自主运动的方法如下：
1)检测区域地图扫描：轮式移动小车在实现自主移动检测前，需要对待检测区域的周边环境进行地图扫描，因此移动小车应配备人机交互的遥控手柄，手柄包括控制可移动小车加速、减速、方向改变以及紧急制动的按钮。在待检测区域的地面环境中，工作人员通过遥控手柄控制可自主移动小车进行移动，通过小车携带的激光雷达传感器采集其周围环境的数据并进行处理。
2)检测系统的定位：在待检测区域的周围环境中布置激光反射板，移动小车携带激光发射器，发射的激光束通过在检测环境中的激光反射板再返回到系统中，通过收发激光束，利用传感数据分析移动小车当前的位置与方位。
3)检测系统的运动控制：移动小车采用双轮差速驱动的方式，两个驱动轮位于小车的中间，分别由两个独立的无刷直流伺服电机驱动，其余四个从动轮分布在前后四个角上，起支撑作用。运动控制器对上述两个驱动轮进行速度跟踪控制，实现可自主移动小车前进、后退，加减速，转弯以及原地旋转等功能。
4)检测系统的运动避障：避障是移动小车运动控制中必不可少的一部分，本发明专利中的可移动小车采用其上装载的超声波传感器对小车周围的障碍物进行距离检测，经过超声波传感器测得的障碍物距离信号传入运动控制器中。
移动小车上搭载的的蛇形机械臂能够进入狭窄、弯曲的环境，可应用在建筑物狭窄空间中进行裂缝检测。刚柔一体的蛇形机械臂作为搭载裂缝图像采集装置的载体，在轮式移动小车运动到待检测狭窄空间的周围区域后，控制刚柔一体蛇形机械臂伸入到待检测的狭窄空间。
传统刚柔一体机械臂多自由度、强耦合且动力学模型非线性的特点使其运动控制十分困难，蛇形机械臂是基于一种正交连接、采用杠杆结构驱动的多关节蛇形机械臂，其特点是整体由多关节组成，呈多自由度、柔性状态，但每个运动单元是刚性体。正交关节连接的蛇形机械臂，其运动控制基于关节的角度反馈。
刚柔一体机械臂的控制器安装在轮式移动小车内部，单关节使用位置闭环控制，多关节之间通过控制器总线实现通讯。本发明中刚柔一体蛇形机械臂采用基于尖顶从动的控制策略，即多关节体后级运动单元的运动过程跟随前级的变化。
机械臂基座11、刚柔一体机械臂12和图像采集装置组成。刚柔一体机械臂12通过机械臂基座11连接到可自主移动小车10上，刚柔一体机械臂上安装有图像采集装置13。
传统刚柔一体机械臂多自由度、强耦合且动力学模型非线性的特点使其运动控制十分困难但本发明所诉刚柔一体机械臂基于一种正交连接、采用杠杆结构驱动。所诉结构的柔性关节连接采用正交连接方式，其控制方法是基于关节角度反馈实现的。
刚柔一体机械臂12的单关节控制通过位置闭环实现。单关节信号给定14经过PI调节器15后将信号送入驱动电机16，驱动电机16进而驱动单关节17。通过角度检测18将信号送入CPU的AD转换模块19，AD转换模块19的通道采集角度检测信号，进过卡尔曼算法滤波后将信号反馈回控制器。
机械臂应用在狭窄空间中，采用基于尖顶从动的控制策略，即多关节体的后级运动单元的运动过程跟随前级的变化。机械臂的整体进入待检测狭窄处的动作是通过最前端第一级运动单元的引导来完成。刚柔一体机械臂进入待检测的狭窄处，第一级运动单元至少要完成以下动作：首先右转α角度，在进入狭窄处后，再左转α角度。这样第一个运动单元就实现了进入待检测区域，机械臂的后级运动单元，全部遵循第一级运动单元的动作过程即可实现进入待检测区域。
在机械臂进入待检测的位置后，其上搭载的运动相机开始进行待检测裂缝图像的采集，并通过基于U-net网络裂缝检测模型得到待检测区域裂缝的长度以及宽度信息。
本发明专利进行裂缝检测时需进行以下两步：
1)待检测环境的图像采集：刚柔一体蛇形机械臂前端搭载的运动相机选用GoproHER07 Black，尺寸：62.3*44.9*33mm，重量：116g，采集帧率：60采集图像的分辨率：1920×1080。控制刚柔一体蛇形机械臂进入到待检测的狭窄空降并拍摄高清的位置图片，作为后续基于U-net网络裂缝检测模型的测试集。
2)待检测环境图像裂缝信息的获取：
1.训练集制作；
神经网络的训练需要基于大量的数据，但本发明中所采用的U-net网络充分利用深层网络获得的抽象特征和浅层网络包含的图像上下文信息，采用复制叠加的方式进行特征融合，能有效、准确地实现图像的分割，因此在进行模型训练的时候只需要较少的数据。采集约200张建筑物裂缝图像，将数据集中的图像进行灰度化处理并将图像全部调整至像素分辨率为860×860。利用Github上开源的分割任务标注软件labelme进行裂缝的人工标定，采用多折线标定的方式沿目标裂缝形态逐点标注，裂缝区域填充为白色并标记为1，其余非裂缝区域填充为黑色并标记为0，即得到原始数据集的掩模I mask。
2.U-net网络模型训练；
本发明专利中的模型训练基于Pycharm开发平台，使用基于Python语言的Tensorflow深度学习框架，具体的实验环境为：
unbuntu16.04+cuda9.0+cuDNN7.0+tensorflow 1.9.0+opencv3.2.0+python3。搭建具收缩路径和扩展路径的“U”形U-net网络。本发明中的U-net网络结构左右对称，左侧由卷积层和池化层组成，称为收缩路径，右侧由卷积层和反卷积层组成，称扩展路径。收缩路径上进行向下采样时，每一步会有两个3×3的卷积层后连接一个2×2的池化层(步长为2)，并且每层卷积后采用整流线性单元Relu激励激活函数来对图像进行降采样操作，除此之外，每一次降采样都会增加一倍的通道数；扩展路径进行向上采样时，每一步会有一个2×2的卷积层(激活函数也是Relu)后连接一个两个3×3的卷积层，每一步升采样时都会加入来自相对应收缩路径的特征图(特征图是通过对收缩路径上的图像进行复制和经裁剪获得，保持和对应升采样过程特征图相同形状)；U-Net网络结构中没有全连接层，网络的最后一层是一个1×1的卷积层，通过这一操作可以将32通道的特征图向量转换为最终所需的检测图，最终，本发明中U-Net网络模型，一共有21层卷积层。由于U-net网络中存在卷积层，对图像进行卷积操作会丢弃输入图像中小于卷积核的边缘部分图像，使得输出图像尺寸变小,输入图像的尺寸为860×860，而输出图像的尺寸为676×676。在本发明中采用Mirror-overlap-tile方法合理镜像扩充原始图像的边缘像素以解决输入输出图像不匹配的问题。
3.U-net网络模型进行裂缝检测；
将待检测的裂缝图像调整为灰度图像并将大小调整为860×860，作为模型的输入。利用上诉训练得到的U-net网络模型，对其进行裂缝检测并输出待检测图像的掩模Tmask。
4.裂缝信息识别；
对掩模T mask进行腐蚀膨胀等形态学操作，首先创建以14为半径的平面圆形结构元素对掩膜进行腐蚀腐蚀，然后创建以10为半径的平面圆形结构元素对掩膜进行膨胀以消除掩膜T mask中的轮廓毛刺和细小噪声；遍历掩模T mask中所有裂缝区域(白色)的连通域，提取相应连通区域的外接矩形，并计算该矩形的面积A mask，设定有无裂缝面积阈值Acrack，当A mask≤A crack时判定该裂缝区域不存在有危害裂缝，不进行裂缝信息处理。
对A mask>A crack的裂缝区域利用Canny边缘检测进行轮廓提取，得到轮廓的坐标点集P mask，轮廓的总坐标点数记为N s，计算裂缝像素级别的长度值L p：
计算轮廓坐标点的宽度值W p：计算相邻两点间的角度值θp，并将θp值存储为数据集求取数据集中的最小θp值，并计算两点之间的长度即为W p。
选择标准参照物计算出图像中的一个像素代表的实际长度是多少，进而将上述裂缝像素级别的长度和宽度等信息转换为实际的长度值。
式中，W op为标定物的宽度像素；W or为标定物的实际宽度；W p为所测裂缝的宽度像素；W r为所测裂缝的实际长度；L p为所测裂缝的长度像素；L r为所测裂缝的实际长度。
Claims (4)
1.一种刚柔一体的建筑物狭窄空间的裂缝检测系统，包括轮式移动小车、裂缝检测系统，轮式移动小车上设有运动控制系统、激光导航系统、超声波避障系统以及照明系统；裂缝检测系统包括移动检测平台、图像采集装置以及图像处理系统；移动检测平台为安装在轮式移动小车顶部的蛇形机械臂，图像采集装置为安装在蛇形机械臂前端的运动相机；图像处理系统包括存储器、模型训练数据集以及基于U-Net网络的裂缝检测模型；图像处理系统执行以下操作：利用训练数据集对所设计的U-Net网络进行模型训练；获取待检测狭窄空间的裂缝图像；获取运动相机采集的待检测空间中的裂缝图像；将裂缝图像输入到训练好的U-Net模型中，以掩膜的方式输出检测后的图像；对检测后的掩膜图像进行形态学操作，采用轮廓提取计算与图像标定的方法确定裂缝的实际长度与宽度；
提取裂缝的外轮廓、裂缝轮廓上任意两点的距离，以及裂缝的面积包括以下操作：对掩模T mask 进行腐蚀膨胀等形态学操作，首先创建平面圆形结构元素对掩膜进行腐蚀，然后创建平面圆形结构元素对掩膜进行膨胀以消除掩膜T mask 中的轮廓毛刺和细小噪声；遍历掩模T mask 中所有裂缝区域白色的连通域，提取相应连通区域的外接矩形，并计算该矩形的面积A mask ，设定有无裂缝面积阈值A crack ，当A mask ≤A crack 时判定该裂缝区域不存在有危害裂缝，不进行裂缝信息处理；
对A mask >A crack 的裂缝区域利用Canny边缘检测进行轮廓提取，得到轮廓的坐标点集P mask ，轮廓的总坐标点数记为N s ，计算裂缝像素级别的长度值L p ：
选择标准参照物计算出图像中的一个像素代表的实际长度是多少，进而将上述裂缝像素级别的长度和宽度等信息转换为实际的长度值；
式中，W op 为标定物的宽度像素；W or 为标定物的实际宽度；W p 为所测裂缝的宽度像素；W r 为所测裂缝的实际长度；L p 为所测裂缝的长度像素；L r 为所测裂缝的实际长度。
2.如权利要求1所述的刚柔一体的建筑物狭窄空间的裂缝检测系统，其特征在于：轮式移动小车通过其上装载的多个激光发射器构成矩形排布；与建筑物狭窄空间周围布置的激光反射板实现实时定位导航，通过运动控制器控制移动小车运动到建筑物狭窄空间的周围区域，当到达指定位置的范围内后启动照明系统，为后续图像采集提供亮度。
3. 如权利要求1所述的刚柔一体的建筑物狭窄空间的裂缝检测系统，其特征在于：安装在移动小车上的蛇形机械臂通过运动控制进入到建筑物狭窄空间的内部，通过其上搭载的运动相机进行空间裂缝图像采集，所述运动相机选用Gopro HER07 Black，尺寸：62.3*44.9*33mm，重量：116g，采集帧率：60采集图像的分辨率：1920×1080。
4. 如权利要求1所述的刚柔一体的建筑物狭窄空间的裂缝检测系统，其特征在于：利用U-net网络对待检测图像进行裂缝检测包括以下操作：制作训练集，训练集中的图像具有标记好的裂缝区域和非裂缝区域；利用训练集训练U-net网络模型，U-net网络结构左右对称，左侧由卷积层和池化层组成，左侧为收缩路径，右侧由卷积层和反卷积层组成，右侧为扩展路径；收缩路径上进行向下采样时，每一步会有两个3×3的卷积层后连接一个2×2的池化层，每次降采样的步长为2，并且每层卷积后采用整流线性单元Relu激励函数来对图像进行降采样操作，除此之外，每一次降采样都会增加一倍的通道数；扩展路径进行向上采样时，每一步会有一个2×2的卷积层和后连接两个3×3的卷积层，扩展路径的激活函数是线性整流函数；在每一步升采样时都会加入来自相对应收缩路径的特征图，特征图通过对收缩路径上的图像进行复制和裁剪获得，保持和对应升采样过程中特征图相同的形状；U-Net网络结构中没有全连接层，网络的最后一层是一个1×1的卷积层，通过这一操作可以将32通道的特征图转换为最终所需要的检测图，最终，U-Net的整个网络一共有21层卷积层；将训练集原始灰度图像作为U-net网络的输入，原始图像对应的掩模I mask 作为输出进行网络训练，最终将会得到一个以裂缝灰度图像为输入，裂缝掩模为输出的裂缝检测模型；将待检测的裂缝图像调整为灰度图像，分辨率调整为w,h，作为输入，利用上诉训练得到的U-net网络模型，对其进行裂缝检测并输出待检测图像的掩模T mask ；
模型训练基于Pycharm开发平台，使用基于Python语言的Tensorflow深度学习框架，搭建具收缩路径和扩展路径“U”形U-net网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911305749.6A CN111121639B (zh) | 2019-12-18 | 2019-12-18 | 一种刚柔一体的建筑物狭窄空间的裂缝检测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911305749.6A CN111121639B (zh) | 2019-12-18 | 2019-12-18 | 一种刚柔一体的建筑物狭窄空间的裂缝检测系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111121639A CN111121639A (zh) | 2020-05-08 |
| CN111121639B true CN111121639B (zh) | 2021-07-27 |
Family
ID=70498221
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911305749.6A Active CN111121639B (zh) | 2019-12-18 | 2019-12-18 | 一种刚柔一体的建筑物狭窄空间的裂缝检测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111121639B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111707237A (zh) * | 2020-06-08 | 2020-09-25 | 西安电子科技大学 | 基于视觉度量的建筑外墙表面喷涂方法 |
| CN118279316B (zh) * | 2024-06-04 | 2024-08-02 | 山东大学 | 一种混凝土基础设施结构裂缝机载检测装置及工作方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003073043A1 (de) * | 2002-02-27 | 2003-09-04 | Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung zur berührungslosen abstandsmessung zu einer in einem engspalt befindlichen fläche |
| CN104551347A (zh) * | 2014-12-30 | 2015-04-29 | 江苏科技大学 | 窄间隙焊缝偏差的红外视觉传感检测方法及装置 |
| CN107315410A (zh) * | 2017-06-16 | 2017-11-03 | 江苏科技大学 | 一种机器人自动排障方法 |
| CN109227527A (zh) * | 2018-10-16 | 2019-01-18 | 同济大学 | 一种基于首尾双头蛇形机械臂的无人机搜救装置及其应用 |
| CN110060251A (zh) * | 2019-04-26 | 2019-07-26 | 福州大学 | 一种基于U-Net的建筑物表面裂纹检测方法 |
| CN110298854A (zh) * | 2019-05-17 | 2019-10-01 | 同济大学 | 基于在线自适应与单目视觉的飞行蛇形臂协同定位方法 |
| CN110569730A (zh) * | 2019-08-06 | 2019-12-13 | 福建农林大学 | 一种基于U-net神经网络模型的路面裂缝自动识别方法 |
-
2019
- 2019-12-18 CN CN201911305749.6A patent/CN111121639B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003073043A1 (de) * | 2002-02-27 | 2003-09-04 | Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung zur berührungslosen abstandsmessung zu einer in einem engspalt befindlichen fläche |
| CN104551347A (zh) * | 2014-12-30 | 2015-04-29 | 江苏科技大学 | 窄间隙焊缝偏差的红外视觉传感检测方法及装置 |
| CN107315410A (zh) * | 2017-06-16 | 2017-11-03 | 江苏科技大学 | 一种机器人自动排障方法 |
| CN109227527A (zh) * | 2018-10-16 | 2019-01-18 | 同济大学 | 一种基于首尾双头蛇形机械臂的无人机搜救装置及其应用 |
| CN110060251A (zh) * | 2019-04-26 | 2019-07-26 | 福州大学 | 一种基于U-Net的建筑物表面裂纹检测方法 |
| CN110298854A (zh) * | 2019-05-17 | 2019-10-01 | 同济大学 | 基于在线自适应与单目视觉的飞行蛇形臂协同定位方法 |
| CN110569730A (zh) * | 2019-08-06 | 2019-12-13 | 福建农林大学 | 一种基于U-net神经网络模型的路面裂缝自动识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111121639A (zh) | 2020-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110221623B (zh) | 一种空地协同作业系统及其定位方法 | |
| CN111055281B (zh) | 一种基于ros的自主移动抓取系统与方法 | |
| CN108571971B (zh) | 一种agv视觉定位系统及方法 | |
| CN106680290B (zh) | 狭窄空间的多功能检测车 | |
| CN112740274B (zh) | 在机器人设备上使用光流传感器进行vslam比例估计的系统和方法 | |
| CN102608998A (zh) | 嵌入式系统的视觉导引agv系统及方法 | |
| CN111496770A (zh) | 基于3d视觉与深度学习的智能搬运机械臂系统及使用方法 | |
| US20220371199A1 (en) | System and method for connection of service lines to trailer fronts by automated trucks | |
| CN113791621B (zh) | 一种自动驾驶牵引车与飞机对接方法及系统 | |
| CN110243380A (zh) | 一种基于多传感器数据与角度特征识别的地图匹配方法 | |
| CN111121639B (zh) | 一种刚柔一体的建筑物狭窄空间的裂缝检测系统 | |
| CN113075686B (zh) | 一种基于多传感器融合的电缆沟智能巡检机器人建图方法 | |
| CN114200945B (zh) | 一种移动机器人的安全控制方法 | |
| CN210377164U (zh) | 一种空地协同作业系统 | |
| CN110597272A (zh) | 一种基于视觉导航的智能无人叉车系统及方法 | |
| CN115014338A (zh) | 一种基于二维码视觉和激光slam的移动机器人定位系统及方法 | |
| Kim et al. | Autonomous mobile robot localization and mapping for unknown construction environments | |
| CN114067210A (zh) | 一种基于单目视觉导引的移动机器人智能抓取方法 | |
| Beinschob et al. | Advances in 3d data acquisition, mapping and localization in modern large-scale warehouses | |
| CN113096190A (zh) | 基于视觉建图的全向移动机器人导航方法 | |
| CN112477533A (zh) | 设施农业路轨两用运输机器人 | |
| CN116030130A (zh) | 一种动态环境下的混合语义slam方法 | |
| CN115755888A (zh) | 多传感器数据融合的agv障碍物检测系统及避障方法 | |
| CN115409965A (zh) | 一种面向非结构化道路的矿区地图自动生成方法 | |
| CN113341968A (zh) | 一种多轴线平板车精准停靠系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |