CN108764601A - 一种基于计算机视觉和深度学习技术的结构健康监测异常数据诊断方法 - Google Patents
一种基于计算机视觉和深度学习技术的结构健康监测异常数据诊断方法 Download PDFInfo
- Publication number
- CN108764601A CN108764601A CN201810290291.0A CN201810290291A CN108764601A CN 108764601 A CN108764601 A CN 108764601A CN 201810290291 A CN201810290291 A CN 201810290291A CN 108764601 A CN108764601 A CN 108764601A
- Authority
- CN
- China
- Prior art keywords
- data
- layer
- monitoring
- structural health
- health conditions
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 65
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 60
- 230000036541 health Effects 0.000 title claims abstract description 35
- 238000005516 engineering process Methods 0.000 title claims abstract description 20
- 238000002405 diagnostic procedure Methods 0.000 title claims abstract description 11
- 230000004044 response Effects 0.000 claims abstract description 55
- 238000012549 training Methods 0.000 claims abstract description 37
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000010586 diagram Methods 0.000 claims abstract description 20
- 238000013079 data visualisation Methods 0.000 claims abstract description 7
- 239000010410 layer Substances 0.000 claims description 42
- 238000013135 deep learning Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 11
- 210000002569 neuron Anatomy 0.000 claims description 10
- 241001269238 Data Species 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- 238000013480 data collection Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 239000011229 interlayer Substances 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 7
- 230000008569 process Effects 0.000 description 8
- 238000003745 diagnosis Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000010355 oscillation Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 239000013535 sea water Substances 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/08—Construction
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Economics (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Entrepreneurship & Innovation (AREA)
- General Health & Medical Sciences (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Game Theory and Decision Science (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Primary Health Care (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于计算机视觉和深度学习技术的结构健康监测异常数据诊断方法，是为了解决现有方法难以处理具有多种异常模式的情形，容易产生过处理和欠处理的问题，且人工专家干预的自动化程度低，成本昂贵的缺点而提出的，包括：将待诊断监测数据由时间序列数据通过数据可视化处理转换为时域响应图像数据和频域响应图像数据；根据同一个数据段对应的时域响应图像数据和频域响应图像数据组成双通道时频响应图；从双通道时频响应图中选取样本并标注样本的异常类型，构成训练集；将训练集输入至卷积神经网络模型中，将训练后的模型作为异常数据诊断器；将待诊断监测数据输入至异常数据诊断器中得到诊断结果。本发明适用于结构健康数据监测。
Description
技术领域
本发明涉及机器学习、信号处理、土木工程结构健康监测技术领域，具体涉及一种基于计算机视觉和深度学习技术的结构健康监测异常数据诊断方法。
背景技术
在当今土木工程领域，随着很多建筑结构的老化和越来越多大型复杂基础设施的兴建，结构健康监测(Structural Health Monitoring,SHM)作为监测、管理和维护的重要工具，已广泛应用于工程实践中。监测系统不仅能够实时监测结构的多种响应，为结构的状态评估提供参考，也能为结构的维修和养护提供依据。其作用直接关系到结构的安全性和可用性。自上世纪80年代将结构健康监测技术初步应用以来，中国已成长为结构健康监测技术应用大国，在许多工程结构如大型桥梁、隧道、大坝、海洋平台、高层建筑、大跨空间结构等安装了实施在线监测系统。单个系统普遍含有多种传感器阵列，节点总数可达数百个。监测内容可分为结构周边环境监测，结构荷载监测以及结构响应监测。其中环境监测项目包括温度、湿度、风速、地震动和降雨等；结构荷载监测包括行人、车流量、水位等；结构响应监测包括加速度、位移、应变、倾斜、挠度、腐蚀等。持续不断的全方位监测产生的数据总量可达每年数百TB。这些监测数据记录了结构在运营过程中丰富的性能演化信息，包含结构在常规运营状态下的响应行为规律，也包含结构在如地震、台风、火灾、船撞、交通事故等的紧急事件中的罕遇响应。截至目前，各类结构配备的健康监测系统已经积累了可长达十余年的监测数据。发展基于数据驱动的结构性能评估方法，能为当前结构的整体性能、局部性能做出基于原址数据的直接评价，也能基于结构的全寿命演化规律，预测结构的未来长期性能。
然而，结构的服役环境恶劣，以大跨度桥梁为例，常年面临海水腐蚀、台风致振动以及行车荷载引起的钢箱梁疲劳裂纹等问题。其结构健康监测系统的大部分功能模块均于户外工作，如传感器阵列、数据传输线缆、子系统网关等。严苛的系统工作环境导致监测数据中普遍混杂了多种异常数据，如数据缺失、离群值(数据跳点)以及数据漂移等。这些异常数据既可能是记录有特殊事件以及结构损伤等蕴含丰富信息的罕遇数据，也可能是由于监测系统故障生成的错误数据。二者的高度相似性是制约目前监测系统的容错能力、实时预警精度的重要因素之一。在对数据属性进行判定之前，一个更基本的问题是如何从监测大数据中探测异常数据。现有的数据预处理方法主要有滤波降噪、滑动平均降噪、设置阈值剔除离群值，并且近年来发展了使用压缩感知(Compressive Sensing,CS)技术和基于数据分布回归的丢失数据恢复等方法。然而当监测数据具有多种异常模式，并且各个异常模式在时空中具有变异性时，这些单目标的基本方法相互影响，容易产生过处理和欠处理的问题，无法满足在线预警和结构状态评估的精度和效率需求。人工专家干预决策的精度高，适应性强，但是自动化程度低，成本昂贵。
发明内容
本发明的目的是为了解决现有的压缩感知、基于数据分布回归的丢失数据恢复等单目标方法难以处理具有多种异常模式的情形，容易产生过处理和欠处理的问题，无法满足在线预警和结构状态评估的精度和效率需求，且人工专家干预的自动化程度低，成本昂贵的缺点，而提出一种基于计算机视觉和深度学习技术的结构健康监测异常数据诊断方法。
一种基于计算机视觉和深度学习技术的结构健康监测异常数据诊断方法，包括：
步骤一、将待诊断监测数据由时间序列数据通过数据可视化处理转换为时域响应图像数据和频域响应图像数据；根据同一个数据段对应的时域响应图像数据和频域响应图像数据组成双通道时频响应图；从双通道时频响应图中选取样本并标注样本的异常类型，构成训练集；
步骤二、将训练集输入至卷积神经网络模型中，将训练后的模型作为异常数据诊断器；
步骤三、将待诊断监测数据输入至异常数据诊断器中得到诊断结果。
本发明的有益效果为：
1、针对结构健康监测数据的异常数据诊断问题，本发明实现了异常模式学习、模型训练、结构健康监测大数据异常诊断的全过程自动化处理。整个过程便捷、准确，提升了结构健康监测数据分析的效率与可靠性。
2、可同时诊断具有多种异常模式的结构健康监测数据，并且可由卷积神经网络自学习异常数据的表达特征；
3、能显著降低数据处理过程中的人工参与度，仅在数据标记过程中，需要人工参与将人类专家知识通过数据标签传授给计算机，除此之外，整个异常数据诊断过程都为自动化处理；
4、能满足结构健康监测在线预警的实时数据预处理需求。异常数据诊断器的结果输出延迟可低至毫秒级；
5、在一个具体的实施例中，本发明能实现高度自定义的诊断精度需求，数据窗口大小、异常数据类别、诊断器数量等参数均可实现用户自定义；
6、本发明一个实施例的诊断结果全局准确率能够达到94.1％，诊断出的异常数据与实际的异常数据误差仅为2.42％。
附图说明
图1(a)为本发明的基于计算机视觉与深度学习的异常数据诊断方法流程图，其中Normal表示各种分类中的“正常”类别，Missing表示“缺失”类别，Minor表示“次小值”类别，Outlier表示“离群值”类别，Square表示“超量程振荡”类别，Trend表示“趋势”类别，Drift表示“漂移”类别；图1(b)为本发明的基于计算机视觉与深度学习的异常数据诊断方法的一个实施例的示意图；图1(c)为图1(b)中进行实时/离线诊断时输入的图像；其中hour表示不同的时间，channel表示不同的通道。
图2为具体实施方式四中卷积神经网络的架构图；
图3为本发明一个实施例的异常数据自动诊断结果；其中图3(a)为某年1月至6月的结果，图3(b)为该年7月至12月的结果；
图4为本发明一个实施例的异常数据人工标记结果；其中图4(a)为某年1月至6月的记过，图4(b)为该年7月至12月的结果；
图5为自动诊断结果与人工标记结果对比图；
图6为异常数据诊断器ROC曲线，其中图6(a)为图6(b)中左上角方框的局部放大图；
图7为本发明一个实施例的流程图。
具体实施方式
具体实施方式一：本实施方式的基于计算机视觉和深度学习技术的结构健康监测异常数据诊断方法，如图7所示，包括：
步骤一、将用于训练的监测数据由时间序列数据通过数据可视化处理转换为时域响应图像数据和频域响应图像数据；根据同一个数据段对应的时域响应图像数据和频域响应图像数据组成双通道时频响应图；从双通道时频响应图中选取样本并标注样本的异常类型，构成训练集；数据可视化即将数据变成可见的曲线、图表的过程，例如图1(a)中就是将时域和频域数据转为时域和频域图像。
步骤二、将训练集输入至卷积神经网络模型中，将训练后的模型作为异常数据诊断器；
步骤三、将待诊断监测数据输入至异常数据诊断器中得到诊断结果。
本实施方式的目的是提出一种基于计算机视觉和深度学习的结构健康监测异常数据智能诊断方法，以应用于土木工程结构的健康监测数据处理与分析过程。
本发明的核心是一种模仿生物视觉信息获取和大脑决策的基于计算机视觉和深度学习的结构健康监测异常数据智能诊断方法。该方法主要分为两步，第一步为数据可视化/数据转换，即通过对原始的时间序列数据进行时域、频域的可视化，将其转换为图像数据，并标记部分样本的异常类型以作为训练集；第二步为信息融合及CNN训练，即利用CNN的多通道架构，将时域响应图像和频域响应图像融合为双通道时频响应图，然后进行CNN训练。训练完成的CNN可对未来结构健康监测大数据进行自动诊断。
图1(b)示出了本实施方式的一种实施例的流程图，“数据可视化/转换”指的是将时域、频域数据转换为图像，“信息融合”指的是将时域和频域的图像融合成一幅图来作为训练样本。”CNN”训练是指使用得到的训练样本对模型进行训练，进而得到“训练完成的CNN异常数据诊断器”，然后可以通过“实时/离线诊断”对实际图像进行检测。
图1(c)示出了一个实施例下产生的不同时间、不同通道下的样本图。
具体实施方式二：本实施方式与具体实施方式一不同的是：步骤一具体为：
步骤一一、将待诊断监测数据按照时距w切割成n个数据段d，生成数据集D{d}；
步骤一二、分别绘制数据集D内各数据段d的时域相应图和频域响应图，并根据同一个数据段的时域相应图和频域响应图生成双通道时频响应图p，构成数据集D{d,p}；
步骤一三、从D中随机抽取m个图片样本p组成训练集S{p}；
步骤一四、在训练集S中，根据时、频域响应特征评估样本p的异常类型，并给p标记上标签L；
步骤一五、重复步骤一四，直至训练集S中m个样本均被标记，生成训练集S{p,L}。
双通道时频响应图可以参照图1(a)，可以看出，双通道时频响应图是由时域图和频域图组合产生的，即在同一张图中体现出时域和频域图像，进一步可以通过颜色区分出时域和频域图像。例如时域图设置为红色，频域图设置为绿色，它们重合的部分设置成黑色，这样可以在一张图中融合多种图像特征，使得训练得到的模型更加准确。
其它步骤及参数与具体实施方式一相同。
具体实施方式三：本实施方式与具体实施方式一或二不同的是：时频响应图p中用R通道表示时域响应图，用G通道表示频域响应图，时域响应图与频域响应图重合的区域设置为黑色。
参数与具体实施方式一或二相同。
具体实施方式四：本实施方式与具体实施方式一至三之一不同的是：步骤二中，卷积神经网络依次包括输入层、卷积层、池化层、全连接层以及分类层。具体结构示意图如图2所示。
其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五：本实施方式与具体实施方式一至四之一不同的是：卷积层的卷积计算公式为：
式(1)中，l1为卷积输入层号，l2为卷积特征图层号，于是为l2层j通道特征图，是l2层j滤波器的i通道；是l2层j滤波器的偏置项；I、J分别是l1和l2层的通道数量；f(·)表示激活函数。
其它步骤及参数与具体实施方式一至四之一相同。
具体实施方式六：本实施方式与具体实施方式一至五之一不同的是：池化操作的式如下
式(2)中，l3为池化层号，是l3层i通道数据，是l3层i通道的池化算子；l2和l3层的通道数量相等，均为I。
其它步骤及参数与具体实施方式一至五之一相同。
具体实施方式七：本实施方式与具体实施方式一至六之一不同的是：全连接层的每个神经元均与前一层的所有神经元连接，全连接层的处理函数为：
式(3)中，l4为全连接层号，是l4层的j神经元，J是l层尺寸，即该层神经元数量；是上一层三维特征图中的神经元，其中i1,i2,i3分别表示神经元在高度方向、宽度方向和通道中的位置；是与对应的l3层和l4层间的权值；是与对应输入的偏置项；f(·)表示激活函数。
其它步骤及参数与具体实施方式一至六之一相同。
具体实施方式八：本实施方式与具体实施方式一至七之一不同的是：分类层为Softmax Classifier分类器，其定义为：
式(4)中，l5为Softmax Classifier层号，则yk是第k类的概率值，K是类别总数；是l5层的特征向量，尺寸为I×1；是权重矩阵中第k行的权重向量，尺寸为1×I。
其它步骤及参数与具体实施方式一至七之一相同。
具体实施方式九：本实施方式与具体实施方式一至八之一不同的是：步骤二中卷积神经网络模型的目标函数为交叉熵函数。
选用交叉熵(Cross Entropy)函数作为目标函数对CNN进行优化。其定义如下
式中，E(W)是目标函数；P是样本总数；1{·}是指示函数，即：1{陈述为真}＝1，1{陈述为假}＝0，在此表达了各样本真实类别的离散概率分布值；是样本p的第k类的网络输出概率值；Lp是样本p的标签，即真实类别；[·]p表示样本p对应参数的矩阵运算。
其它步骤及参数与具体实施方式一至八之一相同。
具体实施方式十：本实施方式与具体实施方式一至八之一不同的是：CNN构建完成后，使用第一步中制作的训练集进行训练，该过程使用带有动量的随机梯度下降算法(Stochastic Gradient Descent with Momentum,SGDM)对网络参数进行调优。训练完成的CNN即为异常数据诊断器。
其它步骤及参数与具体实施方式一至九之一相同。
具体实施方式十一：本实施方式基于MATLAB多范式数值计算环境，代码语言为MATLAB Script。
将待诊断监测数据按照时距w(该发明的实现中w取3600秒)切割成n个数据段d，生成数据集D。d的数据点长度为3600×f，其中f为监测数据采样频率。绘制数据集D内各数据段d的时域响应图和频域响应图，生成8bit时频响应图p，图片像素大小可由用户自定义，在本发明中设为100×100×2。其中，R(红色)通道是时域响应图，G(绿色)通道是频域响应图，二者重合区域设置为黑色。从D{d,p}中随机抽取m个图片样本p组成训练集S{p}，该发明中设m＝n×1％。随后，根据时频域响应特征，给p打标签L(例如，数据正常标记为“1”，数据缺失标记为“2”)。重复该过程，直至训练集S中m个样本均被标记，生成训练集S{p,L}。
CNN的各层设计参数如表1所示。程序自动搭建所设计的卷积神经网络，并将训练集中的图片p作为CNN输入，标签L作为CNN输出进行训练。训练完成的CNN即为异常数据诊断器。随后，程序自动将待诊断的结构健康监测大数据输入训练完成的CNN进行诊断，并输出异常数据时空分布图等诊断结果。
表1具体实施方案中卷积神经网络的各层设计参数
注：本发明中，RGB图片的B通道是冗余的，表1将其忽略，因此输入层L1和卷积操作的深度为2
<实施例>
本实施例是在具体实施方式十一的基础上，基于MATLAB的程序被用于实际大跨度桥梁健康监测数据的异常数据诊断。该应用验证了本发明的可行性和实用性。以下具体实例说明本发明的效果。
图3展示了某大跨度斜拉桥健康监测系统2012年振动加速度数据(共计38通道)的异常数据诊断结果。表2给出了诊断结果中各类异常数据的占比。
该桥加速度数据存在缺失、次小值、离群值、超量程振荡、趋势以及漂移，共计六种数据异常。不同颜色代表异常数据的不同类别。时间窗口取为1小时，38通道的全年数据对应生成333792个待诊断样本。CNN诊断器训练耗时约20分钟，全年数据诊断耗时约40分钟(基于MATLAB R2017b)。作为对比，人工专家耗时约50小时，可估算出该方法效率约是人工方法的75倍。
表2诊断结果中各种异常模式比例
图4是人工专家标记结果，以对比验证本发明的有效性。可见自动诊断结果中异常数据的时空分布(图3)与人工专家标记结果有良好的相似性。由图5的混淆矩阵可知，本发明的诊断结果全局准确率达到94.1％。此外，图6中训练完成的异常数据诊断器的ROC曲线饱满，曲线下面积(area under curve,AUC)接近1，表明异常数据诊断器性能优秀。
表3给出了人工标记结果中各类异常数据的占比。对比表2、表3可知，异常数据诊断结果良好符合了异常数据的实际占比，异常数据总占比误差仅为2.42％。
表3人工标记结果中各种异常模式比例
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (9)
1.一种基于计算机视觉和深度学习技术的结构健康监测异常数据诊断方法，其特征在于，包括：
步骤一、将用于训练的监测数据由时间序列数据通过数据可视化处理转换为时域响应图像数据和频域响应图像数据；根据同一个数据段对应的时域响应图像数据和频域响应图像数据组成双通道时频响应图；从双通道时频响应图中选取样本并标注样本的异常类型，构成训练集；
步骤二、将训练集输入至卷积神经网络模型中，将训练后的模型作为异常数据诊断器；
步骤三、将待诊断监测数据输入至异常数据诊断器中得到诊断结果。
2.根据权利要求1所述的基于计算机视觉和深度学习技术的结构健康监测异常数据诊断方法，其特征在于，步骤一具体为：
步骤一一、将待诊断监测数据按照时距w切割成n个数据段d，生成数据集D{d}；
步骤一二、分别绘制数据集D内各数据段d的时域相应图和频域响应图，并根据同一个数据段的时域相应图和频域响应图生成双通道时频响应图p，构成数据集D{d,p}；
步骤一三、从D中随机抽取m个样本成训练集S{p}；
步骤一四、在训练集S中，根据时、频域响应特征评估样本的异常类型，并给样本标记上标签L；
步骤一五、重复步骤一四，直至训练集S中m个样本均被标记，生成训练集S{p,L}。
3.根据权利要求2所述的基于计算机视觉和深度学习技术的结构健康监测异常数据诊断方法，其特征在于，双通道时频响应图p中用R通道表示时域响应图，用G通道表示频域响应图，时域响应图与频域响应图重合的区域设置为黑色。
4.根据权利要求2或3所述的基于计算机视觉和深度学习技术的结构健康监测异常数据诊断方法，其特征在于，步骤二中，卷积神经网络依次包括输入层、卷积层、池化层、全连接层以及分类层。
5.根据权利要求4所述的基于计算机视觉和深度学习技术的结构健康监测异常数据诊断方法，其特征在于，卷积层的卷积计算公式为：
式(1)中，l1为卷积输入层号，l2为卷积特征图层号，于是为l2层j通道特征图，是l2层j滤波器的i通道；是l2层j滤波器的偏置项；I、J分别是l1和l2层的通道数量；f(·)表示激活函数。
6.根据权利要求5所述的基于计算机视觉和深度学习技术的结构健康监测异常数据诊断方法，其特征在于，池化操作的式如下
式(2)中，l3为池化层号，是l3层i通道数据，是l3层i通道的池化算子；l2和l3层的通道数量相等，均为I。
7.根据权利要求6所述的基于计算机视觉和深度学习技术的结构健康监测异常数据诊断方法，其特征在于，全连接层的每个神经元均与前一层的所有神经元连接，全连接层的处理函数为：
式(3)中，l4为全连接层号，是l4层的j神经元；是上一层三维特征图中的神经元，其中i1,i2,i3分别表示神经元在高度方向、宽度方向和通道中的位置；是与对应的l3层和l4层间的权值；是与对应输入的偏置项；f(·)表示激活函数。
8.根据权利要求7所述的基于计算机视觉和深度学习技术的结构健康监测异常数据诊断方法，其特征在于，分类层为Softmax Classifier分类器，其定义为：
式(4)中，l5为Softmax Classifier层号，则yk是第k类的概率值，K是类别总数；是l5层的特征向量，尺寸为I×1；是权重矩阵中第k行的权重向量，尺寸为1×I。
9.根据权利要求8所述的基于计算机视觉和深度学习技术的结构健康监测异常数据诊断方法，其特征在于，步骤二中卷积神经网络模型的目标函数为交叉熵函数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810290291.0A CN108764601B (zh) | 2018-04-03 | 2018-04-03 | 一种基于计算机视觉和深度学习技术的结构健康监测异常数据诊断方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810290291.0A CN108764601B (zh) | 2018-04-03 | 2018-04-03 | 一种基于计算机视觉和深度学习技术的结构健康监测异常数据诊断方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108764601A true CN108764601A (zh) | 2018-11-06 |
| CN108764601B CN108764601B (zh) | 2021-07-16 |
Family
ID=63981038
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810290291.0A Active CN108764601B (zh) | 2018-04-03 | 2018-04-03 | 一种基于计算机视觉和深度学习技术的结构健康监测异常数据诊断方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108764601B (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109902741A (zh) * | 2019-02-28 | 2019-06-18 | 上海理工大学 | 一种制冷系统故障诊断方法 |
| CN109948778A (zh) * | 2019-02-28 | 2019-06-28 | 上海理工大学 | 一种制冷设备故障诊断装置及系统 |
| CN110119397A (zh) * | 2019-04-18 | 2019-08-13 | 东南大学 | 一种同时实现数据异常检测及数据压缩的深度学习方法 |
| CN110595811A (zh) * | 2019-09-11 | 2019-12-20 | 浙江工业大学之江学院 | 机械设备健康状态特征图构建方法 |
| CN111578446A (zh) * | 2020-05-06 | 2020-08-25 | 济南浪潮高新科技投资发展有限公司 | 一种煤矿通风设备检测方法、设备及介质 |
| CN112434624A (zh) * | 2020-11-30 | 2021-03-02 | 广州大学 | 结构健康监测数据失真检测方法、系统、装置及存储介质 |
| CN112507785A (zh) * | 2020-11-02 | 2021-03-16 | 北京工商大学 | 一种基于cnn和lstm的滚动轴承故障分析 |
| CN112816191A (zh) * | 2020-12-28 | 2021-05-18 | 哈尔滨工业大学 | 一种基于sdrsn的多特征健康因子融合方法 |
| CN113033702A (zh) * | 2021-04-21 | 2021-06-25 | 上海勘察设计研究院(集团)有限公司 | 一种基于时空数据的结构安全预警方法 |
| CN114022305A (zh) * | 2021-10-29 | 2022-02-08 | 中国地质环境监测院(自然资源部地质灾害技术指导中心) | 地下水动态监测方法及装置 |
| CN114450646A (zh) * | 2019-09-09 | 2022-05-06 | 通用电气公司 | 用于使用深度学习来检测风力涡轮操作异常的系统和方法 |
| CN115683504A (zh) * | 2022-08-29 | 2023-02-03 | 山东高速集团有限公司创新研究院 | 基于多标签分类的桥梁加速度监测数据异常识别方法及系统 |
| CN117218602A (zh) * | 2023-10-20 | 2023-12-12 | 青岛理工大学 | 一种结构健康监测数据异常诊断方法及系统 |
| CN118115797A (zh) * | 2024-03-07 | 2024-05-31 | 浙江省交通运输科学研究院 | 基于深度学习的桥梁结构健康监测数据异常检测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140019390A1 (en) * | 2012-07-13 | 2014-01-16 | Umami, Co. | Apparatus and method for audio fingerprinting |
| CN107421741A (zh) * | 2017-08-25 | 2017-12-01 | 南京信息工程大学 | 一种基于卷积神经网络的滚动轴承故障诊断方法 |
| CN107480341A (zh) * | 2017-07-21 | 2017-12-15 | 河海大学 | 一种基于深度学习的大坝安全综合评判方法 |
| CN107526853A (zh) * | 2016-06-22 | 2017-12-29 | 北京航空航天大学 | 基于层叠卷积网络的滚动轴承故障模式识别方法及装置 |
-
2018
- 2018-04-03 CN CN201810290291.0A patent/CN108764601B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140019390A1 (en) * | 2012-07-13 | 2014-01-16 | Umami, Co. | Apparatus and method for audio fingerprinting |
| CN107526853A (zh) * | 2016-06-22 | 2017-12-29 | 北京航空航天大学 | 基于层叠卷积网络的滚动轴承故障模式识别方法及装置 |
| CN107480341A (zh) * | 2017-07-21 | 2017-12-15 | 河海大学 | 一种基于深度学习的大坝安全综合评判方法 |
| CN107421741A (zh) * | 2017-08-25 | 2017-12-01 | 南京信息工程大学 | 一种基于卷积神经网络的滚动轴承故障诊断方法 |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109948778A (zh) * | 2019-02-28 | 2019-06-28 | 上海理工大学 | 一种制冷设备故障诊断装置及系统 |
| CN109902741A (zh) * | 2019-02-28 | 2019-06-18 | 上海理工大学 | 一种制冷系统故障诊断方法 |
| CN110119397A (zh) * | 2019-04-18 | 2019-08-13 | 东南大学 | 一种同时实现数据异常检测及数据压缩的深度学习方法 |
| CN110119397B (zh) * | 2019-04-18 | 2023-06-30 | 东南大学 | 一种同时实现数据异常检测及数据压缩的深度学习方法 |
| CN114450646A (zh) * | 2019-09-09 | 2022-05-06 | 通用电气公司 | 用于使用深度学习来检测风力涡轮操作异常的系统和方法 |
| CN114450646B (zh) * | 2019-09-09 | 2024-04-26 | 通用电气可再生能源西班牙有限公司 | 用于使用深度学习来检测风力涡轮操作异常的系统和方法 |
| CN110595811A (zh) * | 2019-09-11 | 2019-12-20 | 浙江工业大学之江学院 | 机械设备健康状态特征图构建方法 |
| CN111578446A (zh) * | 2020-05-06 | 2020-08-25 | 济南浪潮高新科技投资发展有限公司 | 一种煤矿通风设备检测方法、设备及介质 |
| CN111578446B (zh) * | 2020-05-06 | 2021-10-22 | 山东浪潮科学研究院有限公司 | 一种煤矿通风设备检测方法、设备及介质 |
| CN112507785A (zh) * | 2020-11-02 | 2021-03-16 | 北京工商大学 | 一种基于cnn和lstm的滚动轴承故障分析 |
| CN112434624A (zh) * | 2020-11-30 | 2021-03-02 | 广州大学 | 结构健康监测数据失真检测方法、系统、装置及存储介质 |
| CN112816191B (zh) * | 2020-12-28 | 2022-07-29 | 哈尔滨工业大学 | 一种基于sdrsn的多特征健康因子融合方法 |
| CN112816191A (zh) * | 2020-12-28 | 2021-05-18 | 哈尔滨工业大学 | 一种基于sdrsn的多特征健康因子融合方法 |
| CN113033702A (zh) * | 2021-04-21 | 2021-06-25 | 上海勘察设计研究院(集团)有限公司 | 一种基于时空数据的结构安全预警方法 |
| CN114022305A (zh) * | 2021-10-29 | 2022-02-08 | 中国地质环境监测院(自然资源部地质灾害技术指导中心) | 地下水动态监测方法及装置 |
| CN115683504A (zh) * | 2022-08-29 | 2023-02-03 | 山东高速集团有限公司创新研究院 | 基于多标签分类的桥梁加速度监测数据异常识别方法及系统 |
| CN117218602A (zh) * | 2023-10-20 | 2023-12-12 | 青岛理工大学 | 一种结构健康监测数据异常诊断方法及系统 |
| CN118115797A (zh) * | 2024-03-07 | 2024-05-31 | 浙江省交通运输科学研究院 | 基于深度学习的桥梁结构健康监测数据异常检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108764601B (zh) | 2021-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108764601A (zh) | 一种基于计算机视觉和深度学习技术的结构健康监测异常数据诊断方法 | |
| CN108569607B (zh) | 基于双向门控循环神经网络的电梯故障预警方法 | |
| CN111274737A (zh) | 一种机械设备剩余使用寿命预测方法及系统 | |
| CN109272123B (zh) | 一种基于卷积-循环神经网络的有杆泵工况预警方法 | |
| CN107169426A (zh) | 一种基于深度神经网络的人群情绪异常检测和定位方法 | |
| CN107332698A (zh) | 一种面向明长城智能感知系统的安全态势感知系统及方法 | |
| CN113378967B (zh) | 一种基于卷积神经网络与迁移学习的结构健康监测多元数据异常诊断方法 | |
| CN108596507B (zh) | 一种海上养殖网箱的受灾破坏预警方法 | |
| Son et al. | Deep learning-based anomaly detection to classify inaccurate data and damaged condition of a cable-stayed bridge | |
| CN113339204B (zh) | 一种基于混合神经网络的风力发电机故障识别方法 | |
| CN113484749A (zh) | 发电机故障诊断及预测方法 | |
| CN117034143B (zh) | 一种基于机器学习的分布式系统故障诊断方法及装置 | |
| CN114519923A (zh) | 一种电厂智能诊断预警方法和系统 | |
| CN117150430A (zh) | 基于多源异构数据融合的高铁沿线大风预测算法 | |
| CN113361686A (zh) | 一种多层异构多模态卷积神经网络集成式机器人巡检方法 | |
| CN110411686A (zh) | 桥梁静动影像全息性态健康监测诊断方法及系统 | |
| CN114996110A (zh) | 一种基于微服务架构的深度巡检优化方法及系统 | |
| Zhang et al. | Structural Vibration Data Anomaly Detection Based on Multiple Feature Information Using CNN‐LSTM Model | |
| CN117994728B (zh) | 基于数字孪生的高铁动车智能运维管理系统 | |
| CN116561670B (zh) | 一种金属屋面健康状态识别及报警方法 | |
| CN115688555B (zh) | 一种桥梁寿命预测方法 | |
| CN117786529A (zh) | 一种风电机组scada数据智能修复方法 | |
| CN116756503A (zh) | 一种结构健康监测地震事件识别与异常数据诊断方法 | |
| CN116166966A (zh) | 一种基于多模态数据融合的水质劣化事件检测方法 | |
| CN108304809A (zh) | 基于震后航拍影像的近实时震损评估方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |