CN112733588A - 机器运行状态检测方法、装置及电子设备 - Google Patents
机器运行状态检测方法、装置及电子设备 Download PDFInfo
- Publication number
- CN112733588A CN112733588A CN202010809719.5A CN202010809719A CN112733588A CN 112733588 A CN112733588 A CN 112733588A CN 202010809719 A CN202010809719 A CN 202010809719A CN 112733588 A CN112733588 A CN 112733588A
- Authority
- CN
- China
- Prior art keywords
- result
- target machine
- state
- running
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 claims abstract description 68
- 230000004927 fusion Effects 0.000 claims abstract description 41
- 230000008569 process Effects 0.000 claims abstract description 26
- 238000003062 neural network model Methods 0.000 claims description 34
- 230000002159 abnormal effect Effects 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 238000003860 storage Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 239000003245 coal Substances 0.000 description 137
- 238000005065 mining Methods 0.000 description 104
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000005520 cutting process Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000005315 distribution function Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明提供了一种机器运行状态检测方法、装置及电子设备，涉及故障检测技术领域。上述机器运行状态检测方法包括以下步骤：获取目标机器运行过程中的音频数据，基于音频数据确定目标机器的运行状态，得到第一结果；获取目标机器的运行图像，基于运行图像识别目标机器的运行状态，得到第二结果；对第一结果和第二结果进行数据融合，得到目标机器的状态检测结果。本发明能够节省人力成本，同时提升目标机器状态检测的准确率。
Description
技术领域
本发明涉及故障检测技术领域，尤其是涉及一种机器运行状态检测方法、装置及电子设备。
背景技术
随着科技的发展，机器的应用场景越来越广泛，为了保证机器的正常运行，对于机器运行状态的监测十分必要，以便在机器出现故障时及时维修，保证生产效率的同时，避免重大事故的发生。以煤矿开采现场的采煤机为例，采煤机在采煤过程中，可能会出现非正常采煤的状态，诸如采煤机处于空转状态或空跑状态，目前的采煤机运行状态检测方式，主要采用人工监督采煤机运行状态，或者采集采煤机图像，根据图像判断采煤机的运行状态。然而，人工监督采煤机运行状态的方式耗费人力成本，仅仅依靠采煤机图像判断采煤机状态可能存在准确率较低的问题。因此，现有的机器故障检测方式还存在耗费人力成本或状态检测准确率较低的问题。
发明内容
有鉴于此，本发明的目的在于提供一种机器运行状态检测方法、装置及电子设备，能够节省人力成本，同时提升目标机器状态检测的准确率。
为了实现上述目的，本发明实施例采用的技术方案如下：
第一方面，本发明实施例提供了一种机器运行状态检测方法，包括：获取目标机器运行过程中的音频数据，基于所述音频数据确定所述目标机器的运行状态，得到第一结果；获取所述目标机器的运行图像，基于所述运行图像识别所述目标机器的运行状态，得到第二结果；对所述第一结果和所述第二结果进行数据融合，得到所述目标机器的状态检测结果。
进一步，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述对所述第一结果和所述第二结果进行数据融合，得到所述目标机器的状态检测结果的步骤，包括：基于D-S证据理论算法对所述第一结果和所述第二结果进行融合计算，得到所述目标机器的状态检测结果。
进一步，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述基于D-S证据理论算法对所述第一结果和所述第二结果进行融合计算，得到所述目标机器的状态检测结果的步骤，包括：基于所述第一结果、所述第二结果及融合计算算式确定所述目标机器的状态检测结果。
进一步，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述目标机器包括采煤机，所述运行状态包括正常运行状态、停机状态和非正常运行状态；所述融合计算算式为：
其中，m(A)为所述状态检测结果，m1(A1)为所述第一结果， m2(A2)为所述第二结果，所述第一结果和所述第二结果包括所述采煤机处于各所述运行状态下的概率值，A1为基于所述音频数据确定所述目标机器的运行状态的事件，A2为基于所述运行图像识别所述目标机器的运行状态的事件，k为冲突因子。
进一步，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述获取目标机器运行过程中的音频数据，基于所述音频数据确定所述目标机器的运行状态，得到第一结果的步骤，包括：采集目标机器运行过程中的音频数据，并基于所述音频数据确定所述目标机器运行产生的频谱图；将所述频谱图输入预先训练得到的第一神经网络模型中，得到所述目标机器的第一结果；其中，所述第一神经网络模型是基于标注有运行状态的频谱图样本训练得到的。
进一步，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述基于所述音频数据确定所述目标机器运行产生的频谱图的步骤，包括：将所述音频数据分割为预设时长的音频片段；对各所述音频片段进行去噪处理，并利用音频数据处理库将各所述音频片段转换为对应的频谱图。
进一步，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述基于所述运行图像识别所述目标机器的运行状态，得到第二结果的步骤，包括：将所述运行图像输入预先训练得到的第二神经网络模型中，得到所述目标机器的第二结果；其中，所述第二神经网络模型是基于标注有运行状态的运行图像样本训练得到的；或者，根据所述运行图像获取与所述目标机器运行状态相关的参数信息，基于所述参数信息确定所述目标机器的运行状态，得到第二结果。
第二方面，本发明实施例还提供了一种机器运行状态检测装置，包括：状态确定模块，用于获取目标机器的音频数据，基于所述音频数据确定所述目标机器的运行状态，得到第一结果；状态识别模块，用于获取所述目标机器的运行图像，基于所述运行图像识别所述目标机器的运行状态，得到第二结果；数据融合模块，用于对所述第一结果和所述第二结果进行数据融合，得到所述目标机器的状态检测结果。
第三方面，本发明实施例提供了一种电子设备，包括：声音采集装置、图像采集装置、处理器和存储装置；所述图像采集装置用于获取目标机器运行过程中的音频数据；所述声音采集装置用于获取目标机器的运行图像；所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如第一方面任一项所述的方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述第一方面任一项所述的方法的步骤。
本发明实施例提供了一种机器运行状态检测方法、装置及电子设备，在该方法中，首先获取目标机器运行过程中的音频数据，基于音频数据确定目标机器的运行状态，得到第一结果；然后获取目标机器的运行图像，基于运行图像识别目标机器的运行状态，得到第二结果；最后对第一结果和第二结果进行数据融合，得到目标机器的状态检测结果。通过对基于目标机器运行的音频数据得到的第一结果，及基于目标机器的运行图像得到的第二结果进行数据融合，可以自动得到目标机器的状态检测结果，节省了人力成本，通过基于目标机器运行的声音和图像综合判断运行状态，提升了目标机器状态检测的准确率。
本发明实施例的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本发明实施例的上述技术即可得知。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明实施例所提供的一种机器运行状态检测方法流程图；
图2示出了本发明实施例所提供的一种D-S证据理论的置信区间示意图；
图3示出了本发明实施例所提供的一种采煤机正常割煤频谱图；
图4示出了本发明实施例所提供的一种采煤机空跑刀频谱图；
图5示出了本发明实施例所提供的一种采煤机割底板频谱图；
图6示出了本发明实施例所提供的一种采煤机运行状态检测流程图；
图7示出了本发明实施例所提供的一种机器运行状态检测装置结构示意图；
图8示出了本发明实施例所提供的一种电子设备的结构示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
实施例一：
本实施例提供了一种机器运行状态检测方法，该方法可以应用于电子设备，该电子设备可以包括声音采集装置和图像采集装置，参见图1所示的机器运行状态检测方法流程图，该方法主要包括以下步骤 S102～步骤S106：
步骤S102，获取目标机器运行过程中的音频数据，基于音频数据确定目标机器的运行状态，得到第一结果。
通过声音采集装置(诸如录音器或者带有录音功能的高清防爆摄像头)实时或以预设时间间隔采集目标机器运行过程中的声音，得到目标机器运行的音频数据，由于机器在不同的运行状态下的声音不同，产生的音频数据也不相同，根据目标机器运行过程中的音频数据，可以判断出目标机器的运行状态。
步骤S104，获取目标机器的运行图像，基于运行图像识别目标机器的运行状态，得到第二结果。
在采集上述音频数据的同时，通过图像采集装置实时或以预设时间间隔采集目标机器运行过程中的图像，或者，通过图像采集装置采集目标机器运行过程中的视频数据，得到目标机器的运行图像，根据目标机器的运行图像，可以识别出目标机器的运行状态，诸如根据采煤机运行图像中煤块的位置变化情况，可以确定采煤机的运行状态。
步骤S106，对第一结果和第二结果进行数据融合，得到目标机器的状态检测结果。
将上述得到的第一结果和第二结果(该第一结果及第二结果为同一时间段内对目标机器进行检测得到的结果)进行数据融合，诸如可以将上述第一结果与上述第二结果进行加权平均计算，综合考虑基于目标机器的声音判断得到的第一结果和基于目标机器的图像判断得到的第二结果，得到目标机器的状态检测结果。
本实施例提供的上述机器运行状态检测方法，通过对基于目标机器运行的音频数据得到的第一结果，及基于目标机器的运行图像得到的第二结果进行数据融合，可以自动得到目标机器的状态检测结果，节省了人力成本，通过基于目标机器运行的声音和图像综合判断运行状态，提升了目标机器状态检测的准确率。
为了准确得到目标机器的状态检测结果，本实施例提供了对第一结果和第二结果进行数据融合，得到目标机器的状态检测结果的具体实施方式：基于D-S证据理论算法对第一结果和第二结果进行融合计算，得到目标机器的状态检测结果。采用D-S证据理论算法对第一结果和第二结果进行融合判断，计算所得的结果为最终的融合结果。其中，D-S证据理论算法的基本原理为：随机变量X的可能取值构成了基本框架U，即所有取值构成的集合。其中各值互不兼容、相互独立，可以称U为目标X的识别框架。U的幂集2U即可求得U中元素个数为N的幂级数为2N。设U为识别框架，U中元素个数为N，其幂集为2U。对于2U中的任何子集A，称为命题A。基本概率分配函数m 在2U上定义，取值[0,1]，m(A)表示证据对命题A成立的信任度，满足以下规则：
设U为识别框架，U中元素个数为N，其幂集为2U。在2U上定义信度函数Bel，取值[0,1]；在2U上定义似然函数Pl，取值[0,1]。对2U中的任何命题A，满足：
参见如图2所示的一种D-S证据理论的置信区间示意图，对于任意命题A，均有 Pl(A)≥Bel(A)，[Bel(A),Pl(A)]称为A的信任区间。信度函数和似然函数分别刻画了命题A信任度的上限和下限。
当命题A有多个相互独立的证据源支持时(诸如基于音频数据识别目标机器的运行状态、基于运行图像识别目标机器的运行状态)，证据理论用组合规则来计算基本概率分配值BPA。对于n个证据的 BPA函数，组合规则为：
其中，
设上述命题A为目标机器的状态检测结果(该命题A存在两个相互独立的证据源：基于音频数据识别得到的目标机器的运行状态 m1(A1)及基于运行图像识别得到的目标机器的运行状态m2(A2))，上述目标机器包括采煤机，运行状态包括正常运行状态、停机状态和非正常运行状态；基于第一结果、第二结果及融合计算算式确定目标机器的状态检测结果。上述融合计算算式为：
其中，m(A)为状态检测结果，m1(A1)为第一结果，m2(A2)为第二结果，第一结果和第二结果包括采煤机处于各运行状态下的概率值，A1为基于音频数据确定目标机器的运行状态的事件，A2为基于运行图像识别目标机器的运行状态的事件，k为冲突因子，
当k＝0时，表示m1(A1)和 m2(A2)这两个证据完全冲突，分母为0，合成规则无意义，当k≠0时，可以使用Dempster合成规则对命题A1和命题A2的概率分配函数进行数据融合。通过上述融合计算方式，可以基于利用音频数据识别得到的第一结果，及利用运行图像识别得到的第二结果，准确计算得到目标机器的最终运行状态，提升了机器故障检测的准确性。
为了提升上述第一结果的准确性，本实施例提供了获取目标机器运行过程中的音频数据，基于音频数据确定目标机器的运行状态，得到第一结果的实施方式，具体可参照如下步骤(1)～步骤(2)执行：
步骤(1)：采集目标机器运行过程中的音频数据，并基于音频数据确定目标机器运行产生的频谱图。
在目标机器旁边安装声音采集装置，诸如麦克风等录音装置或者具有声音采集功能的摄像头，通过声音采集装置实时采集目标机器运行过程中清晰的机器声音，得到目标机器的音频数据。将音频数据分割为预设时长的音频片段，对各音频片段进行去噪处理，并利用音频数据处理库将各音频片段转换为对应的频谱图。将采集到的音频数据平均分割成相同时间段(预设时长，诸如可以是4～10s之间的任意数值)的多个音频片段，对各个音频片段进行去噪处理，利用音频数据处理库(诸如可以是Librosa音频处理库)将去噪后的各个音频片段转换成频谱图。
步骤(2)：将频谱图输入预先训练得到的第一神经网络模型中，得到目标机器的第一结果。
上述神经网络模型可以是卷积神经网络，由于目标机器在不同的工作状态下产生的频谱图的在频率、强弱等方面均存在差异，将上述得到的频谱图输入预先训练得到的第一神经网络模型中，可以得到输入的频谱图对应的状态识别结果，记为第一结果。在实际应用中，上述目标机器可以是采煤机，上述运行状态包括正常运行状态、停机状态和非正常运行状态，其中，上述非正常运行状态包括跑空刀状态和割底板状态，上述第一结果可以以数组的形式呈现，该数组中包括频谱图为各个运行状态的概率，诸如，上述第一结果可以是[0.9，0.02，0.08]，其中，0.9是采煤机为正常运行状态的概率，0.02是采煤机为停机状态的概率，0.08是采煤机为非正常运行状态的概率。
上述第一神经网络模型是基于标注有运行状态的频谱图样本训练得到的，将标注有不同运行状态的多张频谱图输入第一神经网络模型中进行训练，直至达到预设的迭代次数，得到训练后的第一神经网络模型。为了提升第一神经网络模型识别的准确性，上述频谱图样本可以包括采煤机在各个运行状态下的频谱图，参见如图3所示的采煤机正常割煤频谱图，图3中示出了采煤机在正常运行状态下的频谱图，参见如图4所示的采煤机空跑刀频谱图，图4中示出了采煤机在非正常状态跑空刀时频谱图，参见如图5所示的采煤机割底板频谱图，图 5中示出了采煤机在非正常状态割底板时的频谱图，从图3至图5中可以看出，采煤机在各个运行状态下的频谱图中的频率和强度均不相同，第一神经网络模型根据频谱图中的声音震动频率及震动强度，可以确定频谱图对应的运行状态。
上述频谱图样本中的各个频谱图是基于预设时长的音频片段转换得到的，且各个音频片段的长度相同，当音频片段的长度不一致时，在后期的频谱图识别中容易导致识别准确率较低，因此在神经网络模型的训练及识别过程中使用的频谱图均是基于相同长度的音频片段转换得到的，该音频片段的长度诸如可以是4s。
为了提升上述第二结果的准确性，本实施例提供了基于运行图像识别目标机器的运行状态，得到第二结果的两种实施方式，具体可参照如下实施方式一和实施方式二执行：
实施方式一：将运行图像输入预先训练得到的第二神经网络模型中，得到目标机器的第二结果。利用图像采集装置采集目标机器的运行图像，上述图像采集装置可以设置于目标机器的正上方或正前方，以拍摄目标机器的工作过程。由于目标机器在不同运行状态下零部件的位置不同，以及在不同运行状态下目标机器上的材料位置或数量不同，将目标机器的运行图像输入预先训练得到的第二神经网络模型中，可以识别得到目标机器的运行状态，记为第二结果。该第二结果也可以是以数组的形式呈现，该数组中包括输入第二神经网络模型的运行图像为各个运行状态的概率值。
第二神经网络模型可以识别到运行图像中的两个滚筒及落煤图像的坐标位置，并根据两个滚筒及落煤图像的坐标位置得到第二结果。诸如，当第二神经网络模型识别到运行图像中采煤机的两个滚筒未处于同一水平线，且距离滚筒预设距离范围内的图像包含落煤图像时，得到的第二结果中正常运行状态对应的概率值最大，即采煤机处于正常运行状态；由于采煤机在运行时落煤位置会产生变化，因此，输入第二神经网络模型中的运行图像可以是一张运行图像也可以是多张连续帧的运行图像，如果第二神经网络识别到在相邻第一预设数量的帧图像中，存在采煤机的两个滚筒未处于同一水平线，且距离滚筒预设距离范围内的图像包含落煤图像的运行图像，确定采煤机处于正常运行状态；当第二神经网络模型识别到在相邻第二预设数量的运行图像中采煤机的两个滚筒处于同一水平线保持位置不变时，得到的第二结果中停机状态对应的概率值最大，即采煤机处于停机状态；当第二神经网络模型识别到在相邻第三预设数量的运行图像中采煤机的两个滚筒处于同一水平线且发生位置变化时，得到的第二结果中非正常运行状态对应的概率值最大，即采煤机处于非正常运行状态。
其中，上述第二神经网络模型是基于标注有运行状态的运行图像样本训练得到的，为了提升第二神经网络模型的准确性，上述运行图像样本包括各个运行状态下的运行图像样本。通过对目标机器的运行图像样本进行标注，在运行图像中标注零部件的位置或者目标机器上材料的位置或数量，并标注该运行图像对应的运行状态，并将标注好的多张运行图像样本输入第二神经网络模型中，基于多张运行图像样本对第二神经网络模型进行训练，直至达到预设的迭代次数，得到训练后的第二神经网络模型。
实施方式二：根据运行图像获取与目标机器运行状态相关的参数信息，基于参数信息确定目标机器的运行状态，得到第二结果。在该实施方式中，上述运行图像包括多张连续帧运行图像，上述目标机器为采煤机，上述与目标机器运行状态相关的参数信息包括采煤机的两个滚筒的位置信息及距离该滚筒预设距离范围内的图像。上述采煤机的运行状态包括正常运行状态、停机状态、空跑状态及空转状态。根据运行图像中采煤机的两个滚筒的位置信息，及距离滚筒预设距离范围内的图像中是否有落煤图像，可以得到目标机器的运行状态。
具体的，可以识别采煤机的运行图像中两个滚筒的位置，得到两个滚筒的位置信息，根据多张连续帧图像中两个滚筒的位置信息及距离上滚筒预设距离范围内的图像是否包含落煤图像等信息，确定采煤机的运行状态。
当第一帧图像中采煤机的两个滚筒未处于同一水平线，第二帧图像中采煤机的上滚筒的位置与第一帧图像中的采煤机的上滚筒的位置不相同，且第二帧图像中距离上滚筒预设距离范围内的图像包含落煤图像时，确定采煤机处于正常运行状态。在实际应用中，可以通过卷积神经网络方法识别运行图像中每一个滚筒分别对应的位置信息，其中位置信息包括与每一个滚筒位置对应的中心坐标、高度和宽度。当确定两个滚筒的中心坐标中的纵坐标之间的绝对差值大于高度的预设百分比数值后，确定两个滚筒未处于同一水平线，否则确定两个滚筒处于同一水平线。还利用预构建的卷积神经网络模型识别距离上滚筒预设距离范围内的图像是否包含落煤图像，其中，预构建的卷积神经网络模型为采用第一样本和第二样本共同训练后获取的卷积神经网络模型，第一样本为在上滚筒预设距离范围内包含落煤图像的图像样本；第二样本为在上滚筒预设距离范围内未包含落煤图像的样本，且在第一样本和第二样本中，均以预设标识对上滚筒预设距离范围内的图像进行标识。
当第一帧图像中采煤机的两个滚筒未处于同一水平线，第二帧图像中采煤机的上滚筒的位置与第一帧图像中的采煤机的上滚筒的位置不相同，且第二帧图像中距离上滚筒预设距离范围内的图像没有包含落煤图像时，记录第一时刻，且以第一时刻为起始，在第一预设时间内以逐帧形式识别第二帧图像之后的图像中，距离上滚筒预设距离范围内的图像包含落煤图像时，确定采煤机处于正常运行状态。或者，当第一帧图像中采煤机的两个滚筒未处于同一水平线，第二帧图像中采煤机的上滚筒的位置与第一帧图像中的采煤机的上滚筒的位置相同，且第二帧图像中所包含的距离上滚筒预设距离范围内的图像包含落煤图像时，确定采煤机处于正常运行状态。
当根据第一帧图像中采煤机的两个滚筒的位置信息确定两个滚筒处于同一水平线时，记录第二时刻，且以第二时刻为起始，第二预设时间内以逐帧的形式识别第2+i帧图像中采煤机的两个滚筒位置未处于同一水平线时，识别第2+i帧图像中采煤机的上滚筒位置和第1+i 帧图像中上滚筒的位置是否相同，间接确定采煤机处于正常运行状态或者处于空跑状态，其中，i为正整数，i依次递进取值，初始取值为 1。
当第一帧图像中采煤机的两个滚筒未处于同一水平线，第二帧图像中采煤机的上滚筒的位置与第一帧图像中的采煤机的上滚筒的位置不相同，以逐帧的形式识别第一时刻之后的第2+i帧图像中距离上滚筒预设距离范围内的图像没有包含落煤图像，且逐帧识别的时间超出第一预设时间时，确定采煤机处于空跑状态，或者，当相邻两帧图像中第一帧图像中采煤机的两个滚筒的位置信息确定两个滚筒处于同一水平线，以逐帧的形式识别第二时刻之后的图像中采煤机的两个滚筒位置处于同一水平线，逐帧识别的时间超过第二预设时间，且确定第二预设时间内最后一帧图像中采煤机的两个滚筒所在位置与前一帧图像中采煤机的两个滚筒所在位置不相同时，确定采煤机处于空跑状态。
上述参数信息还包括刮板输送机上的煤块图像。当根据相邻两帧图像中采煤机的两个滚筒的位置信息，确定第一帧图像中对应的采煤机的两个滚筒未处于同一水平线，相邻两帧图像中第二帧图像中对应的采煤机的上滚筒的位置与第一帧图像中的采煤机的上滚筒的位置相同，且识别第2+i帧图像中距离上滚筒预设距离范围内的图像中没有落煤图像时，若根据第2+i帧图像中包含的刮板输送机上的煤块图像确定刮板输送机上的煤块未发生移动时，确定采煤机处于非正常停机状态。或者，若根据第2+i帧图像中包含的刮板输送机上的煤块图像确定刮板输送机上的煤块发生移动，记录第三时刻；以第三时刻开始，在第三预设时间内以逐帧的形式识别包含刮板输送机上的煤块图像的图像中，若确定刮板输送机上的煤块未发生移动时，确定采煤机处于非正常停机状态；或者，若确定以第三时刻开始，逐帧识别的时间超出第三预设时间，且确定第2+j帧图像中包含的刮板输送机上的煤块发生移动时，确定采煤机处于空转状态，其中j为大于或者等于 i的正整数，j依次递进取值，初始取值为1。
上述参数信息还包括刮板输送机上的煤块图像，当第一帧图像中采煤机的两个滚筒未处于同一水平线，以逐帧的形式识别第二时刻之后的图像中采煤机的两个滚筒位置处于同一水平线，逐帧识别的时间超过第二预设时间，且确定第二预设时间内最后一帧图像中采煤机的两个滚筒所在位置与前一帧图像中采煤机的两个滚筒所在位置相同时；如果当根据第二预设时间内最后一帧图像包含的刮板输送机上的煤块图像，以及第二预设时间内倒数第二帧图像包含的刮板输送机上的煤块图像，确定第二预设时间内最后一帧图像包含的刮板输送机上的煤块未发生移动时，确定采煤机处于正常停机状态。如果根据第二预设时间内最后一帧图像包含的刮板输送机上的煤块图像，以及第二预设时间内倒数第二帧图像包含的刮板输送机上的煤块图像，确定第二预设时间内最后一帧图像包含的刮板输送机上的煤块发生移动时，记录第四时刻，以逐帧的形式识别第四时刻之后的图像中所包含的刮板输送机上的煤没有移动，且逐帧识别的时间超出第三预设时间时，确定采煤机处于空转状态。
本实施例提供的上述机器运行状态检测方法，通过实时采集现场机器运作的声音并识别，以及实时采集机器现场的声音并识别，能够实时检测目标机器的运行状态，以便在机器出现故障时能够及时通知相关人员进行设备维护检修，降低了人力成本，同时避免了因生产现场工作人员经验不足造成无法及时发现机器异常的问题，提升了机器运行状态检测的准确性。
实施例二：
对于实施例二中所提供的机器运行状态检测方法，本发明实施例提供了应用上述机器运行状态检测方法对采煤机进行故障检测的示例，参见如图6所示的采煤机运行状态检测流程图，具体可参照如下步骤S502～步骤S510执行：
步骤S502：获取采煤机采煤过程中的工作图像，基于该工作图像识别与采煤机运行状态相关的参数信息。
步骤S504：根据与采煤机运行状态相关的参数信息确定采煤机的运行状态，得到第一结果。
步骤S506：获取采煤机采煤过程中的音频数据，根据声音识别算法识别采煤机的工作状态，得到第二结果。
步骤S508：根据预设的数据融合算法对上述第一结果和第二结果进行数据融合，得到采煤机的最终运行状态。
上述预设的数据融合算法可以是加权平均算法，为上述第一结果和第二结果赋予相应的权重，也可以是基于D-S证据理论算法对第一结果和第二结果进行融合计算，得到采煤机的最终运行状态。
步骤S510：当采煤机的最终运行状态为异常运行状态时，发出告警信号，以提示工作人员进行故障维修。
上述异常运行状态包括采煤机的跑空刀及割底板等异常运行状态。通过对采煤机进行安全预警监测，当发现采煤机的运行状态为异常运行状态时，发出告警信号，可以自动及时发现采煤机的运行故障，保证生产效率。
实施例三：
对于实施例二中所提供的机器运行状态检测方法，本发明实施例提供了一种机器运行状态检测装置，参见图7所示的一种机器运行状态检测装置结构示意图，该装置包括以下模块：
状态确定模块61，用于获取目标机器的音频数据，基于音频数据确定目标机器的运行状态，得到第一结果。
状态识别模块62，用于获取目标机器的运行图像，基于运行图像识别目标机器的运行状态，得到第二结果。
数据融合模块63，用于对第一结果和第二结果进行数据融合，得到目标机器的状态检测结果。
本实施例提供的上述机器运行状态检测装置，通过对基于目标机器运行的音频数据得到的第一结果，及基于目标机器的运行图像得到的第二结果进行数据融合，可以自动得到目标机器的状态检测结果，节省了人力成本，通过基于目标机器运行的声音和图像综合判断运行状态，提升了目标机器状态检测的准确率。
在一种实施方式中，上述数据融合模块63，进一步用于基于D-S 证据理论算法对第一结果和第二结果进行融合计算，得到目标机器的状态检测结果。
在一种实施方式中，上述数据融合模块63，进一步用于基于第一结果、第二结果及融合计算算式确定目标机器的状态检测结果。
在一种实施方式中，上述目标机器包括采煤机，运行状态包括正常运行状态、停机状态和非正常运行状态；融合计算算式为：
其中，m(A)为状态检测结果，m1(A1)为第一结果，m2(A2)为第二结果，第一结果和第二结果包括采煤机处于各运行状态下的概率值，A1为基于音频数据确定目标机器的运行状态的事件，A2为基于运行图像识别目标机器的运行状态的事件，k为冲突因子。
在一种实施方式中，上述状态确定模块61，进一步用于采集目标机器运行过程中的音频数据，并基于音频数据确定目标机器运行产生的频谱图；将频谱图输入预先训练得到的第一神经网络模型中，得到目标机器的第一结果；其中，第一神经网络模型是基于标注有运行状态的频谱图样本训练得到的。
在一种实施方式中，上述将音频数据分割为预设时长的音频片段；对各音频片段进行去噪处理，并利用音频数据处理库将各音频片段转换为对应的频谱图。
在一种实施方式中，上述状态识别模块62，进一步用于将运行图像输入预先训练得到的第二神经网络模型中，得到目标机器的第二结果；其中，第二神经网络模型是基于标注有运行状态的运行图像样本训练得到的；或者，根据运行图像获取与目标机器运行状态相关的参数信息，基于参数信息确定目标机器的运行状态，得到第二结果。
本实施例提供的上述机器运行状态检测装置，通过实时采集现场机器运作的声音并识别，以及实时采集机器现场的声音并识别，能够实时检测目标机器的运行状态，以便在机器出现故障时能够及时通知相关人员进行设备维护检修，降低了人力成本，同时避免了因生产现场工作人员经验不足造成无法及时发现机器异常的问题，提升了机器运行状态检测的准确性。
本实施例所提供的装置，其实现原理及产生的技术效果和前述实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
实施例四：
本发明实施例提供了一种电子设备，如图8所示的电子设备结构示意图，电子设备包括声音采集装置(图中未示出)、图像采集装置 (图中未示出)、处理器71、存储器72，图像采集装置用于获取目标机器运行过程中的音频数据，声音采集装置用于获取目标机器的运行图像，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例提供的方法的步骤。
参见图8，电子设备还包括：总线74和通信接口73，处理器71、通信接口73和存储器72通过总线74连接。处理器71用于执行存储器72中存储的可执行模块，例如计算机程序。
其中，存储器72可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口73(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
总线74可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器72用于存储程序，所述处理器71在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器71中，或者由处理器71实现。
处理器71可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器71中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器71可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等。还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器72，处理器71读取存储器72中的信息，结合其硬件完成上述方法的步骤。
实施例五：
本发明实施例提供了一种计算机可读介质，其中，所述计算机可读介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，所述计算机可执行指令促使所述处理器实现上述实施例所述的方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统具体工作过程，可以参考前述实施例中的对应过程，在此不再赘述。
本发明实施例所提供的机器运行状态检测方法、装置及电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备 (可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器 (RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种机器运行状态检测方法，其特征在于，包括：
获取目标机器运行过程中的音频数据，基于所述音频数据确定所述目标机器的运行状态，得到第一结果；
获取所述目标机器的运行图像，基于所述运行图像识别所述目标机器的运行状态，得到第二结果；
对所述第一结果和所述第二结果进行数据融合，得到所述目标机器的状态检测结果。
2.根据权利要求1所述的方法，其特征在于，所述对所述第一结果和所述第二结果进行数据融合，得到所述目标机器的状态检测结果的步骤，包括：
基于D-S证据理论算法对所述第一结果和所述第二结果进行融合计算，得到所述目标机器的状态检测结果。
3.根据权利要求2所述的方法，其特征在于，所述基于D-S证据理论算法对所述第一结果和所述第二结果进行融合计算，得到所述目标机器的状态检测结果的步骤，包括：
基于所述第一结果、所述第二结果及融合计算算式确定所述目标机器的状态检测结果。
4.根据权利要求3所述的方法，其特征在于，所述目标机器包括采煤机，所述运行状态包括正常运行状态、停机状态和非正常运行状态；所述融合计算算式为：
其中，m(A)为所述状态检测结果，m1(A1)为所述第一结果，m2(A2)为所述第二结果，所述第一结果和所述第二结果包括所述采煤机处于各所述运行状态下的概率值，A1为基于所述音频数据确定所述目标机器的运行状态的事件，A2为基于所述运行图像识别所述目标机器的运行状态的事件，k为冲突因子。
5.根据权利要求1所述的方法，其特征在于，所述获取目标机器运行过程中的音频数据，基于所述音频数据确定所述目标机器的运行状态，得到第一结果的步骤，包括：
采集目标机器运行过程中的音频数据，并基于所述音频数据确定所述目标机器运行产生的频谱图；
将所述频谱图输入预先训练得到的第一神经网络模型中，得到所述目标机器的第一结果；其中，所述第一神经网络模型是基于标注有运行状态的频谱图样本训练得到的。
6.根据权利要求5所述的方法，其特征在于，所述基于所述音频数据确定所述目标机器运行产生的频谱图的步骤，包括：
将所述音频数据分割为预设时长的音频片段；
对各所述音频片段进行去噪处理，并利用音频数据处理库将各所述音频片段转换为对应的频谱图。
7.根据权利要求1所述的方法，其特征在于，所述基于所述运行图像识别所述目标机器的运行状态，得到第二结果的步骤，包括：
将所述运行图像输入预先训练得到的第二神经网络模型中，得到所述目标机器的第二结果；其中，所述第二神经网络模型是基于标注有运行状态的运行图像样本训练得到的；
或者，
根据所述运行图像获取与所述目标机器运行状态相关的参数信息，基于所述参数信息确定所述目标机器的运行状态，得到第二结果。
8.一种机器运行状态检测装置，其特征在于，包括：
状态确定模块，用于获取目标机器的音频数据，基于所述音频数据确定所述目标机器的运行状态，得到第一结果；
状态识别模块，用于获取所述目标机器的运行图像，基于所述运行图像识别所述目标机器的运行状态，得到第二结果；
数据融合模块，用于对所述第一结果和所述第二结果进行数据融合，得到所述目标机器的状态检测结果。
9.一种电子设备，其特征在于，包括：声音采集装置、图像采集装置、处理器和存储装置；
所述图像采集装置用于获取目标机器运行过程中的音频数据；
所述声音采集装置用于获取目标机器的运行图像；
所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1至7任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010809719.5A CN112733588A (zh) | 2020-08-13 | 2020-08-13 | 机器运行状态检测方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010809719.5A CN112733588A (zh) | 2020-08-13 | 2020-08-13 | 机器运行状态检测方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112733588A true CN112733588A (zh) | 2021-04-30 |
Family
ID=75597144
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010809719.5A Pending CN112733588A (zh) | 2020-08-13 | 2020-08-13 | 机器运行状态检测方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112733588A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113376457A (zh) * | 2021-05-10 | 2021-09-10 | 首钢京唐钢铁联合有限责任公司 | 一种设备运行状态检测方法、系统、装置、设备和介质 |
| CN113641544A (zh) * | 2021-08-23 | 2021-11-12 | 北京百度网讯科技有限公司 | 用于检测应用状态的方法、装置、设备、介质和产品 |
| CN113743355A (zh) * | 2021-09-15 | 2021-12-03 | 中国南方电网有限责任公司超高压输电公司大理局 | 开关装置状态校核方法、装置、系统和计算机设备 |
| CN113887446A (zh) * | 2021-10-08 | 2022-01-04 | 黑龙江雨谷科技有限公司 | 一种基于神经网络的音视频联合行人意外跌倒监控方法 |
| CN114964467A (zh) * | 2022-03-21 | 2022-08-30 | 珠海格力电器股份有限公司 | 设备检测方法、装置、声音采集设备及存储介质 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102528225A (zh) * | 2012-02-09 | 2012-07-04 | 上海市特种设备监督检验技术研究院 | 一种gtaw焊接熔透状态的声音信号传感及预测方法 |
| CN106826846A (zh) * | 2017-01-06 | 2017-06-13 | 南京赫曼机器人自动化有限公司 | 基于异常声音和图像事件驱动的智能服务机器人及方法 |
| CN107272607A (zh) * | 2017-05-11 | 2017-10-20 | 上海斐讯数据通信技术有限公司 | 一种智能家居控制系统及方法 |
| CN108830457A (zh) * | 2018-05-14 | 2018-11-16 | 国网辽宁省电力有限公司 | 基于人工智能的电网运行监视与控制全景管理系统 |
| CN109669087A (zh) * | 2019-01-31 | 2019-04-23 | 国网河南省电力公司 | 一种基于多源信息融合的电力变压器故障诊断方法 |
| CN109903392A (zh) * | 2017-12-11 | 2019-06-18 | 北京京东尚科信息技术有限公司 | 增强现实方法和装置 |
| CN110206748A (zh) * | 2019-06-12 | 2019-09-06 | 精英数智科技股份有限公司 | 一种监控风电闭锁实验的方法、装置和系统 |
| CN110400448A (zh) * | 2019-07-29 | 2019-11-01 | 精英数智科技股份有限公司 | 一种采煤机运行状态判断方法、系统及存储介质 |
| CN110556129A (zh) * | 2019-09-09 | 2019-12-10 | 北京大学深圳研究生院 | 双模态情感识别模型训练方法及双模态情感识别方法 |
| CN110659676A (zh) * | 2019-09-09 | 2020-01-07 | 卓尔智联(武汉)研究院有限公司 | 一种信息处理方法、装置和存储介质 |
| CN110867196A (zh) * | 2019-12-03 | 2020-03-06 | 桂林理工大学 | 一种基于深度学习及声音识别的机器设备状态监测系统 |
| CN111199257A (zh) * | 2020-01-10 | 2020-05-26 | 中国铁道科学研究院集团有限公司电子计算技术研究所 | 高铁行车设备故障诊断方法及装置 |
| CN111362089A (zh) * | 2020-04-30 | 2020-07-03 | 郑州大学 | 一种人工智能识别电动车进入轿厢的方法和系统 |
-
2020
- 2020-08-13 CN CN202010809719.5A patent/CN112733588A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102528225A (zh) * | 2012-02-09 | 2012-07-04 | 上海市特种设备监督检验技术研究院 | 一种gtaw焊接熔透状态的声音信号传感及预测方法 |
| CN106826846A (zh) * | 2017-01-06 | 2017-06-13 | 南京赫曼机器人自动化有限公司 | 基于异常声音和图像事件驱动的智能服务机器人及方法 |
| CN107272607A (zh) * | 2017-05-11 | 2017-10-20 | 上海斐讯数据通信技术有限公司 | 一种智能家居控制系统及方法 |
| CN109903392A (zh) * | 2017-12-11 | 2019-06-18 | 北京京东尚科信息技术有限公司 | 增强现实方法和装置 |
| CN108830457A (zh) * | 2018-05-14 | 2018-11-16 | 国网辽宁省电力有限公司 | 基于人工智能的电网运行监视与控制全景管理系统 |
| CN109669087A (zh) * | 2019-01-31 | 2019-04-23 | 国网河南省电力公司 | 一种基于多源信息融合的电力变压器故障诊断方法 |
| CN110206748A (zh) * | 2019-06-12 | 2019-09-06 | 精英数智科技股份有限公司 | 一种监控风电闭锁实验的方法、装置和系统 |
| CN110400448A (zh) * | 2019-07-29 | 2019-11-01 | 精英数智科技股份有限公司 | 一种采煤机运行状态判断方法、系统及存储介质 |
| CN110556129A (zh) * | 2019-09-09 | 2019-12-10 | 北京大学深圳研究生院 | 双模态情感识别模型训练方法及双模态情感识别方法 |
| CN110659676A (zh) * | 2019-09-09 | 2020-01-07 | 卓尔智联(武汉)研究院有限公司 | 一种信息处理方法、装置和存储介质 |
| CN110867196A (zh) * | 2019-12-03 | 2020-03-06 | 桂林理工大学 | 一种基于深度学习及声音识别的机器设备状态监测系统 |
| CN111199257A (zh) * | 2020-01-10 | 2020-05-26 | 中国铁道科学研究院集团有限公司电子计算技术研究所 | 高铁行车设备故障诊断方法及装置 |
| CN111362089A (zh) * | 2020-04-30 | 2020-07-03 | 郑州大学 | 一种人工智能识别电动车进入轿厢的方法和系统 |
Non-Patent Citations (1)
| Title |
|---|
| 董国芳: "《面向数字矿山的铅锌矿井下风险动态模糊评估研究》", 31 May 2020, 天津：天津大学出版社, pages: 69 - 71 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113376457A (zh) * | 2021-05-10 | 2021-09-10 | 首钢京唐钢铁联合有限责任公司 | 一种设备运行状态检测方法、系统、装置、设备和介质 |
| CN113641544A (zh) * | 2021-08-23 | 2021-11-12 | 北京百度网讯科技有限公司 | 用于检测应用状态的方法、装置、设备、介质和产品 |
| CN113641544B (zh) * | 2021-08-23 | 2024-04-26 | 北京百度网讯科技有限公司 | 用于检测应用状态的方法、装置、设备、介质和产品 |
| CN113743355A (zh) * | 2021-09-15 | 2021-12-03 | 中国南方电网有限责任公司超高压输电公司大理局 | 开关装置状态校核方法、装置、系统和计算机设备 |
| CN113743355B (zh) * | 2021-09-15 | 2024-01-09 | 中国南方电网有限责任公司超高压输电公司大理局 | 开关装置状态校核方法、装置、系统和计算机设备 |
| CN113887446A (zh) * | 2021-10-08 | 2022-01-04 | 黑龙江雨谷科技有限公司 | 一种基于神经网络的音视频联合行人意外跌倒监控方法 |
| CN114964467A (zh) * | 2022-03-21 | 2022-08-30 | 珠海格力电器股份有限公司 | 设备检测方法、装置、声音采集设备及存储介质 |
| CN114964467B (zh) * | 2022-03-21 | 2023-01-13 | 珠海格力电器股份有限公司 | 设备检测方法、装置、声音采集设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112733588A (zh) | 机器运行状态检测方法、装置及电子设备 | |
| CN109981328B (zh) | 一种故障预警方法及装置 | |
| US7467067B2 (en) | Self-learning integrity management system and related methods | |
| US20230005176A1 (en) | Throwing position acquisition method and apparatus, computer device and storage medium | |
| CN112712113A (zh) | 一种基于指标的告警方法、装置及计算机系统 | |
| CN110609780B (zh) | 数据监控方法、装置、电子设备及存储介质 | |
| CN117439827B (zh) | 一种网络流量大数据分析方法 | |
| CN111753875A (zh) | 一种电力信息系统运行趋势分析方法、装置及存储介质 | |
| CN111275951A (zh) | 一种信息处理方法、装置、设备及计算机存储介质 | |
| CN113420800A (zh) | 一种数据异常检测方法及装置 | |
| CN112817814A (zh) | 异常监控方法、系统、存储介质及电子装置 | |
| CN116302809A (zh) | 边缘端数据分析计算装置 | |
| CN112527608A (zh) | 一种告警方法、装置及计算机设备 | |
| CN114285612B (zh) | 一种异常数据检测的方法、系统、装置、设备及介质 | |
| KR102521000B1 (ko) | 플랜트 설비 관리 시스템 및 방법 | |
| CN118051863B (zh) | 一种基于数字计量技术的健康数据采集系统及方法 | |
| CN117421692B (zh) | 垃圾投放站的垃圾违规投放识别方法、装置、设备 | |
| CN112862220A (zh) | 一种设备生命周期预测方法、装置及相关设备 | |
| CN109714196B (zh) | 数据监控方法及平台 | |
| CN111258866A (zh) | 计算机性能预测方法、装置、设备及可读存储介质 | |
| US20220343113A1 (en) | Automatic model reconstruction method and automatic model reconstruction system for component recognition model | |
| CN108445856B (zh) | 梁片生产工序监控方法、装置、管理系统及储存介质 | |
| CN115601010B (zh) | 一种人工智能消防智慧信息管理平台 | |
| CN116740885A (zh) | 烟雾火焰报警方法、装置、电子设备及存储介质 | |
| US11573153B2 (en) | Prediction of machine failure based on vibration trend information |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |