CN112966552A - 一种基于智能识别的例行巡视方法及系统 - Google Patents
一种基于智能识别的例行巡视方法及系统 Download PDFInfo
- Publication number
- CN112966552A CN112966552A CN202110128417.6A CN202110128417A CN112966552A CN 112966552 A CN112966552 A CN 112966552A CN 202110128417 A CN202110128417 A CN 202110128417A CN 112966552 A CN112966552 A CN 112966552A
- Authority
- CN
- China
- Prior art keywords
- monitoring
- patrol
- image
- neural network
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 110
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000012544 monitoring process Methods 0.000 claims abstract description 277
- 230000005540 biological transmission Effects 0.000 claims abstract description 96
- 238000003062 neural network model Methods 0.000 claims abstract description 72
- 238000009434 installation Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 239000013589 supplement Substances 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 2
- 101100494773 Caenorhabditis elegans ctl-2 gene Proteins 0.000 description 3
- 101100112369 Fasciola hepatica Cat-1 gene Proteins 0.000 description 3
- 101100005271 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) cat-1 gene Proteins 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 2
- QVFWZNCVPCJQOP-UHFFFAOYSA-N chloralodol Chemical compound CC(O)(C)CC(C)OC(O)C(Cl)(Cl)Cl QVFWZNCVPCJQOP-UHFFFAOYSA-N 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 229910001416 lithium ion Inorganic materials 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- JBQRDRKWCBEQKP-UHFFFAOYSA-N 2-amino-5-iodo-6-phenyl-1h-pyrimidin-4-one Chemical compound N1C(N)=NC(=O)C(I)=C1C1=CC=CC=C1 JBQRDRKWCBEQKP-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- General Health & Medical Sciences (AREA)
- Economics (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- General Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Entrepreneurship & Innovation (AREA)
- Multimedia (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- Primary Health Care (AREA)
- Alarm Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请提出一种基于智能识别的例行巡视方法及系统。方法包括:巡视装置基于接收到的来自监控服务器发送的巡视指令,采集与变电站中的巡视场景有关的监控图像;巡视装置将监控图像发送给传输网关;传输网关将接收到的来自巡视装置发送的监控图像输入至轻量级图像识别神经网络模型中,以识别出监控图像中存在的安全隐患目标。传输网关将轻量级图像识别神经网络模型输出的监控图像发送给监控服务器;监控服务器确定存在安全隐患目标的监控图像,并基于存在安全隐患目标的监控图像,将巡视装置对应的身份识别码以及告警信息发送给巡视装置对应的监控终端。以图像识别的方式代替人工巡检识别故障,节省人力,可以大大提高巡检频率,提高故障识别率。
Description
技术领域
本申请涉及变电站巡视技术领域,尤其涉及一种基于智能识别的例行巡视方法及系统。
背景技术
在变电站内,各种设备安装在不同的地域,为保证所有设备的无故障运行,需要人工定期巡检,每次要查看设备的运行状态及读取设备上的关键读数,开关指示灯状态等。通过人工实地查看设备表现状态来判断整站设备运行状态,巡检周期为每周2-3次,每次巡检时间需要一天左右。人工巡检存在占用人员多,巡检不及时的问题。有些变电站为应对这些问题,安装了巡检机器人,但是巡检机器人价格昂贵,且室内很多地方由于空间限制,巡检机器人到达不了,还是需要人工巡检。
另外,现有的图像分析技术,多是依赖后端图像分析服务器,前端设备拍完照片之后上传到服务器,然后服务器再分析图像并推送告警。这种方法会产生比较大的延时,并且需要部署专门的服务器,投入成本较高,且流量费用高。因此这几种方法都不能保证较低的巡检成本、较高的巡检效率和识别准确率。
发明内容
针对上述现有技术中存在的问题,本申请实施例提出一种基于智能识别的例行巡视方法及系统,解决了现有对变电站例行巡视的方法成本高、巡检效率低且故障识别准确率低的技术问题。
一方面,本申请实施例提供了一种基于智能识别的例行巡视方法,方法包括:监控服务器训练轻量级图像识别神经网络模型,并将所述轻量级图像识别神经网络模型部署到传输网关上;所述监控服务器通过窄带传输方式向巡视装置发送巡视指令,以唤醒安装于变电站中若干预设安装位置的巡视装置;被唤醒后的所述巡视装置基于所述巡视指令,采集与所述变电站中的巡视场景有关的监控图像;其中,所述巡视装置的默认状态为休眠状态;所述巡视装置通过宽带传输方式将所述监控图像发送给传输网关;其中,所述传输网关安装于所述变电站中;所述传输网关对接收到的来自所述巡视装置发送的监控图像进行预处理,并将预处理后的所述监控图像输入至所述轻量级图像识别神经网络模型中,以识别出所述监控图像中存在的安全隐患目标。
本申请实施例通过在变电站各个位置安装小巧的巡视装置,采集变电站各个角落的监控图像,并进行图像识别的方式,减小了变电站巡视的人力投入。提高了变电站巡视的全面性和安全性。采用轻量级的前端神经网络模型识别图像,可以节省成本,缓解服务器压力,提高图像识别精度和识别速度。另外,本申请实施例通过窄带传输巡视指令唤醒巡视装置进行拍照工作,平时巡视装置处于休眠状态,巡视装置的待机功耗很低,只有微安级的待机电流。这样就会使巡视装置更加省电,电池也就会更小,巡视装置也就能做的更小,成本更低。
在一个实施方式中,所述监控服务器训练轻量级图像识别神经网络模型,具体包括:所述监控服务器通过FasterRCNN算法得到基准图像识别神经网络模型,其中,所述FasterRCNN算法中的图像特征提取方法采用Res101算法;所述监控服务器对所述基准图像识别神经网络模型进行训练调优,并对训练调优后的所述基准图像识别神经网络模型进行模型转换,得到所述轻量级图像识别神经网络模型,所述轻量级神经网络模型是离线神经网络模型。
在一个实施方式中,在所述传输网关对接收到的来自所述巡视装置发送的监控图像进行预处理,并将预处理后的所述监控图像输入至所述轻量级图像识别神经网络模型中,以识别出所述监控图像中存在的安全隐患目标之后,所述方法还包括:所述传输网关将所述轻量级图像识别神经网络模型输出的所述监控图像发送给监控服务器;所述监控服务器确定存在安全隐患目标的所述监控图像,并基于存在安全隐患目标的所述监控图像,确定第一巡视装置对应的身份识别码;其中,所述第一巡视装置为拍摄到所述存在安全隐患目标的监控图像的巡视装置;所述监控服务器基于所述第一巡视装置对应的身份识别码,确定所述第一巡视装置对应的监控终端;所述监控服务器将所述第一巡视装置对应的身份识别码以及告警信息发送给所述第一巡视装置对应的监控终端。
在一个实施方式中,在所述监控服务器将所述第一巡视装置对应的身份识别码以及告警信息发送给所述第一巡视装置对应的监控终端后,所述方法还包括:所述监控终端基于所述第一巡视装置对应的身份识别码,接收所述第一巡视装置采集的与变电站中的巡视场景有关的监控视频。
本申请实施例通过监控服务器将告警信息发送到监控终端,使巡检人员可以根据告警信息查看检测出安全隐患目标的巡检装置所拍摄的监控画面,确认隐患原因,或者到现场巡检,大大提高了巡检效率。
在一个实施方式中,在所述巡视装置将所述监控图像发送给传输网关之前,所述方法还包括:所述巡视装置基于预设规则,将采集的与变电站中的巡视场景有关的监控图像发送给监控服务器;所述监控服务器将接收到的来自所述巡视装置发送的监控图像,输入至深度图像识别神经网络模型中,以识别出所述监控图像中存在的安全隐患目标。
本申请实施例通过在监控服务器上安装后端神经网络模型,可以根据用户对识别精度的需求灵活选择模型,从而提高用户使用体验。也可以在个别巡视装置没有被wifi等网络覆盖的情况下通过4G等其他传输方式将监控图像直接发送到监控服务器进行识别,避免漏报的情况。
在一个实施方式中,在所述监控服务器确定存在安全隐患目标的所述监控图像,并基于存在安全隐患目标的所述监控图像,确定第一巡视装置对应的身份识别码之后,所述方法还包括:所述监控服务器基于所述第一巡视装置对应的身份识别码,生成所述第一巡视装置对应的告警信息;所述监控服务器将所述第一巡视装置对应的告警信息写入告警报表。
在一个实施方式中,在所述传输网关将所述轻量级图像识别神经网络模型输出的所述监控图像发送给监控服务器之后,所述方法还包括:所述监控服务器基于预设分类规则,对所述轻量级图像识别神经网络模型输出的所述监控图像进行分类,得到第一类别图像以及第二类别图像;其中,所述第一类别图像包括不存在安全隐患目标的监控图像,所述第二类别图像包括存在安全隐患目标的监控图像;将所述第二类别图像进行可视化展示。
本申请实施例通过监控服务器将识别后的监控图像进行分类展示,可以向工作人员清晰地呈现各个巡视装置的监控场景情况。
在一个实施方式中,在被唤醒后的所述巡视装置基于所述巡视指令,采集与所述变电站中的巡视场景有关的监控图像之前,所述方法还包括:所述监控服务器向传输网关发送若干巡视指令;所述传输网关以预设时间间隔,将所述若干巡视指令发送给所述巡视装置;或者,所述传输网关以预设发送顺序,将所述若干巡视指令发送给所述巡视装置。
本申请实施例中,监控服务器先将记载巡视指令以及指令发送规则的配置表发送到传输网关,传输网关再根据配置表中的内容按照规则向若干个巡视装置发送指令。通过一个网关管理上千个巡视装置,便于巡视装置的管理、维护和施工。
在一个实施方式中,所述方法还包括:所述巡视装置接收来自监控服务器的工作指令;其中,所述工作指令至少包括以下任意一项或多项:打开补光灯指令、视频录像指令、数据传输指令。所述巡视装置确定当前电量,并在所述当前电量低于预设阈值的情况下,拒绝执行所述工作指令;所述巡视装置将所述当前电量发送给监控服务器。
另一方面,本申请实施例提供了一种基于智能识别的例行巡视系统,系统包括:监控服务器,用于训练轻量级图像识别神经网络模型,并将所述轻量级图像识别神经网络模型部署到传输网关;所述监控服务器还用于通过窄带传输方式向巡视装置发送巡视指令;以唤醒安装于变电站中若干预设安装位置的巡视装置;巡视装置,用于基于所述巡视指令,采集与变电站中的巡视场景有关的监控图像,并通过宽带传输方式将所述监控图像发送给传输网关;传输网关,用于对接收到的来自所述巡视装置发送的监控图像进行预处理,并将预处理后的所述监控图像输入至所述轻量级图像识别神经网络模型中,以识别出所述监控图像中存在的安全隐患目标。
本申请实施例通过在变电站各个位置安装成本低的巡视装置,拍摄变电站中的场景图像并对图像进行识别,比动辄几十上百万的巡检机器人在成本上有非常大的优势。且巡视装置功耗极低、设备小巧,通过支架极易安装,能够实现轻量化安装;通过巡视装置进行远程拍摄图像,再通过图像识别远程巡视变电站中的隐患,能够减少变电站巡视的人力投入。并且巡视装置设备几乎可以安装在变电站内所有场所,可覆盖整个站所,实现全场景巡视,解决了人力和机器人无法巡视不能到达的地方的问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请实施例提供的一种基于智能识别的例行巡视方法的流程图;
图2为本申请实施例提供的一种监控服务器控制巡视装置的方法的流程图;
图3为本申请实施例提供的另一种基于智能识别的例行巡视方法的流程图;
图4为本申请实施例提供的一种基于智能识别的例行巡视系统示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
由于变电站内的环境复杂,需要监控的场景多,普通的可视化设备很难应用到变电站内。现有的变电站主要有一些设备参数传感器在使用,基于可视化的设备更少,有些大的变电站使用了巡检机器人,但是巡检机器人安装调试麻烦,从安装到调试完动辄就几个月,而且运维复杂。目前基于图像分析的例行巡视方法都是依赖后端服务器,在时间上有延时且流量费用高。
为解决上述问题,本申请实施例提供了一种基于智能识别的例行巡视方法及系统。
下面通过附图对本申请实施例提出的技术方案进行详细的说明。
图1为本申请实施例提供的一种基于智能识别的例行巡视方法流程图,如如图1所示,该方法可以包括步骤S101-S106:
S101、监控服务器训练轻量级图像识别神经网络模型,并将轻量级图像识别神经网络模型部署到传输网关上。
监控服务器通过FasterRCNN算法得到基准图像识别神经网络模型,其中,FasterRCNN算法中的图像特征提取方法采用Res101算法,然后对基准图像识别神经网络模型进行训练调优,并对训练调优后的基准图像识别神经网络模型进行模型转换,得到轻量级图像识别神经网络模型。
具体地,将FasterRCNN算法中的图像特征提取算法替换为Res101算法,进行图像特征提取,从而将FasterRCNN算法与Res101算法进行融合,得到一个基准图像识别神经网络模型。对基准图像识别神经网络模型进行参数调优,得到识别精度符合要求的基准图像识别神经网络模型。然后通过ATC(Ascend Tensor Compiler)工具将基准图像识别神经网络模型转换为离线神经网络模型,即轻量级图像识别神经网络模型。
进一步地,通过训练样本对得到的轻量级图像识别神经网络模型进行训练,将训练好的轻量级图像识别神经网络模型下发到传输网关。
S102、巡视装置基于接收到的来自监控服务器发送的巡视指令,采集与变电站中的巡视场景有关的监控图像,并将监控图像发送到传输网关。
监控服务器通过一个传输网关,控制若干个巡视装置采集变电站各个位置的监控图像,并在默认情况下将采集到的监控图像发送到传输网关。具体地,图2为本申请实施例提供的一种监控服务器控制巡视装置的方法的流程图,如图2所示,S102具体可以包括步骤S201-S203:
S201、监控服务器发送巡视指令以及指令发送规则到传输网关。
具体地,监控服务器将巡视指令的发送规则发送到传输网关,巡视指令的发送规则中可以包括:传输网关向巡视装置发送巡视指令的时间间隔、传输网关向巡视装置发送巡视指令的顺序、传输网关需要发送巡视指令的巡视装置的身份识别码等内容。其中,传输网关向巡视装置发送巡视指令的顺序可以包括以下情况:传输网关以广播形式同时向所有巡视装置发送巡视指令;传输网关按照顺序依次向巡视装置发送巡视指令等。
在一个实施例中,每个巡视装置都有一个唯一的身份ID,即身份识别码,监控服务器可以通过该身份ID对巡视装置进行管理。身份ID可以是巡视装置的移动设备识别码(Mobile Equipment Identifier MEID)。
在一个实施例中,巡视装置接收来自监控服务器的工作指令;其中,工作指令至少包括以下任意一项或多项:打开补光灯指令、视频录像指令、数据传输指令。巡视装置确定当前剩余电量,并在当前剩余电量低于预设阈值的情况下,拒绝执行工作指令;并将当前电量发送给监控服务器。
在本申请实施例中,一个传输网关通过WIFI或4G/5G方式连接一个变电站内安装的所有巡视装置,并管理所有的巡视装置。通过安装传输网关作为监控服务器和巡视装置之间的媒介,既减轻了监控服务器的压力,又方便安装和维护。
S202、传输网关接收到监控服务器发送的指令发送规则和巡视指令之后,根据指令发送规则向连接的巡视装置发送巡视指令。
具体地,传输网关根据监控服务器发送的指令发送规则,通过Lora传输方式将巡视指令发送出去。由于巡视指令的数据量很小,采用宽带技术会浪费很多流量费用,因此采用Lora窄带传输方式发送巡视指令,节省装置运行成本。
在一个实施例中,若指令发送规则为:每隔一天发送一次巡视指令到所有巡视装置,发送顺序为同时发送。传输网关则根据该发送规则,将巡视指令发送到所有巡视装置,并以一天为时间间隔持续发送,直到接收到新的指令发送规则。
S203、巡视装置接收传输网关发送的巡视指令,并根据巡视指令内容采集巡视场景的监控图像。
具体地,巡视装置接收到巡视指令后,读取巡视指令的内容,根据巡视指令的内容开始拍摄变电站巡视场景的监控图像,并将监控图像通过WIFI或4G/5G方式发送到传输网关。
在一个实施例中,巡视装置没有接收到巡视指令时处于休眠状态,巡视装置中只有微安级的待机电流,功耗极低,因此巡视装置的电池可以采用不可充电的锂亚电池,一次安装电池可以支持巡视装置工作几年的时间,既节省成本又能减小巡视装置的体积,便于安装在变电站的视觉死角处。在巡视装置接收到传输网关发送的巡视指令后,即从休眠状态被唤醒,根据巡视指令的内容开始拍照。例如,巡视指令的内容是:巡视装置间隔十分钟拍摄一次巡视场景图像,共拍摄十次。那么巡视装置从接到该指令开始,每隔十分钟拍摄一次监控图像,拍摄十次之后将拍摄的监控图像发送给传输网关,然后再次进入休眠状态。
S103、巡视装置将监控图像发送到传输网关之后,传输网关将接收到的来自巡视装置发送的监控图像输入至轻量级图像识别神经网络模型中,以识别出监控图像中存在的安全隐患目标,并将轻量级图像识别神经网络模型输出的监控图像发送给监控服务器。
具体地,传输网关在通过轻量级图像识别神经网络模型识别图像时,首先通过AIPP算子对接收到的监控图像进行预处理,如改变图像尺寸、色域转换(转换图像格式)、减均值/乘系数(改变图像像素)等处理。然后将预处理后的监控图像输入轻量级图像识别神经网络模型中进行目标识别,输出识别后的监控图像。在识别后的监控图像中,有安全隐患目标的监控图像上有识别框将安全隐患目标框出,没有安全隐患目标的监控图像上无识别框。传输网关将输出的监控图像通过4G或5G方式发送到监控服务器。
在一个实施例中,传输网关上部署的轻量级图像识别神经网络模型可以根据用户的需求进行定制,用户需要识别哪一种或者哪一类隐患目标,则收集该隐患目标的样本进行模型训练,并将训练后的模型部署于传输网关中。
需要说明的是,本申请实施例提供的一种基于智能识别的例行巡视方法,在默认情况下,巡视装置将监控图像发送到传输网关,由传输网关识别后再发往监控服务器。但是在用户对识别模型有特殊需求的情况下,巡视装置可以直接将监控图像发送到监控服务器。
在一个实施例中,若用户的需求是通过监控服务器上的深度图像识别神经网络模型来识别监控图像,以获得更好的图像识别效果,那么可以采用巡视装置直接将监控图像发送到监控服务器,由监控服务器进行图像识别的方法。具体地,如图3所示,该方法可以包括步骤S301-S303:
S301、监控服务器通过传输网关向巡视装置发送预设发送规则以及监控服务器的IP地址。
具体地,监控服务器基于用户需求,向巡视装置发送监控图像对应的预设发送规则,预设发送规则的内容为:将监控图像发送到监控服务器。并附上监控服务器的IP地址以便巡视装置发送监控图像。
S302、巡视装置收到预设发送规则后,基于预设发送规则以及监控服务器的IP地址,通过4G CAT1的传输方式将监控图像发送到监控服务器。
4G CAT1传输方式可以降低传输成本,由于后端深度图像识别神经网络模型的搭建,需要配置多个服务器,产生的流量费用很高,因此使用这种传输方式可以为用户节省一些成本。
S303、监控服务器将接收到的来自巡视装置发送的监控图像,输入至深度图像识别神经网络模型中,以识别出监控图像中存在的安全隐患目标。
在一个实施例中,监控服务器上部署有深度图像识别神经网络模型,相比于传输网关上部署的轻量级图像识别神经网络模型,监控服务器上的深度图像识别神经网络模型识别准确度更高,但是由于搭设服务器费用高以及流量费用高,会增加图像识别的成本,且较为复杂的模型,识别图像的时间也会增加,时效性较差,因此该方法作为本申请实施例的第二选择,默认通过传输网关上的轻量级图像识别神经网络模型识别图像。除非用户对识别精度有要求,会选择监控服务器上的深度图像识别神经网络模型来识别监控图像。
监控服务器将接收到的监控图像,输入深度图像识别神经网络模型中,输出识别后的监控图像,同样的,在识别后的监控图像中,有安全隐患目标的监控图像以识别框的形式将安全隐患目标标出。
S104、监控服务器接收到传输网关发送的轻量级图像识别神经网络模型输出的监控图像后,确定存在安全隐患目标的监控图像,并基于存在安全隐患目标的监控图像,确定第一巡视装置对应的身份识别码。
具体地,监控服务器收到传输网关发送的轻量级图像识别神经网络模型输出的监控图像的监控图像,或者监控服务器识别完监控图像后,首先检测监控图像上是否识别出了安全隐患目标,即监控图像上是否有识别框。若在监控图像上识别出了安全隐患目标,则确定第一巡视装置对应的身份识别码,即确认该监控图像上记录的巡视装置的身份ID,该身份ID表示的是拍摄该存在安全隐患目标的监控图像的巡视装置的身份标识码。
S105、监控服务器基于第一巡视装置对应的身份识别码,生成第一巡视装置的告警信息并确定第一巡视装置对应的监控终端,将第一巡视装置对应的身份识别码以及告警信息发送给第一巡视装置对应的监控终端。
具体地,监控服务器通过在具有安全隐患目标的监控图像上检测到的身份ID,确认拍摄该监控图像的巡视装置,生成该巡视装置的告警信息。告警信息中可以包含以下内容:安全隐患提醒消息、检测出的安全隐患目标具体是什么目标。例如,隐患目标可以是人、设备工作状态、障碍物等。
进一步地,将告警信息和该巡视装置的身份ID发送到该巡视装置对应的监控终端,供巡检人员确认并检查隐患原因。
在一个实施例中,本申请实施例的例行巡视系统中包含多个监控终端,监控终端包括巡检人员的手机、电脑等终端。每个监控终端负责多个巡视装置告警信息的接收,因此,通过识别出安全隐患目标上的身份ID,可以确认该巡视装置是由哪个监控终端负责,确认之后,监控服务器则将告警信息发送到该监控终端。
例如,监控服务器在一张识别出安全隐患目标的监控图像上检测出,拍摄该监控图像的巡视装置的身份ID为001,然后查找到001号巡检装置由第二监控终端负责,则将001号巡检装置的身份ID以及告警信息发送到第二监控终端。
在一个实施例中,监控服务器将所有巡视装置的告警情况整理成告警情况报表,在有新的巡视装置发生告警后,更新该告警情况报表,以便用户下载查看巡视装置的告警情况。
进一步地,监控服务器基于场景或告警情况,将收到的监控图像进行分类,并进行可视化展示,以便用户查看监控图像。
在本申请的一个实施例中,监控服务器将接收到的监控图像以预设方式进行分类,得到第一类别监控图像(存在安全隐患目标的监控图像)以及第二类别监控图像(存在安全隐患目标的监控图像),然后将第一类别监控图像进行可视化展示。也可以将第二类别监控图像进行可视化展示。需要说明的是,此处的可视化展示可以是通过监控服务器本身实现,也可以通过监控服务器外接的显示设备进行展示,本申请实施例对此不作限定。
S106、监控终端基于第一巡视装置对应的身份识别码,接收第一巡视装置采集的与变电站中的巡视场景有关的监控视频。
具体地,监控终端接收到告警信息和巡视装置对应的身份ID后,弹出告警框,提示巡检人员查看。监控终端响应巡检人员点击告警框的操作,根据身份ID在监控终端负责的巡视装置中查找该巡视装置的接口,通过调用接口,将该巡视装置的监控视频调出,供巡检人员查看视频,以发现隐患来源。
以上为本申请实施例提供的一种方法实施例,基于同样的发明构思,本申请实施例还提供了一种基于智能识别的例行巡视系统。
图4为本申请实施例提供的一种基于智能识别的例行巡视系统示意图,如图4所示,基于智能识别的例行巡视系统400包括:巡视装置410、传输网关420、监控服务器430以及监控终端440。
具体地,巡视装置410,用于根据监控服务器430的指令,拍摄变电站的场景图像。巡视装置410安装在变电站的各个位置,以使巡视装置410能够无死角地拍摄变电站的图像。
传输网关420用于接收监控服务器430的指令,并将指令分发给若干个巡视装置410。还用于接收巡视装置410上传的监控图像,并通过轻量级图像是被神经网络模型对监控图像进行识别,以确定出存在安全隐患目标的监控图像。
监控服务器430用于向巡视装置410发送监控指令,控制巡视装置410工作,汇总巡视装置410的告警情况并发送到对应的监控终端440,还用于接收传输网关420上传的识别后的监控图像,并对监控图像进行分类展示。
监控终端440,本申请实施例中的每个监控终端负责若干个巡视装置。在接收到监控服务器430发送的告警信息后,监控终端440调取发生告警的巡视装置410的监控视频,以便巡检人员查看变电站内出现了什么安全隐患,判断是否需要到现场消除隐患。监控终端440可以是用户的手机微信客户端和电脑管理界面,方便巡检人员实时查看设备上传的图像和告警,随时处理故障,不受地域限制。
在一个实施例中,巡视装置410可以通过WIFI或者4G/5G方式将监控图像发送到传输网关420,也可以通过4G CAT1方式将监控图像发送到监控服务器430。
在一个实施例中,巡视装置410可以是一种低功耗的拍照设备,体积小巧,可采用磁吸,粘贴,螺钉,绑带等多种方式便捷安装在变电站内任意角落,实现拆箱安装不超过3分钟,采用超低自放电的锂亚电池供电,待机功耗小于60uA/3.6V,可满足单节14000mah电池5年的使用时长,减少监控设备需要经常充电或都更改电源的麻烦,真正实现轻量化巡视,提高使用便捷性。传输网关420可管理6万多的巡视装置,一般变电站监控点不超过3000个点位,单传输网关完全满足一个变电站所内所有监控点的管理和监控,实现全场景无死角监控。
本申请实施例提供的一种基于智能识别的例行巡视方法及系统,通过在变电站内各个位置安装小巧且低功耗的巡视装置,通过巡视装置采集变电站各个位置的场景图像,通过轻量级神经网络模型对图像进行识别,提高了识别效率,降低了图像传输所造成的耗时问题。用图像识别方法代替人工巡检,不仅提高了变电站的巡视效率、巡视安全性,也节省了变电站巡视的成本,具有重要的积极意义。
以上所述仅是本申请的优选实施方式,并不用于限制本申请。应当指出,对于本领域的普通技术人员来说,本申请可以有各种更改和变化。凡在不脱离本申请原理的前提下所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种基于智能识别的例行巡视方法,其特征在于,所述方法包括:
监控服务器训练轻量级图像识别神经网络模型,并将所述轻量级图像识别神经网络模型部署到传输网关上;
所述监控服务器通过窄带传输方式向巡视装置发送巡视指令,以唤醒安装于变电站中若干预设安装位置的巡视装置;
被唤醒后的所述巡视装置基于所述巡视指令,采集与所述变电站中的巡视场景有关的监控图像;其中,所述巡视装置的默认状态为休眠状态;
所述巡视装置通过宽带传输方式将所述监控图像发送给传输网关;其中,所述传输网关安装于所述变电站中;
所述传输网关对接收到的来自所述巡视装置发送的监控图像进行预处理,并将预处理后的所述监控图像输入至所述轻量级图像识别神经网络模型中,以识别出所述监控图像中存在的安全隐患目标。
2.根据权利要求1所述的一种基于智能识别的例行巡视方法,其特征在于,所述监控服务器训练轻量级图像识别神经网络模型,具体包括:
所述监控服务器通过FasterRCNN算法得到基准图像识别神经网络模型,其中,所述FasterRCNN算法中的图像特征提取方法采用Res101算法;
所述监控服务器对所述基准图像识别神经网络模型进行训练调优,并对训练调优后的所述基准图像识别神经网络模型进行模型转换,得到所述轻量级图像识别神经网络模型,所述轻量级神经网络模型是离线神经网络模型。
3.根据权利要求1所述的一种基于智能识别的例行巡视方法,其特征在于,在所述传输网关对接收到的来自所述巡视装置发送的监控图像进行预处理,并将预处理后的所述监控图像输入至所述轻量级图像识别神经网络模型中,以识别出所述监控图像中存在的安全隐患目标之后,所述方法还包括:
所述传输网关将所述轻量级图像识别神经网络模型输出的所述监控图像发送给监控服务器;
所述监控服务器确定存在安全隐患目标的所述监控图像,并基于存在安全隐患目标的所述监控图像,确定第一巡视装置对应的身份识别码;其中,所述第一巡视装置为拍摄到所述存在安全隐患目标的监控图像的巡视装置;
所述监控服务器基于所述第一巡视装置对应的身份识别码,确定所述第一巡视装置对应的监控终端;
所述监控服务器将所述第一巡视装置对应的身份识别码以及告警信息发送给所述第一巡视装置对应的监控终端。
4.根据权利要求3所述的一种基于智能识别的例行巡视方法,其特征在于,在所述监控服务器将所述第一巡视装置对应的身份识别码以及告警信息发送给所述第一巡视装置对应的监控终端后,所述方法还包括:
所述监控终端基于所述第一巡视装置对应的身份识别码,接收所述第一巡视装置采集的与变电站中的巡视场景有关的监控视频。
5.根据权利要求1所述的一种基于智能识别的例行巡视方法,其特征在于,在所述巡视装置通过宽带传输方式将所述监控图像发送给传输网关之前,所述方法还包括:
所述巡视装置基于预设规则,将采集的与变电站中的巡视场景有关的监控图像发送给监控服务器;
所述监控服务器将接收到的来自所述巡视装置发送的监控图像输入至深度图像识别神经网络模型中,以识别出所述监控图像中存在的安全隐患目标。
6.根据权利要求3所述的一种基于智能识别的例行巡视方法,其特征在于,在所述监控服务器确定存在安全隐患目标的所述监控图像,并基于存在安全隐患目标的所述监控图像,确定第一巡视装置对应的身份识别码之后,所述方法还包括:
所述监控服务器基于所述第一巡视装置对应的身份识别码,生成所述第一巡视装置对应的告警信息;
所述监控服务器将所述第一巡视装置对应的告警信息写入告警报表。
7.根据权利要求3所述的一种基于智能识别的例行巡视方法,其特征在于,在所述传输网关将所述轻量级图像识别神经网络模型输出的所述监控图像发送给监控服务器之后,所述方法还包括:
所述监控服务器基于预设分类规则,对所述轻量级图像识别神经网络模型输出的所述监控图像进行分类,得到第一类别图像以及第二类别图像;其中,所述第一类别图像包括不存在安全隐患目标的监控图像,所述第二类别图像包括存在安全隐患目标的监控图像;
将所述第二类别图像进行可视化展示。
8.根据权利要求1所述的一种基于智能识别的例行巡视方法,其特征在于,在被唤醒后的所述巡视装置基于所述巡视指令,采集与所述变电站中的巡视场景有关的监控图像之前,所述方法还包括:
所述监控服务器向传输网关发送若干巡视指令;
所述传输网关以预设时间间隔,将所述若干巡视指令发送给所述巡视装置;或者,
所述传输网关以预设发送顺序,将所述若干巡视指令发送给所述巡视装置。
9.根据权利要求1所述的一种基于智能识别的例行巡视方法,其特征在于,所述方法还包括:
所述巡视装置接收来自监控服务器的工作指令;其中,所述工作指令至少包括以下任意一项或多项:打开补光灯指令、视频录像指令、数据传输指令。
所述巡视装置确定当前电量,并在所述当前电量低于预设阈值的情况下,拒绝执行所述工作指令;
所述巡视装置将所述当前电量发送给监控服务器。
10.一种基于智能识别的例行巡视系统,其特征在于,所述系统包括:
监控服务器,用于训练轻量级图像识别神经网络模型,并将所述轻量级图像识别神经网络模型部署到传输网关;
所述监控服务器还用于通过窄带传输方式向巡视装置发送巡视指令;以唤醒安装于变电站中若干预设安装位置的巡视装置;
巡视装置,用于基于所述巡视指令,采集与变电站中的巡视场景有关的监控图像,并通过宽带传输方式将所述监控图像发送给传输网关;
传输网关,用于对接收到的来自所述巡视装置发送的监控图像进行预处理,并将预处理后的所述监控图像输入至所述轻量级图像识别神经网络模型中,以识别出所述监控图像中存在的安全隐患目标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110128417.6A CN112966552B (zh) | 2021-01-29 | 2021-01-29 | 一种基于智能识别的例行巡视方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110128417.6A CN112966552B (zh) | 2021-01-29 | 2021-01-29 | 一种基于智能识别的例行巡视方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112966552A true CN112966552A (zh) | 2021-06-15 |
CN112966552B CN112966552B (zh) | 2022-10-21 |
Family
ID=76272579
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110128417.6A Active CN112966552B (zh) | 2021-01-29 | 2021-01-29 | 一种基于智能识别的例行巡视方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112966552B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113538171A (zh) * | 2021-09-14 | 2021-10-22 | 南方电网调峰调频发电有限公司 | 一种电站安全监测系统 |
CN114004519A (zh) * | 2021-11-05 | 2022-02-01 | 国网山东省电力公司青岛供电公司 | 一种配电可视化系统及方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101917061A (zh) * | 2010-07-14 | 2010-12-15 | 山东电力集团公司泰安供电公司 | 变电站自动化巡视方法及其装置 |
CN205566523U (zh) * | 2016-04-14 | 2016-09-07 | 国网山东省电力公司无棣县供电公司 | 一种供电企业变电站、输电线路巡检系统 |
CN107018364A (zh) * | 2017-03-31 | 2017-08-04 | 中国南方电网有限责任公司超高压输电公司曲靖局 | 一种用于变电站巡检的集控系统及方法 |
CN107092251A (zh) * | 2016-12-22 | 2017-08-25 | 合肥工业大学 | 基于图像识别的铁路无人巡检车的自动定位系统及方法 |
CN210605473U (zh) * | 2019-11-12 | 2020-05-22 | 北京华能新锐控制技术有限公司 | 一种电厂巡检系统 |
CN111860170A (zh) * | 2020-06-19 | 2020-10-30 | 包头钢铁(集团)有限责任公司 | 基于5g和深度学习目标检测的安全护具佩戴检测系统 |
CN112131936A (zh) * | 2020-08-13 | 2020-12-25 | 华瑞新智科技(北京)有限公司 | 一种巡检机器人图像识别方法及巡检机器人 |
CN112149522A (zh) * | 2020-09-04 | 2020-12-29 | 国网天津市电力公司 | 电缆通道智能可视化防外破监测系统及方法 |
-
2021
- 2021-01-29 CN CN202110128417.6A patent/CN112966552B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101917061A (zh) * | 2010-07-14 | 2010-12-15 | 山东电力集团公司泰安供电公司 | 变电站自动化巡视方法及其装置 |
CN205566523U (zh) * | 2016-04-14 | 2016-09-07 | 国网山东省电力公司无棣县供电公司 | 一种供电企业变电站、输电线路巡检系统 |
CN107092251A (zh) * | 2016-12-22 | 2017-08-25 | 合肥工业大学 | 基于图像识别的铁路无人巡检车的自动定位系统及方法 |
CN107018364A (zh) * | 2017-03-31 | 2017-08-04 | 中国南方电网有限责任公司超高压输电公司曲靖局 | 一种用于变电站巡检的集控系统及方法 |
CN210605473U (zh) * | 2019-11-12 | 2020-05-22 | 北京华能新锐控制技术有限公司 | 一种电厂巡检系统 |
CN111860170A (zh) * | 2020-06-19 | 2020-10-30 | 包头钢铁(集团)有限责任公司 | 基于5g和深度学习目标检测的安全护具佩戴检测系统 |
CN112131936A (zh) * | 2020-08-13 | 2020-12-25 | 华瑞新智科技(北京)有限公司 | 一种巡检机器人图像识别方法及巡检机器人 |
CN112149522A (zh) * | 2020-09-04 | 2020-12-29 | 国网天津市电力公司 | 电缆通道智能可视化防外破监测系统及方法 |
Non-Patent Citations (1)
Title |
---|
李梁: ""变电站巡检机器人视频监控系统设计与实现"", 《中国优秀博硕士学位论文全文数据库(硕士) 工程科技Ⅱ辑》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113538171A (zh) * | 2021-09-14 | 2021-10-22 | 南方电网调峰调频发电有限公司 | 一种电站安全监测系统 |
CN114004519A (zh) * | 2021-11-05 | 2022-02-01 | 国网山东省电力公司青岛供电公司 | 一种配电可视化系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112966552B (zh) | 2022-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104581087B (zh) | 一种基于物联网的输电线路智能远程监控系统 | |
CN102616613B (zh) | 一种电梯监控系统 | |
CN204465736U (zh) | 一种基于物联网的输电线路智能远程监控系统 | |
CN102602762B (zh) | 一种电梯检修监控方法 | |
CN102616617B (zh) | 一种电梯监控方法 | |
CN103152601A (zh) | 一种智能报障摄像机及其网络管理客户端系统 | |
CN104581054A (zh) | 基于视频的输电线路巡检方法及系统 | |
CN104333736A (zh) | 无人变电站智能识别监控系统及方法 | |
CN110807460B (zh) | 一种基于图像识别的变电站智能巡视系统及其应用方法 | |
CN111062504A (zh) | 一种基于ar技术的智能配电站运维系统及方法 | |
CN112966552B (zh) | 一种基于智能识别的例行巡视方法及系统 | |
CN111463902A (zh) | 架空线路监控方法、系统、装置和服务器 | |
CN104167818A (zh) | 一种与gis变电站综合自动化系统联动的远程智能巡检系统及方法 | |
CN105139471A (zh) | 一种电力设备的巡检方法 | |
CN113067411A (zh) | 一种变电站的远程智能巡视系统 | |
CN115393340A (zh) | 一种基于5g算法的ai视觉产品质量检测系统 | |
CN112688434A (zh) | 输配电线路的监测预警方法、装置、计算机设备和介质 | |
CN106294602B (zh) | 一种多媒体信息可视化系统 | |
CN108833574A (zh) | 一种适用于物联网的输电线路远程监控系统 | |
CN107613344A (zh) | 一种显示终端播放状态即时反馈系统及实现方法 | |
CN108847985A (zh) | 适用于物联网的输电线路智能远程监控系统 | |
CN114445782A (zh) | 基于边缘ai和北斗短报文的输电线路图像采集系统 | |
CN105811578A (zh) | 输电线路监控平台及其电源监控算法和图像预警算法 | |
CN112001810A (zh) | 基于机器视觉的智能林业巡护系统及方法 | |
CN112218040A (zh) | 高压电缆附件安装用后台监视装置、系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |