CN112327777A - 一种数据采集系统及方法 - Google Patents
一种数据采集系统及方法 Download PDFInfo
- Publication number
- CN112327777A CN112327777A CN202011269708.9A CN202011269708A CN112327777A CN 112327777 A CN112327777 A CN 112327777A CN 202011269708 A CN202011269708 A CN 202011269708A CN 112327777 A CN112327777 A CN 112327777A
- Authority
- CN
- China
- Prior art keywords
- data
- server
- data acquisition
- monitoring
- converter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000012544 monitoring process Methods 0.000 claims description 100
- 238000003860 storage Methods 0.000 claims description 60
- 230000005540 biological transmission Effects 0.000 claims description 38
- 238000001514 detection method Methods 0.000 claims description 33
- 238000007405 data analysis Methods 0.000 claims description 31
- 238000013500 data storage Methods 0.000 claims description 24
- 238000004891 communication Methods 0.000 claims description 22
- 230000002159 abnormal effect Effects 0.000 claims description 16
- 238000013507 mapping Methods 0.000 claims description 11
- 238000007726 management method Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 2
- 238000000926 separation method Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000012795 verification Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000005856 abnormality Effects 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000005180 public health Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000002351 wastewater Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/31—From computer integrated manufacturing till monitoring
- G05B2219/31282—Data acquisition, BDE MDE
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明提出一种数据采集系统及方法。本发明的数据采集系统及方法通过BS模式实现了数据采集跟组态配置，用户可以在跟服务器网络互通情况之下访问数据，避免单独故障问题，并实现读写分离，降低了主节点的压力。同时系统还支持采集通用协议和多种统计报表，可满足更多客户需求。
Description
技术领域
本发明涉及工业控制系统领域，尤其涉及一种数据采集系统及方法。
背景技术
诸如电网之类的能源基础设施通常由多级控制系统驱动，该多级控制系统观察系统状态并做出响应以达到本地稳定工作点。网络控制系统与其他网络的集成使它们容易受到各种破坏，恶意攻击和网络威胁的攻击。例如，电力公用事业公司经常使用通信网络和软件应用程序将发电量保持在满足需求的范围内。然而通信网络和软件应用程序很容易受到网络攻击，攻击者已证明能够禁用关键控制器并造成高度破坏性的电力中断。电网、水/废水、公共卫生、运输、银行和工业中的关键系统的长时间故障可能会停止经济活动，造成混乱，并扩散威胁生命的安全隐患。因此，需要开发一种安全且有弹性的监视系统，其可以保护基础设施系统资产和关键功能，并且可以帮助那些系统资产和关键功能经受得住中断并从中断中快速恢复。计算机为基础的生产过程控制和调度自动化系统可以对现场的运行设备进行监视和控制，以实现数据采集、设备控制、测量、参数调节及各类信号报警等各项功能。然而现有系统大多是基于C/S(Client-Server)架构,虽然能充分发挥客户端电脑的处理能力，很多工作可以在客户端处理后再提交给服务器，所以客户端响应速度快，但是需要专门的客户端安装程序，分布功能弱，针对点多面广且不具备网络条件的用户群体，不能够实现快速部署安装和配置，开发、维护成本较高，需要具有一定专业水准的技术人员才能完成，发生一次升级，则所有客户端的程序都需要改变。
而且现有系统中所有实时数据都存于同一数据库、数据表，一旦点位很多时会存在大量数据的读跟写，此时页面的实时数据刷新就会有较大时间的延迟。同时由于组态功能的有限，实现的报告跟分析功能很有限，有时不能满足客户所需要求。
发明内容
为了解决现有技术中的上述问题，本申请实施例提供的技术方案如下：
一种数据采集方法，包括以下步骤：
在控制服务器1中配置监控服务器ID、数据转换器ID和存储节点ID，其中ID表示设备唯一识别码；
数据库集群主节点31从配置管理系统获取监控服务器的ID和存储节点的ID，将存储节点按ID排序并从1开始编号，获取存储节点数n；
数据库集群主节点31从控制服务器1获取所有监控服务器的ID，对监控服务器的ID和存储节点数n进行映射；
服务器2中的参数设置模块21设置数据获取参数并存储成一个配置文件；所述数据获取参数包括：监控周期、数据转换器ID、监控服务器的ID和存储节点数的映射关系、待监控设备的地址、每个设备的检测项目及每个检测项目的标准值；
控制服务器1查询监控服务器2中配置的所述配置文件，同时监听不同协议的端口，如果能够成功建立连接，则根据对应的数据转换器ID获取数据信息；
所述获取数据信息包括以下步骤：
指令发送模块22每隔一个监控周期，根据数据转换器6的端口类型从统一的通信接口中选取对应的通信协议，通过数据转换器6发送数据获取指令至传感器7；
传感器7接收到数据转换器6传送过来的数据获取指令后，根据该指令中包含的数据获取参数获取每个待监控设备检测项目对应的数据，然后将采集到的数据通过数据转换器6返回至监控服务器2；
数据分析模块23根据待监控设备的类型从统一的数据传输协议接口中选取对应的数据传输协议，接收数据转换器6传回的采集数据；数据分析模块23根据参数设置模块21设置的每个检测项目的标准值判断采集的数据是否异常；如果每个检测项目采集的数据都在标准值的范围内，则判断采集的数据符合要求，否则，判断采集的数据异常，报警模块25发送报警信息到控制服务器1和用户端5。
根据本发明的一个方面，所述的数据转换器ID包括寄存器地址、IP地址、端口编号其中之一。
根据本发明的一个方面，数据分析模块23还包括对采集的数据进行校验，若校验失败，数据分析模块23将丢弃该采集数据，若校验成功，则数据存储模块24根据待监控设备的类型从统一的数据存储接口中选取对应的数据存储协议，将采集的数据存储在监控服务器2的本地数据库和数据库服务器集群3中。
根据本发明的一个方面，所述通信协议包括RS232/485协议、TCP/IP协议、Modbus数据传输协议、OPC数据传输协议、MQTT数据传输协议，所述数据获取指令包括待监控设备的地址和每个设备的检测项目。
一种数据采集系统，包括：控制服务器1、数据库服务器集群3、网络服务器4、用户端5、至少一个监控组件8；所述监控组件包括监控服务器2、至少一个数据转换器6、至少一个传感器7；所述监控服务器2通过网络与控制服务器1、数据库服务器集群3、网络服务器4和数据转换器6相连，所述数据转换器6通过串口与至少一个传感器7相连；所述监控服务器2包括参数设置模块21、指令发送模块22、数据分析模块23、数据存储模块24及报警模块25；所述参数设置模块21用于设置数据获取参数并存储成一个配置文件；数据库集群主节点31从控制服务器1获取所有监控服务器的ID，对监控服务器的ID和存储节点数n进行映射；服务器2中的参数设置模块21设置数据获取参数并存储成一个配置文件；所述数据获取参数包括：监控周期、数据转换器ID、监控服务器的ID和存储节点数的映射关系、待监控设备的地址、每个设备的检测项目及每个检测项目的标准值；所述指令发送模块22用于每隔一个监控周期，根据待监控设备的类型从统一的通信接口中选取对应的通信协议，通过数据转换器6发送数据获取指令至传感器7；所述数据分析模块23用于根据待监控设备的类型从统一的数据传输协议接口中选取对应的数据传输协议，接收数据转换器6传回的采集数据，并对采集的数据进行校验。
根据本发明的一个方面，所述数据获取参数包括：监控周期、待监控设备的地址、每个设备的检测项目及每个检测项目的标准值。
根据本发明的一个方面，所述数据分析模块23还用于根据参数设置模块21设置的每个检测项目的标准值判断采集的数据是否异常。
根据本发明的一个方面，所述报警模块25用于当数据分析模块23判断采集的数据出现异常时，发送报警信息到控制服务器1和用户端5。
根据本发明的一个方面，所述传感器7的类型为温度传感器、湿度传感器、流量传感器、压力传感器其中任一。
一种计算机可读存储介质，其上存储计算机程序，其特征在于，该程序被处理器执行时实现所述数据采集方法。
与现有技术相比，本发明具有如下有益效果：本发明的数据采集系统及方法通过BS模式实现了数据采集跟组态配置，用户可以在跟服务器网络互通情况之下访问数据，避免单独故障问题，并实现读写分离，降低了主节点的压力。同时系统还支持采集通用协议和多种统计报表，可满足更多客户需求。
附图说明
图1为本发明数据采集系统较佳实施方式的硬件架构图；
图2为本发明的监控服务器的功能模块图。
具体实施方式
下面结合附图和具体实施方式，对本发明的技术方案做详细描述。
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
参阅图1所示，为本发明数据采集系统较佳实施方式的硬件架构图。该系统主要包括控制服务器1、数据库服务器集群3、网络服务器4、用户端5、至少一个监控组件8。所述监控组件包括监控服务器2、至少一个数据转换器6、至少一个传感器7。所述监控服务器2通过网络与控制服务器1、数据库服务器集群3、网络服务器4和数据转换器6相连，所述数据转换器6通过串口(如RS485接口)与至少一个传感器7相连。
所述用户端5通过Web网页访问网络服务器4，从数据库服务器集群3中查询数据，所述控制服务器1用于即时显示监控服务器2采集到的数据和报警信息等。系统采用B/S(Browser/Server)架构，分布性强，客户端零维护。只要有网络、浏览器，可以随时随地进行查询、浏览等业务处理。浏览器----服务器结用户可以在跟服务器网络互通情况之下访问数据，同时系统还支持采集通用协构，是目前应用系统的发展方向。BS是伴随着Internet技术的兴起，对C/S架构的改进，为了区别于传统的C/S模式，特意称为B/S模式。在这种结构下，通过W3浏览器来进入工作界面，极少部分事务逻辑在前端(Browser)实现，主要事务逻辑在服务器端(Server)实现，形成三层(3-tier)结构。这样使得客户端电脑负荷大大简化(因此被称为瘦客户端)，减轻了系统维护、升级的支出成本，降低了用户的总体成本(TCO)。BS的主要特点是分布性强、维护方便、开发简单且共享性强、总体拥有成本低。在本发明通过BS模式实现了数据采集跟组态配置，议和多种统计报表，可满足更多客户需求。
数据库服务器集群3包括主节点31和至少一个存储节点。图1给出的存储节点包括第一存储节点32和第二存储节点33。数据库服务器集群3中某一台数据库中的数据更新后，能够自动将更新的数据同步到其他数据库上。主节点31可以进行读写操作，当写操作导致数据变化时会自动将数据同步给存储节点。而从数据库一般是只读的，并接受主节点31同步过来的数据。一个主节点31的主数据库可以拥有多个存储节点数据库，而一个存储节点数据库只能拥有一个主数据库。数据库服务器集群3的上述架构能较好地避免单独故障问题，并实现读写分离，降低了主节点31的压力。
每个传感器7用于采集待监控设备的信息。传感器7的类型包括但并不限于温度传感器、湿度传感器、流量传感器、压力传感器。优选地，传感器7为上述传感器中任一。
监控组件8可以根据IT机房的需要配置预设数量。例如为每个工厂的每个IT机房配置一个监控组件8.
所述监控服务器2中安装有数据库软件，用于将采集到的数据存储于数据存储模块24中。数据存储模块24每隔预定周期将本地的数据备份到数据库服务器集群3中。每隔一段时间，监控服务器2通过数据转换器6发送数据获取指令至传感器7。传感器7将采集的数据通过数据转换器6返回至监控服务器2，监控服务器2对采集的数据进行分析并存储。如果采集的数据有异常，则向控制服务器1和用户端5发送报警信息。所述的数据库软件可以是关系型数据库或非关系型数据库。
所述监控服务器2中包括有通信接口、数据传输协议接口和数据存储接口等。其中，通信接口将不同设备的通信协议封装在一起，通过该统一的通信接口可以访问不同的设备。数据传输协议接口将不同设备的数据传输协议封装在一起，通过该统一的数据传输协议接口可以将不同设备的采集数据传回监控服务器2。数据存储接口将不同设备的数据存储协议封装在一起，通过该统一的数据存储接口可以对不同设备的采集数据进行存储。
系统启动时，控制服务器1查询监控服务器2中配置的配置文件，同时监听不同协议的端口。如果能够成功建立连接，则根据对应的数据转换器ID获取数据信息。监控服务器2中配置的配置文件可以通过以下步骤进行：
在控制服务器1中配置监控服务器ID、数据转换器ID和存储节点ID，其中ID表示设备唯一识别码；
控制服务器1根据网络连接检测结果为每个监控服务器和存储节点生成一个系统唯一识别码，它保证对在同一网络中的所有机器都是唯一的。或者，也可以由人工直接在控制服务器1中配置监控服务器、数据转换器和存储节点的ID以及由硬件的拓扑结构所获得对应的配置文件。
数据库集群主节点31从配置管理系统获取监控服务器2的ID和存储节点的ID，将存储节点按ID排序并从1开始编号，获取存储节点数n。截取监控服务器ID的若干连续位并按16进制计算其数值，将该值和存储节点编号进行映射，根据映射结果将监控服务器分配给相应的存储节点。
根据监控服务器与存储节点映射关系分配监控服务器到存储节点之后，数据库集群主节点31从控制服务器1获取所有监控服务器的ID，对监控服务器的ID和存储节点数n进行映射。数据库集群主节点31据此完成所有监控服务器的分配工作。
数据库集群主节点31根据存储节点运行状态重新分配监控服务器2；数据库集群主节点31需要监测存储节点(如第一存储节点32、第二存储节点33)的运行状态，数据库集群主节点31通过心跳来监测存储节点是否在线。
当存储节点宕机时，数据库集群主节点31与该存储节点之间的心跳异常，这时，数据库集群主节点31启动监控服务器重新分配流程。即对当前剩余存储节点排序，再根据每个监控服务器ID重新映射存储节点，重新分配。
当存储节点恢复运行时，数据库集群主节点31与该存储节点之间的心跳恢复，这时，数据库集群主节点31也启动监控服务器重新分配流程。重新分配流程与宕机时重新分配流程一样。
当系统需要增加存储节点时，控制服务器1将新增的存储节点信息通知数据库集群主节点31，数据库集群主节点31会启动监控服务器重新分配流程。重新分配流程与上述流程一致。
配置文件中的所述的数据转换器ID包括寄存器地址、IP地址、端口编号其中之一。可以根据不同协议的类型灵活配置，例如：
a)Modbus TCP协议：
监听数据转换器IP+502端口，如能成功建立连接，则在根据配置的寄存器地址、数据类型、数据长度取获取对应的原始数据，获取到原始数据后在根据业务要求进行计算、分析最后存储，同时也会存储到数据库中，这样在监控页面会很迅速的查询到值。
例如：
HOST:127.0.0.1
端口:502
寄存器地址编码:40001；
MODBUS功能码：3
从站地址：1
数据类型：Float
是否反转：否
b)OPC协议:
根据配置中的对方IP、端口、域去连接，如能成功建立连接，则在根据配置的标签名获取对应的原始数据，获取到原始数据后在根据业务要求进行计算、分析最后存储，同时也会存储到数据库中，这样在监控页面会很迅速的查询到值。
例如：
HOST:127.0.0.1
Domain：””
User：admin
密码：Ab123456
Tag:moni1.test1.k1
c)MQTT协议:
根据配置中的对方IP、端口、用户名、密码、客户端ID、主题去监听，如有设备上传，则会在回调中接收，再根据配置的标签名获取对应的原始数据，获取到原始数据后在根据业务要求进行计算、分析最后存储，同时也会存储到数据库中，这样在监控页面会很迅速的查询到值。
例如：
HOST:127.0.0.1
端口：8038
User：admin
密码：Ab123456
客户端名称:test
主题:testTopic
在配置文件中，每个监控服务器、存储节点都拥有一个唯一标识ID。系统初始化过程中，存储管理节点根据分配算法将数据点相对均衡地分配给每个存储节点。所述的分配算法可以是现有的任意负载均衡的算法。如果系统运行过程中存储节点宕机，数据库集群主节点31会根据监控服务器的ID和存储节点数的映射关系，将该节点分担的数据点重新分配给其它正常运行的存储节点；系统采用基于ID的分配算法，极大减少了人工操作，具有较强的自适应性、提高了整个系统的工作效能。
参阅图2所示，为图1中所示监控服务器2的功能模块图。所述监控服务器2包括参数设置模块21、指令发送模块22、数据分析模块23、数据存储模块24及报警模块25。所述参数设置模块21用于设置数据获取参数并存储成一个配置文件。所述数据获取参数包括：监控周期、数据转换器ID、监控服务器的ID和存储节点数的映射关系、待监控设备的地址、每个设备的检测项目及每个检测项目的标准值等。例如，如果待监控设备为空调压缩机，检测项目为空调压缩机的温度、压力和流量，则每次采集空调压缩机的数据时将获取该空调压缩机的温度、压力和流量。
所述指令发送模块22用于每隔一个监控周期，根据待监控设备的类型从统一的通信接口中选取对应的通信协议，通过数据转换器6发送数据获取指令至传感器7。例如，如果待监控设备为空调压缩机、监控周期为5秒，则每隔5秒的时间，指令发送模块22就选取RS232/485通信协议，通过数据转换器6向传感器7发送一个数据获取指令。所述数据获取指令包括待监控设备的地址和每个设备的检测项目等。所述数据转换器6用于将该数据获取指令的格式转换成传感器7所能识别的格式，在本实施方式中，即指将TCP/IP格式转换成RS485格式。
传感器7接收到数据转换器6传送过来的数据获取指令后，根据该指令中包含的数据获取参数获取每个待监控设备检测项目对应的数据，然后将采集到的数据通过数据转换器6返回至监控服务器2。所述数据转换器6用于将传感器7采集到的数据转换成监控服务器2所能识别的格式，在本实施方式中，即指将RS485格式转换成TCP/IP格式。
所述数据分析模块23用于根据待监控设备的类型从统一的数据传输协议接口中选取对应的数据传输协议，接收数据转换器6传回的采集数据，并对采集的数据进行校验。例如，如果待监控设备为空调压缩机，则数据分析模块23就选取Modbus数据传输协议，接收数据转换器6传回的采集数据。
所述数据分析模块23对采集的数据进行校验是指：判断该采集的数据是否符合选取的数据传输协议要求。例如，Modbus数据传输协议规定数据的开头为1或3，如果数据转换器6传回的采集数据开头不是1或3，则校验失败，数据分析模块23将丢弃该采集数据。
如果数据分析模块23对采集的数据校验成功，则数据存储模块24根据待监控设备的类型从统一的数据存储接口中选取对应的数据存储协议，将采集的数据存储在监控服务器2的本地数据库和数据库服务器集群3中。例如，如果数据存储协议为XML(ExtensibleMarkup Language，可扩展标记语言)协议，则数据存储模块24就选取XML数据存储协议，将采集的数据存储为XML文件。所述数据分析模块23对采集的数据校验成功是指：采集的数据符合选取的数据传输协议要求。例如，Modbus数据传输协议规定数据的开头为1或3，如果数据转换器6传回的采集数据开头是1或3，则校验成功。
所述数据分析模块23还用于根据参数设置模块21设置的每个检测项目的标准值判断采集的数据是否异常。如果每个检测项目采集的数据都在标准值的范围内，则判断采集的数据符合要求，否则，判断采集的数据异常。例如，假设参数设置模块21设置温度标准值为-10℃-40℃，如果采集的温度值为42℃，则判断监控的设备温度值异常。
所述报警模块25用于当数据分析模块23判断采集的数据出现异常时，发送报警信息到控制服务器1和用户端5。所述报警信息包括：出现异常的待监控设备地址和采集的数据等，其中，出现异常的数据将以醒目的格式(如标记为红色)显示。
用户端5可以登录网络服务器4，从数据库服务器集群3中获取监控服务器2采集的数据。
根据本发明的数据采集系统，还提出了一种数据采集方法，包括以下步骤：
参数设置模块21设置数据获取参数并存储成一个配置文件。
所述数据获取参数包括：监控周期、数据转换器ID、监控服务器的ID和存储节点数的映射关系、待监控设备的地址、每个设备的检测项目及每个检测项目的标准值等。举例而言，所述检测项目可以是温度、压力和流量等。
指令发送模块22每隔一个监控周期，根据待监控设备的类型从统一的通信接口中选取对应的通信协议，通过数据转换器6发送数据获取指令至传感器7。
所述通信协议包括RS232/485协议、TCP/IP协议、Modbus数据传输协议、OPC数据传输协议、MQTT数据传输协议等，所述数据获取指令包括待监控设备的地址和每个设备的检测项目等。所述数据转换器6用于将该数据获取指令的格式转换成传感器7所能识别的格式，在本实施方式中，即指将TCP/IP格式转换成RS485格式。
传感器7接收到数据转换器6传送过来的数据获取指令后，根据该指令中包含的数据获取参数获取每个待监控设备检测项目对应的数据，然后将采集到的数据通过数据转换器6返回至监控服务器2。所述数据转换器6用于将传感器7采集到的数据转换成监控服务器2所能识别的格式，在本实施方式中，即指将RS485格式转换成TCP/IP格式。
数据分析模块23根据待监控设备的类型从统一的数据传输协议接口中选取对应的数据传输协议，接收数据转换器6传回的采集数据，并对采集的数据进行校验。
举例而言，所述数据传输协议包括：Modbus数据传输协议、OPC数据传输协议、MQTT数据传输协议等。
所述数据分析模块23对采集的数据进行校验是指：判断该采集的数据是否符合选取的数据传输协议要求。举例而言，Modbus数据传输协议规定数据的开头为1或3，如果数据转换器6传回的采集数据开头不是1或3，则校验失败，数据分析模块23将丢弃该采集数据。
如果数据分析模块23对采集的数据校验成功，则数据存储模块24根据待监控设备的类型从统一的数据存储接口中选取对应的数据存储协议，将采集的数据存储在监控服务器2的本地数据库和数据库服务器集群3中。
所述数据分析模块23对采集的数据校验成功是指：采集的数据符合选取的数据传输协议要求。举例而言，Modbus数据传输协议规定数据的开头为1或3，如果数据转换器6传回的采集数据开头是1或3，则校验成功。
数据分析模块23根据参数设置模块21设置的每个检测项目的标准值判断采集的数据是否异常。如果每个检测项目采集的数据都在标准值的范围内，则判断采集的数据符合要求，否则，判断采集的数据异常，报警模块25发送报警信息到控制服务器1和用户端5。
所述报警信息包括：出现异常的待监控设备地址和采集的数据等，其中，出现异常的数据将以醒目的格式(如标记为红色)显示。
当系统采集到数据之后，会根据系统中配置的规则、公式进行计算，把计算完的实时值保存到数据库中。把数据的读写分离，这样在页面显示的时候就不会有延迟。用户可以自定义配置项目底图，配置完底图后可以绑定数据，不过系统不仅可以显示采集到的实时数据，还可以进行公式配置，比如当值大于或者小于某个值显示某个图标，该图片可以用户自定义上传，比如可以选定多个值之后计算他们之和或者最大数显示。
实时数据采集配置完之后，还可以配置统计分析，基于系统内置的统计已经可以满足大部分需求，如用户想扩展或者增加显示的图标，那么在系统的图表配置功能中可以进行灵活配置。
具体地，以下为部署本发明的数据采集系统后的监控实例：
某公司环控机房项目，需要实时监控全国各个工厂中IT机房中温度、湿度的实时值，并且需要监控报警，同时需要有温湿度历史记录的统计分析趋势。
首先在项目服务器中会需要安装数据库软件、运行软件，安装后需要配置该项目的配置文件信息如网关服务器地址、元件、网关配置，把虚拟数据跟实体传感器通过映射关系对应起来。
接着会在工厂机房中安装温度、湿度传感器，接着在每个工厂安装网关并给每个网关配置主题如：LD1、LD2...同时网关中需要配置服务器对应的信息有服务器IP、端口、主题名、客户端ID、用户名、密码，还需要配置网关中对应变量跟传感器对应的信息如v1对应某传感器的温度，v2对应某传感器的湿度等配置完成。
此时服务器软件就可以采集到各个传感器数值：
{“v1”:”21.52”,“v2”:”75.62”,“v3”:”23.42”,“v4”:”70.65”},再根据程序中配置的v1对应哪个传感器中的温度，v2对应哪个传感器湿度就可以把数据对应起来
有了实时数据之后，再用程序中的组态功能，上传系统背景图把采集到的时候数据显示在系统上，再配置上报警规则当温度>26度时，界面数字呈现红色，与此同时系统可以通过短信、消息、邮件等方式发送告警信息给相关人员。
在该公司内部，只要网络跟服务器相通，那么就可以通过浏览器访问实时数据，并且系统中有权限只可以看到管理员配置的数据，也可以查询改传感器对应的数据报表。
本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
Claims (10)
1.一种数据采集方法，其特征在于，包括以下步骤：
在控制服务器1中配置监控服务器ID、数据转换器ID和存储节点ID，其中ID表示设备唯一识别码；
数据库集群主节点31从配置管理系统获取监控服务器的ID和存储节点的ID，将存储节点按ID排序并从1开始编号，获取存储节点数n；
数据库集群主节点31从控制服务器1获取所有监控服务器的ID，对监控服务器的ID和存储节点数n进行映射；
服务器2中的参数设置模块21设置数据获取参数并存储成一个配置文件；所述数据获取参数包括：监控周期、数据转换器ID、监控服务器的ID和存储节点数的映射关系、待监控设备的地址、每个设备的检测项目及每个检测项目的标准值；
控制服务器1查询监控服务器2中配置的所述配置文件，同时监听不同协议的端口，如果能够成功建立连接，则根据对应的数据转换器ID获取数据信息；
所述获取数据信息包括以下步骤：
指令发送模块22每隔一个监控周期，根据数据转换器6的端口类型从统一的通信接口中选取对应的通信协议，通过数据转换器6发送数据获取指令至传感器7；
传感器7接收到数据转换器6传送过来的数据获取指令后，根据该指令中包含的数据获取参数获取每个待监控设备检测项目对应的数据，然后将采集到的数据通过数据转换器6返回至监控服务器2；
数据分析模块23根据待监控设备的类型从统一的数据传输协议接口中选取对应的数据传输协议，接收数据转换器6传回的采集数据；数据分析模块23根据参数设置模块21设置的每个检测项目的标准值判断采集的数据是否异常；如果每个检测项目采集的数据都在标准值的范围内，则判断采集的数据符合要求，否则，判断采集的数据异常，报警模块25发送报警信息到控制服务器1和用户端5。
2.根据权利要求1所述的数据采集方法，其特征在于：所述的数据转换器ID包括寄存器地址、IP地址、端口编号其中之一。
3.根据权利要求1所述的数据采集方法，其特征在于：数据分析模块23还包括对采集的数据进行校验，若校验失败，数据分析模块23将丢弃该采集数据，若校验成功，则数据存储模块24根据待监控设备的类型从统一的数据存储接口中选取对应的数据存储协议，将采集的数据存储在监控服务器2的本地数据库和数据库服务器集群3中。
4.根据权利要求1所述的数据采集方法，其特征在于：所述通信协议包括RS232/485协议、TCP/IP协议、Modbus数据传输协议、OPC数据传输协议、MQTT数据传输协议，所述数据获取指令包括待监控设备的地址和每个设备的检测项目。
5.一种数据采集系统，其特征在于，包括：控制服务器1、数据库服务器集群3、网络服务器4、用户端5、至少一个监控组件8；所述监控组件包括监控服务器2、至少一个数据转换器6、至少一个传感器7；所述监控服务器2通过网络与控制服务器1、数据库服务器集群3、网络服务器4和数据转换器6相连，所述数据转换器6通过串口与至少一个传感器7相连；所述监控服务器2包括参数设置模块21、指令发送模块22、数据分析模块23、数据存储模块24及报警模块25；所述参数设置模块21用于设置数据获取参数并存储成一个配置文件；数据库集群主节点31从控制服务器1获取所有监控服务器的ID，对监控服务器的ID和存储节点数n进行映射；服务器2中的参数设置模块21设置数据获取参数并存储成一个配置文件；所述数据获取参数包括：监控周期、数据转换器ID、监控服务器的ID和存储节点数的映射关系、待监控设备的地址、每个设备的检测项目及每个检测项目的标准值；所述指令发送模块22用于每隔一个监控周期，根据待监控设备的类型从统一的通信接口中选取对应的通信协议，通过数据转换器6发送数据获取指令至传感器7；所述数据分析模块23用于根据待监控设备的类型从统一的数据传输协议接口中选取对应的数据传输协议，接收数据转换器6传回的采集数据，并对采集的数据进行校验。
6.根据权利要求5所述的数据采集系统，其特征在于：所述数据获取参数包括：监控周期、待监控设备的地址、每个设备的检测项目及每个检测项目的标准值。
7.根据权利要求5所述的数据采集系统，其特征在于：所述数据分析模块23还用于根据参数设置模块21设置的每个检测项目的标准值判断采集的数据是否异常。
8.根据权利要求7所述的数据采集系统，其特征在于：所述报警模块25用于当数据分析模块23判断采集的数据出现异常时，发送报警信息到控制服务器1和用户端5。
9.根据权利要求5所述的数据采集系统，其特征在于：所述传感器7的类型为温度传感器、湿度传感器、流量传感器、压力传感器其中任一。
10.一种计算机可读存储介质，其上存储计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-4任一所述的数据采集方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011269708.9A CN112327777A (zh) | 2020-11-13 | 2020-11-13 | 一种数据采集系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011269708.9A CN112327777A (zh) | 2020-11-13 | 2020-11-13 | 一种数据采集系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112327777A true CN112327777A (zh) | 2021-02-05 |
Family
ID=74318855
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011269708.9A Pending CN112327777A (zh) | 2020-11-13 | 2020-11-13 | 一种数据采集系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112327777A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114138809A (zh) * | 2021-12-08 | 2022-03-04 | 纳里健康科技有限公司 | 一种数据库读写分离方法及平台 |
| CN114172971A (zh) * | 2021-10-22 | 2022-03-11 | 杭州鸿雁电力电气有限公司 | 兼容多种不同协议子设备的网关应用系统及方法 |
| CN114326572A (zh) * | 2021-12-25 | 2022-04-12 | 上海能誉科技股份有限公司 | 一种工业组态软件数据获取方法与系统 |
| CN114546519A (zh) * | 2022-01-26 | 2022-05-27 | 华北电力大学 | 一种工控安全数据采集系统与方法 |
| CN114584593A (zh) * | 2022-03-28 | 2022-06-03 | 中国电子科技集团公司第三十八研究所 | 一种基于集群状态感知的数据采集系统及方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101846985A (zh) * | 2009-03-25 | 2010-09-29 | 鸿富锦精密工业（深圳）有限公司 | 远程数据采集系统及方法 |
| CN102737127A (zh) * | 2012-06-20 | 2012-10-17 | 厦门聚海源物联网络技术有限公司 | 一种海量数据存储方法 |
| CN105912678A (zh) * | 2016-04-13 | 2016-08-31 | 北京思特奇信息技术股份有限公司 | 一种数据存储方法、数据读取方法及其对应的系统 |
| CN110008289A (zh) * | 2019-03-01 | 2019-07-12 | 国电南瑞科技股份有限公司 | 一种关系数据库、电网模型数据存储及检索方法 |
| CN110765190A (zh) * | 2019-09-30 | 2020-02-07 | 北京淇瑀信息科技有限公司 | 一种数据库集群自动扩容的方法、装置和电子设备 |
-
2020
- 2020-11-13 CN CN202011269708.9A patent/CN112327777A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101846985A (zh) * | 2009-03-25 | 2010-09-29 | 鸿富锦精密工业（深圳）有限公司 | 远程数据采集系统及方法 |
| CN102737127A (zh) * | 2012-06-20 | 2012-10-17 | 厦门聚海源物联网络技术有限公司 | 一种海量数据存储方法 |
| CN105912678A (zh) * | 2016-04-13 | 2016-08-31 | 北京思特奇信息技术股份有限公司 | 一种数据存储方法、数据读取方法及其对应的系统 |
| CN110008289A (zh) * | 2019-03-01 | 2019-07-12 | 国电南瑞科技股份有限公司 | 一种关系数据库、电网模型数据存储及检索方法 |
| CN110765190A (zh) * | 2019-09-30 | 2020-02-07 | 北京淇瑀信息科技有限公司 | 一种数据库集群自动扩容的方法、装置和电子设备 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114172971A (zh) * | 2021-10-22 | 2022-03-11 | 杭州鸿雁电力电气有限公司 | 兼容多种不同协议子设备的网关应用系统及方法 |
| CN114172971B (zh) * | 2021-10-22 | 2024-05-14 | 杭州鸿雁电力电气有限公司 | 兼容多种不同协议子设备的网关应用系统及方法 |
| CN114138809A (zh) * | 2021-12-08 | 2022-03-04 | 纳里健康科技有限公司 | 一种数据库读写分离方法及平台 |
| CN114326572A (zh) * | 2021-12-25 | 2022-04-12 | 上海能誉科技股份有限公司 | 一种工业组态软件数据获取方法与系统 |
| CN114546519A (zh) * | 2022-01-26 | 2022-05-27 | 华北电力大学 | 一种工控安全数据采集系统与方法 |
| CN114546519B (zh) * | 2022-01-26 | 2023-10-03 | 华北电力大学 | 一种工控安全数据采集系统与方法 |
| CN114584593A (zh) * | 2022-03-28 | 2022-06-03 | 中国电子科技集团公司第三十八研究所 | 一种基于集群状态感知的数据采集系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112327777A (zh) | 一种数据采集系统及方法 | |
| AU2016330769B2 (en) | Monitoring of field devices via a communication network | |
| US8626908B2 (en) | Distributed capture and aggregation of dynamic application usage information | |
| CN102156447B (zh) | 基于基础自动化的工厂级设备管理和报警系统及方法 | |
| CN112671560A (zh) | 一种高可用的分布式实时告警处理方法及系统 | |
| CN103295155B (zh) | 证券核心业务系统监控方法 | |
| CN110659109B (zh) | 一种openstack集群虚拟机监控系统及方法 | |
| US11131972B2 (en) | Performance optimization in a building automation system | |
| CN111242807B (zh) | 一种变电站数据接入泛在电力物联网的方法 | |
| CN105159964A (zh) | 一种日志监控方法及系统 | |
| WO2020151483A1 (zh) | 物联网平台压力测试系统、方法、装置及服务器 | |
| KR20010085845A (ko) | 에너지 소비 관리 시스템, 에너지 소비 관리 방법, 및데이터 통신 시스템 | |
| CN104052631A (zh) | 一种设备信息的采集方法、装置以及系统 | |
| CN114244676A (zh) | 一种智能it综合网关系统 | |
| CN112395172A (zh) | 基于应用软件自动化监测数据的可视化展示方法 | |
| CN107070744A (zh) | 服务器监控方法 | |
| Safrianti et al. | Real-time network device monitoring system with simple network management protocol (SNMP) model | |
| CN114584429A (zh) | 工业智能物联网网关 | |
| CN110677293B (zh) | 一种基于机房运维管理平台的告警系统 | |
| US20180324150A1 (en) | Integrated pcs functional competency assessment | |
| CN112884176A (zh) | 管理系统及方法 | |
| WO2014018875A1 (en) | Cloud-based data center infrastructure management system and method | |
| CN117579651A (zh) | 物联网系统 | |
| CN117729576A (zh) | 告警监控方法、装置、设备及存储介质 | |
| CN110995525A (zh) | 一种基于维护矩阵的路由器检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210205 |