CN108170832B - 一种面向工业大数据的异构数据库的监控系统及监控方法 - Google Patents

Abstract

本发明提出了一种面向工业大数据的异构数据库的监控系统及监控方法，包括异构数据库系统、中间件服务器和Web监控平台；所述异构数据库系统与所述中间件服务器相互数据通信，所述中间件服务器通过数据库与所述Web监控平台相互数据通信。本发明使用可视化的交互模式结合学习成本较低的数据解析格式，可以让管理者自行快速地接入新的数据源，降低了系统二次开发的次数，提高了线上信息的实用性和稳定性。

Description

一种面向工业大数据的异构数据库的监控系统及监控方法

技术领域

本发明属于计算机软件技术领域，特别是涉及一种面向工业大数据的异构数据库的监控系统及监控方法。

背景技术

随着工业化和信息化的不断发展，工业领域的数据积累到一定数量级，超出了传统技术的处理能力，就需要借助大数据技术来提升处理能力和效率，因此工业大数据为工业领域的海量数据提供了技术和管理支撑。工业大数据的主要来源包括生产经营相关的业务数据、设备物联数据和外部互联网数据，因此就产生多种相互隔离的异构数据库(时序数据库，图数据库、关系型数据库和非结构化数据库等)。由于异构数据库的数据结构和数据库管理系统各不相同，造成了工业大数据下异构数据库难以通过一种的监控系统进行监控。

现有的数据库监控系统有很多，例如MySQLMTOP、Lepus、RedisLive等，每种监控系统在其所在专注的领域内，还是比较受欢迎的。MySQLMTOP是针对MySQL的监控工具，具有专一性；Lepus能对MySQL、Oracle、Mongodb和Redis数据库进行监控，但是Lepus扩展性差，难以添加对其他数据类型数据库的监控；RedisLive是针对Redis的监控系统，也具有专一性。为了更好的解决工业大数据下异构数据存储和业务处理问题，当下也有不少的机构和高校自行开发高性能、高并发的数据库，这类自行开发的数据库也是需要监控系统。总之，目前存在的监控系统具有对某种或者几种特定的数据库进行监控，可扩展性差，缺少对多种异构数据库的监控系统。

发明内容

本发明为了解决现有的技术问题，提出一种面向工业大数据的异构数据库的监控系统及监控方法。

本发明的目的通过以下技术方案实现：一种面向工业大数据的异构数据库的监控系统，包括异构数据库系统、中间件服务器和Web监控平台；所述异构数据库系统与所述中间件服务器相互数据通信，所述中间件服务器通过数据库与所述Web监控平台相互数据通信；所述异构数据库系统包括若干个数据库和REST数据接口；所述中间件服务器包括消息中间件、监控与消费策略模块、路由策略模块和第一持久化模块；所述Web监控平台包括可视化图形用户界面、第二持久化模块、定时任务模块和数据库注册器。

进一步地，所述若干个数据库包括关系型数据库、图数据库、时间序列数据库和非结构化数据库；每一个新加入到异构数据库系统中的数据库均需要进行数据库注册；异构数据库系统将各个数据库提供的指标信息主动推送到中间件服务器中的消息中间件。

进一步地，所述消息中间件用于接收各个数据库提供的指标信息；

所述监控与消费策略模块用于根据数据库注册时提供的信息来进行指标数据的消费；

所述路由策略模块用于根据用户自定的策略决定指标数据的去向；

所述第一持久化模块用于对指标数据进行存储。

进一步地，所述可视化图形用户界面用于实时监控并显示各个数据库的指标信息和变化趋势；

所述数据库注册器用于当用户在可视化图形用户界面中添加提供REST接口的数据库时，数据库注册器验证数据库信息是否完整以及数据是否解析成功，并将验证后的信息进行存储；

所述定时任务模块用于周期性地对提供REST接口的数据库的数据进行主动抓取；

所述第二持久化模块用于将主动抓取的数据进行存储。

进一步地，所述指标信息包括指标分类信息、指标间隔和指标数值类型。

本发明还提出一种面向工业大数据的异构数据库的监控系统的监控方法，包括以下步骤：

步骤1、开始监控异构数据库；

步骤2、判断每一个新加入到异构数据库系统中的数据库是否已经注册，如果已经注册，则继续步骤3；如有没有注册，则数据库发起注册，数据库将指标分类信息、指标间隔和指标数值类型发送到中间件服务器中的消息中间件，并将数据库注册信息进行存储，注册后继续步骤3；

步骤3、获取数据库对应的设置信息；

步骤4、按照消费策略定时获取消息队列中的指标数据；

步骤5、判断数据获取是否成功，如果成功，则继续步骤6；如果不成功，则检查心跳信息，判断心跳是否超时，如果心跳超时则监控结束，如果心跳不超时则返回步骤4；

步骤6、按照指标处理策略对数据进行处理；

步骤7、按照路由策略将数据路由到不同的数据库；

步骤8、将指标信息进行存储；

步骤9、重复步骤4至步骤8，从而完成各个数据库的监控。

附图说明

图1为面向工业大数据的异构数据库的监控系统框图；

图2为面向工业大数据的异构数据库的监控方法流程图；

图3为生成监控视图流程图。

具体实施方式

下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

结合图1，本发明提出一种面向工业大数据的异构数据库的监控系统，监控系统通过异构数据库的主动推送数据和基于REST数据接口拉取数据二者结合的方式来实现，所述监控系统包括异构数据库系统、中间件服务器和Web监控平台；所述异构数据库系统与所述中间件服务器相互数据通信，所述中间件服务器通过数据库与所述Web监控平台相互数据通信；所述异构数据库系统包括若干个数据库和REST数据接口；所述中间件服务器包括消息中间件、监控与消费策略模块、路由策略模块和第一持久化模块；所述Web监控平台包括可视化图形用户界面、第二持久化模块、定时任务模块和数据库注册器。

所述异构数据库系统是我们需要监控的目标，包含多个节点，每个节点上可能包含若干数据库实例，主要适配自行开发的异构数据库或者开放REST接口的数据库。所述若干个数据库包括关系型数据库、图数据库、时间序列数据库和非结构化数据库；每一个新加入到异构数据库系统中的数据库均需要进行数据库注册；异构数据库系统将各个数据库提供的指标信息主动推送到中间件服务器中的消息中间件。

所述消息中间件用于接收各个数据库提供的指标信息；所述指标信息包括指标分类信息、指标间隔和指标数值类型。

所述监控与消费策略模块用于根据数据库注册时提供的信息来进行指标数据的消费；

所述路由策略模块用于根据用户自定的策略决定指标数据的去向；

所述第一持久化模块用于对指标数据进行存储。

所述Web监控平台负责与运维人员的交互。所述可视化图形用户界面用于实时监控并显示各个数据库的指标信息和变化趋势；所述数据库注册器用于当用户在可视化图形用户界面中添加提供REST接口的数据库时，数据库注册器验证数据库信息是否完整以及数据是否解析成功，并将验证后的信息进行存储；所述定时任务模块用于周期性地对提供REST接口的数据库的数据进行主动抓取；所述第二持久化模块用于将主动抓取的数据进行存储。

结合图2，本发明还提出一种面向工业大数据的异构数据库的监控系统的监控方法，包括以下步骤：

步骤1、开始监控异构数据库；

步骤2、判断每一个新加入到异构数据库系统中的数据库是否已经注册，如果已经注册，则继续步骤3；如有没有注册，则数据库发起注册，数据库将指标分类信息、指标间隔和指标数值类型发送到中间件服务器中的消息中间件，并将数据库注册信息进行存储，注册后继续步骤3；

步骤3、获取数据库对应的设置信息；

步骤4、按照消费策略定时获取消息队列中的指标数据；

步骤5、判断数据获取是否成功，如果成功，则继续步骤6；如果不成功，则检查心跳信息，判断心跳是否超时，如果心跳超时则监控结束，如果心跳不超时则返回步骤4；

步骤6、按照指标处理策略对数据进行处理；

步骤7、按照路由策略将数据路由到不同的数据库；

步骤8、将指标信息进行存储；

步骤9、重复步骤4至步骤8，从而完成各个数据库的监控。

对于自行开发的异构数据库，本发明采用消息中间件接收来自各个数据库的指标信息，数据库中需要使用消息中间件的SDK开发对应的指标发送模块。每一个新加入的异构数据库均需要先在系统中进行数据库注册，注册过程中，异构数据库系统需要提供指标的分类信息(分为用于调优的指标与用于状态监测的指标，前者为系统的自动化调优提供信息，后者为运维人员提供监视内容)、指标间隔、指标数值类型等。在注册完毕后，异构数据库系统需要定时主动向消息中间件发送指标信息。系统服务将按照异构数据库注册时提供的信息进行指标抓取、心跳监测等服务，同时，对于消费到的指标信息，会及时地写入到数据库中进行持久化存储。

对于异构数据库的监控，现有的许多应用会在数据库端将其指标数据直接写入到数据库中，采用这样的方式，数据源和存储之间进行了紧密的耦合，数据产生到数据存储之间缺少控制机制。而本发明所采用的消息队列的机制，一方面可以在数据产生后对数据进行暂存，另一方面，数据在到达MQ(消息队列)之后，系统可以依据定义的策略对数据进行处理，对数据的流向进行路由，这可以减少无效数据的堆积，提高空间利用率，同时，采用的路由策略可以减少单个DB的压力。另外，由于不同数据库开发的语言可能不同，采用成熟的消息队列的SDK(软件开发工具包)可以更好地兼容多语言下的开发。

结合图3，图3为生成监控视图流程图，具体为：步骤1、开始；步骤2、访问Web UI数据源页面；步骤3、填写URL和数据源名称；步骤4、按照JSON格式填写数据解析格式；步骤5、服务器进行验证；步骤6、判断信息是否完整并且是否成功解析；如果二者均完成则保存数据源，继续步骤7，如果二者中任意一个没完成则返回步骤2；步骤7、判断是否可以生成监控视图，如果不可以则结束流程，如果可以则继续步骤8；步骤8、选择数据源；步骤9、选择图标类型、展示精度和时间范围；步骤10、服务器定时抓取数据信息；步骤11、根据抓取的数据信息获得监控视图，流程结束。

对于已经发布了REST数据获取接口的异构数据库，在进行指标接入时，只需要在系统中按照可视化工具的提示，将URL信息、数据解析信息(使用JSON的层级访问格式即可)等内容填写到系统中，便可以实现指标源的录入。

现有的技术往往采用针对不同的数据源分别实现各自的解析器来实现不同接口的数据接入，往往采取硬编码的方式，对于已经上线的系统，如果需要接入新的数据源，需要开发人员进行二次开发，重新上线，灵活性和可靠性不足。本发明使用可视化的交互模式结合学习成本较低的数据解析格式，可以让管理者自行快速地接入新的数据源，降低了系统二次开发的次数，提高了线上信息的实用性和稳定性。

在系统的可视化界面中，用户可以通过选取数据源和图表类型，快速创建监控视图。其中数据源包括通过消息中间件进行持久化的指标数据，也包括通过REST接口快速接入的数据。

以上对本发明所提供的一种面向工业大数据的异构数据库的监控系统及监控方法，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (4)

1.一种面向工业大数据的异构数据库的监控系统，其特征在于：包括异构数据库系统、中间件服务器和Web监控平台；所述异构数据库系统与所述中间件服务器相互数据通信，所述中间件服务器通过数据库与所述Web监控平台相互数据通信；所述异构数据库系统包括若干个数据库和REST数据接口；所述中间件服务器包括消息中间件、监控与消费策略模块、路由策略模块和第一持久化模块；所述Web监控平台包括可视化图形用户界面、第二持久化模块、定时任务模块和数据库注册器；

所述若干个数据库包括关系型数据库、图数据库、时间序列数据库和非结构化数据库；每一个新加入到异构数据库系统中的数据库均需要进行数据库注册；异构数据库系统将各个数据库提供的指标信息主动推送到中间件服务器中的消息中间件；

所述消息中间件用于接收各个数据库提供的指标信息；

所述监控与消费策略模块用于根据数据库注册时提供的信息来进行指标数据的消费；

所述路由策略模块用于根据用户自定的策略决定指标数据的去向；

所述第一持久化模块用于对指标数据进行存储。

2.根据权利要求1所述的系统，其特征在于：

所述可视化图形用户界面用于实时监控并显示各个数据库的指标信息和变化趋势；

所述数据库注册器用于当用户在可视化图形用户界面中添加提供REST接口的数据库时，数据库注册器验证数据库信息是否完整以及数据是否解析成功，并将验证后的信息进行存储；

所述定时任务模块用于周期性地对提供REST接口的数据库的数据进行主动抓取；

所述第二持久化模块用于将主动抓取的数据进行存储。

3.根据权利要求2所述的系统，其特征在于：所述指标信息包括指标分类信息、指标间隔和指标数值类型。

4.一种如权利要求1-3中任一项所述的面向工业大数据的异构数据库的监控系统的监控方法，其特征在于：包括以下步骤：

步骤1、开始监控异构数据库；

步骤2、判断每一个新加入到异构数据库系统中的数据库是否已经注册，如果已经注册，则继续步骤3；如有没有注册，则数据库发起注册，数据库将指标分类信息、指标间隔和指标数值类型发送到中间件服务器中的消息中间件，并将数据库注册信息进行存储，注册后继续步骤3；

步骤3、获取数据库对应的设置信息；

步骤4、按照消费策略定时获取消息队列中的指标数据；

步骤5、判断数据获取是否成功，如果成功，则继续步骤6；如果不成功，则检查心跳信息，判断心跳是否超时，如果心跳超时则监控结束，如果心跳不超时则返回步骤4；

步骤6、按照指标处理策略对数据进行处理；

步骤7、按照路由策略将数据路由到不同的数据库；

步骤8、将指标信息进行存储；

步骤9、重复步骤4至步骤8，从而完成各个数据库的监控。

Images