CN105095056A - 一种数据仓库数据监控的方法 - Google Patents

Abstract

一种数据仓库数据监控的方法，包括如下步骤：确定需要进行监控的数据仓库的监控表及内容，进行参数配置，监控表参数配置的内容分三种；1-1)数据量监控配置数据量监控主要监控的内容是监控表列出和当日新增的数据量是否异常；1-2)数据库的数据源表结构监控配置；数据源表结构监控的内容是监控数据源的表结构是否发生变化，包括新增字段、删除字段、修改字段类型、修改字段长度等；这些变化有些会导致数据同步程序报错，有些可能代表业务发生改变都是需要数据分析人员关注的；1-3)数据源的表字段取值监控配置是监控数据源表重点字段的取值，通常是维度表的取值。

Description

一种数据仓库数据监控的方法

技术领域

本发明涉及一种对数据库的业务数据源处理过程中出现异常进行监控的方法。

背景技术

一个数据仓库对应着多个业务数据源。随着业务不断深化，需要分析的数据也不断增多，相应的，数据仓库任务繁多。每天有大量的新增数据存储在数据仓库中，如果每日任务处理过程中出现异常，会影响数据的质量，并且可能对接下来往后时间内的数据产生影响。因此及时发现数据在处理过程中的异常，进行处理。对数据仓库的是非常重要的。CN103605722A一种数据库监控方法，根据各数据库的信息，获取与各数据库的信息对应的监控配置文件；根据获取的与各数据库的信息对应的监控配置文件，利用预先编写好的与各数据库的信息对应的监控程序，对各自对应的数据库进行监控。

CN103746837A数据库监控系统，包括数据库监控装置和监控集群，其中，所述数据库监控装置，用于接收来自监控集群的触发指令；发送第一指令至负载均衡装置，所述第一指令用于指示所述负载均衡装置检测集群是否可用、所述集群是否可用是指所述集群中的每个节点的软件主体是否存在；接收来自所述负载均衡装置的第一响应消息；强调对负载均衡监控。

但现有技术未有对业务数据源改变而将要产出异常的预警以及对数据库的全面的监控，这对保障数据仓库的稳定准确是十分有效的。为达到对现有任务监控，更加有效利用的预防数据缺失遗漏，同时监控业务系统数据源变化的目的，现提出一种数据仓库的数据监控技术，对数据仓库的每日处理的数据质量进行全方位的监控。

发明内容

本发明提出了一种数据仓库数据监控的方法，它通过执行定时监控任务及相关的一系列配置可实现对数据仓库每日更新的表的数据情况进行监控，还可以实现因业务数据源改变而将要产出异常的预警，能够及时发现在程序运行中出现的各种问题。对保障数据仓库的稳定准确的运行可以起到相当重要的作用。

本发明的技术方案是，一种数据仓库数据监控的方法，包括：

1)确定需要进行监控的数据仓库的监控表及内容，进行参数配置，监控表参数配置的内容分三种；

1-1)数据量监控配置

数据量监控主要监控的内容是监控表列出和当日新增的数据量是否异常，判断异常的标准首先是数据量是否为0，如果为0那么就是异常；其次是与昨日及上周同日的历史数据进行对比，如果与历史数据比较相差超过一定比例或阈值，比如50％，则视为异常；

需要监控配置的内容包括数据(项目)名称、表名、时间字段、时间字段类型、统计项目、统计条件、监控时间等内容；监控程序会根据需要监控配置的内容拼接成相应的SQL语句，待调度程序来执行；

1-2)数据库的数据源表结构监控配置

数据源表结构主要监控的内容是监控数据源的表结构是否发生变化，包括新增字段、删除字段、修改字段类型、修改字段长度等；这些变化有些会导致数据同步程序报错，有些可能代表业务发生改变都是需要数据分析人员关注的。

需要监控配置的内容主要包括数据库的类型(比如Oracle或Mysql)、数据库连接方式、数据库表名、对应数据库名等内容；监控程序会根据这些内容到相应数据库中查看表结构信息；并与之前保存的相应业务数据库信息进行比较，如果发现有变动，系统发告警到指定人员；

1-3)数据源的表字段取值监控配置

数据源表字段取值监控主要监控的内容是监控数据源表重点字段的取值，通常是维度表的取值，这些取值出现变化，代表了业务出现了变化；也是需要分析人员进行关注的。

需要配置的内容主要包括数据库表名、字段名称、数据类型等内容；监控程序会根据这些内容到数据仓库中查看相关的字段取值；并与之前保存的相应的字段取值信息进行比较，如果发现有变动，系统发告警到指定人员。

2)部署服务器任务，定时执行监控程序。

因为数据仓库数据每天都在更新，相应的监控程序也要在每天执行。要根据每日数据仓库的运行时间来大致确定每日监控的执行时间。

而且因为每个数据业务更新时间有不一致之处，同时监控的及时性需要越及时越好，这样所有监控程序也不可能统一在一个时间执行。在实现时采取了定时监控，如果监控任务没有全部完成，监控程序会休眠一段时间继续执行的方式。确保了监控及时性和完整性。

3)将监控结果形成报告发送给指定人员；

监控执行最后，需要将检查出的异常情况告知到相关责任人，告警方式包括报表、邮件、短信等，根据告警的级别来选择告警方式。严重告警必须通过短信方式及时通知到维护人员，普通级别的告警不用立刻解决的采用邮件方式告警。

另外系统监控配置中还包括告警人员配置，配置的内容包括人员姓名、手机、邮箱等内容。将不同的表按照项目进行划分，每个项目配置对应的负责人员。系统运行中发现的异常会按照对应的配置发给相关人员。

同时还有一套相应的报表系统，方便监控人员查看历史报警记录。

本发明的有益效果：

1、能够清楚掌握到每日数据仓库日常调度的执行情况是否正常；

2、在数据处理过程中的异常情况，通过系统预警和人工处理相结合的方法处理，保证数据处理过程中的可靠稳定；

3、全面的系统监控，提高了系统的可用性，也提高了系统维护的效率；

4、对数据库全面监控，对多个监控需求能够通过平台化统一完成，避免重复开发，降低成本。

附图说明

图1本实施例的一种数据仓库数据监控的方法处理流程图。

具体实施方式

如图1，本实施例一种数据仓库数据监控的方法处理流程，包括：

步骤11、确定待监测的数据仓库表、数据源表及数据表字段等信息。

其中，配置数据量监控表的基本原则是，要数据仓库监控表的表都是比较重要的表。应该能够覆盖数据仓库分析的80％以上的指标。同时监控表的每日数据量不要过大，不要太过明细，而应该选择监控统计过后的表。比如网站详细访问日志表，每天会有几百万条数据，而通过这个数据仓库监控的访问日志表经统计后的表进行监控，统计后的派生表可能只有几百条，这样监控这个派生表能够保证监控程序的效率，而且也可以满足监控的需求。

在配置数据源监控时，要将同步数据源的每一个表都进行配置，确保将因数据源的变动产生的影响控制到最小。

在配置数据表字段时，要根据业务来确定哪些字段需要监控。一般需要监控的是主要业务表的维度字段。比如注册的会员类型、会员状态这些。这些改动都可能代表着业务发现调整。极有可能对数据统计会产生一定的影响。

步骤12、分析待监控表的信息，按照配置表的要求将其保存在监控配置表中。因为系统包括三个监控功能，因此需要配置三个配置表。详细的配置内容在下面的步骤中介绍。

步骤13、根据配置信息，监控表数据量及趋势是否正常

例如要监控注册会员表的每日新增数据量，需要配置的信息如下

1)项目名称：数据仓库基础表(数据仓库数据量的监控)

2)表名：USERS

3)时间字段：TRUNC(ADD_TIME)

4)时间字段类型：DATE。本系统中，日期类型分3种：DATE，NUMBER(如20150101)，ALL(代表不指定时间即全部时间范围)。

5)统计方式：COUNT(*)。代表时间范围内的数据条数，也可以是SUM(USER_COUNT)，即某一列的统计求和。

6)统计条件：无。根据项目要求可以加上限制，比如要求监控用户状态(STATUS)为通过审核(取值为1)的会员，这里配置信息为STATUS＝1。

7)监控时段：6。这里的6代表小时，表示在6点之后监控，一般是根据历史经验值得到。如果系统时间不到6点，不会执行这个表的监控。到6点监控到数据有异常，也有可能是因为数据还没有执行，下一个监控时间还会继续进行监控。直到数据正常或维护人员手工调整异常状态。

通过上述配置，系统在监控时可以自动拼接出查询语句(由监控程度执行)，如下：

SELECTCOUNT(*)FROMUSERSWHERETRUNC(ADD_TIME)＝DATE’2015-01-01’

监控程序会在数据库中执行这个查询语句，执行结果保存到结果表中，供告警程序下一步分析。分析中如果发现数据为0，那么会判断为异常。并短信及邮件通知对应项目负责人。而如果对比昨日数据和上周同时数据如果数据波动都在50％以上，那么也可能是有问题的，也会发邮件到项目负责人。项目负责人结合业务再来判断是否异常。

步骤14、根据配置信息，监控数据源表结构是否发生变化。

监控之前需要将数据仓库涉及到的业务库同步的表全都保存在配置表中。需要配置的信息包括：业务数据库表名、以前的或历史的对应数据仓库表名、表所属用户名、业务数据库连接方式、业务数据库类型等信息。

通过上述配置，系统在监控时可以去指定数据库中提取数据源的表字段信息。如果在Oracle数据库可以使用dba_tab_columns这个系统视图来获取表字段信息，如果在Mysql数据库中可以使用information_schema.columns来获取表字段信息，其他数据库也是一样的。将得到的信息与之前保存的历史信息进行对比，就可以了解到业务数据库发生了哪些改变。如果对同步数据有可能产生影响，就要及时调整数据仓库的对应表的结构了。

步骤15、根据配置信息，监控指定表字段的取值是否有增加。

监控之前需要将指定表的信息全都保存在配置表中。需要配置的信息包括：表名、字段名、字段类型、时间字段、时间类型等信息。

通过上述配置，系统在监控时去数据仓库的对应字段在新增的数据中提取不重复的信息及取值，保存下来，并与之前的历史数据进行对比，如果有增加代表业务可能有变化，需要进行告警。

步骤16、生成报告，发生告警信息到指定人员。

监控程序在执行过程中会将所有发现的异常及异常描述输出到监控表中。根据配置信息及告警的级别来选择告警方式。严重告警需要通过短信方式及时通知到维护人员，普通级别的告警不用立刻解决的采用邮件方式告警。

此外同时还有一套相应的报表系统，方便监控人员查看历史报警记录。

以上所述仅为本发明专利的实施例而已，并不用以限制本发明专利，凡在本发明专利的精神和原则之内所做的任何修改、等同替换和改进等，均以包含在本发明专利的保护范围之内。

Claims (6)

1.一种数据仓库数据监控的方法，其特征是包括如下步骤：

1）确定需要进行监控的数据仓库的监控表及内容，进行参数配置，监控表参数配置的内容分三种；

1-1）数据量监控配置

数据量监控的内容是监控表列出和当日新增的数据量是否异常，判断异常的标准首先是数据量是否为0，如果为0那么就是异常；其次是与昨日及上周同日的历史数据进行对比，如果与历史数据比较相差超过一定比例或阈值，则视为异常；

需要监控配置的内容包括数据

名称、表名、时间字段、时间字段类型、统计项目、统计条件、监控时间等内容；监控程序会根据需要监控配置的内容拼接成相应的SQL语句，待调度程序来执行；

1-2）数据库的数据源表结构监控配置

数据源表结构监控的内容是监控数据源的表结构是否发生变化，包括新增字段、删除字段、修改字段类型、修改字段长度等；这些变化有些会导致数据同步程序报错，有些可能代表业务发生改变都是需要数据分析人员关注的；

需要监控配置的内容包括数据库的类型，数据库连接方式、数据库表名、对应数据库名等内容；监控程序会根据这些内容到相应数据库中查看表结构信息；并与之前保存的相应业务数据库信息进行比较，如果发现有变动，系统发告警到指定人员；

1-3）数据源的表字段取值监控配置

数据源表字段取值监控主要监控的内容是监控数据源表重点字段的取值，通常是维度表的取值，这些取值出现变化，代表了业务出现了变化；也是需要分析人员进行关注的；

需要配置的内容包括数据库表名、字段名称、数据类型内容；监控程序会根据这些内容到数据仓库中查看相关的字段取值；并与之前保存的相应的字段取值信息进行比较，如果发现有变动，系统发告警到指定人员；

2）部署服务器任务，定时执行监控程序；

因为数据仓库数据每天都在更新，相应的监控程序也要在每天执行；要根据每日数据仓库的运行时间来大致确定每日监控的执行时间；

在实现时采取了定时监控，如果监控任务没有全部完成，监控程序会休眠一段时间继续执行的方式；确保了监控及时性和完整性；

3）将监控结果形成报告发送给指定人员；监控执行最后，需要将检查出的异常情况告知到相关责任人，告警方式包括报表、邮件、短信等。

2.根据权利要求1所述的数据仓库数据监控的方法，其特征是监控配置中还包括告警人员配置，配置的内容包括人员姓名、手机、邮箱等内容；将不同的表按照项目进行划分，每个项目配置对应的负责人员；系统运行中发现的异常会按照对应的配置发给相关人员。

3.根据权利要求1或2所述的数据仓库数据监控的方法，其特征是步骤3）中，根据告警的级别来选择告警方式；严重告警必须通过短信方式及时通知到维护人员，普通级别的告警不用立刻解决的采用邮件方式告警。

4.根据权利要求3所述的数据仓库数据监控的方法，其特征是同时设有一套报警的报表系统，方便监控人员查看历史报警记录。

5.根据权利要求1或2所述的数据仓库数据监控的方法，其特征是数据仓库监控表是访问日志表经统计后的表进行监控。

6.根据权利要求1或2所述的数据仓库数据监控的方法，其特征是步骤1-1）中与历史数据比较相差超过一定比例或阈值，取50％。