CN112416896A - 数据异常的报警方法和装置、存储介质、电子装置 - Google Patents
数据异常的报警方法和装置、存储介质、电子装置 Download PDFInfo
- Publication number
- CN112416896A CN112416896A CN202011285361.7A CN202011285361A CN112416896A CN 112416896 A CN112416896 A CN 112416896A CN 202011285361 A CN202011285361 A CN 202011285361A CN 112416896 A CN112416896 A CN 112416896A
- Authority
- CN
- China
- Prior art keywords
- monitoring
- target data
- data
- abnormal
- alarm information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 238000012544 monitoring process Methods 0.000 claims abstract description 173
- 230000002159 abnormal effect Effects 0.000 claims abstract description 54
- 230000008569 process Effects 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 32
- 230000005856 abnormality Effects 0.000 claims description 51
- 230000015654 memory Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 4
- 230000005540 biological transmission Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000012217 deletion Methods 0.000 description 4
- 230000037430 deletion Effects 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000008676 import Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请公开了一种数据异常的报警方法和装置、存储介质、电子装置。其中，该方法包括：在目标数据的导入过程和数据处理过程中，对所述目标数据进行异常监控；在所述目标数据发生异常的情况下，推送所述目标数据发生异常的报警信息。本申请解决了相关技术中不能对数据异常进行监控的技术问题。
Description
技术领域
本申请涉及数据监控领域，具体而言，涉及一种数据异常的报警方法和装置、存储介质、电子装置。
背景技术
目前业内对于数据质量监控的方案可参考的案例少之又少，尤其是推荐系统类的数据监控，几乎接近匮乏，对于我们的系统来说急需要一个可以做全方位数据监控的措施，对于我们解决问题和定位问题所在起着至关重要的作用。基于此种情况我们研发了这套监控系统。
随着电商的崛起，其中商品推荐又是其中非常重要的一环，系统可以根据用户的行为进行个性化的商品推荐从而达到千人千面的推荐效果，但是随之而来的是更加重要的数据链路的监控，即从数据产生到数据处理再到算法推荐以及最后的商品信息展示过程中任何环节出现问题都是致命的，所以推荐系统的数据质量监控显得十分的重要，而目前并没有能够监控数据异常的方案。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种数据异常的报警方法和装置、存储介质、电子装置，以至少解决相关技术中不能对数据异常进行监控的技术问题。
根据本申请实施例的一个方面，提供了一种数据异常的报警方法，包括：在目标数据的导入过程和数据处理过程中，对所述目标数据进行异常监控；在所述目标数据发生异常的情况下，推送所述目标数据发生异常的报警信息。
可选地，在对所述目标数据进行异常监控时，获取所述目标数据在多个维度上的监控指标；按照所述多个维度上的监控指标对所述目标数据进行异常监控。
可选地，在获取所述目标数据在多个维度上的监控指标时，获取完整性方面的监控指标，其中，所述完整性方面的监控指标用于监控是否出现实体缺失、属性缺失、记录缺失以及字段值缺失；获取准确性方面的监控指标，其中，所述准确性方面的监控指标用于监控数据值与设定为标准的值之间的一致程度；获取合理性方面的监控指标，其中，所述合理性方面的监控指标用于监控格式、类型、值域以及业务规则的合理性；获取一致性方面的监控指标，其中，所述一致性方面的监控指标用于监控系统之间的数据差异和相互矛盾的一致性、业务指标的统一定义以及数据逻辑加工结果的一致性；获取及时性方面的监控指标，其中，所述及时性方面的监控指标用于监控数据仓库ETL和应用展现的及时和快速性，任务的运行耗时、运行质量、依赖运行及时性。
可选地，在推送所述目标数据发生异常的报警信息时，根据所述目标数据的异常类型所属的异常等级，推送相应的报警信息。
可选地，在根据所述目标数据的异常类型所属的异常等级，推送相应的报警信息时，在所述目标数据的异常类型属于第一异常等级的情况下，按照第一时间间隔推送报警信息；在所述目标数据的异常类型属于第二异常等级的情况下，按照第二时间间隔推送报警信息，其中，所述第二异常等级高于所述第一异常等级，所述第二时间间隔短于所述第一时间间隔。
可选地，在推送所述目标数据发生异常的报警信息之后，继续监控所述目标数据是否发生异常；在所述目标数据再次发生相同故障的情况下，重新制定监控指标。
可选地，在所述目标数据发生异常的情况下，保存发生异常的所述目标数据和所述目标数据的故障类型。
根据本申请实施例的另一方面，还提供了一种信息异常的报警装置，包括：监控单元，用于在目标数据的导入过程和数据处理过程中，对所述目标数据进行异常监控；报警单元，用于在所述目标数据发生异常的情况下，推送所述目标数据发生异常的报警信息。
可选地，监控单元还用于在对所述目标数据进行异常监控时，获取所述目标数据在多个维度上的监控指标；按照所述多个维度上的监控指标对所述目标数据进行异常监控。
可选地，监控单元还用于在获取所述目标数据在多个维度上的监控指标时，获取完整性方面的监控指标，其中，所述完整性方面的监控指标用于监控是否出现实体缺失、属性缺失、记录缺失以及字段值缺失；获取准确性方面的监控指标，其中，所述准确性方面的监控指标用于监控数据值与设定为标准的值之间的一致程度；获取合理性方面的监控指标，其中，所述合理性方面的监控指标用于监控格式、类型、值域以及业务规则的合理性；获取一致性方面的监控指标，其中，所述一致性方面的监控指标用于监控系统之间的数据差异和相互矛盾的一致性、业务指标的统一定义以及数据逻辑加工结果的一致性；获取及时性方面的监控指标，其中，所述及时性方面的监控指标用于监控数据仓库ETL和应用展现的及时和快速性，任务的运行耗时、运行质量、依赖运行及时性。
可选地，报警单元还用于在推送所述目标数据发生异常的报警信息时，根据所述目标数据的异常类型所属的异常等级，推送相应的报警信息。
可选地，报警单元还用于在根据所述目标数据的异常类型所属的异常等级，推送相应的报警信息时，在所述目标数据的异常类型属于第一异常等级的情况下，按照第一时间间隔推送报警信息；在所述目标数据的异常类型属于第二异常等级的情况下，按照第二时间间隔推送报警信息，其中，所述第二异常等级高于所述第一异常等级，所述第二时间间隔短于所述第一时间间隔。
可选地，报警单元还用于在推送所述目标数据发生异常的报警信息之后，继续监控所述目标数据是否发生异常；在所述目标数据再次发生相同故障的情况下，重新制定监控指标。
可选地，报警单元还用于在所述目标数据发生异常的情况下，保存发生异常的所述目标数据和所述目标数据的故障类型。
根据本申请实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，程序运行时执行上述的方法。
根据本申请实施例的另一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器通过计算机程序执行上述的方法。
在本申请实施例中，在目标数据的导入过程和数据处理过程中，对所述目标数据进行异常监控；在所述目标数据发生异常的情况下，推送所述目标数据发生异常的报警信息，可以解决相关技术中不能对数据异常进行监控的技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的一种可选的数据异常的报警方法的流程图；
图2是根据本申请实施例的一种可选的数据异常的监控方案的示意图；
图3是根据本申请实施例的一种可选的数据异常的报警装置的示意图；
以及
图4是根据本申请实施例的一种终端的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本申请实施例的一方面，提供了一种数据异常的报警方法的实施例。图1是根据本申请实施例的一种可选的数据异常的报警方法的流程图，如图1所示，该方法可以包括以下步骤：
步骤S1，在目标数据的导入过程和数据处理过程中，对所述目标数据进行异常监控。
可选地，在对所述目标数据进行异常监控时，获取所述目标数据在多个维度上的监控指标；按照所述多个维度上的监控指标对所述目标数据进行异常监控。
可选地，在获取所述目标数据在多个维度上的监控指标时，获取完整性方面的监控指标，其中，所述完整性方面的监控指标用于监控是否出现实体缺失、属性缺失、记录缺失以及字段值缺失；获取准确性方面的监控指标，其中，所述准确性方面的监控指标用于监控数据值与设定为标准的值之间的一致程度；获取合理性方面的监控指标，其中，所述合理性方面的监控指标用于监控格式、类型、值域以及业务规则的合理性；获取一致性方面的监控指标，其中，所述一致性方面的监控指标用于监控系统之间的数据差异和相互矛盾的一致性、业务指标的统一定义以及数据逻辑加工结果的一致性；获取及时性方面的监控指标，其中，所述及时性方面的监控指标用于监控数据仓库ETL和应用展现的及时和快速性，任务的运行耗时、运行质量、依赖运行及时性。
在数据导入和ETL(ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取extract、转换transform、加载load至目的端的过程)的过程中存在着各种突发状况会导致最后的数据不一致性，本预警系统即是解决这个问题的强有力的利器，我们将从数据源头开始一直到数据最后的返回做一个全链路的监控预警，对我们的业务需求进行全面的分析设置一些预警阈值当达到阈值即可触发预警，预警形式以邮件推送的方式发送。从而解决我们对数据运行过程中各个环节的无法感知的问题。便于出现错误快速定位问题和解决问题。
步骤S2，在所述目标数据发生异常的情况下，推送所述目标数据发生异常的报警信息。
可选地，在推送所述目标数据发生异常的报警信息时，根据所述目标数据的异常类型所属的异常等级，推送相应的报警信息。
可选地，在根据所述目标数据的异常类型所属的异常等级，推送相应的报警信息时，在所述目标数据的异常类型属于第一异常等级的情况下，按照第一时间间隔推送报警信息；在所述目标数据的异常类型属于第二异常等级的情况下，按照第二时间间隔推送报警信息，其中，所述第二异常等级高于所述第一异常等级，所述第二时间间隔短于所述第一时间间隔。
可选地，在推送所述目标数据发生异常的报警信息之后，继续监控所述目标数据是否发生异常；在所述目标数据再次发生相同故障的情况下，重新制定监控指标。
可选地，在所述目标数据发生异常的情况下，保存发生异常的所述目标数据和所述目标数据的故障类型。
通过上述步骤，在目标数据的导入过程和数据处理过程中，对所述目标数据进行异常监控；在所述目标数据发生异常的情况下，推送所述目标数据发生异常的报警信息，可以解决相关技术中不能对数据异常进行监控的技术问题。
采用本方案，可以实现精确度检测：验证结果集数据是否与源数据是一致的；数据剖析：利用数据集的一致性、独特性和逻辑性，来进行统计分析和数值评估；异常监测：利用预先设定的算法，检测出不符合预期的数据；可视化监测：利用控制面板来展现数据质量的状态；实时性：可以实时进行数据质量检测，能够及时发现问题；可扩展性：可以用于多个数据系统。用户友好页面：本系统提供了一个简洁易用的用户界面，可以管理数据资产和数据质量规则；同时用户可以通过控制面板查看数据质量结果和自定义显示内容.可以保证数据最终的一致性，使推荐结果真实有效。
作为一种可选的实施例，如图2所示，下文结合具体的实施方式进一步详述本申请的技术方案。
S1：对即将接入的数据进行分析，发现数据问题，收集数据质量监控需求，检验需求合理性，如果数据接入模块无异常则进入ETL模块，此模块中主要是对数据进行清洗和逻辑处理工作，在这个过程中可能会出现数据处理结果和预期差距过大的问题，这就需要根据之前的知识积累和经验进行具体的指标监控。
S2：将需求制定为各个监控指标，梳理指标，确定指标。
S3：将指标作用到具体的监控数据上，将指标和数据进行关联，配置规则，制定检验范围和检验标准。
检验标准从以下几点出发：
完整性：主要包括实体缺失、属性缺失、记录缺失和字段值缺失四个方面；
简单的数据统计：用来统计表的特定列里面值为空，唯一或是重复的数量，例如统计字段值空值记录数超过指定一点阈值，则可能存在数据丢失情况；
准确性：一个数据值与设定为准确的值之间的一致程度，或与可接受程度之间的差异；
处理过程如下：选择source源表及field列；选择target目标表及列；选择字段比较规则(大于，小于，或者相等)通过公式计算结果：
合理性：主要包括格式、类型、值域和业务规则的合理有效；
主要是对数据本身的校验，在不存在存储缺失的情况下数据本身的存在是否合理，部分字段数据的值是否存在异常，结合业务数据具体问题具体分析，将不合理的数据剔除或者代替。
一致性：系统之间的数据差异和相互矛盾的一致性，业务指标统一定义，数据逻辑加工结果一致性；即经过ETL数据处理之后的数据在逻辑上是否存在数据缺失的情况，确保数据处理前后的一致性。
及时性：数据仓库ETL、应用展现的及时和快速性，Jobs运行耗时、运行质量、依赖运行及时性。即对得到的异常数据能否及时报警，正常的数据能否正常且及时的展示，做到响应耗时的监控，超时预警会报出预警提示。
S4：将配置的规则和制定的检验标准落实到代码中实现，检验代码，调度执行，配置调度执行，定期执行调度来监控数据。
S5：将得到的有问题的数据进行问题展示，并将问题分类，对数据质量进行分析，得到问题出现的原因。
针对作业运行等级，数据时效性，服务影响范围等方面将问题分为以下程度：
严重程度高、严重程度低、严重程度中、严重程度极低、严重程度极高。
S6：对问题的严重的程度进行分类和评估，制定等级，标注影响范围，制定相应的解决方案。
例如：对严重程度较高的数据做到实时监控做到小时预警，严重程度较低的可以做到天或者周预警，这样可以让处理人员知道优先处理哪个事件，那些事件是可以忽略的。
S7：落实处理方案，跟踪之后处理的过程是否出现异常以及是否解决问题，如果不能解决则回到S5再次进行分析处理，如果是指标问题则回到S1重新对数据进行分析和指标制定。从而形成数据质量闭环处理。
S8：对问题出现的原因和处理方案进行归纳，进行知识积累，积累经验，对之后出现类似的问题，可以更好更快的处理。对于各个模块每次上传的预警数据，预警服务会作为历史数据进行保存。同时会将数据进行汇总进行统一分析处理，将结果返回给前端，用于展示报表，方便开发人员对数据质量有一个直观的认知，便于之后的历史数据异常追溯。
相关技术中，如专利号为CN 110400171A的专利提出了一种基于线下门店基础数据和订单数据进行分析得到对比数据，再将对比数据和预设阈值进行对比，触发预警的方法，从而将线上线下数据进行结合，达到对业务进行预警的目的。但是这种方法并不能够细粒度的定位展示问题。
本发明创造的主要发明点在于：现在在数据质量监控上存在着很多的问题，例如：数据流转过程之中的数据血缘关系没法做到监控。缺乏数据质量统一的监控平台，离线和实时的作业监控分散，关联性不足，数据质量的衡量标准缺失，数据校验滞后，数据口径不统一。数据故障处理不能做到闭环。数据模型质量监控缺失，数据量存储资源增长过快。本系统基于电商商品数据做到数据血缘关系的维护，数据接口服务统一维护，数据量变化的监控，做到推荐和监控一体化，问题处理统一化，服务治理规范化。
项目运行成功之后，在业务数据质量得到了充分的保证。即使出现错误也可以在最短的时间定位问题和解决问题。具有良好的监控性和前瞻性。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
根据本申请实施例的另一个方面，还提供了一种用于实施上述数据异常的报警方法的数据异常的报警装置。图3是根据本申请实施例的一种可选的数据异常的报警装置的示意图，如图3所示，该装置可以包括：
监控单元31，用于在目标数据的导入过程和数据处理过程中，对所述目标数据进行异常监控；报警单元33，用于在所述目标数据发生异常的情况下，推送所述目标数据发生异常的报警信息。
需要说明的是，该实施例中的监控单元31可以用于执行本申请实施例中的步骤S1，该实施例中的报警单元33可以用于执行本申请实施例中的步骤S2。
通过上述模块，在目标数据的导入过程和数据处理过程中，对所述目标数据进行异常监控；在所述目标数据发生异常的情况下，推送所述目标数据发生异常的报警信息，可以解决相关技术中不能对数据异常进行监控的技术问题。
可选地，监控单元还用于在对所述目标数据进行异常监控时，获取所述目标数据在多个维度上的监控指标；按照所述多个维度上的监控指标对所述目标数据进行异常监控。
可选地，监控单元还用于在获取所述目标数据在多个维度上的监控指标时，获取完整性方面的监控指标，其中，所述完整性方面的监控指标用于监控是否出现实体缺失、属性缺失、记录缺失以及字段值缺失；获取准确性方面的监控指标，其中，所述准确性方面的监控指标用于监控数据值与设定为标准的值之间的一致程度；获取合理性方面的监控指标，其中，所述合理性方面的监控指标用于监控格式、类型、值域以及业务规则的合理性；获取一致性方面的监控指标，其中，所述一致性方面的监控指标用于监控系统之间的数据差异和相互矛盾的一致性、业务指标的统一定义以及数据逻辑加工结果的一致性；获取及时性方面的监控指标，其中，所述及时性方面的监控指标用于监控数据仓库ETL和应用展现的及时和快速性，任务的运行耗时、运行质量、依赖运行及时性。
可选地，报警单元还用于在推送所述目标数据发生异常的报警信息时，根据所述目标数据的异常类型所属的异常等级，推送相应的报警信息。
可选地，报警单元还用于在根据所述目标数据的异常类型所属的异常等级，推送相应的报警信息时，在所述目标数据的异常类型属于第一异常等级的情况下，按照第一时间间隔推送报警信息；在所述目标数据的异常类型属于第二异常等级的情况下，按照第二时间间隔推送报警信息，其中，所述第二异常等级高于所述第一异常等级，所述第二时间间隔短于所述第一时间间隔。
可选地，报警单元还用于在推送所述目标数据发生异常的报警信息之后，继续监控所述目标数据是否发生异常；在所述目标数据再次发生相同故障的情况下，重新制定监控指标。
可选地，报警单元还用于在所述目标数据发生异常的情况下，保存发生异常的所述目标数据和所述目标数据的故障类型。
此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在相应的硬件环境中，可以通过软件实现，也可以通过硬件实现，其中，硬件环境包括网络环境。
根据本申请实施例的另一个方面，还提供了一种用于实施上述数据异常的报警方法的服务器或终端。
图4是根据本申请实施例的一种终端的结构框图，如图4所示，该终端可以包括：一个或多个(仅示出一个)处理器201、存储器203、以及传输装置205，如图4所示，该终端还可以包括输入输出设备207。
其中，存储器203可用于存储软件程序以及模块，如本申请实施例中的数据异常的报警方法和装置对应的程序指令/模块，处理器201通过运行存储在存储器203内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的数据异常的报警方法。存储器203可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器203可进一步包括相对于处理器201远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
上述的传输装置205用于经由一个网络接收或者发送数据，还可以用于处理器与存储器之间的数据传输。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置205包括一个网络适配器(Network Interface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置205为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
其中，具体地，存储器203用于存储应用程序。
处理器201可以通过传输装置205调用存储器203存储的应用程序，以执行下述步骤：
在目标数据的导入过程和数据处理过程中，对所述目标数据进行异常监控；
在所述目标数据发生异常的情况下，推送所述目标数据发生异常的报警信息。
处理器201还用于执行下述步骤：
获取完整性方面的监控指标，其中，所述完整性方面的监控指标用于监控是否出现实体缺失、属性缺失、记录缺失以及字段值缺失；
获取准确性方面的监控指标，其中，所述准确性方面的监控指标用于监控数据值与设定为标准的值之间的一致程度；
获取合理性方面的监控指标，其中，所述合理性方面的监控指标用于监控格式、类型、值域以及业务规则的合理性；
获取一致性方面的监控指标，其中，所述一致性方面的监控指标用于监控系统之间的数据差异和相互矛盾的一致性、业务指标的统一定义以及数据逻辑加工结果的一致性；
获取及时性方面的监控指标，其中，所述及时性方面的监控指标用于监控数据仓库ETL和应用展现的及时和快速性，任务的运行耗时、运行质量、依赖运行及时性。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。
本领域普通技术人员可以理解，图4所示的结构仅为示意，终端可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile InternetDevices，MID)、PAD等终端设备。图4其并不对上述电子装置的结构造成限定。例如，终端还可包括比图4中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图4所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(RandomAccess Memory，RAM)、磁盘或光盘等。
本申请的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于执行数据异常的报警方法的程序代码。
可选地，在本实施例中，上述存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：
在目标数据的导入过程和数据处理过程中，对所述目标数据进行异常监控；
在所述目标数据发生异常的情况下，推送所述目标数据发生异常的报警信息。
可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：
获取完整性方面的监控指标，其中，所述完整性方面的监控指标用于监控是否出现实体缺失、属性缺失、记录缺失以及字段值缺失；
获取准确性方面的监控指标，其中，所述准确性方面的监控指标用于监控数据值与设定为标准的值之间的一致程度；
获取合理性方面的监控指标，其中，所述合理性方面的监控指标用于监控格式、类型、值域以及业务规则的合理性；
获取一致性方面的监控指标，其中，所述一致性方面的监控指标用于监控系统之间的数据差异和相互矛盾的一致性、业务指标的统一定义以及数据逻辑加工结果的一致性；
获取及时性方面的监控指标，其中，所述及时性方面的监控指标用于监控数据仓库ETL和应用展现的及时和快速性，任务的运行耗时、运行质量、依赖运行及时性。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种数据异常的报警方法，其特征在于，包括：
在目标数据的导入过程和数据处理过程中，对所述目标数据进行异常监控；
在所述目标数据发生异常的情况下，推送所述目标数据发生异常的报警信息。
2.根据权利要求1所述的方法，其特征在于，对所述目标数据进行异常监控包括：
获取所述目标数据在多个维度上的监控指标；
按照所述多个维度上的监控指标对所述目标数据进行异常监控。
3.根据权利要求2所述的方法，其特征在于，获取所述目标数据在多个维度上的监控指标包括：
获取完整性方面的监控指标，其中，所述完整性方面的监控指标用于监控是否出现实体缺失、属性缺失、记录缺失以及字段值缺失；
获取准确性方面的监控指标，其中，所述准确性方面的监控指标用于监控数据值与设定为标准的值之间的一致程度；
获取合理性方面的监控指标，其中，所述合理性方面的监控指标用于监控格式、类型、值域以及业务规则的合理性；
获取一致性方面的监控指标，其中，所述一致性方面的监控指标用于监控系统之间的数据差异和相互矛盾的一致性、业务指标的统一定义以及数据逻辑加工结果的一致性；
获取及时性方面的监控指标，其中，所述及时性方面的监控指标用于监控数据仓库ETL和应用展现的及时和快速性，任务的运行耗时、运行质量、依赖运行及时性。
4.根据权利要求1所述的方法，其特征在于，推送所述目标数据发生异常的报警信息包括：
根据所述目标数据的异常类型所属的异常等级，推送相应的报警信息。
5.根据权利要求4所述的方法，其特征在于，根据所述目标数据的异常类型所属的异常等级，推送相应的报警信息包括：
在所述目标数据的异常类型属于第一异常等级的情况下，按照第一时间间隔推送报警信息；
在所述目标数据的异常类型属于第二异常等级的情况下，按照第二时间间隔推送报警信息，其中，所述第二异常等级高于所述第一异常等级，所述第二时间间隔短于所述第一时间间隔。
6.根据权利要求1所述的方法，其特征在于，在推送所述目标数据发生异常的报警信息之后，所述方法还包括：
继续监控所述目标数据是否发生异常；
在所述目标数据再次发生相同故障的情况下，重新制定监控指标。
7.根据权利要求1所述的方法，其特征在于，在所述目标数据发生异常的情况下，所述方法还包括：
保存发生异常的所述目标数据和所述目标数据的故障类型。
8.一种信息异常的报警装置，其特征在于，包括：
监控单元，用于在目标数据的导入过程和数据处理过程中，对所述目标数据进行异常监控；
报警单元，用于在所述目标数据发生异常的情况下，推送所述目标数据发生异常的报警信息。
9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至7任一项中所述的方法。
10.一种电子装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器通过所述计算机程序执行上述权利要求1至7任一项中所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011285361.7A CN112416896A (zh) | 2020-11-17 | 2020-11-17 | 数据异常的报警方法和装置、存储介质、电子装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011285361.7A CN112416896A (zh) | 2020-11-17 | 2020-11-17 | 数据异常的报警方法和装置、存储介质、电子装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112416896A true CN112416896A (zh) | 2021-02-26 |
Family
ID=74831511
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011285361.7A Withdrawn CN112416896A (zh) | 2020-11-17 | 2020-11-17 | 数据异常的报警方法和装置、存储介质、电子装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112416896A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113760882A (zh) * | 2021-11-10 | 2021-12-07 | 北京每日菜场科技有限公司 | 数据异常报警方法、装置、电子设备和计算机可读介质 |
| CN114064494A (zh) * | 2021-11-19 | 2022-02-18 | 北京每日菜场科技有限公司 | 数据异常报警方法、装置、电子设备和计算机可读介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101105793A (zh) * | 2006-07-11 | 2008-01-16 | 阿里巴巴公司 | 数据仓库中的数据处理方法及系统 |
| CN105871611A (zh) * | 2016-03-31 | 2016-08-17 | 浪潮通信信息系统有限公司 | 一种网管系统监管平台及监管方法 |
| CN109947746A (zh) * | 2017-10-26 | 2019-06-28 | 亿阳信通股份有限公司 | 一种基于etl流程的数据质量管控方法和系统 |
| CN111339062A (zh) * | 2020-02-24 | 2020-06-26 | 北京达佳互联信息技术有限公司 | 数据监控方法、装置、电子设备及存储介质 |
-
2020
- 2020-11-17 CN CN202011285361.7A patent/CN112416896A/zh not_active Withdrawn
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101105793A (zh) * | 2006-07-11 | 2008-01-16 | 阿里巴巴公司 | 数据仓库中的数据处理方法及系统 |
| CN105871611A (zh) * | 2016-03-31 | 2016-08-17 | 浪潮通信信息系统有限公司 | 一种网管系统监管平台及监管方法 |
| CN109947746A (zh) * | 2017-10-26 | 2019-06-28 | 亿阳信通股份有限公司 | 一种基于etl流程的数据质量管控方法和系统 |
| CN111339062A (zh) * | 2020-02-24 | 2020-06-26 | 北京达佳互联信息技术有限公司 | 数据监控方法、装置、电子设备及存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113760882A (zh) * | 2021-11-10 | 2021-12-07 | 北京每日菜场科技有限公司 | 数据异常报警方法、装置、电子设备和计算机可读介质 |
| CN113760882B (zh) * | 2021-11-10 | 2022-01-28 | 北京每日菜场科技有限公司 | 数据异常报警方法、装置、电子设备和计算机可读介质 |
| CN114064494A (zh) * | 2021-11-19 | 2022-02-18 | 北京每日菜场科技有限公司 | 数据异常报警方法、装置、电子设备和计算机可读介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11657309B2 (en) | Behavior analysis and visualization for a computer infrastructure | |
| CN107025153B (zh) | 磁盘的故障预测方法和装置 | |
| US20150067153A1 (en) | Remote monitoring of data facility in real-time using wireless sensor network | |
| US9817742B2 (en) | Detecting hardware and software problems in remote systems | |
| CN111722952B (zh) | 业务系统的故障分析方法、系统、设备和存储介质 | |
| CN103069749B (zh) | 虚拟环境中的问题的隔离的方法和系统 | |
| JP2019502191A (ja) | サービス呼び出し情報処理の方法及びデバイス | |
| CN111064614A (zh) | 一种故障根因定位方法、装置、设备及存储介质 | |
| US20220050765A1 (en) | Method for processing logs in a computer system for events identified as abnormal and revealing solutions, electronic device, and cloud server | |
| CN111445121A (zh) | 风险评估方法和装置、存储介质及电子装置 | |
| US11115288B2 (en) | Parameter setting method, data analysis device and data analysis system | |
| CN113708986B (zh) | 服务器监控装置、方法及计算机可读存储介质 | |
| US10904126B2 (en) | Automated generation and dynamic update of rules | |
| CN117170915A (zh) | 数据中心设备故障预测方法、装置和计算机设备 | |
| CN112416896A (zh) | 数据异常的报警方法和装置、存储介质、电子装置 | |
| CN108665237B (zh) | 一种基于业务系统建立自动巡检模型和定位异常的方法 | |
| US8601318B2 (en) | Method, apparatus and computer program product for rule-based directed problem resolution for servers with scalable proactive monitoring | |
| CN117061335A (zh) | 云平台设备健康管控方法、装置、存储介质和电子设备 | |
| CN111176950A (zh) | 一种监控服务器集群的网卡的方法和设备 | |
| CN114202256A (zh) | 架构升级预警方法、装置、智能终端及可读存储介质 | |
| CN114726649B (zh) | 态势感知的评价方法、装置、终端设备和存储介质 | |
| CN115185778A (zh) | 数据库的监控方法及装置 | |
| CN115543665A (zh) | 一种内存可靠性评估方法、装置及存储介质 | |
| CN115545452A (zh) | 运维方法、运维系统、设备及存储介质 | |
| CN113835961A (zh) | 告警信息监控方法、装置、服务器及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210226 |