CN108268997A - 一种电网变电站数据质量考核方法 - Google Patents

Abstract

本发明属于电网调度自动化系统技术领域，公开了一种电网变电站数据质量考核方法。本发明通过配置规则，实现自动识别数据质量、问题定位、问题纠错等功能，帮助管理人员快速发现、判断、解决数据中存在的质量问题。本发明能够为电网高级应用提供高质量高可靠的数据支撑，满足日常关键指标的考核要求，完善了量测数据质量考核体系。

Description

一种电网变电站数据质量考核方法

技术领域

本发明属于电网调度自动化系统技术领域，具体是涉及一种电网变电站数据质量考核的方法。

背景技术

随着电网智能化建设的飞速发展和生产业务系统采集量测数据的持续积累，基础数据已成为电网生产指挥、运行分析控制以及各种生产管理工作的重要信息来源。越来越多的管理决策、市场营销和客户服务都建立在面向量测数据的分析基础上，其质量的好坏对于电网安全、优质、经济运行具有重要的意义，对实现大电网智能调度、分析决策和智能控制起着关键作用。

然而，在数据的采集、数据的处理等过程中，由于传输通道、后台计算服务、存储架构以及其他相关因素，不可避免的产生数据质量问题，如：遥信误动、数据延迟上送、采集数据项缺失、数据跳变、毛刺等。这些数据质量问题严重影响了基于此量测数据相关应用以辅助决策的准确性，降低工作效率，增加工作成本。

为此，《基于电网调度自动化基础数据质量整治的探讨》（作者李贺平、王倩，“机械与自动化”，2013,11：98-99）提出了影响数据质量的几大方面因素。《电力调度自动化技术中基础数据质量综合分析与整治》（作者翟璇、攀红克，“数字技术与应用”，2011,12：166-167）主要针对存在的数据质量问题，提出了一些整治对策，主要采取人工的检测和预防的方式。《基于CIM/E的电网调度系统数据质量优化方法》（作者丁盛舟、李永光、杜鹏、孟鑫等，“电力系统保护与控制”，2016,44（3）：129-131）则提出了基于CIM/E的数据质量优化方法，在一定程度上提升了数据质量。但是，总体而言，这些文献仍未能为辅助管理人员快速发现、判断并解决数据中存在的质量问题提供显著帮助。

发明内容

本发明目的是：为了克服现有技术中存在的不足，本发明提供一种电网变电站数据质量考核的方法。该方法能够为电网应用提供高质量高可靠的量测数据支撑，完善量测数据质量考核体系，辅助运维人员及时定位问题并纠错，分析问题原因，对过程数据和源头数据进行消缺。

具体地说，本发明是采用以下技术方案实现的，包括以下步骤：

1）针对电网变电站多源数据，提供多源数据适配器以及ETL工具，配置源端系统一个或者多个数据库参数，根据数据源类型选择数据源驱动适配器，连接数据库，并进行连通验证，预览数据；

2）选择启动使用的内置简单识别规则，根据需要界面配置规则识别所需参数，结合业务逻辑，编写识别数据问题的脚本规则并保存启用，通过打包成插件后进行加载启用实现嵌入式逻辑判断；

3）配置问题识别流程，然后设置每个流程节点包含的识别规则，并设置相应节点规则执行的顺序，接着设置流程执行周期的触发时间，设置相应流程执行后识别问题结果及关联明细表名和数据存放周期等，最后设置流程执行日志参数；

通过以上设置，识别相关日志，进行问题记录，得到过程数据明细；

4）查看问题统计图表，按照问题分类、时间及模型维度展现问题分布；

查看问题明细，从识别流程、识别规则、模型维度时间查看问题明细；

5）首先查看对应原始数据记录，接着查看过程关联数据明细，最后分析流程日志记录，从而对问题进行精准定位；

6）针对具体问题，提供纠错工具，给出问题消缺手段和预估建议，提供包括历史同期、线性茶汁、最近历史、人工置数在内的多种数据预估补救方法，辅助完成异常数据的修补，同时提供批量配置等操作手段，辅助人工介入快速完成纠错工作。

上述技术方案的进一步特征在于，所述步骤1）中的数据库包括关系数据库、实时数据库或HBase数据库。

上述技术方案的进一步特征在于，所述步骤2）中，对数据质量进行完整性、一致性、有效性、及时性、唯一性以及精确性的识别，其中：

所述完整性，是指数据是否存在缺失记录或者缺失字段；

所述一致性，是指同一实体的同一属性的值在不同系统或数据集中是否一致；

所述有效性，是指数据是否满足用户定义的条件或者在一定的阈值范围内；

所述及时性，是指数据操作的及时和快速；

所述唯一性，是指数据是否存在重复记录；

所述精确性，是指数据是否与其对应的客观实体的特征相一致。

本发明的有益效果如下：本发明通过数据质量的识别、展现以及辅助纠错等，能够帮助管理人员快速发现、判断、解决数据中存在的质量问题，为高级应用提供高质量高可靠的数据支撑，满足日常关键指标的考核要求，完善了量测数据质量考核体系。

附图说明

图1是本发明方法的示意图。

具体实施方式

下面结合实施例并参照附图对本发明作进一步详细描述。

实施例1：

本发明的一个实施例，其主要步骤如图1所示。

步骤1：配置数据源。针对电网变电站多源数据，提供多源数据适配器以及ETL工具，满足数据质量检查分析对多种类型数据源的访问、抽取等需求。通过ETL工具、JDBC配置源端系统一个或者多个数据库的连接地址、端口等参数，根据数据源类型选择数据源驱动适配器，连接数据库，并进行连通验证，预览数据。数据库包括关系数据库、实时数据库或HBase数据库。数据质量分析采用分布式缓存、大数据处理技术，storm、spark steaming等流处理，spark内存并行计算、kafka分布式消息队列等，满足大规模量测数据质量识别需求

步骤2：规则配置。选择启动使用的内置简单识别规则，根据需要界面人工配置规则识别所需参数，结合业务逻辑，编写识别数据问题的脚本规则并保存启用，而基于负责业务逻辑识别的问题，需要实现特定接口打包成插件后进行加载启用实现嵌入式逻辑判断。采用脚本解析组件、嵌入式程序加载组件等多种组件支持多类型规则的配置。

根据电网调度数据的特性，数据质量度量规则主要包括完整性、一致性、有效性、及时性、唯一性以及精确性等六个方面。

1）完整性：描述数据是否存在缺失记录或者缺失字段；如：数据采集项缺失、数据项空值等。

2）一致性：描述同一实体的同一属性的值在不同系统或数据集中是否一致；如：多源系统相同字段数值一致性判断、遥信变位与SOE时间不一致、交流线段两端数据不一致等。

3）有效性：描述数据是否满足用户定义的条件或者在一定的阈值范围内；如：数据越限、毛刺、数据跳变、母线不平衡等。

4）及时性：描述数据刷新、修改和提取等操作的及时性和快速性；如：电网数据上送及时性等。

5）唯一性：描述数据是否存在重复记录；如：数据字段重复、同一数据在规定频率内多次送入等。

6）精确性：描述数据是否与其对应的客观实体的特征相一致。如：EMS开关、刀闸等设备遥信误动等。

步骤3：问题记录。首先配置问题识别流程，然后设置每个流程节点包含的识别规则，并设置该节点规则执行的顺序，接着设置流程执行周期的触发时间，设置该流程执行后识别问题结果及关联明细表名和数据存放周期等，最后设置流程执行日志参数。通过以上设置，识别相关日志，进行问题记录，得到过程数据明细。

在数据质量问题识别过程中，由简单到复杂，主要分为以下5个层次：

1）简单识别。如：数据空值、字段重复等。

2）配置规则识别、结合模型简单识别。如：多源字段不一致、遥测越限等。

3）复杂业务逻辑识别。如：遥信误动等。

4）结合模型的复杂业务逻辑识别。如：开关遥测不一致、数据跳变等。

5）人工介入识别。根据前四层的识别，对识别结果进行核实。

识别过程如下：首先选择识别的维度，包括：区域、电压等级、变电站、设备类型、量测类型等，然后根据内置判断规则、人工配置规则、嵌入式逻辑判断进行识别。

步骤4：问题展示。查看问题统计图表，按照问题分类、时间及模型维度展现问题分布；查看问题明细，从识别流程、识别规则、模型维度时间等角度查看问题明细。采用报表组件、统计组件及纠错组件通过查询服务、SQL接口统计展现识别问题的结果。

步骤5：问题定位。首先查看对应原始数据记录，接着查看过程关联数据明细，最后分析流程日志记录，从而对问题进行精准定位。

步骤6：问题纠错。针对具体问题，提供纠错工具，给出问题消缺手段和预估建议，提供历史同期、线性茶汁、最近历史、人工置数等多种数据预估补救方法，辅助完成异常数据的修补，同时提供批量配置等操作手段，辅助人工介入快速完成纠错工作。

总而言之，本实施例的方法，面向调度等量测数据，通过配置规则，自动识别数据质量问题，可采用单机、服务器以及两级部署模式，适用于供电电压检测系统、调度自动化系统、全业务数据中心等涉及量测数据业务系统。通过数据质量的识别、展现以及辅助纠错等，能够帮助管理人员快速发现、判断、解决数据中存在的质量问题，为高级应用提供高质量高可靠的数据支撑，满足日常关键指标的考核要求，完善了量测数据质量考核体系。

虽然本发明已以较佳实施例公开如上，但实施例并不是用来限定本发明的。在不脱离本发明之精神和范围内，所做的任何等效变化或润饰，同样属于本发明之保护范围。因此本发明的保护范围应当以本申请的权利要求所界定的内容为标准。

Claims (3)

1.一种电网变电站数据质量考核方法，其特征在于，包括以下步骤：

1）针对电网变电站多源数据，提供多源数据适配器以及ETL工具，配置源端系统一个或者多个数据库参数，根据数据源类型选择数据源驱动适配器，连接数据库，并进行连通验证，预览数据；

2）选择启动使用的内置简单识别规则，根据需要界面配置规则识别所需参数，结合业务逻辑，编写识别数据问题的脚本规则并保存启用，通过打包成插件后进行加载启用实现嵌入式逻辑判断；

3）配置问题识别流程，然后设置每个流程节点包含的识别规则，并设置相应节点规则执行的顺序，接着设置流程执行周期的触发时间，设置相应流程执行后识别问题结果及关联明细表名和数据存放周期等，最后设置流程执行日志参数；

通过以上设置，识别相关日志，进行问题记录，得到过程数据明细；

4）查看问题统计图表，按照问题分类、时间及模型维度展现问题分布；

查看问题明细，从识别流程、识别规则、模型维度时间查看问题明细；

5）首先查看对应原始数据记录，接着查看过程关联数据明细，最后分析流程日志记录，从而对问题进行精准定位；

6）针对具体问题，提供纠错工具，给出问题消缺手段和预估建议，提供包括历史同期、线性茶汁、最近历史、人工置数在内的多种数据预估补救方法，辅助完成异常数据的修补，同时提供批量配置等操作手段，辅助人工介入快速完成纠错工作。

2.根据权利要求1所述的电网变电站数据质量考核方法，其特征在于，所述步骤1）中的数据库包括关系数据库、实时数据库或HBase数据库。

3.根据权利要求1所述的电网变电站数据质量考核方法，其特征在于，所述步骤2）中，对数据质量进行完整性、一致性、有效性、及时性、唯一性以及精确性的识别，其中：

所述完整性，是指数据是否存在缺失记录或者缺失字段；

所述一致性，是指同一实体的同一属性的值在不同系统或数据集中是否一致；

所述有效性，是指数据是否满足用户定义的条件或者在一定的阈值范围内；

所述及时性，是指数据操作的及时和快速；

所述唯一性，是指数据是否存在重复记录；

所述精确性，是指数据是否与其对应的客观实体的特征相一致。