CN106709035B - 一种电力多维全景数据的预处理系统 - Google Patents
一种电力多维全景数据的预处理系统 Download PDFInfo
- Publication number
- CN106709035B CN106709035B CN201611247497.2A CN201611247497A CN106709035B CN 106709035 B CN106709035 B CN 106709035B CN 201611247497 A CN201611247497 A CN 201611247497A CN 106709035 B CN106709035 B CN 106709035B
- Authority
- CN
- China
- Prior art keywords
- data
- electric power
- panoramic view
- attribute
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000013500 data storage Methods 0.000 claims abstract description 5
- 238000000605 extraction Methods 0.000 claims abstract description 4
- 230000010354 integration Effects 0.000 claims description 10
- 238000011156 evaluation Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 239000006185 dispersion Substances 0.000 claims description 5
- 238000007726 management method Methods 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 5
- 238000009499 grossing Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 239000012141 concentrate Substances 0.000 claims description 2
- 238000000354 decomposition reaction Methods 0.000 claims description 2
- 230000007547 defect Effects 0.000 claims description 2
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 238000004140 cleaning Methods 0.000 claims 1
- 238000011157 data evaluation Methods 0.000 claims 1
- 238000005065 mining Methods 0.000 claims 1
- 230000003993 interaction Effects 0.000 abstract description 2
- 238000013461 design Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 241001269238 Data Species 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 208000037309 Hypomyelination of early myelinating structures Diseases 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2471—Distributed queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Probability & Statistics with Applications (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Resources & Organizations (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Quality & Reliability (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种电力多维全景数据的预处理系统，包括依次相连的数据清洗模块、数据存储与检索模块和数据的价值提取模块。本发明的电力对位全景数据的预处理方法生成系统，能有效处理来自电力系统的海量交易数据、海量交互数据和海量处理数据，快速判断数据类型并提取数据价值。
Description
技术领域
本发明涉及数据处理技术领域，涉及一种电力多维全景数据的预处理方法。
背景技术
近年来，智能电网的发展与研究已成为当今时代的一大热点，而智能电表作为智能电网的重要组成部分，采集了大量详细的多时间尺度、多类型的基础输入数据，与传统的潮流数据等基础数据相比，数据量从一个时间断面数据变成一段时间的整体数据，甚至出现了更多非结构化数据，现有的结构化数据已无法满足其实际分析需求。
随着智能电网建设的推进，电力多维全景数据根据其所属用户性质，主要分为电网企业、电力用户、政府及第三方机构三个方面所分别对应的电网数据、用户数据和社会数据。这些数据一般以信息集成化平台的方式呈现；其中，电网企业数据主要包括配电自动化、GIS、SCADA、用电信息采集系统、客户营销服务系统、用户用能管理系等；电力用户数据主要包括分布式电源EMS、微电网MG-EMS、家庭HEMS、楼宇BEMS、企业EMS等用户数据；政府及第三方机构数据主要包括气象监测系统、能耗监管系统、智慧城市监控系统、能源公共服务平台等社会数据。这些数据在数据异构方面呈现出设计风格异构、存储方式异构以及结构化与非结构化共存等特点，同时它又具有海量、数据更新速度极快、分布地域广泛等特性。
由于数据来源多、量大、更新速度快以及价值密度低等特点，加大了数据价值挖掘的难度，一方面使我们很难快速发现数据有用价值信息和规律性等特点，另一方面存在的若干数据冗余也会影响我们的判断。因此，提出一种电力多维全景数据的与处理方法，对数据价值挖掘具有十分重要的意义。
发明内容
针对以上问题，本发明提出了一种电力多维全景数据的预处理方法，以提高数据质量，减少数据价值挖掘难度。
一种电力多维全景数据的预处理系统，包括依次相连的：
数据清洗模块：用于对电力多维全景数据进行修正、降噪和填补缺失值，包括属性识别、坏数据辨析、数据分类、数据填补和平滑处理，此模块用来提高数据质量，有助于提高数据挖掘过程的准确率和效率；该数据清洗模块利用时间序列模型识别各状态量的时间序列，从而得到数据的属性值，检测出数据的异常模式，判断异常数据是能提取设备故障信息的“有用数据”还是可被清洗的“无用数据”，然后将数据进行分类，将分类后的数据分别用时间序列干预模型进行拟合以提取有效故障信息。在数据清洗时，根据序列中异常值的种类选择不同的修正公式，从而达到修正噪声点数据和填补缺失值的目的
数据存储模块：用于对经过数据清洗后的电力多维全景数据进行存储与管理，以更好的方式优化存储空间，支持海量同构异构的电力数据；该数据存储模块充分考虑数据的相关性和时空属性，以关系型数据库和“key-value”的非关系型数据库来支持海量数据的存储与处理，对数据进行存储优化和基于MapReduce的并行分析处理，并使用MapReduce框架设计实现了数据的并行分析算法；
数据集成模块：用于在数据存储后，针对大量的、分布式的数据源，将这些数据按一种统一的结构与方式进行处理，将分散的数据集中起来形成统一的数据集；该数据集成模块考虑到数据来源于多个数据库、数据仓库或一般文件，将它们按照数据类型分别存入结构化数据库和非结构化数据库之后，为了便于数据的索引与提取，设计基于数据关联矩阵的数据聚集方法，建立两种数据库之间的关联关系，最后将两种类型数据库并行连接，采用分层结构构建一个大的数据平台。
在上述的一种电力多维全景数据的预处理系统，所述数据清洗模块对电力多维全景数据进行修正、降噪和填补缺失值的具体方法包括：
步骤1，属性识别：输入具有n个属性的数据集样本S，其中属性集为X，|X|＝n。设我们对数据的评价方法为J，候选属性生成策略为GS。
定义L为属性集X的起点，Solution为根据评价方法J得出的L中的最佳属性。对属性集进行循环操作，当属性集中X′经过评价方法J的评价值J(X′)大于之前生成的最佳属性的评价值J(Soltion)时，即J(X′)≥J(Soltion)，则X′为最佳属性。
步骤2，坏数据辨析：输入含有n个样本的属性数据集Solution，{x1,x2,…,xn}。对于数据集中的每一个数据xi，如果(σ为可接受的误差范围)，则认为xi为坏数据，并将它添加到坏数据集BS。
步骤3，数据分类：首先选择k个初始中心点，然后把每个数据对象分到距离它最近的类内，从而形成k个簇，最后再重新计算每个簇的中心；重复上述过程直到每个簇中心不发生变化。
步骤4，数据填补：输入包含n个对象且被分为k个簇的数据集D，处理步骤包括：
步骤4.1、把数据集D分为两个数据子集DC和Di：DC中的记录全部为完整记录，没有任何属性含有缺失值；Di中的记录为缺损记录，即属性中含有一个及以上的缺失值。
步骤4.2、对数据子集DC使用k-means算法。
步骤4.3、从数据子集Di中顺序去除记录，计算该记录与DC的k个类中任一类的相似度，选出最大的相似度，把该记录标记为Ci(i＝1,2…，k)类；直到数据子集为空。
步骤4.4、根据Di中记录被分配的类，对记录的缺失值进行如下处理：
其中，Ai为类别中的数据。
将按步骤4.1至步骤4.4处理完后的Di即为数据填补后的数据集。
步骤5，平滑去噪处理：将填补好缺失数据的数据集进行小波变换，选取合适的小波基函数和分解层数，分离噪声数据和信息数据，删掉其中的噪声数据并进行信号重构，保持数据的完整和特性。
在上述的一种电力多维全景数据的预处理系统，所述数据存储模块对经过数据清洗后的电力多维全景数据进行存储与管理的具体步骤是：
对于结构化数据：为每类数据附上标签，标签与数据之间的处于一对多的联系，利用已有的MySQL数据库，将数据与标签存储进去。
对于非结构化数据：使用HDFS作为文件存储系统，利用数据之间的映射关系(key-value)模式，建立数据矩阵进行存储。数据矩阵的索引由行键(Row Key)、列族(Columnfamily)、列键(Column Qualifier)以及时间戳(Timestamp)构成，可以表示为(Row，Family：Column，Timestamp)→Value。
在上述的一种电力多维全景数据的预处理系统，所述数据集成模块针对大量的、分布式的数据源按一种统一的结构与方式进行处理，将分散的数据集中起来形成统一的数据集的具体方法是：用权利要求3种所述两种存储方法将数据进行存储(关系型数据存入关系型数据库，非关系型数据存入非关系型数据库)，将两个数据库上传至预处理系统。在Hadoop运行环境下利用MapReduce的技术，在映射(Map)阶段，所有数据在多个节点上进行分组排序，之后由约减(Reduce)阶段的TaskTracker节点通过远程访问的方式进行数据拉取。
本发明能有效处理来自电力系统的海量交易数据、海量交互数据和海量处理数据，快速判断数据类型并提取数据价值。
附图说明
附图1电力多维全景数据的预处理方法流程图。
附图2数据清洗模块流程图。
附图3数据存储模块流程图。
附图4数据集成模块流程图。
具体实施方式
为了进一步阐述本发明的过程和有益效果，结合附图进行说明。
为实现上述目的，本发明提出的技术方案是：构建一种包括数据清洗、数据存储和数据集成三大模块的数据预处理系统，由以下功能构成：
(1)数据清洗模块用于对电力多维全景数据进行修正、降噪和填补缺失值，包括属性识别、坏数据辨析和数据分类，此模块用来提高数据质量，有助于提高数据挖掘过程的准确率和效率。
(2)数据存储模块用于对经过数据清洗后的电力多维全景数据进行存储与管理，以更好的方式优化存储空间，支持海量同构异构的电力数据。
(3)数据集成模块用于在数据存储后，针对大量的、分布式的数据源，将这些数据按一种统一的结构与方式进行处理，将分散的数据集中起来形成统一的数据集。
数据清洗模块功能如下：
该模块利用时间序列模型识别各状态量的时间序列，检测出数据的异常模式，判断异常数据是能提取设备故障信息的“有用数据”还是可被清洗的“无用数据”，用时间序列干预模型进行拟合以提取有效故障信息。在数据清洗时，根据序列中异常值的种类选择不同的修正公式，从而达到修正噪声点数据和填补缺失值的目的。
数据存储模块功能如下：
该模块充分考虑数据的相关性和时空属性，以关系型数据库和“key-value”的非关系型数据库来支持海量数据的存储与处理，对数据进行存储优化和基于MapReduce的并行分析处理，并使用MapReduce框架设计实现了数据的并行分析算法。
数据集成模块功能如下：
考虑到数据来源于多个数据库、数据仓库或一般文件等等，将它们按照数据类型分别存入结构化数据库和非结构化数据库之后，为了便于数据的索引与提取，设计基于数据关联矩阵的数据聚集方法，建立两种数据库之间的关联关系，最后将两种类型数据库并行连接，采用分层结构构建一个大的数据平台。
如图2，海量的电力数据包括结构化数据和非结构化数据，将数据导入数据清洗模块之后，首先利用数据来源以及数据时间标签进行属性识别，然后辨识并清除类似于孤立点地坏数据。在初步处理数据之后，将数据分为常用的结构化数据和图片、文本等非结构化数据，并分别利用不同的算法，对数据进行填补去噪。
如图3，进行数据清洗后的数据已经分为结构化和非结构化，将它们分别存入关系型与非关系型数据库，并用MapReduce框架并行处理分析。
如图4，将已经构建好的两种数据库进行数据关联矩阵聚类分析，建立两种数据库的关联关系，最后将其放入一个数据仓库搭建一个大数据平台。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (4)
1.一种电力多维全景数据的预处理系统，其特征在于，包括依次相连的：
数据清洗模块：用于对电力多维全景数据进行修正、降噪和填补缺失值，包括属性识别、坏数据辨析、数据分类、数据填补和平滑处理，此模块用来提高数据质量，有助于提高数据挖掘过程的准确率和效率；该数据清洗模块利用时间序列模型识别各状态量的时间序列，从而得到数据的属性值，检测出数据的异常模式，判断异常数据是能提取设备故障信息的有用数据还是可被清洗的无用数据，然后将数据进行分类，将分类后的数据分别用时间序列干预模型进行拟合以提取有效故障信息；在数据清洗时，根据序列中异常值的种类选择不同的修正公式，从而达到修正噪声点数据和填补缺失值的目的；
数据存储模块：用于对经过数据清洗后的电力多维全景数据进行存储与管理，以更好的方式优化存储空间，支持海量同构异构的电力数据；该数据存储模块充分考虑数据的相关性和时空属性，以关系型数据库和key-value的非关系型数据库来支持海量数据的存储与处理，对数据进行存储优化和基于MapReduce的并行分析处理，并使用MapReduce框架设计实现了数据的并行分析算法；
数据集成模块：用于在数据存储后，针对大量的、分布式的数据源，将这些数据按一种统一的结构与方式进行处理，将分散的数据集中起来形成统一的数据集；该数据集成模块考虑到数据来源于多个数据库、数据仓库或一般文件，将它们按照数据类型分别存入结构化数据库和非结构化数据库之后，为了便于数据的索引与提取，设计基于数据关联矩阵的数据聚集方法，建立两种数据库之间的关联关系，最后将两种类型数据库并行连接，采用分层结构构建一个大的数据平台。
2.根据权利要求1所述的一种电力多维全景数据的预处理系统，其特征在于，所述数据清洗模块对电力多维全景数据进行修正、降噪和填补缺失值的具体方法包括：
步骤1，属性识别：输入具有n个属性的数据集样本S，其中属性集为X，|X|＝n；对数据的评价方法为J，候选属性生成策略为GS；
定义L为属性集X的起点，Solution为根据评价方法J得出的L中的最佳属性；对属性集进行循环操作，当属性集中X′经过评价方法J的评价值J(X′)大于之前生成的最佳属性的评价值J(Solution)时，即J(X′)≥J(Solution)，则X′为最佳属性；
步骤2，坏数据辨析：输入含有n个样本的最佳属性数据集Solution，{x1,x2,…,xn}；对于数据集中的每一个数据xi，如果σ为可接受的误差范围，则认为xi为坏数据，并将它添加到坏数据集BS；
步骤3，数据分类：首先选择k个初始中心点，然后把每个数据对象分到距离它最近的类内，从而形成k个簇，最后再重新计算每个簇的中心；重复上述过程直到每个簇中心不发生变化；
步骤4，数据填补：输入包含n个对象且被分为k个簇的数据集D，处理步骤包括：
步骤4.1、把数据集D分为两个数据子集DC和Di：DC中的记录全部为完整记录，没有任何属性含有缺失值；Di中的记录为缺损记录，即属性中含有一个及以上的缺失值；
步骤4.2、对数据子集DC使用k-means算法；
步骤4.3、从数据子集Di中顺序去除记录，计算该记录与DC的k个类中任一类的相似度，选出最大的相似度，把该记录标记为Ci类，i＝1,2…，k；直到数据子集为空；
步骤4.4、根据Di中记录被分配的类，对记录的缺失值进行如下处理：
其中，Ai为类别中的数据；
将按步骤4.1至步骤4.4处理完后的Di即为数据填补后的数据集；
步骤5，平滑去噪处理：将填补好缺失数据的数据集进行小波变换，选取合适的小波基函数和分解层数，分离噪声数据和信息数据，删掉其中的噪声数据并进行信号重构，保持数据的完整和特性。
3.根据权利要求1所述的一种电力多维全景数据的预处理系统，其特征在于，所述数据存储模块对经过数据清洗后的电力多维全景数据进行存储与管理的具体步骤是：
对于结构化数据：为每类数据附上标签，标签与数据之间的处于一对多的联系，利用已有的MySQL数据库，将数据与标签存储进去；
对于非结构化数据：使用HDFS作为文件存储系统，利用数据之间的映射关系模式，建立数据矩阵进行存储；数据矩阵的索引由行键、列族、列键以及时间戳构成，可以表示为Row，Family：Column，Timestamp→Value。
4.根据权利要求1所述的种电力多维全景数据的预处理系统，其特征在于，所述数据集成模块针对大量的、分布式的数据源按一种统一的结构与方式进行处理，将分散的数据集中起来形成统一的数据集的具体方法是：用权利要求3中所述两种存储方法将数据进行存储，将两个数据库上传至预处理系统；在Hadoop运行环境下利用MapReduce的技术，在映射阶段，所有数据在多个节点上进行分组排序，之后由约减阶段的TaskTracker节点通过远程访问的方式进行数据拉取。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611247497.2A CN106709035B (zh) | 2016-12-29 | 2016-12-29 | 一种电力多维全景数据的预处理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611247497.2A CN106709035B (zh) | 2016-12-29 | 2016-12-29 | 一种电力多维全景数据的预处理系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106709035A CN106709035A (zh) | 2017-05-24 |
| CN106709035B true CN106709035B (zh) | 2019-11-26 |
Family
ID=58904005
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611247497.2A Active CN106709035B (zh) | 2016-12-29 | 2016-12-29 | 一种电力多维全景数据的预处理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106709035B (zh) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107133355A (zh) * | 2017-05-25 | 2017-09-05 | 国网天津市电力公司 | 地区调度范围内线路参数计算和数据管控方法 |
| CN109696316B (zh) * | 2017-10-20 | 2021-05-28 | 株洲中车时代电气股份有限公司 | 一种列车远程监测系统 |
| CN109801181A (zh) * | 2017-11-17 | 2019-05-24 | 中国电力科学研究院有限公司 | 一种配变数据清洗修补方法及系统 |
| CN108021935B (zh) * | 2017-11-27 | 2024-01-23 | 中国电力科学研究院有限公司 | 一种基于大数据技术的维度约简方法及装置 |
| CN108170825B (zh) * | 2018-01-05 | 2022-08-12 | 上海电气分布式能源科技有限公司 | 基于云平台的分布式能源数据监控清洗方法 |
| CN108335231A (zh) * | 2018-01-29 | 2018-07-27 | 国网福建省电力有限公司 | 一种自动匹配的配电网数据诊断方法 |
| CN108563770B (zh) * | 2018-04-20 | 2022-05-17 | 南京邮电大学 | 一种基于场景的kpi及多维度网络数据清洗方法 |
| CN109492877A (zh) * | 2018-10-16 | 2019-03-19 | 安徽医科大学第附属医院 | 医院信息化建设评价方法 |
| CN109977107B (zh) * | 2019-04-02 | 2022-04-05 | 电子科技大学 | 一种用电采集数据清洗方法 |
| CN110287256B (zh) * | 2019-06-14 | 2022-10-14 | 南京邮电大学 | 一种基于云计算的电网数据并行处理系统及其处理方法 |
| CN110348716A (zh) * | 2019-06-28 | 2019-10-18 | 国网河北省电力有限公司电力科学研究院 | 一种配电设备的后台管控平台及方法 |
| CN110825798A (zh) * | 2019-10-29 | 2020-02-21 | 深圳供电局有限公司 | 一种电力应用数据维护方法及装置 |
| CN110943983B (zh) * | 2019-11-22 | 2020-10-30 | 南京邮电大学 | 基于安全性态势感知与风险评估的网络安全预防方法 |
| CN111901158B (zh) * | 2020-07-14 | 2023-07-25 | 广东好太太智能家居有限公司 | 一种智能家居配网故障数据分析方法、设备及存储介质 |
| CN112104073B (zh) * | 2020-08-19 | 2022-05-24 | 厦门盈盛捷电力科技有限公司 | 电力系统实时信息标定方法 |
| CN112069269B (zh) * | 2020-08-27 | 2021-03-26 | 中润普达(深圳)大数据技术有限公司 | 基于大数据和多维特征的数据溯源方法及大数据云服务器 |
| CN113159326B (zh) * | 2021-03-03 | 2024-02-23 | 国网山西省电力公司信息通信分公司 | 基于人工智能的智能业务决策方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11238006A (ja) * | 1998-02-19 | 1999-08-31 | Nippon Telegr & Teleph Corp <Ntt> | データクリーニング処理方法および装置とデータクリーニング処理プログラムを記録した記録媒体 |
| CN104331435A (zh) * | 2014-10-22 | 2015-02-04 | 国家电网公司 | 一种基于Hadoop大数据平台的低影响高效率的海量数据抽取方法 |
| CN104361110A (zh) * | 2014-12-01 | 2015-02-18 | 广东电网有限责任公司清远供电局 | 海量用电数据分析系统及其实时计算、数据挖掘方法 |
| CN104820670A (zh) * | 2015-03-13 | 2015-08-05 | 国家电网公司 | 一种电力信息大数据的采集和存储方法 |
| CN105069703A (zh) * | 2015-08-10 | 2015-11-18 | 国家电网公司 | 一种电网海量数据管理方法 |
| CN105786864A (zh) * | 2014-12-24 | 2016-07-20 | 国家电网公司 | 一种实现海量数据离线分析的方法 |
-
2016
- 2016-12-29 CN CN201611247497.2A patent/CN106709035B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11238006A (ja) * | 1998-02-19 | 1999-08-31 | Nippon Telegr & Teleph Corp <Ntt> | データクリーニング処理方法および装置とデータクリーニング処理プログラムを記録した記録媒体 |
| CN104331435A (zh) * | 2014-10-22 | 2015-02-04 | 国家电网公司 | 一种基于Hadoop大数据平台的低影响高效率的海量数据抽取方法 |
| CN104361110A (zh) * | 2014-12-01 | 2015-02-18 | 广东电网有限责任公司清远供电局 | 海量用电数据分析系统及其实时计算、数据挖掘方法 |
| CN105786864A (zh) * | 2014-12-24 | 2016-07-20 | 国家电网公司 | 一种实现海量数据离线分析的方法 |
| CN104820670A (zh) * | 2015-03-13 | 2015-08-05 | 国家电网公司 | 一种电力信息大数据的采集和存储方法 |
| CN105069703A (zh) * | 2015-08-10 | 2015-11-18 | 国家电网公司 | 一种电网海量数据管理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106709035A (zh) | 2017-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106709035B (zh) | 一种电力多维全景数据的预处理系统 | |
| CN104881424B (zh) | 一种基于正则表达式的电力大数据采集、存储及分析方法 | |
| CN107193967A (zh) | 一种多源异构行业领域大数据处理全链路解决方案 | |
| CN102982097B (zh) | 用于基于知识的数据质量解决方案的域 | |
| CN105956015A (zh) | 一种基于大数据的服务平台整合方法 | |
| CN106874478A (zh) | 基于Spark的并行化随机标签子集多标签文本分类方法 | |
| CN113535972B (zh) | 一种融合上下文语义的知识图谱链路预测模型方法及装置 | |
| CN108960488B (zh) | 一种基于深度学习与多源信息融合的饱和负荷空间分布精准预测方法 | |
| CN117556369B (zh) | 一种动态生成的残差图卷积神经网络的窃电检测方法及系统 | |
| CN111552813A (zh) | 一种基于电网全业务数据的电力知识图谱构建方法 | |
| CN117078048B (zh) | 基于数字孪生的智慧城市资源管理方法及系统 | |
| CN102945283B (zh) | 一种语义Web服务组合方法 | |
| CN115952424A (zh) | 一种基于多视图结构的图卷积神经网络聚类方法 | |
| CN113254517A (zh) | 一种基于互联网大数据的服务提供方法 | |
| Sundarakumar et al. | A heuristic approach to improve the data processing in big data using enhanced Salp Swarm algorithm (ESSA) and MK-means algorithm | |
| CN110287237B (zh) | 一种基于社会网络结构分析社团数据挖掘方法 | |
| CN111459900A (zh) | 大数据生命周期设置方法、装置、存储介质及服务器 | |
| CN117453937B (zh) | 一种电网图数据模型自动生成方法及装置 | |
| CN117078312B (zh) | 一种基于人工智能的广告投放管理方法及系统 | |
| CN109687464B (zh) | 电网潮流的分析方法及装置、存储介质、处理器 | |
| CN116596574A (zh) | 电网用户画像构建方法及系统 | |
| CN115081551A (zh) | 基于K-Means聚类和优化RVM线损模型建立方法及系统 | |
| CN116011564A (zh) | 一种面向电力设备的实体关系补全方法、系统及应用 | |
| CN110197305B (zh) | 一种基于最短路径算法的继电保护数据模型搜索优化方法及系统 | |
| CN109086373B (zh) | 一种构建公平的链接预测评估系统的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |