CN113486008A - 数据血缘分析方法、装置、设备及存储介质 - Google Patents
数据血缘分析方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113486008A CN113486008A CN202110735371.4A CN202110735371A CN113486008A CN 113486008 A CN113486008 A CN 113486008A CN 202110735371 A CN202110735371 A CN 202110735371A CN 113486008 A CN113486008 A CN 113486008A
- Authority
- CN
- China
- Prior art keywords
- data
- relation
- graph
- system table
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000008280 blood Substances 0.000 title claims abstract description 118
- 210000004369 blood Anatomy 0.000 title claims abstract description 118
- 238000004458 analytical method Methods 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000004140 cleaning Methods 0.000 claims abstract description 20
- 230000008859 change Effects 0.000 claims description 48
- 238000010586 diagram Methods 0.000 claims description 43
- 238000012545 processing Methods 0.000 claims description 40
- 230000008569 process Effects 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 230000002146 bilateral effect Effects 0.000 claims description 6
- 238000013075 data extraction Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000007405 data analysis Methods 0.000 abstract description 2
- 238000004891 communication Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 5
- 230000005856 abnormality Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000011144 upstream manufacturing Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000008033 biological extinction Effects 0.000 description 1
- 230000004087 circulation Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2246—Trees, e.g. B+trees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2255—Hash tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及数据分析技术，揭露了一种数据血缘分析方法，包括：对原始系统表进行数据清洗，得到系统表数据，梳理系统表数据的字段关系并构建关系树状图，提取关系树状图各节点的数据，保存至关系结果表，根据关系树状图生成第一血缘关系图，原始系统表变更后，抽取变更后的系统表中的数据至备份临时表，对比备份临时表及关系结果表中的数据，确定变更数据，利用变更数据更新第一血缘关系图，得到第二血缘关系图，确定变更数据及第二血缘关系图为血缘分析结果。此外，本发明还涉及区块链技术，所述血缘分析结果可存储在区块链的节点中。本发明还提出一种数据血缘分析方法装置、电子设备以及计算机可读存储介质。本发明可以提高数据血缘分析效率。
Description
技术领域
本发明涉及数据分析技术领域，尤其涉及一种数据血缘分析方法、装置、电子设备及计算机可读存储介质。
背景技术
随着信息时代的到来，企业、员工、设备等会源源不断的生产数据和消费数据，面对海量的数据，企业如何进行管理、使用，发挥数据的价值显的尤为重要。其中数据血缘分析作为元数据应用之一，用来表示数据在产生、融合、流转，消亡过程中形成一种逻辑关系，更需要我们重视并利用起来。
传统的血缘分析是通过开发人员手工看代码的方式去一层层分析，例如，接收到一个系统的表结构变更需求，开发人员需要全量对下游系统及应用进行圈定影响范围，然后就是各个系统或应用的负责人开始逐一检查，在规定的时间修改、测试、上线。随着日渐复杂的业务系统逻辑，整个变更影响分析的过程耗时、耗人力，且效率低下。
发明内容
本发明提供一种数据血缘分析方法、装置、设备及存储介质，其主要目的在于解决数据血缘分析效率较低的问题。
为实现上述目的，本发明提供的一种数据血缘分析方法，包括：
获取原始系统表，抽取所述原始系统表中的表数据，并对抽取到的表数据进行数据清洗，得到系统表数据；
梳理所述系统表数据的字段关系，并根据所述字段关系构建关系树状图；
提取所述关系树状图中各节点的数据，将所述数据保存至关系结果表；
遍历所述关系树状图中各节点的数据，并生成第一血缘关系图；
检测到所述原始系统表变更后，获取变更后的系统表，抽取变更后的系统表中的数据，并保存至备份临时表中；
对比所述备份临时表及所述关系结果表中的数据，确定变更数据；
利用所述变更数据更新所述第一血缘关系图，得到第二血缘关系图，并将所述变更数据及所述第二血缘关系图确定为对所述原始系统表的血缘分析结果。
可选地，所述获取原始系统表，抽取所述原始系统表中的表数据，并对抽取到的表数据进行数据清洗，得到系统表数据，包括：
根据预设的分布式采样方式获取各业务系统中数据库的原始系统表；
抽取所述原始系统表中的表数据，并将所述表数据拆分成预设个数的表数据文件；
利用数据抽取工具对所述表数据文件中的表数据进行数据去重、数据去异常及数据缺失值填充，得到所述系统表数据。
可选地，所述对所述表数据文件中的表数据进行数据去重、数据去异常及数据缺失值填充，得到所述系统表数据，包括：
利用预设的距离公式对所述所述表数据文件中的表数据进行去重处理，得到去重数据；
利用预设的双边测试剔除法对所述去重数据进行去异常处理，得到去异常数据；
利用预设的填充算法对所述去异常数据进行缺失值填充，得到所述系统表数据。
可选地，所述梳理所述系统表数据的字段关系，并根据所述字段关系构建关系树状图，包括：
提取所述系统表数据中系统表、系统表中的字段及业务系统的引用关系；
确定所述业务系统的名称为第一节点、所述系统表的名称为第二节点及所述字段的名称为第三节点；
根据所述引用关系构建所述第一节点、所述第二节点及所述第三节点间的连边；
汇总所述第一节点、所述第二节点、所述第三节点及各节点间的连边，得到字段关系图；
利用正则表达式设置字段解析语句，利用所述字段解析语句对所述字段关系图中的字段进行加工过程解析，得到字段加工结果；
将所述字段加工结果作为第四节点添加至所述字段关系图中，得到所述关系树状图。
可选地，所述遍历所述关系树状图中各节点的数据，并生成第一血缘关系图，包括：
将所述关系树状图中各节点的数据确定为实体集合；
设置所述实体集合中各实体的属性，并确定所述实体集合中各实体间的联系；
汇总所有实体、属性及联系得到所述第一血缘关系图。
可选地，所述对比所述备份临时表及所述关系结果表中的数据，确定变更数据，包括：
利用预设的哈希算法对所述备份临时表及所述关系结果表中的数据进行哈希处理，得到备份哈希值集合及关系哈希值集合；
依次对比所述备份哈希值集合及所述关系哈希值集合中的哈希值；
确定哈希值不同的数据为所述变更数据。
可选地，所述利用所述变更数据更新所述第一血缘关系图，得到第二血缘关系图，包括：
提取所述变更数据中涉及的变更系统表及变更字段；
利用所述变更系统表及变更字段替换所述关系树状图中历史节点的数据；
利用替换完成的关系树状图中各节点的数据更新所述第一血缘关系图中各节点的数据，生成所述第二血缘关系图。
为了解决上述问题，本发明还提供一种数据血缘分析方法装置，所述装置包括：
表数据清洗模块，用于获取原始系统表，抽取所述原始系统表中的表数据，并对抽取到的表数据进行数据清洗，得到系统表数据；
关系树状图构建模块，用于梳理所述系统表数据的字段关系，并根据所述字段关系构建关系树状图；
第一血缘图生成模块，用于提取所述关系树状图中各节点的数据，将所述数据保存至关系结果表；遍历所述关系树状图中各节点的数据，并生成第一血缘关系图；
数据对比模块，用于检测到所述原始系统表变更后，获取变更后的系统表，抽取变更后的系统表中的数据，并保存至备份临时表中；对比所述备份临时表及所述关系结果表中的数据，确定变更数据；
第二血缘图生成模块，用于利用所述变更数据更新所述第一血缘关系图，得到第二血缘关系图，并将所述变更数据及所述第二血缘关系图确定为对所述原始系统表的血缘分析结果。
为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
存储器，存储至少一个指令；及
处理器，执行所述存储器中存储的指令以实现上述所述的数据血缘分析方法。
为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现上述所述的数据血缘分析方法。
本发明通过梳理系统表数据的字段关系，根据所述字段关系构建关系树状图，通过关系树状图中各节点的关系可以实现整个数据链路从源端到末端的全面打通，提高数据向上追溯及向下追溯的能力，并且通过关系树状图可以快速生成血缘关系图，提高了数据血缘关系的分析效率。同时，将变更数据及第二血缘关系图确定为原始系统表的血缘分析结果，对于有变动的数据，及变动后的数据血缘关系可以快速进行修改，进一步提高了数据血缘分析的效率。因此本发明提出的数据血缘分析方法、装置、电子设备及计算机可读存储介质，可以解决数据血缘分析效率较低的问题。
附图说明
图1为本发明一实施例提供的数据血缘分析方法的流程示意图；
图2为本发明一实施例提供的数据血缘分析方法装置的功能模块图；
图3为本发明一实施例提供的实现所述数据血缘分析方法的电子设备的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本申请实施例提供一种数据血缘分析方法。所述数据血缘分析方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述数据血缘分析方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。
参照图1所示，为本发明一实施例提供的数据血缘分析方法的流程示意图。在本实施例中，所述数据血缘分析方法包括：
S1、获取原始系统表，抽取所述原始系统表中的表数据，并对抽取到的表数据进行数据清洗，得到系统表数据。
本发明实施例中，所述原始系统表可以为各领域不同业务系统中数据库的系统表，不同的数据库类型，有着不同的系统表，系统表中存放着本数据库的所有表结构信息。
例如，业务系统1的数据库oracle、业务系统2的数据库DB2、业务系统3的数据库informix等。
具体地，所述获取原始系统表，抽取所述原始系统表中的表数据，并对抽取到的表数据进行数据清洗，得到系统表数据，包括：
根据预设的分布式采样方式获取各业务系统中数据库的原始系统表；
抽取所述原始系统表中的表数据，并将所述表数据拆分成预设个数的表数据文件；
利用数据抽取工具对所述表数据文件中的表数据进行数据去重、数据去异常及数据缺失值填充，得到所述系统表数据。
本发明实施例中，所述分布式采样方式用来同步采集各业务系统数据库中的系统表，提高数据采集效率，同时，所述表数据包括：字段、表信息、表属性等。
例如，根据实际业务范围同步采集业务系统A、业务系统B及业务系统C中数据库的系统表，并设置系统表中每一万行数据卸载成一个表数据文件。由于系统表中数据较多，卸载成多个文件，有利于数据清洗，提高数据处理速度。
本发明一可选实施例中，所述数据传输平台可以为GTP(General Data TransferPlatform，通用数据传输平台)，由于各业务系统庞大的数据量，借助此平台可以无需任何编码，只需进行简单的配置就可以轻松实现上下级节点间的文件可靠、安全、高效的传输。同时，可以使用数据仓库对表数据文件进行数据清洗，所述数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合，用于支持管理决策(Decision MakingSupport)。所述数据抽取工具可以为ETL(Extract-Transform-Load，抽取-转换-加载)工具，ETL工具是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中。
详细地，所述对所述表数据文件中的表数据进行数据去重、数据去异常及数据缺失值填充，得到所述系统表数据，包括：
利用预设的距离公式对所述所述表数据文件中的表数据进行去重处理，得到去重数据；
利用预设的双边测试剔除法对所述去重数据进行去异常处理，得到去异常数据；
利用预设的填充算法对所述去异常数据进行缺失值填充，得到所述系统表数据。
本发明实施例中，所述预设的距离公式可以为：
其中，d表示表数据文件中任意两个数据的距离值，w1j和w2j表示表数据文件中任意两个数据，当所述距离值小于预设的距离值时，则删除其中任意一个数据，当所述距离值大于等于预设的距离值时，则同时保留两个数据。
本发明实施例中，所述预设的双边测试剔除法可以为：
其中，i属于正整数，
表示去重后的所述表数据文件中数据的平均值，S表示去重后的所述表数据文件中数据的标准差，Yi表示第i个去重数据。G表示去异常阈值，将大于所述异常阈值的数据进行去除。
本发明实施例中，可以通过missmap function缺失函数检测去异常数据中是否存在数据缺失值，若检测没有数据缺失值，则不作处理，若检测存在数据缺失值，所述预设的填充算法可以为：
其中，L(θ)表示填充的数据缺失值，xi表示第i个数据缺失值，θ表示填充的数据缺失值对应的概率参数，n表示去异常数据的数量，p(xi|θ)表示填充的数据缺失值概率。
S2、梳理所述系统表数据的字段关系，并根据所述字段关系构建关系树状图。
本发明实施例中，字段是指表中存放数据的一个列名，例如，A产品表的字段可以包括产品ID、产品名称、产品条码等。
所述字段关系是指系统表、字段及业务系统间的引用关系，例如，A系统的A1表或字段给了哪些系统使用，这些使用的系统涉及哪些表哪些字段。
具体地，所述梳理所述系统表数据的字段关系，并根据所述字段关系构建关系树状图，包括：
提取所述系统表数据中系统表、系统表中的字段及业务系统的引用关系；
确定所述业务系统的名称为第一节点、所述系统表的名称为第二节点及所述字段的名称为第三节点；
根据所述引用关系构建所述第一节点、所述第二节点及所述第三节点间的连边；
汇总所述第一节点、所述第二节点、所述第三节点及各节点间的连边，得到字段关系图；
利用正则表达式设置字段解析语句，利用所述字段解析语句对所述字段关系图中的字段进行加工过程解析，得到字段加工结果；
将所述字段加工结果作为第四节点添加至所述字段关系图中，得到所述关系树状图。
本发明实施例中，可以使用操作数据存储系统提取各字段间的引用关系，所述操作数据存储系统即ODS(Operational Data Store)系统，所述ODS系统是数据仓库体系结构中的一个可选部分，也被称为贴源层，用来对数据进行统一整合及分发。
本发明一可选实施例中，通过正则表达式去定义字段解析语句的语法与规则，并对各字段的加工过程进行解析，得到的字段加工结果包括：字段存储过程、ETL过程、程序代码规则等。
本发明实施例中，通过将数据来源、数据加工过程等转化为关系树状图，可以实现整个数据链路从源端到末端的全面打通，提高数据向上追溯及向下追溯的能力。
S3、提取所述关系树状图中各节点的数据，将所述数据保存至关系结果表。
本发明实施例中，所述关系结果表用来存储所有涉及的系统表、系统表字段及字段的加工关系。
S4、遍历所述关系树状图中各节点的数据，并生成第一血缘关系图。
本发明实施例中，所述血缘关系图可以为实体-联系图(Entity RelationshipDiagram，E-R Diagram)所述实体-联系图提供了表示实体类型、属性和联系的方法。
具体地，所述遍历所述关系树状图中各节点的数据，并生成第一血缘关系图，包括：
将所述关系树状图中各节点的数据确定为实体集合；
设置所述实体集合中各实体的属性，并确定所述实体集合中各实体间的联系；
汇总所有实体、属性及联系得到所述第一血缘关系图。
本发明实施例中，所述实体集合中包括系统表名称、字段名称及业务系统名称等，所述各实体的属性可以包括：表的备注、表的属性、字段加工结果等，所述各实体间的联系包括一对一、一对多及多对多等。由于将树状图中的节点确定为实体，各节点之间的连边即各实体间的关系，可以快速的生成第一血缘关系图。
S5、检测到所述原始系统表变更后，获取变更后的系统表，抽取变更后的系统表中的数据，并保存至备份临时表中。
本发明实施例中，利用一个临时表来存储结构变化后的系统表数据，得到备份临时表，通过对比关系结果表及备份临时表中的数据来确定新增、删除、修改的数据。例如，当上游业务系统系统表结构发生变更时，将最新一版系统表的数据内容更新保存到临时表中，得到所述备份临时表。
S6、对比所述备份临时表及所述关系结果表中的数据，确定变更数据。
本发明实施例中，所述变更数据包括新增、删除、修改的数据。
具体地，所述对比所述备份临时表及所述关系结果表中的数据，确定变更数据，包括：
利用预设的哈希算法对所述备份临时表及所述关系结果表中的数据进行哈希处理，得到备份哈希值集合及关系哈希值集合；
依次对比所述备份哈希值集合及所述关系哈希值集合中的哈希值；
确定哈希值不同的数据为所述变更数据。
本发明一可选实施例中，所述哈希算法可以为MD5哈希算法，利用哈希算法的不可逆性及对于同一内容会生成同一哈希值的特性，可以准确快速的确定变更数据。
S7、利用所述变更数据更新所述第一血缘关系图，得到第二血缘关系图，并将所述变更数据及所述第二血缘关系图确定为对所述原始系统表的血缘分析结果。
具体地，所述利用所述变更数据更新所述第一血缘关系图，得到第二血缘关系图，包括：
提取所述变更数据中涉及的变更系统表及变更字段；
利用所述变更系统表及变更字段替换所述关系树状图中历史节点的数据；
利用替换完成的关系树状图中各节点的数据更新所述第一血缘关系图中各节点的数据，生成所述第二血缘关系图。
本发明实施例中，利用关系树状图生成关系图的步骤已在S4中进行说明，在此不再赘述。
本发明一可选实施例中，可以在利用变更数据更新完实体-联系图后自动发送变更邮件通知变更影响到的业务系统。同时，在每次数据变更时，会通过实体-联系图可视化各数据间上下游关系，使得数据的加工逻辑更加清晰，并且通过变更数据可快速定位变更内容及影响范围，加强数据的可维护性。
本发明通过梳理系统表数据的字段关系，根据所述字段关系构建关系树状图，通过关系树状图中各节点的关系可以实现整个数据链路从源端到末端的全面打通，提高数据向上追溯及向下追溯的能力，并且通过关系树状图可以快速生成血缘关系图，提高了数据血缘关系的分析效率。同时，将变更数据及第二血缘关系图确定为原始系统表的血缘分析结果，对于有变动的数据，及变动后的数据血缘关系可以快速进行修改，进一步提高了数据血缘分析的效率。因此本发明提出的数据血缘分析方法可以解决数据血缘分析效率较低的问题。
如图2所示，是本发明一实施例提供的数据血缘分析装置的功能模块图。
本发明所述数据血缘分析装置100可以安装于电子设备中。根据实现的功能，所述数据血缘分析装置100可以包括表数据清洗模块101、关系树状图构建模块102、第一血缘图生成模块103、数据对比模块104及第二血缘图生成模块105。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
所述表数据清洗模块101，用于获取原始系统表，抽取所述原始系统表中的表数据，并对抽取到的表数据进行数据清洗，得到系统表数据。
本发明实施例中，所述原始系统表可以为各领域不同业务系统中数据库的系统表，不同的数据库类型，有着不同的系统表，系统表中存放着本数据库的所有表结构信息。
例如，业务系统1的数据库oracle、业务系统2的数据库DB2、业务系统3的数据库informix等。
具体地，所述表数据清洗模块101通过执行下述操作得到系统表数据：
根据预设的分布式采样方式获取各业务系统中数据库的原始系统表；
抽取所述原始系统表中的表数据，并将所述表数据拆分成预设个数的表数据文件；
利用数据抽取工具对所述表数据文件中的表数据进行数据去重、数据去异常及数据缺失值填充，得到所述系统表数据。
本发明实施例中，所述分布式采样方式用来同步采集各业务系统数据库中的系统表，提高数据采集效率，同时，所述表数据包括：字段、表信息、表属性等。
例如，根据实际业务范围同步采集业务系统A、业务系统B及业务系统C中数据库的系统表，并设置系统表中每一万行数据卸载成一个表数据文件。由于系统表中数据较多，卸载成多个文件，有利于数据清洗，提高数据处理速度。
本发明一可选实施例中，所述数据传输平台可以为GTP(General Data TransferPlatform，通用数据传输平台)，由于各业务系统庞大的数据量，借助此平台可以无需任何编码，只需进行简单的配置就可以轻松实现上下级节点间的文件可靠、安全、高效的传输。同时，可以使用数据仓库对表数据文件进行数据清洗，所述数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合，用于支持管理决策(Decision MakingSupport)。所述数据抽取工具可以为ETL(Extract-Transform-Load，抽取-转换-加载)工具，ETL工具是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中。
详细地，所述表数据清洗模块101通过执行下述操作得到所述系统表数据：
利用预设的距离公式对所述所述表数据文件中的表数据进行去重处理，得到去重数据；
利用预设的双边测试剔除法对所述去重数据进行去异常处理，得到去异常数据；
利用预设的填充算法对所述去异常数据进行缺失值填充，得到所述系统表数据。
本发明实施例中，所述预设的距离公式可以为：
其中，d表示表数据文件中任意两个数据的距离值，w1j和w2j表示表数据文件中任意两个数据，当所述距离值小于预设的距离值时，则删除其中任意一个数据，当所述距离值大于等于预设的距离值时，则同时保留两个数据。
本发明实施例中，所述预设的双边测试剔除法可以为：
其中，i属于正整数，
表示去重后的所述表数据文件中数据的平均值，S表示去重后的所述表数据文件中数据的标准差，Yi表示第i个去重数据。G表示去异常阈值，将大于所述异常阈值的数据进行去除。
本发明实施例中，可以通过missmap function缺失函数检测去异常数据中是否存在数据缺失值，若检测没有数据缺失值，则不作处理，若检测存在数据缺失值，所述预设的填充算法可以为：
其中，L(θ)表示填充的数据缺失值，xi表示第i个数据缺失值，θ表示填充的数据缺失值对应的概率参数，n表示去异常数据的数量，p(xi|θ)表示填充的数据缺失值概率。
所述关系树状图构建模块102，用于梳理所述系统表数据的字段关系，并根据所述字段关系构建关系树状图。
本发明实施例中，字段是指表中存放数据的一个列名，例如，A产品表的字段可以包括产品ID、产品名称、产品条码等。
所述字段关系是指系统表、字段及业务系统间的引用关系，例如，A系统的A1表或字段给了哪些系统使用，这些使用的系统涉及哪些表哪些字段。
具体地，所述关系树状图构建模块102通过执行下述操作构建关系树状图：
提取所述系统表数据中系统表、系统表中的字段及业务系统的引用关系；
确定所述业务系统的名称为第一节点、所述系统表的名称为第二节点及所述字段的名称为第三节点；
根据所述引用关系构建所述第一节点、所述第二节点及所述第三节点间的连边；
汇总所述第一节点、所述第二节点、所述第三节点及各节点间的连边，得到字段关系图；
利用正则表达式设置字段解析语句，利用所述字段解析语句对所述字段关系图中的字段进行加工过程解析，得到字段加工结果；
将所述字段加工结果作为第四节点添加至所述字段关系图中，得到所述关系树状图。
本发明实施例中，可以使用操作数据存储系统提取各字段间的引用关系，所述操作数据存储系统即ODS(Operational Data Store)系统，所述ODS系统是数据仓库体系结构中的一个可选部分，也被称为贴源层，用来对数据进行统一整合及分发。
本发明一可选实施例中，通过正则表达式去定义字段解析语句的语法与规则，并对各字段的加工过程进行解析，得到的字段加工结果包括：字段存储过程、ETL过程、程序代码规则等。
本发明实施例中，通过将数据来源、数据加工过程等转化为关系树状图，可以实现整个数据链路从源端到末端的全面打通，提高数据向上追溯及向下追溯的能力。
所述第一血缘图生成模块103，用于提取所述关系树状图中各节点的数据，将所述数据保存至关系结果表；遍历所述关系树状图中各节点的数据，并生成第一血缘关系图。
本发明实施例中，所述关系结果表用来存储所有涉及的系统表、系统表字段及字段的加工关系。
本发明实施例中，所述血缘关系图可以为实体-联系图(Entity RelationshipDiagram，E-R Diagram)所述实体-联系图提供了表示实体类型、属性和联系的方法。
具体地，所述第一血缘图生成模块103通过执行下述操作生成第一血缘关系图：
将所述关系树状图中各节点的数据确定为实体集合；
设置所述实体集合中各实体的属性，并确定所述实体集合中各实体间的联系；
汇总所有实体、属性及联系得到所述第一血缘关系图。
本发明实施例中，所述实体集合中包括系统表名称、字段名称及业务系统名称等，所述各实体的属性可以包括：表的备注、表的属性、字段加工结果等，所述各实体间的联系包括一对一、一对多及多对多等。由于将树状图中的节点确定为实体，各节点之间的连边即各实体间的关系，可以快速的生成第一血缘关系图。
所述数据对比模块104，用于检测到所述原始系统表变更后，获取变更后的系统表，抽取变更后的系统表中的数据，并保存至备份临时表中；对比所述备份临时表及所述关系结果表中的数据，确定变更数据。
本发明实施例中，利用一个临时表来存储结构变化后的系统表数据，得到备份临时表，通过对比关系结果表及备份临时表中的数据来确定新增、删除、修改的数据。例如，当上游业务系统系统表结构发生变更时，将最新一版系统表的数据内容更新保存到临时表中，得到所述备份临时表。
本发明实施例中，所述变更数据包括新增、删除、修改的数据。
具体地，所述数据对比模块104通过执行下述操作确定变更数据：
利用预设的哈希算法对所述备份临时表及所述关系结果表中的数据进行哈希处理，得到备份哈希值集合及关系哈希值集合；
依次对比所述备份哈希值集合及所述关系哈希值集合中的哈希值；
确定哈希值不同的数据为所述变更数据。
本发明一可选实施例中，所述哈希算法可以为MD5哈希算法，利用哈希算法的不可逆性及对于同一内容会生成同一哈希值的特性，可以准确快速的确定变更数据。
所述第二血缘图生成模块105，用于利用所述变更数据更新所述第一血缘关系图，得到第二血缘关系图，并将所述变更数据及所述第二血缘关系图确定为对所述原始系统表的血缘分析结果。
具体地，所述所述第二血缘图生成模块105通过执行下述操作得到第二血缘关系图：
提取所述变更数据中涉及的变更系统表及变更字段；
利用所述变更系统表及变更字段替换所述关系树状图中历史节点的数据；
利用替换完成的关系树状图中各节点的数据更新所述第一血缘关系图中各节点的数据，生成所述第二血缘关系图。
本发明实施例中，利用关系树状图生成关系图的操作已在第一血缘图生成模块103中进行说明，在此不再赘述。
本发明一可选实施例中，可以在利用变更数据更新完实体-联系图后自动发送变更邮件通知变更影响到的业务系统。同时，在每次数据变更时，会通过实体-联系图可视化各数据间上下游关系，使得数据的加工逻辑更加清晰，并且通过变更数据可快速定位变更内容及影响范围，加强数据的可维护性。
本发明通过梳理系统表数据的字段关系，根据所述字段关系构建关系树状图，通过关系树状图中各节点的关系可以实现整个数据链路从源端到末端的全面打通，提高数据向上追溯及向下追溯的能力，并且通过关系树状图可以快速生成血缘关系图，提高了数据血缘关系的分析效率。同时，将变更数据及第二血缘关系图确定为原始系统表的血缘分析结果，对于有变动的数据，及变动后的数据血缘关系可以快速进行修改，进一步提高了数据血缘分析的效率。因此本发明提出的数据血缘分析装置，可以解决数据血缘分析效率较低的问题。
如图3所示，是本发明一实施例提供的实现数据血缘分析方法的电子设备的结构示意图，包括处理器111、通信接口112、存储器113和通信总线114，其中，处理器111，通信接口112，存储器113通过通信总线114完成相互间的通信，
存储器113，用于存放计算机程序，如数据血缘分析方法程序；
在本申请一个实施例中，处理器111，用于执行存储器113上所存放的程序时，实现前述任意一个方法实施例提供的数据血缘分析方法，包括：
获取原始系统表，抽取所述原始系统表中的表数据，并对抽取到的表数据进行数据清洗，得到系统表数据；
梳理所述系统表数据的字段关系，并根据所述字段关系构建关系树状图；
提取所述关系树状图中各节点的数据，将所述数据保存至关系结果表；
遍历所述关系树状图中各节点的数据，并生成第一血缘关系图；
检测到所述原始系统表变更后，获取变更后的系统表，抽取变更后的系统表中的数据，并保存至备份临时表中；
对比所述备份临时表及所述关系结果表中的数据，确定变更数据；
利用所述变更数据更新所述第一血缘关系图，得到第二血缘关系图，并将所述变更数据及所述第二血缘关系图确定为对所述原始系统表的血缘分析结果。
上述通信总线114可以是外设部件互连标准(PeripheralComponentInterconnect，简称PCI)总线或扩展工业标准结构(ExtendedIndustryStandardArchitecture，简称EISA)总线等。该通信总线114可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口112用于上述电子设备与其他设备之间的通信。
存储器113可以包括随机存取存储器(RandomAccessMemory，简称RAM)，也可以包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。可选的，存储器113还可以是至少一个位于远离前述处理器111的存储装置。
上述的处理器111可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DigitalSignalProcessing，简称DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-ProgrammableGateArray，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现：
获取原始系统表，抽取所述原始系统表中的表数据，并对抽取到的表数据进行数据清洗，得到系统表数据；
梳理所述系统表数据的字段关系，并根据所述字段关系构建关系树状图；
提取所述关系树状图中各节点的数据，将所述数据保存至关系结果表；
遍历所述关系树状图中各节点的数据，并生成第一血缘关系图；
检测到所述原始系统表变更后，获取变更后的系统表，抽取变更后的系统表中的数据，并保存至备份临时表中；
对比所述备份临时表及所述关系结果表中的数据，确定变更数据；
利用所述变更数据更新所述第一血缘关系图，得到第二血缘关系图，并将所述变更数据及所述第二血缘关系图确定为对所述原始系统表的血缘分析结果。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
Claims (10)
1.一种数据血缘分析方法，其特征在于，所述方法包括：
获取原始系统表，抽取所述原始系统表中的表数据，并对抽取到的表数据进行数据清洗，得到系统表数据；
梳理所述系统表数据的字段关系，并根据所述字段关系构建关系树状图；
提取所述关系树状图中各节点的数据，将所述数据保存至关系结果表；
遍历所述关系树状图中各节点的数据，并生成第一血缘关系图；
检测到所述原始系统表变更后，获取变更后的系统表，抽取变更后的系统表中的数据，并保存至备份临时表中；
对比所述备份临时表及所述关系结果表中的数据，确定变更数据；
利用所述变更数据更新所述第一血缘关系图，得到第二血缘关系图，并将所述变更数据及所述第二血缘关系图确定为对所述原始系统表的血缘分析结果。
2.如权利要求1所述的数据血缘分析方法，其特征在于，所述获取原始系统表，抽取所述原始系统表中的表数据，并对抽取到的表数据进行数据清洗，得到系统表数据，包括：
根据预设的分布式采样方式获取各业务系统中数据库的原始系统表；
抽取所述原始系统表中的表数据，并将所述表数据拆分成预设个数的表数据文件；
利用数据抽取工具对所述表数据文件中的表数据进行数据去重、数据去异常及数据缺失值填充，得到所述系统表数据。
3.如权利要求2所述的数据血缘分析方法，其特征在于，所述对所述表数据文件中的表数据进行数据去重、数据去异常及数据缺失值填充，得到所述系统表数据，包括：
利用预设的距离公式对所述所述表数据文件中的表数据进行去重处理，得到去重数据；
利用预设的双边测试剔除法对所述去重数据进行去异常处理，得到去异常数据；
利用预设的填充算法对所述去异常数据进行缺失值填充，得到所述系统表数据。
4.如权利要求3所述的数据血缘分析方法，其特征在于，所述梳理所述系统表数据的字段关系，并根据所述字段关系构建关系树状图，包括：
提取所述系统表数据中系统表、系统表中的字段及业务系统的引用关系；
确定所述业务系统的名称为第一节点、所述系统表的名称为第二节点及所述字段的名称为第三节点；
根据所述引用关系构建所述第一节点、所述第二节点及所述第三节点间的连边；
汇总所述第一节点、所述第二节点、所述第三节点及各节点间的连边，得到字段关系图；
利用正则表达式设置字段解析语句，利用所述字段解析语句对所述字段关系图中的字段进行加工过程解析，得到字段加工结果；
将所述字段加工结果作为第四节点添加至所述字段关系图中，得到所述关系树状图。
5.如权利要求1至4中任意一项所述的数据血缘分析方法，其特征在于，所述遍历所述关系树状图中各节点的数据，并生成第一血缘关系图，包括：
将所述关系树状图中各节点的数据确定为实体集合；
设置所述实体集合中各实体的属性，并确定所述实体集合中各实体间的联系；
汇总所有实体、属性及联系得到所述第一血缘关系图。
6.如权利要求5所述的数据血缘分析方法，其特征在于，所述对比所述备份临时表及所述关系结果表中的数据，确定变更数据，包括：
利用预设的哈希算法对所述备份临时表及所述关系结果表中的数据进行哈希处理，得到备份哈希值集合及关系哈希值集合；
依次对比所述备份哈希值集合及所述关系哈希值集合中的哈希值；
确定哈希值不同的数据为所述变更数据。
7.如权利要求5所述的数据血缘分析方法，其特征在于，所述利用所述变更数据更新所述第一血缘关系图，得到第二血缘关系图，包括：
提取所述变更数据中涉及的变更系统表及变更字段；
利用所述变更系统表及变更字段替换所述关系树状图中历史节点的数据；
利用替换完成的关系树状图中各节点的数据更新所述第一血缘关系图中各节点的数据，生成所述第二血缘关系图。
8.一种数据血缘分析装置，其特征在于，所述装置包括：
表数据清洗模块，用于获取原始系统表，抽取所述原始系统表中的表数据，并对抽取到的表数据进行数据清洗，得到系统表数据；
关系树状图构建模块，用于梳理所述系统表数据的字段关系，并根据所述字段关系构建关系树状图；
第一血缘图生成模块，用于提取所述关系树状图中各节点的数据，将所述数据保存至关系结果表；遍历所述关系树状图中各节点的数据，并生成第一血缘关系图；
数据对比模块，用于检测到所述原始系统表变更后，获取变更后的系统表，抽取变更后的系统表中的数据，并保存至备份临时表中；对比所述备份临时表及所述关系结果表中的数据，确定变更数据；
第二血缘图生成模块，用于利用所述变更数据更新所述第一血缘关系图，得到第二血缘关系图，并将所述变更数据及所述第二血缘关系图确定为对所述原始系统表的血缘分析结果。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任意一项所述的数据血缘分析方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的数据血缘分析方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110735371.4A CN113486008A (zh) | 2021-06-30 | 2021-06-30 | 数据血缘分析方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110735371.4A CN113486008A (zh) | 2021-06-30 | 2021-06-30 | 数据血缘分析方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113486008A true CN113486008A (zh) | 2021-10-08 |
Family
ID=77937000
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110735371.4A Pending CN113486008A (zh) | 2021-06-30 | 2021-06-30 | 数据血缘分析方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113486008A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113918571A (zh) * | 2021-10-29 | 2022-01-11 | 平安银行股份有限公司 | 血缘数据读写方法、装置、电子设备及可读存储介质 |
| CN113934801A (zh) * | 2021-10-20 | 2022-01-14 | 中国银行股份有限公司 | 一种数据血缘关系的处理方法、装置及电子设备 |
| CN114911785A (zh) * | 2022-05-16 | 2022-08-16 | 北京航空航天大学 | 一种数据血缘管理方法、装置及电子设备 |
| CN114970479A (zh) * | 2022-07-29 | 2022-08-30 | 飞狐信息技术（天津）有限公司 | 图表生成方法及装置 |
| WO2023231341A1 (zh) * | 2022-06-02 | 2023-12-07 | 蚂蚁区块链科技(上海)有限公司 | 数据资产风险发现方法和装置 |
| CN117762954A (zh) * | 2023-11-17 | 2024-03-26 | 深圳市前海数据服务有限公司 | 一种数据自动化治理方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050289184A1 (en) * | 2004-06-25 | 2005-12-29 | International Business Machines Corporation | Relationship management in a data abstraction model |
| US20150347473A1 (en) * | 2014-05-29 | 2015-12-03 | International Business Machines Corporation | Database partition |
| CN110908997A (zh) * | 2019-10-09 | 2020-03-24 | 支付宝(杭州)信息技术有限公司 | 数据血缘构建方法、装置、服务器及可读存储介质 |
| CN111694858A (zh) * | 2020-04-28 | 2020-09-22 | 平安科技（深圳）有限公司 | 数据血缘分析方法、装置、设备及计算机可读存储介质 |
| CN111708779A (zh) * | 2020-06-11 | 2020-09-25 | 中国建设银行股份有限公司 | 一种数据管理方法、系统、管理设备及存储介质 |
| CN111782265A (zh) * | 2020-06-28 | 2020-10-16 | 中国工商银行股份有限公司 | 基于字段级血缘关系的软件资源系统及其建立方法 |
| CN112634004A (zh) * | 2020-12-30 | 2021-04-09 | 中国农业银行股份有限公司 | 征信数据的血缘图谱分析方法与系统 |
| CN113032362A (zh) * | 2021-03-18 | 2021-06-25 | 广州虎牙科技有限公司 | 数据血缘分析方法、装置、电子设备和存储介质 |
-
2021
- 2021-06-30 CN CN202110735371.4A patent/CN113486008A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050289184A1 (en) * | 2004-06-25 | 2005-12-29 | International Business Machines Corporation | Relationship management in a data abstraction model |
| US20150347473A1 (en) * | 2014-05-29 | 2015-12-03 | International Business Machines Corporation | Database partition |
| CN110908997A (zh) * | 2019-10-09 | 2020-03-24 | 支付宝(杭州)信息技术有限公司 | 数据血缘构建方法、装置、服务器及可读存储介质 |
| CN111694858A (zh) * | 2020-04-28 | 2020-09-22 | 平安科技（深圳）有限公司 | 数据血缘分析方法、装置、设备及计算机可读存储介质 |
| CN111708779A (zh) * | 2020-06-11 | 2020-09-25 | 中国建设银行股份有限公司 | 一种数据管理方法、系统、管理设备及存储介质 |
| CN111782265A (zh) * | 2020-06-28 | 2020-10-16 | 中国工商银行股份有限公司 | 基于字段级血缘关系的软件资源系统及其建立方法 |
| CN112634004A (zh) * | 2020-12-30 | 2021-04-09 | 中国农业银行股份有限公司 | 征信数据的血缘图谱分析方法与系统 |
| CN113032362A (zh) * | 2021-03-18 | 2021-06-25 | 广州虎牙科技有限公司 | 数据血缘分析方法、装置、电子设备和存储介质 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113934801A (zh) * | 2021-10-20 | 2022-01-14 | 中国银行股份有限公司 | 一种数据血缘关系的处理方法、装置及电子设备 |
| CN113934801B (zh) * | 2021-10-20 | 2024-10-01 | 中国银行股份有限公司 | 一种数据血缘关系的处理方法、装置及电子设备 |
| CN113918571A (zh) * | 2021-10-29 | 2022-01-11 | 平安银行股份有限公司 | 血缘数据读写方法、装置、电子设备及可读存储介质 |
| CN114911785A (zh) * | 2022-05-16 | 2022-08-16 | 北京航空航天大学 | 一种数据血缘管理方法、装置及电子设备 |
| WO2023231341A1 (zh) * | 2022-06-02 | 2023-12-07 | 蚂蚁区块链科技(上海)有限公司 | 数据资产风险发现方法和装置 |
| CN114970479A (zh) * | 2022-07-29 | 2022-08-30 | 飞狐信息技术（天津）有限公司 | 图表生成方法及装置 |
| CN117762954A (zh) * | 2023-11-17 | 2024-03-26 | 深圳市前海数据服务有限公司 | 一种数据自动化治理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113486008A (zh) | 数据血缘分析方法、装置、设备及存储介质 | |
| CN111046034B (zh) | 管理内存数据及在内存中维护数据的方法和系统 | |
| US9852144B2 (en) | System and method for investigating large amounts of data | |
| WO2021068547A1 (zh) | 日志模板提取方法及装置 | |
| CN112445875B (zh) | 数据关联及检验方法、装置、电子设备及存储介质 | |
| CN107729399B (zh) | 数据处理的方法和装置 | |
| Ramzan et al. | Intelligent data engineering for migration to NoSQL based secure environments | |
| WO2017096892A1 (zh) | 索引构建方法、查询方法及对应装置、设备、计算机存储介质 | |
| WO2022237506A1 (zh) | 在线问诊业务监控方法、装置、设备及存储介质 | |
| CN112579578A (zh) | 基于元数据的数据质量管理方法、装置、系统及服务器 | |
| CN112800085B (zh) | 一种基于布隆过滤器识别表间主外键字段的方法及装置 | |
| CN111125045B (zh) | 一种轻量级etl处理平台 | |
| CN111881110B (zh) | 数据迁移方法及装置 | |
| CN113961549A (zh) | 基于数据仓库的医疗数据整合方法及系统 | |
| CN115470355A (zh) | 轨道交通信息查询方法、装置、电子设备和存储介质 | |
| CN110309206B (zh) | 订单信息采集方法及系统 | |
| CN116719822B (zh) | 一种海量结构化数据的存储方法及系统 | |
| CN117251414A (zh) | 一种基于异构技术的数据存储及处理方法 | |
| WO2019153546A1 (zh) | 万级维度数据生成方法、装置、设备以及存储介质 | |
| CN113505172B (zh) | 数据处理方法、装置、电子设备及可读存储介质 | |
| EP4105813A1 (en) | Method for analyzing data consisting of a large number of individual messages, computer program product and computer system | |
| CN113380414A (zh) | 基于大数据的数据采集方法及系统 | |
| CN114490667A (zh) | 多维度的数据分析方法、装置、电子设备及介质 | |
| CN113157934A (zh) | 知识图谱起源处理方法和系统、电子设备和存储介质 | |
| US11556566B1 (en) | Processing of computer readable tables in a datalake |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20211008 |
|
| WD01 | Invention patent application deemed withdrawn after publication |