CN113934801B - 一种数据血缘关系的处理方法、装置及电子设备 - Google Patents
一种数据血缘关系的处理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN113934801B CN113934801B CN202111221570.XA CN202111221570A CN113934801B CN 113934801 B CN113934801 B CN 113934801B CN 202111221570 A CN202111221570 A CN 202111221570A CN 113934801 B CN113934801 B CN 113934801B
- Authority
- CN
- China
- Prior art keywords
- data
- blood
- information
- parameter table
- relationship
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000008280 blood Substances 0.000 title claims abstract description 46
- 210000004369 blood Anatomy 0.000 title claims abstract description 46
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 71
- 238000012986 modification Methods 0.000 claims abstract description 39
- 230000004048 modification Effects 0.000 claims abstract description 39
- 238000000034 method Methods 0.000 claims description 31
- 230000000694 effects Effects 0.000 claims description 19
- 238000012217 deletion Methods 0.000 claims description 17
- 230000037430 deletion Effects 0.000 claims description 17
- 238000012216 screening Methods 0.000 claims description 12
- 238000010276 construction Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 abstract description 9
- 238000007726 management method Methods 0.000 description 8
- 238000012423 maintenance Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 3
- 230000008676 import Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000008033 biological extinction Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/288—Entity relationship models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/221—Column-oriented storage; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种数据血缘关系的处理方法、装置及电子设备,可用于大数据领域或金融领域。本发明中,获取预先生成的目标数据的思维导图,并生成与所述思维导图对应、且采用数据项标签方式展示的信息参数表,依次获取所述信息参数表中的每一行信息参数,并按照信息参数之间的层级关系,搭建所述目标数据的初始数据血缘关系。即本发明按照信息参数之间的层级关系进行初始数据血缘关系的搭建,相比于人工使用电子表格进行手工登记管理的方式,能够提高数据血缘关系搭建的准确度。进一步,本发明还能够实现数据血缘关系的数据新增以及修改,完善数据血缘关系的处理方式。
Description
技术领域
本发明涉及数据处理领域,更具体的说,涉及一种数据血缘关系的处理方法、装置及电子设备。
背景技术
数据血缘关系是指数据在产生、处理、流转到消亡过程中,数据之间形成的一种类似于人类社会血缘关系的关系。
通过搭建数据之间的血缘关系,能够有效对企业的数据进行统一管理。目前,在搭建数据血缘关系时,人工使用电子表格进行手工登记管理,使得搭建的数据血缘关系的准确度较差。
发明内容
有鉴于此,本发明提供一种数据血缘关系的处理方法、装置及电子设备,以解决搭建的数据血缘关系的准确度较差的问题。
为解决上述技术问题,本发明采用了如下技术方案:
一种数据血缘关系的处理方法,包括:
获取预先生成的目标数据的思维导图,并生成与所述思维导图对应、且采用数据项标签方式展示的信息参数表;
依次获取所述信息参数表中的每一行信息参数,并按照信息参数之间的层级关系,搭建所述目标数据的初始数据血缘关系;
接收所述初始数据血缘关系对应的数据处理指令;
在所述数据处理指令为包括新增数据的数据新增指令的情况下,对所述新增数据以及所述信息参数表中的信息参数进行二义性检查,并在检查通过后,在所述信息参数表中添加所述新增数据,并根据所述新增数据,对所述初始数据血缘关系进行节点添加操作,得到第一数据血缘关系;
在所述数据处理指令为包括修改数据的数据修改指令的情况下,按照所述修改数据,对所述信息参数表进行修改,并基于所述信息参数表中的被修改部分,对所述初始数据血缘关系进行节点修改操作,得到第二数据血缘关系。
可选地,获取预先生成的目标数据的思维导图,并生成与所述思维导图对应、且采用数据项标签方式展示的信息参数表,包括:
获取预先生成的目标数据的思维导图,所述思维导图包括所述目标数据的目标子数据的数据内容,所述数据内容包括所属业务领域信息、所属业务活动信息、所属部门信息和所属产品信息;
确定所述数据内容的数据项标签;
获取所述目标子数据的数据库表简称和数据项序号,并基于所述目标子数据的所述数据项标签、所述数据库表简称和所述数据项序号,生成所述目标数据的信息参数表。
可选地,依次获取所述信息参数表中的每一行信息参数,并按照信息参数之间的层级关系,搭建所述目标数据的初始数据血缘关系,包括:
依次获取所述信息参数表中的每一行信息参数;
针对每一行信息参数,按照所述行的信息参数之间的排列顺序,依次获取所述行的各个信息参数;所述行的各个信息参数按照排列顺序设置有对应的层级关系;
确定所述行的各个信息参数中的最后一个非空信息参数在初始数据血缘关系中的位置,并在所述初始数据血缘关系中创建所述位置对应的节点,并作为所述行的信息参数对应的节点,以得到初始数据血缘关系。
可选地,在所述数据处理指令为包括数据查询方式的数据查询指令的情况下,还包括:
获取所述数据查询方式;所述数据查询方式包括查询方式和查询字段;
在所述查询方式为字段级数据血缘关系查询方式的情况下,从所述信息参数表中筛选得到所述查询字段,并展示所述查询字段的信息参数;
在所述查询方式为全景级数据血缘关系查询方式的情况下,从所述初始数据血缘关系中筛选得到所述查询字段,并将所述初始数据血缘关系中的所述查询字段展示在界面中心。
可选地,在所述数据处理指令为包括目标删除对象的数据删除指令的情况下,还包括:
从所述初始数据血缘关系中删除所述目标删除对象对应的节点;
将所述信息参数表中删除与所述目标删除对象相关联的数据。
一种数据血缘关系的处理装置,包括:
参数表生成模块,用于获取预先生成的目标数据的思维导图,并生成与所述思维导图对应、且采用数据项标签方式展示的信息参数表;
关系构建模块,用于依次获取所述信息参数表中的每一行信息参数,并按照信息参数之间的层级关系,搭建所述目标数据的初始数据血缘关系;
指令接收模块,用于接收所述初始数据血缘关系对应的数据处理指令;
第一处理模块,用于在所述数据处理指令为包括新增数据的数据新增指令的情况下,对所述新增数据以及所述信息参数表中的信息参数进行二义性检查,并在检查通过后,在所述信息参数表中添加所述新增数据,并根据所述新增数据,对所述初始数据血缘关系进行节点添加操作,得到第一数据血缘关系;
第二处理模块,用于在所述数据处理指令为包括修改数据的数据修改指令的情况下,按照所述修改数据,对所述信息参数表进行修改,并基于所述信息参数表中的被修改部分,对所述初始数据血缘关系进行节点修改操作,得到第二数据血缘关系。
可选地,所述参数表生成模块包括:
数据获取子模块,用于获取预先生成的目标数据的思维导图,所述思维导图包括所述目标数据的目标子数据的数据内容,所述数据内容包括所属业务领域信息、所属业务活动信息、所属部门信息和所属产品信息;
标签确定子模块,用于确定所述数据内容的数据项标签;
参数表生成子模块,用于获取所述目标子数据的数据库表简称和数据项序号,并基于所述目标子数据的所述数据项标签、所述数据库表简称和所述数据项序号,生成所述目标数据的信息参数表。
可选地,所述关系构建模块包括:
参数获取子模块,用于依次获取所述信息参数表中的每一行信息参数,并针对每一行信息参数,按照所述行的信息参数之间的排列顺序,依次获取所述行的各个信息参数;所述行的各个信息参数按照排列顺序设置有对应的层级关系;
节点确定子模块,用于确定所述行的各个信息参数中的最后一个非空信息参数在初始数据血缘关系中的位置,并在所述初始数据血缘关系中创建所述位置对应的节点,并作为所述行的信息参数对应的节点,以得到初始数据血缘关系。
可选地,还包括数据查询模块,用于在所述数据处理指令为包括数据查询方式的数据查询指令的情况下,获取所述数据查询方式;在所述查询方式为字段级数据血缘关系查询方式的情况下,从所述信息参数表中筛选得到所述查询字段,并展示所述查询字段的信息参数;在所述查询方式为全景级数据血缘关系查询方式的情况下,从所述初始数据血缘关系中筛选得到所述查询字段,并将所述初始数据血缘关系中的所述查询字段展示在界面中心;所述数据查询方式包括查询方式和查询字段。
一种电子设备,包括:存储器和处理器;
其中,所述存储器用于存储程序;
处理器调用程序并用于执行上述的数据血缘关系的处理方法。
相较于现有技术,本发明具有以下有益效果:
本发明提供了一种数据血缘关系的处理方法、装置及电子设备,本发明中,获取预先生成的目标数据的思维导图,并生成与所述思维导图对应、且采用数据项标签方式展示的信息参数表,依次获取所述信息参数表中的每一行信息参数,并按照信息参数之间的层级关系,搭建所述目标数据的初始数据血缘关系。即本发明按照信息参数之间的层级关系进行初始数据血缘关系的搭建,相比于人工使用电子表格进行手工登记管理的方式,能够提高数据血缘关系搭建的准确度。进一步,本发明还能够实现数据血缘关系的数据新增以及修改,完善数据血缘关系的处理方式。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种数据血缘关系的处理方法的方法流程图;
图2为本发明实施例提供的另一种数据血缘关系的处理方法的方法流程图;
图3为本发明实施例提供的又一种数据血缘关系的处理方法的方法流程图;
图4为本发明实施例提供的一种数据血缘关系的场景示意图;
图5为本发明实施例提供的一种数据血缘关系的处理装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
数据血缘关系是指数据在产生、处理、流转到消亡过程中,数据之间形成的一种类似于人类社会血缘关系的关系。
通过搭建数据之间的血缘关系,能够有效对企业的数据进行统一管理。目前,在搭建数据血缘关系时,人工使用电子表格进行手工登记管理,使得搭建的数据血缘关系的准确度较差。
为了解决这一技术问题,发明人经过研究发现,可以通过自动化方式建立数据血缘关系,这样可以避免人工构建带来的准确度和效率较低的问题。具体的,本发明提供了一种数据血缘关系的处理方法、装置及电子设备,本发明中,获取预先生成的目标数据的思维导图,并生成与所述思维导图对应、且采用数据项标签方式展示的信息参数表,依次获取所述信息参数表中的每一行信息参数,并按照信息参数之间的层级关系,搭建所述目标数据的初始数据血缘关系。即本发明按照信息参数之间的层级关系进行初始数据血缘关系的搭建,相比于人工使用电子表格进行手工登记管理的方式,能够提高数据血缘关系搭建的准确度。进一步,本发明还能够实现数据血缘关系的数据新增以及修改,完善数据血缘关系的处理方式。
需要说明的是,本发明提供的一种数据血缘关系的处理方法、装置及电子设备可用于大数据领域或金融领域。上述仅为示例,并不对本发明提供的一种数据血缘关系的处理方法、装置及电子设备的应用领域进行限定。
在上述内容的基础上,本发明实施例提供了一种数据血缘关系的处理方法,可以应用于处理器、服务器等设备。参照图1,一种数据血缘关系的处理方法可以包括:
S11、获取预先生成的目标数据的思维导图,并生成与所述思维导图对应、且采用数据项标签方式展示的信息参数表。
本实施例中,可以构建一银行内的所有数据的思维导图。在进行思维导图的构建时,需要人工梳理划分企业的企业级业务领域,梳理银行现有的所有数据项,梳理内容按照由高阶到低阶顺序(不限于)如表1所示:
表1
其中指标项由高阶到低阶的顺序为:所属业务领域->所属业务活动->所属部门->所属产品->所属数据库表->字段名称。
然后人工复核上一步所梳理的现有银行或企业所有数据项及其所属业务领域、所属业务活动、所属部门、所属产品等信息,用思维导图方法制作企业级所有涉及数据项的含业务领域、业务活动、部门、产品四级高阶思维导图(因仅绘制到产品一级,所以称为高阶思维导图)。
也即所述思维导图包括所述目标数据的目标子数据(将银行中的所有数据称为目标数据,将银行中的每一数据称为目标子数据)的数据内容,所述数据内容包括所属业务领域信息、所属业务活动信息、所属部门信息和所属产品信息。
在生成了目标数据的思维导图后,生成与所述思维导图对应、且采用数据项标签方式展示的信息参数表。
具体的,参照图2,生成信息参数表的过程可以包括:
S21、获取预先生成的目标数据的思维导图。
所述思维导图包括所述目标数据的目标子数据的数据内容,所述数据内容包括所属业务领域信息、所属业务活动信息、所属部门信息和所属产品信息。
S22、确定所述数据内容的数据项标签。
本实施例中,可以预先确定数据内容中的每一项的数据项标签的格式,如所属业务领域的数据项标签的格式为2位所属业务领域编号,所属业务活动的数据项标签的格式为2位所属业务活动编号等。
S23、获取所述目标子数据的数据库表简称和数据项序号,并基于所述目标子数据的所述数据项标签、所述数据库表简称和所述数据项序号,生成所述目标数据的信息参数表。
本实施例中,除了将上述的数据内容添加到信息参数表中,还需要将数据库表简称和数据项序号添加到信息参数表中。信息参数表中的所有字节数可以共20个字节。
则,信息参数表的形式可以为表2。
表2
其中,6位数据项序号是指该目标子数据的序列号,如某一借款数据用0001表示,某一贷款数据用0002表示。每一条目标子数据均对应有表2的一行数据。
本实施例中,根据绘制好的思维导图,数字化银行涉及数据项的所有业务领域、业务活动、部门、产品,并为这些信息建立信息参数表,将这些信息及其数字化后的信息对应关系以参数表的形式存储下来,为后续构建银行或企业数据血缘关系数字化模型做准备。
S12、依次获取所述信息参数表中的每一行信息参数,并按照信息参数之间的层级关系,搭建所述目标数据的初始数据血缘关系。
本实施例中,在进行搭建数据血缘关系之前,需要创建任务,然后响应该任务,进行数据血缘关系的搭建。
除了可以在创建数据血缘关系时进行任务的创建,在数据血缘关系修改、删除、新增以及上述的生成、保存信息参数表时,均需要进行任务的创建。若没有任务创建,则不可随意操作。
在任务创建时,需要选择建立好的批次任务编号等信息,具体任务创建所需内容参照表3所示。
表3
其中,维护标识和本批次数据接口是否发布的内容根据具体场景进行选择,以维护标识为例,若是新增数据,则选择I,若是删除数据,则选择D。
创建该任务后,可以对该任务以及上述的数据项标签进行存储。本实施例中,在进行存储时,可以采用结构化存储方式存储到关系型数据库。参照表4。
表4
其中,表2中的所有的数据项标签,按照顺序均存储到表4中的“数据项标签”对应的填充位置处。
此外,在创建了搭建初始数据血缘关系的任务后,可以执行该任务。此时,依次获取所述信息参数表中的每一行信息参数,并按照信息参数之间的层级关系,搭建所述目标数据的初始数据血缘关系。
具体的,参照图3,搭建所述目标数据的初始数据血缘关系可以包括:
S31、依次获取所述信息参数表中的每一行信息参数。
本实施例中,每一行信息参数可以参照表2。
S32、针对每一行信息参数,按照所述行的信息参数之间的排列顺序,依次获取所述行的各个信息参数。
具体的,所述行的各个信息参数按照排列顺序设置有对应的层级关系。
如层级关系为:
所属业务领域->所属业务活动->所属部门->所属产品->所属数据库表->字段名称(通过字段名称确定数据项序号)。
即,优先按照所属业务领域,确定该行数据在初始数据血缘关系中的位置,然后在按照所属业务活动进一步确认位置,再按照所属部门确定进一步的位置……直至确定到所属数据库表,最后将数据项序号添加到该所述数据库表后。
S33、确定所述行的各个信息参数中的最后一个非空信息参数在初始数据血缘关系中的位置,并在所述初始数据血缘关系中创建所述位置对应的节点,并作为所述行的信息参数对应的节点,以得到初始数据血缘关系。
具体的,针对该行数据,按照排列顺序依次获取,首先获取所属业务领域,判断所属业务领域的内容是否为空,若是空,则结束处理。
若不为空,则确定初始数据血缘关系中是否添加有这一所属业务领域,若没有,则在初始数据血缘关系中添加这一所属业务领域。若有,则直接定位到初始数据血缘关系中的这一所属业务领域。
然后获取所属业务活动,处理过程与所属业务领域相同,顺序处理,直至处理到所属数据库表,在初始数据血缘关系中定位到所属数据库表,或者是在初始数据血缘关系中添加了所属数据库表后,在其后添加数据项序号对应的节点,并将该节点的内容更改为数据项序号。数据项序号所在的节点即为该行数据在初始数据血缘关系中的节点。
该行信息参数处理完成后,继续获取下一行,直至处理完所有行的信息参数,即可构建得到初始数据血缘关系。
需要说明的是,所属业务领域、所属业务活动、所属部门、所属产品等均作为一个节点,配置在初始数据血缘关系中,若没有这一节点,则需要进行新增该节点。若有该节点,则直接使用。
构建得到的初始数据血缘关系类似图4。该初始数据血缘关系就能够表征银行内的所有数据的一个血缘关系。在得到初始数据血缘关系后,采用非结构化存储方式存储到图数据库中。
S13、接收所述初始数据血缘关系对应的数据处理指令。
本实施例中的数据处理指令可以是新增、修改、删除、查询等。每一项操作都必须经过主管的授权才可以生效。本实施例中的数据处理指令也需要按照上述方式进行任务的创建,然后在执行相应的数据处理操作。
S14、在所述数据处理指令为包括新增数据的数据新增指令的情况下,对所述新增数据以及所述信息参数表中的信息参数进行二义性检查,并在检查通过后,在所述信息参数表中添加所述新增数据,并根据所述新增数据,对所述初始数据血缘关系进行节点添加操作,得到第一数据血缘关系。
本实施例中,支持数据的新增操作,主要是开发新增数据项的联机交易,新增交易有单笔新增和批量导入两种方式。单笔新增联机交易界面的主要栏位包括:字段中文名、字段说明、所属业务领域、所属业务活动、所属部门、所属产品、所属数据库表、数据类型、数据格式、数据需求方、是否非空、批次任务编号。其中,字段中文名、字段说明、数据类型、数据格式、数据需求方、是否非空为可输入,其余栏位均为下拉菜单选择。
批量导入支持按照一定的模板填写EXCEL导入表后,通过导入表加载一条或多条数据项的功能。新增数据项时,系统会要求经办员选择对应的批次任务号,不选择不予以添加新的数据项操作,然后根据经办员所录入的数据项所属产品等信息,进行数据字典项的二义性检查,检查通过后,系统才允许新增该数据项。
若是未检查通过,则说明初始数据血缘关系中,存在与该新增数据类似的数据,如存款和存钱类似,此时可以将新增数据归并,如将存款和存钱归并。
若是检查通过,则说明该新增数据可以作为一个新增的数据进行添加,此时在所述信息参数表中添加所述新增数据,添加新增数据时仍以上述的数据项标签的方式添加。同时,根据所述新增数据,对所述初始数据血缘关系进行节点添加操作,得到第一数据血缘关系。
其中,节点添加操作与生成初始数据血缘关系中的节点的过程类似。
S15、在所述数据处理指令为包括修改数据的数据修改指令的情况下,按照所述修改数据,对所述信息参数表进行修改,并基于所述信息参数表中的被修改部分,对所述初始数据血缘关系进行节点修改操作,得到第二数据血缘关系。
本实施例中,支持在数据项列表查询中选择某一条数据项列表进行修改。具体的,可以是人工筛选出一条数据进行修改,此时会接收到用户输出的数据修改指令,该指令中包括修改数据,然后按照该修改数据,对所述信息参数表进行修改。修改后,重新生成数据项标签。
并且,并基于所述信息参数表中的被修改部分,对所述初始数据血缘关系进行节点修改操作,得到第二数据血缘关系。其中,修改过程就是对节点的数据或位置进行调整的过程。
进一步,本发明另一实施例中,还支持数据查询。具体的,在所述数据处理指令为包括数据查询方式的数据查询指令的情况下,还包括:
1)获取所述数据查询方式。
所述数据查询方式包括查询方式和查询字段。其中,查询方式包括:
字段级数据血缘关系查询方式和全景级数据血缘关系查询方式。查询字段即为用户想要查询的字段。
2)在所述查询方式为字段级数据血缘关系查询方式的情况下,从所述信息参数表中筛选得到所述查询字段,并展示所述查询字段的信息参数。
字段级数据血缘关系查询方式是为了查询某一字段或数据的具体内容,如查询某一数据所属的业务领域、业务活动等。此时,直接从信息参数表中筛选得到所述查询字段,然后展示所述查询字段的信息参数。
此外,字段级血缘关系查询还能够展示的是与该字段有关的所有向上溯源和字段下游依赖检索关系。此时,根据用户输入提供的数据项字段名称,通过模糊查询,查询出表4中所有字段名称与用户输入的字段名称相匹配的数据项,并通过解析该记录的“数据项标签”栏位信息,得到该数据项与向上溯源有关的该数据项所属的业务领域、业务活动等上层信息,通过表4的“数据需求方”栏位获取该数据项下游依赖检索关系,并将这些信息以列表的形式展示。
3)在所述查询方式为全景级数据血缘关系查询方式的情况下,从所述初始数据血缘关系中筛选得到所述查询字段,并将所述初始数据血缘关系中的所述查询字段展示在界面中心。
全景级数据血缘关系查询方式是展示整个数据血缘关系,从所述初始数据血缘关系中筛选得到所述查询字段,并将查询字段放置在界面中心处,以使用户能直观的看到想要查询的字段在数据血缘关系中的位置区域。此时,
需要说明的是,全景级数据血缘关系展现采用比较形象的思维导图模式展现。由于全景级展现的数据血缘关系图比较复杂,生成耗时比较长,本发明仅支持批次任务级的全景展现,每一批次任务完成后,系统会于批量后台处理期间通过批量加工生成截止该批次止(即包括变更批次任务小于等于本批次的所有数据项)的数据血缘关系图,并按批次任务号为记录单位存储于图数据库中。在生成数据血缘关系图之后,才可以发布本批次的数据接口和数据血缘关系图谱。
在进行全景级查询时,系统优先查询图数据库中相关批次的数据血缘关系记录,如存在,则优先从里面取出并予以展示,否则系统会实时调用数据血缘关系图谱生成模块生成数据血缘关系图并予以实时展现。
进一步,本发明另一实施例中,还能够实现数据的删除操作。具体的,在所述数据处理指令为包括目标删除对象的数据删除指令的情况下,还包括:
从所述初始数据血缘关系中删除所述目标删除对象对应的节点,将所述信息参数表中删除与所述目标删除对象相关联的数据。
本实施例提供数据项的删除功能,删除操作主要是在数据项查询列表清单中选择指定的记录,并选择该记录,选择删除功能按钮,此时认为接收到数据删除指令,经过授权后将该记录做逻辑删除,并将该记录的维护日期更新为当前处理的会计日期,维护标识更新为删除标识D,删除操作后,后续生成的数据血缘关系图谱不再显示与该删除数据项有关的所有节点。
在具体删除时,从初始数据血缘关系中查询得到该删除对象对应的节点,并进行删除操作。此外,还需要将所述信息参数表中删除与所述目标删除对象相关联的数据。
此外,本发明实施例还提供发布功能,主要是完成数据项接口和数据血缘关系的发布,由于数据项跟开发批次任务是紧密联系的,只有在批次任务启动后才提供维护变更,变更维护后批量加工生成全景数据血缘关系图谱后才可以发布本批次的数据接口和数据血缘关系图谱。
本实施例中,获取预先生成的目标数据的思维导图,并生成与所述思维导图对应、且采用数据项标签方式展示的信息参数表,依次获取所述信息参数表中的每一行信息参数,并按照信息参数之间的层级关系,搭建所述目标数据的初始数据血缘关系。即本发明按照信息参数之间的层级关系进行初始数据血缘关系的搭建,相比于人工使用电子表格进行手工登记管理的方式,能够提高数据血缘关系搭建的准确度。进一步,本发明还能够实现数据血缘关系的数据新增以及修改,完善数据血缘关系的处理方式。
另外,本实施例中,借鉴思维导图思想设计一种能建立从源头系统开始端到端末端,能涵盖银行所有数据的数据血缘关系的方法,通过全面梳理目前所有数据及其血缘关系,基于思维导图构建数据血缘关系,以图文并茂的方式管理和展现银行或企业所有数据的数据血缘关系,提高银行或企业数据治理的能力和管理效率。也提高了数据展示的形象化和科学化,便于后续数据维护操作。
可选地,在上述数据血缘关系的处理方法的实施例的基础上,本发明的另一实施例提供了一种数据血缘关系的处理装置,参照图5,可以包括:
参数表生成模块11,用于获取预先生成的目标数据的思维导图,并生成与所述思维导图对应、且采用数据项标签方式展示的信息参数表;
关系构建模块12,用于依次获取所述信息参数表中的每一行信息参数,并按照信息参数之间的层级关系,搭建所述目标数据的初始数据血缘关系;
指令接收模块13,用于接收所述初始数据血缘关系对应的数据处理指令;
第一处理模块14,用于在所述数据处理指令为包括新增数据的数据新增指令的情况下,对所述新增数据以及所述信息参数表中的信息参数进行二义性检查,并在检查通过后,在所述信息参数表中添加所述新增数据,并根据所述新增数据,对所述初始数据血缘关系进行节点添加操作,得到第一数据血缘关系;
第二处理模块15,用于在所述数据处理指令为包括修改数据的数据修改指令的情况下,按照所述修改数据,对所述信息参数表进行修改,并基于所述信息参数表中的被修改部分,对所述初始数据血缘关系进行节点修改操作,得到第二数据血缘关系。
进一步,所述参数表生成模块包括:
数据获取子模块,用于获取预先生成的目标数据的思维导图,所述思维导图包括所述目标数据的目标子数据的数据内容,所述数据内容包括所属业务领域信息、所属业务活动信息、所属部门信息和所属产品信息;
标签确定子模块,用于确定所述数据内容的数据项标签;
参数表生成子模块,用于获取所述目标子数据的数据库表简称和数据项序号,并基于所述目标子数据的所述数据项标签、所述数据库表简称和所述数据项序号,生成所述目标数据的信息参数表。
进一步,所述关系构建模块包括:
参数获取子模块,用于依次获取所述信息参数表中的每一行信息参数,并针对每一行信息参数,按照所述行的信息参数之间的排列顺序,依次获取所述行的各个信息参数;所述行的各个信息参数按照排列顺序设置有对应的层级关系;
节点确定子模块,用于确定所述行的各个信息参数中的最后一个非空信息参数在初始数据血缘关系中的位置,并在所述初始数据血缘关系中创建所述位置对应的节点,并作为所述行的信息参数对应的节点,以得到初始数据血缘关系。
进一步,还包括数据查询模块,用于在所述数据处理指令为包括数据查询方式的数据查询指令的情况下,获取所述数据查询方式;在所述查询方式为字段级数据血缘关系查询方式的情况下,从所述信息参数表中筛选得到所述查询字段,并展示所述查询字段的信息参数;在所述查询方式为全景级数据血缘关系查询方式的情况下,从所述初始数据血缘关系中筛选得到所述查询字段,并将所述初始数据血缘关系中的所述查询字段展示在界面中心;所述数据查询方式包括查询方式和查询字段。
进一步,还包括数据删除模块,用于在所述数据处理指令为包括目标删除对象的数据删除指令的情况下,从所述初始数据血缘关系中删除所述目标删除对象对应的节点,将所述信息参数表中删除与所述目标删除对象相关联的数据。
本实施例中,获取预先生成的目标数据的思维导图,并生成与所述思维导图对应、且采用数据项标签方式展示的信息参数表,依次获取所述信息参数表中的每一行信息参数,并按照信息参数之间的层级关系,搭建所述目标数据的初始数据血缘关系。即本发明按照信息参数之间的层级关系进行初始数据血缘关系的搭建,相比于人工使用电子表格进行手工登记管理的方式,能够提高数据血缘关系搭建的准确度。进一步,本发明还能够实现数据血缘关系的数据新增以及修改,完善数据血缘关系的处理方式。
需要说明的是,本实施例中的各个模块和子模块的工作过程,请参照上述实施例中的相应说明,在此不再赘述。
可选地,在上述数据血缘关系的处理方法及装置的实施例的基础上,本发明的另一实施例提供了一种电子设备,包括:存储器和处理器;
其中,所述存储器用于存储程序;
处理器调用程序并用于执行上述的数据血缘关系的处理方法。
本实施例中,获取预先生成的目标数据的思维导图,并生成与所述思维导图对应、且采用数据项标签方式展示的信息参数表,依次获取所述信息参数表中的每一行信息参数,并按照信息参数之间的层级关系,搭建所述目标数据的初始数据血缘关系。即本发明按照信息参数之间的层级关系进行初始数据血缘关系的搭建,相比于人工使用电子表格进行手工登记管理的方式,能够提高数据血缘关系搭建的准确度。进一步,本发明还能够实现数据血缘关系的数据新增以及修改,完善数据血缘关系的处理方式。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种数据血缘关系的处理方法,其特征在于,包括:
获取预先生成的目标数据的思维导图,并生成与所述思维导图对应、且采用数据项标签方式展示的信息参数表;
依次获取所述信息参数表中的每一行信息参数,并按照信息参数之间的层级关系,搭建所述目标数据的初始数据血缘关系;
接收所述初始数据血缘关系对应的数据处理指令;
在所述数据处理指令为包括新增数据的数据新增指令的情况下,对所述新增数据以及所述信息参数表中的信息参数进行二义性检查,并在检查通过后,在所述信息参数表中添加所述新增数据,并根据所述新增数据,对所述初始数据血缘关系进行节点添加操作,得到第一数据血缘关系;
在所述数据处理指令为包括修改数据的数据修改指令的情况下,按照所述修改数据,对所述信息参数表进行修改,并基于所述信息参数表中的被修改部分,对所述初始数据血缘关系进行节点修改操作,得到第二数据血缘关系。
2.根据权利要求1所述的处理方法,其特征在于,获取预先生成的目标数据的思维导图,并生成与所述思维导图对应、且采用数据项标签方式展示的信息参数表,包括:
获取预先生成的目标数据的思维导图,所述思维导图包括所述目标数据的目标子数据的数据内容,所述数据内容包括所属业务领域信息、所属业务活动信息、所属部门信息和所属产品信息;
确定所述数据内容的数据项标签;
获取所述目标子数据的数据库表简称和数据项序号,并基于所述目标子数据的所述数据项标签、所述数据库表简称和所述数据项序号,生成所述目标数据的信息参数表。
3.根据权利要求1所述的处理方法,其特征在于,依次获取所述信息参数表中的每一行信息参数,并按照信息参数之间的层级关系,搭建所述目标数据的初始数据血缘关系,包括:
依次获取所述信息参数表中的每一行信息参数;
针对每一行信息参数,按照所述行的信息参数之间的排列顺序,依次获取所述行的各个信息参数;所述行的各个信息参数按照排列顺序设置有对应的层级关系;
确定所述行的各个信息参数中的最后一个非空信息参数在初始数据血缘关系中的位置,并在所述初始数据血缘关系中创建所述位置对应的节点,并作为所述行的信息参数对应的节点,以得到初始数据血缘关系。
4.根据权利要求1所述的处理方法,其特征在于,在所述数据处理指令为包括数据查询方式的数据查询指令的情况下,还包括:
获取所述数据查询方式;所述数据查询方式包括查询方式和查询字段;
在所述查询方式为字段级数据血缘关系查询方式的情况下,从所述信息参数表中筛选得到所述查询字段,并展示所述查询字段的信息参数;
在所述查询方式为全景级数据血缘关系查询方式的情况下,从所述初始数据血缘关系中筛选得到所述查询字段,并将所述初始数据血缘关系中的所述查询字段展示在界面中心。
5.根据权利要求1所述的处理方法,其特征在于,在所述数据处理指令为包括目标删除对象的数据删除指令的情况下,还包括:
从所述初始数据血缘关系中删除所述目标删除对象对应的节点;
将所述信息参数表中删除与所述目标删除对象相关联的数据。
6.一种数据血缘关系的处理装置,其特征在于,包括:
参数表生成模块,用于获取预先生成的目标数据的思维导图,并生成与所述思维导图对应、且采用数据项标签方式展示的信息参数表;
关系构建模块,用于依次获取所述信息参数表中的每一行信息参数,并按照信息参数之间的层级关系,搭建所述目标数据的初始数据血缘关系;
指令接收模块,用于接收所述初始数据血缘关系对应的数据处理指令;
第一处理模块,用于在所述数据处理指令为包括新增数据的数据新增指令的情况下,对所述新增数据以及所述信息参数表中的信息参数进行二义性检查,并在检查通过后,在所述信息参数表中添加所述新增数据,并根据所述新增数据,对所述初始数据血缘关系进行节点添加操作,得到第一数据血缘关系;
第二处理模块,用于在所述数据处理指令为包括修改数据的数据修改指令的情况下,按照所述修改数据,对所述信息参数表进行修改,并基于所述信息参数表中的被修改部分,对所述初始数据血缘关系进行节点修改操作,得到第二数据血缘关系。
7.根据权利要求6所述的处理装置,其特征在于,所述参数表生成模块包括:
数据获取子模块,用于获取预先生成的目标数据的思维导图,所述思维导图包括所述目标数据的目标子数据的数据内容,所述数据内容包括所属业务领域信息、所属业务活动信息、所属部门信息和所属产品信息;
标签确定子模块,用于确定所述数据内容的数据项标签;
参数表生成子模块,用于获取所述目标子数据的数据库表简称和数据项序号,并基于所述目标子数据的所述数据项标签、所述数据库表简称和所述数据项序号,生成所述目标数据的信息参数表。
8.根据权利要求6所述的处理装置,其特征在于,所述关系构建模块包括:
参数获取子模块,用于依次获取所述信息参数表中的每一行信息参数,并针对每一行信息参数,按照所述行的信息参数之间的排列顺序,依次获取所述行的各个信息参数;所述行的各个信息参数按照排列顺序设置有对应的层级关系;
节点确定子模块,用于确定所述行的各个信息参数中的最后一个非空信息参数在初始数据血缘关系中的位置,并在所述初始数据血缘关系中创建所述位置对应的节点,并作为所述行的信息参数对应的节点,以得到初始数据血缘关系。
9.根据权利要求6所述的处理装置,其特征在于,还包括数据查询模块,用于在所述数据处理指令为包括数据查询方式的数据查询指令的情况下,获取所述数据查询方式;在所述查询方式为字段级数据血缘关系查询方式的情况下,从所述信息参数表中筛选得到所述查询字段,并展示所述查询字段的信息参数;在所述查询方式为全景级数据血缘关系查询方式的情况下,从所述初始数据血缘关系中筛选得到所述查询字段,并将所述初始数据血缘关系中的所述查询字段展示在界面中心;所述数据查询方式包括查询方式和查询字段。
10.一种电子设备,其特征在于,包括:存储器和处理器;
其中,所述存储器用于存储程序;
处理器调用程序并用于执行如权利要求1-5任一项所述的数据血缘关系的处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111221570.XA CN113934801B (zh) | 2021-10-20 | 2021-10-20 | 一种数据血缘关系的处理方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111221570.XA CN113934801B (zh) | 2021-10-20 | 2021-10-20 | 一种数据血缘关系的处理方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113934801A CN113934801A (zh) | 2022-01-14 |
CN113934801B true CN113934801B (zh) | 2024-10-01 |
Family
ID=79280829
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111221570.XA Active CN113934801B (zh) | 2021-10-20 | 2021-10-20 | 一种数据血缘关系的处理方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113934801B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112860811A (zh) * | 2021-02-05 | 2021-05-28 | 北京百度网讯科技有限公司 | 数据血缘关系的确定方法、装置、电子设备和存储介质 |
CN113486008A (zh) * | 2021-06-30 | 2021-10-08 | 平安信托有限责任公司 | 数据血缘分析方法、装置、设备及存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7644085B2 (en) * | 2003-11-26 | 2010-01-05 | Agere Systems Inc. | Directed graph approach for constructing a tree representation of an access control list |
CN113220944A (zh) * | 2020-03-19 | 2021-08-06 | 国家电网公司东北分部 | 一种基于电力调度数据进行血缘分析可视化展示的方法 |
CN111538744B (zh) * | 2020-07-08 | 2020-11-06 | 浙江大华技术股份有限公司 | 数据血缘的处理方法及装置 |
-
2021
- 2021-10-20 CN CN202111221570.XA patent/CN113934801B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112860811A (zh) * | 2021-02-05 | 2021-05-28 | 北京百度网讯科技有限公司 | 数据血缘关系的确定方法、装置、电子设备和存储介质 |
CN113486008A (zh) * | 2021-06-30 | 2021-10-08 | 平安信托有限责任公司 | 数据血缘分析方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113934801A (zh) | 2022-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7571191B2 (en) | Defining a data analysis process | |
US7650644B2 (en) | Object-based access control | |
US20220215124A1 (en) | Specifying characteristics of a permissible query on an output of a data pipeline | |
US7574379B2 (en) | Method and system of using artifacts to identify elements of a component business model | |
US7386797B1 (en) | Framework to model and execute business processes within a collaborative environment | |
US8671084B2 (en) | Updating a data warehouse schema based on changes in an observation model | |
US20050044396A1 (en) | Managing access control information | |
US20160217423A1 (en) | Systems and methods for automatically generating application software | |
CN109656963A (zh) | 元数据获取方法、装置、设备及计算机可读存储介质 | |
CN105956087A (zh) | 数据及代码版本管理系统及方法 | |
CN107301179A (zh) | 数据库读写分离的方法和装置 | |
US20210173846A1 (en) | System and method for automatic generation of bi models using data introspection and curation | |
US20140310715A1 (en) | Modeling and Consuming Business Policy Rules | |
CN112667612A (zh) | 一种数据质量检核方法、装置、电子设备及存储介质 | |
US9652740B2 (en) | Fan identity data integration and unification | |
US20060020608A1 (en) | Cube update tool | |
CN113934801B (zh) | 一种数据血缘关系的处理方法、装置及电子设备 | |
US20140149186A1 (en) | Method and system of using artifacts to identify elements of a component business model | |
US20130318088A1 (en) | Management of Class of Service | |
CN114880387A (zh) | 数据集成脚本生成方法及装置、存储介质及电子设备 | |
CN113179294B (zh) | 一种基于智能合约的schema统一存取方法 | |
CN115730022A (zh) | 采用事件触发和流程编排的数据处理构建方法及平台系统 | |
CN116228402A (zh) | 一种金融征信特征仓库技术支持系统 | |
US20120166355A1 (en) | Maintenance of master data by analysis of operational data | |
CN110990643B (zh) | 一种基于GoJS的复杂任务可视化方法、终端设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |