CN111930723A

CN111930723A - 基于大数据的科技成果数据融合方法

Info

Publication number: CN111930723A
Application number: CN202011026936.3A
Authority: CN
Inventors: 秦砺寒; 黄毅臣; 运晨超; 赵微; 何慧; 吴小明
Original assignee: BEIJING BRON S&T Ltd; State Grid Corp of China SGCC; Economic and Technological Research Institute of State Grid Jibei Electric Power Co Ltd
Current assignee: BEIJING BRON S&T Ltd; State Grid Corp of China SGCC; Economic and Technological Research Institute of State Grid Jibei Electric Power Co Ltd
Priority date: 2020-09-25
Filing date: 2020-09-25
Publication date: 2020-11-13
Anticipated expiration: 2040-09-25
Also published as: CN111930723B

Abstract

本发明实施例公开了一种基于大数据的科技成果数据融合方法，包括：搭建基于大数据的科技成果数据融合数据库，构建科技成果数据指标体系，设置各项指标的健康阈值，对健康状况进行监控；对科技成果数据利用可视化图形进行可视化展示，对应用数据进行自动分析汇总；对数据进行融合处理，对数据获取进行转换和不同数据平台的数据抽取，实现跨平台、跨领域、跨专业的科技成果数据接入；对用户及数据进行安全认证，防止科技成果数据涉及泄密和篡改信息、恶意代码风险。本发明能够实现跨平台、跨领域、跨专业的科技成果数据接入，能方便的查询、展示、共享科技成果信息，将生产经营中形成的科技成果进行深度挖掘，提高管理效率和业务精确度。

Description

基于大数据的科技成果数据融合方法

技术领域

本发明涉及数据管理技术领域，尤其是一种基于大数据的科技成果数据融合方法。

背景技术

研究如何跨平台、跨领域、跨专业实现科技成果数据深度融合，实现可查询、可统计、可分析、可挖掘的科研成果数据安全管理，时数据管理的核心。科技成果数据范围较广，数据源头较多，根据不同数据来源的差异性，研究数据获取及传输的技术手段，克服数据格式不统一，数据库类型不统一，数据采集方式不统一等问题的方法。主要包括：一是对不同平台、不同领域、不同专业的科技成果数据及产业数据的接入；二是通过统计分析及数据转化完成多源数据融合。在现有技术中，科技成果类数据的管理与挖掘能力较为薄弱，科技成果缺乏统一的数据格式、数据源头、采集方法及使用方式，无法同项目信息形成关联关系，统计分析困难，不能直观方便的查询科技成果信息，成果和过程资料展示不全面，数据共享困难，亟需开展科技成果数据融合和共享研究工作，将生产经营管理研究中形成的成果进行深度挖掘，提高管理效率和业务的精确度。

因此，现有技术需要改进。

发明内容

本发明实施例所要解决的一个技术问题是：提供一种基于大数据的科技成果数据融合方法，以解决现有技术存在的问题。

所述基于大数据的科技成果数据融合方法包括：

搭建基于大数据的科技成果数据融合数据库，构建科技成果数据指标体系，设置各项指标的健康阈值，对健康状况进行监控；

对科技成果数据利用可视化图形进行可视化展示，对应用数据进行自动分析汇总；

对数据进行融合处理，对数据获取进行转换和不同数据平台的数据抽取，实现跨平台、跨领域、跨专业的科技成果数据接入；

对用户及数据进行安全认证，防止科技成果数据涉及泄密和篡改信息、恶意代码风险。

在基于本发明上述基于大数据的科技成果数据融合方法的另一个实施例中，所述搭建基于大数据的科技成果数据融合数据库，构建科技成果数据指标体系，设置各项指标的健康阈值，对健康状况进行监控包括：

对生产经营管理数据进行建模，构建科技成果数据指标体系；

设置科技成果数据指标体系中各项指标数据的填报模板，实时接收并存储科技成果数据；

设置各项指标的具体健康阈值，并设置不健康指标的预警条件；

对数据库中的科技成果数据进行监控，当数据触发不健康指标的预警条件时，启动预警机制。

在基于本发明上述基于大数据的科技成果数据融合方法的另一个实施例中，所述对科技成果数据利用可视化图形进行可视化展示，对应用数据进行自动分析汇总包括：

通过同比、环比、占比方式分析科技成果数据；

利用饼状图、柱状图、折线图对科技成果数据进行可视化展示；

制定科技成果数据的报表生成模板，自动生成科技成果数据报表；

使用JAVA可视化场景，对科技成果数据模型进行可视化展示。

在基于本发明上述基于大数据的科技成果数据融合方法的另一个实施例中，所述对数据进行融合处理，对数据获取进行转换和不同数据平台的数据抽取，实现跨平台、跨领域、跨专业的科技成果数据接入包括：

应用informatica工具进行ETL程序开发，将科技成果数据抽取到全业务数据中心；

定义科技成果数据接入接口的规范，明确数据交换的时间、格式、内容要求；

通过报表和日志的方式完成对数据接口的验证，对科技成果数据进行抽取，所述抽取包括初始抽取和定期抽取，所述初始抽取是从源系统中将相关的科技成果数据一次性的抽取，所述定期抽取是指根据不同的数据内容，按照数据抽取周期，在指定的时间内对数据进行抽取；

判断科技成果数据是否为全业务中心数据，如果是，则直接导入数据库使用；

否则，申请数据接入，判断申请数据接入的科技成果数据是否支持页面导入；

如果是，则通过系统导入接口将科技成果数据导入数据库；

否则，通过人工方式，将数据录入到数据库。

在基于本发明上述基于大数据的科技成果数据融合方法的另一个实施例中，所述对用户及数据进行安全认证，防止科技成果数据涉及泄密和篡改信息、恶意代码风险包括：

对科技成果数据用户的应用安全进行认证，对用户身份信息进行认证，对用户操作进行授权，对数据的输入输出进行验证，对系统的配置、会话、参数操作和异常情况进行管理；

对科技成果数据安全进行管理，使科技成果数据的存储、传输、备份、访问控制进行安全管理；

对操作系统安全进行管理，对操作系统进行身份认证、访问控制限制、病毒入侵防范、漏洞扫描、补丁更新、安全审计、数据备份、恶意代码防范；

对数据库安全进行管理，对数据库系统身份认证、访问控制、漏洞扫描、安全审计和补丁更新。

在基于本发明上述基于大数据的科技成果数据融合方法的另一个实施例中，所述对用户身份信息进行认证包括：

通过MD5方式将密码存储在数据库中；

不在cookie中保存登录密码，当浏览器关闭时，所有认证信息均销毁；

进行密码强度配置，支持密码强度配置开关和强制修改密码开关，登陆时校验密码强度，强度不够时强制修改密码；

登录失败次数超额锁定，当登录失败次数超过设定的阈值时，自动锁定账户，并将事件写入日志；

配置登录账户的IP地址，拒绝统一账户在多个IP地址登录。

在基于本发明上述基于大数据的科技成果数据融合方法的另一个实施例中，所述对数据的输入输出进行验证包括：

通过过滤器对URL的请求参数以及表单的GET、POST数据中包含的javascript脚本的非法字符进行过滤，防止信息篡改；

基于正则表达式进行输入验证，满足不同场景的科技成果数据需要；

对用户登录等过程是否有sql注入的参数进行验证，防止sql注入攻击；

基于身份认证后上传文件，支持配置上传文件的类型；

对用户在客户端输入或导入的数据进行长度、范围、数据类型属性的合法性进行检验，对不合法的数据禁止输入模块，并且提示错误信息；

统一输入及输出数据验证接口，保障验证逻辑的一致性；

按照各接口数据格式，对输入数据数据进行格式化，包括URL、日期、数字、字符串格式，确保数据格式正确；

对特殊字符进行检测，防止XML注入、SQL注入及脚本注入攻击，包括单引号、1＝1、CDATA、for、loop；

执行数据过滤及筛选，对不合法数据进行丢弃及报警、统一各集成接口错误提示信息。

在基于本发明上述基于大数据的科技成果数据融合方法的另一个实施例中，所述对系统的配置、会话、参数操作和异常情况进行管理包括：

系统配置管理：

设定配置变更管理流程，关键信息发生配置变更时，实行审批制度，所述关键信息包括：数据库连接、运行参数、模板信息；

设置配置信息的保存及版本控制规则，避免发生版本丢失或混淆；

使用基于角色的授权策略控制配置管理角色，控制配置权限粒度，配置管理功能经过授权的操作员和管理员访问；

数据库连接、系统运行参数等配置交由中间件进行统一管理，模板配置信息进行加密存储；

系统会话管理：

设置会话存活时间，超时后自动销毁用户会话，删除会话信息；

用户登录成功后创建新的会话，并随机分配会话ID，绑定当前IP地址、机器名信息；

在服务端进行会话信息存储，对用户登录信息及身份凭证进行加密传输；

对登录用户进行退出、注销，用户注销或关闭浏览器后，服务端自动清除用户会话；

系统运行参数管理：

对输入参数进行验证，避免使用包含敏感数据或者影响服务器安全逻辑的查询字符串参数；

使用会话标识符标识客户端，并将敏感项存储在服务器上的会话存储区中；

使用HTTP POST代替GET提交窗体，避免使用隐藏窗体；

在服务端执行URL检查，防止用户没有通过操作参数而绕过检查，杜绝用户通过浏览器地址文本框操作URL参数；

限制可接受用户输入的字段，并对来自客户端的所有值进行修改和验证；

系统异常情况管理：

统一返回一般性错误消息；

使用结构化异常处理机制，并捕捉异常现象；

设置异常事务回滚及补偿机制，在异常发生时提供事务安全回滚，并结束发生异常的会话。

在基于本发明上述基于大数据的科技成果数据融合方法的另一个实施例中，所述对科技成果数据安全进行管理，使数据的存储、传输、备份、访问控制进行安全管理包括：

科技成果数据存储安全管理：

核心的管理数据业务信息进行存储及应用时，对数据的完整性进行验证，针对数据缺失、异常情况提供日志记录跟踪及恢复功能；

数据删除均经过访问控制，使用应用软件的访问控制机制；

数据的删除至少经过二次确认；

使用MD5哈希算法进行单向转换后存储在数据库中，密文长度为32位；

科技成果数据传输安全管理：

使用HTTPS安全协议传输业务信息，使用SFTP对远程文件访问进行机密性保护；

采用数字签名加密数据；

科技成果数据备份安全管理：

双机RAC冗余部署拓扑，关键节点发生故障时进行服务节点切换及故障节点恢复；

主要网络设备、通信线路和数据处理系统的硬件冗余；

科技成果数据访问控制管理：

重要数据资源设置敏感标记；

依据安全策略控制用户对有敏感标记信息资源的操作。

在基于本发明上述基于大数据的科技成果数据融合方法的另一个实施例中，所述科技成果数据包括结构化数据和非结构化数据；

所述结构化数据的接入方法包括：

采用ETL、OGG、load方式抽取；

采用数据传输组件纵向交互；

采用ETL方式清洗转换；

采用ETL方式转换加载；

所述非结构化数据的接入方法包括：

采用非结构化数据接入组件采集；

采用非结构化转换组件转换；

采用ETL方式转换加载。

与现有技术相比，本发明具有以下优点：

本发明的基于大数据的科技成果数据融合方法通过搭建科技成果数据库，构建科技成果指标体系，设定指标的健康阈值并进行监控，对数据进行融合处理，满足跨平台、跨领域、跨专业的科技成果数据接入，对科技成果数据进行可视化展示，对用户及数据进行安全保护，实现对科技成果数据的全面获取，数据有机融合，提高管理的效率和业务的精准度。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

构成说明书的一部分的附图描述了本发明的实施例，并且连同描述一起用于解释本发明的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本发明，其中：

图1为本发明的基于大数据的科技成果数据融合方法的一个实施例的流程图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

图1为本发明的基于大数据的科技成果数据融合方法一个实施例的流程图，如图1所示，该实施例的基于大数据的科技成果数据融合方法包括：

10，搭建基于大数据的科技成果数据融合数据库，构建科技成果数据指标体系，设置各项指标的健康阈值，对健康状况进行监控；

20，对科技成果数据利用可视化图形进行可视化展示，对应用数据进行自动分析汇总；

30，对数据进行融合处理，对数据获取进行转换和不同数据平台的数据抽取，实现跨平台、跨领域、跨专业的科技成果数据接入；

40，对用户及数据进行安全认证，防止科技成果数据涉及泄密和篡改信息、恶意代码风险。

所述搭建基于大数据的科技成果数据融合数据库，构建科技成果数据指标体系，设置各项指标的健康阈值，对健康状况进行监控包括：

在具体的实施例中，对对生产经营管理数据进行建模的流程包括：科技成果数据用户对数据接入需求提出申请，按照结构化数据和非结构化数据对每种接入数据提供对应的接入方案，对选定的数据接入方案进行数据接口的开发，数据接口的开发采用informatica工具进行ETL程序开发，将源系统数据抽取到全业务数据中心。

在数据接口的开发过程中，需要进行如下判断：

判断数据量的大小，根据数据量大小将数据接口分为增量接入与全量接入；

增量接入，数据量比较大的科技成果数据表中的数据，使用时间戳、日志对比及全表对比技术，配合ETL工具提供的变更数据捕获功能捕捉业务处理带来的源系统变化的数据，只把增量数据传输到数据缓存区域供后续的ETL流程处理；

全量接入，对于数据量较小，或者增量接入技术条件不具备，或者带来的性能与复杂性问题超越业务系统所能承受，采用某一个时间范围内的全部数据作为数据缓存区域的处理对象；

初始数据加载均采用全量模式；

接口规范：

为确保准确、高效的实现与源系统之间的数据交换，明确定义数据接入接口规范的方式，明确各方责任以及数据交换的时间、格式及内容要求；

接口规范应包涵接口双方责任、接口实现方式、数据接口要求以及针对每个详细接口的定义；

源数据提供方，保证按时提供接口规范规定的数据内容；对接口数据提供相关的验证功能，保证数据的准确性、一致性；若源系统有变更，则要求在变更前提供变更内容说明，并及时更新本接口规范及相关附件的相应内容；遵循接口规范中规定的验证规则；应及时解决接口数据提供过程中出现的问题；

数据接收方，按时接收接口规范规定的相关数据内容；若接口有变更，需要在变更之前，提供变更内容的相关说明，并及时更新接口规范及相关附件的相应内容；对接收的数据提供验证；

接口实现，通过inforamtica数据库访问接口协议访问源系统数据库，查询指定的接口表获取数据到全业务数据中心，包括：支持Oracle数据库访问接口的传输，实现跨越局域网络、广域网络平台的数据库连接、数据获取，并支持数据库重连、数据重传；支持对接口机的IP地址、帐户、口令的验证；

接口数据的抽取周期：

初始抽取，从源系统中将相关的数据一次性的抽取，初始抽取的数据范围包括抽取时最新状态为有效的所有数据，初始抽取时的数据周期将在数据接口单元的描述中根据具体情况描述；

定期抽取，根据不同的数据内容，按照数据抽取周期，在指定的时间内对数据进行抽取的方式，定期抽取分为日全量、日增量、月全量；

接口的验证方式：

对数据接口进行验证，接口数据的验证由接口双方共同负责，通过报表检查及日志方式进行验证；

报表，通过具有相互关联关系的报表及指标间的稽核，进行数据一致性的验证；

日志，通过比较数据接收方与数据提供方的处理日志，进行验证。

数据接口详细定义：

针对每一个需要传输的数据接口，定义如下内容：

数据内容，接口单元名称、编码、说明、接口单元对应表、接口单元对应表主键；

接口单元字段列表，字段名、业务描述、字段类型、字段格式、字段长度、是否允许空值；

抽取方式、周期；

OGG同步进程配置：

采用OGG方式进行数据同步，在源端数据库及SG-RDB端进行OGG进程配置，将同步表信息加入到进程中，实现数据实时同步。

所述对科技成果数据利用可视化图形进行可视化展示，对应用数据进行自动分析汇总包括：

通过同比、环比、占比方式分析科技成果数据；

使用JAVA可视化场景，对科技成果数据模型进行可视化展示。

所述对数据进行融合处理，对数据获取进行转换和不同数据平台的数据抽取，实现跨平台、跨领域、跨专业的科技成果数据接入包括：

如果是，则通过系统导入接口将科技成果数据导入数据库；

否则，通过人工方式，将数据录入到数据库。

所述对用户及数据进行安全认证，防止科技成果数据涉及泄密和篡改信息、恶意代码风险包括：

所述对用户身份信息进行认证包括：

通过MD5方式将密码存储在数据库中；

配置登录账户的IP地址，拒绝统一账户在多个IP地址登录。

所述对数据的输入输出进行验证包括：

基于身份认证后上传文件，支持配置上传文件的类型；

统一输入及输出数据验证接口，保障验证逻辑的一致性；

所述对系统的配置、会话、参数操作和异常情况进行管理包括：

系统配置管理：

系统会话管理：

系统运行参数管理：

使用HTTP POST代替GET提交窗体，避免使用隐藏窗体；

系统异常情况管理：

统一返回一般性错误消息；

使用结构化异常处理机制，并捕捉异常现象；

所述对科技成果数据安全进行管理，使数据的存储、传输、备份、访问控制进行安全管理包括：

科技成果数据存储安全管理：

数据删除均经过访问控制，使用应用软件的访问控制机制；

数据的删除至少经过二次确认；

科技成果数据传输安全管理：

采用数字签名加密数据；

科技成果数据备份安全管理：

主要网络设备、通信线路和数据处理系统的硬件冗余；

科技成果数据访问控制管理：

重要数据资源设置敏感标记；

依据安全策略控制用户对有敏感标记信息资源的操作。

所述科技成果数据包括结构化数据和非结构化数据；

所述结构化数据的接入方法包括：

采用ETL、OGG、load方式抽取；

采用数据传输组件纵向交互；

采用ETL方式清洗转换；

采用ETL方式转换加载；

所述非结构化数据的接入方法包括：

采用非结构化数据接入组件采集；

采用非结构化转换组件转换；

采用ETL方式转换加载。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims

1.一种基于大数据的科技成果数据融合方法，其特征在于，包括：

2.根据权利要求1所述的基于大数据的科技成果数据融合方法，其特征在于，所述搭建基于大数据的科技成果数据融合数据库，构建科技成果数据指标体系，设置各项指标的健康阈值，对健康状况进行监控包括：

3.根据权利要求1所述的基于大数据的科技成果数据融合方法，其特征在于，所述对科技成果数据利用可视化图形进行可视化展示，对应用数据进行自动分析汇总包括：

通过同比、环比、占比方式分析科技成果数据；

使用JAVA可视化场景，对科技成果数据模型进行可视化展示。

4.根据权利要求1所述的基于大数据的科技成果数据融合方法，其特征在于，所述对数据进行融合处理，对数据获取进行转换和不同数据平台的数据抽取，实现跨平台、跨领域、跨专业的科技成果数据接入包括：

如果是，则通过系统导入接口将科技成果数据导入数据库；

否则，通过人工方式，将数据录入到数据库。

5.根据权利要求1所述的基于大数据的科技成果数据融合方法，其特征在于，所述对用户及数据进行安全认证，防止科技成果数据涉及泄密和篡改信息、恶意代码风险包括：

6.根据权利要求1所述的基于大数据的科技成果数据融合方法，其特征在于，所述对用户身份信息进行认证包括：

通过MD5方式将密码存储在数据库中；

配置登录账户的IP地址，拒绝统一账户在多个IP地址登录。

7.根据权利要求5所述的基于大数据的科技成果数据融合方法，其特征在于，所述对数据的输入输出进行验证包括：

基于身份认证后上传文件，支持配置上传文件的类型；

统一输入及输出数据验证接口，保障验证逻辑的一致性；

8.根据权利要求5所述的基于大数据的科技成果数据融合方法，其特征在于，所述对系统的配置、会话、参数操作和异常情况进行管理包括：

系统配置管理：

系统会话管理：

系统运行参数管理：

使用HTTP POST代替GET提交窗体，避免使用隐藏窗体；

系统异常情况管理：

统一返回一般性错误消息；

使用结构化异常处理机制，并捕捉异常现象；

9.根据权利要求5所述的基于大数据的科技成果数据融合方法，其特征在于，所述对科技成果数据安全进行管理，使数据的存储、传输、备份、访问控制进行安全管理包括：

科技成果数据存储安全管理：

数据删除均经过访问控制，使用应用软件的访问控制机制；

数据的删除至少经过二次确认；

科技成果数据传输安全管理：

采用数字签名加密数据；

科技成果数据备份安全管理：

主要网络设备、通信线路和数据处理系统的硬件冗余；

科技成果数据访问控制管理：

重要数据资源设置敏感标记；

依据安全策略控制用户对有敏感标记信息资源的操作。

10.根据权利要求1所述的基于大数据的科技成果数据融合方法，其特征在于，所述科技成果数据包括结构化数据和非结构化数据；

所述结构化数据的接入方法包括：

采用ETL、OGG、load方式抽取；

采用数据传输组件纵向交互；

采用ETL方式清洗转换；

采用ETL方式转换加载；

所述非结构化数据的接入方法包括：

采用非结构化数据接入组件采集；

采用非结构化转换组件转换；

采用ETL方式转换加载。