CN112671840A - 一种基于区块链技术的跨部门数据共享系统及方法 - Google Patents

Abstract

本发明涉及一种基于区块链技术的跨部门数据共享系统及方法，系统包括查询服务器、排序节点和多个部门存储中心，每个部门存储中心内，数据采集模块与数据处理服务器连接，数据处理服务器分别与分布式存储系统和查询服务器连接，分布式存储系统与查询服务器连接；数据处理服务器作为区块链的peer节点，排序节点通过消息通道分别与各个部门存储中心进行信息传输。与现有技术相比，本发明通过区块链技术，将结构化数据直接上链存储，能保证数据不会发生篡改，将非结构化数据的原始hash值上链存储，后续查询数据时再进行hash值验证，还可以进行溯源，进一步限制了对数据进行篡改的行为，提高了数据共享系统的安全性、可信性。

Description

一种基于区块链技术的跨部门数据共享系统及方法

技术领域

本发明涉及数据共享领域，尤其是涉及一种基于区块链技术的跨部门数据共享系统及方法。

背景技术

随着科技的不断进步，智慧城市的建设越来越受到重视，简单来说，建设智慧城市就是通过将传统行业与电子信息技术相结合，进而将城市的系统和服务进行打通和集合，以提升资源运行的效率、优化城市管理和服务、改善市民的生活质量。同时，随着物联网、云计算、区块链、移动互联网的新一代技术的迅猛发展，智慧城市也在推进中逐渐演变成为具备可信共享、隐私保护、互联共融能力的新一代智慧城市。

对于智慧城市中的不同部门，如智慧交通部门、智慧楼宇部门等，一个部门内部拥有与其他部门之间相互独立的业务，往往会配备相应的数据采集设备(如摄像头，温湿度传感器、数据采集接口等)和数据处理服务器，并将数据存储在供部门内部访问的数据存储中心。但是，传统的竖井架构智慧城市不能很好的实现不同部门之间的数据与资源的互访和高效利用；如果通过中心化统一管控的方式实现数据共享，则数据安全性大大降低，数据易受到篡改，不能保证不同部门之间的数据可信访问以及隐私保护，甚至会出现数据被篡改的问题。因此，在智慧城市建设中，如何在保证数据与资源的互访和共享的前提下，实现数据的高可信共享和隐私保护成为一个亟待解决的问题。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于区块链技术的跨部门数据共享系统及方法，通过区块链技术，将结构化数据直接上链存储，能保证数据不会发生篡改，将非结构化数据的原始hash值上链存储，后续查询数据时再进行hash值验证，还可以进行溯源，进一步限制了对数据进行篡改的行为，提高了数据共享系统的安全性、可信性。

本发明的目的可以通过以下技术方案来实现：

一种基于区块链技术的跨部门数据共享系统，包括查询服务器、排序节点和多个部门存储中心，每个部门存储中心包括数据采集模块、至少1个数据处理服务器、1个分布式存储系统；

所述数据采集模块与数据处理服务器连接，所述数据处理服务器分别与分布式存储系统和查询服务器连接，所述分布式存储系统与查询服务器连接；

所述数据处理服务器作为区块链的peer节点，一个部门存储中心内的所有peer节点组成该部门存储中心的peer节点网络，排序节点通过各个部门存储中心的消息通道分别与各个部门存储中心的peer节点网络进行信息传输。

进一步的，所述分布式存储系统为HDFS分布式文件系统，包括1个NameNode节点和多个DataNode节点。

进一步的，所述排序节点为一组Order节点共同组成的集群，排序节点之间具有同步共识机制。

进一步的，所述数据采集模块包括至少1个数据采集设备，各个数据采集设备分别连接至1个数据处理服务器。

更进一步的，所述数据采集设备采集的数据包括结构化数据和非结构化数据。

一种基于区块链技术的跨部门数据共享方法，基于如上所述的跨部门数据共享系统，包括以下步骤：

S1：各个部门存储中心内，数据处理服务器接收数据采集模块采集的数据并对其进行预处理得到待存储数据，如果待存储数据为非结构化数据，则执行步骤S2；如果待存储数据为结构化数据，则数据处理服务器将待存储数据作为交易上传至排序节点，排序节点对交易进行排序，执行步骤S4；

S2：数据处理服务器向分布式存储系统发起存储请求并将待存储数据存储在分布式存储系统中；

S3：数据处理服务器对待存储数据进行hash计算，并将计算得到的初始hash值和存储操作作为交易上传至排序节点，排序节点对交易进行排序；

S4：数据处理服务器作为区块链的peer节点，一个部门存储中心内的所有peer节点组成该部门存储中心的peer节点网络，排序节点根据上传交易的数据处理服务器确定交易所属的部门存储中心，并通过该部门存储中心的消息通道将交易传输至该部门存储中心的peer节点网络，在该部门存储中心内的所有peer节点上添加该交易；

S5：用户登录查询服务器，查询服务器获取用户的权限，并将各个部门存储中心内该用户有权限访问的所有数据在查询服务器上显示；

S6：获取用户的查询请求，查询服务器连接部门存储中心，并返回用户查询的数据。

进一步的，所述步骤S2中分布式存储系统为HDFS分布式文件系统，步骤S2包括以下步骤：

S21：数据处理服务器向HDFS分布式文件系统的NameNode节点发起存储请求；

S22：NameNode节点根据待存储数据的大小进行分块，并将用于存储待存储数据的DataNode地址信息返回给数据处理服务器；

S23：数据处理服务器根据返回的DataNode地址信息，将待存储数据按顺序写入DataNode中。

进一步的，所述步骤S4中，peer节点网络包括主peer节点，所述排序节点将交易传输至主peer节点，主peer节点再将交易同步至其余的peer节点。

进一步的，步骤S6包括以下步骤：

S61：获取用户的查询请求，如果请求查询的数据为结构化数据，则查询服务器根据查询请求连接对应的数据处理服务器，数据处理服务器返回用户查询的数据，查询服务器显示用户查询的数据；如果请求查询的数据为非结构化数据，则执行步骤S62；

S62：查询服务器根据查询请求连接对应的分布式存储系统，分布式存储系统返回用户查询的数据，查询服务器显示用户查询的数据；

S63：对分布式存储系统返回的用户查询的数据进行hash计算，得到最新hash值，获取用户查询的数据在数据处理服务器上的初始hash值，如果最新hash值与初始hash值不同，则发出数据被篡改警告信息，否则，不发出数据被篡改警告信息。

更进一步的，所述步骤S62中分布式存储系统为HDFS分布式文件系统，步骤S62包括以下步骤：

A1：查询服务器连接对应的HDFS分布式文件系统，向NameNode节点发起查询请求；

A2：NameNode节点返回待查询的数据存储的block块信息、及其block块所在的DataNode的信息；

A3：查询服务器连接DataNode并读取其中的数据。

与现有技术相比，本发明具有以下有益效果：

(1)通过区块链技术，将结构化数据直接上链存储，能保证数据不会发生篡改，将非结构化数据的原始hash值上链存储，后续查询数据时再进行hash值验证，还可以进行溯源，进一步限制了对数据进行篡改的行为，提高了数据共享系统的安全性、可信性。

(2)各个部门的数据存储通过消息通道隔离，经过权限验证的用户才可以查询数据，没有权限的用户无法随意的访问其他部门的所有数据，在保证可信共享的同时，实现了部门内部的隐私保护。

(3)对于不易上链存储的非结构化数据，使用HDFS分布式文件系统存储，将其hash值存储在peer节点，Hadoop的分盘以及备份管理机制确保用户的数据最大程度上不会损坏，系统可靠性更高。

附图说明

图1为实施例中跨部门数据共享系统的结构示意图；

图2为实施例中消息通道示意图；

图3为实施例中Hyperledger Fabric数据存储过程示意图；

图4为实施例中结构化数据存储和查询示意图；

附图标记：1、查询服务器，2、排序节点，3、数据采集设备，4、数据处理服务器，5、分布式存储系统。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例1：

一种基于区块链技术的跨部门数据共享系统，如图1所示，包括查询服务器1、排序节点2和多个部门存储中心，每个部门存储中心包括数据采集模块、至少1个数据处理服务器4、1个分布式存储系统5。

排序节点2用于将所有存储数据的交易进行排序。排序节点2为一组Order节点共同组成的集群，排序节点2之间具有同步共识机制，本实施例中，排序节点2由Order1、Order2、Order3这三个节点组成，是一个计算机集群，每个节点部署在不同的服务器上，这样可以增加系统的可靠性，如果某个Order节点停止工作，其余Order节点仍能进行排序。

数据采集模块与数据处理服务器4连接，数据处理服务器4分别与分布式存储系统5和查询服务器1连接，分布式存储系统5与查询服务器1连接。

数据采集模块包括至少1个数据采集设备3，各个数据采集设备3分别与1个数据处理服务器4连接；数据采集设备3采集的数据包括结构化数据和非结构化数据。数据采集设备3可以为烟雾传感器、温湿度传感器等传感器，也可以为数据采集接口等可以获取数据的设备。数据采集设备3采集的数据会被数据处理服务器4收集并且进行整合运算。

本实施例中，有3个部门存储中心，分别命名为部门1、部门2和部门3，每个部门都拥有自己独立的业务。部门存储中心可以为智慧交通部门存储中心，存储车流量、监控视频等数据，可以为智慧电力部门存储中心，存储电力资源等数据，也可以为智能社区部门存储中心等等。

部门1中有1个数据处理服务器4，2个数据采集设备3均与数据处理服务器4连接，数据处理服务器4与分布式存储系统5和查询服务器1连接；部门2中有3个数据处理服务器4，3个数据采集设备3分别连接至1个数据处理服务器4，3个数据处理服务器4均与分布式存储系统5和查询服务器1连接；部门3中有2个数据处理服务器4，1个数据采集设备3连接至其中1个数据处理服务器4，3个数据采集设备连接至另1个数据处理服务器4，2个数据处理服务器4均与分布式存储系统5和查询服务器1连接。

数据处理服务器4作为区块链的peer节点，一个部门存储中心内的所有peer节点组成该部门存储中心的peer节点网络，如图2所示，排序节点2通过各个部门存储中心的消息通道分别与各个部门存储中心的peer节点网络进行信息传输。这样，每个部门的数据，通过该部门的消息通道，保存在该部门的peer节点中，这些数据只有该部门自己可以查看，或者其他拥有该部门权限的人可以查看，其他部门无法直接获取该部门的数据，隐私性和安全性大大提高。

本实施例中，分布式存储系统5为HDFS分布式文件系统，包括1个NameNode节点和多个DataNode节点。在其他实施方式中，也可以使用其他分布式存储系统，如Ceph分布式文件系统、TFS分布式文件系统、GlusterFS分布式文件系统等。

Hadoop是一个开源的分布式计算平台，Hadoop以Hadoop分布式文件系统HDFS(Hadoop Distributed File System)和MapReduce为核心，HDFS的优点有高容错性、高扩展性。HDFS分布式文件系统由NameNode和DataNode两种节点组成。其中，NameNode用于管理Hadoop集群的命名空间和客户端对文件的访问操作，维护着文件系统树及整棵树内所有文件和目录。DataNode是文件系统的工作节点，管理存储的数据，它们根据需要存储并检索数据块，受客户端或NameNode调度，并且定期向NameNode发送它们所存储块的列表。

查询服务器1也就是用户所使用的终端，在其上运行数据查询软件。

一种基于区块链技术的跨部门数据共享系统，可以满足智慧城市中不同的部门对于数据的存储以及不同部门之间的可信数据共享，同时又能够保证隐私数据的安全性。

一种基于区块链技术的跨部门数据共享方法，包括以下步骤：

S1：各个部门存储中心内，数据处理服务器4接收数据采集模块采集的数据并对其进行预处理得到待存储数据，如果待存储数据为非结构化数据，则执行步骤S2，否则，数据处理服务器4将待处理数据作为交易上传至排序节点2，排序节点2对交易进行排序，执行步骤S4；

S2：数据处理服务器4向分布式存储系统5发起存储请求并将待存储数据存储在分布式存储系统5中；

本实施例中，分布式存储系统5为HDFS分布式文件系统，步骤S2包括以下步骤：

S21：数据处理服务器4向HDFS分布式文件系统的NameNode节点发起存储请求；

S22：NameNode节点根据待存储数据的大小进行分块，并将用于存储待存储数据的DataNode地址信息返回给数据处理服务器4；

S23：数据处理服务器4根据返回的DataNode地址信息，将待存储数据按顺序写入DataNode中。

S3：数据处理服务器4对待存储数据进行hash计算，并将计算得到的初始hash值和存储操作作为交易上传至排序节点2，排序节点2对交易进行排序；

S4：数据处理服务器4作为区块链的peer节点，一个部门存储中心内的所有peer节点组成该部门存储中心的peer节点网络，peer节点网络包括主peer节点，排序节点2将交易传输至主peer节点，主peer节点再将交易同步至其余的peer节点。

本实施例所使用的区块链平台为Hyperledger Fabric，如图3所示，排序节点2根据上传交易的数据处理服务器4确定交易所属的部门存储中心，并通过该部门存储中心的消息通道将交易传输至该部门存储中心的peer节点网络，在该部门存储中心内的所有peer节点上添加该交易；

S5：用户登录查询服务器1，查询服务器1获取用户的权限，并将各个部门存储中心内该用户有权限访问的所有数据在查询服务器1上显示。

具体的，本实施例中，用户1、用户2和用户3分别是部门1、部门2和部门3的工作人员，因此，其权限为查询各自部门内的数据，当他们登录查询服务器1后，查询服务器1根据其权限，返回其有权限查看的数据信息，可以以文件列表或其他形式展示。进一步的，给用户1增加了查询部门2所有数据、查询部门3中的温度数据的权限，当用户1登录查询服务器1后，查询服务器1根据其权限，返回其有权限查看的数据信息：部门1的全部数据、部门2的全部数据、部门3的温度数据。

S6：获取用户的查询请求，查询服务器1连接部门存储中心，并返回用户查询的数据。

S61：获取查询请求，如果待查询的数据为结构化数据，则查询服务器1根据查询请求连接对应的数据处理服务器4，数据处理服务器4返回用户查询的数据，在查询服务器1上显示用户查询的数据，否则，执行步骤S62；

S62：查询服务器1根据查询请求连接对应的分布式存储系统5，分布式存储系统5返回用户查询的数据，在查询服务器1上显示用户查询的数据。

本实施例中，分布式存储系统5为HDFS分布式文件系统，步骤S62包括以下步骤：

A1：查询服务器1连接对应的HDFS分布式文件系统，向NameNode节点发起查询请求；

A2：NameNode节点返回待查询的数据存储的block块信息、及其block块所在的DataNode的信息；

A3：查询服务器1连接DataNode并读取其中的数据。

S63：对用户查询的数据进行hash计算，得到最新hash值，获取用户查询的数据在数据处理服务器4上的初始hash值，如果最新hash值与初始hash值不同，则发出数据被篡改警告信息，否则，不发出数据被篡改警告信息。

图4给出了结构化数据存储和查询的过程，在一个部门存储中心内，数据采集设备3将采集的数据传输至数据处理服务器4，数据处理服务器4将待处理数据作为交易上传至排序节点2，排序节点2对交易进行排序，再通过消息通道，将数据打包写入该部门存储中心的所有peer节点(数据处理服务器4)中。当本部门或拥有本部门权限的用户查询数据时，直接连接数据处理服务器4，就可以获取存储在peer节点的数据。区块链安全可信、不可篡改，因此，这样存储的数据是安全可信的，不用担心受到篡改。

对于非结构化数据，如视频流等，不易上链存储，因此，将数据存储在分布式存储系统5中，再对数据进行hash计算，得到初始hash值，将初始hash值和存储操作作为交易上传至排序节点2，排序节点2通过消息通道，将交易添加至该部门存储中心的所有peer节点(数据处理服务器4)内。这样，对于后续下载的数据，再进行一次hash运算，得到最新hash值，如果最新hash值与初始hash值一致，说明分布式存储系统5中存储的数据没有受到篡改，一旦分布式存储系统5中存储的数据被篡改，最新hash值与初始hash值就会不一致，此时，发出数据被篡改警告信息，而且，由于之前每次存储操作都上链存储在peer节点内，可以进行溯源操作。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种基于区块链技术的跨部门数据共享系统，其特征在于，包括查询服务器(1)、排序节点(2)和多个部门存储中心，每个部门存储中心包括数据采集模块、至少1个数据处理服务器(4)、1个分布式存储系统(5)；

所述数据采集模块与数据处理服务器(4)连接，所述数据处理服务器(4)分别与分布式存储系统(5)和查询服务器(1)连接，所述分布式存储系统(5)与查询服务器(1)连接；

所述数据处理服务器(4)作为区块链的peer节点，一个部门存储中心内的所有peer节点组成该部门存储中心的peer节点网络，排序节点(2)通过各个部门存储中心的消息通道分别与各个部门存储中心的peer节点网络进行信息传输。

2.根据权利要求1所述的一种基于区块链技术的跨部门数据共享系统，其特征在于，所述分布式存储系统(5)为HDFS分布式文件系统，包括1个NameNode节点和多个DataNode节点。

3.根据权利要求1所述的一种基于区块链技术的跨部门数据共享系统，其特征在于，所述排序节点(2)为一组Order节点共同组成的集群，排序节点(2)之间具有同步共识机制。

4.根据权利要求1所述的一种基于区块链技术的跨部门数据共享系统，其特征在于，所述数据采集模块包括至少1个数据采集设备(3)，各个数据采集设备(3)分别连接至1个数据处理服务器(4)。

5.根据权利要求4所述的一种基于区块链技术的跨部门数据共享系统，其特征在于，所述数据采集设备(3)采集的数据包括结构化数据和非结构化数据。

6.一种基于区块链技术的跨部门数据共享方法，其特征在于，基于如权利要求1-5中任一所述的跨部门数据共享系统，包括以下步骤：

S1：各个部门存储中心内，数据处理服务器(4)接收数据采集模块采集的数据并对其进行预处理得到待存储数据，如果待存储数据为非结构化数据，则执行步骤S2；如果待存储数据为结构化数据，则数据处理服务器(4)将待存储数据作为交易上传至排序节点(2)，排序节点(2)对交易进行排序，执行步骤S4；

S2：数据处理服务器(4)向分布式存储系统(5)发起存储请求并将待存储数据存储在分布式存储系统(5)中；

S3：数据处理服务器(4)对待存储数据进行hash计算，并将计算得到的初始hash值和存储操作作为交易上传至排序节点(2)，排序节点(2)对交易进行排序；

S4：数据处理服务器(4)作为区块链的peer节点，一个部门存储中心内的所有peer节点组成该部门存储中心的peer节点网络，排序节点(2)根据上传交易的数据处理服务器(4)确定交易所属的部门存储中心，并通过该部门存储中心的消息通道将交易传输至该部门存储中心的peer节点网络，在该部门存储中心内的所有peer节点上添加该交易；

S5：用户登录查询服务器(1)，查询服务器(1)获取用户的权限，并将各个部门存储中心内该用户有权限访问的所有数据在查询服务器(1)上显示；

S6：获取用户的查询请求，查询服务器(1)连接部门存储中心，并返回用户查询的数据。

7.根据权利要求6所述的一种基于区块链技术的跨部门数据共享方法，其特征在于，所述步骤S2中分布式存储系统(5)为HDFS分布式文件系统，步骤S2包括以下步骤：

S21：数据处理服务器(4)向HDFS分布式文件系统的NameNode节点发起存储请求；

S22：NameNode节点根据待存储数据的大小进行分块，并将用于存储待存储数据的DataNode地址信息返回给数据处理服务器(4)；

S23：数据处理服务器(4)根据返回的DataNode地址信息，将待存储数据按顺序写入DataNode中。

8.根据权利要求6所述的一种基于区块链技术的跨部门数据共享方法，其特征在于，所述步骤S4中，peer节点网络包括主peer节点，所述排序节点(2)将交易传输至主peer节点，主peer节点再将交易同步至其余的peer节点。

9.根据权利要求6所述的一种基于区块链技术的跨部门数据共享方法，其特征在于，步骤S6包括以下步骤：

S61：获取用户的查询请求，如果请求查询的数据为结构化数据，则查询服务器(1)根据查询请求连接对应的数据处理服务器(4)，数据处理服务器(4)返回用户查询的数据，查询服务器(1)显示用户查询的数据；如果请求查询的数据为非结构化数据，则执行步骤S62；

S62：查询服务器(1)根据查询请求连接对应的分布式存储系统(5)，分布式存储系统(5)返回用户查询的数据，查询服务器(1)显示用户查询的数据；

S63：对分布式存储系统(5)返回的用户查询的数据进行hash计算，得到最新hash值，获取用户查询的数据在数据处理服务器(4)上的初始hash值，如果最新hash值与初始hash值不同，则发出数据被篡改警告信息，否则，不发出数据被篡改警告信息。

10.根据权利要求9所述的一种基于区块链技术的跨部门数据共享方法，其特征在于，所述步骤S62中分布式存储系统(5)为HDFS分布式文件系统，步骤S62包括以下步骤：

A1：查询服务器(1)连接对应的HDFS分布式文件系统，向NameNode节点发起查询请求；

A2：NameNode节点返回待查询的数据存储的block块信息、及其block块所在的DataNode的信息；

A3：查询服务器(1)连接DataNode并读取其中的数据。

Images