CN111510493B - 分布式数据传输方法及装置 - Google Patents

Abstract

本申请提供一种分布式数据传输方法及装置，该方法包括：接收数据源服务器发送的数据传输请求，数据传输请求包括：目标传输数据组的容量值和数据源服务器的认证标识字符串；根据认证标识字符串判断各个中转处理服务器的剩余空间之和是否大于目标传输数据组的容量值，若是，将至少一个中转处理服务器作为目标中转处理服务器组，以使目标中转处理服务器组中的各个中转处理服务器分别且并行地接收数据源服务器发送的各个目标传输数据，并根据同一阈值对目标传输数据进行切分或合并处理，得到目标传输数据对应的各个文件包；将文件包分别发送至目标数据接收服务器。本申请能够在实现并行传输数据的基础上，提高数据传输的效率和可靠性。

Description

分布式数据传输方法及装置

技术领域

本申请涉及分布式架构技术领域，尤其涉及一种分布式数据传输方法及装置。

背景技术

在分布式架构中，通常将数据拆分成多个小单元并按照分布键在不同的服务器上存储。在灾备场景下，需要将分散的数据合并备份到集中的备份服务器上，或者将集中备份服务器上的数据分发到对应的分布式服务器上。

现有的金融系统通过接口备份或恢复源服务器上的数据。在分布式的场景下，无法在传输过程中对数据在进行监控和处理，缺少统一的调度，无法进行流量控制、多服务器并发调度控制、数据转换和数据合并等操作，备份进程一旦启动则无法进行介入，影响数据备份或数据恢复过程的可控性和灵活多样性，数据传输的可靠性低。

发明内容

针对现有技术中的问题，本申请提出了一种分布式数据传输方法及装置，能够在实现并行传输数据的基础上，提高数据传输的效率和可靠性。

为了解决上述技术问题，本申请提供以下技术方案：

第一方面，本申请提供一种分布式数据传输方法，包括：

接收数据源服务器发送的数据传输请求，其中，该数据传输请求中包括：目标传输数据组的容量值和所述数据源服务器的认证标识字符串；

根据所述认证标识字符串判断对应的各个中转处理服务器的剩余空间之和是否大于所述目标传输数据组的容量值，若是，则根据所述目标传输数据组的容量值将对应的至少一个中转处理服务器作为目标中转处理服务器组，以使所述目标中转处理服务器组中的各个中转处理服务器分别且并行地接收所述数据源服务器发送的目标传输数据组中的各个目标传输数据，并根据同一阈值分别对所述目标传输数据进行切分或合并处理，得到所述目标传输数据对应的各个文件包；

将所述文件包分别发送至目标数据接收服务器。

进一步地，在所述接收数据源服务器发送的数据传输请求之前，还包括：接收所述数据源服务器发送的用户认证信息；根据所述用户认证信息确定与所述数据源服务器匹配的各个中转处理服务器，并将与该中转处理服务器对应的认证标识字符串返回至该数据源服务器。

进一步地，在所述将所述文件包分别发送至目标数据接收服务器之后，还包括：将所述目标传输数据组存储至所述目标数据接收服务器。

进一步地，在所述目标中转处理服务器组中的各个中转处理服务器分别且并行地接收所述数据源服务器发送的目标传输数据组中的各个目标传输数据的过程中，还包括：判断所述目标传输数据发送至对应的中转处理服务器的流量是否超过流量阈值，若是，则将该流量调整至该流量阈值。

进一步地，所述根据所述目标传输数据组的容量值将对应的至少一个中转处理服务器作为目标中转处理服务器组，以使所述目标中转处理服务器组中的各个中转处理服务器分别且并行地接收所述数据源服务器发送的目标传输数据组中的各个目标传输数据，包括：将所述目标中转处理服务器组中的各个中转处理服务器的地址、对应的存储目录和剩余空间信息分别发送至所述数据源服务器，以使该数据源服务器根据各个所述中转处理服务器的剩余空间信息对所述目标传输数据组进行拆分，得到至少一个目标传输数据，并根据各个所述中转处理服务器的地址和对应的存储目录将所述目标传输数据分别且并行地发送至各个所述中转处理服务器。

第二方面，本申请提供一种分布式数据传输装置，包括：

接收请求模块，用于接收数据源服务器发送的数据传输请求，其中，该数据传输请求中包括：目标传输数据组的容量值和所述数据源服务器的认证标识字符串；

处理模块，用于根据所述认证标识字符串判断对应的各个中转处理服务器的剩余空间之和是否大于所述目标传输数据组的容量值，若是，则根据所述目标传输数据组的容量值将对应的至少一个中转处理服务器作为目标中转处理服务器组，以使所述目标中转处理服务器组中的各个中转处理服务器分别且并行地接收所述数据源服务器发送的目标传输数据组中的各个目标传输数据，并根据同一阈值分别对所述目标传输数据进行切分或合并处理，得到所述目标传输数据对应的各个文件包；

发送模块，用于将所述文件包分别发送至目标数据接收服务器。

进一步地，所述的分布式数据传输装置还包括：接收认证信息模块，用于接收所述数据源服务器发送的用户认证信息；认证模块，用于根据所述用户认证信息确定与所述数据源服务器匹配的各个中转处理服务器，并将与该中转处理服务器对应的认证标识字符串返回至该数据源服务器。

进一步地，所述的分布式数据传输装置还包括：存储模块，用于将所述目标传输数据组存储至所述目标数据接收服务器。

进一步地，在所述目标中转处理服务器组中的各个中转处理服务器分别且并行地接收所述数据源服务器发送的目标传输数据组中的各个目标传输数据的过程中，所述处理模块，还用于判断所述目标传输数据发送至对应的中转处理服务器的流量是否超过流量阈值，若是，则将该流量调整至该流量阈值。

进一步地，所述处理模块，包括：获取目标传输数据单元，用于将所述目标中转处理服务器组中的各个中转处理服务器的地址、对应的存储目录和剩余空间信息分别发送至所述数据源服务器，以使该数据源服务器根据各个所述中转处理服务器的剩余空间信息对所述目标传输数据组进行拆分，得到至少一个目标传输数据，并根据各个所述中转处理服务器的地址和对应的存储目录将所述目标传输数据分别且并行地发送至各个所述中转处理服务器。

第三方面，本申请提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的分布式数据传输方法。

第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现所述的分布式数据传输方法。

由上述技术方案可知，本申请提供一种分布式数据传输方法及装置。其中，该方法包括：接收数据源服务器发送的数据传输请求，其中，该数据传输请求中包括：目标传输数据组的容量值和所述数据源服务器的认证标识字符串；根据所述认证标识字符串判断对应的各个中转处理服务器的剩余空间之和是否大于所述目标传输数据组的容量值，若是，则根据所述目标传输数据组的容量值将对应的至少一个中转处理服务器作为目标中转处理服务器组，以使所述目标中转处理服务器组中的各个中转处理服务器分别且并行地接收所述数据源服务器发送的目标传输数据组中的各个目标传输数据，并根据同一阈值分别对所述目标传输数据进行切分或合并处理，得到所述目标传输数据对应的各个文件包；将所述文件包分别发送至目标数据接收服务器。本申请能够在实现并行传输数据的基础上，提高数据传输的效率和可靠性；具体地，能够对数据传输过程进行实时监控，如流量监控和文件内容黑名单监控；对数据进行灵活的调度，能够实现并行数据传输，提高各个服务器的利用率，节省成本；通过对数据进行拆分或合并处理，能够提高数据传输的可靠性和可控性，同时能够提高确定错误节点的准确性；中转处理服务器可扩展，可根据业务需要扩展不同数量的数据拦截处理器；可自定义精细化控制传输数据，经过中转的数据流可以按照预定义的方法进行控制，例如流量控制和文件内容黑名单控制。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例的分布式数据传输方法的流程示意图；

图2是本申请另一实施例的分布式数据传输方法的流程示意图；

图3是本申请实施例的分布式数据传输装置的结构示意图；

图4是本申请具体应用实例的协调服务器与中转服务器的拓扑图；

图5是本申请具体应用实例的数据源服务器与中转服务器拓扑图；

图6是本申请具体应用实例的中转服务器与备份存储服务器拓扑图；

图7是本申请具体应用实例的中转服务器的结构示意图；

图8是本申请具体应用实例的数据源服务器的结构示意图；

图9是本申请具体应用实例的数据备份流程图；

图10是本申请具体应用实例的数据恢复流程图；

图11为本申请实施例的电子设备9600的系统构成示意框图。

具体实施方式

为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

基于此，为了在实现并行传输数据的基础上，提高数据传输的效率和可靠性，本申请实施例提供一种分布式数据传输装置，该装置可以是一服务器或客户端设备，所述客户端设备可以包括智能手机、平板电子设备、网络机顶盒、便携式计算机、台式电脑、个人数字助理(PDA)、车载设备和智能穿戴设备等。其中，所述智能穿戴设备可以包括智能眼镜、智能手表和智能手环等。

在实际应用中，进行分布式数据传输的部分可以在如上述内容所述的服务器侧执行，也可以所有的操作都在所述客户端设备中完成。具体可以根据所述客户端设备的处理能力，以及用户使用场景的限制等进行选择。本申请对此不作限定。若所有的操作都在所述客户端设备中完成，所述客户端设备还可以包括处理器。

上述的客户端设备可以具有通信模块(即通信单元)，可以与远程的服务器进行通信连接，实现与所述服务器的数据传输。所述服务器可以包括任务调度中心一侧的服务器，其他的实施场景中也可以包括中间平台的服务器，例如与任务调度中心服务器有通信链接的第三方服务器平台的服务器。所述的服务器可以包括单台计算机设备，也可以包括多个服务器组成的服务器集群，或者分布式装置的服务器结构。

所述服务器与所述客户端设备之间可以使用任何合适的网络协议进行通信，包括在本申请提交日尚未开发出的网络协议。所述网络协议例如可以包括TCP/IP协议、UDP/IP协议、HTTP协议、HTTPS协议等。当然，所述网络协议例如还可以包括在上述协议之上使用的RPC协议(Remote Procedure Call Protocol，远程过程调用协议)、REST协议(Representational State Transfer，表述性状态转移协议)等。

具体通过下述各个实施例进行说明。

为了在实现并行传输数据的基础上，提高数据传输的效率和可靠性，本实施例提供一种执行主体是分布式数据传输装置的分布式数据传输方法，其中，该分布式数据传输装置可以是一个单独的服务器；也可以是协调服务器与中转处理服务器结合的传输装置；还可以是所述中转处理服务器中的至少一个，该中转处理服务器中存储有各个中转处理服务器的基本信息，如剩余空间信息和地址等；如图1所示，该方法具体包含有如下内容：

S100：接收数据源服务器发送的数据传输请求，其中，该数据传输请求中包含有：目标传输数据组的容量值和所述数据源服务器的认证标识字符串。

具体地，所述认证标识字符串为所述数据源服务器的唯一码，根据所述认证标识字符串可以确定发送所述数据传输请求的数据源服务器以及与该数据源服务器匹配的中转处理服务器。所述目标传输数据可以是金融交易数据文件或客户信息文件等。

S200：根据所述认证标识字符串判断对应的各个中转处理服务器的剩余空间之和是否大于所述目标传输数据组的容量值，若是，则根据所述目标传输数据组的容量值将对应的至少一个中转处理服务器作为目标中转处理服务器组，以使所述目标中转处理服务器组中的各个中转处理服务器分别且并行地接收所述数据源服务器发送的目标传输数据组中的各个目标传输数据，并根据同一阈值分别对所述目标传输数据进行切分或合并处理，得到所述目标传输数据对应的各个文件包。

具体地，各个所述文件包的容量值均不超过所述阈值。所述剩余空间即中转处理服务器的可分配资源。所述目标中转处理服务器组中的中转处理服务器个数与所述目标传输数据的个数相同。所述阈值可根据实际情况进行设置。

可以理解的是，若根据所述认证标识字符串判断得到对应的各个中转处理服务器的剩余空间之和小于所述目标传输数据的容量值，则向所述数据源服务器发送空间不足提示信息。

S300：将所述文件包分别发送至目标数据接收服务器。

具体地，本申请实施例提供的数据传输方法是基于分布式框架进行数据传输的。

在一个实施例中，所述根据所述认证标识字符串判断对应的各个中转处理服务器的剩余空间之和是否大于所述目标传输数据组的容量值，包含有：

根据所述认证标识字符串确定与所述数据源服务器匹配的中转处理服务器。

判断所述中转处理服务器的剩余空间之和是否大于所述目标传输数据组的容量值。

在一个实施例中，所述根据所述目标传输数据组的容量值将对应的至少一个中转处理服务器作为目标中转处理服务器组，包含有：

按照预设的排序规则对所述中转处理服务器进行排序，将根据排序结果从前往后获得剩余空间之和大于所述容量值且个数最少的中转处理服务器作为所述目标中转处理服务器组。

其中，所述目标传输数据的大小与各个所述中转处理服务器的剩余空间有关。所述预设的排序规则可根据实际需要进行设置，本申请对此不作限制。例如，所述排序规则为各个中转处理服务器按照各自的剩余空间从大到小排序或者各个中转处理服务器按照各自的启动时间从前到后排序。在一种举例中，将有剩余空间的各个中转处理服务器按照各自的启动时间从前往后进行排序，并从前往后获得剩余空间之和大于所述目标传输数据的容量值的中转处理服务器的最小个数。

在一个实施例中，在所述根据同一阈值分别对所述目标传输数据进行切分或合并处理之前，还包含有：根据所述认证标识字符串对各个目标传输数据进行贴标处理。根据贴标后的目标传输数据能够确定对应的数据源服务器。

为了进一步提高数据传输的可靠性和安全性，如图2所示，在本申请一个实施例中，在步骤S100之前还包含有：

S101：接收所述数据源服务器发送的用户认证信息。

S102：根据所述用户认证信息确定与所述数据源服务器匹配的各个中转处理服务器，并将与该中转处理服务器对应的认证标识字符串返回至该数据源服务器。

具体地，所述分布式数据传输装置根据所述用户认证信息对各个待匹配中转处理服务器进行身份验证，若验证通过，则对应的待匹配中转处理服务器为与所述数据源服务器匹配的中转处理服务器。

为了实现并行的数据备份，在本申请一个实施例中，在步骤S300之后，还包含有：

将所述目标传输数据组存储至所述目标数据接收服务器。

为了实现对数据传输的实时监控，提高数据传输的可靠性，在本申请一个实施例中，在所述目标中转处理服务器组中的各个中转处理服务器分别且并行地接收所述数据源服务器发送的目标传输数据组中的各个目标传输数据的过程中，还包含有：

判断所述目标传输数据发送至对应的中转处理服务器的流量是否超过流量阈值，若是，则将该流量调整至该流量阈值。

所述流量阈值可根据实际需要进行设置，本申请对此不作限制。

具体地，所述分布式数据传输装置还可以实时监控所述目标传输数据是否在预设的文件内容黑名单内，若是，则停止传输过程。另外，所述分布式数据传输装置也可以对所述目标传输数据进行切分或合并处理的过程进行实时监控，若处理失败，则重启该处理过程。

为了进一步提高数据传输的准确性和效率，在本申请一个实施例中，步骤S200中所述的根据所述目标传输数据组的容量值将对应的至少一个中转处理服务器作为目标中转处理服务器组，以使所述目标中转处理服务器组中的各个中转处理服务器分别且并行地接收所述数据源服务器发送的目标传输数据组中的各个目标传输数据，包含有：

S211：将所述目标中转处理服务器组中的各个中转处理服务器的地址、对应的存储目录和剩余空间信息分别发送至所述数据源服务器，以使该数据源服务器根据各个所述中转处理服务器的剩余空间信息对所述目标传输数据组进行拆分，得到至少一个目标传输数据，并根据各个所述中转处理服务器的地址和对应的存储目录将所述目标传输数据分别且并行地发送至各个所述中转处理服务器。

从软件层面来说，为了在实现并行传输数据的基础上，提高数据传输的效率和可靠性，本申请提供一种用于实现所述分布式数据传输方法中全部或部分内容的分布式数据传输装置的实施例，参见图3，所述分布式数据传输装置具体包含有如下内容：

接收请求模块10，用于接收数据源服务器发送的数据传输请求，其中，该数据传输请求中包含有：目标传输数据组的容量值和所述数据源服务器的认证标识字符串。

处理模块20，用于根据所述认证标识字符串判断对应的各个中转处理服务器的剩余空间之和是否大于所述目标传输数据组的容量值，若是，则根据所述目标传输数据组的容量值将对应的至少一个中转处理服务器作为目标中转处理服务器组，以使所述目标中转处理服务器组中的各个中转处理服务器分别且并行地接收所述数据源服务器发送的目标传输数据组中的各个目标传输数据，并根据同一阈值分别对所述目标传输数据进行切分或合并处理，得到所述目标传输数据对应的各个文件包。

发送模块30，用于将所述文件包分别发送至目标数据接收服务器。

在本申请一个实施例中，所述的分布式数据传输装置，还包含有：

接收认证信息模块，用于接收所述数据源服务器发送的用户认证信息。

认证模块，用于根据所述用户认证信息确定与所述数据源服务器匹配的各个中转处理服务器，并将与该中转处理服务器对应的认证标识字符串返回至该数据源服务器。

在本申请一个实施例中，所述的分布式数据传输装置，还包含有：存储模块，用于将所述目标传输数据组存储至所述目标数据接收服务器。

在本申请一个实施例中，在所述目标中转处理服务器组中的各个中转处理服务器分别且并行地接收所述数据源服务器发送的目标传输数据组中的各个目标传输数据的过程中，所述处理模块，还用于判断所述目标传输数据发送至对应的中转处理服务器的流量是否超过流量阈值，若是，则将该流量调整至该流量阈值。

在本申请一个实施例中，所述处理模块，包含有：

获取目标传输数据单元，用于将所述目标中转处理服务器组中的各个中转处理服务器的地址、对应的存储目录和剩余空间信息分别发送至所述数据源服务器，以使该数据源服务器根据各个所述中转处理服务器的剩余空间信息对所述目标传输数据组进行拆分，得到至少一个目标传输数据，并根据各个所述中转处理服务器的地址和对应的存储目录将所述目标传输数据分别且并行地发送至各个所述中转处理服务器。

本说明书提供的分布式数据传输装置的实施例具体可以用于执行上述分布式数据传输方法的实施例的处理流程，其功能在此不再赘述，可以参照上述分布式数据传输方法实施例的详细描述。

为了提高分布式数据传输中的数据调度、控制、监控和处理能力，进而提高数据传输效率和可靠性，本申请还提供一种分布式数据传输系统的具体应用实例，在本具体应用实例中，所述具体分布式数据传输系统由协调服务器1、中转服务器2、数据源服务器3和备份存储服务器4组成。中转服务器2用于实现上述中转处理服务器和/或分布式数据传输装置的功能，所述备份存储服务器4用于实现上述目标数据接收服务器的功能，具体描述如下：

(1)如图4所示，协调服务器1是协调控制整个备份中转过程的控制装置，包含有两台服务器，具备高可用性；该协调服务器包含有高可用模块101和通讯模块102。

高可用模块101，用于当主服务器可用时，主服务器为活动服务器，备服务器不活动；当主服务器宕机时，备服务器升格为活动服务器，所有中转服务器的管理权交接给现有的活动服务器。

通讯模块102，用于协调服务器与中转服务器2之间的网络通信。

(2)如图5至图7所示，中转服务器2是数据传输处理的承载装置，包含有数据拉取模块201、数据推送模块202、数据备份服务端模块301和中转功能模块302。

数据拉取模块201，用于根据实时负载从多个数据源服务器拉取需要备份的数据。

数据推送模块202，用于根据数据处理进度将已处理的备份数据推送至备份存储服务器进行存储，或者将备份数据恢复到中转服务器进行处理。

数据备份服务端模块301，用于进行数据处理的进程。

中转功能模块302包含数据接收器、数据监控器、数据处理器和数据发送器。其中，数据接收器用于接收数据源服务器或备份存储服务器发送来的数据，数据监控器用于对数据流进行监控管理，数据处理器用于对数据进行转换处理，数据发送器用于将数据发送给备份存储数据器或数据源服务器。

(3)参见图8，数据源服务器3是存储有待备份数据的服务器，数据源服务器包含有数据备份客户端模块401和数据发送接收模块402。

数据备份客户端模块401，用于进行数据发送和接收。

数据发送接收模块402包含有数据发送器和数据接收器，分别用于向中转服务器上的数据备份服务端发送数据和从数据备份服务端接收数据。

(4)备份存储服务器4用于存储数据。

由上述描述可知，在本具体应用实例中，拦截器可扩展；可精细化控制传输数据，经过中转的数据流可以按照预定义的方法进行控制，例如流量控制和文件内容黑名单控制；中转集群规模可横向扩展和缩减，中转集群可根据数据源服务器和备份存储服务器的规模进行扩展和缩减，合理使用资源。

为了进一步说明本方案，结合上述具体应用实例中的分布式数据传输系统，本申请还提供一种分布式数据备份方法的具体应用实例，如图9所示，具体包含有如下内容：

步骤501：备份客户端进行身份认证，身份认证通过后备份服务端将返回认证标识字符串，并设置有效时间，备份客户端的后续请求需携带认证标识字符串作为请求参数。

具体地，备份客户端向备份服务端发起身份认证请求。所述有效时间是设置在中转服务器中的有效时间。所述认证标识字符串用于备份服务端对备份客户端的认证识别。

步骤502：备份客户端向备份服务端申请资源，备份服务端按当前资源进行分配，如果备份客户端申请资源大于最高可分配资源，则返回资源不足；否则返回分配给备份客户端的资源明细。备份客户端可向服务端返回的指定目录发送文件。

具体地，所述资源明细包含有已申请分配得到的可使用中转服务器、可使用的目录和有效时间。所述有效时间表示备份服务端发送资源明细到接收完成备份客户端发送的文件所消耗时间的最大值，若消耗时间超过该有效时间，则结束对应的数据传输任务。

步骤503：备份客户端向已申请到的中转服务器发送文件。

步骤504：备份服务端对文件拦截，根据处理链上的功能处理文件并实时监控。备份服务端对备份客户端正在发送的文件进行拦截处理，包含有文件格式转换和文件切分合并，其中文件格式转换处理为文件打上不可见标签用于文件标识，文件切分操作将小文件合并为300G的文件，将大文件切分为多个300G的文件。

步骤505：备份服务端将处理结束的文件发送给备份存储服务器进行存储。

步骤506：备份服务端清理本次备份处理生成的临时文件。

其中，所述临时文件为拦截处理过程中产生的中间文件以及中转服务器上接收到由备份客户端发送来的已成功存储到备份存储服务器的文件。如，日志文件。

为了进一步说明本方案，结合上述具体应用实例中的分布式数据传输系统，本申请还提供一种分布式数据恢复方法的具体应用实例，如图10所示，具体包含有如下内容：

步骤601：备份客户端进行身份认证，身份认证通过后备份服务端将返回认证标识字符串，并设置有效时间，调用者的后续请求需携带认证标识字符串作为请求参数。

步骤602：备份客户端向备份服务端申请资源，备份服务端按当前资源进行分配，如果备份客户端申请资源大于最高可分配资源，则返回资源不足；否则返回分配给备份客户端的资源明细。备份客户端可向服务端返回的指定目录发送文件。

步骤603：备份服务端向备份存储服务器请求文件，接收文件至指定目录。

步骤604：备份服务端对文件拦截，根据处理链上的功能处理文件并实施监控。

步骤605：备份服务端将处理结束的文件发送给备份客户端进行恢复。

步骤606：备份服务端清理本次恢复处理生成的临时文件。

由上述描述可知，本申请提供的分布式数据传输方法及装置，能够在实现并行传输数据的基础上，提高数据传输的效率和可靠性；具体地，本申请能够提高数据传输过程中对数据状态监控、数据转换和数据调度的能力，利用分布式架构能够提高数据处理效率，能够实现将分散的数据集中的数据备份至密集型备份存储服务器，并且保证数据的一致性。

从硬件层面来说，为了在实现并行传输数据的基础上，提高数据传输的效率和可靠性，本申请提供一种用于实现所述分布式数据传输方法中的全部或部分内容的电子设备的实施例所述电子设备具体包含有如下内容：

处理器(processor)、存储器(memory)、通信接口(Communications Interface)和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述通信接口用于实现所述分布式数据传输装置以及用户终端等相关设备之间的信息传输；该电子设备可以是台式计算机、平板电脑及移动终端等，本实施例不限于此。在本实施例中，该电子设备可以参照实施例用于实现所述分布式数据传输方法的实施例及用于实现所述分布式数据传输装置的实施例进行实施，其内容被合并于此，重复之处不再赘述。

图11为本申请实施例的电子设备9600的系统构成的示意框图。如图11所示，该电子设备9600可以包括中央处理器9100和存储器9140；存储器9140耦合到中央处理器9100。值得注意的是，该图11是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现电信功能或其他功能。

在本申请一个或多个实施例中，分布式数据传输功能可以被集成到中央处理器9100中。其中，中央处理器9100可以被配置为进行如下控制：

S100：接收数据源服务器发送的数据传输请求，其中，该数据传输请求中包括：目标传输数据组的容量值和所述数据源服务器的认证标识字符串。

S200：根据所述认证标识字符串判断对应的各个中转处理服务器的剩余空间之和是否大于所述目标传输数据组的容量值，若是，则根据所述目标传输数据组的容量值将对应的至少一个中转处理服务器作为目标中转处理服务器组，以使所述目标中转处理服务器组中的各个中转处理服务器分别且并行地接收所述数据源服务器发送的目标传输数据组中的各个目标传输数据，并根据同一阈值分别对所述目标传输数据进行切分或合并处理，得到所述目标传输数据对应的各个文件包。

S300：将所述文件包分别发送至目标数据接收服务器。

从上述描述可知，本申请的实施例提供的电子设备，能够在实现并行传输数据的基础上，提高数据传输的效率和可靠性。

在另一个实施方式中，分布式数据传输装置可以与中央处理器9100分开配置，例如可以将分布式数据传输装置配置为与中央处理器9100连接的芯片，通过中央处理器的控制来实现分布式数据传输功能。

如图11所示，该电子设备9600还可以包括：通信模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是，电子设备9600也并不是必须要包括图11中所示的所有部件；此外，电子设备9600还可以包括图11中没有示出的部件，可以参考现有技术。

如图11所示，中央处理器9100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。

其中，存储器9140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序，以实现信息存储或处理等。

输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。

该存储器9140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142，该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。

存储器9140还可以包括数据存储部9143，该数据存储部9143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。

通信模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通信模块(发送机/接收机)9110耦合到中央处理器9100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。

基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块9110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)9110还经由音频处理器9130耦合到扬声器9131和麦克风9132，以经由扬声器9131提供音频输出，并接收来自麦克风9132的音频输入，从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器9130还耦合到中央处理器9100，从而使得可以通过麦克风9132能够在本机上录音，且使得可以通过扬声器9131来播放本机上存储的声音。

上述描述可知，本申请的实施例提供的电子设备，能够在实现并行传输数据的基础上，提高数据传输的效率和可靠性。

本申请的实施例还提供能够实现上述实施例中的分布式数据传输方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的分布式数据传输方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：

S100：接收数据源服务器发送的数据传输请求，其中，该数据传输请求中包括：目标传输数据组的容量值和所述数据源服务器的认证标识字符串。

S200：根据所述认证标识字符串判断对应的各个中转处理服务器的剩余空间之和是否大于所述目标传输数据组的容量值，若是，则根据所述目标传输数据组的容量值将对应的至少一个中转处理服务器作为目标中转处理服务器组，以使所述目标中转处理服务器组中的各个中转处理服务器分别且并行地接收所述数据源服务器发送的目标传输数据组中的各个目标传输数据，并根据同一阈值分别对所述目标传输数据进行切分或合并处理，得到所述目标传输数据对应的各个文件包。

S300：将所述文件包分别发送至目标数据接收服务器。

从上述描述可知，本申请实施例提供的计算机可读存储介质，能够在实现并行传输数据的基础上，提高数据传输的效率和可靠性。

本申请中上述方法的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。相关之处参见方法实施例的部分说明即可。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本申请中应用了具体实施例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种分布式数据传输方法，其特征在于，包括：

接收数据源服务器发送的数据传输请求，其中，该数据传输请求中包括：目标传输数据组的容量值和所述数据源服务器的认证标识字符串；

根据所述认证标识字符串判断对应的各个中转处理服务器的剩余空间之和是否大于所述目标传输数据组的容量值，若是，则根据所述目标传输数据组的容量值将对应的至少一个中转处理服务器作为目标中转处理服务器组，以使所述目标中转处理服务器组中的各个中转处理服务器分别且并行地接收所述数据源服务器发送的目标传输数据组中的各个目标传输数据，并根据同一阈值分别对所述目标传输数据进行切分或合并处理，得到所述目标传输数据对应的各个文件包，若否，则向所述数据源服务器发送空间不足提示信息；

将所述文件包分别发送至目标数据接收服务器；

所述根据所述目标传输数据组的容量值将对应的至少一个中转处理服务器作为目标中转处理服务器组，包含有：

按照预设的排序规则对所述中转处理服务器进行排序，将根据排序结果从前往后获得剩余空间之和大于所述容量值且个数最少的中转处理服务器作为所述目标中转处理服务器组；

所述根据所述目标传输数据组的容量值将对应的至少一个中转处理服务器作为目标中转处理服务器组，以使所述目标中转处理服务器组中的各个中转处理服务器分别且并行地接收所述数据源服务器发送的目标传输数据组中的各个目标传输数据，包括：

将所述目标中转处理服务器组中的各个中转处理服务器的地址、对应的存储目录和剩余空间信息分别发送至所述数据源服务器，以使该数据源服务器根据各个所述中转处理服务器的剩余空间信息对所述目标传输数据组进行拆分，得到至少一个目标传输数据，并根据各个所述中转处理服务器的地址和对应的存储目录将所述目标传输数据分别且并行地发送至各个所述中转处理服务器。

2.根据权利要求1所述的分布式数据传输方法，其特征在于，在所述接收数据源服务器发送的数据传输请求之前，还包括：

接收所述数据源服务器发送的用户认证信息；

根据所述用户认证信息确定与所述数据源服务器匹配的各个中转处理服务器，并将与该中转处理服务器对应的认证标识字符串返回至该数据源服务器。

3.根据权利要求1所述的分布式数据传输方法，其特征在于，在所述将所述文件包分别发送至目标数据接收服务器之后，还包括：

将所述目标传输数据组存储至所述目标数据接收服务器。

4.根据权利要求1所述的分布式数据传输方法，其特征在于，在所述目标中转处理服务器组中的各个中转处理服务器分别且并行地接收所述数据源服务器发送的目标传输数据组中的各个目标传输数据的过程中，还包括：

判断所述目标传输数据发送至对应的中转处理服务器的流量是否超过流量阈值，若是，则将该流量调整至该流量阈值。

5.一种分布式数据传输装置，其特征在于，包括：

接收请求模块，用于接收数据源服务器发送的数据传输请求，其中，该数据传输请求中包括：目标传输数据组的容量值和所述数据源服务器的认证标识字符串；

处理模块，用于根据所述认证标识字符串判断对应的各个中转处理服务器的剩余空间之和是否大于所述目标传输数据组的容量值，若是，则根据所述目标传输数据组的容量值将对应的至少一个中转处理服务器作为目标中转处理服务器组，以使所述目标中转处理服务器组中的各个中转处理服务器分别且并行地接收所述数据源服务器发送的目标传输数据组中的各个目标传输数据，并根据同一阈值分别对所述目标传输数据进行切分或合并处理，得到所述目标传输数据对应的各个文件包，若否，则向所述数据源服务器发送空间不足提示信息；

发送模块，用于将所述文件包分别发送至目标数据接收服务器；

所述处理模块包括：排序单元，用于按照预设的排序规则对所述中转处理服务器进行排序，将根据排序结果从前往后获得剩余空间之和大于所述容量值且个数最少的中转处理服务器作为所述目标中转处理服务器组；

所述处理模块，包括：

获取目标传输数据单元，用于将所述目标中转处理服务器组中的各个中转处理服务器的地址、对应的存储目录和剩余空间信息分别发送至所述数据源服务器，以使该数据源服务器根据各个所述中转处理服务器的剩余空间信息对所述目标传输数据组进行拆分，得到至少一个目标传输数据，并根据各个所述中转处理服务器的地址和对应的存储目录将所述目标传输数据分别且并行地发送至各个所述中转处理服务器。

6.根据权利要求5所述的分布式数据传输装置，其特征在于，还包括：

接收认证信息模块，用于接收所述数据源服务器发送的用户认证信息；

认证模块，用于根据所述用户认证信息确定与所述数据源服务器匹配的各个中转处理服务器，并将与该中转处理服务器对应的认证标识字符串返回至该数据源服务器。

7.根据权利要求5所述的分布式数据传输装置，其特征在于，还包括：

存储模块，用于将所述目标传输数据组存储至所述目标数据接收服务器。

8.根据权利要求5所述的分布式数据传输装置，其特征在于，在所述目标中转处理服务器组中的各个中转处理服务器分别且并行地接收所述数据源服务器发送的目标传输数据组中的各个目标传输数据的过程中，所述处理模块，还用于判断所述目标传输数据发送至对应的中转处理服务器的流量是否超过流量阈值，若是，则将该流量调整至该流量阈值。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至4任一项所述的分布式数据传输方法。

10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述指令被执行时实现权利要求1至4任一项所述的分布式数据传输方法。