CN115865782A - 数据传输系统、方法、装置、计算机设备和存储介质 - Google Patents
数据传输系统、方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN115865782A CN115865782A CN202211463554.6A CN202211463554A CN115865782A CN 115865782 A CN115865782 A CN 115865782A CN 202211463554 A CN202211463554 A CN 202211463554A CN 115865782 A CN115865782 A CN 115865782A
- Authority
- CN
- China
- Prior art keywords
- node
- data transmission
- host
- target
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 393
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000004891 communication Methods 0.000 claims abstract description 141
- 238000004590 computer program Methods 0.000 claims abstract description 22
- 238000012546 transfer Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 6
- 238000012216 screening Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- PWHVEHULNLETOV-UHFFFAOYSA-N Nic-1 Natural products C12OC2C2(O)CC=CC(=O)C2(C)C(CCC2=C3)C1C2=CC=C3C(C)C1OC(O)C2(C)OC2(C)C1 PWHVEHULNLETOV-UHFFFAOYSA-N 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- GWWNCLHJCFNTJA-UHFFFAOYSA-N nicandrenone-2 Natural products C12OC2C2(O)CC=CC(=O)C2(C)C(CCC23C)C1C3CCC2(O)C(C)C1OC(O)C2(C)OC2(C)C1 GWWNCLHJCFNTJA-UHFFFAOYSA-N 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Landscapes
- Computer And Data Communications (AREA)
Abstract
本申请涉及一种数据传输系统、方法、装置、计算机设备、存储介质和计算机程序产品，其中，该数据传输系统包括多个主机，主机包括多个节点，第一节点用于在接收到数据传输请求的情况下，确定所携带的数据传输信息，并在第一主机包含的多个节点中，确定满足第一优化传输条件的第二节点，并发送数据传输信息；第二节点，用于基于数据传输信息，在第二主机包含的多个节点中，确定满足第二优化传输条件的第三节点，并基于本地的通信网卡与第三节点的通信网卡之间的通信连接，向第三节点发送数据传输信息；第三节点，用于将目标数据从第三节点发送至目的存储地址。通过采用本申请，可以采用最优传输路径进行数据传输，提高数据传输的效率。
Description
技术领域
本申请涉及通信技术领域，特别是涉及一种数据传输系统、方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着NUMA(Non Uniform Memory Access，非统一内存访问)架构的快速发展，该非统一内存访问架构在数据传输领域得到广泛发展。NUMA架构是包括多个主机的分布式存储系统，各主机上包括多个节点，该节点部署有通信网卡、内存以及硬盘中的一种或多种。数据会通过各主机之间的网络进行传输，存储到另一端的主机中的硬盘内。在数据传输过程中，会出现跨主机的节点的数据传输情况出现，因此，需要确定数据传输路径。
相关技术中，在确定数据传输路径时，主要是随机确定数据传输节点，可能会出现传输距离较长的传输路径，导致数据传输效率较低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高数据传输效率的数据传输方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种数据传输系统，所述数据传输系统包括多个主机，主机包括多个节点：
第一节点，用于在接收到数据传输请求的情况下，确定所述数据传输请求所携带的数据传输信息，并在第一主机包含的多个节点中，确定满足第一优化传输条件的第二节点，向所述第二节点发送所述数据传输信息，所述数据传输信息包括目标数据以及目的存储地址，所述第一主机为所述第一节点所在的主机；
所述第二节点，用于基于所述数据传输信息，在第二主机包含的多个节点中，确定满足第二优化传输条件的第三节点，并基于本地的通信网卡与第三节点的通信网卡之间的通信连接，向所述第三节点发送所述数据传输信息，所述第二主机为所述目的存储地址对应的节点所在的主机；
所述第三节点，用于基于所述数据传输信息，将所述目标数据从所述第三节点发送至所述目的存储地址。
基于以上方案，可以确定数据传输的最优传输路径，并在跨节点以及跨主机进行数据传输的情况下，保证可以采用最优传输路径进行数据传输，提高数据传输的效率，并且降低数据传输系统进行数据传输的资源开销。
在其中一个实施例中，第一节点具体用于：
获取所述第一节点对应的所述第一主机中各节点之间的第一距离信息；
基于所述第一距离信息，确定距离所述第一节点最近且部署有通信网卡的第二节点。
基于以上方案，可以准确的确定距离最近的通信网卡，保证数据传输效率。
在其中一个实施例中，所述第二节点具体用于：
获取所述第二主机中各节点之间的第二距离信息；
基于所述第二距离信息，在所述第二主机包含的多个节点中，确定距离所述目的存储地址对应的节点最近且部署有通信网卡的第三节点。
基于以上方案，可以准确的确定距离最近的通信网卡，保证数据传输效率。
在其中一个实施例中，所述第三节点具体用于：
基于所述第二距离信息，在所述第二主机包含的多个节点中，确定距离所述第三节点最近且配置有第一存储空间的第四节点，并向所述第四节点的第一存储空间发送包含有目标数据以及目的存储地址的数据传输信息。
基于以上方案，可以准确的确定距离最近的通信网卡，保证数据传输效率。
在其中一个实施例中，所述第四节点具体用于：
接收所述数据传输信息，并将所述数据传输信息中的所述目标数据发送至所述目的存储地址。
基于以上方案，可以准确的确定距离最近的且配置有内存的节点，保证数据传输效率。
在其中一个实施例中，所述数据传输系统包括目标主机，所述目标主机为所述数据传输系统包含的多个主机中的任意一个主机；
所述目标主机用于，获取所述目标主机的节点信息，所述节点信息包括所述目标主机包含的各节点的标识信息，以及各所述节点之间的距离信息；
所述目标主机还用于，向所述数据传输系统包含的除所述目标主机之外的其他主机同步所述目标主机的节点信息。
基于以上方案，可以准确的确定距离最近的且配置有内存的节点，保证数据传输效率。
第二方面，本申请提供了一种数据传输方法，应用于第一节点，所述方法包括：
在接收到数据传输请求的情况下，确定所述数据传输请求所携带的数据传输信息，所述数据传输信息包括目标数据以及目的存储地址；
在第一主机包含的多个节点中，确定满足第一优化传输条件的第二节点，并向所述第二节点发送所述数据传输信息，所述数据传输信息用于指示所述第二节点基于所述数据传输信息，在第二主机包含的多个节点中，确定满足第二优化传输条件的第三节点，并基于本地的通信网卡与第三节点的通信网卡之间的通信连接，向所述第三节点发送所述数据传输信息，以使所述第三节点基于所述数据传输信息，将所述目标数据从所述第三节点发送至所述目的存储地址，所述第二主机为所述目的存储地址对应的节点所在的主机。
在其中一个实施例中，所述在第一主机包含的多个节点中，确定满足第一优化传输条件的第二节点，包括：
获取所述第一节点对应的所述第一主机中各节点之间的第一距离信息；
基于所述第一距离信息，确定距离所述第一节点最近且部署有通信网卡的第二节点。
第三方面，本申请提供了一种数据传输方法，应用于第二节点，所述方法包括：
接收数据传输信息，所述数据传输信息包括目标数据以及目的存储地址，所述数据传输信息是第一节点在接收到数据传输请求的情况下，确定所述数据传输请求所携带的数据传输信息，并在第一主机包含的多个节点中，确定满足第一优化传输条件的第二节点后，向所述第二节点发送的，所述第一主机为所述第一节点所在的主机，所述第二节点内部署有第一通信网卡；
在第二主机包含的多个节点中，确定满足第二优化传输条件的第三节点，并基于所述第一通信网卡与第二通信网卡之间的通信连接，向所述第三节点发送所述数据传输信息，所述数据传输信息用于指示所述三节点将所述目标数据从所述第三节点发送至所述目的存储地址，所述第二主机为所述目的存储地址对应的节点所在的主机，所述第三节点内部署有所述第二通信网卡。
在其中一个实施例中，所述在第二主机包含的多个节点中，确定满足第二优化传输条件的第三节点，包括：
获取所述第二主机中各节点之间的第二距离信息；
基于所述第二距离信息，在所述第二主机包含的多个节点中，确定距离所述目的存储地址对应的节点最近且部署有通信网卡的第三节点。
第四方面，本申请提供了一种数据传输方法，应用于第三节点，所述方法包括：
基于数据传输信息，将目标数据从第三节点发送至目的存储地址，所述数据传输信息包括目标数据以及目的存储地址，所述数据传输信息是第二节点在基于所述数据传输信息，在第二主机包含的多个节点中，确定满足第二优化传输条件的第三节点后，基于第一通信网卡与第二通信网卡之间的通信连接向所述第三节点发送的，所述第二节点是第一节点在接收到数据传输请求的情况下确定所述数据传输请求所携带的数据传输信息后，在第一主机包含的多个节点中，确定的满足第一优化传输条件的节点，所述第一主机为所述第一节点所在的主机，所述第二主机为所述目的存储地址对应的节点所在的主机，所述第二节点内部署有第一通信网卡，所述第三节点内部署有所述第二通信网卡。
在其中一个实施例中，所述基于数据传输信息，将目标数据从第三节点发送至目的存储地址，包括：
获取所述第二主机中各节点之间的第二距离信息，基于所述第二距离信息，在所述第二主机包含的多个节点中，确定距离所述第三节点最近且配置有第一存储空间的第四节点，并向所述第四节点的第一存储空间发送包含有目标数据以及目的存储地址的数据传输信息，所述数据传输信息用于指示所述第四节点将所述数据传输信息中的所述目标数据发送至所述目的存储地址。
第五方面，本申请提供了一种数据传输装置，应用于第一节点，所述装置包括：
第一接收模块，用于在接收到数据传输请求的情况下，确定所述数据传输请求所携带的数据传输信息，所述数据传输信息包括目标数据以及目的存储地址；
第一确定模块，用于在第一主机包含的多个节点中，确定满足第一优化传输条件的第二节点，并向所述第二节点发送所述数据传输信息，所述数据传输信息用于指示所述第二节点基于所述数据传输信息，在第二主机包含的多个节点中，确定满足第二优化传输条件的第三节点，并基于本地的通信网卡与第三节点的通信网卡之间的通信连接，向所述第三节点发送所述数据传输信息，以使所述第三节点基于所述数据传输信息，将所述目标数据从所述第三节点发送至所述目的存储地址，所述第二主机为所述目的存储地址对应的节点所在的主机。
第六方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
在接收到数据传输请求的情况下，确定所述数据传输请求所携带的数据传输信息，所述数据传输信息包括目标数据以及目的存储地址；
在第一主机包含的多个节点中，确定满足第一优化传输条件的第二节点，并向所述第二节点发送所述数据传输信息，所述数据传输信息用于指示所述第二节点基于所述数据传输信息，在第二主机包含的多个节点中，确定满足第二优化传输条件的第三节点，并基于本地的通信网卡与第三节点的通信网卡之间的通信连接，向所述第三节点发送所述数据传输信息，以使所述第三节点基于所述数据传输信息，将所述目标数据从所述第三节点发送至所述目的存储地址，所述第二主机为所述目的存储地址对应的节点所在的主机。
第七方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
在接收到数据传输请求的情况下，确定所述数据传输请求所携带的数据传输信息，所述数据传输信息包括目标数据以及目的存储地址；
在第一主机包含的多个节点中，确定满足第一优化传输条件的第二节点，并向所述第二节点发送所述数据传输信息，所述数据传输信息用于指示所述第二节点基于所述数据传输信息，在第二主机包含的多个节点中，确定满足第二优化传输条件的第三节点，并基于本地的通信网卡与第三节点的通信网卡之间的通信连接，向所述第三节点发送所述数据传输信息，以使所述第三节点基于所述数据传输信息，将所述目标数据从所述第三节点发送至所述目的存储地址，所述第二主机为所述目的存储地址对应的节点所在的主机。
第八方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
在接收到数据传输请求的情况下，确定所述数据传输请求所携带的数据传输信息，所述数据传输信息包括目标数据以及目的存储地址；
在第一主机包含的多个节点中，确定满足第一优化传输条件的第二节点，并向所述第二节点发送所述数据传输信息，所述数据传输信息用于指示所述第二节点基于所述数据传输信息，在第二主机包含的多个节点中，确定满足第二优化传输条件的第三节点，并基于本地的通信网卡与第三节点的通信网卡之间的通信连接，向所述第三节点发送所述数据传输信息，以使所述第三节点基于所述数据传输信息，将所述目标数据从所述第三节点发送至所述目的存储地址，所述第二主机为所述目的存储地址对应的节点所在的主机。
上述数据传输系统、方法、装置、计算机设备、存储介质和计算机程序产品，其中，该数据传输系统包括多个主机，主机包括多个节点：其中，第一节点，用于在接收到数据传输请求的情况下，确定数据传输请求所携带的数据传输信息，并在第一主机包含的多个节点中，确定满足第一优化传输条件的第二节点，向第二节点发送数据传输信息；第二节点，用于基于数据传输信息，在第二主机包含的多个节点中，确定满足第二优化传输条件的第三节点，并基于本地的通信网卡与第三节点的通信网卡之间的通信连接，向第三节点发送数据传输信息；第三节点，用于基于数据传输信息，将目标数据从第三节点发送至目的存储地址。通过采用本申请，可以确定数据传输的最优传输路径，并在跨节点以及跨主机进行数据传输的情况下，保证可以采用最优传输路径进行数据传输，提高数据传输的效率。
附图说明
图1为一个实施例中数据传输系统的示意图；
图2为另一个实施例中数据传输系统的示意图；
图3为一个实施例中数据传输方法的流程示意图；
图4为一个实施例中数据传输方法的流程示意图；
图5为一个实施例中数据传输方法的流程示意图；
图6为一个实施例中数据传输方法的流程示意图；
图7为一个实施例中数据传输装置的结构框图；
图8为一个实施例中数据传输装置的结构框图；
图9为一个实施例中数据传输装置的结构框图；
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
随着科技的发展，出现了一种用于分布式存储的NUMA架构，该NUMA架构解决了多核处理器访问本地内存的瓶颈问题，然而在分布式存储系统(NUMA架构)包括多端设备，设备上包括多个NUMA NODE(节点)，本端设备的存储数据会通过网络到达对端设备，并存储在对端设备的磁盘中。在上述数据传输过程中，会出现内存跨节点访问导致的IO延迟，以及内存迁移带来的总线额外开销也会严重影响分布式存储系统的性能。NUMA是一种用于多处理器的内存结构。
也就是说，分布式存储系统的数据通路性能依赖IO路径上的网卡性能以及磁盘性能，通过在NUMA架构下尽量减少IO过程中访问内存时的跨NUMA NODE的距离，可以提高分布式存储系统的性能。
本申请实施例提供了一种数据传输系统100，该数据传输系统100可以如图1所示，包括多个主机200(host)，各主机200内包括多个节点(node)，每个节点内可以部署有第一存储空间、第二存储空间以及通信网卡(nic)中的一种或多种，该数据传输系统100还可以包括交换机300(switch)。其中，各主机200可以通过本地的通信网卡以及交换机与该数据传输系统100内的其他主机200进行数据通信。主机，可以是分布式存储系统的拓扑结构中的服务器设备，可以作为客户端，也可以作为服务端。
在一个示例中，如图2所示，该数据传输系统可以包括第一主机(主机1，host1)以及第二主机(主机2，host2)，第一主机可以通过交换机(switch)与第二主机相连。该第一主机可以包含多个节点，例如节点1(node1)、节点2(node2)、节点3(node3)以及节点4(node4)，该第二主机也可以包含多个节点，例如节点1(node1)、节点2(node2)、节点3(node3)以及节点4(node4)。其中，通信网卡1(nic1)可以部署在host1的节点2，通信网卡2(nic2)可以部署在host1的节点3；硬盘1(disk 1)可以部署在host2的节点1，硬盘2(disk2)可以部署在host2的节点4。
基于此，可以存在需要在host1上，把位于node1的内存里的一段数据，写入到host2的disk2中的数据传输请求，本申请提供的一种数据传输系统，可以确定实现上述数据传输请求的最优数据传输路径以及基于最优数据传输路径进行数据传输，提高数据在不同主机上的跨节点传输的效率，以及提高分布式存储系统的io性能。
如图1所示，本申请实施例提供了一种数据传输系统，该数据传输系统包括多个主机，主机包括多个节点，该数据传输系统还包括交换机。
具体地，该主机中的各个节点中可以配置有第一存储空间、第二存储空间以及通信网卡中的一种或者多种，第一存储空间可以是内存，第二存储空间可以是硬盘，通信网卡可以是用于在不同的主机间进行通信的网卡。
第一节点，用于在接收到数据传输请求的情况下，确定数据传输请求所携带的数据传输信息，并在第一主机包含的多个节点中，确定满足第一优化传输条件的第二节点，向第二节点发送数据传输信息。
其中，数据传输信息包括目标数据以及目的存储地址，第一主机为第一节点所在的主机。第一节点可以是第一主机包含的多个节点中的一个节点，例如可以是存储有目标数据的节点。数据传输请求用于指示第一节点将目标数据从第一节点传输至目的存储地址。目的存储地址可以其他主机上的硬盘地址。
在实施中，第一节点在接收到针对于该第一节点的数据传输请求后，会对该数据传输请求进行解析，得到该数据传输请求所携带的数据传输信息，即确定该数据传输请求中的需要被传输的目标数据，以及目标传输的传输地址(目的存储地址)。第一节点可以在第一主机中包含的多个节点中，确定满足预设配置的优化传输条件的第二节点。这样，第一节点可以向第二节点发送包含有目标数据以及目的存储地址的数据传输信息。
可选地，第一优化传输条件可以用于进行节点筛选，该第一优化传输条件的具体内容可以是距离目标数据所在的节点的最近的且部署有通信网卡的节点。
第二节点，用于基于数据传输信息，在第二主机包含的多个节点中，确定满足第二优化传输条件的第三节点，并基于本地的通信网卡与第三节点的通信网卡之间的通信连接，向第三节点发送数据传输信息。
其中，第二主机为目的存储地址对应的节点所在的主机；第二节点本地的通信网卡可以是部署在第二节点上的通信网卡。第二优化传输条件可以用于进行节点筛选，该第二优化传输条件的具体内容可以是距离目的存储地址所在的节点的最近的且部署有通信网卡的节点。
在实施中，第二节点可以在接收到数据传输信息后，确定第二主机所包含的多个节点，并在第二主机包含的多个节点中进行筛选，确定满足第二优化传输条件的第三节点。这样，第二节点可以基于本地的通信网卡与第三节点的通信网卡之间的通信连接，向第三节点发送数据传输信息。
第三节点，用于基于数据传输信息，将目标数据从第三节点发送至目的存储地址。
在实施中，第三节点可以在第二节点发送的数据传输信息后，对该数据传输消息进行解析，得到目标数据以及目的存储地址，并基于该目标存储地址将该目标数据传输至目标存储地址对应的第二存储空间，即硬盘中。
上述数据传输系统中的第一节点，用于在接收到数据传输请求的情况下，确定数据传输请求所携带的数据传输信息，并在第一主机包含的多个节点中，确定满足第一优化传输条件的第二节点，向第二节点发送数据传输信息；第二节点，用于基于数据传输信息，在第二主机包含的多个节点中，确定满足第二优化传输条件的第三节点，并基于本地的通信网卡与第三节点的通信网卡之间的通信连接，向第三节点发送数据传输信息；第三节点，用于基于数据传输信息，将目标数据从第三节点发送至目的存储地址。通过采用本申请，可以确定数据传输的最优传输路径，并在跨节点以及跨主机进行数据传输的情况下，保证可以采用最优传输路径进行数据传输，提高数据传输的效率，并且降低数据传输系统进行数据传输的资源开销。
在一示例性实施例中，第一节点具体用于：
获取第一节点对应的第一主机中各节点之间的第一距离信息；基于第一距离信息，确定距离第一节点最近且部署有通信网卡的第二节点。
其中，第一距离信息可以是该第一节点与第一主机包含的各节点的多个距离信息，例如可以是第一节点与其他各节点之间的距离数值等等。
在实施中，第一节点可以获取表征该第一节点与第一主机包含的其他节点间的距离信息，第一节点可以基于其他各节点与该第一节点的距离信息，得到按照从小到大的距离排列的节点序列，这样，第一节点可以按照该节点序列的排列顺序，依次确定各节点是否部署有通信网卡，将距离最小的且部署有通信网卡的节点确定为第二节点。
在一个示例中，第一节点还可以在第一主机包含的其他节点中进行筛选，提取部署有通信网卡的多个节点，并获取部署有通信网卡的多个节点与第一节点间的距离信息，将距离最小的且部署有通信网卡的节点确定为第二节点。
可选地，第一节点可以在接收到针对于该第一节点的数据传输请求后，会对该数据传输请求进行解析，得到目标数据以及目的存储地址，这样，第一节点可以判断本地是否存在通信网卡。在本地存在通信网卡的情况下，第一节点可以执行上述系统实施例中第二节点的执行过程，即，第一节点与第二节点可以是同一节点。
基于以上方案，可以准确的确定距离最近的通信网卡，保证数据传输效率。
在一示例性实施例中，第二节点具体用于：
获取第二主机中各节点之间的第二距离信息；基于第二距离信息，在第二主机包含的多个节点中，确定距离目的存储地址对应的节点最近且部署有通信网卡的第三节点。
其中，第二距离信息可以是该第二节点与第二主机包含的各节点的多个距离信息。
在实施中，第二节点可以获取该第二主机包含的多个节点间的距离信息，并基于第二主机包含的多个节点与该目的存储地址对应的节点的距离信息，得到按照从小到大的距离排列的节点序列，这样，第二节点可以按照该节点序列的排列顺序，依次确定各节点是否部署有通信网卡，将距离最小的且部署有通信网卡的节点确定为第三节点。
在一个示例中，第二节点还可以在第二主机包含的多个节点中进行筛选，提取部署有通信网卡的多个节点，并获取部署有通信网卡的多个节点与第二节点间的距离信息，将距离最小的且部署有通信网卡的节点确定为第三节点。
基于以上方案，可以准确的确定距离最近的通信网卡，保证数据传输效率。
在一示例性实施例中，第三节点具体用于：
基于第二距离信息，在第二主机包含的多个节点中，确定距离第三节点最近且配置有第一存储空间的第四节点，并向第四节点的第一存储空间发送包含有目标数据以及目的存储地址的数据传输信息。
在实施中，第三节点可以获取该第三节点与第二主机包含的多个节点间的距离信息，并基于第二主机包含的多个节点与该第三节点的距离信息，得到按照从小到大的距离排列的节点序列，这样，第三节点可以按照该节点序列的排列顺序，依次确定各节点是否部署有第一存储空间，将距离最小的且部署有第一存储空间的节点确定为第四节点。
在一个示例中，第二节点还可以在第二主机包含的多个节点中进行筛选，提取部署有第一存储空间的多个节点，并获取部署有第一存储空间的多个节点与第三节点间的距离信息，将距离最小的且部署有第一存储空间的节点确定为第四节点。
可选地，在接收到针对于该第三节点的数据传输请求后，第三节点可以对该数据传输请求进行解析，得到目标数据以及目的存储地址，这样，第三节点可以判断本地是否存在第一存储空间。在本地存在第一存储空间的情况下，第三节点可以将目标数据传输至本地的第一存储空间，并将存储在本地的第一存储空间中的目标数据，发送至目的存储地址，即可以将目标数据存储至该目的存储地址所对应的硬盘中的存储空间。
基于以上方案，可以准确的确定距离最近的且配置有内存的节点，保证数据传输效率。
在一示例性实施例中，第四节点具体用于：接收数据传输信息，并将数据传输信息中的目标数据发送至目的存储地址。
在实施中，第四节点可以在接收到该数据传输信息后，可以将该目标数据存储至本地的第一存储空间中，这样，第四节点可以将存储在本地的第一存储空间中的目标数据，发送至目的存储地址，即将目标数据存储至该目的存储地址所对应的硬盘中的存储空间。
基于以上方案，可以准确的确定距离最近的且配置有内存的节点，保证数据传输效率。
在一示例性实施例中，该数据传输系统包括目标主机，目标主机为数据传输系统包含的多个主机中的任意一个主机。
目标主机用于，获取目标主机的节点信息，节点信息包括目标主机包含的各节点的标识信息，以及各节点之间的距离信息。
在实施中，目标主机可以获取目标主机内部署的多个节点的节点信息，也就是说，目标主机需要获取本地部署的多个节点的标识信息，以及各节点之间的距离信息。
目标主机还用于，向数据传输系统包含的除目标主机之外的其他主机同步目标主机的节点信息。
在实施中，目标数据在获取到本地的节点信息之后，可以将本地的节点信息同步至该目标主机所属于的数据传输系统包含的其他主机中。
在一个示例中，数据传输系统可以包含第一主机、第二主机以及第三主机，目标主机可以是上述主机中的任意一个，例如第一主机。这样，第一主机会将第一主机对应的节点信息，同步至第二主机以及第三主机。
具体地，目标主机可以确定本地部署有通信网卡的第一目标节点，以及其他主机中部署有通信网卡的第二目标节点，并建立本地的通信网卡与其他主机中的通信网卡的通信连接，即，目标主机可以将第一目标节点上的通信网卡，分别与其他主机中的第二目标节点中的通信网卡，建立通信连接，便于数据传输系统中的不同主机之间的数据通信。
基于以上方案，可以实现数据传输系统中的数据传输，且增加数据传输系统中数据传输的灵活性。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的数据传输系统的数据传输方法。该数据传输方法所提供的解决问题的实现方案与上述系统中所记载的实现方案相似，故下面所提供的一个或多个数据传输方法实施例中的具体限定可以参见上文中对于数据传输系统的限定，在此不再赘述。
在一个实施例中，如图3所示，提供了一种数据传输方法，应用于第一节点，该数据传输方法包括：
步骤302，在接收到数据传输请求的情况下，确定数据传输请求所携带的数据传输信息，数据传输信息包括目标数据以及目的存储地址；
步骤304，在第一主机包含的多个节点中，确定满足第一优化传输条件的第二节点，并向第二节点发送数据传输信息。
其中，数据传输信息用于指示第二节点基于数据传输信息，在第二主机包含的多个节点中，确定满足第二优化传输条件的第三节点，并基于本地的通信网卡与第三节点的通信网卡之间的通信连接，向第三节点发送数据传输信息，以使第三节点基于数据传输信息，将目标数据从第三节点发送至目的存储地址，第二主机为目的存储地址对应的节点所在的主机。
在其中一个实施例中，如图4所示，步骤304“在第一主机包含的多个节点中，确定满足优化传输条件的第二节点”的具体处理过程，包括：
步骤402，获取第一节点对应的第一主机中各节点之间的第一距离信息。
步骤404，基于第一距离信息，确定距离第一节点最近且部署有通信网卡的第二节点。
在一个实施例中，如图5所示，提供了一种数据传输方法，应用于第二节点，该数据传输方法包括：
步骤502，接收数据传输信息。
其中，数据传输信息包括目标数据以及目的存储地址，数据传输信息是第一节点在接收到数据传输请求的情况下，确定数据传输请求所携带的数据传输信息，并在第一主机包含的多个节点中，确定满足优化传输条件的第二节点后，向第二节点发送的，第一主机为第一节点所在的主机，第二节点内部署有第一通信网卡；
步骤504，在第二主机包含的多个节点中，确定满足第二优化传输条件的第三节点，并基于第一通信网卡与第二通信网卡之间的通信连接，向第三节点发送数据传输信息。
其中，数据传输信息用于指示三节点将目标数据从第三节点发送至目的存储地址，第二主机为目的存储地址对应的节点所在的主机，第三节点内部署有第二通信网卡。
在其中一个实施例中，如图6所示，步骤504“在第二主机包含的多个节点中，确定满足优化传输条件的第三节点”的具体处理过程，包括：
步骤602，获取第二主机中各节点之间的第二距离信息；
步骤604，基于第二距离信息，在第二主机包含的多个节点中，确定距离第二节点最近且部署有通信网卡的第三节点。
在一个实施例中，提供了一种数据传输方法，应用于第三节点，该数据传输方法包括：
基于数据传输信息，将目标数据从第三节点发送至目的存储地址，数据传输信息包括目标数据以及目的存储地址，数据传输信息是第二节点在基于数据传输信息，在第二主机包含的多个节点中，确定满足优化传输条件的第三节点后，基于第一通信网卡与第二通信网卡之间的通信连接向第三节点发送的，第二节点是第一节点在接收到数据传输请求的情况下确定数据传输请求所携带的数据传输信息后，在第一主机包含的多个节点中，确定的满足优化传输条件的节点，第一主机为第一节点所在的主机，第二主机为目的存储地址对应的节点所在的主机，第二节点内部署有第一通信网卡，第三节点内部署有第二通信网卡。
在其中一个实施例中，基于数据传输信息，将目标数据从第三节点发送至目的存储地址，包括：
获取第二主机中各节点之间的第二距离信息，基于第二距离信息，在第二主机包含的多个节点中，确定距离第三节点最近且配置有第一存储空间的第四节点，并向第四节点的第一存储空间发送包含有目标数据以及目的存储地址的数据传输信息，数据传输信息用于指示第四节点将数据传输信息中的目标数据发送至目的存储地址。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的数据传输方法的数据传输装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个数据传输装置实施例中的具体限定可以参见上文中对于数据传输方法的限定，在此不再赘述。
在一个实施例中，如图7所示，提供了一种数据传输装置700，应用于第一节点，包括：第一接收模块701和第一确定模块702，其中：
第一接收模块701，用于在接收到数据传输请求的情况下，确定数据传输请求所携带的数据传输信息，数据传输信息包括目标数据以及目的存储地址；
第一确定模块702，用于在第一主机包含的多个节点中，确定满足优化传输条件的第二节点，并向第二节点发送数据传输信息，数据传输信息用于指示第二节点基于数据传输信息，在第二主机包含的多个节点中，确定满足优化传输条件的第三节点，并基于本地的通信网卡与第三节点的通信网卡之间的通信连接，向第三节点发送数据传输信息，以使第三节点基于数据传输信息，将目标数据从第三节点发送至目的存储地址，第二主机为目的存储地址对应的节点所在的主机。
在其中一个实施例中，第一确定模块702具体用于：
获取第一节点对应的第一主机中各节点之间的第一距离信息。
基于第一距离信息，确定距离第一节点最近且部署有通信网卡的第二节点。
在一个实施例中，如图8所示，提供了一种数据传输装置800，应用于第二节点，该数据传输装置包括：
第二接收模块801，用于接收数据传输信息，数据传输信息包括目标数据以及目的存储地址，数据传输信息是第一节点在接收到数据传输请求的情况下，确定数据传输请求所携带的数据传输信息，并在第一主机包含的多个节点中，确定满足优化传输条件的第二节点后，向第二节点发送的，第一主机为第一节点所在的主机，第二节点内部署有第一通信网卡；
第二确定模块802，用于在第二主机包含的多个节点中，确定满足优化传输条件的第三节点，并基于第一通信网卡与第二通信网卡之间的通信连接，向第三节点发送数据传输信息，数据传输信息用于指示三节点将目标数据从第三节点发送至目的存储地址，第二主机为目的存储地址对应的节点所在的主机，第三节点内部署有第二通信网卡。
在其中一个实施例中，第二确定模块802，具体用于：
获取第二主机中各节点之间的第二距离信息；
基于第二距离信息，在第二主机包含的多个节点中，确定距离第二节点最近且部署有通信网卡的第三节点。
在一个实施例中，如图9所示，提供了一种数据传输装置900，应用于第三节点，该数据传输装置900包括：
第二发送模块901，用于基于数据传输信息，将目标数据从第三节点发送至目的存储地址，数据传输信息包括目标数据以及目的存储地址，数据传输信息是第二节点在基于数据传输信息，在第二主机包含的多个节点中，确定满足优化传输条件的第三节点后，基于第一通信网卡与第二通信网卡之间的通信连接向第三节点发送的，第二节点是第一节点在接收到数据传输请求的情况下确定数据传输请求所携带的数据传输信息后，在第一主机包含的多个节点中，确定的满足优化传输条件的节点，第一主机为第一节点所在的主机，第二主机为目的存储地址对应的节点所在的主机，第二节点内部署有第一通信网卡，第三节点内部署有第二通信网卡。
在其中一个实施例中，第二发送模块，具体用于：
获取第二主机中各节点之间的第二距离信息，基于第二距离信息，在第二主机包含的多个节点中，确定距离第三节点最近且配置有第一存储空间的第四节点，并向第四节点的第一存储空间发送包含有目标数据以及目的存储地址的数据传输信息，数据传输信息用于指示第四节点将数据传输信息中的目标数据发送至目的存储地址。
上述数据传输装置700、数据传输装置800、数据传输装置900中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是主机，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储目标数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据传输方法。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (15)
1.一种数据传输系统，其特征在于，所述数据传输系统包括多个主机，主机包括多个节点：
第一节点，用于在接收到数据传输请求的情况下，确定所述数据传输请求所携带的数据传输信息，并在第一主机包含的多个节点中，确定满足第一优化传输条件的第二节点，向所述第二节点发送所述数据传输信息，所述数据传输信息包括目标数据以及目的存储地址，所述第一主机为所述第一节点所在的主机；
所述第二节点，用于基于所述数据传输信息，在第二主机包含的多个节点中，确定满足第二优化传输条件的第三节点，并基于本地的通信网卡与第三节点的通信网卡之间的通信连接，向所述第三节点发送所述数据传输信息，所述第二主机为所述目的存储地址对应的节点所在的主机；
所述第三节点，用于基于所述数据传输信息，将所述目标数据从所述第三节点发送至所述目的存储地址。
2.根据权利要求1所述的系统，其特征在于，所述第一节点具体用于：
获取所述第一节点对应的所述第一主机中各节点之间的第一距离信息；
基于所述第一距离信息，确定距离所述第一节点最近且部署有通信网卡的第二节点。
3.根据权利要求1所述的系统，其特征在于，所述第二节点具体用于：
获取所述第二主机中各节点之间的第二距离信息；
基于所述第二距离信息，在所述第二主机包含的多个节点中，确定距离所述目的存储地址对应的节点最近且部署有通信网卡的第三节点。
4.根据权利要求3所述的系统，其特征在于，所述第三节点具体用于：
基于所述第二距离信息，在所述第二主机包含的多个节点中，确定距离所述第三节点最近且配置有第一存储空间的第四节点，并向所述第四节点的第一存储空间发送包含有目标数据以及目的存储地址的数据传输信息。
5.根据权利要求4所述的系统，其特征在于，所述第四节点具体用于：
接收所述数据传输信息，并将所述数据传输信息中的所述目标数据发送至所述目的存储地址。
6.根据权利要求1-5任一项所述的系统，其特征在于，所述数据传输系统包括目标主机，所述目标主机为所述数据传输系统包含的多个主机中的任意一个主机；
所述目标主机用于，获取所述目标主机的节点信息，所述节点信息包括所述目标主机包含的各节点的标识信息，以及各所述节点之间的距离信息；
所述目标主机还用于，向所述数据传输系统包含的除所述目标主机之外的其他主机同步所述目标主机的节点信息。
7.一种数据传输方法，其特征在于，应用于第一节点，所述方法包括：
在接收到数据传输请求的情况下，确定所述数据传输请求所携带的数据传输信息，所述数据传输信息包括目标数据以及目的存储地址；
在第一主机包含的多个节点中，确定满足第一优化传输条件的第二节点，并向所述第二节点发送所述数据传输信息，所述数据传输信息用于指示所述第二节点基于所述数据传输信息，在第二主机包含的多个节点中，确定满足第二优化传输条件的第三节点，并基于本地的通信网卡与第三节点的通信网卡之间的通信连接，向所述第三节点发送所述数据传输信息，以使所述第三节点基于所述数据传输信息，将所述目标数据从所述第三节点发送至所述目的存储地址，所述第二主机为所述目的存储地址对应的节点所在的主机。
8.根据权利要求7所述的方法，其特征在于，所述在第一主机包含的多个节点中，确定满足优化传输条件的第二节点，包括：
获取所述第一节点对应的所述第一主机中各节点之间的第一距离信息；
基于所述第一距离信息，确定距离所述第一节点最近且部署有通信网卡的第二节点。
9.一种数据传输方法，其特征在于，应用于第二节点，所述方法包括：
接收数据传输信息，所述数据传输信息包括目标数据以及目的存储地址，所述数据传输信息是第一节点在接收到数据传输请求的情况下，确定所述数据传输请求所携带的数据传输信息，并在第一主机包含的多个节点中，确定满足第一优化传输条件的第二节点后，向所述第二节点发送的，所述第一主机为所述第一节点所在的主机，所述第二节点内部署有第一通信网卡；
在第二主机包含的多个节点中，确定满足第二优化传输条件的第三节点，并基于所述第一通信网卡与第二通信网卡之间的通信连接，向所述第三节点发送所述数据传输信息，所述数据传输信息用于指示所述三节点将所述目标数据从所述第三节点发送至所述目的存储地址，所述第二主机为所述目的存储地址对应的节点所在的主机，所述第三节点内部署有所述第二通信网卡。
10.根据权利要求9所述的方法，其特征在于，所述在第二主机包含的多个节点中，确定满足第二优化传输条件的第三节点，包括：
获取所述第二主机中各节点之间的第二距离信息；
基于所述第二距离信息，在所述第二主机包含的多个节点中，确定距离所述目的存储地址对应的节点最近且部署有通信网卡的第三节点。
11.一种数据传输方法，其特征在于，应用于第三节点，所述方法包括：
基于数据传输信息，将目标数据从第三节点发送至目的存储地址，所述数据传输信息包括目标数据以及目的存储地址，所述数据传输信息是第二节点在基于所述数据传输信息，在第二主机包含的多个节点中，确定满足第二优化传输条件的第三节点后，基于第一通信网卡与第二通信网卡之间的通信连接向所述第三节点发送的，所述第二节点是第一节点在接收到数据传输请求的情况下确定所述数据传输请求所携带的数据传输信息后，在第一主机包含的多个节点中，确定的满足第一优化传输条件的节点，所述第一主机为所述第一节点所在的主机，所述第二主机为所述目的存储地址对应的节点所在的主机，所述第二节点内部署有第一通信网卡，所述第三节点内部署有所述第二通信网卡。
12.根据权利要求11所述的方法，其特征在于，所述基于数据传输信息，将目标数据从第三节点发送至目的存储地址，包括：
获取所述第二主机中各节点之间的第二距离信息，基于所述第二距离信息，在所述第二主机包含的多个节点中，确定距离所述第三节点最近且配置有第一存储空间的第四节点，并向所述第四节点的第一存储空间发送包含有目标数据以及目的存储地址的数据传输信息，所述数据传输信息用于指示所述第四节点将所述数据传输信息中的所述目标数据发送至所述目的存储地址。
13.一种数据传输装置，其特征在于，应用于第一节点，所述装置包括：
第一接收模块，用于在接收到数据传输请求的情况下，确定所述数据传输请求所携带的数据传输信息，所述数据传输信息包括目标数据以及目的存储地址；
第一确定模块，用于在第一主机包含的多个节点中，确定满足第一优化传输条件的第二节点，并向所述第二节点发送所述数据传输信息，所述数据传输信息用于指示所述第二节点基于所述数据传输信息，在第二主机包含的多个节点中，确定满足第二优化传输条件的第三节点，并基于本地的通信网卡与第三节点的通信网卡之间的通信连接，向所述第三节点发送所述数据传输信息，以使所述第三节点基于所述数据传输信息，将所述目标数据从所述第三节点发送至所述目的存储地址，所述第二主机为所述目的存储地址对应的节点所在的主机。
14.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求7至12中任一项所述的方法的步骤。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求7至12任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211463554.6A CN115865782A (zh) | 2022-11-22 | 2022-11-22 | 数据传输系统、方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211463554.6A CN115865782A (zh) | 2022-11-22 | 2022-11-22 | 数据传输系统、方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115865782A true CN115865782A (zh) | 2023-03-28 |
Family
ID=85664714
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211463554.6A Pending CN115865782A (zh) | 2022-11-22 | 2022-11-22 | 数据传输系统、方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115865782A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8806169B1 (en) * | 2013-02-18 | 2014-08-12 | Huawei Technologies Co., Ltd. | Memory management method, memory management apparatus and NUMA system |
| CN110990154A (zh) * | 2019-11-28 | 2020-04-10 | 曙光信息产业股份有限公司 | 一种大数据应用优化方法、装置及存储介质 |
| US10671302B1 (en) * | 2018-10-26 | 2020-06-02 | Pure Storage, Inc. | Applying a rate limit across a plurality of storage systems |
| CN115208825A (zh) * | 2021-04-14 | 2022-10-18 | 瞻博网络公司 | 单个计算节点上的多个智能网络接口卡 |
| CN115220654A (zh) * | 2022-06-17 | 2022-10-21 | 阿里巴巴（中国）有限公司 | 分布式存储系统、存储节点及网络数据处理器 |
-
2022
- 2022-11-22 CN CN202211463554.6A patent/CN115865782A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8806169B1 (en) * | 2013-02-18 | 2014-08-12 | Huawei Technologies Co., Ltd. | Memory management method, memory management apparatus and NUMA system |
| US10671302B1 (en) * | 2018-10-26 | 2020-06-02 | Pure Storage, Inc. | Applying a rate limit across a plurality of storage systems |
| CN110990154A (zh) * | 2019-11-28 | 2020-04-10 | 曙光信息产业股份有限公司 | 一种大数据应用优化方法、装置及存储介质 |
| CN115208825A (zh) * | 2021-04-14 | 2022-10-18 | 瞻博网络公司 | 单个计算节点上的多个智能网络接口卡 |
| CN115220654A (zh) * | 2022-06-17 | 2022-10-21 | 阿里巴巴（中国）有限公司 | 分布式存储系统、存储节点及网络数据处理器 |
Non-Patent Citations (1)
| Title |
|---|
| 钱建民: "虚拟化环境下面向NUMA架构的资源管理优化策略研究", 《中国优秀硕士学位论文全文数据库》, 15 January 2022 (2022-01-15) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108920272B (zh) | 一种数据处理方法、装置、计算机设备及存储介质 | |
| US10187255B2 (en) | Centralized configuration data in a distributed file system | |
| CN114201421B (zh) | 一种数据流处理方法、存储控制节点及可读存储介质 | |
| WO2021057253A1 (zh) | 数据分离存储方法、装置、计算机设备和存储介质 | |
| CN106991008B (zh) | 一种资源锁管理方法、相关设备及系统 | |
| EP4318251A1 (en) | Data access system and method, and device and network card | |
| CN111309805B (zh) | 数据库的数据读写方法及装置 | |
| CN113687964B (zh) | 数据处理方法、装置、电子设备、存储介质及程序产品 | |
| CN110119304A (zh) | 一种中断处理方法、装置及服务器 | |
| CN114625762A (zh) | 一种元数据获取方法、网络设备及系统 | |
| CN106855834B (zh) | 一种数据备份方法、装置和系统 | |
| CN113411363A (zh) | 一种镜像文件的上传方法、相关设备及计算机存储介质 | |
| CN107391033B (zh) | 数据迁移方法及装置、计算设备、计算机存储介质 | |
| US10545667B1 (en) | Dynamic data partitioning for stateless request routing | |
| WO2024021470A1 (zh) | 一种跨区域的数据调度方法、装置、设备及存储介质 | |
| CN114461593B (zh) | 日志写入方法及其装置、电子设备及存储介质 | |
| CN115470156A (zh) | 基于rdma的内存使用方法、系统、电子设备和存储介质 | |
| CN105049463A (zh) | 分散数据库、数据共享方法、用于分散数据库的装置 | |
| CN107615259A (zh) | 一种数据处理方法及系统 | |
| CN115865782A (zh) | 数据传输系统、方法、装置、计算机设备和存储介质 | |
| CN115510016A (zh) | 一种基于目录分片的客户端应答方法、装置及介质 | |
| US10749957B2 (en) | Method and apparatus for information management | |
| CN113342275B (zh) | 区块链节点存取数据的方法、设备和计算机可读存储介质 | |
| WO2015001671A1 (ja) | 通信制御装置、通信制御装置の制御方法、及び情報処理システム | |
| CN109616156B (zh) | 一种基因测序数据存储方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |