CN111200657B - 一种管理资源状态信息的方法和资源下载系统 - Google Patents
一种管理资源状态信息的方法和资源下载系统 Download PDFInfo
- Publication number
- CN111200657B CN111200657B CN202010006155.1A CN202010006155A CN111200657B CN 111200657 B CN111200657 B CN 111200657B CN 202010006155 A CN202010006155 A CN 202010006155A CN 111200657 B CN111200657 B CN 111200657B
- Authority
- CN
- China
- Prior art keywords
- resource
- target
- file
- node
- resource file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000008569 process Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims 1
- 238000004891 communication Methods 0.000 abstract description 4
- 238000012545 processing Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 4
- 238000007792 addition Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000007334 memory performance Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/104—Peer-to-peer [P2P] networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/104—Peer-to-peer [P2P] networks
- H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种管理资源状态信息的方法和资源下载系统,属于网络通信技术领域。所述方法包括:超级节点接收Tracker服务器发送的至少一个目标资源文件的文件标识;根据所述文件标识和本地的资源存储状态,配置每个所述目标资源文件的下载服务;向所述Tracker服务器反馈每个所述目标资源文件的服务配置信息。采用本发明,既可以减轻Tracker服务器的负载压力,又可以避免提高整个资源下载系统的稳定性。
Description
技术领域
本发明涉及网络通信技术领域,特别涉及一种管理资源状态信息的方法和资源下载系统。
背景技术
P2P(端对端,peer-to-peer)技术是一种基于对等网络进行数据传输的通讯技术,建立了一种客户端对客户端的直接通信机制,在对等网络中,每一P2P节点既作为客户端,又充当其它P2P节点的服务端。为了减轻CDN服务器的负载压力,同时节省CDN流量成本,目前已在CDN系统的基础上引入基于对等网络的传输资源文件的数据块。
CDN服务方可以预先在对等网络中分布式部署大量性能良好的设备作为超级P2P节点(以下简称为超级节点),或者将一些网络质量、CPU、内存性能等各方面较好的客户端选取作为超级节点,超级节点可以从CDN服务器下载并存储资源文件全部的数据块。这样,当需要获取某一资源文件时,终端可以在从CDN服务器下载数据块的同时,向Tracker服务器请求节点列表,Tracker服务器可以向终端反馈已存储有相应资源文件的超级节点的节点信息。从而,终端可以与超级节点建立连接,并从超级节点处获取其存储的资源文件的数据块。
在实现本发明的过程中,发明人发现现有技术至少存在以下问题:
超级节点在对外提供资源下载服务时,会将本地所存储的所有资源文件的资源状态信息都上报到Tracker服务器上,由Tracker服务器来维护各个超级节点上报的资源状态信息。然而,单台超级节点上往往会存储有大量的资源文件,故而Tracker服务器需要维护管理的资源状态信息的数量巨大,导致Tracker服务器的负载过大,服务质量将会大大受到影响。
发明内容
为了解决现有技术的问题,本发明实施例提供了一种管理资源状态信息的方法和资源下载系统。所述技术方案如下:
第一方面,提供了一种管理资源状态信息的方法,所述方法包括:
接收Tracker服务器发送的至少一个目标资源文件的文件标识;
根据所述文件标识和本地的资源存储状态,配置每个所述目标资源文件的下载服务;
向所述Tracker服务器反馈每个所述目标资源文件的服务配置信息。
第二方面,提供了一种管理资源状态信息的方法,所述方法包括:
确定目标超级节点上新资源文件的可添加个数;
根据所述可添加个数和多个待推荐资源文件对应的节点列表,在所述多个待推荐资源文件中选取至少一个目标资源文件;
向所述目标超级节点发送所述目标资源文件的文件标识,以使所述目标超级超节点配置每个所述目标资源文件的下载服务;
接收所述目标超级节点上报的每个所述目标资源文件的服务配置信息,更新每个所述目标资源文件对应的节点列表。
第三方面,提供了一种资源下载系统,所述资源下载系统包括超级节点和Tracker服务器,其中,所述超级节点用于执行如第一方面所述的方法,所述Tracker服务器用于执行如第二方面所述的方法。
第四方面,提供了一种网络设备,所述网络设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如第一方面或第二方面所述的方法。
第五方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如第一方面或第二方面所述的方法。
本发明实施例提供的技术方案带来的有益效果是:
本发明实施例中,Tracker服务器确定目标超级节点上新资源文件的可添加个数,根据可添加个数和多个待推荐资源文件对应的节点列表,在多个待推荐资源文件中选取至少一个目标资源文件,向目标超级节点发送目标资源文件的文件标识,以使目标超级超节点配置每个目标资源文件的下载服务,接收目标超级节点上报的每个目标资源文件的服务配置信息,更新每个目标资源文件对应的节点列表。这样,Tracker服务器仅负责向超级节点推送资源文件,而将具体的文件管理工作下沉到分布式部署的各个超级节点,同时Tracker服务器在进行故障恢复时也不需要重新计算所有资源文件的服务配置状态,从而既可以减轻Tracker服务器的负载压力,又可以提高整个资源下载系统的稳定性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种对等网络的网络架构示意图;
图2是本发明实施例提供的一种管理资源状态信息的方法流程图;
图3是本发明实施例提供的一种下载资源文件的流程示意图;
图4是本发明实施例提供的一种网络设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
本发明实施例提供了一种管理资源状态信息的方法,该方法可以应用于对等网络,并主要由对等网络中的Tracker服务器和超级节点共同实现。对等网络的具体架构可以如图1所示,其中,对等网络可以包括大量节点,每个节点都可以作为数据下载方(即客户端),利用P2P技术从其它节点处下载资源文件,同时也可以作为数据提供方(即服务端),利用P2P技术将已存储的资源文件提供给其它节点,对等网络中的节点可以包括超级节点和普通P2P节点(以下简称为普通节点)。Tracker服务器可以用于收集并管理对等网络中各节点上资源文件的资源状态信息,进而可以基于这些资源状态信息,对接收到的节点查询请求进行响应。上述Tracker服务器的功能也可以以Tracker服务集群的形式来实现,Tracker服务集群可以由分布式部署的多台Tracker服务器构成,不同Tracker服务器可以用于服务不同区域内的P2P节点。本实施例中,超级节点可以主要用于缓解CDN服务器的资源下载压力,即CDN服务方可以将部分资源文件部署在超级节点上,使得用户终端想要获取这些资源文件时,能够通过P2P技术从超级节点上下载,而无需从CDN服务器下载。
下面将结合具体实施方式,对图2所示的处理流程进行详细的说明,内容可以如下:
步骤201,Tracker服务器确定目标超级节点上的新资源文件的可添加个数。
在实施中,超级节点在对外提供资源文件下载服务时,可以基于资源文件的属性信息、用户需求和技术人员对于资源文件的分布规划等因素,不断更新其所提供的资源下载服务,即定期删除其上存储的旧资源文件,并不断从CDN服务器下载新资源文件。当然,超级节点同样可以基于P2P技术,从对等网络中的其它超级节点或普通节点处下载新资源文件,本实施例对此不进行限定。而在上述过程中,Tracker服务器可以用于管理超级节点的新资源文件的下载处理,其具体可以在超级节点需要添加新资源文件时,向超级节点推荐多个资源文件,以供超级节点在多个目标资源文件中选取其需要添加的资源文件。以目标超级节点为例,Tracker服务器在向目标超级节点推荐新资源文件前,可以先确定目标超级节点上新资源文件的可添加个数。
可选的,Tracker服务器向超级节点推荐资源文件的处理存在多种可选的触发方式,如下给出了两种可行的方式:
方式一:步骤一,目标超级节点周期性根据实时带宽负载状态,确定新资源文件的可添加个数;
步骤二,目标超级节点向Tracker服务器发送携带可添加个数的资源下载请求;
步骤三,Tracker服务器接收目标超级节点发送的资源下载请求,获取资源下载请求中携带的新资源文件的可添加个数。
在实施中,目标超级节点可以基于自身的服务状态,主动请求Tracker服务器推荐新资源文件。具体来说,目标超级节点可以周期性地查看当前的网络连接数,判断其是否到达预设连接上限。如果未达到预设连接上限,目标超级节点则可以确定出当前的空闲连接数。同时,各个超级节点中可以预先存储有资源文件的下载性能占用标准,该下载性能占用标准可以反映超级节点从CDN服务器(或其它P2P节点)处下载资源文件时,所需占用的设备性能,如下载某个资源文件需要占用3个网络连接、2G的内存空间和10%的CPU处理速度。而相比于其它设备性能,超级节点在同一时刻的网络连接数量比较少,网络连接数目常被认为是资源下载过程中的主要瓶颈,故而超级节点在主动请求新资源文件时,需要优先考虑空闲连接数是否足够。可以理解,技术人员可以基于资源文件的大小、类别、归属者等属性信息,针对具备不同属性信息的资源文件设置不同下载性能占用标准。而由于存储空间属于逐渐累积,不会自动减小的一项设备性能指标,在长时间对外提供资源文件的下载服务后,超级节点也可能会面临在需要添加新资源文件时,剩余存储空间不足的问题。因此,超级节点可以根据当前的空闲连接数和剩余存储空间,参照预存的资源文件的下载性能占用标准,确定出新资源文件的可添加个数。当然,在确定可添加个数时,也可基于上述原理同时参考多种设备性能,来决定新资源文件的可添加个数。进而,目标超级节点可以向Tracker服务器发送资源下载请求,使得Tracker服务器可以直接从资源下载请求中,获取目标超级节点上的新资源文件的可添加个数。
方式二:步骤一,目标超级节点定期向Tracker服务器上报本地的实时带宽负载状态和剩余存储空间;
步骤二,Tracker服务器根据目标超级节点定期上传的实时带宽负载状态和剩余存储空间,确定目标超级节点上新资源文件的可添加个数。
在实施中,目标超级节点在对外提供资源文件的下载服务的同时,可以定期向Tracker服务器上报本地的实时带宽负载状态和剩余存储空间。相应的,Tracker服务器可以记录目标超级节点上报的实时带宽负载状态和剩余存储空间,一方面可以在向普通节点反馈节点列表时,利用实时带宽负载状态和剩余存储空间选取超级节点,以实现超级节点间的负载均衡;另一方面,可以根据实时带宽负载状态和剩余存储空间,确定目标超级节点上新资源文件的可添加个数。与方式一同理,Tracker服务器上也可以预存有资源文件的下载性能占用标准,并可以依照该下载性能占用标准确定上述新资源文件的可添加个数。同样的,根据下载性能占用标准所需的设备性能的不同,超级节点也可以定期向Tracker服务器上传其它设备性能信息,以供Tracker服务器主动来确定新资源文件的可添加个数。
步骤202,Tracker服务器根据可添加个数和多个待推荐资源文件对应的节点列表,在多个待推荐资源文件中选取至少一个目标资源文件。
在实施中,Tracker服务器在确定了目标超级节点上新资源文件的可添加个数后,可以先获取待推荐资源池中多个待推荐资源文件对应的节点列表,该节点列表中可以记录有当前已提供相应资源文件的所有超级节点的节点标识。然后,Tracker服务器可以参考可添加个数和多个待推荐资源文件对应的节点列表,在多个待推荐资源文件中选取至少一个目标资源文件。其中,由于Tracker服务器推荐的所有新资源文件中,目标超级节点上可能已存储部分资源文件,故而为了充分利用目标超级节点的带宽资源、存储空间等设备性能,目标资源文件的选取个数可以与上述可添加个数相等,或者略大于可添加个数。
可选的,上述选取目标资源文件的过程具体可以是,按照资源文件的热度值从高至低的顺序,依次遍历多个待推荐资源文件对应的节点列表;当待推荐资源文件的节点列表中不包含目标超级节点时,将待推荐资源文件选取为目标资源文件,直至目标资源文件的个数不小于可添加个数,且二者差值大于预设阈值。
在实施中,Tracker服务器可以按照资源文件的热度值从高至低的顺序,从待推荐资源池中依次选取多个待推荐资源文件,并获取对个待推荐资源文件对应的节点列表。其中,资源文件的热度值可以由预设时间内资源文件的访问次数来体现。在此过程中,Tracker服务器在待推荐资源文件的节点列表中查找目标超级节点。若节点列表中不包含目标超级节点,Tracker服务器则可以将相应的待推荐资源文件选取为目标资源文件;而若节点列表中包含目标超级节点,则说明目标超级节点上已提供有相应资源文件的下载服务,无需再次将该资源文件推荐给目标超级节点,故而可以跳过该资源文件,获取下一待推荐资源文件的节点列表。基于上述过程,Tracker服务器可以持续地将待推荐资源文件逐个选取为目标资源文件,直至目标资源文件的个数不小于可添加个数,且二者差值大于预设阈值。此处,目标资源文件的具体个数,可以参考步骤202中的说明,详细数值可以由人工确定。
可选的,Tracker服务器可以同时参考资源文件的请求数目和服务节点数目,来确定需要推荐的资源文件,相应的处理可以如下:根据预设时长内各个资源文件对应的请求数目和服务节点数目,计算各个资源文件对应的推荐系数;将推荐系数大于预设阈值的资源文件确定为待推荐资源文件。
在实施中,Tracker服务器可以对各个资源文件对应的请求数目进行记录,并同时参考各个资源文件的服务节点数目,来计算各个资源文件对应的推荐系数。假设请求数目为N,服务节点数目为M,则推荐系数C的计算方式可以如下:
其中,T1、T2为预设的数目阈值。上述公式中的系数仅用作示例性的说明,本实施例并不对此进行限定。之后,Tracker服务器可以将计算得到的推荐系数与预设阈值进行比对,从而将推荐系数大于预设阈值的资源文件确定为待推荐资源文件。这样,在决定待推荐资源文件时,既考虑到了针对资源文件的请求数目,又结合了已配置资源文件的超级节点数量,可以使得推荐系数能更准确地反映各个资源文件的实际推荐需求;而从推荐系数的计算公式中可以看出,当资源文件的请求数目达到特定的数值后,通过调整推荐系数的计算方式,可以有效避免某一热门资源文件被频繁推荐给超级节点,从而避免资源文件的重复配置,可以有效提高超级节点的资源利用率。
步骤203,Tracker服务器向目标超级节点发送目标资源文件的文件标识。
步骤204,目标超级节点接收Tracker服务器发送的至少一个目标资源文件的文件标识。
步骤205,目标超级节点根据文件标识和本地的资源存储状态,配置每个目标资源文件的下载服务。
在实施中,目标超级节点接收到Tracker服务器发送的至少一个目标资源文件的文件标识之后,可以结合本地的资源存储状态对文件标识逐个进行处理,以完成每个目标资源文件的下载服务的配置处理。具体的,对于目标文件标识,目标超级节点可以先判断本地当前的空闲资源列表中是否存在目标文件标识。如果存在,说明目标超级节点已存储有目标文件标识对应的资源文件,则可以直接激活该资源文件的下载服务,并将目标文件标识移出空闲资源列表。如果不存在,目标超级节点则可以下载目标文件标识对应的资源文件,并在下载完成后,激活该资源文件的下载服务。
可选的,超级节点可以根据访问次数,决定是否关闭相应资源文件的下载服务,相应的处理可以如下:周期性统计当前周期内本地存储的空闲资源列表外的资源文件的访问次数;若访问次数小于预设阈值,则将资源文件的文件标识添加入空闲资源列表,并向Tracker服务器发送资源文件的服务停止通知。
在实施中,目标超级节点可以周期性地统计当前周期内下载服务处于激活状态的资源文件(即本地存储的空闲资源列表外的资源文件)的访问次数。若某个资源文件的访问次数小于预设阈值,则可以关闭该资源文件的下载服务,即将资源文件的文件标识添加入空闲资源列表中。同时可以向Tracker服务器发送该资源文件的服务停止通知,以使Tracker服务器在接收到该服务停止通知后,从该资源文件的节点列表中删除目标超级节点的节点标识。
可选的,基于上述空闲资源列表的机制,若在下载资源文件时发现剩余存储空间不够,则可以根据空闲资源列表删除部分资源,相应的资源文件的下载处理可以如下:若剩余存储空间小于目标文件标识对应的资源文件的文件大小,则计算空闲资源列表中各文件标识对应的热度值;按照热度值从低至高的顺序,依此删除本地存储的空闲资源列表中文件标识对应的资源文件;当剩余存储空间不小于目标文件标识对应的资源文件的文件大小时,下载目标文件标识对应的资源文件。
在实施中,目标超级节点在下载目标文件标识对应的资源文件时,可以持续检测当前的剩余存储空间。若发现剩余存储空间小于目标文件标识对应的资源文件的文件大小,则可以提取本地的空闲资源列表,并计算空闲资源列表中各文件标识对应的热度值。之后,目标超级节点可以按照热度值从低到高的顺序,从本地的存储空间中依次删除空闲资源列表中文件标识对应的资源文件,并将文件标识从空闲资源列表中移除,从而可以优先删除掉热度值较低的资源文件。进而,当检测到剩余存储空间不小于目标文件标识对应的资源文件的文件大小时,目标超级节点可以停止删除处理,下载目标文件标识对应的资源文件。当然,目标超级节点也可以在删除资源文件的同时,进行资源文件的下载处理,以提高资源文件的下载速率。
可选的,当配置了下载服务的资源文件出现更新,超级节点可以停止该资源文件的下载服务,相应的处理可以如下:定期检测本地存储的资源文件是否存在更新需求;如果存在,则删除本地存储的资源文件,并向Tracker服务器发送资源文件的服务停止通知。
在实施中,目标超级节点可以定期检测本地存储的资源文件是否存在更新需求,此处检测的方式可以采用现有技术中的文件版本查询机制,本实施例中不对此进行详细说明。当发现某个资源文件存在更新需求(即出现了新版本),目标超级节点则可以停止该资源文件的下载服务,即删除本地存储的资源文件,并向Tracker服务器发送该资源文件的服务停止通知。这样,超级节点及时对版本过期的资源文件进行删除,一者可以节省大量的存储资源,二者可以保证过期的资源文件不被误下载,从而提高了资源文件的下载服务质量。进一步的,不同于上述更新-删除的机制,超级节点若检测到某个资源文件存在数据量相比该资源文件的数据量小很多的补丁文件,则可以主动下载该补丁文件,而非对资源文件进行删除,这样可以避免资源文件被Tracker服务器多次推荐,超级节点重复下载该资源文件。
步骤206,目标超级节点向Tracker服务器反馈每个目标资源文件的服务配置信息。
在实施中,在配置完成每个目标资源文件的下载服务之后,目标超级节点可以向Tracker服务器反馈每个目标资源文件的服务配置信息,其中,服务配置信息至少可以包含各个目标资源文件的下载服务配置情况(成功或失败)。
步骤207,Tracker服务器接收目标超级节点上报的每个目标资源文件的服务配置信息,更新每个目标资源文件对应的节点列表。
在实施中,Tracker服务器接收到目标超级节点上报的服务配置信息后,可以根据该服务配置信息,更新各个目标资源文件对应的节点列表。即若目标超级节点成功配置了目标资源文件的下载服务,Tracker服务器则在目标资源文件的节点列表中添加目标超级节点的节点标识,否则不进行处理。
可选的,本实施例还公开了一种基于上述步骤201-步骤207的下载资源文件的流程,如图3所示,具体可以如下:
步骤301,Tracker服务器接收普通节点发送的资源文件的获取请求。
在实施中,用户想要通过客户端(即普通节点)获取某一资源文件时,可以打开客户端上安装的资源下载程序,在资源下载程序中输入资源文件的标识信息,资源下载程序从而可以执行该资源文件的下载任务。而基于CDN服务方的设置,部分资源已预先部署在了超级节点处。故而资源下载程序可以先判断该资源文件的下载方式,即是通过对等网络下载还是通过CDN服务器下载。如果是通过对等网络下载,资源下载程序则可以触发客户端向Tracker服务器发送资源文件的获取请求。
步骤302,Tracker服务器在资源文件对应的节点列表中,根据普通节点的网络地址和节点列表包含的各个超级节点的负载状态选取可选超级节点。
在实施中,Tracker服务器在接收到普通节点发送资源文件的获取请求后,可以读取该资源文件对应的节点列表,然后在该节点列表中,根据普通节点的网络地址选取距离普通节点较近的、负载较低的多个可选超级节点。
步骤303,Tracker服务器将可选超级节点的节点信息反馈给普通节点。
本发明实施例中,Tracker服务器确定目标超级节点上新资源文件的可添加个数,根据可添加个数和多个待推荐资源文件对应的节点列表,在多个待推荐资源文件中选取至少一个目标资源文件,向目标超级节点发送目标资源文件的文件标识,以使目标超级超节点配置每个目标资源文件的下载服务,接收目标超级节点上报的每个目标资源文件的服务配置信息,更新每个目标资源文件对应的节点列表。这样,Tracker服务器仅负责向超级节点推送资源文件,而将具体的文件管理工作下沉到分布式部署的各个超级节点,同时Tracker服务器在进行故障恢复时也不需要重新计算所有资源文件的服务配置状态,从而既可以减轻Tracker服务器的负载压力,又可以提高整个资源下载系统的稳定性。
基于相同的技术构思,本发明实施例还提供了一种资源下载系统,所述资源下载系统包括超级节点和Tracker服务器,其中,所述超级节点用于执行如上述实施例中目标超级节点所实现的处理,所述Tracker服务器用于执行如上述实施例中Tracker服务器所实现的处理。
图4是本发明实施例提供的网络设备的结构示意图。该网络设备400可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器422(例如,一个或一个以上处理器)和存储器432,一个或一个以上存储应用程序442或数据444的存储介质430(例如一个或一个以上海量存储设备)。其中,存储器432和存储介质430可以是短暂存储或持久存储。存储在存储介质430的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对网络设备400中的一系列指令操作。更进一步地,中央处理器422可以设置为与存储介质430通信,在网络设备400上执行存储介质430中的一系列指令操作。
网络设备400还可以包括一个或一个以上电源429,一个或一个以上有线或无线网络接口450,一个或一个以上输入输出接口458,一个或一个以上键盘456,和/或,一个或一个以上操作系统441,例如Windows Server,Mac OS X,Unix,Linux,FreeBSD等等。
网络设备400可以包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行上述管理资源状态信息的指令。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (18)
1.一种管理资源状态信息的方法,其特征在于,所述方法应用于超级节点中,所述方法包括:
接收Tracker服务器发送的至少一个目标资源文件的文件标识;
根据所述文件标识和本地的资源存储状态,配置每个所述目标资源文件的下载服务,以生成服务配置信息,其中,所述下载服务为所述超级节点在对外提供所述目标资源文件时的服务,所述服务配置信息用于表征与所述文件标识对应的目标资源文件的下载服务是否激活成功;
向所述Tracker服务器反馈每个所述目标资源文件的服务配置信息,并根据本地资源文件的访问次数,确定是否向Tracker服务器反馈目标资源文件的服务停止通知,以使所述Tracker服务器根据所述服务配置信息或者所述服务停止通知,更新与所述目标资源文件对应的节点列表。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
周期性根据实时带宽负载状态,确定新资源文件的可添加个数;
向所述Tracker服务器发送携带所述可添加个数的资源下载请求,以使所述Tracker服务器基于所述可添加个数反馈至少一个目标资源文件的文件标识。
3.根据权利要求2所述的方法,其特征在于,所述周期性根据实时带宽负载状态,确定新资源文件的可添加个数,包括:
周期性基于当前的网络连接数与预设连接上限,确定空闲连接数;
根据所述空闲连接数和剩余存储空间,按照预存的资源文件的下载性能占用标准,确定新资源文件的可添加个数。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
定期向所述Tracker服务器上报本地的实时带宽负载状态和剩余存储空间。
5.根据权利要求1所述的方法,其特征在于,所述根据所述文件标识和本地的资源存储状态,配置每个所述目标资源文件的下载服务,包括:
对于目标文件标识,判断本地当前的空闲资源列表中是否存在所述目标文件标识;
如果存在,则将所述目标文件标识移出所述空闲资源列表,否则下载所述目标文件标识对应的资源文件。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
周期性统计当前周期内本地存储的所述空闲资源列表外的资源文件的访问次数;
若所述访问次数小于预设阈值,则将所述资源文件的文件标识添加入所述空闲资源列表,并向所述Tracker服务器发送所述资源文件的服务停止通知。
7.根据权利要求6所述的方法,其特征在于,所述下载所述目标文件标识对应的资源文件,包括:
若剩余存储空间小于所述目标文件标识对应的资源文件的文件大小,则计算所述空闲资源列表中各文件标识对应的热度值;
按照所述热度值从低至高的顺序,依此删除本地存储的所述空闲资源列表中文件标识对应的资源文件;
当剩余存储空间不小于所述目标文件标识对应的资源文件的文件大小时,下载所述目标文件标识对应的资源文件。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
定期检测本地存储的资源文件是否存在更新需求;
如果存在,则删除本地存储的所述资源文件,并向所述Tracker服务器发送所述资源文件的服务停止通知。
9.一种管理资源状态信息的方法,其特征在于,所述方法应用于Tracker服务器中,所述方法包括:
确定目标超级节点上新资源文件的可添加个数;
根据所述可添加个数和多个待推荐资源文件对应的节点列表,在所述多个待推荐资源文件中选取至少一个目标资源文件;
向所述目标超级节点发送所述目标资源文件的文件标识,以使所述目标超级超节点配置每个所述目标资源文件的下载服务,以生成服务配置信息,其中,所述下载服务为所述目标超级节点在对外提供所述目标资源文件时的服务,所述服务配置信息用于表征与所述文件标识对应的资源文件的下载服务是否激活成功;
接收所述目标超级节点上报的每个所述目标资源文件的服务配置信息,以及接收所述目标超级节点根据本地资源文件的访问次数确定的服务停止通知,更新每个所述目标资源文件对应的节点列表。
10.根据权利要求9所述的方法,其特征在于,所述确定目标超级节点上新资源文件的可添加个数,包括:
接收所述目标超级节点发送的资源下载请求,获取所述资源下载请求中携带的新资源文件的可添加个数。
11.根据权利要求9所述的方法,其特征在于,所述确定目标超级节点上新资源文件的可添加个数,包括:
根据所述目标超级节点定期上传的实时带宽负载状态和剩余存储空间,确定目标超级节点上新资源文件的可添加个数。
12.根据权利要求9所述的方法,其特征在于,所述根据所述可添加个数和多个待推荐资源文件对应的节点列表,在所述多个待推荐资源文件中选取至少一个目标资源文件,包括:
按照资源文件的热度值从高至低的顺序,依次遍历多个待推荐资源文件对应的节点列表;
当待推荐资源文件的节点列表中不包含目标超级节点时,将所述待推荐资源文件选取为目标资源文件,直至所述目标资源文件的个数不小于所述可添加个数,且二者差值大于预设阈值。
13.根据权利要求12所述的方法,其特征在于,所述方法还包括:
根据预设时长内各个资源文件对应的请求数目和服务节点数目,计算各个所述资源文件对应的推荐系数;
将所述推荐系数大于预设阈值的资源文件确定为待推荐资源文件。
14.根据权利要求9所述的方法,其特征在于,所述方法还包括:
接收普通节点发送的资源文件的获取请求;
在所述资源文件对应的节点列表中,根据所述普通节点的网络地址和节点列表包含的各个超级节点的负载状态选取可选超级节点;
将所述可选超级节点的节点信息反馈给所述普通节点。
15.根据权利要求9所述的方法,其特征在于,所述方法还包括:
在接收到目标超级节点发送的目标资源文件的服务停止通知后,从所述目标资源文件的节点列表中删除所述目标超级节点的节点标识。
16.一种资源下载系统,其特征在于,所述资源下载系统包括超级节点和Tracker服务器,其中,所述超级节点用于执行如权利要求1至8任一项所述的方法,所述Tracker服务器用于执行如权利要求9至15任一项所述的方法。
17.一种网络设备,其特征在于,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至15任一所述的方法中的处理。
18.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至15中任一所述的方法中的处理。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010006155.1A CN111200657B (zh) | 2020-01-03 | 2020-01-03 | 一种管理资源状态信息的方法和资源下载系统 |
EP20719557.9A EP3873066A1 (en) | 2020-01-03 | 2020-02-12 | Method for managing resource state information, and resource downloading system |
PCT/CN2020/074960 WO2021134861A1 (zh) | 2020-01-03 | 2020-02-12 | 一种管理资源状态信息的方法和资源下载系统 |
US16/862,373 US11102289B2 (en) | 2020-01-03 | 2020-04-29 | Method for managing resource state information and system for downloading resource |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010006155.1A CN111200657B (zh) | 2020-01-03 | 2020-01-03 | 一种管理资源状态信息的方法和资源下载系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111200657A CN111200657A (zh) | 2020-05-26 |
CN111200657B true CN111200657B (zh) | 2021-08-27 |
Family
ID=70746811
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010006155.1A Active CN111200657B (zh) | 2020-01-03 | 2020-01-03 | 一种管理资源状态信息的方法和资源下载系统 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP3873066A1 (zh) |
CN (1) | CN111200657B (zh) |
WO (1) | WO2021134861A1 (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111641705A (zh) * | 2020-05-28 | 2020-09-08 | 浪潮电子信息产业股份有限公司 | 一种请求处理方法、装置、设备及可读存储介质 |
CN114866815A (zh) * | 2021-01-20 | 2022-08-05 | 北京金山云网络技术有限公司 | 音视频数据的播放方法、装置、电子设备及系统 |
CN112769957B (zh) * | 2021-02-05 | 2023-09-22 | 上海哔哩哔哩科技有限公司 | 点对点网络调度方法和系统 |
CN113110938B (zh) * | 2021-05-08 | 2023-08-29 | 网易(杭州)网络有限公司 | 一种资源分配方法、装置、计算机设备及存储介质 |
CN113453038B (zh) * | 2021-06-25 | 2022-03-29 | 桂林电子科技大学 | 一种cdn-p2p混合架构下效用最优协同缓存管理方法 |
CN113709209B (zh) * | 2021-07-30 | 2023-04-18 | 济南浪潮数据技术有限公司 | 一种服务器软件下载方法、系统及计算机可读存储介质 |
CN114785796B (zh) * | 2022-04-22 | 2024-07-23 | 中国农业银行股份有限公司 | 一种数据均衡方法和装置 |
CN115150263B (zh) * | 2022-06-17 | 2024-07-26 | 浙江中控技术股份有限公司 | 一种服务集群的部署方法 |
CN115174696B (zh) * | 2022-09-08 | 2023-01-20 | 北京达佳互联信息技术有限公司 | 节点调度方法、装置、电子设备及存储介质 |
CN116405563B (zh) * | 2023-06-08 | 2023-08-18 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种基于点对点内容分发网络的资源获取方法及系统 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100539502C (zh) * | 2005-12-08 | 2009-09-09 | 华为技术有限公司 | 一种多点下载的方法 |
CN100488146C (zh) * | 2006-09-14 | 2009-05-13 | 华为技术有限公司 | 在p2p网络中建立点对点连接的方法及在p2p网络中的节点 |
CN101188625B (zh) * | 2007-12-26 | 2013-08-14 | 腾讯科技(深圳)有限公司 | 一种实现资讯内容订阅的方法及系统 |
CN101764831B (zh) * | 2008-12-24 | 2012-09-19 | 中国移动通信集团公司 | 一种流媒体数据共享方法、共享系统和流媒体节点 |
CN101902346A (zh) * | 2009-05-31 | 2010-12-01 | 国际商业机器公司 | P2p内容缓存系统和方法 |
KR101210613B1 (ko) * | 2010-11-30 | 2012-12-11 | 주식회사 케이티 | 모바일 p2p 서비스를 제공하는 시스템 및 그 방법 |
CN102833293A (zh) * | 2011-06-17 | 2012-12-19 | 腾讯科技(深圳)有限公司 | P2sp网络中资源下载的方法及客户端 |
CN103269351A (zh) * | 2012-12-07 | 2013-08-28 | 北京奇虎科技有限公司 | 一种文件下载方法和装置 |
CN104967651B (zh) * | 2015-03-02 | 2017-06-27 | 深圳市腾讯计算机系统有限公司 | 基于cdn架构的数据推送、存储、下载方法和装置 |
US10045160B2 (en) * | 2015-05-29 | 2018-08-07 | Spacehedge, Inc. | Dynamic flow and distribution optimization |
CN109347968B (zh) * | 2018-11-07 | 2021-09-24 | 网宿科技股份有限公司 | 一种下载资源文件的数据块的方法、设备和系统 |
CN110247983A (zh) * | 2019-06-27 | 2019-09-17 | 北京奇艺世纪科技有限公司 | 一种均衡负载方法及系统 |
-
2020
- 2020-01-03 CN CN202010006155.1A patent/CN111200657B/zh active Active
- 2020-02-12 WO PCT/CN2020/074960 patent/WO2021134861A1/zh unknown
- 2020-02-12 EP EP20719557.9A patent/EP3873066A1/en not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
EP3873066A4 (en) | 2021-09-01 |
WO2021134861A1 (zh) | 2021-07-08 |
CN111200657A (zh) | 2020-05-26 |
EP3873066A1 (en) | 2021-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111200657B (zh) | 一种管理资源状态信息的方法和资源下载系统 | |
US11102289B2 (en) | Method for managing resource state information and system for downloading resource | |
US10484464B2 (en) | Connection control device, connection control system, and non-transitory computer readable medium | |
CN101136911B (zh) | 一种采用p2p技术下载文件的方法和p2p下载系统 | |
CN110474940B (zh) | 请求调度方法、装置、电子设备、及介质 | |
US8250171B2 (en) | Content delivery apparatus, content delivery method, and content delivery program | |
US9830091B2 (en) | Policy-based data tiering using a cloud architecture | |
US8086629B2 (en) | Content delivery apparatus, content delivery method, and content delivery program | |
CN111193789A (zh) | 订阅信息推送方法、装置、计算机设备和可读存储介质 | |
CN111597259B (zh) | 数据存储系统、方法、装置、电子设备及存储介质 | |
US11444998B2 (en) | Bit rate reduction processing method for data file, and server | |
CN113676514B (zh) | 一种文件回源方法及装置 | |
US9544371B1 (en) | Method to discover multiple paths to disk devices cluster wide | |
CN115706741A (zh) | 一种切片文件的回源方法以及装置 | |
US10063614B2 (en) | Method for obtaining a storage identifier in a hierarchical level of storage in a network for storing data | |
CN113626188B (zh) | 任务推送方法、装置、计算机设备和存储介质 | |
CN109347991A (zh) | 文件分发方法、装置、设备及介质 | |
JP2002259197A (ja) | アクティブコンテンツキャッシュ制御システムと、アクティブコンテンツキャッシュ制御装置及び方法と、アクティブコンテンツキャッシュ制御処理用プログラム及びそのプログラムの記録媒体 | |
CN107846429B (zh) | 一种文件备份方法、装置和系统 | |
JP3672483B2 (ja) | コンテンツ配信装置、コンテンツ配信方法、コンテンツ配信プログラムを記録した記録媒体 | |
US20030076786A1 (en) | Peer to peer network | |
JP4064162B2 (ja) | ファイル蓄積装置および方法 | |
CN116033187B (zh) | 一种视频处理系统、方法、装置、电子设备及存储介质 | |
CN114827256B (zh) | 数据预推送方法、数据下载方法及系统 | |
US20240054109A1 (en) | Dynamic file based publish-subscribe method and system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |