CN106021026B - 一种备份方法及装置 - Google Patents
一种备份方法及装置 Download PDFInfo
- Publication number
- CN106021026B CN106021026B CN201610351846.9A CN201610351846A CN106021026B CN 106021026 B CN106021026 B CN 106021026B CN 201610351846 A CN201610351846 A CN 201610351846A CN 106021026 B CN106021026 B CN 106021026B
- Authority
- CN
- China
- Prior art keywords
- space
- backup
- task
- target
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种备份方法及装置,所述方法包括:当需要进行录像备份时,确定待备份任务需要占用的目标空间大小;获取有剩余备份能力、且剩余空间大于等于所述目标空间大小的候选备份管理服务器BM;若所述候选BM的数量大于0,则根据所述目标空间大小确定所述待备份任务的级别;根据所述待备份任务的级别以及各候选BM的剩余空间大小,确定用于执行备份的目标BM;将所述待备份任务分配给所述目标BM,由所述目标BM执行备份。应用本发明实施例可以优化录像备份时BM备份能力和备份空间等资源的使用效果。
Description
技术领域
本发明涉及存储技术领域,尤其涉及一种备份方法及装置。
背景技术
在公安、园区等视频监控行业应用中,对原始录像,存在如下的录像备份需求:对于用户选定的一些重要时间段的录像(比如:公安重大案件涉及的摄像机相关时间段的录像),需要执行备份。即:将这部分录像数据从原有存储空间,传输并存储到专用于备份的存储空间,从而有效防止了因原有存储资源有限导致录像被覆盖、记录丢失等情况的出现。
在执行录像备份之前,首先需要划分备份使用的存储资源给BM(BackupManagement,备份管理服务器),用于BM存储备份录像。对于大型监控存储局点,需要执行录像备份的摄像机数量很多,因此一般需要部署多台BM执行录像备份。
在系统存在多台BM的情况下,如何将多个摄像机的备份任务分配给BM执行成为一个亟待解决的问题。
发明内容
本发明提供一种备份方法及装置,以优化录像备份时BM的备份能力以及备份空间的使用效果。
根据本发明的第一方面,提供一种备份方法,包括:
当需要进行录像备份时,确定待备份任务需要占用的目标空间大小;
获取有剩余备份能力、且剩余空间大于等于所述目标空间大小的候选备份管理服务器BM;
若所述候选BM的数量大于0,则根据所述目标空间大小确定所述待备份任务的级别;
根据所述待备份任务的级别以及各候选BM的剩余空间大小,确定用于执行备份的目标BM;
将所述待备份任务分配给所述目标BM,由所述目标BM执行备份。
根据本发明的第二方面,提供一种备份装置,包括:
第一确定单元,用于当需要进行录像备份时,确定待备份任务需要占用的目标空间大小;
获取单元,用于获取有剩余备份能力、且剩余空间大于等于所述目标空间大小的候选备份管理服务器BM;
第二确定单元,若所述候选BM的数量大于0,则根据所述目标空间大小确定所述待备份任务的级别;
第三确定单元,用于根据所述待备份任务的级别以及各候选BM的剩余空间大小,确定用于执行备份的目标BM;
分配单元,用于将所述待备份任务分配给所述目标BM,由所述目标BM执行备份。
应用本发明公开的技术方案,通过在需要进行录像备份,且系统中存在有剩余备份能力,且剩余空间大于等于待备份任务需要占用的目标空间大小的候选BM时,根据目标空间大小确定待备份任务的级别,并根据待备份任务的级别以及各候选BM的剩余空间大小确定用于执行备份的目标BM,兼顾各BM的剩余备份能力和剩余空间,优化了录像备份时BM备份能力和备份空间等资源的使用效果。
附图说明
图1是本发明实施例提供的一种备份方法的流程示意图;
图2是本发明实施例提供的另一种备份方法的流程示意图;
图3是本发明实施例提供的一种备份装置的结构示意图;
图4是本发明实施例提供的另一种备份装置的结构示意图;
图5是本发明实施例提供的另一种备份装置的结构示意图;
图6是本发明实施例提供的另一种备份装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明实施例中的技术方案,并使本发明实施例的上述目的、特征和优点能够更加明显易懂,下面结合附图对本发明实施例中技术方案作进一步详细的说明。
请参见图1,图1为本发明实施例提供的一种备份方法的流程示意图,如图1所示,该备份方法可以包括:
需要说明的是,步骤101~步骤105的执行主体可以为BM集群的管理节点或BM集群管理节点中的处理器,如CPU(Center Process Unit,中央处理单元),为便于描述,以下以步骤101~步骤105的执行主体为管理节点为例进行说明。
步骤101、当需要进行录像备份时,确定待备份任务需要占用的目标空间大小。
本发明实施例中,当管理节点接收到录像备份任务时,管理节点可以先确定待备份任务需要占用的空间大小(即待备份任务的大小,本文中称为目标空间大小)。
本发明实施例中,待备份任务需要占用的目标空间大小可以通过需要进行备份的摄像机的录像码率以及备份任务的备份时长确定。
例如,待备份任务需要占用的目标空间大小可以通过以下公式确定:
目标空间大小=摄像机录像码率*备份时长
其中,摄像机录像码率为需要进行备份的摄像机的录像码率,备份时长为待备份任务的备份时长(该备份时长可以直接根据待备份任务的起始时间和结束时间确定)。
本发明实施例中,考虑到系统中会存在一些无法从数据库中查询到录像码率的摄像机,如外域推送的摄像机,因而,管理节点可以根据通过以下方式确定摄像机的录像码率:
使用摄像机最新的、已完成备份的备份文件的大小,除以该备份文件的备份时长,计算得到该摄像机的录像码率。
值得说明的是,在本发明实施例中,对于新配置备份的摄像机,由于其不存在已完成备份的备份文件,因此,对于该摄像机的第一个备份任务,可以将系统内各已知录像码率的摄像机的平均码率作为该摄像机的录像码率,并当该摄像机完成第一个备份任务之后,根据实际备份任务的大小以及备份时长更新对应的录像码率。
举例来说,管理节点可以增加一个全局哈希表,用于维护系统中所有需要执行备份的摄像机的码率(每个摄像机构建一个哈希节点)。其中,该全局哈希表中还可以维护系统中所有摄像机的平均码率、总码率以及总数量等。
在备份启动阶段,管理节点可以从数据库中查询所有需要执行备份的摄像机,然后逐个摄像机进行处理:
a、从备份文件信息表中,基于摄像机编码,查询出该摄像机最新的一个备份文件,返回其文件大小、录像起始时间、录像结束时间等信息;
b、若查询到记录:
用录像结束时间减去录像起始时间,得到对应的备份时长;
使用备份文件的大小除以备份时长,得到该摄像机的码率;
构建一个新的哈希节点,记录摄像机的编码、码率,并将该哈希节点插入哈希表(以摄像机编码为键值);
更新所有摄像机的总码率(累加当前摄像机的码率)、总数量(摄像机数量加1)以及平均码率。
c、若未查询到记录:
将平均码率作为该摄像机的录像码率,并当该摄像机的第一个备份任务完成后,根据实际备份任务的大小以及备份时长更新对应的录像码率。
基于上述全局哈希表,当管理节点需要获取某摄像机的录像码率时,管理节点可以根据摄像机编码查询全局哈希表,若查询到对应的哈希节点,则将其中记录的录像码率确定为该摄像机的录像码率;若未查询到对应的哈希节点,则将平均码率作为该摄像机的录像码率,并当该摄像机的第一个备份任务完成后,根据实际备份任务的大小以及备份时长更新对应的录像码率,并在全局哈希表中增加对应的哈希节点。
管理节点获取到摄像机的录像码率之后,可以根据摄像机的录像码率以及待备份任务的备份时长计算得到待备份任务需要占用的目标空间大小。
其中,对于摄像机的第一个备份任务,可以直接使用平均码率以及平均备份时长(可以为经验值,如1800秒、3600秒等)计算得到。
步骤102、获取有剩余备份能力、且剩余空间大于等于目标空间大小的BM列表。
本发明实施例中,管理节点确定待备份任务需要占用的目标空间大小之后,管理节点可以查询系统中有剩余备份能力、且剩余空间大于等于目标空间大小的BM(本文中称为候选BM)。
其中,管理节点可以以列表的形式记录将查询到的有剩余备份能力、且剩余空间大于等于目标空间大小的BM。
步骤103、若候选BM的数量大于0,则根据目标空间大小确定待备份任务的级别。
本发明实施例中,当管理节点获取到的候选BM的数量不为0(BM列表不为空),即系统中存在有剩余备份能力、且剩余空间大于等于目标空间大小的BM时,管理节点可以根据待备份任务需要占用的目标空间大小确定待备份任务的级别。
本发明实施例中,考虑到若每次需要进行备份任务时,均直接将备份任务分配给有剩余备份能力、且剩余空间最大的BM,可能会导致需要占用空间较小的备份任务将剩余空间大的BM的备份能力占用,进而管理节点需要对占用空间较大的备份任务进行备份时,剩余空间足够的BM不具备备份能力,而具备备份能力的,剩余空间不足,从而导致备份任务下发失败。
举例来说,假设系统中有剩余备份能力的BM包括BM1、BM2和BM3,其中,BM1的剩余备份空间为1.5G、BM的剩余备份空间为1G、BM3的剩余备份空间为200M,BM1、BM2和BM3的剩余备份能力均仅能支持1路录像备份;假设某时刻,管理节点先后检测到IPC1、IPC2和IPC3需要进行录像备份,待备份任务需要占用的空间大小为依次100M(IPC1)、200M(IPC2)和1G(IPC3),管理节点会先将IPC1的备份任务分配给BM1、IPC2的备份任务分配给BM2,而对于IPC3的备份任务,由于BM3的剩余空间不足,则会下发失败。
因而,在本发明实施例中,管理节点为待备份任务选择用于执行备份的目标BM时,不再严格按照选择具有剩余备份能力、且剩余空间最大的BM的原则进行选择,而是可以先根据目标空间大小确定待备份任务的级别,进而根据该待备份任务的级别为待备份任务选择用于执行备份的目标BM。
作为一种可选的实施方式,在本发明实施例中,根据目标空间大小确定待备份任务的级别,可以包括:
当目标空间大小大于等于备份任务的平均大小的第一比例时,确定待备份任务的级别为第一级别;其中,第一比例大于100%;
当目标空间大小小于等于备份任务的平均大小的第二比例时,确定待备份任务的级别为第二级别;其中,第二比例小于100%;
当目标空间大小小于备份任务的平均大小的第一比例,且大于备份任务的平均大小的第二比例时,确定待备份任务的级别为第三级别。
在该实施方式中,为了确定待备份任务的级别,管理节点可以先确定系统的中备份任务的平均大小。
其中,系统中备份任务的平均大小可以通过以下公式确定:
备份任务的平均大小=平均码率*平均备份时长
其中,平均码率为系统中所有摄像机的平均码率(确定方式可以参见步骤101中的相关描述),平均备份时长为经验值,可以由管理员根据具体场景设定,如1800秒、3600秒等。
在该实施方式中,管理节点确定系统中备份任务的平均大小之后,可以将需要占用的空间大小(或称为备份任务大小)大于等于备份任务的平均大小的第一比例的待备份任务的级别确定为第一级别;需要占用的空间大小小于等于备份任务的平均大小的第二比例的待备份任务的级别确定为第二级别;需要占用的空间大小小于备份任务的平均大小的第一比例,且大于备份任务的平均大小的第二比例的待备份任务的级别确定为第三级别。
举例来说,假设第一比例为125%,第二比例为75%,管理节点可以按照以下方式对备份任务进行级别划分:
第一级别(高size(大小)):备份任务大小≥平均码率*平均备份时长*125%;
第二级别(低size):备份任务大小≤平均码率*平均备份时长*75%;
第三级别(中size):备份任务大小介于上述两个值之间。
值得说明的是,在该实施方式中,对于任一摄像机的第一个备份任务,可以将该备份任务的级别确定为第三级别。
应该认识到,上述待备份任务的级别的划分方式仅是本发明实施例中的一种具体实例,而不是对本发明保护范围的限定,即本发明实施例中,也可以按照其它方式实现对待备份任务的级别的划分,如待备份任务的级别可以仅划分为两个级别,大于等于备份任务的平均大小的备份任务为第一级别,小于备份任务的平均大小的备份任务为第二级别;或者,待备份任务的级别也可以划分为四个或更多级别,其具体实现在此不做赘述。
为便于理解,本发明实施例中,以上述示例中的级别划分为例进行描述。
步骤104、根据待备份任务的级别以及各候选BM的剩余空间大小,确定用于执行备份的目标BM。
本发明实施例中,管理节点确定待备份任务的级别之后,可以根据该待备份任务的级别以及各候选BM的剩余空间大小,确定用于执行备份的目标BM。
作为一种可选实施方式,在本发明实施例中,根据待备份任务的级别以及各候选BM的剩余空间大小,确定用于执行备份的目标BM,可以包括:
当待备份任务的级别为第一级别时,将候选BM中剩余空间大于系统平均剩余空间,且剩余空间最大的候选BM确定为目标BM;
当待备份任务的级别为第二级别时,将候选BM中剩余空间小于系统平均剩余空间,且剩余空间最大的候选BM确定为目标BM;
当待备份任务的级别为第三级别时,将候选BM中剩余空间最大的候选BM确定为目标BM。
在该实施方式中,管理节点可以根据各候选BM的剩余空间对候选BM进行级别划分。
例如,管理节点可以将剩余空间大于系统平均剩余空间的BM划分为第一级别的候选BM,剩余空间小于系统平均剩余空间的BM划分为第二级别的候选BM。
其中,系统平均剩余空间可以为系统所有在线BM的剩余空间之和与系统所有在线BM的数量的比值。
本发明实施例中,在线BM是指处于工作状态的BM,管理节点可以通过与BM之间的心跳保活报文对BM在线状态的监测。
在该实施方式中,对于第一级别的待备份任务,管理节点可以将第一级别的候选BM中剩余空间最大的候选BM确定为目标BM;对于第二级别的待备份任务,管理节点可以将第二级别的候选BM中剩余空间最大的候选BM确定为目标BM;对于第三级别的待备份任务,管理节点可以将候选BM中剩余空间最大的候选BM确定为目标BM,从而可以有效地避免需要占用的空间较小的待备份任务抢占剩余空间较大的BM的备份能力的问题,优化了BM剩余备份能力和剩余空间的分配。
值得说明的是,在本发明实施例中,当需要确定第一级别的待备份任务的目标BM,但不存在第一级别的候选BM(即候选BM剩余空间均小于系统平均剩余空间)或当需要确定第二级别的待备份任务的目标BM,但不存在第二级别的候选BM(即候选BM剩余空间均大于系统平均剩余空间),则管理节点可以认为BM选择失败,先不将待备份任务下发给BM,等待一定时间之后再重新按照上述步骤确定目标BM。
应该认识到,上述候选BM的级别划分方式仅是本发明实施例中的一种具体实例,而不是对本发明保护范围的限定,即本发明实施例中,也可以按照其它方式实现对候选BM的级别的划分,如待备份任务的级别可以仅划分为三个或更多级别,其具体实现在此不做赘述。
步骤105、将待备份任务分配给目标BM,由目标BM执行备份。
本发明实施例中,当管理节点确定了目标BM之后,管理节点可以将待备份任务分配给目标BM,由目标BM执行备份;其中,目标BM执行备份的具体实现可以参见现有相关流程中的相关描述,本发明实施例在此不做赘述。
可见,在图1所示的方法流程中,通过在系统存在有剩余备份能力、且剩余空间大于等于目标空间大小的候选BM时,根据待备份任务需要占用的目标空间大小确定待备份任务的级别,并根据待备份任务的级别以及各候选BM的剩余空间大小,确定用于执行备份的目标BM,由于在选择执行备份的BM时,兼顾各BM的剩余备份能力和剩余空间,剩余空间大的BM优先备份需要占用的空间大的备份任务,有效地避免了需要占用的空间较小的备份任务抢占剩余空间较大的BM的备份能力,优化了录像备份时BM备份能力和备份空间等资源的使用效果。
请参见图2,图2为本发明实施例提供的另一种备份方法的流程示意图,如图2所示,该备份方法可以包括以下步骤:
步骤201、当需要进行录像备份时,确定待备份任务需要占用的目标空间大小。
步骤202、获取有剩余备份能力、且剩余空间大于等于目标空间大小的候选BM。若候选BM的数量大于0,则转至步骤203;若候选BM的数量为0,则转至步骤208。
本发明实施例中,步骤201~步骤202的具体实现可以参见上述步骤101~步骤102中的相关描述,在此不再赘述。
步骤203、判断BM剩余空间均衡调节功能是否为启用状态。若是,则转至步骤204;否则,转至步骤207。
本发明实施例中,考虑到当系统内各在线BM之间的剩余空间较为均衡时,可以不用考虑剩余空间较大的BM的剩余备份能力是否会被需要占用的空间较小的备份任务,因而,为了提高在该情况下的备份效率,系统中可以新增BM剩余空间均衡调节功能,当该BM剩余空间均衡调节功能为启用状态时,管理节点可以按照图1所示的方法进行备份;当该BM剩余空间均衡调节功能为关闭状态时,管理节点可以直接根据各候选BM的剩余空间大小确定目标BM。
相应地,在本发明实施例中,当系统中存在有剩余备份能力、且剩余空间大于等于目标空间大小的候选BM时,管理节点可以进一步判断BM剩余空间均衡调节功能是否为启用状态。若是,执行步骤204;否则,执行207。
作为一种可选的实施方式,BM剩余空间均衡调节功能的启用和关闭可以由以下方式确定:
当BM剩余空间均衡调节功能为关闭,且系统中在线BM的剩余空间不均衡程度满足第一预设条件时,将BM剩余空间均衡调节功能设置为启用状态;
当BM剩余空间均衡调节功能为启用状态,且系统中在线BM的剩余空间不均衡程度满足第二预设条件时,将BM剩余空间均衡调节功能设置为关闭状态。
在该实施方式中,管理节点可以根据当前BM剩余空间均衡调节功能的状态(启用或关闭)以及系统中在线BM的剩余空间不均衡程度,确定是否需要调整BM剩余空间均衡调节功能的状态。
当系统中在线BM的剩余空间不均衡程度满足第一预设条件时,管理节点可以认为需要启用BM剩余空间均衡调节功能,此时,若BM剩余空间均衡调节功能为关闭状态,则管理节点可以将其调整为启用状态;若BM剩余空间均衡调节功能为启用状态,则管理节点可以保持其为启用状态。
当系统中在线BM的剩余空间不均衡程度满足第二预设条件时,管理节点可以认为需要关闭BM剩余空间均衡调节功能,此时,若BM剩余空间均衡调节功能为启动状态,则管理节点可以将其调整为关闭状态;若BM剩余空间均衡调节功能为关闭状态,则管理节点可以保持其为关闭状态。
其中,系统中在线BM的剩余空间不均衡程度满足第一预设条件可以包括但不限于系统中剩余空间最大的在线BM的剩余空间与剩余空间最小的在线BM的剩余空间的差值或比值大于等于第一阈值等。
系统中在线BM的剩余空间不均衡程度满足第二预设条件可以包括但不限于系统中剩余空间最大的在线BM的剩余空间与剩余空间最小的在线BM的剩余空间的差值或比值小于等于第二阈值等。其中,第一阈值大于第二阈值。
例如,管理节点可以在系统中在线BM的剩余空间满足以下条件时,认为系统中在线BM的剩余空间不均衡程度满足第一预设条件:
剩余空间最大的在线BM的剩余空间-剩余空间最小的在线BM的剩余空间≥3*备份任务需要占用的最大空间
其中,备份任务需要占用的最大空间可以为经验值,可以由用户根据具体场景设定,如该备份任务需要占用的最大空间可以为1.5G,此时第一阈值为4.5G。
此外,管理节点可以在系统中在线BM的剩余空间满足以下条件时,认为系统中在线BM的剩余空间不均衡程度满足第二预设条件:
剩余空间最大的在线BM的剩余空间-剩余空间最小的在线BM的剩余空间≤1*备份任务需要占用的最大空间
其中,当该备份任务需要占用的最大空间可以为1.5G,第二阈值为1.5G。
步骤204、根据目标空间大小确定待备份任务的级别。
步骤205、根据待备份任务的级别以及各候选BM的剩余空间大小,确定用于执行备份的目标BM。
步骤206、将待备份任务分配给目标BM。由目标BM执行备份。
本发明实施例中,步骤204~步骤206的具体实现可以参见上述步骤103~步骤105中的相关描述,在此不再赘述。
步骤207、将候选BM中剩余空间最大的候选BM确定为目标BM,并将待备份任务分配给该目标BM,由该目标BM执行备份。
本发明实施例中,若管理节点确定BM剩余空间均衡调节功能为关闭状态,即系统中在线BM的剩余空间较为均衡,可以不需要去考虑需要占用的空间较小的备份任务是否会抢占剩余空间较大的BM的备份能力,则管理节点可以直接将候选BM中剩余空间最大的候选BM确定为目标BM,并将待备份任务分配给该目标BM,由该目标BM执行备份。
步骤208、判断系统中是否存在剩余空间大于等于目标空间大小的在线BM。若是,转至步骤209;否则,执行满覆盖操作。
本发明实施例中,当管理节点确定系统中不存在有剩余备份能力、且剩余空间大于等于待备份任务需要占用的目标空间大小时,管理节点可以进一步判断系统中是否存在剩余空间大于等于目标空间大小的在线BM(即没有剩余备份能力,但剩余空间大于等于目标空间大小的在线BM)。
若系统中存在剩余空间大于等于目标空间大小(但没有剩余备份能力)的在线BM,则可以执行步骤209;否则,执行满覆盖操作。
其中,管理节点执行满覆盖操作的具体实现可以参见现有相关流程中的相关实现,本发明实施例在此不做赘述。
步骤209、判断系统中是否存在有剩余备份能力的在线BM。若是,转至步骤210;否则,确定选择BM失败。
步骤210、将用于统计全局任务堆积的数量的全局变量加1,并判断全局任务堆积数量是否超过预设阈值。若是,执行满覆盖操作;否则,确定选择BM失败。
本发明实施例中,当系统中存在剩余空间大于等于目标空间大小(但没有剩余能力)的在线BM时,管理节点可以进一步判断系统中是否存在有剩余备份能力(即有剩余备份能力,但剩余空间小于目标空间大小)的在线BM;若存在,则管理节点可以将该将待备份任务作为堆积任务,并将用于统计全局任务堆积数量的全局变量加1,并判断全局任务堆积数量是否超过阈值;若超过阈值,则执行满覆盖操作;否则,管理节点可以确定选择BM失败,该备份任务本次不调度下发。
其中,当管理节点确定选择BM失败,备份任务本次不下发时,管理节点可以在一定时间后再针对该备份任务选择BM。
可见,在图2所示的方法流程中,管理节点可以根据BM剩余空间均衡调节功能的不同状态,以不同的方式为待备份任务选择用于执行备份的目标BM,提高了备份的灵活性。
通过以上描述可以看出,在本发明实施例提供的技术方案中,通过在需要进行录像备份,且系统中存在有剩余备份能力,且剩余空间大于等于待备份任务需要占用的目标空间大小的候选BM时,根据目标空间大小确定待备份任务的级别,并根据待备份任务的级别以及各候选BM的剩余空间大小确定用于执行备份的目标BM,兼顾各BM的剩余备份能力和剩余空间,优化了录像备份时BM备份能力和备份空间等资源的使用效果。
请参见图3,为本发明实施例提供的一种备份装置的结构示意图,如图3所示,该备份装置可以包括:
第一确定单元310,用于当需要进行录像备份时,确定待备份任务需要占用的目标空间大小;
获取单元320,用于获取有剩余备份能力、且剩余空间大于等于所述目标空间大小的候选备份管理服务器BM;
第二确定单元330,若所述候选BM的数量大于0,则根据所述目标空间大小确定所述待备份任务的级别;
第三确定单元340,用于根据所述待备份任务的级别以及各候选BM的剩余空间大小,确定用于执行备份的目标BM;
分配单元350,用于将所述待备份任务分配给所述目标BM,由所述目标BM执行备份。
在可选实施例中,所述第二确定单元330,可以具体用于当所述目标空间大小大于等于备份任务的平均大小的第一比例时,确定所述待备份任务的级别为第一级别;其中,第一比例大于100%;当所述目标空间大小小于等于备份任务的平均大小的第二比例时,确定所述待备份任务的级别为第二级别;其中,第二比例小于100%;当所述目标空间大小小于备份任务的平均大小的第一比例,且大于备份任务的平均大小的第二比例时,确定待备份任务的级别为第三级别。
在可选实施例中,所述第三确定单元340,可以具体用于当所述待备份任务的级别为第一级别时,将所述候选BM中剩余空间大于系统平均剩余空间,且剩余空间最大的候选BM确定为目标BM;当所述待备份任务的级别为第二级别时,将所述候选BM中剩余空间小于系统平均剩余空间,且剩余空间最大的候选BM确定为目标BM;当所述待备份任务的级别为第三级别时,将所述候选BM中剩余空间最大的候选BM确定为目标BM。
请一并参阅图4,为本发明实施例提供的另一种备份装置的结构示意图,在图3所示实施例的基础上,图4所示的备份装置还可以包括:
第一判断单元360,用于若所述候选BM的数量大于0,则判断BM剩余空间均衡调节功能是否为启用状态;
相应地,所述第二确定单元330,可以具体用于当所述第一判断单元360判断为是时,根据所述目标空间大小确定所述待备份任务的级别;
所述第三确定单元340,还可以用于当所述第一判断单元360判断为否时,将所述候选BM中剩余空间最大的候选BM确定为目标BM;
所述分配单元350,还可以用于将所述待备份任务分配给该目标BM,由该目标BM执行备份。
请一并参阅图5,为本发明实施例提供的另一种备份装置的结构示意图,在图4所示实施例的基础上,图5所示的备份装置还可以包括:
设置单元370,可以用于当BM剩余空间均衡调节功能为关闭状态,且系统中在线BM的剩余空间不均衡程度满足第一预设条件时,将BM剩余空间均衡调节功能设置为启用状态;当BM剩余空间均衡调节功能为启用状态,且系统中在线BM的剩余空间不均衡程度满足第二预设条件时,将BM剩余空间均衡调节功能设置为关闭状态。
请一并参阅图6,为本发明实施例提供的另一种备份装置的结构示意图,在图3所示实施例的基础上,图6所示的备份装置还可以包括:
第二判断单元380,用于若所述候选BM的数量为0,则判断系统中是否存在剩余空间大于等于所述目标空间大小的在线BM;
处理单元390,用于若系统中不存在剩余空间大于等于所述目标空间大小的在线BM,则执行满覆盖操作;
所述第二判断单元380,还可以用于若系统中存在剩余空间大于等于所述目标空间大小的在线BM,则判断系统中是否存在有剩余备份能力的在线BM;
所述第二判断单元380,还可以用于若系统中存在有剩余备份能力的在线BM,则将用于统计全局任务堆积数量的全局变量加1,并判断全局任务堆积数量是否超过预设阈值;
所述处理单元390,还可以用于若全局任务堆积数量超过预设阈值,则执行满覆盖操作;否则,确定选择BM失败;
所述处理单元390,还可以用于若系统中不存在有剩余备份能力的在线BM,则确定选择BM失败。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
由上述实施例可见,通过在需要进行录像备份,且系统中存在有剩余备份能力,且剩余空间大于等于待备份任务需要占用的目标空间大小的候选BM时,根据目标空间大小确定待备份任务的级别,并根据待备份任务的级别以及各候选BM的剩余空间大小确定用于执行备份的目标BM,兼顾各BM的剩余备份能力和剩余空间,优化了录像备份时BM备份能力和备份空间等资源的使用效果。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (12)
1.一种备份方法,其特征在于,包括:
当需要进行录像备份时,确定待备份任务需要占用的目标空间大小;其中,所述目标空间大小通过待备份任务对应的摄像机的录像码率和备份时长确定;
获取有剩余备份能力、且剩余空间大于等于所述目标空间大小的候选备份管理服务器BM;
若所述候选BM的数量大于0,则通过比较所述目标空间大小以及备份任务的平均大小确定所述待备份任务的级别;其中,所述备份任务的平均大小通过系统中所有摄像机的平均码率和平均备份时长确定;
根据所述待备份任务的级别以及各候选BM的剩余空间大小,确定用于执行备份的目标BM;
将所述待备份任务分配给所述目标BM,由所述目标BM执行备份。
2.根据权利要求1所述的方法,其特征在于,所述根据所述目标空间大小确定所述待备份任务的级别,包括:
当所述目标空间大小大于等于备份任务的平均大小的第一比例时,确定所述待备份任务的级别为第一级别;其中,第一比例大于100%;
当所述目标空间大小小于等于备份任务的平均大小的第二比例时,确定所述待备份任务的级别为第二级别;其中,第二比例小于100%;
当所述目标空间大小小于备份任务的平均大小的第一比例,且大于备份任务的平均大小的第二比例时,确定待备份任务的级别为第三级别。
3.根据权利要求2所述的方法,其特征在于,所述根据所述待备份任务的级别以及各候选BM的剩余空间大小,确定用于执行备份的目标BM,包括:
当所述待备份任务的级别为第一级别时,将所述候选BM中剩余空间大于系统平均剩余空间,且剩余空间最大的候选BM确定为目标BM;
当所述待备份任务的级别为第二级别时,将所述候选BM中剩余空间小于系统平均剩余空间,且剩余空间最大的候选BM确定为目标BM;
当所述待备份任务的级别为第三级别时,将所述候选BM中剩余空间最大的候选BM确定为目标BM。
4.根据权利要求1所述的方法,其特征在于,若所述候选BM的数量大于0,则所述根据所述目标空间大小确定所述待备份任务的级别之前,还包括:
判断BM剩余空间均衡调节功能是否为启用状态;
若是,则确定执行所述根据所述目标空间大小确定所述待备份任务的级别的步骤;
否则,将所述候选BM中剩余空间最大的候选BM确定为目标BM,并将所述待备份任务分配给该目标BM,由该目标BM执行备份。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
当BM剩余空间均衡调节功能为关闭状态,且系统中在线BM的剩余空间不均衡程度满足第一预设条件时,将BM剩余空间均衡调节功能设置为启用状态;
当BM剩余空间均衡调节功能为启用状态,且系统中在线BM的剩余空间不均衡程度满足第二预设条件时,将BM剩余空间均衡调节功能设置为关闭状态。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若所述候选BM的数量为0,则判断系统中是否存在剩余空间大于等于所述目标空间大小的在线BM;
若系统中不存在剩余空间大于等于所述目标空间大小的在线BM,则执行满覆盖操作;
若系统中存在剩余空间大于等于所述目标空间大小的在线BM,则判断系统中是否存在有剩余备份能力的在线BM;
若系统中存在有剩余备份能力的在线BM,则将用于统计全局任务堆积数量的全局变量加1,并判断全局任务堆积数量是否超过预设阈值,若是,则执行满覆盖操作;否则,确定选择BM失败;
若系统中不存在有剩余备份能力的在线BM,则确定选择BM失败。
7.一种备份装置,其特征在于,包括:
第一确定单元,用于当需要进行录像备份时,确定待备份任务需要占用的目标空间大小;其中,所述目标空间大小通过待备份任务对应的摄像机的录像码率和备份时长确定;
获取单元,用于获取有剩余备份能力、且剩余空间大于等于所述目标空间大小的候选备份管理服务器BM;
第二确定单元,若所述候选BM的数量大于0,则通过比较所述目标空间大小以及备份任务的平均大小确定所述待备份任务的级别;其中,所述备份任务的平均大小通过系统中所有摄像机的平均码率和平均备份时长确定;
第三确定单元,用于根据所述待备份任务的级别以及各候选BM的剩余空间大小,确定用于执行备份的目标BM;
分配单元,用于将所述待备份任务分配给所述目标BM,由所述目标BM执行备份。
8.根据权利要求7所述的装置,其特征在于,
所述第二确定单元,具体用于当所述目标空间大小大于等于备份任务的平均大小的第一比例时,确定所述待备份任务的级别为第一级别;其中,第一比例大于100%;当所述目标空间大小小于等于备份任务的平均大小的第二比例时,确定所述待备份任务的级别为第二级别;其中,第二比例小于100%;当所述目标空间大小小于备份任务的平均大小的第一比例,且大于备份任务的平均大小的第二比例时,确定待备份任务的级别为第三级别。
9.根据权利要求8所述的装置,其特征在于,
所述第三确定单元,具体用于当所述待备份任务的级别为第一级别时,将所述候选BM中剩余空间大于系统平均剩余空间,且剩余空间最大的候选BM确定为目标BM;当所述待备份任务的级别为第二级别时,将所述候选BM中剩余空间小于系统平均剩余空间,且剩余空间最大的候选BM确定为目标BM;当所述待备份任务的级别为第三级别时,将所述候选BM中剩余空间最大的候选BM确定为目标BM。
10.根据权利要求7所述的装置,其特征在于,所述装置还包括:
第一判断单元,用于若所述候选BM的数量大于0,则判断BM剩余空间均衡调节功能是否为启用状态;
所述第二确定单元,具体用于当所述第一判断单元判断为是时,根据所述目标空间大小确定所述待备份任务的级别;
所述第三确定单元,还用于当所述第一判断单元判断为否时,将所述候选BM中剩余空间最大的候选BM确定为目标BM;
所述分配单元,还用于将所述待备份任务分配给该目标BM,由该目标BM执行备份。
11.根据权利要求10所述的装置,其特征在于,所述装置还包括:
设置单元,用于当BM剩余空间均衡调节功能为关闭状态,且系统中在线BM的剩余空间不均衡程度满足第一预设条件时,将BM剩余空间均衡调节功能设置为启用状态;当BM剩余空间均衡调节功能为启用状态,且系统中在线BM的剩余空间不均衡程度满足第二预设条件时,将BM剩余空间均衡调节功能设置为关闭状态。
12.根据权利要求7所述的装置,其特征在于,所述装置还包括:
第二判断单元,用于若所述候选BM的数量为0,则判断系统中是否存在剩余空间大于等于所述目标空间大小的在线BM;
处理单元,用于若系统中不存在剩余空间大于等于所述目标空间大小的在线BM,则执行满覆盖操作;
所述第二判断单元,还用于若系统中存在剩余空间大于等于所述目标空间大小的在线BM,则判断系统中是否存在有剩余备份能力的在线BM;
所述第二判断单元,还用于若系统中存在有剩余备份能力的在线BM,则将用于统计全局任务堆积数量的全局变量加1,并判断全局任务堆积数量是否超过预设阈值;
所述处理单元,还用于若全局任务堆积数量超过预设阈值,则执行满覆盖操作;否则,确定选择BM失败;
所述处理单元,还用于若系统中不存在有剩余备份能力的在线BM,则确定选择BM失败。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610351846.9A CN106021026B (zh) | 2016-05-23 | 2016-05-23 | 一种备份方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610351846.9A CN106021026B (zh) | 2016-05-23 | 2016-05-23 | 一种备份方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106021026A CN106021026A (zh) | 2016-10-12 |
CN106021026B true CN106021026B (zh) | 2020-02-18 |
Family
ID=57094617
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610351846.9A Active CN106021026B (zh) | 2016-05-23 | 2016-05-23 | 一种备份方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106021026B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106998436B (zh) * | 2017-03-24 | 2020-09-01 | 浙江宇视科技有限公司 | 录像备份方法及装置 |
CN109783275A (zh) * | 2018-12-17 | 2019-05-21 | 北京春鸿科技有限公司 | 向多个wifi存储设备进行文件备份的方法及终端 |
CN111930566A (zh) * | 2020-07-28 | 2020-11-13 | 友谊时光科技股份有限公司 | 一种数据备份方法、装置、电子设备和存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103092527A (zh) * | 2011-10-31 | 2013-05-08 | 深圳市快播科技有限公司 | 小文件的存储方法及系统 |
CN103268290A (zh) * | 2013-01-04 | 2013-08-28 | 苏州懿源宏达知识产权代理有限公司 | 基于优先级锁定的闪存存储方法 |
CN105045725A (zh) * | 2015-08-04 | 2015-11-11 | Tcl移动通信科技(宁波)有限公司 | 一种移动终端多存储卡存储实现方法及系统 |
CN105245912A (zh) * | 2015-10-21 | 2016-01-13 | 东方网力科技股份有限公司 | 一种缓存视频数据及读取视频数据的方法及装置 |
CN105592123A (zh) * | 2014-11-12 | 2016-05-18 | 富泰华工业(深圳)有限公司 | 存储管理系统、管理装置及方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7958303B2 (en) * | 2007-04-27 | 2011-06-07 | Gary Stephen Shuster | Flexible data storage system |
-
2016
- 2016-05-23 CN CN201610351846.9A patent/CN106021026B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103092527A (zh) * | 2011-10-31 | 2013-05-08 | 深圳市快播科技有限公司 | 小文件的存储方法及系统 |
CN103268290A (zh) * | 2013-01-04 | 2013-08-28 | 苏州懿源宏达知识产权代理有限公司 | 基于优先级锁定的闪存存储方法 |
CN105592123A (zh) * | 2014-11-12 | 2016-05-18 | 富泰华工业(深圳)有限公司 | 存储管理系统、管理装置及方法 |
CN105045725A (zh) * | 2015-08-04 | 2015-11-11 | Tcl移动通信科技(宁波)有限公司 | 一种移动终端多存储卡存储实现方法及系统 |
CN105245912A (zh) * | 2015-10-21 | 2016-01-13 | 东方网力科技股份有限公司 | 一种缓存视频数据及读取视频数据的方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN106021026A (zh) | 2016-10-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6881575B2 (ja) | 資源割当システム、管理装置、方法およびプログラム | |
EP3419247A1 (en) | Method and device for storage resource allocation for video cloud storage | |
CN110753131A (zh) | 微服务分布式限流方法及装置、存储介质和电子设备 | |
US9405588B2 (en) | Cloud resource allocation system and method | |
CN107278365B (zh) | 用于可扩展的对等匹配的设备 | |
CN104836819A (zh) | 动态负载均衡的方法、系统及监控调度设备 | |
JP2004021982A (ja) | コンピュータ・システム・リソースを動的に割り当てる方法およびシステム | |
WO2019170011A1 (zh) | 任务分配方法及装置、分布式存储系统 | |
CN107026900B (zh) | 一种拍摄任务分配方法及装置 | |
CN112214288B (zh) | 基于Kubernetes集群的Pod调度方法、装置、设备和介质 | |
CN104090806A (zh) | 升级包、升级请求的处理方法及装置 | |
US20140244844A1 (en) | Control device and resource control method | |
US20120233313A1 (en) | Shared scaling server system | |
CN103414657A (zh) | 一种跨数据中心的资源调度方法、超级调度中心和系统 | |
CN106021026B (zh) | 一种备份方法及装置 | |
CN105049509A (zh) | 一种集群调度方法、负载均衡器以及集群系统 | |
US20180225147A1 (en) | Resource allocation method and apparatus | |
CN109597800B (zh) | 一种日志分发方法及装置 | |
CN110012076B (zh) | 一种连接建立方法及装置 | |
CN109960565B (zh) | 云平台、基于云平台的虚拟机调度方法及装置 | |
CN105915630A (zh) | 跨网络数据传输系统及负载均衡调度方法 | |
US20220012084A1 (en) | Systems and methods for improved management of virtual machine clusters | |
CN106790354B (zh) | 一种防数据拥堵的通信方法及其装置 | |
CN111274022A (zh) | 服务器资源分配方法和系统 | |
US20170149893A1 (en) | Metadata server, network device and automatic resource management method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |