CN111221468A

CN111221468A - 存储块数据删除方法、装置、电子设备及云存储系统

Info

Publication number: CN111221468A
Application number: CN201811419430.1A
Authority: CN
Inventors: 陈鹏; 许爱秋; 林起芊
Original assignee: Hangzhou Hikvision System Technology Co Ltd
Current assignee: Hangzhou Hikvision System Technology Co Ltd
Priority date: 2018-11-26
Filing date: 2018-11-26
Publication date: 2020-06-02
Anticipated expiration: 2038-11-26
Also published as: CN111221468B

Abstract

本申请实施例提供了存储块数据删除方法、装置、电子设备及云存储系统，该方法包括：获取目标时刻及各存储块的块最后写入时刻；确定块最后写入时刻小于目标时刻的目标存储块，删除目标存储块中的数据；获取各存储块中录像段的录像段最后写入时刻；判断各录像段最后写入时刻与目标时刻的大小；删除录像段最后写入时刻小于目标时刻的录像段。在本申请实施例的存储块数据删除方法中，当清理资源池存储空间时，删除录像段最后写入时刻小于目标时刻的录像段，以录像段为最小检测单位，能够增加资源池中存储空间的释放，提高存储资源有效利用率。同时可以减少同一存储块中数据的时间跨度，方便资源池的时间更新。

Description

存储块数据删除方法、装置、电子设备及云存储系统

技术领域

本申请涉及数据存储技术领域，特别是涉及存储块数据删除方法、装置、电子设备及云存储系统。

背景技术

现有云存储系统中，存储资源通过虚拟化的资源池进行管理，其整体架构如图1所示。云存储系统中包括管理节点和存储节点，存储节点为存储数据的物理介质，存储节点上的块设备按照固定大小划分为一个个的存储块，管理节点通过虚拟的存储资源池对各存储节点上的存储块进行逻辑上的管理。

资源池根据用户需求分为覆盖池子和不覆盖池子。覆盖池子会根据策略进行空间回收。具体的，在覆盖池子中，会以存储块为单位，清除存储块最后写入时刻在指定目标时刻前的存储块中的数据，以释放存储空间。

但是采用上述方法，资源池中存储空间释放小，存储资源有效利用率低。

发明内容

本申请实施例的目的在于提供一种存储块数据删除方法、装置、电子设备及云存储系统，以实现增加存储资源的有效利用率。具体技术方案如下：

第一方面，本申请实施例提供了一种存储块数据删除方法，所述方法包括：

获取目标时刻及各存储块的块最后写入时刻；

确定块最后写入时刻小于所述目标时刻的目标存储块，删除所述目标存储块中的数据；

获取各所述存储块中录像段的录像段最后写入时刻；

判断各所述录像段最后写入时刻与所述目标时刻的大小；

删除录像段最后写入时刻小于所述目标时刻的录像段。

可选的，所述获取目标时刻及各存储块的块最后写入时刻，包括：

在到达预设清理时刻时，获取目标时刻及各存储块的块最后写入时刻。

可选的，所述获取各存储块中录像段的录像段最后写入时刻，包括：

获取除所述目标存储块外的其他存储块中的各录像段的录像段最后写入时刻。

可选的，在所述删除录像段最后写入时刻小于所述目标时刻的录像段之后，所述方法还包括：

检测各待整理存储块的存储空间使用率，其中，所述待整理存储块为各所述存储块中删除录像段的存储块；

判断各所述待整理存储块的存储空间使用率与预设存储阈值的大小：

将存储空间使用率小于预设存储阈值的待整理存储块进行碎片整理。

第二方面，本申请实施例提供了一种存储块数据删除装置，所述装置包括：

第一时刻获取模块，用于获取目标时刻及各存储块的块最后写入时刻；

第一数据删除模块，用于确定块最后写入时刻小于所述目标时刻的目标存储块，删除所述目标存储块中的数据；

第二时刻获取模块，用于获取各所述存储块中录像段的录像段最后写入时刻；

时刻判断模块，用于判断各所述录像段最后写入时刻与所述目标时刻的大小；

第二数据删除模块，用于删除录像段最后写入时刻小于所述目标时刻的录像段。

可选的，所述第一时刻获取模块，具体用于：

可选的，所述第二时刻获取模块，具体用于：

可选的，本申请实施例的存储块数据删除装置还包括：

使用率检测模块，用于检测各待整理存储块的存储空间使用率，其中，所述待整理存储块为各所述存储块中删除录像段的存储块；

阈值判断模块，用于判断各所述待整理存储块的存储空间使用率与预设存储阈值的大小：

碎片整理模块，用于将存储空间使用率小于预设存储阈值的待整理存储块进行碎片整理。

第三方面，本申请实施例提供了一种电子设备，包括处理器和存储器；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存放的程序时，实现上述第一方面任一所述的存储块数据删除方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一所述的存储块数据删除方法。

第五方面，本申请实施例提供了一种云存储系统，所述云存储系统包括：管理节点及存储节点，所述存储节点包括存储块；

所述存储块用于存储数据；

所述管理节点用于针对所述存储块，实现上述第一方面任一所述的存储块数据删除方法。

本申请实施例提供的存储块数据删除方法、装置、电子设备及云存储系统，获取目标时刻及各存储块的块最后写入时刻；确定块最后写入时刻小于目标时刻的目标存储块，删除目标存储块中的数据；获取各存储块中录像段的录像段最后写入时刻；判断各录像段最后写入时刻与目标时刻的大小；删除录像段最后写入时刻小于目标时刻的录像段。当清理资源池存储空间时，删除录像段最后写入时刻小于目标时刻的录像段，以录像段为最小检测单位，能够增加资源池中存储空间的释放，提高存储资源有效利用率。同时可以减少同一存储块中数据的时间跨度，方便资源池的时间更新。当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例的存储块数据删除方法的应用场景的一种示意图；

图2为本申请实施例的存储块中录像段写入时间的一种示意图；

图3为本申请实施例的存储块数据删除方法的一种流程示意图；

图4为本申请实施例的存储块数据删除方法的另一种流程示意图；

图5为本申请实施例的存储块数据删除装置的一种示意图；

图6为本申请实施例的电子设备的一种示意图；

图7为本申请实施例的云存储系统的一种示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

首先对本申请实施例中的术语进行解释：

视频云存储：在安防行业中视频数据具有按照时间顺序持续存储，以及按照一定的周期或容量进行循环覆盖的需求，而传统文件存储方式在该视频流式存储特点上存在一定差别。视频云存储数据存储方式通过简化存储流程，优化数据块结构，使视频数据存储更符合流式数据存储特点，从而优化读写效率和后期应用扩展，能更好的服务于安防应用。

CVM(Cloud Virtual Machine，云服务器)：云存储的管理节点。

CVS(Cloud Video Storage，云视频存储)：云存储的存储节点。

资源池：虚拟划分的逻辑存储资源。

存储块：存储节点上空间分配管理的最小单位。

空洞块：存有两个小段以上录像数据且段与段之间时间相差很大的存储块。

现有云存储系统中，存储资源通过虚拟化的资源池进行管理，其整体架构如图1所示。云存储系统中包括管理节点和存储节点，存储节点为存储数据的物理介质，存储节点上的块设备按照固定大小划分为一个个的存储块，管理节点通过虚拟的存储资源池对各存储节点上的存储块进行逻辑上的管理。资源池记录池子内使用的所有存储块数量，最小时间为资源池开始时间，最大时间为资源池结束时间，及与策略相关的覆盖时间。

资源池根据用户需求分为覆盖池子和不覆盖池子。不覆盖池子中保存的是用户期望永久保存的数据，池子中的数据不能删除，不覆盖池子的覆盖时间一直为0。覆盖池子则是会根据策略进行空间回收，资源重复使用的池子，覆盖时间为最后一次执行的策略中的目标时刻。覆盖池子根据策略分为周期池子和容量池子。周期池子对应一个存储周期，定时检查存储块存储的数据保存的时间，若保存时间已满足存储周期，触发存储块的清理，删除数据；容量覆盖池子对应一个总的存储空间大小和容量阈值，若使用的存储块达到容量阈值，根据资源池保存的数据时间，确定清理数据的目标时刻，将存储数据时间在目标时刻前的存储块进行数据清理，删除数据。

现有的存储块数据删除方法中，在对数据进行清理时，以数据块为单位进行数据删除。下面以图2为例进行具体说明。

周期资源池和容量资源池在进行空间清理时，最终的清理指令都会转换成删除某个目标时刻T前的数据。当前清理目标时刻为T，且T4<T<T5，存储节点会将存储块的结束时间，即存储块最后写入时间，在T之前的存储块都查找出来执行块删除。存储块1的结束时间T2<T，存储块1中的数据将会被删除，释放空间。存储块2和存储块3的结束时间分别是T6和T8，均大于T，清理时这样的存储块不会被查询出来，也就不会被删除。存储块1的空间被释放，资源池的开始时间更新为T3。

通过上述流程可知：存储块2中存在两个小段的录像数据：[T3，T4]和[T5，T6]，当这两个段的时间相差比较大时被称之为空洞块，这个块中[T3，T4]时间段的录像也是过期需要删除的。但由于块删除时检索块都是按存储块查询的，只有存储块结束时间过期了，才会执行块删除。因此这段过期数据将一直保存在存储节点中，而资源池的开始时间也只能更新为T3，开始时间一直不能正常更新也会对容量覆盖的覆盖时间的推算造成影响。

存储块2中这种录像分段的场景也是比较常见的，比如分配一个存储块写数据的过程中，出现了一些异常(网络、断电等)，写了一半后，切到别的存储节点上写录像去了，过了一段时间又重新分配这个节点这个块继续写录像，就会出来时间跨度比较大的两个块。极端情况下，用户停止写录像或关闭了某个存储节点，很久之后又继续使用起来，就会造成这样的块时间跨度非常大，有可以超过一两个月。

由于这样的块的存在，资源池的开始时间甚至覆盖时间无法更新，会对管理节点针对资源池的覆盖策略产生重大影响，使覆盖策略中的计算覆盖时间点失去依据而失效，资源池空间不能释放，用户没有空间写数据将造成数据的丢失。

有鉴于此，本申请实施例提供了一种存储块数据删除方法，参见图3，该方法包括：

S301，获取目标时刻及各存储块的块最后写入时刻。

本申请实施例中的存储块数据删除方法可以通过存储系统实现，存储系统为任意能够实现本申请实施例的存储块数据删除方法的系统。例如：

存储系统可以为一种设备，包括：处理器、存储器、通信接口和总线；处理器、存储器和通信接口通过总线连接并完成相互间的通信；存储器存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于执行本申请实施例的存储块数据删除方法。

存储系统还可以为一种应用程序，用于在运行时执行本申请实施例的存储块数据删除方法。

存储系统还可以为一种存储介质，用于存储可执行代码，可执行代码用于执行本申请实施例的存储块数据删除方法。

在满足预设覆盖条件时，存储系统获取目标时刻。预设覆盖条件可以按照实际情况进行设定，例如，在到达预设覆盖周期时，判定满足预设覆盖条件；或在存储空间的占用率达到预设占用率阈值时，判定满足预设覆盖条件等。目标时刻为规定的数据保留点，即需要到目标时刻前的视频段进行删除，而需要保留目标时刻后的目标视频段，目标时刻可以按照实际的需求进行设定。例如对于安防领域，一般情况下需要保存视频段的时间为一个月，当设定清理时间为每天零点时，目标时刻可以为当前清理时间一个月前的零点。存储块的块最后写入时刻，即存储块的结束时刻，以图2为例，存储块1、存储块2及存储块3的块最后写入时刻依次为：T2、T6及T8。

可选的，上述获取目标时刻及各存储块的块最后写入时刻，包括：在到达预设清理时刻时，获取目标时刻及各存储块的块最后写入时刻。例如，在资源池为周期池子时，获取资源池对应的存储周期，定时释放资源池中各存储块的存储空间。以当前检查时刻为基准时刻，在基准时刻的基础上减去存储周期时长，得到目标时刻。

可选的，在资源池为容量覆盖池子时，若使用的各存储块的总容量达到容量阈值，按照资源池保存的数据时间，确定清理数据的目标时刻。

S302，确定块最后写入时刻小于上述目标时刻的目标存储块，删除上述目标存储块中的数据。

存储系统判断各存储块的块最后写入时刻与目标时刻的大小，将块最后写入时刻小于目标时刻的存储块作为目标存储块。存储系统删除各目标存储块中的数据。当资源池中存在的录像段很多时，直接以录像段为基本单位进行处理，会过度消耗系统的性能，影响处理效率，因此可以先以存储块为基本单位进行数据删除，再以录像段为基本单位进行数据删除，从而增加处理效率。

S303，获取各存储块中录像段的录像段最后写入时刻。

一个存储块中可能会包含多个录像段，存储系统可以遍历每个存储块，以获取各存储块中各录像段的录像段最后写入时刻。例如图2所示的存储块2包括两个录像段，两个录像段的录像段最后写入时刻依次为T4和T6。

可选的，上述获取各存储块中录像段的录像段最后写入时刻，包括：

获取除上述目标存储块外的其他存储块中的各录像段的录像段最后写入时刻。

目标存储块中的数据已经删除，因此不包括录像段。所以可以不对目标存储块进行检测，而只在除目标存储块外的其他存储块中获取录像段的录像段最后写入时刻。在本申请实施例中，存储系统检测除目标存储块外的其他存储块中各录像段的录像段最后写入时刻，节省了检测目标存储块的时间，可以进一步增加处理效率。

S304，判断各上述录像段最后写入时刻与上述目标时刻的大小。

存储系统判断各存储块中各录像段的录像段最后写入时刻与目标时刻的大小。

S305，删除录像段最后写入时刻小于上述目标时刻的录像段。

针对删除录像段最后写入时刻不小于目标时刻的录像段，存储系统不对该录像段进行处理；针对删除录像段最后写入时刻小于目标时刻的录像段，存储系统删除该录像段。可选的，在删除录像段最后写入时刻小于上述目标时刻的录像段之后，上述方法还包括：更新各上述存储块所在资源池的开始时间为上述目标时刻。

在本申请实施例中，在清理资源池存储空间时，删除录像段最后写入时刻小于目标时刻的录像段，以录像段为最小判断单位，能够增加资源池中存储空间的释放，提高存储资源有效利用率。减少同一存储块中数据的时间跨度，方便资源池的时间更新。

可选的，参见图4，在上述删除录像段最后写入时刻小于上述目标时刻的录像段之后，上述方法还包括：

S306，检测各待整理存储块的存储空间使用率，其中，上述待整理存储块为各上述存储块中删除录像段的存储块。

将删除了录像段的存储块作为待整理存储块。存储系统检测各待整理存储块的存储空间使用率。

S307，判断各上述待整理存储块的存储空间使用率与预设存储阈值的大小。

预设存储阈值根据实际要求进行设定，例如，预设存储阈值设定为5％、10％或20％等。

S308，将存储空间使用率小于预设存储阈值的待整理存储块进行碎片整理。

若待整理存储块的存储空间使用率小于预设存储阈值，则生成一个碎片整理任务，后台异步对存储空间使用率小于预设存储阈值的待整理存储块进行数据迁移，迁移到其他存储块中，而原存储块中的数据则进行删除，释放出空间资源。

在本申请实施例中，对存储空间使用率小于预设存储阈值的待整理存储块进行碎片整理，能够方便数据管理，同时能够释放更多的存储空间，提高存储资源的利用率。

下面，以图2为例，对本申请实施例的存储块数据删除方法进行举例说明：

CVS在执行覆盖策略时，先按存储块进行检索，将存储块结束时间在覆盖目标时刻T之前的块查询出来执行删除，存储块1的结束时间T2<T，块删除时先删除符合条件的存储块中的数据。

然后执行录像段检索，查找在覆盖目标时刻之前的录像段，执行录像段删除，这时由于这时已经执行过块检索删除，查找到的录像段也不会特别多(直接执行段检索删除，检索到的段可能非常多，会影响性能)，存储块2中的录像段[T3，T4]将会被查找出来删除掉，存储块2的块开始时间也将更新为T5，对应资源池的开始时间也可以成功更新为T5，资源池的后续更新与操作维护也可以正常进行。

若有执行段删除成功删除过段，则检查一下当前存储块中的有效录像段占存储块总容量的比例，若小于预设存储阈值，则生成一个碎片整理任务，后台异步对这种碎片块进行数据迁移，迁移到一个新块中，而原碎片块则执行块删除，释放出空间资源。

在本申请实施例中，当清理资源池存储空间时，删除录像段最后写入时刻小于目标时刻的录像段，以录像段为基本单位，能够增加资源池中存储空间的释放，提高存储资源有效利用率。减少同一存储块中数据的时间跨度，方便资源池的时间更新。

本申请实施例提供了一种存储块数据删除装置，参见图5，该装置包括：

第一时刻获取模块501，用于获取目标时刻及各存储块的块最后写入时刻；

第一数据删除模块502，用于确定块最后写入时刻小于上述目标时刻的目标存储块，删除上述目标存储块中的数据；

第二时刻获取模块503，用于获取各上述存储块中录像段的录像段最后写入时刻；

时刻判断模块504，用于判断各上述录像段最后写入时刻与上述目标时刻的大小；

第二数据删除模块505，用于删除录像段最后写入时刻小于上述目标时刻的录像段。

可选的，在本申请实施例的存储块数据删除装置中，上述第一时刻获取模块，具体用于：

在达到预设清理时刻时，获取目标时刻及各存储块的块最后写入时刻。

可选的，上述第二时刻获取模块503，具体用于：

可选的，本申请实施例的存储块数据删除装置还包括：

使用率检测模块，用于检测各待整理存储块的存储空间使用率，其中，上述待整理存储块为各上述存储块中删除录像段的存储块；

阈值判断模块，用于判断各上述待整理存储块的存储空间使用率与预设存储阈值的大小：

本申请实施例提供了一种电子设备，参见图6，包括处理器601及存储器602；

上述存储器602，用于存放计算机程序；

上述处理器601，用于执行上述存储器602上所存放的程序时，实现如下步骤：

获取目标时刻及各存储块的块最后写入时刻；

确定块最后写入时刻小于上述目标时刻的目标存储块，删除上述目标存储块中的数据；

获取各上述存储块中录像段的录像段最后写入时刻；

判断各上述录像段最后写入时刻与上述目标时刻的大小；

删除录像段最后写入时刻小于上述目标时刻的录像段。

可选的，上述处理器601，用于执行上述存储器602上所存放的程序时，还能够实现上述任一存储块数据删除方法。

可选的，本申请实施例的电子设备还包括，通信接口和通信总线，其中，处理器601，通信接口，存储器602通过通信总线完成相互间的通信。

可选的，本申请实施例的电子设备可以为CVM。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本申请实施例提供了一种云存储系统，参见图7，该云存储系统包括：管理节点701及存储节点702，上述存储节点702包括存储块；

上述存储块用于存储数据；

上述管理节点701用于针对上述存储块，实现上述任一存储块数据删除方法。

可选的，管理节点701可以为CVM，存储节点702可以为CVS。管理节点701还可以将存储节点702逻辑划分为多个资源池，如图1所示。

本申请实施例还提供了一种计算机可读存储介质，上述计算机可读存储介质内存储有计算机程序，上述计算机程序被处理器执行时实现如下步骤：

获取目标时刻及各存储块的块最后写入时刻；

获取各上述存储块中录像段的录像段最后写入时刻；

判断各上述录像段最后写入时刻与上述目标时刻的大小；

删除录像段最后写入时刻小于上述目标时刻的录像段。

可选的，上述计算机程序被处理器执行时，还能够实现上述任一存储块数据删除方法。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、云存储系统及存储介质的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims

1.一种存储块数据删除方法，其特征在于，所述方法包括：

获取目标时刻及各存储块的块最后写入时刻；

获取各所述存储块中录像段的录像段最后写入时刻；

判断各所述录像段最后写入时刻与所述目标时刻的大小；

删除录像段最后写入时刻小于所述目标时刻的录像段。

2.根据权利要求1所述的方法，其特征在于，所述获取目标时刻及各存储块的块最后写入时刻，包括：

3.根据权利要求1所述的方法，其特征在于，所述获取各所述存储块中录像段的录像段最后写入时刻，包括：

4.根据权利要求1所述的方法，其特征在于，在所述删除录像段最后写入时刻小于所述目标时刻的录像段之后，所述方法还包括：

5.一种存储块数据删除装置，其特征在于，所述装置包括：

6.根据权利要求5所述的装置，其特征在于，所述第一时刻获取模块，具体用于：

7.根据权利要求5所述的装置，其特征在于，所述第二时刻获取模块，具体用于：

8.根据权利要求5所述的装置，其特征在于，所述装置还包括：

9.一种电子设备，其特征在于，包括处理器和存储器；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-4任一所述的方法步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-4任一所述的方法步骤。

11.一种云存储系统，其特征在于，所述云存储系统包括：管理节点及存储节点，所述存储节点包括存储块；

所述存储块用于存储数据；

所述管理节点用于针对所述存储块，实现上述权利要求1-4任一所述的存储块数据删除方法。