CN114968669A - 一种实时数据压缩备份方法、装置及存储介质 - Google Patents

Abstract

本发明涉及一种实时数据压缩备份方法、装置及存储介质。本发明中，将需备份的业务数据以压缩请求的方式时序地传到压缩数据构造模块进行分割形成若干时序排列的子业务数据；压缩数据构造模块将子业务数据传输给压缩引擎，子业务数据被压缩引擎通过压缩算法压缩得到压缩子业务数据，压缩子业务数据被时序地反馈给压缩数据构造模块；所述压缩数据构造模块将所接收的压缩子业务数据按时序排列，并结合压缩控制块和填充零合并为固定容量的封装数据；所述压缩数据构造模块将封装数据写入到备份服务器的存储模块。将业务数据实时分割、压缩、封装得到封装数据，写到磁盘中的封装数据为压缩数据，数据量少，写速度快且资源占用量少，效率高。

Description

一种实时数据压缩备份方法、装置及存储介质

技术领域

本发明涉及数据实时压缩备份领域，尤其涉及一种实时数据压缩备份方法、装置及存储介质。

背景技术

随着社会数字化的发展，各行各业产生的数据量与日俱增，特别是多媒体数据量非常大。例如，一张彩色相片的数据量可达10Mb，视频影像和声音由于连续播放，数据量更加庞大,这对计算机的存储以及网络传输都造成了极大的负担。就企业级用户而言，数据备份涉及在线、近线和离线存储。所涉及存储方式均都需要考虑效率优化，尤其是在线存储过程的优化。

目前存储市场的主流厂商提供的存储效率优化方法主要有：自动分层热点数据迁移，归档和空间管理，重复数据删除(一般用于归档或备份数据)，数据压缩等。这些优化方法中大部分是基于存储设备，研究如何将已经保存的信息放置的更优化，如何更有效的向主机提供这些数据或删除重复的拷贝。数据压缩技术将数据信息进行了变换，做到了存储的数据更少。但是，目前存储业界厂商多数采用的是后处理的无损压缩，这种后处理的压缩方式在进行过程中，需先获取数据，在对数据进行压缩，需要占用存储设备更多的带宽存储资源，对存储设备性能的影响也比较大。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本发明提供一种实时数据压缩备份方法、装置及存储介质。

第一方面，本发明提供一种实时数据压缩备份方法，包括：将客户端需备份的业务数据以压缩请求的方式时序地传到备份服务器的压缩数据构造模块，所述压缩数据构造模块对业务数据实施分割，形成若干时序排列的子业务数据；

压缩数据构造模块将子业务数据传输给压缩引擎，压缩引擎通过压缩算法将每个子业务数据压缩得到压缩子业务数据，将压缩子业务数据时序反馈给压缩数据构造模块；

所述压缩数据构造模块将所接收的压缩子业务数据按时序排列，并合并为固定容量的封装数据；其中，封装数据包括：时序排列的压缩子业务数据、压缩控制块和填充零；所述填充零用于将封装数据填充到固定容量，所述压缩控制块记录内容包括压缩算法、按各个压缩子业务数据顺序排列的压缩子业务数据的位置和压缩子业务数据的真实长度；

所述压缩数据构造模块将封装数据写入到备份服务器的存储模块。

更进一步地，所述客户端与备份服务器之间通过压缩会话建立通讯，客户端将业务数据封装成压缩请求，通过压缩会话向备份服务器发送压缩请求；

备份服务器将基于压缩数据构造模块和压缩引擎实现的压缩实例绑定压缩会话。

更进一步地，每个压缩实例配置有供压缩请求排队的第一队列，所述第一队列为压缩数据构造模块有序地提供压缩请求；每个压缩实例配置有供子业务数据排队的第二队列，所述第二队列为压缩引擎有序的提供子业务数据；每个压缩实例配置有供压缩子业务数据排队的第三队列，所述第三队列为压缩数据构造模块有序的提供压缩子业务数据；所述第一队列、第二队列和第三队列均为FIFO队列。

更进一步地，所述压缩数据构造模块统计当前排序的压缩子业务数据的总体量，下一时序的压缩子业务数据的体量累加到当前排序的压缩子业务数据的总体量大于封装数据的固定容量时，固定容量减去当前排序的压缩子业务数据的总体量和压缩控制块的体量，得到填充零的体量，所述压缩数据构造模块封装当前排序的压缩子业务数据、填充零和相应的压缩控制块得到封装数据。

更进一步地，所述压缩控制块封装于所述封装数据的尾部，填充零处于压缩子业务数据和压缩控制块之间。

更进一步地，所述备份服务器通过树形结构化的元数据记录构成一业务数据的封装数据，以及封装数据中的压缩子业务数据，其中业务数据为树的根节点，封装数据为树的枝节点压缩业务子数据为树的叶子节点。

更进一步地，客户端通过还原请求向备份服务器请求还原目标业务数据的全部或部分数据，备份服务器根据还原请求查询待还原的目标封装数据或目标压缩子业务数据，并基于压缩控制块所记录的压缩子业务数据的位置和真实长度，将目标封装数据中全部压缩子业务数据或目标压缩子业务数据读取出来，根据压缩控制块中的压缩方法对读取出来的全部压缩子业务数据或目标压缩子业务数据解压，并反馈给相应客户端。

更进一步地，压缩控制块的内容经加密算法加密后保存。

第二方面，本发明提供基于所述一种实时数据压缩备份方法的实时数据压缩备份装置，包括：至少一压缩卡、至少两个处理单元、至少两个内存和至少一磁盘存储器，其中，至少一内存和至少一处理单元连接配合形成压缩数据构造模块，所述压缩数据构造模块连接所述压缩卡和至少一磁盘存储器。

第三方面，本发明提供一种实现实时数据压缩备份方法的存储介质，所述存储介质存储计算机程序，所述计算机程序被处理器执行时实现所述一种实时数据压缩备份方法。

本发明实施例提供的上述技术方案与现有技术相比具有如下优点：

对业务数据实施分割后实时压缩，存储备份时，存储的内容为经压缩得到的封装数据，封装数据的数据量相对业务数据小，将封装数据写入到备份服务器的过程中带宽资源占用少，数据写操作耗时短，能够有效提高备份存储效率。直接存储经压缩处理的封装数据，无需将业务数据写到存盘后在压缩，以及业务数据的删除过程，降低备份服务器备份存储执行量。直接存储经压缩处理的封装数据，能够有效节省备份服务器的存储资源。封装数据中的压缩控制块记录包括经加密的压缩算法、按各个压缩子业务数据顺序排列的压缩子业务数据的位置和压缩子业务数据的真实长度；一方面能为解压缩过程提供必要信息，便于封装数据以及封装数据内任意压缩子业务数据的还原，另一方面其具有一定的保密性。各个封装数据的容量相同，便于备份服务器的存储均衡实现，便于检索。所述备份服务器通过树形结构化的元数据记录构成一业务数据的封装数据，以及封装数据中的压缩子业务数据，其中业务数据为树的根节点，封装数据为树的枝节点压缩业务子数据为树的叶子节点。通过树形结构化的元数据可快速检索得到业务数据的封装数据以及封装数据中相应压缩子业务数据。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种实时数据压缩备份方法的流程图；

图2为本发明实施例提供的压缩数据构造模块将所接收的压缩子业务数据按时序排列，并合并为固定容量的封装数据的流程图；

图3为本发明实施例提供的还原备份数据的流程图；

图4为本发明实施例提供的封装数据以及压缩控制块的示意图；

图5为本发明实施例提供的一种基于实时数据压缩备份方法的实时数据压缩备份方法装置的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

实施例1

参阅图1所示，本发明实施例提供一种实时数据压缩备份方法，包括：

将需备份的业务数据以压缩请求的方式时序地传到压缩数据构造模块。具体的，在用户设备上配置客户端，所述客户端支持包括windows、linux、macos在内的多种操作系统。客户端与备份服务器之间通过创建会话方式实现权限限定下的通讯，用以支持客户端与备份服务器之间数据双向传输。

所述客户端与备份服务器之间通过压缩会话建立通讯；每个压缩会话绑定一压缩实例，所述压缩实例基于压缩数据构造模块和压缩引擎实现。每个压缩实例配置有一第一队列、第二队列和第三队列。

客户端将业务数据封装成压缩请求，通过压缩会话向备份服务器发送压缩请求；压缩实例的所述第一队列容纳压缩请求时序排队、时序出队；所述第一队列采用FIFO队列，先进入第一队列的压缩请求先出第一队列。当压缩数据构造模块满负荷运行时，将其无法及时处理的压缩请求时序压到第一队列中，当压缩数据构造模块具有处理压缩请求的资源时，第一队列向压缩数据构造模块提供最先进入第一队列的压缩请求。

所述压缩数据构造模块对业务数据实施分割，形成若干时序排列的子业务数据。具体的，所述压缩数据构造模块将以设定的时间间隔接收的业务数据分割成子业务数据。

所述压缩数据构造模块将子业务数据传输给压缩引擎，压缩引擎通过压缩算法将每个子业务数据压缩得到压缩子业务数据，将压缩子业务数据时序反馈给压缩数据构造模块。

具体实施过程中，所述压缩引擎基于压缩卡实现。压缩卡为专门实现压缩编码计算的硬件，配置有数据输入和输出接口。具体实施过程中，压缩实例的所述第二队列可容纳子业务数据时序排队、时序出队，所述第二队列采用FIFO队列，先进入第二队列的子业务数据先出第二队列。所述压缩引擎满负荷运行时，将其无法压缩的子业务数据时序压到第二队列中，当压缩引擎具有压缩子业务数据的资源时，第二队列提供最先进入第二队列的子业务数据。

压缩引擎在压缩完子业务数据后，将压缩每个子业务数据形成的压缩子业务数据反馈给压缩数据构造模块。具体的，压缩实例的所述第三队列可容纳压缩子业务数据的时序排队、时序出队，所述第三队列采用FIFO队列，先进入第三队列的压缩子业务数据先出第三队列。当压缩数据构造模块满负荷运行时，将其无法处理的压缩子业务数据压到第三队列中，当压缩数据构造模块具有处理压缩子业务数据的资源时，第三队列提供最先进入第三队列的压缩子业务数据。

所述压缩数据构造模块将所接收的压缩子业务数据按时序排列，并合并为固定容量的封装数据。其中，封装数据包括：时序排列的压缩子业务数据、压缩控制块和填充零；所述填充零将封装数据填充到一预设的固定容量，所述压缩控制块记录包括压缩算法、压缩子业务数据的位置和压缩子业务数据的真实长度。其中，压缩子业务数据的位置采用其首位偏移量来标识，各个压缩子业务数据的位置和压缩子业务数据的真实长度按照压缩子业务数据的时序排列。

具体实施过程中，参阅图2所示，所述压缩数据构造模块统计当前排序的压缩子业务数据的总体量；所述压缩数据构造模块接收下一时序地压缩子业务数据获取下一时序压缩子业务数据的体量；若下一时序的压缩子业务数据的体量累加到当前排序的压缩子业务数据的总体量大于封装数据的固定容量时，统计当前排序的压缩子业务数据的信息得到压缩控制块内容，将压缩控制块的内容加密后封装得到压缩控制块，由固定容量减去当前排序的压缩子业务数据的总体量和压缩控制块的体量，得到填充零的体量；所述压缩数据构造模块封装当前排序的压缩子业务数据、填充零和相应的压缩控制块得到封装数据。具体的，参阅图4所示，所述压缩控制块封装于所述封装数据的尾部，填充零处于压缩子业务数据和压缩控制块之间。若下一时序的压缩子业务数据的体量累加到当前排序的压缩子业务数据的总体量小于封装数据的固定容量时，则将该下一时序的压缩子业务数据添加到当前排序的压缩子业务数据尾部。

本申请的压缩实例实现包括对业务数据按时序进行分割得到子业务数据的过程，对子业务数据按时序进行压缩得到压缩子业务数据的过程、将压缩子业务数据按时序反馈到压缩数据构造模块的过程以及压缩数据构造模块将压缩子业务数据时序排列并封装为固定容量的封装数据的过程。

所述压缩数据构造模块将封装数据写入到备份服务器的存储模块。备份服务器的存储模块包括但不限于Raid创建的存储池、磁盘创建的虚拟磁带库以及磁盘。

所述备份服务器根据压缩控制块内容构建树形结构化的元数据，通过元数据记录构成业务数据的信息，构成业务数据的封装数据的信息以及封装数据中的压缩子业务数据的信息，其中，业务数据为树的根节点，封装数据为树的枝节点压缩业务子数据为树的叶子节点。便于查找定位备份数据。

具体实施过程中，参阅图3所示，还原备份数据的过程如下：

客户端通过还原请求向备份服务器请求还原目标业务数据的全部或部分数据。还原请求内容可以为目标业务数据的信息，为目标业务数据的信息时，将与目标业务数据相关的全部封装数据还原，还原请求的内容可以为目标业务数据中需还原数据的信息。

备份服务器解析还原请求获取待还原的目标封装数据或目标压缩子业务数据。

根据树形结构化的元数据快速查询待还原的目标封装数据或目标压缩子业务数据。

备份服务器基于压缩控制块所记录的压缩子业务数据的位置和真实长度，读取目标封装数据中全部压缩子业务数据或目标压缩子业务数据。

根据压缩控制块中的压缩方法对读取出来的全部压缩子业务数据或目标压缩子业务数据解压，并反馈给相应客户端。

实施例2

参阅图5所示，本发明实施例提供一种基于所述实时数据压缩备份方法的实时数据压缩备份装置，包括：至少一接口单元、至少一压缩卡、至少两个处理单元、至少两个内存和至少一磁盘存储器，接口单元、至少一压缩卡、至少两个处理单元和至少两个内存和至少一磁盘存储器通过总线连接。其中，

通过接口单元与客户端连接，并在验证客户端权限后建立会话，基于会话实现与客户端的双向数据传输。

至少一内存和至少一处理单元连接配合形成压缩数据构造模块，所述压缩数据构造模块对业务数据实施分割，形成若干时序排列的子业务数据。所述压缩数据构造模块连接所述压缩卡和至少一磁盘存储器。所述压缩数据构造模块将子业务数据传输给压缩卡，基于压缩卡的压缩引擎通过压缩算法将每个子业务数据压缩得到压缩子业务数据，将压缩子业务数据时序反馈给压缩数据构造模块。所述压缩数据构造模块将所接收的压缩子业务数据按时序排列，并合并为固定容量的封装数据。所述压缩数据构造模块将封装数据写入到磁盘存储器。

实施例3

本发明实施例提供一种实现实时数据压缩备份方法的存储介质，所述存储介质存储计算机程序，所述计算机程序被处理器执行时实现所述实时数据压缩备份方法。

对业务数据实施分割后实时压缩，存储备份时，存储的内容为经压缩得到的封装数据，封装数据的数据量相对业务数据小，将封装数据写入到备份服务器的过程中带宽资源占用少，数据写操作耗时短，能够有效提高备份存储效率。直接存储经压缩处理的封装数据，无需将业务数据写到存盘后在压缩，以及业务数据的删除过程，降低备份服务器备份存储执行量。直接存储经压缩处理的封装数据，能够有效节省备份服务器的存储资源。封装数据中的压缩控制块记录包括经加密的压缩算法、按各个压缩子业务数据顺序排列的压缩子业务数据的位置和压缩子业务数据的真实长度；一方面能为解压缩过程提供必要信息，便于封装数据以及封装数据内任意压缩子业务数据的还原，另一方面其具有一定的保密性。封装数据本申容量相同，便于备份服务器的存储均衡实现，便于检索。所述备份服务器通过树形结构化的元数据记录构成一业务数据的封装数据，以及封装数据中的压缩子业务数据，其中业务数据为树的根节点，封装数据为树的枝节点压缩业务子数据为树的叶子节点。通过树形结构化的元数据可快速检索得到业务数据的封装数据以及封装数据中相应压缩子业务数据。

在本发明所提供的实施例中，应该理解到，所揭露的结构和方法，可以通过其它的方式实现。例如，以上所描述的结构实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，结构或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种实时数据压缩备份方法，其特征在于，包括：将需备份的业务数据以压缩请求的方式时序地传到压缩数据构造模块，所述压缩数据构造模块对业务数据实施分割，形成若干时序排列的子业务数据；

压缩数据构造模块将子业务数据传输给压缩引擎，压缩引擎通过压缩算法将每个子业务数据压缩得到压缩子业务数据，将压缩子业务数据时序反馈给压缩数据构造模块；

所述压缩数据构造模块将所接收的压缩子业务数据按时序排列，并合并为固定容量的封装数据；其中，封装数据包括：时序排列的压缩子业务数据、压缩控制块和填充零；所述填充零用于将封装数据填充到固定容量，所述压缩控制块记录内容包括压缩算法、按各个压缩子业务数据顺序排列的压缩子业务数据的位置和压缩子业务数据的真实长度；

所述压缩数据构造模块将封装数据写入到备份服务器的磁盘存储器中。

2.根据权利要求1所述的实时数据压缩备份方法，其特征在于，所述客户端与备份服务器之间通过压缩会话建立通讯，客户端将业务数据封装成压缩请求，通过压缩会话向备份服务器发送压缩请求；

备份服务器将基于压缩数据构造模块和压缩引擎实现的压缩实例绑定压缩会话。

3.根据权利要求2所述的实时数据压缩备份方法，其特征在于，每个压缩实例配置有供压缩请求排队的第一队列，所述第一队列为压缩数据构造模块有序地提供压缩请求；每个压缩实例配置有供子业务数据排队的第二队列，所述第二队列为压缩引擎有序的提供子业务数据；每个压缩实例配置有供压缩子业务数据排队的第三队列，所述第三队列为压缩数据构造模块有序的提供压缩子业务数据；所述第一队列、第二队列和第三队列均为FIFO队列。

4.根据权利要求1所述的实时数据压缩备份方法，其特征在于，所述压缩数据构造模块统计当前排序的压缩子业务数据的总体量，下一时序的压缩子业务数据的体量累加到当前排序的压缩子业务数据的总体量大于封装数据的固定容量时，统计当前排序的压缩子业务数据的信息得到压缩控制块内容，构建压缩控制块，固定容量减去当前排序的压缩子业务数据的总体量和压缩控制块的体量，得到填充零的体量，所述压缩数据构造模块封装当前排序的压缩子业务数据、填充零和相应的压缩控制块得到封装数据。

5.根据权利要求4所述的实时数据压缩备份方法，其特征在于，所述压缩控制块封装于所述封装数据的尾部，填充零处于压缩子业务数据和压缩控制块之间。

6.根据权利要求1所述的实时数据压缩备份方法，其特征在于，根据压缩控制块内容构建树形结构化的元数据，通过元数据记录构成业务数据的信息，构成业务数据的封装数据的信息以及封装数据中的压缩子业务数据的信息，其中，业务数据为树的根节点，封装数据为树的枝节点压缩业务子数据为树的叶子节点。

7.根据权利要求1所述的实时数据压缩备份方法，其特征在于，客户端通过还原请求向备份服务器请求还原目标业务数据的全部或部分数据，备份服务器根据还原请求查询待还原的目标封装数据或目标压缩子业务数据，并基于压缩控制块所记录的压缩子业务数据的位置和真实长度，将目标封装数据中全部压缩子业务数据或目标压缩子业务数据读取出来，根据压缩控制块中的压缩方法对读取出来的全部压缩子业务数据或目标压缩子业务数据解压，并反馈给相应客户端。

8.根据权利要求1所述的实时数据压缩备份方法，其特征在于，压缩控制块的记录内容经加密算法加密后保存。

9.一种基于权利要求1-8任一实时数据压缩备份方法的实时数据压缩备份装置，其特征在于，包括：至少一压缩卡、至少两个处理单元、至少两个内存和至少一磁盘存储器，其中，至少一内存和至少一处理单元连接配合形成压缩数据构造模块，所述压缩数据构造模块连接所述压缩卡和至少一磁盘存储器。

10.一种实现实时数据压缩备份方法的存储介质，所述存储介质存储计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8任一实时数据压缩备份方法。

Images