CN118567912B - 一种数据库备份方法 - Google Patents

Abstract

本发明涉及数据库备份技术领域，尤其涉及一种数据库备份方法，该方法包括获取若干数据库中的待备份数据，并提取待备份数据的特征数据；基于所述待备份数据的特征数据中的数据结构与备份引擎的历史备份数据结构的结构相似度确定对所述待备份数据的备份；基于所述待备份数据的数据复杂度确定对所述待备份数据的分析；基于所述待备份数据的加密确定执行引擎，以对备份完成的所述待备份数据进行完整性验证；基于所述执行引擎的完整性验证结果确定备份过程的合格性，以基于不合格结果确定对备份过程的调整，本发明解决了现有技术备份过程对数据备份的准确性低，以致于备份的效率低的问题。

Description

一种数据库备份方法

技术领域

本发明涉及数据库备份技术领域，尤其涉及一种数据库备份方法。

背景技术

传统的数据库备份方法通常基于单节点的备份工具，如mysqldump或pg_dump等，这些工具在备份大规模数据时存在一些问题，包括性能瓶颈： 在大规模数据处理场景中，单节点备份工具可能无法满足高效备份的需求，备份过程耗时较长，影响数据库的正常运行。一致性问题： 在备份过程中，数据库可能处于读写状态，传统备份方法可能无法保证备份数据的一致性，导致备份数据不完整或不准确。手动操作： 传统备份方法通常需要手动执行，需要人工介入，容易出错且不便于管理，尤其是在自动化运维场景下，这种手动操作显得格外繁琐和低效。综上所述，传统的数据库备份方法存在性能瓶颈、一致性问题和手动操作等诸多不足，需要一种更加高效、可靠且自动化的备份方法来解决这些问题。

传统备份方法在备份大规模数据时，备份效率低下，耗时较长，无法满足实时备份的需求。因此，需要一种高效的备份方法来加速备份过程，降低备份时间成本。传统备份方法在备份过程中，无法保证备份数据的一致性，可能导致备份数据不完整或不准确。因此，需要一种能够在数据库处于读写状态下保证备份数据一致性的备份方法。传统备份方法通常需要手动执行，需要人工介入，容易出错且不便于管理。因此，需要一种自动化备份方法，能够减少人工干预，简化备份管理流程，提高备份的可靠性和一致性。

发明内容

为此，本发明提供一种数据库备份方法，用以克服现有技术中数据库备份存在性能瓶颈、一致性问题和手动操作的诸多不足，导致备份数据的过程不能高效、可靠且自动化的备份的问题。

为实现上述目的，本发明提供一种数据库备份方法，包括：

获取若干数据库中的待备份数据，并提取待备份数据的特征数据；

基于所述待备份数据的特征数据中的数据结构与备份引擎的历史备份数据结构的结构相似度确定对所述待备份数据的备份；其中，所述基于所述待备份数据的特征数据中的数据结构与备份引擎的历史备份数据结构的结构相似度确定对所述待备份数据的备份包括根据所述结构相似度小于或等于预设结构相似度的比对结果确定以全量同步方式对所述待备份数据进行备份，或，据所述结构相似度大于预设结构相似度的比对结果确定以增量同步方式对所述待备份数据进行备份；

基于所述待备份数据的数据复杂度确定对所述待备份数据的分析；

基于所述待备份数据的加密确定执行引擎，以对备份完成的所述待备份数据进行完整性验证；

基于所述执行引擎的完整性验证结果确定备份过程的合格性，以基于不合格结果确定对备份过程的调整。

进一步地，所述基于所述待备份数据的数据复杂度确定对所述待备份数据的分析包括在所述数据复杂度小于或等于预设复杂度的条件下基于所述备份数据的非加密数据中非结构化数据确定所述待备份数据的合格性。

进一步地，所述基于所述待备份数据的数据复杂度确定对所述待备份数据的分析包括在所述数据复杂度大于预设复杂度的条件下基于所述待备份数据中变化数据确定所述待备份数据的合格性。

进一步地，所述对备份完成的所述待备份数据进行完整性验证包括将所述待备份数据通过执行引擎进行执行，并基于所述待备份数据存在加密数据条件下，仅执行非加密且存在完整数据语言的数据段，并确定所述数据段的数据量占所述待备份数据的总数据量的比例为第一预设比例。

进一步地，所述对备份完成的所述待备份数据进行完整性验证包括将所述待备份数据通过执行引擎进行执行，并基于所述待备份数据不存在加密数据的条件下，执行存在完整数据语言的数据段且所述数据段的数据量占所述待备份数据的总数据量的比例为第二预设比例。

进一步地，所述基于所述执行引擎的完整性验证结果确定备份过程的合格性包括确定所述执行引擎执行若干所述数据段后的执行结果，并确定单个执行结果是否执行完成，并在若干所述数据段的执行结果的完成率小于预设完成率的条件下基于完成率与预设完成率的差值确定所述待备份数据不完整。

进一步地，所述基于不合格结果确定对备份过程的调整包括在所述差值小于或等于预设差值的条件下以调整系数对预设数据相似度进行调整。

进一步地，所述基于不合格结果确定对备份过程的调整包括在所述差值大于预设差值的条件下以补偿系数对所述预设结构相似度进行补偿。

与现有技术相比，本发明的有益效果在于，本发明通过对待备份数据与历史备份数据进行相似度分析，以确定对待备份数据的备份方式，以使备份引擎在执行备份时能够针对性的执行备份，例如在数据库更新数据时，采用增量同步方式执行待备份数据的备份，而在数据库进行新的数据备份时，则采用全量同步方式执行待备份数据的备份，从而实现对备份引擎的灵活控制，提高备份引擎的对数据备份的准确性，减少了备份数据的冗余，进而提高了备份的效率。

进一步地，本发明通过确定待备份数据的数据复杂度，以在不同的复杂度下执行对所述待备份数据的不同分析方式，以对相应备份方式下的部分备份数据进行分析，从而实现对备份过程的灵活控制，提高备份引擎的对数据备份的准确性，减少了备份数据的冗余，进而提高了备份的效率。

进一步地，本发明通过选择若干未加密的数据段以使所述执行引擎执行，从而保证用户的备份数据的安全情况下，对每段数据的执行结果进行确定，并基于一份待备份数据，如果其若干数据段存在执行结果，则确定每段数据的执行结果是否完成，并基于若干数据段的执行结果的完成率确定待备份数据备份后的完整程度，从而实现对备份数据的备份过程的精准控制，进而提高了备份的效率。

进一步地，本发明通过在确定待备份数据不完整时，根据完成率的差值确定对备份过程的调整，并基于差值的不同选取不同的调整方式，以使实现对备份数据的备份过程的精准控制，进而提高了备份的效率。

附图说明

图1为本发明实施例数据库备份方法的流程图；

图2为本发明实施例数据库备份方法中确定备份方式的流程图；

图3为本发明实施例数据库备份方法中确定分析方式的流程图；

图4为本发明实施例数据库备份方法中完整性验证的流程图。

具体实施方式

为了使本发明的目的和优点更加清楚明白，下面结合实施例对本发明作进一步描述；应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非在限制本发明的保护范围。

需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。

本发明数据库备份方法采用了以下技术方案：

Spark技术： 本发明采用Spark作为备份引擎，利用其分布式计算和内存计算的优势，实现了并行化备份过程，大大提高了备份效率。Spark能够将备份任务分解成多个子任务，并在集群中的多个节点上并行执行，从而加速备份过程，降低备份时间成本。

事务一致性控制： 为了保证备份数据的一致性，本发明采用了事务一致性控制机制。在备份过程中，本发明会根据数据库的事务日志，识别正在进行的事务，并将备份点设置在事务提交之后，从而保证备份数据的一致性。同时，本发明还支持增量备份，只备份发生变化的数据，减少了备份数据的冗余，提高了备份效率。

自动化备份策略： 为了实现备份的自动化，本发明提供了灵活的备份策略配置。用户可以根据自身需求，配置备份周期、备份时间点和备份存储位置等参数，系统会根据配置自动执行备份任务，减少了人工干预，简化了备份管理流程。

综上所述，本发明采用了基于Spark的并行化备份技术、事务一致性控制机制、自动化备份策略。解决了传统备份方法的繁琐和低效问题，提高了备份效率、保证了备份一致性，并实现了备份的自动化管理。

本发明的数据库备份方法利用Spark的并行计算能力，加速备份过程，降低备份时间成本。自动化备份流程减少了人为错误，提高了备份的一致性和可靠性。减少了人工介入，简化了备份管理流程，降低了管理成本。

请参阅图1-图3所示，图1为本发明实施例数据库备份方法的流程图；图2为本发明实施例数据库备份方法中确定备份方式的流程图；图3为本发明实施例数据库备份方法中确定分析方式的流程图；图4为本发明实施例数据库备份方法中完整性验证的流程图。

本发明实施例数据备份方法，包括：

步骤S1、获取若干数据库中的待备份数据，并提取待备份数据的特征数据；

步骤S2、基于所述待备份数据的特征数据中的数据结构与备份引擎的历史备份数据结构的结构相似度确定对所述待备份数据的备份方式；

步骤S3、基于所述待备份数据的数据复杂度对相应备份方式下的所述待备份数据的分析方式进行确定；

步骤S4、基于所述待备份数据的加密确定执行引擎，以对备份完成的所述待备份数据进行完整性验证；

步骤S5、基于所述执行引擎的完整性验证结果确定备份过程的合格性，以基于不合格结果确定对备份过程的调整。

具体而言，当确定对所述待备份数据的备份方式时，根据所述待备份数据的数据结构与所述备份引擎的历史备份数据结构的结构相似度与预设结构相似度进行比对，以基于比对结果确定对所述待备份数据的备份方式；

若所述结构相似度小于或等于预设结构相似度，则确定以第一备份方式对所述待备份数据进行备份；

若所述结构相似度大于预设结构相似度，则确定以第二备份方式对所述待备份数据进行备份。

本发明实施例中，所述第一备份方式包括以全量同步方式对所述待备份数据进行备份，所述第二备份方式包括以增量同步方式对所述待备份数据进行备份。

本发明实施例中，预设相似度的取值为0.6，也即所述待备份数据与历史备份数据的数据结构存在60%的相似结构时，则分别选取对应的备份方式以执行所述待备份数据的备份，但是上述取值并不限于此，本领域技术人员也可根据实际情况对该取值进行调整。

具体而言，本发明通过对待备份数据与历史备份数据进行相似度分析，以确定对待备份数据的备份方式，以使备份引擎在执行备份时能够针对性的执行备份，例如在数据库更新数据时，采用增量同步方式执行待备份数据的备份，而在数据库进行新的数据备份时，则采用全量同步方式执行待备份数据的备份，从而实现对备份引擎的灵活控制，提高备份引擎的对数据备份的准确性，减少了备份数据的冗余，进而提高了备份的效率。

具体而言，当对相应备份方式下的所述待备份数据的分析方式进行确定时，根据所述待备份数据的数据复杂度与预设复杂度的比对结果确定所述分析方式；

若所述数据复杂度小于或等于预设复杂度，则确定以第一分析方式对所述待备份数据进行分析；

若所述数据复杂度大于预设复杂度，则确定第二分析方式对所述待备份数据进行分析。

本发明实施例中，预设复杂度的取值为0.85，但是上述取值并不限于此，本领域技术人员也可根据实际情况对该取值进行调整。

具体而言，当以第一分析方式对所述待备份数据进行分析时，基于所述备份数据的非加密数据中非结构化数据与历史备份数据的非加密数据中非结构化数据的数据相似度与预设数据相似度的比对结果确定所述待备份数据是否合格；

若所述数据相似度小于或等于预设数据相似度，则确定所述待备份数据不合格；

若所述数据相似度大于预设数据相似度，则确定所述待备份数据合格。

本发明实施例中，非结构化数据的预设数据相似度的取值为0.9，但是上述取值并不限于此，本领域技术人员也可根据实际情况对该取值进行调整。

具体而言，当以第二分析方式对所述待备份数据进行分析时，基于所述待备份数据中变化数据与历史备份数据的数据相似度确定所述待备份数据的合格性；

若所述数据相似度小于或等于预设数据相似度，则确定所述待备份数据不合格；

若所述数据相似度大于预设数据相似度，则确定所述待备份数据合格。

本发明实施例中，所述变化数据与历史备份数据的预设数据相似度的取值为0.5，但是上述取值并不限于此，本领域技术人员也可根据实际情况对该取值进行调整。

具体而言，本发明通过确定待备份数据的数据复杂度，以在不同的复杂度下执行对所述待备份数据的不同分析方式，以对相应备份方式下的部分备份数据进行分析，从而实现对备份过程的灵活控制，提高备份引擎的对数据备份的准确性，减少了备份数据的冗余，进而提高了备份的效率。

具体而言，当对备份完成的所述待备份数据进行完整性验证时，将所述待备份数据通过执行引擎进行执行，并基于所述待备份数据是否存在加密数据确定所述执行引擎执行所述待备份数据的执行方式；

若所述待备份数据存在加密数据，则仅执行非加密且存在完整数据语言的数据段，并确定所述数据段的数据量占所述待备份数据的总数据量的比例为第一预设比例；

若所述待备份数据不存在加密数据，则执行存在完整数据语言的数据段且所述数据段的数据量占所述待备份数据的总数据量的比例为第二预设比例。

本发明实施例中，所述第一预设比例小于所述第二预设比例，所述第一预设比例的取值为0.2，所述第二预设比例的取值为0.5。

具体而言，当基于所述执行引擎的完整性验证结果确定备份过程的合格性时，确定所述执行引擎执行若干所述数据段后的执行结果，并确定单个执行结果是否执行完成，并基于若干所述数据段的执行结果的完成率与预设完成率的比对结果确定所述待备份数据是否完整；

若所述完成率大于或等于预设完成率，则确定所述待备份数据完整；

若所述完成率小于预设完成率，则确定所述待备份数据不完整。

本发明实施例中，所述预设完成率的取值为0.95，但是上述取值并不限于此，本领域技术人员也可根据实际情况对该取值进行调整。

具体而言，本发明通过选择若干未加密的数据段以使所述执行引擎执行，从而保证用户的备份数据的安全情况下，对每段数据的执行结果进行确定，并基于一份待备份数据，如果其若干数据段存在执行结果，则确定每段数据的执行结果是否完成，并基于若干数据段的执行结果的完成率确定待备份数据备份后的完整程度，从而实现对备份数据的备份过程的精准控制，进而提高了备份的效率。

具体而言，当确定所述待备份数据不完整时，计算所述完成率与预设完成率的差值，以根据该差值与预设差值的比对结果确定对所述备份过程的调整方式；

若所述差值小于或等于预设差值，则确定以第一调整方式对所述备份过程进行调整；

若所述差值大于预设差值，则确定以第二调整方式对所述备份过程进行调整。

本发明实施例中，所述预设差值的取值为0.3，但是上述取值并不限于此，本领域技术人员也可根据实际情况对该取值进行调整。

具体而言，当确定以第一调整方式对所述备份过程进行调整时，以调整系数对预设数据相似度进行调整。

本发明实施例中，所述调整系数的取值范围为1.1-1.15，优选取值为1.18。

具体而言，当确定以第二调整方式对所述备份过程进行调整时，以补偿系数对所述预设结构相似度进行补偿。

本发明实施例中，所述补偿系数的取值范围为1.2-1.3，优选取值为1.25。

具体而言，本发明通过在确定待备份数据不完整时，根据完成率的差值确定对备份过程的调整，并基于差值的不同选取不同的调整方式，以使实现对备份数据的备份过程的精准控制，进而提高了备份的效率。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

以上所述仅为本发明的优选实施例，并不用于限制本发明；对于本领域的技术人员来说，本发明可以有各种更改和变化。 凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种数据库备份方法，其特征在于，包括：

获取若干数据库中的待备份数据，并提取待备份数据的特征数据；

基于所述待备份数据的特征数据中的数据结构与备份引擎的历史备份数据结构的结构相似度确定对所述待备份数据的备份；

基于所述待备份数据的数据复杂度确定对所述待备份数据的非加密数据中非结构化数据或对所述待备份数据中变化数据进行分析；

基于所述待备份数据的加密确定执行引擎，以对备份完成的所述待备份数据进行完整性验证；

基于所述执行引擎的完整性验证结果确定备份过程的合格性，以基于不合格结果确定对非加密数据中非结构化数据与历史备份数据的非加密数据中非结构化数据的数据相似度参数进行调整，或对所述待备份数据的特征数据中的数据结构与备份引擎的历史备份数据结构的结构相似度参数进行补偿，以确定对备份过程的调整；

所述基于所述待备份数据的特征数据中的数据结构与备份引擎的历史备份数据结构的结构相似度确定对所述待备份数据的备份包括根据所述结构相似度小于或等于预设结构相似度的比对结果确定以全量同步方式对所述待备份数据进行备份；

所述基于所述待备份数据的特征数据中的数据结构与备份引擎的历史备份数据结构的结构相似度确定对所述待备份数据的备份包括根据所述结构相似度大于预设结构相似度的比对结果确定以增量同步方式对所述待备份数据进行备份。

2.根据权利要求1所述的数据库备份方法，其特征在于，所述基于所述待备份数据的数据复杂度确定对所述待备份数据的分析包括在所述数据复杂度小于或等于预设复杂度的条件下基于所述备份数据的非加密数据中非结构化数据确定所述待备份数据的合格性。

3.根据权利要求1所述的数据库备份方法，其特征在于，所述基于所述待备份数据的数据复杂度确定对所述待备份数据的分析包括在所述数据复杂度大于预设复杂度的条件下基于所述待备份数据中变化数据确定所述待备份数据的合格性。

4.根据权利要求3所述的数据库备份方法，其特征在于，所述对备份完成的所述待备份数据进行完整性验证包括将所述待备份数据通过执行引擎进行执行，并基于所述待备份数据存在加密数据条件下，仅执行非加密且存在完整数据语言的数据段，并确定所述数据段的数据量占所述待备份数据的总数据量的比例为第一预设比例。

5.根据权利要求3所述的数据库备份方法，其特征在于，所述对备份完成的所述待备份数据进行完整性验证包括将所述待备份数据通过执行引擎进行执行，并基于所述待备份数据不存在加密数据的条件下，执行存在完整数据语言的数据段且所述数据段的数据量占所述待备份数据的总数据量的比例为第二预设比例。

6.根据权利要求4或5所述的数据库备份方法，其特征在于，所述基于所述执行引擎的完整性验证结果确定备份过程的合格性包括确定所述执行引擎执行若干所述数据段后的执行结果，并确定单个执行结果是否执行完成，并在若干所述数据段的执行结果的完成率小于预设完成率的条件下确定所述待备份数据不完整。

7.根据权利要求6所述的数据库备份方法，其特征在于，所述基于不合格结果确定对备份过程的调整包括，计算所述完成率与预设完成率的差值，在差值小于或等于预设差值的条件下以调整系数对预设数据相似度进行调整。

8.根据权利要求7所述的数据库备份方法，其特征在于，所述基于不合格结果确定对备份过程的调整包括在所述差值大于预设差值的条件下以补偿系数对所述预设结构相似度进行补偿。