CN110674108A - 数据处理方法及装置 - Google Patents

Abstract

本发明实施例公开了一种数据处理方法及装置，其中，数据处理方法包括：基于业务数据生产库的源数据表中的目标索引字段，对源数据表中待迁移至目标数据表中的记录进行分组，目标数据表为业务数据历史库中与源数据表对应的备份表；将各分组中的记录分别按照自增字段顺序从小到大进行分片，得到多个数据分片；按照预设迁移策略将多个数据分片迁移至目标数据表中；将源数据表中与已成功迁移至目标数据表中的数据分片对应的记录删除。通过本发明实施例，可以将系统的业务数据生产库中的增量数据高效的迁移至业务数据历史库中，以及时腾出充足的存储空间用于存储该生产库中后续产生的业务数据，从而确保系统能够正常运行且性能稳定。

Description

数据处理方法及装置

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种数据处理方法及装置。

背景技术

目前，对于某些需要对大量的业务数据进行分析的场景，由于系统特性，已处理过的业务数据将不再参与计算，而是作为历史数据存放在备份表中。

随着时间推移，备份表中的数据急剧增加，会导致数据备份效率急剧降低，从而会对系统性能产生一定的不良影响。因此，为了确保系统能够正常运行，性能稳定，则必须将备份表中存放的数据迁移到历史数据库中，以提升业务数据的备份效率。由于系统功能的“免中断”需求，要求数据迁移的过程在系统运行时进行，但同时备份表的结构存在变更需求，则要求业务数据的生产库和历史库中的表结构保持同步。

对于备份表中数据的迁移，目前采用的萃取、装置、加载(Extract-Transform-Load，ETL)工具虽然功能强大，但是配置复杂，不支持断点续传、控制搬迁进度等操作。另外，还有的数据迁移脚本工具，虽然处理速度快，但是需要停用系统并需要人工值守。因此，一旦表结构发生变动，工具/代码就需要重写，未完成迁移的表则需要重新迁移。

因此，需要一种能够支持动态建表、搬迁进度可控、断点续传、无需人工值守的数据处理方案，从而减少对系统正常功能的干扰并降低人工成本的介入。

发明内容

本发明实施例提供一种数据处理方法及装置，旨在实现将系统的业务数据生产库中的增量数据高效的迁移至业务数据历史库中，以及时腾出充足的存储空间用于存储该生产库中后续产生的业务数据，从而确保系统能够正常运行且性能稳定。

本发明实施例采用下述技术方案：

第一方面，本发明实施例提供一种数据处理方法，所述方法包括：

基于业务数据生产库的源数据表中的目标索引字段，对所述源数据表中待迁移至目标数据表中的记录进行分组，所述目标数据表为业务数据历史库中与所述源数据表对应的备份表；

将各分组中的记录分别按照自增字段顺序从小到大进行分片，得到多个数据分片；

按照预设迁移策略将所述多个数据分片迁移至所述目标数据表中；

将所述源数据表中与已成功迁移至所述目标数据表中的数据分片对应的记录删除。

第二方面，本发明实施例提供一种数据处理装置，所述装置包括：

分组模块，用于基于业务数据生产库的源数据表中的目标索引字段，对所述源数据表中待迁移至目标数据表中的记录进行分组，所述目标数据表为业务数据历史库中与所述源数据表对应的备份表；

分片模块，用于将各分组中的记录分别按照自增字段顺序从小到大进行分片，得到多个数据分片；

迁移模块，用于按照预设迁移策略将所述多个数据分片迁移至所述目标数据表中；

删除模块，用于将所述源数据表中与已成功迁移至所述目标数据表中的数据分片对应的记录删除。

第三方面，本发明实施例提供一种电子设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：

基于业务数据生产库的源数据表中的目标索引字段，对所述源数据表中待迁移至目标数据表中的记录进行分组，所述目标数据表为业务数据历史库中与所述源数据表对应的备份表；

将各分组中的记录分别按照自增字段顺序从小到大进行分片，得到多个数据分片；

按照预设迁移策略将所述多个数据分片迁移至所述目标数据表中；

将所述源数据表中与已成功迁移至所述目标数据表中的数据分片对应的记录删除。

第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：

基于业务数据生产库的源数据表中的目标索引字段，对所述源数据表中待迁移至目标数据表中的记录进行分组，所述目标数据表为业务数据历史库中与所述源数据表对应的备份表；

将各分组中的记录分别按照自增字段顺序从小到大进行分片，得到多个数据分片；

按照预设迁移策略将所述多个数据分片迁移至所述目标数据表中；

将所述源数据表中与已成功迁移至所述目标数据表中的数据分片对应的记录删除。

本发明实施例采用的上述至少一个技术方案能够达到以下技术效果：

本发明实施例中，当需要将系统的业务数据生产库中产生的数据迁移到业务数据历史库中进行存储，以减轻业务数据生产库的数据存储压力时，可以先根据业务数据生产库的源数据表中的目标索引字段，将该源数据表中待迁移至业务数据历史库对应的数据表中的记录先分组，分组后再对依次每组中的记录分别按照自增字段顺序从小到大进行分片，也就是说，源数据表中的记录按升序依次排列，如此，通过多次切分实现化整为零的数据分片，不仅可以提高数据切分效率，还便于数据迁移过程中的断点续处理；进一步则可以按照预设迁移策略向业务数据历史库中高效地迁移经多次切分得到的多个数据分片，确保迁移实施过程中无需再对待迁移的数据记录进行动态划分，并将已成功迁移至业务数据历史库的目标数据表中的数据分片对应的记录从源数据表中删除，以腾出充足的存储空间用于存储系统的业务数据生产库后续产生的业务数据，从而确保系统能够正常运行且性能稳定。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本发明实施例的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明实施例的不当限定。在附图中：

图1为本发明实施例提供的数据处理方法的流程示意图；

图2为本发明实施例提供的生成迁移配置表的方法流程示意图；

图3为本发明实施例提供的迁移多个数据分片的方法流程示意图；

图4为本发明实施例提供的数据处理装置的结构示意图；

图5为本发明实施例提供的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

对于背景技术部分陈述的增量数据迁移方案，在信息大爆炸的今天应用非常普遍，能够有效解决全量备份在系统存储、网络传输、人工值守成本方面的压力。在增量数据的迁移过程中，基于时间字段切分的增量数据迁移方案，具有数据处理逻辑清楚、速度快、成本低、流程简单等特点，该方案通过记录或比对生产库和历史库的表数据的时间差异，确定生产库中需要备份的增量数据，然后通过抽取工具将增量数据迁移到历史库中。该方案虽然可以解决基于日志文件、基于触发器等其他增量数据迁移方案需要占用生产系统资源、降低系统性能的短板，但是，该方案要求库表结构必须包含时间字段，限制了其应用范围，而且，该方案需要人工手动同步历史表结构，增加了运维成本。

因此，需要一种能够支持动态建表、搬迁进度可控、断点续传、无需人工值守的数据处理方案，从而减少对系统正常功能的干扰并降低人工成本的介入。

以下结合附图，详细说明本发明各实施例提供的技术方案。

参见图1所示，本发明实施例提供一种数据处理方法，该方法可包括：

步骤101：基于业务数据生产库的源数据表中的目标索引字段，对源数据表中待迁移至目标数据表中的记录进行分组，目标数据表为业务数据历史库中与源数据表对应的备份表。

可选的，上述源数据表可以为系统的业务数据生产库中用于存储已经过分析处理、不再参与计算的业务数据的备份表。举例来说，对于准备金系统的业务数据生产库的源数据表中字段可以包括机构代码、保单号、保单费用、保单日期等，则可以选取机构代码字段作为目标索引字段用于实现数据分组。

步骤103：将各分组中的记录分别按照自增字段顺序从小到大进行分片，得到多个数据分片。

可选的，上述自增字段用于标识源数据表中各记录的序号，按序自增且与各数据记录一一对应。

步骤105：按照预设迁移策略将多个数据分片迁移至目标数据表中。

步骤107：将源数据表中与已成功迁移至目标数据表中的数据分片对应的记录删除。

本发明实施例中，当需要将系统的业务数据生产库中产生的数据迁移到业务数据历史库中进行存储，以减轻业务数据生产库的数据存储压力时，可以先根据业务数据生产库的源数据表中的目标索引字段，将该源数据表中待迁移至业务数据历史库对应的数据表中的记录先分组，分组后再对依次每组中的记录分别按照自增字段顺序从小到大进行分片，也就是说，源数据表中的记录按升序依次排列，如此，通过多次切分实现化整为零的数据分片，不仅可以提高数据切分效率，还便于数据迁移过程中的断点续处理；进一步则可以按照预设迁移策略向业务数据历史库中高效地迁移经多次切分得到的多个数据分片，确保迁移实施过程中无需再对待迁移的数据记录进行动态划分，并将已成功迁移至业务数据历史库的目标数据表中的数据分片对应的记录从源数据表中删除，以腾出充足的存储空间用于存储系统的业务数据生产库后续产生的业务数据，从而确保系统能够正常运行且性能稳定。

需要说明的是，本发明实施例的数据处理方法，实现的是应用层面的数据迁移处理，无需依赖底层的日志文件等，从而可以节省系统资源，提高系统性能。

可选的，上述用于对源数据表中待迁移至目标数据表中的记录进行分组的目标索引字段可以通过在预先配置的与该源数据表对应的基础配置表tabconfig中确定，以及上述自增字段也可以基于该基础配置表确定，具体参见下述表1，其中目标索引字段对应于该配置表中的切分字段，自增字段对应于该配置表中的表id即tabid。

表1

可选的，在本发明实施例的数据处理方法中，为了确保数据迁移的效率，需要业务数据生产库的源数据表的表结构与业务数据历史库的目标数据表的表结构保持同步，避免因表结构发生变动影响数据迁移的进度，则在上述步骤101之前，该方法还可以包括以下内容：

根据源数据表的第一表结构信息，生成第一MD5值；

获取目标数据表的第二MD5值；

在第一MD5值与第二MD5值相等的情况下，确定源数据表的表结构与目标数据表的表结构同步；

在第一MD5值与第二MD5值不等的情况下，根据第一表结构信息重构目标数据表的表结构。

可以理解，在将业务数据生产库的数据迁移到业务数据历史库前，可以先通过能够表征各数据表的表结构的MD5值是否相同，准确地判定二者的表结构是否同步，以在判定为不同步时，及时重构业务数据历史库的目标数据表。其中，上述第一表结构信息至少可以包括字段构成、索引、主键等；进一步地，可以根据该第一表结构信息生成对应的建表语句结构化查询语言(SQL，Structured Query Language)，并使用哈希散列函数生成该SQL生成上述第一MD5值，以与预先存储的业务数据历史库的目标数据表的表结构对应的第二MD5值进行大小比较，也就是说，每次比对时只需生成业务数据生产库的源数据表的表结构对应的第一MD5值。

另外，需要说明的是，除了通过上述在数据迁移过程中于业务数据生产库的源数据表的表结构变更时，对业务数据历史库的目标数据表的表结构进行实时同步的方式，还可以采用定期对业务数据历史库的目标数据表的表结构进行重构的方式，具体可以执行为以下内容：

在将源数据表中待迁移至目标数据表中的记录迁移至业务数据历史库的目标数据表之前的当前时刻与该目标数据表的最新的建表时刻之间的间隔时长大于预先设置的表结构重构周期的情况下，即重构该目标数据表的表结构。也就是说，不论业务数据库的源数据表的表结构是否发生变更，业务数据历史库的备份表都在满足表结构重构周期条件时进行重构。

可选的，对于该源数据表，可以循环基础配置表tabconfig取数，从syscolumns表(用于查询表的所有字段名)、sysconstraints表(约束用于限制加入表的数据的类型)、sysindexes表(数据库中的每个索引和表在表中各占一行)读取该待迁移表tabname即源数据表的结构信息。

可选的，该基础配置表tabconfig中还可以存储有业务数据历史库的目标数据表最新的表结构对应的MD5值，也就是说，发生结构变更的目标数据表的MD5实时同步维护到该基础配置表中，以及该基础配置表中还可以存储最新的建表日期、表结构重构周期(即建表时间间隔)，以便于在需要时实时获取。

基于上述内容，换言之，本发明实施例的数据处理方法中的上述步骤101也可以执行为：

在业务数据历史库的目标数据表的表结构与业务数据生产库的源数据表的表结构同步的情况下，基于源数据表中的目标索引字段，对源数据表中待迁移至目标数据表中的记录进行分组，目标数据表为业务数据历史库中与源数据表对应的备份表。

可选的，在本发明实施例的数据处理方法中，上述步骤101，具体可以执行为以下内容：

基于目标索引字段，对源数据表中预设数据迁移范围对应的待迁移至目标数据表中的记录进行分组。

可以理解，为了进一步数据迁移效率，可以分批逐步将源数据表中的记录迁移到业务上数据历史库的目标数据表中，具体的，可以根据预设数据迁移范围在源数据表中确定源数据表中待迁移的记录的范围。可选的，该预设数据迁移范围也可预先存储在上述表1所示的基础配置表中，与表中的切分字段预选值对应，而且为了提高数据切分效率，该切分字段预选值的值域不宜过大。

可选的，可以将源数据表中预设数据迁移范围对应的待迁移至目标数据表中的记录存储到临时表中等待进一步的处理。

可选的，在本发明实施例的数据处理方法中，上述步骤103，具体可以执行为以下内容：

基于迁移条数阈值，将各分组中的记录分别按照自增字段顺序从小到大进行分片，得到多个数据分片，其中每个数据分片的终止位置数据序号与起始位置数据序号之差为迁移条数阈值。

可以理解，在基于目标索引字段对源数据表中待迁移的记录分组后，对于每个组中的数据记录，可以根据预先设置的迁移条数阈值进行等间隔切分，以得到该待迁移的记录对应的多个数据分片，也就是说，循环该迁移条数阈值，按照自增字段顺序从小到大升序取数，每次取迁移条数阈值对应条数的数据记录形成一个数据分片。其中，上述各数据记录分别对应的数据序号即通过自增字段tabid标识。

可选的，该迁移条数阈值也可预先存储在上述表1所示的基础配置表中，与表中的搬迁条数上限对应。

进一步可选的，本发明实施例的数据处理方法中的上述步骤105，具体可以执行为以下内容：

按照预设迁移策略，将多个数据分片中每个数据分片的分片信息记录到迁移配置表中，其中每个数据分片的分片信息包括用于表征分片迁移顺序的处理序号以及数据分片的起始位置数据序号、终止位置数据序号；

按照目标分片信息中的处理序号，从源数据表中抽取与目标分片信息中的起始位置数据序号和终止位置数据序号对应的目标数据分片，目标分片信息具有未成功迁移标识；

将目标数据分片成功迁移至目标数据表中后，将目标分片信息的未成功迁移标识标记为成功迁移标识。

可以理解，为了确保数据迁移实施过程中不再对待迁移的数据记录进行动态划分，则根据源数据表中待迁移的数据记录对应的多个数据分片的分片信息，生成迁移配置表，具体可以将各数据分片的处理序号、起始位置数据序号和终止位置数据序号按序存储到迁移配置表中，也就是说，根据待进行数据迁移的源数据表的具体情况在进行数据迁移处理过程中动态生成相适配的迁移配置表，其中，多个数据分片的分片信息在迁移配置表中的存放顺序可以参照各数据分片的处理序号的顺序和数据序号的顺序，以用于限制数据迁移实施过程中的各数据分片的搬迁操作顺序，确保数据迁移过程有序运行，迁移顺序具体可以设置为处理序号小者先迁移、数据序号小者先搬迁，即优先迁移源数据表中排在前面的数据记录。

可选的，上述由源数据表中的数据得到迁移配置表的过程及迁移配置表的具体表现形式可以参见图2，其中，下一个数据分片的起始位置数据序号(即最小tabid)为与其相邻的前一个数据分片的(终止位置数据序号+1)(即最大tabid+1)，直至遍历完预设数据迁移范围对应的即经分组得到各分组中所有的数据记录。

进一步在进入数据迁移实施过程时，可以按序从迁移配置表中始终读取第一个未成功迁移至目标数据表中的数据分片的分片信息，即标记有未成功迁移标识的目标分片信息，该目标分片信息的个数有一个或多个，用于指代迁移配置表中未被处理的分片信息，进一步直接根据起始位置信息和终止位置信息依次从源数据表中抽取对应的数据记录，然后将抽取到数据分片的数据记录迁移到业务数据历史的目标数据表中进行存储，不再实时计算进行动态划分。

可选的，该处理序号也可预先存储在上述表1所示的基础配置表中。

由上可知，依据先分组再组内分片得到的多个数据分片，动态生成迁移配置表，并依据该迁移配置表实现按序迁移，且在该迁移配置表中可以对已成功迁移的数据分片和等待迁移的数据分片分别标记未成功迁移标识和成功迁移标识，可以实现准确无遗漏的断点处理，避免待迁移数据发生遗漏或者出现迁移混乱无法区分已成功迁移和未迁移的数据的情况，确保可以将源数据表中的数据记录有条不紊的按需迁移到业务数据历史库中。

可选的，在本发明实施例的数据处理方法中，还可以实现数据迁移进度可控，无需系统停止运行，在不影响系统生产效率的情况下，高效的控制数据迁移进度，具体可以包括以下内容：

若检测到数据迁移进度控制策略启动运行，则中断按照预设迁移策略将多个数据切片迁移至目标数据表的进程；以及

若检测到数据迁移进度控制策略停止运行，则在预设休眠时长内，禁止再次启动从源数据表表向目标数据表中迁移数据的进程。

可以理解，依据系统设置控制系统提供的搬迁进度控制功能随时启用或者停用数据迁移功能，具体在数据迁移进度控制策略开启时，系统可以杀死线程，软中断退出，则在下一次重新进入数据迁移实施过程时，从本次中断的下一个数据分片开始迁移。而若停止数据迁移进度控制策略即停用数据迁移功能，则需要休眠一段时间，等待数据库RSS同步完成后才能重新启动数据迁移过程，以确保业务数据生产库与业务数据历史库中的数据的高度一致性。

可选的，在本发明实施例的数据处理方法中，还可以无损迁移功能，以确保将业务数据生产库的源数据表中的数据完整的迁移到业务数据历史库的目标数据表中，具体可以包括以下内容：

统计按照迁移配置表从源数据表迁移至目标数据表中的数据分片的迁移总数；

判断迁移总数与多个数据分片的分片总数是否相等；

若相等，则确定从源数据表到目标数据表的数据迁移成功；

若不等，则确定从源数据表到目标数据表的数据迁移失败。

也就是说，可以通过分别统计数据迁移前后的数据分片的总数，根据前后数据分片的总数是否相等确定当前数据迁移是否成功。

通过本发明实施例的数据处理方法实现的基于数据分片的断点处理、无损迁移以及数据迁移进度可控的过程具体可以参见图3。该实施例可以包括3个部分：表结构同步、数据切片、数据迁移。通过表结构动态同步、待迁移数据切片划分、按切片顺序逐个迁移、支持断点续搬、迁移进度控制等达到随时可以控制数据迁移速度，确保本业务系统及其他系统不受任何影响的目标。

其中，表结构同步包括生产数据库与备份数据库之间表结构同步和定期重构表结构，确保两个数据库之间的表结构保持一致和数据迁移效率；数据统计对数据切片，生成迁移操作序列，确保数据迁移实施过程中不再对待迁移数据进行动态划分，并且按照操作序列依序执行；数据迁移实施包括无损迁移、断点处理、迁移进度控制等，确保迁移过程有序平稳运行，不影响生产效率。

本发明实施例还提供一种数据处理装置，参见图4所示，该装置400可具体包括：

分组模块401，用于基于业务数据生产库的源数据表中的目标索引字段，对所述源数据表中待迁移至目标数据表中的记录进行分组，所述目标数据表为业务数据历史库中与所述源数据表对应的备份表；

分片模块403，用于将各分组中的记录分别按照自增字段顺序从小到大进行分片，得到多个数据分片；

迁移模块405，用于按照预设迁移策略将所述多个数据分片迁移至所述目标数据表中；

删除模块407，用于将所述源数据表中与已成功迁移至所述目标数据表中的数据分片对应的记录删除。

可选的，在本发明实施例的数据处理装置400中，上述分片模块403，具体可以用于：

基于迁移条数阈值，将各分组中的记录分别按照自增字段顺序从小到大进行分片，得到所述多个数据分片，其中每个数据分片的终止位置数据序号与起始位置数据序号之差为所述迁移条数阈值。

可选的，在本发明实施例的数据处理装置400中，上述迁移模块405，具体可以用于：

按照所述预设迁移策略，将所述多个数据分片中每个数据分片的分片信息记录到迁移配置表中，其中所述每个数据分片的分片信息包括用于表征分片迁移顺序的处理序号以及数据分片的起始位置数据序号、终止位置数据序号；

按照目标分片信息中的处理序号，从所述源数据表中抽取与所述目标分片信息中的起始位置数据序号和终止位置数据序号对应的目标数据分片，所述目标分片信息具有未成功迁移标识；

将所述目标数据分片成功迁移至所述目标数据表中后，将所述目标分片信息的未成功迁移标识标记为成功迁移标识。

可选的，本发明实施例的数据处理装置400，还可以包括控制模块，该控制模块可以具体用于：

若检测到数据迁移进度控制策略启动运行，则中断按照预设迁移策略将所述多个数据切片迁移至所述目标数据表的进程；以及

若检测到所述数据迁移进度控制策略停止运行，则在预设休眠时长内，禁止再次启动从所述源数据表表向所述目标数据表中迁移数据的进程。

可选的，本发明实施例的数据处理装置400，还可以包括：

统计模块，用于统计按照所述迁移配置表从所述源数据表迁移至所述目标数据表中的数据分片的迁移总数；

判断模块，用于判断所述迁移总数与所述多个数据分片的分片总数是否相等；

第一确定模块，用于在迁移总数与分片总数相等的情况下，确定从所述源数据表到所述目标数据表的数据迁移成功；

第二确定模块，用于在迁移总数与分片总数不等的情况下，确定从所述源数据表到所述目标数据表的数据迁移失败。

可选的，在本发明实施例的数据处理装置400中，上述分组模块401，具体可以用于：

基于所述目标索引字段，对所述源数据表中预设数据迁移范围对应的所述待迁移至所述目标数据表中的记录进行分组。

可选的，本发明实施例的数据处理装置400，还可以包括：

生成模块，用于在所述基于业务数据生产库的源数据表中的目标索引字段，对所述源数据表中待迁移至目标数据表中的记录进行分组之前，根据所述源数据表的第一表结构信息，生成第一MD5值；

获取模块，用于获取所述目标数据表的第二MD5值；

第三确定模块，用于在所述第一MD5值与所述第二MD5值相等的情况下，确定所述源数据表的表结构与所述目标数据表的表结构同步；

重构模块，用于在所述第一MD5值与所述第二MD5值不等的情况下，根据所述第一表结构信息重构所述目标数据表的表结构。

能够理解，本发明实施例提供的数据处理装置，能够实现前述实施例中提供的数据处理方法，关于数据处理方法的相关阐释均适用于数据处理装置，此处不再赘述。

本发明实施例中，当需要将系统的业务数据生产库中产生的数据迁移到业务数据历史库中进行存储，以减轻业务数据生产库的数据存储压力时，可以先根据业务数据生产库的源数据表中的目标索引字段，将该源数据表中待迁移至业务数据历史库对应的数据表中的记录先分组，分组后再对依次每组中的记录分别按照自增字段顺序从小到大进行分片，也就是说，源数据表中的记录按升序依次排列，如此，通过多次切分实现化整为零的数据分片，不仅可以提高数据切分效率，还便于数据迁移过程中的断点续处理；进一步则可以按照预设迁移策略向业务数据历史库中高效地迁移经多次切分得到的多个数据分片，确保迁移实施过程中无需再对待迁移的数据记录进行动态划分，并将已成功迁移至业务数据历史库的目标数据表中的数据分片对应的记录从源数据表中删除，以腾出充足的存储空间用于存储系统的业务数据生产库后续产生的业务数据，从而确保系统能够正常运行且性能稳定。

图5是本发明的一个实施例电子设备的结构示意图。请参考图5，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成数据处理装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：

基于业务数据生产库的源数据表中的目标索引字段，对源数据表中待迁移至目标数据表中的记录进行分组，目标数据表为业务数据历史库中与源数据表对应的备份表；

将各分组中的记录分别按照自增字段顺序从小到大进行分片，得到多个数据分片；

按照预设迁移策略将多个数据分片迁移至目标数据表中；

将源数据表中与已成功迁移至目标数据表中的数据分片对应的记录删除。

本发明实施例中，当需要将系统的业务数据生产库中产生的数据迁移到业务数据历史库中进行存储，以减轻业务数据生产库的数据存储压力时，可以先根据业务数据生产库的源数据表中的目标索引字段，将该源数据表中待迁移至业务数据历史库对应的数据表中的记录先分组，分组后再对依次每组中的记录分别按照自增字段顺序从小到大进行分片，也就是说，源数据表中的记录按升序依次排列，如此，通过多次切分实现化整为零的数据分片，不仅可以提高数据切分效率，还便于数据迁移过程中的断点续处理；进一步则可以按照预设迁移策略向业务数据历史库中高效地迁移经多次切分得到的多个数据分片，确保迁移实施过程中无需再对待迁移的数据记录进行动态划分，并将已成功迁移至业务数据历史库的目标数据表中的数据分片对应的记录从源数据表中删除，以腾出充足的存储空间用于存储系统的业务数据生产库后续产生的业务数据，从而确保系统能够正常运行且性能稳定。

上述如本发明图1所示实施例揭示的数据处理装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

该电子设备还可执行图1中数据处理装置执行的方法，并实现数据处理装置在图1所示实施例的功能，本发明实施例在此不再赘述。

本发明实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图1所示实施例中数据处理装置执行的方法，并具体用于执行：

基于业务数据生产库的源数据表中的目标索引字段，对源数据表中待迁移至目标数据表中的记录进行分组，目标数据表为业务数据历史库中与源数据表对应的备份表；

将各分组中的记录分别按照自增字段顺序从小到大进行分片，得到多个数据分片；

按照预设迁移策略将多个数据分片迁移至目标数据表中；

将源数据表中与已成功迁移至目标数据表中的数据分片对应的记录删除。

本发明实施例中，当需要将系统的业务数据生产库中产生的数据迁移到业务数据历史库中进行存储，以减轻业务数据生产库的数据存储压力时，可以先根据业务数据生产库的源数据表中的目标索引字段，将该源数据表中待迁移至业务数据历史库对应的数据表中的记录先分组，分组后再对依次每组中的记录分别按照自增字段顺序从小到大进行分片，也就是说，源数据表中的记录按升序依次排列，如此，通过多次切分实现化整为零的数据分片，不仅可以提高数据切分效率，还便于数据迁移过程中的断点续处理；进一步则可以按照预设迁移策略向业务数据历史库中高效地迁移经多次切分得到的多个数据分片，确保迁移实施过程中无需再对待迁移的数据记录进行动态划分，并将已成功迁移至业务数据历史库的目标数据表中的数据分片对应的记录从源数据表中删除，以腾出充足的存储空间用于存储系统的业务数据生产库后续产生的业务数据，从而确保系统能够正常运行且性能稳定。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明实施例的权利要求范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法包括：

基于业务数据生产库的源数据表中的目标索引字段，对所述源数据表中待迁移至目标数据表中的记录进行分组，所述目标数据表为业务数据历史库中与所述源数据表对应的备份表；

将各分组中的记录分别按照自增字段顺序从小到大进行分片，得到多个数据分片；

按照预设迁移策略将所述多个数据分片迁移至所述目标数据表中；

将所述源数据表中与已成功迁移至所述目标数据表中的数据分片对应的记录删除。

2.根据权利要求1所述的方法，其特征在于，所述将各分组中的记录分别按照自增字段顺序从小到大进行分片，得到多个数据分片，包括：

基于迁移条数阈值，将各分组中的记录分别按照自增字段顺序从小到大进行分片，得到所述多个数据分片，其中每个数据分片的终止位置数据序号与起始位置数据序号之差为所述迁移条数阈值。

3.根据权利要求2所述的方法，其特征在于，所述按照预设迁移策略将所述多个数据分片迁移至所述目标数据表中，包括：

按照所述预设迁移策略，将所述多个数据分片中每个数据分片的分片信息记录到迁移配置表中，其中所述每个数据分片的分片信息包括用于表征分片迁移顺序的处理序号以及数据分片的起始位置数据序号、终止位置数据序号；

按照目标分片信息中的处理序号，从所述源数据表中抽取与所述目标分片信息中的起始位置数据序号和终止位置数据序号对应的目标数据分片，所述目标分片信息具有未成功迁移标识；

将所述目标数据分片成功迁移至所述目标数据表中后，将所述目标分片信息的未成功迁移标识标记为成功迁移标识。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

若检测到数据迁移进度控制策略启动运行，则中断按照预设迁移策略将所述多个数据切片迁移至所述目标数据表的进程；以及

若检测到所述数据迁移进度控制策略停止运行，则在预设休眠时长内，禁止再次启动从所述源数据表表向所述目标数据表中迁移数据的进程。

5.根据权利要求3所述的方法，其特征在于，所述方法还包括：

统计按照所述迁移配置表从所述源数据表迁移至所述目标数据表中的数据分片的迁移总数；

判断所述迁移总数与所述多个数据分片的分片总数是否相等；

若相等，则确定从所述源数据表到所述目标数据表的数据迁移成功；

若不等，则确定从所述源数据表到所述目标数据表的数据迁移失败。

6.根据权利要求1所述的方法，其特征在于，所述基于业务数据生产库的源数据表中的目标索引字段，对所述源数据表中待迁移至目标数据表中的记录进行分组，包括：

基于所述目标索引字段，对所述源数据表中预设数据迁移范围对应的所述待迁移至所述目标数据表中的记录进行分组。

7.根据权利要求1所述方法，其特征在于，在所述基于业务数据生产库的源数据表中的目标索引字段，对所述源数据表中待迁移至目标数据表中的记录进行分组之前，所述方法还包括：

根据所述源数据表的第一表结构信息，生成第一MD5值；

获取所述目标数据表的第二MD5值；

在所述第一MD5值与所述第二MD5值相等的情况下，确定所述源数据表的表结构与所述目标数据表的表结构同步；

在所述第一MD5值与所述第二MD5值不等的情况下，根据所述第一表结构信息重构所述目标数据表的表结构。

8.一种数据处理装置，其特征在于，所述装置包括：

分组模块，用于基于业务数据生产库的源数据表中的目标索引字段，对所述源数据表中待迁移至目标数据表中的记录进行分组，所述目标数据表为业务数据历史库中与所述源数据表对应的备份表；

分片模块，用于将各分组中的记录分别按照自增字段顺序从小到大进行分片，得到多个数据分片；

迁移模块，用于按照预设迁移策略将所述多个数据分片迁移至所述目标数据表中；

删除模块，用于将所述源数据表中与已成功迁移至所述目标数据表中的数据分片对应的记录删除。

9.一种电子设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：

基于业务数据生产库的源数据表中的目标索引字段，对所述源数据表中待迁移至目标数据表中的记录进行分组，所述目标数据表为业务数据历史库中与所述源数据表对应的备份表；

将各分组中的记录分别按照自增字段顺序从小到大进行分片，得到多个数据分片；

按照预设迁移策略将所述多个数据分片迁移至所述目标数据表中；

将所述源数据表中与已成功迁移至所述目标数据表中的数据分片对应的记录删除。

10.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：

基于业务数据生产库的源数据表中的目标索引字段，对所述源数据表中待迁移至目标数据表中的记录进行分组，所述目标数据表为业务数据历史库中与所述源数据表对应的备份表；

将各分组中的记录分别按照自增字段顺序从小到大进行分片，得到多个数据分片；

按照预设迁移策略将所述多个数据分片迁移至所述目标数据表中；

将所述源数据表中与已成功迁移至所述目标数据表中的数据分片对应的记录删除。

Images