CN117076431B - 一种用于系统升级数据迁移的方法 - Google Patents

Abstract

本发明公开了一种用于系统升级数据迁移的方法，包括确定原数据库中待迁移的数据表，配置迁移参数；循环查询待迁移的数据表、提取对应的主键id，基于主键id获取待迁移数据并转换，将转换后的待迁移数据写入新数据库；监听原数据库中的数据表，获取binlog日志并解析，得到增量数据并转换，将转换后的增量数据写入新数据库；记录迁移失败的数据和原因，进行迁移重试直至迁移成功。本发明节省了数据迁移投入的人力成本，并且能够按需控制和提升数据迁移的速率，保证数据迁移的准确性和实时性。

Description

一种用于系统升级数据迁移的方法

技术领域

本发明涉及大数据技术领域，具体涉及一种用于系统升级数据迁移的方法。

背景技术

在互联网飞速发展的过程中，随着公司规模的不断扩大和业务体系的不断升级，数据迁移成了不可避免的任务，因为它们直接影响到业务的连续性和数据的完整性。在过去，系统升级和数据迁移是一个高耗时且高风险的过程。

早期，在公司规模比较小的时候，可以采用停机迁移的办法，但随着公司体量的增大和用户规模的快速增长，并且为了给用户更好的体验，不停机迁移就变的非常关键。而要做到快速和无感知的数据迁移，就必须解决数据模型转换和迁移效率提升，并且要解决在数据迁移过程中，数据的一致性和完整性。更重要的是要解决在迁移过程中，数据的变化能够实时感应并且快速兼容，不能使用户的操作受到停顿或者出现数据误差。

如何提升数据迁移的投入的人力成本，以及如何提升数据迁移的速度等，特别是如何解决数据实时更新、保持数据一致性都是整个数据迁移过程中的痛点。

发明内容

本发明要解决的技术问题是：提供一种用于系统升级数据迁移的方法，以至少解决上述部分技术问题。

为实现上述目的，本发明采用的技术方案如下：

一种用于系统升级数据迁移的方法，包括以下步骤：

步骤1、确定原数据库中待迁移的数据表，配置迁移参数；

步骤2、循环查询待迁移的数据表、提取对应的主键id，基于主键id获取待迁移数据并转换，将转换后的待迁移数据写入新数据库；

步骤3、监听原数据库中的数据表，获取binlog日志并解析，得到增量数据并转换，将转换后的增量数据写入新数据库；

步骤4、记录迁移失败的数据和原因，进行迁移重试直至迁移成功。

进一步地，所述步骤1包括：采用全量迁移job模块确定待迁移的数据表，根据数据表的数据量和服务器的硬件配置确定本次迁移需要的服务节点数和每个节点需要的线程数，配置全量迁移job模块的迁移参数。

进一步地，所述迁移参数包括原数据库的库名、待迁移数据表的表名、每个节点迁移的数据范围、每批次查询的数据量和每个节点启用的线程数。

进一步地，所述步骤2包括：步骤21、采用全量迁移job模块循环查询原数据库中待迁移的数据表，提取对应的主键id；步骤22、根据主键id查询对应的待迁移数据，通过数据表的表名匹配相应的数据转换模型，采用数据转换模型将待迁移数据的格式转换为新数据库所需格式；步骤23、采用数据迁移内核模块添加分布式锁，开启事务，基于迁移参数将转换好的待迁移数据写入新数据库，提交事务，释放分布式锁。

进一步地，所述步骤3包括：步骤31、采用数据变更捕获模块监听原数据库中的数据表，获取binlog日志并解析，得到数据表的表名、操作类型和主键id；步骤32、判断操作类型，如果是删除操作，则根据主键id将新数据库中对应已写入的数据删除；如果是新增或修改操作，则根据主键id查询对应的增量数据，通过数据表的表名匹配相应的数据转换模型，采用数据转换模型将增量数据的格式转换为新数据库所需格式；步骤33、采用数据迁移内核模块添加分布式锁，开启事务，基于迁移参数将转换好的增量数据写入新数据库，提交事务，释放分布式锁。

进一步地，还包括观察所述步骤2中迁移过程的输出日志是否有异常、迁移速率是否符合预期，若输出日志异常或迁移速率不符合预期，中断迁移操作，调整迁移参数再重新触发步骤2。

进一步地，在所述步骤2和步骤3中，采用第一接口进行原数据库待迁移数据和增量数据的查询和转换，采用第二接口将已转换的待迁移数据和增量数据写入新数据库。

进一步地，在所述步骤4中，采用重试job模块记录迁移失败的数据和原因。

与现有技术相比，本发明具有以下有益效果：

本发明采用自动化迁移流程，极大地节省了研发人力的投入成本；本发明通过迁移参数的控制，能够根据具体情况灵活调整数据迁移速率，从而满足不同的业务需求。此外，还可以通过优化迁移工具的性能和配置，提升数据迁移的速率，使数据迁移更加高效和快速；本发明解决了数据迁移过程中的数据同步和更新问题，能够实时监控和同步源数据和目标数据，从而保证了数据的准确性和实时性。

附图说明

图1为本发明的方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进一步详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明提供的一种用于系统升级数据迁移的方法，包括以下步骤：

步骤1、确定原数据库中待迁移的数据表，配置迁移参数；

步骤2、循环查询待迁移的数据表、提取对应的主键id，基于主键id获取待迁移数据并转换，将转换后的待迁移数据写入新数据库；

步骤3、监听原数据库中的数据表，获取binlog日志并解析，得到增量数据并转换，将转换后的增量数据写入新数据库；

步骤4、记录迁移失败的数据和原因，进行迁移重试直至迁移成功。

本发明采用自动化迁移流程，极大地节省了研发人力的投入成本；通过迁移参数的控制，能够根据具体情况灵活调整数据迁移速率，从而满足不同的业务需求。此外，还可以通过优化迁移工具的性能和配置，提升数据迁移的速率，使数据迁移更加高效和快速。

在部分实施例中，所述步骤1包括：采用全量迁移job模块确定待迁移的数据表，根据数据表的数据量和服务器的硬件配置确定本次迁移需要的服务节点数和每个节点需要的线程数，配置全量迁移job模块的迁移参数，所述迁移参数为json格式。所述迁移参数包括原数据库的库名、待迁移数据表的表名、每个节点迁移的数据范围、每批次查询的数据量和每个节点启用的线程数。根据不同的入参，控制迁移的数据范围和迁移速率，通过数据库数据表的左开主键minId和右闭主键maxId得到本次迁移查询数据的范围。全量迁移job模块能够对数据迁移进行全面的控制和管理，从而保证数据迁移的顺利进行。同时，该模块可以根据具体的业务需求，灵活地控制迁移速率和数据范围，使得迁移过程更加智能化和高效化。

作为优选，全量迁移job模块还能对原数据库的数据表进行任务拆分，将大任务拆分为多个小任务，分批并行处理，从而提升数据迁移的效率和速度。全量迁移job模块是支持多机多线程进行，在一定的硬件资源内，通过机器的线程数倍提高数据迁移速率。例如一张数据表有1千万数据，可以拆分成10个job并行处理，job1处理前100万数据，job2处理第100万~第200万数据...job10处理第900万到第1000万数据。通过数据库id分段实现，传入每台机器迁移的数据id范围，1~100万，100万~200万...，在划分完机器任务后，每台机器还可多线程处理，在程序中控制子段，比如启动10个线程，设置初始id为0，线程1处理1~100条，将初始值改为100，线程2处理100~200条，将初始值改为200，以此类推，反复执行，直到1~100万条数据处理完成。

在部分实施例中，所述步骤2包括：步骤21、采用全量迁移job模块循环按照表的维度查询原数据库中待迁移的数据表，提取对应的主键id；步骤22、根据主键id查询对应的待迁移数据，用主键id反查数据库，保证数据的实时性和准确性；然后通过数据表的表名匹配相应的数据转换模型，采用数据转换模型将待迁移数据的格式转换为新数据库所需格式；步骤23、采用数据迁移内核模块添加分布式锁，开启事务，基于迁移参数将转换好的待迁移数据写入新数据库，提交事务，释放分布式锁，采用分布式锁能够保证同一时间、同一数据只有一个执行任务。步骤2为存量数据的全量迁移，所述数据转换模型根据对应数据表的数据类型而定。

在部分实施例中，所述步骤3包括：步骤31、采用数据变更捕获模块（CDC模块）监听原数据库中的数据表，获取binlog日志并解析，得到数据表的表名、操作类型和主键id；步骤32、判断操作类型，如果是删除操作，则根据主键id将新数据库中对应已写入的数据删除；如果是新增或修改操作，则根据主键id查询对应的增量数据，用主键id反查数据库，能够解决程序或网络延迟造成正在处理的数据不是最新数据的问题；然后通过数据表的表名匹配相应的数据转换模型，采用数据转换模型将增量数据的格式转换为新数据库所需格式；步骤33、采用数据迁移内核模块添加分布式锁，开启事务，基于迁移参数将转换好的增量数据写入新数据库，提交事务，释放分布式锁，采用分布式锁能够保证同一时间、同一数据只有一个执行任务。步骤3为增量数据的实时迁移，CDC模块能够对各类型数据库（如MySQL、SQL Server、Oracle等）进行监听，通过binlog日志实时感知原数据库的数据变更（新增、修改、删除），如果是新增或修改操作，CDC模块会将变化的数据进行处理，保证数据的同步和更新，如果是物理删除操作，CDC模块会直接对新数据库的数据进行物理删除，因为删除操作不涉及数据转换。CDC模块能够快速、准确地感知用户的操作，并及时将变化的数据进行处理，从而保证了数据的准确性和实时性。同时，CDC模块的实现方法对不同类型的数据库都具有通用性，能够满足各种业务场景的需求。

在部分实施例中，本发明还包括观察所述步骤2中迁移过程的输出日志是否有异常、迁移速率是否符合预期，若输出日志异常或迁移速率不符合预期，中断迁移操作，调整迁移参数再重新触发步骤2。输出日志主要是记录数据迁移的过程，方便开发人员排查问题，不影响数据迁移的过程，通过输出日志进行优化和性能调整等手段，进一步提升数据迁移的效率和速度，为企业数据迁移提供更加可靠和高效的支持。

在部分实施例中，所述步骤2和步骤3，采用第一接口进行原数据库待迁移数据和增量数据的查询和转换，采用第二接口将已转换的待迁移数据和增量数据写入新数据库。本发明仅只暴露了两个接口，需要开发人员去实现，极大的提升数据迁移投入的人力成本和数据迁移的效率，开发人员只需要负责自己迁移数据库的数据表的的数据转换逻辑，实现两个接口。

在部分实施例中，在所述步骤4中，采用重试job模块记录迁移失败的数据和原因。重试job模块是为了处理那些由于各种原因导致迁移失败的数据而设计的辅助模块，分别记录失败的数据并进行重试和记录因程序bug导致的迁移失败数据。当数据迁移失败时，重试job模块会将这些失败的数据记录下来，并根据一定的策略进行重试，直到迁移成功为止。例如，如果是由于网络原因导致的失败，可以通过重新发送请求的方式进行重试；如果是由于目标系统繁忙导致的失败，则可以设置重试时间间隔，让程序在一定时间后再次尝试迁移。如果是由于程序bug导致的某种业务场景的迁移失败，重试job模块也会将这些失败的数据记录下来。这种数据是重试不能迁移成功的，但是可以在程序bug修复后，重新触发重试，将这些数据迁移成功。重试job模块的作用是通过记录失败数据并进行重试，保证数据迁移的成功率，同时也为程序bug修复后的数据迁移提供了支持。

最后应说明的是：以上各实施例仅仅为本发明的较优实施例用以说明本发明的技术方案，而非对其限制，当然更不是限制本发明的专利范围；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围；也就是说，但凡在本发明的主体设计思想和精神上作出的毫无实质意义的改动或润色，其所解决的技术问题仍然与本发明一致的，均应当包含在本发明的保护范围之内；另外，将本发明的技术方案直接或间接的运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (4)

1.一种用于系统升级数据迁移的方法，其特征在于，包括以下步骤：

步骤1、确定原数据库中待迁移的数据表，配置迁移参数；

步骤2、循环查询待迁移的数据表、提取对应的主键id，基于主键id获取待迁移数据并转换，将转换后的待迁移数据写入新数据库；

步骤3、监听原数据库中的数据表，获取binlog日志并解析，得到增量数据并转换，将转换后的增量数据写入新数据库；

步骤4、记录迁移失败的数据和原因，进行迁移重试直至迁移成功；

采用全量迁移job模块确定待迁移的数据表，根据数据表的数据量和服务器的硬件配置确定本次迁移需要的服务节点数和每个节点需要的线程数，配置全量迁移job模块的迁移参数；

所述迁移参数包括原数据库的库名、待迁移数据表的表名、每个节点迁移的数据范围、每批次查询的数据量和每个节点启用的线程数；

所述步骤2包括：步骤21、采用全量迁移job模块循环查询原数据库中待迁移的数据表，提取对应的主键id；步骤22、根据主键id查询对应的待迁移数据，通过数据表的表名匹配相应的数据转换模型，采用数据转换模型将待迁移数据的格式转换为新数据库所需格式；步骤23、采用数据迁移内核模块添加分布式锁，开启事务，基于迁移参数将转换好的待迁移数据写入新数据库，提交事务，释放分布式锁；

所述步骤3包括：步骤31、采用数据变更捕获模块监听原数据库中的数据表，获取binlog日志并解析，得到数据表的表名、操作类型和主键id；步骤32、判断操作类型，如果是删除操作，则根据主键id将新数据库中对应已写入的数据删除；如果是新增或修改操作，则根据主键id查询对应的增量数据，通过数据表的表名匹配相应的数据转换模型，采用数据转换模型将增量数据的格式转换为新数据库所需格式；步骤33、采用数据迁移内核模块添加分布式锁，开启事务，基于迁移参数将转换好的增量数据写入新数据库，提交事务，释放分布式锁。

2.根据权利要求1所述的一种用于系统升级数据迁移的方法，其特征在于，还包括观察所述步骤2中迁移过程的输出日志是否有异常、迁移速率是否符合预期，若输出日志异常或迁移速率不符合预期，中断迁移操作，调整迁移参数再重新触发步骤2。

3.根据权利要求1所述的一种用于系统升级数据迁移的方法，其特征在于，在所述步骤2和步骤3中，采用第一接口进行原数据库待迁移数据和增量数据的查询和转换，采用第二接口将已转换的待迁移数据和增量数据写入新数据库。

4.根据权利要求1所述的一种用于系统升级数据迁移的方法，其特征在于，在所述步骤4中，采用重试job模块记录迁移失败的数据和原因。