CN105574109A

CN105574109A - 一种数据库同步方法、同步设备及系统

Info

Publication number: CN105574109A
Application number: CN201510925640.8A
Authority: CN
Inventors: 吴连朋; 王海超; 于芝涛
Original assignee: Qingdao Hisense Media Network Technology Co Ltd
Current assignee: Juhaokan Technology Co Ltd
Priority date: 2015-12-10
Filing date: 2015-12-10
Publication date: 2016-05-11

Abstract

本发明公开了一种数据库同步方法、同步设备及系统，应用于数据库领域，用于解决不能将不同类型的数据库上的数据同步到目的数据库的问题。该方法包括：同步设备模拟源机房设备的数据库从属节点；同步设备向源机房设备发送同步请求；同步设备接收由源机房设备根据同步请求发送的同步数据；同步设备将同步数据发送至目的机房设备。本发明的实施例主要应用于至少一个源机房设备与目的机房设备之间。

Description

一种数据库同步方法、同步设备及系统

技术领域

本发明涉及数据库领域，尤其涉及一种数据库同步方法、同步设备及系统。

背景技术

由于大数据和云计算的发展，在互联网行业中，往往将数据库进行跨机房特别是异地跨机房部署，各机房的数据库进行镜像或者同步，以进行容灾备份，来防止意外事件引起的数据损失，保障业务连续性。同时，在进行大数据分析时会遇到源数据信息分布在不同的机房数据库中，无法进行实时统一的数据分析和计算。

针对跨机房特别是异地跨机房的数据库同步，现有技术中，一种方法是定时下载源数据库的数据并且通过网络传输在跨机房的目的数据库上进行同步。另一种通用方法是基于数据库自有的同步功能，通过数据库DML(英文全称：datamanipulationlanguage，中文：数据操纵语言)/DDL(英文全称：datadefinitionlanguage，中文：数据控制语句)变更日志解析来同步数据，即每当源机房的数据库发生DML/DDL变更，即将该变更相关数据发送给目的机房的数据库，由目的机房的数据库相应地执行一次DML/DDL变更，以达到源机房的数据库和目的机房的数据库保持一致的目的。上述数据库同步方法均是针对相同类型的跨机房数据库之间的数据同步。

但是，在大数据分析处理领域中，所针对的往往是不同类型的数据库，需要将不同类型的源机房数据库上的数据同步到位于异地机房的大数据分析系统的数据库上。目前，上述基于相同类型的跨机房数据库的同步方法无法解决该问题。

发明内容

本发明的实施例提供一种数据库同步方法、同步设备及系统，用于解决不能将不同类型的源机房的数据库上的数据同步到目的机房的数据库的问题。

为达到上述目的，本发明的实施例采用如下技术方案：

第一方面，提供一种数据库同步方法，应用于至少一个源机房设备与目的机房设备之间的同步设备，包括：

同步设备模拟源机房设备的数据库从属节点；

同步设备向源机房设备发送同步请求；

同步设备接收源机房设备根据同步请求发送的同步数据；

同步设备将同步数据发送至目的机房设备。

第二方面，提供一种同步设备，应用于至少一个源机房设备与目的机房设备之间，包括：

处理单元，用于模拟源机房设备的数据库从属节点；

发送单元，用于向源机房设备发送同步请求；

接收单元，用于接收由源机房设备根据同步请求发送的同步数据；

发送单元，还用于将同步数据发送至目的机房设备。

第三方面，提供一种数据库系统，包括：至少一个源机房设备，目的机房设备和同步设备，其中目的机房设备通过同步设备连接至至少一个源机房设备；

该同步设备为以上所述的同步设备。

本发明的实施例提供的数据库同步方法、同步设备及系统，通过使用设置在至少一个源机房设备与目的机房设备之间的同步设备分别模拟至少一个源机房设备的数据库从属节点，从而实现了同步设备与源机房设备的数据交互，同步设备通过同步请求获取向源机房设备请求的同步数据后发送至目的机房设备，解决不能将不同类型的源机房的数据库上的数据同步到目的机房的数据库的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的实施例提供的一种数据库系统结构示意图；

图2为本发明的实施例提供的一种数据库同步方法的流程示意图；

图3为本发明的实施例提供的另一种数据库同步方法的流程示意图；

图4为本发明的实施例提供的一种同步设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明在源数据库所在的至少一个源机房设备与目的数据库所在的目的机房设备之间添加同步设备，该同步设备根据源数据库的业务数据类型，模拟各源数据库的从属节点，此时该同步设备相当于与各源数据库类型相同的数据库，由同步设备向源数据库发送同步请求用以请求同步数据，源数据库收到该同步请求后将该源数据库的同步数据发送给同步设备，同步设备获取同步数据之后发送给目的数据库。其中，同步数据通常是指源数据库的全部数据或者源数据库的更新数据，业务数据库是指存储一定类型的业务数据的数据库。

本发明的实施例提供一种数据库系统，参照图1所示，包括至少一个源机房设备10、同步设备20、目的机房设备30，其中，源机房设备10中存储源数据库，目的机房设备20中存储目的数据库，每一个源机房设备10均通过同步设备20与目的机房设备30连接。本发明的数据库系统用于将源机房设备10中的数据库同步至目的机房设备30中的数据库。

本发明的实施例提供一种数据库同步方法，应用于上述数据库系统，具体参照图2所示，包括以下步骤：

201、同步设备模拟源机房设备的数据库从属节点。

同步设备模拟源机房设备的数据库从属节点，以建立源机房设备与同步设备的主从数据库关系，其目的在于，将同步设备伪装成源机房设备中的数据库的从属节点，以利用相同类型的数据库同步技术来获取源数据库的同步数据。其中，同步数据通常为：源数据库的全部数据，或者源数据库的更新数据。

202、同步设备向源机房设备发送同步请求。

203、同步设备接收源机房设备根据同步请求发送的同步数据。

由于同步设备模拟了源机房设备的数据库从属节点，当源机房设备接收到来自同步设备的同步请求之后，会将该源机房设备上的数据库的同步数据反馈给同步设备，然后由同步设备接收该同步数据。

204、同步设备将同步数据发送至目的机房设备。

上述实施例提供的数据库同步方法，通过使用设置在至少一个源机房设备与目的机房设备之间的同步设备分别模拟至少一个源机房设备的数据库从属节点，从而实现了同步设备与源机房设备的数据交互，同步设备通过同步请求获取向源机房设备请求的同步数据后发送至目的机房设备，解决不能将不同类型的源机房的数据库上的数据同步到目的机房的数据库的问题。

本发明的实施例提供了另一种数据库同步方法，参照图3，包括以下步骤：

301、同步设备根据源机房设备的数据库从属节点协议与源机房设备建立同步管道。

示例性的，在MySQL(一种关系型数据库管理系统)数据库系统框架下，该从属节点协议为MySQL的Master-Slave(主-从)协议。

302、同步设备通过数据库私有协议向源机房设备发送同步请求。

进一步可选的，同步请求包括：数据库日志文件名和对应数据库日志文件的起始位置(英文名称：position)信息，其中，数据库日志文件记录对数据发生或潜在发生更改的SQL语句，起始位置信息包括数据库日志文件在存储空间中的起始位置，并且其中，数据库日志文件名和对应数据库日志文件的起始位置信息为同步设备从源机房设备历次发送的同步数据中获取，特别地，在MySQL数据库中，数据库日志文件为binlog文件。

303、同步设备接收源机房设备根据同步请求发送的同步数据。

具体的，该同步数据为源数据库的更新数据产生的新的数据库日志文件，特别地，在MySQL数据库中，数据库日志文件为binlog文件。

304、同步设备解析同步数据；

步骤304中是对同步数据按照数据库协议规则做协议解析。

305、同步设备根据配置，在解析后的同步数据中过滤出所述配置指示需要同步的整库和/或表，并在过滤后的同步数据中增加源数据库信息。

其中，所述源数据库信息包括源数据库IP(internetprotocol，网络互联协议)地址、源数据库端口号、源数据库描述信息，所述过滤包括对库和表的过滤。示例性的，该步骤中可以将源数据库(database)的名称作为同步数据的topic。

306、同步设备将同步数据发送至目的机房设备。

由于本申请中的同步设备为在系统架构中的新增设备，为提高数据传输的安全性和传输效率，同步设备在将同步数据按序列化的格式打包，然后经过加密、压缩，将最终数据包通过专线或外网发送到目的机房设备。其中，示例性的步骤306中同步设备通过HTTP(hyperTexttransferprotocol，超文本传输协议)协议将同步数据发送给目的机房设备。

对于接收到的来自不同源机房设备的同步数据，目的机房设备进行如下步骤处理：

307、目的机房设备接收同步设备发送的同步数据。

其中，在步骤306中同步设备通过HTTP协议将同步数据发送给目的机房设备时，在步骤307具体为，目的机房通过Nginx(HTTP的反向代理服务)接收同步设备发送的同步数据。

308、目的机房设备将同步数据通过同步接口层设备存储至分布式消息中间件。

目的机房的同步代理接收同步数据后，将同步数据转发至同步接口层设备(英文全称：sync-applicationprogramminginterface，英文简称：syncapi)上，同步接口层设备可以配置有对同步数据的路由配置，以保证同一topic的同步数据通过同一个同步接口层设备处理。同步接口层设备将数据解密，按照topic发送至分布式消息中间件中做缓存，其中，分布式消息中间件可以为kafka(卡夫卡)集群，其中，kafka为高吞吐量的分布式发布订阅消息系统。

309、目的机房设备订阅分布式消息中间件中的同步数据，并将同步数据写入目的机房设备的目的数据库。

其中，在步骤309中，目的机房的接收设备(通常为：syncreceiver，中文：同步接收设备)实时从分布式消息中间件中获取经过解析的同步数据，根据定制化的配置将数据按库、表存入目的机房设备的不同的数据库服务器中。

本发明的实施例提供一种同步设备4，应用于图1所示的系统，用于执行上述实施例提供的数据库同步方法，参照图4所示，包括：

处理单元41，用于模拟源机房设备的数据库从属节点；

发送单元42，用于向源机房设备发送同步请求；

接收单元43，用于接收由源机房设备根据同步请求发送的同步数据；

发送单元41，还用于将同步数据发送至目的机房设备。

一种优选的实施例为，处理单元41具体用于根据源机房设备的数据库从属节点协议与源机房设备建立同步管道。

可选的，发送单元42具体用于通过数据库私有协议向所述源机房设备发送所述同步请求，其中，同步请求包含数据库日志文件名和对应数据库日志文件的起始位置(英文名称：position)信息，其中，数据库日志文件名和对应数据库日志文件的起始位置信息为同步设备从源机房设备历次发送的同步数据中获取，特别地，在MySQL数据库中，数据库日志文件名为binlog文件名。

可选的，所述处理单元41还用于：解析同步数据；配置过滤参数，具体的，过滤参数包括对库和表进行过滤的参数；按照过滤参数对解析后的同步数据进行过滤，并在过滤后的同步数据中增加源数据库信息，其中，所述源数据库信息包括源数据库身份标识IP、源数据库端口号、源数据库描述信息，所述过滤包括对库和表的过滤。

需要说明的是，本实施例中的接收单元43可以为同步设备上具备接收功能的接口电路，如接收机或信息接收接口；发送单元42可以为同步设备上具备发射功能的接口电路，如发射机或信息发送接口。处理单元41可以为单独设立的处理器，也可以集成在同步设备的某一个处理器中实现，此外，也可以以程序代码的形式存储于同步设备的存储器中，由同步设备的某一个处理器调用并执行以上处理单元41的功能。这里所述的处理器可以是一个中央处理器(英文全称：

centralprocessingunit，英文简称：CPU)，或者是特定集成电路(英文全称：applicationspecificintegratedcircuit，英文简称：ASIC)，或者是被配置成实施本发明实施例的一个或多个集成电路。

上述实施例提供的数据库同步设备，通过使用设置在至少一个源机房设备与目的机房设备之间的同步设备分别模拟至少一个源机房设备的数据库从属节点，从而实现了同步设备与源机房设备的数据交互，同步设备通过同步请求获取向源机房设备请求的同步数据后发送至目的机房设备，解决不能将不同类型的源机房的数据库上的数据同步到目的机房的数据库的问题。

此外，还提供一种计算可读媒体(或介质)，包括在被执行时进行以下操作的计算机可读指令：执行上述实施例中的方法的201至204、301至307的操作。

另外，还提供一种计算机程序产品，包括上述计算机可读介质。

应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文简称：ROM，英文全称:read-onlymemory)、随机存取存储器(英文简称：RAM，英文全称：randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims

1.一种数据库同步方法，其特征在于，应用于至少一个源机房设备与目的机房设备之间的同步设备，包括：

所述同步设备模拟所述源机房设备的数据库从属节点；

所述同步设备向所述源机房设备发送同步请求；

所述同步设备接收由所述源机房设备根据所述同步请求发送的同步数据；

所述同步设备将所述同步数据发送至所述目的机房设备。

2.根据权利要求1所述的方法，其特征在于，所述同步设备模拟所述源机房设备的数据库从属节点，包括：

所述同步设备根据所述源机房设备的数据库从属节点协议与所述源机房设备建立同步管道。

3.根据权利要求1所述的方法，其特征在于，所述同步设备向所述源机房设备发送同步请求，包括：

所述同步设备通过数据库私有协议向所述源机房设备发送所述同步请求。

4.根据权利要求1所述的方法，其特征在于，所述同步请求包括：

数据库日志文件名和对应数据库日志文件的起始位置信息，其中，所述数据库日志文件名和所述起始位置信息为所述同步设备从所述源机房设备历次发送的同步数据中获取。

5.根据权利要求1所述的方法，其特征在于，所述同步设备在将所述同步数据发送至所述目的机房设备之前，还包括：

所述同步设备解析所述同步数据；

所述同步设备根据配置，在解析后的同步数据中过滤出所述配置指示需要同步的整库和/或表，并在过滤后的同步数据中增加源数据库信息，其中，所述源数据库信息包括源数据库IP地址、源数据库端口号、源数据库描述信息。

6.一种同步设备，其特征在于，应用于至少一个源机房设备与目的机房设备之间，包括：

处理单元，用于模拟所述源机房设备的数据库从属节点；

发送单元，用于向所述源机房设备发送同步请求；

接收单元，用于接收由所述源机房设备根据所述同步请求发送的同步数据；

所述发送单元，用于将所述同步数据发送至所述目的机房设备。

7.根据权利要求6所述的设备，其特征在于，

所述处理单元具体用于根据所述源机房设备的数据库从属节点协议与所述源机房设备建立同步管道。

8.根据权利要求6所述的设备，其特征在于，

所述发送单元具体用于通过数据库私有协议向所述源机房设备发送所述同步请求。

9.根据权利要求6所述的设备，其特征在于，所述处理单元还用于解析所述同步数据；根据配置，在解析后的同步数据中过滤出所述配置指示需要同步的整库和/或表，并在过滤后的同步数据中增加源数据库信息，所述源数据库信息包括源数据库IP地址、源数据库端口号、源数据库描述信息。

10.一种数据库系统，其特征在于，包括：至少一个源机房设备，目的机房设备和同步设备，其中，所述目的机房设备通过所述同步设备连接至所述至少一个源机房设备；

所述同步设备为权利要求6-9任一项所述的同步设备。