CN112667711B - 一种MySQL只读实例管理方法、系统及计算机可读介质 - Google Patents

Abstract

本发明公开了一种MySQL只读实例管理方法、系统及计算机可读介质，属于互联网技术领域，该方法通过扩展只读实例节点，将写请求接入到数据库主实例，读请求接入只读实例；所述实例节点安装有HAProxy和Keepalived，通过HAProxy和Keepalived管理只读实例组中只读实例的状态，保持只读实例的高可用，包括创建只读实例组、创建只读实例、更新HAProx配置管理只读实例负载、删除只读实例和删除只读实例组。本发明能够实现云数据库自动管理只读实例，提高部署运维效率，减少误操作风险。

Description

一种MySQL只读实例管理方法、系统及计算机可读介质

技术领域

本发明涉及互联网技术领域，具体地说是一种MySQL只读实例管理方法、系统及计算机可读介质。

背景技术

在互联网的应用场景中，数据库的读请求数据量大、并发量要求高，需要读写分离的数据库架构满足其需求。其中，只读实例组即是读写分离的一种实现方式。

在对数据库有少量写请求，但有大量读请求的应用场景下，数据库的读请求成为数据库的瓶颈，现有数据库实例无法同时满足读请求和写操作的快速响应。

发明内容

本发明的技术任务是针对以上不足之处，提供一种MySQL只读实例管理方法、系统及计算机可读介质，能够实现云数据库自动管理只读实例，提高部署运维效率，减少误操作风险。

本发明解决其技术问题所采用的技术方案是：

一种MySQL只读实例管理方法，通过扩展只读实例节点，将写请求接入到数据库主实例，读请求接入只读实例；

所述实例节点安装有HAProxy和Keepalived，通过HAProxy和Keepalived管理只读实例组中只读实例的状态，保持只读实例的高可用，包括创建只读实例组、创建只读实例、更新HAProx配置管理只读实例负载、删除只读实例和删除只读实例组。

创建一个或多个只读实例，组成只读实例组，在应用程序中配置主实例地址和只读实例地址的虚拟IP（即VIP），实现写请求转发到主实例，读请求转发到只读实例，实现读写分离。

进一步的，利用Terraform工具管理创建和销毁只读实例节点，Ansible工具编排管理HAProxy和Keepalived部署运维脚本。

优选的，所述创建只读实例组和创建只读实例，

创建只读实例，为新的只读实例分配只读实例组；

只读实例作为主实例的从节点，与主实例组成主从集群；

只读实例的主实例节点既可以是高可用的主从数据库集群，也可以是单个节点的单实例数据库；

只读实例组是由多个只读实例组成的HAProxy负载均衡组，由HAProxy负责读请求负载的转发。

优选的，在前端页面请求主MySQL实例创建第一个只读实例时，先创建只读实例组，再创建只读实例、更新HAProxy配置管理只读实例负载；删除只读实例时，如果是只读实例组仅有一个只读实例，则先删除只读实例、更新HAProxy配置管理只读实例负载，再删除只读实例组。

优选的，在创建只读实例和删除只读实例的过程中，会更新只读实例节点上HAProxy的配置，包括只读实例组内已有实例的配置和创建的只读实例的配置，参数包括端口、负载均衡权重及健康检查失败次数。

具体的，创建只读实例的步骤如下：

1）、判断正在运行的主实例是否存在只读实例组；

2）、如果存在只读实例组，说明已经存在只读实例，执行步骤3）；如果不存在只读实例组，创建只读实例组，为只读实例组分配VIP；

3)、Terraform执行器调用Terraform脚本创建MySQL实例节点；

4）、Ansible执行器调用Ansible脚本初始化只读实例。

具体的，创建只读实例成功后初始化只读实例，配置HAProxy的步骤如下：

1）、判断只读实例组中只读实例是否为空，如果为空，则为只读实例组第一个实例，说明是新只读实例，则走分支一流程；

如果不为空，则说明只读实例组已有只读实例，新创建的只读实例走分支二；

如果不为空，已有只读实例需要添加新创建只读实例的配置，则走分支流程三；

所述分支一流程：依次执行以下步骤2）、3）、4）、5）、6）、7）；分支二流程：依次执行以下步骤2）、3）、4）、8）、6）、7）；分支三流程：依次执行以下步骤9）、10）：

2）、初始化HAProxy和Keepalived配置，将HAProxy和Keepalived初始配置文件和健康检查脚本拷贝到创建的只读实例节点；

3）、调用xtrabackup命令在只读实例上远程备份主实例，主实例如果是主从集群，则远程备份从节点实例的数据；继续步骤4）；

4）、调用xtrabackup命令恢复主实例内容到当前只读实例，将当前只读实例作为主实例的从节点接入主从集群；

5）、HAProxy配置中增加创建的MySQL只读实例的配置，确定参数包括端口、负载均衡权重及健康检查失败次数；

6）、调用启动HAProxy命令，由HAProxy提供访问MySQL只读实例上读请求的负载转发；

7）、调用启动Keepalived命令，开始Keepalived的状态检测功能；

8）、获取只读实例组内已有只读实例HAProxy的配置，增加新创建只读实例节点的配置，确定参数包括端口、负载均衡权重及健康检查失败次数；

9）、新的只读实例创建后，原只读实例组内已有的只读实例，增加新创建的只读实例HAProxy配置，确定参数包括端口、负载均衡权重及健康检查失败次数；

10）、调用重新加载HAProxy命令，已有只读实例在创建时已经执行过启动HAProxy命令，这里重新加载配置即可。

具体的，当读请求业务量下降时，删除只读实例节点，其步骤如下：

1）、前端请求删除只读实例节点，Terraform执行器调用Terraform脚本删除只读实例节点；

2）、如果删除失败，记录异常信息，返回结束；

3）、如果删除成功，进入更新HAProxy配置流程4）、5）、6）；更新失败，执行步骤2）；

4）、判断只读实例组中是否存在已有只读实例，如果存在已有只读实例，执行步骤5）、6）；如果不存已有只读实例，不进行任何操作；

5）、更新已有的只读实例组中的只读实例的HAProxy的配置，确定参数包括端口、负载均衡权重及健康检查失败次数；

6）、已有只读实例调用重新加载HAProxy命令，已有只读实例在创建时已经执行过启动HAProxy命令，这里重新加载配置即可；

7）、更新HAProxy配置成功后，判断只读实例组是否为空，如果为空，说明不存在说明此只读实例组不存在只读实例，则执行步骤8）；如果不为空，不进行任何操作结束本流程返回；

8）、删除空只读实例组，进行VIP地址的回收。

通过扩展只读实例节点的方式，将写请求接入到数据库主实例，读请求接入只读实例，实现了MySQL实例的水平扩展，满足大量的数据库读业务请求。

通过对Terraform 和Ansible工具的使用和脚本的封装，可以实现云数据库自动管理只读实例，自动增加和修改、删除只读实例相关的HAProxy负载配置，提高部署运维效率，减少误操作风险。

本发明还要求保护一种MySQL只读实例管理系统，包括：至少一个存储器和至少一个处理器；

所述至少一个存储器，用于存储机器可读程序；

所述至少一个处理器，用于调用所述机器可读程序，执行上述的方法。

本发明还要求保护一种计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行上述的方法。

本发明的一种MySQL只读实例管理方法、系统及计算机可读介质与现有技术相比，具有以下有益效果：

该方法通过扩展只读实例节点的方式，将写请求接入到数据库主实例，读请求接入只读实例，实现了MySQL实例的水平扩展，从而实例数据库业务的读写分离；

该方法支持只读实例的动态增减，只读实例节点的负载均衡，只读实例节点故障转移，保障读请求业务持续不中断。

该方法和系统通过对Terraform 和Ansible工具的使用和脚本的封装，可以实现云数据库自动管理只读实例组提供只读实例服务，自动增加和修改、删除只读实例相关的配置，相比较人工手动操作只读实例节点，提高了效率，减少误操作风险。

附图说明

图1是本发明一个实施例提供的创建只读实例的整体步骤图；

图2是本发明一个实施例提供的Ansible初始化只读实例、配置haproxy流程图；

图3是本发明一个实施例提供的删除只读实流程图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明。

为了提升数据库的读性能，分担数据库压力，可以创建一个或多个只读实例，组成只读实例组，利用只读实例满足大量的数据库读取需求。创建只读实例组后，然后在应用程序中配置主实例地址和只读实例地址的虚拟IP（即VIP） ，可以实现写请求转发到主实例，读请求转发到只读实例，从而实现读写分离。

本发明实施例提供一种MySQL只读实例管理方法，通过扩展只读实例节点，将写请求接入到数据库主实例，读请求接入只读实例，实现了MySQL实例的水平扩展，满足大量的数据库读业务请求。所述实例节点安装有HAProxy和Keepalived，通过HAProxy和Keepalived管理只读实例组中只读实例的状态，保持只读实例的高可用，包括创建只读实例组、创建只读实例、更新HAProx配置管理只读实例负载、删除只读实例和删除只读实例组。

利用Terraform工具管理创建和销毁只读实例节点，Ansible工具编排管理HAProxy和Keepalived部署运维脚本。通过对Terraform 和Ansible工具的使用和脚本的封装，可以实现云数据库自动管理只读实例，自动增加和修改、删除只读实例相关的HAProxy负载配置，提高部署运维效率，减少误操作风险。

MySQL数据库作为主流关系型数据库，在公有云环境、互联网领域应用较为广泛，只读读例方式是数据库实例读写分离架构的常用实现方式。利用Terraform工具管理创建和销毁只读实例节点，Ansible工具编排管理HAProxy和Keepalived部署运维脚本。通过HAProxy和Keepalived软件来管理只读实例组中只读实例的状态，保持只读实例的高可用。

Terraform是是一种安全有效地构建、更改和版本控制基础设施的工具(基础架构自动化的编排工具)。可以用Terraform代码来管理维护 IT 资源，把需要手动操作的一部分任务通过程序来自动化的完成，这样的做的效果是高效、不易出错。

Ansible是一种自动化运维工具，能够实现批量系统配置、批量程序部署、批量运行命令等功能。通过编写Ansible脚本编排管理HAProxy和Keepalived部署运维脚本，可自动修改软件的配置，减少误操作风险。

HAProxy是一款基于TCP和HTTP应用的代理软件，它也可作为负载均衡器，可以支持数以万计的并发连接，同时通过端口映射可以保护服务器不暴露到网络上，它还自带监控服务器状态的页面。

Keepalived是一种高性能的服务器高可用解决方案， Keepalived 可以用来防止服务器单点故障的发生，它监测HAProxy的状态，当HAProxy提供MySQL服务出现故障，动态漂移VIP 到只读实例组中正常运行的MySQL实例上，保持只读实例功能的高可用。

该方法实施的前提条件包括：

部署在公有云环境中的数据库实例能够正常运行；

数据库实例的集群状态正常；

实例节点安装有HAProxy和Keepalived软件。

针对部署在公有云环境上的数据库实例，借助Terraform资源管理工具和Ansible自动化运维管理工具，编写自动化运维管理只读实例脚本，自动修改HAProxy和Keepalived配置文件，实现只读实例的管理功能。

在前端页面请求主MySQL实例创建第一个只读实例时，先创建只读实例组，再创建只读实例、更新HAProxy配置管理只读实例负载；删除只读实例时，如果是只读实例组仅有一个只读实例，则先删除只读实例、更新HAProxy配置管理只读实例负载，再删除只读实例组。

所述创建只读实例组和创建只读实例，

创建只读实例，为新的只读实例分配只读实例组；

只读实例作为主实例的从节点，与主实例组成主从集群；

只读实例的主实例节点既可以是高可用的主从数据库集群，也可以是单个节点的单实例数据库；

只读实例组是由多个只读实例组成的HAProxy负载均衡组，由HAProxy负责读请求负载的转发。

创建只读实例的步骤如下：

S201、判断正在运行的主实例是否存在只读实例组；

S 202、如果存在只读实例组，说明已经存在只读实例，执行步骤S 203；如果不存在只读实例组，创建只读实例组，为只读实例组分配VIP；

S 203、Terraform执行器调用Terraform脚本创建MySQL实例节点；

S 204、Ansible执行器调用Ansible脚本初始化只读实例。

在创建只读实例和删除只读实例的过程中，会更新只读实例节点上HAProxy的配置，包括只读实例组内已有实例的配置和创建的只读实例的配置，参数包括端口、负载均衡权重及健康检查失败次数。

其流程如图1所示。

创建只读实例成功后初始化只读实例，配置HAProxy的步骤如下：

S301、判断只读实例组中只读实例是否为空，如果为空，则为只读实例组第一个实例，说明是新只读实例，则走分支一流程；

如果不为空，则说明只读实例组已有只读实例，新创建的只读实例走分支二；

如果不为空，已有只读实例需要添加新创建只读实例的配置，则走分支流程三；

所述分支一流程：依次执行以下步骤S302、S303、S304、S305、S306、S307；分支二流程：依次执行以下步骤S302、S303、S304、S308、S306、S307；分支三流程：依次执行以下步骤S309、S310：

S302、初始化HAProxy和Keepalived配置，将HAProxy和Keepalived初始配置文件和健康检查脚本拷贝到创建的只读实例节点；

S303、调用xtrabackup命令在只读实例上远程备份主实例，主实例如果是主从集群，则远程备份从节点实例的数据；继续步骤S304；

S304、调用xtrabackup命令恢复主实例内容到当前只读实例，将当前只读实例作为主实例的从节点接入主从集群；

S305、HAProxy配置中增加创建的MySQL只读实例的配置，确定端口、负载均衡权重及健康检查失败次数等参数；

S306、调用启动HAProxy命令，由HAProxy提供访问MySQL只读实例上读请求的负载转发；

S307、调用启动Keepalived命令，开始Keepalived的状态检测功能；

S308、获取只读实例组内已有只读实例HAProxy的配置，增加新创建只读实例节点的配置，确定端口、负载均衡权重及健康检查失败次数等参数；

S309、新的只读实例创建后，原只读实例组内已有的只读实例，增加新创建的只读实例HAProxy配置，确定端口、负载均衡权重及健康检查失败次数等参数；

S310、调用重新加载HAProxy命令，已有只读实例在创建时已经执行过启动HAProxy命令，这里重新加载配置即可。

具体流程如图2所示。

当读请求业务量下降时，可删除只读实例节点，如附图3所示，其流程如下：

S401、前端请求删除只读实例节点，Terraform执行器调用Terraform脚本删除只读实例节点；

S402、如果删除失败，记录异常信息，返回结束；

S403、如果删除成功，进入更新HAProxy配置流程S404、S405、S406；更新失败，执行步骤S402；

S404、判断只读实例组中是否存在已有只读实例，如果存在已有只读实例，执行步骤S405、S406；如果不存已有只读实例，不进行任何操作；

S405、更新已有的只读实例组中的只读实例的HAProxy的配置，确定端口、负载均衡权重及健康检查失败次数等参数；

S406、已有只读实例调用重新加载HAProxy命令，已有只读实例在创建时已经执行过启动HAProxy命令，这里重新加载配置即可；

S407、更新HAProxy配置成功后，判断只读实例组是否为空，如果为空，说明不存在说明此只读实例组不存在只读实例，则执行步骤S408；如果不为空，不进行任何操作结束本流程返回；

S408、删除空只读实例组，进行VIP地址的回收。

该方法通过管理端服务程序调用Terraform脚本和Ansible脚本管理MySQL只读实例节点，创建一个或多个只读实例来满足用户的不同压力需求，分担数据库压力；能够做到一键管理数据库只读实例，减少手工创建数据库实例带来的误操作风险；通过HAProxy和Keepalived搭建高可用集群保持只读实例的服务不中断，Keepalived通过监测只读实例组中HAProxy软件的状态，当只读实例节点HAProxy出现故障的时候，保持虚拟VIP自动漂移到正常只读实例节点，保持只读实例服务高可用。

本发明实施例还提供了一种MySQL只读实例管理系统，包括：至少一个存储器和至少一个处理器；

所述至少一个存储器，用于存储机器可读程序；

所述至少一个处理器，用于调用所述机器可读程序，执行本发明上述实施例中所述的MySQL只读实例管理方法。

本发明实施例还提供了一种计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行本发明上述实施例中所述的MySQL只读实例管理方法。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机（或CPU或MPU）读出并执行存储在存储介质中的程序代码。

在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。

用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘（如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW）、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。

此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。

此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。

上文通过附图和优选实施例对本发明进行了详细展示和说明，然而本发明不限于这些已揭示的实施例，基与上述多个实施例本领域技术人员可以知晓，可以组合上述不同实施例中的代码审核手段得到本发明更多的实施例，这些实施例也在本发明的保护范围之内。

Claims (8)

1.一种MySQL只读实例管理方法，其特征在于，通过扩展只读实例节点，将写请求接入到数据库主实例，读请求接入只读实例；

所述实例节点安装有HAProxy和Keepalived，通过HAProxy和Keepalived管理只读实例组中只读实例的状态，保持只读实例的高可用，包括创建只读实例组、创建只读实例、更新HAProx配置管理只读实例负载、删除只读实例和删除只读实例组；

创建只读实例的步骤如下：

1）、判断正在运行的主实例是否存在只读实例组；

2）、如果存在只读实例组，说明已经存在只读实例，执行步骤3）；如果不存在只读实例组，创建只读实例组，为只读实例组分配VIP；

3)、Terraform执行器调用Terraform脚本创建MySQL实例节点；

4）、Ansible执行器调用Ansible脚本初始化只读实例；

创建只读实例成功后初始化只读实例，配置HAProxy的步骤如下：

1）、判断只读实例组中只读实例是否为空，如果为空，则为只读实例组第一个实例，说明是新只读实例，则走分支一流程；

如果不为空，则说明只读实例组已有只读实例，新创建的只读实例走分支二；

如果不为空，已有只读实例需要添加新创建只读实例的配置，则走分支流程三；

所述分支一流程：依次执行以下步骤2）、3）、4）、5）、6）、7）；分支二流程：依次执行以下步骤2）、3）、4）、8）、6）、7）；分支三流程：依次执行以下步骤9）、10）：

2）、初始化HAProxy和Keepalived配置，将HAProxy和Keepalived初始配置文件和健康检查脚本拷贝到创建的只读实例节点；

3）、调用xtrabackup命令在只读实例上远程备份主实例，主实例如果是主从集群，则远程备份从节点实例的数据；继续步骤4）；

4）、调用xtrabackup命令恢复主实例内容到当前只读实例，将当前只读实例作为主实例的从节点接入主从集群；

5）、HAProxy配置中增加创建的MySQL只读实例的配置，确定参数包括端口、负载均衡权重及健康检查失败次数；

6）、调用启动HAProxy命令，由HAProxy提供访问MySQL只读实例上读请求的负载转发；

7）、调用启动Keepalived命令，开始Keepalived的状态检测功能；

8）、获取只读实例组内已有只读实例HAProxy的配置，增加新创建只读实例节点的配置，确定参数包括端口、负载均衡权重及健康检查失败次数；

9）新的只读实例创建后，原只读实例组内已有的只读实例，增加新创建的只读实例HAProxy配置，确定参数包括端口、负载均衡权重及健康检查失败次数；

10）调用重新加载HAProxy命令，已有只读实例在创建时已经执行过启动HAProxy命令，这里重新加载配置即可；

删除只读实例节点的步骤如下：

1）、前端请求删除只读实例节点，Terraform执行器调用Terraform脚本删除只读实例节点；

2）、如果删除失败，记录异常信息，返回结束；

3）、如果删除成功，进入更新HAProxy配置流程4）、5）、6）；更新失败，执行步骤2）；

4）、判断只读实例组中是否存在已有只读实例，如果存在已有只读实例，执行步骤5）、6）；如果不存已有只读实例，不进行任何操作；

5）、更新已有的只读实例组中的只读实例的HAProxy的配置，确定参数包括端口、负载均衡权重及健康检查失败次数；

6）、已有只读实例调用重新加载HAProxy命令，已有只读实例在创建时已经执行过启动HAProxy命令，这里重新加载配置即可；

7）、更新HAProxy配置成功后，判断只读实例组是否为空，如果为空，说明不存在说明此只读实例组不存在只读实例，则执行步骤8）；如果不为空，不进行任何操作结束本流程返回；

8）、删除空只读实例组，进行VIP地址的回收。

2.根据权利要求1所述的一种MySQL只读实例管理方法，其特征在于，利用Terraform工具管理创建和销毁只读实例节点，Ansible工具编排管理HAProxy和Keepalived部署运维脚本。

3.根据权利要求2所述的一种MySQL只读实例管理方法，其特征在于，所述创建只读实例组和创建只读实例，

创建只读实例，为新的只读实例分配只读实例组；

只读实例作为主实例的从节点，与主实例组成主从集群；

只读实例的主实例节点是高可用的主从数据库集群，或是单个节点的单实例数据库；

只读实例组是由多个只读实例组成的HAProxy负载均衡组，由HAProxy负责读请求负载的转发。

4.根据权利要求1或2或3所述的一种MySQL只读实例管理方法，其特征在于，在前端页面请求主MySQL实例创建第一个只读实例时，先创建只读实例组，再创建只读实例、更新HAProxy配置管理只读实例负载；删除只读实例时，如果是只读实例组仅有一个只读实例，则先删除只读实例、更新HAProxy配置管理只读实例负载，再删除只读实例组。

5.根据权利要求4所述的一种MySQL只读实例管理方法，其特征在于，在创建只读实例和删除只读实例的过程中，会更新只读实例节点上HAProxy的配置，包括只读实例组内已有实例的配置和创建的只读实例的配置，参数包括端口、负载均衡权重及健康检查失败次数。

6.根据权利要求4所述的一种MySQL只读实例管理方法，其特征在于，当读请求业务量下降时，删除只读实例节点。

7.一种MySQL只读实例管理系统，其特征在于，包括：至少一个存储器和至少一个处理器；

所述至少一个存储器，用于存储机器可读程序；

所述至少一个处理器，用于调用所述机器可读程序，执行权利要求1至6任一所述的方法。

8.一种计算机可读介质，其特征在于，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行权利要求1至6任一所述的方法。

Images