CN105681462A - 一种基于消息路由的集群系统及数据通信中转方法 - Google Patents

Abstract

本发明公开了一种基于消息路由的集群系统及数据通信中转方法，该集群系统包括至少一个发送节点、至少一个接收节点、消息路由，其中，消息路由包括接口处理模块、队列管理模块、消息通道代理模块、消息队列模块、安全管理模块。数据通信中转方法基于消息路由实现节点间消息转发。该方法解决了集群系统中数据通信产生巨大的网络开销等难题，提高整个系统的效率，保证服务器的健康稳定运行。同时，描述了数据通信的具体流程，消息路由作为计算节点间通信的中间件，避免了节点间直接通信，大大降低节点间的耦合度和节点访问风险，防止节点被非法入侵，保证了集群系统的安全。

Description

一种基于消息路由的集群系统及数据通信中转方法

技术领域

本发明涉及一种基于消息路由的集群系统及数据通信中转方法，属于信息技术类数据管理应用技术领域。

背景技术

集群系统是一种并行或分布式处理系统，将多台同构或异构的计算机作为独立的计算节点通过局域网或其他网络相互关联，协同完成一些任务，使得每个节点的资源得到有效的利用。各个计算节点各自带有CPU、内存及独立操作系统等，集群系统封装了底层的实现细节，将所有节点的资源统一成一个合集，从用户的角度来看，集群系统是一个单一的系统，而非计算机群组。

早在上个世纪七八十年代，就有一些公司着手集群系统的研究与开发工作，集群系统具有高可扩展性、高可用性、高性能等特点，它可以提供强大的计算能力，处理复杂的计算问题。一般而言，集群系统主要分为高可用性集群和高性能集群。高可用性集群的主要功能保证服务不间断，当集群中某个节点失效时，在没有人为处理的情况下，自动、迅速对失效节点进行处理，转移节点任务，使得用户不会察觉故障发生。而高性能集群主要表现在处理能力上，它利用网络将多台普通的计算节点连接起来，并使它们协同工作，处理能力可以达到大型机的性能。

随着集群系统性能和可用性不断提高，高性能集群因为其性价比高、可扩展性强逐渐取代传统的超级计算机，成为计算领域研究的焦点。然而集群系统需要7×24小时不间断地提供服务，计算节点需要常年持续运行，这期间节点间持续不间断地交流信息。随着集群中节点数量增多，节点间通信越来越频繁，容易导致网络上传输大量的节点信息，造成网络拥塞。随着集群规模的扩大，集群系统逐渐开始显现出性能问题。传统的集群中节点间通信方式会在网络之间产生巨大的通信量，造成大量额外的网络通信负担，使整个系统的效率下降。另外，如果计算节点之间直接通信，这无疑加大了节点的访问风险，易影响节点的性能。节点可访问对象的增加，意味着节点安全指数降低。

为了解决上述问题，目前采用的方法通常是提高计算节点的系统配置，增加网络带宽，保证服务器的高性能和高可用性，这使得系统成本上升，并没有从根本上解决问题。

发明内容

本发明所要解决的技术问题是：提供一种基于消息路由的集群系统及数据通信中转方法，采用消息路由作为计算节点之间通信的中间件，避免节点被非法入侵，大大降低节点的访问风险，保证服务器的健康稳定运行。

本发明为解决上述技术问题采用以下技术方案：

一种基于消息路由的集群系统，包括至少一个发送节点、至少一个接收节点、消息路由，所述消息路由包括接口处理模块、队列管理模块、消息通道代理模块、消息队列模块；

接口处理模块用于接受发送节点的服务请求，并分析该服务请求为队列变更请求或者消息传递请求，根据不同的请求类别，调用对应的队列管理模块或者消息通道代理模块；

消息队列模块用于保存每个节点相对应的独立的消息队列，消息队列中存储对应的节点发送的消息，每个节点只订阅与自身对应的消息队列；

队列管理模块用于根据接口处理模块反馈的队列变更请求，对消息队列模块中相关的消息队列进行操作；

消息通道代理模块用于根据接口处理模块反馈的消息传递请求，对消息队列模块完成消息压入或消息提取，若为消息压入，则从消息中提取队列标识，并根据队列标识将消息压入相应的消息队列；若为消息提取，则从对应的消息队列提取消息，并反馈给接口处理模块，由接口处理模块发送至接收节点。

进一步的，所述消息路由还包括安全管理模块，所述安全管理模块用于在接口处理模块、消息通道代理模块、消息队列模块进行消息传输时对消息进行加解密。

一种基于消息路由的数据通信中转方法，该方法利用消息路由实现发送节点与接收节点之间的通信，所述发送节点与接收节点之间的通信步骤如下：

步骤1，发送节点向消息路由发送包括消息队列标识的信令消息，并要求订阅该消息队列的接收节点作出响应；

步骤2，消息路由接收到信令消息后，分析并提取队列标识，根据此队列标识将信令消息压入对应的消息队列；

步骤3，接收节点订阅该消息队列，并持续监听该消息队列，一旦消息队列中压入消息，立刻提取消息，并在提取消息后向消息路由发送响应消息；

步骤4，消息路由接收到响应消息后，根据消息中包含的队列标识，将该消息压入发送节点对应的消息队列，发送节点订阅自身对应的消息队列，从消息队列中提取消息，从而获得接收节点的响应消息。

进一步的，在步骤1之前，判断消息路由的消息队列模块中是否存在发送节点和接收节点相对应的消息队列，如果不存在，则不存在相对应的消息队列的节点向消息路由发起请求，申请建立与之对应的一个独立的消息队列。

优选的，当发送节点、接收节点分别与消息路由建立通信连接时，均附带会话方式以及消息确认机制。

优选的，所述会话方式为非事务性会话，消息确认机制为自动确认。

进一步的，在步骤4之后，发送节点设定获得响应消息的时间，若设定时间内没有获得响应消息，则发送节点调用判断函数，判断接收节点是否失效，并在接收节点失效时，向管理节点报告失效情况。

优选的，所述设定时间为1秒。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1、本发明基于消息路由的集群系统及数据通信中转方法，使源节点不必了解目的节点的地址，也无须知道目的节点的状态，只与消息路由中间件通信，节点间互不干扰，大大降低节点间的耦合度。

2、本发明基于消息路由的集群系统及数据通信中转方法，在消息量剧增的情况下，消息路由能够发挥重要的作用，未处理的消息继续保存在消息队列中，保证节点依次处理队列中的消息，不会超过系统负荷而崩溃。

3、本发明基于消息路由的集群系统及数据通信中转方法，使节点间取消了直接访问，通过消息路由间接通信，降低了节点的访问风险。

4、本发明基于消息路由的集群系统及数据通信中转方法，消息队列降低了节点间的耦合度，当某个节点失效时，被处理的消息被保存在消息队列中，不会因节点失效而丢失。当节点恢复后，可以继续从消息队列提取未被处理的消息。

5、本发明基于消息路由的集群系统及数据通信中转方法，有时候节点间通信时消息的处理顺序很重要，先进先出是消息队列最基本的一种形式，保证了消息能够按照特定的顺序依次被处理。

附图说明

图1是本发明中消息路由的结构图。

图2是本发明中消息路由内部的通信建立过程图。

图3是本发明中发送节点和接收节点之间通过消息路由进行通信的示意图。

图4是本发明中节点间通信失效的示意图。

图5是本发明中节点失效判断流程图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本发明所解决的问题是在集群系统下，节点间信息的传递难题。本发明提出的数据通信中转方法将消息路由作为节点信息传递的中间件，消息路由作为集群系统中所有节点、模块之间进行通信的核心组件，维持着消息队列，实现通信消息中转。每个计算节点将消息向消息路由汇报，由消息路由将消息压入消息队列，以便被订阅该队列的其它节点获知。相比于传统集群系统中计算节点直接将消息传递给对方，设置消息路由能够避免节点间直接通信，有效降低它们之间的耦合度，保证了网络安全，而且能够减少计算节点的访问数量，减轻大量额外的网络通讯负担，从而提高整个系统的工作效率。

1、消息路由模型

消息路由实质上是一种面向消息的中间件，是为分布式应用程序提供跨平台高效信息传输的中间件技术。进程通过中间件提供的接口与中间件连接，通过消息传送机制和消息队列服务进行数据交流，有同步传输和异步传输两种传输方式。

如图1所示，消息路由主要利用以下的五个组件实现节点间的通信：

(1)接口处理模块

该模块接受应用进程发出的服务请求，并分析服务请求，辨别请求为队列变更请求还是消息传递请求，根据不同的请求类别，调用相应的模块。

(2)消息队列模块

存在于消息路由上的消息队列模块在消息传输过程中充当保存消息的容器，扮演消息从源点传输到目标的中间角色。在消息路由上每个节点都对应着一个独立的消息队列，节点与特定的消息队列进行绑定，向消息路由发送消息，然后压入对应的消息队列。

(3)队列管理模块

队列管理模块根据接口处理模块反馈的队列变更指令，对相关的消息队列进行操作，比如新增队列或者删除已有的消息队列等。

(4)消息通道代理模块

消息通道代理模块主要完成消息压入和消息提取两项任务，负责从接口处理模块获取信息，分析任务类别。若是压入操作，从消息中提取队列标识，并根据队列标识将消息压入相应的消息队列。若是提取操作，从对应的消息队列提取消息，并回馈给接口处理模块。

(5)安全管理模块

安全管理模块则负责整个消息传输处理过程中的安全性，对消息进行加解密。

2、消息路由的工作流程

消息路由在消息传递过程中采用订阅/发布模式工作模式，在订阅/发布模式下，发起进程向消息路由发起通信请求，消息路由接受请求后判断通信模式，在消息路由上建立相应的消息代理，发起进程将消息发送到消息代理之后结束通信，由消息代理将消息发送给订阅消息的进程。

如图2所示，描绘了节点A、B间消息中转时消息路由内部的通信建立过程，主要步骤如下：

步骤1：节点A首先向消息路由发起连接请求，连接生产器接收到请求之后为此次请求分配连接。

步骤2：节点A向连接发起会话请求，同时附带会话的事务性以及确认机制的参数，连接收到请求后建立相应会话。

步骤3：节点A向会话层发送通信模式信息，并指定其对应的消息队列的名称，会话层收到请求后建立相应队列。

步骤4：节点A与队列协商其发送消息模式、消息性质以及存储方式。随后向消息路由汇报消息，并被压入消息队列。

步骤5：节点B向消息路由发起连接请求，连接生产器接收到请求之后为此次请求分配连接。

步骤6：节点B向连接发起会话请求，同时附带会话的事务性以及确认机制的参数，连接收到请求后建立相应会话。

步骤7：节点B向会话层发送通信模式信息，并指定其订阅的消息队列的名称，会话层收到请求后绑定相应队列。

步骤8：节点B持续监听消息队列，一旦队列中有消息被压入，消息立刻被提取，并被节点B获得。

3、在网络管理方面的应用

为了更加详细地说明本发明的内容，将本发明应用到网络管理方面。网络管理，简单地说就是为了网络系统能够健康、稳定、高效地运行，对网络实施的一系列方法和措施。对网络资源进行监视、配置和控制等操作能够保证系统性能和服务质量。另外，当网络出现故障时，及时发现和快速处理。下面分别针对节点间通信方式和失效节点的识别两方面，描述本发明在网络管理的具体应用场景。

(1)节点间通信方式

如图3所示，节点A、B分别通过上述方式与消息路由建立通信，同时规定其会话方式为非事务性会话，消息确认机制为自动确认(AUTO_ACKNOWLEDGE)，消息格式为文本消息(TextMessage)。当节点A、B分别与消息路由建立连接之后，两节点间就可以相互通信，节点间的通信流程如下：

步骤1：当两节点之间需要通信时，首先判断消息路由上是否存在这两节点相对应的消息队列。如果不存在相应消息队列，则节点上的守护进程向消息路由发起请求，申请建立与之对应的一个独立的消息队列，每个节点只订阅与自身对应的消息队列。

步骤2：节点B向消息路由发送信令消息，此信令消息包含消息队列标识，要求订阅该队列的节点作出响应。

步骤3：消息路由接收到信令消息后，分析并提取队列标识，根据此标识将信令消息压入对应的消息队列。

步骤4：节点A订阅该消息队列，并持续监听该队列。一旦队列中压入消息，立刻提取消息。节点A分析此信令消息后，根据信令的要求，向消息路由发送响应消息。

步骤5：消息路由接收消息，根据消息中包含的队列标识，将消息压入节点B对应的消息队列。

步骤6：节点B订阅自身对应的消息队列，从消息队列中提取消息，从而获得节点A的响应消息。

(2)故障节点识别

故障管理是网络管理中最基本的功能之一，在网络管理过程中，管理员需要实时了解每个组成的状态，当某个组成失效时，必须快速找到故障并及时处理故障，保证一个可靠的计算机网络。将消息路由作为网络管理中的消息中转方法，能够快速地发现失效节点，提高网络系统的稳定性。如图4所示，当节点A发生故障而失效时，故障识别流程如下：

步骤1：节点B向消息路由发送信令消息，由消息路由转发至节点A对应的消息队列。

步骤2：由于节点A已经失效，不再监听消息队列，更不能处理队列中的信令消息，无法按要求作出响应。

步骤3：节点B持续监听其消息队列，当一段时间内队列中都没有消息时，立即调用判断函数，判断节点A失效，向管理节点报告失效情况，如图5所示。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (8)

1.一种基于消息路由的集群系统，其特征在于，包括至少一个发送节点、至少一个接收节点、消息路由，所述消息路由包括接口处理模块、队列管理模块、消息通道代理模块、消息队列模块；

接口处理模块用于接受发送节点的服务请求，并分析该服务请求为队列变更请求或者消息传递请求，根据不同的请求类别，调用对应的队列管理模块或者消息通道代理模块；

消息队列模块用于保存每个节点相对应的独立的消息队列，消息队列中存储对应的节点发送的消息，每个节点只订阅与自身对应的消息队列；

队列管理模块用于根据接口处理模块反馈的队列变更请求，对消息队列模块中相关的消息队列进行操作；

消息通道代理模块用于根据接口处理模块反馈的消息传递请求，对消息队列模块完成消息压入或消息提取，若为消息压入，则从消息中提取队列标识，并根据队列标识将消息压入相应的消息队列；若为消息提取，则从对应的消息队列提取消息，并反馈给接口处理模块，由接口处理模块发送至接收节点。

2.根据权利要求1所述基于消息路由的集群系统，其特征在于，所述消息路由还包括安全管理模块，所述安全管理模块用于在接口处理模块、消息通道代理模块、消息队列模块进行消息传输时对消息进行加解密。

3.一种基于消息路由的数据通信中转方法，该方法利用消息路由实现发送节点与接收节点之间的通信，其特征在于，所述发送节点与接收节点之间的通信步骤如下：

步骤1，发送节点向消息路由发送包括消息队列标识的信令消息，并要求订阅该消息队列的接收节点作出响应；

步骤2，消息路由接收到信令消息后，分析并提取队列标识，根据此队列标识将信令消息压入对应的消息队列；

步骤3，接收节点订阅该消息队列，并持续监听该消息队列，一旦消息队列中压入消息，立刻提取消息，并在提取消息后向消息路由发送响应消息；

步骤4，消息路由接收到响应消息后，根据消息中包含的队列标识，将该消息压入发送节点对应的消息队列，发送节点订阅自身对应的消息队列，从消息队列中提取消息，从而获得接收节点的响应消息。

4.根据权利要求3所述基于消息路由的数据通信中转方法，其特征在于，在步骤1之前，判断消息路由的消息队列模块中是否存在发送节点和接收节点相对应的消息队列，如果不存在，则不存在相对应的消息队列的节点向消息路由发起请求，申请建立与之对应的一个独立的消息队列。

5.根据权利要求4所述基于消息路由的数据通信中转方法，其特征在于，当发送节点、接收节点分别与消息路由建立通信连接时，均附带会话方式以及消息确认机制。

6.根据权利要求5所述基于消息路由的数据通信中转方法，其特征在于，所述会话方式为非事务性会话，消息确认机制为自动确认。

7.根据权利要求3所述基于消息路由的数据通信中转方法，其特征在于，在步骤4之后，发送节点设定获得响应消息的时间，若设定时间内没有获得响应消息，则发送节点调用判断函数，判断接收节点是否失效，并在接收节点失效时，向管理节点报告失效情况。

8.根据权利要求7所述基于消息路由的数据通信中转方法，其特征在于，所述设定时间为1秒。