CN109039787B - 日志处理方法、装置及大数据集群 - Google Patents

Abstract

本发明提供一种日志处理方法、装置及大数据集群，涉及计算机数据处理技术领域。该方法通过在Slave主机上预先开启服务端口，且在Slave主机上预先安装用于监听服务端口和解析本地服务日志的Slave组件，然后利用Slave组件监听指定的服务端口，以确定是否有用户终端对本地的资源进行访问，在用户终端访问本地的资源的过程中，获取并解析对应的服务日志，从而针对大数据集群中各主机，实现对用户终端的访问行为、主机的响应行为的分布式追踪定位。

Description

日志处理方法、装置及大数据集群

技术领域

本发明涉及计算机数据处理技术领域，具体而言，涉及一种日志处理方法、装置及大数据集群。

背景技术

大数据，或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。当前，主机设备日志的处理，便为大数据处理的一个分支。现有技术中，用户可以利用相应的数据处理工具，实现日志获取与处理，而当前的数据处理工具无法便捷地对主机日志进行获取与追踪。例如，对于Logstash数据处理工具，现有技术中Logstash采用C/S架构，需要在Client节点上安装Logstash，针对未安装Logstash的Client节点的日志无法搜集，且安装有Logstash的Client节点的日志需要在Server节点上进行集中处理，不能实现对各Client节点的日志的分布式追踪定位。随着大数据集群主机规模增大，待处理日志的数据量也越来越大，集中式处理的方式对Server节点设备性能要求高。

发明内容

为了克服上述现有技术中的不足，本发明提供一种日志处理方法、装置及大数据集群。

为了实现上述目的，本发明实施例所提供的技术方案如下所示：

第一方面，本发明实施例提供一种日志处理方法，应用于大数据集群中的主机，所述大数据集群包括至少一个Master主机和若干Slave主机，所述Master主机用于管理所述Slave主机，每个所述Slave主机开启有服务端口，且安装有用于监听所述服务端口和解析本地服务日志的Slave组件，所述方法包括：

监听指定的服务端口，以判断是否有用户终端通过所述指定的服务端口请求访问本地的资源；

在判定有用户终端通过所述指定的服务端口请求访问本地的资源时，获取该用户终端访问本地的资源的过程中所产生的第一服务日志；

根据预设解析规则对所述第一服务日志进行解析，生成第一日志文件，并将所述第一日志文件进行存储。

可选地，上述第一服务日志至少包括以下信息中的任意一种：

请求访问资源的用户终端的IP地址、请求访问资源的方式、请求访问资源的时间、请求访问资源的路径、请求状态码、资源栈信息的描述、发生错误的对象、错误类型、错误级别和请求返回值。

可选地，上述根据预设解析规则对所述第一服务日志进行解析的步骤包括：

根据预先配置的正则表达式对所述第一服务日志进行多行校验匹配，以从所述第一服务日志获取到目标字段。

可选地，上述方法还包括:

判断所述错误级别是否超出预设告警级别；

若判定所述错误级别超出所述预设告警级别，则向预设用户终端发出错误告警。

可选地，上述Master主机开启有用于与第三方平台通信连接的接收端口，且安装有用于解析所述第三方平台发送的服务日志的Master组件，所述方法还包括：

接收所述第三方平台发送的第二服务日志；

根据所述预设解析规则对所述第二服务日志进行解析，生成第二日志文件，并将所述第二日志文件进行存储。

第二方面，本发明实施例提供一种日志处理装置，应用于大数据集群中的主机，所述大数据集群包括至少一个Master主机和若干Slave主机，所述Master主机用于管理所述Slave主机，每个所述Slave主机开启有服务端口，且安装有用于监听所述服务端口和解析本地服务日志的Slave组件，所述装置包括：

监听单元，用于监听指定的服务端口，以判断是否有用户终端通过所述指定的服务端口请求访问本地的资源；

日志获取单元，用于在判定有所述用户终端通过所述指定的服务端口请求访问本地的资源时，获取该用户终端访问本地的资源的过程中所产生的第一服务日志；

解析存储单元，用于根据预设解析规则对所述第一服务日志进行解析，生成第一日志文件，并将所述第一日志文件进行存储。

可选地，上述第一服务日志至少包括以下信息中的任意一种：

请求访问资源的用户终端的IP地址、请求访问资源的方式、请求访问资源的时间、请求访问资源的路径、请求状态码、资源栈信息的描述、发生错误的对象、错误类型、错误级别和请求返回值。

可选地，上述解析存储单元用于：

根据预先配置的正则表达式对所述第一服务日志进行多行校验匹配，以从所述第一服务日志获取到目标字段。

可选地，上述Master主机开启有用于与第三方平台通信连接的接收端口，且安装有用于解析所述第三方平台发送的服务日志的Master组件，所述装置还包括接收单元；

所述接收单元，用于接收所述第三方平台发送的第二服务日志；

所述解析存储单元，还用于根据所述预设解析规则对所述第二服务日志进行解析，生成第二日志文件，并将所述第二日志文件进行存储。

第三方面，本发明实施例提供一种大数据集群，所述大数据集群包括至少一个Master主机和若干Slave主机，所述Master主机用于管理所述Slave主机，每个所述Slave主机开启有服务端口，且安装有用于监听所述服务端口和解析本地服务日志的Slave组件；

所述Slave主机监听指定的服务端口，以判断是否有用户终端通过所述指定的服务端口请求访问本地的资源；在判定有用户终端通过所述指定的服务端口请求访问本地的资源时，获取该用户终端访问本地的资源的过程中所产生的第一服务日志；根据预设解析规则对所述第一服务日志进行解析，生成第一日志文件，并将所述第一日志文件进行存储。

可选地，上述Master主机开启有用于与第三方平台通信连接的接收端口；

所述Master主机，接收所述第三方平台发送的第二服务日志；根据所述预设解析规则对所述第二服务日志进行解析，生成第二日志文件，并将所述第二日志文件进行存储。

相对于现有技术而言，本发明提供的日志处理方法、装置及大数据集群至少具有以下有益效果：该方法通过Slave主机预先开启服务端口，且Slave主机预先安装用于监听服务端口和解析本地服务日志的Slave组件，然后利用Slave组件监听服务端口，以确定是否有用户终端对本地的资源进行访问，在用户终端访问本地的资源的过程中，获取并解析对应的服务日志，从而针对大数据集群中各主机，实现对用户终端的访问行为、主机的响应行为的分布式追踪定位。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举本发明实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的大数据集群的方框示意图。

图2为本发明实施例提供的大数据集群中的主机的方框示意图。

图3为本发明实施例提供的日志处理方法的流程示意图之一。

图4为本发明实施例提供的日志处理方法的流程示意图之二。

图5为本发明实施例提供的日志处理装置的方框示意图。

图标：10-大数据集群；11-主机；111-处理器；112-通信模块；113-存储器；100-日志处理装置；110-监听单元；120-日志获取单元；130-解析存储单元。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

对于Logstash数据处理工具，现有技术中Logstash采用C/S架构，需要在Client节点上安装Logstash，针对未安装Logstash的Client节点的日志无法搜集，且安装有Logstash的Client节点的日志需要在Server节点上进行集中处理，不能实现对各Client节点的日志的分布式追踪定位。随着大数据集群主机规模增大，待处理日志的数据量也越来越大，集中式处理的方式对Server节点设备性能要求高。

鉴于上述问题，本申请发明人经过长期研究探索，提出以下实施例以解决上述问题。下面结合附图，对本发明实施例作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

请结合参照图1和图2，其中，图1为本发明实施例提供的大数据集群10的方框示意图，图2为本发明实施例提供的大数据集群10中的主机11的方框示意图。本发明实施例提供的大数据集群10可以通过网络与第一用户终端建立通信连接，以进行数据交互。该大数据集群10可以通过网络与第二用户终端建立通信连接，以进行数据交互。其中，大数据集群10可以包括多个如图2所示的主机11。多个主机11中，至少一个主机11作为Master主机，若干主机11可以作为Slave主机，一个Master主机可以用于管理至少一个Slave主机。

各主机11中存储有网络资源，可以供第一用户终端访问，网络资源可以包括但不限于图片、文本文件、音频、视频、应用程序等资源。

例如，图1中所示的数据源可以作为主机11的一部分，用于存储网络资源，或者，数据源作为独立于主机11的模块以存储网络资源。第一用户终端可以由普通用户持有，可以从大数据集群10获取网络资源；第二用户终端可以由管理人员持有，用于从大数据集群10查看并管理日志文件。大数据集群10还可以与第三方平台交互，可以允许第三方平台将服务日志发送到Master/Slave主机中进行解析存储处理，比如，Master主机通过提供应用程序编程(Application Programming Interface，API)接口允许第三方平台将服务日志发送到Master主机中进行解析处理，并存储至指定位置。第三方平台可以为应用程序(如，购物类的应用程序)，可以将自身的服务日志发送到Master主机。比如，第三方平台可以通过HTTP/TCP/UDP等请求将自身的服务日志发送到Master主机。

在本实施例中，第一用户终端可以是，但不限于，智能手机、个人电脑(personalcomputer，PC)、平板电脑、个人数字助理(personal digital assistant，PDA)、移动上网设备(mobile Internet device，MID)等。第二用户终端可以与第一用户终端相同或类似。其网络可以是，但不限于，有线网络或无线网络。

可理解地，第一用户终端与第二用户终端可以相互替换。例如，第一用户终端可以从大数据集群10访问网络资源，也可以供管理人员查看服务日志；即，第一用户终端既可以实现自身的功能作用，也能够实现第二用户终端的功能。

请参照图3，为本发明实施例提供的日志处理方法的流程示意图之一。本发明实施例提供的日志处理方法可以应用于上述的大数据集群10，由该大数据集群10执行日志处理方法的各步骤，能够实现对服务日志的分布式追踪定位，便于管理人员根据需求追踪查看服务日志。其中，图3中所示的日志处理方法可以由大数据集群10中的Slave主机执行。

下面将对图3中所示的日志处理方法的各步骤进行详细阐述，在本实施例中，一种可能实施方式为，每个Slave主机开启有服务端口，且安装有用于监听服务端口和解析本地服务日志的Slave组件，日志处理方法可以包括以下步骤：

步骤S210，监听指定的服务端口，以判断是否有用户终端通过指定的服务端口请求访问本地的资源。

在本实施例中，Slave组件可以作为程序插件安装或存储在大数据集群10的主机11中，安装有Slave组件的主机11便可以作为Slave主机。可理解地，通过该Slave组件便可以监听到通过服务端口请求访问本地的资源的访问过程/记录。其中，服务端口可以是大数据集群10的预先指定的端口，也就是服务端口可根据管理人员的需求进行指定，以供管理人员根据实际情况对相应端口的请求访问过程/记录进行追踪定位，即追踪用户通过该端口访问本地的资源的过程。另外，服务日志包括但不限于请求访问资源的用户终端的IP地址、请求访问资源的方式、请求访问资源的时间、请求访问资源的路径、请求状态码、资源栈信息的描述、发生错误的对象、错误类型、错误级别和请求返回值中的至少一种。基于该Slave组件，能够实现大数据集群10分布式追踪服务日志。

步骤S220，在判定有用户终端通过指定的服务端口请求访问本地的资源时，获取该用户终端访问本地的资源的过程中所产生的第一服务日志。

可理解地，当有第一用户终端通过服务端口访问大数据集群10中的Slave主机时，Slave主机通过Slave组件便可以获取到用户终端在访问过程中所产生的服务日志，该服务日志可以作为上述第一服务日志。比如，Slave组件可以监听Slave主机中编号为514的端口，若有用户终端从514端口访问该Slave主机，Slave组件便可以监听到用户终端在经由514端口访问资源过程中产生的服务日志。其中，服务日志可以包括用户终端的IP、访问时间、访问资源的类型等数据。

步骤S230，根据预设解析规则对第一服务日志进行解析，生成第一日志文件，并将第一日志文件进行存储。

在本实施例中，步骤S230可以包括：根据预先配置的正则表达式对第一服务日志进行多行校验匹配，以从第一服务日志获取到目标字段。

可理解地，服务日志可以包括多行数据，每行数据可以作为一条子数据。在对服务日志进行匹配校验时，可以利用预先设置的正则表达式，根据预设Grok分词对第一服务日志进行多行匹配，其中，在当前行列的子数据匹配到预先与当前行列的子数据对应的预设Grok分词时，确定当前行列的子数据校验通过；若校验不通过，则跳过该行子数据的校验，并对下一行子数据进行匹配校验。基于此，管理人员可以根据实际情况对服务日志进行筛选，并对有价值的服务日志进行存储，进而有助于减少无用服务日志对存储资源的占用。

另外，在利用正则表达式进行匹配时，可以将所有能够匹配到的字符归纳为同一类型的日志。

例如，若当前行列的子数据包括“2018-07-3110:00:00,000”，匹配校验时便会基于预设Grok分词将“2018-07-3110:00:00,000”归类为日期时间类型的日志，然后将整个日期给拆解成一个字段(目标字段)，将整行日志(整行日志还可以包括其他数据，如用户终端IP)根据数据类型拆解成不同的字段，然后将这几个目标字段作为日志文件。

在本实施例中，上述将第一日志文件进行存储的步骤可理解为：日志文件可以分布式存储在大数据集群10自身主机11的存储器113中，也可以存储在其他服务器中。

例如，大数据集群10可以作为一个分布式存储系统，该分布式存储系统还可以包括其他服务器，每个主机11可以作为一个存储节点，用于存储日志文件或服务日志。或者，大数据集群10与分布式存储系统为两个独立的系统，并建立有通信连接，也就是大数据集群10可以将日志文件或服务日志发送至分布式存储系统进行分布式存储。基于此，系统存储性能和容量能够同时进行拓展，有助于提高系统的伸缩性。另外，分布式存储系统在写入数据时，因为系统包括由多块磁盘(或其他存储模块)组合形成的逻辑盘，所以多块磁盘可以并行写入，进而有助于提升服务日志的读写效率。

可选地，在步骤S220之后，若Slave主机在监听过程中确定存在发生错误的对象，则日志处理方法还可以包括：判断发生错误的对象的错误级别是否超出预设告警级别；若判定错误级别超出预设告警级别，则向预设用户终端发出错误告警。其中，预设告警级别，可根据实际情况进行设置，这里不作具体限定。预设用户终端为预先设置的终端，可根据实际情况进行设置，例如，预设用户终端可以为管理/运维人员持有的第二终端。

可理解地，在获取服务日志的过程中，会判断服务日志是否异常，并根据异常情况确定异常级别。例如，可以通过info、debug、error、fatal、warn定义日志的异常级别。其中，error、fatal、error可以作为一般性错误的级别，fatal可以作为致命性错误的级别(比如，出现错误导致程序崩溃时，可以作为fatal级别)。若预设告警级别为致命性错误，当日志异常级别为fatal时，大数据集群10便会向第二用户终端发送预警提示信息，以使得管理人员及时发现异常状况，进而有助于管理人员对故障进行排查，使得系统及时恢复正常，从而降低因异常带来的经济损失。

当然，在其他实施方式中，异常级别也可以用数字表示，不同的异常级别可以也通过不同的数字表示，这里对异常级别的表示方式不作具体限定。

请参照图4，为本发明实施例提供的日志处理方法的流程示意图之二。在本实施例中，日志处理方法还可以包括步骤S240及步骤S250，用于实现日志的集中管理控制。

步骤S250，接收第三方平台发送的第二服务日志。

在本实施例中，大数据集群10中的Master主机预先开启有用于与至少一个第三方平台通信连接的接收端口，另外，该Master主机安装有用于解析第三方平台发送的服务日志的Master组件。大数据集群10可以通过接收端口与至少一个第三方平台通信连接。大数据集群10可以从接收端口接收到第三方平台发送的第二服务日志。其中，第二服务日志的类型可以与第一服务日志相同或类似，这里不再赘述。

步骤S260，根据预设解析规则对第二服务日志进行解析，生成第二日志文件，并将第二日志文件进行存储。

可理解地，Master主机对第二服务日志的详细解析过程与Slave主机对第一服务日志的解析过程相类似，Master主机对第二服务日志的详细解析过程可以参照步骤S230中Slave主机对第一服务日志的解析过程的详细描述，这里不再赘述。

另外，Master主机对第二日志文件的存储方式与Slave主机对第一日志文件的存储方式相类似，Master主机对第二日志文件的存储实现方式可以参照步骤S240中Slave主机对第一日志文件的进行存储的详细描述，这里不再赘述。

在本实施例中，大数据集群10通过执行步骤S240及步骤S250，使得管理人员能够通过第二用户终端查看到多个Slave主机的服务日志，从而实现对服务日志的集中管理控制。

例如，在第一用户终端通过浏览器或者使用其他方式请求上述大数据集群10中的资源的过程中大数据集群10中的监听器(Master组件、Slave组件)会对整个资源请求过程进行监听，从而获取到远程的用户信息，如第一用户终端的IP，访问时间，主机名，URL，请求方式等，同时对请求后的资源响应过程进行跟踪并进行分析，最后大数据集群10可以将对整个请求过程分析出来的结果进行分布式存储，其结果可以通过用户终端以网页(WEB)界面的方式进行展示，以便于管理人员通过网页界面进行日志查看，并通过服务日志对用户的访问记录进行追踪与定位。

请再次参照图2，主机11可以根据安装的组件而配置成Master主机或Slave主机。例如，安装有Master组件的主机11可以作为Master主机，安装有Slave组件的主机11便可以作为Slave主机。其中，主机11可以包括处理器111、通信模块112、存储器113以及日志处理装置100，处理器111、通信模块112、存储器113以及日志处理装置100各个元件之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。

在本实施例中，处理器111可能是一种集成电路芯片，具有信号的处理能力。上述处理器111可以是通用处理器。例如，该处理器111可以是中央处理器(Central ProcessingUnit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。

在本实施例中，通信模块112用于通过网络建立大数据集群10与第一用户终端、第二用户终端、第三方平台等设备的通信连接，并通过网络收发数据。另外，通信模块112也可以建立与其他主机11的通信连接。

在本实施例中，大数据集群10可以包括多个Master主机。一个Master主机可以与两个Slave主机通信连接，可以实现这两个Slave主机的集中管理。可理解地，一个Master主机与两个Slave主机可以作为一个索引分片，可以用于日志的获取与管理。多个索引分片可以表示一个完整的索引(Collection)集合。本方案通过多个Slave主机分担Master主机日志获取的业务，通过多个Master主机承担日志管理的业务，从而能够降低大数据集群10中各节点对设备性能的要求，另外，还便于管理人员集中管理、分析大数据集群10的服务日志。

需要说明的是，一个索引集合可以包括一个或多个索引分片，每个索引分片可以包括一个Master主机及若干Slave主机，这里对索引集合架构中主机11的数量不作具体限定。

在本实施例中，存储器113可以是，但不限于，随机存取存储器，只读存储器，可编程只读存储器，可擦除可编程只读存储器，电可擦除可编程只读存储器等。在本实施例中，存储器113可以用于存储预设解析规则、Slave组件或Master组件等。当然，存储器113还可以用于存储程序，处理器111在接收到执行指令后，执行该程序。

在本实施例中，日志处理装置100包括至少一个可以软件或固件(firmware)的形式存储于存储器113中或固化在主机11操作系统(operating system，OS)中的软件功能模块。处理器111用于执行存储器113中存储的可执行模块，例如日志处理装置100所包括的软件功能模块及计算机程序等。

可以理解的是，图2所示的结构仅为主机11的一种结构示意图，主机11还可以包括比图2所示更多或更少的组件。图2中所示的各组件可以采用硬件、软件或其组合实现。

请参照图5，为本发明实施例提供的日志处理装置100的方框示意图。本发明实施例提供的日志处理装置100可以应用于上述的大数据集群10，用于执行如图3、图4所示的日志处理方法，能够实现对服务日志的追踪、分布式存储及统一管理，方便管理人员根据需求查看管控服务日志。

在本实施例中，日志处理装置100可以包括监听单元110、日志获取单元120及解析存储单元130。

监听单元110，用于监听指定的服务端口，以判断是否有用户终端通过指定的服务端口请求访问本地的资源。

日志获取单元120，用于在判定有用户终端通过指定的服务端口请求访问本地的资源时，获取该用户终端访问本地的资源的过程中所产生的第一服务日志。

其中，第一服务日志至少包括以下信息中的任意一种：

请求访问资源的用户终端的IP地址、请求访问资源的方式、请求访问资源的时间、请求访问资源的路径、请求状态码、资源栈信息的描述、发生错误的对象、错误类型、错误级别和请求返回值。

解析存储单元130，用于根据预设解析规则对第一服务日志进行解析，生成第一日志文件，并将第一日志文件进行存储。

可选地，解析存储单元130用于：根据预先配置的正则表达式对第一服务日志进行多行校验匹配，以从第一服务日志获取到目标字段。

可选地，日志处理装置100还包括判断单元及告警单元。其中，判断单元，用于判断错误级别是否超出预设告警级别；若判定错误级别超出预设告警级别，告警单元用于则向预设用户终端发出错误告警。

可选地，日志处理装置100还包括接收单元。接收单元，用于接收第三方平台发送的第二服务日志。

另外，上述解析存储单元130，还用于根据预设解析规则对第二服务日志进行解析，生成第二日志文件，并将第二日志文件进行存储。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的日志处理装置100的具体工作过程，可以参考前述方法中的各步骤对应的执行过程，在此不再过多赘述。

本发明实施例还提供一种计算机可读存储介质。该可读存储介质中存储有计算机程序，当计算机程序在计算机上运行时，使得计算机执行如上述实施例中所述的日志处理方法。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现，基于这样的理解，本发明的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施场景所述的方法。

综上所述，本发明提供一种日志处理方法、装置及大数据集群。该方法通过Slave主机预先开启服务端口，且Slave主机预先安装用于监听服务端口和解析本地服务日志的Slave组件，然后利用Slave组件可以确定是否有用户终端对本地的资源进行访问，从而获取相应的服务日志。另外，因为Master主机可以用于管理所述Slave主机，能对服务日志进行追踪，有助于管理人员根据需求管理、分析服务日志。

在本发明所提供的实施例中，应该理解到，所揭露的装置、系统和方法，也可以通过其它的方式实现。以上所描述的装置、系统和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

可以替换的，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种日志处理方法，其特征在于，应用于大数据集群中的主机，所述大数据集群包括至少一个Master主机和若干Slave主机，所述Master主机用于管理所述Slave主机，每个所述Slave主机开启有服务端口，且安装有用于监听所述服务端口和解析本地服务日志的Slave组件，所述方法包括：

通过所述Slave组件监听指定的服务端口，以判断是否有用户终端通过所述指定的服务端口请求访问本地的资源；

在判定有用户终端通过所述指定的服务端口请求访问本地的资源时，获取该用户终端访问本地的资源的过程中所产生的第一服务日志；

根据预设解析规则对所述第一服务日志进行解析，生成第一日志文件，并将所述第一日志文件进行存储，其中，所述第一服务日志至少包括以下信息中的任意一种：

请求访问资源的用户终端的IP地址、请求访问资源的方式、请求访问资源的时间、请求访问资源的路径、请求状态码、资源栈信息的描述、发生错误的对象、错误类型、错误级别和请求返回值。

2.根据权利要求1所述的方法，其特征在于，所述根据预设解析规则对所述第一服务日志进行解析的步骤包括：

根据预先配置的正则表达式对所述第一服务日志进行多行校验匹配，以从所述第一服务日志获取到目标字段。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括:

判断所述错误级别是否超出预设告警级别；

若判定所述错误级别超出所述预设告警级别，则向预设用户终端发出错误告警。

4.根据权利要求1所述的方法，其特征在于，所述Master主机开启有用于与第三方平台通信连接的接收端口，且安装有用于解析所述第三方平台发送的服务日志的Master组件，所述方法还包括：

接收所述第三方平台发送的第二服务日志；

根据所述预设解析规则对所述第二服务日志进行解析，生成第二日志文件，并将所述第二日志文件进行存储。

5.一种日志处理装置，其特征在于，应用于大数据集群中的主机，所述大数据集群包括至少一个Master主机和若干Slave主机，所述Master主机用于管理所述Slave主机，每个所述Slave主机开启有服务端口，且安装有用于监听所述服务端口和解析本地服务日志的Slave组件，所述装置包括：

监听单元，用于通过所述Slave组件监听指定的服务端口，以判断是否有用户终端通过所述指定的服务端口请求访问本地的资源；

日志获取单元，用于在判定有所述用户终端通过所述指定的服务端口请求访问本地的资源时，获取该用户终端访问本地的资源的过程中所产生的第一服务日志；

解析存储单元，用于根据预设解析规则对所述第一服务日志进行解析，生成第一日志文件，并将所述第一日志文件进行存储，其中，所述第一服务日志至少包括以下信息中的任意一种：

请求访问资源的用户终端的IP地址、请求访问资源的方式、请求访问资源的时间、请求访问资源的路径、请求状态码、资源栈信息的描述、发生错误的对象、错误类型、错误级别和请求返回值。

6.根据权利要求5所述的装置，其特征在于，所述解析存储单元用于：

根据预先配置的正则表达式对所述第一服务日志进行多行校验匹配，以从所述第一服务日志获取到目标字段。

7.根据权利要求5所述的装置，其特征在于，所述Master主机开启有用于与第三方平台通信连接的接收端口，且安装有用于解析所述第三方平台发送的服务日志的Master组件，所述装置还包括接收单元；

所述接收单元，用于接收所述第三方平台发送的第二服务日志；

所述解析存储单元，还用于根据所述预设解析规则对所述第二服务日志进行解析，生成第二日志文件，并将所述第二日志文件进行存储。

8.一种大数据集群，其特征在于，所述大数据集群包括至少一个Master主机和若干Slave主机，所述Master主机用于管理所述Slave主机，每个所述Slave主机开启有服务端口，且安装有用于监听所述服务端口和解析本地服务日志的Slave组件；

所述Slave主机通过所述Slave组件监听指定的服务端口，以判断是否有用户终端通过所述指定的服务端口请求访问本地的资源；在判定有用户终端通过所述指定的服务端口请求访问本地的资源时，获取该用户终端访问本地的资源的过程中所产生的第一服务日志；根据预设解析规则对所述第一服务日志进行解析，生成第一日志文件，并将所述第一日志文件进行存储，其中，所述第一服务日志至少包括以下信息中的任意一种：

请求访问资源的用户终端的IP地址、请求访问资源的方式、请求访问资源的时间、请求访问资源的路径、请求状态码、资源栈信息的描述、发生错误的对象、错误类型、错误级别和请求返回值。

9.根据权利要求8所述的大数据集群，其特征在于，所述Master主机开启有用于与第三方平台通信连接的接收端口；

所述Master主机，接收所述第三方平台发送的第二服务日志；根据所述预设解析规则对所述第二服务日志进行解析，生成第二日志文件，并将所述第二日志文件进行存储。

Images