CN111831528A

CN111831528A - 一种计算机系统日志关联方法及相关装置

Info

Publication number: CN111831528A
Application number: CN202010693264.5A
Authority: CN
Inventors: 李胜利
Original assignee: Inspur Power Commercial Systems Co Ltd
Current assignee: Inspur Power Commercial Systems Co Ltd
Priority date: 2020-07-17
Filing date: 2020-07-17
Publication date: 2020-10-27

Abstract

本发明公开了一种计算机系统日志关联方法，包括获取计算机系统内的日志记录；对日志记录进行预处理，以得到统一格式的待使用日志记录；通过关联分析模型对多个待使用日志记录进行处理，以得到多个待使用日志记录之间的关联规则。通过先对日志记录进行预处理可以有效提高后续生成的多个待使用日志记录之间的关联规则的准确性，而通过关联分析模型所生成的多个待使用日志记录之间的关联规则，可以表示为计算机系统不同故障之间的关联性，从而便于工作人员对计算机系统故障进行归因。本发明还提供了一种装置、设备以及计算机可读存储介质，同样具有上述有益效果。

Description

一种计算机系统日志关联方法及相关装置

技术领域

本发明涉及计算机技术领域，特别是涉及一种计算机系统日志关联方法、一种计算机系统日志关联装置、一种计算机系统日志关联设备以及一种计算机可读存储介质。

背景技术

随着IT软硬件技术的进步，云计算技术逐步兴起，IT系统通常由硬件，虚拟化平台，操作系统和应用等组成，应用内部的各模块间以及IT系统的模块间相互调用，最终导致IT系统越来越复杂。在IT系统出现故障时，操作系统，系统软件，应用会产生不同的日志，系统维护人员需要查看这些日志，定位故障发生的原因，从而最终解决故障。但由于IT分工精细化程度越来越高，在故障发生时，发现故障的归因较为困难，同时也增加了修复故障的难度。所以如何提供一种计算机系统日志关联方法是本领域技术人员急需解决的问题。

发明内容

本发明的目的是提供一种计算机系统日志关联方法，可以对计算机系统故障进行归因；本发明的另一目的在于提供一种计算机系统日志关联装置、一种计算机系统日志关联设备以及一种计算机可读存储介质，可以对计算机系统故障进行归因。

为解决上述技术问题，本发明提供一种计算机系统日志关联方法，包括：

获取计算机系统内的日志记录；

对所述日志记录进行预处理，以得到统一格式的待使用日志记录；

通过关联分析模型对多个所述待使用日志记录进行处理，以得到多个所述待使用日志记录之间的关联规则。

可选的，在所述通过关联分析模型对多个所述待使用日志记录进行处理之后，还包括：

当所述关联规则的支持度小于支持度阈值时，删除支持度小于支持度阈值的关联规则；

当所述关联规则的置信度小于置信度阈值时，删除置信度小于置信度阈值的关联规则。

可选的，所述对所述日志记录进行预处理包括：

对所述日志记录进行日志清洗，以删除错误的日志记录；

在对所述日志记录进行日志清洗之后，对所述日志记录进行日志结构化，以得到统一格式的待使用日志记录。

可选的，在对所述日志进行预处理之后，还包括：

通过情感词典计算任一所述待使用日志记录的情感值；

根据所述情感值设置对应所述待使用日志记录的故障级别。

可选的，所述日志记录包括：

操作系统日志记录、系统软件日志记录、应用软件日志记录。

本发明还提供了一种计算机系统日志关联装置，包括：

日志采集模块：用于获取计算机系统内的日志记录；

预处理模块：用于对所述日志记录进行预处理，以得到统一格式的待使用日志记录；

关联分析模块：用于通过关联分析模型对多个所述待使用日志记录进行处理，以得到多个所述待使用日志记录之间的关联规则。

可选的，还包括：

支持度模块：用于当所述关联规则的支持度小于支持度阈值时，删除支持度小于支持度阈值的关联规则；

置信度模块：用于当所述关联规则的置信度小于置信度阈值时，删除置信度小于置信度阈值的关联规则。

可选的，所述预处理模块包括：

日志清洗单元：用于对所述日志记录进行日志清洗，以删除错误的日志记录；

结构化单元：用于在对所述日志记录进行日志清洗之后，对所述日志记录进行日志结构化，以得到统一格式的待使用日志记录。

本发明还提供了一种计算机系统日志关联设备，所述设备包括：

存储器：用于存储计算机程序；

处理器：用于执行所述计算机程序时实现如上述任一项所述计算机系统日志关联方法的步骤。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述计算机系统日志关联方法的步骤。

本发明所提供的一种计算机系统日志关联方法，包括获取计算机系统内的日志记录；对日志记录进行预处理，以得到统一格式的待使用日志记录；通过关联分析模型对多个待使用日志记录进行处理，以得到多个待使用日志记录之间的关联规则。通过先对日志记录进行预处理可以有效提高后续生成的多个待使用日志记录之间的关联规则的准确性，而通过关联分析模型所生成的多个待使用日志记录之间的关联规则，可以表示为计算机系统不同故障之间的关联性，从而便于工作人员对计算机系统故障进行归因。

本发明还提供了一种计算机系统日志关联装置、一种计算机系统日志关联设备以及一种计算机可读存储介质，同样具有上述有益效果，在此不再进行赘述。

附图说明

为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例所提供的一种计算机系统日志关联方法的流程图；

图2为本发明实施例所提供的一种具体的计算机系统日志关联方法的流程图；

图3为本发明实施例所提供的一种计算机系统日志关联装置的结构框图；

图4为本发明实施例所提供的一种计算机系统日志关联设备的结构框图。

具体实施方式

本发明的核心是提供一种计算机系统日志关联方法。在现有技术中，对日志的分析主要为日志检索和生成统计报表，前者采用多种方法提高检索日志的效率和准确度，例如使用TF-IDF从日志中提取关键词，使用倒排索引提高查询的效率等。后者基于日志产生的频次，生成统计表格或曲线图，用于统计日志发生的次数和变化趋势。这些方法有效提高了日志检索的效率，并生成了日志发生频次统计报表，但缺少对日志文本内容的挖掘和分析。

而本发明所提供的一种计算机系统日志关联方法，包括获取计算机系统内的日志记录；对日志记录进行预处理，以得到统一格式的待使用日志记录；通过关联分析模型对多个待使用日志记录进行处理，以得到多个待使用日志记录之间的关联规则。通过先对日志记录进行预处理可以有效提高后续生成的多个待使用日志记录之间的关联规则的准确性，而通过关联分析模型所生成的多个待使用日志记录之间的关联规则，可以表示为计算机系统不同故障之间的关联性，从而便于工作人员对计算机系统故障进行归因。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，图1为本发明实施例所提供的一种计算机系统日志关联方法的流程图。

参见图1，在本发明实施例中，计算机系统日志关联方法包括：

S101：获取计算机系统内的日志记录。

具体的，在本步骤中，可以从操作系统，系统软件，应用中采集日志数据，即所述日志记录可以包括操作系统日志记录、系统软件日志记录、应用软件日志记录。在本步骤中对于日志记录的来源并不做具体限定，只要来源于计算机系统中均可，其可以来源于计算机系统的各个方面。有关本步骤中采集计算机系统内日志记录的具体方式可以参考现有技术，在此不再进行赘述。

S102：对日志记录进行预处理，以得到统一格式的待使用日志记录。

有关预处理的具体内容将在下述发明实施例中做详细介绍，在此不再进行赘述。在本步骤中，具体会形成统一格式的待使用日志记录，以便于后续对该日志记录的使用。

S103：通过关联分析模型对多个待使用日志记录进行处理，以得到多个待使用日志记录之间的关联规则。

所谓关联分析模型即基于关联分析(association analysis)方法所生成的模型，关联分析方法是一种分析隐藏在数据中的有意义联系的机器学习方法，它通过对数据集中频繁出现的数据项进行统计，生成形如“事件A->事件B”的关联规则或形如{事件A,事件B}的频繁项集(frequent itemset)，它用于发现数据项之间的关联关系。

在本步骤中，会将统一格式的待使用日志记录输入至关联分析模型，以生成不同待使用日志记录之间的关联规则，而待使用日志记录中记录有计算机系统的故障信息。通过生成不同待使用日志记录之间的关联规则，可以通过该关联规则表示计算机系统不同故障之间的关联性，从而便于工作人员对计算机系统故障进行归因。有关关联分析模型的具体内容可以参考现有技术，在此不再进行赘述。需要说明的是，上述关联规则即不同所述待使用日志记录之间的对应关系，即不同待使用日志记录所表示的故障信息之间的对应关系。上述任一关联规则至少对应着这两个待使用日志记录，也可以对应更多数量的待使用日志记录均可。通过任一关联规则，可以明确表示出不同待使用日志记录之间的关联性。当操作人员查询上述关联规则时，可以轻松了解到具体哪些待使用日志记录所对应的故障信息之间具有联系，从而便于工作人员对计算机系统故障进行归因。

在本发明实施例中，可以进一步通过置信度以及支持度对上述关联规则进行筛选。具体的，在本步骤之后，通常还需要执行下述步骤：

第一步，当所述关联规则的支持度小于支持度阈值时，删除支持度小于支持度阈值的关联规则；第二步，当所述关联规则的置信度小于置信度阈值时，删除置信度小于置信度阈值的关联规则。当然，上述第一步与第二步之间的先后顺序可以互换或者并行执行均可，在本发明实施例中不做具体限定。

支持度等于事件A和事件B出现的同时次数除以所有事件出现的总次数，支持度用于衡量事件A和事件B是否经常同时出现。如果事件A和事件B的支持度低，表示事件A和事件B是偶发的，生成这样的关联规则是无意义的，需要去除。而置信度是衡量关联规则的可信程度，例如关联规则“事件A->事件B”的置信度等于事件A和事件B同时出现的次数除以事件A单独出现次数。置信度用于估计给定事件A的情况下，事件B发生的条件概率。置信度低的关联规则不可靠，需要去除。

在本发明实施例中，会预先设置支持度阈值以及置信度阈值，并在S103中计算得到关联规则之后，会计算各个关联规则的支持度以及置信度。有关支持度以及置信度计算的具体规则可以参考现有技术，在此不再进行赘述。在计算得到任一关联规则的支持度以及置信度之后，会将该关联规则的支持度与支持度阈值进行对比，若该关联规则的支持度小于支持度阈值，说明该关联规则属于偶发事件，需要删除该关联规则。同理，会将该关联规则的置信度与置信度阈值进行对比，若该关联规则的置信度小于置信度阈值，说明该关联规则无意义，需要删除该关联规则。

本发明实施例所提供的一种计算机系统日志关联方法，包括获取计算机系统内的日志记录；对日志记录进行预处理，以得到统一格式的待使用日志记录；通过关联分析模型对多个待使用日志记录进行处理，以得到多个待使用日志记录之间的关联规则。通过先对日志记录进行预处理可以有效提高后续生成的多个待使用日志记录之间的关联规则的准确性，而通过关联分析模型所生成的多个待使用日志记录之间的关联规则，可以表示为计算机系统不同故障之间的关联性，从而便于工作人员对计算机系统故障进行归因。

有关本发明所提供的一种计算机系统日志关联方法的具体内容将在下述发明实施例中做详细介绍。

请参考图2，图2为本发明实施例所提供的一种具体的计算机系统日志关联方法的流程图。

参见图2，在本发明实施例中，计算机系统日志关联方法包括：

S201：获取计算机系统内的日志记录。

本步骤与上述发明实施例中S101基本一致，详细内容请参考上述发明实施例，在此不再进行赘述。

S202：对日志记录进行日志清洗，以删除错误的日志记录。

虽然日志内容包含信息丰富，但内容混杂，不同IT组件的日志格式不同，相同的故障可能包含了多条的日志，日志文本描述信息也存在较大差异。在本步骤中，首先会对S201中采集的日志记录进行日志清洗，此步骤属于对日志内容本身进行修改，从而删除错误的日志记录。

S203：在对日志记录进行日志清洗之后，对日志记录进行日志结构化，以得到统一格式的待使用日志记录。

在本步骤中，通常是将清洗后的日志记录转换为类似于表格形式的数据，以得到统一格式的待使用日志记录。有关上述日志清洗以及日志结构化的具体内容可以参考现有技术，在此不再进行赘述。

S204：通过情感词典计算任一待使用日志记录的情感值。

日志记录的级别通常有调试，信息，告警，故障，严重故障等级别，相同的故障在不同系统中的故障级别存在差异，在本步骤中会将待使用日志记录映射为统一的级别。

通常情况下，待使用日志记录中存在大量缺乏故障级别的日志记录，而在本步骤中通常会使用英文情感词典，根据词典中每个英文单词的情感值，计算单一待使用日志记录文本中全部单词的情感值均值，将该情感值均值作为该待使用日志记录的情感值。有关情感词典的具体内容可以参考现有技术，在此不再进行赘述。

S205：根据情感值设置对应待使用日志记录的故障级别。

在本步骤中，具体可以根据某一待使用日志记录的情感值，根据该情感值的大小正负，为缺失故障级别的待使用日志记录设置合理的故障级别。有关故障级别设置的具体内容可以根据实际情况自行设定，在此不做具体限定。

S206：通过关联分析模型对多个待使用日志记录进行处理，以得到多个待使用日志记录之间的关联规则。

本步骤与上述S103基本一致，详细内容请参考上述发明实施例。在本步骤中，所得到的关联规则可以反映出不同故障之间故障级别的变化，从而进一步便于工作人员对计算机系统故障进行归因。

本发明实施例所提供的一种计算机系统日志关联方法，通过日志清洗以及日志结构化可以得到完整的，统一格式的待使用日志记录，从而增加关联分析模型所生成的关联规则的可信度；通过使用情感词典可以补充上待使用日志记录统一的故障级别，从而便于工作人员对计算机系统故障进行归因。

下面对本发明实施例所提供的一种计算机系统日志关联装置进行介绍，下文描述的日志关联装置与上文描述的日志关联方法可相互对应参照。

请参考图3，图3为本发明实施例所提供的一种计算机系统日志关联装置的结构框图。

参见图3，在本发明实施例中，计算机系统日志关联装置可以包括：

日志采集模块100：用于获取计算机系统内的日志记录。

预处理模块200：用于对所述日志记录进行预处理，以得到统一格式的待使用日志记录。

关联分析模块300：用于通过关联分析模型对多个所述待使用日志记录进行处理，以得到多个所述待使用日志记录之间的关联规则。

作为优选的，在本发明实施例中，还包括：

支持度模块：用于当所述关联规则的支持度小于支持度阈值时，删除支持度小于支持度阈值的关联规则。

作为优选的，在本发明实施例中，所述预处理模块200包括：

日志清洗单元：用于对所述日志记录进行日志清洗，以删除错误的日志记录。

作为优选的，在本发明实施例中，还包括：

情感值模块：用于通过情感词典计算任一所述待使用日志记录的情感值。

故障级别模块：用于根据所述情感值设置对应所述待使用日志记录的故障级别。

作为优选的，在本发明实施例中，所述日志记录包括：

本实施例的计算机系统日志关联装置用于实现前述的计算机系统日志关联方法，因此计算机系统日志关联装置中的具体实施方式可见前文中计算机系统日志关联方法的实施例部分，例如，日志采集模块100，预处理模块200，关联分析模块300分别用于实现上述计算机系统日志关联方法中步骤S101，S102以及S103，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。

下面对本发明实施例提供的一种计算机系统日志关联设备进行介绍，下文描述的计算机系统日志关联设备与上文描述的计算机系统日志关联方法以及计算机系统日志关联装置可相互对应参照。

请参考图4，图4为本发明实施例所提供的一种计算机系统日志关联设备的结构框图。

参照图4，该计算机系统日志关联设备可以包括处理器11和存储器12。

所述存储器12用于存储计算机程序；所述处理器11用于执行所述计算机程序时实现上述发明实施例中所述的计算机系统日志关联方法。

本实施例的计算机系统日志关联设备中处理器11用于安装上述发明实施例中所述的计算机系统日志关联装置，同时处理器11与存储器12相结合可以实现上述任一发明实施例中所述的计算机系统日志关联方法。因此计算机系统日志关联设备中的具体实施方式可见前文中的计算机系统日志关联方法的实施例部分，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一发明实施例中所介绍的一种计算机系统日志关联方法。其余内容可以参照现有技术，在此不再进行展开描述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种计算机系统日志关联方法、一种计算机系统日志关联装置、一种计算机系统日志关联设备以及一种计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims

1.一种计算机系统日志关联方法，其特征在于，包括：

获取计算机系统内的日志记录；

2.根据权利要求1所述的方法，其特征在于，在所述通过关联分析模型对多个所述待使用日志记录进行处理之后，还包括：

3.根据权利要求2所述的方法，其特征在于，所述对所述日志记录进行预处理包括：

对所述日志记录进行日志清洗，以删除错误的日志记录；

4.根据权利要求3所述的方法，其特征在于，在对所述日志进行预处理之后，还包括：

通过情感词典计算任一所述待使用日志记录的情感值；

根据所述情感值设置对应所述待使用日志记录的故障级别。

5.根据权利要求1所述的方法，其特征在于，所述日志记录包括：

6.一种计算机系统日志关联装置，其特征在于，包括：

日志采集模块：用于获取计算机系统内的日志记录；

7.根据权利要求6所述的装置，其特征在于，还包括：

8.根据权利要求7所述的装置，其特征在于，所述预处理模块包括：

9.一种计算机系统日志关联设备，其特征在于，所述设备包括：

存储器：用于存储计算机程序；

处理器：用于执行所述计算机程序时实现如权利要求1至5任一项所述计算机系统日志关联方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述计算机系统日志关联方法的步骤。