Nothing Special   »   [go: up one dir, main page]

CN110737707A - 多系统的日志搜索方法、装置及计算机可读存储介质 - Google Patents

多系统的日志搜索方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN110737707A
CN110737707A CN201910850456.XA CN201910850456A CN110737707A CN 110737707 A CN110737707 A CN 110737707A CN 201910850456 A CN201910850456 A CN 201910850456A CN 110737707 A CN110737707 A CN 110737707A
Authority
CN
China
Prior art keywords
log
key
instruction set
value pair
standard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910850456.XA
Other languages
English (en)
Inventor
付昌林
罗滢川
肖良清
李康达
杜文刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Qianhai Financial Assets Bats Exchange Inc
Original Assignee
Shenzhen Qianhai Financial Assets Bats Exchange Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Qianhai Financial Assets Bats Exchange Inc filed Critical Shenzhen Qianhai Financial Assets Bats Exchange Inc
Priority to CN201910850456.XA priority Critical patent/CN110737707A/zh
Publication of CN110737707A publication Critical patent/CN110737707A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及一种大数据技术，揭露了一种多系统的日志搜索方法，包括：接收用户操作多个系统的操作指令集，基于预先构建的键值对生成模块对所述操作指令集进行键值对生成操作，得到键值对指令集，将所述键值对指令集进行日志标签提取，得到日志标签集，对所述键值对指令集进行日志过滤及日志规范化，得到标准日志指令集，将所述标准日志指令集和所述日志标签集进行聚合分析，得到标准日志关系集，接收用户的查询请求，基于所述标准日志关系集搜索所述查询请求的结果，并输出所述查询请求的结果。本发明还提出一种多系统的日志搜索装置以及一种计算机可读存储介质。本发明可以实现低计算资源的日志搜索功能。

Description

多系统的日志搜索方法、装置及计算机可读存储介质
技术领域
本发明涉及大数据技术领域，尤其涉及一种基于多系统的日志搜索方法、装置及计算机可读存储介质。
背景技术
随着科技和跨系统之间互相联动的迅速发展，调用多系统操作日志的复杂度越来越高，因此一旦出现异常时，通过日志排查的难度也越来越高，所以如何将日志汇聚到一起并进行高效搜索，成为了当前急需解决的难题。目前有基于Spark SQL组件实现多系统的日志搜索，虽然搜索效率高，但由于Spark占用太多计算资源，容易导致系统崩溃，所以一种低计算资源的日志搜索急需解决。
发明内容
本发明提供一种多系统的日志搜索方法、装置及计算机可读存储介质，其主要目的在于根据用户操作多个系统的操作指令集进行多系统的日志搜索。
为实现上述目的，本发明提供的一种多系统的日志搜索方法，包括：
接收用户操作多个系统的操作指令集，基于预先构建的键值对生成模块对所述操作指令集进行键值对生成操作，得到键值对指令集；
对所述键值对指令集进行日志标签提取，得到日志标签集，对所述键值对指令集进行日志过滤及日志规范化，得到标准日志指令集；
将所述标准日志指令集和所述日志标签集进行聚合分析，得到标准日志关系集；
接收用户的查询请求，基于所述标准日志关系集搜索所述查询请求的结果，并输出所述搜索请求的结果。
可选地，所述预先构建的键值对生成模块包括时间排序子模块、单线程编号子模块和键值对存储子模块；
所述基于预先构建的键值对生成模块对所述操作指令集进行键值对生成操作，得到键值对指令集，包括：
基于所述时间排序子模块将所述操作指令集内的操作指令按照时间发生的先后顺序重新排序；
将所述重新排序后的操作指令集内的操作指令依次输入至所述单线程编号子模块，所述单线程编号子模块依次对每个操作指令进行编号得到操作指令与编号对应的键值对；
将所述键值对输入至所述键值对存储子模块得到键值对指令集。
可选地，所述对所述键值对指令集进行日志标签提取，得到日志标签集，包括：
预先定义日志关键字，根据所述日志关键字构建日志流程访问程序；
使用所述日志流程访问程序访问所述键值对指令集并提取日志关键字；
将提取出的所述日志关键字汇总得到日志标签集。
可选地，所述日志过滤及所述日志规范化包括：
预先构建匹配多系统日志的正则表达式；
通过所述正则表达式访问指定的系统日志文件夹匹配出应用程序日志和安全日志；
将所述应用程序日志和安全日志与所述键值对指令集进行一一对应操作；
所述一一对应操作完成后，从所述键值对指令集中剔除未被对应的键值对，并在剔除完成后，重新更新所述键值对指令集的键值编号得到标准日志指令集。
可选地，所述聚合分析包括：
根据所述标准日志指令集构建更新矩阵；
基于所述更新矩阵构建聚合分析模型矩阵；
基于所述聚合分析模型矩阵和所述日志标签集构建聚类目标函数；
优化所述聚类目标函数得到标准日志关系集。
此外，为实现上述目的，本发明还提供一种多系统的日志搜索装置，该装置包括存储器和处理器，所述存储器中存储有可在所述处理器上运行的多系统的日志搜索程序，所述多系统的日志搜索程序被所述处理器执行时实现如下步骤：
接收用户操作多个系统的操作指令集，基于预先构建的键值对生成模块对所述操作指令集进行键值对生成操作，得到键值对指令集；
对所述键值对指令集进行日志标签提取，得到日志标签集，对所述键值对指令集进行日志过滤及日志规范化，得到标准日志指令集；
将所述标准日志指令集和所述日志标签集进行聚合分析，得到标准日志关系集；
接收用户的查询请求，基于所述标准日志关系集搜索所述查询请求的结果，并输出所述搜索请求的结果。
可选地，所述预先构建的键值对生成模块包括时间排序子模块、单线程编号子模块和键值对存储子模块；
所述基于预先构建的键值对生成模块对所述操作指令集进行键值对生成操作，得到键值对指令集，包括：
基于所述时间排序子模块将所述操作指令集内的操作指令按照时间发生的先后顺序重新排序；
将所述重新排序后的操作指令集内的操作指令依次输入至所述单线程编号子模块，所述单线程编号子模块依次对每个操作指令进行编号得到操作指令与编号对应的键值对；
将所述键值对输入至所述键值对存储子模块得到键值对指令集。
可选地，所述对所述键值对指令集进行日志标签提取，得到日志标签集，包括：
预先定义日志关键字，根据所述日志关键字构建日志流程访问程序；
使用所述日志流程访问程序访问所述键值对指令集并提取日志关键字；
将提取出的所述日志关键字汇总得到日志标签集。
可选地，所述日志过滤及所述日志规范化包括：
预先构建匹配多系统日志的正则表达式；
通过所述正则表达式访问指定的系统日志文件夹匹配出应用程序日志和安全日志；
将所述应用程序日志和安全日志与所述键值对指令集进行一一对应操作；
所述一一对应操作完成后，从所述键值对指令集中剔除未被对应的键值对，并在剔除完成后，重新更新所述键值对指令集的键值编号得到标准日志指令集。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有多系统的日志搜索程序，所述多系统的日志搜索程序可被一个或者多个处理器执行，以实现如上所述的多系统的日志搜索方法的步骤。
本发明通过收集用户操作多个系统的操作指令集，将所述操作指令集进行日志提取的日志标签，并根据一系列操作得到日志指令集，同时将日志标签与日志指令集进行聚合分析达到标准供用户查询的标准日志关系集，用户根据所述标准日志关系集可进行高效的日志搜索。因此本发明提出的多系统的日志搜索方法、装置及计算机可读存储介质，可以实现低计算资源的日志搜索目的。
附图说明
图1为本发明一实施例提供的多系统的日志搜索方法的流程示意图；
图2为本发明一实施例提供的多系统的日志搜索装置的内部结构示意图；
图3为本发明一实施例提供的多系统的日志搜索装置中多系统的日志搜索程序的模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种多系统的日志搜索方法。参照图1所示，为本发明一实施例提供的多系统的日志搜索方法的流程示意图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。
在本实施例中，多系统的日志搜索方法包括：
S1、接收用户操作多个系统的操作指令集，基于预先构建的键值对生成模块对所述操作指令集进行键值对生成操作，得到键值对指令集。
优选地，所述多个系统是指多个联动的终端系统，所述终端系统如Windows系统、Linux系统、IOS系统、安卓系统等，所述联动是指所述终端系统之间需要进行数据交换操作，如用户A构建代码对自己的安卓手机和苹果手机的操作系统进行升级，因此使用Linux系统编写代码，并将所述代码放置于Windows系统进行调试，当调试成功后，又在Linux系统生成升级包，将所述升级包放置于自己的安卓手机和苹果手机中分别进行安卓系统和IOS系统的升级，因此整个过程涉及到Windows系统、Linux系统、IOS系统、安卓系统之间的联动。本发明所需要解决的问题就是如何在多个系统之间进行联动的同时，生成统一的日志集供用户搜索查看。
较佳地，所述操作指令集包括用户在多个系统中进行操作的操作指令，如将代码放置于Windows系统进行调试，所述调试包括编码、测试等过程，因此请求Windows系统编译所述代码，请求Windows系统测试所述代码都为操作请求，可包括至所述操作指令集内。
优选地，所述预先构建的键值对生成模块包括：时间排序子模块、单线程编号子模块和键值对存储子模块；
进一步地，基于预先构建的键值对生成模块对所述操作指令集进行键值对生成操作，得到键值对指令集，包括：基于所述时间排序子模块将所述操作指令集内的操作指令按照时间发生的先后顺序重新排序，将所述重新排序后的操作指令集内的操作指令依次输入至所述单线程编号子模块，所述单线程编号子模块依次对每个操作指令进行编号得到操作指令与编号对应的键值对，依次将所述键值对输入至所述键值对存储子模块得到键值对指令集。其中键为所述操作指令，值为所述编号。
如上述代码放置于Windows系统进行调试生成的键值对为：代码放置于Windows系统进行调试～2，其他键值对如：Linux系统编写代码～1；在Linux系统生成升级包～3，将所述升级包放置于安卓手机进行安卓系统升级～4，将所述升级包放置于苹果手机进行IOS系统的升级～5。
S2、对所述键值对指令集进行日志标签提取，得到日志标签集，将所述键值对指令集进行日志过滤及日志规范化，得到标准日志指令集。
优选地，对所述键值对指令集进行日志标签提取得到日志标签集包括：预先定义日志关键字，根据所述日志关键字构建日志流程访问程序，使用所述日志流程访问程序并基于所述键值对指令集查询并提取日志关键字，将提取出的所述日志关键字汇总得到日志标签集。
例如，在上述中将代码放置于Windows系统进行调试，所述预先定义日志关键字包括时间、IP地址、端口号、事件类型和协议等，通过所述预先构建的日志流程访问程序进入所述Windows系统查看所述调试过程的日志记录，从而提取出包括所述时间、IP地址、端口号、事件类型和协议等日志关键字，依次遍历所述键值对指令集并最终得到日志标签集。所述日志标签集是为了后续提供给用户进行快速查询的查询依据。
由于各类系统在结构和格式上均存在一定的差异，为了方便后续处理和分析，本发明得到所述日志标签集后，可按照统一的数据格式进行封装。较佳地可采用JSON数据格式进行封装处理，所述JSON数据格式是一种轻量级的数据交换格式，易于各种语言的解析和生成。
进一步地，由于所述键值对指令集包含了很多无用冗余的指令，因此需要对所述键值对指令集进行过滤及规范化，提高有用指令的收集。
较佳地，所述日志过滤及所述日志规范化包括：预先构建匹配多系统日志的正则表达式，通过所述正则表达式访问指定的系统日志文件夹匹配出所述多系统日志，将所述多系统日志与所述键值对指令集进行一一对应操作，当所述一一对应操作完成后，从所述键值对指令集中剔除未被对应的键值对，及在所述剔除完成后，重新更新所述键值对指令集的键值编号，完成所述日志过滤和所述日志规范化得到标准日志指令集。所述标准日志指令集包括了应用程序日志和安全日志的日志记录。
进一步地，所述多系统日志包括：系统更新日志、应用程序日志、安全日志，对于多系统的联动一般涉及到系统更新日志较少，所以所述日志过滤先剔除所述系统更新日志。
优选地，所述指定的系统日志文件夹根据系统不同文件夹的路径也不同，如Windows系统的日志文件夹在system32\config，Linux系统的日志文件夹在/var/log/。
进一步地，所述预先构建匹配应用程序日志和安全日志的正则表达式程序可基于大数据分析框架Spark进行操作，可有效提取所述日志过滤和所述日志规范化速度。
S3、对所述标准日志指令集和所述日志标签集进行聚合分析，得到标准日志关系集。
优选地，所述聚合分析是基于所述标准日志指令集进行聚合计算，如：找出某字段(或计算表达式的结果)的最大值、最小值，计算和、平均值等。
进一步地，所述聚合分析包括：根据所述标准日志指令集构建更新矩阵，基于所述更新矩阵构建聚合分析模型矩阵，基于所述聚合分析模型矩阵和所述日志标签集构建聚类目标函数，优化所述聚类目标函数得到标准日志关系集。
较佳地，所述更新矩阵为：
Figure BDA0002194252500000071
其中，Ub为所述更新矩阵，b为所述标准日志指令集，bj为所述标准日志指令集的指令数据，C为所述标准日志指令集的数据总量。
所述聚合分析模型矩阵为：
Figure BDA0002194252500000072
其中，
Figure BDA0002194252500000073
为所述聚合分析模型矩阵，xi为所述日志标签集的日志标签，n为所述聚合分析模型矩阵的矩阵规模。
所述优化所述聚类目标函数为：
Figure BDA0002194252500000074
其中，
Figure BDA0002194252500000075
为所述优化聚类目标函数，x为所述日志标签集，dj～k是优化矩阵，所述优化目的是求解最优化的优化矩阵，使得所述聚类目标函数最小，从而根据所述聚合分析模型矩阵得到所述标准日志关系集。
S4、接收用户的搜索请求，基于所述标准日志关系集查询所述搜索请求的结果，并输出所述搜索请求的结果。
如用户查询在上午时间段时所发生的异常崩溃次数，则根据所述标准日志关系集查询所述聚合分析模型矩阵的值，所述聚合分析模型矩阵的值反向推导求得所述更新矩阵，根据所述更新矩阵从所述标准日志指令集中提取出所有跟所述异常崩溃有关的日志并输出给用户。
发明还提供一种多系统的日志搜索装置。参照图2所示，为本发明一实施例提供的多系统的日志搜索装置的内部结构示意图。
在本实施例中，所述多系统的日志搜索装置1可以是PC(Personal Computer，个人电脑)，或者是智能手机、平板电脑、便携计算机等终端设备，也可以是一种服务器等。该多系统的日志搜索装置1至少包括存储器11、处理器12，通信总线13，以及网络接口14。
其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是多系统的日志搜索装置1的内部存储单元，例如该多系统的日志搜索装置1的硬盘。存储器11在另一些实施例中也可以是多系统的日志搜索装置1的外部存储设备，例如多系统的日志搜索装置1上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器11还可以既包括多系统的日志搜索装置1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于多系统的日志搜索装置1的应用软件及各类数据，例如多系统的日志搜索程序01的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行多系统的日志搜索程序01等。
通信总线13用于实现这些组件之间的连接通信。
网络接口14可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该装置1与其他电子设备之间建立通信连接。
可选地，该装置1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在多系统的日志搜索装置1中处理的信息以及用于显示可视化的用户界面。
图2仅示出了具有组件11-14以及多系统的日志搜索程序01的多系统的日志搜索装置1，本领域技术人员可以理解的是，图1示出的结构并不构成对多系统的日志搜索装置1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
在图2所示的装置1实施例中，存储器11中存储有多系统的日志搜索程序01；处理器12执行存储器11中存储的多系统的日志搜索程序01时实现如下步骤：
步骤一、接收用户操作多个系统的操作指令集，基于预先构建的键值对生成模块对所述操作指令集进行键值对生成操作，得到键值对指令集。
优选地，所述多个系统是指多个联动的终端系统，所述终端系统如Windows系统、Linux系统、IOS系统、安卓系统等，所述联动是指所述终端系统之间需要进行数据交换操作，如用户A构建代码对自己的安卓手机和苹果手机的操作系统进行升级，因此使用Linux系统编写代码，并将所述代码放置于Windows系统进行调试，当调试成功后，又在Linux系统生成升级包，将所述升级包放置于自己的安卓手机和苹果手机中分别进行安卓系统和IOS系统的升级，因此整个过程涉及到Windows系统、Linux系统、IOS系统、安卓系统之间的联动。本发明所需要解决的问题就是如何在多个系统之间进行联动的同时，生成统一的日志集供用户搜索查看。
较佳地，所述操作指令集包括用户在多个系统中进行操作的操作指令，如将代码放置于Windows系统进行调试，所述调试包括编码、测试等过程，因此请求Windows系统编译所述代码，请求Windows系统测试所述代码都为操作请求，可包括至所述操作指令集内。
优选地，所述预先构建的键值对生成模块包括：时间排序子模块、单线程编号子模块和键值对存储子模块；
进一步地，基于预先构建的键值对生成模块对所述操作指令集进行键值对生成操作，得到键值对指令集，包括：基于所述时间排序子模块将所述操作指令集内的操作指令按照时间发生的先后顺序重新排序，将所述重新排序后的操作指令集内的操作指令依次输入至所述单线程编号子模块，所述单线程编号子模块依次对每个操作指令进行编号得到操作指令与编号对应的键值对，依次将所述键值对输入至所述键值对存储子模块得到键值对指令集。其中键为所述操作指令，值为所述编号。
如上述代码放置于Windows系统进行调试生成的键值对为：代码放置于Windows系统进行调试～2，其他键值对如：Linux系统编写代码～1；在Linux系统生成升级包～3，将所述升级包放置于安卓手机进行安卓系统升级～4，将所述升级包放置于苹果手机进行IOS系统的升级～5。
步骤二、对所述键值对指令集进行日志标签提取，得到日志标签集，将所述键值对指令集进行日志过滤及日志规范化，得到标准日志指令集。
优选地，对所述键值对指令集进行日志标签提取得到日志标签集包括：预先定义日志关键字，根据所述日志关键字构建日志流程访问程序，使用所述日志流程访问程序并基于所述键值对指令集查询并提取日志关键字，将提取出的所述日志关键字汇总得到日志标签集。
例如，在上述中将代码放置于Windows系统进行调试，所述预先定义日志关键字包括时间、IP地址、端口号、事件类型和协议等，通过所述预先构建的日志流程访问程序进入所述Windows系统查看所述调试过程的日志记录，从而提取出包括所述时间、IP地址、端口号、事件类型和协议等日志关键字，依次遍历所述键值对指令集并最终得到日志标签集。所述日志标签集是为了后续提供给用户进行快速查询的查询依据。
由于各类系统在结构和格式上均存在一定的差异，为了方便后续处理和分析，本发明得到所述日志标签集后，可按照统一的数据格式进行封装。较佳地可采用JSON数据格式进行封装处理，所述JSON数据格式是一种轻量级的数据交换格式，易于各种语言的解析和生成。
进一步地，由于所述键值对指令集包含了很多无用冗余的指令，因此需要对所述键值对指令集进行过滤及规范化，提高有用指令的收集。
较佳地，所述日志过滤及所述日志规范化包括：预先构建匹配多系统日志的正则表达式，通过所述正则表达式访问指定的系统日志文件夹匹配出所述多系统日志，将所述多系统日志与所述键值对指令集进行一一对应操作，当所述一一对应操作完成后，从所述键值对指令集中剔除未被对应的键值对，及在所述剔除完成后，重新更新所述键值对指令集的键值编号，完成所述日志过滤和所述日志规范化得到标准日志指令集。所述标准日志指令集包括了应用程序日志和安全日志的日志记录。
进一步地，所述多系统日志包括：系统更新日志、应用程序日志、安全日志，对于多系统的联动一般涉及到系统更新日志较少，所以所述日志过滤先剔除所述系统更新日志。
优选地，所述指定的系统日志文件夹根据系统不同文件夹的路径也不同，如Windows系统的日志文件夹在system32\config，Linux系统的日志文件夹在/var/log/。
进一步地，所述预先构建匹配应用程序日志和安全日志的正则表达式程序可基于大数据分析框架Spark进行操作，可有效提取所述日志过滤和所述日志规范化速度。
步骤三、对所述标准日志指令集和所述日志标签集进行聚合分析，得到标准日志关系集。
优选地，所述聚合分析是基于所述标准日志指令集进行聚合计算，如：找出某字段(或计算表达式的结果)的最大值、最小值，计算和、平均值等。
进一步地，所述聚合分析包括：根据所述标准日志指令集构建更新矩阵，基于所述更新矩阵构建聚合分析模型矩阵，基于所述聚合分析模型矩阵和所述日志标签集构建聚类目标函数，优化所述聚类目标函数得到标准日志关系集。
较佳地，所述更新矩阵为：
Figure BDA0002194252500000111
其中，Ub为所述更新矩阵，b为所述标准日志指令集，bj为所述标准日志指令集的指令数据，C为所述标准日志指令集的数据总量。
所述聚合分析模型矩阵为：
其中，
Figure BDA0002194252500000113
为所述聚合分析模型矩阵，xi为所述日志标签集的日志标签，n为所述聚合分析模型矩阵的矩阵规模。
所述优化所述聚类目标函数为：
Figure BDA0002194252500000114
其中，
Figure BDA0002194252500000115
为所述优化聚类目标函数，x为所述日志标签集，dj～k是优化矩阵，所述优化目的是求解最优化的优化矩阵，使得所述聚类目标函数最小，从而根据所述聚合分析模型矩阵得到所述标准日志关系集。
步骤四、接收用户的搜索请求，基于所述标准日志关系集查询所述搜索请求的结果，并输出所述搜索请求的结果。
如用户查询在上午时间段时所发生的异常崩溃次数，则根据所述标准日志关系集查询所述聚合分析模型矩阵的值，所述聚合分析模型矩阵的值反向推导求得所述更新矩阵，根据所述更新矩阵从所述标准日志指令集中提取出所有跟所述异常崩溃有关的日志并输出给用户。
可选地，在其他实施例中，多系统的日志搜索程序还可以被分割为一个或者多个模块，一个或者多个模块被存储于存储器11中，并由一个或多个处理器(本实施例为处理器12)所执行以完成本发明，本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段，用于描述多系统的日志搜索程序在多系统的日志搜索装置中的执行过程。
例如，参照图3所示，为本发明多系统的日志搜索装置一实施例中的多系统的日志搜索程序的程序模块示意图，该实施例中，所述多系统的日志搜索程序可以被分割为键值对生成模块10、标准日志指令生成模块20、聚合分析模块30、搜索请求结果输出模块40示例性地：
所述键值对生成模块10用于：接收用户操作多个系统的操作指令集，基于预先构建的键值对生成模块对所述操作指令集进行键值对生成操作，得到键值对指令集。
所述标准日志指令生成模块20用于：对所述键值对指令集进行日志标签提取，得到日志标签集，对所述键值对指令集进行日志过滤及日志规范化，得到标准日志指令集。
所述聚合分析模块30用于：将所述标准日志指令集和所述日志标签集进行聚合分析，得到标准日志关系集。
所述搜索请求结果输出模块40用于：接收用户的查询请求，基于所述标准日志关系集搜索所述查询请求的结果，并输出所述搜索请求的结果。
上述键值对生成模块10、标准日志指令生成模块20、聚合分析模块30、搜索请求结果输出模块40等程序模块被执行时所实现的功能或操作步骤与上述实施例大体相同，在此不再赘述。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有多系统的日志搜索程序，所述多系统的日志搜索程序可被一个或多个处理器执行，以实现如下操作：
接收用户操作多个系统的操作指令集，基于预先构建的键值对生成模块对所述操作指令集进行键值对生成操作，得到键值对指令集。
对所述键值对指令集进行日志标签提取，得到日志标签集，对所述键值对指令集进行日志过滤及日志规范化，得到标准日志指令集。
将所述标准日志指令集和所述日志标签集进行聚合分析，得到标准日志关系集。
接收用户的查询请求，基于所述标准日志关系集搜索所述查询请求的结果，并输出所述搜索请求的结果。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种多系统的日志搜索方法，其特征在于，所述方法包括：
接收用户操作多个系统的操作指令集，基于预先构建的键值对生成模块对所述操作指令集进行键值对生成操作，得到键值对指令集；
将所述键值对指令集进行日志标签提取，得到日志标签集，对所述键值对指令集进行日志过滤及日志规范化，得到标准日志指令集；
将所述标准日志指令集和所述日志标签集进行聚合分析，得到标准日志关系集；
接收用户的查询请求，基于所述标准日志关系集搜索所述查询请求的结果，并输出所述查询请求的结果。
2.如权利要求1所述的多系统的日志搜索方法，其特征在于，所述预先构建的键值对生成模块包括时间排序子模块、单线程编号子模块和键值对存储子模块；
所述基于预先构建的键值对生成模块对所述操作指令集进行键值对生成操作，得到键值对指令集，包括：
基于所述时间排序子模块将所述操作指令集内的操作指令按照时间发生的先后顺序重新排序；
将所述重新排序后的操作指令集内的操作指令依次输入至所述单线程编号子模块，所述单线程编号子模块依次对每个操作指令进行编号得到操作指令与编号对应的键值对；
将所述键值对输入至所述键值对存储子模块得到键值对指令集。
3.如权利要求1或2所述的多系统的日志搜索方法，其特征在于，所述对所述键值对指令集进行日志标签提取，得到日志标签集，包括：
预先定义日志关键字，根据所述日志关键字构建日志流程访问程序；
使用所述日志流程访问程序访问所述键值对指令集并提取日志关键字；
将提取出的所述日志关键字汇总得到日志标签集。
4.如权利要求1所述的多系统的日志搜索方法，其特征在于，所述日志过滤及所述日志规范化包括：
预先构建匹配多系统日志的正则表达式；
通过所述正则表达式访问指定的系统日志文件夹匹配出所述多系统日志；
将所述多系统日志与所述键值对指令集进行一一对应操作；
所述一一对应操作完成后，从所述键值对指令集中剔除未被对应的键值对，并在剔除完成后，重新更新所述键值对指令集的键值编号得到标准日志指令集。
5.如权利要求1所述的多系统的日志搜索方法，其特征在于，所述聚合分析包括：
根据所述标准日志指令集构建更新矩阵；
基于所述更新矩阵构建聚合分析模型矩阵；
基于所述聚合分析模型矩阵和所述日志标签集构建聚类目标函数；
优化所述聚类目标函数得到标准日志关系集。
6.一种多系统的日志搜索装置，其特征在于，所述装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的多系统的日志搜索程序，所述多系统的日志搜索程序被所述处理器执行时实现如下步骤：
接收用户操作多个系统的操作指令集，基于预先构建的键值对生成模块对所述操作指令集进行键值对生成操作，得到键值对指令集；
对所述键值对指令集进行日志标签提取，得到日志标签集，对所述键值对指令集进行日志过滤及日志规范化，得到标准日志指令集；
将所述标准日志指令集和所述日志标签集进行聚合分析，得到标准日志关系集；
接收用户的查询请求，基于所述标准日志关系集搜索所述查询请求的结果，并输出所述搜索请求的结果。
7.如权利要求6所述的多系统的日志搜索装置，其特征在于，所述预先构建的键值对生成模块包括时间排序子模块、单线程编号子模块和键值对存储子模块；
所述基于预先构建的键值对生成模块对所述操作指令集进行键值对生成操作，得到键值对指令集，包括：
基于所述时间排序子模块将所述操作指令集内的操作指令按照时间发生的先后顺序重新排序；
将所述重新排序后的操作指令集内的操作指令依次输入至所述单线程编号子模块，所述单线程编号子模块依次对每个操作指令进行编号得到操作指令与编号对应的键值对；
将所述键值对输入至所述键值对存储子模块得到键值对指令集。
8.如权利要求6或7所述的多系统的日志搜索装置，其特征在于，所述对所述键值对指令集进行日志标签提取，得到日志标签集，包括：
预先定义日志关键字，根据所述日志关键字构建日志流程访问程序；
使用所述日志流程访问程序访问所述键值对指令集并提取日志关键字；
将提取出的所述日志关键字汇总得到日志标签集。
9.如权利要求6中所述的多系统的日志搜索装置，其特征在于，所述日志过滤及所述日志规范化包括：
预先构建匹配多系统日志的正则表达式；
通过所述正则表达式访问指定的系统日志文件夹匹配出应用程序日志和安全日志；
将所述应用程序日志和安全日志与所述键值对指令集进行一一对应操作；
所述一一对应操作完成后，从所述键值对指令集中剔除未被对应的键值对，并在剔除完成后，重新更新所述键值对指令集的键值编号得到标准日志指令集。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有多系统的日志搜索程序，所述多系统的日志搜索程序可被一个或者多个处理器执行，以实现如权利要求1至5中任一项所述的多系统的日志搜索方法的步骤。
CN201910850456.XA 2019-09-06 2019-09-06 多系统的日志搜索方法、装置及计算机可读存储介质 Pending CN110737707A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910850456.XA CN110737707A (zh) 2019-09-06 2019-09-06 多系统的日志搜索方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910850456.XA CN110737707A (zh) 2019-09-06 2019-09-06 多系统的日志搜索方法、装置及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN110737707A true CN110737707A (zh) 2020-01-31

Family

ID=69267865

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910850456.XA Pending CN110737707A (zh) 2019-09-06 2019-09-06 多系统的日志搜索方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110737707A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111339063A (zh) * 2020-03-02 2020-06-26 中国平安人寿保险股份有限公司 假设数据智能管理方法、装置及计算机可读存储介
CN113297040A (zh) * 2020-07-27 2021-08-24 阿里巴巴集团控股有限公司 洞察数据的确定方法和装置，计算机存储介质和电子设备
CN116010350A (zh) * 2023-03-24 2023-04-25 深圳万物安全科技有限公司 二进制日志检索方法、系统、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100082582A1 (en) * 2008-10-01 2010-04-01 Microsoft Corporation Combining log-based rankers and document-based rankers for searching
CN109617726A (zh) * 2018-12-14 2019-04-12 深圳壹账通智能科技有限公司 错误日志采集方法及服务器
CN109726209A (zh) * 2018-09-07 2019-05-07 网联清算有限公司 日志聚合方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100082582A1 (en) * 2008-10-01 2010-04-01 Microsoft Corporation Combining log-based rankers and document-based rankers for searching
CN109726209A (zh) * 2018-09-07 2019-05-07 网联清算有限公司 日志聚合方法及装置
CN109617726A (zh) * 2018-12-14 2019-04-12 深圳壹账通智能科技有限公司 错误日志采集方法及服务器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
骆克云;叶保留;唐斌;梅峰;卢文达;: "基于增量学习的RocksDB键值系统主动缓存机制", 计算机应用, no. 02 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111339063A (zh) * 2020-03-02 2020-06-26 中国平安人寿保险股份有限公司 假设数据智能管理方法、装置及计算机可读存储介
CN113297040A (zh) * 2020-07-27 2021-08-24 阿里巴巴集团控股有限公司 洞察数据的确定方法和装置，计算机存储介质和电子设备
CN116010350A (zh) * 2023-03-24 2023-04-25 深圳万物安全科技有限公司 二进制日志检索方法、系统、设备及存储介质

Similar Documents

Publication Publication Date Title
CN109947789B (zh) 一种多数据库的数据处理的方法、装置、计算机设备及存储介质
JP5298117B2 (ja) 分散コンピューティングにおけるデータマージング
CN109471857B (zh) 基于sql语句的数据修改方法、装置及存储介质
US20190138498A1 (en) Resolving in-memory foreign keys in transmitted data packets from single-parent hierarchies
CN112559354A (zh) 前端代码规范检测方法、装置、计算机设备及存储介质
CN112052138A (zh) 业务数据质量检测方法、装置、计算机设备及存储介质
US20150089415A1 (en) Method of processing big data, apparatus performing the same and storage media storing the same
CN110737707A (zh) 多系统的日志搜索方法、装置及计算机可读存储介质
US9706005B2 (en) Providing automatable units for infrastructure support
CN117033249A (zh) 一种测试用例生成方法、装置、计算机设备及存储介质
CN110727425A (zh) 电子装置、表单数据校验方法和计算机可读存储介质
CN103077192A (zh) 一种数据处理方法及其系统
CN111159213A (zh) 一种数据查询方法、装置、系统和存储介质
CN107679055B (zh) 信息检索方法、服务器及可读存储介质
CN110764746B (zh) 脚本生成方法、装置及计算机可读存储介质
CN112699027A (zh) 一种接口测试方法、装置、设备及可读存储介质
CN110874365A (zh) 一种信息查询方法及其相关设备
CN111158777A (zh) 组件调用方法、装置及计算机可读存储介质
CN116627778A (zh) 业务系统性能监控方法、装置、计算机设备及存储介质
CN114371886A (zh) 前端框架组件转换方法、装置、计算机设备及存储介质
CN112527880B (zh) 大数据集群元数据信息的采集方法、装置、设备及介质
CN116302847B (zh) 异常信息的动态采集方法、装置、计算机设备及介质
CN114254081B (zh) 企业大数据搜索系统、方法及电子设备
CN113590188A (zh) 一种应用程序崩溃堆栈聚合的方法、装置及存储介质
CN115328920A (zh) 批量数据异常处理方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200131