CN115203014A - 一种基于深度学习的生态服务异常修复系统及修复方法 - Google Patents

Abstract

本发明是一种基于深度学习的生态服务异常修复系统及其修复方法。本发明涉及服务异常修复技术领域，日志模块用于日志的采集和分析，为模型训练模块初步筛选异常信息数据；所述模型训练模块用于模型设计和模型训练，为匹配异常修复方法提供判断依据；所述异常修复模块用于方法构建和方法匹配，为代码发布和测试提供修复方案；所述代码发布测试模块用于代码发布和测试验证，以保证通过异常匹配出来的修复的正确可靠。本发明提供了一种基于深度学习的生态服务异常修复系统，将车端访问云端生态服务的异常记录、云端自建的生态服务异常修复方法库、测试脚本、云端代码管理发布系统整合到一起。

Description

一种基于深度学习的生态服务异常修复系统及修复方法

技术领域

本发明涉及在深度学习异常修复技术领域，是一种基于深度学习的生态服务异常修复系统及修复方法。

背景技术

随着汽车产业不断发展，汽车座舱已经逐渐成为一个融合多生态服务的载体，用户可以在车内享受到越来越多的功能，但是功能的稳定性是非常重要的，用户在用车过程中精神相对紧张，一旦遇到功能性问题会导致用户的情绪产生波动，所以如何保证生态服务功能的稳定性是非常重要的。

本发明要解决的技术问题：目前的生态服务系统，涉及到的微服务以及代码数量很庞大，同时市场的存量车也越来越多，而生态服务包括导航、音乐、视频、电台等等，又是车上的高频次使用功能，一旦出现服务异常必须要尽快的解决，以规避同类的问题出现。现有的运维体系中，需要通过人工监控异常或由售后输入问题，再进行异常的分析和修复，时效性不足。

目前对异常修复的普遍实现方案都是需要运维人员与开发人员手动完成，尚未形成成熟可靠的自动化系统。

专利文献1(CN113240011A)涉及数据处理领域，具体涉及一种深度学习驱动的异常识别与修复方法及智能化系统。包括以下步骤：S1：数据结构识别，S2：数据特征变换，S3：训练异常检测和修复神经网络，S4：异常数据识别与异常修复，S5：数据特征还原。采用深度学习方法，对每个特征使用双分量混合模型，其中一个分量用于解释干净单元(即正常值)，另一个分量用于解释异常单元(即异常值)；通过降低异常单元的影响来模拟潜在的正常数据分布，为数据单元提供异常值分数和对单元修复的估计；将变分自编码器和生成对抗网络两个深度生成模型进行结合，有利于生成更好的修复结果；最终实现利用无监督学习方式对混合属性数据进行cell-level(单元级别)的异常识别及修复。

专利文献2(CN110991659A)提供了一种异常节点识别方法、装置、电子设备及存储介质，上述方法包括：将测试图像的特征数据输入待识别深度学习模型，待识别深度学习模型包括多个节点，在待识别深度学习模型对特征数据进行处理的过程中，监控多个节点中的指定节点的处理时长，指定节点的处理时长为指定节点对所接收的数据进行处理的时长，当指定节点的处理时长大于预设时长阈值时，确定指定节点为异常节点。从深度学习模型包含的多个节点中识别出异常节点，并且在识别到异常节点后，可以通过对异常节点做进一步处理，深入进行深度学习模型推理加速性能方法的研究，实现加快深度学习模型的运行速度。

专利文献3(CN111552609A)服务器故障处理技术领域，公开了一种异常状态检测方法、系统、存储介质、程序、服务器，对LSTM1进行无监督学习，对LSTM2进行有监督学习，与利用日志信息快速解决服务器故障；采用LSTM1循环神经网络对具有时序特点的日志信息进行预测，通过识别日志信息的异常出现来发出警报，并辅助运维人员检查故障原因；LSTM2则通过故障发生前的一段时间内的日志信息来给出造成当前情况的故障原因。

发明内容

本发明为克服现有技术的不足，本发明提供了一种基于深度学习的生态服务异常修复系统及修复方法，本发明提供了以下技术方案：

一种基于深度学习的生态服务异常修复系统，所述系统包括：

日志模块，所述日志模块用于日志的采集和分析，为模型训练模块初步筛选异常信息数据；

模型训练模块，所述模型训练模块用于模型设计和模型训练，为匹配异常修复方法提供判断依据；

异常修复模块，所述异常修复模块用于方法构建和方法匹配，为代码发布和测试提供修复方案；所述模型训练模块模型进行网络结构的选择以及损失函数的确定，网络结构选择RNN/LSTM神经网络；

代码发布测试模块，所述代码发布测试模块用于代码发布和测试验证，以保证通过异常匹配出来的修复的正确可靠。

优选地，所述日志模块根据需求设计出需要采集的数据，并形成数据模型，然后在生态服务中的各个异常捕捉逻辑中实现埋点；

所述日志模块在数据采集时基于kafka实现，将各个生态服务中产生的埋点日志数据实时的同步到数据存储模块；

所述日志模块进行数据存储，将kafka同步过来的日志数据，进行持久化保存，保存时间可根据资源进行调整，要对历史数据进行归纳压缩处理。

优选地，所述日志模块进行日志分类，将持久化的日志根据服务名、日志等级、日志获取时间、日志信息中的异常类型等进行初步的分类；并进行日志排序：优先根据异常类型进行排序，筛选需要优先处理的异常，其次根据服务名进行排序，筛选服务质量不稳定的生态服务进行优化；最终进行日志结果输出：将排序后的高频次异常信息输入模型训练模块。

优选地，所述损失函数的确定具体为：先根据输入日志信息正向得到预测的修复方法选择，然后根据预测结果和模型实际输出结果计算损失，然后根据损失更新参数，选择标准的交叉熵损失函数：

其中，x表示样本，y表示实际的标签，a表示预测的输出，n表示样本总数量。

优选地，所述异常修复模块进行方法构建、异常与方法匹配，方法构建需要通过原始输入、生成字典表、方法矫正实现：原始输入：方法库初建需要开发人员根据经验，输入一批常见的异常的处理方法；字典：根据输入的方法，提取关键信息，例如异常种类，方法注释等信息，生成对应的字段表供匹配使用；方法矫正：根绝测试验证的结果，修整测试结果未通过的方法；

异常与方法匹配，采取常见相似度筛选，当模型输出结果和方法库的字典表中的数据相似度大于90％，即使用对应的方法。

优选地，代码发布测试模块通过提交代码和自动发布，提交代码，通过在系统中预授权git权限，使系统可以上传修改完异常的代码；自动发布，基于Jenkins流水线实现，git中代码发生变化时，Jenkins会进行打包发布；

测试验证通过监控服务状态、触发测试、判断结果实现：监控服务状态，启用监听器对生态服务集群进行服务状态监听，有服务进行重启发布之后，通知触发测试；触发测试，根据监听状态传递的结果，调用对应的全量脚本进行功能测试；判断结果，根据脚本的测试结果以及预设的测试结果判定是否完成修复，将结果反馈给模型训练模块。

一种基于深度学习的生态服务异常修复方法，所述方法包括以下步骤：

步骤1：进行日志的采集和分析，为模型训练模块初步筛选异常信息数据；

所述日志模块根据需求设计出需要采集的数据，并形成数据模型，然后在生态服务中的各个异常捕捉逻辑中实现埋点；

所述日志模块在数据采集时基于kafka实现，将各个生态服务中产生的埋点日志数据实时的同步到数据存储模块；

所述日志模块进行数据存储，将kafka同步过来的日志数据，进行持久化保存，保存时间可根据资源进行调整，要对历史数据进行归纳压缩处理

步骤2：进行模型设计和模型训练，为匹配异常修复方法提供判断依据；

模型训练优化需要不断优化算法，并对资源配置进行调整；优化算法使用Adam，基于动量和自适应学习率进行优化算法；资源配置根据模型运行的实际情况进行分配；

步骤3：所述异常修复模块用于方法构建和方法匹配，为代码发布和测试提供修复方案，所述异常修复模块进行方法构建、异常与方法匹配，方法构建需要通过原始输入、生成字典表、方法矫正实现；

步骤4：进行代码发布和测试验证，以保证通过异常匹配出来的修复的正确可靠。

一种车辆，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现基于深度学习的生态服务异常修复方法。

一种计算机可读存储介质，其上存储有计算机程序该程序被处理器执行，以用于实现基于深度学习的生态服务异常修复方法。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现基于深度学习的生态服务异常修复方法。

本发明具有以下有益效果：

本发明提供了一种基于深度学习的生态服务异常修复系统，将车端访问云端生态服务的异常记录、云端自建的生态服务异常修复方法库、测试脚本、云端代码管理发布系统整合到一起，基于深度学习的训练模型实现对生态服务的异常自动修复、自动测试和自动发布。

本发明将日志中的大量真实数据，输入到预设的模型中，同时根据日志数据正向计算的结果对模型进行校验和优化，再根据模型的最终输出匹配最优的修复方法，对出现异常的代码逻辑进行自动化修复，之后通过代码发布流水线提交代码，进行测试验证，验证完成后部署到生产环境。

本发明的目的：全天候全时段地应对异常修复需求，及时处理生态服务出现的异常，避免由一个异常导致更多的市场问题出现，实现异常分析、异常修复、代码发布、测试回归的自动化流程。系统整体分为四个模块，分别是日志模块，模型训练模块，异常修复方法库以及代码发布测试模块。

专利1和本发明都基于深度学习对异常进行分析，专利1应用于异常的数据监测，本发明引入异常修复方法库以及代码发布验证模块对生态服务进行自动化异常修复。专利2基于深度学习对图像类的特征数据处理过程中的异常节点进行识别，本发明基于文本型的日志信息数据对深度学习模型进行训练，完成生态服务的自动化异常修复。专利3与本发明都基于深度学习进行故障处理，专利3用于预警以及辅助运维人员排查故障，本发明基于异常分析结果、异常修复方法库以及代码发布验证模块对生态服务进行自动化异常修复。

优点：

1、基于埋点和实时传输采集的日志模块，通过采集真实日志信息以及初步的日志信息过滤，在输入训练模型之前保障了源数据的有效性；

2、基于深度学习的模型训练模块，对模型不断优化迭代，可以使得模型输出结果的准确性大幅度提高；

3、基于字典表以及相似度匹配机制的异常修复方法库和基于自动发布和测试验证的代码发布测试模块，可以有效的解放人力，将易出现的常规异常通过服务器进行全天候全时段地处理；

4、整个系统上线之后，可以有效降低市场的抱怨，提前规避同类问题引发的市场问题投诉。

附图说明

图1为一种基于深度学习的生态服务异常修复系统架构示意图；

图2为日志模块的结构示意图；

图3为模型训练模块的结构示意图；

图4为异常修复模块的结构示意图；

图5为代码发布和测试模块的结构示意图

具体实施方式

以下结合具体实施例，对本发明进行了详细说明。

具体实施例一：

根据图1至图5所示，本发明为解决上述技术问题采取的具体优化技术方案是：本发明涉及一种基于深度学习的生态服务异常修复系统及修复方法。图1为本发明实施例的一种基于深度学习的生态服务异常修复系统架构示意图

一种基于深度学习的生态服务异常修复系统，所述系统包括：

日志模块，所述日志模块用于日志的采集和分析，为模型训练模块初步筛选异常信息数据

模型训练模块，所述模型训练模块用于模型设计和模型训练，为匹配异常修复方法提供判断依据

异常修复模块，所述异常修复模块用于方法构建和方法匹配，为代码发布和测试提供修复方案

代码发布测试模块，所述代码发布测试模块用于代码发布和测试验证，以保证通过异常匹配出来的修复的正确可靠。

具体实施例二：

本申请实施例二与实施例一的区别仅在于：

图2为本发明实施例的日志模块的结构示意图，请参阅图2。

所述日志模块根据需求设计出需要采集的数据，并形成数据模型，然后在生态服务中的各个异常捕捉逻辑中实现埋点；

所述日志模块在数据采集时基于kafka实现，将各个生态服务中产生的埋点日志数据实时的同步到数据存储模块；

所述日志模块进行数据存储，将kafka同步过来的日志数据，进行持久化保存，保存时间可根据资源进行调整，要对历史数据进行归纳压缩处理。

具体实施例三：

本申请实施例三与实施例二的区别仅在于：

所述日志模块进行日志分类，将持久化的日志根据服务名、日志等级、日志获取时间、日志信息中的异常类型等进行初步的分类；并进行日志排序：优先根据异常类型进行排序，筛选需要优先处理的异常，其次根据服务名进行排序，筛选服务质量不稳定的生态服务进行优化；最终进行日志结果输出：将排序后的高频次异常信息输入模型训练模块。

具体实施例四：

本申请实施例四与实施例三的区别仅在于：

图3为本发明实施例的模型训练模块的结构示意图，请参阅图3。

模型训练模块包括两类功能：模型设计和模型优化。

模型设计的实现需要进行网络结构的选择以及损失函数的设计：1、网络结构即网络结构指的就是神经网络算法中的网络框架，本系统中由于需要基于大量的日志信息文本进行模型训练，所以选择RNN/LSTM神经网络；

具体实施例五：

本申请实施例五与实施例四的区别仅在于：

损失函数：损失函数的作用是在众多的参数取值中，识别出最优的参数，所述损失函数的确定具体为：先根据输入日志信息正向得到预测的修复方法选择，然后根据预测结果和模型实际输出结果计算损失，然后根据损失更新参数，选择标准的交叉熵损失函数：

其中，x表示样本，y表示实际的标签，a表示预测的输出，n表示样本总数量。

模型训练优化的实现需要不断优化算法，并对资源配置进行调整。优化算法使用Adam，基于动量和自适应学习率进行优化算法。资源配置根据模型运行的实际情况进行分配即可。

具体实施例六：

本申请实施例六与实施例五的区别仅在于：

所述异常修复模块进行方法构建、异常与方法匹配，方法构建需要通过原始输入、生成字典表、方法矫正实现：原始输入：方法库初建需要开发人员根据经验，输入一批常见的异常的处理方法；字典：根据输入的方法，提取关键信息，例如异常种类，方法注释等信息，生成对应的字段表供匹配使用；方法矫正：根绝测试验证的结果，修整测试结果未通过的方法；

异常与方法匹配，采取常见相似度筛选，当模型输出结果和方法库的字典表中的数据相似度大于90％，即使用对应的方法。

具体实施例七：

本申请实施例七与实施例六的区别仅在于：

代码发布测试模块通过提交代码和自动发布，提交代码，通过在系统中预授权git权限，使系统可以上传修改完异常的代码；自动发布，基于Jenkins流水线实现，git中代码发生变化时，Jenkins会进行打包发布；

测试验证通过监控服务状态、触发测试、判断结果实现：监控服务状态，启用监听器对生态服务集群进行服务状态监听，有服务进行重启发布之后，通知触发测试；触发测试，根据监听状态传递的结果，调用对应的全量脚本进行功能测试；判断结果，根据脚本的测试结果以及预设的测试结果判定是否完成修复，将结果反馈给模型训练模块。

本发明提供了一种基于深度学习的生态服务异常修复系统的方案，整合了日志信息、模型训练、方法库、测试验证多个模块形成一整套完整的自动化修复异常的方案，可以有效的解决运维与开发人力资源的问题。

具体实施例八：

本申请实施例八与实施例七的区别仅在于：

一种基于深度学习的生态服务异常修复方法，所述方法包括以下步骤：

步骤1：进行日志的采集和分析，为模型训练模块初步筛选异常信息数据；

所述日志模块根据需求设计出需要采集的数据，并形成数据模型，然后在生态服务中的各个异常捕捉逻辑中实现埋点；

所述日志模块在数据采集时基于kafka实现，将各个生态服务中产生的埋点日志数据实时的同步到数据存储模块；

所述日志模块进行数据存储，将kafka同步过来的日志数据，进行持久化保存，保存时间可根据资源进行调整，要对历史数据进行归纳压缩处理

步骤2：进行模型设计和模型训练，为匹配异常修复方法提供判断依据；

模型训练优化需要不断优化算法，并对资源配置进行调整；优化算法使用Adam，基于动量和自适应学习率进行优化算法；资源配置根据模型运行的实际情况进行分配；

步骤3：所述异常修复模块用于方法构建和方法匹配，为代码发布和测试提供修复方案，所述异常修复模块进行方法构建、异常与方法匹配，方法构建需要通过原始输入、生成字典表、方法矫正实现；

步骤4：进行代码发布和测试验证，以保证通过异常匹配出来的修复的正确可靠。

具体实施例九：

本申请实施例九与实施例八的区别仅在于：

本发明提供一种车辆，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现基于深度学习的生态服务异常修复方法。

具体实施例十：

本申请实施例十与实施例九的区别仅在于：

本发明提供一种计算机可读存储介质，其上存储有计算机程序该程序被处理器执行，以用于实现基于深度学习的生态服务异常修复方法。

具体实施例十一：

本申请实施例十一与实施例十的区别仅在于：

本发明提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现基于深度学习的生态服务异常修复方法。

具体实施例十二：

本申请实施例十二与实施例十一的区别仅在于：

本发明提供的一种远程遥控泊车系统，包括：日志模块，主要用于日志的采集和分析，为模型训练模块初步筛选异常信息数据；模型训练模块，主要用于模型设计和模型训练，为匹配异常修复方法提供判断依据；异常修复方法库，主要用于方法构建和方法匹配，为代码发布和测试提供修复方案；代码发布和验证模块，主要用于代码发布和测试验证，以保证通过异常匹配出来的修复方法的正确可靠。

以上所述仅是一种基于深度学习的生态服务异常修复系统及修复方法的优选实施方式，一种基于深度学习的生态服务异常修复系统及修复方法的保护范围并不仅局限于上述实施例，凡属于该思路下的技术方案均属于本发明的保护范围。应当指出，对于本领域的技术人员来说，在不脱离本发明原理前提下的若干改进和变化，这些改进和变化也应视为本发明的保护范围。

Claims (10)

1.一种基于深度学习的生态服务异常修复系统，其特征是：所述系统包括：

日志模块，所述日志模块用于日志的采集和分析，为模型训练模块初步筛选异常信息数据；

模型训练模块，所述模型训练模块用于模型设计和模型训练，为匹配异常修复方法提供判断依据；

异常修复模块，所述异常修复模块用于方法构建和方法匹配，为代码发布和测试提供修复方案；所述模型训练模块模型进行网络结构的选择以及损失函数的确定，网络结构选择RNN/LSTM神经网络；

代码发布测试模块，所述代码发布测试模块用于代码发布和测试验证，以保证通过异常匹配出来的修复的正确可靠。

2.根据权利要求1所述的一种基于深度学习的生态服务异常修复系统，其特征是：所述日志模块根据需求设计出需要采集的数据，并形成数据模型，然后在生态服务中的各个异常捕捉逻辑中实现埋点；

所述日志模块在数据采集时基于kafka实现，将各个生态服务中产生的埋点日志数据实时的同步到数据存储模块；

所述日志模块进行数据存储，将kafka同步过来的日志数据，进行持久化保存，保存时间可根据资源进行调整，要对历史数据进行归纳压缩处理。

3.根据权利要求2所述的一种基于深度学习的生态服务异常修复系统，其特征是：所述日志模块进行日志分类，将持久化的日志根据服务名、日志等级、日志获取时间、日志信息中的异常类型等进行初步的分类；并进行日志排序：优先根据异常类型进行排序，筛选需要优先处理的异常，其次根据服务名进行排序，筛选服务质量不稳定的生态服务进行优化；最终进行日志结果输出：将排序后的高频次异常信息输入模型训练模块。

4.根据权利要求3所述的一种基于深度学习的生态服务异常修复系统，其特征是：所述损失函数的确定具体为：先根据输入日志信息正向得到预测的修复方法选择，然后根据预测结果和模型实际输出结果计算损失，然后根据损失更新参数，选择标准的交叉熵损失函数：

其中，x表示样本，y表示实际的标签，a表示预测的输出，n表示样本总数量。

5.根据权利要求4所述的一种基于深度学习的生态服务异常修复系统，其特征是：

所述异常修复模块进行方法构建、异常与方法匹配，方法构建需要通过原始输入、生成字典表、方法矫正实现：原始输入：方法库初建需要开发人员根据经验，输入一批常见的异常的处理方法；字典：根据输入的方法，提取关键信息，例如异常种类，方法注释等信息，生成对应的字段表供匹配使用；方法矫正：根绝测试验证的结果，修整测试结果未通过的方法；

异常与方法匹配，采取常见相似度筛选，当模型输出结果和方法库的字典表中的数据相似度大于90％，即使用对应的方法。

6.根据权利要求5所述的一种基于深度学习的生态服务异常修复系统，其特征是：代码发布测试模块通过提交代码和自动发布，提交代码，通过在系统中预授权git权限，使系统可以上传修改完异常的代码；自动发布，基于Jenkins流水线实现，git中代码发生变化时，Jenkins会进行打包发布；

测试验证通过监控服务状态、触发测试、判断结果实现：监控服务状态，启用监听器对生态服务集群进行服务状态监听，有服务进行重启发布之后，通知触发测试；触发测试，根据监听状态传递的结果，调用对应的全量脚本进行功能测试；判断结果，根据脚本的测试结果以及预设的测试结果判定是否完成修复，将结果反馈给模型训练模块。

7.一种基于深度学习的生态服务异常修复方法，其特征是：所述方法包括以下步骤：

步骤1：进行日志的采集和分析，为模型训练模块初步筛选异常信息数据；

所述日志模块根据需求设计出需要采集的数据，并形成数据模型，然后在生态服务中的各个异常捕捉逻辑中实现埋点；

所述日志模块在数据采集时基于kafka实现，将各个生态服务中产生的埋点日志数据实时的同步到数据存储模块；

所述日志模块进行数据存储，将kafka同步过来的日志数据，进行持久化保存，保存时间可根据资源进行调整，要对历史数据进行归纳压缩处理

步骤2：进行模型设计和模型训练，为匹配异常修复方法提供判断依据；

模型训练优化需要不断优化算法，并对资源配置进行调整；优化算法使用Adam，基于动量和自适应学习率进行优化算法；资源配置根据模型运行的实际情况进行分配；

步骤3：所述异常修复模块用于方法构建和方法匹配，为代码发布和测试提供修复方案，所述异常修复模块进行方法构建、异常与方法匹配，方法构建需要通过原始输入、生成字典表、方法矫正实现；

步骤4：进行代码发布和测试验证，以保证通过异常匹配出来的修复的正确可靠。

8.一种车辆，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求7所述的基于深度学习的生态服务异常修复方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求7所述的基于深度学习的生态服务异常修复方法。

10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征是：所述处理器执行所述计算机程序时实现如权利要求7所述的基于深度学习的生态服务异常修复方法。

Images