CN114219040A - 作业运行结果预测的方法、装置及处理器 - Google Patents

Abstract

本申请实施例提供一种作业运行结果预测的方法、装置及处理器。该方法包括：获取作业链路关系上的数据样本的特征属性，以形成训练样本集合；基于训练样本集合生成朴素贝叶斯分类器；根据所述朴素贝叶斯分类器，对当下作业执行完成时间进行分类，得到输出值；根据所述输出值，判断是否需要人工处理。通过本申请的技术方案，预判超时运行作业的最终执行结果，对于预判执行失败的作业，输出初步分析结果。减少人为干预作业。

Description

作业运行结果预测的方法、装置及处理器

技术领域

本申请涉及大数据技术领域，具体涉及一种作业运行结果预测的方法、装置及处理器。

背景技术

随着批量处理作业数量日趋庞大，作业间的依赖关系也错综复杂，某个作业运行出现超时导致其下游作业无法正常运行和无法在预计时间完成时，系统往往无法识别超时的作业是否运行正常或者异常。通常，如果作业运行异常结束，触发告警为应急处理；但是如果作业被正常执行，只是在预计时间没有运行完成，并无有效方法确认超时作业是否需要人工介入排查，或判断作业是否还在正常运行；现有作业的运行情况基于多方因素触发，对于未在约定时间完成执行的作业采用一刀切的方式统一触发告警，人工即刻加入干预和排查，缺乏对超时运行作业的分析和预判。

发明内容

本发明提出一种作业运行结果预测的方法、装置及处理器，基于朴素贝叶斯理论的有监督学习算法，建立预测模型，通过工具自动判断超时运行作业的合理性，减少人为处理和干预作业的执行。

为了实现上述目的，本申请第一方面提供一作业运行结果预测方法，包括：获取作业链路关系上的数据样本的特征属性，以形成训练样本集合；基于训练样本集合生成朴素贝叶斯分类器；根据所述朴素贝叶斯分类器，对当下作业执行完成时间进行分类，得到输出值；根据所述输出值，判断是否需要人工处理。

在本申请实施例中，述特征属性包括：历史作业完成时长是否超出底线时间；调度执行机资源是否低于阈值；跑批数据量是否高于阈值；依赖作业文件是否到达；作业依赖表是否有锁等待。

进一步地，获取作业链路关系上的数据样本的特征属性，以形成训练样本集合，包括：根据所述历史作业完成时间是否超出底线时间，对每个数据样本赋予分类标签，包括：标签0为底线时间之前结束；标签1为底线时间之后结束。

进一步地，基于训练样本集合生成朴素贝叶斯分类器，包括：计算所述特征属性的每个类别在所述训练样本集合中的出现频率；基于所述出现频率计算每个特征属性划分对每个类别的条件概率；存储计算结果。

进一步地，计算所述特征属性的每个类别在所述训练样本集合中的出现频率，包括：计算历史作业完成时长超出底线时间的概率和历史作业完成时长没超出底线时间的概率；计算调度执行机资源低于阈值的概率和调度执行机资源不低于阈值的概率；计算跑批数据量高于阈值的概率和跑批数据量不高于阈值的概率；计算依赖作业文件到达的概率和依赖作业文件没有到达的概率；计算作业依赖表有锁等待的概率和作业依赖表没有锁等待的概率。

进一步地，基于所述出现频率计算每个特征属性划分对每个类别的条件概率，包括：在所述调度执行机资源不低于阈值的概率发生的条件下，计算历史作业完成时长超出底线时间的概率和历史作业完成时长没超出底线时间的概率。

进一步地，根据所述朴素贝叶斯分类器，对当下作业执行完成时间进行分类，得到输出值，包括：将所述当下作业执行完成时间分为预期完成时间和底线完成时间；对超出所述预期完成时间完成的作业进行标签分类，包括：如果计算超出所述预期完成时间但没有超出底线完成时间的概率大于第一阈值概率，设置输出值为0；如果计算超出所述预期完成时间但没有超出底线完成时间的概率不大于第一阈值概率，设置输出值为1；其中输入值为当前作业链路关系上的数据样本的特征属性；所述预期完成时间小于所述底线完成时间。

进一步地，根据所述输出值，判断是否需要人工处置，包括：所述输出为0表示不需要人工介入干预作业执行；所述输出为1表示需要人工介入应急处置。

进一步地，所述获取作业链路关系上的数据样本的特征属性，包括：通过识别末端作业，在数据库中轮询所述末端作业的上游依赖作业；递归批量作业的依赖关系，其中，对所述依赖关系中的各作业按照特定文件格式存储；解析生成的作业文件，将所述各作业分配到多叉树中；依据所述多叉树获取作业链路关系；查询作业历史运行数据，获取数据样本的特征属性。

通过上述的方法，基于朴素贝叶斯算法分类器，能够通过提前建立好的作业执行预测模型，预判超时运行作业的最终执行结果，对于预判执行失败的作业，输出初步分析结果。减少人为干预作业和分析。

本申请第二方面提供一种作业运行结果预测的装置，包括：第一模块，用于获取作业链路关系上的数据样本的特征属性，以形成训练样本集合，其中所述特征属性包括：历史作业完成时长是否超出底线时间；调度执行机资源是否低于阈值；跑批数据量是否高于阈值；依赖作业文件是否到达；作业依赖表是否有锁等待；第二模块，用于基于训练样本集合生成朴素贝叶斯分类器；第三模块，用于根据所述朴素贝叶斯分类器，对当下作业执行完成时间进行分类，得到输出值；以及第四模块，用于根据所述输出值，判断是否需要人工处理。

进一步地，所述第一模块被配置为：根据历史作业完成时间是否超出底线时间，对每个数据样本赋予分类标签，包括：标签0为底线时间之前结束；标签1为底线时间之后结束。

进一步地，所述第二模块被配置为：计算每个类别在所述训练样本集合中的出现频率；基于所述出现频率计算每个特征属性划分对每个类别的条件概率；存储计算结果，其中计算所述特征属性的每个类别在所述训练样本集合中的出现频率，包括：计算历史作业完成时长超出底线时间的概率和历史作业完成时长没超出底线时间的概率；计算调度执行机资源低于阈值的概率和调度执行机资源不低于阈值的概率；计算跑批数据量高于阈值的概率和跑批数据量不高于阈值的概率；计算依赖作业文件到达的概率和依赖作业文件没有到达的概率；计算作业依赖表有锁等待的概率和作业依赖表没有锁等待的概率。

进一步地，所述第三模块被配置为：将作业完成时间分为预期完成时间和底线完成时间；对超出所述预期完成时间完成的作业进行分类，包括：如果计算超出所述预期完成时间但没有超出底线完成时间的概率大于第一阈值概率，设置输出值为0；如果计算超出所述预期完成时间但没有超出底线完成时间的概率不大于第一阈值概率，设置输出值为1；其中输入值为当前作业链路关系上的数据样本的特征属性；所述预期完成时间小于所述底线完成时间。

进一步地，所述第四模块被配置为：所述输出为0表示不需要人工介入干预作业执行；所述输出为1表示需要人工介入应急处置。

进一步地，所述装置被配置为：通过识别末端作业，在数据库中轮询所述末端作业的上游依赖作业；递归批量作业的依赖关系，其中，对所述依赖关系中的各作业按照特定文件格式存储；解析生成的作业文件，将所述各作业分配到多叉树中；依据所述多叉树获取作业链路关系；查询作业历史运行数据，获取数据样本的特征属性。

本申请第三方面提供一种处理器，被配置成执行上述作业运行结果预测方法。

本申请第四方面提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令在被处理器执行时使得所述处理器被配置成执行上述的作业运行结果预测方法。

本申请第五方面提供一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现上述的作业运行结果预测方法。

通过上述技术方案，基于朴素贝叶斯算法，能够通过提前建立好的作业执行预测模型，预判超时运行作业的最终执行结果，对于预判执行失败的作业，输出初步分析结果。减少人为干预作业。

本申请实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本申请实施例，但并不构成对本申请实施例的限制。在附图中：

图1示意性示出了根据本申请实施例的作业运行结果预测的方法的流程示意图；

图2示意性示出了根据本申请实施例的作业运行结果预测的整体流程示意图；

图3示意性示出了根据本申请实施例的作业依赖关系的存储格式示意图；

图4示意性示出了根据本申请实施例的作业运行结果预测装置的结构框图；

图5示意性示出了根据本申请实施例的计算机设备的内部结构图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解的是，此处所描述的具体实施方式仅用于说明和解释本申请实施例，并不用于限制本申请实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明，若本申请实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，若本申请实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。

本申请提供的作业运行结果预测方法，可以应用于例如互联网应用环境中。其中，互联网应用环境包括：终端、服务器和网络。终端通过网络与服务器进行通信。其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

图1示意性示出了根据本申请实施例的作业运行结果预测方法的流程示意图。如图1所示，在本申请一实施例中，提供了一种作业运行结果预测方法，本实施例主要以该方法应用于终端(或服务器)来举例说明，包括以下步骤：

步骤S102，获取作业链路关系上的数据样本的特征属性，以形成训练样本集合。

根据实施例，在准备预测阶段，主要是根据作业历史数据版本的具体情况确定特征属性，并对每个特征属性进行适当划分，然后由人工对一部分待分类项进行分类，形成训练样本集合。具体而言，所述特征属性包括：历史作业完成时长是否超出底线时间；调度执行机资源是否低于阈值；跑批数据量是否高于阈值；依赖作业文件是否到达；作业依赖表是否有锁等待。

根据实施例，由人工对一部分待分类项进行分类，由上述的特征属性中的历史作业完成时长是否超出底线时间举例来说，根据所述历史作业完成时间是否超出底线时间，对每个数据样本赋予分类标签，包括：标签0为底线时间之前结束(没超出底线时间)；标签1为底线时间之后结束(超出底线时间)。类似地，调度执行机资源是否低于阈值、跑批数据量是否高于阈值、依赖作业文件是否到达和作业依赖表是否有锁等待的分类标签也用0和1来表示。如，标签0为调度执行机资源低于阈值、跑批数据量不高于阈值、依赖作业文件没到达和作业依赖表没有锁等待；标签1为调度执行机资源不低于阈值、跑批数据量高于阈值、依赖作业文件到达和作业依赖表有锁等待。

准备预测阶段是为了形成训练样本集合，以生成贝叶斯分类器。

步骤S104，基于训练样本集合生成朴素贝叶斯分类器。

根据实施例，在第二阶段，也可理解为分类器训练阶段，这个阶段的任务就是生成分类器。基于训练样本集合生成朴素贝叶斯分类器，包括如下主要步骤：

计算所述特征属性的每个类别在所述训练样本集合中的出现频率；

基于所述出现频率计算每个特征属性划分对每个类别的条件概率；

存储计算结果。

根据实施例，首先，将数据样本根据特征属性转换为频率表，见表1。

表格1

计算所述特征属性的每个类别在所述训练样本集合中的出现频率，包括：

计算历史作业完成时长超出底线时间的概率和历史作业完成时长没超出底线时间的概率；

计算调度执行机资源低于阈值的概率和调度执行机资源不低于阈值的概率；

计算跑批数据量高于阈值的概率和跑批数据量不高于阈值的概率；

计算依赖作业文件到达的概率和依赖作业文件没有到达的概率；

计算作业依赖表有锁等待的概率和作业依赖表没有锁等待的概率。

基于朴素贝叶斯分类原理的实施例1：

通过表1可以统计出在n个数据样本中，历史作业完成时长超出底线时间(标签1)的个数统计为A1，那么历史作业完成时长不超出底线时间(标签0)的个数统计为A2，或者n-A1，则历史作业完成时长超出底线时间的概率是A1/n，历史作业完成时长没超出底线时间的概率A2/n或者(n-A1)/n。其他各特征属性的每个分类在训练样本集合中的出现频率同样的方式计算，在此不赘述。

统计每个特征属性的每个类别在所述训练样本集合中的出现频率，见频率表1和频率表2。

通过频率表1和频率表2，在调度执行机资源低于阈值的概率发生的条件下统计历史作业完成时长超出底线时间的个数X1，以及类似地X2，X3和X4，那么可以计算出：

p(调度执行机资源低于阈值│历史作业完成时长超出底线时间)＝X1/(X1+X3)；

p(调度执行机资源低于阈值│历史作业完成时长不超出底线时间)＝X2/(X2+X4)；

p(调度执行机资源低于阈值)＝(X1+X2)/n；

p(历史作业完成时长超出底线时间)＝(X1+X3)/n；

p(历史作业完成时长不超出底线时间)＝(X2+X4)/n。

类似地，可以基于上述朴素贝叶概率统计方法，

p(作业依赖表有锁等待│历史作业完成时长超出底线时间)＝Y1/(Y1+Y3)；

p(作业依赖表有锁等待│历史作业完成时长不超出底线时间)＝Y2/(Y2+Y4)；

p(作业依赖表有锁等待)＝(Y1+Y2)/n；

p(历史作业完成时长超出底线时间)＝(Y1+Y3)/n；

p(历史作业完成时长不超出底线时间)＝(Y2+Y4)/n。

计算在调度执行机资源低于阈值、作业依赖表有锁等待的条件下，历史作业完成时长超出底线时间的概率，则p(X│历史作业完成时长超出底线时间)P(历史作业完成时长超出底线时间)＝p(调度执行机资源低于阈值│历史作业完成时长超出底线时间)×p(作业依赖表有锁等待│历史作业完成时长超出底线时间)×P(历史作业完成时长超出底线时间)＝X1/(X1+X3)×Y1/(Y1+Y3)×(X1+X3)/n＝Z1；

p(X│历史作业完成时长不超出底线时间)P(历史作业完成时长不超出底线时间)＝p(调度执行机资源低于阈值│历史作业完成时长不超出底线时间)×p(作业依赖表有锁等待│历史作业完成时长不超出底线时间)×P(历史作业完成时长不超出底线时间)＝X2/(X2+X4)×Y2/(Y2+Y4)×(Y2+Y4)/n＝Z2；

p(X)＝p(调度执行机资源低于阈值)×p(作业依赖表有锁等待)＝(X1+X2)/n×(Y1+Y2)/n＝Z3；

p(历史作业完成时长超出底线时间│X)＝Z1/Z3；

p(历史作业完成时长不超出底线时间│X)＝Z2/Z3；

可扩展地，由于统计出每个特征属性的每个类别在所述训练样本集合中的出现频率，计算出例如当在所述调度执行机资源不低于阈值、跑批数据量高于阈值、依赖作业文件到达和作业依赖表有锁等待的概率发生的条件下(即四个维度的特征属性)，计算历史作业完成时长超出底线时间的概率和历史作业完成时长没超出底线时间的概率。

步骤S106，根据所述朴素贝叶斯分类器，对当下作业执行完成时间进行分类，得到输出值。

根据实施例，利用python计算学习算法中的scikit-learn库中的贝叶斯算法完成分类。将所述当下作业执行完成时间分为预期完成时间和底线完成时间；对超出所述预期完成时间完成的作业进行标签分类，包括：

利用步骤S104中的方法，在输入值为当前作业链路关系上的数据样本的特征属性时，计算超出所述预期完成时间但没有超出底线完成时间的概率，如果大于第一阈值概率，设置输出值为0；

如果计算超出所述预期完成时间但没有超出底线完成时间的概率，如果不大于第一阈值概率，设置输出值为1；其中

所述预期完成时间小于所述底线完成时间，具体而言，根据实际情况，第一阈值概率优选80％。

步骤S108，根据所述输出值，判断是否需要人工处理。

所述输出为0表示不需要人工介入干预作业执行；

所述输出为1表示需要人工介入应急处置。

基于上述技术方案，朴素贝叶斯算法对于超出预期完成时间运行的作业进行预判，预判能否正常执行结束，减少人工干预；通过贝叶斯分类器统计的分类标签进行概率的计算和筛选，可以对于预判无法正常执行结束的作业进行初步原因分析。

图1为一个实施例中作业运行结果预测方法的流程示意图。应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图2示意性示出了根据本申请实施例的作业运行结果预测的整体流程示意图。

参见图2，作业运行结果预测的整体流程主要包括：

在作业运行开始后，在S201，解析组件末端作业文件，循环读取每一行作业。

在S203，判断作业文件是否为空，如果判断该作业为空，则返回开始；如果判断该作业不为空，则继续进入S205，判断作业是否为重复作业。

如果判断作业为重复作业，则返回S201，如果不是重复作业，则进入S207，迭代查找作业的上游依赖作业。

根据实施例，以上步骤可以划分为作业清洗阶段，可以简单理解为：通过轮询各个组件提供的末端作业文件，循环读取每一条作业，对文件中的作业进行清洗，清洗操作包括：去除多余行，多余空格，去除重复作业等。

在S207，通过识别末端作业，在数据库中轮询所述末端作业的上游依赖作业。

根据实施例，迭代查找作业的上游依赖作业，也理解为对所有清洗过的作业到数据库(数据样本)中查找直接上游依赖作业，递归对查找到的上游依赖作业查找其父关系的上游依赖作业。

在S209，递归批量作业的依赖关系，其中，对所述依赖关系中的各作业按照特定文件格式存储。

根据实施例，从数据库(数据样本)中查询出来的作业直接依赖关系按照特定格式存储。根据实施例，依据递归查询到的结果将作业直接依赖关系按照特定格式存储在文本文件中，存储格式如图3详细介绍。

在S211a，解析生成的作业文件，将所述各作业分配到多叉树中；S211b依据所述多叉树获取作业链路关系。

根据实施例，引入多叉树类，根据生成的作业直接依赖关系生成该作业的多叉树对象。生成作业全链路拓扑包括：依靠作业直接依赖文件生产多叉树对象，遍历多叉树对象的根节点到叶子节点形成作业的全链路拓扑。

在S213，查询作业历史运行数据，获取数据样本的特征属性。通过获取全链路作业关系，获取链路上所有作业的历史执行数据，筛选出作业的特征变量，包括：历史作业完成时长是否超出底线时间，调度机资源是否低于阈值，跑批数据量是否高于阈值，依赖作业文件是否到达，上游依赖作业执行时间，作业依赖表是否有锁等待等，建立预测模型，以形成训练样本集合。

在S215，超时执行作业的执行结果预判。

根据实施例，根据所述朴素贝叶斯分类器，对当下作业执行完成时间进行分类，得到输出值。包括：将所述当下作业执行完成时间分为预期完成时间和底线完成时间；对超出所述预期完成时间完成的作业进行标签分类，包括：如果计算超出所述预期完成时间但没有超出底线完成时间的概率大于第一阈值概率，设置输出值为0；如果计算超出所述预期完成时间但没有超出底线完成时间的概率不大于第一阈值概率，设置输出值为1；其中输入值为当前作业链路关系上的数据样本的特征属性；所述预期完成时间小于所述底线完成时间。

在S217，预判结果是否为0。

根据实施例，输出为0表示不需要人工介入干预作业执行。

在S219，当预判结果为1，即不为0，触发告警，输出初步分析结果，进入人工介入干预。其中，对于预测结果，不论标签分类是1还是0，都需要比对作业实际执行时间，对标签值进行人工修改。

通过上述的作业运行结果预测的整体流程，根据朴素贝叶斯算法对当日运行超预期完成时间作业进行结果预测分析，可以减少人工干预。

图3示意性示出了根据本申请实施例的作业依赖关系的存储格式示意图。

参见图3，在301，通过轮询各个组件提供的末端作业文件，循环读取每一条作业，依据递归查询到的结果将作业直接依赖关系按照特定格式存储在文本文件中，将作业JOB中的末端作业存储为JOB1，JOB2，JOB3和JOB4。

在303-309，迭代查找作业的上游依赖作业，也理解为对所有清洗过的作业到数据库(数据样本)中查找直接上游依赖作业，递归对查找到的上游依赖作业查找其父关系的上游依赖作业，如在303，对于存储末端作业JOB1上游依赖关系为JOB5、JOB6和JOB7；在305，对于存储末端作业JOB2上游依赖关系为JOB8、JOB9和JOB10；在307，对于存储末端作业JOB3上游依赖关系为JOB11；在309，对于存储末端作业JOB4上游依赖关系为JOB12和JOB13；其中在311，JOB5的上游依赖关系存储为JOB14和JOB16，以此类推。

在一个实施例中，如图4所示，提供了一种作业运行结果预测装置400，包括第一模块、第二模块、第三模块以及第四模块，其中：

第一模块402，用于获取作业链路关系上的数据样本的特征属性，以形成训练样本集合，其中所述特征属性包括：历史作业完成时长是否超出底线时间；调度执行机资源是否低于阈值；跑批数据量是否高于阈值；依赖作业文件是否到达；作业依赖表是否有锁等待。

第二模块404，用于基于训练样本集合生成朴素贝叶斯分类器。

第三模块406，用于根据所述朴素贝叶斯分类器，对当下作业执行完成时间进行分类，得到输出值。

第四模块408，用于根据所述输出值，判断是否需要人工处理。

根据实施例，所述第一模块402被配置为：根据历史作业完成时间是否超出底线时间，对每个数据样本赋予分类标签，包括：

标签0为底线时间之前结束；

标签1为底线时间之后结束。

根据实施例，第二模块404被配置为：计算每个类别在所述训练样本集合中的出现频率；基于所述出现频率计算每个特征属性划分对每个类别的条件概率；存储计算结果，其中计算所述特征属性的每个类别在所述训练样本集合中的出现频率，包括：

计算历史作业完成时长超出底线时间的概率和历史作业完成时长没超出底线时间的概率；

计算调度执行机资源低于阈值的概率和调度执行机资源不低于阈值的概率；

计算跑批数据量高于阈值的概率和跑批数据量不高于阈值的概率；

计算依赖作业文件到达的概率和依赖作业文件没有到达的概率；

计算作业依赖表有锁等待的概率和作业依赖表没有锁等待的概率。

根据实施例，第三模块406被配置为：将作业完成时间分为预期完成时间和底线完成时间；对超出所述预期完成时间完成的作业进行分类，包括：

如果计算超出所述预期完成时间但没有超出底线完成时间的概率大于第一阈值概率，设置输出值为0；

如果计算超出所述预期完成时间但没有超出底线完成时间的概率不大于第一阈值概率，设置输出值为1；其中

输入值为当前作业链路关系上的数据样本的特征属性；

所述预期完成时间小于所述底线完成时间。

根据实施例，第四模块408被配置为：所述输出为0表示不需要人工介入干预作业执行；所述输出为1表示需要人工介入应急处置。

根据实施例，装置400被配置为：通过识别末端作业，在数据库中轮询所述末端作业的上游依赖作业；递归批量作业的依赖关系，其中，对所述依赖关系中的各作业按照特定文件格式存储；解析生成的作业文件，将所述各作业分配到多叉树中；依据所述多叉树获取作业链路关系；查询作业历史运行数据，获取数据样本的特征属性。

作业运行结果预测装置400与现有技术的优点如同其作业运行结果预测方法：根据朴素贝叶斯算法对当日运行超预期完成时间作业进行结果预测分析，可以减少人工干预。

所述作业运行结果预测装置包括处理器和存储器，上述第一模块、第二模块、第三模块和第四模块等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序模块中实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来实现对作业运行结果预测方法。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本申请实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现上述作业运行结果预测方法。

本申请实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述作业运行结果预测方法。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器A01、网络接口A02、存储器(图中未示出)和数据库(图中未示出)。其中，该计算机设备的处理器A01用于提供计算和控制能力。该计算机设备的存储器包括内存储器A03和非易失性存储介质A04。该非易失性存储介质A04存储有操作系统B01、计算机程序B02和数据库(图中未示出)。该内存储器A03为非易失性存储介质A04中的操作系统B01和计算机程序B02的运行提供环境。该计算机设备的数据库用于存储作业运行结果预测的数据。该计算机设备的网络接口A02用于与外部的终端通过网络连接通信。该计算机程序B02被处理器A01执行时以实现一种作业运行结果预测方法。

本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，本申请提供的作业运行结果预测装置可以实现为一种计算机程序的形式，计算机程序可在如图5所示的计算机设备上运行。计算机设备的存储器中可存储组成该作业运行结果预测装置的各个程序模块，比如，图4所示的第一模块、第二模块、第三模块和第四模块。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的作业运行结果预测方法中的步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (18)

1.一种作业运行结果预测方法，其特征在于，所述方法包括：

获取作业链路关系上的数据样本的特征属性，以形成训练样本集合；

基于训练样本集合生成朴素贝叶斯分类器；

根据所述朴素贝叶斯分类器，对当下作业执行完成时间进行分类，得到输出值；

根据所述输出值，判断是否需要人工处理。

2.根据权利要求1所述的方法，其特征在于，所述特征属性包括：

历史作业完成时长是否超出底线时间；

调度执行机资源是否低于阈值；

跑批数据量是否高于阈值；

依赖作业文件是否到达；

作业依赖表是否有锁等待。

3.根据权利要求2所述的方法，其特征在于，获取作业链路关系上的数据样本的特征属性，以形成训练样本集合，包括：

根据所述历史作业完成时间是否超出底线时间，对每个数据样本赋予分类标签，包括：

标签0为底线时间之前结束；

标签1为底线时间之后结束。

4.根据权利要求2所述的方法，其特征在于，基于训练样本集合生成朴素贝叶斯分类器，包括：

计算所述特征属性的每个类别在所述训练样本集合中的出现频率；

基于所述出现频率计算每个特征属性划分对每个类别的条件概率；

存储计算结果。

5.根据权利要求4所述的方法，其特征在于，计算所述特征属性的每个类别在所述训练样本集合中的出现频率，包括：

计算历史作业完成时长超出底线时间的概率和历史作业完成时长没超出底线时间的概率；

计算调度执行机资源低于阈值的概率和调度执行机资源不低于阈值的概率；

计算跑批数据量高于阈值的概率和跑批数据量不高于阈值的概率；

计算依赖作业文件到达的概率和依赖作业文件没有到达的概率；

计算作业依赖表有锁等待的概率和作业依赖表没有锁等待的概率。

6.根据权利要求5所述的方法，其特征在于，基于所述出现频率计算每个特征属性划分对每个类别的条件概率，包括：

在所述调度执行机资源不低于阈值的概率发生的条件下，计算历史作业完成时长超出底线时间的概率和历史作业完成时长没超出底线时间的概率。

7.根据权利要求2所述的方法，其特征在于，根据所述朴素贝叶斯分类器，对当下作业执行完成时间进行分类，得到输出值，包括：

将所述当下作业执行完成时间分为预期完成时间和底线完成时间；

对超出所述预期完成时间完成的作业进行标签分类，包括：

如果计算超出所述预期完成时间但没有超出底线完成时间的概率大于第一阈值概率，设置输出值为0；

如果计算超出所述预期完成时间但没有超出底线完成时间的概率不大于第一阈值概率，设置输出值为1；其中

输入值为当前作业链路关系上的数据样本的特征属性；

所述预期完成时间小于所述底线完成时间。

8.根据权利要求7所述的方法，其特征在于，根据所述输出值，判断是否需要人工处置，包括：

所述输出值为0表示不需要人工介入干预作业执行；

所述输出值为1表示需要人工介入应急处置。

9.根据权利要求1所述的方法，其特征在于，所述获取作业链路关系上的数据样本的特征属性，包括：

通过识别末端作业，在数据库中轮询所述末端作业的上游依赖作业；

递归批量作业的依赖关系，其中，对所述依赖关系中的各作业按照特定文件格式存储；

解析生成的作业文件，将所述各作业分配到多叉树中；

依据所述多叉树获取作业链路关系；

查询作业历史运行数据，获取数据样本的特征属性。

10.一种作业运行结果预测装置，其特征在于，所述装置包括：

第一模块，用于获取作业链路关系上的数据样本的特征属性，以形成训练样本集合，其中所述特征属性包括：

历史作业完成时长是否超出底线时间；

调度执行机资源是否低于阈值；

跑批数据量是否高于阈值；

依赖作业文件是否到达；

作业依赖表是否有锁等待；

第二模块，用于基于训练样本集合生成朴素贝叶斯分类器；

第三模块，用于根据所述朴素贝叶斯分类器，对当下作业执行完成时间进行分类，得到输出值；以及

第四模块，用于根据所述输出值，判断是否需要人工处理。

11.根据权利要求10所述的装置，其特征在于，所述第一模块被配置为：

根据历史作业完成时间是否超出底线时间，对每个数据样本赋予分类标签，包括：

标签0为底线时间之前结束；

标签1为底线时间之后结束。

12.根据权利要求10所述的装置，其特征在于，所述第二模块被配置为：

计算每个类别在所述训练样本集合中的出现频率；

基于所述出现频率计算每个特征属性划分对每个类别的条件概率；

存储计算结果，其中

计算所述特征属性的每个类别在所述训练样本集合中的出现频率，包括：

计算历史作业完成时长超出底线时间的概率和历史作业完成时长没超出底线时间的概率；

计算调度执行机资源低于阈值的概率和调度执行机资源不低于阈值的概率；

计算跑批数据量高于阈值的概率和跑批数据量不高于阈值的概率；

计算依赖作业文件到达的概率和依赖作业文件没有到达的概率；

计算作业依赖表有锁等待的概率和作业依赖表没有锁等待的概率。

13.根据权利要求10所述的装置，其特征在于，所述第三模块被配置为：

将作业完成时间分为预期完成时间和底线完成时间；

对超出所述预期完成时间完成的作业进行分类，包括：

如果计算超出所述预期完成时间但没有超出底线完成时间的概率大于第一阈值概率，设置输出值为0；

如果计算超出所述预期完成时间但没有超出底线完成时间的概率不大于第一阈值概率，设置输出值为1；其中

输入值为当前作业链路关系上的数据样本的特征属性；

所述预期完成时间小于所述底线完成时间。

14.根据权利要求13所述的装置，其特征在于，所述第四模块被配置为：

所述输出值为0表示不需要人工介入干预作业执行；

所述输出值为1表示需要人工介入应急处置。

15.根据权利要求10所述的装置，其特征在于，所述装置被配置为：

通过识别末端作业，在数据库中轮询所述末端作业的上游依赖作业；

递归批量作业的依赖关系，其中，对所述依赖关系中的各作业按照特定文件格式存储；

解析生成的作业文件，将所述各作业分配到多叉树中；

依据所述多叉树获取作业链路关系；

查询作业历史运行数据，获取数据样本的特征属性。

16.一种处理器，其特征在于，被配置成执行根据权利要求1至9中任意一项所述的作业运行结果预测方法。

17.一种机器可读存储介质，该机器可读存储介质上存储有指令，其特征在于，该指令在被处理器执行时使得所述处理器被配置成执行根据权利要求1至9中任一项所述的作业运行结果预测方法。

18.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序在被处理器执行时实现根据权利要求1至9中任一项所述的作业运行结果预测方法。

Images