Nothing Special   »   [go: up one dir, main page]

CN104516784B - 一种预测任务资源等待时间的方法及系统 - Google Patents

一种预测任务资源等待时间的方法及系统 Download PDF

Info

Publication number
CN104516784B
CN104516784B CN201410796248.3A CN201410796248A CN104516784B CN 104516784 B CN104516784 B CN 104516784B CN 201410796248 A CN201410796248 A CN 201410796248A CN 104516784 B CN104516784 B CN 104516784B
Authority
CN
China
Prior art keywords
task
record
task record
period
historic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410796248.3A
Other languages
English (en)
Other versions
CN104516784A (zh
Inventor
尤海航
邢飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongkehai Micro Beijing Technology Co ltd
Original Assignee
Institute of Computing Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Computing Technology of CAS filed Critical Institute of Computing Technology of CAS
Priority to CN201410796248.3A priority Critical patent/CN104516784B/zh
Publication of CN104516784A publication Critical patent/CN104516784A/zh
Application granted granted Critical
Publication of CN104516784B publication Critical patent/CN104516784B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种预测任务资源等待时间的方法及系统,本发明涉及大规模计算系统资源管理,优化及分配,特别涉及一种预测任务资源等待时间方法及系统,该方法包括获取历史任务记录,删除该历史任务记录中存在依赖关系的任务记录,生成新历史任务记录;通过自相关函数,获取该新历史任务记录中与带预测时间段具有相关性的时间段内的任务记录,生成任务记录集合;设置任务资源等待时间阈值,获取该任务记录集合中任务资源等待时间超过该任务资源等待时间阈值的任务记录的个数,并根据该任务记录集合中任务记录的总量,通过贝叶斯方法预测该待预测时间段内的任务资源等待时间。本发明可以预测计算系统资源的可使用性,优化任务调度。

Description

一种预测任务资源等待时间的方法及系统
技术领域
本发明涉及大规模计算系统(包括超级计算及云计算)资源管理,优化及分配,特别涉及一种预测任务资源等待时间方法及系统。
背景技术
在针对大规模计算系统资源使用的刻画,预测,优化,及分配的过程中,现有的许多方案采用基于模型的方法。具体来说,研究人员首先选取一种或几种和系统资源使用相关的维度进行数据跟踪观察(例如作业的剩余运行时间,作业在系统队列中的排队时间,等等),然后应用某种相关概率模型来刻画此种维度数据的概率分布,接下来,研究人员应用此种模型所呈现的概率分布性质进行针对该系统未来表现的预测,从而实现资源优化及合理分配,例如,Downey应用对数均匀分布(log uniform distribution)来测量作业剩余运行时间,Brevik及其合作者提出了二项方法批量预测的概念(Binomial Method BatchPredictor(BMBP))来刻画系统队列等待时间,Li及其合作者应用混合高斯模型(Gaussian-mixture model)来描述某段特定时间内系统全部作业的运行时间分布。
基于特定概率模型来刻画资源分布的方法在处理大型计算系统管理以及大数据处理的实际应用当中会存在如下的一些实际问题:海量数据的历史负载记录在实际应用中很难服从某种特定的概率分布,实际上,通过检验不同的实际数据,大数据的历史负载记录不但不服从单一的某种概率分布,甚至不易用混合概率分布模型来刻画;一些常用的概率模型(例如二项分布模型(binomial model)及其衍生模型)中关于用户在短时间间隔内提交的作业性质彼此独立的假设现实中往往并不成立,事实上,通过对实际超级计算机历史负载数据的具体研究,我们发现大部分用户会在短时间内多次提交内容类似,参数相当的作业,因此用此类概率模型进行资源消耗的评估和预测往往是不准确的。
发明内容
针对现有技术的不足,本发明提出一种预测任务资源等待时间方法及系统。
本发明提出一种预测任务资源等待时间的方法,包括:
步骤1,获取历史任务记录,删除该历史任务记录中存在依赖关系的任务记录,生成新历史任务记录;
步骤2,通过自相关函数,获取该新历史任务记录中与待预测时间段具有相关性的时间段内的任务记录,生成任务记录集合;
步骤3,设置任务资源等待时间阈值,获取该任务记录集合中任务资源等待时间超过该任务资源等待时间阈值的任务记录的个数,并根据该任务记录集合中任务记录的总量,通过贝叶斯方法预测该待预测时间段内的任务资源等待时间。
所述的预测任务资源等待时间的方法,该步骤1的具体步骤包括:
步骤11,判断该历史任务记录中的任务记录是否存在依赖关系;
步骤12,若存在则删除存在依赖关系的任务记录。
所述的预测任务资源等待时间的方法,该步骤11包括:
步骤21,选择时间临界点t*和空间临界点x*;
步骤22,如果该历史任务记录中的两个任务记录的提交时间间隔在时间临界点t*之内并且参数选取的临近程度在空间间隔x*之内,且配对的密度高于该历史任务记录中除该两个任务记录的配对的密度,则该两个任务记录在(t*,x*)尺度之内具有依赖关系。
所述的预测任务资源等待时间的方法,该步骤12包括:
步骤31,将该历史任务记录中的任务记录按提交时间由小到大进行排列;
步骤32,从提交时间最小的任务记录开始,删除该提交时间最小的该任务记录至接下来t*时间内所有和该提交时间最小的该任务记录的参数选择临近程度小于x*的任务记录;
步骤33,更新该历史任务记录并重复该步骤22,直至遍历该历史任务记录,更新该历史任务记录。
所述的预测任务资源等待时间的方法,该步骤3中该贝叶斯方法的公式为:
其中NLTW,k-1,k-2为该任务资源等待时间超过该任务资源等待时间阈值的该任务记录的该个数,Nk-1,k-2为该任务记录集合中该任务记录的该总量,PLTW,k是为该待预测时间段内任务资源等待时间超过该任务资源等待时间阈值的任务概率。
本发明还提出一种预测任务资源等待时间的系统,包括:
生成新历史任务记录模块,用于获取历史任务记录,删除该历史任务记录中存在依赖关系的任务记录,生成新历史任务记录;
生成任务记录集合,用于通过自相关函数,获取该新历史任务记录中与待预测时间段具有相关性的时间段内的任务记录,生成任务记录集合;
预测模块,用于设置任务资源等待时间阈值,获取该任务记录集合中任务资源等待时间超过该任务资源等待时间阈值的任务记录的个数,并根据该任务记录集合中任务记录的总量,通过贝叶斯方法预测该待预测时间段内的任务资源等待时间。
所述的预测任务资源等待时间的系统,该生成新历史任务记录模块还包括:
判断模块,判断该历史任务记录中的任务记录是否存在依赖关系;
删除依赖关系模块,若存在则删除存在依赖关系的任务记录。
所述的预测任务资源等待时间的系统,该判断模块的具体作用包括:选择时间临界点t*和空间临界点x*;如果该历史任务记录中的两个任务记录的提交时间间隔在时间临界点t*之内并且参数选取的临近程度在空间间隔x*之内,且配对的密度高于该历史任务记录中除该两个任务记录的配对的密度,则该两个任务记录在(t*,x*)尺度之内具有依赖关系。
所述的预测任务资源等待时间的系统,该删除依赖关系模块的具体作用包括:将该历史任务记录中的任务记录按提交时间由小到大进行排列;从提交时间最小的任务记录开始,删除该提交时间最小的该任务记录至接下来t*时间内所有和该提交时间最小的该任务记录的参数选择临近程度小于x*的任务记录;更新该历史任务记录并重复该步骤22,直至遍历该历史任务记录,更新该历史任务记录。
所述的预测任务资源等待时间的系统,该预测模块中该贝叶斯方法的公式为:
其中NLTW,k-1,k-2为该任务资源等待时间超过该任务资源等待时间阈值的该任务记录的该个数,Nk-1,k-2为该任务记录集合中该任务记录的该总量,PLTW,k是为该待预测时间段内任务资源等待时间超过该任务资源等待时间阈值的任务概率。
由以上方案可知,本发明的优点在于:
本发明可以用来预测计算系统资源的可使用性,可用来优化作业调度,优化任务资源需求配置,提高资源使用效率,及作业在作业执行队列中的等待时间的预测,本发明的实验表明本发明可以达到89%以上的可靠预测率。
附图说明
图1为本发明的总体流程图;
图2为作业分区计数图表;
图3为去噪去相关性后的长时间等待概率图表;
图4为超级计算机海妖(Kraken)上的LTW月趋势图;
图5为月长时间等待概率自动相关值图表;
图6为历史任务记录进行降噪处理的流程图。
其中附图标记为:
步骤100为本发明的整体步骤,包括:
步骤101/102/103;
步骤200为本发明降噪具体步骤,包括:
步骤201/202/203。
具体实施方式
发明人在研究超级计算机海妖(Kraken)的历史负载的过程中,发现大约52.4%的用户提交的作业(任务)在作业执行队列中等待时间要超过其实际运行时间。对于每一个作业,特别是并行作业,有两个基本参数表达了其对于运算资源的需求:运行时间、计算节点的个数(CPU,内存)。本发明从用户的角度出发,希望能够在保证获得正确结果的先决条件下,调整这两个参数,使得作业能较快的得到运行并减少作业执行队列中的等待时间,在对作业历史记录进行统计分析的过程中,某个用户在短时间内的多次提交类似的作业(比如同样的执行程序,不同的输入数据等)极大的影响了有效统计结果,因为系统对于同一用户可同时执行的作业数目一般都会有所限制。本发明通过统计方法:空间及时间聚类探测方法(space-time clustering detection method)(又称Knox方法(Knox method)),分析系统负载历史记录里的任务依赖关系,不同于通常的聚类(clustering)方法,本发明使用的方法更强调参数空间及时间的关系,从而使得数据缩减(reduction)更有效,去除有依赖关系的任务记录,达到去除噪声,去噪之后的负载历史记录可以用来生成准确的长时间等待概率图表,此长时间等待概率表(Long-Time Waiting Chart)能够呈献出不同参数值选取和长时间等待概率的宏观趋势,进而给用户一个关于参数选取的总体指导。。进一步的,本发明可以同时生成以月为单位的长时间等待概率趋势图,由于计算资源的使用率是动态的,并不是越多的历史记录对于等待概率的计算越有帮助,往往多余的数据有掩盖真实趋势的负面作用,所以本发明使用自相关函数AutoCorrelation Function(ACF,自相关函数在不同领域有不同的刻画,本发明采用自协方差函数来描述自相关系数,自协方差函数是描述时间序列X(t)在任意两个不同时刻t1,t2的取值之间的二阶混合中心矩,用来描述X(t)在两个时刻取值的起伏变化(相对与均值)的相关程度,也称为中心化的自相关函数)确定具有相关联系的时间间隔区域,比如在测试系统上发现3个月的数据具有彼此关联关系,最后,本发明运用贝叶斯方法(Bayesian Framework)预测未来任务(根据其对于系统资源的要求)在此计算系统上获得资源并运行的等待时间。
下面结合附图对本发明的具体实施方式进行说明。
以下为本发明的总体步骤,如图1所示,具体步骤如下:
步骤101,使用空间及时间聚类探测方法(space-time clustering detectionmethod)(又称Knox方法)分析系统负载历史记录里(历史任务记录)的任务依赖关系,去除有依赖关系的任务记录,达到去除噪声,提高预测精确度的目的。
步骤102,根据去除噪声后的负载历史记录(新历史任务记录)生成长时间等待概率图表(Long-Time Waiting Chart,任务资源长时间等待图表),同时生成以月为单位的长时间等待概率趋势图。另外,使用自相关函数AutoCorrelation Function(ACF)确定具有相关联系的时间间隔区域。
步骤103,运用贝叶斯方法(Bayesian Framework)预测未来任务(根据其对于系统资源的要求)在计算系统上获得资源并运行的等待时间,其中设置任务资源等待时间阈值,获取该任务记录集合中该任务资源等待时间超过该任务资源等待时间阈值的任务记录的数量,并根据该任务记录集合中任务记录的总数量,通过贝叶斯方法预测该某时间段内的任务资源等待时间。
以下结合实施例对本发明进一步说明:
发掘真实的长时间等待模式:作业分区计数表:首先,对作业的资源使用情况以二维图表的形式获取统计结果(对于每一个提交的作业,特别是并行作业,有两个基本参数表达了作业对于运算资源的需求:预留运行时间(Wall Clock Requested(WCR)),预留计算节点的个数(CPU,内存)(Number of compute Nodes Requested(NNR)),本实施例只采用了以上两个参数,即预留运行时间及预留计算节点个数,故采用二维图标展示统计结果,多维的情况以此类推),每一个参数分段统计,在实验中,把获取的超级计算机海妖(Kraken)上的作业数据(NNR在1至4128节点的区间,WCR在0至24小时的区间)分成若干个参数分区,分区临界值的选择主要基于以下两点:每个区域内包含一些实际操作用户习惯选择的参数组合方式(譬如1小时运行时间及10个计算节点,12小时运行时间及1个计算节点等);保证每一个分区中覆盖了相当大的作业记录,从而保证统计结果的可靠性及有效性。图2为依据超级计算机海妖(Kraken)上的30个月的历史负载数据生成的作业分区计数表。历史数据的降噪去相关性处理:通过空间及时间聚类探测方法(space-time clustering detectionmethod),又称Knox方法(Knox method),检验系统负载历史记录里的任务依赖关系,具体方法如下:首先根据先验经验选择一个时间临界点t*及一个空间临界点x*,如果两个作业的提交时间间隔在时间临界点t*之内并且参数选取的临近程度在空间间隔x*以内,则认为两个作业被认为存在相关可能性,如果此类作业配对的密度远高于其他作业配对的密度,则认为历史数据在(t*,x*)尺度之内存在很强的相关性,从而需要采取降噪去相关性处理,为了检验上述现象,本发明应用在流行病传播学中应用的Knox统计检验方法,如果Knox方法显示历史数据在(t*,x*)尺度之内存在很强的相关性,则应用以下的算法来进行历史负载数据(历史任务记录)降噪处理,如图6所示:
步骤201,将历史负载数据按提交时间升序排列,执行步骤202,从第一个负载数据开始,删除从该负载数据提交时间至接下来t*时间内所有和该负载数据参数选择临近程度小于x*的所有相关负载数据,步骤203,更新负载数据并重复步骤202,直至遍历所有历史负载数据。
本发明使用以上的算法对系统的负载历史进行降噪去相关性处理,从而达到减少数据量,产生相对独立的作业记录。
长时间等待概率图表:本发明定义了长时间等待(LTW:Long Time Waiting)阈值(任务资源等待时间阈值),比如1个小时,基于降噪和去除相关性之后的新数据,建立如图2所示的表格,对于每一个分区计算出等待时间大于LTW阈值的作业占所有该分区内所有作业数的比例,从而产生如图3的热力图表(heatmap)。
预测任务资源等待时间:如图3生成的降噪及去相关性后的长时间等待概率图表能够提供宏观的参数选取准则。以海妖超级计算机为例,在同等的服务计算量下(serviceunit),预留少量计算时间和大量计算节点的参数选取方案会比预留大量计算时间和少量计算节点的方案产生更少的长时间等待,从而产生更加高效的超级计算机用户资源利用效率,但是,为了提供更加精细和具有时效性的用户指南,本发明还需要考虑时间因素,具体步骤如下:
利用自相关函数确定具有相关联系的时间间隔区域:在如图4所示的以月为单位的LTW概率的时间序列记录中,某一时刻的值往往与其相邻的历史数据有强相关的关系,本发明使用自相关函数AutoCorrelation Function(ACF)确定具有相关联系的时间间隔区域。具体来说,本发明采用自协方差函数来描述自相关系数。自协方差函数是描述时间序列X(t)在任意两个不同时刻t1,t2的取值之间的二阶混合中心矩,用来描述X(t)在两个时刻取值的起伏变化(相对与均值)的相关程度,也称为中心化的自相关函数。其定义式是
其中E代表期望值,Xi代表在t(i)时的随机变量值。μi代表在t(i)时的预期值,Xi+k代表在t(i+k)时的随机变量值,μi+k代表在t(i+k)时的预期值,σ2代表方差。
图5显示了基于超级计算机海妖(Kraken)作业历史记录的月长时间等待概率自相关函数值:从图5中可以看出当月的长时间等待概率(LTW概率)与在此之前两个月的LTW概率有显著地统计相关性,然后利用历史相关时间段数据及贝叶斯方法预测下一时间段的长时间等待概率,具体来说,选取降噪去相关性后的数据在上一步得到的具有相关联系的时间间隔部分,应用Beta-二项分布分层模型(Beta-binomial hierarchical model)的平均值来预测下一时间段的长时间等待概率。以超级计算机海妖为例,因为历史数据的自相关函数显示下一个月的长时间等待时间和之前两个月的数据有关联,从而得出Beta-二项分布分层模型的平均值等于:
其中NLTW,k-1,k-2是之前两个月的长时间等待作业数,Nk-1,k-2是之前两个月的总作业数,PLTW,k是当前月份的长时间等待概率。从而通过本发明可以预测下一个月每一个分区的长时间等待概率。
本发明还提出了一种预测任务资源等待时间的系统,包括如下模块:
生成新历史任务记录模块,用于获取历史任务记录,删除该历史任务记录中存在依赖关系的任务记录,生成新历史任务记录;
生成任务记录集合,用于通过自相关函数,获取该新历史任务记录中与该某一时间段具有相关性的时间段内的任务记录,生成任务记录集合;
预测模块,用于设置任务资源等待时间阈值,获取该任务记录集合中该任务资源等待时间超过该任务资源等待时间阈值的任务记录的数量,并根据该任务记录集合中任务记录的总数量,通过贝叶斯方法预测该某时间段内的任务资源等待时间。
判断模块,判断该历史任务记录中的任务记录是否存在依赖关系,其中选择时间临界点t*和空间临界点x*;如果该历史任务记录中的两个任务记录的提交时间间隔在时间临界点t*之内并且参数选取的临近程度在空间间隔x*之内,且配对的密度高于该历史任务记录中除该两个任务记录的配对的密度,则该两个任务记录在(t*,x*)尺度之内具有依赖关系。
删除依赖关系模块,若存在则删除存在依赖关系的任务记录,其中将该历史任务记录中的任务记录按提交时间由小到大进行排列;从提交时间最小的任务记录开始,删除该提交时间最小的该任务记录至接下来t*时间内所有和该提交时间最小的该任务记录的参数选择临近程度小于x*的任务记录;更新该历史任务记录并重复该步骤22,直至遍历该历史任务记录,更新该历史任务记录。
该预测模块中该贝叶斯方法的公式为:
其中NLTW,k-1,k-2为该任务资源等待时间超过该任务资源等待时间阈值的该任务记录的该数量,Nk-1,k-2为该任务记录集合中该任务记录的该总数量,PLTW,k是为该某一时间段内任务资源等待时间超过该任务资源等待时间阈值的任务概率。

Claims (6)

1.一种预测任务资源等待时间的方法,其特征在于,包括:
步骤1,获取历史任务记录,使用空间及时间聚类探测方法筛选并删除该历史任务记录中存在依赖关系的任务记录,生成新历史任务记录;
步骤2,使用自协方差函数获取该新历史任务记录中与待预测时间段具有相关性的时间段内的任务记录,生成任务记录集合;
步骤3,设置任务资源等待时间阈值,获取该任务记录集合中任务资源等待时间超过该任务资源等待时间阈值的任务记录的个数,并根据该任务记录集合中任务记录的总量,根据Beta-二项分布分层模型的平均值来预测该待预测时间段内的任务资源等待时间;
其中,该空间及时间聚类探测方法具体为,预先设定一个时间临界点t*及一个空间临界点x*,如果该历史任务记录中的两个任务记录的提交时间间隔在时间临界点t*之内并且参数选取的临近程度在空间间隔x*之内,且配对的密度高于该历史任务记录中除该两个任务记录的配对的密度,则该两个任务记录在(t*,x*)尺度之内具有依赖关系;
该步骤3中该Beta-二项分布分层模型的平均值公式为:
<mrow> <msub> <mi>P</mi> <mrow> <mi>L</mi> <mi>T</mi> <mi>W</mi> <mo>,</mo> <mi>k</mi> </mrow> </msub> <mo>=</mo> <mfrac> <msub> <mi>N</mi> <mrow> <mi>L</mi> <mi>T</mi> <mi>W</mi> <mo>,</mo> <mi>k</mi> <mo>-</mo> <mn>1</mn> <mo>,</mo> <mi>k</mi> <mo>-</mo> <mn>2</mn> </mrow> </msub> <msub> <mi>N</mi> <mrow> <mi>k</mi> <mo>-</mo> <mn>1</mn> <mo>,</mo> <mi>k</mi> <mo>-</mo> <mn>2</mn> </mrow> </msub> </mfrac> </mrow>
其中NLTW,k-1,k-2为该任务资源等待时间超过该任务资源等待时间阈值的该任务记录的该个数,Nk-1,k-2为该任务记录集合中该任务记录的该总量,PLTW,k是为该待预测时间段内任务资源等待时间超过该任务资源等待时间阈值的任务概率。
2.如权利要求1所述的预测任务资源等待时间的方法,其特征在于,该步骤1的具体步骤包括:
步骤11,判断该历史任务记录中的任务记录是否存在依赖关系;
步骤12,若存在则删除存在依赖关系的任务记录。
3.如权利要求2所述的预测任务资源等待时间的方法,其特征在于,该步骤12包括:
步骤31,将该历史任务记录中的任务记录按提交时间由小到大进行排列;
步骤32,从提交时间最小的任务记录开始,删除该提交时间最小的该任务记录至接下来t*时间内所有和该提交时间最小的该任务记录的参数选择临近程度小于x*的任务记录;
步骤33,更新该历史任务记录并重复该步骤32,直至遍历该历史任务记录,更新该历史任务记录。
4.一种预测任务资源等待时间的系统,其特征在于,包括:
生成新历史任务记录模块,用于获取历史任务记录,使用空间及时间聚类探测方法筛选并删除该历史任务记录中存在依赖关系的任务记录,生成新历史任务记录;
生成任务记录集合,用于根据自协方差函数获取该新历史任务记录中与待预测时间段具有相关性的时间段内的任务记录,生成任务记录集合;
预测模块,用于设置任务资源等待时间阈值,获取该任务记录集合中任务资源等待时间超过该任务资源等待时间阈值的任务记录的个数,并根据该任务记录集合中任务记录的总量,根据Beta-二项分布分层模型的平均值来预测该待预测时间段内的任务资源等待时间;
其中,该空间及时间聚类探测方法具体包括,预先设定一个时间临界点t*及一个空间临界点x*,如果该历史任务记录中的两个任务记录的提交时间间隔在时间临界点t*之内并且参数选取的临近程度在空间间隔x*之内,且配对的密度高于该历史任务记录中除该两个任务记录的配对的密度,则该两个任务记录在(t*,x*)尺度之内具有依赖关系;
该预测模块中该Beta-二项分布分层模型的平均值公式为:
<mrow> <msub> <mi>P</mi> <mrow> <mi>L</mi> <mi>T</mi> <mi>W</mi> <mo>,</mo> <mi>k</mi> </mrow> </msub> <mo>=</mo> <mfrac> <msub> <mi>N</mi> <mrow> <mi>L</mi> <mi>T</mi> <mi>W</mi> <mo>,</mo> <mi>k</mi> <mo>-</mo> <mn>1</mn> <mo>,</mo> <mi>k</mi> <mo>-</mo> <mn>2</mn> </mrow> </msub> <msub> <mi>N</mi> <mrow> <mi>k</mi> <mo>-</mo> <mn>1</mn> <mo>,</mo> <mi>k</mi> <mo>-</mo> <mn>2</mn> </mrow> </msub> </mfrac> </mrow>
其中NLTW,k-1,k-2为该任务资源等待时间超过该任务资源等待时间阈值的该任务记录的该个数,Nk-1,k-2为该任务记录集合中该任务记录的该总量,PLTW,k是为该待预测时间段内任务资源等待时间超过该任务资源等待时间阈值的任务概率。
5.如权利要求4所述的预测任务资源等待时间的系统,其特征在于,该生成新历史任务记录模块还包括:
判断模块,判断该历史任务记录中的任务记录是否存在依赖关系;
删除依赖关系模块,若存在则删除存在依赖关系的任务记录。
6.如权利要求5所述的预测任务资源等待时间的系统,其特征在于,该删除依赖关系模块具体包括:
任务记录排列模块,用于将该历史任务记录中的任务记录按提交时间由小到大进行排列;
任务记录删除模块,用于从提交时间最小的任务记录开始,删除该提交时间最小的该任务记录至接下来t*时间内所有和该提交时间最小的该任务记录的参数选择临近程度小于x*的任务记录;
更新模块,用于更新该历史任务记录并重复调用该任务记录删除模块,直至遍历该历史任务记录,更新该历史任务记录。
CN201410796248.3A 2014-07-11 2014-12-18 一种预测任务资源等待时间的方法及系统 Active CN104516784B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410796248.3A CN104516784B (zh) 2014-07-11 2014-12-18 一种预测任务资源等待时间的方法及系统

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201410332344 2014-07-11
CN2014103323442 2014-07-11
CN201410796248.3A CN104516784B (zh) 2014-07-11 2014-12-18 一种预测任务资源等待时间的方法及系统

Publications (2)

Publication Number Publication Date
CN104516784A CN104516784A (zh) 2015-04-15
CN104516784B true CN104516784B (zh) 2018-03-30

Family

ID=52792138

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410796248.3A Active CN104516784B (zh) 2014-07-11 2014-12-18 一种预测任务资源等待时间的方法及系统

Country Status (1)

Country Link
CN (1) CN104516784B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105094986B (zh) * 2015-07-20 2019-03-22 暨南大学 一种面向存储系统的突发访问行为的预测方法及装置
CN106469088B (zh) * 2015-08-21 2020-04-28 华为技术有限公司 一种i/o请求调度方法及调度器
US10282233B2 (en) * 2016-04-15 2019-05-07 Google Llc Modular electronic devices with prediction of future tasks and capabilities
CN107766150A (zh) * 2017-09-20 2018-03-06 电子科技大学 一种基于hadoop的作业调度算法
CN108536528A (zh) * 2018-03-23 2018-09-14 湖南大学 应用感知的大规模网格作业调度方法
CN109324875B (zh) * 2018-09-27 2022-07-26 杭州电子科技大学 一种基于强化学习的数据中心服务器功耗管理与优化方法
CN109408236A (zh) * 2018-10-22 2019-03-01 福建南威软件有限公司 一种etl在集群上的任务负载均衡方法
CN109636212B (zh) * 2018-12-19 2023-06-16 中国科学技术大学 作业实际运行时间的预测方法
CN109800085B (zh) * 2018-12-24 2021-01-29 东软集团股份有限公司 资源配置的检测方法、装置、存储介质和电子设备
CN109740813B (zh) * 2018-12-29 2020-11-24 上海华力微电子有限公司 晶圆制造中在线产品批次跑货状态的分析预测方法
CN110706171B (zh) * 2019-09-26 2024-04-26 中国电子科技集团公司第十一研究所 图像降噪方法及装置
CN112711615A (zh) * 2019-10-24 2021-04-27 富士通株式会社 信息处理装置、信息处理方法和计算机可读存储介质
CN112486687B (zh) * 2020-12-03 2022-09-27 重庆邮电大学 一种基于多任务学习时间序列的云平台工作负载预测方法
CN112764915B (zh) * 2020-12-10 2023-11-14 国家卫星气象中心(国家空间天气监测预警中心) 一种时间相关度的资源消耗分析方法
CN112269650A (zh) * 2020-12-18 2021-01-26 北京达佳互联信息技术有限公司 任务调度方法、装置、电子设备和存储介质
CN112988361B (zh) * 2021-05-13 2021-08-20 中诚华隆计算机技术有限公司 集群任务分配方法、装置和计算机可读介质
CN114219040A (zh) * 2021-12-17 2022-03-22 建信金融科技有限责任公司 作业运行结果预测的方法、装置及处理器
CN118445083B (zh) * 2024-05-20 2024-11-05 北京宝联之星科技股份有限公司 一种基于人工智能的算力处理系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101052224A (zh) * 2007-05-15 2007-10-10 华为技术有限公司 一种确定激活服务质量时机的方法、系统及装置
CN103559333A (zh) * 2013-10-12 2014-02-05 华南理工大学 基于日志的生物基因测序的任务模型构建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020087734A1 (en) * 2000-12-29 2002-07-04 Marshall Donald Brent System and method for managing dependencies in a component-based system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101052224A (zh) * 2007-05-15 2007-10-10 华为技术有限公司 一种确定激活服务质量时机的方法、系统及装置
CN103559333A (zh) * 2013-10-12 2014-02-05 华南理工大学 基于日志的生物基因测序的任务模型构建方法

Also Published As

Publication number Publication date
CN104516784A (zh) 2015-04-15

Similar Documents

Publication Publication Date Title
CN104516784B (zh) 一种预测任务资源等待时间的方法及系统
JP5313990B2 (ja) 応答時間に基づいてサービスリソース消費を推定すること
Huang et al. When backpressure meets predictive scheduling
US9471375B2 (en) Resource bottleneck identification for multi-stage workflows processing
JP6193393B2 (ja) 分散コンピューティングシステムのための電力の最適化
CN110476172A (zh) 用于卷积神经网络的神经架构搜索
US20170206462A1 (en) Method and apparatus for detecting abnormal contention on a computer system
Cariño et al. Dynamic load balancing with adaptive factoring methods in scientific applications
US20120221373A1 (en) Estimating Business Service Responsiveness
Nguyen et al. A black-box fork-join latency prediction model for data-intensive applications
JP2023116621A (ja) 強化学習を用いたデータ評価
Chen et al. Optimal variability sensitive condition-based maintenance with a Cox PH model
CN102736896A (zh) 运行前近似计算
CN110618867A (zh) 一种预测资源使用量的方法和装置
CN109558248B (zh) 一种用于确定面向海洋模式计算的资源分配参数的方法及系统
Vercellino et al. A machine learning approach for an HPC use case: The jobs queuing time prediction
Xia et al. Privacy‐preserving task offloading in mobile edge computing: A deep reinforcement learning approach
Almomani et al. Selecting a good stochastic system for the large number of alternatives
CN117076083A (zh) 一种任务调度方法和装置
CN117370065A (zh) 一种异常任务确定方法、电子设备及存储介质
Bedi et al. STOWP: A light-weight deep residual network integrated windowing strategy for storage workload prediction in cloud systems
Liu et al. An EVT-based worst-case response time analysis of complex real-time systems
Acosta et al. Efficient parameter estimation in a macroscopic traffic flow model by discrete mollification
Chen et al. Cloud computing for vlsi floorplanning considering peak temperature reduction
CN116385059A (zh) 行为数据预测模型的更新方法、装置、设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220507

Address after: 100095 room 217, second floor, building 17, Chuangke town community supporting commercial building, Wenquan Town, Haidian District, Beijing

Patentee after: Zhongkehai micro (Beijing) Technology Co.,Ltd.

Address before: 100190 No. 6 South Road, Zhongguancun Academy of Sciences, Beijing, Haidian District

Patentee before: Institute of Computing Technology, Chinese Academy of Sciences

TR01 Transfer of patent right