CN110737572A - 大数据平台资源抢占测试方法、系统、终端及存储介质 - Google Patents

Abstract

本发明提供一种大数据平台资源抢占测试方法、系统、终端及存储介质，包括：分别设置第一任务队列资源占比和第二任务队列资源占比；设置任务数据并构造对所述任务数据的查询任务；在集群空载情况下，分别将查询任务提交至第一任务队列和第二任务队列，得到任务完成所需的第一处理时间和第二处理时间，确保第一处理时间和第二处理时间相等；向第一任务队列提交查询任务并在第一任务队列的查询任务执行至预设进度时，将查询任务提交至第二任务队列，获取第一任务队列完成任务的第三时间和第二任务队列完成任务的第四时间；根据第一时间、第二时间、第三时间、第四时间、第一任务队列资源占比和第二任务队列资源占比之间的比对关系监控资源抢占事件。

Description

大数据平台资源抢占测试方法、系统、终端及存储介质

技术领域

本发明涉及大数据服务平台技术领域，具体涉及一种大数据平台资源抢占测试方法、系统、终端及存储介质。

背景技术

大数据组件YARN有三种调度模式，公平调度(Fair Scheduler)是适用性较广调度模式之一，并且该模式支持资源抢占，既保证了任务少处理速度快，也保证了任务并发多时进行公平调度，所以资源抢占功能是该组件的一项重要功能。在大数据平台YARN组件测试中，资源调度均为内部实现，通过代码分析资源抢占的发生非常复杂，故针对资源抢占的测试方法欠缺，可借鉴的测试方案匮乏。

发明内容

针对现有技术的上述不足，本发明提供一种大数据平台资源抢占测试方法、系统、终端及存储介质，以解决上述技术问题。

第一方面，本发明提供一种大数据平台资源抢占测试方法，包括：

分别设置第一任务队列资源占比和第二任务队列资源占比；

设置任务数据并构造对所述任务数据的查询任务；

在集群空载情况下，分别将所述查询任务提交至第一任务队列和第二任务队列，得到任务完成所需的第一处理时间和第二处理时间，确保第一处理时间和第二处理时间相等；

向第一任务队列提交查询任务并在第一任务队列的查询任务执行至预设进度时，将所述查询任务提交至第二任务队列，获取第一任务队列完成任务的第三时间和第二任务队列完成任务的第四时间；

根据第一时间、第二时间、第三时间、第四时间、第一任务队列资源占比和第二任务队列资源占比之间的比对关系监控资源抢占事件。

进一步的，所述分别设置第一任务队列资源占比和第二任务队列资源占比，包括：

根据对任务执行时间的甄别需要设置占比差值；

将大数据平台的调度模式设置为公平调度；

将第一任务队列资源占比设置为低等占比，将第二任务队列的资源占比设置为高等占比，所述低等占比与所述高等占比之差不小于预设占比差值。

进一步的，所述向第一任务队列提交查询任务并在第一任务队列的查询任务执行至预设进度时，将所述查询任务提交至第二任务队列，包括：

设置抢占触发进度，并根据所述抢占触发进度换算抢占触发时间；

向第一任务队列提交查询任务并记录提交时间；

在第一任务队列的执行时间达到所述抢占触发时间时，向第二任务队列提交查询任务。

进一步的，所述根据第一时间、第二时间、第三时间、第四时间、第一任务队列资源占比和第二任务队列资源占比之间的比对关系监控资源抢占事件，包括：

确认所述第三时间和第四时间均小于第一时间和第二时间；

根据第三时间、第四时间、第一任务队列资源占比和第二任务队列占比生成任务执行时间与资源占比的比例关系，若所述比例关系为正比则判定发生资源抢占事件。

第二方面，本发明提供一种大数据平台资源抢占测试系统，包括：

队列设置单元，配置用于分别设置第一任务队列资源占比和第二任务队列资源占比；

任务构造单元，配置用于设置任务数据并构造对所述任务数据的查询任务；

空载执行单元，配置用于在集群空载情况下，分别将所述查询任务提交至第一任务队列和第二任务队列，得到任务完成所需的第一处理时间和第二处理时间，确保第一处理时间和第二处理时间相等；

抢占模拟单元，配置用于向第一任务队列提交查询任务并在第一任务队列的查询任务执行至预设进度时，将所述查询任务提交至第二任务队列，获取第一任务队列完成任务的第三时间和第二任务队列完成任务的第四时间；

抢占监控单元，配置用于根据第一时间、第二时间、第三时间、第四时间、第一任务队列资源占比和第二任务队列资源占比之间的比对关系监控资源抢占事件。

进一步的，所述队列设置单元包括：

差值设置模块，配置用于根据对任务执行时间的甄别需要设置占比差值；

模式设置模块，配置用于将大数据平台的调度模式设置为公平调度；

占比设置模块，配置用于将第一任务队列资源占比设置为低等占比，将第二任务队列的资源占比设置为高等占比，所述低等占比与所述高等占比之差不小于预设占比差值。

进一步的，所述抢占模拟单元包括：

触发设置模块，配置用于设置抢占触发进度，并根据所述抢占触发进度换算抢占触发时间；

初始执行模块，配置用于向第一任务队列提交查询任务并记录提交时间；

触发执行模块，配置用于在第一任务队列的执行时间达到所述抢占触发时间时，向第二任务队列提交查询任务。

进一步的，所述抢占监控单元包括：

初步确认模块，配置用于确认所述第三时间和第四时间均小于第一时间和第二时间；

比例判断模块，配置用于根据第三时间、第四时间、第一任务队列资源占比和第二任务队列占比生成任务执行时间与资源占比的比例关系，若所述比例关系为正比则判定发生资源抢占事件。

第三方面，提供一种终端，包括：

处理器、存储器，其中，

该存储器用于存储计算机程序，

该处理器用于从存储器中调用并运行该计算机程序，使得终端执行上述的终端的方法。

第四方面，提供了一种计算机存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。

本发明的有益效果在于，

本发明提供的大数据平台资源抢占测试方法、系统、终端及存储介质，在公平调度模式下，通过设置2个可分配资源相差较大的队列，并在集群空载的不同时间段，向两个队列上提交基准任务，该基准任务应满足可执行较长时间，并记录执行时间，然后再构造资源抢占夺回的场景，先向可分配资源较小的队列提交基准任务，在小队列执行过程中，再向可分配资源较大的队列提交基准任务，并分别记录时间。最后可通过四个执行时间的比较，分析资源抢占事件是否发生。本发明可为测试人员提供具体的资源抢占测试方法，从而解决了YARN组件公平调度的资源抢占测试方法欠缺的情况，并且为集群功能测试提供了方法创新，为客户提供了平台支持资源抢占调度的参考依据，从而保证了产品的质量。

此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例的方法的示意性流程图。

图2是本发明一个实施例的系统的示意性框图。

图3为本发明实施例提供的一种终端的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

图1是本发明一个实施例的方法的示意性流程图。其中，图1执行主体可以为一种大数据平台资源抢占测试系统。

如图1所示，该方法100包括：

步骤110，分别设置第一任务队列资源占比和第二任务队列资源占比；

步骤120，设置任务数据并构造对所述任务数据的查询任务；

步骤130，在集群空载情况下，分别将所述查询任务提交至第一任务队列和第二任务队列，得到任务完成所需的第一处理时间和第二处理时间，确保第一处理时间和第二处理时间相等；

步骤140，向第一任务队列提交查询任务并在第一任务队列的查询任务执行至预设进度时，将所述查询任务提交至第二任务队列，获取第一任务队列完成任务的第三时间和第二任务队列完成任务的第四时间；

步骤150，根据第一时间、第二时间、第三时间、第四时间、第一任务队列资源占比和第二任务队列资源占比之间的比对关系监控资源抢占事件。

可选地，作为本发明一个实施例，所述分别设置第一任务队列资源占比和第二任务队列资源占比，包括：

根据对任务执行时间的甄别需要设置占比差值；

将大数据平台的调度模式设置为公平调度；

将第一任务队列资源占比设置为低等占比，将第二任务队列的资源占比设置为高等占比，所述低等占比与所述高等占比之差不小于预设占比差值。

可选地，作为本发明一个实施例，所述向第一任务队列提交查询任务并在第一任务队列的查询任务执行至预设进度时，将所述查询任务提交至第二任务队列，包括：

设置抢占触发进度，并根据所述抢占触发进度换算抢占触发时间；

向第一任务队列提交查询任务并记录提交时间；

在第一任务队列的执行时间达到所述抢占触发时间时，向第二任务队列提交查询任务。

可选地，作为本发明一个实施例，所述根据第一时间、第二时间、第三时间、第四时间、第一任务队列资源占比和第二任务队列资源占比之间的比对关系监控资源抢占事件，包括：

确认所述第三时间和第四时间均小于第一时间和第二时间；

根据第三时间、第四时间、第一任务队列资源占比和第二任务队列占比生成任务执行时间与资源占比的比例关系，若所述比例关系为正比则判定发生资源抢占事件。

为了便于对本发明的理解，下面以本发明大数据平台资源抢占测试方法的原理，结合实施例中对资源抢占事件进行模拟触发并监控的过程，对本发明提供的大数据平台资源抢占测试方法做进一步的描述。

本实施例以云海Insight大数据平台为例，具体的，所述大数据平台资源抢占测试方法包括：

S1、分别设置第一任务队列资源占比和第二任务队列资源占比。

将YARN组件的调度模式设置为公平调度(Fair Scheduler)。首先根据执行时间的甄别需要设置资源占比差值，即高资源占比与低资源占比的差值不可小于预设差值，这样两个任务队列的任务执行时间相差较大，便于测试人员甄别。例如资源占比差值设置为40％，设置第一任务队列(队列名可以自命名，例如队列dev)资源占比20％，设置第二任务队列(队列poc)资源占比80％。

S2、设置任务数据并构造对所述任务数据的查询任务。

构造可执行的基准任务，应保证任务可执行一段时间，如可执行10min左右，可使用工具TPC-DS构造300GB数据，使用Query_64.sql进行查询，即为Query_64.sql查询任务。

S3、在集群空载情况下，分别将所述查询任务提交至第一任务队列和第二任务队列，得到任务完成所需的第一处理时间和第二处理时间，确保第一处理时间和第二处理时间相等。

在集群空载的情况下，提交Query_64.sql任务到队列dev，并记录任务运行完成的总时间TIME1。在集群空载的情况下，提交Query_64.sql任务到队列poc，并记录任务运行完成的总时间TIME2。若TIME1＝TIME2，则说明大数据平台处于公平调度模式，可以继续执行测试。若TIME1与TIME2不相等，则说明大数据平台不是公平调度模式，需要退出测试并提示模式错误。

S4、向第一任务队列提交查询任务并在第一任务队列的查询任务执行至预设进度时，将所述查询任务提交至第二任务队列，获取第一任务队列完成任务的第三时间和第二任务队列完成任务的第四时间。

根据步骤S1设置的两个队列的资源占比，设置两个队列执行任务相差的进度。例如本实施例中设置的资源占比分别为队列dev资源占比20％，队列poc资源占比80％，则需要在队列dev执行任务进度到三分之一时再使队列poc开始执行任务。先向dev队列提交Query_64.sql查询任务，在步骤1运行的任务数执行三分之一或者TIME1的三分之一时，再向poc队列提交Query_64.sql查询任务。记录dev队列任务运行完成的总时间TIME3和poc队列任务运行完成的总时间TIME4。

若TIME1＝TIME2>TIME3且TIME1＝TIME2>TIME4则执行下一个判断，否则判定未发生资源抢占事件；

根据第三时间、第四时间、第一任务队列资源占比和第二任务队列占比生成任务执行时间与资源占比的比例关系：

若TIME4>TIME3则上述比例关系为正比，判定发生了资源抢占事件；若TIME3>TIME4则上述比例关系为反比，判定未发生资源抢占事件。

如图2示，该系统200包括：

队列设置单元210，配置用于分别设置第一任务队列资源占比和第二任务队列资源占比；

任务构造单元220，配置用于设置任务数据并构造对所述任务数据的查询任务；

空载执行单元230，配置用于在集群空载情况下，分别将所述查询任务提交至第一任务队列和第二任务队列，得到任务完成所需的第一处理时间和第二处理时间，确保第一处理时间和第二处理时间相等；

抢占模拟单元240，配置用于向第一任务队列提交查询任务并在第一任务队列的查询任务执行至预设进度时，将所述查询任务提交至第二任务队列，获取第一任务队列完成任务的第三时间和第二任务队列完成任务的第四时间；

抢占监控单元250，配置用于根据第一时间、第二时间、第三时间、第四时间、第一任务队列资源占比和第二任务队列资源占比之间的比对关系监控资源抢占事件。

可选地，作为本发明一个实施例，所述队列设置单元包括：

差值设置模块，配置用于根据对任务执行时间的甄别需要设置占比差值；

模式设置模块，配置用于将大数据平台的调度模式设置为公平调度；

占比设置模块，配置用于将第一任务队列资源占比设置为低等占比，将第二任务队列的资源占比设置为高等占比，所述低等占比与所述高等占比之差不小于预设占比差值。

可选地，作为本发明一个实施例，所述抢占模拟单元包括：

触发设置模块，配置用于设置抢占触发进度，并根据所述抢占触发进度换算抢占触发时间；

初始执行模块，配置用于向第一任务队列提交查询任务并记录提交时间；

触发执行模块，配置用于在第一任务队列的执行时间达到所述抢占触发时间时，向第二任务队列提交查询任务。

可选地，作为本发明一个实施例，所述抢占监控单元包括：

初步确认模块，配置用于确认所述第三时间和第四时间均小于第一时间和第二时间；

比例判断模块，配置用于根据第三时间、第四时间、第一任务队列资源占比和第二任务队列占比生成任务执行时间与资源占比的比例关系，若所述比例关系为正比则判定发生资源抢占事件。

图3为本发明实施例提供的一种终端系统300的结构示意图，该终端系统300可以用于执行本发明实施例提供的大数据平台资源抢占测试方法。

其中，该终端系统300可以包括：处理器310、存储器320及通信单元330。这些组件通过一条或多条总线进行通信，本领域技术人员可以理解，图中示出的服务器的结构并不构成对本发明的限定，它既可以是总线形结构，也可以是星型结构，还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

其中，该存储器320可以用于存储处理器310的执行指令，存储器320可以由任何类型的易失性或非易失性存储终端或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。当存储器320中的执行指令由处理器310执行时，使得终端300能够执行以下上述方法实施例中的部分或全部步骤。

处理器310为存储终端的控制中心，利用各种接口和线路连接整个电子终端的各个部分，通过运行或执行存储在存储器320内的软件程序和/或模块，以及调用存储在存储器内的数据，以执行电子终端的各种功能和/或处理数据。所述处理器可以由集成电路(Integrated Circuit，简称IC)组成，例如可以由单颗封装的IC所组成，也可以由连接多颗相同功能或不同功能的封装IC而组成。举例来说，处理器310可以仅包括中央处理器(Central Processing Unit，简称CPU)。在本发明实施方式中，CPU可以是单运算核心，也可以包括多运算核心。

通信单元330，用于建立通信信道，从而使所述存储终端可以与其它终端进行通信。接收其他终端发送的用户数据或者向其他终端发送用户数据。

本发明还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：ROM)或随机存储记忆体(英文：random access memory，简称：RAM)等。

因此，本发明在公平调度模式下，通过设置2个可分配资源相差较大的队列，并在集群空载的不同时间段，向两个队列上提交基准任务，该基准任务应满足可执行较长时间，并记录执行时间，然后再构造资源抢占夺回的场景，先向可分配资源较小的队列提交基准任务，在小队列执行过程中，再向可分配资源较大的队列提交基准任务，并分别记录时间。最后可通过四个执行时间的比较，分析资源抢占事件是否发生。本发明可为测试人员提供具体的资源抢占测试方法，从而解决了YARN组件公平调度的资源抢占测试方法欠缺的情况，并且为集群功能测试提供了方法创新，为客户提供了平台支持资源抢占调度的参考依据，从而保证了产品的质量，本实施例所能达到的技术效果可以参见上文中的描述，此处不再赘述。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中如U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，包括若干指令用以使得一台计算机终端(可以是个人计算机，服务器，或者第二终端、网络终端等)执行本发明各个实施例所述方法的全部或部分步骤。

本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于终端实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统、系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种大数据平台资源抢占测试方法，其特征在于，包括：

分别设置第一任务队列资源占比和第二任务队列资源占比；

设置任务数据并构造对所述任务数据的查询任务；

在集群空载情况下，分别将所述查询任务提交至第一任务队列和第二任务队列，得到任务完成所需的第一处理时间和第二处理时间，确保第一处理时间和第二处理时间相等；

向第一任务队列提交查询任务并在第一任务队列的查询任务执行至预设进度时，将所述查询任务提交至第二任务队列，获取第一任务队列完成任务的第三时间和第二任务队列完成任务的第四时间；

根据第一时间、第二时间、第三时间、第四时间、第一任务队列资源占比和第二任务队列资源占比之间的比对关系监控资源抢占事件。

2.根据权利要求1所述的大数据平台资源抢占测试方法，其特征在于，所述分别设置第一任务队列资源占比和第二任务队列资源占比，包括：

根据对任务执行时间的甄别需要设置占比差值；

将大数据平台的调度模式设置为公平调度；

将第一任务队列资源占比设置为低等占比，将第二任务队列的资源占比设置为高等占比，所述低等占比与所述高等占比之差不小于预设占比差值。

3.根据权利要求1所述的大数据平台资源抢占测试方法，其特征在于，所述向第一任务队列提交查询任务并在第一任务队列的查询任务执行至预设进度时，将所述查询任务提交至第二任务队列，包括：

设置抢占触发进度，并根据所述抢占触发进度换算抢占触发时间；

向第一任务队列提交查询任务并记录提交时间；

在第一任务队列的执行时间达到所述抢占触发时间时，向第二任务队列提交查询任务。

4.根据权利要求1所述的大数据平台资源抢占测试方法，其特征在于，所述根据第一时间、第二时间、第三时间、第四时间、第一任务队列资源占比和第二任务队列资源占比之间的比对关系监控资源抢占事件，包括：

确认所述第三时间和第四时间均小于第一时间和第二时间；

根据第三时间、第四时间、第一任务队列资源占比和第二任务队列占比生成任务执行时间与资源占比的比例关系，若所述比例关系为正比则判定发生资源抢占事件。

5.一种大数据平台资源抢占测试系统，其特征在于，包括：

队列设置单元，配置用于分别设置第一任务队列资源占比和第二任务队列资源占比；

任务构造单元，配置用于设置任务数据并构造对所述任务数据的查询任务；

空载执行单元，配置用于在集群空载情况下，分别将所述查询任务提交至第一任务队列和第二任务队列，得到任务完成所需的第一处理时间和第二处理时间，确保第一处理时间和第二处理时间相等；

抢占模拟单元，配置用于向第一任务队列提交查询任务并在第一任务队列的查询任务执行至预设进度时，将所述查询任务提交至第二任务队列，获取第一任务队列完成任务的第三时间和第二任务队列完成任务的第四时间；

抢占监控单元，配置用于根据第一时间、第二时间、第三时间、第四时间、第一任务队列资源占比和第二任务队列资源占比之间的比对关系监控资源抢占事件。

6.根据权利要求5所述的大数据平台资源抢占测试系统，其特征在于，所述队列设置单元包括：

差值设置模块，配置用于根据对任务执行时间的甄别需要设置占比差值；

模式设置模块，配置用于将大数据平台的调度模式设置为公平调度；

占比设置模块，配置用于将第一任务队列资源占比设置为低等占比，将第二任务队列的资源占比设置为高等占比，所述低等占比与所述高等占比之差不小于预设占比差值。

7.根据权利要求5所述的大数据平台资源抢占测试系统，其特征在于，所述抢占模拟单元包括：

触发设置模块，配置用于设置抢占触发进度，并根据所述抢占触发进度换算抢占触发时间；

初始执行模块，配置用于向第一任务队列提交查询任务并记录提交时间；

触发执行模块，配置用于在第一任务队列的执行时间达到所述抢占触发时间时，向第二任务队列提交查询任务。

8.根据权利要求5所述的大数据平台资源抢占测试系统，其特征在于，所述抢占监控单元包括：

初步确认模块，配置用于确认所述第三时间和第四时间均小于第一时间和第二时间；

比例判断模块，配置用于根据第三时间、第四时间、第一任务队列资源占比和第二任务队列占比生成任务执行时间与资源占比的比例关系，若所述比例关系为正比则判定发生资源抢占事件。

9.一种终端，其特征在于，包括：

处理器；

用于存储处理器的执行指令的存储器；

其中，所述处理器被配置为执行权利要求1-4任一项所述的方法。

10.一种存储有计算机程序的计算机可读存储介质，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一项所述的方法。

Images