CN113918303A - 基于微服务的多任务分布调度系统 - Google Patents
基于微服务的多任务分布调度系统 Download PDFInfo
- Publication number
- CN113918303A CN113918303A CN202111237337.0A CN202111237337A CN113918303A CN 113918303 A CN113918303 A CN 113918303A CN 202111237337 A CN202111237337 A CN 202111237337A CN 113918303 A CN113918303 A CN 113918303A
- Authority
- CN
- China
- Prior art keywords
- task
- request
- server
- performance
- edge server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000000034 method Methods 0.000 claims abstract description 26
- 230000008569 process Effects 0.000 claims abstract description 19
- 238000012544 monitoring process Methods 0.000 claims description 25
- 238000012163 sequencing technique Methods 0.000 claims description 24
- 238000004891 communication Methods 0.000 claims description 19
- 230000005540 biological transmission Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000000977 initiatory effect Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 102100036790 Tubulin beta-3 chain Human genes 0.000 claims description 3
- 102100036788 Tubulin beta-4A chain Human genes 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 230000007935 neutral effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明公开了基于微服务的多任务分布调度系统,属于微服务领域,用于解决本地服务器无法有序处理多计算任务、推送计算任务与异地边缘服务器的处理能力不匹配的问题,包括智能调度模块、任务分布模块、任务排序模块和性能监测模块,所述任务分类模块用于将请求任务进行任务分类,所述任务排序模块用于将请求任务进行排序,所述性能监测模块用于对边缘服务器进行环境监测,所述智能调度模块用于对本地服务器中的请求任务进行智能调度,本发明方便计算任务匹配相应处理性能的异地边缘服务器,资源合理化分配,同时实现多计算任务的有序处理。
Description
技术领域
本发明属于微服务领域,涉及任务分布调度技术,具体是基于微服务的多任务分布调度系统。
背景技术
微服务(或微服务架构)是一种云原生架构方法,其中单个应用程序由许多松散耦合且可独立部署的较小组件或服务组成。维基上对其定义为:一种软件开发技术-面向服务的体系结构(SOA)架构样式的一种变体,它提倡将单一应用程序划分成一组小的服务,服务之间互相协调、互相配合,为用户提供最终价值。每个服务运行在其独立的进程中,服务于服务间采用轻量级的通信机制互相沟通。每个服务都围绕着具体业务进行构建,并且能够独立地部署到生产环境、类生产环境等。另外,应尽量避免统一的、集中式的服务管理机制,对具体的一个服务而言,应根据上下文,选择合适的语言、工具对其进行构建。
现有技术中,在一个通信域中本地服务器存在着大量的计算任务,当本地服务器的计算资源不足或者计算任务超过本地服务器的计算规模,则需要将计算任务推送至其它通信域内的边缘服务器上执行,但是在推送过程中,由于无法知晓其他通信域中边缘服务器的处理能力和性能,导致推送过来的计算任务在其他通信域内的边缘服务器仍无法处理,推送的计算任务与异地边缘服务器的处理能力无法匹配,计算任务调度不合理,资源没有合理化分配;
同时,本地服务器在进行多任务处理时,无法将计算任务进行有序处理,导致计算任务处理缓慢,进而造成本地服务器的负荷处理,为此,我们提出基于微服务的多任务分布调度系统。
发明内容
针对现有技术存在的不足,本发明目的是提供基于微服务的多任务分布调度系统。
本发明所要解决的技术问题为:
(1)本地服务器如何将多计算任务进行有序处理;
(2)本地服务器如何将计算任务推送至处理相匹配的异地边缘服务器。
本发明的目的可以通过以下技术方案实现:
基于微服务的多任务分布调度系统,包括本地服务器、用户终端、智能调度模块、任务分布模块、任务排序模块、性能监测模块、交换机、数据采集模块以及边缘服务器组;
所述用户终端用于用户发起请求任务,并将请求任务加载至对应的本地服务器,所述数据采集模块用于采集通信域中请求任务的任务信息,并将任务信息发送至本地服务器,所述本地服务器将请求任务的任务信息发送至任务分类模块,所述任务分类模块用于将请求任务进行任务分类,请求任务划分为文字浏览请求任务、图片浏览请求任务、音频浏览请求任务、视频浏览请求任务和混合浏览请求任务,并得到对应的分类集以及分类集相应的排序系数;
所述任务分类模块将浏览请求任务、图片浏览请求任务、音频浏览请求任务、视频浏览请求任务、混合浏览请求任务以及对应的排序系数反馈至本地服务器,所述本地服务器将浏览请求任务、图片浏览请求任务、音频浏览请求任务、视频浏览请求任务、混合浏览请求任务以及对应的排序系数发送至任务排序模块,所述任务排序模块用于将请求任务进行排序,计算得到请求任务的排序值,所述任务排序模块将请求任务的排序值反馈至本地服务器,所述本地服务器依据排序值依次处理的请求任务;
若本地服务器的处理能力达到限定值或计算的任务规模过大,则将请求任务的排序值发送至智能调度模块,所述本地服务器与边缘服务器组相连接,所述边缘服务器组包括若干个边缘服务器和边缘服务器对应的边缘节点;
所述数据采集模块还用于采集边缘服务器组中若干个边缘服务器的服务器数据,并将服务器数据发送至本地服务器,所述本地服务器将服务器数据发送至性能监测模块,所述性能监测模块接收到本地服务器发送的服务器数据后,所述性能监测模块用于对边缘服务器进行环境监测,得到边缘服务器的性能等级,所述性能监测模块将边缘服务器的性能等级反馈至本地服务器,所述本地服务器将边缘服务器的性能等级反馈至智能调度模块,所述智能调度模块用于对本地服务器中的请求任务进行智能调度。
进一步地,任务信息包括任务生成时间、任务类型和网速下限值;
服务器数据包括边缘服务器的请求任务、实时下载网速、地理位置、宕机次数。
进一步地,分类集包括文字集、图片集、音频集、视频集和混合集,文字集、图片集、音频集、视频集、混合集设定有固定数值的排序系数,并且文字集的排序系数小于图片集的排序系数、图片集的排序系数小于音频集的排序系数、音频集的排序系数小于视频集的排序系数、视频集的排序系数小于混合集的排序系数。
进一步地,所述任务排序模块的排序过程具体如下:
步骤一:将各任务类型的请求任务标记为u,u=1,2,……,z,z为正整数;获取请求任务的任务生成时间,利用系统当前时间减去任务生成时间得到请求任务得到生成时长标记为TCu;
步骤二:获取请求任务的排序系数,并将请求任务的排序系数标记为XSu;
步骤三:获取请求任务的网速下限值,并将网速下限值标记为WSXu;
进一步地,所述性能监测模块的工作过程具体如下:
步骤SS1:将边缘服务器标记为i,i=1,2,……,x,x为正整数;获取边缘服务器当前处理的请求任务,统计请求任务的数量记为任务数RWSi;
步骤SS2:边缘服务器中每个当前处理请求任务的实时下载网速相加求和除以任务数,得到边缘服务器的下载均速XJSi;
步骤SS3:获取请求任务连接边缘服务器的时间和边缘服务器发送数据至本地服务器的时间,利用时间差计算得到边缘服务器的响应时间XYTi;
步骤SS4:利用公式计算得到边缘服务器的处理值CLi,公式具体如下:
步骤SS5:获取边缘服务器的CPU利用率LYi、数据传输时间SCTi和宕机次数DJi;
步骤SS7:若XNi<X1,则边缘服务器的性能等级为低性能边缘服务器;
若X1≤XNi<X2,则边缘服务器的性能等级为中性能边缘服务器;
若X2≤XNi,则边缘服务器的性能等级为高性能边缘服务器;其中,X1和X3均为性能阈值,且X1<X2。
进一步地,低性能边缘服务器用于处理文字浏览请求任务,中性能边缘服务器用于处理图片浏览请求任务和音频浏览请求任务,高性能边缘服务器用于处理视频浏览请求任务和混合浏览请求任务。
进一步地,文字浏览请求任务划分至文字集,图片浏览请求任务划分至图片集,音频浏览请求任务划分至音频集,视频浏览请求任务划分至视频集,混合浏览请求任务划分至混合集。
进一步地,所述智能调度模块的智能调度过程具体如下:
步骤P1:获取本地服务器的CPU利用率,若本地服务器的CPU利用率未超过设定阈值,则不进行任何操作;
若本地服务器的CPU利用率超过设定阈值,则生成任务异地处理信号,并进入下一步骤;
步骤P2:获取请求任务所处的分类集,将处于文字集的请求任务推送至低性能边缘服务器,将处于图片集或音频集的请求任务推送至中性能边缘服务器,将处于视频集或混合集的请求任务推送至高性能边缘服务器;
步骤P3:获取低性能边缘服务器中请求任务的排序值、中性能边缘服务器中请求任务的排序值、高性能边缘服务器中请求任务的排序值;
步骤P4:智能调度模块通过本地服务器将请求任务的排序值发送至对应的边缘服务器中,边缘服务器依据排序值对请求任务进行依次处理。
与现有技术相比,本发明的有益效果是:
1、本发明通过性能监测模块对边缘服务器进行环境监测,得到边缘服务器的性能值,性能值比对设定阈值后得到边缘服务器的性能等级器,在本地服务器的计算资源不足或计算的任务规模过大,通过智能调度模块对本地服务器中的请求任务进行智能调度,按照分类集将请求任务发送至对应相对应处理性能的异地边缘服务器,本发明方便将计算任务推送至处理相匹配的异地边缘服务器,从而实现服务器资源的合理化分配;
2、本发明通过任务分类模块将请求任务进行任务分类,得到各类型的请求任务、各类型请求任务的分类集和排序系数,排序系数结合任务排序模块将请求任务进行排序得到请求任务的排序值,本地服务器依据排序值实现请求任务的有序处理,本发明方便本地服务器中多计算任务的有序处理。
附图说明
为了便于本领域技术人员理解,下面结合附图对本发明作进一步的说明。
图1为本发明的整体系统框图;
图2为本发明的应用场景图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参阅图1-图2所示,基于微服务的多任务分布调度系统,包括本地服务器、用户终端、智能调度模块、任务分布模块、任务排序模块、性能监测模块、交换机、数据采集模块以及边缘服务器组;
在具体实施时,计算任务运用到通信域的,在一个通信域中,网关设备上存在着大量的计算任务需要处理,这些任务既可以卸载至本通信域内的本地服务器上执行,也可以在网关设备本地执行。但当本通信域内的本地服务器的计算资源不足或者计算的任务规模过大,网关设备既可以将任务卸载至其它通信域内的普通边缘服务器上执行,又可以卸载到距离网关较远的高性能边缘服务器中,由高性能边缘服务器完成执行。通过这种卸载方式,即可以减少工业设备的能耗,又可以提升工业环境的计算处理能力;
具体的,计算任务可以是用户终端的浏览请求任务,例如用户终端访问纯文字的新闻链接、图文并存的新闻链接,因此,浏览请求任务包括文字浏览请求任务、图片浏览请求任务、音频浏览请求任务、视频浏览请求任务、图文浏览请求任务、文音浏览请求任务、文影浏览请求任务、图音浏览请求任务、图影浏览请求任务和音影浏览请求任务等;
所述用户终端用于用户发起请求任务,并将请求任务加载至对应的本地服务器,所述数据采集模块用于采集通信域中请求任务的任务信息,并将任务信息发送至本地服务器;
其中,任务信息包括任务生成时间、任务类型、网速下限值等,网速下限值可以表示为请求任务发起所需要的最低网速;
所述本地服务器将请求任务的任务信息发送至任务分类模块,所述任务分类模块用于将请求任务进行任务分类,工作过程具体如下:
步骤S1:获取本地服务器中的请求任务,得到请求任务的任务类型;
步骤S2:依据任务类型将请求任务划分为文字浏览请求任务、图片浏览请求任务、音频浏览请求任务、视频浏览请求任务和混合浏览请求任务;
需要具体说明的是,混合浏览请求任务包括图文浏览请求任务、文音浏览请求任务、文影浏览请求任务、图音浏览请求任务、图影浏览请求任务和音影浏览请求任务;
步骤S3:将文字浏览请求任务、图片浏览请求任务、音频浏览请求任务、视频浏览请求任务和混合浏览请求任务划分至对应的分类集;
其中,文字浏览请求任务划分至文字集,图片浏览请求任务划分至图片集,音频浏览请求任务划分至音频集,视频浏览请求任务划分至视频集,混合浏览请求任务划分至混合集;
步骤S4:分别为对应的分类集设定相应的排序系数;
在具体实施时,分别为文字集、图片集、音频集、视频集、混合集设定固定数值的排序系数,并且文字集的排序系数小于图片集的排序系数、图片集的排序系数小于音频集的排序系数、音频集的排序系数小于视频集的排序系数、视频集的排序系数小于混合集的排序系数;
所述任务分类模块将浏览请求任务、图片浏览请求任务、音频浏览请求任务、视频浏览请求任务、混合浏览请求任务以及对应的排序系数反馈至本地服务器,所述本地服务器将浏览请求任务、图片浏览请求任务、音频浏览请求任务、视频浏览请求任务、混合浏览请求任务以及对应的排序系数发送至任务排序模块;
在具体实施时,所述任务排序模块用于将请求任务进行排序,排序过程具体如下:
步骤一:统一将各任务类型的请求任务标记为u,u=1,2,……,z,z为正整数;获取请求任务的任务生成时间,利用系统当前时间减去任务生成时间得到请求任务得到生成时长标记为TCu;
步骤二:获取请求任务的排序系数,并将请求任务的排序系数标记为XSu;
步骤三:获取请求任务的网速下限值,并将网速下限值标记为WSXu;
所述任务排序模块将请求任务的排序值反馈至本地服务器,所述本地服务器依据排序值依次处理的请求任务,若本地服务器的处理能力达到限定值或计算的任务规模过大,则将请求任务的排序值发送至智能调度模块;
同时,所述本地服务器还通过交换机与其它通信域内边缘服务器组相连接,所述边缘服务器组包括若干个边缘服务器和边缘服务器对应的边缘节点;
所述数据采集模块还用于采集边缘服务器组中若干个边缘服务器的服务器数据,并将服务器数据发送至本地服务器,所述本地服务器将服务器数据发送至性能监测模块;
需要具体说明的是:服务器数据包括边缘服务器的请求任务、实时下载网速、地理位置、宕机次数等;
所述性能监测模块接收到本地服务器发送的服务器数据后,所述性能监测模块用于对边缘服务器进行环境监测,工作过程具体如下:
步骤SS1:将边缘服务器标记为i,i=1,2,……,x,x为正整数;获取边缘服务器当前处理的请求任务,统计请求任务的数量记为任务数RWSi;
步骤SS2:边缘服务器中每个当前处理请求任务的实时下载网速相加求和除以任务数,得到边缘服务器的下载均速XJSi;
步骤SS3:获取请求任务连接边缘服务器的时间和边缘服务器发送数据至本地服务器的时间,利用时间差计算得到边缘服务器的响应时间XYTi;
步骤SS4:利用公式计算得到边缘服务器的处理值CLi,公式具体如下:
步骤SS5:获取边缘服务器的CPU利用率,并将CPU利用率标记为LYi;获取边缘服务器的地理位置和本地服务器的地理位置,通过距离公式计算得到间隔距离,间隔距离比对数据传输速率后得到边缘服务器的数据传输时间SCTi;统计边缘服务器的宕机次数,并将宕机次数标记为DJi;
其中,数据传输速率是通过信道每秒可传输的数字信息量的量度,也称为吞吐率。数据传输速率由很多因素,包括线路带宽、传输减损、距离、媒体类型等决定;CPU利用率指的是程序在运行期间实时占用的CPU百分比;
步骤SS7:若XNi<X1,则边缘服务器的性能等级为低性能边缘服务器;
若X1≤XNi<X2,则边缘服务器的性能等级为中性能边缘服务器;
若X2≤XNi,则边缘服务器的性能等级为高性能边缘服务器;其中,X1和 X3均为性能阈值,且X1<X2;
在具体实施时,当本通信域内本地服务器的计算资源不足或者计算的任务规模过大,本地服务器可以将任务卸载至其它通信域内的普通边缘服务器上执行,也可以卸载到距离网关较远的高性能边缘服务器中,由高性能边缘服务器完成执行,所述性能监测模块将边缘服务器的性能等级反馈至本地服务器,所述本地服务器将边缘服务器的性能等级反馈至智能调度模块,所述智能调度模块用于对本地服务器中的请求任务进行智能调度,智能调度过程具体如下:
步骤P1:获取本地服务器的CPU利用率,若本地服务器的CPU利用率未超过设定阈值,则不进行任何操作;
若本地服务器的CPU利用率超过设定阈值,则生成任务异地处理信号,并进入下一步骤;
步骤P2:获取请求任务所处的分类集,将处于文字集的请求任务推送至低性能边缘服务器,将处于图片集或音频集的请求任务推送至中性能边缘服务器,将处于视频集或混合集的请求任务推送至高性能边缘服务器;
具体的,低性能边缘服务器用于处理文字浏览请求任务,中性能边缘服务器用于处理图片浏览请求任务和音频浏览请求任务,高性能边缘服务器用于处理视频浏览请求任务和混合浏览请求任务;
步骤P3:获取低性能边缘服务器中请求任务的排序值、中性能边缘服务器中请求任务的排序值、高性能边缘服务器中请求任务的排序值;
步骤P4:智能调度模块通过本地服务器将请求任务的排序值发送至对应的边缘服务器中;
所述边缘服务器依据排序值对请求任务进行依次处理。
基于微服务的多任务分布调度系统,工作时,用户终端用于用户发起请求任务,并将请求任务加载至对应的本地服务器,同时数据采集模块采集通信域中请求任务的任务信息,并将任务信息发送至本地服务器,本地服务器将请求任务的任务信息发送至任务分类模块,任务分类模块将请求任务进行任务分类,获取当前服务器中的请求任务,得到请求任务的任务类型,依据任务类型将请求任务划分为文字浏览请求任务、图片浏览请求任务、音频浏览请求任务、视频浏览请求任务和混合浏览请求任务,将文字浏览请求任务、图片浏览请求任务、音频浏览请求任务、视频浏览请求任务和混合浏览请求任务划分至对应的分类集,分别为对应的分类集设定相应的排序系数,任务分类模块将浏览请求任务、图片浏览请求任务、音频浏览请求任务、视频浏览请求任务、混合浏览请求任务以及对应的排序系数反馈至本地服务器,本地服务器将浏览请求任务、图片浏览请求任务、音频浏览请求任务、视频浏览请求任务、混合浏览请求任务以及对应的排序系数发送至任务排序模块;
任务排序模块将请求任务进行排序,统一将各任务类型的请求任务标记为u,获取请求任务的生成时长TCu、排序系数XSu和网速下限值WSXu,利用公式计算得到请求任务的排序值PXu,任务排序模块将请求任务的排序值反馈至本地服务器,本地服务器依据排序值依次处理的请求任务,若本地服务器的处理能力达到限定值或计算的任务规模过大,则将请求任务的排序值发送至智能调度模块;
同时,本地服务器还通过交换机与其它通信域内边缘服务器组相连接,数据采集模块还采集边缘服务器组中若干个边缘服务器的服务器数据,并将服务器数据发送至本地服务器,本地服务器将服务器数据发送至性能监测模块,通过性能监测模块对边缘服务器进行环境监测,获取边缘服务器当前处理的任务数RWSi、边缘服务器的下载均速XJSi和响应时间XYTi,利用公式计算得到边缘服务器的处理值CLi,而后获取边缘服务器的CPU利用率LYi、数据传输时间SCTi和宕机次数DJi,将边缘服务器的处理值代入计算式计算得到边缘服务器的性能值XNi,若XNi<X1,则边缘服务器的性能等级为低性能边缘服务器,若X1≤XNi<X2,则边缘服务器的性能等级为中性能边缘服务器,若X2≤XNi,则边缘服务器的性能等级为高性能边缘服务器,性能监测模块将边缘服务器的性能等级反馈至本地服务器;
当本通信域内本地服务器的计算资源不足或者计算的任务规模过大,本地服务器将边缘服务器的性能等级反馈至智能调度模块,通过智能调度模块对本地服务器中的请求任务进行智能调度,获取本地服务器的CPU利用率,若本地服务器的CPU利用率未超过设定阈值,则不进行任何操作,若本地服务器的CPU 利用率超过设定阈值,则生成任务异地处理信号,则获取请求任务所处的分类集,将处于文字集的请求任务推送至低性能边缘服务器,将处于图片集或音频集的请求任务推送至中性能边缘服务器,将处于视频集或混合集的请求任务推送至高性能边缘服务器,而后获取低性能边缘服务器中请求任务的排序值、中性能边缘服务器中请求任务的排序值、高性能边缘服务器中请求任务的排序值,智能调度模块通过本地服务器将请求任务的排序值发送至对应的边缘服务器中,边缘服务器依据排序值对请求任务进行依次处理。
上述公式均是采集大量数据进行软件模拟得出且选取与真实值接近的一个公式,公式中的系数是由本领域技术人员根据实际情况进行设置;
由本领域技术人员采集多组样本数据并对每一组样本数据设定对应的评级系数;将设定的评级系数和采集的样本数据代入公式,任意两个公式构成二元一次方程组,将计算得到的系数进行筛选并取均值,得到V1与V2取值分别为 1.2111和0.14644;
系数的大小是为了将各个参数进行量化得到的一个具体的数值,便于后续比较,关于系数的大小,取决于样本数据的多少及本领域技术人员对每一组样本数据初步设定对应的湿度系数;只要不影响参数与量化后数值的比例关系即可。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节,也不限制该发明仅为的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本发明的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (8)
1.基于微服务的多任务分布调度系统,其特征在于,包括本地服务器、用户终端、智能调度模块、任务分布模块、任务排序模块、性能监测模块、交换机、数据采集模块以及边缘服务器组;
所述用户终端用于用户发起请求任务,并将请求任务加载至对应的本地服务器,所述数据采集模块用于采集通信域中请求任务的任务信息,并将任务信息发送至本地服务器,所述本地服务器将请求任务的任务信息发送至任务分类模块,所述任务分类模块用于将请求任务进行任务分类,请求任务划分为文字浏览请求任务、图片浏览请求任务、音频浏览请求任务、视频浏览请求任务和混合浏览请求任务,并得到对应的分类集以及分类集相应的排序系数;
所述任务分类模块将浏览请求任务、图片浏览请求任务、音频浏览请求任务、视频浏览请求任务、混合浏览请求任务以及对应的排序系数反馈至本地服务器,所述本地服务器将浏览请求任务、图片浏览请求任务、音频浏览请求任务、视频浏览请求任务、混合浏览请求任务以及对应的排序系数发送至任务排序模块,所述任务排序模块用于将请求任务进行排序,计算得到请求任务的排序值,所述任务排序模块将请求任务的排序值反馈至本地服务器,所述本地服务器依据排序值依次处理的请求任务;
若本地服务器的处理能力达到限定值或计算的任务规模过大,则将请求任务的排序值发送至智能调度模块,所述本地服务器与边缘服务器组相连接,所述边缘服务器组包括若干个边缘服务器和边缘服务器对应的边缘节点;
所述数据采集模块还用于采集边缘服务器组中若干个边缘服务器的服务器数据,并将服务器数据发送至本地服务器,所述本地服务器将服务器数据发送至性能监测模块,所述性能监测模块接收到本地服务器发送的服务器数据后,所述性能监测模块用于对边缘服务器进行环境监测,得到边缘服务器的性能等级,所述性能监测模块将边缘服务器的性能等级反馈至本地服务器,所述本地服务器将边缘服务器的性能等级反馈至智能调度模块,所述智能调度模块用于对本地服务器中的请求任务进行智能调度。
2.根据权利要求1所述的基于微服务的多任务分布调度系统,其特征在于,任务信息包括任务生成时间、任务类型和网速下限值;
服务器数据包括边缘服务器的请求任务、实时下载网速、地理位置、宕机次数。
3.根据权利要求1所述的基于微服务的多任务分布调度系统,其特征在于,分类集包括文字集、图片集、音频集、视频集和混合集,文字集、图片集、音频集、视频集、混合集设定有固定数值的排序系数,并且文字集的排序系数小于图片集的排序系数、图片集的排序系数小于音频集的排序系数、音频集的排序系数小于视频集的排序系数、视频集的排序系数小于混合集的排序系数。
5.根据权利要求1所述的基于微服务的多任务分布调度系统,其特征在于,所述性能监测模块的工作过程具体如下:
步骤SS1:将边缘服务器标记为i,i=1,2,……,x,x为正整数;获取边缘服务器当前处理的请求任务,统计请求任务的数量记为任务数RWSi;
步骤SS2:边缘服务器中每个当前处理请求任务的实时下载网速相加求和除以任务数,得到边缘服务器的下载均速XJSi;
步骤SS3:获取请求任务连接边缘服务器的时间和边缘服务器发送数据至本地服务器的时间,利用时间差计算得到边缘服务器的响应时间XYTi;
步骤SS4:利用公式计算得到边缘服务器的处理值CLi,公式具体如下:
步骤SS5:获取边缘服务器的CPU利用率LYi、数据传输时间SCTi和宕机次数DJi;
步骤SS7:若XNi<X1,则边缘服务器的性能等级为低性能边缘服务器;
若X1≤XNi<X2,则边缘服务器的性能等级为中性能边缘服务器;
若X2≤XNi,则边缘服务器的性能等级为高性能边缘服务器;其中,X1和X3均为性能阈值,且X1<X2。
6.根据权利要求5所述的基于微服务的多任务分布调度系统,其特征在于,低性能边缘服务器用于处理文字浏览请求任务,中性能边缘服务器用于处理图片浏览请求任务和音频浏览请求任务,高性能边缘服务器用于处理视频浏览请求任务和混合浏览请求任务。
7.根据权利要求6所述的基于微服务的多任务分布调度系统,其特征在于,文字浏览请求任务划分至文字集,图片浏览请求任务划分至图片集,音频浏览请求任务划分至音频集,视频浏览请求任务划分至视频集,混合浏览请求任务划分至混合集。
8.根据权利要求7所述的基于微服务的多任务分布调度系统,其特征在于,所述智能调度模块的智能调度过程具体如下:
步骤P1:获取本地服务器的CPU利用率,若本地服务器的CPU利用率未超过设定阈值,则不进行任何操作;
若本地服务器的CPU利用率超过设定阈值,则生成任务异地处理信号,并进入下一步骤;
步骤P2:获取请求任务所处的分类集,将处于文字集的请求任务推送至低性能边缘服务器,将处于图片集或音频集的请求任务推送至中性能边缘服务器,将处于视频集或混合集的请求任务推送至高性能边缘服务器;
步骤P3:获取低性能边缘服务器中请求任务的排序值、中性能边缘服务器中请求任务的排序值、高性能边缘服务器中请求任务的排序值;
步骤P4:智能调度模块通过本地服务器将请求任务的排序值发送至对应的边缘服务器中,边缘服务器依据排序值对请求任务进行依次处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111237337.0A CN113918303B (zh) | 2021-10-21 | 2021-10-21 | 基于微服务的多任务分布调度系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111237337.0A CN113918303B (zh) | 2021-10-21 | 2021-10-21 | 基于微服务的多任务分布调度系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113918303A true CN113918303A (zh) | 2022-01-11 |
CN113918303B CN113918303B (zh) | 2024-08-13 |
Family
ID=79242489
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111237337.0A Active CN113918303B (zh) | 2021-10-21 | 2021-10-21 | 基于微服务的多任务分布调度系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113918303B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116382863A (zh) * | 2023-03-19 | 2023-07-04 | 广州智捷联科技有限公司 | 一种数据中心智能节能调度方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109901927A (zh) * | 2019-02-21 | 2019-06-18 | 国泰君安证券股份有限公司 | 智能化任务动态调度系统及其方法 |
WO2021008225A1 (zh) * | 2019-07-18 | 2021-01-21 | 上海交通大学 | 数据中心面向微服务的电力资源分配的方法和系统 |
US20210096911A1 (en) * | 2020-08-17 | 2021-04-01 | Essence Information Technology Co., Ltd | Fine granularity real-time supervision system based on edge computing |
CN112653636A (zh) * | 2020-12-19 | 2021-04-13 | 珍岛信息技术(上海)股份有限公司 | 一种网络数据智能分发服务系统 |
CN113034010A (zh) * | 2021-03-29 | 2021-06-25 | 潘丽璇 | 基于云计算的智慧政务请求处理系统 |
-
2021
- 2021-10-21 CN CN202111237337.0A patent/CN113918303B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109901927A (zh) * | 2019-02-21 | 2019-06-18 | 国泰君安证券股份有限公司 | 智能化任务动态调度系统及其方法 |
WO2021008225A1 (zh) * | 2019-07-18 | 2021-01-21 | 上海交通大学 | 数据中心面向微服务的电力资源分配的方法和系统 |
US20210096911A1 (en) * | 2020-08-17 | 2021-04-01 | Essence Information Technology Co., Ltd | Fine granularity real-time supervision system based on edge computing |
CN112653636A (zh) * | 2020-12-19 | 2021-04-13 | 珍岛信息技术(上海)股份有限公司 | 一种网络数据智能分发服务系统 |
CN113034010A (zh) * | 2021-03-29 | 2021-06-25 | 潘丽璇 | 基于云计算的智慧政务请求处理系统 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116382863A (zh) * | 2023-03-19 | 2023-07-04 | 广州智捷联科技有限公司 | 一种数据中心智能节能调度方法 |
CN116382863B (zh) * | 2023-03-19 | 2023-09-05 | 广州智捷联科技有限公司 | 一种数据中心智能节能调度方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113918303B (zh) | 2024-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105471759B (zh) | 数据中心的网络流量调度方法和装置 | |
CN109743356B (zh) | 工业互联网数据采集方法及装置、可读存储介质和终端 | |
CN110351571A (zh) | 基于深度强化学习的直播视频云转码资源分配与调度方法 | |
WO2023124947A1 (zh) | 一种任务处理方法、装置及相关设备 | |
CN112217725B (zh) | 一种基于边缘计算的延迟优化方法 | |
CN113961264B (zh) | 一种面向视频监控云边协同的智能卸载算法与系统 | |
CN113918303A (zh) | 基于微服务的多任务分布调度系统 | |
CN115118327B (zh) | 一种基于动态测量反馈的卫星通信资源调度方法和系统 | |
CN115865930A (zh) | 一种基于5g电力物联网的mec动态调整方法 | |
CN111047592B (zh) | 监控系统及其图像通信处理方法 | |
CN117255134B (zh) | 一种基于云边协同的数据传输方法 | |
CN113115072A (zh) | 一种基于端云协同的视频目标检测跟踪调度方法及系统 | |
Shah et al. | Optimization based AIMD saturated algorithms for public charging of electric vehicles | |
CN116528004A (zh) | 一种视频推送方法、装置、设备和存储介质 | |
CN116521335A (zh) | 一种倾斜影像模型生产的分布式任务调度方法及系统 | |
CN115665160A (zh) | 一种面向电力安全工器具的多接入边缘计算系统及方法 | |
CN117667327A (zh) | 作业调度方法、调度器及相关设备 | |
CN109298933B (zh) | 基于边缘计算网络的无线通信网络设备及系统 | |
CN114253728A (zh) | 基于网页生态的异构多节点协同分布式神经网络部署系统 | |
CN115086180A (zh) | 网络组网方法、网络组网装置及电子设备 | |
CN116016711A (zh) | 通信网络调度系统及方法及系统 | |
CN115664600B (zh) | 一种基于数据分析的数据远程交互检测管控系统 | |
CN116150482B (zh) | 一种基于大数据云平台的分布式消息推送系统 | |
CN108449658A (zh) | 一种动态带宽分配的mas计算方法 | |
CN115134243B (zh) | 一种工业控制任务分布式部署方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |