CN109901927A - 智能化任务动态调度系统及其方法 - Google Patents
智能化任务动态调度系统及其方法 Download PDFInfo
- Publication number
- CN109901927A CN109901927A CN201910128466.2A CN201910128466A CN109901927A CN 109901927 A CN109901927 A CN 109901927A CN 201910128466 A CN201910128466 A CN 201910128466A CN 109901927 A CN109901927 A CN 109901927A
- Authority
- CN
- China
- Prior art keywords
- module
- list
- intelligent
- client
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 57
- 238000009826 distribution Methods 0.000 claims abstract description 44
- 238000013523 data management Methods 0.000 claims abstract description 43
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000004140 cleaning Methods 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 abstract description 5
- 230000004044 response Effects 0.000 description 17
- 241001269238 Data Species 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000000306 component Substances 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Landscapes
- Computer And Data Communications (AREA)
Abstract
本发明涉及一种智能化调度的系统,包括负载数据采集模块用于通过采集终端程序按特定时间间隔周期性地收集和上报指标数据;统一数据管理模块用于存储负载数据和统计数据并提供查询接口;智能算法模块用于计算分布在不同集群的所有服务器的服务可用值,分类并筛选出对应的最优IP列表;IP分发模块用于选择最匹配的IP列表并将其返回客户端。本发明还涉及一种实现任务智能化动态调度的方法。采用了该系统及方法满足生产环境的高可用要求。在高并发方面,具备较高并发处理能力,同时缓存模块和IP分发模块都支持水平扩展,非常灵活。在有效性方面,能更全面更准确的采集服务器的真实负载信息,能为访问端提供更智能更有效的负载均衡服务。
Description
技术领域
本发明涉及计算机应用技术领域,尤其涉及智能动态负载均衡领域,具体是指一种智能化任务动态调度系统及其方法。
背景技术
负载均衡是一种位于最前端的基础构件,即负载均衡器按照某种负载均衡算法把流量均匀的分散到集群的多个服务器,以达到整个集群的有效负载分担,防止负载不均带来的各种问题,保证集群的稳定性和高可用。
从应用场景的角度划分,常见的负载均衡模型有全局负载均衡和集群内负载均衡,从产品形态的角度划分,又可以分为硬件负载均衡和软件负载均衡。全局负载均衡一般通过DNS实现,通过将一个域名解析到不同VIP,来实现不同区域的调度能力。硬件负载均衡器常见的有F5、A10等,其优缺点都很明显,优点是功能强大、性能好、稳定、可享受厂商提供的专业运维服务,缺点是缺少定制的灵活性,维护成本较高。在互联网界,目前更多是通过软件负载均衡来实现,这样可以满足各种定制化需求,而且成本较低,常见的软件负载均衡有LVS、Nginx、Haproxy等。
绝大部分的负载均衡软件都是通过可选的负载算法进行任务调度,存在一些不足,一般没有综合考虑服务器的运行负载和业务负载,不能准确的反映服务器的实时负载状态。另外,负载均衡软件一般只关注集群的负载均衡,没有考虑客户端的网络环境和地理位置等因素,导致调度系统得出的最优机器对客户端而言访问性能却较差,因缺少反馈机制导致调度系统并不能感知该问题,最终反而会影响服务的使用。
发明内容
本发明的目的是克服了上述现有技术的缺点,提供了一种满足高效率、成本低、调度能力强的智能化任务动态调度系统及其方法。
为了实现上述目的,本发明的智能化任务动态调度系统及其方法如下:
该智能化任务动态调度系统,其主要特点是,所述的系统包括:
负载数据采集模块,用于通过采集终端程序按特定时间间隔周期性地收集和上报指标数据;
统一数据管理模块,与所述的负载数据采集模块相连接,用于存储负载数据和统计数据并提供查询接口;
智能算法模块,与所述的统一数据管理模块相连接,用于计算分布在不同集群的所有服务器的服务可用值,分类并筛选出对应的最优IP列表,并将该结果刷新至缓存服务器;
IP分发模块,与所述的智能算法模块相连接,用于响应用户请求,选择最匹配的IP列表并将其返回客户端。
较佳地,所述的系统还包括缓存模块,与所述的智能算法模块和IP分发模块相连接,用于供所述的IP分发模块寻找最匹配的IP列表。
较佳地,所述的系统还包括客户端反馈模块,与所述的统一数据管理模块相连接,用于上报客户端侧所感知的服务器性能数据,为所述的智能算法模块的计算处理提供参考。
较佳地,所述的负载数据采集模块包含多个业务服务器,且均与所述的负载数据采集模块相连接。
较佳地,所述的负载数据采集模块的指标数据包括系统运行指标和业务运行指标。
较佳地,所述的智能算法模块按服务器地理位置和运营商的不同组合分类并筛选出对应的最优IP列表。
较佳地,所述的IP分发模块根据客户端的地理位置和所用运营商类型选择最匹配的IP列表。
该基于上述系统实现任务智能化动态调度的方法,其主要特点是,所述的方法包括以下步骤:
(1)所述的负载数据采集模块通过采集终端程序采集并上报指标数据至统一数据管理模块;
(2)所述的智能算法模块查询负载数据和统计数据,计算所有服务器的可用值,并分类刷新至缓存;
(3)所述的IP分发模块接到客户端的请求解析客户端的当前地理位置和所属运营商类型,并从缓存中查找最匹配的最优IP列表。
较佳地,所述的步骤(1)还包括以下步骤:
(1.1)所述的统一数据管理模块存储数据,定期进行数据的清洗并计算得出统计值。
较佳地,所述的步骤(2)具体包括以下步骤:
(2.1)所述的智能算法模块调用数据管理模块的查询接口获取最新的输入数据,计算每个服务器的服务可用值;
(2.2)所述的智能算法模块自主调整服务器的服务可用值;
(2.3)所述的智能算法模块按全局最优、地域最优、运营商最优、地域和运营商组合最优四种类别分别筛选最优的N个服务器,并维护对应的最优IP列表;
(2.4)所述的智能算法模块将所述的计算出的最优IP列表更新至缓存。
较佳地,所述的步骤(3)具体包括以下步骤:
(3.1)客户端发起调度请求;
(3.2)所述的IP分发模块接到客户端的请求解析客户端的当前地理位置和所属运营商类型,并从缓存中查找最匹配的最优IP列表;
(3.3)客户端获取IP列表,进行后续的业务请求。
采用了本发明的智能化任务动态调度系统及其方法,满足生产环境的高可用要求。在可用性方面,统一数据管理模块、智能算法模块都采用主备模式,缓存模块采用redis集群,IP分发模块则部署多台并由LVS负责分发服务的负载均衡。在高并发方面,智能调度使用了缓存集群且IP分发模块无复杂逻辑,本身已能支持上万TPS,具备较高并发处理能力,同时缓存模块和IP分发模块都支持水平扩展,非常灵活。在有效性方面,智能调度综合考虑了系统运行指标和业务运行指标,能更全面更准确的采集服务器的真实负载信息,增加业务敏感度,同时结合客户端侧的较为实时的服务状态统计数据,能为访问端提供更智能更有效的负载均衡服务。
附图说明
图1为本发明的智能化调度的系统的整体框架图。
图2为本发明的智能化调度的系统的实施例的高可用部署示例方案图。
图3为本发明的实现任务智能化动态调度的方法的整体交互时序图。
具体实施方式
为了能够更清楚地描述本发明的技术内容,下面结合具体实施例来进行进一步的描述。
本发明的该智能化任务动态调度系统,其中包括:
负载数据采集模块,用于通过采集终端程序按特定时间间隔周期性地收集和上报指标数据;
统一数据管理模块,与所述的负载数据采集模块相连接,用于存储负载数据和统计数据并提供查询接口;
智能算法模块,与所述的统一数据管理模块相连接,用于计算分布在不同集群的所有服务器的服务可用值,分类并筛选出对应的最优IP列表,并将该结果刷新至缓存服务器;
IP分发模块,与所述的智能算法模块相连接,用于响应用户请求,选择最匹配的IP列表并将其返回客户端。
作为本发明的优选实施方式,所述的系统还包括缓存模块,与所述的智能算法模块和IP分发模块相连接,用于供所述的IP分发模块寻找最匹配的IP列表。
作为本发明的优选实施方式,所述的系统还包括客户端反馈模块,与所述的统一数据管理模块相连接,用于上报客户端侧所感知的服务器性能数据,为所述的智能算法模块的计算处理提供参考。
作为本发明的优选实施方式,所述的负载数据采集模块包含多个业务服务器,且均与所述的负载数据采集模块相连接。
作为本发明的优选实施方式,所述的负载数据采集模块的指标数据包括系统运行指标和业务运行指标。
作为本发明的优选实施方式,所述的智能算法模块按服务器地理位置和运营商的不同组合分类并筛选出对应的最优IP列表。
作为本发明的优选实施方式,所述的IP分发模块根据客户端的地理位置和所用运营商类型选择最匹配的IP列表。
本发明的该基于上述系统实现任务智能化动态调度的方法,其中包括以下步骤:
(1)所述的负载数据采集模块通过采集终端程序采集并上报指标数据至统一数据管理模块;
(1.1)所述的统一数据管理模块存储数据,定期进行数据的清洗并计算得出统计值;
(2)所述的智能算法模块查询负载数据和统计数据,计算所有服务器的可用值,并分类刷新至缓存;
(2.1)所述的智能算法模块调用数据管理模块的查询接口获取最新的输入数据,计算每个服务器的服务可用值;
(2.2)所述的智能算法模块自主调整服务器的服务可用值;
(2.3)所述的智能算法模块按全局最优、地域最优、运营商最优、地域和运营商组合最优四种类别分别筛选最优的N个服务器,并维护对应的最优IP列表;
(2.4)所述的智能算法模块将所述的计算出的最优IP列表更新至缓存;
(3)所述的IP分发模块接到客户端的请求解析客户端的当前地理位置和所属运营商类型,并从缓存中查找最匹配的最优IP列表;
(3.1)客户端发起调度请求;
(3.2)所述的IP分发模块接到客户端的请求解析客户端的当前地理位置和所属运营商类型,并从缓存中查找最匹配的最优IP列表;
(3.3)客户端获取IP列表,进行后续的业务请求。
本发明的具体实施方式中,本发明涉及一种新型的智能化调度框架,通过秒级获取服务器的系统运行指标和业务运行指标,同时结合由客户端侧上报数据计算得出的地理位置和运营商等维度的服务能力统计信息,通过可配置的智能决策算法来实时计算所有服务器的权重并筛选状态最优的服务器IP列表进而返回给客户端,最终使不同机房之间、单机房服务器集群内部都能达到有效的流量调度和负载均衡。
本发明包括负载数据采集模块、统一数据管理模块、智能算法模块、缓存模块、IP分发模块,通过相互协作实现对集群服务器的实时负载感知和权重计算。负载数据采集模块采用集中上报模式,通过为每台服务器安装采集终端程序来收集各种指标数据,包括系统运行指标和业务运行指标,采集终端程序将负载数据上传到统一数据管理模块。同时,客户端SDK将采集到的业务接口响应时间、接口请求失败率等数据上报给统一数据管理模块,数据管理模块汇总并计算出最新时段内的按地址位置和运营商类型组合维度的统计指标值。智能算法模块查询上述指标值,按人工配置的权重计算出各服务器的服务可用值,并将最优IP列表刷新到缓存中。智能算法模块会按一定时间间隔重复执行以保证缓存中IP列表是最新的最优列表。IP分发模块则处理和响应客户端请求,根据客户端的地理位置和运营商类型等环境参数从缓存最优IP列表中选择最匹配的列表返回给客户端。
本发明提供的技术方案具有高性能、高可用、易扩展等特点,能有效实施服务器集群的负载均衡和流量调度,提升资源整体利用率,保障业务服务的稳定高效运行。
本发明的该动态智能的调度框架包括负载数据采集模块、统一数据管理模块、智能算法模块、缓存模块、IP分发模块和客户端反馈模块,
其中负载数据采集模块由采集终端程序将负载数据上报给数据管理模块,客户端反馈模块对所连接服务器的响应耗时、请求成功率进行采样并汇报统一数据管理模块进行计算统计,统一数据管理模块负责存储负载数据和统计数据并提供查询接口,智能算法模块则根据特定运算规则计算分布在不同集群的所有服务器的服务可用值,按服务器地理位置和运营商的不同组合进行分类并分别筛选出对应的最优IP列表,然后将该结果刷新至缓存服务器。IP分发模块负责响应用户请求,根据客户端的地理位置和所用运营商类型选择最匹配的IP列表并返回客户端,客户端从列表中随机选一个IP作为目标服务器发起相关业务请求。
采集终端程序按特定时间间隔周期性的上报负载数据,时间间隔可配置;负载数据包括系统运行指标数据和业务运行指标数据,业务运行指标数据由基于业务系统定制的采集程序收集并上报给采集终端程序。
统一数据管理模块根据客户端反馈模块上报的业务接口响应时间和请求失败率等数据计算出每个服务器的平均响应时间和平均请求失败率,智能算法模块根据系统运行指标和业务运行指标按线性加权方式计算出服务器综合运行负载值,然后结合服务器综合运行负载值、平均响应时间、平均请求失败率等输入要素再次使用线性加权方法计算得出各服务器的服务可用值,然后按服务器地理位置和运营商组合筛选各类最优IP列表并更新至缓存服务器。
智能算法模块,其特征是在计算服务器的服务可用值的过程中,能基于系统运行指标、业务运行指标、请求失败率和响应时间等多要素自主调整服务器的服务可用值,当上述任一指标值有异常时都能有效识别和移除对应服务器,保证正确性。
本发明旨在解决现有技术方案所存在的不足,本发明提出的智能调度框架不但考虑了包括系统运行指标和业务运行指标的综合负载,比较全面的使用了各项负载信息,还考虑了由客户端采集上报的时间和请求失败率等数据作为反馈,从而具备了更智能更强大的调度能力。本发明所提出的方案能很好支持高并发,有水平扩展能力,通过增加缓存模块和IP分发模块的部署数量能线性扩展并发处理能力。
本发明所提供的智能调度框架包括:负载数据采集模块、统一数据管理模块、智能算法模块、缓存模块、IP分发模块、客户端反馈模块。
负载数据采集模块通过周期性的采集系统运行指标和业务运行指标并上报给实时数据管理模块,统一数据管理模块以RRD文件的形式存储上述信息并提供指标数据的查询接口,同时也负责接收客户端SDK上传的请求响应时间、请求失败率等客户端侧信息,然后以较短的时间间隔不断执行计算获取统计信息(如特定地域某运营商网络的客户端访问某服务器的平均时间)。
智能算法模块根据各类负载指标计算出服务器综合运行负载值,然后结合统一数据管理模块的客户端侧统计数据计算各服务器的服务可用值(某台服务器的可用值越高表示该服务器可服务能力越大,即被下发给客户端的优先级越高)。智能算法模块会按服务器集群的地域和所支持运营商组合维护多个类别的最优IP列表,同时也维护一份无地域和运营商的全局最优IP列表供无法识别客户端相关信息时使用,上述的最优IP列表会被存储刷新到缓存模块中。
IP分发模块则解析客户端请求并根据客户端所属的地域和网络运营商类型从智能算法模块的计算结果中选择最匹配的IP列表作为最优IP列表返回给客户端。客户端首先访问服务器集群前面的调度系统以获取当前最优服务器列表,然后对目标服务器发起业务请求,建立直连通道。
智能调度算法的输入有服务器的系统运行指标、业务运行指标、客户端侧统计信息,其中系统运行指标有CPU利用率、内存利用率等,业务运行指标根据具体业务进行采集(比如券商行情服务的业务运行指标是长连接实时在线人数),客户端侧实时统计信息是根据客户端SDK采集上报的数据由统一数据管理模块的处理程序计算得出,包括请求响应时间、请求失败率等。智能算法根据上述数值按用户配置的权重进行计算,得出每台服务器的服务可用值,并按地域和运营商的组合维护多个最优IP列表。智能算法具有自适应调节能力,对任一业务服务器,如果通过系统运行指标和业务运行指标计算出的指标性负载达到一定阈值后,即使响应时间很短且请求失败率很高,也不会被列为最优IP,从而形成一种保护机制,阈值则可根据运维经验由人工进行配置。
上述的IP分发模块维护一个IP信息库,当收到客户端发起的访问请求时,IP分发模块根据客户端源IP解析出客户端所属的地理位置和运营商网络类型,然后从缓存模块中寻找最匹配的IP列表作为结果。如果无法获取客户端信息导致无法找到匹配的列表,IP分发模块则会将默认的全局最优IP列表作为结果返回给客户端。
本发明所提供的智能调度框架满足生产环境的高可用要求。在可用性方面,统一数据管理模块、智能算法模块都采用主备模式,缓存模块采用redis集群,IP分发模块则部署多台并由LVS负责分发服务的负载均衡。在高并发方面,智能调度使用了缓存集群且IP分发模块无复杂逻辑,本身已能支持上万TPS,具备较高并发处理能力,同时缓存模块和IP分发模块都支持水平扩展,非常灵活。在有效性方面,智能调度综合考虑了系统运行指标和业务运行指标,能更全面更准确的采集服务器的真实负载信息,增加业务敏感度,同时结合客户端侧的较为实时的服务状态统计数据,能为访问端提供更智能更有效的负载均衡服务。
如图1所示,本发明所述的智能调度方案包括负载数据采集终端、统一数据管理模块、智能算法模块、缓存模块和IP分发模块、客户端反馈模块。
负载采集终端的职责是采集系统运行指标和业务运行指标并主动上报给统一数据管理模块。对于系统类型指标,负载采集终端支持人工指定要采集的指标类型;对于业务运行指标,需要人工采集和整理好后输入给采集终端,由采集终端进行转发上报。采集终端上报时间间隔是可配置的,一般间隔越小时负载均衡有效性越高,但数据管理模块的压力也会有所增加,实际使用时可根据实际场景进行评估和确认。
统一数据管理模块负责统一管控各类指标数据的接收、存储和查询,支持水平扩展。对于业务服务器上报的各类指标数据,该模块会以rrdtool的数据归档方式来存储比提供查询接口;对于客户端SDK采集和上报的时间及服务失败率等数据,该模块会按地域(省或城市)和运营商组合的维度对每个业务服务器计算并维护一份对应的近期时段指标值。相比较于系统运行指标和业务运行指标,响应时间和请求失败率这些统计指标采用的是一段时间的均值,其变动幅度相对较小,一般计算时间间隔也较大,比如几十分钟。
智能算法模块调用统一数据管理模块提供的查询接口获取系统运行指标值、业务运行指标值、服务端响应时间和请求失败率,根据系统运行指标和业务运行指标使用线性加权方法计算出服务器的综合运行负载值,然后与服务器的平均响应时间、业务请求失败率等指标结合并使用线性加权方法计算得出各服务器的服务可用值。在计算过程中,系统运行指标、业务运行指标、响应时间指标、业务请求失败率指标的权重参数都支持自定义配置,可根据实践经验调整。智能算法模块计算出结果后,会结合服务器的地理位置和所支持运营商类型将计算结果分为四类,即全局最优IP列表、按地域的最优IP列表、按运营商的最优IP列表、按地域和运营商组合的最优IP列表,然后将四类列表存入缓存服务器。
IP分发模块负责接收和处理客户端请求,根据客户端所属的地域和运营商类型从缓存服务器查询对应的最优IP列表并返回给客户端。如果未找到对应的列表,则将全局最优IP列表作为默认值返回给客户端。
客户端SDK通过集成第三方监测平台的SDK来采集客户端侧能感知的性能数据。该SDK使用被动监测模式,在对APP进行监测前,用户需要将SDK包植入到APP中,当用户开启APP后,性能数据将会被自动抓取,并根据预设的数据采集规则回自动回传到统一数据管理模块。在这里,智能调度会查询和使用由服务响应时间、业务请求失败率等计算得出的统计指标。
如图3所示,其是智能调度的组件间交互时序图,主要是:
1、业务服务器上的负载数据采集终端程序按配置的时间间隔采集系统运行指标和业务运行指标,并上报给统一数据管理模块。
2、客户端嵌入的采集SDK定期将客户端侧的采集数据上报给统一数据管理模块,后者会定期进行数据的清洗和计算以得出统计值,比如每隔20分钟计算并更新一次统计值。
3、智能算法模块调用数据管理模块的查询接口获取最新的输入数据,基于该数据按照用户为各要素配置的权重,结合系统负载、业务负载、服务响应时间和业务请求失败率等输入要素计算出每个服务器的服务可用值。
4、智能算法模块会基于系统运行指标、业务运行指标、请求失败率和响应时间等多要素自主调整服务器的服务可用值。用户可以根据服务器硬件配置情况设置各要素的阈值,当某台服务器有指标数值超出阈值时智能算法会降低该服务器的服务可用值,降级幅度可配置,以此降低服务器IP的下发次数。
5、智能算法模块按全局最优、地域最优、运营商最优、地域和运营商组合最优等四类分别筛选最优的N个服务器,维护对应的最优IP列表。
6、智能算法模块将本次计算得出的多个最优IP列表更新至缓存。通过按一定时间间隔的频率重复执行计算程序并刷入缓存,智能调度保证了所维护的最优IP列表是当前最新结果。
7、客户端发起调度请求(http形式),IP分发服务接收到请求后会解析出客户端的当前地理位置和所属运营商类型,然后从缓存中查找最匹配的最优IP列表。
8、客户端收到返回,获取最优IP列表,然后从中选择一个IP作为目标业务服务器的地址,发起后续的业务请求。
图2展示了一个满足高可用要求的智能调度部署案例。数据存储管理模块采用主备模式,在前侧部署LVS来提供虚拟IP地址供数据采集终端使用。智能算法模块和IP分发模块都部署多套,采用冗余方式保证整体可用性;缓存模块使用Redis集群;在IP分发模块的前端部署LVS来提供负载均衡,客户端通过对应虚拟IP地址访问IP分发服务。整体上,该部署案例保证了核心组件无单点,能较好的满足生产环境的使用需求。
采用了本发明的智能化任务动态调度系统及其方法,满足生产环境的高可用要求。在可用性方面,统一数据管理模块、智能算法模块都采用主备模式,缓存模块采用redis集群,IP分发模块则部署多台并由LVS负责分发服务的负载均衡。在高并发方面,智能调度使用了缓存集群且IP分发模块无复杂逻辑,本身已能支持上万TPS,具备较高并发处理能力,同时缓存模块和IP分发模块都支持水平扩展,非常灵活。在有效性方面,智能调度综合考虑了系统运行指标和业务运行指标,能更全面更准确的采集服务器的真实负载信息,增加业务敏感度,同时结合客户端侧的较为实时的服务状态统计数据,能为访问端提供更智能更有效的负载均衡服务。
在此说明书中,本发明已参照其特定的实施例作了描述。但是,很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此,说明书和附图应被认为是说明性的而非限制性的。
Claims (11)
1.一种智能化任务动态调度系统,其特征在于,所述的系统包括:
负载数据采集模块,用于通过采集终端程序按特定时间间隔周期性地收集和上报指标数据;
统一数据管理模块,与所述的负载数据采集模块相连接,用于存储负载数据和统计数据并提供查询接口;
智能算法模块,与所述的统一数据管理模块相连接,用于计算分布在不同集群的所有服务器的服务可用值,分类并筛选出对应的最优IP列表,并将该结果刷新至缓存服务器;
IP分发模块,与所述的智能算法模块相连接,用于响应用户请求,选择最匹配的IP列表并将其返回客户端。
2.根据权利要求1所述的智能化任务动态调度系统,其特征在于,所述的系统还包括缓存模块,与所述的智能算法模块和IP分发模块相连接,用于供所述的IP分发模块寻找最匹配的IP列表。
3.根据权利要求1所述的智能化任务动态调度系统,其特征在于,所述的系统还包括客户端反馈模块,与所述的统一数据管理模块相连接,用于上报客户端侧所感知的服务器性能数据,为所述的智能算法模块的计算处理提供参考。
4.根据权利要求1所述的智能化任务动态调度系统,其特征在于,所述的负载数据采集模块包含多个业务服务器,且均与所述的负载数据采集模块相连接。
5.根据权利要求1所述的智能化任务动态调度系统,其特征在于,所述的负载数据采集模块的指标数据包括系统运行指标和业务运行指标。
6.根据权利要求1所述的智能化任务动态调度系统,其特征在于,所述的智能算法模块按服务器地理位置和运营商的不同组合分类并筛选出对应的最优IP列表。
7.根据权利要求1所述的智能化任务动态调度系统,其特征在于,所述的IP分发模块根据客户端的地理位置和所用运营商类型选择最匹配的IP列表。
8.一种基于权利要求1至7中任一项所述的系统实现任务智能化动态调度的方法,其特征在于,所述的方法包括以下步骤:
(1)所述的负载数据采集模块通过采集终端程序采集并上报指标数据至统一数据管理模块;
(2)所述的智能算法模块查询负载数据和统计数据,计算所有服务器的可用值,并分类刷新至缓存;
(3)所述的IP分发模块接到客户端的请求解析客户端的当前地理位置和所属运营商类型,并从缓存中查找最匹配的最优IP列表。
9.根据权利要求8所述的实现任务智能化动态调度的方法,其特征在于,所述的步骤(1)还包括以下步骤:
(1.1)所述的统一数据管理模块存储数据,定期进行数据的清洗并计算得出统计值。
10.根据权利要求8所述的实现任务智能化动态调度的方法,其特征在于,所述的步骤(2)具体包括以下步骤:
(2.1)所述的智能算法模块调用数据管理模块的查询接口获取最新的输入数据,计算每个服务器的服务可用值;
(2.2)所述的智能算法模块自主调整服务器的服务可用值;
(2.3)所述的智能算法模块按全局最优、地域最优、运营商最优、地域和运营商组合最优四种类别分别筛选最优的N个服务器,并维护对应的最优IP列表;
(2.4)所述的智能算法模块将所述的计算出的最优IP列表更新至缓存。
11.根据权利要求8所述的实现任务智能化动态调度的方法,其特征在于,所述的步骤(3)具体包括以下步骤:
(3.1)客户端发起调度请求;
(3.2)所述的IP分发模块接到客户端的请求解析客户端的当前地理位置和所属运营商类型,并从缓存中查找最匹配的最优IP列表;
(3.3)客户端获取IP列表,进行后续的业务请求。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910128466.2A CN109901927A (zh) | 2019-02-21 | 2019-02-21 | 智能化任务动态调度系统及其方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910128466.2A CN109901927A (zh) | 2019-02-21 | 2019-02-21 | 智能化任务动态调度系统及其方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109901927A true CN109901927A (zh) | 2019-06-18 |
Family
ID=66945052
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910128466.2A Pending CN109901927A (zh) | 2019-02-21 | 2019-02-21 | 智能化任务动态调度系统及其方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109901927A (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110460647A (zh) * | 2019-07-23 | 2019-11-15 | 平安科技(深圳)有限公司 | 网络节点的调度方法、装置、电子设备和存储介质 |
CN111064606A (zh) * | 2019-12-08 | 2020-04-24 | 南京榕树自动化系统有限公司 | 一种基于时段特征的数据动态传输系统及方法 |
CN111209276A (zh) * | 2019-12-31 | 2020-05-29 | 航天信息股份有限公司 | 一种用于对大数据进行处理的方法及系统 |
CN111866129A (zh) * | 2020-07-20 | 2020-10-30 | 北京百度网讯科技有限公司 | 基于云平台的服务可用性指标的确定方法及装置、介质 |
CN112084219A (zh) * | 2020-09-16 | 2020-12-15 | 京东数字科技控股股份有限公司 | 用于处理数据的方法、装置、电子设备和介质 |
CN113419938A (zh) * | 2021-07-01 | 2021-09-21 | 中国工商银行股份有限公司 | 用户并发访问的控制方法、装置及设备 |
CN113703950A (zh) * | 2021-09-10 | 2021-11-26 | 国泰君安证券股份有限公司 | 实现服务器集群流量调度处理的系统、方法、装置、处理器及其计算机可读存储介质 |
CN113918303A (zh) * | 2021-10-21 | 2022-01-11 | 万申科技股份有限公司 | 基于微服务的多任务分布调度系统 |
CN114095578A (zh) * | 2020-08-03 | 2022-02-25 | 中国移动通信集团浙江有限公司 | 功能分发方法、统一调度平台、边缘节点及计算设备 |
CN114189358A (zh) * | 2021-11-16 | 2022-03-15 | 深圳航天智慧城市系统技术研究院有限公司 | 一种基于私有云的服务安全策略管理方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101207550A (zh) * | 2007-03-16 | 2008-06-25 | 中国科学技术大学 | 负载均衡系统及多种业务实现负载均衡的方法 |
CN101287105A (zh) * | 2008-06-03 | 2008-10-15 | 中兴通讯股份有限公司 | 边缘epg服务器负载均衡方法和装置、用户登陆的实现方法 |
CN101938504A (zh) * | 2009-06-30 | 2011-01-05 | 深圳市融创天下科技发展有限公司 | 集群服务器智能调度的方法及系统 |
CN103248659A (zh) * | 2012-02-13 | 2013-08-14 | 北京华胜天成科技股份有限公司 | 一种云计算资源调度方法和系统 |
CN104317658A (zh) * | 2014-10-17 | 2015-01-28 | 华中科技大学 | 一种基于MapReduce的负载自适应任务调度方法 |
CN104660707A (zh) * | 2015-03-09 | 2015-05-27 | 浙江万朋网络技术有限公司 | 一种基于地理位置的代理服务器均衡分配的方法 |
CN104980340A (zh) * | 2015-06-25 | 2015-10-14 | 走遍世界(北京)信息技术有限公司 | 服务器的切换方法及装置 |
CN107317889A (zh) * | 2017-08-21 | 2017-11-03 | 深圳市视维科技股份有限公司 | 一种智能dns调度系统及调度方法 |
CN109167674A (zh) * | 2018-07-24 | 2019-01-08 | 网宿科技股份有限公司 | 服务节点的评分方法、域名系统dns调度方法及服务器 |
-
2019
- 2019-02-21 CN CN201910128466.2A patent/CN109901927A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101207550A (zh) * | 2007-03-16 | 2008-06-25 | 中国科学技术大学 | 负载均衡系统及多种业务实现负载均衡的方法 |
CN101287105A (zh) * | 2008-06-03 | 2008-10-15 | 中兴通讯股份有限公司 | 边缘epg服务器负载均衡方法和装置、用户登陆的实现方法 |
CN101938504A (zh) * | 2009-06-30 | 2011-01-05 | 深圳市融创天下科技发展有限公司 | 集群服务器智能调度的方法及系统 |
CN103248659A (zh) * | 2012-02-13 | 2013-08-14 | 北京华胜天成科技股份有限公司 | 一种云计算资源调度方法和系统 |
CN104317658A (zh) * | 2014-10-17 | 2015-01-28 | 华中科技大学 | 一种基于MapReduce的负载自适应任务调度方法 |
CN104660707A (zh) * | 2015-03-09 | 2015-05-27 | 浙江万朋网络技术有限公司 | 一种基于地理位置的代理服务器均衡分配的方法 |
CN104980340A (zh) * | 2015-06-25 | 2015-10-14 | 走遍世界(北京)信息技术有限公司 | 服务器的切换方法及装置 |
CN107317889A (zh) * | 2017-08-21 | 2017-11-03 | 深圳市视维科技股份有限公司 | 一种智能dns调度系统及调度方法 |
CN109167674A (zh) * | 2018-07-24 | 2019-01-08 | 网宿科技股份有限公司 | 服务节点的评分方法、域名系统dns调度方法及服务器 |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110460647B (zh) * | 2019-07-23 | 2021-10-22 | 平安科技(深圳)有限公司 | 网络节点的调度方法、装置、电子设备和存储介质 |
CN110460647A (zh) * | 2019-07-23 | 2019-11-15 | 平安科技(深圳)有限公司 | 网络节点的调度方法、装置、电子设备和存储介质 |
CN111064606A (zh) * | 2019-12-08 | 2020-04-24 | 南京榕树自动化系统有限公司 | 一种基于时段特征的数据动态传输系统及方法 |
CN111209276A (zh) * | 2019-12-31 | 2020-05-29 | 航天信息股份有限公司 | 一种用于对大数据进行处理的方法及系统 |
CN111209276B (zh) * | 2019-12-31 | 2024-07-19 | 航天信息股份有限公司 | 一种用于对大数据进行处理的方法及系统 |
CN111866129A (zh) * | 2020-07-20 | 2020-10-30 | 北京百度网讯科技有限公司 | 基于云平台的服务可用性指标的确定方法及装置、介质 |
CN114095578A (zh) * | 2020-08-03 | 2022-02-25 | 中国移动通信集团浙江有限公司 | 功能分发方法、统一调度平台、边缘节点及计算设备 |
CN114095578B (zh) * | 2020-08-03 | 2024-05-07 | 中国移动通信集团浙江有限公司 | 功能分发方法、统一调度平台、边缘节点及计算设备 |
CN112084219A (zh) * | 2020-09-16 | 2020-12-15 | 京东数字科技控股股份有限公司 | 用于处理数据的方法、装置、电子设备和介质 |
CN113419938A (zh) * | 2021-07-01 | 2021-09-21 | 中国工商银行股份有限公司 | 用户并发访问的控制方法、装置及设备 |
CN113703950A (zh) * | 2021-09-10 | 2021-11-26 | 国泰君安证券股份有限公司 | 实现服务器集群流量调度处理的系统、方法、装置、处理器及其计算机可读存储介质 |
CN113918303A (zh) * | 2021-10-21 | 2022-01-11 | 万申科技股份有限公司 | 基于微服务的多任务分布调度系统 |
CN113918303B (zh) * | 2021-10-21 | 2024-08-13 | 万申科技股份有限公司 | 基于微服务的多任务分布调度系统 |
CN114189358A (zh) * | 2021-11-16 | 2022-03-15 | 深圳航天智慧城市系统技术研究院有限公司 | 一种基于私有云的服务安全策略管理方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109901927A (zh) | 智能化任务动态调度系统及其方法 | |
CN102227121B (zh) | 基于机器学习的分布式缓存策略自适应切换方法及系统 | |
US7523454B2 (en) | Apparatus and method for routing a transaction to a partitioned server | |
CN109547517B (zh) | 一种带宽资源调度方法和装置 | |
CN104756467B (zh) | 云中的cdn流量管理 | |
CN106453125B (zh) | 一种基于实时负载率的远程服务调用负载均衡系统 | |
CN109257440A (zh) | 一种基于服务注册中心的服务发现和客户端负载均衡方法 | |
CN108829509A (zh) | 基于国产cpu和操作系统的分布式容器集群框架资源管理方法 | |
CN108521856A (zh) | 内容分发网络中的调度方法和设备 | |
CN104780210B (zh) | 负载均衡方法以及装置 | |
CN108182140A (zh) | 确定和监测计算机资源服务的性能能力 | |
US20060089982A1 (en) | Method, system, and computer program product for capacity planning by function | |
CN110209345A (zh) | 数据存储的方法及装置 | |
CN107395733A (zh) | 地理分布交互服务云资源协同优化方法 | |
CN103607424B (zh) | 一种服务器连接方法及服务器系统 | |
CN109478147A (zh) | 分布式计算系统中的自适应资源管理 | |
CN110719194B (zh) | 一种网络数据的分析方法及装置 | |
CN110213203A (zh) | 网络调度方法、装置及计算机存储介质 | |
CN111752678A (zh) | 面向边缘计算中分布式协同学习的低功耗容器放置方法 | |
CN113835874A (zh) | 深度学习业务调度方法、系统、终端及存储介质 | |
CN113315836B (zh) | 文件访问请求的调度方法、装置、电子设备、存储介质 | |
CN111917898B (zh) | 一种资源调度策略的调整方法及装置 | |
CN109165045A (zh) | 一种调整服务器的硬件配置的方法和装置 | |
US11871263B2 (en) | System and method for 5G mobile network management | |
He et al. | Cost-aware capacity provisioning for internet video streaming CDNs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190618 |