CN108696400A - 网络监测方法和装置 - Google Patents

Abstract

本申请公开了网络监测方法和装置。该方法的一具体实施方式包括：接收用户发送的指定代理服务器组执行的网络监测请求；获取该代理服务器组中每个代理服务器的状态信息，状态信息包括：CPU利用率、内存利用率以及执行的监测操作的数量和位置信息；根据CPU利用率、内存利用率以及执行的监测操作的数量，从所述代理服务器组中选取预定数目的代理服务器，并确定出所选取的代理服务器的地理位置；向所选取的代理服务器发送执行网络监测操作的请求；接收所选取的代理服务器返回的监测结果，并根据监测结果和预设的网络质量指标确定该地理位置的网络是否异常。该实施方式实现了对网络质量全方位实时监测。

Description

网络监测方法和装置

技术领域

本申请涉及计算机技术领域，具体涉及互联网技术领域，尤其涉及网络监测方法和装置。

背景技术

在这个信息时代，任何线上数据的传输都离不开网络，随着云计算技术的快速发展，许多传统领域行业也越来越多的依赖于互联网公司提供的云计算服务，因此网络的稳定尤为重要。但是由于很多不可抗力或者人为的因素，网络不可能是一直处于稳定状态的。因此对互联网的网络质量进行即时监测，发现网络的不稳定来及时切换业务就变成了一个亟待解决的问题。

现有技术中一般采用以下两种方法对互联网的网络质量进行即时监测。一种方法是在业务核心机房挑选几台服务器，从机房到个各省市运营商反向监测网络质量。该方法只能监测核心机房到各省市运营商的网络质量，全国各省市运营商到核心机房网络质量未知。另一种方法是租用第三方基调网络监测实现对部分业务的实时监测。租用第三方基调网络监测，无法根据自身业务需求进行针对性的监测，而且无法模拟真实用户对业务的访问情况。

发明内容

本申请的目的在于提出一种改进的网络监测方法和装置，来解决以上背景技术部分提到的技术问题。

第一方面，本申请实施例提供了一种网络监测方法，该方法包括：接收用户发送的指定代理服务器组执行的网络监测请求；获取代理服务器组中每个代理服务器的状态信息，状态信息包括：CPU利用率、内存利用率以及执行的监测操作的数量和位置信息；根据CPU利用率、内存利用率以及执行的监测操作的数量，从代理服务器组中选取预定数目的代理服务器，并确定出所选取的代理服务器的地理位置；向所选取的代理服务器发送执行网络监测操作的请求；接收所选取的代理服务器返回的监测结果，并根据监测结果和预设的网络质量指标确定地理位置的网络是否异常。

在一些实施例中，网络监测操作包括以下至少一项：监测数据包的传输延时和/或丢包率的操作，监测HTTP请求的返回状态的操作，监测是否发生域名劫持的操作，监测网络的路由跳转信息是否异常的操作。

在一些实施例中，执行网络监测操作的请求包括执行方式标识，执行方式标识用于指示所选取的代理服务器并行/串行执行网络监测操作。

在一些实施例中，根据CPU利用率、内存利用率以及执行的监测操作的数量，从代理服务器组中选取预定数目的代理服务器，包括：按照CPU利用率由小到大的顺序从代理服务器组中选取预定数目的代理服务器；和/或按照内存利用率由小到大的顺序从代理服务器组中选取预定数目的代理服务器；和/或按照执行的监测操作的数量由小到大的顺序从代理服务器组中选取预定数目的代理服务器。

在一些实施例中，该方法还包括：将监测结果缓存到消息队列中，并在消息队列中对不同的网络监测操作类型创建不同的主题。

在一些实施例中，该方法还包括：响应于接收到包括目标位置区域的网络监测请求，将消息队列中的监测结果进行聚合，得到聚合后的监测结果，并将聚合后的监测结果投递到数据持久化集群中；根据聚合后的监测结果和预设的网络质量指标确定目标位置区域的网络是否异常。

在一些实施例中，执行网络监测操作的请求包括以下至少一项：用于指示所选取的代理服务器开始执行网络监测操作的开始时间、用于指示结束执行网络监测操作的结束时间和用于指示周期性执行网络监测操作的执行周期；以及该方法还包括：将开始时间、结束时间和执行周期存储在数据库中。

在一些实施例中，该方法还包括：向代理服务器发送更新请求，以使得代理服务器进行灰度升级；接收代理服务器反馈的更新信息并存储在数据库中。

在一些实施例中，该方法还包括：将代理服务器发送的状态信息存储在数据库中；和/或将用户的用户信息和网络监测请求存储在数据库中。

在一些实施例中，向所选取的代理服务器发送执行网络监测操作的请求，包括：响应于接收到所选取的代理服务器定期发送的监测操作请求，向所选取的代理服务器发送执行网络监测操作的请求。

第二方面，本申请实施例提供了一种网络监测装置，该装置包括：接收单元，用于接收用户发送的指定代理服务器组执行的网络监测请求；获取单元，用于获取代理服务器组中每个代理服务器的状态信息，状态信息包括：CPU利用率、内存利用率以及执行的监测操作的数量和位置信息；选取单元，用于根据CPU利用率、内存利用率以及执行的监测操作的数量，从代理服务器组中选取预定数目的代理服务器，并确定出所选取的代理服务器的地理位置；发送单元，用于向所选取的代理服务器发送执行网络监测操作的请求；确定单元，用于接收所选取的代理服务器返回的监测结果，并根据监测结果和预设的网络质量指标确定地理位置的网络是否异常。

在一些实施例中，网络监测操作包括以下至少一项：监测数据包的传输延时和/或丢包率的操作，监测HTTP请求的返回状态的操作，监测是否发生域名劫持的操作，监测网络的路由跳转信息是否异常的操作。

在一些实施例中，执行网络监测操作的请求包括执行方式标识，执行方式标识用于指示所选取的代理服务器并行/串行执行网络监测操作。

在一些实施例中，发送单元用于进一步：按照CPU利用率由小到大的顺序从代理服务器组中选取预定数目的代理服务器；和/或按照内存利用率由小到大的顺序从代理服务器组中选取预定数目的代理服务器；和/或按照执行的监测操作的数量由小到大的顺序从代理服务器组中选取预定数目的代理服务器。

在一些实施例中，该装置还包括：缓存单元，用于将监测结果缓存到消息队列中，并在消息队列中对不同的网络监测操作类型创建不同的主题。

在一些实施例中，该装置还包括：聚合单元，用于响应于接收到包括目标位置区域的网络监测请求，将消息队列中的监测结果进行聚合，得到聚合后的监测结果，并将聚合后的监测结果投递到数据持久化集群中；以及确定单元进一步用于根据聚合后的监测结果和预设的网络质量指标确定目标位置区域的网络是否异常。

在一些实施例中，执行网络监测操作的请求包括以下至少一项：用于指示所选取的代理服务器开始执行网络监测操作的开始时间、用于指示结束执行网络监测操作的结束时间和用于指示周期性执行网络监测操作的执行周期；以及该装置还包括：将开始时间、结束时间和执行周期存储在数据库中。

在一些实施例中，该装置还包括：升级单元，用于向代理服务器发送更新请求，以使得代理服务器进行灰度升级；接收代理服务器反馈的更新信息并存储在数据库中。

在一些实施例中，存储单元进一步用于：将代理服务器发送的状态信息存储在数据库中；和/或将用户的用户信息和网络监测请求存储在数据库中。

在一些实施例中，发送单元进一步用于：响应于接收到所选取的代理服务器定期发送的监测操作请求，向所选取的代理服务器发送执行网络监测操作的请求。

第三方面，本申请实施例提供了一种服务器，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一的方法。

第四方面，本申请实施例提供了该程序被处理器执行时实现如第一方面中任一的方法。

本申请实施例提供的网络监测方法和装置，从用户指定的分布在不同位置区域的代理服务器(Agent)组中选取当前负载适宜监测网络的代理服务器，并向所选取的代理服务器发送执行网络监测操作的请求，根据代理服务器返回的监测结果和预设的网络质量指标确定所选取的代理服务器所在的地理位置的网络是否异常。本申请通过部署在全国各省市不同运营商上的代理服务器执行用户下发的不同类型的监测任务，充分模拟用户对核心业务的访问情况来对全国各省市运营商的网络质量进行实时监测，并生成预警来实现业务的及时切换，减少因为网络问题导致的业务损失。相比现有实现方案，该技术实现方案更贴近用户的真实场景，且监测种类多样化，可以根据业务需求进行灵活扩展，大大降低了运营成本。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本申请可以应用于其中的示例性系统架构图；

图2是根据本申请的网络监测方法的一个实施例的流程图；

图3是根据本申请的网络监测方法的一个应用场景的示意图；

图4是根据本申请的网络监测方法的又一个实施例的流程图；

图5是根据本申请的网络监测方法的服务器和代理服务器之间的消息交互流程图；

图6是根据本申请的网络监测装置的一个实施例的结构示意图；

图7是适于用来实现本申请实施例的服务器的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了可以应用本申请的网络监测方法或网络监测装置的实施例的示例性系统架构100。

如图1所示，系统架构100可以包括终端设备101、102、103，服务器104，代理服务器105、106、107和目标服务器108。终端设备101、102、103，服务器104，代理服务器105、106、107和目标服务器108之间通过通信链路互联，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过服务器104和代理服务器105、106、107监测目标服务器108的网络连接质量。终端设备101、102、103上可以安装有各种通讯客户端应用例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture ExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。

服务器104可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的网络质量信息网页提供支持的网络监测服务器。网络监测服务器可以对接收到的网络监测请求等数据进行分析等处理，并根据处理结果分配用于进行网络监测的代理服务器105、106、107。代理服务器105、106、107执行网络监测操作，并将监测结果(例如网络的异常数据)反馈给终端设备。

需要说明的是，本申请实施例所提供的网络监测方法一般由服务器104和代理服务器105、106、107执行，相应地，网络监测装置一般设置于服务器104和代理服务器105、106、107中。

应该理解，图1中的终端设备、服务器、代理服务器、目标服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

继续参考图2，示出了根据本申请的网络监测方法的一个实施例的流程200。该网络监测方法，包括以下步骤：

步骤201，接收用户发送的指定代理服务器组执行的网络监测请求。

在本实施例中，网络方法运行于其上的电子设备(例如图1所示的服务器104)可以通过有线连接方式或者无线连接方式从用户利用其进行网络监测的终端接收指定代理服务器组执行的网络监测请求。服务器收到过多个代理服务器的位置信息，位置信息包括地理位置信息和运营商信息。可预先根据位置区域将多个代理服务器分组。例如，收到代理服务器A发送的位置信息为北京联通，代理服务器B发送的位置信息为北京电信，代理服务器C发送的位置信息为北京联通，代理服务器D发送的位置信息为上海联通，则将代理服务器A和B分为一组，代理服务器C为一组，代理服务器D为一组。用户可以指定分组为北京联通的代理服务器组执行的网络监测请求。

步骤202，获取该代理服务器组中每个代理服务器的状态信息。

在本实施例中，每个代理服务器的状态信息可包括：CPU利用率、内存利用率以及执行的监测操作的数量和位置信息等信息。该状态信息可由代理服务器定时上报。位置信息包括地理位置信息和运营商信息。例如，北京市联通，广东移动等。监测操作的数量为代理服务器执行网络监测时的操作(例如，发送ICMP(Internet Control Message Protocol，Internet控制报文协议)包，HTTP请求等)的数量。

步骤203，根据CPU利用率、内存利用率以及执行的监测操作的数量，从代理服务器组中选取预定数目的代理服务器，并确定出所选取的代理服务器的地理位置。

在本实施例中，可以从该代理服务器组中多个候选的代理服务器中选取负载较小的代理服务器执行监测操作。负载情况可参考CPU利用率、内存利用率以及执行的监测操作的数量。CPU利用率和内存利用率越高以及执行的监测操作的数量越多，说明负载重，不适宜执行监测操作。根据步骤202获得的位置信息可以确定所选取的代理服务器的地理位置。

在本实施例的一些可选的实现方式中，将代理服务器发送的状态信息存储在数据库中，和/或将用户的用户信息和网络监测请求存储在数据库中。该数据库可以是MySQL数据库。

步骤204，向所选取的代理服务器发送执行网络监测操作的请求。

在本实施例中，基于步骤203选取的服务器，向所选取的代理服务器发送执行网络监测操作的请求。网络监测操作的方式有多种，可针对不同代理服务器的负载情况有针对性地发送网络监测操作的请求。例如，对于负载重的代理服务器可发送单一方式的网络监测操作的请求，例如，仅发送ICMP包。对于负载较轻的代理服务器可发送多种方式的网络监测操作的请求，例如，并行执行发送ICMP包，HTTP请求，DNS检测等操作。

在本实施例的一些可选的实现方式中，网络监测操作包括以下至少一项：监测数据包的传输延时和/或丢包率的操作，监测HTTP请求的返回状态的操作，监测是否发生域名劫持的操作，监测网络的路由跳转信息是否异常的操作。具体的监测操作的示例可如下所示：

a)ICMP-PING：通过底层发送ICMP包的监测方式，可以知道代理服务器所在省市运营商到某一IP或域名的基本网络状况，通过延时和丢包率来体现。

b)TCP-PING：底层发送TCP包到目的端，目的端直接返回一个Reset包，通过记录发包和回包时间计算延时，通过统计回包个数来计算丢包率，增加TCP-PING的任务类型主要是由于某些运营商对ICMP包进行了压制，而对TCP包一般不会限制。

c)HTTP：通过在代理服务器内部对互联网上某一网址发起HTTP请求的方式，我们能够充分模拟用户浏览某一网页，这也是最贴近用户行为的一种监测任务方式，监测结果通过HTTP返回状态码和其他各种结果参数来体现。

d)DNS：通过在代理服务器内部对某一域名进行解析，然后与标准域名解析作对比，可以监测在该地区该运营商的网络下是否发生了针对某一域名的DNS劫持(在劫持的网络范围内拦截域名解析的请求，分析请求的域名，把审查范围以外的请求放行，否则返回假的IP地址或者什么都不做使请求失去响应，其效果就是对特定的网络不能反应或访问的是假网址)。

e)Traceroute：Traceroute是用来发出数据包的主机到目标主机之间所经过的网关的工具。通过在代理服务器内部对某一IP或者域名进行Traceroute监测，可以知晓该代理服务器所在地区网络访问某一IP或域名的整个路由跳转情况。

在本实施例的一些可选的实现方式中，执行网络监测操作的请求包括执行方式标识，执行方式标识用于指示所选取的代理服务器并行/串行执行网络监测操作。例如，如果执行方式标识为并行，则同时执行上述多个监测操作。如果执行方式标识为串行，则一次只执行一种上述监测操作，在一种监测操作结束后再执行另一种。服务器可根据代理服务器当前负载情况调整执行方式。对同一组代理服务器可发送不同的执行方式。例如，代理服务器A上已经运行8个监测任务，而代理服务器B目前空闲，则可针对代理服务器A发送的执行方式标识为串行，针对代理服务器B发送的执行方式标识为并行。

在本实施例的一些可选的实现方式中，根据CPU利用率、内存利用率以及执行的监测操作的数量，从该代理服务器组中选取预定数目的代理服务器，包括：按照CPU利用率由小到大的顺序从该代理服务器组中选取预定数目的代理服务器；和/或按照内存利用率由小到大的顺序从该代理服务器组中选取预定数目的代理服务器；和/或按照执行的监测操作的数量由小到大的顺序从该代理服务器组中选取预定数目的代理服务器。例如，如果预定数目为1，而代理服务器A的CPU利用率为80％，代理服务器B的CPU利用率为20％，则选择代理服务器B执行监测操作。在CPU利用率相同时，可参考内存利用率的大小，选择内存利用率低的代理服务器。如果CPU利用率和内存利用率都相同时，可参考执行的监测操作的数量，选择执行的监测操作的数量较少的代理服务器。

在本实施例的一些可选的实现方式中，执行网络监测操作的请求包括以下至少一项：用于指示所选取的代理服务器开始执行网络监测操作的开始时间、用于指示结束执行网络监测操作的结束时间和用于指示周期性执行网络监测操作的执行周期；以及该方法还包括：将开始时间、结束时间和执行周期存储在数据库中，例如MySQL数据库。服务器可以通过开始时间、结束时间和执行周期控制代理服务器的工作状态。并且可以确定代理服务器的状态信息，即使没收到代理服务器发送的状态信息，也可根据之前发送的开始时间、结束时间和执行周期推算代理服务器的状态信息。

在本实施例的一些可选的实现方式中，向所选取的代理服务器发送执行网络监测操作的请求，包括：响应于接收到所选取的代理服务器定期发送的监测操作请求，向所选取的代理服务器发送执行网络监测操作的请求。这种情况下，服务器不主动发监测请求，而是等待接收到代理服务器主动请求监测时，再发给代理服务器。

步骤205，接收所选取的代理服务器返回的监测结果，并根据监测结果和预设的网络质量指标确定上述地理位置的网络是否异常。

在本实施例中，监测结果可包括时延、丢包率等监测操作得到的信息。根据预设的网络质量指标(例如，丢包率阈值，时延阈值，HTTP请求成功率阈值等)确定代理服务器所在的地理位置的网络是否异常。例如，如果丢包率达到丢包率阈值10％以上则可认为该地理位置的网络异常。

在本实施例的一些可选的实现方式中，向代理服务器发送更新请求，以使得代理服务器进行灰度升级。接收代理服务器反馈的更新信息并存储在数据库中。灰度升级是一种升级时候的平滑切换，当有些代理服务器要进行升级，这时就得先升级其中的一个代理服务器，作为测试，以确保升级无误。也就是说所有代理服务器不同步更新升级(例如这次只是广东更新)。升级完成后，再升级其他地区的服务器。

继续参见图3，图3是根据本实施例的网络监测方法的应用场景的一个示意图。在图3的应用场景中，服务器300包括：任务调度服务器302、DB(Database，数据库)服务器303，状态管理服务器304，Server服务器305、数据队列308、实时计算集群309和分布式数据库集群310。代理服务器包括下载器306和Agent(代理服务器)307。用户通过用户终端301向服务器300发送的网络监测请求，服务器300选取代Agent307执行网络监测操作。Agent307将监测结果返回给服务器300。具体工作如下所示：

用户终端301：用户通过用户终端301向服务器300发送指定代理服务器组执行的网络监测请求，并可接收服务器300返回的监测结果。

任务调度服务器302：负责根据用户下发的监测请求生成Agent307内部可以执行的监测操作和任务，主要功能包括：接收用户下发的监测任务，并转化成Agent307内部执行的监测操作和任务。任务调度服务器302生成监测操作和任务时，需结合Agent分组，Agent307所在的CPU和内存状态以及Agent正在运行的监测任务数量这几个维度的信息，选举出该次监测任务下发的最佳Agent。

DB服务器303：负责持久化存储业务信息，采用MySQL实现，主要功能如下：持久化存储用户信息和用户下发的监测任务信息。持久化存储上下载器306和Agent307的状态信息；

状态管理服务器304：负责维护系统中各个资源的状态信息，主要功能如下：定时更新上下载器306和Agent307状态，主要有在线和离线两种状态。根据监测任务，即监测操作的起止运行时间，定时更新其运行状态，主要有执行和停止两种状态。

Server服务器305：负责接收Agent询问，接收Agent上报的任务运行结果，主要功能包括：接收Agent307是否有新的监测任务的定期询问，若有，将监测任务的具体信息返回给Agent。接收Agent上报的任务运行结果，并根据任务类型分别做简单的数据预处理，然后将其投递到数据队列中。

下载器306负责对全国各省市运营商上部署的Agent307进行安装和更新，主要功能包括：根据系统版本和运营商为其分配的公网IP，对上Agent307进行灰度更新；

Agent307：采集运行状态指标，运行用户下发的网络监测请求，主要功能如下：采集的运行状态指标，包括的CPU和内存使用情况，以及Agent运行任务个数，当Agent307运行对产生较大负载时，本身的自杀机制能够保证的正常业务不受影响。定时询问Server服务器305是否有新分配给自己的监测操作，若有，则从Server服务器305拉取监测操作信息，并根据唯一的监测操作ID从Server服务器拉取该监测操作下所包含的任务信息，根据任务中包含的执行时间轴在本地执行，并将运行结果批量上报给Server服务器305。Agent307在Server服务器305获取的监测操作可以包含多个不同类型的任务，主要包括ICMP-PING、TCP-PING、HTTP、DNS、Traceroute等监测类型，并且Agent307支持串行和并行两种执行方式。

数据队列308：负责缓存Agent307上报的执行结果，主要功能如下：对Agent307上报的监测结果进行缓存，防止数据的丢失，本申请中采用开源的消息队列Kafka，对于Agent307中运行的不同任务类型，需在Kafka中创建不同的主题(Topic)。

实时计算集群309：负责将Agent307上报的数据按照业务需求进行实时聚合，将聚合结果以及原始数据投递到分布式数据集群310，例如，数据持久化集群。本申请中采用开源的流式实时计算集群Storm(一个分布式的、容错的实时计算系统)，主要功能如下：持续抓取数据队列308中的监测数据，并根据提前设置好的聚合维度对数据进行聚合，并将聚合结果投递到数据持久化集群。为了避免原始数据的丢失，实时计算集群309也会将一份原始数据投递到数据持久化集群。

分布式数据集群310：将Agent307上报的监测数据进行持久化存储，主要功能如下：对原始数据和聚合后的数据进行持久化存储，本申请中采用Druid(一个用于大数据实时查询和分析的高容错、高性能开源分布式系统，旨在快速处理大规模的数据，并能够实现快速查询和分析)。

本申请的上述实施例提供的方法通过分布在各地的代理服务器，实现了从各省市运营商到核心机房的正向探测，补充了之前只能做反向探测的不足。监测操作可以充分模拟用户的上网行为，其监测结果更加贴近真实场景，数据更加可靠。有效利用了普遍存在的x86硬件资源和开源解决方案，降低了研发成本。能够结合自身相关业务进行深度定制，具有良好的可扩展性。覆盖全国绝大多是地级市及不同运营商，数据全面。取代了第三基调监测，节省了公司运营成本。

进一步参考图4，其示出了网络监测方法的又一个实施例的流程400。该网络监测方法的流程400，包括以下步骤：

步骤401，接收用户发送的指定代理服务器组执行的网络监测请求。

步骤402，获取代理服务器组中每个代理服务器的状态信息。

步骤403，根据CPU利用率、内存利用率以及执行的监测操作的数量，从代理服务器组中选取预定数目的代理服务器，并确定出所选取的代理服务器的地理位置。

步骤404，向所选取的代理服务器发送执行网络监测操作的请求。

步骤405，接收所选取的代理服务器返回的监测结果，并根据监测结果和预设的网络质量指标确定地理位置的网络是否异常。

步骤401-405，与步骤201-205基本相同，因此不再赘述。

步骤406，将监测结果缓存到消息队列中，并在消息队列中对不同的网络监测操作类型创建不同的主题。

在本实施例中，可采用Kafka消息队列按监测操作类型(例如，监测丢包率、HTTP请求成功率等)进行缓存。Kafka是一种高吞吐量的分布式发布订阅消息系统，有如下特性：通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。高吞吐量：即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。支持通过Kafka服务器和消费机集群来分区消息。支持Hadoop并行数据加载。每条发布到Kafka集群的消息都有一个类别，这个类别被称为主题(Topic)，物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个Broker(Kafka集群包含一个或多个服务器，这种服务器被称为Broker)上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处。

步骤407，响应于接收到包括目标位置区域的网络监测请求，将消息队列中的监测结果进行聚合，得到聚合后的监测结果，并将聚合后的监测结果投递到数据持久化集群中。

在本实施例中，实时计算集群Storm会从Kafka中不断消费结果数据，按业务需求对数据进行聚合，并将聚合后的结果投递到后端数据持久化集群中。同时，Storm也可以上传一份原始数据到数据持久化集群中进行持久化，防止原始数据的丢失。

步骤408，根据聚合后的监测结果和预设的网络质量指标确定目标位置区域的网络是否异常。

在本实施例中，监测结果可包括时延、丢包率等监测操作得到的属于同一目标位置区域的多个网址的网络质量信息。根据预设的网络质量指标(例如，丢包率阈值，时延阈值，HTTP请求成功率等)和多个网址的网络质量信息的平均值确定目标位置区域是否异常。例如，如果多个网址的平均丢包率达到10％以上则可认为目标位置区域的网络异常。

从图4中可以看出，与图2对应的实施例相比，本实施例中的网络监测方法的流程400突出了监测结果聚合的步骤。由此，本实施例描述的方案可以引入更多的监测结果来评价某一位置区域的网络质量，从而提高监测的覆盖率，并且可自主定制目标区域的监测进行聚合分析，具有良好的扩展性。

进一步参考图5，其示出了是根据本申请的网络监测方法的服务器和代理服务器之间的消息交互流程图，包括以下消息：

消息501，注册到服务器：代理服务器向服务器发送注册请求，注册请求中可包括代理服务器的硬件信息，也可包括状态信息，例如，CPU利用率、内存利用率等信息。

消息502，注册成功：服务器收到注册请求后验证代理服务器的有效性后再发送注册成功的消息。

消息503，询问是否分配新的监测操作：代理服务器定时向服务器询问是否分配新的监测操作。

消息504，没有分配新的监测操作：服务器如果没有收到用户的监测请求时，没有需要分配的监测操作，因此回复代理服务器没有分配新的监测操作的消息。

消息505，获取包括任务1和任务2的监测操作信息：服务器如果收到用户的监测请求时，需要分配监测操作，因此通知代理服务器获取任务1和任务2的监测操作信息。

消息506，请求任务1信息和任务2信息：代理服务器接收到消息505后向服务器发消息请求获得任务1信息和任务2信息。

消息507，返回任务1信息和任务2信息：服务器将任务1信息和任务2信息发送给代理服务器。

消息508，返回任务1的监测结果：代理服务器执行任务1后将任务1的监测结果返回给服务器。

消息509，返回任务2的监测结果：代理服务器执行任务2后将任务2的监测结果返回给服务器。

消息510，返回任务1的监测结果：服务器将任务1的监测结果返回给消息队列。

消息511，返回任务2的监测结果：服务器将任务2的监测结果返回给消息队列。

进一步参考图6，作为对上述各图所示方法的实现，本申请提供了一种网络监测装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图6所示，本实施例的网络监测装置600包括：接收单元601、获取单元602、选取单元603、发送单元604和确定单元605。其中，接收单元601用于接收用户发送的指定代理服务器组执行的网络监测请求；获取单元602用于获取代理服务器组中每个代理服务器的状态信息，状态信息包括：CPU利用率、内存利用率以及执行的监测操作的数量和位置信息；选取单元603用于根据CPU利用率、内存利用率以及执行的监测操作的数量，从代理服务器组中选取预定数目的代理服务器，并确定出所选取的代理服务器的地理位置；发送单元604用于向所选取的代理服务器发送执行网络监测操作的请求；确定单元605用于接收所选取的代理服务器返回的监测结果，并根据监测结果和预设的网络质量指标确定地理位置的网络是否异常。

在本实施例中，网络监测装置600的接收单元601、获取单元602、选取单元603、发送单元604和确定单元605的具体处理可以参考图2对应实施例中的步骤201、步骤202、步骤203、步骤204和步骤205。

在本实施例的一些可选的实现方式中，网络监测操作包括以下至少一项：监测数据包的传输延时和/或丢包率的操作，监测HTTP请求的返回状态的操作，监测是否发生域名劫持的操作，监测网络的路由跳转信息是否异常的操作。

在本实施例的一些可选的实现方式中，执行网络监测操作的请求包括执行方式标识，执行方式标识用于指示所选取的代理服务器并行/串行执行网络监测操作。

在本实施例的一些可选的实现方式中，发送单元604用于进一步：按照CPU利用率由小到大的顺序从该代理服务器组中选取预定数目的代理服务器；和/或按照内存利用率由小到大的顺序从该代理服务器组中选取预定数目的代理服务器；和/或按照执行的监测操作的数量由小到大的顺序从该代理服务器组中选取预定数目的代理服务器。

在本实施例的一些可选的实现方式中，该装置600还包括缓存单元(未示出)，用于将监测结果缓存到消息队列中，并在消息队列中对不同的网络监测操作类型创建不同的主题。

在本实施例的一些可选的实现方式中，该装置600还包括聚合单元(未示出)，用于响应于接收到包括目标位置区域的网络监测请求，将消息队列中的监测结果进行聚合，得到聚合后的监测结果，并将聚合后的监测结果投递到数据持久化集群中；以及确定单元605进一步用于根据聚合后的监测结果和预设的网络质量指标确定目标位置区域的网络是否异常。

在本实施例的一些可选的实现方式中，执行网络监测操作的请求包括以下至少一项：用于指示所选取的代理服务器开始执行网络监测操作的开始时间、用于指示结束执行网络监测操作的结束时间和用于指示周期性执行网络监测操作的执行周期；该装置600还包括存储单元(未示出)，用于将开始时间、结束时间和执行周期存储在数据库中。

在本实施例的一些可选的实现方式中，该装置600还包括升级单元(未示出)，用于向代理服务器发送更新请求，以使得代理服务器进行灰度升级；接收代理服务器反馈的更新信息并存储在数据库中。

在本实施例的一些可选的实现方式中，存储单元进一步用于：将代理服务器发送的状态信息存储在数据库中；和/或将用户的用户信息和网络监测请求存储在数据库中。

在本实施例的一些可选的实现方式中，发送单元604进一步用于响应于接收到所选取的代理服务器定期发送的监测操作请求，向所选取的代理服务器发送执行网络监测操作的请求。

下面参考图7，其示出了适于用来实现本申请实施例的服务器的计算机系统700的结构示意图。图7示出的服务器仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图7所示，计算机系统700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有系统700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括接收单元、获取单元、选取单元、发送单元和确定单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，接收单元还可以被描述为“接收用户发送的指定代理服务器组执行的网络监测请求”。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：接收用户发送的指定代理服务器组执行的网络监测请求；获取代理服务器组中每个代理服务器的状态信息，状态信息包括：CPU利用率、内存利用率以及执行的监测操作的数量和位置信息；根据CPU利用率、内存利用率以及执行的监测操作的数量，从代理服务器组中选取预定数目的代理服务器，并确定出所选取的代理服务器的地理位置；向所选取的代理服务器发送执行网络监测操作的请求；接收所选取的代理服务器返回的监测结果，并根据监测结果和预设的网络质量指标确定地理位置的网络是否异常。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (22)

1.一种网络监测方法，其特征在于，所述方法包括：

接收用户发送的指定代理服务器组执行的网络监测请求；

获取所述代理服务器组中每个代理服务器的状态信息，所述状态信息包括：CPU利用率、内存利用率以及执行的监测操作的数量和位置信息；

根据CPU利用率、内存利用率以及执行的监测操作的数量，从所述代理服务器组中选取预定数目的代理服务器，并确定出所选取的代理服务器的地理位置；

向所选取的代理服务器发送执行网络监测操作的请求；

接收所选取的代理服务器返回的监测结果，并根据所述监测结果和预设的网络质量指标确定所述地理位置的网络是否异常。

2.根据权利要求1所述的方法，其特征在于，所述网络监测操作包括以下至少一项：

监测数据包的传输延时和/或丢包率的操作，监测HTTP请求的返回状态的操作，监测是否发生域名劫持的操作，监测网络的路由跳转信息是否异常的操作。

3.根据权利要求2所述的方法，其特征在于，所述执行网络监测操作的请求包括执行方式标识，所述执行方式标识用于指示所选取的代理服务器并行/串行执行所述网络监测操作。

4.根据权利要求1所述的方法，其特征在于，所述根据CPU利用率、内存利用率以及执行的监测操作的数量，从所述代理服务器组中选取预定数目的代理服务器，包括：

按照CPU利用率由小到大的顺序从所述代理服务器组中选取预定数目的代理服务器；和/或

按照内存利用率由小到大的顺序从所述代理服务器组中选取预定数目的代理服务器；和/或

按照执行的监测操作的数量由小到大的顺序从所述代理服务器组中选取预定数目的代理服务器。

5.根据权利要求1-4中任一项所述的方法，其特征在于，所述方法还包括：

将所述监测结果缓存到消息队列中，并在所述消息队列中对不同的网络监测操作类型创建不同的主题。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

响应于接收到包括目标位置区域的网络监测请求，将所述消息队列中的监测结果进行聚合，得到聚合后的监测结果，并将所述聚合后的监测结果投递到数据持久化集群中；

根据所述聚合后的监测结果和预设的网络质量指标确定所述目标位置区域的网络是否异常。

7.根据权利要求1所述的方法，其特征在于，所述执行网络监测操作的请求包括以下至少一项：用于指示所选取的代理服务器开始执行所述网络监测操作的开始时间、用于指示结束执行所述网络监测操作的结束时间和用于指示周期性执行所述网络监测操作的执行周期；以及

所述方法还包括：

将所述开始时间、所述结束时间和所述执行周期存储在数据库中。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

向代理服务器发送更新请求，以使得所述代理服务器进行灰度升级；

接收所述代理服务器反馈的更新信息并存储在数据库中。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：将代理服务器发送的状态信息存储在数据库中；和/或

将所述用户的用户信息和所述网络监测请求存储在数据库中。

10.根据权利要求1所述的方法，其特征在于，所述向所选取的代理服务器发送执行网络监测操作的请求，包括：

响应于接收到所选取的代理服务器定期发送的监测操作请求，向所选取的代理服务器发送执行网络监测操作的请求。

11.一种网络监测装置，其特征在于，所述装置包括：

接收单元，用于接收用户发送的指定代理服务器组执行的网络监测请求；

获取单元，用于获取所述代理服务器组中每个代理服务器的状态信息，所述状态信息包括：CPU利用率、内存利用率以及执行的监测操作的数量和位置信息；

选取单元，用于根据CPU利用率、内存利用率以及执行的监测操作的数量，从所述代理服务器组中选取预定数目的代理服务器，并确定出所选取的代理服务器的地理位置；

发送单元，用于向所选取的代理服务器发送执行网络监测操作的请求；

确定单元，用于接收所选取的代理服务器返回的监测结果，并根据所述监测结果和预设的网络质量指标确定所述地理位置的网络是否异常。

12.根据权利要求11所述的装置，其特征在于，所述网络监测操作包括以下至少一项：

监测数据包的传输延时和/或丢包率的操作，监测HTTP请求的返回状态的操作，监测是否发生域名劫持的操作，监测网络的路由跳转信息是否异常的操作。

13.根据权利要求12所述的装置，其特征在于，所述执行网络监测操作的请求包括执行方式标识，所述执行方式标识用于指示所选取的代理服务器并行/串行执行所述网络监测操作。

14.根据权利要求11所述的装置，其特征在于，所述发送单元用于进一步：

按照CPU利用率由小到大的顺序从所述代理服务器组中选取预定数目的代理服务器；和/或

按照内存利用率由小到大的顺序从所述代理服务器组中选取预定数目的代理服务器；和/或

按照执行的监测操作的数量由小到大的顺序从所述代理服务器组中选取预定数目的代理服务器。

15.根据权利要求11-14中任一项所述的装置，其特征在于，所述装置还包括：

缓存单元，用于将所述监测结果缓存到消息队列中，并在所述消息队列中对不同的网络监测操作类型创建不同的主题。

16.根据权利要求15所述的装置，其特征在于，所述装置还包括：

聚合单元，用于响应于接收到包括目标位置区域的网络监测请求，将所述消息队列中的监测结果进行聚合，得到聚合后的监测结果，并将所述聚合后的监测结果投递到数据持久化集群中；以及

所述确定单元进一步用于根据所述聚合后的监测结果和预设的网络质量指标确定所述目标位置区域的网络是否异常。

17.根据权利要求15所述的装置，其特征在于，所述执行网络监测操作的请求包括以下至少一项：用于指示所选取的代理服务器开始执行所述网络监测操作的开始时间、用于指示结束执行所述网络监测操作的结束时间和用于指示周期性执行所述网络监测操作的执行周期；以及

所述装置还包括：

将所述开始时间、所述结束时间和所述执行周期存储在数据库中。

18.根据权利要求11所述的装置，其特征在于，所述装置还包括：

升级单元，用于向代理服务器发送更新请求，以使得所述代理服务器进行灰度升级；接收所述代理服务器反馈的更新信息并存储在数据库中。

19.根据权利要求11所述的装置，其特征在于，所述存储单元进一步用于：

将代理服务器发送的状态信息存储在数据库中；和/或

将所述用户的用户信息和所述网络监测请求存储在数据库中。

20.根据权利要求11所述的装置，其特征在于，所述发送单元进一步用于：

响应于接收到所选取的代理服务器定期发送的监测操作请求，向所选取的代理服务器发送执行网络监测操作的请求。

21.一种服务器，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-10中任一所述的方法。

22.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-10中任一所述的方法。