CN109299392A - 一种网络爬虫抓取数据的优化方法 - Google Patents

Abstract

本发明公开了一种网络爬虫抓取数据的优化方法，涉及网络数据传输领域。本发明包括如下步骤：步骤S01：建立高质量模板资源库及模板匹配算法；步骤S02：通过深度优先遍历策略及反向链接数策略筛选符合目标数据URL，建立初级URL队列；步骤S03：将初级URL队列数据通过宽度优先算法策略抓取相应目标网站数据；步骤S04：根据模板匹配算法，将目标数据同模板存储资源库中的模板数据进行匹配；步骤S05：匹配成功的模板数据存储至资源库。本发明通过深度优化遍历策略和反向链接数策略建立初级URL队列，利用模板匹配算法将模板库中的模板与抓取的数据进行匹配，提高了网络爬虫抓取数据的精确性和效率，避免了无效数据冗余和存储资源浪费。

Description

一种网络爬虫抓取数据的优化方法

技术领域

本发明属于网络数据传输领域，特别是涉及一种网络爬虫抓取数据的优化方法。

背景技术

随着互联网的发展，互联网中包含的信息内容越来越多，搜索引擎可以帮助人们在海量信息中寻找自己感兴趣的内容，一般的搜索引擎，如百度、Google和Bing等，都是面向所有用户提供互联网内容搜索服务。这些搜索引擎需要通过爬虫技术不断地从互联网上获取信息，并将这些信息保存起来，以便人们方便地检索这些信息。由于需要爬取的数据量巨大，因此大规模的搜索引擎往往采取分布式处理机制，即建立分布式爬虫服务系统。这些爬虫从统一的下载队列中获取目标URL，然后将目标网页下载存储到指定的位置。

搜索引擎越来越多，这些搜索引擎的爬虫不断地获取网站的内容，网站系统的压力越来越大，1994年6月30日，在经过搜索引擎人员以及被搜索引擎抓取的网站站长共同讨论后，正式发布了一份行业规范，即Robots协议。Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(RobotsExclusionProtocol)，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。

因此，如今网络爬虫存在如下缺点：

1、大量重复URL被解析出来反馈给调度中心，给调度中心URL去重模块带来了很大的压力，而且大量重复的URL回传花费了不少不必要的网络流量，降低了爬虫系统的工作效率；

2、网页被抓取后回传给数据仓库，然后在页面解析时再进行分析，而此过程中大量没有更新的网页也在其中，给爬虫系统浪费了很多时间和流量。

发明内容

本发明的目的在于提供一种网络爬虫抓取数据的优化方法，通过深度优化遍历策略和反向链接数策略建立初级URL队列，利用模板匹配算法将模板库中的模板与抓取的数据进行匹配，解决了现有的网络爬虫抓取数据的精确性及效率不足和系统工作效率低的问题。

为解决上述技术问题，本发明是通过以下技术方案实现的：

本发明为一种网络爬虫抓取数据的优化方法，包括如下步骤：

步骤S01：建立高质量模板资源库及模板匹配算法；

步骤S02：通过深度优先遍历策略及反向链接数策略筛选符合目标数据URL，建立初级URL队列；

步骤S03：将初级URL队列数据通过宽度优先算法策略抓取相应目标网站数据；

步骤S04：根据模板匹配算法，将目标数据同模板存储资源库中的模板数据进行匹配；

步骤S05：匹配成功的模板数据存储至资源库。

优选地，所述步骤S02中，深度优先遍历策略用以提取下载网页中的连接，并插入待抓取URL队列的末尾。

优选地，所述步骤S02中，反向链接数策略用以获取下载网页中其他网页链接的数量，根据网页链接数量的由高到低排列至页面待抓取队列。

优选地，所述下载网页提取的信息包括:目标URL、页面类型、下载页面保存路径、动态页面延迟加载所使用的JavaScript函数名、页面分析类型。

优选地，所述步骤S04中，模板匹配算法通过过滤器将抓取的目标数据与资源库中的模板进行比对去重，过滤器中建立有一白名单模块，白名单对不确定URL地址进行存储。

优选地，所述步骤S05中，资源库采用HDFS的分布式储存方式。

本发明具有以下有益效果：

本发明通过深度优化遍历策略和反向链接数策略建立初级URL队列，利用模板匹配算法将模板库中的模板与抓取的数据进行匹配，提高了网络爬虫抓取数据的精确性和效率，避免了无效数据冗余和存储资源浪费。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的一种网络爬虫抓取数据的优化方法步骤图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1所示，本发明为一种网络爬虫抓取数据的优化方法，包括如下步骤：

步骤S01：建立高质量模板资源库及模板匹配算法；

步骤S02：通过深度优先遍历策略及反向链接数策略筛选符合目标数据URL，建立初级URL队列；

步骤S03：将初级URL队列数据通过宽度优先算法策略抓取相应目标网站数据；

步骤S04：根据模板匹配算法，将目标数据同模板存储资源库中的模板数据进行匹配；

步骤S05：匹配成功的模板数据存储至资源库。

其中，步骤S02中，深度优先遍历策略用以提取下载网页中的连接，并插入待抓取URL队列的末尾；深度优先遍历策略是指网络爬虫会从起始页开始，一个链接一个链接跟踪下去，处理完这条线路之后再转入下一个起始页，继续跟踪链接。

其中，步骤S02中，反向链接数策略用以获取下载网页中其他网页链接的数量，根据网页链接数量的由高到低排列至页面待抓取队列；反向链接数表示的是一个网页的内容受到其他人的推荐的程度；因此，很多时候搜索引擎的抓取系统会使用这个指标来评价网页的重要程度，从而决定不同网页的抓取先后顺序。

其中，下载网页提取的信息包括:目标URL、页面类型、下载页面保存路径、动态页面延迟加载所使用的JavaScript函数名、页面分析类型。

其中，步骤S04中，模板匹配算法通过过滤器将抓取的目标数据与资源库中的模板进行比对去重，过滤器中建立有一白名单模块，白名单对不确定URL地址进行存储，当出现不确定的URL地址时，系统将不确定的URL地址存储至白名单，用户可以根据实际需求选择是否调用白名单内的URL地址。

其中，步骤S05中，资源库采用HDFS的分布式储存方式。

值得注意的是，上述系统实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (6)

1.一种网络爬虫抓取数据的优化方法，其特征在于，包括如下步骤：

步骤S01：建立高质量模板资源库及模板匹配算法；

步骤S02：通过深度优先遍历策略及反向链接数策略筛选符合目标数据URL，建立初级URL队列；

步骤S03：将初级URL队列数据通过宽度优先算法策略抓取相应目标网站数据；

步骤S04：根据模板匹配算法，将目标数据同模板存储资源库中的模板数据进行匹配；

步骤S05：匹配成功的模板数据存储至资源库。

2.根据权利要求1所述的一种网络爬虫抓取数据的优化方法，其特征在于，所述步骤S02中，深度优先遍历策略用以提取下载网页中的连接，并插入待抓取URL队列的末尾。

3.根据权利要求1所述的一种网络爬虫抓取数据的优化方法，其特征在于，所述步骤S02中，反向链接数策略用以获取下载网页中其他网页链接的数量，根据网页链接数量的由高到低排列至页面待抓取队列。

4.根据权利要求2所述的一种网络爬虫抓取数据的优化方法，其特征在于，所述下载网页提取的信息包括:目标URL、页面类型、下载页面保存路径、动态页面延迟加载所使用的JavaScript函数名、页面分析类型。

5.根据权利要求1所述的一种网络爬虫抓取数据的优化方法，其特征在于，所述步骤S04中，模板匹配算法通过过滤器将抓取的目标数据与资源库中的模板进行比对去重，过滤器中建立有一白名单模块，白名单对不确定URL地址进行存储。

6.根据权利要求1所述的一种网络爬虫抓取数据的优化方法，其特征在于，所述步骤S05中，资源库采用HDFS的分布式储存方式。