CN105243087A - It资讯聚合阅读个性化推荐方法 - Google Patents

Abstract

本发明公开一种IT资讯聚合阅读个性化推荐方法，通过网络爬虫定向爬取IT相关的资讯，通过SVM算法对爬取数据进行分类，通过对用户行为的分析，结合文章本身的属性对用户进行个性化推荐。在海量数据中提取出关于IT的资讯，并对其进行精准分类，解决了互联网信息杂乱的缺点；通过分析用户行为，针对用户进行个性化文章推荐，大大节省了用户的时间，快速了解到自己想要的资讯。

Description

IT资讯聚合阅读个性化推荐方法

技术领域

本发明提供了一种基于文本挖掘的IT资讯聚合阅读个性化推荐方法，涉及网络爬虫，文本分类，文本挖掘以及文章推荐等核心技术与算法，高效地进行资讯梳理和个性化推荐。

背景介绍

随着互联网技术的发展，海量信息时代已经来临，各类信息充斥于互联网，然而每个人感兴趣的信息只是其中很少的一部分，寻找感兴趣的资讯变得越来越困难。

另一方面，互联网资讯类网站众多，很多信息都是重复的，一个热点事件爆发，各家网站争相报道讨论，如果靠个人去区分一条资讯的好坏将会浪费很多时间。

互联网的发展，大数据的兴起，越来越多的人去关注IT资讯，同时关于IT的资讯也大量增多，辨别与关注这些信息中的实时热点话题越来越困难。

发明内容

本发明的目的在于针对如今互联网信息的繁杂，提供一种基于网络爬虫、文本挖掘和推荐算法的IT资讯聚合阅读个性化推荐方法。

本发明的目的是通过以下技术方案来实现的：一种基于文本挖掘的IT资讯聚合阅读个性化推荐方法，通过网络爬虫定向爬取IT相关的资讯，通过SVM算法对爬取数据进行分类。通过对用户行为的分析，结合文章本身的属性对用户进行个性化推荐。具体包括以下步骤：

(1)采用网络爬虫的方式定向爬取IT相关资讯，根据当前热点网站，本发明选取了“虎嗅”、“站长网”等十余个相关网站去爬取相关资讯，然后对爬取数据进行数据清洗、文章分词得到预处理后的文章，存储到数据库。

(2)文章分类，在分类前，先由人工确定具体类别以及该类别对应的关键字，分类阶段采用SVM算法对文章进行分类。分类过程分为以下两个阶段。

模型训练阶段：人工在数据库文章表中挑选各类别对应的训练集，读取数据库中文章的内容信息，根据内容信息创建语料库，进行卡方检验，在卡方检验中设定阈值ε，挑选结果值大于阈值ε的特征词，ε可取3.8。根据选好的特征词创建文章VSM模型，将VSM模型转换为SVM模型所需的输入参数，调用SVM模型进行训练，所述SVM模型可选用来源于台湾大学林智仁教授的开发的R语言包e1071。通过训练得到训练成功的SVM模型，将模型保存为本地文件。

文章分类阶段：读取未分类文章，经过分词，去停止词操作后将文章转化为VSM模型，然后调用已经训练好的SVM模型进行训练，并将预测结果存入数据库中。

(3)文章分类质量打分，在文章分类结束之后，对分类质量进行打分，分类质量在一定程度上影响推荐结果。分类质量打分需要考虑以下两个因素：文章来源网站SITE_WEIGHT，文章标题关键字在其所对应类别关键字列表中出现的次数NUM。根据文章来源网站不同，SITE_WEIGHT取值在1到3之间，次数NUM对应的权重NUM_WEIGHT为3，基于以上各因素，文章分类质量得分G计算公式如下：G＝SITE_WEIGHT+3*NUM。

(4)相似文章检测，由于对于一个热点新闻，很多文章都是相似的，识别方法如下：根据步骤1的文章分词结果，计算文章的simhash值，将更新的文章两两进行海明距离D计算，同时和前一天文章的集合进行海明距离D计算，D＝‐1表示题目相同，0≤D≤2表示simHash值意义下的相似文章，3≤D表示一般文章。当D<3时，认为两篇文章相似，推荐时是不会被同时推荐。

(5)文章热度打分，根据文章创作时间、阅读次数、点赞次数三个因素，同时考虑全体用户对于该文章所属类别及标签的偏好，对文章进行热度打分，反映这篇文章在当前阶段的受欢迎情况。具体各因素及权重如下：

文章热度得分H＝TIME*0.3+READ*0.2+APPRAISE*0.2+SITE*0.1

+CATEGORY*0.1+TAG*0.1

(6)个性化文章推荐，分析用户的行为，用户的阅读点赞记录，分析用户对于某类网站，某类文章以及某些标签的偏好，同时结合文章本身的创作时间，文章被阅读次数，文章被点赞次数信息按权重给推荐文章进行综合打分。具体各因素及权重如下：

文章推荐得分SCORE＝TIME*0.3+READ*0.2+APPRAISE*0.2+SSITE*0.1

+SCATEGORY*0.1+STAG*0.1

根据推荐的得分对文章进行排序，对得分大于1的文章进行推荐。

(7)各类主题的个性化推荐，步骤2对爬取的文章进行了分类，当用户选取某一类文章时，在推荐时，类别所占比重增大，具体比重如下：

文章推荐得分Score＝H*0.3+G*0.4+SSITE*0.15+STAG*0.15，根据推荐的得分对文章进行排序，对得分大于1的文章进行推荐。

本发明的有益结果如下：

(1)在海量数据中提取出关于IT的资讯，并对其进行精准分类，解决了互联网信息杂乱的缺点；

(2)通过分析用户行为，针对用户进行个性化文章推荐，大大节省了用户的时间，快速了解到自己想要的资讯。

附图说明

图1是爬虫采集原始文章示意图；

图2是文章分类过程示意图；

图3是文章分类质量打分示意图；

图4是相似文章检测示意图；

图5是文章推荐过程示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细说明。

本发明一种IT资讯聚合阅读个性化推荐方法，包括以下步骤：

(1)如图1所示，以WebMagic爬虫为基础，二次开发网络爬虫程序，爬虫程序根据任务分布式部署到多台服务器上，定向爬取“虎嗅”、“站长网”、“51CTO”等十几个知名网站的文章，同时增加深度控制以免爬取到不相关数据。爬虫程序定时运行，将采集的文章通过网络存入数据库中，然后由ETL程序去处理原始文章，经过文章去重、文章分词操作得到预处理后的文章，存储到数据库。

(2)文章分类：如图2所示，在分类前，先由人工确定具体类别以及该类别对应的关键字。分类阶段采用了SVM算法对文章进行分类。分类过程分为以下两个阶段。

模型训练阶段：人工在数据库文章表中挑选各类别对应的训练集，读取数据库中文章的内容信息到训练程序中，根据内容信息创建语料库，进行卡方检验，挑选结果值大于3.8的为符合条件的特征词。根据选好的特征词创建文章VSM模型，将VSM模型转换为SVM模型所需的输入参数，调用SVM模型进行训练，本SVM模型来源于台湾大学林智仁教授的R语言包e1071。通过训练得到训练成功的SVM模型，将模型保存为本地文件。

文章分类阶段：读取未分类文章，经过分词，去停止词操作后将文章转化为VSM模型，然后调用已经训练好的SVM模型进行训练，并将预测结果存入数据库中。

(3)文章分类质量打分：如图3所示，在文章分类结束之后，对分类质量进行打分，分类质量在一定程度上影响推荐结果。分类质量打分需要考虑以下两个因素：文章来源网站SITE_WEIGHT，文章标题关键字在其所对应类别关键字列表中出现的次数NUM。根据文章来源网站不同，SITE_WEIGHT取值在1到3之间，次数NUM对应的权重NUM_WEIGHT为3，基于以上各因素，文章分类质量得分G计算公式如下：G＝SITE_WEIGHT+3*NUM。

(4)文章相似性检测，如图4所示，根据步骤1的文章分词结果，计算文章的simhash值，将两小时内更新的文章两两进行海明距离D计算，同时和前一天文章的集合进行海明距离D计算，D＝‐1表示题目相同，0≤D≤2表示simHash值意义下的相似文章，3≤D表示一般文章。当D<3时，认为两篇文章相似，推荐时是不会被同时推荐。

(5)文章热度打分，根据文章创作时间、阅读次数、点赞次数三个因素，同时考虑全体用户对于该文章所属类别及标签的偏好，对文章进行热度打分，反映这篇文章在当前阶段的受欢迎情况。具体各因素及权重如下：

文章热度得分H＝TIME*0.3+READ*0.2+APPRAISE*0.2+SITE*0.1+CATEGORY*0.1+TAG*0.1

(6)个性化文章推荐：如图5所示，分析用户的行为，用户的阅读点赞记录，分析用户对于某类网站，某类文章以及某些标签的偏好，同时结合文章本身的创作时间，文章被阅读次数，文章被点赞次数信息按权重给推荐文章进行综合打分。具体各因素及权重如下：

文章推荐得分SCORE＝TIME*0.3+READ*0.2+APPRAISE*0.2+SSITE*0.1+SCATEGORY*0.1+STAG*0.1

根据推荐的得分对文章进行排序，对得分大于1的文章进行推荐。

(7)各类主题的个性化推荐，步骤2对爬取的文章进行了分类，当用户选取某一类文章时，在推荐时，类别所占比重增大，具体比重如下：

文章推荐得分Score＝H*0.3+G*0.4+SSITE*0.15+STAG*0.15，根据推荐的得分对文章进行排序，对得分大于1的文章进行推荐。

Claims (1)

1.一种IT资讯聚合阅读个性化推荐方法，其特征在于，包括以下步骤：

(1)采用网络爬虫的方式定向爬取IT相关资讯，然后对爬取数据进行数据清洗、文章分词得到预处理后的文章，存储到数据库；

(2)文章分类：先由人工确定具体类别以及该类别对应的关键字，然后采用SVM算法对文章进行分类；包括以下两个阶段：

模型训练阶段：人工在数据库文章表中挑选各类别对应的训练集，读取数据库中文章的内容信息，根据内容信息创建语料库，通过卡方检验挑选特征词；根据选好的特征词创建文章VSM模型，将VSM模型转换为SVM模型所需的输入参数，调用SVM模型进行训练，通过训练得到训练成功的SVM模型，将模型保存为本地文件；

文章分类阶段：读取未分类文章，经过分词、去停止词操作后将文章转化为VSM模型，然后调用已经训练好的SVM模型进行训练，并将预测结果存入数据库中；

(3)文章分类质量打分：分类质量打分考虑以下两个因素：文章来源网站SITE_WEIGHT、文章标题关键字在其所对应类别关键字列表中出现的次数NUM；根据文章来源网站不同，SITE_WEIGHT取值在1到3之间，次数NUM对应的权重NUM_WEIGHT为3，基于以上各因素，文章分类质量得分G计算公式如下：G＝SITE_WEIGHT+3*NUM；

(4)相似文章检测：根据步骤1的文章分词结果，计算文章的simhash值，将更新的文章两两进行海明距离D计算，同时和前一天文章的集合进行海明距离D计算，D＝‐1表示题目相同，0≤D≤2表示simHash值意义下的相似文章，3≤D表示一般文章；当D<3时，认为两篇文章相似，推荐时不会被同时推荐；

(5)文章热度打分：根据文章创作时间、阅读次数、点赞次数三个因素，同时考虑全体用户对于该文章所属类别及标签的偏好，对文章进行热度打分，反映这篇文章在当前阶段的受欢迎情况；具体各因素及权重如下：

文章热度得分H＝TIME*0.3+READ*0.2+APPRAISE*0.2+SITE*0.1+CATEGORY*0.1+TAG*0.1

(6)个性化文章推荐：分析用户的行为，用户的阅读点赞记录，分析用户对于某类网站，某类文章以及某些标签的偏好，同时结合文章本身的创作时间，文章被阅读次数，文章被点赞次数信息按权重给推荐文章进行综合打分；具体各因素及权重如下：

文章推荐得分SCORE＝TIME*0.3+READ*0.2+APPRAISE*0.2+SSITE*0.1+SCATEGORY*0.1+STAG*0.1

根据推荐的得分对文章进行排序，对得分大于1的文章进行推荐；

(7)各类主题的个性化推荐：步骤2对爬取的文章进行了分类，当用户选取某一类文章时，在推荐时，类别所占比重增大，具体比重如下：

文章推荐得分Score＝H*0.3+G*0.4+SSITE*0.15+STAG*0.15，根据推荐的得分对文章进行排序，对得分大于1的文章进行推荐。