CN118069927A - 基于知识感知和用户多兴趣特征表示的新闻推荐方法及系统 - Google Patents
基于知识感知和用户多兴趣特征表示的新闻推荐方法及系统 Download PDFInfo
- Publication number
- CN118069927A CN118069927A CN202410273442.7A CN202410273442A CN118069927A CN 118069927 A CN118069927 A CN 118069927A CN 202410273442 A CN202410273442 A CN 202410273442A CN 118069927 A CN118069927 A CN 118069927A
- Authority
- CN
- China
- Prior art keywords
- news
- entity
- candidate
- user
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000008447 perception Effects 0.000 title abstract description 15
- 239000013598 vector Substances 0.000 claims abstract description 165
- 238000012545 processing Methods 0.000 claims abstract description 22
- 230000004927 fusion Effects 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims description 24
- 230000007246 mechanism Effects 0.000 claims description 16
- 239000002775 capsule Substances 0.000 claims description 14
- 230000004931 aggregating effect Effects 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 238000009826 distribution Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000002776 aggregation Effects 0.000 description 4
- 238000004220 aggregation Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 101001110310 Lentilactobacillus kefiri NADP-dependent (R)-specific alcohol dehydrogenase Proteins 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 235000009854 Cucurbita moschata Nutrition 0.000 description 1
- 240000001980 Cucurbita pepo Species 0.000 description 1
- 235000009852 Cucurbita pepo Nutrition 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 235000020354 squash Nutrition 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/288—Entity relationship models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及人工智能新闻推荐技术领域，特别涉及一种基于知识感知和用户多兴趣特征表示的新闻推荐方法及系统，通过收集目标用户预设时间段内浏览的历史新闻集合和候选新闻集合，所述新闻集合中记录各新闻文本的文本标题、文本摘要和新闻实体；基于知识图谱并通过对各新闻文本中实体及语义的向量化处理获取历史新闻集合和候选新闻集合中多兴趣特征向量、新闻实体特征向量和新闻语义特征向量，并通过对三向量进行融合得到目标用户多兴趣特征表示和候选新闻特征表示；根据目标用户多兴趣特征表示和待推荐候选新闻特征表示，计算每个候选新闻被推荐给用户的概率，依据概率从候选新闻集合中选取目标用户感兴趣的候选新闻进行推荐。本发明能够准确表示用户偏好，提升新闻推荐性能，具有较好的应用前景。
Description
技术领域
本发明涉及人工智能新闻推荐技术领域，特别涉及一种基于知识感知和用户多兴趣特征表示的新闻推荐方法及系统。
背景技术
随着互联网的兴起，人们虽然可以接收到更加多样化的信息，用户接收到更多泛滥的消息，如何将新闻或消息更准确地推荐给合适的用户是值得探索的问题。新闻文本推荐技术具有筛选和过滤新闻的能力，支持在海量信息中挖掘用户行为模式并予以个性化推荐，能够极大满足人们对于了解日常社会信息的需求。相较于商品推荐，新闻推荐具有如下特点：第一，用户需求具有时效性。新闻是对新近发生事实的报道，时间和内容都要新，历史报道的新闻一般不需要再被推荐，基于ID的协同过滤推荐算法在应用时有其局限性。第二，用户需求具有关联性。新闻中包含概念、事件等多样关键词，这些关键词往往存在协同、共现等关联，加强对新闻关键词以及其关联的理解将有利于对用户兴趣的表示。第三，用户需求具有多样性。新闻具有鲜明的话题特性，可以通过用户历史浏览新闻文本集合中的全局共性信息来表现，反映了用户对于新闻浏览的多样兴趣。因此，根据新闻文本数据特点，要实现满足用户多样兴趣的新闻文本推荐，就需要广泛建立新闻之间的关联、深入挖掘新闻关键词的全局共性特征。
由于知识图谱能够通过结构化的方式将物理世界中的各种概念、事件及其之间的关系进行表达，完成对知识的智能处理与应用，很多学者尝试将知识图谱引入新闻文本推荐，帮助建立新闻关键词的语义关联并提供背景知识，提升推荐算法性能。在引入知识图谱进行新闻推荐的工作中，比较有代表性的是DKN和KRED两个算法，DKN算法主要通过特定的模型架构Kim-CNN将多篇新闻文本中的单词和已有知识图谱中的实体建立映射关系，利用词向量、映射后的实体向量以及映射后的实体上下文向量完成对新闻特征的提取表示，考虑了新闻文本之间的实体关联。KRED算法考虑将BERT等预训练语言模型引入新闻推荐框架，同时完善构建了一个新闻领域知识图谱，利用文本向量、实体向量及其上下文向量完成了对新闻文本特征的提取表示，更加灵活地融入知识图谱完成了对于新闻文本特征的刻画。然而，以上方法和思路在建模用户兴趣特征时都忽略了用户历史浏览新闻文本集合中的全局共性信息，没有考虑到用户需求的多样性，从而影响新闻推荐准确度。
发明内容
为此，本发明提供一种基于知识感知和用户多兴趣特征表示的新闻推荐方法及系统，能够准确表示用户偏好，提升新闻推荐性能。
按照本发明所提供的设计方案，一方面，提供一种基于知识感知和用户多兴趣特征表示的新闻推荐方法，包含：
收集目标用户预设时间段内浏览的历史新闻集合和候选新闻集合，所述新闻集合中记录各新闻文本的文本标题、文本摘要和新闻实体；
基于知识图谱并通过对各新闻文本中实体及语义的向量化处理获取历史新闻集合和候选新闻集合中多兴趣特征向量、新闻实体特征向量和新闻语义特征向量，并通过对三向量进行融合得到目标用户多兴趣特征表示和候选新闻特征表示；
根据目标用户多兴趣特征表示和待推荐候选新闻特征表示，计算每个候选新闻被推荐给用户的概率，依据概率从候选新闻集合中选取目标用户感兴趣的候选新闻进行推荐。
作为本发明基于知识感知和用户多兴趣特征表示的新闻推荐方法，进一步地，通过对各新闻文本中实体及语义的向量化处理获取历史新闻集合中新闻语义特征向量，包含：
利用预训练语言模型获取新闻文本对应的新闻语义特征向量，并对历史新闻集合中目标用户预设时间段内浏览的各新闻语义特征向量进行聚合，以得到目标用户感兴趣的新闻语义特征向量。
作为本发明基于知识感知和用户多兴趣特征表示的新闻推荐方法，进一步地，通过对各新闻文本中实体及语义的向量化处理获取候选新闻集合中的新闻语义特征向量，包含：
利用预训练语言模型获取候选新闻集合中各新闻文本对应的新闻语义特征向量。
作为本发明基于知识感知和用户多兴趣特征表示的新闻推荐方法，进一步地，通过对各新闻文本中实体及语义的向量化处理获取多兴趣特征向量，包含：
基于各新闻文本构建对应知识图谱，并采用图注意力机制对知识图谱中每个实体的邻居节点信息进行聚合，以得到每个实体向量表示；
采用动态路由聚类算法将实体向量表示划分为若干簇，其中，划分过程包含：将实体向量表示作为动态路由聚类算法中的底层胶囊，簇作为算法中多兴趣特征向量表示的上层胶囊，基于向量映射矩阵获取底层胶囊和上层胶囊之间的权重，依据权重得到多兴趣特征向量表示，并通过非线性压缩函数获取最终的多兴趣特征向量。
作为本发明基于知识感知和用户多兴趣特征表示的新闻推荐方法，进一步地，通过对各新闻文本中实体及语义的向量化处理获取新闻实体特征向量，包含：
依据知识图谱中各实体特征获取各新闻文本对应初始实体向量，利用注意力机制计算各实体与对应新闻语义向量之间及该新闻文本所有实体之间的相关性；
依据实体与新闻语义向量相关性及实体与新闻文本所有实体之间的相关性设置该实体的权重，以基于各实体及其权重并利用注意力池化学习来获取对应的新闻实体特征向量。
作为本发明基于知识感知和用户多兴趣特征表示的新闻推荐方法，进一步地，通过对三向量进行融合得到目标用户多兴趣特征表示，包含：
将历史新闻集合对应的多兴趣特征向量和新闻实体特征向量进行拼接，得到目标用户实体角度特征描述；
结合新闻实体特征向量和新闻语义特征向量之间的关系并利用多头注意力机制对实体角度特征描述和新闻语义特征向量进行垂直拼接优化，以通过对优化后的向量进行聚合来获取对应的目标用户多兴趣特征表示。
作为本发明基于知识感知和用户多兴趣特征表示的新闻推荐方法，进一步地，通过对三向量进行融合得到候选新闻特征表示，包含：
将候选新闻集合对应的多兴趣特征向量和新闻实体特征向量进行拼接，得到候选新闻中实体角度特征描述；
结合新闻实体特征向量和新闻语义特征向量之间的关系并利用多头注意力机制对实体角度特征描述和新闻语义特征向量进行垂直拼接优化，以依据优化后的向量来获取对应的候选新闻特征表示。
作为本发明基于知识感知和用户多兴趣特征表示的新闻推荐方法，进一步地，计算每个候选新闻被推荐给用户的概率，依据概率从候选新闻集合中选取目标用户感兴趣的候选新闻进行推荐，还包含：
对目标用户多兴趣特征表示标注新闻文本推荐标签来生成训练样本，并采用负采样方法对新闻推荐模型进行迭代训练，直至新闻推荐模型收敛，利用训练后的新闻推荐模型来获取每个候选新闻被推荐给用户的概率分布，以依据概率分布选取目标用户感兴趣的候选新闻进行推荐。
作为本发明基于知识感知和用户多兴趣特征表示的新闻推荐方法，进一步地，采用负采样方法对新闻推荐模型进行迭代训练的损失函数表示为：
其中，i为用户，j为新闻文本，Θ表示训练样本，λ表示正则化系数，/>为用户i的历史新闻集合。
再一方面，本发明还提供一种基于知识感知和用户多兴趣特征表示的新闻推荐系统，包含：数据获取模块、向量处理模块和推荐确定模块，其中，
数据获取模块，用于收集目标用户预设时间段内浏览的历史新闻集合和候选新闻集合，所述新闻集合中记录各新闻文本的文本标题、文本摘要和新闻实体；
向量处理模块，用于基于知识图谱并通过对各新闻文本中实体及语义的向量化处理获取历史新闻集合和候选新闻集合中多兴趣特征向量、新闻实体特征向量和新闻语义特征向量，并通过对三向量进行融合得到目标用户多兴趣特征表示和候选新闻特征表示；
推荐确定模块，用于根据目标用户多兴趣特征表示和待推荐候选新闻特征表示，计算每个候选新闻被推荐给用户的概率，依据概率从候选新闻集合中选取目标用户感兴趣的候选新闻进行推荐。
本发明的有益效果：
本发明基于知识图谱从用户历史浏览新闻文本集合中提取全局共性信息作为用户的多兴趣特征，增强新闻文本的深层语义表达，进而实现对于用户关于新闻多样兴趣的细粒度刻画，将用户历史浏览新闻文本对应的实体看作所有文本的关键词，通过邻域信息的融合，并且基于动态路由算法聚类形成用户的多兴趣特征向量；利用注意力机制并基于知识图谱完成每篇新闻对应实体的特征建模和信息聚合，将多兴趣特征、实体特征、语义特征进行信息融合，构成用户最终的多兴趣特征表示，有效提升新闻推荐性能，具有较好的应用前景。
附图说明：
图1为实施例中基于知识感知和用户多兴趣特征表示的新闻推荐流程示意；
图2为实施例中新闻推荐算法架构示意；
图3为实施例中多兴趣编码器架构示意；
图4为实施例中新闻实体编码器架构示意。
具体实施方式：
为使本发明的目的、技术方案和优点更加清楚、明白，下面结合附图和技术方案对本发明作进一步详细的说明。
由于新闻对时效性要求高，基于协同过滤的推荐算法有其不适应之处，因此在构建新闻推荐系统时，本案实施例中，主要考虑基于内容的推荐算法，即仅通过分析用户自身历史行行为、主要考虑基于用户历史浏览新闻文本进行精准新闻推荐。参见图1所示，本案实施例中一种基于知识感知和用户多兴趣特征表示的新闻推荐方法，具体可包含：
S101、收集目标用户预设时间段内浏览的历史新闻集合和候选新闻集合，所述新闻集合中记录各新闻文本的文本标题、文本摘要和新闻实体。
基于知识图谱从用户历史浏览新闻文本集合中提取全局共性信息，增强用户历史浏览新闻的深层语义表示，主要面临知识图谱如何使用以及全局共性信息如何提取的问题。一般而言，文本中共性信息提取可以考虑利用文本中的单词基于聚类的思想实现。由于新闻文本中的关键词与知识图谱中的实体已经建立起一一映射关系，因此，本案实施例中，可以将用户历史浏览新闻文本集合对应的实体通过聚类来完成共性信息的提取。因此，在对用户历史浏览新闻文本集合对应的实体进行聚类操作之前，同样可以考虑基于知识图谱构成描述文本集合的全局子图，通过邻居节点信息聚合丰富实体信息，从而更加广泛地利用知识图谱提供的知识和关联。
通过构建用户和新闻/>的画像，用户画像和候选新闻画像之间匹配程度越高，则用户点击新闻的可能性越大。用于构建用户和新闻画像的数据包括用户历史点击的新闻和新闻相关的知识图谱数据。某个用户历史点击的新闻集合可以表示为m代表点击的新闻数量。其中，每一条新闻v都包含1条文本的标题和摘要，以及该新闻对应的若干个实体εv＝{e1,e2,…,en}，n代表新闻包含的实体数量。
S102、基于知识图谱并通过对各新闻文本中实体及语义的向量化处理获取历史新闻集合和候选新闻集合中多兴趣特征向量、新闻实体特征向量和新闻语义特征向量，并通过对三向量进行融合得到目标用户多兴趣特征表示和候选新闻特征表示。
用于新闻推荐的用户多兴趣特征表示算法架构可如图2所示，在构建用户画像时，利用用户历史浏览新闻对应的实体训练得到描述用户兴趣的多兴趣特征向量、实体特征向量，利用用户历史浏览新闻对应的单词得到描述用户兴趣的语义特征向量，最终聚合形成用户多兴趣特征向量并用于下一步推荐任务。
具体地，通过对各新闻文本中实体及语义的向量化处理获取历史新闻集合中新闻语义特征向量，可包含：
利用预训练语言模型获取新闻文本对应的新闻语义特征向量，并对历史新闻集合中目标用户预设时间段内浏览的各新闻语义特征向量进行聚合，以得到目标用户感兴趣的新闻语义特征向量。
当给定一篇新闻的单词，通过Local text encoder(例如BERT等预训练语言模型)训练得到新闻的语义特征vi。由于用户历史点击了多篇新闻文本，因此，采用一个聚合器(Aggregator)对特征vi进行聚合得到描述用户的语义特征向量。
其中，通过对各新闻文本中实体及语义的向量化处理获取多兴趣特征向量，如图3所示，可设计为包含：
基于各新闻文本构建对应知识图谱，并采用图注意力机制对知识图谱中每个实体的邻居节点信息进行聚合，以得到每个实体向量表示；
采用动态路由聚类算法将实体向量表示划分为若干簇，其中，划分过程包含：将实体向量表示作为动态路由聚类算法中的底层胶囊，簇作为算法中多兴趣特征向量表示的上层胶囊，基于向量映射矩阵获取底层胶囊和上层胶囊之间的权重，依据权重得到多兴趣特征向量表示，并通过非线性压缩函数获取最终的多兴趣特征向量。
用户历史浏览新闻的所有实体都能关联知识图谱中的一组关联，用来表示，其中，每个三元组都代表从尾实体t到头实体h存在连接关系r。基于数据集提供的知识图谱，可以得到所有新闻对应实体和关系的向量。
由于知识图谱中的每个实体都与其邻居节点有关，因此，参见图3所示，本案实施例中可采用图注意力机制(KGAT)对每个实体的邻居信息进行聚合并且得到每个实体的向量表示，具体可表示为：
其中代表三元组的集合,eh和et分别代表头实体和尾实体，/>表示向量拼接。π(h,r,t)描述了邻居节点对该实体的影响，主要通过一个全连接层学习表示。在计算得到所有实体的影响值之后，再通过Softmax函数进行数值归一化。
为了得到这些实体的共性特征，可进一步采用动态路由聚类算法将这些实体分成若干簇。这些实体向量被当作算法中的底层胶囊，形成的簇被当作算法中的上层胶囊，也就是多兴趣特征向量。当给定底层的实体向量和上层的多兴趣特征向量/>向量/>和向量/>之间的权重可以用wi,j来表示，即可表示为：
其中j代表了多兴趣特征向量的个数，/>代表了动态路由算法中每一对底层实体向量和上层多兴趣特征向量的映射矩阵。第j个多兴趣特征向量能够通过wi,j和所有的底层实体向量/>表示，并可表示为：
最终，动态路由算法通过一个非线性压缩函数(squash)得到多个多兴趣特征向量，最终拼接形成用户的多兴趣特征向量
其中，通过对各新闻文本中实体及语义的向量化处理获取新闻实体特征向量，可设计为包含：
依据知识图谱中各实体特征获取各新闻文本对应初始实体向量，利用注意力机制计算各实体与对应新闻语义向量之间及该新闻文本所有实体之间的相关性；
依据实体与新闻语义向量相关性及实体与新闻文本所有实体之间的相关性设置该实体的权重，以基于各实体及其权重并利用注意力池化学习来获取对应的新闻实体特征向量。
在构建用户的实体特征时，首先要完成对单篇新闻对应实体特征建模。为了更好地利用知识图谱提供的背景知识和结构信息，参见图4所示，本案实施例中利用一个注意力机制(local entity encoder)，在得到新闻初始的多个实体向量后，首先通过KGAT算法挖掘高阶连通信息，然后对实体向量按照不同的权重进行信息聚合。受STCKA算法的启发，在对单篇新闻的多个实体向量进行信息聚合时，不仅需要衡量实体与文本的语义相似度，也要衡量每个实体相对于整个实体集的重要性，探索实体的相对重要性。具体过程可描述如下：
首先，计算新闻的第i个实体和语义向量v的相关性αi。
然后，计算新闻的第i个实体和该新闻所有实体集εv的相关性βi。
最终，新闻的第i个实体的权重ai可以通过αi和βi计算，计算过程可表示为：
ai＝softmax(μ1αi+μ2βi)
μ1,μ2是可训练的参数，代表了依据对应相关性进行自适应集成的权重，考虑到参数训练的复杂性，可通过设置参数集合μ＝{μ1,μ2}并对其中两个参数进行归一化操作来解决。
最后，单篇新闻的实体特征向量e′j可以表示为：
如图4所示，在得到每篇新闻的实体特征向量之后，便能通过注意力池化学习得到关于用户的实体特征向量
进一步地，通过对三向量进行融合得到目标用户多兴趣特征表示，可包含：
将历史新闻集合对应的多兴趣特征向量和新闻实体特征向量进行拼接，得到目标用户实体角度特征描述；
结合新闻实体特征向量和新闻语义特征向量之间的关系并利用多头注意力机制对实体角度特征描述和新闻语义特征向量进行垂直拼接优化，以通过对优化后的向量进行聚合来获取对应的目标用户多兴趣特征表示。
对于每个用户，已经得到了其语义特征多兴趣特征/>和实体特征/>在进行信息聚合时，考虑到数据来源的不同，首先，将多兴趣特征/>和实体特征/>进行拼接，得到用户关于实体角度的描述uε。
然后，通过多头注意力机制综合考虑实体向量和文本向量之间的关系并对表示用户兴趣的实体和文本向量进行优化，优化过程可表示为：
x′n＝MSA(xn)＝Concat(head1,head2,…,headh)·WO
where headi＝Att(xn·Wi Q,xn·Wi K,xn·Wi V)
其中WO是可训练的参数。对于每个头i，都使用权重Wi Q,Wi K,Wi V将xn映射成Q、K、V向量。Concat(·)表示向量拼接，Att(·)表示缩放点积注意力机制，dk表示K的维度。
接着，使用聚合器对x′n进行聚合并最终得到用户的多兴趣特征表示。另外，在对候选新闻建模时，同样采用以上方法，将新闻特征建模数据来源分成语义特征、实体特征和多兴趣特征三个部分，并省略多篇新闻信息聚合的过程。
S103、根据目标用户多兴趣特征表示和待推荐候选新闻特征表示，计算每个候选新闻被推荐给用户的概率，依据概率从候选新闻集合中选取目标用户感兴趣的候选新闻进行推荐。
可通过对目标用户多兴趣特征表示标注新闻文本推荐标签来生成训练样本，并采用负采样方法对新闻推荐模型进行迭代训练，直至新闻推荐模型收敛，利用训练后的新闻推荐模型来获取每个候选新闻被推荐给用户的概率分布，以依据概率分布选取目标用户感兴趣的候选新闻进行推荐。
采用负采样的方法进行模型训练。对于训练集中的每个用户-新闻(i,j)作为正样本，通过随机选择N篇新闻组成负样本对(i,j')，然后通过内积计算用户点击每个项目的概率最终目标是要使得用户点击正样本对的概率最大。
最后，问题转化为最小化模型训练过程中的损失函数Lrec，损失函数可表示为：
其中，Θ表示了训练集，λ表示了正则化系数。
进一步地，基于以上的方法，本发明实施例还提供一种基于知识感知和用户多兴趣特征表示的新闻推荐系统，包含：数据获取模块、向量处理模块和推荐确定模块，其中，
数据获取模块，用于收集目标用户预设时间段内浏览的历史新闻集合和候选新闻集合，所述新闻集合中记录各新闻文本的文本标题、文本摘要和新闻实体；
向量处理模块，用于基于知识图谱并通过对各新闻文本中实体及语义的向量化处理获取历史新闻集合和候选新闻集合中多兴趣特征向量、新闻实体特征向量和新闻语义特征向量，并通过对三向量进行融合得到目标用户多兴趣特征表示和候选新闻特征表示；
推荐确定模块，用于根据目标用户多兴趣特征表示和待推荐候选新闻特征表示，计算每个候选新闻被推荐给用户的概率，依据概率从候选新闻集合中选取目标用户感兴趣的候选新闻进行推荐。
通过以上案例也能够进一步表明，本案方案能够基于知识图谱捕捉用户历史浏览新闻文本集合中的全局共性特征，增强对用户多兴趣建模，提升目标用户新闻推荐准确度，便于实际场景中的应用。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的各实例的单元及方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已按照功能一般性地描述了各示例的组成及步骤。这些功能是以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不认为超出本发明的范围。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如：只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现，相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种基于知识感知和用户多兴趣特征表示的新闻推荐方法，其特征在于，包含：
收集目标用户预设时间段内浏览的历史新闻集合和候选新闻集合，所述新闻集合中记录各新闻文本的文本标题、文本摘要和新闻实体；
基于知识图谱并通过对各新闻文本中实体及语义的向量化处理获取历史新闻集合和候选新闻集合中多兴趣特征向量、新闻实体特征向量和新闻语义特征向量，并通过对三向量进行融合得到目标用户多兴趣特征表示和候选新闻特征表示；
根据目标用户多兴趣特征表示和待推荐候选新闻特征表示，计算每个候选新闻被推荐给用户的概率，依据概率从候选新闻集合中选取目标用户感兴趣的候选新闻进行推荐。
2.根据权利要求1所述的基于知识感知和用户多兴趣特征表示的新闻推荐方法，其特征在于，通过对各新闻文本中实体及语义的向量化处理获取历史新闻集合中新闻语义特征向量，包含：
利用预训练语言模型获取新闻文本对应的新闻语义特征向量，并对历史新闻集合中目标用户预设时间段内浏览的各新闻语义特征向量进行聚合，以得到目标用户感兴趣的新闻语义特征向量。
3.根据权利要求2所述的基于知识感知和用户多兴趣特征表示的新闻推荐方法，其特征在于，通过对各新闻文本中实体及语义的向量化处理获取候选新闻集合中的新闻语义特征向量，包含：
利用预训练语言模型获取候选新闻集合中各新闻文本对应的新闻语义特征向量。
4.根据权利要求1所述的基于知识感知和用户多兴趣特征表示的新闻推荐方法，其特征在于，通过对各新闻文本中实体及语义的向量化处理获取多兴趣特征向量，包含：
基于各新闻文本构建对应知识图谱，并采用图注意力机制对知识图谱中每个实体的邻居节点信息进行聚合，以得到每个实体向量表示；
采用动态路由聚类算法将实体向量表示划分为若干簇，其中，划分过程包含：将实体向量表示作为动态路由聚类算法中的底层胶囊，簇作为算法中多兴趣特征向量表示的上层胶囊，基于向量映射矩阵获取底层胶囊和上层胶囊之间的权重，依据权重得到多兴趣特征向量表示，并通过非线性压缩函数获取最终的多兴趣特征向量。
5.根据权利要求1所述的基于知识感知和用户多兴趣特征表示的新闻推荐方法，其特征在于，通过对各新闻文本中实体及语义的向量化处理获取新闻实体特征向量，包含：
依据知识图谱中各实体特征获取各新闻文本对应初始实体向量，利用注意力机制计算各实体与对应新闻语义向量之间及该新闻文本所有实体之间的相关性；
依据实体与新闻语义向量相关性及实体与新闻文本所有实体之间的相关性设置该实体的权重，以基于各实体及其权重并利用注意力池化学习来获取对应的新闻实体特征向量。
6.根据权利要求1所述的基于知识感知和用户多兴趣特征表示的新闻推荐方法，其特征在于，通过对三向量进行融合得到目标用户多兴趣特征表示，包含：
将历史新闻集合对应的多兴趣特征向量和新闻实体特征向量进行拼接，得到目标用户实体角度特征描述；
结合新闻实体特征向量和新闻语义特征向量之间的关系并利用多头注意力机制对实体角度特征描述和新闻语义特征向量进行垂直拼接优化，以通过对优化后的向量进行聚合来获取对应的目标用户多兴趣特征表示。
7.根据权利要求1所述的基于知识感知和用户多兴趣特征表示的新闻推荐方法，其特征在于，通过对三向量进行融合得到候选新闻特征表示，包含：
将候选新闻集合对应的多兴趣特征向量和新闻实体特征向量进行拼接，得到候选新闻中实体角度特征描述；
结合新闻实体特征向量和新闻语义特征向量之间的关系并利用多头注意力机制对实体角度特征描述和新闻语义特征向量进行垂直拼接优化，以依据优化后的向量来获取对应的候选新闻特征表示。
8.根据权利要求1所述的基于知识感知和用户多兴趣特征表示的新闻推荐方法，其特征在于，计算每个候选新闻被推荐给用户的概率，依据概率从候选新闻集合中选取目标用户感兴趣的候选新闻进行推荐，还包含：
对目标用户多兴趣特征表示标注新闻文本推荐标签来生成训练样本，并采用负采样方法对新闻推荐模型进行迭代训练，直至新闻推荐模型收敛，利用训练后的新闻推荐模型来获取每个候选新闻被推荐给用户的概率分布，以依据概率分布选取目标用户感兴趣的候选新闻进行推荐。
9.根据权利要求8所述的基于知识感知和用户多兴趣特征表示的新闻推荐方法，其特征在于，采用负采样方法对新闻推荐模型进行迭代训练的损失函数表示为：
其中，i为用户，j为新闻文本，Θ表示训练样本，λ表示正则化系数，vu为用户i的历史新闻集合。
10.一种基于知识感知和用户多兴趣特征表示的新闻推荐系统，其特征在于，包含：数据获取模块、向量处理模块和推荐确定模块，其中，
数据获取模块，用于收集目标用户预设时间段内浏览的历史新闻集合和候选新闻集合，所述新闻集合中记录各新闻文本的文本标题、文本摘要和新闻实体；
向量处理模块，用于基于知识图谱并通过对各新闻文本中实体及语义的向量化处理获取历史新闻集合和候选新闻集合中多兴趣特征向量、新闻实体特征向量和新闻语义特征向量，并通过对三向量进行融合得到目标用户多兴趣特征表示和候选新闻特征表示；
推荐确定模块，用于根据目标用户多兴趣特征表示和待推荐候选新闻特征表示，计算每个候选新闻被推荐给用户的概率，依据概率从候选新闻集合中选取目标用户感兴趣的候选新闻进行推荐。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410273442.7A CN118069927A (zh) | 2024-03-11 | 2024-03-11 | 基于知识感知和用户多兴趣特征表示的新闻推荐方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410273442.7A CN118069927A (zh) | 2024-03-11 | 2024-03-11 | 基于知识感知和用户多兴趣特征表示的新闻推荐方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118069927A true CN118069927A (zh) | 2024-05-24 |
Family
ID=91095240
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410273442.7A Pending CN118069927A (zh) | 2024-03-11 | 2024-03-11 | 基于知识感知和用户多兴趣特征表示的新闻推荐方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118069927A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118277676A (zh) * | 2024-06-03 | 2024-07-02 | 北京搜狐新媒体信息技术有限公司 | 一种新闻推荐方法及装置 |
-
2024
- 2024-03-11 CN CN202410273442.7A patent/CN118069927A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118277676A (zh) * | 2024-06-03 | 2024-07-02 | 北京搜狐新媒体信息技术有限公司 | 一种新闻推荐方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110598130B (zh) | 一种融合异构信息网络和深度学习的电影推荐方法 | |
| CN112214685A (zh) | 一种基于知识图谱的个性化推荐方法 | |
| CN109684538A (zh) | 一种基于用户个人特征的推荐方法及推荐系统 | |
| CN112966091B (zh) | 一种融合实体信息与热度的知识图谱推荐系统 | |
| CN115131698B (zh) | 视频属性确定方法、装置、设备及存储介质 | |
| CN111625715A (zh) | 信息提取方法、装置、电子设备及存储介质 | |
| CN113239159A (zh) | 基于关系推理网络的视频和文本的跨模态检索方法 | |
| CN112749330A (zh) | 信息推送方法、装置、计算机设备和存储介质 | |
| Zheng et al. | Visual entity linking via multi-modal learning | |
| CN116756690A (zh) | 一种跨语言多模态信息融合方法及装置 | |
| CN113535949B (zh) | 基于图片和句子的多模态联合事件检测方法 | |
| Fu et al. | Robust representation learning for heterogeneous attributed networks | |
| CN118069927A (zh) | 基于知识感知和用户多兴趣特征表示的新闻推荐方法及系统 | |
| CN114239730B (zh) | 一种基于近邻排序关系的跨模态检索方法 | |
| Wei et al. | Online education recommendation model based on user behavior data analysis | |
| Clarizia et al. | A sentiment analysis approach for evaluation of events in field of cultural heritage | |
| Chen et al. | Exploiting aesthetic features in visual contents for movie recommendation | |
| Li | Deep Learning‐Based Natural Language Processing Methods for Sentiment Analysis in Social Networks | |
| CN112765465B (zh) | 一种基于用户图谱的推荐方法 | |
| Xu et al. | Estimating similarity of rich internet pages using visual information | |
| CN114595370A (zh) | 模型训练、排序方法、装置、电子设备及存储介质 | |
| CN114022233A (zh) | 一种新型的商品推荐方法 | |
| Liu et al. | Search result reranking with visual and structure information sources | |
| CN115422470B (zh) | 基于新闻异构网络的关系感知新闻推荐方法、系统、设备 | |
| Zheng et al. | Visual Analysis of College Sports Performance Based on Multimodal Knowledge Graph Optimization Neural Network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Country or region after: China Address after: 450000 Science Avenue 62, Zhengzhou High-tech Zone, Henan Province Applicant after: Information Engineering University of the Chinese People's Liberation Army Cyberspace Force Address before: No. 62 Science Avenue, High tech Zone, Zhengzhou City, Henan Province Applicant before: Information Engineering University of Strategic Support Force,PLA Country or region before: China |