Nothing Special   »   [go: up one dir, main page]

CN110717098B - 基于元路径的上下文感知用户建模方法、序列推荐方法 - Google Patents

基于元路径的上下文感知用户建模方法、序列推荐方法 Download PDF

Info

Publication number
CN110717098B
CN110717098B CN201910890250.XA CN201910890250A CN110717098B CN 110717098 B CN110717098 B CN 110717098B CN 201910890250 A CN201910890250 A CN 201910890250A CN 110717098 B CN110717098 B CN 110717098B
Authority
CN
China
Prior art keywords
item
meta
user
path
representation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910890250.XA
Other languages
English (en)
Other versions
CN110717098A (zh
Inventor
徐常胜
黄晓雯
方全
钱胜胜
桑基韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN201910890250.XA priority Critical patent/CN110717098B/zh
Publication of CN110717098A publication Critical patent/CN110717098A/zh
Application granted granted Critical
Publication of CN110717098B publication Critical patent/CN110717098B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9538—Presentation of query results

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于用户建模与推荐系统领域，具体涉及一种基于元路径的上下文感知用户建模方法、序列推荐方法，旨在为了解决现有用户建模方法仅考虑用户历史行为的简单序列关系，无法捕获复杂的用户偏好；现有的推荐系统推荐的准确性不高，推荐的内容不具有多样性的问题。本发明将基于用户访问的项目序列获取局部兴趣表示，通过对异构网络建模得到上下文感知的全局兴趣表示，结合局部兴趣表示和全局兴趣表示得到用户的综合兴趣表示。基于用户综合兴趣表示和待预测项目，通过推荐模型得到推荐结果。本发明的用户建模方法能够更全面地捕捉用户兴趣，有利于提高推荐系统的准确率；基于元路径的上下文感知序列推荐方法，推荐准确率高，推荐内容更具多样性。

Description

基于元路径的上下文感知用户建模方法、序列推荐方法
技术领域
本发明属于用户建模与推荐系统领域，具体涉及一种基于元路径的上下文感知用户建模方法、序列推荐方法。
背景技术
在社交媒体网络上，用户贡献了大量的行为数据用于用户建模和个性化服务，例如电商平台的个性化推荐、信息平台的新闻推荐等等。推荐系统在将用户需求与各种在线平台的丰富项目相匹配方面发挥着越来越重要的作用。在构建一个有效的推荐系统过程中，一个关键因素是建模用户兴趣的能力，以准确地刻画和理解用户动态的、不断变化的口味和兴趣。
传统的推荐算法，比如基于内容的推荐方法和协同过滤推荐方法，通常认为用户是一个静态实体，用户的兴趣是固定的。矩阵分解技术建模静态的用户-项目交互，忽略了用户兴趣的迁移和演变。序列推荐技术近年来在建模用户动态兴趣方面获得极大的关注。事实上，用户的序列行为包含很丰富的信息，例如，它可以揭示用户兴趣演变并帮助识别哪些项目与当前的用户兴趣不相关。然而，现有的序列推荐算法通常使用历史行为的简单序列关系来建模用户偏好，其仅考虑关于用户行为的局部信息。这会使推荐系统产生一系列问题，比如推荐系统可能会陷入一个狭窄的推荐区域，使得推荐的内容“越推越窄”，限制了用户探索其他更多商品的可能性。
现有序列推荐系统中的用户建模方法仅考虑用户历史行为的简单序列关系，无法捕获复杂的用户偏好；基于现有建模方法的序列推荐系统，推荐的准确性不高，推荐的内容不具有多样性。
发明内容
为了解决现有技术中的上述问题，即为了解决现有的用户建模方法仅考虑用户历史行为的简单序列关系，无法捕获复杂的用户偏好；现有的推荐系统推荐的准确性不高，推荐的内容不具有多样性，本发明第一方面提出了一种基于元路径的上下文感知用户建模方法，该方法包括：
步骤S110，分别获取用户所访问的历史项目序列中各项目的多模态表示作为项目的项目表示；
步骤S120，基于用户所访问的历史项目序列中各项目的项目表示，通过特征层自注意力网络模型获取用户的局部兴趣表示；所述特征层自注意力网络模型基于自注意力机制构建，用于获取各项目的第一权重分数，通过对各项目的项目表示进行加权，获取用户的局部兴趣表示；
步骤S130，基于用户所访问的项目网络中各元路径的实例集合，通过基于上下文的元路径算法获取各元路径的元路径上下文表示；
步骤S140，基于所述历史项目序列中各项目的项目表示和所述项目网络中各元路径的元路径上下文表示，通过协同注意力网络模型获取用户的全局兴趣表示；所述协同注意力网络模型基于协同注意力机制构建，用于对各元路径上下文表示进行加权获取元路径加权表示和对各项目的项目表示进行加权获取项目加权表示，并通过所述元路径加权表示和所述项目加权表示的聚合获取用户的全局兴趣表示；
步骤S150，基于所述全局兴趣表示和所述局部兴趣表示，通过聚合获取用户的综合兴趣表示。
在一些优选的实施方式中，所述第一权重分数由项目中各模态的权重分数构成。
在一些优选的实施方式中，所述特征层自注意力网络模型包括前向自注意力网络模型和后向自注意力网络模型；
所述前向自注意力网络模型基于自注意力机制构建，基于前向位置编码矩阵获取各项目的关联分数；
所述后向自注意力网络模型基于自注意力机制构建，基于后向位置编码矩阵获取各项目的关联分数。
在一些优选的实施方式中，所述前向位置编码矩阵，其获取方法为：
Figure BDA0002208495320000031
其中，di,j＝exp(|i,j|)，i,j为项目在行为序列中的位置编号；如果i,j相邻，则|i,j|＝1，否则|i,j|的值随i,j位置间隔大小相应递增，每间隔增加一位，|i,j|值加1。
在一些优选的实施方式中，所述前向位置编码矩阵，其获取方法为：
Figure BDA0002208495320000032
其中，di,j＝exp(|i,j|)，i,j为项目在行为序列中的位置编号；如果i,j相邻，则|i,j|＝1，否则|i,j|的值随i,j位置间隔大小相应递增，每间隔增加一位，|i,j|值加1。
在一些优选的实施方式中，所述多模态表示基于项目标识号码、项目标签、项目文本特征、项目图像特征、用户与每个项目的交互类型中的一种或多种获取。
本发明的第二方面提出了一种基于元路径的上下文感知序列推荐方法，该方法包括：
步骤S210，基于用户所访问的历史项目序列，通过上述的基于元路径的上下文感知用户建模方法获取所述用户的综合兴趣表示；
步骤S220，分别获取待预测项目序列中各项目的多模态表示作为各项目的项目表示；所述待预测项目为从项目库中随机选取的预先设定数量的项目；
步骤S230，基于所述用户的综合兴趣表示和所述待预测项目序列中各项目的项目表示，获取所述用户与所述待预测项目序列中各项目的交互概率；
步骤S240，基于所述用户与所述待预测项目序列中各项目的交互概率，通过推荐模型获取推荐结果并输出，所述推荐模型通过最小化目标函数获取，所述目标函数为预设的推荐损失函数。
在一些优选的实施方式中，所述推荐损失函数为交叉熵损失L，其计算方法为：
L＝∑u∑j∑j′-[ylogPjj′+(1-y)log(1-Pjj′)]
其中，u表示用户，j表示用户真实交互的待预测项目，j′表示除用户真实交互的待预测项目外的其他项目，y表示真实概率，Pjj′表示待预测项目j的排序高于其他项目j′的概率。
本发明的第三方面提出了一种基于元路径的上下文感知用户建模系统，该系统包括第一项目表示获取模块、局部兴趣表示获取模块、元路径上下文表示获取模块、全局兴趣表示获取模块、第一综合兴趣表示获取模块；
所述第一项目表示获取模块，配置为分别获取用户所访问的历史项目序列中各项目的多模态表示作为项目的项目表示；
所述局部兴趣表示获取模块，配置为基于用户所访问的历史项目序列中各项目的项目表示，通过特征层自注意力网络模型获取用户的局部兴趣表示；所述特征层自注意力网络模型基于自注意力机制构建，用于获取各项目的第一权重分数，通过对各项目的项目表示进行加权，获取用户的局部兴趣表示；
所述元路径上下文表示获取模块，配置为基于用户所访问的项目网络中各元路径的实例集合，通过基于上下文的元路径算法获取各元路径的元路径上下文表示；
所述全局兴趣表示获取模块，配置为基于所述历史项目序列中各项目的项目表示和所述项目网络中各元路径的元路径上下文表示，通过协同注意力网络模型获取用户的全局兴趣表示；所述协同注意力网络模型基于协同注意力机制构建，用于对各元路径上下文表示进行加权获取元路径加权表示和对各项目的项目表示进行加权获取项目加权表示，并通过所述元路径加权表示和所述项目加权表示的聚合获取用户的全局兴趣表示；
所述第一综合兴趣表示获取模块，配置为基于所述全局兴趣表示和所述局部兴趣表示，通过聚合获取用户的综合兴趣表示。
本发明的第四方面提出了一种基于元路径的上下文感知序列推荐系统，该系统包括第二综合兴趣表示获取模块、第二项目表示获取模块、交互概率获取模块、推荐结果获取模块；
所述第二综合兴趣表示获取模块，配置为基于用户所访问的历史项目序列，通过上述的基于元路径的上下文感知用户建模方法获取所述用户的综合兴趣表示；
所述第二项目表示获取模块，配置为分别获取待预测项目序列中各项目的多模态表示作为各项目的项目表示；所述待预测项目为从项目库中随机选取的预先设定数量的项目；
所述交互概率获取模块，配置为基于所述用户的综合兴趣表示和所述待预测项目序列中各项目的项目表示，获取所述用户与所述待预测项目序列中各项目的交互概率；
所述推荐结果获取模块，配置为基于所述用户与所述待预测项目序列中各项目的交互概率，通过推荐模型获取推荐结果并输出，所述推荐模型通过最小化目标函数获取，所述目标函数为预设的推荐损失函数。
本发明的第五方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于元路径的上下文感知用户建模方法，或上述的基于元路径的上下文感知序列推荐方法。
本发明的第六方面，提出了一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于元路径的上下文感知用户建模方法，或上述的基于元路径的上下文感知序列推荐方法。
本发明的有益效果：本发明提出了一种基于元路径的上下文感知用户建模方法，通过对用户行为进行分析建模获取局部兴趣表示，通过对全局异构网络进行建模得到上下文感知的全局兴趣表示，结合局部兴趣表示和全局兴趣表示可以更全面地捕捉用户兴趣，有利于提高推荐系统的准确率；进一步通过本发明的基于元路径的上下文感知序列推荐方法，推荐的准确性高，推荐的内容更具多样性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明一种实施例的基于元路径的上下文感知用户建模方法流程示意图；
图2是异构信息网络和元路径机制的示例图；
图3是本发明一种实施例的基于元路径的上下文感知序列推荐方法算法结构示意图；
图4是本发明一种实施例的特征层自注意力网络和全局上下文学习网络的网络结构示意图；
图5是本发明一种实施例的协同注意力模型池化过程示意图；
图6是通过本发明一种实施例的基于元路径的上下文感知序列推荐方法推荐得到的结果示例图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明的一种基于元路径的上下文感知用户建模方法，该方法包括：
步骤S110，分别获取用户所访问的历史项目序列中各项目的多模态表示作为项目的项目表示；
步骤S120，基于用户所访问的历史项目序列中各项目的项目表示，通过特征层自注意力网络模型获取用户的局部兴趣表示；特征层自注意力网络模型基于自注意力机制构建，用于获取各项目的第一权重分数，通过对各项目的项目表示进行加权，获取用户的局部兴趣表示；
步骤S130，基于用户所访问的项目网络中各元路径的实例集合，获取各元路径的元路径上下文表示；
步骤S140，基于历史项目序列中各项目的项目表示和项目网络中各元路径的元路径上下文表示，通过协同注意力网络模型获取用户的全局兴趣表示；协同注意力网络模型基于协同注意力机制构建，用于对各元路径上下文表示进行加权获取元路径加权表示和对各项目的项目表示进行加权获取项目加权表示，并通过元路径加权表示和项目加权表示的聚合获取用户的全局兴趣表示；
步骤S150，基于全局兴趣表示和局部兴趣表示，通过聚合获取用户的综合兴趣表示。
为了更清晰地对本发明进行说明，先阐述本发明的问题定义，然后对结合图1对本发明方法一种实施例的各步骤进行描述。
在详细说明本发明的步骤之前，先阐述本发明的问题定义：
定义用户集合为U＝{u1,u2,…,u|U|},项目集合为I＝{i1,i2,…,i|I|}，其中|U|和|I|分别是两个集合中元素的总数。用户的行为序列可以表示为B＝{it,t＝1,2,…,T}。在异构网络中还存在上下文信息C，因此一个用户的完整表示为：u＝(B,C)。因此我们可以定义序列推荐的任务：给定用户行为序列B和上下文信息C，序列推荐的任务是预测用户在T+1时刻可能交互的项目iT+1。
图3和图4是本发明的算法结构图，下面分别说明各个步骤：
为了建模用户的局部兴趣表示，对用户历史行为进行建模。由于用户的行为具有时序性，采用了一种细粒度的自注意力机制(self-attention mechanism)对用户行为进行序列建模。
步骤S110，分别获取用户所访问的历史项目序列中各项目的多模态表示作为项目的项目表示。
在原始的特征空间里，将用户表示为历史行为的集合，一个行为对应一个项目，因此用户也可被表示为一个历史项目序列。为了简化表示，将项目的标识ID，项目对应的标签，用户对项目实施的动作的类型au,i(比如购买、阅读、点赞等)，以及项目包含的文本特征
Figure BDA0002208495320000091
和图像特征
Figure BDA0002208495320000092
作为项目的多模态表示xi如式(1)所示：
Figure BDA0002208495320000093
其中，vec(au,i)、
Figure BDA0002208495320000094
表示将动作类型aui、文本特征
Figure BDA0002208495320000095
和图像特征
Figure BDA0002208495320000096
转换成向量表示，lookupu,i(IDs)表示将项目的标识IDs转换成向量表示，“+”表示连接操作。
将项目的标识IDs,或者动作类型au,i转换成向量表示的操作均为one-hot表示。文本特征
Figure BDA0002208495320000097
由谷歌的Doc2Vec模型训练得到，图像特征
Figure BDA0002208495320000098
通过基于ImageNet的预训练网络AlexNet提取，再通过PCA算法将提取的高维特征进行降维，去除冗余信息。得到项目的多模态表示xi后，将用户表示为历史项目序列：uraw＝[x1,x2,…,xi,…,xn]。利用一个全连接层将各种类型的原始特征映射到一个统一的隐空间中，得到用户行为序列的低维、稠密的向量表示：
Figure BDA0002208495320000099
步骤S120，基于用户所访问的历史项目序列中各项目的项目表示，通过特征层自注意力网络模型获取用户的局部兴趣表示；特征层自注意力网络模型基于自注意力机制构建，用于获取各项目的第一权重分数，通过对各项目的项目表示进行加权，获取用户的局部兴趣表示。
不同于普通的自注意力模型，基于特征层的自注意力机制计算的是每个特征维度上的自注意力分数。在序列建模中，为了建模序列的时序信息，采用建模元素的位置关系来保存时序关系。在本发明中，利用前向和后向两种位置编码矩阵来捕获时间信息，用于序列建模，编码矩阵表示如下：
前向位置编码矩阵如式(2)所示：
Figure BDA0002208495320000101
后向位置编码矩阵如式(3)所示：：
Figure BDA0002208495320000102
其中，di,j＝exp(|i,j|)，i,j为项目在行为序列中的位置编号；如果i,j相邻，则|i,j|＝1，否则|i,j|的值随i,j位置间隔大小相应递增，每间隔增加一位，|i,j|值加1。
区别于计算序列中单个元素
Figure BDA0002208495320000103
的分数，模型计算每个特征维度上的分数值，元素hi和元素hj之间的关联计算如式(4)所示：
f(hi,hj)＝WTσ(W1hi+W2hj)+repmat(Mij,dh) (4)
其中，repmat(m,n)是将值m复制扩展成n维向量的函数，Mij为
Figure BDA0002208495320000104
或
Figure BDA0002208495320000105
WT、W1和W2是学习参数，σ是非线性激活函数。
关联分数f(hi,hj)是与元素hi等长的向量。得到关联分数后，元素hi和元素hj之间的特征维度上的权重分数
Figure BDA0002208495320000106
可以按式(5)计算为：
Figure BDA0002208495320000111
其中，k表示k个特征维度，i,j为项目编号。
每个特征的权重值沿着相应的特征维度进行归一化，从而保证了元素之间的关联在特征级上建模。得到所有元素的注意力分数之后，元素hj的输出定义如式(6)：
Figure BDA0002208495320000112
其中，aij为元素hi和元素hj之间的特征维度上的权重分数，⊙表示按位点乘。
基于位置编码的特征自注意力模型如图4中(a)所示，将用户行为序列的低维、稠密的向量表示
Figure BDA0002208495320000113
作为输入，每个向量均为dh维的向量，为通过前后向自注意力网络之后得到前后向加权表示：
Figure BDA0002208495320000114
和
Figure BDA0002208495320000115
再经过一个全连接层将其映射到n维向量中，得到用户的局部兴趣表示lpu输出。
步骤S130，基于用户所访问的项目网络中各元路径的实例集合，获取各元路径的元路径上下文表示。
具有丰富信息的异构信息网络有利于构造全局上下文表示。图2中(a1)和(a2)所示为以亚马逊和知乎两个平台为例的异构信息网络示意图，图中上部分别为亚马逊和知乎两个平台中的网络实例，下部为上部网络实例所遵循的网络模式。网络由多种类型的结点，如用户、项目(亚马逊网站上的商品或者知乎网站上的问答)、类别、主题等组成，另外也包含了各结点的语义关系，例如：用户和亚马逊上的商品之间的购买关系，商品与类别之前的从属关系，知乎平台上问答与主题之间的从属关系等等。图2中(b1)和(b2)分别为图2中(a1)和(a2)网络模式下的元路径模式，图2中(c1)和(c2)分别为图2中(a1)和(a2)网络模式下的元路径。
一条元路径(meta-path)是一条通过边连接的顶点的序列，其中每个顶点的类型都被元路径模式(meta-path schema)所约束。给定用户u和项目i，我们可以定义不同的路径规则来表示不同的交互语义，例如：用户u1和项目i2可以通过路径u1,i1,u2,i2(约束为UIUI)相连，意味着用户u1和项目i2可能存在交互，因为与用户u1一样交互过i1的用户u2曾经交互过项目i2；用户u1和项目i2也可以通过路径u1,i1,c1(类别),i2(约束为UICI)相连，这表示用户u1和项目i2可能存在交互，因为项目i1和i2属于同一个类别。元路径是变长的，它可以通过在网络中随机采样获得。对于一种元路径P，存在许多路径实例(path-instances)[p1,…,pN]。
元路径上下文如式(7)定义为路径实例的集合：
Figure BDA0002208495320000121
其中，N为元路径P中包含的路径实例数量。
由于有不同的元路径，因此元路径上下文可以组织成各类上下文的集合，如式(8)所示：
C＝[c1,c2,…,cm] (8)
其中，m是元路径的数量。
如图4中(b)所示，本实施例中输入用户所访问异构信息网络中所有路径实例，通过全局上下文学习网络对用户所访问的异构信息网络(以知乎网为例)中的每种元路径学习得到元路径上下文，将元路径上下文组成的上下文集合作为结果输出。
步骤S140，基于历史项目序列中各项目的项目表示和项目网络中各元路径的元路径上下文表示，通过协同注意力网络模型获取用户的全局兴趣表示；协同注意力网络模型基于协同注意力机制构建，用于对各元路径上下文表示进行加权获取元路径加权表示和对各项目的项目表示进行加权获取项目加权表示，并通过元路径加权表示和项目加权表示的聚合获取用户的全局兴趣表示。
协同注意力网络捕捉用户历史行为与基于元路径的上下文之间的交互。这一模块的目标是从历史行为和上下文中选择更多相关的项目和路径。协同注意力网络包括池化层和第一聚合层，池化层由历史行为相对于元路径的注意力模块和元路径相对于历史行为的注意力模块组成。
协同注意力网络首先计算所有可能的历史行为和上下文对之间的关系矩阵S，包含任意对之间的关联分数。给定上下文表示C和用户历史项目h，关系矩阵S表示为式(9)：
S＝σ(WcC+bc)×σ(Whh+bh) (9)
其中，Wc和Wh都是参数矩阵，bc和bh是偏置向量，σ是非线性激活函数。关系矩阵S中的元素sij是第i个元路径与第j个历史项目之间的关联分数。
图5所示为协同注意力模型池化过程示意图，图5中(a)所示为将关系矩阵S按行做平均池化，经Softmax函数得到历史行为相对于元路径上下文的关联分数。关联分数表示如式(10)所示。
Figure BDA0002208495320000131
用该关联分数对元路径上下文做加权操作，得到更新后的“元路径上下文”，可以表示出异构网络中的元路径各自与历史行为间相关程度。
同理，将关系矩阵S按列做平均池化，如图5中(b)所示，经Softmax函数得到元路径上下文相对于历史行为的关联分数，如式(11)所示。
Figure BDA0002208495320000132
用该关联分数对用户历史行为中的项目表示做加权操作，得到更新后“历史行为”，可以表示出历史行为序列中的项目各自与元路径上下文的相关程度。
将协同注意力层学习到的关联分数加权至元路径上下文和历史行为中，可以得到新的表示。第一聚合层是一个全连接层(映射层)，通过第一聚合层将更新后的“元路径上下文”和“历史行为”两种表示根据式(12)聚合成全局表示。
Figure BDA0002208495320000141
其中，δ为非线性激活函数，
Figure BDA0002208495320000142
为参数矩阵，bag为偏置项。
步骤S150，基于全局兴趣表示和局部兴趣表示，通过聚合获取用户的综合兴趣表示。
第二聚合层是一个全连接层(映射层)，其作用是将全局兴趣表示和局部兴趣表示聚合成用户的综合兴趣表示。用户的局部兴趣表示lpu和全局兴趣表示gpu聚合得到用户综合兴趣表示的方法如式(13)所示。
pu＝δ(Wp[lpu,gpu]+bp) (13)
其中，δ为非线性激活函数，Wp为参数矩阵，bp为偏置项。
本发明的第二方面提出了一种基于元路径的上下文感知序列推荐方法，该方法包括：
步骤S210，基于用户所访问的历史项目序列，通过上述的基于元路径的上下文感知用户建模方法获取所述用户的综合兴趣表示；
步骤S220，分别获取待预测项目序列中各项目的多模态表示作为各项目的项目表示；待预测项目为从项目库中随机选取的预先设定数量的项目；
步骤S230，基于用户的综合兴趣表示和待预测项目序列中各项目的项目表示，获取用户与待预测项目序列中各项目的交互概率；
步骤S240，基于用户与待预测项目序列中各项目的交互概率，通过推荐模型获取推荐结果并输出，推荐模型通过最小化目标函数获取，目标函数为预设的推荐损失函数。
以下针对本发明一种实施例先介绍待预测项目获取、推荐模型获取，然后对本发明的各步骤进行描述，最后介绍本发明一种实施例的推荐结果和推荐测试结果。
1、待预测项目获取
本实施例的实验测试过程中，由于项目数量庞大(十万量级)，为了节约计算资源和训练时间，将项目所属的类别(亚马逊数据集中)或者主题(知乎数据集)(千量级)作为待预测项目集合。
2、推荐模型获取
2.1训练样本的获取
本实施例中，对于任意用户交互行为数据集，给定任意用户的行为序列
Figure BDA0002208495320000151
共n个交互的项目，在训练阶段，训练样本为用户交互的前k个项目作为输入，预测第k+1个项目，其中k＝1,2,…,n-2；在测试阶段，利用用户的前n-1个交互的项目，预测用户的最后一个交互的项目(即第n个行为)。
2.2模型介绍
给定任意用户的行为序列，通过步骤S110至S150获得用户的综合兴趣表示，通过S210至S240计算损失函数，通过最优化目标函数更新模型参数。
推荐系统的目标是使真实的待预测项目j的排序高于其他项目j′(j′∈{I不含j})，因此将推荐损失函数定义为式(14)的交叉熵损失：
L＝∑u∑j∑j′-[ylogPjj′+(1-y)log(1-Pjj′)] (14)
其中，u表示用户，j表示用户真实交互的待预测项目(正样本)，j′表示除用户真实交互的待预测项目外的其他项目(负样本，随机采样获得)，y表示真实概率，Pjj′表示待预测项目j的排序高于其他项目j′的概率，计算方式如式(15)所示。
Pjj′＝σ(f(pu，j)-f(pu，j′)) (15)
其中，σ(·)是sigmoid函数，f(·)为用户与待预测项目序列中各项目的交互概率。
本发明将用户的局部兴趣表示的学习过程与全局兴趣表示的学习过程相结合，通过整体的损失函数优化过程同步更新局部和全局兴趣表示学习模型的参数，即模型采用端到端训练的方式，以联合学习的方式学习用户的局部和全局兴趣表示。
2.3训练过程
利用开源的深度学习框架TensorFlow实现本发明的算法，通过随机梯度下降法(SGD)优化算法端到端训练模型。其中，设置学习率为0.1，批大小为32，权重衰减系数为0.00005，隐语义空间的维度通过交叉验证设置为64。将训练样本送入模型中，不断迭代优化，直至模型收敛，完成训练过程。
3、基于元路径的上下文感知序列推荐方法包含的步骤
步骤S210-步骤S220具体过程可参见前述基于元路径的上下文感知用户建模方法的步骤110-步骤S150描述，以下仅针对步骤S230-步骤S240描述。
利用用户的综合兴趣表示，选取待预测的项目，通过距离函数可以获得用户对当前待预测项目的交互概率f(pu，j)和f(pu，j′)，距离函数可以是内积，或者其他更复杂的神经网络。
基于待预测项目序列中每个项目的排序高于其他项目的概率，通过训练好的推荐模型获取推荐结果并输出。
4推荐结果和推荐测试结果
为了评估本发明，本发明的一个实施例基于亚马逊平台及知乎平台数据进行研究实验。表1是本发明的一个实施例在亚马逊数据集上的推荐准确率的比较，表2是本发明的一个实施例在知乎数据集上的推荐准确率的比较，从中可以看出本发明的方法在用户建模与序列推荐上有着显著的效果。
表1中每个单元格的数据为各推荐方法在亚马逊不同数据子集的推荐准确率，其中：
BPR：Bayesian personalized ranking，贝叶斯个性化排序算法；
CNN：卷积神经网络；
Bi-LSTM：Bi-directional Long Short-Term Memory，双向长短时记忆模型；
Bi-LSTM+att.：基于注意力机制的双向长短时记忆模型；
ATRank：是一种基于注意力的用户建模框架，它仅基于自注意力机制对序列行为进行编码。
表2中每个单元格的数据为各种推荐方法在不同评价指标下的值。其中，AUC(areaunder the curve)为受试者工作特征曲线下方的面积，K表示对排序前K项计算准确率。
图6是根据本发明的一个实施例的序列推荐方法所得到的代表性的案例，由图6可以看出本发明赋予了推荐系统捕捉用户长期兴趣和短期动态偏好的能力。图中矩形框中的推荐项目是基于综合兴趣推荐的结果与基于局部兴趣推荐的结果的不同之处。
图6中(a)为根据用户A的历史访问序列，得到基于该用户的局部兴趣表示和综合兴趣表示的推荐结果；采用本发明一个实施例的序列推荐方法基于用户A的局部兴趣表示可得到健康、心理学、游戏前三个推荐结果，采用本发明一个实施例的序列推荐方法基于用户A的综合兴趣表示可得到健康、心理学、绘画、电影前四个推荐结果。图6中(b)为根据用户B的历史访问序列，得到基于该用户的局部兴趣表示和综合兴趣表示的推荐结果；采用本发明一个实施例的序列推荐方法基于用户B的局部兴趣表示可得到嘻哈、吉他、恐怖前三个推荐结果，采用本发明一个实施例的序列推荐方法基于用户B的综合兴趣表示可得到嘻哈、动漫、吉他、恐怖前四个推荐结果。由图6可以看出本发明赋予了推荐系统捕捉用户长期兴趣和短期动态偏好的能力。
表1
Figure BDA0002208495320000181
表2
Figure BDA0002208495320000182
Figure BDA0002208495320000191
本发明的第三方面提出了一种基于元路径的上下文感知用户建模系统，该系统包括第一项目表示获取模块、局部兴趣表示获取模块、元路径上下文表示获取模块、全局兴趣表示获取模块、第一综合兴趣表示获取模块；
第一项目表示获取模块，配置为分别获取用户所访问的历史项目序列中各项目的多模态表示作为项目的项目表示；
局部兴趣表示获取模块，配置为基于用户所访问的历史项目序列中各项目的项目表示，通过特征层自注意力网络模型获取用户的局部兴趣表示；特征层自注意力网络模型基于自注意力机制构建，用于获取各项目的第一权重分数，通过对各项目的项目表示进行加权，获取用户的局部兴趣表示；
元路径上下文表示获取模块，配置为基于用户所访问的项目网络中各元路径的实例集合，通过基于上下文的元路径算法获取各元路径的元路径上下文表示；
全局兴趣表示获取模块，配置为基于历史项目序列中各项目的项目表示和所述项目网络中各元路径的元路径上下文表示，通过协同注意力网络模型获取用户的全局兴趣表示；协同注意力网络模型基于协同注意力机制构建，用于对各元路径上下文表示进行加权获取元路径加权表示和对各项目的项目表示进行加权获取项目加权表示，并通过所述元路径加权表示和所述项目加权表示的聚合获取用户的全局兴趣表示；
第一综合兴趣表示获取模块，配置为基于全局兴趣表示和局部兴趣表示，通过聚合获取用户的综合兴趣表示。
本发明的第四方面提出了一种基于元路径的上下文感知序列推荐系统，该系统包括第二综合兴趣表示获取模块、第二项目表示获取模块、交互概率获取模块、推荐结果获取模块；
第二综合兴趣表示获取模块，配置为基于用户所访问的历史项目序列，通过上述的基于元路径的上下文感知用户建模方法获取所述用户的综合兴趣表示；
第二项目表示获取模块，配置为分别获取待预测项目序列中各项目的多模态表示作为各项目的项目表示；待预测项目为从项目库中随机选取的预先设定数量的项目；
交互概率获取模块，配置为基于用户的综合兴趣表示和待预测项目序列中各项目的项目表示，获取用户与待预测项目序列中各项目的交互概率；
推荐结果获取模块，配置为基于用户与待预测项目序列中各项目的交互概率，通过推荐模型获取推荐结果并输出，推荐模型通过最小化目标函数获取，目标函数为预设的推荐损失函数。
需要说明的是，上述实施例提供的基于元路径的上下文感知用户建模系统、基于元路径的上下文感知序列推荐系统仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本发明实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于元路径的上下文感知用户建模方法、或上述的基于元路径的上下文感知序列推荐方法方法。
本发明实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于元路径的上下文感知用户建模方法、或上述的基于元路径的上下文感知序列推荐方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (9)

1.一种基于元路径的上下文感知用户建模方法，其特征在于，该方法包括：
步骤S110，分别获取用户所访问的历史项目序列中各项目的多模态表示作为项目的项目表示；
步骤S120，基于用户所访问的历史项目序列中各项目的项目表示，通过特征层自注意力网络模型获取用户的局部兴趣表示；所述特征层自注意力网络模型基于自注意力机制构建，用于获取各项目的第一权重分数，通过对各项目的项目表示进行加权，获取用户的局部兴趣表示；
采用建模元素的位置关系来保存时序关系，所述特征层自注意力网络模型包括前向自注意力网络模型和后向自注意力网络模型；
所述前向自注意力网络模型基于自注意力机制构建，基于前向位置编码矩阵获取各项目的关联分数；
所述前向位置编码矩阵，其获取方法为：
Figure FDA0003643356530000011
其中，di，j＝exp(|i，j|)，i，j为项目在行为序列中的位置编号；如果i，j相邻，则|i，j|＝1，否则|i，j|的值随i，j位置间隔大小相应递增，每间隔增加一位，|i，j|值加1；
所述后向自注意力网络模型基于自注意力机制构建，基于后向位置编码矩阵获取各项目的关联分数；
所述后向位置编码矩阵，其获取方法为：
Figure FDA0003643356530000012
其中，di，j＝exp(|i，j|)，i，j为项目在行为序列中的位置编号；如果i，j相邻，则|i，j|＝1，否则|i，j|的值随i，j位置间隔大小相应递增，每间隔增加一位，|i，j|值加1；
区别于计算序列中单个元素
Figure FDA0003643356530000021
的分数，模型计算每个特征维度上的分数值，元素hi和元素hj之间的关联分数为：
f(hi，hj)＝WTσ(W1hi+W2hj)+repmat(Mij，dh)
其中，repmat(m，n)是将值m复制扩展成n维向量的函数，Mij为
Figure FDA0003643356530000022
或
Figure FDA0003643356530000023
WT、W1和W2是学习参数，σ是非线性激活函数；
关联分数f(hi，hj)是与元素hi等长的向量；
元素hi和元素hj之间的特征维度上的权重分数
Figure FDA0003643356530000024
为：
Figure FDA0003643356530000025
k表示k个特征维度，i，j为项目编号；
元素hj的输出定义为：
Figure FDA0003643356530000026
其中，aij为元素hi和元素hj之间的特征维度上的权重分数，⊙表示按位点乘；
将用户行为序列的低维、稠密的向量表示
Figure FDA0003643356530000027
作为输入，每个向量均为dh维的向量，为通过前后向自注意力网络之后得到前后向加权表示：
Figure FDA0003643356530000028
和
Figure FDA0003643356530000029
再经过一个全连接层将其映射到n维向量中，得到用户的局部兴趣表示lpu输出；其中u表示用户；
步骤S130，基于用户所访问的项目网络中各元路径的实例集合，通过基于上下文的元路径算法获取各元路径的元路径上下文表示；具体为：
元路径上下文定义为路径实例的集合：
Figure FDA0003643356530000031
其中，N为元路径P中包含的路径实例数量；
元路径上下文可以组织成各类上下文的集合：
C＝[c1，c2，...，cm]
m是元路径的数量；
输入用户所访问异构信息网络中所有路径实例，通过全局上下文学习网络对用户所访问的异构信息网络中的每种元路径学习得到元路径上下文，将元路径上下文组成的上下文集合作为结果输出；
步骤S140，基于所述历史项目序列中各项目的项目表示和所述项目网络中各元路径的元路径上下文表示，通过协同注意力网络模型获取用户的全局兴趣表示；所述协同注意力网络模型基于协同注意力机制构建，用于对各元路径上下文表示进行加权获取元路径加权表示和对各项目的项目表示进行加权获取项目加权表示，并通过所述元路径加权表示和所述项目加权表示的聚合获取用户的全局兴趣表示；具体为：
协同注意力网络首先计算所有可能的历史行为和上下文对之间的关系矩阵S，包含任意对之间的关联分数；
给定上下文表示C和用户历史项目h，关系矩阵S表示为：
S＝σ(WcC+bc)×σ(Whh+bh)
其中，Wc和Wh都是参数矩阵，bc和bh是偏置向量，σ是非线性激活函数，关系矩阵S中的元素sij是第i个元路径与第j个历史项目之间的关联分数；
经Softmax函数得到历史行为相对于元路径上下文的关联分数cw为：
Figure FDA0003643356530000032
用历史行为相对于元路径对元路径上下文做加权操作，得到更新后的元路径上下文，可以表示出异构网络中的元路径各自与历史行为间相关程度；
将关系矩阵S按列做平均池化，经Softmax函数得到元路径上下文相对于历史行为的关联分数：
Figure FDA0003643356530000041
用该关联分数对用户历史行为中的项目表示做加权操作，得到更新后历史行为，可以表示出历史行为序列中的项目各自与元路径上下文的相关程度；
将协同注意力层学习到的关联分数加权至元路径上下文和历史行为中，可以得到新的表示；通过第一聚合层将更新后的元路径上下文和历史行为两种表示聚合成全局表示：
Figure FDA0003643356530000042
其中，δ为非线性激活函数，
Figure FDA0003643356530000043
为参数矩阵，bag为偏置项；
步骤S150，基于所述全局兴趣表示和所述局部兴趣表示，通过聚合获取用户的综合兴趣表示；
用户的局部兴趣表示lpu和全局兴趣表示gpu聚合得到用户综合兴趣表示的方法为：
pu＝δ(Wp[lpu，gpu]+bp)
其中，δ为非线性激活函数，Wp为参数矩阵，bp为偏置项。
2.根据权利要求1所述的基于元路径的上下文感知用户建模方法，其特征在于，所述第一权重分数由项目中各模态的权重分数构成。
3.根据权利要求1所述的基于元路径的上下文感知用户建模方法，其特征在于，所述多模态表示基于项目标识号码、项目标签、项目文本特征、项目图像特征、用户与每个项目的交互类型中的一种或多种获取。
4.一种基于元路径的上下文感知序列推荐方法，其特征在于，该方法包括：
步骤S210，基于用户所访问的历史项目序列，通过权利要求1-3中任一项所述的基于元路径的上下文感知用户建模方法获取所述用户的综合兴趣表示；
步骤S220，分别获取待预测项目序列中各项目的多模态表示作为各项目的项目表示；所述待预测项目为从项目库中随机选取的预先设定数量的项目；
步骤S230，基于所述用户的综合兴趣表示和所述待预测项目序列中各项目的项目表示，获取所述用户与所述待预测项目序列中各项目的交互概率；
步骤S240，基于所述用户与所述待预测项目序列中各项目的交互概率，通过推荐模型获取推荐结果并输出，所述推荐模型通过最小化目标函数获取，所述目标函数为预设的推荐损失函数。
5.根据权利要求4所述的基于元路径的上下文感知序列推荐方法，其特征在于，所述推荐损失函数为交叉熵损失L，其计算方法为：
L＝∑u∑j∑j′-[ylogPjj′+(1-y)log(1-Pjj′)]
其中，u表示用户，j表示用户真实交互的待预测项目，j′表示除用户真实交互的待预测项目外的其他项目，y表示真实概率，Pjj′表示待预测项目j的排序高于其他项目j′的概率。
6.一种基于元路径的上下文感知用户建模系统，其特征在于，该系统包括第一项目表示获取模块、局部兴趣表示获取模块、元路径上下文表示获取模块、全局兴趣表示获取模块、第一综合兴趣表示获取模块；
所述第一项目表示获取模块，配置为分别获取用户所访问的历史项目序列中各项目的多模态表示作为项目的项目表示；
所述局部兴趣表示获取模块，配置为基于用户所访问的历史项目序列中各项目的项目表示，通过特征层自注意力网络模型获取用户的局部兴趣表示；所述特征层自注意力网络模型基于自注意力机制构建，用于获取各项目的第一权重分数，通过对各项目的项目表示进行加权，获取用户的局部兴趣表示；
采用建模元素的位置关系来保存时序关系，所述特征层自注意力网络模型包括前向自注意力网络模型和后向自注意力网络模型；
所述前向自注意力网络模型基于自注意力机制构建，基于前向位置编码矩阵获取各项目的关联分数；
所述前向位置编码矩阵，其获取方法为：
Figure FDA0003643356530000061
其中，di，j＝exp(|i，j|)，i，j为项目在行为序列中的位置编号；如果i，j相邻，则|i，j|＝1，否则|i，j|的值随i，j位置间隔大小相应递增，每间隔增加一位，|i，j|值加1；
所述后向自注意力网络模型基于自注意力机制构建，基于后向位置编码矩阵获取各项目的关联分数；
所述后向位置编码矩阵，其获取方法为：
Figure FDA0003643356530000062
其中，di，j＝exp(|i，j|)，i，j为项目在行为序列中的位置编号；如果i，j相邻，则|i，j|＝1，否则|i，j|的值随i，j位置间隔大小相应递增，每间隔增加一位，|i，j|值加1；
区别于计算序列中单个元素
Figure FDA0003643356530000063
的分数，模型计算每个特征维度上的分数值，元素hi和元素hj之间的关联分数为：
f(hi，hj)＝WTσ(W1hi+W2hj)+repmat(Mij，dh)
其中，repmat(m，n)是将值m复制扩展成n维向量的函数，Mij为
Figure FDA0003643356530000071
或
Figure FDA0003643356530000072
WT、W1和W2是学习参数，σ是非线性激活函数；
关联分数f(hi，hj)是与元素hi等长的向量；
元素hi和元素hj之间的特征维度上的权重分数
Figure FDA0003643356530000073
为：
Figure FDA0003643356530000074
k表示k个特征维度，i，j为项目编号；
元素hj的输出定义为：
Figure FDA0003643356530000075
其中，aij为元素hi和元素hj之间的特征维度上的权重分数，⊙表示按位点乘；
将用户行为序列的低维、稠密的向量表示
Figure FDA0003643356530000076
作为输入，每个向量均为dh维的向量，为通过前后向自注意力网络之后得到前后向加权表示：
Figure FDA0003643356530000077
和
Figure FDA0003643356530000078
再经过一个全连接层将其映射到n维向量中，得到用户的局部兴趣表示lpu输出；其中u表示用户；
所述元路径上下文表示获取模块，配置为基于用户所访问的项目网络中各元路径的实例集合，通过基于上下文的元路径算法获取各元路径的元路径上下文表示；
元路径上下文定义为路径实例的集合：
Figure FDA0003643356530000079
其中，N为元路径P中包含的路径实例数量；
元路径上下文可以组织成各类上下文的集合：
C＝[c1，c2，...，cm]
m是元路径的数量；
输入用户所访问异构信息网络中所有路径实例，通过全局上下文学习网络对用户所访问的异构信息网络中的每种元路径学习得到元路径上下文，将元路径上下文组成的上下文集合作为结果输出；
所述全局兴趣表示获取模块，配置为基于所述历史项目序列中各项目的项目表示和所述项目网络中各元路径的元路径上下文表示，通过协同注意力网络模型获取用户的全局兴趣表示；所述协同注意力网络模型基于协同注意力机制构建，用于对各元路径上下文表示进行加权获取元路径加权表示和对各项目的项目表示进行加权获取项目加权表示，并通过所述元路径加权表示和所述项目加权表示的聚合获取用户的全局兴趣表示；具体为
协同注意力网络首先计算所有可能的历史行为和上下文对之间的关系矩阵S，包含任意对之间的关联分数；
给定上下文表示C和用户历史项目h，关系矩阵S表示为：
S＝σ(WcC+bc)×σ(Whh+bh)
其中，Wc和Wh都是参数矩阵，bc和bh是偏置向量，σ是非线性激活函数，关系矩阵S中的元素sij是第i个元路径与第j个历史项目之间的关联分数；
经Softmax函数得到历史行为相对于元路径上下文的关联分数cw为：
Figure FDA0003643356530000081
用历史行为相对于元路径对元路径上下文做加权操作，得到更新后的元路径上下文，可以表示出异构网络中的元路径各自与历史行为间相关程度；
将关系矩阵S按列做平均池化，经Softmax函数得到元路径上下文相对于历史行为的关联分数：
Figure FDA0003643356530000091
用该关联分数对用户历史行为中的项目表示做加权操作，得到更新后历史行为，可以表示出历史行为序列中的项目各自与元路径上下文的相关程度；
将协同注意力层学习到的关联分数加权至元路径上下文和历史行为中，可以得到新的表示；通过第一聚合层将更新后的元路径上下文和历史行为两种表示聚合成全局表示：
Figure FDA0003643356530000092
其中，δ为非线性激活函数，
Figure FDA0003643356530000093
为参数矩阵，bag为偏置项；
所述第一综合兴趣表示获取模块，配置为基于所述全局兴趣表示和所述局部兴趣表示，通过聚合获取用户的综合兴趣表示；
用户的局部兴趣表示lpu和全局兴趣表示gpu聚合得到用户综合兴趣表示的方法为：
pu＝δ(Wp[lpu，gpu]+bp)
其中，δ为非线性激活函数，Wp为参数矩阵，bp为偏置项。
7.一种基于元路径的上下文感知序列推荐系统，其特征在于，该系统包括第二综合兴趣表示获取模块、第二项目表示获取模块、交互概率获取模块、推荐结果获取模块；
所述第二综合兴趣表示获取模块，配置为基于用户所访问的历史项目序列，通过权力要求1-4中任一项所述的基于元路径的上下文感知用户建模方法获取所述用户的综合兴趣表示；
所述第二项目表示获取模块，配置为分别获取待预测项目序列中各项目的多模态表示作为各项目的项目表示；所述待预测项目为从项目库中随机选取的预先设定数量的项目；
所述交互概率获取模块，配置为基于所述用户的综合兴趣表示和所述待预测项目序列中各项目的项目表示，获取所述用户与所述待预测项目序列中各项目的交互概率；
所述推荐结果获取模块，配置为基于所述用户与所述待预测项目序列中各项目的交互概率，通过推荐模型获取推荐结果并输出，所述推荐模型通过最小化目标函数获取，所述目标函数为预设的推荐损失函数。
8.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-3中任一权利要求所述的基于元路径的上下文感知用户建模方法，或权利要求4-5中任一权利要求所述的基于元路径的上下文感知序列推荐方法。
9.一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置适于存储多条程序；其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-3中任一权利要求所述的基于元路径的上下文感知用户建模方法，或权利要求4-5中任一权利要求所述的基于元路径的上下文感知序列推荐方法。
CN201910890250.XA 2019-09-20 2019-09-20 基于元路径的上下文感知用户建模方法、序列推荐方法 Active CN110717098B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910890250.XA CN110717098B (zh) 2019-09-20 2019-09-20 基于元路径的上下文感知用户建模方法、序列推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910890250.XA CN110717098B (zh) 2019-09-20 2019-09-20 基于元路径的上下文感知用户建模方法、序列推荐方法

Publications (2)

Publication Number Publication Date
CN110717098A CN110717098A (zh) 2020-01-21
CN110717098B true CN110717098B (zh) 2022-06-24

Family

ID=69209976

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910890250.XA Active CN110717098B (zh) 2019-09-20 2019-09-20 基于元路径的上下文感知用户建模方法、序列推荐方法

Country Status (1)

Country Link
CN (1) CN110717098B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111523378B (zh) * 2020-03-11 2023-07-28 浙江工业大学 一种基于深度学习的人体行为预测方法
CN111401641B (zh) * 2020-03-18 2022-11-18 支付宝(杭州)信息技术有限公司 业务数据处理方法、装置及电子设备
CN111541570B (zh) * 2020-04-22 2021-05-07 北京交通大学 基于多源特征学习的云服务QoS预测方法
CN111931485B (zh) * 2020-08-12 2021-03-23 北京建筑大学 一种基于跨网络表示学习的多模异质关联实体识别方法
CN112221159B (zh) * 2020-10-21 2022-04-08 腾讯科技（深圳）有限公司 一种虚拟道具推荐方法、装置及计算机可读存储介质
CN111967590B (zh) * 2020-10-23 2021-02-02 之江实验室 面向推荐系统矩阵分解方法的异构多xpu机器学习系统
CN112464087B (zh) * 2020-11-23 2024-03-01 北京明略软件系统有限公司 推荐概率的输出方法及装置、存储介质、电子设备
CN112559877A (zh) * 2020-12-24 2021-03-26 齐鲁工业大学 基于跨平台异构数据及行为上下文的ctr预估方法及系统
CN112733027B (zh) * 2021-01-08 2022-10-25 西安交通大学 一种基于局部和全局表示模型联合学习的混合推荐方法
CN113095901B (zh) * 2021-02-20 2024-02-20 科大讯飞股份有限公司 推荐方法和相关模型的训练方法、电子设备、存储装置
CN113849728A (zh) * 2021-08-27 2021-12-28 合肥工业大学 面向新项目推广的个性化推荐方法和系统
CN113762477B (zh) * 2021-09-08 2023-06-30 中山大学 一种构建序列推荐模型的方法和序列推荐方法
CN114168845B (zh) * 2021-11-24 2023-08-15 电子科技大学 一种基于多任务学习的序列化推荐方法
CN114254194B (zh) * 2021-12-20 2024-04-26 北京工业大学 一种基于注意力的多兴趣序列推荐方法及系统
CN115809364B (zh) * 2022-09-30 2023-12-08 北京百度网讯科技有限公司 对象推荐方法和模型训练方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109002488A (zh) * 2018-06-26 2018-12-14 北京邮电大学 一种基于元路径上下文的推荐模型训练方法及装置
CN109145290A (zh) * 2018-07-25 2019-01-04 东北大学 基于字向量与自注意力机制的语义相似度计算方法
CN109670121A (zh) * 2018-12-18 2019-04-23 辽宁工程技术大学 基于注意力机制的项目级和特征级深度协同过滤推荐算法
CN110119467A (zh) * 2019-05-14 2019-08-13 苏州大学 一种基于会话的项目推荐方法、装置、设备及存储介质
CN110175527A (zh) * 2019-04-29 2019-08-27 北京百度网讯科技有限公司 行人再识别方法及装置、计算机设备及可读介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109002488A (zh) * 2018-06-26 2018-12-14 北京邮电大学 一种基于元路径上下文的推荐模型训练方法及装置
CN109145290A (zh) * 2018-07-25 2019-01-04 东北大学 基于字向量与自注意力机制的语义相似度计算方法
CN109670121A (zh) * 2018-12-18 2019-04-23 辽宁工程技术大学 基于注意力机制的项目级和特征级深度协同过滤推荐算法
CN110175527A (zh) * 2019-04-29 2019-08-27 北京百度网讯科技有限公司 行人再识别方法及装置、计算机设备及可读介质
CN110119467A (zh) * 2019-05-14 2019-08-13 苏州大学 一种基于会话的项目推荐方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Directional Self-Attention Network for RNN/CNN-Free Language Understanding;TaoShen et.al;《The Thirty-Second AAAI Conference》;20180202;第5449页 *

Also Published As

Publication number Publication date
CN110717098A (zh) 2020-01-21

Similar Documents

Publication Publication Date Title
CN110717098B (zh) 基于元路径的上下文感知用户建模方法、序列推荐方法
CN110516160B (zh) 基于知识图谱的用户建模方法、序列推荐方法
Yuan et al. Expert finding in community question answering: a review
CN108648049B (zh) 一种基于用户行为区别建模的序列推荐方法
Zhang et al. Enabling kernel-based attribute-aware matrix factorization for rating prediction
CN109087178A (zh) 商品推荐方法和装置
CN111429161B (zh) 特征提取方法、特征提取装置、存储介质及电子设备
CN113515690A (zh) 内容召回模型的训练方法、内容召回方法、装置及设备
Daneshvar et al. A social hybrid recommendation system using LSTM and CNN
CN115618101A (zh) 基于负反馈的流媒体内容推荐方法、装置及电子设备
CN115438787A (zh) 行为预测系统的训练方法及装置
Kopeinik et al. Improving collaborative filtering using a cognitive model of human category learning
Patel et al. Recommendation Systems: Types, Applications, and Challenges
Sengupta et al. Simple surveys: Response retrieval inspired by recommendation systems
Nazari et al. Scalable and data-independent multi-agent recommender system using social networks analysis
Hossain et al. A neural engine for movie recommendation system
CN114817692A (zh) 确定推荐对象的方法、装置和设备及计算机存储介质
CN116911949A (zh) 基于边界排名损失和邻域感知图神经网络的物品推荐方法
Alabdulrahman et al. Active learning and deep learning for the cold-start problem in recommendation system: A comparative study
Kumar et al. Deep scalable and distributed restricted boltzmann machine for recommendations
Shinde et al. A Comprehensive Survey on Recommender Systems Techniques and Challenges in Big Data Analytics with IoT Applications
Jindal et al. Efficient web navigation prediction using hybrid models based on multiple evidence combinations
Zaval et al. A Novel Approach to Recommendation System Business Workflows: A Case Study for Book E-Commerce Websites
Gupta et al. Tunicate Swarm Magnetic Optimization With Deep Convolution Neural Network For Collaborative Filter Recommendation
Sridhar et al. Extending Deep Neural Categorisation Models for Recommendations by Applying Gradient Based Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant