CN110245299A - 一种基于动态交互注意力机制的序列推荐方法及其系统 - Google Patents

Abstract

本发明提出了一种基于动态交互注意力机制的序列推荐方法，包括获取用户的初始短期偏好和初始长期偏好；根据交互式注意力网络结合初始短期偏好和初始长期偏好得到长期偏好和短期偏好；根据序列推荐模型结合长期偏好和短期偏好对相应物品进行打分并根据打分结果为用户推荐物品。本发明构建的用于顺序推荐(DCN‑SR)的动态交互注意力机制网络模型，通过该模型能够学习用户长期和短期交互的共同依赖表示，并结合长期偏好和短期偏好，使推荐结果更加准确。

Description

一种基于动态交互注意力机制的序列推荐方法及其系统

技术领域

本发明属于序列推荐领域，具体是涉及到一种基于动态交互注意力机制的序列推荐方法及其系统。

背景技术

推荐系统是帮助人们应对日益复杂的信息环境的有效解决方案。传统的推荐系统通常会忽略顺序信息，并专注于从交互中挖掘用户和项目之间的静态相关性。例如，基于矩阵分解的典型传统推荐系统可以从整个交互历史中学习，来有效地建模用户的一般偏好，但是它不模拟用户短期的顺序交互行为。与传统的推荐系统不同，序列推荐就是根据用户一段时间内的交互历史，来预测用户下一个可能感兴趣的对象。

现有顺序推荐系统的建模方法主要包括马尔可夫链和递归神经网络(RNN)。例如，分解个性化马尔可夫链(FPMC)模型将马尔可夫链与矩阵分解相结合，以实现良好的推荐性能。现有技术中还包括一种分层表示模型(HRM)模型，该模型通过采用两层结构来构建用户和项目的表示，从而来扩展FPMC的思想。基于马尔可夫链的方法仅能模拟每两个相邻交互之间的局部序列模式。基于RNN的模型可以有效地模拟多步顺序行为。分层递归神经网络(HRNN)模型和动态bAsket模型(DREAM)模型将用户的长短期爱好相结合。与HRM和FPMC相比都取得了显着的进步。然而，上述这些方法并未捕获用户的长期偏好与短期偏好的相对重要性的变化。

发明内容

本发明要解决的技术问题是提供一种基于动态交互注意力机制的序列推荐方法及其系统，以解决现有技术中存在的技术问题。

本发明的内容包括一种基于动态交互注意力机制的序列推荐方法，包括以下步骤：

获取用户的初始短期偏好和初始长期偏好；

根据交互式注意力网络结合初始短期偏好和初始长期偏好得到长期偏好和短期偏好；

根据序列推荐模型结合长期偏好和短期偏好对相应物品进行打分并根据打分结果为用户推荐物品。

优选地，在对相应物品进行打分后还需要通过损失函数对打分结果进行修正，所属损失函数为：

表示预测用户u对物品i的偏好程度，y_ui表示真实的结果，V表示所有物品的数量。

优选地，获取用户的初始短期偏好的方式为通过基于上下文的GRU模型：CGRU进行初始短期偏好查询，CGRU为：

z_t＝σ(W_zx_t+V_za_t+U_zh_t-1)

r_t＝σ(W_rx_t+V_ra_t+U_rh_t-1)。

W_z，V_z，U_z，U_z，W_r，V_r，U_r，W，V，U均为模型参数，可以通过训练得到，x_t表示t时刻输入的物品的向量表示，a_t为行为动作的向量表示，最终计算得到的h_t为时刻的隐藏层状态表示，σ表示sigmoid函数，tan h表示正切函数。

优选地，获取用户的初始长期偏好的方式为采用多层感知机对用户的长期偏好进行建模，多层感知机的建模过程如下：

z_1，i＝Φ(W₁x_i+b₁)

z_2，i=Φ(W₂z_1，i+b₂)

z_M，i＝tan h(W_Mz_M-1，i+b_M)

X_i＝z_M，i。

W_m和b_m表示第m层感知机的参数，Φ表示激活函数，X_i表示x_i的最终输出状态向量。

优选地，交互式注意力网络为：

H^l＝tan h[W_lU_l+(W_sU_s+W_th_s，T)C^T]

H^s＝tan h[W_sU_s+W_th_s，T+(W_lU_l)C]

U_l和U_s是用户初始的长短期状态向量表示，W_c，W_l，W_s，W_t，W_hl，W_hs为模型参数，可以通过训练得到，h_s，T表示CGRU输出的最后一个隐藏层状态向量，最终输出的a_l和a_s为用户的长短期偏好的注意力权重。

优选地，用户的短期偏好和长期偏好分别为：

U_co-s和U_co-l表示经过交互注意力机制计算得到的最终的用户长短期偏好表示.

优选地，对物品对进行打分的方式为：

B_l，B_s，B^T均为模型参数可通过训练得到，最终输出的表示用户u对所有物品的偏好程度。

依托于上述方法，本发明还提供了一种基于动态交互注意力机制的序列推荐系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，处理器执行计算机程序时实现上述任一方法的步骤。

本发明的有益效果包括：

1、本发明构建了用于顺序推荐(DCN-SR)的动态交互注意力机制网络模型，通过该模型能够学习用户长期和短期交互的共同依赖表示，并结合长期和短期之间的关系，使推荐结果更加准确。

2、本发明构建了一个上下文门控循环单元CGRU，包含不同类型的短期用户动作行为，能够更好地估计用户的下一个兴趣偏好。

附图说明

附图1为本发明的一种基于动态交互注意力机制的序列推荐方法框架图；

附图2为本发明的CGRU框架图；

附图3为本发明的交互式注意力网络示意图；

附图4为本发明优选实施例中所述不同会话长度时不同模型的推荐效果比较图；

附图5为本发明优选实施例中所述不同历史信息长度时不同模型的推荐效果比较图；

附图6为本发明优选实施例中所述会话重要性对推荐效果的影响示意图。

具体实施方式

实施例1：

序列推荐就是根据用户一段时间内的交互历史，来预测用户下一个可能感兴趣的对象。一个合理有效的序列推荐模型应该能够有效的结合用户的长期和短期偏好。现有的方法总是会把用户的长期兴趣偏好看作一个静态固定的向量，在处理用户不同的动态偏好时，用户的长期偏好都是不变的。但这是不合理的，因为在面对用户不同的动态偏好时，其长期偏好应该具有不同的重要性。用户的长期交互历史中的事件的相对重要性取决于其短期交互历史中的事件，反之亦然。若一个用户在当前会话中搜索过摄像头，在决定下一步推荐什么时，该用户的长期搜索历史中，与电子产品相关的长期互动应该比她与服装相关的互动更重要。相反，如果用户过去的交互表明对索尼品牌的兴趣更大，则在当前会话期间，与该品牌相关的交互在预测下一个推荐项目时可能比其他交互更重要。同时，不同的用户动作(例如，点击，添加到购物车或购买)提供了关于用户兴趣的不同类型的信息。点击相机可能表示当前的建议不令人满意，因此可以继续推荐别的相机，相反，如果一个用户购买了一个相机，那么后面我们应该推荐一些和相机相关的产品而不是相机，例如可以推荐内存卡等等。基于这个考虑，我们提出了一个基于动态交互注意力机制的推荐模型DCN-SR，采用一个交互式注意力网络来对用户长期和短期偏好之间的交互进行建模，其包括以下三个部分内容：

(1)建模用户的短期偏好。本发明使用上下文门控循环单元(CGRU)网络来合并用户操作中包含的信息。短期偏好表示为当前会话中隐藏的交互状态的组合。

(2)使用多层感知器(MLP)来处理用户的历史交互并推断其一般偏好。

(3)使用前两个部分的输出，我们应用交互注意力机制网络来捕获用户的长期和短期交互历史中的行为之间的相互作用，并生成他们的长期和短期偏好的共同依赖表示。我们基于这些共同依赖的表示来计算每个候选项目的推荐分数。

参见图1，图1为本发明方法的框架图，包含了上述的三个部分：短期查询偏好，长期查询偏好，交互注意力网络。

参见图2，本发明考虑用户不同的行为以及行为的时序性特征，因此提出了一个机遇上下文的GRU模型：CGRU。即在GRU的输入门，遗忘门和更新门都加入行为信息，CGRU表示如下：

z_t＝σ(W_zx_t+V_za_t+U_zh_t-1)

r_t＝σ(W_rx_t+V_ra_t+U_rh_t-1)

W_z，V_z，U_z，U_z，W_r，V_r，U_r，W，V，U均为模型参数，可以通过训练得到，x_t表示t时刻输入的物品的向量表示，a_t为行为动作的向量表示，最终计算得到的h_t为时刻的隐藏层状态表示。σ表示sigmoid函数，tan h表示正切函数。

这样可以得到每个交互的隐藏层表示用他们的集合来表示用户的初始短期兴偏好。

采用多层感知机对用户的长期偏好进行建模，这里我们仅仅采用用户收藏和购买的物品，因为这些行为更能表现用户的喜好。多层感知机的建模过程如下：

z_1，i＝Φ(W₁x_i+b₁)

z_2，i＝Φ(W₂z_1，i+b₂)

z_M，i＝tan h(W_Mz_M-1，i+b_M)

x_i＝z_M，i

W_m和b_m表示第m层感知机的参数，Φ表示激活函数。X_i表示x_i的最终输出状态向量。

采用多层感知机建模，主要是因为它有良好的非线性建模的能力，在协同过滤的方法中广受应用。

在进行推荐时结合用户的短期和长期偏好是有益的。然而，传统方法将这两种类型的偏好视为独立的，忽略了它们之间的(潜在的)相互依赖性。此外，传统的注意机制分别为用户的历史和近期交互中的事件分配权重。历史互动和最近的互动应该在计算每个事件的重要性时为彼此提供背景。因此，本发明设计了一个交互式注意力网络来醉用户的长短期兴趣偏好进行建模。如图3所示。交互式注意力网络为：

H^l＝tan h[W_lU_l+(W_sU_s+W_th_s，T)C^T]

H^s＝tan h[W_sU_s+W_th_s，T+(W_lU_l)C]

U_l和U_s是用户初始的长短期状态向量表示，W_c,W_l,W_s,W_t,W_hl,W_hs为模型参数，可以通过训练得到，h_s，T表示CGRU输出的最后一个隐藏层状态向量。最终输出的a_l和a_S为用户的长短期偏好的注意力权重。

最后得到用户的短期偏好和长期偏好分别为：

U_co-s和U_co-l表示经过交互注意力机制计算得到的最终的用户长短期偏好表示.

在预测阶段，将用户的长短期兴趣偏好相结合，给相应的物品进行打分：

B_l，B_s，B^T均为模型参数可通过训练得到，最终输出的表示用户u对所有物品的偏好程度。

其中在训练时的损失函数如下所示：

表示预测用户u对物品i的偏好程度，y_ui表示真实的结果，V表示所有物品的数量。

将本发明提出的DCN-SR模型与GRURec和NARM模型进行对比，发现可以很好的将DCN-SR模型推广到这两个模型上。

GRU4Rec用GRU的最后一个隐藏层状态来表示用户的兴趣偏好，即：

h_T＝GRU_sess(v_T，h_T-1)。

GRU_sess表示一个GRU计算单元，v_T表示t时刻的输入状态向量。

当DCN-SR模型不考虑用户的长期检索历史和行为信息时，DDCN-SR模型可以简化：

h_s，T表示CGRU最后一个隐藏层状体向量。v_i表示第i个物品状态向量表示

对于NARM来说，它使用了注意力机制，并将基于注意力机制的向量和最后一个GRU隐藏层向量相结合，形成用户的兴趣偏好表示：

a_i表示第i个物品的注意力权重。

当DCN-SR模型不考虑用户长期历史，同时设置合理的参数和激活函数时，可以得到：

由此可见DCN-SR模型是一个比较通用的模型。

综上所述，本发明设计了一个用于顺序推荐(DCN-SR)的动态交互注意力机制网络模型，该模型能够学习用户长期和短期交互的共同依赖表示，并利用她的长期和短期之间的关系；本发明设计了一个上下文门控循环单元CGRU，以包含不同类型的短期用户动作行为，以便更好地估计用户的下一个兴趣偏好。

实施例2：

本实施例选用了天猫电商数据集和天池电商数据集，数据集的具体信息如下表1所示：

表1

本实验选择了以下模型作为比较对象：Item-pop是一种根据物品的交互数量对物品进行排序，然后根据排序进行推荐的方法，这是一种非个性化的方法。FPMC是基于马尔可夫链和协同过滤的推荐方法。GRU4Rec，基于RNN和查询会话的推荐模型，是非个性化的方法。HRNN用于个性化的基于查询会话的推荐方法，它采用的是分层RNN-的结构，分别为会话级RNN和用户级RNN，用于模拟用户的短期和长期喜好。NARM基于RNN的模型，应用了注意力机制捕捉用户的偏好信息，但它也是非个性化的方法。STAMP是结合了记忆网络和注意力机制的查询推荐方法。

这几个基准模型和本发明提出的DDCN-SR模型的总体效果如下表2所示：

表2：

从表2中可以看出，基于RNN的方法，即Item-pop和FPMC优于传统方法。同时，HRNN的结果仅高于基于RNN的方法，如GRU4Rec，这意味着将用户的历史和最近的互动结合在一起可以帮助提高推荐表现。此外NARM和STAMP也显示出对HRNN的改进。STAMP实现了比其他更好的性能。因此我们使用STAMP作为在以后的实验中比较的最佳基准。接下来，与DCN-SR模型进行比较。在Recall@10方面，NARM和STAMP都弱DCN-SR。这表明应用动态交互注意力网络有助于提高推荐效果。这是由于动态交互注意力网络可以捕获用户的历史和最近的互动之间的关系。DCN-SR相对于最佳基准模型的改进：在Recall@10方面，天猫数据集为2.58％，天池数据集为3.08％。天猫数据集在MRR@10的改进率为3.78％，天池数据集在MRR@10改进率的为4.05％。

为了演示CGRU网络的实用性，在短时间内将用户的不同行为视为搜索上下文会议，在不同的设置下检查DCN-SR的推荐性能，即DCN-SRGRU(带有简单的GRU网络)工作与DCN-SR CGRU(与Contextual GRU网络)。表3将其性能与最佳基线模型进行了对比(STAMP)：

表3

实验结果表明，本发明的模型始终具有较好的推荐效果。对于不同数量的推荐项目，可以看到了Recall和MRR的总体性能提高了，随着推荐列表的大小范围从5到15。

将用户短期会话根据长度不同划分为short，medium，long三种，然后对比了所有模型的推荐效果，。对比结果如图4(a)-图4(d)所示。从图4中我们可以看到随着会话长度的增加，所有模型的性能都在天猫数据集上有所改进。DCN-SR模型总能实现两个数据集上不同会话长度的最高分数。具体地说，对于Recall@10，STAMP优于NARM，除了是短期会话；这可能是由于短期会话包含的信息少于长会话，因此基于RNN模型，即NARM，可以提供位置和顺序信息。STAMP缺乏这种位置和序列信息。

将用户历史信息根据长度不同划分为八种，然后对比了所有模型的推荐效果。对比结果如图5(a)-图5(d)所示。从图5中可以DCN-SR实现了最佳性能，在两个数据集中的所有八个组。对于天猫数据集，当用户的历史交互次数增加时，所有模型的性能首先开始波动，但显示出一个整体上升趋势。

对于天池数据集，所有模型的性能都会下降，就两个指标而言。但是，DCN-SR和HRNN下降速度比STAMP和NARM模型慢，这与我们在图5(a)和图5(b)中显示的发现一致。这些结果证明了结合长短期兴趣偏好的优势，DCN-SR模型能够提高推荐效果。

为了说明共同关注机制的作用，本实施例提出了两个用户的例子。我们随机选择两个来自天池数据集测试集的会话，这是因为天池数据集包含项目的类别信息，这有助于我们在一定程度上评估推荐效果。在图6中，颜色的深度表明事件的重要性，颜色越深，事件就越重要。栏上方数字是相应项目的类别。如图6所示，首先，虽然单个用户的两个会话共享相同的历史交互，但是这些历史互动的权重不同。此外，有的项目与目标项目相同的类别具有更大的注意力。其次，会话中的交互也具有不同的权重用于预测用户的偏好，这表明DCN-SR可以选择重要事件并忽略非预期的交互。第三，会话中有一些重要的互动不在用户的最后点击附近。例如，在Session2中，第六个事件比上一个事件更重要。这可能是由于用户的兴趣转移。但是，DCN-SR也可以给他们更高的权重。

综上，DCN-SR将共同关注网络应用于捕捉用户的长期和短期之间的关系并生成用户的共同依赖表示长期和短期的偏好。我们将模型在两个电商数据集上进行测试，结果表明，本发明的方法比现有方法的效果要好，在Tmall数据集上，Recall@10提高了2.58％，MRR@10提高了3.78％，在Tianchi数据集上，Recall@10提高了3.08％，MRR@10提高了4.05％。在模型的敏感度和稳定性上，DCN-SR模型在短会话和活动用户上的提高更加明显。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于动态交互注意力机制的序列推荐方法，其特征在于，包括以下步骤：

获取用户的初始短期偏好和初始长期偏好；

根据交互式注意力网络结合所述初始短期偏好和所述初始长期偏好得到长期偏好和短期偏好；

根据序列推荐模型结合所述长期偏好和所述短期偏好对相应物品进行打分并根据打分结果为用户推荐物品。

2.根据权利要求1所述一种基于动态交互注意力机制的序列推荐方法，其特征在于，在对相应物品进行打分后还需要通过损失函数对打分结果进行修正，所属损失函数为：

表示预测用户u对物品i的偏好程度，y_ui表示真实的结果，V表示所有物品的数量。

3.根据权利要求1所述一种基于动态交互注意力机制的序列推荐方法，其特征在于，获取用户的初始短期偏好的方式为通过基于上下文的GRU模型：CGRU进行所述初始短期偏好查询，所述CGRU为：

z_t＝σ(W_zx_t+V_za_t+U_zh_t-1)

r_t＝σ(W_rx_t+V_ra_t+U_rh_t-1)

W_z，V_z，U_z，U_z，W_r，V_r，U_r，W，V，U均为模型参数，通过训练得到，x_t表示t时刻输入的物品的向量表示，a_t为行为动作的向量表示，最终计算得到的h_t为时刻的隐藏层状态表示，σ表示sigmoid函数，tan h表示正切函数。

4.根据权利要求1所述一种基于动态交互注意力机制的序列推荐方法，其特征在于，获取用户的初始长期偏好的方式为采用多层感知机对用户的长期偏好进行建模，多层感知机的建模过程如下：

z_1，i＝Φ(W₁x_i+b₁)

z_2，i＝Φ(W₂z_1，i+b₂)

z_M，i＝tan h(W_Mz_M-1，i+b_M)

X_i＝z_M，i

W_m和b_m表示第m层感知机的参数，Φ表示激活函数，X_i表示x_i的最终输出状态向量。

5.根据权利要求1所述一种基于动态交互注意力机制的序列推荐方法，其特征在于，所述交互式注意力网络为：

H^l＝tan h[W_lU_l+(W_sU_s+W_th_s，T)C^T]

H^s＝tan h[W_sU_s+W_th_s，T+(W_lU_l)C]

U_l和U_s是用户初始的长短期状态向量表示，W_c，W_l，W_s，W_t，W_hl，W_hs为模型参数，通过训练得到，h_s，T表示CGRU输出的最后一个隐藏层状态向量，最终输出的a_l和a_S为用户的长短期偏好的注意力权重。

6.根据权利要求1所述一种基于动态交互注意力机制的序列推荐方法，其特征在于，用户的短期偏好和长期偏好分别为：

U_co-s和U_co-l表示经过交互注意力机制计算得到的最终的用户长短期偏好表示。

7.根据权利要求1所述一种基于动态交互注意力机制的序列推荐方法，其特征在于，对物品对进行打分的方式为：

B_l，B_s，B^T均为模型参数通过训练得到，最终输出的表示用户u对所有物品的偏好程度。

8.一种基于动态交互注意力机制的序列推荐系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至7任一所述方法的步骤。