CN114880527B - 一种基于多预测任务的多模态知识图谱表示方法 - Google Patents

Abstract

本发明公开一种基于多预测任务的多模态知识图谱表示方法，包括如下步骤：基于预设的TransR模型、CBOW模型以及ResNet模型分别获取多模态知识图谱中结构化模态、语义模态和图像模态数据的向量表示；利用Imagined方法将语义模态数据的向量表示与图像模态的向量表示进行匹配、重构得到混合模态的向量表示；基于结构化模态和混合模态的向量表示构建三个跨模态预测任务，并针对三个跨模态预测任务分别利用标签平滑技术和自适应权重更新方法构建全连接神经网络的子模型；整合面向不同预测任务的多个子模型得到完整训练模型。本发明可以完成多模态数据表示学习以及后续的知识图谱补全任务。

Description

一种基于多预测任务的多模态知识图谱表示方法

技术领域

本发明涉及知识图谱表示学习技术领域，尤其涉及一种基于多预测任务的多模态知识图谱表示方法。

背景技术

如何高效表示并拓展人类知识是人工智能研究及发展的主要方向之一，知识库常常作为自然语言理解、自然语言生成等AI任务的实现基础。近年来，结构化表述知识的知识图谱技术受到了领域内的广泛关注。知识图谱利用三元组的结构描述知识事实，每个三元组由实体及关系构成。知识图谱其结构化的特性使知识图谱在知识表示、知识嵌入以及知识拓展等方向都有十分良好的表现，知识图谱技术已经在语言表示学习以及智能语言问答等人工智能应用程序中被广泛应用。近年来，为了使知识图谱具备更加完备的知识内容进而使知识图谱在表示学习嵌入时更加准确、效率更高，越来越多的研究不仅仅局限于结构化的文本知识内容，而是致力于构建多模态的知识图谱，向知识图谱中引入高质量的外部信息，构建对图谱中不同模态数据协同表达的方法，使知识图谱能够为跨模态的任务提供支撑。多模态知识图谱的表示学习方法是当前热门且前沿的研究方向。

目前的知识图谱表示学习方法在结构化数据的单一模态上已经较为成熟，其中基于翻译原理的表示学习模型因其简单且准确的特性得到了广泛应用。多模态知识图谱由结构化数据、图像数据、语义数据等不同模态的数据构成，对多模态知识图谱进行表示学习需要首先将不同模态的数据进行向量表示，然后选取适当的方法对向量进行统一训练。现存多模态向量统一训练过程多数基于翻译原理构建训练模型，经过训练不断缩小不同模态向量表示之间的差距，进而获得多模态数据的统一向量表示。知识图谱补全是知识获取的重要分支，是知识图谱表示学习后面临的重要任务，知识图谱补全任务可以抽象为实体预测和关系预测任务，多模态知识图谱补全需要图谱表示学习方法能够满足实现跨模态执行预测任务的需求。现存方法处理知识图谱跨模态任务的准确度以及稳定性不足，表示方法中多模态协同训练的模型有待优化。知识图谱中存在一对一、一对多和多对多关系，现存方法缺乏对不同关系类型的不同处理，导致表示方法无法适用于表达不同关系类型的三元组数据。

发明内容

为了解决上述技术问题，本发明提出一种基于多预测任务的多模态知识图谱表示方法，解决了现有多模态知识图谱表示学习方法难以执行跨模态任务以及无法适用于表达不同关系类型的三元组数据的问题。本发明可以用于多模态数据表示学习以及后续的知识图谱补全任务。

为了达到上述目的，本发明的技术方案如下：

一种基于多预测任务的多模态知识图谱表示方法，包括如下步骤：

基于预设的TransR模型、CBOW模型以及ResNet模型分别获取多模态知识图谱中结构化模态、语义模态和图像模态数据的向量表示；

利用Imagined方法将语义模态的向量表示和图像模态的向量表示进行匹配，对向量进行重构得到混合模态的向量表示；

基于结构化模态和混合模态的向量表示构建三个跨模态预测任务，并针对三个跨模态预测任务分别利用标签平滑技术和自适应权重更新方法构建全连接神经网络的子模型；

整合面向不同预测任务的三个子模型得到完整训练模型，经过训练优化得到知识图谱不同模态下最终的向量表示。

优选地，所述基于结构化模态和混合模态的向量表示构建三个跨模态预测任务，并针对三个跨模态预测任务分别利用标签平滑技术和自适应权重更新方法构建全连接神经网络的子模型，具体包括如下步骤：

设计三个预测任务如下：基于给定头实体的结构化向量表示和尾实体的混合模态向量表示预测关系，即h_s,t_m→r_s；基于给定头实体和尾实体的混合模态向量表示预测关系，即h_m,t_m→r_s；基于给定头实体的混合模态向量表示和关系的向量表示预测尾实体，即h_m,r_s→t_s，

三个预测任务主要由全连接神经网络训练实现，神经网络的输入都是两个维度为2d的向量，神经网络的多层结构利用评分函数算出，s(h_s,t_m)、s(h_m,t_m)和s(h_m,r_s)分别表示三个预测任务的评分函数，公式如下：

其中，

和

表示解决预测任务一的子模型中神经网络第n层的权重和偏置项，M_R ^T和M_E ^T分别表示所有关系向量r_s构成的矩阵的转置和所有尾实体向量t_s构成的矩阵的转置，

神经网络将评分函数使用softmax层计算，可以得到子模型对于相应预测任务的预测标签向量，p_r、p_r′和p_t分别表示三个子模型针对三个预测任务生成的预测结果的向量表示：

p_r＝softmax(s(h_s,t_m))，

p_r′＝softmax(s(h_m,t_m))，

p_t＝softmax(s(h_m,r_s))。

优选地，所述利用标签平滑技术是采用Label Smoothing方法使训练数据标签平滑化，具体包括如下步骤：

式中，l_r、l_r′和l_t分别表示三个子模型中经过标签平滑化处理的目标标签向量，

和

是三个子模型中的超参数，q_r、q_r′和q_t分别表示针对三个预测任务生成的目标标签向量，|E|和|R|分别表示知识图谱中实体和关系的数量，模型训练原理是最小化模型预测标签向量与目标标签向量之间的差距，基于多分类交叉熵构建子模型的损失函数，分别为Loss(p_r,l_r)、Loss(p_r′,l_r′)和Loss(p_t,l_t)，计算过程如下：

优选地，所述自适应权重更新方法，具体包括如下步骤：

对于不同预测任务赋予不同的权值，分别为w_r、w_r′和w_t，且满足一对多关系或多对多关系在损失函数中的惩罚权重大于一对一关系在损失函数中的惩罚权重，得到优化后的损失子模型损失函数Loss′(p_r,l_r)、Loss′(p_r′,l_r′)和Loss′(p_t,l_t)，计算过程如下：

式中，

和

分别表示针对预测任务一和任务二在训练集中能够与给定头实体和尾实体构成正确三元组的关系的集合，

表示针对预测任务三在训练集中能够与给定头实体和关系构成正确三元组的尾实体的集合。

优选地，所述完整训练模型的损失函数Loss(h,r,t)，公式如下：

Loss(h,r,t)＝Loss′(p_r,l_r)+Loss′(p_r′,l_r′)+Loss′(p_t,l_t)，

通过不断最小化损失函数利用反向梯度算法进行模型的参数优化。

基于上述技术方案，本发明的有益效果是：本发明涉及的一种基于多预测任务的多模态知识图谱表示方法，分别利用TransR模型、CBOW词向量模型和ResNet模型训练多模态知识图谱中的数据，分别生成结构化数据模态、语义数据模态以及图像数据模态的向量表示；利用Imagined方法将语义模态的向量表示与图像模态的向量表示进行匹配，对向量进行重构得到混合模态的向量表示；提出使用不同模态数据的多个数据预测任务，对不同预测任务利用标签平滑技术和自适应权重更新方法构建全连接神经网络的子模型；最后整合面向不同预测任务的多个子模型得到完整训练模型，经过训练优化得到知识图谱不同模态下最终的向量表示。本发明解决了现有多模态知识图谱表示学习方法难以执行跨模态任务以及无法适用于表达不同关系类型的三元组数据的问题，能够完成多模态数据表示学习以及后续的知识图谱补全任务。

附图说明

图1是一个实施例中一种基于多预测任务的多模态知识图谱表示方法流程图；

图2是一个实施例中Imagined混合向量生成方法原理示意图；

图3是一个实施例中整合多个预测任务子模型的完整训练模型架构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

结合图1对本实施方式进行说明，本实施方式给出的基于多预测任务的多模态知识图谱表示方法，具体包括以下步骤：

步骤S1、基于预设的TransR模型、CBOW模型以及ResNet模型分别获取多模态知识图谱中结构化模态、语义模态和图像模态数据的向量表示。

本实施例中，TransR模型用于将头实体、尾实体和关系嵌入到同一向量空间中，将三元组描述的事实看成一种近似翻译的过程，即头实体经过关系翻译得到尾实体。从向量角度，头实体向量与关系向量的加和应当接近尾实体向量，即h+r≈t。经过TransR模型处理生成头实体向量表示h_s、关系向量表示r_s和尾实体向量表示t_s，向量的维度为2d。

CBOW模型用于给定中心词w_i一定邻近区域内的单词w_i-2、w_i-1、w_i+1和w_i+2，经过投影层和输出层得到目标中心词w_i的向量表示。经过CBOW模型处理生成头向量表示h_l和尾向量表示t_l，向量的维度为d。

读取多模态知识图谱中与三元组实体对应的图像数据，并利用ResNet模型进行训练。ResNet模型是图像卷积神经网络网络的一种，是在VGG19网络的基础上进行修改，其特点是通过短路机制加入了残差单元，解决了深度网络训练过程中的退化问题。本实施例中采用ResNet模型，处理生成头向量表示h_i和尾向量表示t_i，向量的维度为d。

步骤S2、利用Imagined方法将语义模态的向量表示和图像模态的向量表示进行匹配，对向量进行重构得到混合模态的向量表示。

具体实施原理示意图如图2所示。Imagined方法通过训练一个映射方法将图像向量表示映射到语义向量表达空间，该映射的训练过程由简单的神经网络实现。将同一实体的图像向量表示在语义向量空间中的表示结果与该实体的语义表示向量连接，生成包含语义以及图像两种模态信息的混合模态向量表示h_m和t_m，向量维度为2d。

步骤S3、基于结构化模态和混合模态的向量表示构建三个跨模态预测任务，并针对三个跨模态预测任务分别利用标签平滑技术和自适应权重更新方法构建全连接神经网络的子模型。

本实施例中，设计三个跨模态预测任务，并依据不同的预测任务构建三个子模型。三个预测任务如下：基于给定头实体的结构化向量表示和尾实体的混合模态向量表示预测关系，即h_s,t_m→r_s；基于给定头实体和尾实体的混合模态向量表示预测关系，即h_m,t_m→r_s；基于给定头实体的混合模态向量表示和关系的向量表示预测尾实体，即h_m,r_s→t_s。

上述三个预测任务主要由全连接神经网络训练实现。神经网络的输入都是两个维度为2d的向量，神经网络的多层结构利用评分函数算出。s(h_s,t_m)、s(h_m,t_m)和s(h_m,r_s)分别表示三个预测任务的评分函数，

和

表示解决预测任务一的子模型中神经网络第n层的权重和偏置项，M_R ^T和M_E ^T分别表示所有关系向量r_s构成的矩阵的转置和所有尾实体向量t_s构成的矩阵的转置。三个子模型的评分函数分别如下：

神经网络将评分函数使用softmax层计算，可以得到子模型对于相应预测任务的预测标签向量。p_r、p_r′和p_t分别表示三个子模型针对三个预测任务生成的预测结果的向量表示：

p_r＝softmax(s(h_s,t_m))，

p_r′＝softmax(s(h_m,t_m))，

p_t＝softmax(s(h_m,r_s))，

q_r、q_r′和q_t分别表示针对三个预测任务生成的目标标签向量，

和

分别表示针对预测任务一和任务二在训练集中能够与给定头实体和尾实体构成正确三元组的关系的集合，

表示针对预测任务三在训练集中能够与给定头实体和关系构成正确三元组的尾实体的集合。生成目标标签向量过程：

接下来使用标签平滑技术，软化传统的one-hot类型标签，能够在计算损失函数阶段避免模型训练的过拟合。l_r、l_r′和l_t分别表示三个子模型中经过标签平滑化处理的目标标签向量，

和

是模型中的超参数，|E|和|R|分别表示知识图谱中实体和关系的数量。标签平滑化过程如下：

模型训练原理是最小化模型预测标签向量与目标标签向量之间的差距，本发明基于多分类交叉熵构建子模型的损失函数，分别为Loss(p_r,l_r)、Loss(p_r′,l_r′)和Loss(p_t,l_t)，计算过程如下：

为解决表达不同关系类型的三元组数据的适用性问题，采用自适应权重更新方法，对于不同的分类任务赋予不同的权值，分别为w_r、w_r′和w_t。而且对于一对多关系或多对多关系相较于一对一关系在损失函数中的惩罚权重应当更大一些，得到优化后的损失子模型损失函数Loss′(p_r,l_r)、Loss′(p_r′,l_r′)和Loss′(p_t,l_t)，计算过程如下：

步骤S4、整合面向不同预测任务的三个子模型得到完整训练模型，经过训练优化得到知识图谱不同模态下最终的向量表示，其模型示意图如图3所示。基于子模型损失函数加和得到整体模型训练的损失函数，即Loss(h,r,t)：

Loss(h,r,t)＝Loss′(p_r,l_r)+Loss′(p_r′,l_r′)+Loss′(p_t,l_t)，

遍历整个训练数据集，N表示训练数据集中三元组的数量，获取整个训练集的整体损失函数final_loss，并基于final_loss优化多模态知识图谱的向量表示：

以上所述仅为本发明所公开的一种基于多预测任务的多模态知识图谱表示方法的优选实施方式，并非用于限定本说明书实施例的保护范围。凡在本说明书实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书实施例的保护范围之内。

Claims (5)

1.一种基于多预测任务的多模态知识图谱表示方法，其特征在于，包括如下步骤：

基于预设的TransR模型、CBOW模型以及ResNet模型分别获取多模态知识图谱中结构化模态、语义模态和图像模态数据的向量表示；

利用Imagined方法将语义模态的向量表示和图像模态的向量表示进行匹配，对向量进行重构得到混合模态的向量表示；

基于结构化模态和混合模态的向量表示构建如下三个跨模态预测任务：基于给定头实体的结构化向量表示和尾实体的混合模态向量表示预测关系；基于给定头实体和尾实体的混合模态向量表示预测关系；基于给定头实体的混合模态向量表示和关系的向量表示预测尾实体，并针对所述三个跨模态预测任务分别利用标签平滑技术和自适应权重更新方法构建全连接神经网络的子模型；

整合面向不同预测任务的三个子模型得到完整训练模型，经过训练优化得到知识图谱不同模态下最终的向量表示。

2.根据权利要求1所述的一种基于多预测任务的多模态知识图谱表示方法，其特征在于，所述针对三个跨模态预测任务分别利用标签平滑技术和自适应权重更新方法构建全连接神经网络的子模型，具体包括如下步骤：

设计三个预测任务如下：预测任务一，基于给定头实体的结构化向量表示和尾实体的混合模态向量表示预测关系，即h_s,t_m→r_s；预测任务二，基于给定头实体和尾实体的混合模态向量表示预测关系，即h_m,t_m→r_s；预测任务三，基于给定头实体的混合模态向量表示和关系的向量表示预测尾实体，即h_m,r_s→t_s，其中h_s、h_m、t_s、t_m和r_s分别表示头节点的结构化模态向量表示、头节点的混合模态向量表示、尾节点的结构化模态向量表示、尾节点的混合模态向量表示和关系的结构化模态向量表示，

三个预测任务主要由全连接神经网络训练实现，神经网络的输入都是两个维度为2d的向量，神经网络的多层结构利用评分函数算出，s(h_s,t_m)、s(h_m,t_m)和s(h_m,r_s)分别表示三个预测任务的评分函数，公式如下：

其中，

和

表示解决预测任务一的子模型中神经网络第n层的权重和偏置项，M_R ^T和M_E ^T分别表示所有关系向量r_s构成的矩阵的转置和所有尾实体向量t_s构成的矩阵的转置，

神经网络将评分函数使用softmax层计算，可以得到子模型对于相应预测任务的预测标签向量，p_r、p_r′和p_t分别表示三个子模型针对三个预测任务生成的预测结果的向量表示：

p_r＝softmax(s(h_s,t_m))，

p_r′＝softmax(s(h_m,t_m))，

p_t＝softmax(s(h_m,r_s))。

3.根据权利要求2所述的一种基于多预测任务的多模态知识图谱表示方法，其特征在于，所述利用标签平滑技术是采用Label Smoothing方法使训练数据标签平滑化，具体包括如下步骤：

式中，l_r、l_r′和l_t分别表示三个子模型中经过标签平滑化处理的目标标签向量，

和

是三个子模型中的超参数，q_r、q_r′和q_t分别表示针对三个预测任务生成的目标标签向量，|E|和|R|分别表示知识图谱中实体和关系的数量，模型训练原理是最小化模型预测标签向量与目标标签向量之间的差距，基于多分类交叉熵构建子模型的损失函数，分别为Loss(p_r,l_r)、Loss(p_r′,l_r′)和Loss(p_t,l_t)，计算过程如下：

4.根据权利要求3所述的一种基于多预测任务的多模态知识图谱表示方法，其特征在于，所述自适应权重更新方法，具体包括如下步骤：

对于不同预测任务赋予不同的权值，分别为w_r、w_r′和w_t，且满足一对多关系或多对多关系在损失函数中的惩罚权重大于一对一关系在损失函数中的惩罚权重，得到优化后的损失子模型损失函数Loss′(p_r,l_r)、Loss′(p_r′,l_r′)和Loss′(p_t,l_t)，计算过程如下：

式中，

和

分别表示针对预测任务一和任务二在训练集中能够与给定头实体和尾实体构成正确三元组的关系的集合，

表示针对预测任务三在训练集中能够与给定头实体和关系构成正确三元组的尾实体的集合。

5.根据权利要求4所述的一种基于多预测任务的多模态知识图谱表示方法，其特征在于，所述完整训练模型的损失函数Loss(h,r,t)，公式如下：

Loss(h,r,t)＝Loss′(p_r,l_r)+Loss′(p_r′,l_r′)+Loss′(p_t,l_t)，

通过不断最小化损失函数利用反向梯度算法进行模型的参数优化。

Images