CN105630901A - 一种知识图谱表示学习方法 - Google Patents

Abstract

本发明公开了一种知识图谱表示学习方法，该方法包括：利用实体向量与关系向量之间基于平移的模型，定义关系三元组(head，relation，tail)中实体向量与关系向量之间的相互关联；利用神经网络分类模型，定义特性三元组(entity，attribute，value)中实体向量与特性向量之间的相互关联；通过评价函数将实体向量、关系向量和特性向量关联起来，并最小化评价函数，以学习实体向量、关系向量和特性向量，达到优化目标。采用本发明能够精确表示实体、关系和特性之间的联系。

Description

一种知识图谱表示学习方法

技术领域

本发明涉及自然语言处理以及知识图谱领域，特别涉及一种知识图谱表示学习方法。

背景技术

随着社会飞速发展，我们已经进入信息爆炸时代，每天都会有海量新的实体与信息产生。互联网作为当今最为便捷的信息获取平台，用户对有效信息筛选与归纳的需求日益迫切，如何从海量数据中获取有价值的信息成为一个难题。知识图谱于此应运而生。

知识图谱将世界上所有人物、地名、书名、球队名等专有名词与事物表示为实体，将实体之间的内在联系表示为关系，旨在将数据库中的海量知识表示为实体之间利用关系作为桥梁的三元关系组。例如，北京是中国的首都这一知识，在知识图谱中则利用三元组关系(北京，是……首都，中国)进行表示。知识图谱能够对一个关键词的不同语义建立不同的实体，消除语言多义性的干扰，同时能够展现目标实体与其它相关实体之间更深更广的内在联系，被广泛运用于数据挖掘、信息检索、问答系统等多个领域。由于现有实体规模巨大，且实体与关系每日都在变化与增加，难以人工维护与挖掘新的信息，对知识图谱的表示与自动补全是当今重要的研究热点。

知识图谱实体数量巨大，网络结构稀疏性严重。而近年来在知识图谱的研究上取得了显著的进展，表示学习运用于知识图谱中，将所有实体与关系映射到一个低维连续向量空间中，解决了之前知识图谱学习时产生的稀疏性与效率问题。但是，目前已有的知识图谱表示学习方法在学习时将实体之间的关系和实体的特性混为一谈，使用同一种模型进行建模，无法精确的表示实体、关系和特性之间的相互联系。

发明内容

有鉴于此，本发明的发明目的是：解决现有技术中存在的无法精确表示实体、关系和特性之间联系的问题，以提高知识图谱表示的质量。

为达到上述目的，本发明的技术方案具体是这样实现的：

本发明提供了一种知识图谱表示学习方法，该方法包括：利用实体向量与关系向量之间基于平移的模型，定义关系三元组(head，relation，tail)中实体向量与关系向量之间的相互关联；利用神经网络分类模型，定义特性三元组(entity，attribute，value)中实体向量与特性向量之间的相互关联；通过评价函数将实体向量、关系向量和特性向量关联起来，并最小化评价函数，以学习实体向量、关系向量和特性向量，达到优化目标。

由上述的技术方案可见，本发明将关系和特性区分对待，所以知识图谱采用关系三元组和特性三元组的形式来表示知识。因此，本发明采用实体向量与关系向量之间基于平移的模型，来表示关系三元组中的实体向量和关系向量之间的相互关联；采用神经网络分类模型，来表示特性三元组中的实体向量和特性向量之间的相互关联；然后通过评价函数将实体向量、关系向量和特性向量关联起来，并优化该评价函数，在达到优化目标时，就可以同时学习到知识图谱中的每个实体向量、关系向量和特性向量，从而精确的表示实体、关系和特性之间的相互联系。

附图说明

图1为知识图谱中包含关系三元组和特性三元组的示例图。

图2为本发明知识图谱表示学习方法的流程示意图。

图3a为根据现有技术知识图谱表示学习方法得到的三元组表示知识的示例图。

图3b为根据本发明知识图谱表示学习方法得到的三元组表示知识的示例图。

具体实施方式

为使本发明的目的、技术方案、及优点更加清楚明白，以下参照附图并举实施例，对本发明进一步详细说明。

现有技术中，并不区分关系和特性，将特性也作为关系的一种，知识图谱主要采用(实体1，关系，实体2)三元组的形式来表示知识，即采用关系三元组(head，relation，tail)来表示。因此现有技术中只采用一种模型来表示关系三元组中的实体向量和关系向量之间的相互关联，知识图谱表示学习方法在学习时将实体之间的关系和实体的特性无法区分开，无法精确的表示实体、关系和特性之间的相互联系。

本发明将关系和特性区分对待，所以知识图谱采用关系三元组和特性三元组的形式来表示知识。关系三元组用(head，relation，tail)来表示，关系用来连接两个实体，刻画两个实体之间的关联。特性三元组用(entity，attribute，value)来表示，每个特性-值(a，v)用来刻画对应实体的内在特性。在知识图谱中，关系三元组中节点表示实体，连边表示关系；特性三元组中连边表示特性，连边的一端节点表示实体，连边的另一端节点表示该实体的特性值。图1为知识图谱中包含关系三元组和特性三元组的示例图。其中，圆圈表示的节点“克林顿”与“希拉里”都为实体，他们之间的连边为“妻子”关系。另外，我们可以看到，两个实体各自都有属于自己的特性，如“职业”，“性别”，“出生地”等，对于实体“克林顿”职业的特性值为美国总统，对于实体“希拉里”职业的特性值为美国国务卿。

实施例一

本发明公开了一种知识图谱表示学习方法，其流程示意图如图2所示，该方法包括：

步骤21、利用实体向量与关系向量之间基于平移的模型，定义关系三元组(head，relation，tail)中实体向量与关系向量之间的相互关联。

其中，利用实体向量与关系向量之间基于平移的模型，定义关系三元组中实体向量与关系向量之间的相互关联的方法包括：

S211、定义关系三元组概率为 $p\left(h\right|r,t,X)=\frac{\exp \left(g\right(h,r,t\left)\right)}{\underset{\stackrel{\‾}{h}}{\Σ}\exp \left(g\right(\stackrel{\‾}{h},r,t\left)\right)};$

表示知识图谱中任意实体；是关系三元组概率函数的归一化因子，指遍历知识图谱中所有实体h，使得归一化因子为1。 $p\left(h\right|r,t,X)=\frac{\exp \left(g\right(h,r,t\left)\right)}{\underset{\stackrel{\‾}{h}}{\Σ}\exp \left(g\right(\stackrel{\‾}{h},r,t\left)\right)}$ 是softmax函数。

S212、利用实体向量与关系向量之间基于平移的模型，定义衡量关系r和实体对(h，t)之间相互联系的函数g。

实体向量与关系向量之间基于平移的模型可以有多种，例如，TransE和TransR等，如果采用的是TransE的能量函数，那么g可以定义为：

g(h,r,t)＝-||h+r-t||_L1/L2+b₁

如果采用的是TransR的能量函数，那么g可以定义为：

g(h,r,t)＝-||hM_r+r-tM_r||_L1/L2+b₁

其中，L1为L1范式，L2为L2范式，M_r为TransR模型中与关系相关的投影矩阵，b₁为一个偏置常数，用于使得g函数返回值的均值保持在0左右。

需要说明的是，本发明实施例中将关系三元组概率表示为p(h|r，t，X)，还可以用p(t|r，h，X)或p(r|h，t，X)代替。X为r，h，t的向量表示。

步骤22、利用神经网络分类模型，定义特性三元组(entity，attribute，value)中实体向量与特性向量之间的相互关联。

其中，利用神经网络分类模型，定义特性三元组中实体向量与特性向量之间的相互关联的方法包括：

S221、定义第一特性三元组概率为 $p\left(v\right|e,a,X)=\frac{\exp \left(k\right(e,a,v\left)\right)}{\underset{\stackrel{\‾}{e}}{\Σ}\exp \left(k\right(\stackrel{\‾}{e},a,v\left)\right)};$

表示知识图谱中任意实体；是第一特性三元组概率函数的归一化因子，指遍历知识图谱中所有实体e，使得归一化因子为1。 $p\left(v\right|e,a,X)=\frac{\exp \left(k\right(e,a,v\left)\right)}{\underset{\stackrel{\‾}{e}}{\Σ}\exp \left(k\right(\stackrel{\‾}{e},a,v\left)\right)}$ 是softmax函数。

S222、利用神经网络分类模型，定义衡量特性-值(a，v)和实体e之间相互联系的函数k。

当神经网络分类模型为单层神经网络模型时，k(e,a,v)＝-||f(eW_a+b_a)-V_av||_L1/L2+b₂；W_a和b_a为单层神经网络模型中的模型参数；||f(eW_a+b_a)-V_av||_L1/L2表示将实体e的表示向量通过一个单层的神经网络模型投影到对应特性a的子空间中，然后计算投影后的向量和对应特性值v的表示向量之间的相似度；b₂为一个偏置常数，用于使得k函数返回值的均值保持在0左右。

步骤23、通过评价函数将实体向量、关系向量和特性向量关联起来，并最小化评价函数，以学习实体向量、关系向量和特性向量，达到优化目标。

具体包括：

S231、定义评价函数为O(X)＝log(P(S,Y|X))+γC(X)；

S232、最小化所述评价函数，学习得到知识图谱中每个实体向量、关系向量和特性向量。最小化评价函数的方法可以有多种，可以采用随机梯度下降的方法，等等。

S表示知识图谱中所有关系三元组的集合，Y表示知识图谱中所有特性三元组的集合，P(S，Y|X)表示知识图谱中所有关系三元组概率和所有特性三元组概率的乘积；特性三元组概率为第一特性三元组概率；

γ为超参数，用于控制惩罚项的权重；C(X)为惩罚函数，用于防止参数学习过拟合，惩罚函数C(X)定义如下：

$C\left(X\right)=\underset{e\∈E}{\Σ}{\[\left|\right|e\left|\right|-1\]}_{+}+\underset{r\∈R}{\Σ}{\[\left|\right|r\left|\right|-1\]}_{+}+\underset{e\∈E}{\Σ}\underset{i}{\Σ}{\[\left|\right|{\mathrm{eW}}_i+b_i\left|\right|-1\]}_{+}+\underset{i}{\Σ}{\[\left|\right|V_i\left|\right|-1\]}_{+},$ 其中，[x]₊＝max(0,x)表示一个输入为x，返回值为0与x之间较大的数的函数。

需要说明的是，最小化评价函数的过程就是达到优化目标的过程。如果关系三元组概率函数中的g，采用的是TransE模型，则最小化评价函数的过程中，通过不断调整h、r和t(head、relation和tail的向量)，使P(S|X)中的每个(h+r)尽可能与t相等，即h+r＝t。如果第一特性三元组概率函数中的k，采用的是单层神经网络模型，则最小化评价函数的过程中，通过不断调整e、a和v(entity，attribute和value的向量)，使得P(Y|X)中每个实体e对应特性a的取值v概率为100％。

由此，学习得到知识图谱中每个实体向量、关系向量和特性向量。图3a为根据现有技术知识图谱表示学习方法得到的三元组表示知识的示例图。图3b为根据本发明知识图谱表示学习方法得到的三元组表示知识的示例图。图3a中，不区分实体的关系和特性，仍然把特性作为关系的一种，知识图谱采用(实体1，关系，实体2)三元组的形式来表示知识。而图3b中，区分实体的关系和特性，知识图谱采用关系三元组和特性三元组的形式来表示知识。从图3b中可以看出，e6、e7、e8和e9为特性值，e6、e7属于一种特性A1的取值，e8和e9属于另一种特性A2的取值，具体地，特性三元组中，实体e1对应特性A1的取值为e6；实体e2对应特性A1的取值为e6；实体e3对应特性A1的取值为e7；实体e3对应特性A2的取值为e8；实体e5对应特性A2的取值为e8；实体e4对应特性A2的取值为e9。同时关系三元组中，实体e1与实体e3的关系是r1；实体e1与实体e2的关系是r5；实体e2与实体e4的关系是r4；实体e3与实体e4的关系是r3；实体e3与实体e5的关系是r2；实体e4与实体e5的关系是r4。由此可以看出，图3a的现有技术和图3b的本发明相比，本发明的知识图谱表示学习方法，可以精确地表示出实体、关系和特性之间的相互联系。

实施例二

由于本发明的知识图谱表示学习方法将关系和特性区分对待，进一步地，可以考虑特性之间的相互联系。

本发明实施例二的知识图谱表示学习方法包括以下步骤：

步骤31、利用实体向量与关系向量之间基于平移的模型，定义关系三元组(head，relation，tail)中实体向量与关系向量之间的相互关联。

其中，利用实体向量与关系向量之间基于平移的模型，定义关系三元组中实体向量与关系向量之间的相互关联的方法包括：

S311、定义关系三元组概率为 $p\left(h\right|r,t,X)=\frac{\exp \left(g\right(h,r,t\left)\right)}{\underset{\stackrel{\‾}{h}}{\Σ}\exp \left(g\right(\stackrel{\‾}{h},r,t\left)\right)};$ 表示知识图谱中任意实体；

S312、利用实体向量与关系向量之间基于平移的模型，定义衡量关系r和实体对(h，t)之间相互联系的函数g。

实体向量与关系向量之间基于平移的模型可以有多种，例如，TransE和TransR等，如果采用的是TransE的能量函数，那么g可以定义为：

g(h,r,t)＝-||h+r-t||_L1/L2+b₁

如果采用的是TransR的能量函数，那么g可以定义为：

g(h,r,t)＝-||hM_r+r-tM_r||_L1/L2+b₁

其中，L1为L1范式，L2为L2范式，M_r为TransR模型中与关系相关的投影矩阵，b₁为一个偏置常数，用于使得g函数返回值的均值保持在0左右。

需要说明的是，本发明实施例中将关系三元组概率表示为p(h|r，t，X)，还可以用p(t|r，h，X)或p(r|h，t，X)代替。X为r，h，t的向量表示。

步骤32、利用神经网络分类模型，定义特性三元组(entity，attribute，value)中实体向量与特性向量之间的相互关联。

其中，利用神经网络分类模型，定义特性三元组中实体向量与特性向量之间的相互关联的方法包括：

S321、定义第一特性三元组概率为 $p\left(v\right|e,a,X)=\frac{\exp \left(k\right(e,a,v\left)\right)}{\underset{\stackrel{\‾}{e}}{\Σ}\exp \left(k\right(\stackrel{\‾}{e},a,v\left)\right)};$ 表示知识图谱中任意实体。

S322、利用神经网络分类模型，定义衡量特性-值(a，v)和实体e之间相互联系的函数k。

当神经网络分类模型为单层神经网络模型时，k(e,a,v)＝-||f(eW_a+b_a)-V_av||_L1/L2+b₂；W_a和b_a为单层神经网络模型中的模型参数；||f(eW_a+b_a)-V_av||_L1/L2表示将实体e的表示向量通过一个单层的神经网络模型投影到对应特性a的子空间中，然后计算投影后的向量和对应特性值v的表示向量之间的相似度；b₂为一个偏置常数，用于使得k函数返回值的均值保持在0左右。

步骤323、

定义第二特性三元组概率p((e,a,v)|X)∝p(v|e,a,X)p(v|e,a,Y(e))；其中， $p\left(v\right|e,a,Y\left(e\right))=\frac{\exp \left(z\right(e,a,v,Y\left(e\right)\left)\right)}{\underset{\stackrel{\‾}{v}\∈V_a}{\Σ}\exp \left(z\right(e,a,\stackrel{\‾}{v},Y\left(e\right)\left)\right)},$ Y(e)为知识图谱中实体e除了特性-值(a，v)之外所有已知的特性； $p\left(v\right|e,a,Y\left(e\right))=\frac{\exp \left(z\right(e,a,v,Y\left(e\right)\left)\right)}{\underset{\stackrel{\‾}{v}\∈V_a}{\Σ}\exp \left(z\right(e,a,\stackrel{\‾}{v},Y\left(e\right)\left)\right)}$ 是softmax函数。

步骤324、定义衡量特性-值(a，v)和其他特性-值之间相互联系的函数z。假设特性-值(a，v)的条件概率和知识图谱中所有其他特性-值的组合正相关，其定义为： $z(e,a,v,Y(e))\∝\underset{(e,\stackrel{\‾}{a},\stackrel{\‾}{v})\∈Y\left(e\right)}{\Σ}P\left(\right(a,v\left)\right|\left(\stackrel{\‾}{a},\stackrel{\‾}{v}\right))(A_a\·A_{\stackrel{\‾}{a}});$ 其中，为A_a与的内积，用于衡量两个特性之间的联系程度；为已知实体拥有特性时(a,v)的条件概率。

步骤33、通过评价函数将实体向量、关系向量和特性向量关联起来，并最小化评价函数，以学习实体向量、关系向量和特性向量，达到优化目标。

具体包括：

S331、定义评价函数为O(X)＝log(P(S,Y|X))+γC(X)；

S232、最小化所述评价函数，学习得到知识图谱中每个实体向量、关系向量和特性向量。

S表示知识图谱中所有关系三元组的集合，Y表示知识图谱中所有特性三元组的集合，P(S，Y|X)表示知识图谱中所有关系三元组概率和所有特性三元组概率的乘积；特性三元组概率为第二特性三元组概率；

γ为超参数，用于控制惩罚项的权重；C(X)为惩罚函数，用于防止参数学习过拟合，惩罚函数C(X)定义如下：

$C\left(X\right)=\underset{e\∈E}{\Σ}{\[\left|\right|e\left|\right|-1\]}_{+}+\underset{r\∈R}{\Σ}{\[\left|\right|r\left|\right|-1\]}_{+}+\underset{e\∈E}{\Σ}\underset{i}{\Σ}{\[\left|\right|{\mathrm{eW}}_i+b_i\left|\right|-1\]}_{+}+\underset{i}{\Σ}{\[\left|\right|V_i\left|\right|-1\]}_{+},$ 其中，[x]₊＝max(0,x)表示一个输入为x，返回值为0与x之间较大的数的函数。

进一步地，由于在原评价函数中有多处需要计算softmax函数，其中归一化项的计算量极大，大大降低了算法的速度，本发明实施例在最小化评价函数之前，优选采用负采样算法对softmax函数进行近似。

当评价函数中包括关系三元组概率p(h|r,t,X)和第一特性三元组概率时，我们通过负采样将其中的softmax函数转化为以下计算式：

$p\left(h\right|r,t,X)=\underset{(h,r,t)\∈S}{\Π}\[\mathrm{\σ}\left(g\right(h,r,t\left)\right)\underset{i=1}{\overset{C}{\Π}}{E}_{(h_i,r,t)~P\left(S^{-}\right)}\mathrm{\σ}\left(g\right(h_i,r,t\left)\right)\];$

$p\left(v\right|e,a,X)=\underset{(h,r,t)\∈Y}{\Π}\[\mathrm{\σ}\left(k\right(e,a,v\left)\right)\underset{i=1}{\overset{C}{\Π}}{E}_{(e,a,v_i)~P\left(Y^{-}\right)}\mathrm{\σ}\left(k\right(e,a,v_i\left)\right)\].$

当评价函数中包括p(h|r,t,X)和第二特性三元组概率p((e,a,v)|X)∝p(v|e,a,X)p(v|e,a,Y(e))时，我们通过负采样将其中的softmax函数转化为以下计算式：

$p\left(h\right|r,t,X)=\underset{(h,r,t)\∈S}{\Π}\[\mathrm{\σ}\left(g\right(h,r,t\left)\right)\underset{i=1}{\overset{C}{\Π}}{E}_{(h_i,r,t)~P\left(S^{-}\right)}\mathrm{\σ}\left(g\right(h_i,r,t\left)\right)\];$

$p\left(v\right|e,a,X)=\underset{(h,r,t)\∈Y}{\Π}\[\mathrm{\σ}\left(k\right(e,a,v\left)\right)\underset{i=1}{\overset{C}{\Π}}{E}_{(e,a,v_i)~P\left(Y^{-}\right)}\mathrm{\σ}\left(k\right(e,a,v_i\left)\right)\];$

$p\left(v\right|e,a,Y\left(e\right))=\underset{(h,r,t)\∈Y}{\Π}\[\mathrm{\σ}\left(z\right(e,a,v,Y\left(e\right)\left)\underset{i=1}{\overset{C}{\Π}}{E}_{(e,a,v_i)~P\left(Y^{-}\right)}\mathrm{\σ}\right(z\left(e,a,v_i,Y\left(e\right)\right)\].$

显然，上述公式 $p\left(h\right|r,t,X)=\underset{(h,r,t)\∈S}{\Π}\[\mathrm{\σ}\left(g\right(h,r,t\left)\right)\underset{i=1}{\overset{C}{\Π}}{E}_{(h_i,r,t)~P\left(S^{-}\right)}\mathrm{\σ}\left(g\right(h_i,r,t\left)\right)\],$ 还可以替代为：

$p\left(r\right|h,t,X)=\underset{(h,r,t)\∈S}{\Π}\[\mathrm{\σ}\left(g\right(h,r,t\left)\right)\underset{i=1}{\overset{C}{\Π}}{E}_{(h_i,r,t)~P\left(S^{-}\right)}\mathrm{\σ}\left(g\right(h,r_i,t\left)\right)\];$ 或者，

$p\left(h\right|r,t,X)=\underset{(h,r,t)\∈S}{\Π}\[\mathrm{\σ}\left(g\right(h,r,t\left)\right)\underset{i=1}{\overset{C}{\Π}}{E}_{(h_i,r,t)~P\left(S^{-}\right)}\mathrm{\σ}\left(g\right(h_i,r,t\left)\right)\].$

σ＝1/(1+exp(-x))为sogmoid函数，S^-为关系三元组负例集合，P(S^-)为关系三元组负例集合中所有元素的概率函数，Y^-为特性三元组负例集合，P(Y^-)为特性三元组负例集合中所有元素的概率函数。

关系三元组负例集合S^-的产生方式如下：我们将正例集合S中的每一个三元组(head,relation,tail)随机用任意替他实体替换头实体head或者随机用任意替他实体替换尾实体tail或者随机用任意替他关系替换头实体relation，那么我们就会产生一个新的没有出现在正例集合中的三元组，我们把它当做一个负例，所有这种负例的组合就构成了S^-。

同样的，特性三元组负例集合Y^-的产生方式如下：我们将正例集合Y中的每一个三元组(entity,attribute,value)随机用任意替他可能特性值替换现有特性值value那么我们就会产生一个新的没有出现在正例集合中的三元组，我们把它当做一个负例，所有这种负例的组合就构成了Y^-。

综上，本发明的有益效果是：与现有技术相比，本发明提出了同时学习知识图谱中实体、关系和特性表示的知识图谱表示学习方法，解决现有技术中存在的无法精确表示实体、关系和特性之间联系的问题，以提高知识图表示的质量，具有良好的实用性。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换以及改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种知识图谱表示学习方法，该方法包括：

利用实体向量与关系向量之间基于平移的模型，定义关系三元组(head，relation，tail)中实体向量与关系向量之间的相互关联；

利用神经网络分类模型，定义特性三元组(entity，attribute，value)中实体向量与特性向量之间的相互关联；

通过评价函数将实体向量、关系向量和特性向量关联起来，并最小化评价函数，以学习实体向量、关系向量和特性向量，达到优化目标。

2.如权利要求1所述的方法，其特征在于，

利用实体向量与关系向量之间基于平移的模型，定义关系三元组中实体向量与关系向量之间的相互关联的方法包括：

定义关系三元组概率为 表示知识图谱中任意实体；

利用实体向量与关系向量之间基于平移的模型，定义衡量关系r和实体对(h，t)之间相互联系的函数g。

3.如权利要求2所述的方法，其特征在于，

利用神经网络分类模型，定义特性三元组中实体向量与特性向量之间的相互关联的方法包括：

定义第一特性三元组概率为 表示知识图谱中任意实体；

利用神经网络分类模型，定义衡量特性-值(a，v)和实体e之间相互联系的函数k。

4.如权利要求3所述的方法，其特征在于，当神经网络分类模型为单层神经网络模型时，k(e,a,v)＝-||f(eW_a+b_a)-V_av||_L1/L2+b₂；

W_a和b_a为单层神经网络模型中的模型参数；||f(eW_a+b_a)-V_av||_L1/L2表示将实体e的表示向量通过一个单层的神经网络模型投影到对应特性a的子空间中，然后计算投影后的向量和对应特性值v的表示向量之间的相似度；b₂为一个偏置常数，用于使得k函数返回值的均值保持在0左右。

5.如权利要求4所述的方法，其特征在于，在定义函数k之后，该方法进一步包括：

定义第二特性三元组概率p((e,a,v)|X)∝p(v|e,a,X)p(v|e,a,Y(e))；其中，Y(e)为知识图谱中实体e除了特性-值(a，v)之外所有已知的特性；

定义衡量特性-值(a，v)和其他特性-值之间相互联系的函数z；假设特性-值(a，v)的条件概率和知识图谱中所有其他特性-值的组合正相关，其定义为：其中，为A_a与的内积，用于衡量两个特性之间的联系程度；为已知实体拥有特性时(a,v)的条件概率。

6.权利要求5所述的方法，其特征在于，

通过评价函数将实体向量、关系向量和特性向量关联起来，并最小化评价函数，以学习知识图谱中每个实体向量、关系向量和特性向量，达到优化目标的方法包括：

定义评价函数为O(X)＝log(P(S,Y|X))+γC(X)；

最小化所述评价函数，学习得到知识图谱中每个实体向量、关系向量和特性向量；

其中，S表示知识图谱中所有关系三元组的集合，Y表示知识图谱中所有特性三元组的集合，P(S，Y|X)表示知识图谱中所有关系三元组概率和所有特性三元组概率的乘积；特性三元组概率为第一特性三元组概率或者第二特性三元组概率；

γ为超参数，用于控制惩罚项的权重；C(X)为惩罚函数，用于防止参数学习过拟合，惩罚函数C(X)定义如下：

其中，[x]₊＝max(0,x)，即为一个返回0与x之间较大的数的函数。

7.如权利要求6所述的方法，其特征在于，最小化之前，采用负采样算法，对评价函数中的softmax函数进行近似，以加快学习速度；

softmax函数

softmax函数

softmax函数

σ＝1/(1+exp(-x))为sogmoid函数，S^-为关系三元组负例集合，P(S^-)为关系三元组负例集合中所有元素的概率函数，Y^-为特性三元组负例集合，P(Y^-)为特性三元组负例集合中所有元素的概率函数。