Nothing Special   »   [go: up one dir, main page]

CN114091614A - 一种实体标签关联预测方法、装置及计算机可读存储介质 - Google Patents

一种实体标签关联预测方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN114091614A
CN114091614A CN202111424257.6A CN202111424257A CN114091614A CN 114091614 A CN114091614 A CN 114091614A CN 202111424257 A CN202111424257 A CN 202111424257A CN 114091614 A CN114091614 A CN 114091614A
Authority
CN
China
Prior art keywords
entity
label
network
graph
association
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111424257.6A
Other languages
English (en)
Inventor
刘砺志
王钰
蒋海俭
闵青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Unionpay Co Ltd
Original Assignee
China Unionpay Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Unionpay Co Ltd filed Critical China Unionpay Co Ltd
Priority to CN202111424257.6A priority Critical patent/CN114091614A/zh
Publication of CN114091614A publication Critical patent/CN114091614A/zh
Priority to PCT/CN2022/117421 priority patent/WO2023093205A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/288—Entity relationship models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Algebra (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种实体标签关联预测方法、装置、系统及计算机可读存储介质，该方法包括：确定实体关系网络、标签关系网络以及实体标签关联网络，实体标签关联网络包含未知的实体标签关联关系；根据实体关系网络构造实体相似度图，根据标签关系网络和实体标签关联网络构造标签相似度图；根据实体标签关联网络构造实体标签关联二部图；抽取实体特征，并根据标签相似度图构建标签特征；将实体相似度图、标签相似度图和实体标签关联二部图融入图卷积网络以构建预测模型；将实体特征、标签特征输入预测模型进行训练直至模型收敛，输出预测模型的预测结果。利用上述方法，能够获取未知的实体标签关联关系，进而提升了实体标签标注的完整程度。

Description

一种实体标签关联预测方法、装置及计算机可读存储介质
技术领域
本发明属于神经网络领域，具体涉及一种实体标签关联预测方法、装置及计算机可读存储介质。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
随着大数据时代的到来，海量数据涌现而来，如用户、文章、商品等对象的语义内容愈发丰富，刻画它们特征的标签信息也越来越复杂。一个电商平台用于描述用户特征的标签库规模往往达上万条，而平均一个用户被标注的标签个数也有上千个。为了满足当下对样本对象的精细化描述，多标签学习问题逐渐成为学术界和工业界关注的研究热点之一，并在图像识别、文本分类、信息检索、个性化推荐等多个领域具有非常广泛的应用。
然而，由于标签库规模十分庞大，样本个数更是数以万计，对样本的已有标注往往十分不完整，存在着大量遗漏。例如，某观影评论平台对电影《兵临城下》的类别标注可能只包括“历史”、“战争”，但却遗漏了“爱情”、“动作”等标签，因此导致对该电影的描述不精准。
标注不完善在多标签分类问题中十分常见，会对真实应用场景如精准推荐等带来影响，因此，如何提高样本数据标注完整性是一个亟待解决的问题。
发明内容
针对上述现有技术中存在的问题，提出了一种实体标签关联预测方法、装置及计算机可读存储介质，利用这种方法、装置及计算机可读存储介质，能够解决上述问题。
本发明提供了以下方案。
第一方面，提供一种实体标签关联预测方法，包括：确定实体关系网络、标签关系网络以及实体标签关联网络，实体标签关联网络包含未知的实体标签关联关系；根据实体关系网络构造实体相似度图，根据标签关系网络和实体标签关联网络构造标签相似度图；以及根据实体标签关联网络构造实体标签关联二部图；抽取实体特征，并根据标签相似度图构建标签特征；将实体相似度图、标签相似度图和实体标签关联二部图融入图卷积网络以构建预测模型；将实体特征、标签特征输入预测模型进行训练直至模型收敛，输出预测模型的预测结果，预测结果包括每个实体和每个标签之间的关联关系。
在一种实施方式中，还包括：确定以实体集合
Figure BDA0003378425540000021
中的多个实体为节点的实体关系网络
Figure BDA0003378425540000022
其中，n为实体总数，
Figure BDA0003378425540000023
用于指示实体集合中的各个实体之间的关系；确定以标签集合
Figure BDA0003378425540000024
中的多个标签为节点的标签关系网络
Figure BDA0003378425540000025
其中，m为标签总数，
Figure BDA0003378425540000026
用于指示标签集合中各个标签之间的关系；根据现有标注信息确定实体标签关联网络
Figure BDA0003378425540000027
其中，每个实体ui(i＝1,2,…,n)和每个标签hj(j＝1,2,…,m)间的关联
Figure BDA0003378425540000028
取值为1或0。
在一种实施方式中，标签集合为层次化标签集合，标签关系网络形成为树结构，树结构的上下级标签节点之间具有父子继承关系。
在一种实施方式中，方法还包括：根据标签之间的层次化关系更新现有标注信息；其中，若指定实体标注有指定标签，则根据标签关系网络为指定实体补充标注指定标签的全部祖先标签。
在一种实施方式中，根据实体关系网络构造实体相似度图，还包括：根据实体关系网络图Gu的邻接矩阵Au确定实体相似度图Su；其中，邻接矩阵Au∈[0,1]n×n形成为n阶方阵，实体关系网络图Gu为无向有权网络，实体ui与实体ui′间的边权值
Figure BDA0003378425540000029
用于指示两个实体间关系的紧密程度。
在一种实施方式中，根据标签关系网络和实体标签关联网络构造标签相似度图，还包括：基于实体标签关联网络
Figure BDA00033784255400000210
计算每个标签的标签信息量IC(h)，标签信息量用于度量每个标签的具体化程度：利用每个标签的标签信息量以及标签关系网络计算标签间相似度，得到标签相似度图Sh；其中，标签相似度图Sh∈[0,1]m×m形成为m阶方阵。
在一种实施方式中，利用以下公式计算标签间相似度：
Figure BDA00033784255400000211
其中，hMICA是标签hj与标签hj′的最富信息公共祖先，即标签hj与标签hj′具有最高标签信息量的公共祖先标签节点。
在一种实施方式中，利用以下公式计算每个标签的标签信息量：
Figure BDA00033784255400000212
其中，n是实体总数，nh是已知的被标签h所标注的实体个数。
在一种实施方式中，根据实体标签关联网络构造实体标签关联二部图，包括：根据实体标签关联矩阵R构造实体标签关联二部图为A；其中，
Figure BDA0003378425540000031
0为全零矩阵。
在一种实施方式中，抽取实体特征并根据标签相似度图构建标签特征，包括：通过特征挖掘确定实体集合中的每个实体ui的多维实体特征
Figure BDA0003378425540000032
根据标签相似度图Sh进行对称归一化处理，得到归一化矩阵
Figure BDA0003378425540000033
根据归一化矩阵
Figure BDA0003378425540000034
计算正值逐点互信息矩阵X(h)；根据正值逐点互信息矩阵X(h)构造标签特征，其中，矩阵X(h)的第j行
Figure BDA0003378425540000035
作为第j个标签hj的标签特征
Figure BDA0003378425540000036
在一种实施方式中，将实体特征和标签特征输入预测模型进行训练，包括：利用输入端多层感知器分别对输入的实体特征和标签特征进行降维；将降维后的实体特征和标签特征输入预测模型，得到每个实体对应的实体节点嵌入表示和每个标签对应的标签节点嵌入表示；通过输出端多层感知器分别对实体节点嵌入表示和标签节点嵌入表示进行降维；对降维后的实体节点嵌入表示和标签节点嵌入进行点乘操作，得到预测结果。
在一种实施方式中，将降维后的实体特征和标签特征输入图卷积网络，包括：将降维后的实体特征和标签特征输入第一图卷积网络，第一图卷积网络通过转换函数引入实体标签关联二部图的拓扑结构信息，输出实体节点和标签节点的中间嵌入表示；将实体节点的中间嵌入表示输入第二图卷积网络，第二图卷积网络通过转换函数引入实体相似度图的拓扑结构信息和边权值信息，输出实体节点嵌入表示；将标签节点的中间嵌入表示输入第三图卷积网络，第三图卷积网络通过转换函数引入标签相似度图的拓扑结构信息和边权值信息，输出标签节点嵌入表示。
在一种实施方式中，利用输入端多层感知器分别对输入的实体特征和标签特征进行降维，还包括：实体节点ui在其对应的输入端多层感知器的第l层隐含层的转换函数定义为：
Figure BDA0003378425540000037
其中，
Figure BDA0003378425540000038
表示实体ui在输入端多层感知器的第l层隐含层所产生的隐含表示，
Figure BDA0003378425540000039
表示实体ui在多层感知器的第l-1层隐含层所产生的隐含表示，且
Figure BDA00033784255400000310
为实体ui的实体特征，Wu (l)为待训练的权重参数矩阵，bu (l)为偏置参数，σ(·)为激活函数；
标签节点hj在其对应的输入端多层感知器的第l层隐含层的转换函数定义为：
Figure BDA00033784255400000311
其中，
Figure BDA00033784255400000312
表示标签hj在第l层隐含层所产生的隐含表示，
Figure BDA00033784255400000313
表示标签hj在第l-1层隐含层所产生的隐含表示，且
Figure BDA00033784255400000314
为标签hj的标签特征，Wh (l)为待训练的权重参数矩阵，bh (l)为偏置参数，σ(·)为激活函数。
在一种实施方式中，第一图卷积网络通过转换函数引入实体标签关联二部图的拓扑结构信息，包括：实体节点ui在第一图卷积网络的第l层的转换函数为：
Figure BDA0003378425540000041
标签节点hj在第一图卷积网络的第l层的转换函数为：
Figure BDA0003378425540000042
其中，
Figure BDA0003378425540000043
和
Figure BDA0003378425540000044
分别指实体ui和标签hj在第一图卷积网络的第l层产生的嵌入表示，且
Figure BDA0003378425540000045
和
Figure BDA0003378425540000046
分别指降维后的实体特征和标签特征，
Figure BDA0003378425540000047
表示在实体标签关联二部图中与实体ui关联的标签节点集合，
Figure BDA0003378425540000048
表示在实体标签关联二部图中与标签hj关联的实体节点集合，
Figure BDA0003378425540000049
和
Figure BDA00033784255400000410
为第一图卷积网络中待训练的第l层权重参数矩阵，σ为激活函数。
在一种实施方式中，第二图卷积网络通过转换函数引入实体相似度图的拓扑结构信息和边权值信息，包括：实体节点ui在第二图卷积网络的第l层图卷积网络中的转换函数为：
Figure BDA00033784255400000411
其中，
Figure BDA00033784255400000412
指实体ui在第l层产生的嵌入表示，
Figure BDA00033784255400000413
指实体ui′在第l-1层产生的嵌入表示，
Figure BDA00033784255400000414
S′u＝Su+I，(D′u)i,i′＝∑i′(Su′)i,i′，Su为实体相似度图，
Figure BDA00033784255400000415
为第二图卷积网络中待训练的第l层权重参数矩阵，σ(·)为激活函数。
在一种实施方式中，第三图卷积网络通过转换函数引入标签相似度图的拓扑结构信息和边权值信息，包括：标签节点hj在第三图卷积网络的第l层图卷积网络中的转换函数为：
Figure BDA00033784255400000416
其中，
Figure BDA00033784255400000417
指标签hj在第l层产生的嵌入表示，
Figure BDA00033784255400000418
指标签hj在第l-1层产生的嵌入表示，
Figure BDA00033784255400000419
S′h＝Sh+I，(D′h)j,j′＝∑j′(Sh′)j,j′，Sh为所述标签相似度图，
Figure BDA00033784255400000420
为所述第三图卷积网络中待训练的第l层权重参数矩阵，σ(·)为激活函数。
在一种实施方式中，激活函数σ采用带泄漏线性整流函数LeakyReLU。
在一种实施方式中，通过输出端多层感知器分别对实体节点嵌入表示和标签节点嵌入表示进行降维，还包括：
实体节点ui在其对应的输出端多层感知器的第l层隐含层的转换函数定义为：
Figure BDA0003378425540000051
其中，
Figure BDA0003378425540000052
表示实体ui在输出端多层感知器的第l层隐含层所产生的隐含表示，
Figure BDA0003378425540000053
表示实体ui在输出端多层感知器的第l-1层隐含层所产生的隐含表示，且
Figure BDA0003378425540000054
为实体ui的实体节点嵌入表示，Wu (l0为待训练的权重参数矩阵，bu (l)为偏置参数，σ(·)为激活函数；
标签节点hj在其对应的输出端多层感知器的第l层隐含层的转换函数定义为：
Figure BDA0003378425540000055
其中，
Figure BDA0003378425540000056
表示标签hj在对应的输出端多层感知器的第l层隐含层所产生的隐含表示，
Figure BDA0003378425540000057
表示标签hj在第l-1层隐含层所产生的隐含表示，且
Figure BDA0003378425540000058
为标签hj的标签节点嵌入表示，Wh (l)为待训练的权重参数矩阵，bh (l)为偏置参数，σ(·)为激活函数。
在一种实施方式中，激活函数采用线性整流函数ReLU。
在一种实施方式中，对降维后的实体节点嵌入表示和标签节点嵌入进行点乘操作，得到预测结果，包括：获取输出端多层感知器产生的实体ui的实体节点嵌入表示
Figure BDA0003378425540000059
和标签hj的标签节点嵌入
Figure BDA00033784255400000510
计算实体ui与标签hj间具有关联的似然性分数
Figure BDA00033784255400000511
以预测实体ui和标签hj之间的相似度。
在一种实施方式中，还包括：将实体标签关联网络
Figure BDA00033784255400000512
中的正样本的目标值提升为指定大于1的常数，以确定增强关联矩阵
Figure BDA00033784255400000513
使用增强关联矩阵
Figure BDA00033784255400000514
作为拟合目标对预测模型进行迭代训练，直至模型收敛。
在一种实施方式中，还包括：使用最小平方误差损失函数
Figure BDA00033784255400000517
训练预测模型；最小平方误差损失函数
Figure BDA00033784255400000515
其中，Y为预测结果矩阵，
Figure BDA00033784255400000516
为增强关联矩阵，λ为衰减因子；Ω为观测到元素的掩模矩阵；°为逐元素积，Θ指模型中所有的待训练参数，‖·‖F为Frobenius范数，‖·‖2为L2范数。
在一种实施方式中，还包括：使用RMSProp优化器对目标函数进行优化；优化器通过梯度下降算法不断降低目标函数值并优化更新模型参数，直到目标函数值达到收敛后训练终止。
第二方面，提供一种实体标签关联预测装置，其被配置为用于执行如第一方面的方法，包括：网络确定模块，用于确定实体关系网络、标签关系网络以及实体标签关联网络，实体标签关联网络包含未知的实体标签关联关系；图构造模块，用于根据实体关系网络构造实体相似度图，根据标签关系网络和实体标签关联网络构造标签相似度图；以及根据实体标签关联网络构造实体标签关联二部图；特征构造模块，用于抽取实体特征，并根据标签相似度图构建标签特征；预测模型模块，将实体相似度图、标签相似度图和实体标签关联二部图融入图卷积网络以构建预测模型；将实体特征、标签特征输入预测模型进行训练直至模型收敛，输出预测模型的预测结果，预测结果包括每个实体和每个标签之间的关联关系。
第三方面，提供一种实体标签关联预测装置，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行：如第一方面的方法。
第四方面，提供一种计算机可读存储介质，计算机可读存储介质存储有程序，当程序被多核处理器执行时，使得多核处理器执行如第一方面的方法。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：本实施例中，利用图卷积网络学习实体关系网络、标签关系网络和现有的实体标签关联网络以及构建的实体特征和标签特征，能够有效地预测出每个样本和每个标签之间关联程度，进而实现对已有部分标注的样本进行标签填补，提升了实体标签标注的完整程度。
应当理解，上述说明仅是本发明技术方案的概述，以便能够更清楚地了解本发明的技术手段，从而可依照说明书的内容予以实施。为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举例说明本发明的具体实施方式。
附图说明
通过阅读下文的示例性实施例的详细描述，本领域普通技术人员将明白本文所述的优点和益处以及其他优点和益处。附图仅用于示出示例性实施例的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的标号表示相同的部件。在附图中：
图1为根据本发明一实施例的实体标签关联预测方法的流程示意图；
图2为根据本发明一实施例的实体关系网络的结构示意图；
图3为根据本发明一实施例的标签关系网络的结构示意图；
图4为根据本发明一实施例的实体标签关联网络的结构示意图；
图5为根据本发明另一实施例的实体标签关联预测方法的流程示意图；
图6为根据本发明一实施例的预测模型的结构示意图；
图7为根据本发明又一实施例的实体标签关联预测方法的流程示意图；
图8为根据本发明一实施例的实体标签关联预测装置的结构示意图；
图9为根据本发明一实施例的实体标签关联预测装置的结构示意图。
在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
在本申请实施例的描述中，应理解，诸如“包括”或“具有”等术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不旨在排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在的可能性。
除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
另外还需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
图1为根据本申请一实施例的一种实体标签关联预测方法的流程示意图，用于预测全部实体和标签之间的关联关系，在该流程中，从设备角度而言，执行主体可以是一个或者多个电子设备；从程序角度而言，执行主体相应地可以是搭载于这些电子设备上的程序。
如图1所示，本实施例提供的方法可以包括以下步骤：
S10、确定实体关系网络、标签关系网络以及实体标签关联网络；
具体地，实体关系网络是以实体为节点，以实体之间的关联关系为边的网络，其用于指示实体间关联关系。实体关系网络是一种无向带权网络。比如在交易系统中，可以以用户作为实体，此时可以根据诸如用户间历史交易、用户地点、用户属性等要素实现实体之间的关联关系。
具体地，上述标签关系网络是以标签为节点，以标签之间的关联关系为边的网络，其用于指示标签间关联关系。比如标签“家具”和标签“床”存在父子关联关系，标签“床”与标签“双人床”、“单人床”也存在父子关联关系，由此比如可以形成树结构的标签关系网络。
具体地，实体标签关联网络包含至少部分的实体和标签之间的关联关系，可以理解，由于标签库规模十分庞大，样本个数更是数以万计，因此对样本的已有标注往往十分不完整，存在着大量遗漏。因此，在S10的现有的实体标签关联网络中，仅存在部分的实体-标签的关联关系，另外存在大量未知的实体-标签关联关系，需要在后续预测模型中获得。
上述实体关系网络和标签关系网络为同质节点关系网络，实体标签关联图是异质节点关系网络。
S20、根据实体关系网络构造实体相似度图，根据标签关系网络和实体标签关联网络构造标签相似度图；以及根据实体标签关联网络构造实体标签关联二部图；
其中，实体关系网络为无向带权网络，实体相似度图是基于实体关系网络而构造的同质相似度图，比如可以直接根据实体关系网络的邻接矩阵确定该实体相似度图，用于记录每两个实体之间关系的紧密程度。
同样地，根据标签关系网络和实体标签关联网络，能够获知每两个标签之间关系的紧密程度，进而构造该标签相似度图。根据实体标签关联网络，能够获知每个实体和每个标签之间关系的紧密程度，进而构造实体标签关联二部图。可知，二分图又称作二部图，是图论中的一种特殊模型。
S30、抽取实体特征，并根据标签相似度图构建标签特征；
上述实体特征来源于实体本身具有特性的信息。例如，以用户作为实体为例，实体特征比如可以是用户的基本信息、消费能力、行为特征、心理特征等。上述标签特征由标签相似度图导出构建。
S40、将实体相似度图、标签相似度图和实体标签关联二部图输入图卷积网络以构建预测模型；
本申请分别构造两大类共三个网络：同质节点间的关系网络(即实体关系网络与标签关系网络)和异质节点间的关系网络(即实体标签关联网络)。本申请构建的预测模型可以融入上述三个网络对应的实体相似度图、标签相似度图和实体标签关联二部图，进而可以在模型训练中学习各个网络中的低阶及高阶拓扑结构，并发掘出对象间复杂的非线性关系。
进一步地，本申请构建的预测模型针对不同的输入网络类型，可以设计多种图卷积网络模块，比如运行于实体标签关联二部图之上的Bi-GCN(二部图卷积网络)模块和运行于相似度图之上的S-GCN模块。其中，Bi-GCN模块在实体与标签间的无权值关联边上进行消息传递，实现两种对象所含信息的充分沟通融合；S-GCN(相似图卷积网络)模块在相似度图的带权边上进行消息传递，依据相似度高低汇聚邻接节点的所含信息。通过堆叠多层图卷积网络层进行反复迭代，可重复捕捉网络中的低阶及高阶拓扑结构，并发掘出对象间复杂的非线性关系。
S50、将实体特征和标签特征输入预测模型进行训练直至模型收敛，输出最终预测结果。
将实体特征和标签特征作为初始特征输入预测模型，经过图卷积网络对各个网络的多轮学习之后，输出最终预测结果，该预测结果包括每个实体和每个标签之间的关联关系。
可以理解，本申请的目的在于为已有部分标注的实体预测其缺失标签。例如，参考图2，示出了实体关系网络的一个示例，其由多个实体及其之间的连接关系组成，其中可以通过现有的特征挖掘技术确定每个实体对应的特征向量，即实体特性。参考图3，示出了标签关系网络的一个示例，其中多个标签以树状结构组织形成一个层次结构，即层次化标签关系网络，最顶部标签为“根标签”，不具备实际含义，其下每一个中间标签均拥有若干子标签，子标签与父标签间为父子继承关系(即“is-a”关系)。参考图4，示出了实体标签关联网络的一个示例，该实体标签关联网络也可看作是实体标签关联矩阵，其中图2所示实体关系网络中的某些实体与图3所示的标签关系网络中的某些标签存在已知关联关系，即关联矩阵中显示“1”的元素，但同时仍存在大量未知的实体-标签关联关系，即关联矩阵中显示“？”的元素。可以理解，这些未知的实体-标签关联关系并不代表相应的实体与标签间一定不存在关联，只是这种关联可能还未被发现。由此可知，本申请的目的在于预测出实体缺失的标签，换言之，预测每个实体和每个标签之间的关联度。
可以理解，以用户作为实体为例，通常，被同一标签所标注的两个用户很有可能具有相似的行为特性，更可能会具有相似的标签。例如用户A和B都属于“加油站高频消费用户”，而用户A还是“停车场高频消费用户”，尽管目前在标注集中用户B并未被标注为“停车场高频消费用户”，但存在很大可能用户B也具有这一特性。因此，基于实体标签关联网络构建预测模型能更好的发掘潜在的用户相似标签。基于实体关系网络，可知用户并非独立存在的节点，而是存在一定的社会关系，通常可被建模为一张社交网络。例如用户A和B之间存在高度的关联关系，当用户A是“停车场高频消费用户”时，存在很大可能用户B也具有这一特性。基于标签关系网络和实体标签关联网络，可知标签并非独立存在的节点，而是存在一定的关联关系，例如标签C和D所标注的主体高度重合，当用户A是“标签C”时，存在很大可能用户A也具有“标签D”。诸如此类，上述实体关系网络、标签关系网络以及实体标签关联网络中隐含了大量标签-标签、实体-标签、实体-实体关联关系，可以通过图卷积网络学习。
本申请为了实现上述目的，在图卷积网络中融入基于实体关系网络、层次化标签关系网络和实体标签关联网络而构建的实体相似度图、标签相似度图和实体标签关联二部图，进而生成待训练的预测模型。之后，分别为实体节点和标签节点建立初始特征向量，并送入待训练的预测模型进行模型训练。在模型训练过程中，利用图卷积网络技术充分学习上述实体关系网络、层次化标签关系网络和实体标签关联网络中的拓扑信息，生成高质量的实体节点嵌入表示和标签节点嵌入表示。最终可以输出每个实体节点的最终嵌入表示与每个标签节点的最终嵌入表示之间的向量点积作为每个实体与每个标签间是否存在关联的似然性预测结果，即得到每个实体和每个标签之间的关联关系。
进而，可以根据预测到的实体-标签关联关系对实体进行补充标注，比如当预测到实体和标签之间的关联关系大于阈值时，则认为二者关联，进而可以相应标注。
由此，针对实体标注不完整的实际情况，对实体与标签自身及二者之间关联网络的信息抽取和利用方面进行了优化，实现对已有部分标注的样本进行标签填补，提升了实体标签标注的完整程度。
在一种实施方式中，为了更简单地获取实体关系网络，S10还可以具体包括：
确定实体集合
Figure BDA0003378425540000101
其中n为实体总数。进而，可以确定以实体集合中的多个实体为节点的实体关系网络
Figure BDA0003378425540000102
其中，
Figure BDA0003378425540000103
用于指示实体集合中的各个实体之间的关系。
其中，该实体关系网络的邻接矩阵为
Figure BDA0003378425540000104
由于实体关系网络属于无向带权网络，因此确定其实体i与实体i′间的边权值
Figure BDA0003378425540000105
用于表示两个实体间关系的紧密程度，其中，i＝1,2,…,n，i′＝1,2,…,n。边权值越接近1，则二者关系越紧密；边权值越接近0，则二者关系越疏远；边权值等于0，表示二者没有直接关系。
在一种实施方式中，为了获取标签关系网络，S10还可以具体包括：
确定标签集合
Figure BDA0003378425540000106
其中m为标签总数。进而，可以确定以标签集合中的多个标签为节点的标签关系网络
Figure BDA0003378425540000107
其中，
Figure BDA0003378425540000108
用于指示标签集合中各个标签之间的关系。
可选地，如图3所示，上述标签集合中的多个标签服从层次结构，由此标签关系网络实际上构成了一棵根树，即网络中不存在有向回路，且仅有根节点入度为0，而其余节点入度均为1。
在一种实施方式中，为了获取实体标签关联网络，S10还可以具体包括：
根据现有标注信息确定每个实体ui和每个标签hj间的关联
Figure BDA0003378425540000109
得到实体标签关联网络
Figure BDA00033784255400001010
其中，每个实体ui(i＝1,2,…,n)和每个标签hj(j＝1,2,…,m)间的关联
Figure BDA00033784255400001011
取值为1或0。其中，
Figure BDA00033784255400001012
取值为1或0，
Figure BDA00033784255400001013
表示实体ui与标签hj间存在正关联(正样本)，
Figure BDA00033784255400001014
表示实体ui与标签hj间的关联未知。
在一种实施方式中，标签集合
Figure BDA0003378425540000111
为层次化标签集合，所述标签关系网络形成为树结构，例如图3，其中，所述树结构的上下级标签节点之间具有父子继承关系。可以理解，标签集中的标签间常常不是相互独立的，而是存在着内在的依赖关联。在实际应用当中，根据标签间的语义关系，标签集合通常可被组织为一个层次结构，即层次化标签集合，从而使得对样本的刻画变得更加精细。
在一种实施方式中，基于上述层次化标签集合，方法还包括：根据标签之间的层次化关系更新现有标注信息；其中，若指定实体标注有指定标签，则根据标签之间的层次化关系为指定实体补充标注指定标签的全部祖先标签。
具体地，实体与标签间的已知关联记为
Figure BDA0003378425540000112
其中
Figure BDA0003378425540000113
表示实体ui与标签hj间一定存在正关联，而
Figure BDA0003378425540000114
不代表ui与hj间没有关联，而只是它们的关联目前未知。由于标签服从层次结构，实体与标签间的关联满足“真路径规则”(true-path-rule)，若一个实体被某一个标签所标注，则其被该标签的所有祖先标签所标注，即标注可沿标签的层次结构向上传播。
在一种实施方式中，为构建实体相似度图，S20还可以具体包括：
根据实体关系网络图Gu的邻接矩阵Au确定实体相似度图Su。例如，实体相似度图Su＝Au。上述邻接矩阵Au∈[0,1]n×n形成为n阶方阵，其中，实体ui与实体ui′间的边权值
Figure BDA0003378425540000115
用于指示两个实体间关系的紧密程度。
可以理解，由于实体关系网络为无向带权网络，已经具备相似度图的特性，因此可以直接基于邻接矩阵Au获取相似度图，无需额外构建。
在一种实施方式中，为构造标签相似度图，S20还可以具体包括以下步骤a-b：
a、基于实体标签关联网络
Figure BDA0003378425540000117
计算每个标签的标签信息量IC(h)，标签信息量用于指示每个标签的具体化(concreteness)程度；信息量越高，表示这个标签反映越具体的特性。例如，“体育新闻”标签的信息量就比“NBA新闻”的信息量低，因为前者比较泛泛，后者更为具体。
可选地，可以利用以下公式计算每个标签的标签信息量：
Figure BDA0003378425540000116
其中，n是实体总数，nh是已知的被标签h所标注的实体个数。
当然也可以利用其它公式或方法计算每个标签的标签信息量，只要是能够指示标签的具体化程度均可采用，本申请对此不作具体限制。
b、利用每个标签的标签信息量以及标签关系网络计算标签间相似度，得到标签相似度图Sh；其中，标签相似度图Sh形成为m阶方阵，即Sh∈[0,1]m×m。
可选地，可以利用以下公式计算标签间相似度：
Figure BDA0003378425540000121
其中，hMICA是标签hj与标签hj′的最富信息公共祖先，即标签hj与标签hj′具有最高标签信息量的公共祖先标签节点。
当然也可以利用其它公式或方法计算标签相似度，比如可以通过判断hj,hj′是否具有公共祖先标签，以及二者距离公共祖先标签的距离进行判断等。可以理解，只要是能够指示标签之间的隐含紧密程度的方法或公式均可采用，本申请对此不作具体限制。
通过上述步骤a、b，挖掘出了标签之间隐含的相似度度量，进而构建能够表达标签间相似度的标签相似度图，提升了预测模型的预测准确度。
在一种实施方式中，根据实体标签关联网络构造实体标签关联二部图，包括：根据实体标签关联矩阵R构造实体标签关联二部图为A。
其中，
Figure BDA0003378425540000122
0为全零矩阵，也即由元素0或1组成的n+m阶方阵。
在一种实施方式中，S30中的抽取实体特征并根据标签相似度图构建标签特征，包括：通过特征挖掘确定实体集合中的每个实体ui的多维实体特征
Figure BDA0003378425540000123
根据标签相似度图Sh进行对称归一化处理，得到归一化矩阵
Figure BDA0003378425540000124
根据归一化矩阵
Figure BDA0003378425540000125
计算正值逐点互信息矩阵X(h)；根据正值逐点互信息矩阵X(h)构造标签特征，其中，矩阵X(h)的第j行
Figure BDA0003378425540000126
作为第j个标签hj的标签特征
Figure BDA0003378425540000127
本申请中的实体节点的特征向量来源于实体本身具有特性的信息。以电商平台用户为例，其特征可包括用户的基本信息、消费能力、行为特征、心理特征等。可以将实体ui的特征向量记为
Figure BDA0003378425540000128
其中d(u)为实体特征向量的维数。
本申请中的标签节点的特征向量由标签相似度图导出。
首先，可以对标签关系矩阵Sh进行对称归一化，得到归一化矩阵
Figure BDA0003378425540000129
Figure BDA00033784255400001210
其中，D＝diag(d1,d2,…,dm)，di＝∑j(Sh)i,j。
之后，根据
Figure BDA00033784255400001211
计算正值逐点互信息(Positive Pointwise Mutual Information,PPMI)矩阵X(h)：
Figure BDA00033784255400001212
其中，取X(h)的第i行
Figure BDA00033784255400001213
作为第i个标签hi的特征向量。
由此可以从构建标签相似度图中挖掘特征，并构建输入预测模型的初始的标签特征。
在一种实施方式中，参考图5，S40中对将实体特征和标签特征输入预测模型进行训练，包括：
S41、利用输入端多层感知器(Multilayer Perceptron,MLP)分别对实体特征和标签特征进行降维；
S42、将降维后的实体特征和标签特征输入预测模型，得到每个实体对应的实体节点嵌入表示和每个标签对应的标签节点嵌入表示；其中，预测模型中融入S20中构建的实体相似度图、标签相似度图实体标签关联二部图。
S43、通过输出端多层感知器对实体节点嵌入表示和标签节点嵌入表示进行降维；
S44、对降维后的实体节点嵌入表示和标签节点嵌入进行点乘操作，得到预测结果。
具体来说，参考图6，首先，构造的实体特征与标签特征分别通过输入端多层感知器进行降维，统一到同一维数。其中，多层感知器是一种将一组输入向量映射到一组输出向量的前馈神经网络。接着，通过图神经网络(Graph Convolutional Network,GCN)将实体相似度图、标签相似度图实体标签关联二部图上的拓扑信息融入节点表示之中，例如可以先使用Bi-GCN模块在实体标签关联二部图上进行消息传递(message propagation)，使得实体与标签间的信息进行交互，之后，再在各自的相似度图上分别运行相应的S-GCN模块，对先前的隐含表示进行再次提炼。比如，在S-GCN1模块上。上述这一步骤可以重复数次，即堆叠数层GCN模块，从而充分捕捉图中的低阶和高阶拓扑信息。最后，通过输出端多层感知器对GCN处理而得的隐含表示进行降维，并通过点乘操作，得到最终的预测结果。
在一种实施方式中，为了将实体特征和标签特征进行降维并统一到相同维度，S41中具体包括：
接收高维的实体特征
Figure BDA0003378425540000131
和标签特征
Figure BDA0003378425540000132
即上述S103挖掘或构造的特征向量，通过输入端多层感知器的多层隐含层迭代进行降维，输出降维后的实体特征和标签特征。
以下对实体节点ui和标签节点hj各自对应的输入端多层感知器进行介绍。
实体节点ui在其对应的输入端多层感知器的第l层隐含层的转换函数定义为：
Figure BDA0003378425540000133
其中，
Figure BDA0003378425540000134
表示实体ui在输入端多层感知器的第l层隐含层所产生的隐含表示，
Figure BDA0003378425540000135
表示实体ui在输入端多层感知器的第l-1层隐含层所产生的隐含表示，且
Figure BDA0003378425540000136
为实体ui的实体特征，Wu (l)为待训练的权重参数矩阵，bu (l)为偏置参数，σ(·)为激活函数；
标签节点hj在其对应的输入端多层感知器的第l层隐含层的转换函数定义为：
Figure BDA0003378425540000137
其中，
Figure BDA0003378425540000138
表示标签hj在输入端多层感知器的第l层隐含层所产生的隐含表示，
Figure BDA0003378425540000139
表示标签hj在第l-1层隐含层所产生的隐含表示，且
Figure BDA00033784255400001310
为标签hj的标签特征，Wh (l)为待训练的权重参数矩阵，bh (l)为偏置参数，σ(·)为激活函数。
通过以上设置的多层感知器，在S41中，通过反复堆叠如上所述的隐含层，并以前一隐含层的输出作为下一隐含层的输入，可将输入的高维特征向量进行降维，并把降维后的输出结果作为下一步图神经网络模块的输入。
在一种实施方式中，更具体地描述上述图卷积网络，上述S42具体可以包括：
首先，将降维后的实体特征和标签特征输入第一图卷积网络(比如图6中的Bi-GCN)，第一图卷积网络通过转换函数引入实体标签关联二部图的拓扑结构信息，输出实体节点和标签节点的中间嵌入表示。
在一种实施方式中，第一图卷积网络通过转换函数引入实体标签关联二部图的拓扑结构信息，包括：
以实体节点ui为例，实体节点ui在第一图卷积网络的第l层的转换函数为：
Figure BDA0003378425540000141
以标签节点hj为例，标签节点hj在第一图卷积网络的第l层的转换函数为：
Figure BDA0003378425540000142
其中，
Figure BDA0003378425540000143
和
Figure BDA0003378425540000144
分别指实体ui和标签hj在第一图卷积网络的第l层产生的嵌入表示，且
Figure BDA0003378425540000145
和
Figure BDA0003378425540000146
分别指S41进行降维后获得的实体特征和标签特征，
Figure BDA0003378425540000147
表示在实体标签关联二部图中与实体ui关联的标签节点集合，
Figure BDA0003378425540000148
表示在实体标签关联二部图中与标签hj关联的实体节点集合，
Figure BDA0003378425540000149
和
Figure BDA00033784255400001410
为第一图卷积网络中待训练的第l层权重参数矩阵，σ为激活函数。
随后，将实体节点的中间嵌入表示输入第二图卷积网络(比如图6中的S-GCN1)，第二图卷积网络通过转换函数引入实体相似度图的拓扑结构信息和边权值信息，输出实体节点嵌入表示；
在一种实施方式中，第二图卷积网络通过转换函数引入实体相似度图的拓扑结构信息和边权值信息，包括：
以实体节点ui为例，实体节点ui在第二图卷积网络的第l层图卷积网络中的转换函数为：
Figure BDA00033784255400001411
其中，
Figure BDA00033784255400001412
指实体ui在第l层产生的嵌入表示，
Figure BDA00033784255400001413
指实体ui′在第l-1层产生的嵌入表示，
Figure BDA0003378425540000151
S′u＝Su+I，(D′u)i,i′＝∑i′(Su′)i,i′，Su为所述实体相似度图，
Figure BDA0003378425540000152
为所述第二图卷积网络中待训练的第l层权重参数矩阵，σ(·)为激活函数。
相应地，将标签节点的中间嵌入表示输入第三图卷积网络(比如图6中的S-GCN2)，第三图卷积网络通过转换函数引入标签相似度图的拓扑结构信息和边权值信息，输出标签节点嵌入表示。
在一种实施方式中，第三图卷积网络通过转换函数引入标签相似度图的拓扑结构信息和边权值信息，包括：
以标签节点hj为例，标签节点hj在第三图卷积网络的第l层图卷积网络中的转换函数为：
Figure BDA0003378425540000153
其中，
Figure BDA0003378425540000154
指标签hj在第l层产生的嵌入表示，
Figure BDA0003378425540000155
指标签hj在第l-1层产生的嵌入表示，
Figure BDA0003378425540000156
S′h＝Sh+I，(D′h)j,j′＝∑j′(Sh′)j,j′，Sh为所述标签相似度图，
Figure BDA0003378425540000157
为所述第三图卷积网络中待训练的第l层权重参数矩阵，σ(·)为激活函数。
诸如上述第一图卷积网络、第二图卷积网络、第三图卷积网络可以堆叠多层(将其总层数记为LGCN)，以前一层的输出作为下一层的输入，从而可以充分捕捉图中的低阶和高阶拓扑结构。
在一种实施方式中，激活函数σ采用带泄漏线性整流函数LeakyReLU，其定义为：
Figure BDA0003378425540000158
其中，α∈(0,1)为设定常数，表示激活函数图象中第三象限射线的斜率。
在一种实施方式中，为了对上述图卷积计算产生的节点嵌入表示进行降维提炼并统一到相同维度，S43中具体包括：
接收高维的实体节点嵌入表示
Figure BDA0003378425540000159
和标签节点嵌入表示
Figure BDA00033784255400001510
分别通过输出端多层感知器的多层隐含层迭代进行降维，输出降维后的实体特征
Figure BDA00033784255400001511
和标签特征
Figure BDA00033784255400001512
以下对实体节点ui和标签节点hj各自对应的输出端多层感知器进行介绍。
实体节点ui在其对应的输出端多层感知器的第l层隐含层的转换函数定义为：
Figure BDA00033784255400001513
其中，
Figure BDA00033784255400001514
表示实体ui在输出端多层感知器的第l层隐含层所产生的隐含表示，
Figure BDA00033784255400001515
表示实体ui在多层感知器的第l-1层隐含层所产生的隐含表示，且
Figure BDA0003378425540000161
为实体ui的实体节点嵌入表示，Wu (l)为待训练的权重参数矩阵，bu (l)为偏置参数，σ(·)为激活函数；
标签节点hj在其对应的输出端多层感知器的第l层隐含层的转换函数定义为：
Figure BDA0003378425540000162
其中，
Figure BDA0003378425540000163
表示标签hj在对应的输出端多层感知器的第l层隐含层所产生的隐含表示，
Figure BDA0003378425540000164
表示标签hj在第l-1层隐含层所产生的隐含表示，且
Figure BDA0003378425540000165
为标签hj的标签节点嵌入表示，Wh (l)为待训练的权重参数矩阵，bh (l)为偏置参数，σ(·)为激活函数。
通过以上设置的多层感知器，在S43中，通过反复堆叠如上所述的隐含层LMLP次，以前一隐含层的输出作为下一隐含层的输入，可将输入的图神经网络模块产生的节点嵌入表示进行降维提炼。最终，实体节点ui通过实体侧的多层感知器得到输出为
Figure BDA0003378425540000166
标签节点hj通过标签层的多层感知器得到输出为
Figure BDA0003378425540000167
并且两个多层感知器的输出向量的维度应一致。
在一种实施方式中，为提升模型效果，激活函数采用线性整流函数ReLU。其定义为
Figure BDA0003378425540000168
在一种实施方式中，对降维后的实体节点嵌入表示和标签节点嵌入进行点乘操作，得到预测结果，包括：获取多层感知器产生的实体ui的实体节点嵌入表示
Figure BDA0003378425540000169
和标签hj的标签节点嵌入
Figure BDA00033784255400001610
确定实体ui与标签hj间具有关联的似然性分数
Figure BDA00033784255400001611
以预测实体ui和标签hj之间的相似度。
参考图7，在输出实体ui与标签hj之间的yi,j之后，需要判断训练的模型是否收敛，如已经收敛则结束训练，得到每个实体ui与标签hj之间的关联关系作为预测结果。如没有收敛，则通过梯度下降算法，不断降低目标函数值并优化更新模型参数，直到目标函数值达到收敛后训练终止。
在一种实施方式中，为缓解实体-标签关联矩阵中的正样本高度稀疏性和极度的标签不平衡现象，增强正样本的影响力，可以将实体标签关联矩阵
Figure BDA00033784255400001612
中的正样本的目标值提升为指定大于1的常数，以确定增强关联矩阵
Figure BDA00033784255400001613
使用增强关联矩阵
Figure BDA00033784255400001614
作为拟合目标对预测模型进行迭代训练，直至模型收敛。
具体地，可以定义目标矩阵
Figure BDA00033784255400001615
为增强关联矩阵：
Figure BDA00033784255400001616
其中，ε＞1为指定超参数，反映正样本在目标矩阵中的影响力大小，用以扩大正样本与未观测样本间的差距和可辨性。于是，若已知实体ui和标签hj存在关联，则目标矩阵中相应的目标值
Figure BDA0003378425540000171
提升至大于1的常数ε，否则保持为0。
在一种实施方式中，为了让预测模型习得待学参数，还包括：使用最小平方误差损失函数(Minimal Square Error,MSE)
Figure BDA0003378425540000172
训练预测模型；
Figure BDA0003378425540000173
其中，Y＝(yi,j)n×m为预测结果矩阵；
Figure BDA0003378425540000174
为增强关联矩阵；Ω为观测到元素的掩模矩阵：若已知实体ui和标签hj存在正关联，即
Figure BDA0003378425540000175
时，则Ωi,j＝1；否则均为0；°为Hadamard积(或逐元素积)；‖·‖F为Frobenius范数；第一项
Figure BDA0003378425540000176
要求预测值与观测值间的差距应最小；Θ指模型中所有的待训练参数；λ为衰减因子，为设定超参数，用于控制正则项与拟合目标之间的平衡；‖·‖2为L2范数；第二项
Figure BDA0003378425540000177
为正则项，用以避免过拟合现象。
在一种实施方式中，为提升模型训练效果，还包括：使用RMSProp优化器对目标函数进行优化；需设超参数包括初始学习率α和衰减速率ρ，优化器通过梯度下降算法不断降低目标函数值并优化更新模型参数，直到目标函数值达到收敛后训练终止。
综上所述，本申请所提出的实体-标签关联预测计算方法，关注于填补已有部分标注的实体的不完整标签注释。将输入的实体集合建模为实体间关系网络，更加贴合真实世界中样本间存在复杂关联而非相互独立的特性。可选地，本申请所涉及的标签集具有严格的、确定的层次化结构，其考虑了标签间的层级关系或语义关系，从而可以达到更精细的划分，实现对样本更精准的刻画。通过输入的实体间关系网络，可以更容易发掘样本间隐含的相似特征，并利用这种相似性提升多标签分类的准确性。
针对实体与标签两大对象，本算法分别构造两大类共三个网络：同质节点间的关系网络(即实体关系网络与层次化标签关系网络)和异质节点间的关系网络(即实体-标签关联网络)。针对不同的输入网络类型，本算法分别设计了两种图神经网络模块：运行于二部图之上的Bi-GCN模块和运行于相似度图之上的S-GCN模块。其中，Bi-GCN模块在实体与标签间的无权值关联边上进行消息传递，实现两种对象所含信息的充分沟通融合；S-GCN模块在相似度图的带权边上进行消息传递，依据相似度高低汇聚邻接节点的所含信息。通过堆叠多层图神经网络层进行反复迭代，可重复捕捉网络中的低阶及高阶拓扑结构，并发掘出对象间复杂的非线性关系。
此外，在训练过程中，本算法对原始目标关联矩阵中的正样本提升影响力，构造出增强关联矩阵作为最终拟合目标。该方法有效的缓解了数据集上正负样本高度不平衡的现象，使得模型可以充分关注到正样本信号，从而提升最终的预测精度。
在本说明书的描述中，参考术语“一些可能的实施方式”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
关于本申请实施例的方法流程图，将某些操作描述为以一定顺序执行的不同的步骤。这样的流程图属于说明性的而非限制性的。可以将在本文中所描述的某些步骤分组在一起并且在单个操作中执行、可以将某些步骤分割成多个子步骤、并且可以以不同于在本文中所示出的顺序来执行某些步骤。可以由任何电路结构和/或有形机制(例如，由在计算机设备上运行的软件、硬件(例如，处理器或芯片实现的逻辑功能)等、和/或其任何组合)以任何方式来实现在流程图中所示出的各个步骤。
基于相同的技术构思，本发明实施例还提供一种实体标签关联预测装置，用于执行上述任一实施例所提供的实体标签关联预测方法。图8为本发明实施例提供的一种实体标签关联预测装置结构示意图。
网络确定模块801，用于确定实体关系网络、标签关系网络以及实体标签关联网络，所述实体标签关联网络包含未知的实体标签关联关系；
图构造模块802，用于根据所述实体关系网络构造实体相似度图，根据所述标签关系网络和所述实体标签关联网络构造标签相似度图；以及根据所述实体标签关联网络构造实体标签关联二部图；
特征构造模块803，用于抽取实体特征，并根据标签相似度图构建标签特征；
预测模型模块804，将所述实体相似度图、所述标签相似度图和所述实体标签关联二部图融入图卷积网络以构建预测模型；将所述实体特征、所述标签特征输入所述预测模型进行训练直至模型收敛，输出所述预测模型的预测结果，所述预测结果包括每个实体和每个标签之间的关联关系。
需要说明的是，本申请实施例中的装置可以实现前述方法的实施例的各个过程，并达到相同的效果和功能，这里不再赘述。
图9为根据本申请一实施例的实体标签关联预测装置结构示意图装置，用于执行图1所示出的方法，该装置包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述实施例所述的方法。
根据本申请的一些实施例，提供了实体标签关联预测方法的非易失性计算机存储介质，其上存储有计算机可执行指令，该计算机可执行指令设置为在由处理器运行时执行：上述实施例所述的方法。
本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备和计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以其描述进行了简化，相关之处可参见方法实施例的部分说明即可。
本申请实施例提供的装置、设备和计算机可读存储介质与方法是一一对应的，因此，装置、设备和计算机可读存储介质也具有与其对应的方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述装置、设备和计算机可读存储介质的有益技术效果。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (26)

1.一种实体标签关联预测方法，其特征在于，包括：
确定实体关系网络、标签关系网络以及实体标签关联网络，所述实体标签关联网络包含未知的实体标签关联关系；
根据所述实体关系网络构造实体相似度图，根据所述标签关系网络和所述实体标签关联网络构造标签相似度图；以及根据所述实体标签关联网络构造实体标签关联二部图；
抽取实体特征，并根据标签相似度图构建标签特征；
将所述实体相似度图、所述标签相似度图和所述实体标签关联二部图融入图卷积网络以构建预测模型；
将所述实体特征、所述标签特征输入所述预测模型进行训练直至模型收敛，输出所述预测模型的预测结果，所述预测结果包括每个实体和每个标签之间的关联关系。
2.根据权利要求1所述的方法，其特征在于，确定实体关系网络、标签关系网络以及实体标签关联网络，还包括：
确定以实体集合
Figure FDA0003378425530000011
中的多个实体为节点的实体关系网络
Figure FDA0003378425530000012
其中，n为实体总数，所述
Figure FDA0003378425530000013
用于指示所述实体集合中的各个实体之间的关系；
确定以标签集合
Figure FDA0003378425530000014
中的多个标签为节点的标签关系网络
Figure FDA0003378425530000015
其中，m为标签总数，所述
Figure FDA0003378425530000016
用于指示所述标签集合中各个标签之间的关系；
根据现有标注信息确定实体标签关联网络
Figure FDA0003378425530000017
其中，每个实体ui(i＝1，2，...，n)和每个标签hj(j＝1，2，...，m)间的关联
Figure FDA0003378425530000018
取值为1或0。
3.根据权利要求1或2所述的方法，其特征在于，所述标签集合为层次化标签集合，所述标签关系网络形成为树结构，所述树结构的上下级标签节点之间具有父子继承关系。
4.根据权利要求3所述的方法，所述方法还包括：
根据所述标签之间的层次化关系更新所述现有标注信息；
其中，若指定实体标注有指定标签，则根据所述标签关系网络为所述指定实体补充标注所述指定标签的全部祖先标签。
5.根据权利要求2所述的方法，其特征在于，根据所述实体关系网络构造实体相似度图，还包括：
根据所述实体关系网络图Gu的邻接矩阵Au确定实体相似度图Su；
其中，所述邻接矩阵Au∈[0，1]n×n形成为n阶方阵，所述实体关系网络图Gu为无向有权网络，实体ui与实体ui′间的边权值
Figure FDA0003378425530000019
用于指示两个实体间关系的紧密程度。
6.根据权利要求3所述的方法，其特征在于，根据所述标签关系网络和所述实体标签关联网络构造标签相似度图，还包括：
基于所述实体标签关联网络
Figure FDA0003378425530000021
计算每个标签的标签信息量IC(h)，所述标签信息量用于指示每个标签的实体标注比例度量每个标签的具体化程度：
利用每个标签的所述标签信息量以及所述标签关系网络计算标签间相似度，得到标签相似度图Sh；
其中，所述标签相似度图Sh∈[0，1]m×m形成为m阶方阵。
7.根据权利要求6所述的方法，其特征在于，利用以下公式计算所述标签间相似度：
Figure FDA0003378425530000022
其中，hMICA是标签hj与标签hj′的最富信息公共祖先，即标签hj与标签hj′具有最高标签信息量的公共祖先标签节点。
8.根据权利要求6或7所述的方法，其特征在于，利用以下公式计算每个标签的所述标签信息量：
Figure FDA0003378425530000023
其中，n是实体总数，nh是已知的被标签h所标注的实体个数。
9.根据权利要求2所述的方法，其特征在于，根据所述实体标签关联网络构造实体标签关联二部图，包括：
根据所述实体标签关联矩阵R构造实体标签关联二部图为A；
其中，所述
Figure FDA0003378425530000024
所述0为全零矩阵。
10.根据权利要求1所述的方法，其特征在于，抽取实体特征并根据所述标签相似度图构建标签特征，包括：
通过特征挖掘确定所述实体集合中的每个实体ui的多维实体特征
Figure FDA0003378425530000025
根据所述标签相似度图Sh进行对称归一化处理，得到归一化矩阵
Figure FDA0003378425530000026
根据所述归一化矩阵
Figure FDA0003378425530000027
计算正值逐点互信息矩阵x(h)；
根据所述正值逐点互信息矩阵X(h)构造所述标签特征，其中，所述矩阵X(h)的第j行
Figure FDA0003378425530000028
作为第j个标签hj的所述标签特征
Figure FDA0003378425530000029
11.根据权利要求1所述的方法，其特征在于，将所述实体特征和所述标签特征输入预测模型进行训练，包括：
利用输入端多层感知器分别对输入的所述实体特征和所述标签特征进行降维；
将降维后的所述实体特征和所述标签特征输入所述预测模型，得到每个实体对应的实体节点嵌入表示和每个标签对应的标签节点嵌入表示；
通过输出端多层感知器分别对所述实体节点嵌入表示和所述标签节点嵌入表示进行降维；
对降维后的所述实体节点嵌入表示和所述标签节点嵌入进行点乘操作，得到所述预测结果。
12.根据权利要求11所述的方法，其特征在于，将降维后的所述实体特征和所述标签特征输入图卷积网络，包括：
将降维后的所述实体特征和所述标签特征输入第一图卷积网络，所述第一图卷积网络通过转换函数引入所述实体标签关联二部图的拓扑结构信息，输出实体节点和标签节点的中间嵌入表示；
将实体节点的中间嵌入表示输入第二图卷积网络，所述第二图卷积网络通过转换函数引入所述实体相似度图的拓扑结构信息和边权值信息，输出所述实体节点嵌入表示；
将标签节点的中间嵌入表示输入第三图卷积网络，所述第三图卷积网络通过转换函数引入所述标签相似度图的拓扑结构信息和边权值信息，输出所述标签节点嵌入表示。
13.根据权利要求11所述的方法，其特征在于，利用输入端多层感知器分别对输入的所述实体特征和所述标签特征进行降维，还包括：
实体节点ui在其对应的输入端多层感知器的第l层隐含层的转换函数定义为：
Figure FDA0003378425530000031
其中，
Figure FDA0003378425530000032
表示实体ui在输入端多层感知器的第l层隐含层所产生的隐含表示，
Figure FDA0003378425530000033
表示实体ui在多层感知器的第l-1层隐含层所产生的隐含表示，且
Figure FDA0003378425530000034
为实体ui的实体特征，Wu (l)为待训练的权重参数矩阵，bu (l)为偏置参数，σ(·)为激活函数；
标签节点hj在其对应的输入端多层感知器的第l层隐含层的转换函数定义为：
Figure FDA0003378425530000035
其中，
Figure FDA0003378425530000036
表示标签hj在第l层隐含层所产生的隐含表示，
Figure FDA0003378425530000037
表示标签hj在第l-1层隐含层所产生的隐含表示，且
Figure FDA0003378425530000038
为标签hj的标签特征，Wh (l)为待训练的权重参数矩阵，bh (l)为偏置参数，σ(·)为激活函数。
14.根据权利要求12所述的方法，其特征在于，所述第一图卷积网络通过转换函数引入所述实体标签关联二部图的拓扑结构信息，包括：
所述实体节点ui在所述第一图卷积网络的第l层的转换函数为：
Figure FDA0003378425530000041
所述标签节点hj在所述第一图卷积网络的第l层的转换函数为：
Figure FDA0003378425530000042
其中，
Figure FDA0003378425530000043
和
Figure FDA0003378425530000044
分别指实体ui和标签hj在第一图卷积网络的第l层产生的嵌入表示，且
Figure FDA0003378425530000045
和
Figure FDA0003378425530000046
分别指降维后的所述实体特征和所述标签特征，
Figure FDA0003378425530000047
表示在实体标签关联二部图中与实体ui关联的标签节点集合，
Figure FDA0003378425530000048
表示在实体标签关联二部图中与标签hj关联的实体节点集合，
Figure FDA0003378425530000049
和
Figure FDA00033784255300000410
为第一图卷积网络中待训练的第l层权重参数矩阵，σ为激活函数。
15.根据权利要求12所述的方法，其特征在于，所述第二图卷积网络通过转换函数引入所述实体相似度图的拓扑结构信息和边权值信息，包括：
所述实体节点ui在所述第二图卷积网络的第l层图卷积网络中的转换函数为：
Figure FDA00033784255300000411
其中，
Figure FDA00033784255300000412
指实体ui在第l层产生的嵌入表示，
Figure FDA00033784255300000413
指实体ui′在第l-1层产生的嵌入表不，
Figure FDA00033784255300000414
Su为所述实体相似度图，
Figure FDA00033784255300000415
为所述第二图卷积网络中待训练的第l层权重参数矩阵，σ(·)为激活函数。
16.根据权利要求12所述的方法，其特征在于，所述第三图卷积网络通过转换函数引入所述标签相似度图的拓扑结构信息和边权值信息，包括：
所述标签节点hj在所述第三图卷积网络的第l层图卷积网络中的转换函数为：
Figure FDA00033784255300000416
其中，
Figure FDA00033784255300000417
指标签hj在第l层产生的嵌入表示，
Figure FDA00033784255300000418
指标签hj在第l-1层产生的嵌入表示，
Figure FDA00033784255300000419
Sh为所述标签相似度图，
Figure FDA00033784255300000420
为所述第三图卷积网络中待训练的第l层权重参数矩阵，σ(·)为激活函数。
17.根据权利要求14-16中任一项所述的方法，其特征在于，所述激活函数σ采用带泄漏线性整流函数LeakyReLU。
18.根据权利要求11所述的方法，其特征在于，通过输出端多层感知器分别对所述实体节点嵌入表示和所述标签节点嵌入表示进行降维，还包括：
实体节点ui在其对应的输出端多层感知器的第l层隐含层的转换函数定义为：
Figure FDA0003378425530000051
其中，
Figure FDA0003378425530000052
表示实体ui在输出端多层感知器的第l层隐含层所产生的隐含表示，
Figure FDA0003378425530000053
表示实体ui在输出端多层感知器的第l-1层隐含层所产生的隐含表示，且
Figure FDA0003378425530000054
为实体ui的所述实体节点嵌入表示，Wu (l)为待训练的权重参数矩阵，bu (l)为偏置参数，σ(·)为激活函数；
标签节点hj在其对应的输出端多层感知器的第l层隐含层的转换函数定义为：
Figure FDA0003378425530000055
其中，
Figure FDA0003378425530000056
表示标签hj在对应的输出端多层感知器的第l层隐含层所产生的隐含表示，
Figure FDA0003378425530000057
表示标签hj在第l-1层隐含层所产生的隐含表示，且
Figure FDA0003378425530000058
为标签hj的所述标签节点嵌入表示，Wh (l)为待训练的权重参数矩阵，bh (l)为偏置参数，σ(·)为激活函数。
19.根据权利要求13或18所述的方法，其特征在于，所述激活函数采用线性整流函数ReLU。
20.根据权利要求12所述的方法，其特征在于，对降维后的所述实体节点嵌入表示和所述标签节点嵌入进行点乘操作，得到所述预测结果，包括：
获取所述输出端多层感知器产生的实体ui的实体节点嵌入表示
Figure FDA0003378425530000059
和标签hj的标签节点嵌入
Figure FDA00033784255300000510
计算实体ui与标签hj间具有关联的似然性分数
Figure FDA00033784255300000511
以预测实体ui和标签hj之间的相似度。
21.根据权利要求2所述的方法，其特征在于，还包括：
将所述实体标签关联网络
Figure FDA00033784255300000512
中的正样本的目标值提升为指定大于1的常数，以确定增强关联矩阵
Figure FDA00033784255300000513
使用所述增强关联矩阵
Figure FDA00033784255300000514
作为拟合目标对所述预测模型进行迭代训练，直至模型收敛。
22.根据权利要求21所述的方法，其特征在于，还包括：
使用最小平方误差损失函数
Figure FDA00033784255300000515
训练所述预测模型；
所述最小平方误差损失函数
Figure FDA0003378425530000061
其中，Y为预测结果矩阵，
Figure FDA0003378425530000062
为增强关联矩阵，λ为衰减因子；Ω为观测到元素的掩模矩阵；所述。为逐元素积，Θ指模型中所有的待训练参数，||·||F为Frobenius范数，||·||2为L2范数。
23.根据权利要求1所述的方法，其特征在于，还包括：
使用RMSProp优化器对目标函数进行优化；
所述优化器通过梯度下降算法不断降低目标函数值并优化更新模型参数，直到目标函数值达到收敛后训练终止。
24.一种实体标签关联预测装置，其特征在于，被配置为用于执行如权利要求1-23中任一项所述的方法，包括：
网络确定模块，用于确定实体关系网络、标签关系网络以及实体标签关联网络，所述实体标签关联网络包含未知的实体标签关联关系；
图构造模块，用于根据所述实体关系网络构造实体相似度图，根据所述标签关系网络和所述实体标签关联网络构造标签相似度图；以及根据所述实体标签关联网络构造实体标签关联二部图；
特征构造模块，用于抽取实体特征，并根据标签相似度图构建标签特征；
预测模型模块，将所述实体相似度图、所述标签相似度图和所述实体标签关联二部图融入图卷积网络以构建预测模型；将所述实体特征、所述标签特征输入所述预测模型进行训练直至模型收敛，输出所述预测模型的预测结果，所述预测结果包括每个实体和每个标签之间的关联关系。
25.一种实体标签关联预测装置，其特征在于，包括：
至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行：如权利要求1-23中任一项所述的方法。
26.一种计算机可读存储介质，所述计算机可读存储介质存储有程序，当所述程序被多核处理器执行时，使得所述多核处理器执行如权利要求1-23中任一项所述的方法。
CN202111424257.6A 2021-11-26 2021-11-26 一种实体标签关联预测方法、装置及计算机可读存储介质 Pending CN114091614A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111424257.6A CN114091614A (zh) 2021-11-26 2021-11-26 一种实体标签关联预测方法、装置及计算机可读存储介质
PCT/CN2022/117421 WO2023093205A1 (zh) 2021-11-26 2022-09-07 一种实体标签关联预测方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111424257.6A CN114091614A (zh) 2021-11-26 2021-11-26 一种实体标签关联预测方法、装置及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN114091614A true CN114091614A (zh) 2022-02-25

Family

ID=80305152

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111424257.6A Pending CN114091614A (zh) 2021-11-26 2021-11-26 一种实体标签关联预测方法、装置及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN114091614A (zh)
WO (1) WO2023093205A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023093205A1 (zh) * 2021-11-26 2023-06-01 中国银联股份有限公司 一种实体标签关联预测方法、装置及计算机可读存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116400317B (zh) * 2023-06-08 2023-08-18 中国人民解放军战略支援部队航天工程大学 基于图卷积的散射拓扑特征构建与空间目标识别方法
CN117095741B (zh) * 2023-10-19 2024-01-30 华东交通大学 基于图自注意力的微生物-药物关联预测方法
CN117352189B (zh) * 2023-12-06 2024-03-15 中南大学 基于高阶拓扑结构的异常行为评估方法、系统及设备
CN117540175A (zh) * 2024-01-09 2024-02-09 海纳云物联科技有限公司 一种模型训练方法、预测方法、装置、设备及介质
CN117829265B (zh) * 2024-03-01 2024-06-18 国网智能电网研究院有限公司 一种基于中介空间构建的电力跨模态双向知识迁移方法
CN117954038B (zh) * 2024-03-27 2024-06-18 江西曼荼罗软件有限公司 一种临床病历文本识别方法、系统、可读存储介质及设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150220530A1 (en) * 2014-01-31 2015-08-06 Google Inc. Efficient similarity ranking for bipartite graphs
CN106326345A (zh) * 2016-08-08 2017-01-11 浙江工业大学 一种基于用户行为的社交网络中朋友关系挖掘方法
EP3640864A1 (en) * 2018-10-18 2020-04-22 Fujitsu Limited A computer-implemented method and apparatus for inferring a property of a biomedical entity
CN111881840A (zh) * 2020-07-30 2020-11-03 北京交通大学 一种基于图网络的多目标跟踪方法
CN112559640A (zh) * 2020-12-06 2021-03-26 支付宝(杭州)信息技术有限公司 图谱表征系统的训练方法及装置
CN112766500A (zh) * 2021-02-07 2021-05-07 支付宝(杭州)信息技术有限公司 图神经网络的训练方法及装置
CN113362157A (zh) * 2021-05-27 2021-09-07 中国银联股份有限公司 异常节点识别方法、模型的训练方法、装置及存储介质
US11126689B1 (en) * 2018-01-24 2021-09-21 Hrl Laboratories, Llc Automated system to identify polarized groups on social media

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232889A (zh) * 2020-11-06 2021-01-15 腾讯科技（深圳）有限公司 一种用户兴趣画像扩展方法、装置、设备及存储介质
CN112487199B (zh) * 2020-11-24 2022-02-18 杭州电子科技大学 一种基于用户购买行为的用户特征预测方法
CN113010687B (zh) * 2021-03-03 2023-02-03 广州视源电子科技股份有限公司 一种习题标签预测方法、装置、存储介质以及计算机设备
CN114091614A (zh) * 2021-11-26 2022-02-25 中国银联股份有限公司 一种实体标签关联预测方法、装置及计算机可读存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150220530A1 (en) * 2014-01-31 2015-08-06 Google Inc. Efficient similarity ranking for bipartite graphs
CN106326345A (zh) * 2016-08-08 2017-01-11 浙江工业大学 一种基于用户行为的社交网络中朋友关系挖掘方法
US11126689B1 (en) * 2018-01-24 2021-09-21 Hrl Laboratories, Llc Automated system to identify polarized groups on social media
EP3640864A1 (en) * 2018-10-18 2020-04-22 Fujitsu Limited A computer-implemented method and apparatus for inferring a property of a biomedical entity
CN111881840A (zh) * 2020-07-30 2020-11-03 北京交通大学 一种基于图网络的多目标跟踪方法
CN112559640A (zh) * 2020-12-06 2021-03-26 支付宝(杭州)信息技术有限公司 图谱表征系统的训练方法及装置
CN112766500A (zh) * 2021-02-07 2021-05-07 支付宝(杭州)信息技术有限公司 图神经网络的训练方法及装置
CN113362157A (zh) * 2021-05-27 2021-09-07 中国银联股份有限公司 异常节点识别方法、模型的训练方法、装置及存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
LI CY等: "Dual Graph Embedding for Object-Tag Link Prediction on the Knowledge Graph", 11TH IEEE INTERNATIONAL CONFERENCE ON KNOWLEDGE GRAPH (IEEE ICKG), 11 September 2020 (2020-09-11), pages 283 - 290 *
ZHANG MX等: "Random Walk-based Top-k Tag Generation in Bipartite Networks of Entity-Term Type", 31ST IEEE INTERNATIONAL CONFERENCE ON TOOLS WITH ARTIFICIAL INTELLIGENCE (ICTAI), 13 February 2020 (2020-02-13), pages 125 - 132 *
ZHENG JL等: "Research on Knowledge Recommendation Based on Weighted Directional Tripartite Graphic Network Structure", 12TH CHINESE CONFERENCE ON COMPUTER SUPPORTED COOPERATIVE WORK AND SOCIAL COMPUTING, 31 December 2017 (2017-12-31), pages 201 - 204 *
盛俊等: "基于模块度和标签传递的推荐算法", 计算机应用, vol. 40, no. 09, 9 May 2020 (2020-05-09), pages 2606 - 2612 *
陈港等: "基于多元异构数据融合的失信被执行人特征提取研究", 法制博览, no. 32, 31 December 2020 (2020-12-31), pages 187 - 188 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023093205A1 (zh) * 2021-11-26 2023-06-01 中国银联股份有限公司 一种实体标签关联预测方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
WO2023093205A1 (zh) 2023-06-01

Similar Documents

Publication Publication Date Title
CN114091614A (zh) 一种实体标签关联预测方法、装置及计算机可读存储介质
Sarkar et al. Practical machine learning with Python
Feng et al. Learning on partial-order hypergraphs
CN110516160A (zh) 基于知识图谱的用户建模方法、序列推荐方法
CN112733027B (zh) 一种基于局部和全局表示模型联合学习的混合推荐方法
Duan et al. MS2GAH: Multi-label semantic supervised graph attention hashing for robust cross-modal retrieval
CN113312480B (zh) 基于图卷积网络的科技论文层级多标签分类方法及设备
Wen et al. Neural attention model for recommendation based on factorization machines
Chen et al. New ideas and trends in deep multimodal content understanding: A review
Sadr et al. ACNN-TL: attention-based convolutional neural network coupling with transfer learning and contextualized word representation for enhancing the performance of sentiment classification
CN112800344B (zh) 一种基于深度神经网络的电影推荐方法
Yao et al. Knowledge enhanced person-job fit for talent recruitment
Mukunthu et al. Practical automated machine learning on Azure: using Azure machine learning to quickly build AI solutions
Wu et al. Knowledge representation via joint learning of sequential text and knowledge graphs
CN112257959A (zh) 用户风险预测方法、装置、电子设备及存储介质
CN114238758B (zh) 一种基于多源跨界数据融合的用户画像预测方法
CN114168804B (zh) 一种基于异质子图神经网络的相似信息检索方法和系统
Yu et al. A graph attention network under probabilistic linguistic environment based on Bi-LSTM applied to film classification
Liu et al. Hands-On Deep Learning Architectures with Python: Create deep neural networks to solve computational problems using TensorFlow and Keras
CN115062779A (zh) 基于动态知识图谱的事件预测方法及装置
Chaudhary et al. A Review of Deep Learning Models for Twitter Sentiment Analysis: Challenges and Opportunities
Mots' oehli et al. Deep active learning in the presence of label noise: A survey
Venkatesan et al. Sentimental Analysis of Industry 4.0 Perspectives Using a Graph‐Based Bi‐LSTM CNN Model
Shi et al. Learning from crowds with sparse and imbalanced annotations
Quan Visualization and Analysis Model of Industrial Economy Status and Development Based on Knowledge Graph and Deep Neural Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination