Nothing Special   »   [go: up one dir, main page]

CN113159160B - 一种基于节点注意力的半监督节点分类方法 - Google Patents

一种基于节点注意力的半监督节点分类方法 Download PDF

Info

Publication number
CN113159160B
CN113159160B CN202110412835.8A CN202110412835A CN113159160B CN 113159160 B CN113159160 B CN 113159160B CN 202110412835 A CN202110412835 A CN 202110412835A CN 113159160 B CN113159160 B CN 113159160B
Authority
CN
China
Prior art keywords
node
nodes
network
characteristic
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110412835.8A
Other languages
English (en)
Other versions
CN113159160A (zh
Inventor
俞俊
甘银兰
丁佳骏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202110412835.8A priority Critical patent/CN113159160B/zh
Publication of CN113159160A publication Critical patent/CN113159160A/zh
Application granted granted Critical
Publication of CN113159160B publication Critical patent/CN113159160B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于节点注意力的半监督节点分类方法。本发明步骤如下:步骤(1)数据预处理;步骤(2)特征提取,先经过1‑2层的图卷积网络提取节点特征,作为后序操作的数据准备;步骤(3)节点自适应调整:首先对每个节点平均聚合其一阶邻居的特征,再将节点自身的特征信息和平均聚合后的特征拼接起来,获得所需局部表征;然后把提取出来的局部表征送入一个单层的全连接网络,并将全连接网络的输出结果和步骤(2)得到的节点特征输入门控单元进行特征融合;步骤(4)分类预测以及准确率度量。本发明可对每个节点自适应调整,而且在空间复杂度上较比于图注意力网络有明显的优势,性能也和图注意力网络相当。

Description

一种基于节点注意力的半监督节点分类方法
技术领域
本发明提出了一种基于节点注意力的半监督节点分类方法,主要针对图数据规模大、边密集的情况,利用注意力机制的思想,实现节点的自适应调整,以获取更有辨识度的节点表示,提升模型训练效率和性能。
背景技术
近年来,网络分析受到越来越多的关注。其中,通过对网络中节点和节点之间关系的研究,可为节点打上标记,这些标记包括兴趣爱好和社会影响力等信息。然而现实中的网络图包含大量未标记的节点,如何利用已有标记节点和网络结构关系来有效地对未标记节点分类尤为重要。不同于传统的数据集,每条数据都有自己单独的特征向量,网络中节点因为有边的关系能够相互影响,如社交网络中的朋友关系、论文网络中的相互引用关系等。通过对网络结构的分析,包括节点之间和边之间的关系,利用半监督学习这一小部分已标记节点对网络中未标记节点进行较为精确的分类,可以省去很多人工标记的麻烦以及额外计算的高额开销。
目前,基于网络结构的半监督节点分类问题有以下三个方向,关系学习、特征表示学习和深度学习。关系学习典型的算法,如RN分类器,只适用于比较小型的网络,其计算复杂度相对较高,且需要网络图本身具有某些特殊性质;特征表示学习是基于网络结构学习出节点的特征表示,近年来研究最广的是基于随机游走算法,如DeepWalk和node2vec等。这一方法计算量较小且分类效果较好,应用较为广泛。在深度学习的快速发展下,基于图的卷积神经网络模型以图谱理论为基础,借鉴傅里叶变换在谱域中建立参数化的滤波器,提出了大量优秀的算法,如GCN、GraphSAGE、FastGCN等相比较传统的节点分类算法,基于深度学习的节点分类算法效率更高,但其在运行时间和空间上处于劣势。因此,如何降低图神经网络模型的时间和空间复杂度是目前的研究热点及难点。
在半监督节点分类任务中,存在两方面技术难点。其一为大规模数据下的模型学习问题,考虑到现有的基于深度学习算法的巨额空间和时间开销,如何设计轻量的学习策略,降低模型复杂度;同时,节点的邻域中存在大量噪声,直接吸收邻域信息必然会引入错误信息,如何设计有效的学习方法,自适应调整节点特征表示,获取有效信息并避免引入噪声信息。
发明内容
本发明的目的是针对现有技术的不足,提供一种基于节点注意力的半监督节点分类方法。
本发明解决其技术问题所采用的技术方案包括如下步骤:
步骤(1)数据预处理
对半监督节点分类数据集,遵从GCN的数据处理方式,每一类挑选出20个节点作为训练集,随机选择500个节点作为验证集,1000个节点作为测试集;
步骤(2)特征提取
所有节点(包括训练集、验证集和测试集)先经过单层图卷积网络(GCL)提取节点特征表达,并将得到的节点特征表达作为后序操作的数据准备;
步骤(3)节点自适应调整
首先对每个节点平均聚合其一阶邻居的特征,再将节点自身的特征信息和平均聚合后的特征拼接起来,获得所需局部表征,跨节点交互以获得更丰富的局部表征;然后把提取出来的局部表征送入一个单层的全连接网络(FC),并将全连接网络(FC)的输出结果和步骤(2)得到的节点特征输入门控单元进行特征融合,以此实现对每个节点的特征信息进行重新调节;
步骤(4)分类预测
最后通过一个输出层,输出分类概率,计算准确率。
进一步的,所述的步骤(1)所述的数据预处理:
1-1数据集(Cora,Citeseer,Pubmed).Cora数据集共2708个样本点,每个样本点都是一篇科学论文,所有样本点被分为7个类别,每篇论文都由一个1433维的词向量表示,存在5429次引用关系;Citeseer数据集共3327个样本点,有4732条引用关系,所有样本被分为6大类,每一节点有3703维的特征;Pubmed数据集共19717个样本点,有44338条引用关系。我们按照标准数据集划分方法,对所有数据集进行如下操作:每一类挑选出20个节点作为训练集,从剩下的数据中随机选择500个节点作为验证集,1000个节点作为测试集;
进一步的,所述的步骤(2)所述的特征提取:
2-1通过单层图卷积网络对每个节点提取节点信息。单层图卷积网络主要包含2部分内容:
2-2特征变换:通过一个可学习的参数,得到新的节点特征表达。
2-3特征聚合:2-2步骤得到的节点特征表达,通过拉普拉斯平滑,即将每个节点的邻居及自身的特征表达进行加权求和,作为当前节点的新特性,再对新特征经过激活函数,得到新的节点特征表达。
进一步的,所述的(3)所述的节点自适应调整:
3-1首先定义节点注意力:包括聚合邻域、跨节点交互和门控机制。
3-2聚合邻域:即通过对每个节点的一阶邻居节点的特征表达平均聚合,得到一个含有拓扑信息的局部表征。
3-2跨节点交互:用聚合邻域得到的局部表征和节点自身的特征信息进行拼接,得到一个新的节点表征,并将该节点表征送入一个单层的全连接网络进行自学习,再通过一个激活函数,输出一个和步骤2-3得到的节点表示大小一样的注意力系数矩阵。
3-3门控机制:对步骤3-2得到的结果进行归一化处理,使得其值属于[0,1],然后将归一化后的注意力系数矩阵和步骤2-3产生的节点表示进行对应乘法,得到自适应调整的节点表征。
进一步的,所述的步骤(4)所述的分类预测:
4-1将步骤(3)得到的自适应调整后的节点特征表示,经过一个图卷积层,得到节点的分类概率;并计算出准确度。
本发明有益效果如下:
针对实际应用中的大规模且稠密的图数据,基于图卷积神经网络框架和注意力机制的思想研究节点分分类任务(二分类或多分类),结合图的拓扑信息和节点特征表达,以生产更具表达力的节点表示。拟将中心节点的直接邻域节点的特征表征与自身特征表征进行融合,跨节点交互后经过一个简单的门控机制得到注意力系数矩阵,最后得到自适应调整的节点特征表达。即对重要的特征进行加强,对不重要的信息进行过滤,提高了分类的准确率。此外,此算法的空间复杂度和节点的数量成线性相关,降低了模型的复杂度。
本发明在传统的两层图卷积网络中插入节点注意力模块;和GCN相比,本发明在Cora、Citeseer和Pubmed数据集上性能分别有1.5%,2.4%和0.8%的提升;和GAT相比,也分别有0.5%,0.2%,0.5%的性能提升,并且本发明将注意力计算的空间复杂度从O(E)降到O(N)。
附图说明
图1是本发明总体框架示意图;
图2为节点注意层的详细结构图;
具体实施方式
下面结合附图对本发明做进一步说明。
如图1所示,一种节点注意力的半监督节点分类方法,具体包括如下步骤
步骤(1)数据预处理
对于图节点分类数据集,我们按照标准数据集处理方法,每一类挑选出20个节点作为训练集,从剩下的数据中随机选择500个节点作为验证集,1000个节点作为测试集;
步骤(2)特征提取
所有节点首先经过浅层的图卷积网络提取节点特征,作为后序操作的数据准备;
步骤(3)节点自适应调整
如图2所示,首先对每个节点平均聚合其一阶邻居的特征,再将其自身的特征信息和聚合后的特征拼接起来,跨节点交互以获得更丰富的局部信息;然后把提取出来的局部信息送入一个单层的全连接网络,并将这一结果和步骤(1)得到的特征图输入门控单元进行特征融合,以此实现对每个节点的特征信息进行重新调节;
步骤(4)分类预测
最后通过一个图卷积输出层,输出分类概率,计算准确率。
进一步的,所述的步骤(1)所述的数据预处理:
1-1数据集(Cora,Citeseer,Pubmed).Cora数据集共2708个样本点,每个样本点都是一篇科学论文,所有样本点被分为7个类别,每篇论文都由一个1433维的词向量表示,存在5429次引用关系;Citeseer数据集共3327个样本点,有4732条引用关系,所有样本被分为6大类,每一节点有3703维的特征;Pubmed数据集共19717个样本点,有44338条引用关系。我们按照标准数据集划分方法,对所有数据集进行如下操作:每一类挑选出20个节点作为训练集,从剩下的数据中随机选择500个节点作为验证集,1000个节点作为测试集;
进一步的,所述的步骤(2)所述的特征提取:
2-1通过单层图卷积网络对每个节点提取节点信息。单层图卷积网络主要包含2部分内容:
2-2特征变换。通过一个可优化的参数自学习特征表达。
2-3特征聚合。利用图的拓扑结构,邻接矩阵,传播并吸收邻域特征变换后的节点表示。
进一步的,所述的(3)所述的节点自适应调整:
3-1首先我们定义节点注意力,其由两部分组成分别是聚合邻域,跨节点交互和门控机制。
3-2聚合邻域,即通过对每个节点的直接邻接节点的信息进行平均聚合得到一个压缩后的局部表征。
3-2跨节点交互,用聚合邻域得到的局部表征和自身的特征信息进行拼接,得到一个新的节点表达,并将其送入一个单层的全连接网络进行自学习,输入一个大小和2-3得到的节点表示一样的特征图。
3-3门控机制,对3-2得到的结果进行归一化处理,使得其值属于[0,1],然后将这一矩阵和2-3产生的节点表示做乘法,从而实现节点的自适应调整。
进一步的,所述的步骤(4)所述的分类预测:
4-1根据前一步骤得到的节点表示,经过一个图卷积层,得到分类概率矩阵,并计算出相关的衡量指标。
实施例:以图2中的节点4举例说明,经过步骤(2)得到的节点特征表达记为H=[h1,h2,…,h7],,节点4的节点表征记为h4,节点1的一阶邻居节点记为h1,h2,h3,h5,全连接网络FC记为f,激活函数记为σ,归一化函数记为δ,自适应调整后的节点4的节点特征表达记为h'4
3-2步骤聚合邻域:
3-2步骤跨节点交互:h”=σ(f(h'))
3-3门控机制:h'4=h4*δ(h”)。

Claims (1)

1.一种基于节点注意力的半监督节点分类方法,其特征在于包括如下步骤:
步骤(1)数据预处理
对半监督节点分类数据集,遵从GCN的数据处理方式,每一类挑选出20个节点作为训练集,随机选择500个节点作为验证集,1000个节点作为测试集;
步骤(2)特征提取
所有节点先经过单层图卷积网络提取节点特征表达,并将得到的节点特征表达作为后序操作的数据准备;
步骤(3)节点自适应调整
首先对每个节点平均聚合其一阶邻居的特征,再将节点自身的特征信息和平均聚合后的特征拼接起来,获得所需局部表征,跨节点交互以获得更丰富的局部表征;然后把提取出来的局部表征送入一个单层的全连接网络,并将全连接网络的输出结果和步骤(2)得到的节点特征输入门控单元进行特征融合,以此实现对每个节点的特征信息进行重新调节;
步骤(4)分类预测
最后通过一个输出层,输出分类概率,计算准确率;
步骤(1)所述的数据预处理:
按照标准数据集划分方法,对所有数据集进行如下操作:每一类挑选出20个节点作为训练集,从剩下的数据中随机选择500个节点作为验证集,1000个节点作为测试集;
所述数据集包括:Cora数据集共2708个样本点,每个样本点都是一篇科学论文,所有样本点被分为7个类别,每篇论文都由一个1433维的词向量表示,存在5429次引用关系;Citeseer数据集共3327个样本点,有4732条引用关系,所有样本被分为6大类,每一节点有3703维的特征;Pubmed数据集共19717个样本点,有44338条引用关系;
步骤(2)所述的特征提取:
2-1通过单层图卷积网络对每个节点提取节点信息;
单层图卷积网络主要包含2部分内容:
①特征变换:通过一个可学习的参数,得到新的节点特征表达;
②特征聚合:得到的节点特征表达,通过拉普拉斯平滑,即将每个节点的邻居及自身的特征表达进行加权求和,作为当前节点的新特性,再对新特征经过激活函数,得到新的节点特征表达;
步骤(3)所述的节点自适应调整:
3-1首先定义节点注意力包括:聚合邻域、跨节点交互和门控机制;
①聚合邻域:即通过对每个节点的一阶邻居节点的特征表达平均聚合,得到一个含有拓扑信息的局部表征;
②跨节点交互:用聚合邻域得到的局部表征和节点自身的特征信息进行拼接,得到一个新的节点表征,并将该节点表征送入一个单层的全连接网络进行自学习,再通过一个激活函数,输出一个和步骤2-3得到的节点表示大小一样的注意力系数矩阵;
③门控机制:对得到的局部表征进行归一化处理,使得其值属于[0,1],然后将归一化后的注意力系数矩阵和特征聚合产生的节点表示进行对应乘法,得到自适应调整的节点表征;
步骤(4)所述的分类预测:
将步骤(3)得到的自适应调整后的节点特征表示,经过一个图卷积层,得到节点的分类概率;并计算出准确度。
CN202110412835.8A 2021-04-16 2021-04-16 一种基于节点注意力的半监督节点分类方法 Active CN113159160B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110412835.8A CN113159160B (zh) 2021-04-16 2021-04-16 一种基于节点注意力的半监督节点分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110412835.8A CN113159160B (zh) 2021-04-16 2021-04-16 一种基于节点注意力的半监督节点分类方法

Publications (2)

Publication Number Publication Date
CN113159160A CN113159160A (zh) 2021-07-23
CN113159160B true CN113159160B (zh) 2024-06-25

Family

ID=76868506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110412835.8A Active CN113159160B (zh) 2021-04-16 2021-04-16 一种基于节点注意力的半监督节点分类方法

Country Status (1)

Country Link
CN (1) CN113159160B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114492568A (zh) * 2021-12-20 2022-05-13 西安理工大学 基于Bert模型的节点分类方法
CN114708479B (zh) * 2022-03-31 2023-08-29 杭州电子科技大学 一种基于图结构和特征的自适应防御方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492691A (zh) * 2018-11-07 2019-03-19 南京信息工程大学 一种超图卷积网络模型及其半监督分类方法
CN111582443A (zh) * 2020-04-22 2020-08-25 成都信息工程大学 一种基于Mask机制和层次注意力机制的推荐方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085124B (zh) * 2020-09-27 2022-08-09 西安交通大学 一种基于图注意力网络的复杂网络节点分类方法
CN112085127A (zh) * 2020-10-26 2020-12-15 安徽大学 一种混合高低阶邻居信息的半监督分类方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492691A (zh) * 2018-11-07 2019-03-19 南京信息工程大学 一种超图卷积网络模型及其半监督分类方法
CN111582443A (zh) * 2020-04-22 2020-08-25 成都信息工程大学 一种基于Mask机制和层次注意力机制的推荐方法

Also Published As

Publication number Publication date
CN113159160A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
Yoshida Toward finding hidden communities based on user profile
CN113159160B (zh) 一种基于节点注意力的半监督节点分类方法
WO2023155508A1 (zh) 一种基于图卷积神经网络和知识库的论文相关性分析方法
Shen et al. The analysis of intelligent real-time image recognition technology based on mobile edge computing and deep learning
CN110993037A (zh) 一种基于多视图分类模型的蛋白质活性预测装置
CN110377605A (zh) 一种结构化数据的敏感属性识别与分类分级方法
CN116842194A (zh) 一种电力语义知识图谱系统及方法
CN115761275A (zh) 一种基于图神经网络的无监督社区发现方法及系统
CN114298834A (zh) 一种基于自组织映射网络的个人信用评估方法及系统
Liu et al. Dynamic traffic classification algorithm and simulation of energy Internet of things based on machine learning
CN116527346A (zh) 基于深度学习图神经网络理论的威胁节点感知方法
CN113641821B (zh) 一种社交网络中意见领袖的价值取向识别方法及系统
CN115456093A (zh) 一种基于注意力图神经网络的高性能图聚类方法
CN113743079A (zh) 一种基于共现实体交互图的文本相似度计算方法及装置
Shukla et al. Role of hybrid optimization in improving performance of sentiment classification system
CN117633627A (zh) 一种基于证据不确定性评估的深度学习未知网络流量分类方法及系统
CN114818681B (zh) 一种实体识别方法及系统、计算机可读存储介质及终端
CN111539465A (zh) 一种基于机器学习的物联网非结构化大数据分析算法
CN114298854B (zh) 一种联合学习表示和对齐的弱监督用户身份链接方法
Jiang et al. A massive multi-modal perception data classification method using deep learning based on internet of things
Suresh et al. A fuzzy based hybrid hierarchical clustering model for twitter sentiment analysis
CN116633589A (zh) 社交网络中恶意账户检测方法、设备及存储介质
Yin et al. Gcn-based text classification research
CN117034222A (zh) 用户账号处理方法、装置、电子设备、介质和程序产品
CN114780720A (zh) 一种基于小样本学习的文本实体关系分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant