Nothing Special   »   [go: up one dir, main page]

CN116414988A - 基于依赖关系增强的图卷积方面级情感分类方法及系统 - Google Patents

基于依赖关系增强的图卷积方面级情感分类方法及系统 Download PDF

Info

Publication number
CN116414988A
CN116414988A CN202310449651.8A CN202310449651A CN116414988A CN 116414988 A CN116414988 A CN 116414988A CN 202310449651 A CN202310449651 A CN 202310449651A CN 116414988 A CN116414988 A CN 116414988A
Authority
CN
China
Prior art keywords
dependency
emotion
words
graph
word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310449651.8A
Other languages
English (en)
Inventor
刘培玉
李宏业
董开放
姜宝兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Normal University
Original Assignee
Shandong Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Normal University filed Critical Shandong Normal University
Priority to CN202310449651.8A priority Critical patent/CN116414988A/zh
Publication of CN116414988A publication Critical patent/CN116414988A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种基于依赖关系增强的图卷积方面级情感分类方法及系统，涉及情感分类技术领域。具体步骤为，获取目标句子，利用编码器得到目标句子的向量表示；根据目标句子的向量表示，利用解析器对目标句子的依赖关系进行解析，得到带有上下文词和方面词之间的情感依赖关系的依存树；根据方面词与观点词的显式连接将依存树进行重构和转化，得到重构的依赖图；利用图卷积网络对目标句子的向量表示与重构后的依赖图进行特定方面词的情感依赖性学习并提取面向方面的特征；利用分类器模型对面向方面的特征进行分类并预测目标句子的情绪极性。本发明解决了现有的基于方面的情感分类存在的依赖关系的未充分利用和缺少有效的强化语义信息方式的问题。

Description

基于依赖关系增强的图卷积方面级情感分类方法及系统
技术领域
本发明涉及情感分类技术领域，尤其涉及一种基于依赖关系增强的图卷积方面级情感分类方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
基于方面的情感分类(Aspect-based Sentiment Classification，ABSC)是一种细粒度的情感分析任务，对于给定的文本，检测出现在同一文本中的单个或多个方面词，判断其情感极性(积极、消极或中性)。例如，在句子，“我非常喜欢这里的氛围，但是这里的食物不值这个价钱。”中有两个方面，分别是“氛围”和“食物”，“氛围”的情感极性是积极的，“食物”的情感极性是消极的。近些年来网络的快速进步随之带来电子商务的兴起及快速发展，各个社交网站和购物网站有大量的评论数据需要处理，因此，ABSC也进展迅猛，评论句子中的方面词往往是某些具体事物，比如商品和景点。大量的文本会体现出大量的情感，仅通过人眼对文本进行分析则需要耗费大量的时间和精力，而通过建立文本情感分析应用系统，能够快速判断方面的情感极性，根据情感极性的判断结果可以帮助商家快速了解消费者体验并改进产品的优缺点，解析市场行情；在日常生活中，也可以帮助游客提取其他游客对于景点的反馈，做到快速攻略景点。
近年来，许多研究者的工作已经证明了句法依赖分析在ABSC中的有效性。依赖分析通常可以捕获方面词及其最相关的修饰语并建立连接关系。借助这些依赖关系，模型可以获取文本中的语法信息，提高模型的性能。然而，简单地建立依赖关系连接，对所有依赖关系一视同仁而没有更多的语义信息，导致不能充分利用句法依赖解析的优势。
在句子的依赖关系中，方面词可能与与其情感极性最相关的词有直接的依赖关系。例如，在“I likes the atmosphere very much and the foodwas worth the price.”这句话中，“likes”和“atmosphere”有直接的依赖关系。然而，在大多数情况下，在句子的依赖关系中，方面词并不是直接连接与其情感极性最相关的词，而是通过多个关系连接。在上述例句的后半部分，“food”与“was”有依赖关系，“was”与“worth”有依赖关系。通过“was”，“food”和“worth”的建立两步间隔连接。同时，该多步连接有其特定的组合关系。在这句话中，“food”和“was”的关系是“nsubj”，“was”和“worth”的关系是“acomp”，这是一种常见的句法组合。以往的工作往往忽略了这种句式连接，简单地建立词语之间的依赖联系，导致关键信息的丢失。
相关工作曾通过划分依赖类型来区分不同依赖关系的重要程度，并通过注意力层综合学习上下文信息。但是该方法对依赖类型划分相对简单，并且忽略了语言学知识即句式连接在依赖关系中的利用，因此对依赖关系的使用尚不充分。引入外部情感常识知识是一种有效的强化语义信息方式，从情感常识知识词典中的情感分值中获取支持，情感偏向和情感强度可以附加到依赖关系上，从而使情感观点词得到更多关注，但是单一情感词典其容量的有限性致使其不能覆盖所有的观点词。同时，引入外部情感常识知识同时也会带来一定的噪音，对方面词不相关的单词施以情感强化，会使其得到更多关注从而影响判断。因此，现有的基于方面的情感分类存在着依赖关系的未充分利用和缺少有效的强化语义信息方式的问题。
发明内容
针对现有技术存在的不足，本发明的目的是提供一种基于依赖关系增强的图卷积方面级情感分类方法及系统，在依赖图生成过程中，利用语言学知识设置依赖关系组合规则集，使更多文本的依赖图中方面词与观点词获得显式连接关系，从而，获得更加准确的注意力分布实现依赖关系的充分利用；还引入双重情感常识知识词典增强语义信息，弥补单一情感词典的不足，利用执行词性引导的剪枝策略来消除噪音，共同实现有效的语义信息强化，实现基于方面的情感快速而准确的分类，为大量文本情感的提取分析工作提供了新的思路。
为了实现上述目的，本发明是通过如下的技术方案来实现：
本发明第一方面提供了一种基于依赖关系增强的图卷积方面级情感分类方法，包括以下步骤：
获取目标句子，利用编码器对目标句子进行编码，得到目标句子的向量表示；
根据目标句子的向量表示，利用解析器对目标句子的依赖关系进行解析，得到带有上下文词和方面词之间的情感依赖关系的依存树；
根据方面词与观点词的显式连接将依存树进行重构和转化，得到重构的依赖图；
利用图卷积网络对目标句子的向量表示与重构后的依赖图进行特定方面词的情感依赖性学习；
根据特定方面词的情感依赖性学习结果提取面向方面的特征；
利用分类器模型对面向方面的特征进行分类，根据分类结果预测目标句子的情绪极性。
进一步的，根据方面词与观点词的显式连接将依存树进行转化，得到重构的依赖图的具体步骤为：首先根据依存树为目标句子构建一个普通的依赖图；对普通的依赖图建立方面-意见组合连接并执行词性引导的剪枝策略，得到包含句子句法信息的强化依赖关系图；基于上下文词和方面词之间的情感依赖关系，根据句子的句法信息将每个句子建模为面向特定方面的情感增强依赖关系图，同时对上下文词和方面词之间的情感依赖关系做强化表示，得到初步重构的依赖图；然后，将情感增强依赖关系图通过图卷积网络模型捕获包含全局节点信息的句子的图形表示，得到最终重构的依赖图。
更进一步的，根据语言学和经验知识设置依赖关系组合规则集，通过依赖关系组合规则集定位与方面词相关的观点词，得到方面词与观点词的显式连接，将方面词与观点词的显式连接称为方面-意见组合连接。
更进一步的，通过依赖关系组合规则集定位与方面词相关的观点词，得到方面词与观点词的显式连接的具体步骤为：
根据单词在依存树中的依存性质，分别建立头节点集R1和子节点集R2两个规则集；
定位方面词的头节点，若其头节点所属单词依赖性质属于R1，则继续寻找该头节点的子节点，若其子节点的依赖性质属于R2，则该节点为方面词的观点词，并在依赖图中建立两节点的关系；
根据依赖图中建立两节点的关系得到体现方面词与观点词的显式连接的邻接矩阵。
更进一步的，执行词性引导的剪枝策略的具体步骤为：根据语言学和经验知识，在依存树中手动选择可能不相关的词性，将其定义为POS，将POS依次添加到不相关词性列表P中；在添加POS后，若能使模型性能提升，则将这个POS定义为P中的一个元素，否则POS不属于P；最终，通过在依赖图中去除P中所有元素的依赖关系更新邻接矩阵。
更进一步的，采用两个多功能情感知识库分别构成情感常识字典，利用情感常识字典对单词进行查找，得到单词情感得分，根据单词情感得分将每个句子建模为面向特定方面的情感增强依赖关系图，并对上下文词和方面词之间的情感依赖关系做强化表示。
更进一步的，所述单词情感得分的设置规则为：查找过程中，当单词在两个字典中都不存在，则设置为0，表示为中性词或不存在；情感越强烈的词，其情感得分的绝对值越接近1。
进一步的，根据特定方面词的情感依赖性学习结果提取面向方面的特征的具体步骤为：对非方面词的隐藏状态向量进行掩码，得到方面导向的掩蔽向量表示；通过基于检索的注意机制将方面导向的掩蔽向量表示生成隐藏状态向量的精细化表示，得到面向方面的特征。
进一步的，通过交叉熵损失函数和正则化函数辅助标准梯度下降算法训练分类器模型。
本发明第二方面提供了一种基于依赖关系增强的图卷积方面级情感分类系统，包括：
编码模块，被配置为获取目标句子，利用编码器对目标句子进行编码，得到目标句子的向量表示；
依存树生成模块，被配置为根据目标句子的向量表示，利用解析器对目标句子的依赖关系进行解析，得到带有上下文词和方面词之间的情感依赖关系的依存树；
依赖图生成模块，被配置为根据方面词与观点词的显式连接将依存树进行重构和转化，得到重构的依赖图；
图卷积模块，利用图卷积网络对目标句子的向量表示与重构后的依赖图进行特定方面词的情感依赖性学习；
面向方面的遮蔽和注意模块，被配置为根据特定方面词的情感依赖性学习结果提取面向方面的特征；
分类模块，被配置为利用分类器对面向方面的特征进行分类，根据分类结果预测目标句子的情绪极性。
以上一个或多个技术方案存在以下有益效果：
本发明公开了一种基于依赖关系增强的图卷积方面级情感分类方法，提出了一种依赖关系组合规则集，建立方面词与观点词显式关系连接，缓解了单一依赖解析中存在的方面词与观点词距离较远的问题。提出了一种基于词性引导的剪枝策略，减少了文本中的以及情感常识字典中的噪音，进而强化了方面相关的观点词的注意得分。提出了一种基于情感常识知识合并的图生成策略，综合情感常识字典的情感知识，对依赖图执行语义增强，能够显著地提高句子情感极性预测的准确性，实现基于方面的情感快速而准确的分类，为大量文本情感的提取分析工作提供了新的思路。
本发明公开了一种基于依赖关系增强的图卷积方面级情感分类系统，编码模块、依存树生成模块、依赖图生成模块、图卷积模块、面向方面的遮蔽和注意模块以及分类模块组成。能够显著地提升方面级情感分类模型在基准数据集上的性能指标。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本公开实施例一中执行依赖关系组和后的方面-意见连接关系示意图；
图2为本公开实施例一中所述的基于词性引导的剪枝策略示意图；
图3为本公开实施例一中所述的情感常识知识合并策略示意图；
图4为本公开实施例二中所述的基于依赖关系规则增强和语义强化的图卷积网络方面级情感分类模型结构示意图；
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
应当说明的是，本发明实施例中，涉及到目标句子等相关的数据，当本发明以上实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合；
实施例一：
随着科技快速的发展，人眼阅读和人脑分析对于数据的读取已经不能满足于现代社会的需求，庞大的数据需要快速的提取所需信息并且进行分类。本发明实施例一提供了一种基于依赖关系增强的图卷积方面级情感分类方法，能够对大量数据的文本进行情感极性分析，有助于在影评分析、旅游攻略、物品推荐等各个领域为用户提供情感信息的快速提取，用户可以通过这些情感反馈更好的做出选择。在依赖图生成过程中，利用语言学知识设置依赖关系组合规则集，使更多文本的依赖图中方面词与观点词获得显式连接关系即方面-意见组合连接，从而获得更加准确的注意力分布；引入双重情感常识知识词典增强语义信息，弥补单一情感词典的不足；执行词性引导的剪枝策略来消除噪音，与前者互相促成方面词对观点词的关注增强；通过在文本的依赖图上执行图卷积运算训练模型学习到文本的语义信息和句法结构信息。具体包括以下步骤：
步骤1，获取目标句子，利用编码器对目标句子进行编码，得到目标句子的向量表示。本实施例中，编码器为Bi-LSTM编码器。
步骤1.1，在方面词与观点词未建立显式连接的依赖图中，观点词往往会因此不能获得更多的关注，从而导致分类的失误，因此根据语言学和经验知识设置依赖关系组合规则集，并通过这个集合来定位与方面词相关的观点词，并建立两者的显式连接关系。因此本实施例首先给出方面级情感分类任务的一般定义。给定一个长度为n的句子
Figure BDA0004197131780000096
，该句子包含一个对应长度为k的方面词，并且一个方面词可能由多个单词组成，记作{wasp1，...，waspk}，asp1和aspk分别表示方面词的起始位置和终止位置,ωi表示句子中第i个单词。应该注意的是，一个句子可能包含一个或多个不同情感的方面实体，对应于不同的情绪极性，即积极、消极或中性。方面级情感分类任务的目标是通过提取语境中特定的情绪信息来预测给定方面的情感极性。
步骤1.2，为了使用双向长短期记忆网络(BiLSTM)编码器对句子进行编码以初步获取上下文信息，Glove是一个广泛使用的基于全局词频统计的词表征工具，首先通过预先训练的Glove词嵌入向量的嵌入查找表R|V|×m将输入句子中的每个单词映射到m维嵌入向量中，其中|V|代表了嵌入查找表中单词的总个数。通过嵌入映射操作，得到了句子的嵌入表示，记作
Figure BDA0004197131780000091
其中/>
Figure BDA0004197131780000092
表示第i个上下文词ωi的嵌入向量，/>
Figure BDA0004197131780000093
表示第aspi个方面词waspi的嵌入向量，m表示单词嵌入的维度数。在本实施例中，嵌入查找表采用了预训练词嵌入GloVe。将处理好后的句子嵌入送入一个BiLSTM层，得到编码后的结果，用特征向量表示：/>
Figure BDA0004197131780000094
Figure BDA0004197131780000095
代表双向LSTM在时间步骤t的隐藏状态向量,n为单词数量。该特征向量表示会被进一步输入GCN层获取更多情感信息。
步骤2，根据目标句子的向量表示，利用解析器对目标句子的依赖关系进行解析，得到带有上下文词和方面词之间的情感依赖关系的句子中组成单词及单词间有依赖关系的树形结构表示，即依存树。本实施例中，解析器为spaCy编码器。
步骤3，根据方面词与观点词的显式连接将依存树进行重构和转化，得到重构的依赖图，具体步骤为：首先根据依存树为目标句子构建一个普通的依赖图；对普通的依赖图建立方面-意见组合连接并执行词性引导的剪枝策略，得到包含句子句法信息的强化依赖关系图；基于上下文词和方面词之间的情感依赖关系，根据句子的句法信息将每个句子建模为面向特定方面的情感增强依赖关系图，同时对上下文词和方面词之间的情感依赖关系做强化表示，得到初步重构的依赖图；然后，将情感增强依赖关系图通过图卷积网络模型捕获包含全局节点信息的句子的图形表示，得到最终重构的依赖图。
步骤3.1，人们对某件事物进行评论时，是对某一实体做出自己的评价，在评论句子文本中，这一实体即为方面词，修饰该方面词并能决定其情感极性的单词(通常为动词、形容词和副词)，即为观点词，通过依赖关系组合规则集定位与方面词相关的观点词，得到方面词与观点词的显式连接，将方面词与观点词的显式连接称为方面-意见组合连接。
步骤3.1.1，如何合理有效地构建方面词与观点词的显式连接是本发明一大重点。为了预测正确的方面情感极性，有必要将尽可能多的方面词与可以确定其极性的意见词联系起来。例如，在“I likes the atmosphere very much and the food was worth theprice.”这句话中，观点词“likes”直接修饰了方面词“atmosphere”，因此存在直接依赖关系。然而，在大多数句子中，方面词并不直接与观点词相连，而是经常与另一个词间接相连。为此，使用语言学知识经验来连接依赖树中的方面词和观点词，由此可以得到增广后的邻接矩阵。以句子“But the staffwas so horrible to us”为例，方面词"staff"通过"was"间接地与观点词"horrible"相连。观点词"horrible"通过"was"间接连接，因此可以直接建立“staff”与“horrible”的显式连接，具体如图1所示，其三角标注为方面-意见连接。在语言学中，在句法依赖树上进行基于短语的合并不会破坏依赖树的整体结构。通过建立方面词与观点词之间的显式连接，可以解决间隔较远的方面词与观点词之间的信息传递的减弱问题，获得正确的语义信息。具体来说，本实施例建立依存树之后，根据单词在依存树中的依存性质，分别建立头节点集R1和子节点集R2两个规则集，来定位可能的句式连接。
具体步骤为：
(1)根据单词在依存树中的依存性质，分别建立头节点集R1和子节点集R2两个规则集。
头节点集R1
Figure BDA0004197131780000111
{‘ROOT(根节点)’,‘ccomp(被补充说明词)’,‘conj(协同连词)’}，子节点集R2/>
Figure BDA0004197131780000112
{‘acomp(名词修饰语)’,‘ccomp(被补充说明词)’,‘attr(属性)’,‘neg(否定词)’},具体连接为r1:“ROOT-acomp”，r2:“ROOT-ccomp”，r3:“ROOT-attr”，r4:“ROOT-neg”，r5:“ccomp-acomp”，r6:“conj-acomp”，r7:“conj-neg”。
(2)定位方面词的头节点，若其头节点所属单词依赖性质属于R1，则继续寻找该头节点的子节点，若其子节点的依赖性质属于R2，则该节点为方面词的观点词，并在依赖图中建立两节点的关系。
(3)根据依赖图中建立两节点的关系得到体现方面词与观点词的显式连接的邻接矩阵。
邻接矩阵Di，j表示如下：
Figure BDA0004197131780000121
其中，i、j表示矩阵中单词索引，i,j可以相等也可以不相等，相等时表示在矩阵中同一单词的自循环连接，不相等时表示两个单词之间是否有连接。
步骤3.2，通常来说，文本中只有少数几个词(通常为形容词和动词)对预测方面的情感极性有价值，因此根据语言学和经验知识，从依赖树中去除与方面词情感极性无关的单词及其对应的句法依赖关系，提出了一种词性引导的剪枝策略。
执行词性引导的剪枝策略的具体步骤为：根据语言学和经验知识，在依存树中手动选择可能不相关的词性，将其定义为POS，将POS依次添加到不相关词性列表P中；在添加POS后，若能使模型性能提升，则将这个POS定义为P中的一个元素，否则POS不属于P；最终，通过在依赖图中去除P中所有元素的依赖关系更新邻接矩阵。更新后的邻接矩阵为：
Figure BDA0004197131780000122
以句子“There is hardly any good food here”为例，通过解析器的依赖解析，可以得到每个句子的词性序列为[“EX”,“VBZ”,“RB”,“DT”,“JJ”,“NN”,“RB”],在依赖图生成过程中，判断句子中每个单词POS是否属于P，如果不属于P且wi与wj之间存在依赖关系，则
Figure BDA0004197131780000131
和/>
Figure BDA0004197131780000132
设置为1；若属于P，与该单词相关的所有依赖关系在依赖图中映射为0。经过实验，设置P为[DT(限定词)，PRP(代词，人称)，WDT(wh-限定词)，WRB(wh-副词)，FW(外来词)]，具体如图2所示，虚线部分为剪去的依赖关系。
步骤3.3，将情感常识知识整合到图网络中，可以促进模型提取上下文词语与特定方面之间的情感相关依赖关系。为挖掘具体方面的上下文情感知识，综合使用两种特定的情感常识字典，在依赖图构建过程中，对每种依赖连接关系，除原有连接关系外，对连接关系赋以情感常识字典中两个单词的情感得分，对于方面词的所有连接关系，同时会赋予方面情感增强。本实施例中，将SenticNet7和SentiwordNet作为常识知识库构建情感常识字典来修饰图，然后增强图模型提取的情感表示。SenticNet和SentiwordNet是用于意见挖掘和情感分析的公开资源，使用降维来推断常识性概念的极性，并为每个概念提供情感价值。其中，对于强烈的积极概念，情感值非常接近于1，而对于强烈的消极概念，情感值接近于-1，中性概念则接近于0。两者作为多功能情感知识库，在增强情感表征学习方面表现出色。
具体来说，采用两个多功能情感知识库分别构成情感常识字典，利用情感常识字典对单词进行查找，得到单词情感得分，根据单词情感得分将每个句子建模为面向特定方面的情感增强依赖关系图，并对上下文词和方面词之间的情感依赖关系做强化表示。
表示如下：
Si.j＝senti(wi)+senti(wj)，
Figure BDA0004197131780000141
Figure BDA0004197131780000142
其中，senti(wi)∈[-1，1]表示SenticNet和SentiwordNet中的单词情感得分。当SenticNet不包含单词wi时，从SentiwordNet中查找wi。如果它在两个字典中都不存在，则设置为0，表示为中性词或不存在。情感越强烈的词，其情感得分的绝对值越接近1，这对方面词的情感极性的影响就越大。以句子“But the staff was so horrible to us”为例，如图3所示，三角标记为执行策略部分，标记出的连接关系表示使用情感增强的关系连接。ASPi，j表示wi和wj之间的方面词特定增强，当wi和wj中存在方面词时设为1，否则设为0。
可以得到增强邻接矩阵Ai，j的如下表示形式:
Ai,j＝Di，j×(Si，j+ASPi，j+1)。
步骤4，利用图卷积网络对目标句子的向量表示与重构后的依赖图进行特定方面词的情感依赖性学习。将通过BiLSTM编码器获得的目标句子的向量表示Hout以及增强邻接矩阵作为输入被输入到GCN层。
步骤4.1，为了利用句子中的单词与方面词在语义上的联系，依存树重构后获得邻接矩阵Ai，j，将Ai，j输入一个具有L层的GCN网络，以学习给定方面词的情感依赖性。
步骤4.2，GCN通过聚合第l-1层邻居节点的隐藏表示来更新第l层每个节点的隐藏状态：
Figure BDA0004197131780000151
Figure BDA0004197131780000152
Figure BDA0004197131780000153
Figure BDA0004197131780000154
Figure BDA0004197131780000155
其中，
Figure BDA0004197131780000156
是由上一层GCN演化而来的隐藏表示，与邻接矩阵共同输入GCN层进行卷积运算得到/>
Figure BDA0004197131780000157
值得注意的是，/>
Figure BDA0004197131780000158
并没有立即被送入GCN层，而是首先进行了位置感知转换F(·)，用于增强靠近方面的词的上下文重要性，即图中每个节点的初始特征/>
Figure BDA0004197131780000159
是经过位置感知变换后的BiLSTM输出。Wl是可训练的参数矩阵，bl是偏置项，/>
Figure BDA00041971317800001510
是归一化对称邻接矩阵,/>
Figure BDA00041971317800001511
为度矩阵，/>
Figure BDA00041971317800001512
是当前层GCN的输出即特定方面词的情感依赖性学习结果。
步骤5，根据特定方面词的情感依赖性学习结果提取面向方面的特征。
步骤5.1，为了将情感语境信息集中在方面词上并突出其特征表征，对GCN层之后的非方面词的隐藏状态向量
Figure BDA00041971317800001513
进行遮蔽，得到方面导向的遮蔽向量表示。
Figure BDA00041971317800001514
其中，
Figure BDA00041971317800001515
表示要遮蔽的向量，通过图卷积得到，t表示非方面词索引。asp1表示方向词的起始位置，aspk表示方面词的结束位置。由此，可以得到方面导向的遮蔽向量表示:
Figure BDA00041971317800001516
方面导向的遮蔽向量表示
Figure BDA0004197131780000161
将以一种既考虑句法依赖关系又考虑长范围多词关系的方式感知围绕方面的上下文。
步骤5.2，通过基于检索的注意机制将方面导向的掩蔽向量表示生成隐藏状态向量的精细化表示，得到面向方面的特征。
从隐藏状态向量中检索语义上与方面词相关的重要特征，并相应地为每个上下文词设置基于检索的注意权重。注意力权重的计算如下：
Figure BDA0004197131780000162
Figure BDA0004197131780000163
其中，α、β均表示计算过程中的中间参数，无实际含义，
Figure BDA0004197131780000164
表示双向LSTM在时间步t时的隐藏状态向量，预测的最终向量即面向方面的特征r表示为:
Figure BDA0004197131780000165
步骤6，利用分类器模型对面向方面的特征进行分类，根据分类结果预测目标句子的情绪极性。
步骤6.1，得到面向方面的特征r后，将其输入到全连接层，然后输入softmax归一化层，以得到情感极性决策空间上的概率分布
Figure BDA0004197131780000166
Figure BDA0004197131780000167
其中，
Figure BDA0004197131780000168
表示向量空间，dp为维度，与情感标签的维数相同，Wp和bp分别为可学习权值和偏差。
步骤6.2，通过交叉熵损失函数和L2正则化函数辅助标准梯度下降算法训练分类器模型。
Figure BDA0004197131780000171
其中，Λ代表数据集中所有句子的集合，ρ代表输入句子σ中的方面词，λ是L2正则化的超参数，θ包含所有可训练参数。
实施例二：
本发明实施例二提供了一种基于依赖关系增强的图卷积方面级情感分类系统，如图4所示，包括：
编码模块，被配置为获取目标句子，利用编码器对目标句子进行编码，得到目标句子的向量表示；
依存树生成模块，被配置为根据目标句子的向量表示，利用解析器对目标句子的依赖关系进行解析，得到带有上下文词和方面词之间的情感依赖关系的依存树；
依赖图生成模块，被配置为根据方面词与观点词的显式连接将依存树进行重构和转化，得到重构的依赖图；
图卷积模块，利用图卷积网络对目标句子的向量表示与重构后的依赖图进行特定方面词的情感依赖性学习；
面向方面的遮蔽和注意模块，被配置为根据特定方面词的情感依赖性学习结果提取面向方面的特征；
分类模块，被配置为利用分类器对面向方面的特征进行分类，根据分类结果预测目标句子的情绪极性。
以上实施例二中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。
本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于依赖关系增强的图卷积方面级情感分类方法，其特征在于，包括以下步骤：
获取目标句子，利用编码器对目标句子进行编码，得到目标句子的向量表示；
根据目标句子的向量表示，利用解析器对目标句子的依赖关系进行解析，得到带有上下文词和方面词之间的情感依赖关系的依存树；
根据方面词与观点词的显式连接将依存树进行重构和转化，得到重构的依赖图；
利用图卷积网络对目标句子的向量表示与重构后的依赖图进行特定方面词的情感依赖性学习；
根据特定方面词的情感依赖性学习结果提取面向方面的特征；
利用分类器模型对面向方面的特征进行分类，根据分类结果预测目标句子的情绪极性。
2.如权利要求1所述的基于依赖关系增强的图卷积方面级情感分类方法，其特征在于，根据方面词与观点词的显式连接将依存树进行转化，得到重构的依赖图的具体步骤为：首先根据依存树为目标句子构建一个普通的依赖图；对普通的依赖图建立方面-意见组合连接并执行词性引导的剪枝策略，得到包含句子句法信息的强化依赖关系图；基于上下文词和方面词之间的情感依赖关系，根据句子的句法信息将每个句子建模为面向特定方面的情感增强依赖关系图，同时对上下文词和方面词之间的情感依赖关系做强化表示，得到初步重构的依赖图；然后，将情感增强依赖关系图通过图卷积网络模型捕获包含全局节点信息的句子的图形表示，得到最终重构的依赖图。
3.如权利要求2所述的基于依赖关系增强的图卷积方面级情感分类方法，其特征在于，根据语言学和经验知识设置依赖关系组合规则集，通过依赖关系组合规则集定位与方面词相关的观点词，得到方面词与观点词的显式连接，将方面词与观点词的显式连接称为方面-意见组合连接。
4.如权利要求3所述的基于依赖关系增强的图卷积方面级情感分类方法，其特征在于，通过依赖关系组合规则集定位与方面词相关的观点词，得到方面词与观点词的显式连接的具体步骤为：
根据单词在依存树中的依存性质，分别建立头节点集R1和子节点集R2两个规则集；
定位方面词的头节点，若其头节点所属单词依赖性质属于R1，则继续寻找该头节点的子节点，若其子节点的依赖性质属于R2，则该节点为方面词的观点词，并在依赖图中建立两节点的关系；
根据依赖图中建立两节点的关系得到体现方面词与观点词的显式连接的邻接矩阵。
5.如权利要求4所述的基于依赖关系增强的图卷积方面级情感分类方法，其特征在于，执行词性引导的剪枝策略的具体步骤为：根据语言学和经验知识，在依存树中手动选择可能不相关的词性，将其定义为POS，将POS依次添加到不相关词性列表P中；在添加POS后，若能使模型性能提升，则将这个POS定义为P中的一个元素，否则POS不属于P；最终，通过在依赖图中去除P中所有元素的依赖关系更新邻接矩阵。
6.如权利要求5所述的基于依赖关系增强的图卷积方面级情感分类方法，其特征在于，采用两个多功能情感知识库分别构成情感常识字典，利用情感常识字典对单词进行查找，得到单词情感得分，根据单词情感得分将每个句子建模为面向特定方面的情感增强依赖关系图，并对上下文词和方面词之间的情感依赖关系做强化表示。
7.如权利要求6所述的基于依赖关系增强的图卷积方面级情感分类方法，其特征在于，所述单词情感得分的设置规则为：查找过程中，当单词在两个字典中都不存在，则设置为0，表示为中性词或不存在；情感越强烈的词，其情感得分的绝对值越接近1。
8.如权利要求1所述的基于依赖关系增强的图卷积方面级情感分类方法，其特征在于，根据特定方面词的情感依赖性学习结果提取面向方面的特征的具体步骤为：对非方面词的隐藏状态向量进行掩码，得到方面导向的掩蔽向量表示；通过基于检索的注意机制将方面导向的掩蔽向量表示生成隐藏状态向量的精细化表示，得到面向方面的特征。
9.如权利要求1所述的基于依赖关系增强的图卷积方面级情感分类方法，其特征在于，通过交叉熵损失函数和正则化函数辅助标准梯度下降算法训练分类器模型。
10.一种基于依赖关系增强的图卷积方面级情感分类系统，其特征在于，包括：
编码模块，被配置为获取目标句子，利用编码器对目标句子进行编码，得到目标句子的向量表示；
依存树生成模块，被配置为根据目标句子的向量表示，利用解析器对目标句子的依赖关系进行解析，得到带有上下文词和方面词之间的情感依赖关系的依存树；
依赖图生成模块，被配置为根据方面词与观点词的显式连接将依存树进行重构和转化，得到重构的依赖图；
图卷积模块，利用图卷积网络对目标句子的向量表示与重构后的依赖图进行特定方面词的情感依赖性学习；
面向方面的遮蔽和注意模块，被配置为根据特定方面词的情感依赖性学习结果提取面向方面的特征；
分类模块，被配置为利用分类器对面向方面的特征进行分类，根据分类结果预测目标句子的情绪极性。
CN202310449651.8A 2023-04-19 2023-04-19 基于依赖关系增强的图卷积方面级情感分类方法及系统 Pending CN116414988A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310449651.8A CN116414988A (zh) 2023-04-19 2023-04-19 基于依赖关系增强的图卷积方面级情感分类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310449651.8A CN116414988A (zh) 2023-04-19 2023-04-19 基于依赖关系增强的图卷积方面级情感分类方法及系统

Publications (1)

Publication Number Publication Date
CN116414988A true CN116414988A (zh) 2023-07-11

Family

ID=87049434

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310449651.8A Pending CN116414988A (zh) 2023-04-19 2023-04-19 基于依赖关系增强的图卷积方面级情感分类方法及系统

Country Status (1)

Country Link
CN (1) CN116414988A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117171610A (zh) * 2023-08-03 2023-12-05 江南大学 一种基于知识增强的方面情感三元组提取方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117171610A (zh) * 2023-08-03 2023-12-05 江南大学 一种基于知识增强的方面情感三元组提取方法及系统
CN117171610B (zh) * 2023-08-03 2024-05-03 江南大学 一种基于知识增强的方面情感三元组提取方法及系统

Similar Documents

Publication Publication Date Title
Torfi et al. Natural language processing advancements by deep learning: A survey
CN107798140B (zh) 一种对话系统构建方法、语义受控应答方法及装置
CN111666758B (zh) 中文分词方法、训练设备以及计算机可读存储介质
JP2010250814A (ja) 品詞タグ付けシステム、品詞タグ付けモデルのトレーニング装置および方法
CN117076653A (zh) 基于思维链及可视化提升上下文学习知识库问答方法
CN112818698B (zh) 一种基于双通道模型的细粒度的用户评论情感分析方法
CN116204674B (zh) 一种基于视觉概念词关联结构化建模的图像描述方法
Gu et al. Effective inter-aspect words modeling for aspect-based sentiment analysis
Dias et al. State of the Art in Artificial Intelligence applied to the Legal Domain
Lee et al. Detecting suicidality with a contextual graph neural network
CN114417823B (zh) 一种基于句法和图卷积网络的方面级情感分析方法及装置
CN116414988A (zh) 基于依赖关系增强的图卷积方面级情感分类方法及系统
CN111382333B (zh) 基于案件相关性联合学习与图卷积的新闻文本句中案件要素抽取方法
CN112579739A (zh) 基于ELMo嵌入与门控自注意力机制的阅读理解方法
Rizkallah et al. ArSphere: Arabic word vectors embedded in a polar sphere
Wei Research on internet text sentiment classification based on BERT and CNN-BiGRU
CN117076608A (zh) 一种基于文本动态跨度的整合外部事件知识的脚本事件预测方法及装置
Mahmoud et al. Arabic semantic textual similarity identification based on convolutional gated recurrent units
Gao et al. Citation entity recognition method using multi‐feature semantic fusion based on deep learning
Zeng et al. CLG-Trans: Contrastive learning for code summarization via graph attention-based transformer
Rahmath et al. Pre-trained Word Embeddings for Malayalam Language: A Review
Sun et al. LeakGAN-Based Causality Extraction in the Financial Field
Yang et al. Topic-Oriented Controlled Text Generation for Social Networks
CN118503411B (zh) 提纲生成方法、模型训练方法、设备及介质
Tian et al. Fine-Grained Joint Chinese Word Embedding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination