CN113806545A - 基于标签描述生成的评论文本情感分类方法 - Google Patents
基于标签描述生成的评论文本情感分类方法 Download PDFInfo
- Publication number
- CN113806545A CN113806545A CN202111123240.7A CN202111123240A CN113806545A CN 113806545 A CN113806545 A CN 113806545A CN 202111123240 A CN202111123240 A CN 202111123240A CN 113806545 A CN113806545 A CN 113806545A
- Authority
- CN
- China
- Prior art keywords
- emotion
- comment
- label
- text
- representation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000008451 emotion Effects 0.000 claims abstract description 197
- 238000013145 classification model Methods 0.000 claims abstract description 24
- 238000013507 mapping Methods 0.000 claims abstract description 9
- 239000013598 vector Substances 0.000 claims description 63
- 230000007246 mechanism Effects 0.000 claims description 34
- 230000002457 bidirectional effect Effects 0.000 claims description 13
- 238000012552 review Methods 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 230000003993 interaction Effects 0.000 claims description 9
- 230000003044 adaptive effect Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 21
- 238000002474 experimental method Methods 0.000 description 21
- 238000012549 training Methods 0.000 description 19
- 230000002996 emotional effect Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 3
- 238000002679 ablation Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000012827 research and development Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/353—Clustering; Classification into predefined classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及互联网大数据技术领域,具体涉及基于标签描述生成的评论文本情感分类方法,包括:为各个情感标签生成对应的具有相关性和区分力的标签描述;将各个情感标签及其标签描述映射到预先建立的情感分类模型中;将待分类评论文本输入到所述情感分类模型中,由所述情感分类模型输出对应的预测情感标签;将待分类评论文本的预测情感标签作为其情感分类的结果。本发明中的评论文本情感分类方法能够在数据集不带有标签文本信息的情况下应用标签描述实现评论文本的情感分类,从而能够提高情感分类的准确性和效果。
Description
技术领域
本发明涉及互联网大数据技术领域,具体涉及基于标签描述生成的评论文本情感分类方法。
背景技术
随着互联网的飞速发展,网上购物变得越来越普遍。用户在电商平台购物的过程中会留下相关评论。用户评论对于商家提高其服务水平和产品质量有着重要的价值,因为评论表达了客户的意见与情感倾向。如今,企业可以通过电商平台轻易地收集用户的评论,但无法有效处理所有冗长的用户评论。所以,从用户评论中识别出情感倾向变得十分重要。目前,情感分类已经成为许多研究者重点关注的重要任务。情感分类的目的是给评论文本分配一个情感标签,情感标签反映了评论文本的情感倾向。
针对现有大多数基于神经网络的文本情感分类模型和方法只考虑文本内容相关的情感语义,忽略了与文本相关的评论主体信息以及文本内容所描述评论客体信息的问题,公开号为CN108363753B的中国专利公开了一种《评论文本情感分类模型训练与情感分类方法、装置及设备》,其模型训练包括:获取评论文本、关联的主体和客体信息;基于第一层Bi-LSTM网络融入评论主体和客体注意力机制提取句子级特征表示;在基于第二层Bi-LSTM网络融入评论主体和客体注意力机制提取文档级特征表示;采用双曲正切非线性映射函数将文档级特征映射至情感类别空间,采用softmax分类对模型中的参数进行训练,得到最优文本情感分类模型。
上述现有方案的情感分类方法采用层次双向Bi-LSTM网络模型和注意力机制,实现了文本的上下文语义稳健感知与语义表达,改善文本情感分类的鲁棒性,能够在一定程度上提高分类正确率。但是,现有的情感分类模型只是将类别表示作为情感标签表中的索引,模型缺乏关于分类的细粒度情感标签指导信息。同时,申请人发现情感标签带有的语义信息对文本分类具有积极作用。然而,目前利用情感标签辅助分类的方法,依赖于数据集本身提供的类别标签描述信息,例如“积极”、“消极”或“中性”等;并且,在一些应用场景中数据集只含有简单的类别标签,如“1”、“2”、“3”、“4”、“5”,甚至某些数据集不带有标签文本信息,这使得基于标签描述的情感分类方法难以应用,进而导致情感分类的准确性和效果均不好。因此,如何设计一种能够在数据集不带有标签文本信息的情况下应用标签描述实现评论文本情感分类的方法是亟需解决的技术问题。
发明内容
针对上述现有技术的不足,本发明所要解决的技术问题是:如何提供一种能够在数据集不带有标签文本信息的情况下应用标签描述实现评论文本情感分类的方法,从而提高情感分类的准确性和效果。
为了解决上述技术问题,本发明采用了如下的技术方案:
基于标签描述生成的评论文本情感分类方法,包括以下步骤:
S1:为各个情感标签生成对应的具有相关性和区分力的标签描述;
S2:将各个情感标签及其标签描述映射到预先建立的情感分类模型中;
S3:将待分类评论文本输入到所述情感分类模型中,由所述情感分类模型输出对应的预测情感标签;
S4:将待分类评论文本的预测情感标签作为其情感分类的结果。
优选的,步骤S3中,所述情感分类模型通过如下步骤得到预测情感标签:
S301:对待分类评论文本进行编码,以得到对应的评论上下文表示;
S302:通过自注意力机制提取评论上下文表示对应的自注意力文本表示;
S303:通过标签注意力机制提取评论上下文表示对应的标签注意力文本表示;
S304:通过自适应门控机制融合所述自注意力文本表示和所述标签注意力文本表示,以生成对应的文本最终表示;
S305:基于所述文本最终表示计算评论上下文表示在情感标签上的分布概率,并将分布概率最高的情感标签作为对应待分类评论文本的预测情感标签。
优选的,步骤S1中,通过如下步骤生成情感标签的标签描述:
S101:构建包含若干个评论文本d的语料库D,以及情感标签集C={1,2,…,c};
S102:基于所有情感标签为c的评论文本d计算单词w与情感标签c的相关性得分;
S103:基于所有情感标签为c的评论文本d计算单词w与情感标签c的逆标签频次;
S104:计算单词w相对于情感标签c基于逆标签频次的描述相关性分数;
S105:为情感标签c选取描述相关性分数最高的K个单词[w1,c,…,wi,c,…,wk,c]作为对应的标签描述。
优选的,通过如下公式计算相关性得分:
通过如下公式计算逆标签频次:
通过如下公式计算描述相关性分数:
上述式中:rw,c表示相关性得分;Dc表示语料库D中所有情感标签为c的评论文本;fw,d表示单词w在评论文本d中出现的次数;fw,D表示语料库D中包含单词w的评论文本数量;ILF表示逆标签频次;LF表示标签频次;yd表示评论文本d对应的情感标签;表示描述相关性分数;
优选的,步骤S301中,通过如下步骤对待分类评论文本进行编码:
将待分类评论文本转换成评论文本序列d={w1,…,wi,…,wn};
将词向量xi输入到第一双向GRU中计算词向量xi的浅层隐藏表示;
将词向量xi的浅层隐藏表示输入到第二双向GRU中计算单词之间更复杂的交互作用,以得到词向量xi的交互作用表示;
使用残差连接融合词向量xi的浅层隐藏表示和交互作用表示得到词向量xi的文本表示;
计算各个词向量xi的文本表示以得到待分类评论文本的评论上下文表示;
词向量xi的文本表示如下:
待分类评论文本的评论上下文表示如下:
优选的,步骤S2中,具体包括如下步骤:
基于各个情感标签及其标签描述qc生成对应的标签表示矩阵QL;
QL=(q1,q2,…,qC);
优选的,步骤S302中,通过如下步骤提取自注意力文本表示:
计算评论上下文表示沿其他情感标签的新表示得到对应的自注意力文本表示H(s);
优选的,步骤S303中,通过如下步骤提取标签注意力文本表示:
优选的,步骤S304中,通过如下步骤生成文本最终表示:
通过权重向量a和μ决定自注意力文本表示H(s)和标签注意力文本表示H(l)的重要性;
a=sigmoid(H(s)W4);
μ=sigmoid(H(l)W5);
通过aj和μj分别表示沿第j个情感标签构造文本最终表示时自注意力和标签注意力的重要性;
对aj和μj进行正则化得到
μj=1-aj;
计算评论上下文表示沿其他情感标签的最终表示得到对应的文本最终表示H′;
优选的,步骤S305中,通过如下步骤生成预测情感标签:
使用一个两层前馈神经网络作为情感分类器;
将分布概率最高的情感标签作为对应待分类评论文本的预测情感标签;
本发明中的评论文本情感分类方法与现有技术相比,具有如下有益效果:
本发明能够为各个情感标签生成具有相关性和区分力的标签描述,并映射到情感分类模型中,使得情感分类时能够有效获取相应的类别标签表述信息,进而能够在数据集不带有标签文本信息的情况下生成高质量的标签描述信息,以分类得到更准确的情感标签,即能够在数据集不带有标签文本信息的情况下有效的应用标签描述实现评论文本情感分类,从而提高评论文情感分类的准确性和效果。
本发明基于文本编码机制能够学习得到有效的评论上下文表示,这有利于更准确的实现情感分类。同时,基于双注意力机制(网络)分别提取基于自注意力的文本表示和基于标签注意力的文本表示,使得能够更好的捕获评论文本中的情感特征,进而提高评论文本情感分类的准确性和效果。此外,基于自适应门控机制来融合两个文本表示得到文本最终表示,并通过两层前馈神经网络作为分类器进行情感分类,使得能够有效的对评论文本中的情感特征进行融合表示和分类,从而进一步提高评论文本情感分类的准确性和效果。
本发明通过在三个公开真实数据集上的实验表明,与现有最好的方法相比,本发明的评论文本情感分类方法能够取得更好的分类效果,并且显著减少了训练时长和计算代价。
附图说明
为了使发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步的详细描述,其中:
图1为评论文本情感分类方法的逻辑框图;
图2为情感分类模型的网络构架图;
图3为生成标签描述时取不同K值的实验结果示意图。
具体实施方式
下面通过具体实施方式进一步详细的说明:
实施例:
本实施例中公开了一种基于标签描述生成的评论文本情感分类方法。
如图1和图2所示,基于标签描述生成的评论文本情感分类方法,包括以下步骤:
S1:为各个情感标签生成对应的具有相关性和区分力的标签描述。具体的,相关性是指标签描述中的单词应该在语义上代表该情感标签,即每个单词应该与情感标签有很强的相关性;区分力是指标签描述应具有对不同情感标签的高区分能力,即标签描述中的单词与该情感标签的相关性强,而与其他情感标签的相关性较弱。
S2:将各个情感标签及其标签描述映射到预先建立的情感分类模型中。
S3:将待分类评论文本输入到情感分类模型中,由情感分类模型输出对应的预测情感标签。
S4:将待分类评论文本的预测情感标签作为其情感分类的结果。
在本发明中,能够为各个情感标签生成具有相关性和区分力的标签描述,并映射到情感分类模型中,使得情感分类时能够有效获取相应的类别标签表述信息,进而能够在数据集不带有标签文本信息的情况下生成高质量的标签描述信息,以分类得到更准确的情感标签,即能够在数据集不带有标签文本信息的情况下有效的应用标签描述实现评论文本情感分类,从而提高评论文情感分类的准确性和效果。同时,通过在三个公开真实数据集上的实验表明,与现有最好的方法相比,本发明的评论文本情感分类方法能够取得更好的分类效果,并且显著减少了训练时长和计算代价。
具体实施过程中,结合图2所示,情感分类模型通过如下步骤得到预测情感标签:
S301:对待分类评论文本进行编码,以得到对应的评论上下文表示。
S302:通过自注意力机制(Self-Attention mechanism)提取评论上下文表示对应的自注意力文本表示。
S303:通过标签注意力机制提取评论上下文表示对应的标签注意力文本表示。
S304:通过自适应门控机制融合自注意力文本表示和标签注意力文本表示,以生成对应的文本最终表示。
S305:基于文本最终表示计算评论上下文表示在情感标签上的分布概率,并将分布概率最高的情感标签作为对应待分类评论文本的预测情感标签。具体的,使用一个两层前馈神经网络作为情感分类器进行情感分类,进而得到评论上下文表示在情感标签上的分布概率。
在本发明中,基于文本编码机制能够学习得到有效的评论上下文表示,这有利于更准确的实现情感分类。同时,本发明基于双注意力机制(网络)分别提取基于自注意力的文本表示和基于标签注意力的文本表示,使得能够更好的捕获评论文本中的情感特征,进而提高评论文本情感分类的准确性和效果。此外,本发明基于自适应门控机制来融合两个文本表示得到文本最终表示,并通过两层前馈神经网络作为分类器进行情感分类,使得能够有效的对评论文本中的情感特征进行融合表示和分类,从而进一步提高评论文本情感分类的准确性和效果。
具体的,通过如下步骤对待分类评论文本进行编码:
将待分类评论文本转换成评论文本序列d={w1,…,wi,…,wn};
将词向量xi输入到第一双向GRU(bi-directional Gated-Recurrent Unit,双向选通循环单元)中计算词向量xi的浅层隐藏表示;
将词向量xi的浅层隐藏表示输入到第二双向GRU中计算单词之间更复杂的交互作用,以得到词向量xi的交互作用表示;
使用残差连接融合词向量xi的浅层隐藏表示和交互作用表示得到词向量xi的文本表示;
计算各个词向量xi的文本表示以得到待分类评论文本的评论上下文表示;
词向量xi的文本表示如下:
待分类评论文本的评论上下文表示如下:
具体的,通过如下步骤提取自注意力文本表示:
计算评论上下文表示沿其他情感标签的新表示得到对应的自注意力文本表示H(s);
具体的,通过如下步骤提取标签注意力文本表示:
具体的,通过如下步骤生成文本最终表示:
H(s)更侧重于文本内容,H(l)更注重文本内容与标签表示之间的语义关系;
通过权重向量a和μ决定自注意力文本表示H(s)和标签注意力文本表示H(l)的重要性;
a=sigmoid(H(s)W4);
μ=sigmoid(H(l)W5);
通过aj和μj分别表示沿第j个情感标签构造文本最终表示时自注意力和标签注意力的重要性;
对aj和μj进行正则化得到
μj=1-aj;
计算评论上下文表示沿其他情感标签的最终表示得到对应的文本最终表示H′;
具体的,通过如下步骤生成预测情感标签:
使用一个两层前馈神经网络作为情感分类器;
将分布概率最高的情感标签作为对应待分类评论文本的预测情感标签;
训练所述情感分类模型时,使用负对数似然作为损失函数:
L=-log(P(z*|d));
式中:z*表示真实的评论文本情感标签。
具体实施过程中,通过如下步骤生成情感标签的标签描述:
S101:构建包含若干个评论文本d的语料库D,以及情感标签集C={1,2,…,c}(c表示情感标签)。
S102:基于所有情感标签为c的评论文本d计算单词w与情感标签c的相关性得分。
S103:基于所有情感标签为c的评论文本d计算单词w与情感标签c的逆标签频次。具体的,基于与逆文档频次(Inverse Document Frequency,IDF)相似的逆标签频次策略来计算逆标签频次,用以衡量一个词的识别能力。
S104:计算单词w相对于情感标签c基于逆标签频次的描述相关性分数;
S105:为情感标签c选取描述相关性分数最高的K个单词[w1,c,…,wi,c,…,wk,c]作为对应的标签描述。
在本发明中,通过相关性得分和逆标签频次为每个标签生成特定标签描述的方式,使得能够为无标签描述的数据集生成高质量的标签描述信息,以分类得到更准确的情感标签,即能够在数据集不带有标签文本信息的情况下有效的应用标签描述实现评论文本情感分类,从而提高评论文情感分类的准确性和效果。
具体的,通过如下公式计算相关性得分:
通过如下公式计算逆标签频次:
通过如下公式计算描述相关性分数:
上述式中:rw,c表示相关性得分;Dc表示语料库D中所有情感标签为c的评论文本;fw,d表示单词w在评论文本d中出现的次数;fw,D表示语料库D中包含单词w的评论文本数量;ILF表示逆标签频次;LF表示标签频次;yd表示评论文本d对应的情感标签;表示描述相关性分数;
具体实施过程中,步骤S2具体包括如下步骤:
基于各个情感标签及其标签描述qc生成对应的标签表示矩阵QL;
QL=(q1,q2,…,qC);
为了更好的说明本发明评论文本情感分类方法的优势,本实施例还公开了如下实验。
一、引用文献说明:
数据集:来自(Chan H P,Chen W,King I.A unified dual-view model forreview summarization and sentiment classification with inconsistency loss[C]//Proceedings of the 43rd International ACM SIGIR Conference on Researchand Development in Information Retrieval.2020:1191-1200)。
数据集:从(McAuley J,Targett C,Shi Q,et al.Image-based recommendationson styles and substitutes[C]//Proceedings of the 38th international ACM SIGIRconference on research and development in information retrieval.2015:43-52)中收集的。
word2vec:来自(Mikolov T,Sutskever I,Chen K,et al.Distributedrepresentations of words and phrases and their compositionality[C]//Advancesin neural information processing systems.2013:3111-3119)。
Adam:来自(Kingma D P,Ba J L,Radford A,et al.Adam:A Method forStochastic Optimization[J])。
bi-directional GRU layer:来自(Ramos J.Using tf-idf to determine wordrelevance in document queries[C]//Proceedings of the first instructionalconference on machine learning.2003,242(1):29-48)。
attention mechanism:来自(Bahdanau D,Cho K H,Bengio Y.Neural machinetranslation by jointly learning to align and translate[C]//3rd InternationalConference on Learning Representations,ICLR 2015.2015)。
with glimpse operation:来自(Vinyals O,Bengio S,Kudlur M.Ordermatters:Sequence to sequence for sets[J].2016)。
DARLM:来自(Zhou Q,Wang X,Dong X.Differentiated AttentiveRepresentation Learning for Sentence Classification[C]//IJCAI.2018:4630-4636)。
HSSC、MAX:来自(Ma S,Sun X,Lin J,et al.A hierarchical end-to-end modelfor jointly improving text summarization and sentiment classification[C]//Proceedings of the 27th International Joint Conference on ArtificialIntelligence.2018:4251-4257)。
Dual-view:来自(Chan H P,Chen W,King I.A unified dual-view model forreview summarization and sentiment classification with inconsistency loss[C]//Proceedings of the 43rd International ACM SIGIR Conference on Researchand Development in Information Retrieval.2020:1191-1200)
copy mechanism:来自(See A,Liu P J,Manning C D.Get To The Point:Summarization with Pointer-Generator Networks[C]//Proceedings of the 55thAnnual Meeting of the Association for Computational Linguistics(Volume 1:LongPapers).2017:1073-1083)。
二、实验数据集
本实验使用三个领域的商品评论作为数据集:Sports&Outdoors(后续表示为Sports);Toys&Games(表示为Toys);Home&Kitchen(表示为Home)。实验中,每一个数据样本由一个评论文本和一个评分组成;把评分作为情感标签,它是一个整数,取值范围是[1,5]。
为了减少数据集的噪音,将评论文本长度小于16或者大于800的数据样本过滤。把每个数据集随机分割为训练集、验证集、测试集。数据集的统计信息,如表1所示。其中,“Ave.RL”表示训练集中评论文本的平均长度,“L+c”表示情感标签为c的数据样本在训练集中的比例。
表1数据集统计信息
三、实验评价指标
使用Macro-averaged F1(表示为M.F1)和balance daccuracy(表示为B.Acc)作为评价指标。
Macro-averaged F1赋予每个标签相同的权重,Macro-averaged F1公式定义如下:
B.Acc:balanced accuracy是accuracy针对不平衡数据集的一种变体,其定义如下:
四、实验设置
在每个数据集的训练集上训练一个128维的word2vec,用以初始化包括基线模型在内的所有模型的词嵌入。词汇表被定义为训练集中出现次数最频繁的50000个单词。在实验中de设置为128,du设置为512,γ设置为0.5,batch size设置为32。优化器使用Adam,初始学习率设置为0.001,如果验证集损失停止下降,学习率将减少一半。
五、实验对比模型
本实验的基线模型分为两组:只做情感分类的模型和联合评论摘要与情感分类的模型。
1、只做情感分类的模型
BiGRU+Attention:首先使用一个bi-directional GRU layer,把输入的评论文本编码成隐藏状态。然后利用attention mechanism with glimpse operation,从编码器生成的隐藏状态中聚合信息,生成一个向量。这个向量再经过一个两层前馈神经网络预测情感标签。
DARLM:一个先进的句子分类模型。
2、联合评论摘要与情感分类的模型
HSSC:先进的联合改进评论摘要和情感分类的模型。
MAX:首先使用一个bi-directional GRU layer将输入的评论编码为隐藏状态。然后,这些隐藏状态被摘要解码器和情感分类器共享。情感分类器利用最大池化将编码器生成的隐藏状态聚合成一个向量,然后通过一个两层前馈神经网络预测情感标签。
HSSC+copy:把copy mechanism应用到HSSC模型中,作为一个强基线。
Max+copy:把copy mechanism应用到Max模型中,作为另外一个强基线。
Dual-view:最先进的联合改进评论摘要和情感分类的模型。首先使用编码器学习评论的上下文表示,然后摘要解码器应用copy mechanism逐字生成评论摘要。然后,评论视图情感分类器使用编码器输出的上下文表示来预测评论的情感标签,而摘要视图情感分类器使用解码器的隐藏状态来预测生成的摘要的情感标签。并且在训练过程中,引入一个不一致性损失来惩罚这两个分类器之间的不一致。
六、实验结果与分析
1、情感分类实验结果
本实验在三个公开的数据集上进行实验,表2展示了情感分类实验结果。最好的结果用下划线标出,第二好的结果用波浪线标出。由表2可知,本发明的双注意力深度神经网络模型(表示为LGDA)在三个真实数据集的两个指标上都取得了最好的分类效果。
在Toys数据集上,本发明模型的M.F1达到了57.55%,B.Acc达到了57.59%,分别比最好的基线模型提高了1.85%和3.53%;在Sports数据集上,本发明模型的M.F1达到了56.89%,B.Acc达到55.70%,分别比最好的基线模型提高了0.58%和1.42%;在Home数据集上,本发明模型的M.F1达到了60.95%,B.Acc达到59.81%,分别比最好的基线模型提高了0.22%和0.18%。结果表明,LGDA能够比基线模型更准确地预测评论情感标签。另外,Toys,Sports,Home三个数据集的训练样本数是依次增加的,并且LGDA在三个数据集上比之前最好的模型的提升依次减少。这表明训练数据越充分,LGDA相较于Dual-view提升越少。
表2情感分类实验结果对比(单位:%)
2、消融实验
为了验证本发明模型LGDA中的自注意力、标签注意力、自适应门控机制以及逆标签频次的有效性,本实验在三个数据集上进行了消融实验。实验结果如表3所示,“-L”表示移除标签注意力;“-S”表示移除自注意力;“-G”表示移除自适应门控机制,使用拼接;“-ILF”表示在生成标签描述时不使用ILF,只用TFIDF;“Full”表示完整的模型,最好的实验结果使用下划线标出。
从表3中,可以看到分别移除标签注意力、自注意力、逆标签频次以及用拼接代替自适应门控机制之后,三个数据集上的两个指标都有不同程度的下降。这表明了这四个部分都是有积极作用的。
表3消融实验(单位:%)
3、参数敏感性实验
为了探究生成标签描述时不同K值的影响,本实验在三个数据集上进行了参数敏感性实验。分别取K为10、30、50、70、90,实验结果如图3所示。从图3中,可以看到在Sports和Toys数据集上,K取50时,分类效果最好;在Home数据集上,K取70时,分类效果最好。另外,可以看到随着K值的增大,三个数据集上的所有指标曲线都是先上升后下降。这是因为当K值过小时,选取的关键词较少,信息不充足,无法很好的描述标签,分类性能较差。随着K值增加,选取的关键词增加,信息变得丰富,可以更好的描述标签,分类效果开始提升。当K到达某个值时,分类效果最好。此时K值继续增大,分类效果开始下降,这是因为选取的关键词过多,引入了噪音,降低了模型分类效果。
4、模型计算代价比较
表4报告了LGDA与最优基线模型Dual-view之间的计算代价比较。在训练过程中,两个模型的batch size均设置为32,采用相同的早停策略。从表中,可以看到LGDA在GPU内存消耗以及训练时长上都显著低于Dual-view。这是因为LGDA没有联合摘要生成进行训练,因此,LGDA更简单、消耗GPU内存小、训练时长短。但是通过生成标签描述指导模型分类,在简化模型、降低计算代价的同时,提高了分类效果。
表4不同模型的计算代价比较
5、案例研究
为了更加直观的对比LGDA与最优基线模型Dual-view之间捕获情感特征词的能力,本实验将两个模型对于同一个评论文本单词的注意力权重可视化。如表5所示,颜色越深权重越大,颜色越浅权重越小。从表5中可以看到,Dual-view虽然关注了“love”、“good”等积极的情感词,但是分配的权重较小,同时对于与情感无关的词“buy”、“product”等也分配了较大的权重。而LGDA对于情感词“love”、“good”、“favors”、“well”分配了较大的权重,对于与情感无关的词,分配了很少的权重。所以,LGDA正确地预测了情感标签,而Dual-view预测错了。这表明LGDA拥有更好的捕捉情感特征的能力。
表5不同模型的注意力权重可视化对比
需要说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管通过参照本发明的优选实施例已经对本发明进行了描述,但本领域的普通技术人员应当理解,可以在形式上和细节上对其作出各种各样的改变,而不偏离所附权利要求书所限定的本发明的精神和范围。同时,实施例中公知的具体结构及特性等常识在此未作过多描述。最后,本发明要求的保护范围应当以其权利要求的内容为准,说明书中的具体实施方式等记载可以用于解释权利要求的内容。
Claims (10)
1.基于标签描述生成的评论文本情感分类方法,其特征在于,包括以下步骤:
S1:为各个情感标签生成对应的具有相关性和区分力的标签描述;
S2:将各个情感标签及其标签描述映射到预先建立的情感分类模型中;
S3:将待分类评论文本输入到所述情感分类模型中,由所述情感分类模型输出对应的预测情感标签;
S4:将待分类评论文本的预测情感标签作为其情感分类的结果。
2.如权利要求1所述的基于标签描述生成的评论文本情感分类方法,其特征在于,步骤S3中,所述情感分类模型通过如下步骤得到预测情感标签:
S301:对待分类评论文本进行编码,以得到对应的评论上下文表示;
S302:通过自注意力机制提取评论上下文表示对应的自注意力文本表示;
S303:通过标签注意力机制提取评论上下文表示对应的标签注意力文本表示;
S304:通过自适应门控机制融合所述自注意力文本表示和所述标签注意力文本表示,以生成对应的文本最终表示;
S305:基于所述文本最终表示计算评论上下文表示在情感标签上的分布概率,并将分布概率最高的情感标签作为对应待分类评论文本的预测情感标签。
3.如权利要求2所述的基于标签描述生成的评论文本情感分类方法,其特征在于,步骤S1中,通过如下步骤生成情感标签的标签描述:
S101:构建包含若干个评论文本d的语料库D,以及情感标签集C={1,2,…,c};
S102:基于所有情感标签为c的评论文本d计算单词w与情感标签c的相关性得分;
S103:基于所有情感标签为c的评论文本d计算单词w与情感标签c的逆标签频次;
S104:计算单词w相对于情感标签c基于逆标签频次的描述相关性分数;
S105:为情感标签c选取描述相关性分数最高的K个单词[w1,c,…,wi,c,…,wk,c]作为对应的标签描述。
5.如权利要求4所述的基于标签描述生成的评论文本情感分类方法,其特征在于,步骤S301中,通过如下步骤对待分类评论文本进行编码:
将待分类评论文本转换成评论文本序列d={w1,…,wi,…,wn};
将词向量xi输入到第一双向GRU中计算词向量xi的浅层隐藏表示;
将词向量xi的浅层隐藏表示输入到第二双向GRU中计算单词之间更复杂的交互作用,以得到词向量xi的交互作用表示;
使用残差连接融合词向量xi的浅层隐藏表示和交互作用表示得到词向量xi的文本表示;
计算各个词向量xi的文本表示以得到待分类评论文本的评论上下文表示;
词向量xi的文本表示如下:
待分类评论文本的评论上下文表示如下:
9.如权利要求8所述的基于标签描述生成的评论文本情感分类方法,其特征在于,步骤S304中,通过如下步骤生成文本最终表示:
通过权重向量a和μ决定自注意力文本表示H(s)和标签注意力文本表示H(l)的重要性;
a=sigmoid(H(s)W4);
μ=sigmoid(H(l)W5);
通过aj和μj分别表示沿第j个情感标签构造文本最终表示时自注意力和标签注意力的重要性;
对aj和μj进行正则化得到
μj=1-aj;
计算评论上下文表示沿其他情感标签的最终表示得到对应的文本最终表示H′;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111123240.7A CN113806545B (zh) | 2021-09-24 | 2021-09-24 | 基于标签描述生成的评论文本情感分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111123240.7A CN113806545B (zh) | 2021-09-24 | 2021-09-24 | 基于标签描述生成的评论文本情感分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113806545A true CN113806545A (zh) | 2021-12-17 |
CN113806545B CN113806545B (zh) | 2022-06-17 |
Family
ID=78940371
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111123240.7A Expired - Fee Related CN113806545B (zh) | 2021-09-24 | 2021-09-24 | 基于标签描述生成的评论文本情感分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113806545B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117217218A (zh) * | 2023-11-08 | 2023-12-12 | 中国科学技术信息研究所 | 情感词典构建方法、装置、电子设备及存储介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102567467A (zh) * | 2011-12-02 | 2012-07-11 | 华中科技大学 | 基于视频标签获取视频热点信息的方法 |
CA2846025A1 (en) * | 2013-03-15 | 2014-09-15 | Sears Brands, Llc | Recommendations based upon explicit user similarity |
CN108363753A (zh) * | 2018-01-30 | 2018-08-03 | 南京邮电大学 | 评论文本情感分类模型训练与情感分类方法、装置及设备 |
EP3392884A1 (en) * | 2017-04-21 | 2018-10-24 | audEERING GmbH | A method for automatic affective state inference and an automated affective state inference system |
CN109492229A (zh) * | 2018-11-23 | 2019-03-19 | 中国科学技术大学 | 一种跨领域情感分类方法和相关装置 |
CN109582764A (zh) * | 2018-11-09 | 2019-04-05 | 华南师范大学 | 基于依存句法的交互注意力情感分析方法 |
CN110008342A (zh) * | 2019-04-12 | 2019-07-12 | 智慧芽信息科技(苏州)有限公司 | 文献分类方法、装置、设备及存储介质 |
CN111159400A (zh) * | 2019-12-19 | 2020-05-15 | 苏州大学 | 一种产品评论情感分类方法和系统 |
CN111291183A (zh) * | 2020-01-16 | 2020-06-16 | 支付宝(杭州)信息技术有限公司 | 利用文本分类模型进行分类预测的方法及装置 |
CN111858945A (zh) * | 2020-08-05 | 2020-10-30 | 上海哈蜂信息科技有限公司 | 基于深度学习的评论文本方面级情感分类方法及系统 |
-
2021
- 2021-09-24 CN CN202111123240.7A patent/CN113806545B/zh not_active Expired - Fee Related
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102567467A (zh) * | 2011-12-02 | 2012-07-11 | 华中科技大学 | 基于视频标签获取视频热点信息的方法 |
CA2846025A1 (en) * | 2013-03-15 | 2014-09-15 | Sears Brands, Llc | Recommendations based upon explicit user similarity |
EP3392884A1 (en) * | 2017-04-21 | 2018-10-24 | audEERING GmbH | A method for automatic affective state inference and an automated affective state inference system |
CN108363753A (zh) * | 2018-01-30 | 2018-08-03 | 南京邮电大学 | 评论文本情感分类模型训练与情感分类方法、装置及设备 |
CN109582764A (zh) * | 2018-11-09 | 2019-04-05 | 华南师范大学 | 基于依存句法的交互注意力情感分析方法 |
CN109492229A (zh) * | 2018-11-23 | 2019-03-19 | 中国科学技术大学 | 一种跨领域情感分类方法和相关装置 |
CN110008342A (zh) * | 2019-04-12 | 2019-07-12 | 智慧芽信息科技(苏州)有限公司 | 文献分类方法、装置、设备及存储介质 |
CN111159400A (zh) * | 2019-12-19 | 2020-05-15 | 苏州大学 | 一种产品评论情感分类方法和系统 |
CN111291183A (zh) * | 2020-01-16 | 2020-06-16 | 支付宝(杭州)信息技术有限公司 | 利用文本分类模型进行分类预测的方法及装置 |
CN111858945A (zh) * | 2020-08-05 | 2020-10-30 | 上海哈蜂信息科技有限公司 | 基于深度学习的评论文本方面级情感分类方法及系统 |
Non-Patent Citations (1)
Title |
---|
杨开漠等: "广义文本情感分析综述", 《计算机应用》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117217218A (zh) * | 2023-11-08 | 2023-12-12 | 中国科学技术信息研究所 | 情感词典构建方法、装置、电子设备及存储介质 |
CN117217218B (zh) * | 2023-11-08 | 2024-01-23 | 中国科学技术信息研究所 | 科技风险事件相关舆情的情感词典构建方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113806545B (zh) | 2022-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Bhuvaneshwari et al. | Spam review detection using self attention based CNN and bi-directional LSTM | |
Abro et al. | Natural language understanding for argumentative dialogue systems in the opinion building domain | |
CN107590134A (zh) | 文本情感分类方法、存储介质及计算机 | |
CN110704601A (zh) | 利用问题-知识引导的渐进式时空注意力网络解决需要常识的视频问答任务的方法 | |
CN111522908A (zh) | 一种基于BiGRU和注意力机制的多标签文本分类方法 | |
CN114238577B (zh) | 融合多头注意力机制的多任务学习情感分类方法 | |
CN118296150B (zh) | 一种基于多对抗网络改进的评论情感识别方法 | |
Hu et al. | Hierarchical graph semantic pooling network for multi-modal community question answer matching | |
CN114020871B (zh) | 基于特征融合的多模态社交媒体情感分析方法 | |
CN115269854B (zh) | 基于主题和结构感知神经网络的虚假新闻检测方法 | |
CN116611024A (zh) | 一种基于事实和情感对立性的多模态反讽检测方法 | |
CN112989033A (zh) | 基于情绪类别描述的微博情绪分类方法 | |
CN116434023A (zh) | 基于多模态交叉注意力网络的情感识别方法、系统及设备 | |
Gan et al. | Unsupervised learning of sentence representations using convolutional neural networks | |
CN113642332A (zh) | 一种融合多级语义信息的多模态讽刺识别系统方法 | |
Kovvuri et al. | Pirc net: Using proposal indexing, relationships and context for phrase grounding | |
CN115858728A (zh) | 一种基于多模态数据的情感分析方法 | |
Liou et al. | Finsense: an assistant system for financial journalists and investors | |
CN113361252B (zh) | 基于多模态特征和情感词典的文本抑郁倾向检测系统 | |
CN113806545A (zh) | 基于标签描述生成的评论文本情感分类方法 | |
Zhao et al. | A Three-stage multimodal emotion recognition network based on text low-rank fusion | |
Tian et al. | Cascading top-down attention for visual question answering | |
CN117635769A (zh) | 基于关联感知跨模态注意网络的社交网中服饰推荐方法 | |
Tan et al. | Video sentiment analysis for child safety | |
CN117540740A (zh) | 基于深度学习的非遗传播群体情感分析方法及其分析系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220617 |
|
CF01 | Termination of patent right due to non-payment of annual fee |