CN113836303A - 一种文本类别识别方法、装置、计算机设备及介质 - Google Patents
一种文本类别识别方法、装置、计算机设备及介质 Download PDFInfo
- Publication number
- CN113836303A CN113836303A CN202111131337.2A CN202111131337A CN113836303A CN 113836303 A CN113836303 A CN 113836303A CN 202111131337 A CN202111131337 A CN 202111131337A CN 113836303 A CN113836303 A CN 113836303A
- Authority
- CN
- China
- Prior art keywords
- text
- spliced
- category
- value
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012549 training Methods 0.000 claims abstract description 55
- 238000012360 testing method Methods 0.000 claims abstract description 40
- 239000013598 vector Substances 0.000 claims description 29
- 238000002372 labelling Methods 0.000 claims description 15
- 238000013473 artificial intelligence Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 241000590419 Polygonia interrogationis Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/353—Clustering; Classification into predefined classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Probability & Statistics with Applications (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及人工智能领域，公开了一种文本类别识别方法、装置、计算机设备及介质，方法包括：获取待识别的目标文本；将目标文本和标准集中各文本进行拼接，生成第一拼接文本集；将第一拼接文本集中每条文本逐一输入预先训练的文本类别识别模型中，输出第一拼接文本集中每条文本的预测值；其中预先训练的文本类别识别模型是基于第二拼接文本集中的拼接文本训练生成的，第二拼接文本集是将训练集、测试集中每条文本与标准集中每条文本进行拼接生成的；基于第一拼接文本集中每条文本的预测值确定目标文本的类别。由于本申请将训练集、测试集与标准集拼接后建立起了相关性，利用具有相关性的数据训练模型后，使得模型的识别结果更加准确。
Description
技术领域
本发明涉及人工智能技术领域，特别涉及一种文本类别识别方法、装置、计算机设备及介质。
背景技术
近年来，随着信息化的不断发展，线上的数据呈现爆发式增长，同时各行各业每天产生的数据信息种类繁多，在数据信息处理的应用场景下，涉及到文本分类或归类的场景越来越多，文本分类或归类可以提升数据信息的利用价值。随着深度学习以及强化学习等技术的发展，研究人员越发渴望让机器能精确的识别不同描述文本的类别。
机器精确的识别文本所属类型离不开对自然语言的深度学习，而深度学习多采用深度神经网络模型，也就是采用深度神经网络模型对自然语言文本进行训练，目前多分类问题下的神经网络，其识别精度往往会受到文本数据类别较多的影响，即当文本数据的类别较多时，神经网络的识别准确度将会有所降低。
发明内容
基于此，有必要针对机器理解自然语言的准确度低的问题，提供一种文本类别识别方法、装置、计算机设备及介质。
一种文本类别识别方法，方法包括：获取待识别的目标文本；将目标文本和标准集中各文本进行拼接，生成第一拼接文本集；将第一拼接文本集中每条文本逐一输入预先训练的文本类别识别模型中，输出第一拼接文本集中每条文本的预测值；其中，预先训练的文本类别识别模型是基于第二拼接文本集中的拼接文本训练生成的，第二拼接文本集是将训练集、测试集中每条文本与标准集中每条文本进行拼接生成的；基于第一拼接文本集中每条文本的预测值确定目标文本的类别。
在其中一个实施例中，待识别的目标文本的获取方式至少包括从测试集中获取；获取待识别的目标文本之前，还包括：从文本库中采集多条描述文本；接收针对多条描述文本中每条描述文本的标注指令，并基于每条描述文本标注后生成多条标注文本；按照预设百分比将多条标注文本划分为训练集、测试集、标准集。
在其中一个实施例中，基于第一拼接文本集中每条文本的预测值确定目标文本的类别，包括：获取预设多个类别中每个类别的阈值；根据第一拼接文本集中每条文本的预测值与每个类别的阈值统计每个类别的计数结果，生成计数结果序列；从计数结果序列中获取最大计数结果；将最大计数结果与最大计数结果的类别对应的标准文本总数量作商，生成目标文本的置信度；根据置信度大于预设值，将置信度对应的类别确定为目标文本对应的类别。
在其中一个实施例中，根据第一拼接文本集中每条文本的预测值与每个类别的阈值统计每个类别的计数结果，生成计数结果序列，包括：逐一判断第一拼接文本集中每条文本的预测值是否大于每个类别的阈值；若是，对每个类别的初始值自动加一；若否，将每个类别的初始值保持不变；其中，初始值为0；当第一拼接文本集中每条文本的预测值判断结束后，将每个类别的最终初始值确定为每个类别的计数结果。
在其中一个实施例中，按照以下步骤生成预先训练的文本类别识别模型，包括：将训练集、测试集中每条文本与标准集中每条文本进行拼接，生成第二拼接文本集；创建文本类别识别模型；将第二拼接文本集中每条拼接文本输入文本类别识别模型中，输出模型的损失值；当损失值小于预设损失阈值时，生成预先训练的文本类别识别模型。
在其中一个实施例中，将第二拼接文本集中每条拼接文本输入文本类别识别模型中，输出模型的损失值，包括：将第二拼接文本集中每条拼接文本输入文本类别识别模型中，输出第一语义向量与第二语义向量；根据第一语义向量与第二语义向量计算第二拼接文本集中每条拼接文本的类别相似值；确定第二拼接文本集中每条拼接文本的标签值；将每条拼接文本的类别相似值与对应的标签值作差，生成模型的损失值；输出模型的损失值。
在其中一个实施例中，当损失值小于预设损失阈值时，生成预先训练的文本类别识别模型，包括：当损失值大于等于预设损失阈值时，将损失值反向传播；继续执行将第二拼接文本集中每条拼接文本输入文本类别识别模型中的步骤。
一种文本类别识别装置，装置包括：文本获取模块，用于获取待识别的目标文本；拼接文本集生成模块，用于将目标文本和标准集中各文本进行拼接，生成第一拼接文本集；文本输入模块，用于将第一拼接文本集中每条文本逐一输入预先训练的文本类别识别模型中，输出第一拼接文本集中每条文本的预测值；其中，预先训练的文本类别识别模型是基于第二拼接文本集中的拼接文本训练生成的，第二拼接文本集是将训练集、测试集中每条文本与标准集中每条文本进行拼接生成的；类别确定模块，用于基于第一拼接文本集中每条文本的预测值确定目标文本的类别。
一种计算机设备，包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述文本类别识别方法的步骤。
一种存储有计算机可读指令的介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述文本类别识别方法的步骤。
上述文本类别识别方法、装置、设备和介质，文本类别识别装置首先获取待识别的目标文本，再将目标文本和标准集中各文本进行拼接生成第一拼接文本集，然后将第一拼接文本集中每条文本逐一输入预先训练的文本类别识别模型中，输出第一拼接文本集中每条文本的预测值；预先训练的文本类别识别模型是基于第二拼接文本集中的拼接文本训练生成的，第二拼接文本集是将训练集、测试集中每条文本与标准集中每条文本进行拼接生成的，最后基于第一拼接文本集中每条文本的预测值确定目标文本的类别。由于本申请将训练集、测试集与标准集拼接后建立起了相关性，利用具有相关性的数据训练模型后，使得模型的识别结果更加准确。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1为本申请一个实施例中提供的文本类别识别方法的实施环境图；
图2为本申请一个实施例中计算机设备的内部结构示意图；
图3为本申请一个实施例中提供的文本类别识别方法的方法示意图；
图4为本申请一个实施例中提供的文本类别识别模型的示意图；
图5为本申请一个实施例中提供的文本类别识别思想的示意图；
图6是本申请一个实施例提供的一种文本类别识别装置的装置示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。
图1为一个实施例中提供的文本类别识别方法的实施环境图，如图1所示，在该实施环境中，包括服务端110以及客户端120。
服务端110可以为服务器，该服务器具体可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器，例如为部署专题抽取模型的服务器设备。当需要进行文本类别识别时，服务端110获取来自客户端120的待识别的目标文本，服务端110将第一拼接文本集中每条文本逐一输入预先训练的文本类别识别模型中，输出第一拼接文本集中每条文本的预测值，服务端110查询与描述信息的专题结果所关联的问题集合，并将问题集合发送到客户端120，以使客户端120在显示界面进行展示，服务端110基于第一拼接文本集中每条文本的预测值确定目标文本的类别，并将类别发送至客户端120进行显示。
需要说明的是，客户端120可为智能手机、平板电脑、笔记本电脑、台式计算机等，但并不局限于此。服务端110以及客户端120可以通过蓝牙、USB(Universal Serial Bus，通用串行总线)或者其他通讯连接方式进行连接，本发明在此不做限制。
图2为一个实施例中计算机设备的内部结构示意图。如图2所示，该计算机设备包括通过系统总线连接的处理器、介质、存储器和网络接口。其中，该计算机设备的介质存储有操作系统、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种文本类别识别方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个设备的运行。该计算机设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种文本类别识别方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解，图2中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。其中，介质为一种可读的存储介质。
下面将结合附图3-附图5，对本申请实施例提供的文本类别识别方法进行详细介绍。该方法可依赖于计算机程序实现，可运行于基于冯诺依曼体系的文本类别识别装置上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
请参见图3，为本申请实施例提供了一种文本类别识别方法的流程示意图。
如图3所示，本申请实施例的方法可以包括以下步骤：
S101，获取待识别的目标文本；
其中，目标文本是语言的表达，语言就是采用一套具有共同处理规则来进行表达的沟通指令，指令会以视觉、声音或者触觉方式来传递，这种指令具体是指人类沟通所使用的自然语言，例如汉语和英语。文本，是指书面语言的表现形式，通常是具有完整、系统含义的一个句子或多个句子的组合，一个文本可以是一个句子、一个段落或者一个篇章。待识别的目标文本的获取方式至少包括从测试集中获取。
通常，文本是由几个字符组成的词语或者由几个词语构成的一句话，还可以是由几句话构成的一个段落，用户可以将自己的思想通过文本进行描述，利用文本进行描述可以使复杂的思想变成让其他人容易理解的指令。针对文本，可以使用不同的表达方式让复杂的思想变得通俗易懂，使得沟通更加容易理解。目标文本包含的一条或多条自然语言可以简称为语句，也可以通俗的称为句子，也可以根据文本中的标点将文本拆分成句子，即，将以句号、问号、感叹号、逗号等结尾的内容作为一句。
在本申请中，目标文本可以是用户输入到用户终端的文本。输入终端的文本可以是从网上获取的语言文本，即实际应用场景下获取的，也可以是从测试集中获取的语言文本，即在模型训练场景下获取的，目标文本的生成具有多种方式，此处不做限定。
在本申请实施例中，在获取待识别的目标文本之前还包括，从文本库中采集多条描述文本；接收针对多条描述文本中每条描述文本的标注指令，并基于每条描述文本标注后生成多条标注文本；按照预设百分比将多条标注文本划分为训练集、测试集、标准集。
具体的，首先从文本库中采集多条描述文本，然后对每条描述文本进行标注，例如文本A+标签1，文本2+标签2。再将标注好的文本分成3个集合(训练集、测试集、标准集)，或者可以再加上验证集共计4个集合。各集合比例可以自由设定，但一般还是训练集远大于测试集、验证集(如果实际需要的话)，标准集一般最小。较合适的比例为训练集：测试集：验证集：标准集＝8:2:2:0.2。但也需要设定最小值，例如最小的标准文本集也需要在20～30句，或者使用语义表征等方法衡量文本多样性，挑选较少量但多样性丰富的文本，确保该集合的文本对该类有一定的覆盖率。
在一种可能的实现方式中，在模型训练结束后，可以从测试集中确定一个待识别的目标文本。
在另一种可能的实现方式中，在模型训练后，并将模型部署到实际应用场景中后，获取在线的数据信息，将该数据信息确定为待识别的目标文本。
S102，将目标文本和标准集中各文本进行拼接，生成第一拼接文本集；
通常，在进行文本拼接后，需要在拼接的每一条文本自动设置标签，该标签为0。需要说明的是，此处的0仅是占位使用，而不是意味着文本A’与文本D和文本E均不为同类。
在一种可能的实现方式中，每一条待识别的目标文本与每一条标准文本集进行拼接成一条拼接文本，假设待识别的目标文本为A`，标准文本集为文本D标签1、文本E标签2，则拼接文本集为：文本A`文本D 0；文本A`文本E 0。
在本申请中，将待识别的目标文本与标准集中的文本进行拼接后得到多个待识别文本，可以大大提升待预测文本的预测频次，使得后续计算出的置信度更加准确。
S103，将第一拼接文本集中每条文本逐一输入预先训练的文本类别识别模型中，输出第一拼接文本集中每条文本的预测值；
其中，预先训练的文本类别识别模型是基于第二拼接文本集中的拼接文本训练生成的，第二拼接文本集是将训练集、测试集中每条文本与标准集中每条文本进行拼接生成的；
在本申请实施例中，可按照以下步骤生成预先训练的文本类别识别模型，首先将训练集、测试集中每条文本与标准集中每条文本进行拼接，生成第二拼接文本集，然后创建文本类别识别模型，再将第二拼接文本集中每条拼接文本输入文本类别识别模型中，输出模型的损失值，最后当损失值小于预设损失阈值时，生成预先训练的文本类别识别模型。
具体的，文本类别识别模型是一个例如Sbert的双生模型(能够同时接收2个输入文本)，利用语言表达模型(例如word2vec、BERT、GPT等)进行创建生成的。
具体的，将第二拼接文本集中每条拼接文本输入文本类别识别模型中，输出模型的损失值时，首先将第二拼接文本集中每条拼接文本输入文本类别识别模型中，输出第一语义向量与第二语义向量，然后根据第一语义向量与第二语义向量计算第二拼接文本集中每条拼接文本的类别相似值，再确定第二拼接文本集中每条拼接文本的标签值，最后将每条拼接文本的类别相似值与对应的标签值作差，生成模型的损失值，并输出模型的损失值。
具体的，当损失值大于等于预设损失阈值时，将损失值反向传播，并继续执行将第二拼接文本集中每条拼接文本输入文本类别识别模型中的步骤。
在一种可能的实现方式中，在生成预先训练的文本类别识别模型时，首先将训练集、测试集中的每一条文本，与标准集中每条文本进行组合后得到文本对，并根据两个文本原有标签是否一致将拼接文本的标签修改为0或者1(代表一致或者不一致)。
例如，训练集、测试集中原先的文本有：文本A标签1；文本B标签2；文本C标签3。而标准集当前的标准文本是：文本D标签1文本E标签2，拼接而成的第二拼接文本集就是：
然后将上述第二拼接文本集逐一输入Sbert的双生模型进行训练，训练完成后生成预先训练的文本类别识别模型。
Sbert的双生模型的基本网络结构例如图4所示，该双生模型包含两个BERT语言模型，每个BERT语言模型都对应一个池化层pooling，池化层pooling可以对语言模型输出的向量进行降采样。模型训练时例如一个A文本为sentenceA，一个B文本为sentenceB，sentenceA与sentenceB同时允许输入BERT语言模型，模型输出向量A和向量B，向量A和向量B分别输入池化层pooling，输出向量u和向量v，并根据向量u和向量v计算余弦相似度cosine-sim(u，v)，最后余弦相似度与A文本和B文本对应的标签值作差，生成模型的损失值loss，并反向传播loss，直至模型收敛。
在一种可能的实现方式中，在完成模型训练后，将第一拼接文本集中每条文本逐一输入预先训练的文本类别识别模型中，输出第一拼接文本集中每条文本的预测值。
例如，用户预先设定好了5个类别，每个类别准备好了20个标准文本，总共有100个标准文本；然后将1句待识别文本与100条标准文本分别拼接后输入模型，模型就直接输出了100个预测值。
S104，基于第一拼接文本集中每条文本的预测值确定目标文本的类别。
在一种可能的实现方式中，基于第一拼接文本集中每条文本的预测值确定目标文本的类别时，首先获取预设多个类别中每个类别的阈值，再根据第一拼接文本集中每条文本的预测值与每个类别的阈值统计每个类别的计数结果，生成计数结果序列，然后从计数结果序列中获取最大计数结果，再将最大计数结果与最大计数结果的类别对应的标准文本总数量作商，生成目标文本的置信度，最后根据置信度大于预设值，将置信度对应的类别确定为目标文本对应的类别。
具体的，根据第一拼接文本集中每条文本的预测值与每个类别的阈值统计每个类别的计数结果，生成计数结果序列时，首先逐一判断第一拼接文本集中每条文本的预测值是否大于每个类别的阈值；若是，对每个类别的初始值自动加一；若否，将每个类别的初始值保持不变；其中，初始值为0；当第一拼接文本集中每条文本的预测值判断结束后，将每个类别的最终初始值确定为每个类别的计数结果。
例如第一拼接文本集中每条文本的预测值分别为：a、b、c；预设3中类型的阈值分别为A、B、C；将a、b、c分别与A进行比较，例如a>A就计数1，否则不计数，可得出A类型的计数结果，将a、b、c分别与B进行比较，可得出B类型的计数结果，将a、b、c分别与C进行比较，可得出C类型的计数结果。最后3个类别的计数结果比如是[10,19,5]，那认为第二类置信度最高，计算19后得出95％的置信度，则认为待识别目标文本属于该类。
在本申请中，主要是改变传统文本分类方法的基本逻辑，即根据文本特征标记具体类别，转而将问题建模为和每一类别的标准文本进行对比，判断与哪个类别的标准文本更为接近，完成分类。传统分类方法与本申请可用图5进行表述：传统方法寻找图5中A、B、C三个椭圆的边，本申请则是寻找A、B、C的分界线(黑色粗线)。
在本申请实施例中，文本类别识别装置首先获取待识别的目标文本，再将目标文本和标准集中各文本进行拼接生成第一拼接文本集，然后将第一拼接文本集中每条文本逐一输入预先训练的文本类别识别模型中，输出第一拼接文本集中每条文本的预测值；预先训练的文本类别识别模型是基于第二拼接文本集中的拼接文本训练生成的，第二拼接文本集是将训练集、测试集中每条文本与标准集中每条文本进行拼接生成的，最后基于第一拼接文本集中每条文本的预测值确定目标文本的类别。由于本申请将训练集、测试集与标准集拼接后建立起了相关性，利用具有相关性的数据训练模型后，使得模型的识别结果更加准确，从而提升了文本类别识别的精确度。
下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。
请参见图6，其示出了本发明一个示例性实施例提供的文本类别识别装置的结构示意图，应用于服务器。该文本类别识别装置可以通过软件、硬件或者两者的结合实现成为设备的全部或一部分。该装置1包括文本获取模块10、拼接文本集生成模块20、文本输入模块30、类别确定模块40。
文本获取模块10，用于获取待识别的目标文本；
拼接文本集生成模块20，用于将目标文本和标准集中各文本进行拼接，生成第一拼接文本集；
文本输入模块30，用于将第一拼接文本集中每条文本逐一输入预先训练的文本类别识别模型中，输出第一拼接文本集中每条文本的预测值；
其中，预先训练的文本类别识别模型是基于第二拼接文本集中的拼接文本训练生成的，第二拼接文本集是将训练集、测试集中每条文本与标准集中每条文本进行拼接生成的；
类别确定模块40，用于基于第一拼接文本集中每条文本的预测值确定目标文本的类别。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请实施例中，文本类别识别装置首先获取待识别的目标文本，再将目标文本和标准集中各文本进行拼接生成第一拼接文本集，然后将第一拼接文本集中每条文本逐一输入预先训练的文本类别识别模型中，输出第一拼接文本集中每条文本的预测值；预先训练的文本类别识别模型是基于第二拼接文本集中的拼接文本训练生成的，第二拼接文本集是将训练集、测试集中每条文本与标准集中每条文本进行拼接生成的，最后基于第一拼接文本集中每条文本的预测值确定目标文本的类别。由于本申请将训练集、测试集与标准集拼接后建立起了相关性，利用具有相关性的数据训练模型后，使得模型的识别结果更加准确，从而提升了文本类别识别的精确度。
在一个实施例中，提出了一种计算机设备，设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：获取待识别的目标文本；将目标文本和标准集中各文本进行拼接，生成第一拼接文本集；将第一拼接文本集中每条文本逐一输入预先训练的文本类别识别模型中，输出第一拼接文本集中每条文本的预测值；其中，预先训练的文本类别识别模型是基于第二拼接文本集中的拼接文本训练生成的，第二拼接文本集是将训练集、测试集中每条文本与标准集中每条文本进行拼接生成的；基于第一拼接文本集中每条文本的预测值确定目标文本的类别。
在一个实施例中，处理器执行获取待识别的目标文本之前时，还执行以下操作：从文本库中采集多条描述文本；接收针对多条描述文本中每条描述文本的标注指令，并基于每条描述文本标注后生成多条标注文本；按照预设百分比将多条标注文本划分为训练集、测试集、标准集。
在一个实施例中，处理器执行基于第一拼接文本集中每条文本的预测值确定目标文本的类别时，具体执行以下操作：获取预设多个类别中每个类别的阈值；根据第一拼接文本集中每条文本的预测值与每个类别的阈值统计每个类别的计数结果，生成计数结果序列；从计数结果序列中获取最大计数结果；将最大计数结果与最大计数结果的类别对应的标准文本总数量作商，生成目标文本的置信度；根据置信度大于预设值，将置信度对应的类别确定为目标文本对应的类别。
在一个实施例中，处理器执行根据第一拼接文本集中每条文本的预测值与每个类别的阈值统计每个类别的计数结果，生成计数结果序列时，具体执行以下操作：逐一判断第一拼接文本集中每条文本的预测值是否大于每个类别的阈值；若是，对每个类别的初始值自动加一；若否，将每个类别的初始值保持不变；其中，初始值为0；当第一拼接文本集中每条文本的预测值判断结束后，将每个类别的最终初始值确定为每个类别的计数结果。
在一个实施例中，处理器生成预先训练的文本类别识别模型时，具体执行以下操作：将训练集、测试集中每条文本与标准集中每条文本进行拼接，生成第二拼接文本集；创建文本类别识别模型；将第二拼接文本集中每条拼接文本输入文本类别识别模型中，输出模型的损失值；当损失值小于预设损失阈值时，生成预先训练的文本类别识别模型。
在一个实施例中，处理器执行将第二拼接文本集中每条拼接文本输入文本类别识别模型中，输出模型的损失值时，具体执行以下操作：将第二拼接文本集中每条拼接文本输入文本类别识别模型中，输出第一语义向量与第二语义向量；根据第一语义向量与第二语义向量计算第二拼接文本集中每条拼接文本的类别相似值；确定第二拼接文本集中每条拼接文本的标签值；将每条拼接文本的类别相似值与对应的标签值作差，生成模型的损失值；输出模型的损失值。
在一个实施例中，处理器执行当损失值小于预设损失阈值时，生成预先训练的文本类别识别模型时，具体执行以下操作：当损失值大于等于预设损失阈值时，将损失值反向传播；继续执行将第二拼接文本集中每条拼接文本输入文本类别识别模型中的步骤。
在本申请实施例中，文本类别识别装置首先获取待识别的目标文本，再将目标文本和标准集中各文本进行拼接生成第一拼接文本集，然后将第一拼接文本集中每条文本逐一输入预先训练的文本类别识别模型中，输出第一拼接文本集中每条文本的预测值；预先训练的文本类别识别模型是基于第二拼接文本集中的拼接文本训练生成的，第二拼接文本集是将训练集、测试集中每条文本与标准集中每条文本进行拼接生成的，最后基于第一拼接文本集中每条文本的预测值确定目标文本的类别。由于本申请将训练集、测试集与标准集拼接后建立起了相关性，利用具有相关性的数据训练模型后，使得模型的识别结果更加准确，从而提升了文本类别识别的精确度。
在一个实施例中，提出了一种存储有计算机可读指令的介质，该计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行以下步骤：获取待识别的目标文本；将目标文本和标准集中各文本进行拼接，生成第一拼接文本集；将第一拼接文本集中每条文本逐一输入预先训练的文本类别识别模型中，输出第一拼接文本集中每条文本的预测值；其中，预先训练的文本类别识别模型是基于第二拼接文本集中的拼接文本训练生成的，第二拼接文本集是将训练集、测试集中每条文本与标准集中每条文本进行拼接生成的；基于第一拼接文本集中每条文本的预测值确定目标文本的类别。
在一个实施例中，处理器执行获取待识别的目标文本之前时，还执行以下操作：从文本库中采集多条描述文本；接收针对多条描述文本中每条描述文本的标注指令，并基于每条描述文本标注后生成多条标注文本；按照预设百分比将多条标注文本划分为训练集、测试集、标准集。
在一个实施例中，处理器执行基于第一拼接文本集中每条文本的预测值确定目标文本的类别时，具体执行以下操作：获取预设多个类别中每个类别的阈值；根据第一拼接文本集中每条文本的预测值与每个类别的阈值统计每个类别的计数结果，生成计数结果序列；从计数结果序列中获取最大计数结果；将最大计数结果与最大计数结果的类别对应的标准文本总数量作商，生成目标文本的置信度；根据置信度大于预设值，将置信度对应的类别确定为目标文本对应的类别。
在一个实施例中，处理器执行根据第一拼接文本集中每条文本的预测值与每个类别的阈值统计每个类别的计数结果，生成计数结果序列时，具体执行以下操作：逐一判断第一拼接文本集中每条文本的预测值是否大于每个类别的阈值；若是，对每个类别的初始值自动加一；若否，将每个类别的初始值保持不变；其中，初始值为0；当第一拼接文本集中每条文本的预测值判断结束后，将每个类别的最终初始值确定为每个类别的计数结果。
在一个实施例中，处理器生成预先训练的文本类别识别模型时，具体执行以下操作：将训练集、测试集中每条文本与标准集中每条文本进行拼接，生成第二拼接文本集；创建文本类别识别模型；将第二拼接文本集中每条拼接文本输入文本类别识别模型中，输出模型的损失值；当损失值小于预设损失阈值时，生成预先训练的文本类别识别模型。
在一个实施例中，处理器执行将第二拼接文本集中每条拼接文本输入文本类别识别模型中，输出模型的损失值时，具体执行以下操作：将第二拼接文本集中每条拼接文本输入文本类别识别模型中，输出第一语义向量与第二语义向量；根据第一语义向量与第二语义向量计算第二拼接文本集中每条拼接文本的类别相似值；确定第二拼接文本集中每条拼接文本的标签值；将每条拼接文本的类别相似值与对应的标签值作差，生成模型的损失值；输出模型的损失值。
在一个实施例中，处理器执行当损失值小于预设损失阈值时，生成预先训练的文本类别识别模型时，具体执行以下操作：当损失值大于等于预设损失阈值时，将损失值反向传播；继续执行将第二拼接文本集中每条拼接文本输入文本类别识别模型中的步骤。
在本申请实施例中，文本类别识别装置首先获取待识别的目标文本，再将目标文本和标准集中各文本进行拼接生成第一拼接文本集，然后将第一拼接文本集中每条文本逐一输入预先训练的文本类别识别模型中，输出第一拼接文本集中每条文本的预测值；预先训练的文本类别识别模型是基于第二拼接文本集中的拼接文本训练生成的，第二拼接文本集是将训练集、测试集中每条文本与标准集中每条文本进行拼接生成的，最后基于第一拼接文本集中每条文本的预测值确定目标文本的类别。由于本申请将训练集、测试集与标准集拼接后建立起了相关性，利用具有相关性的数据训练模型后，使得模型的识别结果更加准确，从而提升了文本类别识别的精确度。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性介质，或随机存储记忆体(RandomAccess Memory，RAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种文本类别识别方法，其特征在于，所述方法包括：
获取待识别的目标文本；
将所述目标文本和标准集中各文本进行拼接，生成第一拼接文本集；
将所述第一拼接文本集中每条文本逐一输入预先训练的文本类别识别模型中，输出所述第一拼接文本集中每条文本的预测值；其中，所述预先训练的文本类别识别模型是基于第二拼接文本集中的拼接文本训练生成的，所述第二拼接文本集是将训练集、测试集中每条文本与标准集中每条文本进行拼接生成的；
基于所述第一拼接文本集中每条文本的预测值确定所述目标文本的类别。
2.根据权利要求1所述的方法，其特征在于，所述待识别的目标文本的获取方式至少包括从测试集中获取；所述获取待识别的目标文本之前，还包括：
从文本库中采集多条描述文本；
接收针对所述多条描述文本中每条描述文本的标注指令，并基于所述每条描述文本标注后生成多条标注文本；
按照预设百分比将所述多条标注文本划分为训练集、测试集、标准集。
3.根据权利要求1所述的方法，其特征在于，所述基于所述第一拼接文本集中每条文本的预测值确定所述目标文本的类别，包括：
获取预设多个类别中每个类别的阈值；
根据所述第一拼接文本集中每条文本的预测值与所述每个类别的阈值统计所述每个类别的计数结果，生成计数结果序列；
从所述计数结果序列中获取最大计数结果；
将所述最大计数结果与所述最大计数结果的类别对应的标准文本总数量作商，生成目标文本的置信度；
根据所述置信度大于预设值，将所述置信度对应的类别确定为所述目标文本对应的类别。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一拼接文本集中每条文本的预测值与所述每个类别的阈值统计所述每个类别的计数结果，生成计数结果序列，包括：
逐一判断所述第一拼接文本集中每条文本的预测值是否大于所述每个类别的阈值；
若是，对所述每个类别的初始值自动加一；若否，将所述每个类别的初始值保持不变；其中，所述初始值为0；
当所述第一拼接文本集中每条文本的预测值判断结束后，将所述每个类别的最终初始值确定为所述每个类别的计数结果。
5.根据权利要求2所述的方法，其特征在于，按照以下步骤生成预先训练的文本类别识别模型，包括：
将所述训练集、所述测试集中每条文本与所述标准集中每条文本进行拼接，生成第二拼接文本集；
创建文本类别识别模型；
将所述第二拼接文本集中每条拼接文本输入所述文本类别识别模型中，输出所述模型的损失值；
当所述损失值小于预设损失阈值时，生成预先训练的文本类别识别模型。
6.根据权利要求5所述的方法，其特征在于，所述将所述第二拼接文本集中每条拼接文本输入所述文本类别识别模型中，输出所述模型的损失值，包括：
将所述第二拼接文本集中每条拼接文本输入所述文本类别识别模型中，输出第一语义向量与第二语义向量；
根据所述第一语义向量与第二语义向量计算所述第二拼接文本集中每条拼接文本的类别相似值；
确定所述第二拼接文本集中每条拼接文本的标签值；
将所述每条拼接文本的类别相似值与对应的所述标签值作差，生成模型的损失值；
输出所述模型的损失值。
7.根据权利要求5所述的方法，其特征在于，所述当所述损失值小于预设损失阈值时，生成预先训练的文本类别识别模型，包括：
当所述损失值大于等于预设损失阈值时，将所述损失值反向传播；
继续执行所述将所述第二拼接文本集中每条拼接文本输入所述文本类别识别模型中的步骤。
8.一种文本类别识别装置，其特征在于，所述装置包括：
文本获取模块，用于获取待识别的目标文本；
拼接文本集生成模块，用于将所述目标文本和标准集中各文本进行拼接，生成第一拼接文本集；
文本输入模块，用于将所述第一拼接文本集中每条文本逐一输入预先训练的文本类别识别模型中，输出所述第一拼接文本集中每条文本的预测值；
其中，所述预先训练的文本类别识别模型是基于第二拼接文本集中的拼接文本训练生成的，所述第二拼接文本集是将训练集、测试集中每条文本与标准集中每条文本进行拼接生成的；
类别确定模块，用于基于所述第一拼接文本集中每条文本的预测值确定所述目标文本的类别。
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项权利要求所述文本类别识别方法的步骤。
10.一种存储有计算机可读指令的介质，其特征在于，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至7中任一项权利要求所述文本类别识别的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111131337.2A CN113836303A (zh) | 2021-09-26 | 2021-09-26 | 一种文本类别识别方法、装置、计算机设备及介质 |
| PCT/CN2022/070967 WO2023045184A1 (zh) | 2021-09-26 | 2022-01-10 | 一种文本类别识别方法、装置、计算机设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111131337.2A CN113836303A (zh) | 2021-09-26 | 2021-09-26 | 一种文本类别识别方法、装置、计算机设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113836303A true CN113836303A (zh) | 2021-12-24 |
Family
ID=78970196
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111131337.2A Pending CN113836303A (zh) | 2021-09-26 | 2021-09-26 | 一种文本类别识别方法、装置、计算机设备及介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113836303A (zh) |
| WO (1) | WO2023045184A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115035510A (zh) * | 2022-08-11 | 2022-09-09 | 深圳前海环融联易信息科技服务有限公司 | 文本识别模型训练方法、文本识别方法、设备及介质 |
| WO2023045184A1 (zh) * | 2021-09-26 | 2023-03-30 | 平安科技（深圳）有限公司 | 一种文本类别识别方法、装置、计算机设备及介质 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116167336B (zh) * | 2023-04-22 | 2023-07-07 | 拓普思传感器(太仓)有限公司 | 基于云计算的传感器数据加工方法、云服务器及介质 |
| CN117033612B (zh) * | 2023-08-18 | 2024-06-04 | 中航信移动科技有限公司 | 一种文本匹配方法、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111382271A (zh) * | 2020-03-09 | 2020-07-07 | 支付宝(杭州)信息技术有限公司 | 文本分类模型的训练方法及装置、文本分类方法及装置 |
| CN112464662A (zh) * | 2020-12-02 | 2021-03-09 | 平安医疗健康管理股份有限公司 | 医学短语匹配方法、装置、设备及存储介质 |
| CN113157927A (zh) * | 2021-05-27 | 2021-07-23 | 中国平安人寿保险股份有限公司 | 文本分类方法、装置、电子设备及可读存储介质 |
| CN113326379A (zh) * | 2021-06-30 | 2021-08-31 | 中国平安人寿保险股份有限公司 | 文本分类预测方法、装置、设备及存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102411563B (zh) * | 2010-09-26 | 2015-06-17 | 阿里巴巴集团控股有限公司 | 一种识别目标词的方法、装置及系统 |
| CN108875743B (zh) * | 2017-05-15 | 2022-02-22 | 创新先进技术有限公司 | 一种文本识别方法及装置 |
| CN112182217B (zh) * | 2020-09-28 | 2024-07-12 | 云知声智能科技股份有限公司 | 多标签文本类别的识别方法、装置、设备和存储介质 |
| CN113360654B (zh) * | 2021-06-23 | 2024-04-05 | 深圳平安综合金融服务有限公司 | 文本分类方法、装置、电子设备及可读存储介质 |
| CN113360660B (zh) * | 2021-07-27 | 2024-08-16 | 北京有竹居网络技术有限公司 | 文本类别识别方法、装置、电子设备和存储介质 |
| CN113836303A (zh) * | 2021-09-26 | 2021-12-24 | 平安科技（深圳）有限公司 | 一种文本类别识别方法、装置、计算机设备及介质 |
-
2021
- 2021-09-26 CN CN202111131337.2A patent/CN113836303A/zh active Pending
-
2022
- 2022-01-10 WO PCT/CN2022/070967 patent/WO2023045184A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111382271A (zh) * | 2020-03-09 | 2020-07-07 | 支付宝(杭州)信息技术有限公司 | 文本分类模型的训练方法及装置、文本分类方法及装置 |
| CN112464662A (zh) * | 2020-12-02 | 2021-03-09 | 平安医疗健康管理股份有限公司 | 医学短语匹配方法、装置、设备及存储介质 |
| CN113157927A (zh) * | 2021-05-27 | 2021-07-23 | 中国平安人寿保险股份有限公司 | 文本分类方法、装置、电子设备及可读存储介质 |
| CN113326379A (zh) * | 2021-06-30 | 2021-08-31 | 中国平安人寿保险股份有限公司 | 文本分类预测方法、装置、设备及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023045184A1 (zh) * | 2021-09-26 | 2023-03-30 | 平安科技（深圳）有限公司 | 一种文本类别识别方法、装置、计算机设备及介质 |
| CN115035510A (zh) * | 2022-08-11 | 2022-09-09 | 深圳前海环融联易信息科技服务有限公司 | 文本识别模型训练方法、文本识别方法、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023045184A1 (zh) | 2023-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111859960B (zh) | 基于知识蒸馏的语义匹配方法、装置、计算机设备和介质 | |
| US11004448B2 (en) | Method and device for recognizing text segmentation position | |
| CN112685565A (zh) | 基于多模态信息融合的文本分类方法、及其相关设备 | |
| CN113836303A (zh) | 一种文本类别识别方法、装置、计算机设备及介质 | |
| CN114298121B (zh) | 基于多模态的文本生成方法、模型训练方法和装置 | |
| CN111488931A (zh) | 文章质量评估方法、文章推荐方法及其对应的装置 | |
| CN111831826B (zh) | 跨领域的文本分类模型的训练方法、分类方法以及装置 | |
| CN111539197A (zh) | 文本匹配方法和装置以及计算机系统和可读存储介质 | |
| CN111859940B (zh) | 一种关键词提取方法、装置、电子设备及存储介质 | |
| CN113392179A (zh) | 文本标注方法及装置、电子设备、存储介质 | |
| CN113360660B (zh) | 文本类别识别方法、装置、电子设备和存储介质 | |
| CN111368066B (zh) | 获取对话摘要的方法、装置和计算机可读存储介质 | |
| CN111967253A (zh) | 一种实体消歧方法、装置、计算机设备及存储介质 | |
| CN115640394A (zh) | 文本分类方法、文本分类装置、计算机设备及存储介质 | |
| CN110968725A (zh) | 图像内容描述信息生成方法、电子设备及存储介质 | |
| CN114676705B (zh) | 一种对话关系处理方法、计算机及可读存储介质 | |
| CN113408282B (zh) | 主题模型训练和主题预测方法、装置、设备及存储介质 | |
| CN117611845B (zh) | 多模态数据的关联识别方法、装置、设备及存储介质 | |
| CN111597336A (zh) | 训练文本的处理方法、装置、电子设备及可读存储介质 | |
| CN110895924B (zh) | 一种文档内容朗读方法、装置、电子设备及可读存储介质 | |
| CN114398903B (zh) | 意图识别方法、装置、电子设备及存储介质 | |
| CN113724738B (zh) | 语音处理方法、决策树模型训练方法、装置、设备及存储介质 | |
| CN113627197B (zh) | 文本的意图识别方法、装置、设备及存储介质 | |
| CN111680514A (zh) | 信息处理和模型训练方法、装置、设备及存储介质 | |
| CN114817523A (zh) | 摘要生成方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40063337 Country of ref document: HK |