CN114417987A - 一种模型训练方法、数据识别方法、装置及设备 - Google Patents
一种模型训练方法、数据识别方法、装置及设备 Download PDFInfo
- Publication number
- CN114417987A CN114417987A CN202210028772.0A CN202210028772A CN114417987A CN 114417987 A CN114417987 A CN 114417987A CN 202210028772 A CN202210028772 A CN 202210028772A CN 114417987 A CN114417987 A CN 114417987A
- Authority
- CN
- China
- Prior art keywords
- model
- training samples
- training
- character
- trained
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 1753
- 238000000034 method Methods 0.000 title claims abstract description 217
- 238000012545 processing Methods 0.000 claims description 76
- 230000008569 process Effects 0.000 claims description 61
- 238000003860 storage Methods 0.000 claims description 27
- 238000013528 artificial neural network Methods 0.000 claims description 16
- 238000010586 diagram Methods 0.000 description 33
- 238000012795 verification Methods 0.000 description 29
- 238000004590 computer program Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 7
- 238000003672 processing method Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
- G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Bioethics (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Machine Translation (AREA)
Abstract
本说明书实施例提供了一种模型训练方法、数据识别方法、装置及设备,包括:获取多个训练样本,将多个训练样本输入至第一模型中,确定训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率;并将多个训练样本输入至第二模型中,确定训练样本对应的字符序列中的每个字符位的字符为预设字符的第二预测概率;基于第一预测概率和训练样本的标签信息,从多个训练样本中选取第一数量的训练样本;并基于第二预测概率和训练样本的标签信息,从多个训练样本中选取第二数量的训练样本;基于第一数量的训练样本对第二模型进行训练,并基于第二数量的训练样本对第一模型进行训练,直到训练后的第一模型和/或训练后的第二模型满足相应的收敛条件。
Description
技术领域
本文件涉及计算机技术领域,尤其涉及一种模型训练方法、数据识别方法、装置及设备。
背景技术
在有监督学习过程中,往往需要大量的准确标注的样本。然而,在实际应用过程中,标记样本往往需要大量的人力,物力和财力。标注样本的质量在某种程度上还会受到人为主观因素的影响,导致实际获取的标注样本中可能含有一定比例的标签噪声(例如,某验证码正确的标签信息为657I,而人为在对该验证码进行标注的过程中很可能误将上述标签信息最后一位英文字母I标注成数字1,即将上述验证码标注成6571等)。如果在对神经网络进行训练的过程中,用于训练神经网络的样本中携带有标签噪声将会导致神经网络学习到标签噪声中的信息,给所训练的神经网络的性能带来干扰,并影响所训练神经网络识别的准确性。为此,需要提供一种有效提高模型训练准确度和模型性能的技术方案。
发明内容
本说明书实施例的目的是提供一种模型训练方法、数据识别方法、装置及设备,以提供一种能够有效提高模型训练准确度和模型性能的技术方案。
为了解决上述技术问题,本说明书实施例是这样实现的:
第一方面,本说明书实施例提供了一种模型训练方法,包括:获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列。将所述多个训练样本输入至第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率。并将所述多个训练样本输入至第二模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第二预测概率,所述第一模型和所述第二模型是由同一个基准模型确定。基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本。并基于所述第二预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第二数量的训练样本。基于所述第一数量的训练样本对所述第二模型进行训练,并基于所述第二数量的训练样本对所述第一模型进行训练。如果训练后的所述第一模型和/或训练后的所述第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型和所述第二模型进行训练的步骤,直到训练后的所述第一模型和/或训练后的所述第二模型满足相应的收敛条件。
第二方面,本说明书实施例提供了一种模型训练方法,包括:获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列。将所述多个训练样本输入至第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率。基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本。基于所述第一数量的训练样本对所述第一模型进行训练,如果训练后的所述第一模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型进行训练的步骤,直到训练后的所述第一模型满足相应的收敛条件。
第三方面,本说明书实施例提供了一种数据识别方法,包括:获取待识别的数据,所述数据中包括由多个字符构成的字符序列。将所述待识别的数据输入至第一模型或第二模型中,输出与所述数据对应的字符序列,其中,所述第一模型为通过训练样本预先训练的模型,所述第二模型为通过训练样本预先训练的模型。所述第一模型和所述第二模型的训练过程包括:获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列。将所述多个训练样本输入至第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率。并将所述多个训练样本输入至第二模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第二预测概率,所述第一模型和所述第二模型是由同一个基准模型确定。基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本。并基于所述第二预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第二数量的训练样本。基于所述第一数量的训练样本对所述第二模型进行训练,并基于所述第二数量的训练样本对所述第一模型进行训练。如果训练后的所述第一模型和/或训练后的所述第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型和所述第二模型进行训练的步骤,直到训练后的所述第一模型和/或训练后的所述第二模型满足相应的收敛条件。或者,获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列。将所述多个训练样本输入至第一模型或第二模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率。基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本。基于所述第一数量的训练样本对所述第一模型或第二模型进行训练,如果训练后的所述第一模型或第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型或第二模型进行训练的步骤,直到训练后的所述第一模型或第二模型满足相应的收敛条件。
第四方面,本说明书实施例提供了一种模型训练方法,应用于区块链系统,包括:接收第一设备发送的模型训练规则信息,基于所述模型训练规则信息生成第一智能合约,并将所述第一智能合约部署于所述区块链系统中。在获取到所述第一设备发送的模型训练请求时,基于所述第一智能合约执行以下处理:获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列。将所述多个训练样本输入至基于所述第一智能合约预先训练的第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率。并将所述多个训练样本输入至基于所述第一智能合约预先训练的第二模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第二预测概率,所述第一模型和所述第二模型是由同一个基准模型确定。基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本。并基于所述第二预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第二数量的训练样本。基于所述第一数量的训练样本对所述第二模型进行训练,并基于所述第二数量的训练样本对所述第一模型进行训练。如果训练后的所述第一模型和/或训练后的所述第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型和所述第二模型进行训练的步骤,直到训练后的所述第一模型和/或训练后的所述第二模型满足相应的收敛条件。
第五方面,本说明书实施例提供了一种模型训练方法,应用于区块链系统,包括:接收第一设备发送的第二模型训练规则信息,基于所述第二模型训练规则信息生成第二智能合约,并将所述第二智能合约部署于所述区块链系统中。在获取到所述第一设备发送的模型训练请求时,基于所述第二智能合约执行以下处理:获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列。将所述多个训练样本输入至基于所述第二智能合约预先训练的第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率。基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本。基于所述第一数量的训练样本对所述第一模型进行训练,如果训练后的所述第一模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型进行训练的步骤,直到训练后的所述第一模型满足相应的收敛条件。
第六方面,本说明书实施例提供了一种数据识别方法,应用于区块链系统,包括:接收第二设备发送的数据识别规则信息,基于所述数据识别规则信息生成第三智能合约,并将所述第三智能合约部署于所述区块链系统中。在获取到所述第二设备发送的数据识别请求时,基于所述第三智能合约执行以下处理:获取待识别的数据,所述数据中包括由多个字符构成的字符序列。将所述待识别的数据输入至第一模型或第二模型中,输出与所述数据对应的字符序列,其中,所述第一模型为通过训练样本预先训练的模型,所述第二模型为通过训练样本预先训练的模型。所述第一模型和所述第二模型的训练过程包括:获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列。将所述多个训练样本输入至第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率。并将所述多个训练样本输入至第二模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第二预测概率,所述第一模型和所述第二模型是由同一个基准模型确定。基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本。并基于所述第二预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第二数量的训练样本。基于所述第一数量的训练样本对所述第二模型进行训练,并基于所述第二数量的训练样本对所述第一模型进行训练。如果训练后的所述第一模型和/或训练后的所述第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型和所述第二模型进行训练的步骤,直到训练后的所述第一模型和/或训练后的所述第二模型满足相应的收敛条件。或者,获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列。将所述多个训练样本输入至第一模型或第二模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率。基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本。基于所述第一数量的训练样本对所述第一模型或第二模型进行训练,如果训练后的所述第一模型或第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型或第二模型进行训练的步骤,直到训练后的所述第一模型或第二模型满足相应的收敛条件。
第七方面,本说明书实施例提供了一种模型训练装置,包括:第一获取模块,获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列。第一处理模块,将所述多个训练样本输入至第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率。并将所述多个训练样本输入至第二模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第二预测概率,所述第一模型和所述第二模型是由同一个基准模型确定。第一选取模块,基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本。并基于所述第二预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第二数量的训练样本。第一训练模块,基于所述第一数量的训练样本对所述第二模型进行训练,并基于所述第二数量的训练样本对所述第一模型进行训练。如果训练后的所述第一模型和/或训练后的所述第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型和所述第二模型进行训练的步骤,直到训练后的所述第一模型和/或训练后的所述第二模型满足相应的收敛条件。
第八方面,本说明书实施例提供了一种模型训练装置,包括:第二获取模块,获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列。第二处理模块,将所述多个训练样本输入至第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率。第二选取模块,基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本。第二训练模块,基于所述第一数量的训练样本对所述第一模型进行训练,如果训练后的所述第一模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型进行训练的步骤,直到训练后的所述第一模型满足相应的收敛条件。
第九方面,本说明书实施例提供了一种数据识别装置,包括:第三获取模块,获取待识别的数据,所述数据中包括由多个字符构成的字符序列。输出模块,将所述待识别的数据输入至第一模型或第二模型中,输出与所述数据对应的字符序列,其中,所述第一模型为通过训练样本预先训练的模型,所述第二模型为通过训练样本预先训练的模型。所述第一模型和所述第二模型的训练过程包括:获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列。将所述多个训练样本输入至第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率。并将所述多个训练样本输入至第二模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第二预测概率,所述第一模型和所述第二模型是由同一个基准模型确定。基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本。并基于所述第二预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第二数量的训练样本。基于所述第一数量的训练样本对所述第二模型进行训练,并基于所述第二数量的训练样本对所述第一模型进行训练。如果训练后的所述第一模型和/或训练后的所述第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型和所述第二模型进行训练的步骤,直到训练后的所述第一模型和/或训练后的所述第二模型满足相应的收敛条件。或者,获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列。将所述多个训练样本输入至第一模型或第二模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率。基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本。基于所述第一数量的训练样本对所述第一模型或第二模型进行训练,如果训练后的所述第一模型或第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型或第二模型进行训练的步骤,直到训练后的所述第一模型或第二模型满足相应的收敛条件。
第十方面,本说明书实施例提供了一种模型训练装置,上述装置为区块链系统中的装置,包括:第一接收模块,接收第一设备发送的模型训练规则信息,基于所述模型训练规则信息生成第一智能合约,并将所述第一智能合约部署于所述区块链系统中。第三处理模块,在获取到所述第一设备发送的模型训练请求时,基于所述第一智能合约执行以下处理:获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列。将所述多个训练样本输入至基于所述第一智能合约预先训练的第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率。并将所述多个训练样本输入至基于所述第一智能合约预先训练的第二模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第二预测概率,所述第一模型和所述第二模型是由同一个基准模型确定。基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本。并基于所述第二预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第二数量的训练样本。基于所述第一数量的训练样本对所述第二模型进行训练,并基于所述第二数量的训练样本对所述第一模型进行训练。如果训练后的所述第一模型和/或训练后的所述第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型和所述第二模型进行训练的步骤,直到训练后的所述第一模型和/或训练后的所述第二模型满足相应的收敛条件。
第十一方面,本说明书实施例提供了一种模型训练装置,上述装置为区块链系统中的装置,包括:第二接收模块,接收第一设备发送的第二模型训练规则信息,基于所述第二模型训练规则信息生成第二智能合约,并将所述第二智能合约部署于所述区块链系统中。第四处理模块,在获取到所述第一设备发送的模型训练请求时,基于所述第二智能合约执行以下处理:获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列。将所述多个训练样本输入至基于所述第二智能合约预先训练的第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率。基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本。基于所述第一数量的训练样本对所述第一模型进行训练,如果训练后的所述第一模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型进行训练的步骤,直到训练后的所述第一模型满足相应的收敛条件。
第十二方面,本说明书实施例提供了一种数据识别装置,上述装置为区块链系统中的装置,包括:第三接收模块,接收第二设备发送的数据识别规则信息,基于所述数据识别规则信息生成第三智能合约,并将所述第三智能合约部署于所述区块链系统中。第五处理模块,在获取到所述第二设备发送的数据识别请求时,基于所述第三智能合约执行以下处理:获取待识别的数据,所述数据中包括由多个字符构成的字符序列。将所述待识别的数据输入至第一模型或第二模型中,输出与所述数据对应的字符序列,其中,所述第一模型为通过训练样本预先训练的模型,所述第二模型为通过训练样本预先训练的模型。所述第一模型和所述第二模型的训练过程包括:获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列。将所述多个训练样本输入至第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率。并将所述多个训练样本输入至第二模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第二预测概率,所述第一模型和所述第二模型是由同一个基准模型确定。基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本。并基于所述第二预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第二数量的训练样本。基于所述第一数量的训练样本对所述第二模型进行训练,并基于所述第二数量的训练样本对所述第一模型进行训练。如果训练后的所述第一模型和/或训练后的所述第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型和所述第二模型进行训练的步骤,直到训练后的所述第一模型和/或训练后的所述第二模型满足相应的收敛条件。或者,获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列。将所述多个训练样本输入至第一模型或第二模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率。基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本。基于所述第一数量的训练样本对所述第一模型或第二模型进行训练,如果训练后的所述第一模型或第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型或第二模型进行训练的步骤,直到训练后的所述第一模型或第二模型满足相应的收敛条件。
第十三方面,本说明书实施例提供了一种模型训练设备,包括:处理器。以及被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器:获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列。将所述多个训练样本输入至第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率。并将所述多个训练样本输入至第二模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第二预测概率,所述第一模型和所述第二模型是由同一个基准模型确定。基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本。并基于所述第二预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第二数量的训练样本。基于所述第一数量的训练样本对所述第二模型进行训练,并基于所述第二数量的训练样本对所述第一模型进行训练。如果训练后的所述第一模型和/或训练后的所述第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型和所述第二模型进行训练的步骤,直到训练后的所述第一模型和/或训练后的所述第二模型满足相应的收敛条件。
第十四方面,本说明书实施例提供了一种模型训练设备,包括:处理器。以及被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器:获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列。将所述多个训练样本输入至第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率。基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本。基于所述第一数量的训练样本对所述第一模型进行训练,如果训练后的所述第一模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型进行训练的步骤,直到训练后的所述第一模型满足相应的收敛条件。
第十五方面,本说明书实施例提供了一种数据识别设备,包括:处理器。以及被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器:获取待识别的数据,所述数据中包括由多个字符构成的字符序列。将所述待识别的数据输入至第一模型或第二模型中,输出与所述数据对应的字符序列,其中,所述第一模型为通过训练样本预先训练的模型,所述第二模型为通过训练样本预先训练的模型。所述第一模型和所述第二模型的训练过程包括:获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列。将所述多个训练样本输入至第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率。并将所述多个训练样本输入至第二模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第二预测概率,所述第一模型和所述第二模型是由同一个基准模型确定。基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本。并基于所述第二预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第二数量的训练样本。基于所述第一数量的训练样本对所述第二模型进行训练,并基于所述第二数量的训练样本对所述第一模型进行训练。如果训练后的所述第一模型和/或训练后的所述第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型和所述第二模型进行训练的步骤,直到训练后的所述第一模型和/或训练后的所述第二模型满足相应的收敛条件。或者,获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列。将所述多个训练样本输入至第一模型或第二模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率。基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本。基于所述第一数量的训练样本对所述第一模型或第二模型进行训练,如果训练后的所述第一模型或第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型或第二模型进行训练的步骤,直到训练后的所述第一模型或第二模型满足相应的收敛条件。
第十六方面,本说明书实施例提供了一种模型训练设备,上述设备为区块链系统中的设备,包括:处理器。以及被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器:接收第一设备发送的模型训练规则信息,基于所述模型训练规则信息生成第一智能合约,并将所述第一智能合约部署于所述区块链系统中。在获取到所述第一设备发送的模型训练请求时,基于所述第一智能合约执行以下处理:获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列。将所述多个训练样本输入至基于所述第一智能合约预先训练的第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率。并将所述多个训练样本输入至基于所述第一智能合约预先训练的第二模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第二预测概率,所述第一模型和所述第二模型是由同一个基准模型确定。基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本。并基于所述第二预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第二数量的训练样本。基于所述第一数量的训练样本对所述第二模型进行训练,并基于所述第二数量的训练样本对所述第一模型进行训练。如果训练后的所述第一模型和/或训练后的所述第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型和所述第二模型进行训练的步骤,直到训练后的所述第一模型和/或训练后的所述第二模型满足相应的收敛条件。
第十七方面,本说明书实施例提供了一种模型训练设备,上述设备为区块链系统中的设备,包括:处理器。以及被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器:接收第一设备发送的第二模型训练规则信息,基于所述第二模型训练规则信息生成第二智能合约,并将所述第二智能合约部署于所述区块链系统中。在获取到所述第一设备发送的模型训练请求时,基于所述第二智能合约执行以下处理:获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列。将所述多个训练样本输入至基于所述第二智能合约预先训练的第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率。基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本。基于所述第一数量的训练样本对所述第一模型进行训练,如果训练后的所述第一模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型进行训练的步骤,直到训练后的所述第一模型满足相应的收敛条件。
第十八方面,本说明书实施例提供了一种数据识别设备,上述设备为区块链系统中的设备,包括:处理器。以及被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器:接收第二设备发送的数据识别规则信息,基于所述数据识别规则信息生成第三智能合约,并将所述第三智能合约部署于所述区块链系统中。在获取到所述第二设备发送的数据识别请求时,基于所述第三智能合约执行以下处理:获取待识别的数据,所述数据中包括由多个字符构成的字符序列。将所述待识别的数据输入至第一模型或第二模型中,输出与所述数据对应的字符序列,其中,所述第一模型为通过训练样本预先训练的模型,所述第二模型为通过训练样本预先训练的模型。所述第一模型和所述第二模型的训练过程包括:获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列。将所述多个训练样本输入至第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率。并将所述多个训练样本输入至第二模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第二预测概率,所述第一模型和所述第二模型是由同一个基准模型确定。基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本。并基于所述第二预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第二数量的训练样本。基于所述第一数量的训练样本对所述第二模型进行训练,并基于所述第二数量的训练样本对所述第一模型进行训练。如果训练后的所述第一模型和/或训练后的所述第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型和所述第二模型进行训练的步骤,直到训练后的所述第一模型和/或训练后的所述第二模型满足相应的收敛条件。或者,获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列。将所述多个训练样本输入至第一模型或第二模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率。基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本。基于所述第一数量的训练样本对所述第一模型或第二模型进行训练,如果训练后的所述第一模型或第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型或第二模型进行训练的步骤,直到训练后的所述第一模型或第二模型满足相应的收敛条件。
第十九方面,本说明书实施例提供了一种存储介质,存储介质用于存储计算机可执行指令,可执行指令在被执行时实现以下流程:获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列。将所述多个训练样本输入至第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率。并将所述多个训练样本输入至第二模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第二预测概率,所述第一模型和所述第二模型是由同一个基准模型确定。基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本。并基于所述第二预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第二数量的训练样本。基于所述第一数量的训练样本对所述第二模型进行训练,并基于所述第二数量的训练样本对所述第一模型进行训练。如果训练后的所述第一模型和/或训练后的所述第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型和所述第二模型进行训练的步骤,直到训练后的所述第一模型和/或训练后的所述第二模型满足相应的收敛条件。
第二十方面,本说明书实施例提供了一种存储介质,存储介质用于存储计算机可执行指令,可执行指令在被执行时实现以下流程:获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列。将所述多个训练样本输入至第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率。基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本。基于所述第一数量的训练样本对所述第一模型进行训练,如果训练后的所述第一模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型进行训练的步骤,直到训练后的所述第一模型满足相应的收敛条件。
第二十一方面,本说明书实施例提供了一种存储介质,存储介质用于存储计算机可执行指令,可执行指令在被执行时实现以下流程:获取待识别的数据,所述数据中包括由多个字符构成的字符序列。将所述待识别的数据输入至第一模型或第二模型中,输出与所述数据对应的字符序列,其中,所述第一模型为通过训练样本预先训练的模型,所述第二模型为通过训练样本预先训练的模型。所述第一模型和所述第二模型的训练过程包括:获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列。将所述多个训练样本输入至第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率。并将所述多个训练样本输入至第二模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第二预测概率,所述第一模型和所述第二模型是由同一个基准模型确定。基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本。并基于所述第二预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第二数量的训练样本。基于所述第一数量的训练样本对所述第二模型进行训练,并基于所述第二数量的训练样本对所述第一模型进行训练。如果训练后的所述第一模型和/或训练后的所述第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型和所述第二模型进行训练的步骤,直到训练后的所述第一模型和/或训练后的所述第二模型满足相应的收敛条件。或者,获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列。将所述多个训练样本输入至第一模型或第二模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率。基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本。基于所述第一数量的训练样本对所述第一模型或第二模型进行训练,如果训练后的所述第一模型或第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型或第二模型进行训练的步骤,直到训练后的所述第一模型或第二模型满足相应的收敛条件。
第二十二方面,本说明书实施例提供了一种存储介质,存储介质用于存储计算机可执行指令,可执行指令在被执行时实现以下流程:接收第一设备发送的模型训练规则信息,基于所述模型训练规则信息生成第一智能合约,并将所述第一智能合约部署于所述区块链系统中。在获取到所述第一设备发送的模型训练请求时,基于所述第一智能合约执行以下处理:获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列。将所述多个训练样本输入至基于所述第一智能合约预先训练的第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率。并将所述多个训练样本输入至基于所述第一智能合约预先训练的第二模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第二预测概率,所述第一模型和所述第二模型是由同一个基准模型确定。基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本。并基于所述第二预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第二数量的训练样本。基于所述第一数量的训练样本对所述第二模型进行训练,并基于所述第二数量的训练样本对所述第一模型进行训练。如果训练后的所述第一模型和/或训练后的所述第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型和所述第二模型进行训练的步骤,直到训练后的所述第一模型和/或训练后的所述第二模型满足相应的收敛条件。
第二十三方面,本说明书实施例提供了一种存储介质,存储介质用于存储计算机可执行指令,可执行指令在被执行时实现以下流程:接收第一设备发送的第二模型训练规则信息,基于所述第二模型训练规则信息生成第二智能合约,并将所述第二智能合约部署于所述区块链系统中。在获取到所述第一设备发送的模型训练请求时,基于所述第二智能合约执行以下处理:获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列。将所述多个训练样本输入至基于所述第二智能合约预先训练的第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率。基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本。基于所述第一数量的训练样本对所述第一模型进行训练,如果训练后的所述第一模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型进行训练的步骤,直到训练后的所述第一模型满足相应的收敛条件。
第二十四方面,本说明书实施例提供了一种存储介质,存储介质用于存储计算机可执行指令,可执行指令在被执行时实现以下流程:接收第二设备发送的数据识别规则信息,基于所述数据识别规则信息生成第三智能合约,并将所述第三智能合约部署于所述区块链系统中。在获取到所述第二设备发送的数据识别请求时,基于所述第三智能合约执行以下处理:获取待识别的数据,所述数据中包括由多个字符构成的字符序列。将所述待识别的数据输入至第一模型或第二模型中,输出与所述数据对应的字符序列,其中,所述第一模型为通过训练样本预先训练的模型,所述第二模型为通过训练样本预先训练的模型。所述第一模型和所述第二模型的训练过程包括:获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列。将所述多个训练样本输入至第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率。并将所述多个训练样本输入至第二模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第二预测概率,所述第一模型和所述第二模型是由同一个基准模型确定。基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本。并基于所述第二预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第二数量的训练样本。基于所述第一数量的训练样本对所述第二模型进行训练,并基于所述第二数量的训练样本对所述第一模型进行训练。如果训练后的所述第一模型和/或训练后的所述第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型和所述第二模型进行训练的步骤,直到训练后的所述第一模型和/或训练后的所述第二模型满足相应的收敛条件。或者,获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列。将所述多个训练样本输入至第一模型或第二模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率。基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本。基于所述第一数量的训练样本对所述第一模型或第二模型进行训练,如果训练后的所述第一模型或第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型或第二模型进行训练的步骤,直到训练后的所述第一模型或第二模型满足相应的收敛条件。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1A为本说明书实施例提供的模型训练方法的第一种流程示意图;
图1B为本说明书实施例提供的模型训练过程的第一种示意图;
图2A为本说明书实施例提供的模型训练方法的第二种流程示意图;
图2B为本说明书实施例提供的模型训练过程的第二种示意图;
图3A为本说明书实施例提供的数据识别方法的第三种流程示意图;
图3B为本说明书实施例提供的数据识别过程的第三种示意图;
图4A为本说明书实施例提供的模型训练方法的第四种流程示意图;
图4B为本说明书实施例提供的模型训练过程的第四种示意图;
图5A为本说明书实施例提供的模型训练方法的第五种流程示意图;
图5B为本说明书实施例提供的模型训练过程的第五种示意图;
图6A为本说明书实施例提供的数据识别方法的第六种流程示意图;
图6B为本说明书实施例提供的数据识别过程的第六种示意图;
图7为本说明书实施例提供的模型训练装置的第一种模块组成示意图;
图8为本说明书实施例提供的模型训练装置的第二种模块组成示意图;
图9为本说明书实施例提供的数据识别装置的第一种模块组成示意图;
图10为本说明书实施例提供的模型训练装置的第三种模块组成示意图;
图11为本说明书实施例提供的模型训练装置的第四种模块组成示意图;
图12为本说明书实施例提供的数据识别装置的第二种模块组成示意图;
图13为本说明书实施例提供的模型训练设备的结构示意图。
具体实施方式
本说明书实施例提供了一种模型训练方法、数据识别方法、装置及设备。
为了使本技术领域的人员更好地理解本说明书中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本说明书保护的范围。
如图1A和1B所示,本说明书实施例提供了一种模型训练方法,该方法的执行主体可以为服务器,其中,该服务器可以是独立的一个服务器,也可以是由多个服务器组成的服务器集群,而且,该服务器可以基于获取的多个训练样本对待训练的第一模型进行训练。
该方法具体可以包括下述步骤:
在步骤S102中,获取多个训练样本,其中,训练样本中包括由多个字符构成的字符序列。
作为示例,上述训练样本可以为图像样本,或者,还可以为音频样本等。上述训练样本中可以包括与上述字符序列不相关的噪声数据,上述噪声数据可以包括中文字符、字母、数字、符号、图形、线条中的一种或多种。上述训练样本中还可以包括由多个字符构成的字符序列,上述字符序列可以为验证码,或者,还可以为其他用于身份校验的字符序列等,上述字符序列中包含的字符可以包括中文字符、字母、数字、符号和图形中的一种或多种,本说明书实施例对上述训练样本的具体表现形式、字符序列的具体内容,以及构成上述字符序列的字符的具体表现形式均不作具体限定。
在实施中,在有监督学习过程中,往往需要大量的准确标注的样本。然而,在实际应用过程中,标记样本往往需要大量的人力,物力和财力。标注样本的质量在某种程度上还会受到人为主观因素的影响,导致实际获取的标注样本中可能含有一定比例的标签噪声。如果在对神经网络进行训练的过程中,用于训练神经网络的样本中携带有标签噪声将会导致神经网络学习到标签噪声中的信息,给所训练的神经网络的性能带来干扰,并影响所训练神经网络识别的准确性。为此,需要提供一种有效提高模型训练准确度和模型性能的技术方案。
在一种可选的实现方式中,上述执行主体可以通过预设接口获取多个训练样本,或者,上述执行主体可以通过预设接口获取多个训练样本和上述训练样本对应的标签信息。
考虑到,在对神经网络进行训练过程中,所采用的训练样本数据中可能存在一些标签噪声,例如,某验证码正确的标签信息为657I,而人为在对该验证码进行标注的过程中很可能误将上述标签信息最后一位英文字母I标注成数字1,即将上述验证码标注成6571,该验证码6571可以认为是标签噪声,或者也可以认为是噪声标签。这样,在训练神经网络的过程中,如果训练样本中包含有大量的上述标签噪声,将会对所训练的神经网络的性能带来干扰,同时还会影响到神经网络的识别准确度。因此,在上述执行主体通过上述步骤S102的处理获取到多个训练样本后,可以对上述训练样本进行筛选,从上述获取的多个训练样本中筛选出不含标签噪声的训练样本,通过采用上述筛选出来的训练样本对模型进行训练,从而可以提高模型训练准确度和模型性能,具体过程可以参见下述步骤S104-步骤S108的具体实现过程。
在步骤S104中,将多个训练样本输入至第一模型中,对训练样本对应的字符序列中的每个字符位的字符进行预测,确定训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率;并将多个训练样本输入至第二模型中,对训练样本对应的字符序列中的每个字符位的字符进行预测,确定训练样本对应的字符序列中的每个字符位的字符为预设字符的第二预测概率,第一模型和第二模型是由同一个基准模型确定。
作为示例,上述第一模型和第二模型可以为基于Co-teaching机制确定的两个模型,上述第一模型和第二模型的初始模型参数可以相同。假设上述字符为数字,则该预设字符可以为数字0~9之间的任一数字。假设上述字符为字母,则该预设字符可以为字母a至z中的任一字母等,上述基准模型可以为基于一种或多种不同的预设神经网络算法构建的模型,本说明书实施例对上预设字符、以及上述基准模型的具体内容不作具体限定。
在一种可选的实现方式中,以上述某个训练样本为包含4个数字序列的验证码为例,假设字符位可以按照从左向右的顺序来确定,则上述包含4个数字序列的验证码的字符位可以为按照从左向右的顺序依次确定为第一字符位、第二字符位、第三字符位和第四字符位。在将该训练样本输入至第一模型中,对该训练样本对应的字符序列中的每个字符位的字符进行预测,可以依次得到与上述第一字符位对应的预设字符为0~9的任一数字的第一预测概率(共包括10个第一预测概率)、与上述第二字符位对应的预设字符为0~9的任一数字的10个第一预测概率、与上述第三字符位对应的预设字符为0~9的任一数字的10个第一预测概率,以及与上述第四字符位对应的预设字符为0~9的任一数字的10个第一预测概率。同样,在将该训练样本输入至第二模型中,对该训练样本对应的字符序列中的每个字符位的字符进行预测,可以依次得到每个字符位对应的第二预测概率。
在步骤S106中,基于第一预测概率和训练样本的标签信息,从多个训练样本中选取第一数量的训练样本;并基于第二预测概率和训练样本的标签信息,从多个训练样本中选取第二数量的训练样本。
在一种可选的实现方式中,可以基于上述训练样本的标签信息确定出训练样本对应的字符序列中每个字符位对应的真实字符,然后,可以从上述与该字符位对应的第一预测概率中确定出预设字符为真实字符时对应的第一预测概率,之后,从上述多个训练样本中,选取确定出的第一预测概率均大于第一预设阈值的训练样本,将选取的训练样本作为第一数量的训练样本。同样,可以通过相同的处理方式从上述多个训练样本中选取第二数量的训练样本。
在一种可选的实现方式中,以上述训练样本中某个训练样本为包含4个数字的验证码为例,该训练样本对应的真实标签为6571,假设上述第一预设阈值为60%,上述第一字符位的真实字符为6的第一预测概率为90%,上述第二字符位的预设字符为5的第一预测概率为80%,上述第三字符位的预设字符为7的第一预测概率为60%,上述第四字符位的预设字符为1的第一预测概率为70%,则可以确定该训练样本不是噪声样本,可以将该训练样本选取出来,用于对上述第二模型进行模型训练。同样的,如果上述4个字符中的某个字符位的预设字符的第一预测概率小于60%,则可以认为该训练样本为噪声样本,可以将该训练样本进行剔除,上述训练样本将不参与第一模型的模型训练。
在步骤S108中,基于第一数量的训练样本对第二模型进行训练,并基于第二数量的训练样本对第一模型进行训练;如果训练后的第一模型和/或训练后的第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对第一模型和第二模型进行训练的步骤,直到训练后的第一模型和/或训练后的第二模型满足相应的收敛条件。
在一种可选的实现方式中,上述执行主体可以将上述第一数量的训练样本输入至上述第二模型中,得到第一数量的与上述训练样本对应的预测标签,然后,可以基于上述各训练样本对应的预测标签与其各自对应的真实标签之间的损失信息,确定与上述第二模型对应的损失信息,并基于上述损失信息对上述第二模型进行训练,如果训练后的第二模型的损失信息不满足相应的收敛条件,则重新执行获取多个训练样本,以及对第二模型进行训练的步骤,直到训练后的第二模型满足相应的收敛条件。同样的,上述执行主体可以将上述第二数量的训练样本输入至上述第一模型中,得到第二数量的与上述训练样本对应的预测标签,然后,可以基于上述各训练样本对应的预测标签与其各自对应的真实标签之间的损失信息,确定与上述第一模型对应的损失信息,并基于上述损失信息对上述第一模型进行训练,如果训练后的第一模型的损失信息不满足相应的收敛条件,则重新执行获取多个训练样本,以及对第一模型进行训练的步骤,直到训练后的第一模型满足相应的收敛条件。
由以上本说明书实施例提供的技术方案可见,本说明书实施例通过将相同的多个训练样本分别输入至由同一个基准模型确定的两个相同的模型即第一模型和第二模型中,并通过上述第一模型从上述输入的多个训练样本中选取出第一数量的训练样本,通过上述第二模型从上述输入的多个训练样本中选取出第二数量的训练样本,然后,基于第一数量的训练样本对第二模型进行训练,并基于第二数量的训练样本对第一模型进行训练,直至训练后的第一模型和/或训练后的第二模型满足相应的收敛条件的方法,由于上述第一数量的训练样本和第二数量的训练样本均为从上述多个训练样本中选取出来的可能不存在噪声的样本,这样,基于上述挑选出的不存在噪声的样本来对上述第一模型和第二模型进行训练的方法,有效提高了模型训练准确度和模型性能。此外,通过将第一模型挑选出来的第一数量的训练样本用于对第二模型进行训练,并通过将第二模型挑选出来的第二数量的训练样本用于对第一模型进行训练的方法,从而基于其他模型挑选出的训练样本来进行模型训练的方法,进一步提高了模型训练的准确度和模型性能,可以有效避免模型基于自身挑选出来的训练样本对其自身进行模型训练时,可能存在所挑选出来训练样本中存在噪声样本,导致模型训练准确度和模型性能降低。
进一步的,上述步骤S106的处理方法可以多种多样,以下再提供一种可选的处理方法,具体可以参见下述步骤A2-步骤A6的具体处理过程。
在步骤A2中,基于训练样本的标签信息,确定训练样本对应的字符序列中的每个字符位的字符为第一字符。
作为示例,上述第一字符可以为该字符位对应的真实字符。以上述某个训练样本为包含4个数字序列的验证码为例,其中包括第一字符位、第二字符位、第三字符位和第四字符位,假设该训练样本对应的标签信息为6571,则针对第一字符位,第一字符可以为数字6;针对第二字符位,相应的第一字符可以为数字5;针对第三字符位,相应的第一字符可以为数字7;针对第四字符位,相应的第一字符可以为数字1。
在步骤A4中,基于训练样本对应的字符序列中的每个字符位的字符为第一字符,以及第一预测概率,确定训练样本对应的字符序列的置信度,置信度用于表征训练样本的标签信息的准确程度。
在一种可选的实现方式中,上述执行主体可以基于上述第一字符,以及与上述字符为预设字符的第一预测概率,确定与上述第一字符对应的第一预测概率,然后,可以基于该训练样本对应的每个字符位的字符为第一字符的第一预测概率进行求和运算,得到与上述训练样本对应的第一结果,可以将上述第一结果确定为训练样本对应的字符序列的置信度。作为示例,以上述训练样本中某个训练样本为包含4个数字的验证码,该训练样本对应的真实标签为6571。假设上述执行主体基于上述训练样本对应的字符序列中的每个字符位的字符为第一字符,确定出第一字符位的第一字符为6的第一预测概率为90%,第二字符位的第一字符为5的第一预测概率为80%,与上述第三字符位对应的第一字符为7的第一预测概率为60%,与上述第四字符位对应的第一字符为1的第一预测概率为70%,则可以将与上述训练样本对应的每个字符位的字符为第一字符的第一预测概率进行求和运算得到第一结果,即300%。
或者,在另一种可选的实现方式中,上述执行主体可以基于上述第一字符,以及与上述字符位为预设字符的第一预测概率,确定与上述第一字符对应的第一预测概率,然后,可以基于该训练样本对应的每个字符位的字符为第一字符的第一预测概率,确定各字符位为第一字符的第一预测概率的平均概率值,将该平均概率值确定为训练样本对应的字符序列的置信度。
在一种可选的实现方式中,上述执行主体通过上述步骤A4的处理确定出上述训练样本对应的字符序列的置信度后,可以基于上述置信度从上述多个训练样本中选取出置信度大于预设置信度阈值的训练样本,并将上述选取出的置信度大于预设阈值的训练样本数量确定为第一数量。
这样,由于上述置信度为用于表征训练样本的标签信息的准确程度,置信度越大则可以表征该训练样本的标签信息准确程度越高,该训练样本的标签为噪声标签的可能性就越小,采用这种置信度较大的训练样本进行模型训练,可以有效避免噪声数据对模型训练的干扰,进而有效提高了模型训练准确度以及模型的性能。进一步的,上述步骤A4的具体处理过程可以多种多样,以下再提供一种可选的处理方法,具体可以参见下述步骤A42-步骤A44的具体处理过程。
在步骤A42中,针对训练样本对应的字符序列中的目标字符位,从第一预测概率中获取目标字符位为第一字符的字符预测概率,目标字符位为训练样本对应的字符序列中的任一字符位。
在步骤A44中,将训练样本对应的字符序列中的多个字符位的字符预测概率的乘积作为训练样本对应的字符序列的置信度。
基于上述步骤A4中的示例,可以计算该训练样本对应的多个字符位的字符预测概率的乘积90%x80%x60%x70%=30.24%,将30.24%作为训练样本对应的字符序列的置信度。
本说明书实施例对上述确定训练样本对应的字符序列的置信度的具体实现方式不作具体限定。
进一步的,上述步骤A6的处理方法可以多种多样,以下再提供一种可选的处理方法,具体可以参见下述步骤A62的具体处理过程。
在步骤A62中,从多个训练样本中确定置信度大于预设置信度阈值的训练样本,并从置信度大于预设置信度阈值的训练样本中选取第一数量的训练样本。
需要说明的是,本说明书实施例中从多个训练样本中选取第二数量的训练样本的处理方式,与上述实施例中从多个训练样本中选取第一数量的训练样本的处理方式相同,为避免重复,此处不再赘述。
由以上本说明书实施例提供的技术方案可见,本说明书实施例通过将相同的多个训练样本分别输入至由同一个基准模型确定的两个相同的模型即第一模型和第二模型中,并通过上述第一模型从上述输入的多个训练样本中选取出第一数量的训练样本,通过上述第二模型从上述输入的多个训练样本中选取出第二数量的训练样本,然后,基于第一数量的训练样本对第二模型进行训练,并基于第二数量的训练样本对第一模型进行训练,直至训练后的第一模型和/或训练后的第二模型满足相应的收敛条件的方法,由于上述第一数量的训练样本和第二数量的训练样本均为从上述多个训练样本中选取出来的可能不存在噪声的样本,这样,基于上述挑选出的不存在噪声的样本来对上述第一模型和第二模型进行训练的方法,有效提高了模型训练准确度和模型性能,此外,通过将第一模型挑选出来的第一数量的训练样本用于对第二模型进行训练,并通过将第二模型挑选出来的第二数量的训练样本用于对第一模型进行训练的方法,这样,基于其他模型挑选出的训练样本来进行模型训练的方法,进一步提高了模型训练的准确度和模型性能,从而有效避免了模型基于自身挑选出来的训练样本对其自身进行模型训练时,可能存在所挑选出来训练样本中存在噪声样本,从而导致降低了模型训练准确度和模型性能问题。
对应上述实施例提供的模型训练方法,基于相同的技术构思,本说明书实施例又提供了一种模型训练方法,图2A为本说明书实施例提供的模型训练方法的第二种流程示意图,图2B为本说明书实施例提供的模型训练过程的第二种示意图,该模型训练方法的执行主体可以为服务器,其中,该服务器可以是独立的一个服务器,也可以是由多个服务器组成的服务器集群,而且,该服务器可以基于从终端设备获取多个训练样本,并基于上述获取的多个样本对第一模型进行训练,该方法具体可以包括以下步骤:
在步骤S202中,获取多个训练样本,其中,训练样本中包括由多个字符构成的字符序列。
上述步骤S202的具体实现过程可以参见前述实施例中步骤S102的具体处理过程。
在步骤S204中,将多个训练样本输入至第一模型中,对训练样本对应的字符序列中的每个字符位的字符进行预测,确定训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率。
上述步骤S204的具体实现过程可以参见前述实施例中步骤S104的具体处理过程。
在步骤S206中,基于第一预测概率和训练样本的标签信息,从多个训练样本中选取第一数量的训练样本。
上述步骤S206的具体实现过程可以参见前述实施例中步骤S106的具体处理过程。
在步骤S208中,基于第一数量的训练样本对第一模型进行训练,如果训练后的第一模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对第一模型进行训练的步骤,直到训练后的第一模型满足相应的收敛条件。
在一种可选的实现方式中,上述执行主体通过上述步骤S206的处理确定出第一数量的训练样本后,可以将上述第一数量的训练样本输入至上述第一模型中,得到第一数量的与上述训练样本对应的预测标签,然后,可以基于上述各训练样本对应的预测标签与其各自对应的真实标签之间的损失信息,确定上述第一模型对应的损失信息,并基于上述损失信息对上述第一模型进行训练,如果训练后的第一模型的损失信息不满足相应的收敛条件,则重新执行获取多个训练样本,以及对第一模型进行训练的步骤,直到训练后的第一模型满足相应的收敛条件。
由以上本说明书实施例提供的技术方案可见,本说明书实施例通过将多个训练样本输入至第一模型中,对训练样本对应的字符序列中的每个字符位的字符进行预测,确定训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率,然后,基于第一预测概率和训练样本的标签信息,从多个训练样本中选取第一数量的训练样本,并基于上述第一数量的训练样本对第一模型进行训练,直到训练后的第一模型满足相应的收敛条件的方法,由于上述第一数量的训练样本为从上述多个训练样本中选取出来的可能不存在噪声的样本,这样,基于上述挑选出的不存在噪声的样本来对上述第一模型进行训练的方法,有效提高了模型训练准确度和模型性能。
对应上述实施例提供的模型训练方法,基于相同的技术构思,本说明书实施例又提供了一种模型训练方法,图3A为本说明书实施例提供的数据识别方法的第一种流程示意图,图3B为本说明书实施例提供的数据识别过程的第一种示意图,该数据识别方法的执行主体可以为服务器,其中,该服务器可以是独立的一个服务器,也可以是由多个服务器组成的服务器集群,而且,该服务器可以基于获取的待识别数据进行识别,并输出与上述待识别数据对应的字符序列,该方法具体可以包括以下步骤:
在步骤S302中,获取待识别的数据,数据中包括由多个字符构成的字符序列。
作为示例,上述待识别的数据可以至少包括:图像、文本中的一个或多个。
在步骤S304中,将待识别的数据输入至第一模型或第二模型中,输出与数据对应的字符序列,其中,第一模型为通过训练样本预先训练的模型,第二模型为通过训练样本预先训练的模型;第一模型和第二模型的训练过程包括:获取多个训练样本,其中,训练样本中包括由多个字符构成的字符序列;将多个训练样本输入至第一模型中,对训练样本对应的字符序列中的每个字符位的字符进行预测,确定训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率;并将多个训练样本输入至第二模型中,对训练样本对应的字符序列中的每个字符位的字符进行预测,确定训练样本对应的字符序列中的每个字符位的字符为预设字符的第二预测概率,第一模型和第二模型是由同一个基准模型确定;基于第一预测概率和训练样本的标签信息,从多个训练样本中选取第一数量的训练样本;并基于第二预测概率和训练样本的标签信息,从多个训练样本中选取第二数量的训练样本;基于第一数量的训练样本对第二模型进行训练,并基于第二数量的训练样本对第一模型进行训练;如果训练后的第一模型和/或训练后的第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对第一模型和第二模型进行训练的步骤,直到训练后的第一模型和/或训练后的第二模型满足相应的收敛条件。或者,获取多个训练样本,其中,训练样本中包括由多个字符构成的字符序列;将多个训练样本输入至第一模型或第二模型中,对训练样本对应的字符序列中的每个字符位的字符进行预测,确定训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率;基于第一预测概率和训练样本的标签信息,从多个训练样本中选取第一数量的训练样本;基于第一数量的训练样本对第一模型或第二模型进行训练,如果训练后的第一模型或第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对第一模型或第二模型进行训练的步骤,直到训练后的第一模型或第二模型满足相应的收敛条件。
进一步的,在执行上述步骤S302的处理过程之前,上述方法还可以包括下述步骤D2-步骤D4的具体处理过程。
在步骤D2中,获取多个验证样本,其中,验证样本中包括由多个字符构成的字符序列。
在步骤D4中,将多个验证样本输入至第一模型中,得到与上述验证样本对应的第一验证结果;将多个验证样本输入至第二模型中,得到与上述验证样本对应的第二验证结果。
在步骤D6中,基于上述第一验证结果和第二验证结果,确定与上述第一模型对应的第一准确率,以及与上述第二模型对应的第二准确率。
在步骤D8中,基于第一准确率和第二准确率,确定待识别数据输入的目标模型,其中,上述目标模型为上述数值较大的准确率对应的模型。
在一种可选的实现方式中,假设将100个验证样本分别输入至上述第一模型和第二模型中,得到上述第一模型对应的第一验证结果和第二模型对应的第二验证结果。假设基于上述第一验证结果得到的第一准确率为90%,基于上述第二验证结果得到的第二准确率为85%,则可以将上述第一模型作为目标模型。
进一步的,上述步骤S304的处理方法可以多种多样,以下再提供一种可选的处理方法,具体可以参见下述步骤E2的具体处理过程。
在步骤E2中,将待识别的数据输入至上述目标模型中,输出与数据对应的字符序列。
这样,将上述待识别的数据输入至上述准确率较高的目标模型中的方式,输出与上述待识别数据对应的字符序列,可以有效提高对上述待识别数据进行识别的准确性。
由以上本说明书实施例提供的技术方案可见,本说明书实施例通过获取待识别的数据,然后,将上述待识别的数据输入至第一模型或第二模型中,输出与上述数据对应的字符序列的方法,由于上述第一模型或第二模型是通过将相同的多个训练样本分别输入至由同一个基准模型确定的两个相同的模型即第一模型和第二模型中,并通过上述第一模型从上述输入的多个训练样本中选取出第一数量的训练样本,通过上述第二模型从上述输入的多个训练样本中选取出第二数量的训练样本,然后,基于第一数量的训练样本对第二模型进行训练,并基于第二数量的训练样本对第一模型进行训练,直至训练后的第一模型和/或训练后的第二模型满足相应的收敛条件后得到的,由于上述第一模型或第二模型的训练过程中,所采用的上述第一数量的训练样本和第二数量的训练样本均为从上述多个训练样本中选取出来的可能不存在噪声的样本,使得基于上述挑选出的不存在噪声的样本来训练第一模型和第二模型,有效提高了模型训练准确度和模型性能,这样,使用本说明书实施例提供的训练后的第一模型或第二模型来对待识别数据进行识别的方法,有效提高了对待识别的数据进行识别的准确性。
对应上述实施例提供的模型训练方法,基于相同的技术构思,本说明书实施例又提供了一种模型训练方法,图4A为本说明书实施例提供的模型训练方法的第二种流程示意图,图4B为本说明书实施例提供的模型训练过程的第二种示意图,该模型训练方法的执行主体可以为服务器,其中,该服务器可以是独立的一个服务器,也可以是由多个服务器组成的服务器集群,而且,该服务器可以基于预先部署于区块链系统中的第一智能合约从终端设备获取多个训练样本,并基于上述获取的多个样本对第一模型进行训练,该方法具体可以包括以下步骤:
在步骤S402中,接收第一设备发送的模型训练规则信息,基于模型训练规则信息生成第一智能合约,并将第一智能合约部署于区块链系统中。
在实施中,上述区块链系统在接收到第一设备发送的模型训练规则信息后,可以基于上述模型训练规则信息生成第一智能合约,并将该第一智能合约部署于上述区块链系统中。
在步骤S404中,在获取到第一设备发送的模型训练请求时,基于第一智能合约执行以下处理:
获取多个训练样本,其中,训练样本中包括由多个字符构成的字符序列。
上述步骤的具体处理过程可以参见前述说明书实施例中步骤S104的具体处理过程。
将多个训练样本输入至基于第一智能合约预先训练的第一模型中,对训练样本对应的字符序列中的每个字符位的字符进行预测,确定训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率;并将多个训练样本输入至基于第一智能合约预先训练的第二模型中,对训练样本对应的字符序列中的每个字符位的字符进行预测,确定训练样本对应的字符序列中的每个字符位的字符为预设字符的第二预测概率,第一模型和第二模型是由同一个基准模型确定。
在一种可选的实现方式中,可以将上述获取的多个训练样本输入至基于上述第一智能合约预先训练的第一模型中。上述步骤的其它具体处理过程可以参见前述说明书实施例中步骤S104的具体处理过程。
基于第一预测概率和训练样本的标签信息,从多个训练样本中选取第一数量的训练样本;并基于第二预测概率和训练样本的标签信息,从多个训练样本中选取第二数量的训练样本。
上述步骤的具体处理过程可以参见前述说明书实施例中步骤S106的具体处理过程。
基于第一数量的训练样本对第二模型进行训练,并基于第二数量的训练样本对第一模型进行训练;如果训练后的第一模型和/或训练后的第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对第一模型和第二模型进行训练的步骤,直到训练后的第一模型和/或训练后的第二模型满足相应的收敛条件。
上述步骤的具体处理过程可以参见前述说明书实施例中步骤S108的具体处理过程。
由以上本说明书实施例提供的技术方案可见,本说明书实施例将相同的多个训练样本分别输入至由同一个基准模型确定的两个相同的模型即第一模型和第二模型中,并通过上述第一模型从上述输入的多个训练样本中选取出第一数量的训练样本,通过上述第二模型从上述输入的多个训练样本中选取出第二数量的训练样本,然后,基于第一数量的训练样本对第二模型进行训练,并基于第二数量的训练样本对第一模型进行训练,直至训练后的第一模型和/或训练后的第二模型满足相应的收敛条件的方法,由于上述第一数量的训练样本和第二数量的训练样本均为从上述多个训练样本中选取出来的可能不存在噪声的样本,这样,基于上述挑选出的不存在噪声的样本来对上述第一模型和第二模型进行训练的方法,有效提高了模型训练准确度和模型性能,此外,通过将第一模型挑选出来的第一数量的训练样本用于对第二模型进行训练,并通过将第二模型挑选出来的第二数量的训练样本用于对第一模型进行训练的方法,从而基于其他模型挑选出的训练样本来进行模型训练的方法,进一步提高了模型训练的准确度和模型性能,可以有效避免模型基于自身挑选出来的训练样本对其自身进行模型训练时,可能存在所挑选出来训练样本中存在噪声样本,导致模型训练准确度和模型性能降低。
对应上述实施例提供的模型训练方法,基于相同的技术构思,本说明书实施例又提供了一种模型训练方法,图5A为本说明书实施例提供的模型训练方法的第二种流程示意图,图5B为本说明书实施例提供的模型训练过程的第二种示意图,该模型训练方法的执行主体可以为服务器,其中,该服务器可以是独立的一个服务器,也可以是由多个服务器组成的服务器集群,而且,该服务器可以基于预先部署于区块链系统中的第二智能合约从终端设备获取多个训练样本,并基于上述获取的多个样本对第一模型进行训练,该方法具体可以包括以下步骤:
在步骤S502中,接收第一设备发送的第二模型训练规则信息,基于第二模型训练规则信息生成第二智能合约,并将第二智能合约部署于区块链系统中。
在实施中,上述区块链系统在接收到第一设备发送的第二模型训练规则信息后,可以基于上述第二模型训练规则信息生成第二智能合约,并将该第二智能合约部署于上述区块链系统中。
在步骤S504中,在获取到第一设备发送的模型训练请求时,基于第二智能合约执行以下处理:
获取多个训练样本,其中,训练样本中包括由多个字符构成的字符序列。
上述步骤的具体处理过程可以参见前述说明书实施例中步骤S202的具体处理过程。
将多个训练样本输入至基于第二智能合约预先训练的第一模型中,对训练样本对应的字符序列中的每个字符位的字符进行预测,确定训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率。
在一种可选的实现方式中,可以将上述获取的多个训练样本输入至基于上述第二智能合约预先训练的第一模型中。上述步骤的其它具体处理过程可以参见前述说明书实施例中步骤S204的具体处理过程。
基于第一预测概率和训练样本的标签信息,从多个训练样本中选取第一数量的训练样本。
上述步骤的具体处理过程可以参见前述说明书实施例中步骤S206的具体处理过程。
基于第一数量的训练样本对第一模型进行训练,如果训练后的第一模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对第一模型进行训练的步骤,直到训练后的第一模型满足相应的收敛条件。
上述步骤的具体处理过程可以参见前述说明书实施例中步骤S208的具体处理过程。
由以上本说明书实施例提供的技术方案可见,本说明书实施例通过将多个训练样本输入至基于第二智能合约预先训练的第一模型中,对训练样本对应的字符序列中的每个字符位的字符进行预测,确定训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率,然后,基于第一预测概率和训练样本的标签信息,从多个训练样本中选取第一数量的训练样本,并基于上述第一数量的训练样本对第一模型进行训练,直到训练后的第一模型满足相应的收敛条件的方法,由于上述第一数量的训练样本为从上述多个训练样本中选取出来的可能不存在噪声的样本,这样,基于上述挑选出的不存在噪声的样本来对上述第一模型进行训练的方法,有效提高了模型训练准确度和模型性能。
对应上述实施例提供的数据识别方法,基于相同的技术构思,本说明书实施例又提供了一种数据识别方法,图6A为本说明书实施例提供的数据识别方法的第二种流程示意图,图6B为本说明书实施例提供的数据识别过程的第二种示意图,该数据识别方法的执行主体可以为服务器,其中,该服务器可以是独立的一个服务器,也可以是由多个服务器组成的服务器集群,而且,该服务器可以基于预先部署于区块链系统中的第三智能合约从终端设备获取待识别的数据,并对上述待识别的数据进行识别,从而输出与上述数据对应的字符序列。该方法具体可以包括以下步骤:
在步骤S602中,接收第二设备发送的数据识别规则信息,基于数据识别规则信息生成第三智能合约,并将第三智能合约部署于区块链系统中。
在实施中,上述区块链系统在接收到第二设备发送的数据识别规则信息后,可以基于数据识别规则信息生成第三智能合约,并将该第三智能合约部署于上述区块链系统中。
在步骤S604中,在获取到第二设备发送的数据识别请求时,基于第三智能合约执行以下处理:
获取待识别的数据,数据中包括由多个字符构成的字符序列。
上述步骤的具体处理过程可以参见前述说明书实施例中步骤S302的具体处理过程。
将待识别的数据输入至第一模型或第二模型中,输出与数据对应的字符序列,其中,第一模型为通过训练样本预先训练的模型,第二模型为通过训练样本预先训练的模型;第一模型和第二模型的训练过程包括:获取多个训练样本,其中,训练样本中包括由多个字符构成的字符序列;将多个训练样本输入至第一模型中,对训练样本对应的字符序列中的每个字符位的字符进行预测,确定训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率;并将多个训练样本输入至第二模型中,对训练样本对应的字符序列中的每个字符位的字符进行预测,确定训练样本对应的字符序列中的每个字符位的字符为预设字符的第二预测概率,第一模型和第二模型是由同一个基准模型确定;基于第一预测概率和训练样本的标签信息,从多个训练样本中选取第一数量的训练样本;并基于第二预测概率和训练样本的标签信息,从多个训练样本中选取第二数量的训练样本;基于第一数量的训练样本对第二模型进行训练,并基于第二数量的训练样本对第一模型进行训练;如果训练后的第一模型和/或训练后的第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对第一模型和第二模型进行训练的步骤,直到训练后的第一模型和/或训练后的第二模型满足相应的收敛条件。或者,获取多个训练样本,其中,训练样本中包括由多个字符构成的字符序列;将多个训练样本输入至第一模型或第二模型中,对训练样本对应的字符序列中的每个字符位的字符进行预测,确定训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率;基于第一预测概率和训练样本的标签信息,从多个训练样本中选取第一数量的训练样本;基于第一数量的训练样本对第一模型或第二模型进行训练,如果训练后的第一模型或第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对第一模型或第二模型进行训练的步骤,直到训练后的第一模型或第二模型满足相应的收敛条件。
上述步骤的具体处理过程可以参见前述说明书实施例中步骤S304的具体处理过程。
由以上本说明书实施例提供的技术方案可见,本说明书实施例通过获取待识别的数据,然后,将上述待识别的数据输入至第一模型或第二模型中,输出与上述数据对应的字符序列的方法,由于上述第一模型或第二模型是通过将相同的多个训练样本分别输入至由同一个基准模型确定的两个相同的模型即第一模型和第二模型中,并通过上述第一模型从上述输入的多个训练样本中选取出第一数量的训练样本,通过上述第二模型从上述输入的多个训练样本中选取出第二数量的训练样本,然后,基于第一数量的训练样本对第二模型进行训练,并基于第二数量的训练样本对第一模型进行训练,直至训练后的第一模型和/或训练后的第二模型满足相应的收敛条件后得到的,由于上述第一模型或第二模型的训练过程中,所采用的上述第一数量的训练样本和第二数量的训练样本均为从上述多个训练样本中选取出来的可能不存在噪声的样本,使得基于上述挑选出的不存在噪声的样本来训练第一模型和第二模型,有效提高了模型训练准确度和模型性能,这样,使用本说明书实施例提供的训练后的第一模型或第二模型来对待识别数据进行识别的方法,有效提高了对待识别的数据进行识别的准确性。
对应上述实施例提供的模型训练方法,基于相同的技术构思,本说明书实施例还提供了一种模型训练装置,图7为本说明书实施例提供的模型训练装置的第一种模块组成示意图,该模型训练装置用于执行上述图1A或图1B描述的模型训练方法,如图7所示,该装置包括:
第一获取模块,获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列;
第一处理模块,将所述多个训练样本输入至第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率;并将所述多个训练样本输入至第二模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第二预测概率,所述第一模型和所述第二模型是由同一个基准模型确定;
第一选取模块,基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本;并基于所述第二预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第二数量的训练样本;
第一训练模块,基于所述第一数量的训练样本对所述第二模型进行训练,并基于所述第二数量的训练样本对所述第一模型进行训练;如果训练后的所述第一模型和/或训练后的所述第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型和所述第二模型进行训练的步骤,直到训练后的所述第一模型和/或训练后的所述第二模型满足相应的收敛条件。
可选地,上述第一选取模块,包括:
第一确定单元,基于所述训练样本的标签信息,确定所述训练样本对应的字符序列中的每个字符位的字符位的第一字符;
第二确定单元,基于所述训练样本对应的字符序列中的每个字符位的字符位的第一字符,以及所述第一预测概率,确定所述训练样本对应的字符序列的置信度,所述置信度用于表征所述训练样本的标签信息的准确程度;
第一选取单元,基于所述训练样本对应的字符序列的置信度,从所述多个训练样本中选取第一数量的训练样本。
可选地,上述第一选取单元,从所述多个训练样本中确定所述置信度大于预设置信度阈值的训练样本,并从所述置信度大于预设置信度阈值的训练样本中选取第一数量的训练样本。
可选地,上述第二确定单元,包括:
第一选取子单元,针对所述训练样本对应的字符序列中的目标字符位,从所述第一预测概率中获取所述目标字符位为所述第一字符的字符预测概率,所述目标字符位为所述训练样本对应的字符序列中的任一字符位;
第一确定子单元,将所述训练样本对应的字符序列中的多个字符位的字符预测概率的乘积作为所述训练样本对应的字符序列的置信度。
由以上本说明书实施例提供的技术方案可见,本说明书实施例通过将相同的多个训练样本分别输入至由同一个基准模型确定的两个相同的模型即第一模型和第二模型中,并通过上述第一模型从上述输入的多个训练样本中选取出第一数量的训练样本,通过上述第二模型从上述输入的多个训练样本中选取出第二数量的训练样本,然后,基于第一数量的训练样本对第二模型进行训练,并基于第二数量的训练样本对第一模型进行训练,直至训练后的第一模型和/或训练后的第二模型满足相应的收敛条件的方法,由于上述第一数量的训练样本和第二数量的训练样本均为从上述多个训练样本中选取出来的可能不存在噪声的样本,这样,基于上述挑选出的不存在噪声的样本来对上述第一模型和第二模型进行训练的方法,有效提高了模型训练准确度和模型性能,此外,通过将第一模型挑选出来的第一数量的训练样本用于对第二模型进行训练,并通过将第二模型挑选出来的第二数量的训练样本用于对第一模型进行训练的方法,从而基于其他模型挑选出的训练样本来进行模型训练的方法,进一步提高了模型训练的准确度和模型性能,可以有效避免模型基于自身挑选出来的训练样本对其自身进行模型训练时,可能存在所挑选出来训练样本中存在噪声样本,导致模型训练准确度和模型性能降低。
本说明书实施例提供的模型训练装置能够实现上述模型训练方法对应的实施例中的各个过程,为避免重复,这里不再赘述。
需要说明的是,本说明书实施例提供的模型训练装置与本说明书实施例提供的模型训练方法基于同一发明构思,因此该实施例的具体实施可以参见上述模型训练方法的实施,重复之处不再赘述。
对应上述实施例提供的模型训练方法,基于相同的技术构思,本说明书实施例还提供了一种模型训练装置,图8为本说明书实施例提供的模型训练装置的第一种模块组成示意图,该模型训练装置用于执行上述图2A或图2B描述的模型训练方法,如图8所示,该装置包括:
第二获取模块,获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列;
第二处理模块,将所述多个训练样本输入至第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率;
第二选取模块,基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本;
第二训练模块,基于所述第一数量的训练样本对所述第一模型进行训练,如果训练后的所述第一模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型进行训练的步骤,直到训练后的所述第一模型满足相应的收敛条件。
由以上本说明书实施例提供的技术方案可见,本说明书实施例通过将多个训练样本输入至基于第二智能合约预先训练的第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率,然后,基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本,并基于上述第一数量的训练样本对第一模型进行训练,直到训练后的所述第一模型满足相应的收敛条件的方法,由于上述第一数量的训练样本为从上述多个训练样本中选取出来的可能不存在噪声的样本,这样,基于上述挑选出的不存在噪声的样本来对上述第一模型进行训练的方法,有效提高了模型训练准确度和模型性能。
本说明书实施例提供的模型训练装置能够实现上述模型训练方法对应的实施例中的各个过程,为避免重复,这里不再赘述。
需要说明的是,本说明书实施例提供的模型训练装置与本说明书实施例提供的模型训练方法基于同一发明构思,因此该实施例的具体实施可以参见上述模型训练方法的实施,重复之处不再赘述。
对应上述实施例提供的数据识别方法,基于相同的技术构思,本说明书实施例还提供了一种数据识别装置,图9为本说明书实施例提供的数据识别装置的第一种模块组成示意图,该数据识别装置用于执行上述图3A或图3B描述的数据识别方法,如图9所示,该装置包括:
第三获取模块,获取待识别的数据,所述数据中包括由多个字符构成的字符序列;
输出模块,将所述待识别的数据输入至第一模型或第二模型中,输出与所述数据对应的字符序列,其中,所述第一模型为通过训练样本预先训练的模型,所述第二模型为通过训练样本预先训练的模型;所述第一模型和所述第二模型的训练过程包括:
获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列;将所述多个训练样本输入至第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率;并将所述多个训练样本输入至第二模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第二预测概率,所述第一模型和所述第二模型是由同一个基准模型确定;基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本;并基于所述第二预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第二数量的训练样本;基于所述第一数量的训练样本对所述第二模型进行训练,并基于所述第二数量的训练样本对所述第一模型进行训练;如果训练后的所述第一模型和/或训练后的所述第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型和所述第二模型进行训练的步骤,直到训练后的所述第一模型和/或训练后的所述第二模型满足相应的收敛条件;
或者,获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列;将所述多个训练样本输入至第一模型或第二模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率;基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本;基于所述第一数量的训练样本对所述第一模型或第二模型进行训练,如果训练后的所述第一模型或第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型或第二模型进行训练的步骤,直到训练后的所述第一模型或第二模型满足相应的收敛条件。
可选地,上述数据至少包括:图像、文本中的一个或多个。
由以上本说明书实施例提供的技术方案可见,本说明书实施例通过获取待识别的数据,然后,将上述待识别的数据输入至第一模型或第二模型中,输出与上述数据对应的字符序列的方法,由于上述第一模型或第二模型是通过将相同的多个训练样本分别输入至由同一个基准模型确定的两个相同的模型即第一模型和第二模型中,并通过上述第一模型从上述输入的多个训练样本中选取出第一数量的训练样本,通过上述第二模型从上述输入的多个训练样本中选取出第二数量的训练样本,然后,基于第一数量的训练样本对第二模型进行训练,并基于第二数量的训练样本对第一模型进行训练,直至训练后的第一模型和/或训练后的第二模型满足相应的收敛条件后得到的,由于上述第一模型或第二模型的训练过程中,所采用的上述第一数量的训练样本和第二数量的训练样本均为从上述多个训练样本中选取出来的可能不存在噪声的样本,使得基于上述挑选出的不存在噪声的样本来训练第一模型和第二模型,有效提高了模型训练准确度和模型性能,这样,使用本说明书实施例提供的训练后的第一模型或第二模型来对待识别数据进行识别的方法,有效提高了对待识别的数据进行识别的准确性。
本说明书实施例提供的模型训练装置能够实现上述模型训练方法对应的实施例中的各个过程,为避免重复,这里不再赘述。
需要说明的是,本说明书实施例提供的模型训练装置与本说明书实施例提供的模型训练方法基于同一发明构思,因此该实施例的具体实施可以参见上述模型训练方法的实施,重复之处不再赘述。
对应上述实施例提供的模型训练方法,基于相同的技术构思,本说明书实施例还提供了一种模型训练装置,图10为本说明书实施例提供的模型训练装置的第一种模块组成示意图,该模型训练装置用于执行上述图4A或图4B描述的模型训练方法,如图10所示,该装置包括:
第一接收模块,接收第一设备发送的模型训练规则信息,基于所述模型训练规则信息生成第一智能合约,并将所述第一智能合约部署于所述区块链系统中;
第三处理模块,在获取到所述第一设备发送的模型训练请求时,基于所述第一智能合约执行以下处理:
获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列;
将所述多个训练样本输入至基于所述第一智能合约预先训练的第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率;并将所述多个训练样本输入至基于所述第一智能合约预先训练的第二模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第二预测概率,所述第一模型和所述第二模型是由同一个基准模型确定;
基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本;并基于所述第二预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第二数量的训练样本;
基于所述第一数量的训练样本对所述第二模型进行训练,并基于所述第二数量的训练样本对所述第一模型进行训练;如果训练后的所述第一模型和/或训练后的所述第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型和所述第二模型进行训练的步骤,直到训练后的所述第一模型和/或训练后的所述第二模型满足相应的收敛条件。
由以上本说明书实施例提供的技术方案可见,本说明书实施例通过将相同的多个训练样本分别输入至由同一个基准模型确定的两个相同的模型即第一模型和第二模型中,并通过上述第一模型从上述输入的多个训练样本中选取出第一数量的训练样本,通过上述第二模型从上述输入的多个训练样本中选取出第二数量的训练样本,然后,基于第一数量的训练样本对第二模型进行训练,并基于第二数量的训练样本对第一模型进行训练,直至训练后的第一模型和/或训练后的第二模型满足相应的收敛条件的方法,由于上述第一数量的训练样本和第二数量的训练样本均为从上述多个训练样本中选取出来的可能不存在噪声的样本,这样,基于上述挑选出的不存在噪声的样本来对上述第一模型和第二模型进行训练的方法,有效提高了模型训练准确度和模型性能,此外,通过将第一模型挑选出来的第一数量的训练样本用于对第二模型进行训练,并通过将第二模型挑选出来的第二数量的训练样本用于对第一模型进行训练的方法,从而基于其他模型挑选出的训练样本来进行模型训练的方法,进一步提高了模型训练的准确度和模型性能,可以有效避免模型基于自身挑选出来的训练样本对其自身进行模型训练时,可能存在所挑选出来训练样本中存在噪声样本,导致模型训练准确度和模型性能降低。
本说明书实施例提供的模型训练装置能够实现上述模型训练方法对应的实施例中的各个过程,为避免重复,这里不再赘述。
需要说明的是,本说明书实施例提供的模型训练装置与本说明书实施例提供的模型训练方法基于同一发明构思,因此该实施例的具体实施可以参见上述模型训练方法的实施,重复之处不再赘述。
对应上述实施例提供的模型训练方法,基于相同的技术构思,本说明书实施例还提供了一种模型训练装置,图11为本说明书实施例提供的模型训练装置的第一种模块组成示意图,该模型训练装置用于执行上述图5A或图5B描述的模型训练方法,如图11所示,该装置包括:
第二接收模块,接收第一设备发送的第二模型训练规则信息,基于所述第二模型训练规则信息生成第二智能合约,并将所述第二智能合约部署于所述区块链系统中;
第四处理模块,在获取到所述第一设备发送的模型训练请求时,基于所述第二智能合约执行以下处理:
获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列;
将所述多个训练样本输入至基于所述第二智能合约预先训练的第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率;
基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本;
基于所述第一数量的训练样本对所述第一模型进行训练,如果训练后的所述第一模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型进行训练的步骤,直到训练后的所述第一模型满足相应的收敛条件。
由以上本说明书实施例提供的技术方案可见,本说明书实施例通过将多个训练样本输入至基于所述第二智能合约预先训练的第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率,然后,基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本,并基于上述第一数量的训练样本对第一模型进行训练,直到训练后的所述第一模型满足相应的收敛条件的方法,由于上述第一数量的训练样本为从上述多个训练样本中选取出来的可能不存在噪声的样本,这样,基于上述挑选出的不存在噪声的样本来对上述第一模型进行训练的方法,有效提高了模型训练准确度和模型性能。
本说明书实施例提供的模型训练装置能够实现上述模型训练方法对应的实施例中的各个过程,为避免重复,这里不再赘述。
需要说明的是,本说明书实施例提供的模型训练装置与本说明书实施例提供的模型训练方法基于同一发明构思,因此该实施例的具体实施可以参见上述模型训练方法的实施,重复之处不再赘述。
对应上述实施例提供的模型训练方法,基于相同的技术构思,本说明书实施例还提供了一种数据识别装置,图12为本说明书实施例提供的数据识别装置的第一种模块组成示意图,该数据识别装置用于执行上述图6A或图6B描述的数据识别方法,如图11所示,该装置包括:
第三接收模块,接收第二设备发送的数据识别规则信息,基于所述数据识别规则信息生成第三智能合约,并将所述第三智能合约部署于所述区块链系统中;
第五处理模块,在获取到所述第二设备发送的数据识别请求时,基于所述第三智能合约执行以下处理:
获取待识别的数据,所述数据中包括由多个字符构成的字符序列;
将所述待识别的数据输入至第一模型或第二模型中,输出与所述数据对应的字符序列,其中,所述第一模型为通过训练样本预先训练的模型,所述第二模型为通过训练样本预先训练的模型;所述第一模型和所述第二模型的训练过程包括:
获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列;将所述多个训练样本输入至第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率;并将所述多个训练样本输入至第二模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第二预测概率,所述第一模型和所述第二模型是由同一个基准模型确定;基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本;并基于所述第二预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第二数量的训练样本;基于所述第一数量的训练样本对所述第二模型进行训练,并基于所述第二数量的训练样本对所述第一模型进行训练;如果训练后的所述第一模型和/或训练后的所述第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型和所述第二模型进行训练的步骤,直到训练后的所述第一模型和/或训练后的所述第二模型满足相应的收敛条件;
或者,获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列;将所述多个训练样本输入至第一模型或第二模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率;基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本;基于所述第一数量的训练样本对所述第一模型或第二模型进行训练,如果训练后的所述第一模型或第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型或第二模型进行训练的步骤,直到训练后的所述第一模型或第二模型满足相应的收敛条件。
由以上本说明书实施例提供的技术方案可见,本说明书实施例通过获取待识别的数据,然后,将上述待识别的数据输入至第一模型或第二模型中,输出与上述数据对应的字符序列的方法,由于上述第一模型或第二模型是通过将相同的多个训练样本分别输入至由同一个基准模型确定的两个相同的模型即第一模型和第二模型中,并通过上述第一模型从上述输入的多个训练样本中选取出第一数量的训练样本,通过上述第二模型从上述输入的多个训练样本中选取出第二数量的训练样本,然后,基于第一数量的训练样本对第二模型进行训练,并基于第二数量的训练样本对第一模型进行训练,直至训练后的第一模型和/或训练后的第二模型满足相应的收敛条件后得到的,由于上述第一模型或第二模型的训练过程中,所采用的上述第一数量的训练样本和第二数量的训练样本均为从上述多个训练样本中选取出来的可能不存在噪声的样本,使得基于上述挑选出的不存在噪声的样本来训练第一模型和第二模型,有效提高了模型训练准确度和模型性能,这样,使用本说明书实施例提供的训练后的第一模型或第二模型来对待识别数据进行识别的方法,有效提高了对待识别的数据进行识别的准确性。
本说明书实施例提供的模型训练装置能够实现上述模型训练方法对应的实施例中的各个过程,为避免重复,这里不再赘述。
需要说明的是,本说明书实施例提供的模型训练装置与本说明书实施例提供的模型训练方法基于同一发明构思,因此该实施例的具体实施可以参见上述模型训练方法的实施,重复之处不再赘述。
对应上述实施例提供的模型训练方法,基于相同的技术构思,本说明书实施例还提供了一种模型训练设备,如图13所示,图13为本说明书实施例提供的模型训练设备的硬件结构示意图,该模型训练设备用于执行图1A、图1B、图2A、图2B、图4A、图4B,图5A、图5B描述的模型训练方法,或者,还可以用于执行图3A、图3B、图6A、图6B描述的数据识别方法。
模型训练设备可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上的处理器1301和存储器1302,存储器1302中可以存储有一个或一个以上存储应用程序或数据。其中,存储器1302可以是短暂存储或持久存储。存储在存储器1302的应用程序可以包括一个或一个以上模块(图示未示出),每个模块可以包括对任务的分配设备中的一系列计算机可执行指令。更进一步地,处理器1301可以设置为与存储器1302通信,在数据访问设备上执行存储器1302中的一系列计算机可执行指令。数据访问设备还可以包括一个或一个以上电源1303,一个或一个以上有线或无线网络接口1304,一个或一个以上输入输出接口1305,一个或一个以上键盘1306。
具体在本实施例中,模型训练设备包括有存储器,以及一个或一个以上的程序,其中一个或者一个以上程序存储于存储器中,且一个或者一个以上程序可以包括一个或一个以上模块,且每个模块可以包括对任务的分配设备中的一系列计算机可执行指令,且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令:
获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列;
将所述多个训练样本输入至第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率;并将所述多个训练样本输入至第二模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第二预测概率,所述第一模型和所述第二模型是由同一个基准模型确定;
基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本;并基于所述第二预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第二数量的训练样本;
基于所述第一数量的训练样本对所述第二模型进行训练,并基于所述第二数量的训练样本对所述第一模型进行训练;如果训练后的所述第一模型和/或训练后的所述第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型和所述第二模型进行训练的步骤,直到训练后的所述第一模型和/或训练后的所述第二模型满足相应的收敛条件。
或者,上述模型训练设备还可以为用于进行以下计算机可执行指令:
获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列;
将所述多个训练样本输入至第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率;
基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本;
基于所述第一数量的训练样本对所述第一模型进行训练,如果训练后的所述第一模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型进行训练的步骤,直到训练后的所述第一模型满足相应的收敛条件。
或者,上述模型训练设备还可以为区块链系统中的设备,用于进行以下计算机可执行指令:
接收第一设备发送的模型训练规则信息,基于所述模型训练规则信息生成第一智能合约,并将所述第一智能合约部署于所述区块链系统中;
在获取到所述第一设备发送的模型训练请求时,基于所述第一智能合约执行以下处理:
获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列;
将所述多个训练样本输入至基于所述第一智能合约预先训练的第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率;并将所述多个训练样本输入至基于所述第一智能合约预先训练的第二模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第二预测概率,所述第一模型和所述第二模型是由同一个基准模型确定;
基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本;并基于所述第二预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第二数量的训练样本;
基于所述第一数量的训练样本对所述第二模型进行训练,并基于所述第二数量的训练样本对所述第一模型进行训练;如果训练后的所述第一模型和/或训练后的所述第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型和所述第二模型进行训练的步骤,直到训练后的所述第一模型和/或训练后的所述第二模型满足相应的收敛条件。
或者,上述模型训练设备还可以为区块链系统中的设备,用于进行以下计算机可执行指令:
接收第一设备发送的第二模型训练规则信息,基于所述第二模型训练规则信息生成第二智能合约,并将所述第二智能合约部署于所述区块链系统中;
在获取到所述第一设备发送的模型训练请求时,基于所述第二智能合约执行以下处理:
获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列;
将所述多个训练样本输入至基于所述第二智能合约预先训练的第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率;
基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本;
基于所述第一数量的训练样本对所述第一模型进行训练,如果训练后的所述第一模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型进行训练的步骤,直到训练后的所述第一模型满足相应的收敛条件。
或者,上述设备还可以为数据识别设备,上述数据识别设备还可以用于进行以下计算机可执行指令:
获取待识别的数据,所述数据中包括由多个字符构成的字符序列;
将所述待识别的数据输入至第一模型或第二模型中,输出与所述数据对应的字符序列,其中,所述第一模型为通过训练样本预先训练的模型,所述第二模型为通过训练样本预先训练的模型;所述第一模型和所述第二模型的训练过程包括:
获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列;将所述多个训练样本输入至第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率;并将所述多个训练样本输入至第二模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第二预测概率,所述第一模型和所述第二模型是由同一个基准模型确定;基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本;并基于所述第二预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第二数量的训练样本;基于所述第一数量的训练样本对所述第二模型进行训练,并基于所述第二数量的训练样本对所述第一模型进行训练;如果训练后的所述第一模型和/或训练后的所述第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型和所述第二模型进行训练的步骤,直到训练后的所述第一模型和/或训练后的所述第二模型满足相应的收敛条件;
或者,获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列;将所述多个训练样本输入至第一模型或第二模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率;基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本;基于所述第一数量的训练样本对所述第一模型或第二模型进行训练,如果训练后的所述第一模型或第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型或第二模型进行训练的步骤,直到训练后的所述第一模型或第二模型满足相应的收敛条件。
或者,上述设备还可以为数据识别设备,上述数据识别设备可以为区块链系统中的设备,用于进行以下计算机可执行指令:
接收第二设备发送的数据识别规则信息,基于所述数据识别规则信息生成第三智能合约,并将所述第三智能合约部署于所述区块链系统中;
在获取到所述第二设备发送的数据识别请求时,基于所述第三智能合约执行以下处理:
获取待识别的数据,所述数据中包括由多个字符构成的字符序列;
将所述待识别的数据输入至第一模型或第二模型中,输出与所述数据对应的字符序列,其中,所述第一模型为通过训练样本预先训练的模型,所述第二模型为通过训练样本预先训练的模型;所述第一模型和所述第二模型的训练过程包括:
获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列;将所述多个训练样本输入至第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率;并将所述多个训练样本输入至第二模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第二预测概率,所述第一模型和所述第二模型是由同一个基准模型确定;基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本;并基于所述第二预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第二数量的训练样本;基于所述第一数量的训练样本对所述第二模型进行训练,并基于所述第二数量的训练样本对所述第一模型进行训练;如果训练后的所述第一模型和/或训练后的所述第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型和所述第二模型进行训练的步骤,直到训练后的所述第一模型和/或训练后的所述第二模型满足相应的收敛条件;
或者,获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列;将所述多个训练样本输入至第一模型或第二模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率;基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本;基于所述第一数量的训练样本对所述第一模型或第二模型进行训练,如果训练后的所述第一模型或第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型或第二模型进行训练的步骤,直到训练后的所述第一模型或第二模型满足相应的收敛条件。
进一步的,对应上述实施例提供的模型训练方法,本说明书实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器1101执行时实现如上述模型训练方法实施例的各步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,的计算机可读存储介质,如只读存储器(Read-OnlyMemory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等。
需要说明的是,本说明书实施例提供的模型训练设备和计算机可读存储介质能够实现上述模型训练方法实施例中的各个过程,为避免重复,这里不再赘述。
进一步的,对应上述实施例提供的数据识别方法,本说明书实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器1101执行时实现如上述数据识别方法实施例的各步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,的计算机可读存储介质,如只读存储器(Read-OnlyMemory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等。
需要说明的是,本说明书实施例提供的数据识别设备和计算机可读存储介质能够实现上述数据识别方法实施例中的各个过程,为避免重复,这里不再赘述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本领域内的技术人员应明白,本说明书的实施例可提供为方法、系统、或计算机程序产品。因此,本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
可以理解的是,本说明书实施例描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现,处理单元可以实现在一个或多个专用集成电路(Application Specific Integrated Circuits,ASIC)、数字信号处理器(Digital SignalProcessing,DSP)、数字信号处理设备(DSP Device,DSPD)、可编程逻辑设备(ProgrammableLogic Device,PLD)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本说明书功能的其它电子单元或其组合中。
对于软件实现,可通过执行本说明书实施例上述功能的模块(例如过程、函数等)来实现本说明书实施例上述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
还需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括上述要素的过程、方法、商品或者设备中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本说明书的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本说明书各个实施例的上述方法。
上面结合附图对本说明书的实施例进行了描述,但是本说明书并不局限于上述的具体实施方式,上述具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本说明书的启示下,在不脱离本说明书宗旨和权利要求所保护的范围情况下,本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书的权利要求范围之内。
Claims (20)
1.一种模型训练方法,所述方法包括:
获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列;
将所述多个训练样本输入至第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率;并将所述多个训练样本输入至第二模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第二预测概率,所述第一模型和所述第二模型是由同一个基准模型确定;
基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本;并基于所述第二预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第二数量的训练样本;
基于所述第一数量的训练样本对所述第二模型进行训练,并基于所述第二数量的训练样本对所述第一模型进行训练;如果训练后的所述第一模型和/或训练后的所述第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型和所述第二模型进行训练的步骤,直到训练后的所述第一模型和/或训练后的所述第二模型满足相应的收敛条件。
2.根据权利要求1所述的方法,所述基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本,包括:
基于所述训练样本的标签信息,确定所述训练样本对应的字符序列中的每个字符位的字符为第一字符;
基于所述训练样本对应的字符序列中的每个字符位的字符为第一字符,以及所述第一预测概率,确定所述训练样本对应的字符序列的置信度,所述置信度用于表征所述训练样本的标签信息的准确程度;
基于所述训练样本对应的字符序列的置信度,从所述多个训练样本中选取第一数量的训练样本。
3.根据权利要求2所述的方法,所述基于所述训练样本对应的字符序列的置信度,从所述多个训练样本中选取第一数量的训练样本,包括:
从所述多个训练样本中确定所述置信度大于预设置信度阈值的训练样本,并从所述置信度大于预设置信度阈值的训练样本中选取第一数量的训练样本。
4.根据权利要求2-3任一项所述的方法,所述基于所述训练样本对应的字符序列中的每个字符位的字符为第一字符,以及所述第一预测概率,确定所述训练样本对应的字符序列的置信度,包括:
针对所述训练样本对应的字符序列中的目标字符位,从所述第一预测概率中获取所述目标字符位为所述第一字符的字符预测概率,所述目标字符位为所述训练样本对应的字符序列中的任一字符位;
将所述训练样本对应的字符序列中的多个字符位的字符预测概率的乘积作为所述训练样本对应的字符序列的置信度。
5.根据权利要求1所述的方法,所述字符序列中包含的字符包括中文字符、字母、数字、符号和图形中的一种或多种。
6.根据权利要求1所述的方法,所述基准模型为基于一种或多种不同的预设神经网络算法构建的模型。
7.根据权利要求1所述的方法,所述训练样本中还包括与所述字符序列不相关的噪声数据,所述噪声数据包括中文字符、字母、数字、符号、图形、线条中的一种或多种。
8.一种模型训练方法,所述方法包括:
获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列;
将所述多个训练样本输入至第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率;
基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本;
基于所述第一数量的训练样本对所述第一模型进行训练,如果训练后的所述第一模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型进行训练的步骤,直到训练后的所述第一模型满足相应的收敛条件。
9.一种数据识别方法,所述方法包括:
获取待识别的数据,所述数据中包括由多个字符构成的字符序列;
将所述待识别的数据输入至第一模型或第二模型中,输出与所述数据对应的字符序列,其中,所述第一模型为通过训练样本预先训练的模型,所述第二模型为通过训练样本预先训练的模型;所述第一模型和所述第二模型的训练过程包括:
获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列;将所述多个训练样本输入至第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率;并将所述多个训练样本输入至第二模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第二预测概率,所述第一模型和所述第二模型是由同一个基准模型确定;基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本;并基于所述第二预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第二数量的训练样本;基于所述第一数量的训练样本对所述第二模型进行训练,并基于所述第二数量的训练样本对所述第一模型进行训练;如果训练后的所述第一模型和/或训练后的所述第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型和所述第二模型进行训练的步骤,直到训练后的所述第一模型和/或训练后的所述第二模型满足相应的收敛条件;
或者,获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列;将所述多个训练样本输入至第一模型或第二模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率;基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本;基于所述第一数量的训练样本对所述第一模型或第二模型进行训练,如果训练后的所述第一模型或第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型或第二模型进行训练的步骤,直到训练后的所述第一模型或第二模型满足相应的收敛条件。
10.根据权利要求9所述的方法,所述待识别的数据中还包括与所述字符序列不相关的噪声数据,所述噪声数据包括中文字符、字母、数字、符号、图形、线条中的一种或多种。
11.一种模型训练方法,应用于区块链系统,所述方法包括:
接收第一设备发送的模型训练规则信息,基于所述模型训练规则信息生成第一智能合约,并将所述第一智能合约部署于所述区块链系统中;
在获取到所述第一设备发送的模型训练请求时,基于所述第一智能合约执行以下处理:
获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列;
将所述多个训练样本输入至基于所述第一智能合约预先训练的第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率;并将所述多个训练样本输入至基于所述第一智能合约预先训练的第二模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第二预测概率,所述第一模型和所述第二模型是由同一个基准模型确定;
基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本;并基于所述第二预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第二数量的训练样本;
基于所述第一数量的训练样本对所述第二模型进行训练,并基于所述第二数量的训练样本对所述第一模型进行训练;如果训练后的所述第一模型和/或训练后的所述第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型和所述第二模型进行训练的步骤,直到训练后的所述第一模型和/或训练后的所述第二模型满足相应的收敛条件。
12.一种模型训练装置,所述装置包括:
第一获取模块,获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列;
第一处理模块,将所述多个训练样本输入至第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率;并将所述多个训练样本输入至第二模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第二预测概率,所述第一模型和所述第二模型是由同一个基准模型确定;
第一选取模块,基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本;并基于所述第二预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第二数量的训练样本;
第一训练模块,基于所述第一数量的训练样本对所述第二模型进行训练,并基于所述第二数量的训练样本对所述第一模型进行训练;如果训练后的所述第一模型和/或训练后的所述第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型和所述第二模型进行训练的步骤,直到训练后的所述第一模型和/或训练后的所述第二模型满足相应的收敛条件。
13.一种模型训练装置,所述装置包括:
第二获取模块,获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列;
第二处理模块,将所述多个训练样本输入至第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率;
第二选取模块,基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本;
第二训练模块,基于所述第一数量的训练样本对所述第一模型进行训练,如果训练后的所述第一模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型进行训练的步骤,直到训练后的所述第一模型满足相应的收敛条件。
14.一种数据识别装置,所述装置包括:
第三获取模块,获取待识别的数据,所述数据中包括由多个字符构成的字符序列;
输出模块,将所述待识别的数据输入至第一模型或第二模型中,输出与所述数据对应的字符序列,其中,所述第一模型为通过训练样本预先训练的模型,所述第二模型为通过训练样本预先训练的模型;所述第一模型和所述第二模型的训练过程包括:
获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列;将所述多个训练样本输入至第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率;并将所述多个训练样本输入至第二模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第二预测概率,所述第一模型和所述第二模型是由同一个基准模型确定;基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本;并基于所述第二预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第二数量的训练样本;基于所述第一数量的训练样本对所述第二模型进行训练,并基于所述第二数量的训练样本对所述第一模型进行训练;如果训练后的所述第一模型和/或训练后的所述第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型和所述第二模型进行训练的步骤,直到训练后的所述第一模型和/或训练后的所述第二模型满足相应的收敛条件;
或者,获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列;将所述多个训练样本输入至第一模型或第二模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率;基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本;基于所述第一数量的训练样本对所述第一模型或第二模型进行训练,如果训练后的所述第一模型或第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型或第二模型进行训练的步骤,直到训练后的所述第一模型或第二模型满足相应的收敛条件。
15.一种模型训练设备,所述设备包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器:
获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列;
将所述多个训练样本输入至第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率;并将所述多个训练样本输入至第二模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第二预测概率,所述第一模型和所述第二模型是由同一个基准模型确定;
基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本;并基于所述第二预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第二数量的训练样本;
基于所述第一数量的训练样本对所述第二模型进行训练,并基于所述第二数量的训练样本对所述第一模型进行训练;如果训练后的所述第一模型和/或训练后的所述第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型和所述第二模型进行训练的步骤,直到训练后的所述第一模型和/或训练后的所述第二模型满足相应的收敛条件。
16.一种模型训练设备,所述设备包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器:
获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列;
将所述多个训练样本输入至第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率;
基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本;
基于所述第一数量的训练样本对所述第一模型进行训练,如果训练后的所述第一模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型进行训练的步骤,直到训练后的所述第一模型满足相应的收敛条件。
17.一种数据识别设备,所述设备包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器:
获取待识别的数据,所述数据中包括由多个字符构成的字符序列;
将所述待识别的数据输入至第一模型或第二模型中,输出与所述数据对应的字符序列,其中,所述第一模型为通过训练样本预先训练的模型,所述第二模型为通过训练样本预先训练的模型;所述第一模型和所述第二模型的训练过程包括:
获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列;将所述多个训练样本输入至第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率;并将所述多个训练样本输入至第二模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第二预测概率,所述第一模型和所述第二模型是由同一个基准模型确定;基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本;并基于所述第二预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第二数量的训练样本;基于所述第一数量的训练样本对所述第二模型进行训练,并基于所述第二数量的训练样本对所述第一模型进行训练;如果训练后的所述第一模型和/或训练后的所述第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型和所述第二模型进行训练的步骤,直到训练后的所述第一模型和/或训练后的所述第二模型满足相应的收敛条件;
或者,获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列;将所述多个训练样本输入至第一模型或第二模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率;基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本;基于所述第一数量的训练样本对所述第一模型或第二模型进行训练,如果训练后的所述第一模型或第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型或第二模型进行训练的步骤,直到训练后的所述第一模型或第二模型满足相应的收敛条件。
18.一种存储介质,所述存储介质用于存储计算机可执行指令,所述可执行指令在被执行时实现以下流程:
获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列;
将所述多个训练样本输入至第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率;并将所述多个训练样本输入至第二模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第二预测概率,所述第一模型和所述第二模型是由同一个基准模型确定;
基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本;并基于所述第二预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第二数量的训练样本;
基于所述第一数量的训练样本对所述第二模型进行训练,并基于所述第二数量的训练样本对所述第一模型进行训练;如果训练后的所述第一模型和/或训练后的所述第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型和所述第二模型进行训练的步骤,直到训练后的所述第一模型和/或训练后的所述第二模型满足相应的收敛条件。
19.一种存储介质,所述存储介质用于存储计算机可执行指令,所述可执行指令在被执行时实现以下流程:
获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列;
将所述多个训练样本输入至第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率;
基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本;
基于所述第一数量的训练样本对所述第一模型进行训练,如果训练后的所述第一模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型进行训练的步骤,直到训练后的所述第一模型满足相应的收敛条件。
20.一种存储介质,所述存储介质用于存储计算机可执行指令,所述可执行指令在被执行时实现以下流程:
获取待识别的数据,所述数据中包括由多个字符构成的字符序列;
将所述待识别的数据输入至第一模型或第二模型中,输出与所述数据对应的字符序列,其中,所述第一模型为通过训练样本预先训练的模型,所述第二模型为通过训练样本预先训练的模型;所述第一模型和所述第二模型的训练过程包括:
获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列;将所述多个训练样本输入至第一模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率;并将所述多个训练样本输入至第二模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第二预测概率,所述第一模型和所述第二模型是由同一个基准模型确定;基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本;并基于所述第二预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第二数量的训练样本;基于所述第一数量的训练样本对所述第二模型进行训练,并基于所述第二数量的训练样本对所述第一模型进行训练;如果训练后的所述第一模型和/或训练后的所述第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型和所述第二模型进行训练的步骤,直到训练后的所述第一模型和/或训练后的所述第二模型满足相应的收敛条件;
或者,获取多个训练样本,其中,所述训练样本中包括由多个字符构成的字符序列;将所述多个训练样本输入至第一模型或第二模型中,对所述训练样本对应的字符序列中的每个字符位的字符进行预测,确定所述训练样本对应的字符序列中的每个字符位的字符为预设字符的第一预测概率;基于所述第一预测概率和所述训练样本的标签信息,从所述多个训练样本中选取第一数量的训练样本;基于所述第一数量的训练样本对所述第一模型或第二模型进行训练,如果训练后的所述第一模型或第二模型不满足相应的收敛条件,则重新执行获取多个训练样本,以及对所述第一模型或第二模型进行训练的步骤,直到训练后的所述第一模型或第二模型满足相应的收敛条件。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210028772.0A CN114417987A (zh) | 2022-01-11 | 2022-01-11 | 一种模型训练方法、数据识别方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210028772.0A CN114417987A (zh) | 2022-01-11 | 2022-01-11 | 一种模型训练方法、数据识别方法、装置及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114417987A true CN114417987A (zh) | 2022-04-29 |
Family
ID=81274191
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210028772.0A Pending CN114417987A (zh) | 2022-01-11 | 2022-01-11 | 一种模型训练方法、数据识别方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114417987A (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106228980A (zh) * | 2016-07-21 | 2016-12-14 | 百度在线网络技术(北京)有限公司 | 数据处理方法和装置 |
CN109189767A (zh) * | 2018-08-01 | 2019-01-11 | 北京三快在线科技有限公司 | 数据处理方法、装置、电子设备及存储介质 |
CN110991520A (zh) * | 2019-11-29 | 2020-04-10 | 汉海信息技术(上海)有限公司 | 一种生成训练样本的方法以及装置 |
CN111209377A (zh) * | 2020-04-23 | 2020-05-29 | 腾讯科技(深圳)有限公司 | 基于深度学习的文本处理方法、装置、设备及介质 |
CN111435445A (zh) * | 2019-12-24 | 2020-07-21 | 珠海大横琴科技发展有限公司 | 字符识别模型的训练方法及装置、字符识别方法及装置 |
CN112149825A (zh) * | 2020-09-24 | 2020-12-29 | 创新奇智(上海)科技有限公司 | 神经网络模型的训练方法及装置、电子设备、存储介质 |
CN112329470A (zh) * | 2020-11-09 | 2021-02-05 | 北京中科闻歌科技股份有限公司 | 一种基于端到端模型训练的智能地址识别方法及装置 |
US20210241097A1 (en) * | 2019-11-07 | 2021-08-05 | Canon Kabushiki Kaisha | Method and Apparatus for training an object recognition model |
US20210256420A1 (en) * | 2020-02-19 | 2021-08-19 | Microsoft Technology Licensing, Llc | System and method for improving machine learning models by detecting and removing inaccurate training data |
CN113470031A (zh) * | 2021-09-03 | 2021-10-01 | 北京字节跳动网络技术有限公司 | 息肉分型方法、模型训练方法及相关装置 |
CN113761925A (zh) * | 2021-07-23 | 2021-12-07 | 中国科学院自动化研究所 | 基于噪声感知机制的命名实体识别方法、装置及设备 |
-
2022
- 2022-01-11 CN CN202210028772.0A patent/CN114417987A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106228980A (zh) * | 2016-07-21 | 2016-12-14 | 百度在线网络技术(北京)有限公司 | 数据处理方法和装置 |
CN109189767A (zh) * | 2018-08-01 | 2019-01-11 | 北京三快在线科技有限公司 | 数据处理方法、装置、电子设备及存储介质 |
US20210241097A1 (en) * | 2019-11-07 | 2021-08-05 | Canon Kabushiki Kaisha | Method and Apparatus for training an object recognition model |
CN110991520A (zh) * | 2019-11-29 | 2020-04-10 | 汉海信息技术(上海)有限公司 | 一种生成训练样本的方法以及装置 |
CN111435445A (zh) * | 2019-12-24 | 2020-07-21 | 珠海大横琴科技发展有限公司 | 字符识别模型的训练方法及装置、字符识别方法及装置 |
US20210256420A1 (en) * | 2020-02-19 | 2021-08-19 | Microsoft Technology Licensing, Llc | System and method for improving machine learning models by detecting and removing inaccurate training data |
CN111209377A (zh) * | 2020-04-23 | 2020-05-29 | 腾讯科技(深圳)有限公司 | 基于深度学习的文本处理方法、装置、设备及介质 |
CN112149825A (zh) * | 2020-09-24 | 2020-12-29 | 创新奇智(上海)科技有限公司 | 神经网络模型的训练方法及装置、电子设备、存储介质 |
CN112329470A (zh) * | 2020-11-09 | 2021-02-05 | 北京中科闻歌科技股份有限公司 | 一种基于端到端模型训练的智能地址识别方法及装置 |
CN113761925A (zh) * | 2021-07-23 | 2021-12-07 | 中国科学院自动化研究所 | 基于噪声感知机制的命名实体识别方法、装置及设备 |
CN113470031A (zh) * | 2021-09-03 | 2021-10-01 | 北京字节跳动网络技术有限公司 | 息肉分型方法、模型训练方法及相关装置 |
Non-Patent Citations (2)
Title |
---|
BO HAN: "Co-teaching: Robust Training Deep Neural Networks with Extremely Noisy Labels", ARXIV:1804.06872V2, 21 May 2018 (2018-05-21), pages 1 - 12 * |
宫辰: "标签噪声鲁棒学习算法研究综述", 《航空兵器》, 30 June 2020 (2020-06-30) * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111615702B (zh) | 一种从图像中提取结构化数据的方法、装置和设备 | |
CN113254654B (zh) | 模型训练、文本识别方法、装置、设备和介质 | |
CN110222330B (zh) | 语义识别方法及装置、存储介质、计算机设备 | |
CN110610180B (zh) | 错别字词识别集的生成方法、装置、设备及存储介质 | |
CN111507250B (zh) | 图像识别方法、设备及存储介质 | |
CN111414946A (zh) | 基于人工智能的医疗影像的噪声数据识别方法和相关装置 | |
CN112966713B (zh) | 基于深度学习的dga域名检测方法、装置及计算机设备 | |
EP4002216A1 (en) | Method for recommending object, neural network, computer program product and computer-readable storage medium | |
CN109597982B (zh) | 摘要文本识别方法及装置 | |
CN110619213A (zh) | 基于多模型特征的恶意软件识别方法、系统及相关装置 | |
CN115100659B (zh) | 文本识别方法、装置、电子设备和存储介质 | |
CN110750637A (zh) | 文本摘要提取方法、装置、计算机设备及存储介质 | |
CN110414622B (zh) | 基于半监督学习的分类器训练方法及装置 | |
CN114639096A (zh) | 文本识别方法、装置、电子设备和存储介质 | |
CN114417987A (zh) | 一种模型训练方法、数据识别方法、装置及设备 | |
CN115049899B (zh) | 模型训练方法、指代表达式生成方法及相关设备 | |
CN116484881A (zh) | 对话生成模型的训练方法、装置、存储介质及计算机设备 | |
CN112818119B (zh) | 一种信息的处理方法、装置及设备 | |
CN115374766A (zh) | 文本标点恢复方法及相关设备 | |
CN112085594B (zh) | 身份核实方法、设备及可读存储介质 | |
CN115373634A (zh) | 随机码生成方法、装置、计算机设备及存储介质 | |
CN113590812B (zh) | 垃圾文本训练样本的筛选方法及装置、电子设备 | |
CN114358284A (zh) | 一种基于类别信息对神经网络分步训练的方法、装置、介质 | |
CN113128496B (zh) | 一种从图像中提取结构化数据的方法、装置和设备 | |
CN113988316A (zh) | 对机器学习模型训练的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |