CN114973226A - 自监督对比学习自然场景中文本识别系统训练方法 - Google Patents

Abstract

本发明涉及一种自监督对比学习自然场景中文本识别系统训练方法，将图像正负样本中的文本标签作为文本标签正负样本，送入文本编码器中进行对比学习，作为图像编码器的辅助训练学习，再采用图像正负样本中提取的图像特征和文本标签正负样本中提取的文本特征组成特征对，分别计算图像‑文本损失和文本‑图像损失，将正样本图像‑文本对的两个损失的加权组合最小为目标对系统进行训练，最终获得图像编码器中参数化的图像编码器函数。采用自然图像文本与文本的正负样本集同时进行识别训练，获得具有对自然场景中文本对比学习能力的识别模型，训练后模型可对自然场景中文本进行检测识别，大大降低对有标注数据集的依赖程度。

Description

自监督对比学习自然场景中文本识别系统训练方法

技术领域

本发明涉及一种文本检测与识别技术，特别涉及一种自监督对比学习自然场景中文本识别系统训练方法。

背景技术

深度学习的成功往往依赖于海量数据的支持，其中监督学习技术成熟，但是对海量的数据进行标注需要花费大量的时间和资源，自然场景文本检测与识别领域也不例外。而无监督学习不需要对数据标签产生依赖，可以自动发现数据中潜在的结构，节省了大量时间以及硬件资源。因此学术界以及工业界对无监督学习算法的投入与研究越来越多。

对比学习作为无监督学习中的一种，着重于学习同类实例之间的共同特征，区分非同类实例之间的不同之处。与生成式学习相比，对比式学习不需要关注实例上繁琐的细节，只需要在抽象语义级别的特征空间上学会对数据的区分即可，因此模型以及其优化变得更加简单，且泛化能力更强。对比学习的目标是学习一个编码器，此编码器对同类数据进行相似的编码，并使不同类的数据的编码结果尽可能的不同。

基于自监督对比学习的文本检测与识别方法，可分为以下五个部分：(1)数据增强流程；(2)编码器；(3)表征提取；(4)相似性度量；(5)损失函数。假设D＝{x₁,x₂,...,x_N}是一个大小为N的无标记数据集，对比学习的前提条件是所有实例都单独归为一类，即数据集D共有N个类别标签。为了构建更多的同类数据样本，需要从相同的数据样本x∈D中生成两个特征(v^α,v⁺)，其中v^α定义为锚特征(anchor feature)，v⁺定义为正例特征(positivefeature)。同样地，为了构建不同类数据样本，从不同的数据样本x'生成负例特征v^-。根据任务的实际情况，上述三个特征可以是向量

或者是多维张量

下面从五个部分进行展开描述：

数据增强流程：在自然场景文本检测与识别任务中，数据增强流程的目的是生成用于对比学习的锚、正例以及负例特征，即APN特征。将α_n定义为一个随机自然场景文本图像增强处理，例如随机翻转和随机通道丢弃。随后，即可将A＝(α₁,α₂,...,α_N)定义为按顺序应用这些增强方式的流程。可以将A应用于x来生成一个新的自然场景文本图像数据样本xⁱ，xⁱ保留了x的本质上的特征。该策略提供了一种用来生成由样本x定义的同一个类别的多个样本。换句话说，可以将x作为监督信号。

对于生成自然场景文本图像的锚特征和正例特征，可供选择的方法不计其数。其中一种生成v^α和v⁺的方法是从相同的特征向量采样两个子集，此时v^α、v⁺∈v_x(v_x为样本x的特征全集)。第二种方法是对相同的输入，经过两次A，此时v^α～A(x)，由于A的随机性，该方法将生成两个不同的特征集。同样地，负例特征v^-～A(x')通过一样的处理方式得到，不同的是基于样本x'。

编码器：将f_θ定义为一个用θ参数化的编码器，该自然场景文本图像编码器可以是任何函数的近似，例如全连接或卷积神经网络。编码器将输入v映射为向量r的集合，向量r的集合可以称其为x的表示。当x为图像，输入通道为s，宽度为w，高度为h时，编码器f_θ则进行如下映射：

换句话说，自然场景文本图像编码器返回k个c维特征向量作为输入的表示。当编码器是一个卷积神经网络时，r是一个特征图m的向量集合，其中

表征提取：为了进行自然场景文本图像对比学习，需要提取可以相互比较的表征。令r^α＝f_θ(v^α)为锚表征、r⁺＝f_θ(v⁺)为正例表征、r^-＝f_θ(v^-)为负例表征。表征由应用于v^·的编码器或编码器序列中提取得到。有许多方法可以执行表征提取，其中一种方法是对于任意一个表征

生成一个单独的d维向量作为编码器的最后输出。另一种方法是为每一个表征

输出一个矩阵，并将r^α的一个子集与r^-的一个子集进行比较，从而生成多个负例得分。

相似性度量：令φ(r_a，r_b)度量自然场景文本图像两种表征r_a和r_b之间的相似性。该函数输出一个标量得分S，用于度量r_a和r_b之间的相似性。举例来说，相似性度量有点积、余弦相似度或双线性变换，如

在该情况下，φ有其独立的参数W。

损失函数：将S⁺＝φ(r^α，r⁺)作为自然场景文本图像正例得分，S^-＝φ(r^α，r^-)作为负例得分。将损失函数定义为反映学习进度的正负得分的组合。最小化这个损失函数对应于最大化正例得分和最小化负例得分。目前，广泛使用的损失函数有：负例对比估计损失、Triplet Loss以及InfoNCE。

目前，大部分文本检测与识别方法是基于有监督学习，该类方法极大程度上依赖于海量的自然场景文本数据，并且这些数据集无法覆盖千变万化的实际场景，导致实际应用时无法达到理想的精度。虽然有学者提出基于弱监督学习的文本识别方法，但只能用于虚拟数据集的训练中，无法适用于真实场景文本数据集。此外，目前尚未有相关学者基于对比式学习对文本识别任务展开相关研究。

对比学习作为自监督学习方法中的一种重要研究方法，最近在计算机视觉领域中有许多很成功的研究工作。在对比学习任务中，目标是生成实例的表示，使相似的实例彼此接近，而远离不相似的实例。在监督学习中，实例之间的相似性则是由标签决定。然而，如果没有标签，我们必须寻求一种新的方法来利用隐含在实例中的相似性。对比学习应运而生，通过从未标记的数据集生成锚点、正样本和负样本来表示样本间的相似性。

目前，自然场景文本检测与识别需要大量的人工标注，使得成本十分高昂，如何仍然是一个待解决的开放性问题。

发明内容

针对自然场景文本检测与识别算法依赖于大量有标注数据集的问题，提出了一种自监督对比学习自然场景中文本识别系统训练方法，采用自然图像文本与文本的正负样本集同时进行识别训练，获得具有对自然场景中文本对比学习能力的识别模型，训练后模型可对自然场景中文本进行检测识别，大大降低对有标注数据集的依赖程度。

本发明的技术方案为：一种自监督对比学习自然场景中文本识别系统训练方法，具体包括如下步骤：

1)图像正负样本：采用公开图像数据集，选取一张自然场景文本图像进行经过图像增强处理后，获得同类多个样本作为图像正样本，其他自然场景文本图像经过图像增强处理扩充样本后作为图像负样本；

2)文本标签正负样本：步骤1)图像正样本对应的文本标签进行文本增强处理后，获得同类多个样本作为文本标签正样本，步骤1)中图像负样本对应的文本标签进行文本增强处理扩充样本后作为文本负样本；

3)步骤1)获得的图像正负样本送入图像编码器进行特征向量提取，步骤2)获得的文本标签正负样本送入文本编码器进行特征向量提取；

4)步骤3)图像编码器输出的特征向量与文本编码器输出的特征向量作为向量对进行相似度计算，分别获得图像-文本损失和文本-图像损失，将正样本图像-文本对的两个损失的加权组合最小为目标对系统进行训练，最终获得图像编码器中参数化的图像编码器函数，用于对自然场景文本图像中文本特征进行提取。

进一步，所述步骤1)中图像增强处理为：对于一张自然场景文本图像，经过图像增强函数t_v,t_v为一个随机变换函数，自然场景文本图像增强处理后，获得m张增强处理后自然场景文本图像，处理后图像保留原图本质上的特征。

进一步，所述步骤3)具体实现方法：增强后的图像正负样本

经过图像编码器函数f_v后得到d维特征向量h_v作为图像编码器的最后输出，同样地，增强后的文本标签正负样本

经过文本编码器函数f_u后得到d维特征向量h_u作为文本编码器的最后输出；

得到h_v和h_u之后，为了避免模型在训练过程中出现过拟合现象，对h_v和h_u均采取非线性转化，将h_v输入非线性投影函数g_v，从而得到特征向量v作为g_v的输出：

将h_u输入非线性投影函数g_u，从而得到特征向量u作为g_u的输出：

g_v和g_u属于两个不同模态的投影函数，分别从它们的编码器空间投影到相同的d维空间进行对比学习。

进一步，所述步骤4)中损失计算方法：在训练时，从训练数据中抽取一个小批量的N个图像-文本输入对(x_v,x_u)，并计算它们的特征向量对(v,u)，用(v_i,u_i)表示第i对特征向量对，训练目标包含两个损失函数计算，第一个损失函数是第i对图像-文本对比损失为：

其中，<v_i,u_i>表示余弦相似度，即<v_i,u_i>＝v^Tu/||v||||u||，用来度量v_i和u_i两者的相似性，

表示温度系数，作为调节余弦相似度权重的超参数，第二个损失函数是第i对文本-图像对比损失为：

最终训练损失定义为对每个小批次处理中所有正例图像-文本对的两个损失的加权组合，选择所有小批次损失函数的平均值作为最终训练损失：

其中，λ∈[0,1]是标量权重。

进一步，所述文本编码器中文本编码器函数f_u参与文本标签正负样本对比学习，通过两个损失函数的加权计算，辅助训练图像编码器函数，提升文本识别精度。

一种自监督对比学习自然场景中文本识别系统中图像编码器训练方法，将图像正负样本中的文本标签作为文本标签正负样本，送入文本编码器中进行对比学习，作为图像编码器的辅助训练学习，再采用图像正负样本中提取的图像特征和文本标签正负样本中提取的文本特征组成特征对，分别计算图像-文本损失和文本-图像损失，将正样本图像-文本对的两个损失的加权组合最小为目标对系统进行训练，最终获得图像编码器中参数化的图像编码器函数。

本发明的有益效果在于：本发明自监督对比学习自然场景中文本识别系统训练方法，解决了现有图像数据中文本识别模型对有标注数据集高度依赖的问题。

附图说明

图1为本发明基于自监督对比学习的自然场景文本检测与识别系统运用示意图；

图2为本发明基于自监督对比学习的自然场景文本检测与识别训练具体实现图；

图3为本发明中正负样本示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

图1基基于自监督对比学习的自然场景文本检测与识别系统运用示意图。相机捕获自然场景文本图像，送入训练后自然场景文本检测与识别模型，对输入的自然场景文本图像进行推理预测，识别出自然场景文本图像中的文本。

如图2所示基于自监督对比学习的自然场景文本检测与识别训练具体实现图，输入为公开数据集，分为两部分，分别是n张自然场景文本图像样本x_v和对应图像中的n个文本标签样本x_u。对于每一张自然场景文本图像，都会经过图像增强函数t_v,t_v为一个随机自然场景文本图像增强处理，例如随机翻转和随机通道丢弃，从而自然场景文本图像样本x_v增强处理后得到n×m张自然场景文本图像样本

保留了x_v的本质上的特征。该策略为提供了一种用来生成由一个图像样本扩充为同一个类别的多个样本，即被称为图像正样本，与此同时，其余的所有文本图像扩充后样本均作为该图像的负样本,如图3所示正负样本示意图。同样地，对于每一个文本标签，都会经过文本增强函数t_u,t_u为一个随机文本增强处理，从而文本标签样本集x_u增强处理后得到n×m个文本标签

保留了x_u的本质上的特征。该策略提供了一种用来生成由图像正样本对应的文本标签扩充为同一个类别的多个样本，即被称为标签正样本，与此同时，其余的所有文本标签扩充后文本标签样本作为该标签的负样本。通常情况下，只需要对图像进行增强处理即可得到对比学习所需的正负样本，本发明中同时也对文本标签进行增强处理，获取文本标签的正负样本，使得最终训练得到更鲁棒的模型，同时也充分利用公开数据集中的标签信息，提高了数据的利用效率。

随后，将增强后的图像样本

输入图像编码器函数f_v,将增强后的文本标签

输入文本编码器函数f_u。图像编码器函数f_v和文本编码器函数f_u均为参数化的编码器，可以是任何函数的近似，例如全连接或卷积神经网络。模型训练的目标是学习一个参数化的图像编码器函数f_v，文本编码器函数f_u也会在训练过程中学习得到，但是在训练结束后的推理过程中不需要用到文本编码器函数f_u，换句话说，文本编码器函数f_u是为了辅助训练一个更鲁棒的图像编码器函数f_v。增强后的图像样本

经过图像编码器函数f_v后得到d维特征向量h_v作为图像编码器的最后输出，同样地，增强后的文本标签

经过文本编码器函数f_u后得到d维特征向量h_u作为文本编码器的最后输出。

得到h_v和h_u之后，为了避免模型在训练过程中出现过拟合现象，对h_v和h_u均采取非线性转化，具体地说，将h_v输入非线性投影函数g_v，从而得到特征向量v作为g_v的输出：

类似地，将h_u输入非线性投影函数g_u，从而得到特征向量u作为g_u的输出：

g_v和g_u属于两个不同模态的投影函数，分别从它们的编码器空间投影到相同的d维空间进行对比学习。

在训练时，从训练数据中抽取一个小批量的N个图像-文本输入对(x_v,x_u)，并计算它们的特征向量对(v,u)。用(v_i,u_i)表示第i对特征向量对。训练目标包含两个损失函数计算。第一个损失函数是第i对图像-文本对比损失：

其中，<v_i,u_i〉表示余弦相似度，即<v_i,u_i〉＝v^Tu/||v||||u||，用来度量v_i和u_i两者的相似性。此外，

表示温度系数，作为调节余弦相似度权重的超参数。这种损失函数的形式与InfoNCE损失相同，最小化这种损失将导致编码器在表示函数下最大限度地保留正例对之间的互信息。直观地说，这是N路分类器的log损失，它试图预测(v_i,u_i)为正例对。值得注意的是，与之前使用相同模态输入之间的对比损失的工作不同，图像-文本对比损失对于每个输入对是不对称的模式。因此，将类似的第二个损失函数是第i对文本-图像对比损失定义为：

然后，最终训练损失定义为对每个小批次处理中所有正例图像-文本对的两个损失的加权组合，选择所有小批次损失函数的平均值作为最终训练损失：

其中，λ∈[0,1]是标量权重。值得注意的是，通过构造两个损失的加权组合，实现了显式上计算正例对的损失，隐式中使得模型学会分辨负例样本之间的区别。最小化这个损失函数对应于最大化正例得分和最小化负例得分，从而大幅提高模型辨别正负样本的能力，最终提升在推理过程中对自然场景文本图像中的文本的识别精度。

在本发明的实施例中，对评估结果考察精度和准确度时，通常采用数学统计中的均方误差方法，而结果实用性差。本发明提出了新的结果考察方法，能够实现像素级评价指标来评估输出结果，从而极大解决了实际问题中的评估不可靠性和准确度，验证了本系统的实际应用性。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (6)

1.一种自监督对比学习自然场景中文本识别系统训练方法，其特征在于，具体包括如下步骤：

1)图像正负样本：采用公开图像数据集，选取一张自然场景文本图像进行经过图像增强处理后，获得同类多个样本作为图像正样本，其他自然场景文本图像经过图像增强处理扩充样本后作为图像负样本；

2)文本标签正负样本：步骤1)图像正样本对应的文本标签进行文本增强处理后，获得同类多个样本作为文本标签正样本，步骤1)中图像负样本对应的文本标签进行文本增强处理扩充样本后作为文本负样本；

3)步骤1)获得的图像正负样本送入图像编码器进行特征向量提取，步骤2)获得的文本标签正负样本送入文本编码器进行特征向量提取；

4)步骤3)图像编码器输出的特征向量与文本编码器输出的特征向量作为向量对进行相似度计算，分别获得图像-文本损失和文本-图像损失，将正样本图像-文本对的两个损失的加权组合最小为目标对系统进行训练，最终获得图像编码器中参数化的图像编码器函数，用于对自然场景文本图像中文本特征进行提取。

2.根据权利要求1所述自监督对比学习自然场景中文本识别系统训练方法，其特征在于，所述步骤1)中图像增强处理为：对于一张自然场景文本图像，经过图像增强函数t_v,t_v为一个随机变换函数，自然场景文本图像增强处理后，获得m张增强处理后自然场景文本图像，处理后图像保留原图本质上的特征。

3.根据权利要求1所述自监督对比学习自然场景中文本识别系统训练方法，其特征在于，所述步骤3)具体实现方法：增强后的图像正负样本

经过图像编码器函数f_v后得到d维特征向量h_v作为图像编码器的最后输出，同样地，增强后的文本标签正负样本

经过文本编码器函数f_u后得到d维特征向量h_u作为文本编码器的最后输出；

得到h_v和h_u之后，为了避免模型在训练过程中出现过拟合现象，对h_v和h_u均采取非线性转化，将h_v输入非线性投影函数g_v，从而得到特征向量v作为g_v的输出：

将h_u输入非线性投影函数g_u，从而得到特征向量u作为g_u的输出：

g_v和g_u属于两个不同模态的投影函数，分别从它们的编码器空间投影到相同的d维空间进行对比学习。

4.根据权利要求3所述自监督对比学习自然场景中文本识别系统训练方法，其特征在于，所述步骤4)中损失计算方法：在训练时，从训练数据中抽取一个小批量的N个图像-文本输入对(x_v,x_u)，并计算它们的特征向量对(v,u)，用(v_i,u_i)表示第i对特征向量对，训练目标包含两个损失函数计算，第一个损失函数是第i对图像-文本对比损失为：

其中，<v_i,u_i>表示余弦相似度，即<v_i,u_i>＝v^Tu/||v||||u||，用来度量v_i和u_i两者的相似性，

表示温度系数，作为调节余弦相似度权重的超参数，第二个损失函数是第i对文本-图像对比损失为：

最终训练损失定义为对每个小批次处理中所有正例图像-文本对的两个损失的加权组合，选择所有小批次损失函数的平均值作为最终训练损失：

其中，λ∈[0,1]是标量权重。

5.根据权利要求4所述自监督对比学习自然场景中文本识别系统训练方法，其特征在于，所述文本编码器中文本编码器函数f_u参与文本标签正负样本对比学习，通过两个损失函数的加权计算，辅助训练图像编码器函数，提升文本识别精度。

6.一种自监督对比学习自然场景中文本识别系统中图像编码器训练方法，其特征在于，将图像正负样本中的文本标签作为文本标签正负样本，送入文本编码器中进行对比学习，作为图像编码器的辅助训练学习，再采用图像正负样本中提取的图像特征和文本标签正负样本中提取的文本特征组成特征对，分别计算图像-文本损失和文本-图像损失，将正样本图像-文本对的两个损失的加权组合最小为目标对系统进行训练，最终获得图像编码器中参数化的图像编码器函数。

Images