CN110517186B - 消除发票印章的方法、装置、存储介质和计算机设备 - Google Patents

Abstract

本申请涉及一种消除发票印章的方法、装置、存储介质和计算机设备，所述方法包括：获取发票图像；将所述发票图像输入包括第一分支和第二分支的多任务网络模型，通过所述第一分支对所述发票图像的目标通道部分进行卷积，得到目标通道特征图；通过所述第二分支对所述发票图像进行卷积，得到全局特征图；将所述全局特征图与所述目标通道特征图进行融合，获得融合特征图；对融合特征图进行反卷积操作，得到消除印章后的发票图像。本申请提供的方案可以避免消除印章的过程中也将印章覆盖的文本也消除掉，进而避免发票中的文本信息出现缺失的情况，以提高发票中文本信息的识别准确性。

Description

消除发票印章的方法、装置、存储介质和计算机设备

技术领域

本申请涉及图像处理技术领域，特别是涉及一种消除发票印章的方法、装置、存储介质和计算机设备。

背景技术

发票在录入系统时，一般会需要对录入系统的发票信息进行核对，而采用人工核对的方式将会需投入大量的人力成本；而采用机器核对时，需先对发票进行识别，由于发票中的印章往往覆盖重要的文本信息，从而导致对发票的识别造成干扰。

传统的印章消除方案中，通常是将发票图像由RGB颜色空间转换为HSV或其他颜色空间，进而提取红色所在区域，然后将红色区域按照最邻近背景颜色进行填充以达到消除印章的效果。然而，上述方案中，在消除印章的过程中也将印章覆盖的文本也消除掉，从而导致发票中的文本信息出现缺失。

发明内容

基于此，有必要针对在消除印章的过程中也将印章覆盖的文本也消除掉，从而导致发票中的文本信息出现缺失的技术问题，提供一种消除发票印章的方法、装置、存储介质和计算机设备。

一种消除发票印章的方法，包括：

获取发票图像；

将所述发票图像输入包括第一分支和第二分支的多任务网络模型，通过所述第一分支对所述发票图像的目标通道部分进行卷积，得到目标通道特征图；

通过所述第二分支对所述发票图像进行卷积，得到全局特征图；

将所述全局特征图与所述目标通道特征图进行融合，获得融合特征图；

对所述融合特征图进行反卷积操作，得到消除印章后的发票图像。

在一个实施例中，所述通过所述第二分支对所述发票图像进行卷积，得到全局特征图；还包括：

按照预设尺寸调整所述全局特征图的尺寸，得到调整后全局特征图；

对所述调整后全局特征图依次进行卷积和池化处理；

将池化处理后所得的全局特征图进行拉伸，得到一维特征向量；

将所述一维特征向量输入全连接层，通过激活函数进行处理得到用于表示所述发票图像的旋转方向的方向向量。

在一个实施例中，所述全局特征图包括多个指定卷积层处理所得的多个特征图；还包括：

对最后一层指定卷积层所得的全局特征图依次进行上采样和反卷积处理，得到中间特征图；

将所述中间特征图与上一层指定卷积层所得的全局特征图融合，得到中间融合特征图；

将所述中间融合特征图依次进行上采样和反卷积处理，执行所述将所述中间特征图与上一层指定卷积层所得的全局特征图融合的步骤，直至将所述中间特征图与第一层指定卷积层所得的全局特征图进行融合，得到融合后全局特征图；

所述将所述全局特征图与所述目标通道特征图进行融合，获得融合特征图包括：将所述融合后全局特征图与所述目标通道特征图进行融合。

在一个实施例中，所述获取发票图像之前，还包括：

获取发票图像样本和对应的参考标签；

通过所述多任务网络模型的第一分支对所述发票图像样本的目标通道部分进行卷积处理，得到目标通道训练特征图；

通过所述多任务网络模型第二分支对所述发票图像样本进行卷积处理，得到全局训练特征图；

对所述全局训练特征图与所述目标通道训练特征图的融合特征图进行反卷积操作，得到预测发票图像；

计算所述预测发票图像与所述参考标签之间的损失值；

通过所述损失值调整所述多任务网络模型中的参数，直至调整参数后的多任务网络模型所输出的预测发票图像符合印章消除条件。

在一个实施例中，所述获取发票图像样本和对应的参考标签之后，还包括：执行以下步骤的至少之一以扩充样本数：

对所述发票图像样本进行滤波处理；

对所述发票图像样本进行亮度变换；

调整所述发票图像样本的灰度；

对所述发票图像样本进行腐蚀和膨胀操作；

对所述发票图像样本进行随机裁剪；

对所述发票图像样本进行随机旋转处理。

一种消除发票印章的装置，所述装置包括：

图像获取模块，用于获取发票图像；

第一卷积模块，用于将所述发票图像输入包括第一分支和第二分支的多任务网络模型，通过所述第一分支对所述发票图像的目标通道部分进行卷积，得到目标通道特征图；

第二卷积模块，用于通过所述第二分支对所述发票图像进行卷积，得到全局特征图；

特征图融合模块，用于将所述全局特征图与所述目标通道特征图进行融合，获得融合特征图；

反卷积模块，用于对所述融合特征图进行反卷积操作，得到消除印章后的发票图像。

在一个实施例中，所述装置还包括：

方向预测模块，用于按照预设尺寸调整所述全局特征图的尺寸，得到调整后全局特征图；对所述调整后全局特征图依次进行卷积和池化处理；将池化处理后所得的全局特征图进行拉伸，得到一维特征向量；将所述一维特征向量输入全连接层，通过激活函数进行处理得到用于表示所述发票图像的旋转方向的方向向量。

在一个实施例中，所述全局特征图包括多个指定卷积层处理所得的多个特征图；所述装置还包括：

第一处理模块，用于对最后一层指定卷积层所得的全局特征图依次进行上采样和反卷积处理，得到中间特征图；将所述中间特征图与上一层指定卷积层所得的全局特征图融合，得到中间融合特征图；将所述中间融合特征图依次进行上采样和反卷积处理，执行所述将所述中间特征图与上一层指定卷积层所得的全局特征图融合的步骤，直至将所述中间特征图与第一层指定卷积层所得的全局特征图进行融合，得到融合后全局特征图；

所述特征图融合模块还用于将所述融合后全局特征图与所述目标通道特征图进行融合。

在一个实施例中，所述装置还包括：计算模块和参数调整模块；其中：

所述图像获取模块还用于获取发票图像样本和对应的参考标签；

所述第一卷积模块还用于通过所述多任务网络模型的第一分支对所述发票图像样本的目标通道部分进行卷积处理，得到目标通道训练特征图；

所述第二卷积模块还用于通过所述多任务网络模型第二分支对所述发票图像样本进行卷积处理，得到全局训练特征图；

所述特征图融合模块还用于对所述全局训练特征图与所述目标通道训练特征图的融合特征图进行反卷积操作，得到预测发票图像；

所述计算模块，用于计算所述预测发票图像与所述参考标签之间的损失值；

所述参数调整模块，用于通过所述损失值调整所述多任务网络模型中的参数，直至调整参数后的多任务网络模型所输出的预测发票图像符合印章消除条件。

在一个实施例中，所述装置还包括：第二处理模块；其中：

所述第二处理模块，用于在所述获取发票图像样本和对应的参考标签之后，执行以下步骤的至少之一以扩充样本数：

对所述发票图像样本进行滤波处理；

对所述发票图像样本进行亮度变换；

调整所述发票图像样本的灰度；

对所述发票图像样本进行腐蚀和膨胀操作；

对所述发票图像样本进行随机裁剪；

对所述发票图像样本进行随机旋转处理。

一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述消除发票印章的方法的步骤。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述消除发票印章的方法的步骤。

上述消除发票印章的方法、装置、存储介质和计算机设备，通过多任务网络模型的第一分支，提取发票图像中目标通道部分的特征得到目标通道特征图；通过多任务网络模型的第二分支提取发票图像的特征得到全局特征图，将全局特征图与目标通道特征图进行融合获得融合特征图，对融合特征图进行反卷积操作得到消除印章后的发票图像，从而避免消除印章的过程中也将印章覆盖的文本也消除掉，进而避免发票中的文本信息出现缺失的情况，以提高发票中文本信息的识别准确性。

附图说明

图1为一个实施例中消除发票印章的方法的应用环境图；

图2为一个实施例中消除发票印章的方法的流程示意图；

图3为一个实施例中发票图像样本和参考标签的示意图；

图4为一个实施例中多任务网络模型的结构示意图；

图5为另一个实施例中消除发票印章的方法的流程示意图；

图6为一个实施例中对多任务网络模型进行训练步骤的流程示意图；

图7为一个实施例中消除发票印章的装置的结构框图；

图8为另一个实施例中消除发票印章的装置的结构框图；

图9为一个实施例中计算机设备的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

图1为一个实施例中消除发票印章的方法的应用环境图。参照图1，该消除发票印章的方法应用于消除发票印章的系统。该消除发票印章的系统包括终端110和服务器120。终端110和服务器120通过网络连接。服务器120获取由终端110拍摄所得的发票图像；将发票图像输入包括第一分支和第二分支的多任务网络模型，通过第一分支对发票图像的目标通道部分进行卷积，得到目标通道特征图；通过第二分支对发票图像进行卷积，得到全局特征图；将全局特征图与目标通道特征图进行融合，获得融合特征图；对融合特征图进行反卷积操作，得到消除印章后的发票图像。

其中，终端110具体可以是扫描机或相机，或者是安装有摄像头的移动终端，移动终端具体可以手机或平板电脑等。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

如图2所示，在一个实施例中，提供了一种消除发票印章的方法。本实施例主要以该方法应用于上述图1中的服务器120来举例说明。参照图2，该消除发票印章的方法具体包括如下步骤：

S202，获取发票图像。

其中，发票图像是拍摄(或扫描)发票所得的图像，在该发票图像中包含有发票信息。

在一个实施例中，服务器获取由终端拍摄的发票图像。具体地，当拍摄发票得到发票图像时，终端将拍摄所得的发票图像实时上传至服务器；服务器接收由终端发送的发票图像。或者，当拍摄发票得到发票图像时，终端将所拍摄的发票图像进行存储，在接收到上传指令时，将存储的发票图像发送至服务器，从而服务器获取到发票图像。其中，终端除了可以拍摄发票得到发票图像，可以是扫描发票得到发票图像。

S204，将发票图像输入包括第一分支和第二分支的多任务网络模型，通过第一分支对发票图像的目标通道部分进行卷积，得到目标通道特征图。

其中，多任务网络模型可以是能够完成多个任务的神经网络模型，如判断出发票图像的旋转方向，消除发票图像中的印章等任务。多任务网络模型中包含有多个卷积层，每个卷积层通过卷积核与上一层输出的特征图(或输入的发票图像)进行卷积，并将卷积结果输入激活函数得到新的特征图。利用卷积可以实现参数共享，可以减少计算量的同时，也能提高多任务网络模型的泛化能力。第一分支和第二分支是多任务网络模型中的两个分支网络，可以从发票特征中提取对应的特征。

发票图像可以是RGB三通道的彩色图像。根据发票图像中印章的颜色，目标通道可以是与印章颜色对应的通道，例如，印章颜色为红色，则目标通道可以是RGB三通道中的R通道。

在一个实施例中，多任务网络模型是根据发票图像样本和对应的参考标签训练所得的，其中，发票图像样本可参考图3(a)，参考标签可参考图3(b)。因此，在预测过程中，服务器通过多任务网络对发票进行特征提取，最终可以获得消除印章的发票图像。

如图4所示，一般地，发票中的印章通常为红色，因此可以提取R通道特征。在第一分支(即R通道分支)中，发票图像的R通道部分经过两次卷积(Conv，卷积核大小3×3)操作，得到特征图为R_feature1。然后，R_feature1经过池化(MaxPool，模板大小3×3，步长2)操作以及标准化操作(BatchNorm)，再次进行卷积(卷积核大小3×3)操作，得到特征图R_feature2。接着，对R_feature2依次进行池化(模板大小2×2，步长2)以及标准化操作，再次进行卷积(卷积核大小3×3)操作得到特征图R_feature3。其中，R_feature 1、R_feature 2和R_feature3大小分别为原始图像大小的1/2、1/4和1/8。R_feature 1、R_feature 2或R_feature3中的至少一个可以作为目标通道特征图。

S206，通过第二分支对发票图像进行卷积，得到全局特征图。

其中，全局特征图可以是关于发票图像中各特征的特征图，如文本特征的特征图和印章特征的特征图。

在一个实施例中，S206具体可以包括：服务器通过第二分支对发票图像进行卷积、池化和标准化操作，得到发票图像的全局特征图。

例如，如图4所示，在第二分支(即图像分支)中，发票图像经过两次卷积(卷积核大小3×3)操作，得到特征图为Img_feature1。然后，经过池化(模板大小3×3，步长2)操作和标准化操作，接着在进行卷积(卷积核大小3×3)操作，从而得到特征图Img_feature2。对Img_feature2依次进行池化(模板大小2×2，步长2)、标准化、卷积(卷积核大小1×1)操作和卷积(卷积核大小3×3)操作得到特征图Img_feature3。对Img_feature3进行池化(模板大小2×2，步长2)和卷积(卷积核大小3×3)得到特征图Img_feature4。对Img_feature4进行池化(步长2)、标准化、和卷积(卷积核大小3×3)操作和卷积(卷积核大小1×1)操作得到特征图Img_feature5，该Img_feature5的尺寸大小为原始发票图像尺寸大小的1/32。

S208，将全局特征图与目标通道特征图进行融合，获得融合特征图。

在一个实施例中，服务器可以将全局特征图对应的矩阵与目标通道特征图对应的矩阵进行相加或相减，从而得到融合特征图。

在一个实施例中，为了恢复原始尺寸大小的发票图像，在S208之前，服务器对全局特征图进行上采样和反卷积操作。具体地，服务器对最后一层指定卷积层所得的全局特征图依次进行上采样和反卷积处理，得到中间特征图；将中间特征图与上一层指定卷积层所得的全局特征图融合，得到中间融合特征图；将中间融合特征图依次进行上采样和反卷积处理，执行将中间特征图与上一层指定卷积层所得的全局特征图融合的步骤，直至将中间特征图与第一层指定卷积层所得的全局特征图进行融合，得到融合后全局特征图。S208具体可以包括：服务器将融合后全局特征图与目标通道特征图进行融合。

其中，全局特征图可以包括多个指定卷积层处理所得的多个特征图。例如Img_feature5可以是所述的全局特征图。指定卷积层可以参考图4。

例如，为了恢复原始尺寸大小的发票图像，服务器联合前几层的特征图进行上采样和反卷积操作。如图4所示，对第五层指定卷积层所得的Img_feature5进行上采样(步长2)与反卷积(ConvTrans，卷积核大小3×3)操作，得到特征图De_feature1。然后，服务器将De_feature1与Img_feature4进行拼接操作(DepthConcat)，得到拼接后的特征图，其大小为原始发票图像尺寸大小的1/16。服务器对得到的特征图进行上采样(步长2×2)和反卷积(卷积核大小3×3)操作，得到特征图De_feature2。服务器将特征图De_feature2与Img_feature3(或De_feature2与Img_feature3、R_feature3)进行拼接操作，然后将拼接所得的特征图进行上采样和反卷积操作，得到De_feature3，其中De_feature3即为融合后全局特征图。服务器将De_feature3与R_feature2进行融合，然后将融合后的特征图进行上采样(步长2×2)和反卷积(卷积核大小3×3)操作。然后，服务器对反卷积后所得的特征图与R_feature1进行融合。

S210，对融合特征图进行反卷积操作，得到消除印章后的发票图像。

例如，如图4所示，服务器对反卷积后所得的特征图与R_feature1进行融合所得的特征图，进行反卷积操作，然后通过激活函数linear的处理得到消除印章后的发票图像。

在一个实施例中，该方法还可以包括：服务器按照预设尺寸调整全局特征图的尺寸，得到调整后全局特征图；对调整后全局特征图依次进行卷积和池化处理；将池化处理后所得的全局特征图进行拉伸，得到一维特征向量；将一维特征向量输入全连接层，通过激活函数进行处理得到用于表示发票图像的旋转方向的方向向量。

例如，如图4所示，服务器调整Img_feature5的尺寸大小，即把Img_feature5调整到固定大小，如14×14，以便后续对Img_feature5进行全连接层操作。为进一步扩大神经元的感受野，对Img_feature5进行卷积操作(卷积核大小3×3)，为减少计算量，还可以对Img_feature5进行池化(步长2)操作，然后将池化后的Img_feature5进行拉伸(Flatten)得到一维向量，对该一维向量进行全连接层(FC)操作，以及采用激活函数softmax进行处理，得到最终预测的方向向量。

在一个实施例中，服务器根据方向向量确定发票图像的旋转方向，按照该旋转方向对消除印章后的发票图像进行旋转校正，输出校正方向后、且消除印章的发票图像。

作为一个示例，如图5所示，服务器获取发票图像，对发票图像进行预处理，如剪切发票图像、调整发票图像的尺寸大小、调整发票图像的亮度或灰度等，此外，还可以对发票图像进行归一化处理。然后将发票图像输入多任务网络模型中进行处理，得到消除印章的发票图像和对应的方向向量，按照该方向向量对消除印章后的发票图像进行旋转校正，输出校正方向后、且消除印章的发票图像。

上述实施例中，通过多任务网络模型的第一分支，提取发票图像中目标通道部分的特征得到目标通道特征图；通过多任务网络模型的第二分支提取发票图像的特征得到全局特征图，将全局特征图与目标通道特征图进行融合，获得融合特征图，对融合特征图进行反卷积操作得到消除印章后的发票图像，从而避免消除印章的过程中也将印章覆盖的文本也消除掉，进而避免发票中的文本信息出现缺失的情况，以提高发票中文本信息的识别准确性。

在一个实施例中，如图6所示，该方法还可以包括：

S602，获取发票图像样本和对应的参考标签。

其中，发票图像样本是拍摄(或扫描)发票所得的图像，在该发票图像样本中包含有发票信息。

在一个实施例中，S602之后，该方法还包括：执行以下步骤的至少之一以扩充样本数：服务器对发票图像样本进行滤波处理；对发票图像样本进行亮度变换；调整发票图像样本的灰度；对发票图像样本进行腐蚀和膨胀操作；对发票图像样本进行随机裁剪；对发票图像样本进行随机旋转处理。

例如，服务器对发票图像样本进行滤波，以消除发票图像样本中的噪声，从而得到滤波后的发票图像样本。又例如，服务器对发票图像样本进行亮度变换，以增强或降低发票图像样本的亮度，从而得到亮度变换后的发票图像样本。

S604，通过多任务网络模型的第一分支对发票图像样本的目标通道部分进行卷积处理，得到目标通道训练特征图。

S606，通过多任务网络模型第二分支对发票图像样本进行卷积处理，得到全局训练特征图。

S608，对全局训练特征图与目标通道训练特征图的融合特征图进行反卷积操作，得到预测发票图像。

其中，上述S604至S608可参考上述S204至S208的方法。

S610，计算预测发票图像与参考标签之间的损失值。

在一个实施例中，服务器根据损失函数，计算预测发票图像的像素点与参考标签的像素点之间的损失值。其中，损失函数可以是以下任一种：均方误差(Mean SquaredError)、稀疏分类交叉熵(sparse categorical crossentropy)损失函数、L2Loss函数和Focal Loss函数。

S612，通过损失值调整多任务网络模型中的参数，直至调整参数后的多任务网络模型所输出的预测发票图像符合印章消除条件。

在一个实施例中，服务器将损失值反向传播到多任务网络模型的各层，获得对于各层参数的梯度；根据梯度调整多任务网络模型中各层的参数。符合印章消除条件可以是多任务网络模型所输出的预测发票图像与参考标签一致，即预测发票图像中的印章被消除掉了。

例如，在训练多任务网络模型的过程中，多任务网络模型中的方向分支的损失函数可采用稀疏分类交叉熵损失函数。去印章分支(即第一分支和第二分支)的损失函数采用均方误差进行训练，待损失值收敛达到稳定后，计算每个像素点的损失值，提取所有损失值中较大的损失值(例如，将各损失值对像素点进行从大到小排序，然后选取前30％像素点的损失值)进行反向传播，其它像素点的损失值可以不进行反向传播，待损失值收敛后，减少反向传播的像素点比例直至10％，训练到多任务网络模型收敛后，保存网络参数，然后退出训练。

上述实施例中，通过多任务网络模型的第一分支，提取发票图像样本中目标通道部分的特征得到目标通道特征图；通过多任务网络模型的第二分支提取发票图像样本的特征得到全局特征图，将全局特征图与目标通道特征图进行融合并进行反卷积操作，得到预测发票图像，计算预测发票图像与参考标签之间的损失值；通过损失值调整多任务网络模型中的参数，直至调整参数后的多任务网络模型所输出的预测发票图像符合印章消除条件，从而可以得到能够消除印章的多任务网络模型，通过该多任务网络模型对发票图像进行去印章处理，可以避免消除印章的过程中也将印章覆盖的文本也消除掉，进而避免发票中的文本信息出现缺失的情况，以提高发票中文本信息的识别准确性。

图2、6为一个实施例中消除发票印章的方法的流程示意图。应该理解的是，虽然图2、6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

如图7所示，在一个实施例中，提供了一种消除发票印章的装置，该消除发票印章的装置具体包括：图像获取模块702、第一卷积模块704、第二卷积模块706、特征图融合模块708和反卷积模块710；其中：

图像获取模块702，用于获取发票图像；

第一卷积模块704，用于将发票图像输入包括第一分支和第二分支的多任务网络模型，通过第一分支对发票图像的目标通道部分进行卷积，得到目标通道特征图；

第二卷积模块706，用于通过第二分支对发票图像进行卷积，得到全局特征图；

特征图融合模块708，用于将全局特征图与目标通道特征图进行融合，获得融合特征图；

反卷积模块710，用于对融合特征图进行反卷积操作，得到消除印章后的发票图像。

在一个实施例中，如图8所示，该装置还包括：方向预测模块712；其中：

方向预测模块712，用于按照预设尺寸调整全局特征图的尺寸，得到调整后全局特征图；对调整后全局特征图依次进行卷积和池化处理；将池化处理后所得的全局特征图进行拉伸，得到一维特征向量；将一维特征向量输入全连接层，通过激活函数进行处理得到用于表示发票图像的旋转方向的方向向量。

在一个实施例中，全局特征图包括多个指定卷积层处理所得的多个特征图；如图8所示，该装置还包括：第一处理模块714；其中：

第一处理模块714，用于对最后一层指定卷积层所得的全局特征图依次进行上采样和反卷积处理，得到中间特征图；将中间特征图与上一层指定卷积层所得的全局特征图融合，得到中间融合特征图；将中间融合特征图依次进行上采样和反卷积处理，执行将中间特征图与上一层指定卷积层所得的全局特征图融合的步骤，直至将中间特征图与第一层指定卷积层所得的全局特征图进行融合，得到融合后全局特征图；

特征图融合模块708还用于将融合后全局特征图与目标通道特征图进行融合。

上述实施例中，通过多任务网络模型的第一分支，提取发票图像中目标通道部分的特征得到目标通道特征图；通过多任务网络模型的第二分支提取发票图像的特征得到全局特征图，将全局特征图与目标通道特征图进行融合，获得融合特征图，对融合特征图进行反卷积操作得到消除印章后的发票图像，从而避免消除印章的过程中也将印章覆盖的文本也消除掉，进而避免发票中的文本信息出现缺失的情况，以提高发票中文本信息的识别准确性。

在一个实施例中，如图8所示，该装置还包括：计算模块716和参数调整模块718；其中：

图像获取模块702还用于获取发票图像样本和对应的参考标签；

第一卷积模块704还用于通过多任务网络模型的第一分支对发票图像样本的目标通道部分进行卷积处理，得到目标通道训练特征图；

第二卷积模块706还用于通过多任务网络模型第二分支对发票图像样本进行卷积处理，得到全局训练特征图；

特征图融合模块708还用于对全局训练特征图与目标通道训练特征图的融合特征图进行反卷积操作，得到预测发票图像；

计算模块716，用于计算预测发票图像与参考标签之间的损失值；

参数调整模块718，用于通过损失值调整多任务网络模型中的参数，直至调整参数后的多任务网络模型所输出的预测发票图像符合印章消除条件。

在一个实施例中，装置还包括：第二处理模块720；其中：

第二处理模块720，用于在获取发票图像样本和对应的参考标签之后，执行以下步骤的至少之一以扩充样本数：对发票图像样本进行滤波处理；对发票图像样本进行亮度变换；调整发票图像样本的灰度；对发票图像样本进行腐蚀和膨胀操作；对发票图像样本进行随机裁剪；对发票图像样本进行随机旋转处理。

上述实施例中，通过多任务网络模型的第一分支，提取发票图像样本中目标通道部分的特征得到目标通道特征图；通过多任务网络模型的第二分支提取发票图像样本的特征得到全局特征图，将全局特征图与目标通道特征图进行融合并进行反卷积操作，得到预测发票图像，计算预测发票图像与参考标签之间的损失值；通过损失值调整多任务网络模型中的参数，直至调整参数后的多任务网络模型所输出的预测发票图像符合印章消除条件，从而可以得到能够消除印章的多任务网络模型，通过该多任务网络模型对发票图像进行去印章处理，可以避免消除印章的过程中也将印章覆盖的文本也消除掉，进而避免发票中的文本信息出现缺失的情况，以提高发票中文本信息的识别准确性。

图9示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的服务器120。如图9所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现消除发票印章的方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行消除发票印章的方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，本申请提供的消除发票印章的装置可以实现为一种计算机程序的形式，计算机程序可在如图9所示的计算机设备上运行。计算机设备的存储器中可存储组成该消除发票印章的装置的各个程序模块，比如，图7所示的图像获取模块702、第一卷积模块704、第二卷积模块706、特征图融合模块708和反卷积模块710。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的消除发票印章的方法中的步骤。

例如，图9所示的计算机设备可以通过如图7所示的消除发票印章的装置中的图像获取模块702执行S202。计算机设备可通过第一卷积模块704执行S204。计算机设备可通过第二卷积模块706执行S206。计算机设备可通过特征图融合模块708执行S208。计算机设备可通过反卷积模块710执行S210。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行：获取发票图像；将发票图像输入包括第一分支和第二分支的多任务网络模型，通过第一分支对发票图像的目标通道部分进行卷积，得到目标通道特征图；通过第二分支对发票图像进行卷积，得到全局特征图；将全局特征图与目标通道特征图进行融合，获得融合特征图；对融合特征图进行反卷积操作，得到消除印章后的发票图像。

在一个实施例中，计算机程序被处理器执行时，使得处理器还执行：按照预设尺寸调整全局特征图的尺寸，得到调整后全局特征图；对调整后全局特征图依次进行卷积和池化处理；将池化处理后所得的全局特征图进行拉伸，得到一维特征向量；将一维特征向量输入全连接层，通过激活函数进行处理得到用于表示发票图像的旋转方向的方向向量。

在一个实施例中，全局特征图包括多个指定卷积层处理所得的多个特征图；计算机程序被处理器执行时，使得处理器还执行：对最后一层指定卷积层所得的全局特征图依次进行上采样和反卷积处理，得到中间特征图；将中间特征图与上一层指定卷积层所得的全局特征图融合，得到中间融合特征图；将中间融合特征图依次进行上采样和反卷积处理，执行将中间特征图与上一层指定卷积层所得的全局特征图融合的步骤，直至将中间特征图与第一层指定卷积层所得的全局特征图进行融合，得到融合后全局特征图；将融合后全局特征图与目标通道特征图进行融合。

在一个实施例中，计算机程序被处理器执行时，使得处理器还执行：获取发票图像样本和对应的参考标签；通过多任务网络模型的第一分支对发票图像样本的目标通道部分进行卷积处理，得到目标通道训练特征图；通过多任务网络模型第二分支对发票图像样本进行卷积处理，得到全局训练特征图；对全局训练特征图与目标通道训练特征图的融合特征图进行反卷积操作，得到预测发票图像；计算预测发票图像与参考标签之间的损失值；通过损失值调整多任务网络模型中的参数，直至调整参数后的多任务网络模型所输出的预测发票图像符合印章消除条件。

在一个实施例中，计算机程序被处理器执行时，使得处理器还执行：获取发票图像样本和对应的参考标签之后，执行以下步骤的至少之一以扩充样本数：对发票图像样本进行滤波处理；对发票图像样本进行亮度变换；调整发票图像样本的灰度；对发票图像样本进行腐蚀和膨胀操作；对发票图像样本进行随机裁剪；对发票图像样本进行随机旋转处理。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行：获取发票图像；将发票图像输入包括第一分支和第二分支的多任务网络模型，通过第一分支对发票图像的目标通道部分进行卷积，得到目标通道特征图；通过第二分支对发票图像进行卷积，得到全局特征图；将全局特征图与目标通道特征图进行融合，获得融合特征图；对融合特征图进行反卷积操作，得到消除印章后的发票图像。

在一个实施例中，计算机程序被处理器执行时，使得处理器还执行：按照预设尺寸调整全局特征图的尺寸，得到调整后全局特征图；对调整后全局特征图依次进行卷积和池化处理；将池化处理后所得的全局特征图进行拉伸，得到一维特征向量；将一维特征向量输入全连接层，通过激活函数进行处理得到用于表示发票图像的旋转方向的方向向量。

在一个实施例中，全局特征图包括多个指定卷积层处理所得的多个特征图；计算机程序被处理器执行时，使得处理器还执行：对最后一层指定卷积层所得的全局特征图依次进行上采样和反卷积处理，得到中间特征图；将中间特征图与上一层指定卷积层所得的全局特征图融合，得到中间融合特征图；将中间融合特征图依次进行上采样和反卷积处理，执行将中间特征图与上一层指定卷积层所得的全局特征图融合的步骤，直至将中间特征图与第一层指定卷积层所得的全局特征图进行融合，得到融合后全局特征图；将融合后全局特征图与目标通道特征图进行融合。

在一个实施例中，计算机程序被处理器执行时，使得处理器还执行：获取发票图像样本和对应的参考标签；通过多任务网络模型的第一分支对发票图像样本的目标通道部分进行卷积处理，得到目标通道训练特征图；通过多任务网络模型第二分支对发票图像样本进行卷积处理，得到全局训练特征图；对全局训练特征图与目标通道训练特征图的融合特征图进行反卷积操作，得到预测发票图像；计算预测发票图像与参考标签之间的损失值；通过损失值调整多任务网络模型中的参数，直至调整参数后的多任务网络模型所输出的预测发票图像符合印章消除条件。

在一个实施例中，计算机程序被处理器执行时，使得处理器还执行：获取发票图像样本和对应的参考标签之后，执行以下步骤的至少之一以扩充样本数：对发票图像样本进行滤波处理；对发票图像样本进行亮度变换；调整发票图像样本的灰度；对发票图像样本进行腐蚀和膨胀操作；对发票图像样本进行随机裁剪；对发票图像样本进行随机旋转处理。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种消除发票印章的方法，包括：

获取发票图像；

将所述发票图像输入包括第一分支和第二分支的多任务网络模型，通过所述第一分支对所述发票图像的目标通道部分进行卷积，得到目标通道特征图；

通过所述第二分支对所述发票图像进行卷积，得到全局特征图；

将所述全局特征图与所述目标通道特征图进行融合，获得融合特征图；

对所述融合特征图进行反卷积操作，得到消除印章后的发票图像。

2.根据权利要求1所述的方法，其特征在于，所述通过所述第二分支对所述发票图像进行卷积，得到全局特征图；还包括：

按照预设尺寸调整所述全局特征图的尺寸，得到调整后全局特征图；

对所述调整后全局特征图依次进行卷积和池化处理；

将池化处理后所得的全局特征图进行拉伸，得到一维特征向量；

将所述一维特征向量输入全连接层，通过激活函数进行处理得到用于表示所述发票图像的旋转方向的方向向量。

3.根据权利要求1所述的方法，其特征在于，所述全局特征图包括多个指定卷积层处理所得的多个特征图；还包括：

对最后一层指定卷积层所得的全局特征图依次进行上采样和反卷积处理，得到中间特征图；

将所述中间特征图与上一层指定卷积层所得的全局特征图融合，得到中间融合特征图；

将所述中间融合特征图依次进行上采样和反卷积处理，执行所述将所述中间特征图与上一层指定卷积层所得的全局特征图融合的步骤，直至将所述中间特征图与第一层指定卷积层所得的全局特征图进行融合，得到融合后全局特征图；

所述将所述全局特征图与所述目标通道特征图进行融合包括：

将所述融合后全局特征图与所述目标通道特征图进行融合。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述获取发票图像之前，还包括：

获取发票图像样本和对应的参考标签；

通过所述多任务网络模型的第一分支对所述发票图像样本的目标通道部分进行卷积处理，得到目标通道训练特征图；

通过所述多任务网络模型第二分支对所述发票图像样本进行卷积处理，得到全局训练特征图；

对所述全局训练特征图与所述目标通道训练特征图的融合特征图进行反卷积操作，得到预测发票图像；

计算所述预测发票图像与所述参考标签之间的损失值；

通过所述损失值调整所述多任务网络模型中的参数，直至调整参数后的多任务网络模型所输出的预测发票图像符合印章消除条件。

5.根据权利要求4所述的方法，其特征在于，所述获取发票图像样本和对应的参考标签之后，还包括：执行以下步骤的至少之一以扩充样本数：

对所述发票图像样本进行滤波处理；

对所述发票图像样本进行亮度变换；

调整所述发票图像样本的灰度；

对所述发票图像样本进行腐蚀和膨胀操作；

对所述发票图像样本进行随机裁剪；

对所述发票图像样本进行随机旋转处理。

6.一种消除发票印章的装置，其特征在于，所述装置包括：

图像获取模块，用于获取发票图像；

第一卷积模块，用于将所述发票图像输入包括第一分支和第二分支的多任务网络模型，通过所述第一分支对所述发票图像的目标通道部分进行卷积，得到目标通道特征图；

第二卷积模块，用于通过所述第二分支对所述发票图像进行卷积，得到全局特征图；

特征图融合模块，用于将所述全局特征图与所述目标通道特征图进行融合，获得融合特征图；

反卷积模块，用于对所述融合特征图进行反卷积操作，得到消除印章后的发票图像。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

方向预测模块，用于按照预设尺寸调整所述全局特征图的尺寸，得到调整后全局特征图；对所述调整后全局特征图依次进行卷积和池化处理；将池化处理后所得的全局特征图进行拉伸，得到一维特征向量；将所述一维特征向量输入全连接层，通过激活函数进行处理得到用于表示所述发票图像的旋转方向的方向向量。

8.根据权利要求6所述的装置，其特征在于，所述全局特征图包括多个指定卷积层处理所得的多个特征图；所述装置还包括：

处理模块，用于对最后一层指定卷积层所得的全局特征图依次进行上采样和反卷积处理，得到中间特征图；将所述中间特征图与上一层指定卷积层所得的全局特征图融合，得到中间融合特征图；将所述中间融合特征图依次进行上采样和反卷积处理，执行所述将所述中间特征图与上一层指定卷积层所得的全局特征图融合的步骤，直至将所述中间特征图与第一层指定卷积层所得的全局特征图进行融合，得到融合后全局特征图；

所述特征图融合模块还用于将所述融合后全局特征图与所述目标通道特征图进行融合。

9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至5中任一项所述方法的步骤。

10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至5中任一项所述方法的步骤。

Images