CN109978165A - 一种融合自注意力机制的生成对抗网络方法 - Google Patents

Abstract

本发明涉及一种融合自注意力机制的生成对抗网络方法，属于计算机视觉领域，特别是涉及到进行图像生成的生成对抗网络。图像的生成是计算机视觉领域的一项重要挑战，如果能够生成大量的高质量图像样本，在这个依赖大数据背景下的时代，人工智能领域能够得到更迅速的发展。因此，本发明提出一种融合自注意力机制的生成对抗网络，该网络可以生成高质量的图像，同时图像又具有较高的多样性。具体而言，生成对抗网络对于生成器与判别器分布的评估标准改用Wasserstein距离来衡量，损失函数进行相应的改进；同时在生成器与判别器对应的神经网络架构中均引入自注意力机制，提高生成图像局部像素区域之间的关联性，由此提高生成图像的质量。

Description

一种融合自注意力机制的生成对抗网络方法

技术领域

本发明属于计算机视觉领域，涉及一种融合自注意力机制的生成对抗网络方法。

背景技术

近年来，以神经网络为核心的深度学习技术在计算机视觉领域如日中天，神经网络中的判别式模型已被应用于解决诸如，图像识别、图像分类以及图像的文本描述等基础问题；然而，用于生成图像数据的生成式模型却面临建模过程难度高，生成效果清晰度欠佳等问题，这些原因导致使用生成式模型难以被应用到图像生成领域中去。为解决该问题，把生成式模型与判别式模型结合在一起对图像数据进行对抗式的训练，解决了建模过程困难问题的同时又提高了生成图像数据的质量，这一方案称之为生成对抗网络。最近几年，大数据环境下的深度学习依赖大量的数据进行训练，能够生成大量高质量图像数据的生成对抗网络是必要的。

生成对抗网络由生成式神经网络的生成器，与判别式神经网络的判别器两部分组成。其中，判别器的训练目标是通过训练提高其对真实图像的甄别能力，提高对真实图像的分数，降低对生成图像的分数。生成器的训练目标是通过训练，提高生成图像数据的质量，让生成的图像数据能够在判别器中取得更高的分数。生成对抗网络训练过程主要包括两个阶段，第一个阶段对判别器输入图像数据，进行真实图像甄别能力的训练，第二个阶段对生成器进行训练，提高其生成图像数据在判别器中的分数，两个阶段循环进行，当判别器无法对生成器生成的图像数据做出准确的判断时，我们认定生成对抗网络的训练达到了稳态平衡。

早先的生成对抗网络技术存在模式坍塌问题，样本模式单一缺乏多样性。详细来说，生成对抗网络通过对抗式的训练将生成器生成图像的数据分布向真实图像的数据分布拉拢，而真实图像的数据分布难以获得，则通过使用真实图像数据训练判别器得到接近真实的图像数据分布，原始生成对抗网络技术描述两种图像数据分布之间的距离的标准为交叉熵即JS散度，当两者分布在训练初期不存在相交时，采用JS散度的训练结果较差，不能够为生成器的训练提供有效的梯度从而导致模式坍塌。除此之外，早先不可控的生成对抗网络难以生成像素清晰的图像，究其原因是其网络架构中只包涵卷积层，不能得到整张图像中局部像素区域之间的关系，因而生成的图像有着完整的图像轮廓但清晰度不高且细节缺失。继续一种包含了新的数据分布距离评估标准以及提高生成图像清晰度机制的生成对抗网络方案。

发明内容

有鉴于此，本发明的目的在于提供一种融合自注意力机制的生成对抗网络方法。

为达到上述目的，本发明提供如下技术方案：

一种融合自注意力机制的生成对抗网络方法，该方法包括以下步骤：

S1：对于评估生成器与判别器数据分布之间差异的标准进行了替换，使用Wasserstein距离对两者数据分布之间的差异进行评估；评估标准改用Wasserstein距离后，损失函数也进行改进，最终能够提高生成图像数据的多样性；

S2：在融合了自注意力机制的生成对抗网络在其生成器与判别器对应的神经网络架构中均引入自注意力机制；

S3：在融合了自注意力机制的生成对抗网络中，运行自注意力机制。

进一步，所述步骤S2中，数据的训练过程包括4个阶段：

阶段1，使用Wasserstein距离评估生成器与判别器数据分布之间的差异，损失函数进行相应的改变，将训练集的图像数据分为若干批次，依次输入判别器中进行训练；

阶段2，一轮数据训练结束后，使用Adam优化方法依照损失函数值计算结果，生成器G的权重保持不变，进行判别器D的权重更新；

阶段3，采样若干随机噪音变量，依照损失函数进行生成器G中的权重更新；

阶段4，在生成器中G的权重θ趋于收敛之前，循环阶段1～阶段3的过程，训练结束后生成器与判别器达到稳态的纳什均衡，此时生成器具备生成高质量图像数据的能力。

进一步，所述S3具体包括步骤：

S31：输入的特征图进行特征空间的转换，同一张特征图被分别转换至两个特定的映射空间中，同时保留原特征图；来自上一隐层的特征图x∈R^C×N首先被转换到两个特定的特征空间f与g中以计算注意力值，其中f(x)＝W_fx,g(x)＝W_gx；

S32：按照自注意力计算公式对转换特征空间后特征图的每一个像素点进行注意力值计算，最终结果进行加权求和得到一张对应的注意力特征图，计算公式如下：

且s_ij＝f(x_i)^Tg(x_j)，

且h(x_i)＝W_hx_i，

β_j,i值代表生成区域第j个区域时，模型对第i个区域的注意力程度，这一步骤得到的注意力特征图为o＝(o₁,o₂,o₃,...,o_N)∈R^C×N；

S33：将注意力特征图与原特征图累加得到自注意力特征图，y_i＝γo_i+x_i，其中y为自注意力层的最终输出，γ初始化为0；上述计算中，W_h∈R^C×C均为可学习的权重矩阵，通过1×1的卷积运算实现，其中

本发明的有益效果在于：本发明对输入数据集进行训练最终生成相应高质量的图像。数据集中的图像均被裁剪为同样尺寸，若干张图像为一批在训练过程的对应阶段输入生成对抗网络中的生成器与判别器中进行训练，当判别器的损失函数值趋于平衡时则终止训练。最终得到的生成器即可进行高质量图像生成，可以改善模式坍塌问题同时提高图像细节的清晰度。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为融合了自注意力机制的生成器G框图；

图2为融合了自注意力机制的判别器D框图；

图3为自注意力机制的系统框图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

在介绍方案内容之前，先陈述发明中7个必要的概念。

第1个概念：数据分布，即图像数据的概率分布。由于真实的图像数据概率分布难以获得，在深度学习中常把训练数据集所具有的样本分布近似为真实的数据分布，因而训练数据集中的数据样本不能太少，且需要具有代表性。

第2个概念：神经网络，本发明中均为卷积神经网络，是深度学习中的核心技术，经过训练能够将特征提取与模式分类同时进行，在图像处理方面相比其他机器学习技术更有优势。除此之外，生成对抗网络中的生成器神经网络G为反卷积神经网络，判别器神经网络D为卷积神经网络。

第3个概念：随机噪声变量，是生成对抗网络中生成器的输入z，服从标准正态分布，即z～N(0,1)，最终生成的伪图像为G(z)。

第4个概念：卷积层，是卷积神经网络的重要组成，在生成对抗网络的架构中由若干卷积核组成，具有针对图像数据的局部感知域，多层卷积层能够由低到高地提取图像数据的特征。

第5个概念：特征图，由上一层卷积层处理之后输出的数据即x∈R^C×N，是卷积神经网络的中间产物。

第6个概念：损失函数，在深度学习中，损失函数是用来衡量预测结果与实际值之间差别大小的指标。生成对抗网络的标准损失函数为：

其中P_r代表图像数据x的真实分布，P_z代表随机噪声变量z的分布，判别器D的输入同时有真实图像数据x与随机噪声z。

第7个概念：优化方法，用于训练深度学习模型所使用的算法，优化方法的选择对模型的性能有着显著的影响。随机梯度下降算法是训练深度学习模型的基本方法之一，但学习过程慢，不能自动调节学习率。因而生成对抗网络中往往使用能够自适应学习率的算法，自适应学习率算法有RMSprop与Adam算法等。

一种融合了自注意力机制的生成对抗网络，以真实图像数据作为训练集，训练后能够生成相应高质量的图像的神经网络。其中，生成器G的网络架构如图1所示，判别器D的网络架构如图2所示，其训练过程分为四个阶段，训练结束后生成器与判别器达到稳态的纳什均衡，此时生成器具备生成高质量图像数据的能力。除此之外，本发明的生成对抗网络在生成器与判别器神经网络的卷积层之间融合了自注意力机制，以提高图像数据生成质量，自注意力机制依赖图3中的自注意力层运行，其过程包涵了三个阶段，最终得到的自注意力特征图作为后续卷积层的输入。

具体来说，本发明提供了一种融合了自注意力机制的生成对抗网络具体方案如下：

首先，对于评估生成器与判别器数据分布之间差异的标准进行了替换，使用Wasserstein距离对两者数据分布之间的差异进行评估。评估标准改用Wasserstein距离后，损失函数也进行了改进，最终能够提高生成图像数据的多样性。

进一步的，本发明一种融合了自注意力机制的生成对抗网络在其生成器与判别器对应的神经网络架构中均引入自注意力机制，数据的训练过程包括4个阶段：第1个阶段、图像数据分为若干批次，依次输入至判别器中计算损失函数值进行训练；第2个阶段、一轮数据训练结束后，使用Adam优化方法依照损失函数值计算结果，生成器G的权重保持不变，进行判别器D的权重更新；第3个阶段、采样若干随机噪音变量，依照损失函数进行生成器G中的权重更新；第4个阶段、在生成器中G的权重θ趋于收敛之前，循环阶段1-阶段3的过程，训练结束后生成器与判别器达到稳态的纳什均衡，此时生成器具备生成高质量图像数据的能力。

进一步的，本发明一种融合了自注意力机制的生成对抗网络中的自注意力机制运行时包括三个步骤：步骤1、输入的特征图进行特征空间的转换，同一张特征图被分别转换至两个特定的映射空间中，同时保留原特征图；步骤2、按照自注意力计算公式对转换特征空间后特征图的每一个像素点进行注意力值计算，最终结果进行加权求和得到一张对应的注意力特征图；步骤3、将注意力特征图与原特征图相加得到自注意力特征图。

首先，方案改用Wasserstein距离衡量真实分布与模型分布之间的差异，每一轮训练通过一定程度上减少损失函数的值以拉进两者分布之间的距离，其损失函数如下：

其中，生成器G的输入为随机噪声变量z～P_z，c为真实图像x与伪图像G(z)连线上的随机差值采样，判别器D满足1-Lipschitz条件，训练过程使用Adam优化方法更新神经网络权重。

融合了自注意力机制的生成对抗网络的训练过程分为以下四个阶段：

第1个阶段：图像数据分为N批次，每批次包含m张图像样本，输入至判别器中计算损失函数值，以便后续进行判别器中权重的更新。随机噪声变量输入生成器后得到伪图像将伪图像与真实图像样本进行的变换后输入判别器中，进行损失函数值的计算，

第2个阶段、一轮数据训练完成后，根据得到损失函数值使用Adam优化方法，对判别器中的权重进行更新

第3个阶段、采样m个噪音变量，依照损失函数在判别器的作用下进行生成器中权重的更新。

第4个阶段、在生成器中的权重θ趋于收敛之前，循环阶段1-阶段3的过程，最终生成器与判别器达到稳态的纳什均衡，生成器能够生成质量较高的图像数据。

本发明一种融合了自注意力机制的生成对抗网络中的自注意力机制运行过程包括三个步骤：

步骤1、输入的特征图进行特征空间的转换，同一张特征图被分别转换至两个特定的映射空间中，同时保留原特征图；来自上一隐层的特征图x∈R^C×N首先被转换到两个特定的特征空间f与g中以计算注意力值，其中f(x)＝W_fx,g(x)＝W_gx。

步骤2、按照自注意力计算公式对转换特征空间后特征图的每一个像素点进行注意力值计算，最终结果进行加权求和得到一张对应的注意力特征图，计算公式如下：

且s_ij＝f(x_i)^Tg(x_j)，

且h(x_i)＝W_hx_i，

β_j,i值代表生成区域第j个区域时，模型对第i个区域的注意力程度，这一步骤得到的注意力特征图为o＝(o₁,o₂,o₃,...,o_N)∈R^C×N。

步骤3、将注意力特征图与原特征图累加得到自注意力特征图，y_i＝γo_i+x_i，其中y为自注意力层的最终输出，γ初始化为0。上述计算中，W_h∈R^C×C均为可学习的权重矩阵，通过1×1的卷积运算实现，其中

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (3)

1.一种融合自注意力机制的生成对抗网络方法，其特征在于：该方法包括以下步骤：

S1：对于评估生成器与判别器数据分布之间差异的标准进行了替换，使用Wasserstein距离对两者数据分布之间的差异进行评估；评估标准改用Wasserstein距离后，损失函数也进行改进，最终能够提高生成图像数据的多样性；

S2：在融合了自注意力机制的生成对抗网络在其生成器与判别器对应的神经网络架构中均引入自注意力机制；

S3：在融合了自注意力机制的生成对抗网络中，运行自注意力机制。

2.根据权利要求1所述的一种融合自注意力机制的生成对抗网络方法，其特征在于：所述步骤S2中，数据的训练过程包括4个阶段：

阶段1，使用Wasserstein距离评估生成器与判别器数据分布之间的差异，损失函数进行相应的改变，将训练集的图像数据分为若干批次，依次输入判别器中进行训练；

阶段2，一轮数据训练结束后，使用Adam优化方法依照损失函数值计算结果，生成器G的权重保持不变，进行判别器D的权重更新；

阶段3，采样若干随机噪音变量，依照损失函数进行生成器G中的权重更新；

阶段4，在生成器中G的权重θ趋于收敛之前，循环阶段1～阶段3的过程，训练结束后生成器与判别器达到稳态的纳什均衡，此时生成器具备生成高质量图像数据的能力。

3.根据权利要求1所述的一种融合自注意力机制的生成对抗网络方法，其特征在于：所述S3具体包括步骤：

S31：输入的特征图进行特征空间的转换，同一张特征图被分别转换至两个特定的映射空间中，同时保留原特征图；来自上一隐层的特征图x∈R^C×N首先被转换到两个特定的特征空间f与g中以计算注意力值，其中f(x)＝W_fx,g(x)＝W_gx；

S32：按照自注意力计算公式对转换特征空间后特征图的每一个像素点进行注意力值计算，最终结果进行加权求和得到一张对应的注意力特征图，计算公式如下：

且s_ij＝f(x_i)^Tg(x_j)，

且h(x_i)＝W_hx_i，

β_j,i值代表生成区域第j个区域时，模型对第i个区域的注意力程度，这一步骤得到的注意力特征图为o＝(o₁,o₂,o₃,...,o_N)∈R^C×N；

S33：将注意力特征图与原特征图累加得到自注意力特征图，y_i＝γo_i+x_i，其中y为自注意力层的最终输出，γ初始化为0；上述计算中，W_h∈R^C×C均为可学习的权重矩阵，通过1×1的卷积运算实现，其中