CN109815928A - 一种基于对抗学习的人脸图像合成方法和装置 - Google Patents

Abstract

本发明涉及一种基于对抗学习的人脸图像合成方法和装置。该方法提供一种新型的生成对抗网络(FC‑GAN)，旨在从遮挡的人脸图像合成标准光照下的正面人脸图像。FC‑GAN使用一个编码器‑解码器的卷积神经网络结构作为生成器，同时引入了两个判别器：一个是全局判别器，用于区分整张人脸图像的真实性，同时保持人的身份信息不变；另一个是局部判别器，用于区分人脸中遮挡区域的真实性。此外引入一个人脸语义分割网络强化生成图像中人脸五官的一致性。通过对比合成人脸图像和真实人脸图像的语义标签，反传梯度给生成器调整合成人脸图像的五官。基准数据集Multi‑PIE上的实验结果表明，FC‑GAN的性能优于现有的大多数方法。

Description

一种基于对抗学习的人脸图像合成方法和装置

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于对抗学习的人脸图像合成方法和装置。

背景技术

人脸识别是计算机视觉领域中一个重要的研究主题。由于其使用方便、准确性高、且具有非侵入式的特点，因此在安防监控、金融服务、手机终端和实体商业等诸多领域展现出巨大的应用潜力。近十年中，深度学习在人脸识别方面取得了巨大的成功，基于深度神经网络的人脸识别系统的性能已经显著地超过了基于手工设计特征的人脸识别系统。许多研究人脸识别技术的初创公司如雨后春笋一般涌现出来，例如商汤科技、旷视科技、云从科技和依图科技等。

人脸识别系统的性能依赖于人脸的特征表达，而人脸的特征表达与人脸表象(Appearance)的变化有直接关系，这些变化主要包括角度、光照和表情的变化。然而，在实际场景中获取的人脸图像往往对应着不同的视角和光照条件，这大大增加了人脸识别的难度。

对于理想场景(如实验室场景)中的正面无遮挡人脸图像，文献中的人脸识别方法已经取得了较高的识别精度。但是，当人脸存在视角变化并且部分人脸被遮挡时，已有人脸识别方法的性能将会显著下降。带遮挡的侧面人脸图像经常出现在真实场景中，影响人脸识别系统的性能。已有文献分别对角度变化和遮挡问题提出解决方案，但是目前缺乏一个解决方案同时处理这两个问题。一个替代的解决方案是：首先利用人脸转正方法旋转人脸，然后利用图像补全方法去除人脸遮挡。但是，这个方案容易生成模糊的和有瑕疵的人脸图像。

联合分解和融合的生成式对抗网络DF-GAN(Disentangling and FusingGenerative Adversarial Network)将人脸补全和人脸破坏看作完整人脸图像和遮挡物的分解和融合过程。该方法构造了三个分别对应于遮挡人脸图像，完整人脸图像和结构化遮挡物的域，并且将分解和融合过程看作是三个域之间的相互转换。DF-GAN建立了分解和融合网络来学习不成对数据的转换，同时可以通过修改隐变量来模拟结构化的遮挡。该方法将分解和融合过程、对抗学习统一为双重学习框架，并且在Meshface验证问题上评估了提出的方法，但该方法不能同时处理视角变化和遮挡。

DR-GAN(Disentangled Representation learning-Generative AdversarialNetwork)使用自动编码器作为生成网络，并且将目标角度向量串联到自动编码器的最中间一层。提出的判别器不仅区分输入图像的真假，还对输出图像的角度进行分类。不同于DR-GAN，本发明不仅设计了全局判别器，还引入了局部判别器对遮挡部分进行恢复。DR-GAN只能解决人脸视角变化问题，并不能解决遮挡问题。

TP-GAN(Two-Pathway Generative Adversarial Network)结合了多个损失函数来合成最终的正面人脸图像。他们提出两个生成器来合成人脸图像：一个是用来提取整幅人脸图像特征的全局生成器；另一个是用来提取包含重要人脸特征点的图像块内特征的局部的生成器。他们还增加了保持身份不变的损失函数使得生成人脸图像的高层特征与真值人脸图像的高层特征尽可能接近。TP-GAN只能解决人脸视角变化问题，并不能解决遮挡问题。

发明内容

为了解决现有技术中的上述问题，本发明提出了一种基于对抗学习的人脸图像合成方法和装置，可以同时处理人脸的视角变化和遮挡。

本发明公开了一种新型的生成对抗网络(jointly Frontalize and Completeface images through a Generative Adversarial Network(FC-GAN))，旨在从遮挡的人脸图像合成标准光照下的正面人脸图像。FC-GAN使用一个编码器-解码器的卷积神经网络结构作为生成器，同时引入了两个判别器：一个是全局判别器，用于区分整张人脸图像的真实性，同时保持人的身份信息不变；另一个是局部判别器，用于区分人脸中遮挡区域的真实性。由于基于生成对抗网络合成正面人脸的方法生成的人脸图像存在五官不一致的现象，FC-GAN引入一个人脸语义分割网络强化生成图像中人脸五官的一致性。通过对比合成人脸图像和真实人脸图像的语义标签，反传梯度给生成器调整合成人脸图像的五官。

具体来说，本发明采用的技术方案如下：

一种基于对抗学习的人脸图像合成方法，包括以下步骤：

1)将遮挡的人脸图像输入生成器，通过所述生成器合成正面人脸图像并补全缺失的人脸部分；

2)将所述生成器合成的正面人脸图像和数据库中真实的正面人脸图像输入全局判别器，通过所述全局判别器区分整张人脸图像的真实性，同时保持人的身份信息不变；

3)将所述生成器合成的正面人脸图像的遮挡区域和数据库中真实的正面人脸图像对应遮挡区域的部分输入局部判别器，通过所述局部判别器区分人脸图像中遮挡区域的真实性；

4)将所述生成器合成的正面人脸图像和数据库中真实的正面人脸图像输入人脸语义分割网络，通过所述人脸语义分割网络强化生成的图像中人脸五官的一致性；

5)将所述全局判别器、所述局部判别器和所述人脸语义分割网络的梯度反传到所述生成器，以对所述生成器进行训练，最终通过生成器合成标准光照下的正面的无遮挡的人脸图像。

进一步地，所述生成器包含编码器和解码器；所述编码器首先从输入人脸图像中提取一个身份特征表达，然后将该身份特征表达与一个噪声向量串联来增加生成图像的多样性，最后将合并的向量送入解码器来合成最终的正面人脸图像，并标记其中对应遮挡位置的区域。

进一步地，所述生成器中的编码器由五个卷积模块组成，解码器由五个反卷积模块组成；所述卷积模块中的各层依次为：输入层、卷积层、批标准化层、ELU层、卷积层、批标准化层、ELU层、卷积层、批标准化层、ELU层、输出层；所述反卷积模块中的各层依次为：输入层、反卷积层、批标准化层、ELU层、反卷积层、批标准化层、ELU层、反卷积层、批标准化层、ELU层、输出层。

进一步地，定义一个结构化的L1损失函数作为所述生成器的损失函数，所述结构化的L1损失函数在人脸关键部位的像素上设置更大的权重，以重建出高质量的人脸五官。

进一步地，由所述人脸关键部位的像素位置组成掩膜M，所述结构化的L1损失函数定义如下：

L_struct＝|I^GT-I^F|+α|M⊙I^GT-M⊙I^F|

其中，|·|表示L1损失，⊙表示哈达玛积，I^GT代表目标正面人脸图像，α是用来平衡人脸关键部位像素之间权重的系数，I^F表示生成器合成的正面人脸图像。

进一步地，所述人脸关键部位包括眉毛、眼睛、鼻子、嘴巴和牙齿。

进一步地，所述全局判别器的网络结构为：在所述生成器的编码器的网络结构基础上，在最后增加一层全连接层来判断图像的真假和人的身份。

进一步地，所述局部判别器比所述全局判别器少一个卷积模块。

进一步地，所述人脸语义分割网络包含一个编码器和一个解码器，所述编码器包含五个卷积模块，所述解码器包含五个反卷积模块；卷积模块和反卷积模块中的卷积层使用大小为3*3、步长为1的卷积核；卷积模块和反卷积模块中的卷积层后面都接有非线性激活函数ReLU；每个卷积模块的末尾都使用最大池化层，每个反卷积模块的开始都使用双线性上采样层。

一种基于对抗学习的人脸图像合成装置，包括生成器、全局判别器、局部判别器和人脸语义分割网络；

所述生成器根据输入的遮挡的人脸图像合成正面人脸图像并补全缺失的人脸部分；

所述全局判别器的输入为所述生成器合成的正面人脸图像和数据库中真实的正面人脸图像，用于区分整张人脸图像的真实性，同时保持人的身份信息不变；

所述局部判别器的输入为所述生成器合成的正面人脸图像的遮挡区域和数据库中真实的正面人脸图像对应遮挡区域的部分，用于区分人脸图像中遮挡区域的真实性；

所述人脸语义分割网络的输入为所述生成器合成的正面人脸图像和数据库中真实的正面人脸图像，用于强化生成的图像中人脸五官的一致性；

所述全局判别器、所述局部判别器和所述人脸语义分割网络的梯度反传到所述生成器，以对所述生成器进行训练，最终所述生成器合成标准光照下的正面的无遮挡的人脸图像。

本发明的有益效果如下：

现有的DF-GAN、DR-GAN、TP-GAN等方案，是分别对角度变化和遮挡问题提出解决方案，本发明提出的新型的生成对抗网络FC-GAN可以同时处理这两个问题，能够从遮挡的人脸图像合成标准光照下的正面人脸图像。不同于现有方法，本发明从人脸分割网络中引入了语义信息的指导来使得人脸的不同成分保持一致，此外还提出了结构化的L1损失函数来强化人脸的关键部分。基准数据集Multi-PIE上的实验结果表明，本发明的FC-GAN的性能优于现有的大多数方法。

附图说明

图1所示为本发明的FC-GAN的网络结构。输入一张遮挡的侧面人脸图像，生成器生成正面人脸图像，同时判别器使得生成的图像更加逼真。此外，引入人脸语义分割网络强化生成图像中人脸五官的一致性。

图2所示为人脸十一个标签的示例。(左)输入的人脸图像。(中)输出的人脸语义分割结果。(右)不同颜色所代表的人脸部位。

图3所示为编码器中一个卷积模块的详细结构。图中的数字代表卷积核宽×卷积核高×步长。

图4所示为解码器中一个反卷积模块的详细结构。图中的数字代表反卷积核宽×反卷积核高×步长。

图5为Multi-PIE测试数据集上从随机噪声遮挡的人脸图像合成的样本。在每一个面板中，从左到右：原始人脸图像，有遮挡的输入图像，生成的人脸图像。

图6所示为Multi-PIE测试数据集上从物体遮挡的人脸图像合成的样本。在每一个面板中，从左到右：原始人脸图像，有遮挡的输入图像，生成的人脸图像。

图7所示为Multi-PIE数据集中人脸图像的分割结果：(1、3、5列)输入的人脸图像。(2、4、6列)输出的人脸分割结果(不同的颜色代表不同的人脸部位)。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面通过具体实施例和附图，对本发明做进一步详细说明。

本实施例提供一种基于对抗学习的人脸合成方法，该方法的总体流程以及所采用的网络结构如图1所示，包括以下步骤：

S1：根据检测到的人脸关键点，对Multi-PIE数据库中的人脸图像进行裁剪。

S2：从Caltech 101、Caltech 256和Cambridge Hand Gesture数据集中选取出24种物体。对人脸图像利用随机噪声或者上述物体随机遮挡人脸图像的1/4区域。

S3：用Helen数据库训练人脸语义分割网络。本发明设计的人脸语义分割网络包含一个编码器和一个解码器。编码器网络中有五个卷积模块，同时解码器网络中有五个反卷积模块。卷积层使用大小为3*3、步长为1的卷积核。卷积模块和反卷积模块中的卷积层后面都接有非线性激活函数ReLU。特例是反卷积模块的最后一层没有接ReLU。网络在每个卷积模块的末尾都使用了最大池化层，在每个反卷积模块的开始都使用了双线性上采样层。需要注意的是，人脸语义分割网络与生成器所使用的卷积模块和反卷积模块是不同的。图2展示了人脸图像和对应的语义分割结果。

S4：将遮挡后的人脸图像送入设计的生成器合成标准光照下的正面人脸图像，同时补全缺失的人脸部分。

S41：生成器由编码器和解码器组成，其中编码器由五个卷积模块组成，图3展示了其中一个卷积模块的详细结构，依次包括：输入层、卷积层、批标准化层(BatchNormalization)、ELU层、卷积层、批标准化层、ELU层、卷积层、批标准化层、ELU层、输出层。解码器由五个反卷积模块组成，图4展示了其中一个反卷积模块的详细结构，依次包括：输入层、反卷积层、批标准化层、ELU层、反卷积层、批标准化层、ELU层、反卷积层、批标准化层、ELU层、输出层。

S42：编码器首先从输入人脸图像I中提取一个320维的身份特征表达R^I；然后将R^I与一个噪声向量串联来增加生成图像的多样性；最后将合并的向量送入解码器来合成最终的正面人脸图像I^F。将I^F中对应遮挡位置的区域标记为I^FM。

S43：已有方法通常利用L1损失或者L2损失函数来生成人脸图像，与他们不同，本发明定义了一个结构化的L1损失函数作为生成器的损失函数。因为人脸不同部位的纹理差异较大，直接应用L1损失不能够重建出高质量的人脸五官。为了提升重建人脸五官的质量，结构化的L1损失在人脸关键部位的像素上设置了更大的权重，其中关键的人脸五官部分包括眉毛、眼睛、鼻子、嘴巴和牙齿。这些关键部位的像素位置组成了掩膜M。结构化的L1损失定义如下：

L_struct＝|I^GT-I^F|+α|M⊙I^GT-M⊙I^F|

其中，|·|表示L1损失，⊙表示哈达玛积(Hadamard Product)，I^GT代表目标正面人脸图像，α是用来平衡人脸关键部位像素之间权重的系数。

S5：将生成器合成的假图I^F和数据库中的真图I^GT送入全局判别器进行训练，使得全局判别器尽可能的区分开真图和假图。利用全局判别器对人的身份进行分类。如果全局判别器将I^F分类到真图，那么判别器将会对它的身份进行分类。如果全局判别器将I^F分类到假图，那么判别器将不会对它的身份进行分类。全局判别器在最后一层有两个分支：一个分支判断图像的真假，向量的长度是1；另一个分支对人的身份进行分类，向量的长度与训练集中人的个数相等。综上所述，全局判别器使得I^F在保持身份信息不变的同时更加逼真。全局判别器的网络结构在生成器中的编码器网络结构的基础上，在最后增加了一层全连接层来判断图像的真假和人的身份。

S6：将I^FM送入局部判别器，判断I^FM是真图还是假图，从而使得遮挡区域I^FM更加逼真。局部判别器比全局判别器少一个卷积模块，图3展示了一个卷积模块的详细结构。

S7：将生成器合成的假图I^F和数据库中的真图I^GT送入人脸语义分割网络输出语义分割结果，将I^GT输出的语义分割结果当作真值，计算误差，将梯度反传到生成器，与判别器的梯度一起对生成器进行训练，最终通过生成器合成标准光照下的正面的无遮挡的人脸图像。

图5为Multi-PIE测试数据集上从随机噪声遮挡的人脸图像合成的样本。在每一个面板中，从左到右：原始人脸图像，有遮挡的输入图像，生成的人脸图像。

图6所示为Multi-PIE测试数据集上从物体遮挡的人脸图像合成的样本。在每一个面板中，从左到右：原始人脸图像，有遮挡的输入图像，生成的人脸图像。

图7所示为Multi-PIE数据集中人脸图像的分割结果：(1、3、5列)输入的人脸图像。(2、4、6列)输出的人脸分割结果(不同的颜色代表不同的人脸部位)。

本发明另一实施例提供一种基于对抗学习的人脸图像合成装置，包括生成器、全局判别器、局部判别器和人脸语义分割网络；

所述生成器根据输入的遮挡的人脸图像合成正面人脸图像并补全缺失的人脸部分；

所述全局判别器的输入为所述生成器合成的正面人脸图像和数据库中真实的正面人脸图像，用于区分整张人脸图像的真实性，同时保持人的身份信息不变；

所述局部判别器的输入为所述生成器合成的正面人脸图像的遮挡区域和数据库中真实的正面人脸图像对应遮挡区域的部分，用于区分人脸图像中遮挡区域的真实性；

所述人脸语义分割网络的输入为所述生成器合成的正面人脸图像和数据库中真实的正面人脸图像，用于强化生成的图像中人脸五官的一致性；

所述全局判别器、所述局部判别器和所述人脸语义分割网络的梯度反传到所述生成器，以对所述生成器进行训练，最终所述生成器合成标准光照下的正面的无遮挡的人脸图像。

本发明中的生成器、全局判别器、局部判别器、人脸语义分割网络除上述实施例中公开的网络结构以外，也可以采用其它适用的网络结构。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的原理和范围，本发明的保护范围应以权利要求书所述为准。

Claims (10)

1.一种基于对抗学习的人脸图像合成方法，其特征在于，包括以下步骤：

将遮挡的人脸图像输入生成器，通过所述生成器合成正面人脸图像并补全缺失的人脸部分；

将所述生成器合成的正面人脸图像和数据库中真实的正面人脸图像输入全局判别器，通过所述全局判别器区分整张人脸图像的真实性，同时保持人的身份信息不变；

将所述生成器合成的正面人脸图像的遮挡区域和数据库中真实的正面人脸图像对应遮挡区域的部分输入局部判别器，通过所述局部判别器区分人脸图像中遮挡区域的真实性；

将所述生成器合成的正面人脸图像和数据库中真实的正面人脸图像输入人脸语义分割网络，通过所述人脸语义分割网络强化生成的图像中人脸五官的一致性；

将所述全局判别器、所述局部判别器和所述人脸语义分割网络的梯度反传到所述生成器，以对所述生成器进行训练，最终通过所述生成器合成标准光照下的正面的无遮挡的人脸图像。

2.根据权利要求1所述的方法，其特征在于，所述生成器包含编码器和解码器；所述编码器首先从输入人脸图像中提取一个身份特征表达，然后将该身份特征表达与一个噪声向量串联来增加生成图像的多样性，最后将合并的向量送入解码器来合成最终的正面人脸图像，并标记其中对应遮挡位置的区域。

3.根据权利要求2所述的方法，其特征在于，所述生成器中的编码器由五个卷积模块组成，解码器由五个反卷积模块组成；所述卷积模块中的各层依次为：输入层、卷积层、批标准化层、ELU层、卷积层、批标准化层、ELU层、卷积层、批标准化层、ELU层、输出层；所述反卷积模块中的各层依次为：输入层、反卷积层、批标准化层、ELU层、反卷积层、批标准化层、ELU层、反卷积层、批标准化层、ELU层、输出层。

4.根据权利要求2或3所述的方法，其特征在于，定义一个结构化的L1损失函数作为所述生成器的损失函数，所述结构化的L1损失函数在人脸关键部位的像素上设置更大的权重，以重建出高质量的人脸五官。

5.根据权利要求4所述的方法，其特征在于，由所述人脸关键部位的像素位置组成掩膜M，所述结构化的L1损失函数定义如下：

L_struct＝|I^GT-I^F|+α|M⊙I^GT-M⊙I^F|

其中，|·|表示L1损失，⊙表示哈达玛积，I^GT代表目标正面人脸图像，α是用来平衡人脸关键部位像素之间权重的系数，I^F表示生成器合成的正面人脸图像。

6.根据权利要求4所述的方法，其特征在于，所述人脸关键部位包括眉毛、眼睛、鼻子、嘴巴和牙齿。

7.根据权利要求2或3所述的方法，其特征在于，所述全局判别器的网络结构为：在所述生成器的编码器的网络结构基础上，在最后增加一层全连接层来判断图像的真假和人的身份。

8.根据权利要求7所述的方法，其特征在于，所述局部判别器比所述全局判别器少一个卷积模块。

9.根据权利要求1所述的方法，其特征在于，所述人脸语义分割网络包含一个编码器和一个解码器，所述编码器包含五个卷积模块，所述解码器包含五个反卷积模块；卷积模块和反卷积模块中的卷积层使用大小为3*3、步长为1的卷积核；卷积模块和反卷积模块中的卷积层后面都接有非线性激活函数ReLU；每个卷积模块的末尾都使用最大池化层，每个反卷积模块的开始都使用双线性上采样层。

10.一种基于对抗学习的人脸图像合成装置，其特征在于，包括生成器、全局判别器、局部判别器和人脸语义分割网络；

所述生成器根据输入的遮挡的人脸图像合成正面人脸图像并补全缺失的人脸部分；

所述全局判别器的输入为所述生成器合成的正面人脸图像和数据库中真实的正面人脸图像，用于区分整张人脸图像的真实性，同时保持人的身份信息不变；

所述局部判别器的输入为所述生成器合成的正面人脸图像的遮挡区域和数据库中真实的正面人脸图像对应遮挡区域的部分，用于区分人脸图像中遮挡区域的真实性；

所述人脸语义分割网络的输入为所述生成器合成的正面人脸图像和数据库中真实的正面人脸图像，用于强化生成的图像中人脸五官的一致性；

所述全局判别器、所述局部判别器和所述人脸语义分割网络的梯度反传到所述生成器，以对所述生成器进行训练，最终所述生成器合成标准光照下的正面的无遮挡的人脸图像。