Nothing Special   »   [go: up one dir, main page]

CN111192201B - 一种生成人脸图像及其模型训练的方法、装置及电子设备 - Google Patents

一种生成人脸图像及其模型训练的方法、装置及电子设备 Download PDF

Info

Publication number
CN111192201B
CN111192201B CN202010282837.5A CN202010282837A CN111192201B CN 111192201 B CN111192201 B CN 111192201B CN 202010282837 A CN202010282837 A CN 202010282837A CN 111192201 B CN111192201 B CN 111192201B
Authority
CN
China
Prior art keywords
image
face
generating
normal
texture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010282837.5A
Other languages
English (en)
Other versions
CN111192201A (zh
Inventor
沈雅欣
陈雅静
者雪飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010282837.5A priority Critical patent/CN111192201B/zh
Publication of CN111192201A publication Critical patent/CN111192201A/zh
Application granted granted Critical
Publication of CN111192201B publication Critical patent/CN111192201B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本申请的实施例提供了一种生成人脸图像及其模型训练的方法、装置及电子设备。该生成人脸图像的方法包括：获取包含人脸坐标信息的第一图像；基于第一图像以及人脸坐标信息对应的主成分分析基，获得第一图像中的人脸局部特征的位置参数；对基于位置参数生成的掩膜法向贴图、掩膜法向贴图对应的背景图像进行合成，得到第二图像；通过生成对抗网络生成第二图像对应的纹理图像，以基于纹理图像对第二图像进行纹理增强，得到包含人脸特征法向信息和人脸纹理信息的目标人脸图像，本实施例的方法既保证了人脸特征的准确性，又提高了人脸纹理信息与法向信息的一致性，进而保证人脸图像的细节与真实性。

Description

一种生成人脸图像及其模型训练的方法、装置及电子设备
技术领域
本申请涉及计算机技术领域，具体而言，涉及一种生成人脸图像及其模型训练的方法、装置、计算机可读介质及电子设备。
背景技术
在一些3D应用的场景中，需要去塑造人脸的面部图像，同时，在面部塑造过程中需要精准的、细微的面部纹理信息，例如人脸的毛孔、眉毛和胡子等关键信息。一般通过面部法向贴图的方式进行面部塑造，但是这种方式得到的法向贴图模糊且面部纹理信息的细节不清楚，或者导致法向贴图和人脸纹理信息不一致，进而降低了面部塑造的效果。
发明内容
本申请的实施例提供了一种生成人脸图像及其模型训练的方法、装置、计算机可读介质及电子设备，进而至少在一定程度上可以保证人脸特征的准确性，提高人脸纹理信息与法向信息的一致性，进而保证人脸图像的细节与真实性。
本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
根据本申请实施例的一个方面，提供了一种生成人脸图像的方法，包括：获取包含人脸坐标信息的第一图像；基于所述第一图像、以及所述人脸坐标信息对应的主成分分析基，获得所述第一图像中的人脸局部特征的位置参数；对基于所述位置参数生成的掩膜法向贴图、所述掩膜法向贴图对应的背景图像进行合成，得到第二图像；基于生成对抗网络生成所述第二图像对应的纹理图像，并基于所述纹理图像对所述第二图像进行纹理增强，得到目标人脸图像。
根据本申请实施例的一个方面，提供了一种生成对抗网络的训练方法，包括：获取纹理增强后的高清纹理图像和法向贴图样本；将所述高清纹理图像和所述法向贴图样本输入生成对抗网络的生成器中进行融合，输出待判定法向贴图；将所述待判定法向贴图输入所述生成对抗网络的判别器中，输出判断结果，其中，所述判别器包括预设数量的卷积层，所述判断结果用于表示所述待判定法向贴图是否与所述法向贴图样本一致；基于所述判断结果和目标函数调整所述生成对抗网络的参数，得到法向贴图生成模型，其中，所述法向贴图生成模型用于生成与所述法向贴图样本一致的纹理图像，所述纹理图像用于与所述法向贴图样本进行融合得到纹理增强之后的法向贴图。
根据本申请实施例的一个方面，提供了一种生成人脸图像的装置，包括：获取单元，用于获取包含人脸坐标信息的第一图像；获得单元，用于基于所述第一图像、以及所述人脸坐标信息对应的主成分分析基，获得所述第一图像中的人脸局部特征的位置参数；拟合单元，用于对基于所述位置参数生成的掩膜法向贴图、所述掩膜法向贴图对应的背景图像进行合成，得到第二图像；生成单元，用于基于生成对抗网络生成所述第二图像对应的纹理图像，并基于所述纹理图像对所述第二图像进行纹理增强，得到目标人脸图像。
在本申请的一些实施例中，基于前述方案，所述生成单元包括：第一生成单元，用于将通过纹理增强得到的高清纹理图像与所述第二图像输入所述生成对抗网络的生成器中，生成待定法向贴图；第一判别单元，用于将所述待定法向贴图和所述第二图像输入所述生成对抗网络的判别器中，得到所述生成对抗网络输出的判别结果；融合单元，用于若所述判别结果为所述第二图像与所述待定法向贴图一致，则将所述第二图像和所述待定法向贴图的纹理融合，得到所述目标人脸图像。
在本申请的一些实施例中，基于前述方案，所述生成人脸图像的装置还包括：第二生成单元，用于若所述判别结果为所述第二图像和所述待定法向贴图不一致，则通过所述生成器生成与所述待定法向贴图不同的衍生法向贴图；对比单元，用于将所述衍生法向贴图与所述第二图像在所述判别器中进行对比，直至所述判别结果为所述第二图像和所述待定法向贴图一致。
在本申请的一些实施例中，基于前述方案，所述生成人脸图像的装置还包括：预处理单元，用于对所述高清纹理图像和所述第二图像分别进行标准化处理。
在本申请的一些实施例中，基于前述方案，所述第一生成单元包括：第三生成单元，用于在所述生成对抗网络的生成器中，基于U型网络生成与所述高清纹理图像和所述第二图像相同分辨率的待定法向贴图。
在本申请的一些实施例中，基于前述方案，所述第一图像中的部分区域被掩膜覆盖；所述拟合单元包括：重建单元，用于基于所述位置参数进行图像重建，得到掩膜法向贴图；叠加单元，用于将所述掩膜法向贴图和获取到的背景图像进行叠加，得到所述第二图像。
在本申请的一些实施例中，基于前述方案，所述掩膜法向贴图包括人脸区域贴图，所述背景图像包括头发区域图像；所述叠加单元包括：拼接单元，用于将所述人脸区域贴图和所述头发区域图像进行拼接和融合，得到包含面部信息的第二图像。
在本申请的一些实施例中，基于前述方案，所述叠加单元包括：第一金字塔单元，用于基于拉普拉斯的方法，生成所述掩膜法向贴图对应的第一拉普拉斯残差金字塔和所述背景图像对应的第二拉普拉斯残差金字塔；第二金字塔单元，用于合并所述第一拉普拉斯残差金字塔顶端的图像和第二拉普拉斯残差金字塔顶端的图像，得到合并金字塔；金字塔采样单元，用于对所述合并金字塔中的图像进行上采样和叠加处理，得到所述合并金字塔最低端的图像为所述第二图像。
在本申请的一些实施例中，基于前述方案，所述第一金字塔单元包括：第三金字塔单元，用于对所述掩膜法向贴图和所述背景图像分别进行高斯低通滤波和各行各列下采样，得到所述掩膜法向贴图对应的第一高斯金字塔和所述背景图像对应的第二高斯金字塔；第四金字塔单元，用于对所述第一高斯金字塔和所述第二高斯金字塔分别依次进行放大、滤波以及逐层相减处理，分别得到所述第一拉普拉斯残差金字塔和所述第二拉普拉斯残差金字塔。
在本申请的一些实施例中，基于前述方案，所述获得单元包括：图像展开单元，用于展开所述第一图像，得到所述第一图像中的人脸局部对应的特征参数；参数获得单元，用于基于所述特征参数、所述主成分分析基、所述主成分分析基对应的奇异值和均值，获得所述第一图像中的人脸局部特征的位置参数。
在本申请的一些实施例中，基于前述方案，所述人脸局部特征包括五官特征；所述参数获得单元包括：第一计算单元，用于计算所述主成分分析基与所述奇异值之间的第一乘积，根据所述第一乘积的预设次幂得到法向参数；第二计算单元，用于计算所述五官特征对应的主成分分析参数与所述法向参数之间的第二乘积，根据所述第二乘积与所述均值之和得到所述五官特征对应的位置参数。
根据本申请实施例的一个方面，提供了一种生成对抗网络的训练装置，包括：样本获取单元，用于获取纹理增强后的高清纹理图像和法向贴图样本；图像生成单元，用于将所述高清纹理图像和所述法向贴图样本输入生成对抗网络的生成器中进行融合，输出待判定法向贴图；图像判断单元，用于将所述待判定法向贴图输入所述生成对抗网络的判别器中，输出判断结果，其中，所述判别器包括预设数量的卷积层，所述判断结果用于表示所述待判定法向贴图是否与所述法向贴图样本一致；模型生成单元，用于基于所述判断结果和目标函数调整所述生成对抗网络的参数，得到法向贴图生成模型，其中，所述法向贴图生成模型用于生成与所述法向贴图样本一致的纹理图像，所述纹理图像用于与所述法向贴图样本进行融合得到纹理增强之后的法向贴图。
根据本申请实施例的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中所述的生成人脸图像的方法或生成对抗网络的训练方法。
根据本申请实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的生成人脸图像的方法或生成对抗网络的训练方法。
在本申请的一些实施例所提供的技术方案中，通过获取包含人脸坐标信息的第一图像，并基于人脸坐标信息对应的主成分分析基确定第一图像中的各局部特征的位置参数，以对基于位置参数生成的掩膜法向贴图、掩膜法向贴图对应的背景图像进行合成，得到第二图像，并通过生成对抗网络生成第二图像对应的纹理图像，以基于纹理图像对第二图像进行纹理增强，得到包含人脸特征法向信息和人脸纹理信息的目标人脸图像，本实施例的方法既保证了人脸特征的准确性，又提高了人脸纹理信息与法向信息的一致性，进而保证人脸图像的细节与真实性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图；
图2示意性示出了根据本申请的一个实施例的生成人脸图像的方法的流程图；
图3示意性示出了根据本申请的一个实施例的第一图像中的人脸局部特征的位置参数的流程图；
图4示意性示出了根据本申请的一个实施例的一种掩膜法向贴图与背景图像叠加得到第二图像的示意图；
图5示意性示出了根据本申请的一个实施例的图像金字塔的示意图；
图6示意性示出了根据本申请的一个实施例的基于拉普拉斯金字塔和高斯金字塔进行图像融合示意图；
图7示意性示出了根据本申请的一个实施例的基于纹理图像对第二图像进行纹理增强，得到目标人脸图像的流程图；
图8示意性示出了根据本申请的一个实施例的基于生成对抗网络的纹理增强网络结构的示意图；
图9示意性示出了根据本申请的一个实施例的一种基于U-Net的高清法向贴图生成器的流程图；
图10示意性示出了根据本申请的一个实施例的生成高清拟合法向贴图的流程图；
图11示意性示出了根据本申请的一个实施例的一种生成对抗网络的训练方法的流程图；
图12示意性示出了根据本申请的一个实施例的生成人脸图像的装置的框图；
图13示意性示出了根据本申请的一个实施例的生成对抗网络的训练装置的框图；
图14示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision，CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的3D游戏、智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
本申请实施例提供的方案涉及人工智能的计算机视觉技术中图像处理、三维物体重建以及3D技术等，具体通过如下实施例进行说明：
图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图。
如图1所示，系统架构可以包括终端设备（如图1中所示智能手机101、平板电脑102和便携式计算机103中的一种或多种，当然也可以是台式计算机等等）、网络104和服务器105。网络104用以在终端设备和服务器105之间提供通信链路。网络104可以包括各种连接类型，例如有线通信链路、无线通信链路等等。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
用户可以使用终端设备通过网络104与服务器105交互，以接收或发送消息等。服务器105可以是提供各种服务的服务器。例如用户利用终端设备103（也可以是终端设备101或102）向服务器105上传了包含人脸坐标信息的第一图像，服务器105可以通过获取包含人脸坐标信息的第一图像，并基于人脸坐标信息对应的主成分分析基确定第一图像中的各局部特征的位置参数，以基于位置参数拟合得到低清拟合的法向贴图，即第二图像，并通过生成对抗网络生成第二图像对应的纹理图像，以基于纹理图像对第二图像进行纹理增强，得到包含人脸特征法向信息和人脸纹理信息的目标人脸图像，本实施例的方法既保证了人脸特征的准确性，又提高了人脸纹理信息与法向信息的一致性，进而保证人脸图像的细节与真实性。
需要说明的是，本申请实施例所提供的生成人脸图像的方法一般由服务器105执行，相应地，生成人脸图像的装置一般设置于服务器105中。但是，在本申请的其它实施例中，终端设备也可以与服务器具有相似的功能，从而执行本申请实施例所提供的生成人脸图像的方案。
以下对本申请实施例的技术方案的实现细节进行详细阐述：
图2示出了根据本申请的一个实施例的生成人脸图像的方法的流程图，该生成人脸图像的方法可以由服务器来执行，该服务器可以是图1中所示的服务器。参照图2所示，该生成人脸图像的方法至少包括步骤S210至步骤S240，详细介绍如下：
在步骤S210中，获取包含人脸坐标信息的第一图像。
在本申请的一个实施例中，第一图像为包含人脸坐标信息的图像。其中，人脸坐标信息可以包括人脸中各个特征点对应的位置信息，例如，眼睛、鼻子或者耳朵的位置信息。
示例性的，本实施例中的第一图像可以为UV图，这里UV是指纹理贴图坐标，用于表示图像上每个点的位置信息。本实施例中UV就是将图像上每一个点精确对应到模型物体的表面，以决定表面纹理贴图的位置，并在点与点之间的间隙位置由软件进行图像光滑插值处理。
可选的，在本申请的一个实施例中，获取第一图像的方式可以是通过服务器中的数据库的方式获取到第一图像，也可以是调用存储在本地的图像数据库中的数据得到第一图像，或者还可以是通过第三方发送，以获取到第一图像；进一步的，还可以通过云端、区块链网络中存储的数据，获取到第一图像，此处不做限定。
在步骤S220中，基于第一图像、以及人脸坐标信息对应的主成分分析基，获得第一图像中的人脸局部特征的位置参数。
在本申请的一个实施例中，首先通过展开UV图以及UV主成分分析基（PrincipalComponent Analysis，PCA）拟合得到第一图像中的人脸局部特征的位置参数，例如各局部PCA参数z，以通过人脸局部特征的位置参数得到掩膜下的拟合法向贴图。
示例性的，本实施例中的人脸局部特征可以包括人脸的脸颊、眼睛、嘴巴、眉毛、额头以及下巴等区域的像素信息等，此处不做限定。
在本申请的一个实施例中，如图3所示，步骤S220中基于第一图像、以及人脸坐标信息对应的主成分分析基，获得第一图像中的人脸局部特征的位置参数的过程，包括如下步骤S310至步骤S320，详细介绍如下：
在步骤S310中，展开第一图像，得到第一图像中的人脸局部对应的特征参数。
在本申请的一个实施例中，在得到第一图像之后，基于第一图像中的位置信息，识别或者选定各个人脸局部对应的位置信息，再将这些位置信息进行转换，得到各人脸局部对应的特征参数。本实施例的特征参数用于组合不同局部的PCA基，通过对各图像区域和/或掩膜进行整合，得到一张完整的图像。
示例性的，本实施例中的特征参数可以包括主成分分析基参数，即PCA参数，在生成各人脸局部对应的PCA参数时，通过展开UV图，并对UV PCA基进行拟合得到PCA参数，例如人脸中的脸颊、眼睛、嘴巴、眉毛、额头以及下巴各局部区域对应的PCA参数z。
在步骤S320中，基于特征参数、主成分分析基、主成分分析基对应的奇异值和均值，获得第一图像中的人脸局部特征的位置参数。
在本申请的一个实施例中，在步骤S310中得到特征参数之后，基于特征参数、主成分分析基、以及主成分分析基对应的奇异值和均值，计算得到第一图像中的人脸局部特征的位置参数。
具体的，本实施例中的奇异值为主成分分析基对应的一种特征值，可以通过对主成分分析基进行PCA奇异值分解得到。本实施例中奇异值为矩阵sigma，矩阵sigma中的最大的特征值所对应的U和V中的列向量和行向量，也就包含了图像中最多的信息。而且这种信息应该是低频的信息，特征值越大，表明原矩阵中的列向量在该方向上的投影长度越大，也就是相关性越大，在进行人脸重塑的时候这个数值对应的信息就越重要。
在本申请的一个实施例中，在确定第一图像中人脸局部特征的位置参数时，对数据做中心化处理，使得均值为0，基于奇异值计算协方差矩阵，以及协方差矩阵的特征值和特征向量，并将特征值从大到小排序，保留最上面的N个特征向量，最后将数据转换到上述N个特征向量构建的新空间中，因此最后的特征有n行一列，表示转换后的人脸局部特征的位置参数。
在本申请的一个实施例中，人脸局部特征包括五官特征；步骤S230中基于特征参数、主成分分析基、主成分分析基对应的奇异值和均值，获得第一图像中的人脸局部特征的位置参数的过程，包括：
计算主成分分析基与奇异值之间的第一乘积，根据第一乘积的预设次幂得到法向参数；
计算五官特征对应的主成分分析参数与法向参数之间的第二乘积，根据第二乘积与均值之和得到五官特征对应的位置参数。
在本申请的一个实施例中，令PCA基为basis，PCA基对应的奇异值为sigma，均值为mu，局部纹理图像fit_ normal_part可通过参数z得到法向参数为：
Figure 895230DEST_PATH_IMAGE001
其中，T用于表示矩阵的转置，主成分分析参数与法向参数之间的第二乘积，根据第二乘积与均值之和得到五官特征对应的位置参数为：
Figure 281211DEST_PATH_IMAGE002
在本申请的一个实施例中，通过计算位置参数，以基于位置参数得到人脸图像中各特征对应的位置，进而还原图像，以得到第二图像。
在步骤S230中，对基于位置参数生成的掩膜法向贴图、掩膜法向贴图对应的背景图像进行合成，得到第二图像。
在本申请的一个实施例中，在步骤S220中得到第一图像中的人脸局部特征的位置参数之后，例如各局部PCA参数z，本实施例中通过法向贴图PCA基拟合得到掩膜下的拟合法向贴图，即掩膜法向贴图，对该掩膜法向贴图及其对应的背景图像进行合成，得到第二图像。本实施例中将掩膜法向贴图称为fit_normal，背景图像用于表示掩膜法向贴图相关的图像，这些图像可以与掩膜法向贴图进行组合，得到一幅完整的人脸图像。
在本申请的一个实施例中，步骤S230中，第一图像中的部分区域被掩膜覆盖；对基于位置参数生成的掩膜法向贴图、掩膜法向贴图对应的背景图像进行合成，得到第二图像的过程包括如下步骤S410至步骤S420，详细介绍如下：
在步骤S410中，基于位置参数进行图像重建，得到掩膜法向贴图。
在本申请的一个实施例中，在生成位置参数之后，基于位置参数对图像进行重建，得到掩膜下的法向贴图，即掩膜法向贴图。
需要说明的是，本实施例的掩膜法向贴图为基于位置参数和原有的图像信息构建，其中包含了各人脸特征在某一观看角度下的位置信息，但是其中的像素信息较模糊，因此，在本步骤中得到的掩膜法向贴图为低清贴图，在之后将其处理为高清贴图。
同时需要说明的是，本实施例中的掩膜用于表示覆盖图像中某些区域的覆盖面，本实施例的掩膜法向贴图可以为人脸区域中某一区域的贴图，例如，嘴巴区域的贴图、或者眼睛区域的贴图等，此处不做限定。
在步骤S420中，将掩膜法向贴图和获取到的背景图像进行叠加，得到第二图像。
在本申请的一个实施例中，在得到掩膜法向贴图之后，基于获取到的背景图像，将掩膜法向贴图与背景图像进行叠加，构成一幅视觉上完整的图像，即第二图像。
在本申请的一个实施例中，本实施例的背景图像包括除去人脸区域之外的图像，例如，头发区域的图像，人脸区域下部的身体图像区域等，此处不做限定。
在本申请的一个实施例中，步骤S420中，掩膜法向贴图包括人脸区域贴图，背景图像包括头发区域图像，将掩膜法向贴图和获取到的背景图像进行叠加，得到第二图像的过程，包括如下步骤：
将人脸区域贴图和头发区域图像进行拼接和融合，得到包含面部信息的第二图像。
图4为本申请实施例提供的一种掩膜法向贴图与背景图像叠加得到第二图像的示意图。
如图4所示，在本申请的一个实施例中，本实施例的掩膜法向贴图可以为人脸区域贴图410，背景图像可以为所选的头发区域图像420。因此，在该人脸法向贴图的拼接场景中，本实施例在进行叠加时，可以使基于人脸区域贴图和头发区域头像进行拼接，并在拼接之后对拼接区域进行融合过渡处理，最后得到包含面部信息的第二图像430。
进一步的，在进行拼接过程中，还可以基于用户的选择，确定顶端图像或者底端图像，以使得顶端图像可以掩盖住底端图像。示例性的，在人脸区域与头发区域的叠加或者拼接过程中，可以将人脸区域作为底端图像，将头发区域作为顶端图像，以通过头发区域掩盖住人脸区域，实现无缝叠加或融合，得到效果更好的图像。
在本申请的一个实施例中，步骤S420中将掩膜法向贴图和获取到的背景图像进行叠加，得到第二图像的过程，包括如下步骤：
基于拉普拉斯的方法，生成掩膜法向贴图对应的第一拉普拉斯残差金字塔和背景图像对应的第二拉普拉斯残差金字塔；
合并第一拉普拉斯残差金字塔顶端的图像和第二拉普拉斯残差金字塔顶端的图像，得到合并金字塔；
对合并金字塔中的图像进行上采样和叠加处理，得到合并金字塔最低端的图像为第二图像。
进一步的，其中，基于拉普拉斯的方法，生成掩膜法向贴图对应的第一拉普拉斯残差金字塔和背景图像对应的第二拉普拉斯残差金字塔的过程，具体包括：
对掩膜法向贴图和背景图像分别进行高斯低通滤波和各行各列下采样，得到掩膜法向贴图对应的第一高斯金字塔和背景图像对应的第二高斯金字塔；
对第一高斯金字塔和第二高斯金字塔分别依次进行放大、滤波以及逐层相减处理，分别得到第一拉普拉斯残差金字塔和第二拉普拉斯残差金字塔。
具体的，在对掩膜法向贴图和其背景图像进行叠加时，还可以通过拉普拉斯残差金字塔的方式进行，具体说明如下：
图5为本申请实施例提供的一种图像金字塔的示意图。
如图5所示，图像金字塔是图像中多尺度表达的一种方式，最主要用于图像的分割，是一种以多分辨率来解释图像的有效但概念简单的结构。图像金字塔最初用于机器视觉和图像压缩，一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低，且来源于同一张原始图的图像集合。其通过梯次向下采样获得，直到达到某个终止条件才停止采样。金字塔的底部是待处理图像的高分辨率表示，而顶部是低分辨率的近似。我们将一层一层的图像比喻成金字塔，层级越高，则图像越小，分辨率越低。
图6为本申请实施例提供的一种基于拉普拉斯金字塔和高斯金字塔进行图像融合示意图。
如图6所示，拉普拉斯金字塔610用来从金字塔低层图像重建上层采样图像，在数字图像处理中也即是预测残差，可以对图像进行最大程度的还原，配合高斯金字塔620一起使用。
具体的，在本申请的一个实施例中，输入为拟合的法向贴图fit_normal、背景图像bg_normal。首先，分别根据两幅输入图像构建拉普拉斯残差金字塔，并保留高斯金字塔下采样最顶端的图像。
在本申请的一个实施例中，构建高斯金字塔方式为：对图像进行高斯低通滤波和隔行隔列下采样。示例性的，本实施例中的高斯低通滤波器可以为：
Figure 654424DEST_PATH_IMAGE003
在本申请的一个实施例中，构建拉普拉斯残差金字塔方式为：对得到的高斯金字塔采用内插法放大，并使用与高斯金字塔构建时相同的滤波器滤波，并与下层高斯金字塔相减，重复上述过程即可构建拉普拉斯残差金字塔。
具体的，如图6所示，符号
Figure 518475DEST_PATH_IMAGE004
表示卷积，符号-表示图像相减。拉普拉斯金字塔第i层的数学定义为如下公式：
Figure 677055DEST_PATH_IMAGE005
其中，式中的
Figure 968359DEST_PATH_IMAGE006
用于表示第i层的图像630。而UP（）操作是将源图像中位置为
Figure 828867DEST_PATH_IMAGE007
的像素映射到目标图像的
Figure 496609DEST_PATH_IMAGE008
位置，即在进行向上取样，
Figure 217353DEST_PATH_IMAGE009
用于表示
Figure 804192DEST_PATH_IMAGE010
的高斯内核。
需要说明的是，本实施例中的向下与向上采样，是对图像的尺寸而言的，向上就是图像尺寸加倍，向下就是图像尺寸减半。而如果我们按上图中演示的金字塔方向来理解，金字塔向上图像其实在缩小，这样刚好是反过来了。也就是说，拉普拉斯金字塔是通过源图像减去先缩小后再放大的图像的一系列图像构成的。
在本申请的一个实施例中，对于二值掩模下采样构建高斯金字塔。利用构建得到的高斯金字塔每一层的掩膜图，将fit_normal和bg_normal的拉普拉斯残差金字塔对应层的图像合并为一幅图像。这样得到合并后的拉普拉斯残差金字塔，最顶端的图像以同样方法合并。再从合并后的最顶端图像开始逐层上采样并叠加，直到构建出金字塔最低端图像，即为融合得到的第二图像。
在步骤S240中，基于生成对抗网络生成第二图像对应的纹理图像，并基于纹理图像对第二图像进行纹理增强，得到目标人脸图像。
在本申请的一个实施例中，如图7所示，步骤S240中基于生成对抗网络生成第二图像对应的纹理图像，并基于纹理图像对第二图像进行纹理增强，得到目标人脸图像的过程，包括如下步骤S710至步骤S730，详细介绍如下：
在步骤S710中，将通过纹理增强得到的高清纹理图像与第二图像输入生成对抗网络的生成器中，生成待定法向贴图。
在本申请的一个实施例中，步骤S230中拟合的第二图像为法向贴图，相比于真实图像比较模糊，且UV图像在纹理增强操作之后会生成更多细节纹理，因而法向贴图图像增强的同时需要与纹理图像保持对应。本实施例中通过生成对抗网络进行将第二图像和高清纹理图像进行对应，以提高图像纹理增强的一致性和加入图像纹理的效果。
图8为本申请实施例提供的一种基于生成对抗网络的纹理增强网络结构。
如图8所示，在本申请的一个实施例中，预先根据图像样本进行训练，得到生成对抗网络。其中，生成对抗网络中的生成器G接收的输入为纹理增强后的低清纹理图像x_UV，输入2为拟合的低清法向贴图x_normal，即第二图像。两个图像连接作为生成器G的输入，即六通道矩阵，生成器G基于这两个图像，生成待定法向贴图。
在本申请的一个实施例中，步骤S710中将通过纹理增强得到的高清纹理图像与第二图像输入生成对抗网络的生成器中，生成待定法向贴图的过程之前，包括如下步骤：
对高清纹理图像和第二图像分别进行标准化处理。
在本申请的一个实施例中，考虑到纹理图像和法向贴图的领域分布不同，因而分别作了标准化处理，具体的标准化处理方式为，对原图像进行如下公式处理：
Figure 27363DEST_PATH_IMAGE011
其中，X用于表示原图像，
Figure 108582DEST_PATH_IMAGE012
用于表示两幅图像的均值，
Figure 100809DEST_PATH_IMAGE013
用于表示两幅图像的方差。通过对两幅图像分别进行标准化处理，提高图像的统一性，以及处理的精度。
在本申请的一个实施例中，步骤S230中将通过纹理增强得到的高清纹理图像与第二图像输入生成对抗网络的生成器中，生成待定法向贴图的过程，包括如下步骤：
在生成对抗网络的生成器中，基于U型网络生成与高清纹理图像和第二图像相同分辨率的待定法向贴图。
图9为本申请实施例提供的一种基于U-Net的高清法向贴图生成器。
示例性的，如图9所示，本实施例的网络结构收缩路径910和增强路径920组成。收缩路径遵循卷积网络的典型架构，包括重复应用的两个3x3卷积（conv），每个卷积后跟一个整流线性单元（ReLU）和一个步长为2的用于下采样的2x2最大池化操作（max pool）。在每个下采样步骤中，将特征通道的数量加倍。增强路径中的每一步都包括对特征图通过2x2卷积（up-conv）进行上采样，这将会把特征通道数量减半，然后与来自收缩路径的相应的裁剪后的特征图串联，再经过两个3x3卷积，每个都跟着ReLU。由于每个卷积中边界像素的丢失，裁剪是必要的。在最后一层，使用1x1卷积将每个64分量特征向量映射到所需数量的类。总的来说，网络有23个卷积层。在本申请的一个实施例中，使用U型网络U-Net作为生成网络，输出图像为分辨率高清法向贴图y。
在步骤S720中，将待定法向贴图和第二图像输入生成对抗网络的判别器中，得到生成对抗网络输出的判别结果。
在本申请的一个实施例中，判别器D接收两个输入，一个为低清法向贴图x_ normal，即第二图像；另一个为需要判别真假的图像，即待定法向贴图，也即G的输出法向贴图y、真值高清法向贴图y_gt。在将待定法向贴图和第二图像输入生成对抗网络的判别器D中之后，便可以得到判别器输出的判别结果。
可选的，本实施例中判别器D可以包含5层卷积，可以分别为4*4 conv,stride 2,64；4*4 conv,stride 2,128；4*4 conv,stride 2,256；4*4 conv,stride 2,512；4*4conv,stride 2,1等，此处不做具体限定。
在步骤S730中，若判别结果为第二图像与待定法向贴图一致，则将第二图像和待定法向贴图的纹理融合，得到目标人脸图像。
在本申请的一个实施例中，本实施例的判别结果用于表示待定法向贴图和第二图像之间的一致情况，若两者一致，则输出为真，若两者不一致，则输出为假。
在本申请的一个实施例中，若判别结果为第二图像与待定法向贴图一致，输出结果为真时，说明当前生成的待定法向贴图可以与第二图像融合，则将第二图像和待定法向贴图的纹理融合，得到目标人脸图像。通过这种方式得到的目标人脸图像中的纹理信息和图像法向信息一致，能达到较好的融合效果和图像效果。
需要说明的是，本实施例中的目标人脸图像中既包括了人脸的法向信息，同时包括了人脸的纹理信息，通过基于人脸法向信息与纹理信息之间的结合得到目标人脸图像，使得目标人脸图像更加清晰和逼真。
进一步的，在本申请的一个实施例中，在步骤S720之后，若判别结果为第二图像和待定法向贴图不一致，则通过生成器生成与待定法向贴图不同的衍生法向贴图；将衍生法向贴图与第二图像在判别器中进行对比，直至判别结果为第二图像和待定法向贴图一致。
图10为本申请实施例提供的一种生成高清拟合法向贴图的流程图。
如图10所示，通过获取包含人脸坐标信息的第一图像，即UV图，将UV图展开并进行基于UV PCA基的纹理合成，得到PCA参数；之后基于法向贴图PCA基生成掩膜下的拟合法向贴图，此时的法向贴图只有特征的位置信息，所以为低清图像；之后基于背景区域的UV贴图，通过拉普拉斯的方式进行图像融合得到低清拟合法向贴图，即第二图像；之后将低清拟合法向贴图和高清拟合UV图像通过Pix2Pix进行图像翻译，并基于生成对抗网络进行判别，得到两者的融合图像，即目标人脸图像，此时的图像中包括了人脸的特征信息和纹理信息，因此为高清拟合法向贴图。
图11为本申请实施例提供的一种生成对抗网络的训练方法的流程图。
该生成对抗网络的训练方法可以由服务器来执行，该服务器可以是图1中所示的服务器，也可以由终端来执行，此处不做限定。参照图11所示，该生成对抗网络的训练方法至少包括步骤S1110至步骤S1140，详细介绍如下：
在步骤S1110中，获取纹理增强后的高清纹理图像和法向贴图样本。
在本申请的一个实施例中，获取纹理增强后的高清纹理图像，其中，高清纹理图像可以是预先生成的，用于与法向贴图进行匹配。
在步骤S1120中，将高清纹理图像和法向贴图样本输入生成对抗网络的生成器中进行融合，输出待判定法向贴图。
在本申请的一个实施例中，可以使用U-Net作为生成网络，将高清纹理图像和法向贴图样本输入生成对抗网络的生成器中进行融合，输出为同等分辨率的法向贴图，即待判定法向贴图。
在步骤S1130中，将待判定法向贴图输入生成对抗网络的判别器中，输出判断结果，其中，判别器包括预设数量的卷积层，判断结果用于表示待判定法向贴图是否与法向贴图样本一致。
在本申请的一个实施例中，判别器D接收两个输入，一个为低清法向贴图x_normal，即第二图像；另一个为需要判别真假的图像，即待定法向贴图，也即G的输出法向贴图y、真值高清法向贴图y_gt。在将待定法向贴图和第二图像输入生成对抗网络的判别器D中之后，便可以得到判别器输出的判别结果。
可选的，本实施例中判别器D可以包含5层卷积，可以分别为4*4 conv,stride 2,64；4*4 conv,stride 2,128；4*4 conv,stride 2,256；4*4 conv,stride 2,512；4*4conv,stride 2,1等，此处不做具体限定。
在本申请的一个实施例中，本实施例的判别结果用于表示待定法向贴图和第二图像之间的一致情况，若两者一致，则输出为真，若两者不一致，则输出为假。
在步骤S1140中，基于判断结果和目标函数调整生成对抗网络的参数，得到法向贴图生成模型，其中，法向贴图生成模型用于生成与法向贴图样本一致的纹理图像，纹理图像用于与法向贴图样本进行融合得到纹理增强之后的法向贴图。
在本申请的一个实施例中，基于判断结果和目标函数调整生成对抗网络的参数。具体的，本实施例中训练生成对抗网络的目标函数可以为：
Figure 124129DEST_PATH_IMAGE014
Figure 834596DEST_PATH_IMAGE015
Figure 952462DEST_PATH_IMAGE016
其中，x用于表示低清法向贴图；
Figure 64775DEST_PATH_IMAGE017
用于表示x在对应分布下的期望；y用于表示图像翻译网络生成器G预测并输出的高清法向贴图；y_gt用于表示高清法向贴图；
Figure 993416DEST_PATH_IMAGE018
用于表示x,y_gt在对应分布下的期望；
Figure 800967DEST_PATH_IMAGE019
用于表示判别器D对a与b两个对象是否一致的判别结果；λ为训练参数，可取值为100，学习率为0.0002。
可选的，测试阶段只需要生成器G，以及低清拟合纹理x_normal和高清纹理图像x_ UV，则可得到目标高清法向贴图G(x)。本实施例的训练数据可以通过对1184x1020x3大小的面部UV图随机剪裁出1000x950x3大小，达到数据扩增、提高训练精度的效果。
以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的生成人脸图像的方法。可以理解的是，装置可以是运行于计算机设备中的一个计算机程序（包括程序代码），例如该装置为一个应用软件；该装置可以用于执行本申请实施例提供的方法中的相应步骤。对于本申请装置实施例中未披露的细节，请参照本申请上述的生成人脸图像的方法的实施例。
图12示出了根据本申请的一个实施例的生成人脸图像的装置的框图。
参照图12所示，根据本申请的一个实施例的生成人脸图像的装置1200，包括：
获取单元1210，用于获取包含人脸坐标信息的第一图像；获得单元1220，用于基于第一图像、以及人脸坐标信息对应的主成分分析基，获得第一图像中的人脸局部特征的位置参数；拟合单元1230，用于对基于位置参数生成的掩膜法向贴图、掩膜法向贴图对应的背景图像进行合成，得到第二图像；生成单元1240，用于基于生成对抗网络生成第二图像对应的纹理图像，并基于纹理图像对第二图像进行纹理增强，得到目标人脸图像。
在本申请的一些实施例中，基于前述方案，生成单元1240包括：第一生成单元，用于将通过纹理增强得到的高清纹理图像与第二图像输入生成对抗网络的生成器中，生成待定法向贴图；第一判别单元，用于将待定法向贴图和第二图像输入生成对抗网络的判别器中，得到生成对抗网络输出的判别结果；融合单元，用于若判别结果为第二图像与待定法向贴图一致，则将第二图像和待定法向贴图的纹理融合，得到目标人脸图像。
在本申请的一些实施例中，基于前述方案，生成人脸图像的装置1200还包括：第二生成单元，用于若判别结果为第二图像和待定法向贴图不一致，则通过生成器生成与待定法向贴图不同的衍生法向贴图；对比单元，用于将衍生法向贴图与第二图像在判别器中进行对比，直至判别结果为第二图像和待定法向贴图一致。
在本申请的一些实施例中，基于前述方案，生成人脸图像的装置1200还包括：预处理单元，用于对高清纹理图像和第二图像分别进行标准化处理。
在本申请的一些实施例中，基于前述方案，第一生成单元包括：第三生成单元，用于在生成对抗网络的生成器中，基于U型网络生成与高清纹理图像和第二图像相同分辨率的待定法向贴图。
在本申请的一些实施例中，基于前述方案，第一图像中的部分区域被掩膜覆盖；拟合单元包括：重建单元，用于基于位置参数进行图像重建，得到掩膜法向贴图；叠加单元，用于将掩膜法向贴图和获取到的背景图像进行叠加，得到第二图像。
在本申请的一些实施例中，基于前述方案，掩膜法向贴图包括人脸区域贴图，背景图像包括头发区域图像；叠加单元包括：拼接单元，用于将人脸区域贴图和头发区域图像进行拼接和融合，得到包含面部信息的第二图像。
在本申请的一些实施例中，基于前述方案，叠加单元包括：第一金字塔单元，用于基于拉普拉斯的方法，生成掩膜法向贴图对应的第一拉普拉斯残差金字塔和背景图像对应的第二拉普拉斯残差金字塔；第二金字塔单元，用于合并第一拉普拉斯残差金字塔顶端的图像和第二拉普拉斯残差金字塔顶端的图像，得到合并金字塔；金字塔采样单元，用于对合并金字塔中的图像进行上采样和叠加处理，得到合并金字塔最低端的图像为第二图像。
在本申请的一些实施例中，基于前述方案，第一金字塔单元包括：第三金字塔单元，用于对掩膜法向贴图和背景图像分别进行高斯低通滤波和各行各列下采样，得到掩膜法向贴图对应的第一高斯金字塔和背景图像对应的第二高斯金字塔；第四金字塔单元，用于对第一高斯金字塔和第二高斯金字塔分别依次进行放大、滤波以及逐层相减处理，分别得到第一拉普拉斯残差金字塔和第二拉普拉斯残差金字塔。
在本申请的一些实施例中，基于前述方案，获得单元包括：图像展开单元，用于展开第一图像，得到第一图像中的人脸局部对应的特征参数；参数获得单元，用于基于特征参数、主成分分析基、主成分分析基对应的奇异值和均值，获得第一图像中的人脸局部特征的位置参数。
在本申请的一些实施例中，基于前述方案，人脸局部特征包括五官特征；参数获得单元包括：第一计算单元，用于计算主成分分析基与奇异值之间的第一乘积，根据第一乘积的预设次幂得到法向参数；第二计算单元，用于计算五官特征对应的主成分分析参数与法向参数之间的第二乘积，根据第二乘积与均值之和得到五官特征对应的位置参数。
图13示出了根据本申请的一个实施例的生成对抗网络的训练装置的框图。
参照图13所示，根据本申请的一个实施例的生成对抗网络的训练装置1300，包括：
样本获取单元1310，用于获取纹理增强后的高清纹理图像和法向贴图样本；图像生成单元1320，用于将高清纹理图像和法向贴图样本输入生成对抗网络的生成器中进行融合，输出待判定法向贴图；图像判断单元1330，用于将待判定法向贴图输入生成对抗网络的判别器中，输出判断结果，其中，判别器包括预设数量的卷积层，判断结果用于表示待判定法向贴图是否与法向贴图样本一致；模型生成单元1340，用于基于判断结果和目标函数调整生成对抗网络的参数，得到法向贴图生成模型，其中，法向贴图生成模型用于生成与法向贴图样本一致的纹理图像，纹理图像用于与法向贴图样本进行融合得到纹理增强之后的法向贴图。
图14示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
需要说明的是，图14示出的电子设备的计算机系统1400仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图14所示，计算机系统1400包括中央处理单元（Central Processing Unit，CPU）1401，其可以根据存储在只读存储器（Read-Only Memory，ROM）1402中的程序或者从存储部分1408加载到随机访问存储器（Random Access Memory，RAM）1403中的程序而执行各种适当的动作和处理，例如执行上述实施例中所述的方法。在RAM 1403中，还存储有系统操作所需的各种程序和数据。CPU 1401、ROM 1402以及RAM 1403通过总线1404彼此相连。输入/输出（Input /Output，I/O）接口1405也连接至总线1404。
以下部件连接至I/O接口1405：包括键盘、鼠标等的输入部分1406；包括诸如阴极射线管（Cathode Ray Tube，CRT）、液晶显示器（Liquid Crystal Display，LCD）等以及扬声器等的输出部分1407；包括硬盘等的存储部分1408；以及包括诸如LAN（Local AreaNetwork，局域网）卡、调制解调器等的网络接口卡的通信部分1409。通信部分1409经由诸如因特网的网络执行通信处理。驱动器1410也根据需要连接至I/O接口1405。可拆卸介质1411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1410上，以便于从其上读出的计算机程序根据需要被安装入存储部分1408。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分1409从网络上被下载和安装，和/或从可拆卸介质1411被安装。在该计算机程序被中央处理单元（CPU）1401执行时，执行本申请的系统中限定的各种功能。
需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（Erasable Programmable Read Only Memory，EPROM）、闪存、光纤、便携式紧凑磁盘只读存储器（Compact Disc Read-Only Memory，CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中或网络上，包括若干指令以使得一台计算设备（可以是个人计算机、服务器、触控终端、或者网络设备等）执行根据本申请实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的实施方式后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (14)

1.一种生成人脸图像的方法，其特征在于，包括：
获取包含人脸坐标信息的第一图像；
基于所述第一图像、以及所述人脸坐标信息对应的主成分分析基，获得所述第一图像中的人脸局部特征的位置参数；
对基于所述位置参数生成的掩膜法向贴图、所述掩膜法向贴图对应的背景图像进行合成，得到第二图像；
将通过纹理增强得到的高清纹理图像与所述第二图像输入生成对抗网络的生成器中，生成待定法向贴图；
将所述待定法向贴图和所述第二图像输入所述生成对抗网络的判别器中，得到所述生成对抗网络输出的判别结果；
若所述判别结果为所述第二图像与所述待定法向贴图一致，则将所述第二图像和所述待定法向贴图的纹理融合，得到目标人脸图像。
2.根据权利要求1所述的方法，其特征在于，将所述待定法向贴图和所述第二图像输入所述生成对抗网络的判别器中，得到所述生成对抗网络输出的判别结果之后，还包括：
若所述判别结果为所述第二图像和所述待定法向贴图不一致，则通过所述生成器生成与所述待定法向贴图不同的衍生法向贴图；
将所述衍生法向贴图与所述第二图像在所述判别器中进行对比，直至所述判别结果为所述第二图像和所述待定法向贴图一致。
3.根据权利要求1所述的方法，其特征在于，将通过纹理增强得到的高清纹理图像与所述第二图像输入所述生成对抗网络的生成器中之前，还包括：
对所述高清纹理图像和所述第二图像分别进行标准化处理。
4.根据权利要求1所述的方法，其特征在于，将通过纹理增强得到的高清纹理图像与所述第二图像输入所述生成对抗网络的生成器中，生成待定法向贴图，包括：
在所述生成对抗网络的生成器中，基于U型网络生成与所述高清纹理图像和所述第二图像相同分辨率的待定法向贴图。
5.根据权利要求1所述的方法，其特征在于，所述第一图像中的部分区域被掩膜覆盖；
对基于所述位置参数生成的掩膜法向贴图、所述掩膜法向贴图对应的背景图像进行合成，得到第二图像，包括：
基于所述位置参数进行图像重建，得到掩膜法向贴图；
将所述掩膜法向贴图和获取到的背景图像进行叠加，得到所述第二图像。
6.根据权利要求5所述的方法，其特征在于，所述掩膜法向贴图包括人脸区域贴图，所述背景图像包括头发区域图像；
将所述掩膜法向贴图和获取到的背景图像进行叠加，得到所述第二图像，包括：
将所述人脸区域贴图和所述头发区域图像进行拼接和融合，得到包含面部信息的第二图像。
7.根据权利要求5所述的方法，其特征在于，将所述掩膜法向贴图和获取到的背景图像进行叠加，得到所述第二图像，包括：
基于拉普拉斯的方法，生成所述掩膜法向贴图对应的第一拉普拉斯残差金字塔和所述背景图像对应的第二拉普拉斯残差金字塔；
合并所述第一拉普拉斯残差金字塔顶端的图像和第二拉普拉斯残差金字塔顶端的图像，得到合并金字塔；
对所述合并金字塔中的图像进行上采样和叠加处理，得到所述合并金字塔最低端的图像为所述第二图像。
8.根据权利要求7所述的方法，其特征在于，基于拉普拉斯的方法，生成所述掩膜法向贴图对应的第一拉普拉斯残差金字塔和所述背景图像对应的第二拉普拉斯残差金字塔，包括：
对所述掩膜法向贴图和所述背景图像分别进行高斯低通滤波和各行各列下采样，得到所述掩膜法向贴图对应的第一高斯金字塔和所述背景图像对应的第二高斯金字塔；
对所述第一高斯金字塔和所述第二高斯金字塔分别依次进行放大、滤波以及逐层相减处理，分别得到所述第一拉普拉斯残差金字塔和所述第二拉普拉斯残差金字塔。
9.根据权利要求1所述的方法，其特征在于，基于所述第一图像、以及所述人脸坐标信息对应的主成分分析基，获得所述第一图像中的人脸局部特征的位置参数，包括：
展开所述第一图像，得到所述第一图像中的人脸局部对应的特征参数；
基于所述特征参数、所述主成分分析基、所述主成分分析基对应的奇异值和均值，获得所述第一图像中的人脸局部特征的位置参数。
10.根据权利要求9所述的方法，其特征在于，所述人脸局部特征包括五官特征；
基于所述特征参数、所述主成分分析基、所述主成分分析基对应的奇异值和均值，获得所述第一图像中的人脸局部特征的位置参数，包括：
计算所述主成分分析基与所述奇异值之间的第一乘积，根据所述第一乘积的预设次幂得到法向参数；
计算所述五官特征对应的主成分分析参数与所述法向参数之间的第二乘积，根据所述第二乘积与所述均值之和得到所述五官特征对应的位置参数。
11.根据权利要求1所述的方法，其特征在于，所述生成对抗网络通过如下方式训练得到：
获取纹理增强后的高清纹理图像和法向贴图样本；
将所述高清纹理图像和所述法向贴图样本输入生成对抗网络的生成器中进行融合，输出待判定法向贴图；
将所述待判定法向贴图输入所述生成对抗网络的判别器中，输出判断结果，其中，所述判别器包括预设数量的卷积层，所述判断结果用于表示所述待判定法向贴图是否与所述法向贴图样本一致；
基于所述判断结果和目标函数调整所述生成对抗网络的参数，得到法向贴图生成模型，其中，所述法向贴图生成模型用于生成与所述法向贴图样本一致的纹理图像，所述与所述法向贴图样本一致的纹理图像用于与所述法向贴图样本进行融合得到纹理增强之后的法向贴图。
12.一种生成人脸图像的装置，其特征在于，包括：
获取单元，用于获取包含人脸坐标信息的第一图像；
获得单元，用于基于所述第一图像、以及所述人脸坐标信息对应的主成分分析基，获得所述第一图像中的人脸局部特征的位置参数；
拟合单元，用于对基于所述位置参数生成的掩膜法向贴图、所述掩膜法向贴图对应的背景图像进行合成，得到第二图像；
第一生成单元，用于将通过纹理增强得到的高清纹理图像与第二图像输入生成对抗网络的生成器中，生成待定法向贴图；
第一判别单元，用于将待定法向贴图和第二图像输入生成对抗网络的判别器中，得到生成对抗网络输出的判别结果；
融合单元，用于若判别结果为第二图像与待定法向贴图一致，则将第二图像和待定法向贴图的纹理融合，得到目标人脸图像。
13.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至11中任一项所述的生成人脸图像的方法。
14.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至11中任一项所述的生成人脸图像的方法。
CN202010282837.5A 2020-04-08 2020-04-08 一种生成人脸图像及其模型训练的方法、装置及电子设备 Active CN111192201B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010282837.5A CN111192201B (zh) 2020-04-08 2020-04-08 一种生成人脸图像及其模型训练的方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010282837.5A CN111192201B (zh) 2020-04-08 2020-04-08 一种生成人脸图像及其模型训练的方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN111192201A CN111192201A (zh) 2020-05-22
CN111192201B true CN111192201B (zh) 2020-08-28

Family

ID=70710332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010282837.5A Active CN111192201B (zh) 2020-04-08 2020-04-08 一种生成人脸图像及其模型训练的方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN111192201B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583399B (zh) * 2020-06-28 2023-11-07 腾讯科技（深圳）有限公司 图像处理方法、装置、设备、介质和电子设备
CN112184851B (zh) * 2020-10-26 2023-09-26 北京百度网讯科技有限公司 图像编辑方法、网络训练方法、相关装置及电子设备
CN112528782B (zh) * 2020-11-30 2024-02-23 北京农业信息技术研究中心 水下鱼类目标检测方法及装置
CN112884637B (zh) * 2021-01-29 2023-04-07 北京市商汤科技开发有限公司 特效生成方法、装置、设备及存储介质
CN113158908A (zh) * 2021-04-25 2021-07-23 北京华捷艾米科技有限公司 人脸识别方法、装置、存储介质及电子设备
CN113822790B (zh) * 2021-06-03 2023-04-21 腾讯云计算（北京）有限责任公司 一种图像处理方法、装置、设备及计算机可读存储介质
CN114359452B (zh) * 2021-12-13 2024-08-16 华东师范大学 一种基于语义图像翻译的三维模型纹理合成方法
CN114638868B (zh) * 2022-01-24 2024-10-22 华南理工大学 自然场景中高分辨率三维人脸纹理生成方法
CN114626468B (zh) * 2022-03-17 2024-02-09 小米汽车科技有限公司 在图像中生成阴影的方法、装置、电子设备及存储介质
CN116051386B (zh) * 2022-05-30 2023-10-20 荣耀终端有限公司 图像处理方法及其相关设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110570383A (zh) * 2019-09-25 2019-12-13 北京字节跳动网络技术有限公司 一种图像处理方法、装置、电子设备及存储介质
CN110781976A (zh) * 2019-10-31 2020-02-11 重庆紫光华山智安科技有限公司 训练图像的扩充方法、训练方法及相关装置
US10565758B2 (en) * 2017-06-14 2020-02-18 Adobe Inc. Neural face editing with intrinsic image disentangling
CN110889370A (zh) * 2019-11-26 2020-03-17 上海大学 基于条件生成对抗网络的端对端的侧面人脸合成正脸的系统及方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6886140B2 (ja) * 2016-12-12 2021-06-16 ダイキン工業株式会社 不快判定装置
CN107194995A (zh) * 2017-07-11 2017-09-22 王刚 一种快速构建真实三维人物模型的方法
CN109377546B (zh) * 2018-12-07 2023-07-18 网易（杭州）网络有限公司 虚拟现实模型渲染方法及装置
CN109815887B (zh) * 2019-01-21 2020-10-16 浙江工业大学 一种基于多智能体协作的复杂光照下人脸图像的分类方法
CN109849790A (zh) * 2019-03-06 2019-06-07 武汉理工大学 一种多源信息融合的夜间行车场景视觉增强系统及方法
CN110060326A (zh) * 2019-03-12 2019-07-26 杭州电子科技大学 一种基于生成对抗网络的模型纹理生成方法
CN110047058B (zh) * 2019-03-25 2021-04-30 杭州电子科技大学 一种基于残差金字塔的图像融合方法
CN110363858B (zh) * 2019-06-18 2022-07-01 新拓三维技术(深圳)有限公司 一种三维人脸重建方法及系统
CN110443872B (zh) * 2019-07-22 2021-04-02 北京科技大学 一种具备动态纹理细节的表情合成方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10565758B2 (en) * 2017-06-14 2020-02-18 Adobe Inc. Neural face editing with intrinsic image disentangling
CN110570383A (zh) * 2019-09-25 2019-12-13 北京字节跳动网络技术有限公司 一种图像处理方法、装置、电子设备及存储介质
CN110781976A (zh) * 2019-10-31 2020-02-11 重庆紫光华山智安科技有限公司 训练图像的扩充方法、训练方法及相关装置
CN110889370A (zh) * 2019-11-26 2020-03-17 上海大学 基于条件生成对抗网络的端对端的侧面人脸合成正脸的系统及方法

Also Published As

Publication number Publication date
CN111192201A (zh) 2020-05-22

Similar Documents

Publication Publication Date Title
CN111192201B (zh) 一种生成人脸图像及其模型训练的方法、装置及电子设备
CN111445410B (zh) 基于纹理图像的纹理增强方法、装置、设备和存储介质
Cao et al. 3D aided duet GANs for multi-view face image synthesis
CN112580617B (zh) 自然场景下的表情识别方法和装置
CN114913565A (zh) 人脸图像检测方法、模型训练方法、装置及存储介质
CN109684969B (zh) 凝视位置估计方法、计算机设备及存储介质
CN111488865A (zh) 图像优化方法、装置、计算机存储介质以及电子设备
CN113570684A (zh) 图像处理方法、装置、计算机设备和存储介质
CN113850168A (zh) 人脸图片的融合方法、装置、设备及存储介质
CN113642585B (zh) 图像处理方法、装置、设备、存储介质及计算机程序产品
CN110796593A (zh) 基于人工智能的图像处理方法、装置、介质及电子设备
CN111369564B (zh) 一种图像处理的方法、模型训练的方法及装置
Galteri et al. Deep 3d morphable model refinement via progressive growing of conditional generative adversarial networks
CN114972016A (zh) 图像处理方法、装置、计算机设备、存储介质及程序产品
CN114298997A (zh) 一种伪造图片检测方法、装置及存储介质
CN114972010A (zh) 图像处理方法、装置、计算机设备、存储介质及程序产品
CN112949707A (zh) 一种基于多尺度语义信息监督的跨模态人脸图像生成方法
CN115147261A (zh) 图像处理方法、装置、存储介质、设备及产品
CN114049290A (zh) 图像处理方法、装置、设备及存储介质
CN111325252B (zh) 图像处理方法、装置、设备、介质
CN113538254A (zh) 图像恢复方法、装置、电子设备及计算机可读存储介质
CN109711286B (zh) 一种基于人工视网膜空间感知的控制方法及装置
KR20210147647A (ko) 얼굴 이미지 색상 합성 장치 및 방법
EP4307209A1 (en) Image processing method and apparatus, and computer device, storage medium and program product
CN116958306A (zh) 图像合成方法和装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant