Nothing Special   »   [go: up one dir, main page]

CN111652828A - 人脸图像生成方法、装置、设备和介质 - Google Patents

人脸图像生成方法、装置、设备和介质 Download PDF

Info

Publication number
CN111652828A
CN111652828A CN202010464200.8A CN202010464200A CN111652828A CN 111652828 A CN111652828 A CN 111652828A CN 202010464200 A CN202010464200 A CN 202010464200A CN 111652828 A CN111652828 A CN 111652828A
Authority
CN
China
Prior art keywords
face
image
target
candidate
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010464200.8A
Other languages
English (en)
Other versions
CN111652828B (zh
Inventor
杨少雄
赵晨
陈睿智
彭昊天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010464200.8A priority Critical patent/CN111652828B/zh
Publication of CN111652828A publication Critical patent/CN111652828A/zh
Application granted granted Critical
Publication of CN111652828B publication Critical patent/CN111652828B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例公开了一种人脸图像生成方法、装置、设备和介质，涉及计算机视觉技术。其中，该方法包括：对人脸源图像进行人像处理，得到具有目标发型的候选人脸图像；获取候选人脸图像的图像编码；其中，图像编码用于从预设特征维度表征人脸信息；基于候选人脸图像，通过调整候选人脸图像的图像编码，得到预设数量的具有目标发型的目标人脸图像。本申请实施例可以实现生成大量具有真实感且保持同一发型的人脸图像的效果，进而提高变脸类型的图像应用程序可呈现给用户的人脸图像质量。

Description

人脸图像生成方法、装置、设备和介质
技术领域
本申请实施例涉及计算机技术，具体涉及计算机视觉技术，尤其涉及一种人脸图像生成方法、装置、设备和介质。
背景技术
大量趣味性应用程序的开发，给用户提供了各种各样的娱乐方式。
例如，在男变女视频特效玩法(即一种变脸类型的图像应用程序)中，为了保持针对每个用户所生成的大量女性脸是同一个发型，例如正脸图像、侧脸图像保持为相同发型，一般是通过三维(3D)头发贴纸特效来进行发型编辑，即把一个3D头发贴纸按照头部关键点对齐后贴在人脸上。
然而，通过3D头发贴纸来保持发型的一致性，非常容易出现在某些人脸角度或者某些脸型下贴纸贴合不严的现象；并且，当人脸图像在视频中快速移动或者转动时，还会出现头发和人脸分离的现象；此外，头发贴纸特效通常比较呆板，使得头发整体效果不自然、不真实。以上现象均严重影响了应用程序最终呈现给用户的人脸图像质量。
因此，如果能够提供大量的具有相同发型的人脸图像，作为变脸类图像应用程序的图像源，使得利用变脸类图像应用程序生成用户需求图像的过程中摆脱对3D头发贴纸特效的依赖，将会极大提高变脸类图像应用程序呈现给用户的人脸图像质量。
发明内容
本申请实施例公开一种人脸图像生成方法、装置、设备和介质，以实现生成大量具有真实感且保持同一发型的人脸图像的效果，进而提高变脸类图像应用程序可呈现给用户的人脸图像质量。
第一方面，本申请实施例公开了一种人脸图像生成方法，包括：
对人脸源图像进行人像处理，得到具有目标发型的候选人脸图像；
获取所述候选人脸图像的图像编码；其中，所述图像编码用于从预设特征维度表征人脸信息；
基于所述候选人脸图像，通过调整所述候选人脸图像的图像编码，得到预设数量的具有所述目标发型的目标人脸图像。
第二方面，本申请实施例还公开了一种人脸图像生成装置，包括：
候选人脸图像确定模块，用于对人脸源图像进行人像处理，得到具有目标发型的候选人脸图像；
图像编码获取模块，用于获取所述候选人脸图像的图像编码；其中，所述图像编码用于从预设特征维度表征人脸信息；
目标人脸图像确定模块，用于基于所述候选人脸图像，通过调整所述候选人脸图像的图像编码，得到预设数量的具有所述目标发型的目标人脸图像。
第三方面，本申请实施例还公开了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如本申请实施例任一所述的人脸图像生成方法。
第四方面，本申请实施例还公开了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如本申请实施例任一所述的人脸图像生成方法。
根据本申请实施例的技术方案，通过基于得到候选人脸图像，调整候选人脸图像的图像编码，得到预设数量的具有目标发型的目标人脸图像，这些目标人脸图像可以作为变脸类图像应用程序的图像源，使得利用变脸类图像应用程序生成用户需求图像的过程中摆脱了对3D头发贴纸特效的依赖，即本申请实施例不仅实现了生成大量具有真实感且保持同一发型的人脸图像的效果，而且提高了变脸类图像应用程序可呈现给用户的人脸图像质量。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请实施例公开的一种人脸图像生成方法的流程图；
图2是根据本申请实施例公开的另一种人脸图像生成方法的流程图；
图3是根据本申请实施例公开的一种人脸图像生成方法的架构示意图；
图4是根据本申请实施例公开的一种变脸类图像应用程序的效果示意图；
图5是根据本申请实施例公开的一种人脸图像生成装置的结构示意图；
图6是根据本申请实施例公开的一种电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是根据本申请实施例公开的一种人脸图像生成方法的流程图，本申请实施例可以适用于如何生成大量具有真实感且保持同一发型的人脸图像，以作为变脸类型的图像应用程序的数据源的情况，其中，变脸类型的图像应用程序的功能包括但不限于：利用男性用户人脸图像为其制作女性人物图像，利用女性用户人脸图像为其制作男性人物图像等。本申请实施例公开的人脸图像生成方法可以由人脸图像生成装置来执行，该装置可以采用软件和/或硬件实现，并可集成在任意的具有计算能力的电子设备上。
如图1所示，本申请实施例公开的人脸图像生成方法可以包括：
S101、对人脸源图像进行人像处理，得到具有目标发型的候选人脸图像。
在本申请实施例中，可以首先通过网络图像抓取或者利用任意可用的图像生成模型，获取大量的人脸图像，然后根据识别的人脸图像对应的性别标签，将人脸图像分类为男性图像和女性图像，进而便可以将每种性别类型的人脸图像作为人脸源图像，制作需求的具有目标发型的目标人脸图像。示例性的，为了保证图像质量，可以利用但不限于基于对抗神经网络(Generative Adversarial Networks，GAN)训练得到的stylegan模型生成大量的高清人脸图像，然后按照性别标签进行分类。
在获取到人脸源图像之后，可以基于人脸图像编辑思想，对人脸源图像进行编辑处理，初步得到具有目标发型的候选人脸图像，该目标发型是指变脸类型的图像应用程序开发过程中，开发人员预先设定的人物发型，例如目标发型的类型可以包括长发、短发、直发和卷发等，目标发型的颜色也可以根据人物年龄进行灵活设置，从而满足用户在使用变脸类图像应用程序过程中对不同发型的需求。
S102、获取候选人脸图像的图像编码；其中，图像编码用于从预设特征维度表征人脸信息。
其中，预设特征维度包括以下至少之一：人脸角度、人脸姿态、人脸表情、人脸光照、脸型和年龄。人脸角度指当前图像中人脸是正脸、左侧脸或者右侧脸；人脸姿态指当前图像中人脸相对于设定轴向(例如正脸所在平面的x轴和y轴，以及垂直正脸平面的z轴等)的偏转角度；人脸表情的类型包括喜、怒、哀、乐等；人脸光照指图像拍摄过程中人脸上的光照角度；脸型指面部的轮廓，脸型可以包括但不限于长脸、圆脸、方脸、三角形脸、瓜子脸等；年龄指当前图像中人脸对应的人物年龄。
候选人脸图像的图像编码可以采用多维向量的形式表示，并利用任意可用的具有人脸特征提取功能的神经网络模型，提取候选人脸图像的图像编码。例如，可以利用stylegan模型等其他可用的人脸特征提取模型，提取候选人脸图像的图像编码。
S103、基于候选人脸图像，通过调整候选人脸图像的图像编码，得到预设数量的具有目标发型的目标人脸图像。
考虑图像编码可以从预设特征维度表征人脸信息，因此，在人脸图像编辑过程中，可以通过调整图像编码，例如改变图像编码向量中的取值，实现对候选人脸图像上人脸信息的变换，进而基于调整后的图像编码进行图像生成，得到不同人脸角度、不同人脸姿态、不同人脸表情、不同人脸光照、不同脸型，以及不同年龄的丰富人脸图像。并且，由于调整图像编码过程中，并未改变候选人脸图像上人脸对应的发型，因此，基于同一候选人脸图像得到的大量目标人脸图像均具有相同的发型。其中，目标人脸图像的生成数量可以根据应用程序开发需求进行设置，本申请实施例不作具体限定。将该大量目标人脸图像作为变脸类图像应用程序的图像源，使得利用应用程序生成具有相同发型的人脸图像过程中，不仅可以满足不同用户使用应用程序的图像生成需求，还可以保证呈现给用户的人脸图像质量，避免头发贴纸与人脸贴合度较差、头发效果失真，以及生成的人脸图像在视频中快速移动或者转动时头发和人脸分离的现象。
例如，图像类应用程序获取到当前用户的原始人脸图像后，可以通过分析用户图像上的脸型、表情、年龄等特征，从数据源中调取与用户图像上特征相匹配的目标人脸图像，通过人脸编辑变换，为用户生成变脸后的人物图像，非常契合用户当前身份与气质，而如果采用3D头发贴纸特效，针对不同的用户人脸特征，3D头发贴纸特效的效果是一样的，并不能实现灵活的头发细节调整，最终生成的人物图像非常僵硬、不真实。
进一步的，本申请实施例公开的方法还可以包括：如果是调整年龄特征对应的图像编码时，还可以根据需求的年龄值，确定目标发型的发质颜色，从而在生成目标人脸图像时，同时调整目标发型的颜色，即基于候选人脸图像、调整后的图像编码和目标发型的发质颜色，生成具有目标发型的目标人脸图像。
根据本申请实施例的技术方案，通过基于得到候选人脸图像，调整候选人脸图像的图像编码，得到预设数量的具有目标发型的目标人脸图像，这些目标人脸图像可以作为变脸类图像应用程序的图像源，使得利用变脸类图像应用程序生成用户需求图像的过程中摆脱了对3D头发贴纸特效的依赖，即本申请实施例不仅实现了生成大量具有真实感且保持同一发型的人脸图像的效果，而且提高了变脸类图像应用程序可呈现给用户的人脸图像质量，解决了现有方案中使用3D头发贴纸特效来保持不同的人脸图像上发型的一致性时，生成的人脸图像质量较差或者显示效果不佳的问题，确保了为变脸类图像应用程序的用户提供较高的使用体验。
在上述技术方案的基础上，进一步的，基于候选人脸图像，通过调整候选人脸图像的图像编码，得到预设数量的具有目标发型的目标人脸图像，包括：
利用预先确定的人脸特征与人脸图像编码之间的映射关系，按照人脸特征需求对候选人脸图像的图像编码进行调整；
基于候选人脸图像和调整后的图像编码，得到预设数量的具有目标发型且符合人脸特征需求的目标人脸图像。
人脸图像的图像编码可以从不同特征维度表征图像上的人脸信息，本申请实施例可以针对每种类型或者每种维度的人脸特征，预先构建人脸特征与图像编码之间的映射关系，然后按照应用程序开发过程中对人脸特征的需求，利用该映射关系对候选人脸图像的图像特征进行调整，从而得到符合需求的目标人脸图像，不仅可以保证生成的目标人脸图像的质量，例如图像上人物发质真实、自然，还可以提高生成大量目标人脸图像的效率。
可选的，在利用预先确定的人脸特征与人脸图像编码之间的映射关系，按照人脸特征需求对候选人脸图像的图像编码进行调整之前，本申请实施例公开的方法还包括：
获取样本人脸图像，并按照预设特征维度，对样本人脸图像进行特征标注；其中，为了确保标注结果的准确性，特征标注通常为人工标注实现，例如部分样本人脸图像的标注结果为正脸、部分样本人脸图像的标注结果为高兴、部分样本人脸图像的标注结果为18岁等等；
获取样本人脸图像的图像编码；例如，可以利用具有人脸特征提取功能的神经网络模型获取样本人脸图像的图像编码；
依据样本人脸图像的特征标注结果和图像编码，确定人脸特征与人脸图像编码之间的映射关系。
即在本申请实施例中，可以按照人脸角度、人脸姿态、人脸表情、人脸光照、脸型和年龄等特征维度，分类确定样本人脸图像，然后基于样本人脸图像的特征标注结果和图像编码，利用任意可用的分析算法，例如回归分析算法等，分析人脸特征与人脸图像编码之间的规律性，从而确定人脸特征与人脸图像编码之间的映射关系，该映射关系可以是线性变化关系，也可以是非线性变化关系。
以人脸表情这一特征维度为例，具体以如何得到具有相同发型的不同程度的微笑人脸图像为例，对本申请实施例进行示例性说明：首先，对10000张样本人脸图像进行标注，结果可以分为两类：微笑和不微笑；然后，获取每张样本人脸图像的图像编码，具体可以利用512维的向量来表示；其次，确定图像编码和微笑属性之间的映射关系，以该映射关系服从逻辑斯蒂回归函数为例，该回归函数可以表示为y＝wx+b，其中y＝0表示不微笑，y＝1表示微笑，x表示样本人脸图像的图像编码，函数求解目标为求解参数w和b，其中参数w和b是与图像编码向量相同维度的向量形式。当确定出回归函数y＝wx+b的具体表示形式后，通过函数y＝wx+b所表示的分界线来找到微笑这一属性变换的方向向量，然后在微笑属性方向向量上调整候选人脸图像的图片编码，即可得到与候选人脸图像上的人物发型一致的不同微笑程度的目标人脸图像。
进一步的，人脸特征与人脸图像编码之间的映射关系还可以使用预先训练的人脸特征分析模型来表征，因而，本申请实施例公开的方法还可以包括：依据样本人脸图像的特征标注结果和图像编码，基于机器学习思想，训练人脸特征分析模型。后续便可以将当前候选人脸图像的图像编码输入人脸特征分析模型，使得该模型根据人脸特征需求，对图像编码进行调整，输出符合人脸特征需求的调整后的图像编码；最后基于候选人脸图像和调整后的图像编码，得到目标人脸图像。
图2是根据本申请实施例公开的另一种人脸图像生成方法的流程图，基于上述技术方案进一步优化与扩展，并可以与上述各个可选实施方式进行结合。如图2所示，该方法可以包括：
S201、对人脸源图像进行人像处理，得到具有目标发型的中间人脸图像。
其中，目标发型是指在变脸类型的图像应用程序开发过程中，开发人员预先设定的人物发型，通过对人脸源图像进行人像编辑，使得人脸源图像上的人物具有该目标发型，新生成的人脸图像即作为中间人脸图像。为了改善中间人脸图像的显示效果，可以利用人脸源图像对中间人脸图像的显示效果进行优化。
可选的，对人脸源图像进行人像处理，得到具有目标发型的中间人脸图像，包括：
利用人脸分割算法，识别人脸源图像的人脸区域，并提取人脸区域的特征点；
基于重投影误差最小化算法，利用特征点对携带目标发型的标准三维人头模型进行调整，得到与人脸源图像对应的目标三维人头模型；其中，标准三维人头模型可以理解为预先构建的具有普适性的模型；
通过渲染目标三维人头模型，得到头发掩膜(mask_hair)；
将人脸区域和头发掩膜进行图像合并，得到合并图像掩膜；
利用预设人脸编辑方法，基于人脸源图像、人脸区域和合并图像掩膜，得到具有目标发型的中间人脸图像。
其中，本申请实施例所采用的人脸分割算法可以是任意能够实现人脸分割的算法。例如，可以采用BiseNet语义分割网络，该网络是一种双侧分割网络，同时兼顾语义分割的精度和速度；通过一个步长小的空间路径来保留空间信息，生成高分辨率特征图，以及一个快速下采样的语义路径来获取大感受视野；并且，该网络结构中设计了一种新的特征融合模块(Feature Fusion Module)和注意力精炼模块(Attention Refinement Module)来混合两种特征并提升精度。通过人脸分割，可以识别出人脸源图像上的头发区域和人脸区域，在人脸区域，包括识别出左眼、右眼、皮肤、嘴唇和鼻子。
当识别出人脸区域后，可以利用特征点提取技术，提取人脸特征点，该人脸特征点是指用于表征人脸信息的脸部关键点。利用提取的人脸特征点确定人脸源图像上的人脸脸型和人脸位姿(位置和姿态)，人脸脸型的估计与人脸位姿的估计可以是同时进行；然后基于重投影误差最小化算法(pnp问题)，依据人脸源图像上的人脸脸型和人脸位姿对标准三维人头模型进行调整，获取到与人脸源图像上的人脸脸型和人脸位姿相适配的目标三维人头模型；最后，通过渲染目标三维人头模型，得到头发掩膜。具体的，在模型渲染过程中，可以将脸部区域和头发区域分别使用不同的颜色，按照人脸位姿进行区分绘制，并且，头发区域可以采用单一颜色进行覆盖绘制。考虑头发掩膜与后续生成的候选人脸图像以及目标人脸图像上人物发型效果密切相关，通过渲染目标三维人头模型，得到头发掩膜，可以使得目标发型更加贴合候选人脸图像和目标人脸图像上的人脸，确保人脸整体显示效果，给人以显示真实、自然的视觉效果。
预设人脸编辑方法是指任意的能够实现人脸编辑功能的算法，可以包括但不限于MGPE(Mask-Guided Portrait Editing with Conditional GANs)算法。MGPE算法是有条件的GAN(Generative Adversarial Networks，生成式对抗网络)蒙版导向的肖像编辑算法，具有可控、高质量的特点。
S202、分别按照头发区域和人脸区域，将中间人脸图像和人脸源图像进行融合处理。
S203、对融合处理得到的人脸图像中的头发区域边缘，进行平滑处理，得到具有目标发型的候选人脸图像。
具体而言，人脸源图像上的人脸区域显示效果较佳，中间人脸图像上的头发区域是目标发型区域，因此，可以将人脸源图像和中间人脸图像的人脸区域进行融合处理，并将人脸源图像和中间人脸图像的头发区域进行融合处理，通过融合处理可以改善生成的候选人脸图像的显示效果，提高图像质量和清晰度。进一步的，在生成候选人脸图像之前，还可以对融合处理后的人脸图像进行边缘平滑处理，包括但不限于对头发区域的边缘进行平滑处理，消除融合痕迹，使得图像效果更加自然、平滑。以上处理可以为后续生成高质量的具有相同发型的目标人脸图像奠定较高质量的图像数据基础。其中，融合处理包括但不限于阿尔法(alpha)融合等可用的图像融合算法，平滑处理包括但不限于高斯平滑处理等其他可用的图像平滑处理算法。
S204、利用预设人脸特征提取模型提取候选人脸图像的图像编码；其中，预设人脸特征提取模型的损失函数由多尺度结构性损失函数、感知损失函数和距离损失函数组成。
示例性的，人脸特征提取模型可以包括但不限于基于对抗神经网络(GenerativeAdversarial Networks，GAN)训练得到的stylegan模型。预设人脸特征提取模型的损失函数Lloss由多尺度结构性损失函数Lm、感知损失函数Lp和距离损失函数Ld组成，具体的，模型损失函数Lloss可以是多尺度结构性损失函数Lm、感知损失函数(perceptual loss)Lp和距离损失函数Ld三者之间加权求和得到，表示如下：
Lloss＝m·Lm+p·Lp+d·Ld；
其中，参数m、p和d分别表示对应损失类型的权重系数，具体取值可以根据实际需求进行设置，例如参数m、p和d可以分别取值为1.25、1.0和0.75。通过人脸特征提取模型综合考虑多种类型的损失函数，可以确保模型对人脸图像的处理效果，确保提取的图像编码的准确性，避免遗漏图像特征信息。
需要说明的是，多尺度结构性损失函数Lm、感知损失函数Lp和距离损失函数Ld均是图像处理领域中常用的图像评价函数，但是通常情况下，技术人员在图像处理过程中会选择性地考虑其中的一种或两种损失，导致图像处理结果欠佳，本申请实施例通过综合考虑多种损失类型，可以得到较高的图像处理结果。多尺度结构性损失函数是指基于多层(图片按照一定规则，由大到小缩放)的SSIM损失函数，SSIM(结构相似)损失函数是指考虑了图像亮度(luminance)、对比度(contrast)和结构(structure)指标的损失函数。距离损失函数是指考虑像素距离的损失函数，可以包括但不限于：基于逐像素比较差异，然后取绝对值的L1损失函数，以及基于逐像素比较差异，然后取平方的L2损失函数。关于多尺度结构性损失函数、感知损失函数和距离损失函数各自的函数实现形式，本申请实施例不作具体限定，本领域技术人员可以依据现有原理进行合理设置。
S205、基于候选人脸图像，通过调整候选人脸图像的图像编码，得到预设数量的具有目标发型的目标人脸图像。
此外，在利用预设人脸特征提取模型，例如利用stylegan模型，提取候选人脸图像的图像编码的过程中，本申请实施例公开的方法还可以包括：利用人脸特征提取模型对候选人脸图像进行重新生成，以进一步提高候选人脸图像的自然度以及消除初始生成的候选人脸图像上的融合痕迹。人脸特征提取模型可以是任意的具有图像编码提取功能以及图像优化处理功能的神经网络模型，本申请实施例不作具体限定。
以stylegan模型为例，该stylegan模型一方面可以用于提取初始生成的候选人脸图像的图像编码(或称为隐向量，latent code)，另一方面可以消除初始生成的候选人脸图像上的融合边缘痕迹。示例性的，可以首先通过stylegan-encoder找到初始生成的候选人脸图像对应的latent code，然后再借助stylegan神经网络把得到的latent code作为输入，经模型处理得到新图像，即新生成的候选人脸图像。新生成的候选人脸图像和初始生成的有融合边缘瑕疵的候选人脸图像几乎是一致的，但是融合边缘的痕迹消失了，图像效果更加自然、真实，图像质量更佳。在生成目标人脸图像的过程中，可以将初始生成的候选人脸图像的图像编码作为当前新生成的候选人脸图像的图像编码，也可以再次提取新生成的候选人脸图像的图像编码，进而结合新生成的候选人脸图像生成所需的目标人脸图像。
据本申请实施例的技术方案，通过基于得到候选人脸图像，调整候选人脸图像的图像编码，得到预设数量的具有目标发型的目标人脸图像，这些目标人脸图像可以作为变脸类图像应用程序的图像源，使得利用变脸类图像应用程序生成用户需求图像的过程中摆脱了对3D头发贴纸特效的依赖，即本申请实施例不仅实现了生成大量具有真实感且保持同一发型的人脸图像的效果，而且提高了变脸类图像应用程序可呈现给用户的人脸图像质量，解决了现有方案中使用3D头发贴纸特效来保持不同人脸图像上发型的一致性时，生成的人脸图像质量较差或者显示效果不佳的问题，确保了为变脸类图像应用程序的用户提供较高的使用体验。
图3是根据本申请实施例公开的一种人脸图像生成方法的架构示意图，具体以如何生成具有相同发型的女性人脸图像为例，对申请实施例进行示例性说明，不应理解为对本申请实施例的具体限定。
如图3所示，对人脸源图像img1进行人脸分割，得到人脸区域(mask1)，并提取人脸区域的特征点；利用提取的特征点对携带目标发型的标准三维人头模型进行调整，得到与人脸源图像对应的目标三维人头模型；通过渲染目标三维人头模型，得到头发掩膜(mask_hair)；将人脸区域和头发掩膜进行图像合并，得到合并图像掩膜(mask2)；将人脸源图像img1、人脸区域mask1、合并图像掩膜mask2作为输入，利用MGPE算法生成中间人脸图像img2。由于中间人脸图像img2上人脸部分生成效果有时不是太好，而事实上只需要中间人脸图像img2上的目标发型区域，因此，随后通过合并图像掩膜mask2对人脸源图像img1和中间人脸图像img2进行融合处理，得到候选人脸图像img3。最后，可以通过stylegan-encoder方法重新生成候选人脸图像img3，使得生成的人脸更加自然、真实、无融合痕迹。截止到这个阶段，便为生成具有相同发型的目标人脸图像奠定了质量较高的图像数据基础。进一步的，为了得到各个角度、不同年龄、不同脸型等特征维度的同一发型女性人脸图像，可以通过调整候选人脸图像的图像编码(latent code)，编辑人脸属性，制作出丰富的具有同一发型的女性人脸图像。
在制作出丰富的自然真实且具有同一发型的女性人脸图像后，可以通过cyclegan相关技术架构实现男生脸和女生脸端到端的转换，变脸图像生成过程中无需要额外的3D头发贴纸进行渲染贴合，避免了3D贴合方案中头发比较假、贴合有缝隙、人脸图像快速移动时人脸和头发存在分离等缺点，可以给用户带来较高的使用体验。并且，在数据源较为丰富的基础上，可以保证在同一发型基础上生成更符合用户气质和身份的头发颜色和纹理，实现千人千面，呈现较高的视觉效果。
图4是根据本申请实施例公开的一种变脸类图像应用程序的效果示意图，具体的，以男性用户为例，将男性用户人脸图像转换为女性人脸图像。如图4所示，利用本申请实施例技术方案得到同一发型的女性人脸图像作为变脸类图像应用程序的图像源，在获取到男性用户的人脸图像后，如图4中第一行所示的任意图像，可以通过对男性用户人脸图像中的人脸特点进行识别，包括但不限于脸型、正脸、侧脸、光照等，从图像源中为其匹配合适的女性人脸图像，结合人脸图像编辑技术，为男性用户制作出符合其身份、气质的拥有长发发型的女性人脸图像，例如图4中第二行的图像即为与第一行男性人脸图像相对应的女性人脸图像。
图5是根据本申请实施例公开的一种人脸图像生成装置的结构示意图，本申请实施例可以适用于如何生成大量具有真实感且保持同一发型的人脸图像，以作为变脸类型的图像应用程序的数据源的情况。本申请实施例公开的装置可以采用软件和/或硬件实现，并可集成在任意的具有计算能力的电子设备上。
如图5所示，本申请实施例公开的人脸图像生成装置400可以包括候选人脸图像确定模块401、图像编码获取模块402和目标人脸图像确定模块403，其中：
候选人脸图像确定模块401，用于对人脸源图像进行人像处理，得到具有目标发型的候选人脸图像；
图像编码获取模块402，用于获取候选人脸图像的图像编码；其中，图像编码用于从预设特征维度表征人脸信息；
目标人脸图像确定模块403，用于基于候选人脸图像，通过调整候选人脸图像的图像编码，得到预设数量的具有目标发型的目标人脸图像。
可选的，预设特征维度包括以下至少之一：人脸角度、人脸姿态、人脸表情、人脸光照、脸型和年龄。
可选的，目标人脸图像确定模块403包括：
图像编码调整单元，用于利用预先确定的人脸特征与人脸图像编码之间的映射关系，按照人脸特征需求对候选人脸图像的图像编码进行调整；
目标人脸图像确定单元，用于基于候选人脸图像和调整后的图像编码，得到预设数量的具有目标发型且符合人脸特征需求的目标人脸图像。
可选的，本申请实施例公开的装置还包括：
样本特征标注模块，用于在图像编码调整单元执行利用预先确定的人脸特征与人脸图像编码之间的映射关系，按照人脸特征需求对候选人脸图像的图像编码进行调整的操作之前，获取样本人脸图像，并按照预设特征维度，对样本人脸图像进行特征标注；
样本图像编码获取模块，用于获取样本人脸图像的图像编码；
映射关系确定模块，用于依据样本人脸图像的特征标注结果和图像编码，确定人脸特征与人脸图像编码之间的映射关系。
可选的，图像编码获取模块402具体用于：
利用预设人脸特征提取模型提取候选人脸图像的图像编码；
其中，预设人脸特征提取模型的损失函数由多尺度结构性损失函数、感知损失函数和距离损失函数组成。
可选的，候选人脸图像确定模块401包括：
中间人脸图像确定单元，用于对人脸源图像进行人像处理，得到具有目标发型的中间人脸图像；
融合处理单元，用于分别按照头发区域和人脸区域，将中间人脸图像和人脸源图像进行融合处理；
平滑处理单元，用于对融合处理得到的人脸图像中的头发区域边缘，进行平滑处理，得到具有目标发型的候选人脸图像。
可选的，中间人脸图像确定单元包括：
人脸分割子单元，用于利用人脸分割算法，识别人脸源图像的人脸区域，并提取人脸区域的特征点；
三维模型构建子单元，用于基于重投影误差最小化算法，利用特征点对携带目标发型的标准三维人头模型进行调整，得到与人脸源图像对应的目标三维人头模型；
模型渲染子单元，用于通过渲染目标三维人头模型，得到头发掩膜；
图像合并子单元，用于将人脸区域和头发掩膜进行图像合并，得到合并图像掩膜；
中间人脸图像确定子单元，用于利用预设人脸编辑方法，基于人脸源图像、人脸区域和合并图像掩膜，得到具有目标发型的中间人脸图像。
本申请实施例所公开的人脸图像生成装置400可执行本申请实施例所公开的任一人脸图像生成方法，具备执行方法相应的功能模块和有益效果。本申请装置实施例中未详尽描述的内容可以参考本申请任意方法实施例中的描述。
根据本申请的实施例，本申请实施例还提供了一种电子设备和一种可读存储介质。
如图6所示，图6是用于实现本申请实施例中人脸图像生成方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请实施例的实现。
如图6所示，该电子设备包括：一个或多个处理器501、存储器502，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示图形用户界面(Graphical User Interface，GUI)的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作，例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统。图6中以一个处理器501为例。
存储器502即为本申请实施例所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请实施例所提供的人脸图像生成方法。本申请实施例的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请实施例所提供的人脸图像生成方法。
存储器502作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中人脸图像生成方法对应的程序指令/模块，例如，附图5所示的候选人脸图像确定模块401、图像编码获取模块402和目标人脸图像确定模块403。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述方法实施例中的人脸图像生成方法。
存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至用于实现本实施例中人脸图像生成方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
用于实现本申请实施例中人脸图像生成方法的电子设备还可以包括：输入装置503和输出装置504。处理器501、存储器502、输入装置503和输出装置504可以通过总线或者其他方式连接，图6中以通过总线连接为例。
输入装置503可接收输入的数字或字符信息，以及产生与用于实现本实施例中人脸图像生成方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置504可以包括显示设备、辅助照明装置和触觉反馈装置等，其中，辅助照明装置例如发光二极管(Light Emitting Diode，LED)；触觉反馈装置例如，振动电机等。该显示设备可以包括但不限于，液晶显示器(Liquid Crystal Display，LCD)、LED显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用集成电路(Application Specific Integrated Circuit，ASIC)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序，也称作程序、软件、软件应用、或者代码，包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置，例如，磁盘、光盘、存储器、可编程逻辑装置(Programmable Logic Device，PLD)，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置，例如，阴极射线管(Cathode Ray Tube，CRT)或者LCD监视器；以及键盘和指向装置，例如，鼠标或者轨迹球，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈，例如，视觉反馈、听觉反馈、或者触觉反馈；并且可以用任何形式，包括声输入、语音输入或者、触觉输入，来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统，例如，作为数据服务器，或者实施在包括中间件部件的计算系统，例如，应用服务器，或者实施在包括前端部件的计算系统，例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互，或者实施在包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信，例如通信网络，来将系统的部件相互连接。通信网络的示例包括：局域网(Local Area Network，LAN)、广域网(Wide Area Network，WAN)、和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，通过基于得到候选人脸图像，调整候选人脸图像的图像编码，得到预设数量的具有目标发型的目标人脸图像，这些目标人脸图像可以作为变脸类图像应用程序的图像源，使得利用变脸类图像应用程序生成用户需求图像的过程中摆脱了对3D头发贴纸特效的依赖，即本申请实施例不仅实现了生成大量具有真实感且保持同一发型的人脸图像的效果，而且提高了变脸类图像应用程序可呈现给用户的人脸图像质量。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (16)

1.一种人脸图像生成方法，其特征在于，包括：
对人脸源图像进行人像处理，得到具有目标发型的候选人脸图像；
获取所述候选人脸图像的图像编码；其中，所述图像编码用于从预设特征维度表征人脸信息；
基于所述候选人脸图像，通过调整所述候选人脸图像的图像编码，得到预设数量的具有所述目标发型的目标人脸图像。
2.根据权利要求1所述的方法，其特征在于，所述预设特征维度包括以下至少之一：人脸角度、人脸姿态、人脸表情、人脸光照、脸型和年龄。
3.根据权利要求1所述的方法，其特征在于，基于所述候选人脸图像，通过调整所述候选人脸图像的图像编码，得到预设数量的具有所述目标发型的目标人脸图像，包括：
利用预先确定的人脸特征与人脸图像编码之间的映射关系，按照人脸特征需求对所述候选人脸图像的图像编码进行调整；
基于所述候选人脸图像和调整后的图像编码，得到预设数量的具有所述目标发型且符合所述人脸特征需求的目标人脸图像。
4.根据权利要求3所述的方法，其特征在于，在所述利用预先确定的人脸特征与人脸图像编码之间的映射关系，按照人脸特征需求对所述候选人脸图像的图像编码进行调整之前，所述方法还包括：
获取样本人脸图像，并按照所述预设特征维度，对所述样本人脸图像进行特征标注；
获取所述样本人脸图像的图像编码；
依据所述样本人脸图像的特征标注结果和所述图像编码，确定所述人脸特征与人脸图像编码之间的映射关系。
5.根据权利要求1所述的方法，其特征在于，获取所述候选人脸图像的图像编码，包括：
利用预设人脸特征提取模型提取所述候选人脸图像的图像编码；
其中，所述预设人脸特征提取模型的损失函数由多尺度结构性损失函数、感知损失函数和距离损失函数组成。
6.根据权利要求1所述的方法，其特征在于，所述对人脸源图像进行人像处理，得到具有目标发型的候选人脸图像，包括：
对所述人脸源图像进行人像处理，得到具有所述目标发型的中间人脸图像；
分别按照头发区域和人脸区域，将所述中间人脸图像和所述人脸源图像进行融合处理；
对所述融合处理得到的人脸图像中的头发区域边缘，进行平滑处理，得到具有所述目标发型的候选人脸图像。
7.根据权利要求6所述的方法，其特征在于，对所述人脸源图像进行人像处理，得到具有所述目标发型的中间人脸图像，包括：
利用人脸分割算法，识别所述人脸源图像的人脸区域，并提取所述人脸区域的特征点；
基于重投影误差最小化算法，利用所述特征点对携带所述目标发型的标准三维人头模型进行调整，得到与所述人脸源图像对应的目标三维人头模型；
通过渲染所述目标三维人头模型，得到头发掩膜；
将所述人脸区域和所述头发掩膜进行图像合并，得到合并图像掩膜；
利用预设人脸编辑方法，基于所述人脸源图像、所述人脸区域和所述合并图像掩膜，得到具有所述目标发型的中间人脸图像。
8.一种人脸图像生成装置，其特征在于，包括：
候选人脸图像确定模块，用于对人脸源图像进行人像处理，得到具有目标发型的候选人脸图像；
图像编码获取模块，用于获取所述候选人脸图像的图像编码；其中，所述图像编码用于从预设特征维度表征人脸信息；
目标人脸图像确定模块，用于基于所述候选人脸图像，通过调整所述候选人脸图像的图像编码，得到预设数量的具有所述目标发型的目标人脸图像。
9.根据权利要求8所述的装置，其特征在于，所述预设特征维度包括以下至少之一：人脸角度、人脸姿态、人脸表情、人脸光照、脸型和年龄。
10.根据权利要求8所述的装置，其特征在于，所述目标人脸图像确定模块包括：
图像编码调整单元，用于利用预先确定的人脸特征与人脸图像编码之间的映射关系，按照人脸特征需求对所述候选人脸图像的图像编码进行调整；
目标人脸图像确定单元，用于基于所述候选人脸图像和调整后的图像编码，得到预设数量的具有所述目标发型且符合所述人脸特征需求的目标人脸图像。
11.根据权利要求10所述的装置，其特征在于，所述装置还包括：
样本特征标注模块，用于在所述图像编码调整单元执行所述利用预先确定的人脸特征与人脸图像编码之间的映射关系，按照人脸特征需求对所述候选人脸图像的图像编码进行调整的之前，获取样本人脸图像，并按照所述预设特征维度，对所述样本人脸图像进行特征标注；
样本图像编码获取模块，用于获取所述样本人脸图像的图像编码；
映射关系确定模块，用于依据所述样本人脸图像的特征标注结果和所述图像编码，确定所述人脸特征与人脸图像编码之间的映射关系。
12.根据权利要求8所述的装置，其特征在于，所述图像编码获取模块具体用于：
利用预设人脸特征提取模型提取所述候选人脸图像的图像编码；
其中，所述预设人脸特征提取模型的损失函数由多尺度结构性损失函数、感知损失函数和距离损失函数组成。
13.根据权利要求8所述的装置，其特征在于，所述候选人脸图像确定模块包括：
中间人脸图像确定单元，用于对所述人脸源图像进行人像处理，得到具有所述目标发型的中间人脸图像；
融合处理单元，用于分别按照头发区域和人脸区域，将所述中间人脸图像和所述人脸源图像进行融合处理；
平滑处理单元，用于对所述融合处理得到的人脸图像中的头发区域边缘，进行平滑处理，得到具有所述目标发型的候选人脸图像。
14.根据权利要求13所述的装置，其特征在于，所述中间人脸图像确定单元包括：
人脸分割子单元，用于利用人脸分割算法，识别所述人脸源图像的人脸区域，并提取所述人脸区域的特征点；
三维模型构建子单元，用于基于重投影误差最小化算法，利用所述特征点对携带所述目标发型的标准三维人头模型进行调整，得到与所述人脸源图像对应的目标三维人头模型；
模型渲染子单元，用于通过渲染所述目标三维人头模型，得到头发掩膜；
图像合并子单元，用于将所述人脸区域和所述头发掩膜进行图像合并，得到合并图像掩膜；
中间人脸图像确定子单元，用于利用预设人脸编辑装置，基于所述人脸源图像、所述人脸区域和所述合并图像掩膜，得到具有所述目标发型的中间人脸图像。
15.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的人脸图像生成方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的人脸图像生成方法。
CN202010464200.8A 2020-05-27 2020-05-27 人脸图像生成方法、装置、设备和介质 Active CN111652828B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010464200.8A CN111652828B (zh) 2020-05-27 2020-05-27 人脸图像生成方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010464200.8A CN111652828B (zh) 2020-05-27 2020-05-27 人脸图像生成方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN111652828A true CN111652828A (zh) 2020-09-11
CN111652828B CN111652828B (zh) 2023-08-08

Family

ID=72348648

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010464200.8A Active CN111652828B (zh) 2020-05-27 2020-05-27 人脸图像生成方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN111652828B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200055A (zh) * 2020-09-30 2021-01-08 深圳市信义科技有限公司 联合对抗生成网络的行人属性识别方法、系统及装置
CN112330533A (zh) * 2020-11-13 2021-02-05 北京字跳网络技术有限公司 混血人脸图像生成方法、模型训练方法、装置和设备
CN112381927A (zh) * 2020-11-19 2021-02-19 北京百度网讯科技有限公司 图像生成的方法、装置、设备以及存储介质
CN112529988A (zh) * 2020-12-10 2021-03-19 北京百度网讯科技有限公司 一种头像的生成方法、装置、电子设备、介质及产品
CN112562027A (zh) * 2020-12-02 2021-03-26 北京百度网讯科技有限公司 人脸模型的生成方法、装置、电子设备及存储介质
CN112613460A (zh) * 2020-12-30 2021-04-06 深圳威富优房客科技有限公司 人脸生成模型的建立方法和人脸生成方法
CN112907438A (zh) * 2021-03-01 2021-06-04 中国科学院半导体研究所 肖像生成方法、装置、电子设备及存储介质
CN112991160A (zh) * 2021-05-07 2021-06-18 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
CN113034517A (zh) * 2021-03-31 2021-06-25 华南理工大学 基于生成对抗模型的全自动抠图方法及装置、介质和设备
CN113096055A (zh) * 2021-03-24 2021-07-09 北京达佳互联信息技术有限公司 图像生成模型的训练方法、装置、电子设备及存储介质
CN113221794A (zh) * 2021-05-24 2021-08-06 厦门美图之家科技有限公司 一种训练数据集生成方法、装置、设备及存储介质
CN113613070A (zh) * 2021-10-08 2021-11-05 北京奇艺世纪科技有限公司 一种人脸视频处理方法、装置、电子设备及存储介质
CN114007099A (zh) * 2021-11-04 2022-02-01 北京搜狗科技发展有限公司 一种视频处理方法、装置和用于视频处理的装置
CN114048489A (zh) * 2021-09-01 2022-02-15 广东智媒云图科技股份有限公司 一种基于隐私保护的人体属性数据处理方法及装置
CN114418919A (zh) * 2022-03-25 2022-04-29 北京大甜绵白糖科技有限公司 图像融合方法及装置、电子设备和存储介质
WO2022160701A1 (zh) * 2021-01-29 2022-08-04 北京市商汤科技开发有限公司 特效生成方法、装置、设备及存储介质
WO2022166897A1 (zh) * 2021-02-07 2022-08-11 北京字跳网络技术有限公司 脸型调整图像生成方法、模型训练方法、装置和设备
CN115278106A (zh) * 2022-06-20 2022-11-01 中国科学院计算技术研究所 基于草图的深度人脸视频编辑方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101770649A (zh) * 2008-12-30 2010-07-07 中国科学院自动化研究所 一种人脸图像自动合成方法
JP2013226286A (ja) * 2012-04-26 2013-11-07 Aitia Corp ヘアスタイル合成方法、ヘアスタイル合成装置およびヘアスタイル合成プログラム
CN104463779A (zh) * 2014-12-18 2015-03-25 北京奇虎科技有限公司 一种肖像漫画生成方法及其装置
CN107451950A (zh) * 2016-05-30 2017-12-08 北京旷视科技有限公司 人脸图像生成方法、人脸识别模型训练方法及相应装置
CN107808136A (zh) * 2017-10-31 2018-03-16 广东欧珀移动通信有限公司 图像处理方法、装置、可读存储介质和计算机设备
CN108921138A (zh) * 2018-08-03 2018-11-30 北京字节跳动网络技术有限公司 用于生成信息的方法和装置
CN110189249A (zh) * 2019-05-24 2019-08-30 深圳市商汤科技有限公司 一种图像处理方法及装置、电子设备和存储介质
CN110674748A (zh) * 2019-09-24 2020-01-10 腾讯科技（深圳）有限公司 图像数据处理方法、装置、计算机设备以及可读存储介质
CN110738595A (zh) * 2019-09-30 2020-01-31 腾讯科技（深圳）有限公司 图片处理方法、装置和设备及计算机存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101770649A (zh) * 2008-12-30 2010-07-07 中国科学院自动化研究所 一种人脸图像自动合成方法
JP2013226286A (ja) * 2012-04-26 2013-11-07 Aitia Corp ヘアスタイル合成方法、ヘアスタイル合成装置およびヘアスタイル合成プログラム
CN104463779A (zh) * 2014-12-18 2015-03-25 北京奇虎科技有限公司 一种肖像漫画生成方法及其装置
CN107451950A (zh) * 2016-05-30 2017-12-08 北京旷视科技有限公司 人脸图像生成方法、人脸识别模型训练方法及相应装置
CN107808136A (zh) * 2017-10-31 2018-03-16 广东欧珀移动通信有限公司 图像处理方法、装置、可读存储介质和计算机设备
CN108921138A (zh) * 2018-08-03 2018-11-30 北京字节跳动网络技术有限公司 用于生成信息的方法和装置
CN110189249A (zh) * 2019-05-24 2019-08-30 深圳市商汤科技有限公司 一种图像处理方法及装置、电子设备和存储介质
CN110674748A (zh) * 2019-09-24 2020-01-10 腾讯科技（深圳）有限公司 图像数据处理方法、装置、计算机设备以及可读存储介质
CN110738595A (zh) * 2019-09-30 2020-01-31 腾讯科技（深圳）有限公司 图片处理方法、装置和设备及计算机存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
AMARJOT SINGH 等: "Disguised Face Identification (DFI) With Facial KeyPoints Using Spatial Fusion Convolutional Network", 《PROCEEDINGS OF THE IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》, pages 1648 - 1655 *
孙志远 等: "基于多姿态人脸图像合成的识别方法研究", 《计算机工程与应用》, pages 1 - 4 *
许佳奕 等: "结合多尺度HOG特征和语义属性的合成素描人脸识别", 《计算机辅助设计与图形学学报》, vol. 32, no. 2, pages 1 - 8 *

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200055A (zh) * 2020-09-30 2021-01-08 深圳市信义科技有限公司 联合对抗生成网络的行人属性识别方法、系统及装置
CN112200055B (zh) * 2020-09-30 2024-04-30 深圳市信义科技有限公司 联合对抗生成网络的行人属性识别方法、系统及装置
CN112330533A (zh) * 2020-11-13 2021-02-05 北京字跳网络技术有限公司 混血人脸图像生成方法、模型训练方法、装置和设备
CN112381927A (zh) * 2020-11-19 2021-02-19 北京百度网讯科技有限公司 图像生成的方法、装置、设备以及存储介质
CN112562027A (zh) * 2020-12-02 2021-03-26 北京百度网讯科技有限公司 人脸模型的生成方法、装置、电子设备及存储介质
CN112529988A (zh) * 2020-12-10 2021-03-19 北京百度网讯科技有限公司 一种头像的生成方法、装置、电子设备、介质及产品
US11830236B2 (en) 2020-12-10 2023-11-28 Beijing Baidu Netcom Science Technology Co., Ltd. Method and device for generating avatar, electronic equipment, medium and product
CN112613460A (zh) * 2020-12-30 2021-04-06 深圳威富优房客科技有限公司 人脸生成模型的建立方法和人脸生成方法
WO2022160701A1 (zh) * 2021-01-29 2022-08-04 北京市商汤科技开发有限公司 特效生成方法、装置、设备及存储介质
WO2022166897A1 (zh) * 2021-02-07 2022-08-11 北京字跳网络技术有限公司 脸型调整图像生成方法、模型训练方法、装置和设备
CN112907438B (zh) * 2021-03-01 2024-05-31 中国科学院半导体研究所 肖像生成方法、装置、电子设备及存储介质
CN112907438A (zh) * 2021-03-01 2021-06-04 中国科学院半导体研究所 肖像生成方法、装置、电子设备及存储介质
CN113096055B (zh) * 2021-03-24 2024-03-08 北京达佳互联信息技术有限公司 图像生成模型的训练方法、装置、电子设备及存储介质
CN113096055A (zh) * 2021-03-24 2021-07-09 北京达佳互联信息技术有限公司 图像生成模型的训练方法、装置、电子设备及存储介质
CN113034517B (zh) * 2021-03-31 2023-02-14 华南理工大学 基于生成对抗模型的全自动抠图方法及装置、介质和设备
CN113034517A (zh) * 2021-03-31 2021-06-25 华南理工大学 基于生成对抗模型的全自动抠图方法及装置、介质和设备
CN112991160B (zh) * 2021-05-07 2021-08-20 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
CN112991160A (zh) * 2021-05-07 2021-06-18 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
CN113221794B (zh) * 2021-05-24 2024-05-03 厦门美图之家科技有限公司 一种训练数据集生成方法、装置、设备及存储介质
CN113221794A (zh) * 2021-05-24 2021-08-06 厦门美图之家科技有限公司 一种训练数据集生成方法、装置、设备及存储介质
CN114048489B (zh) * 2021-09-01 2022-11-18 广东智媒云图科技股份有限公司 一种基于隐私保护的人体属性数据处理方法及装置
CN114048489A (zh) * 2021-09-01 2022-02-15 广东智媒云图科技股份有限公司 一种基于隐私保护的人体属性数据处理方法及装置
CN113613070B (zh) * 2021-10-08 2022-01-18 北京奇艺世纪科技有限公司 一种人脸视频处理方法、装置、电子设备及存储介质
CN113613070A (zh) * 2021-10-08 2021-11-05 北京奇艺世纪科技有限公司 一种人脸视频处理方法、装置、电子设备及存储介质
CN114007099A (zh) * 2021-11-04 2022-02-01 北京搜狗科技发展有限公司 一种视频处理方法、装置和用于视频处理的装置
CN114418919B (zh) * 2022-03-25 2022-07-26 北京大甜绵白糖科技有限公司 图像融合方法及装置、电子设备和存储介质
CN114418919A (zh) * 2022-03-25 2022-04-29 北京大甜绵白糖科技有限公司 图像融合方法及装置、电子设备和存储介质
CN115278106A (zh) * 2022-06-20 2022-11-01 中国科学院计算技术研究所 基于草图的深度人脸视频编辑方法及系统
CN115278106B (zh) * 2022-06-20 2024-11-01 中国科学院计算技术研究所 基于草图的深度人脸视频编辑方法及系统

Also Published As

Publication number Publication date
CN111652828B (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
CN111652828B (zh) 人脸图像生成方法、装置、设备和介质
US11587300B2 (en) Method and apparatus for generating three-dimensional virtual image, and storage medium
CN111294665B (zh) 视频的生成方法、装置、电子设备及可读存储介质
CN110688948B (zh) 视频中人脸性别变换方法、装置、电子设备和存储介质
KR20210119438A (ko) 얼굴 재연을 위한 시스템 및 방법
CN111832745A (zh) 数据增广的方法、装置及电子设备
CN113362263B (zh) 变换虚拟偶像的形象的方法、设备、介质及程序产品
CN111368137A (zh) 视频的生成方法、装置、电子设备及可读存储介质
WO2021218040A1 (zh) 图像处理的方法及装置
JP2024500896A (ja) ３ｄ頭部変形モデルを生成するための方法、システム及び方法
CN111862277A (zh) 用于生成动画的方法、装置、设备以及存储介质
CN110766776A (zh) 生成表情动画的方法及装置
JP7462120B2 (ja) ２次元（２ｄ）顔画像から色を抽出するための方法、システム及びコンピュータプログラム
CN114187165A (zh) 图像处理方法和装置
KR20230110787A (ko) 개인화된 3d 머리 및 얼굴 모델들을 형성하기 위한 방법들 및 시스템들
CN111861954A (zh) 编辑人脸的方法、装置、电子设备和可读存储介质
CN112017140B (zh) 用于处理人物形象数据的方法和装置
CN112381927A (zh) 图像生成的方法、装置、设备以及存储介质
WO2024066549A1 (zh) 一种数据处理方法及相关设备
CN118115642A (zh) 三维数字人的生成方法、装置、电子设备、存储介质和程序产品
Ren et al. Make-a-character: High quality text-to-3d character generation within minutes
CN112116548A (zh) 人脸图像的合成方法、装置
Queiroz et al. A framework for generic facial expression transfer
CN114419253A (zh) 一种卡通人脸的构建、直播方法及相关装置
CN116385643B (zh) 虚拟形象生成、模型的训练方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant