CN110738595A - 图片处理方法、装置和设备及计算机存储介质 - Google Patents

Abstract

本申请公开了一种图片处理方法、装置和设备及计算机存储介质，涉及图像处理技术领域，用于提升为人脸添加头发的契合度以及真实感。该方法包括：获取目标发型对应的多个掩膜图片，其中，所述多个掩膜图片分别对应于人脸的不同姿态，且每个掩膜图片包括头发区域掩膜；获取人脸图片，并从所述多个掩膜图片中确定与所述人脸图片中人脸姿态匹配的目标掩膜图片；根据所述目标掩膜图片中的头发区域掩膜，将所述人脸图片和目标头发素材图片进行融合，得到目标合成图片。

Description

图片处理方法、装置和设备及计算机存储介质

技术领域

本申请涉及图像处理技术领域，特别涉及一种图片处理方法、装置和设备及计算机存储介质。

背景技术

随着图像处理技术日新月异的发展，人脸图像处理的应用场景也越来也多。例如，头发是人外在形象的重要特征，在人物形象自动生成以及人像换头发等很多应用中都需要涉及到为人脸添加头发的过程。

而目前的头发贴图通常是基于人的正脸进行设计的，因此在人脸添加头发时，通常要求用户尽量提供正脸图片，然后直接为正脸添加相应的头发贴图，但是通常用户提供的人脸图片都不会是严格的正脸图片，通常人脸都会存在一定的角度偏移，从而为该图片中添加的头发贴图与人脸的契合度以及真实感都较差。

因此，如何提升为人脸添加头发的契合度以及真实感是目前亟待解决的问题。

发明内容

本申请实施例提供一种图片处理方法、装置和设备及计算机存储介质，用于提升为人脸添加头发的契合度以及真实感。

一方面，提供一种图片处理方法，所述方法包括：

获取目标发型对应的多个掩膜图片，其中，所述多个掩膜图片分别对应于人脸的不同姿态，且每个掩膜图片包括头发区域掩膜；

获取人脸图片，并从所述多个掩膜图片中确定与所述人脸图片中人脸姿态匹配的目标掩膜图片；

根据所述目标掩膜图片中的头发区域掩膜，将所述人脸图片和所述目标发型对应的目标头发素材图片进行融合，得到目标合成图片。

一方面，提供一种视频流处理方法，所述方法包括：

获取目标发型，并获取所述目标发型对应的多个掩膜图片，其中，所述多个掩膜图片分别对应于人脸的不同姿态，且每个掩膜图片包括头发区域掩膜；

获取初始视频流；

针对所述初始视频流中的每个目标图像帧，从所述多个掩膜图片中确定与目标图像帧中人脸姿态匹配的目标掩膜图片，并根据所述目标掩膜图片中的头发区域掩膜，将图像帧和目标头发素材图片进行融合，得到目标图像帧对应的目标合成图片；

按照各个目标图像帧在所述初始视频流中的先后顺序，展示各个目标图像帧对应的目标合成图片；和/或，

根据各个目标图像帧在所述初始视频流中的位置，通过各个目标图像帧对应的目标合成图片合成目标视频流。

可选的，所述方法还包括：

获取头发素材信息，所述头发素材信息包括颜色、纹理以及长度；

基于所述至少一种头发素材信息，从至少一个头发素材图片中确定所述目标头发素材图片。

一方面，提供一种图片处理装置，该装置包括：

掩膜图片获取单元，用于获取目标发型对应的多个掩膜图片，其中，所述多个掩膜图片分别对应于人脸的不同姿态，且每个掩膜图片包括头发区域掩膜；

姿态匹配单元，用于获取人脸图片，并从所述多个掩膜图片中确定与所述人脸图片中人脸姿态匹配的目标掩膜图片；

融合单元，用于根据所述目标掩膜图片中的头发区域掩膜，将所述人脸图片和目标头发素材图片进行融合，得到目标合成图片。

可选的，所述掩膜图片获取单元，用于：

获取所述发型对应的三维头发模型和三维头部模型；

按照设定的相对位置参数，将所述三维头发模型和所述三维头部模型进行组装配合；所述相对位置参数是基于真实的头部和头发的相对位置进行设置的；

按照设定的单位角度同步旋转所述三维头发模型与所述三维头部模型以形成不同的人脸姿态，且针对各个人脸姿态，获得组装配合的所述三维头发模型和所述三维头部模型的掩膜图片。

可选的，所述掩膜图片获取单元，用于：

针对各个人脸姿态，标注人脸姿态下采集的掩膜图片的人脸中K个关键点的位置信息，K为正整数；

所述姿态匹配单元，用于：

从所述人脸图片中确定所述K个关键点的位置信息；

将各个掩膜图片中K个关键点的位置信息与所述人脸图片中K个关键点的位置信息匹配的掩膜图片，确定为所述目标掩膜图片。

可选的，所述姿态匹配单元，用于：

分别针对每个掩膜图片中K个关键点的位置信息，获取各个关键点分别与所述人脸图片中K个关键点中对应关键点的位置误差相加后的误差总和；

将各个掩膜图片中对应的误差总和的值最小的掩膜图片确定为所述目标掩膜图片。

可选的，所述姿态匹配单元，用于：

从所述人脸图片中确定所述K个关键点中可见的关键点的位置信息；

根据可见的关键点的位置信息以及预先训练的关键点预测模型，预测所述K个关键点中不可见的关键点的位置信息。

可选的，所述关键点预测模型包括对应于不同特征部位的关键点预测子模型，则所述姿态匹配单元，用于：

针对每一特征部位，根据所述特征部位中可见的关键点的位置信息以及所述特征部位对应的关键点预测子模型，预测所述特征部位中不可见的关键点的位置信息。

可选的，所述姿态匹配单元，用于：

针对各个人脸姿态，标注人脸姿态下采集的掩膜图片的人脸朝向；

则所述从所述多个掩膜图片中确定与所述人脸图片中人脸姿态匹配的目标掩膜图片，包括：

采用设定的人脸朝向确定方法，确定所述人脸图片中人脸朝向；

将各个掩膜图片中人脸朝向与所述人脸图片中人脸朝向匹配的掩膜图片，确定为所述目标掩膜图片。

可选的，所述融合单元，用于：

获取所述目标掩膜图片中人脸姿态与所述人脸图片中人脸姿态的偏差值；

根据所述偏差值对所述目标掩膜图片进行调整，使得调整后的目标掩膜图片中人脸姿态与所述人脸图片中人脸姿态的偏差值小于预设偏差值阈值；

根据调整后的目标掩膜图片中的头发区域掩膜，将所述人脸图片和目标头发素材图片进行融合。

可选的，所述目标头发素材图片为根据三维头发模型采用真实头发素材获取的图片。

可选的，所述融合单元，用于：

根据所述目标掩膜图片中的头发区域掩膜，从所述目标头发素材图片中提取头发区域掩膜对应的局部头发素材图片；

将所述局部头发素材图片叠加在所述人脸图片上，并根据叠加得到的中间图片得到所述目标合成图片。

可选的，所述装置还包括人脸区域提取单元，用于：

从所述人脸图片中提取人脸区域图片；

所述融合单元，用于：

将所述人脸区域图片叠加在所述中间图片上，以得到所述目标合成图片。

一方面，提供一种视频流处理装置，所述装置包括：

获取单元，用于获取目标发型，并获取所述目标发型对应的多个掩膜图片，其中，所述多个掩膜图片分别对应于人脸的不同姿态，且每个掩膜图片包括头发区域掩膜；以及，获取初始视频流；

图像帧处理单元，用于针对所述初始视频流中的每个目标图像帧，从所述多个掩膜图片中确定与目标图像帧中人脸姿态匹配的目标掩膜图片，并根据所述目标掩膜图片中的头发区域掩膜，将图像帧和目标头发素材图片进行融合，得到目标图像帧对应的目标合成图片；

展示单元，用于按照各个目标图像帧在所述初始视频流中的先后顺序，展示各个目标图像帧对应的目标合成图片；和/或，

视频合成单元，用于根据各个目标图像帧在所述初始视频流中的位置，通过各个目标图像帧对应的目标合成图片合成目标视频流。

可选的，所述装置还包括确定单元；

获取单元，还用于获取头发素材信息，所述头发素材信息包括颜色、纹理以及长度；

所述确定单元，用于基于所述至少一种头发素材信息，从至少一个头发素材图片中确定所述目标头发素材图片。

一方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方面所述的方法。

一方面，提供一种计算机可读存储介质，存储有处理器可执行指令，所述处理器可执行指令用于执行上述方面所述的方法。

本申请实施例中，针对某一目标发型，先获取该发型在不同人脸姿态下的掩膜图片，且每个掩膜图片中都包括了头发区域掩膜，因而在获取到人脸图片后，可以将人脸图片与各掩膜图片进行匹配，获取姿态与之最接近的掩膜图片，进而基于该掩膜图片中的头发区域掩膜，将目标头发素材图片与人脸图片进行融合，得到目标合成图片。其中，由于考虑到了人脸在不同姿态下头发区域呈现的效果是不同的，因而先获取目标发型所对应的各种人脸姿态下的掩膜图片，在各掩膜图片中包括在不同人脸姿态下的头发区域掩膜，这样经姿态匹配之后，能够获取与人脸图片姿态最接近的掩膜图片，从而基于该掩膜图片合成的目标合成图片中人脸和头发的姿态是更为契合的，真实感更高。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的同一发型的两张掩膜图片的示意图；

图2为本申请实施例提供的应用场景示意图；

图3为本申请实施例提供的图片处理方法的流程示意图；

图4为本申请实施例提供的获取掩膜图片的示意图；

图5为本申请实施例提供的人脸关键点的示意图一；

图6为本申请实施例提供的人脸关键点的示意图二；

图7为本申请实施例提供的获取目标合成图片的示例图一；

图8为本申请实施例提供的获取目标合成图片的示例图二；

图9为本申请实施例提供的为用户进行发型变换的流程示意图；

图10A～图10D为本申请实施例提供的第一应用中进行发型变换的示例图；

图11为本申请实施例提供的视频流处理方法的流程示意图；

图12为本申请实施例提供的拍摄发型变换的视频的流程示意图；

图13为本申请实施例提供的模型训练方法的流程示意图；

图14为本申请实施例提供的图像处理装置的一种结构示意图；

图15为本申请实施例提供的视频流处理装置的一种结构示意图；

图16为本申请实施例提供的模型训练装置的一种结构示意图；

图17为本申请实施例提供的计算机设备的一种结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

为使本申请的目的、技术方案和优点更加清楚明白，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

为便于理解本申请实施例提供的技术方案，这里先对本申请实施例使用的一些关键名词进行解释：

掩膜(Mask)：本申请实施例中涉及的掩膜均是指图像掩膜。在图像处理过程中，用选定的图像、图形或物体，对待处理的图像(全部或局部)进行遮挡，来控制图像处理的区域或处理过程，其中，用于覆盖的特定图像或物体称为掩模。在数字图像处理中，掩模一般为二维矩阵数组，有时也用多值图像。对于本申请实施例而言，掩膜具体可以是指图片中的头发区域的掩膜或者人脸区域的掩膜等。

人脸姿态：姿态通常是指物体相对于相机的相对取向和位置，具体于人脸而言，即是指人脸相对于相机的相对取向和位置。一般是以正脸为基准，在左右旋转头部或者俯仰转动头部时，人的正脸则会相对于固定的相机产生一定的旋转角或者俯仰角，因此在正脸相对于相机的旋转角或者俯仰角不同时，则认为人脸处于不同的姿态。

掩膜图片：在人脸处于不同姿态时，头发的掩膜是不同的。掩膜图片是人脸与发型配合好之后，在各人脸姿态下，采集的包括掩膜的图片，掩膜图片中的掩膜可以包括头发区域掩膜，或者还可以包括人脸区域掩膜。在实际应用时，可以将三维头发模型和三维头部模型进行组装配合，使得三维头发模型和三维头部模型大致符合真实头部与头发的相对位置，进而对三维头发模型和三维头部模型进行旋转，从而在不同角度下采集到掩膜图片，可预想到，针对于某一发型，可以采集到大量的掩膜图片，对应于人脸的不同的姿态，从而为后续人脸的姿态匹配以及人脸图片与头发素材图片的融合提供基础。

如图1所示，为同一发型的两张掩膜图片的示意图。可以看到，掩膜图片A和掩膜图片B的人脸的姿态不同，掩膜图片A中人脸相对于掩膜图片B中人脸向左侧偏了一定的角度，从而相对应的头发区域也是不同的，可以看到掩膜图片A中头发区域中右侧的头发区域偏多，而左侧的头发区域偏少，而掩膜图片B中接近正脸，因而两侧的头发区域基本持平。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，在不做特别说明的情况下，一般表示前后关联对象是一种“或”的关系。此外，对于本文中涉及的“第一”或者“第二”等仅用于区分类似的对象，而不是用于描述特定的顺序或者先后次序。

为人脸图片添加头发的过程是指在已有人脸图片的基础上为其添加其他类型的发型，例如比较典型的是为原本为短发的人脸图片添加长发。本申请人分析后发现，造成所添加的头发与人脸的契合度和真实感很差的原因之一是头发贴图通常是基于人的正脸进行设计的，因此人脸姿态在非正脸姿态时，头发贴图贴到人脸上之后则无法与脸部真正契合，从而视觉效果就会很差，因此，若是想要提升为人脸添加头发的契合度以及真实感，那么必然需要考虑到人脸姿态的问题，基于实际的姿态为其添加相应角度的头发，从而来提升契合度和真实感。另外，添加的头发素材为非真实头发也是降低添加的头发的真实感的一个原因，因此，为进一步提升添加的头发的真实感，还可以为人脸图片添加真实的头发纹理，从而在视觉上提高真实感。

基于上述的分析和考虑，本申请实施例提供一种图片处理方法，该方法考虑到了人脸在不同姿态下头发区域呈现的效果是不同的，因而先获取目标发型所对应的各种人脸姿态下的掩膜图片，这样，在获取人脸图片之后，可以将获取的人脸图片与各掩膜图片进行姿态匹配，从而获取与人脸图片姿态最接近的掩膜图片，进而可以基于该掩膜图片对人脸和头发进行融合，从而获取的目标合成图片中人脸和头发的姿态是更为契合的，真实感更高。

此外，本申请实施例中的头发素材图片均为采用真实头发素材获取的图片，其具有与真实头发更为接近的纹理以及颜色等特征，从而在将头发素材图片与人脸图片融合之后，所得到的目标合成图片中头发给人带来的视觉上的真实感更高。

在介绍完本申请实施例的设计思想之后，下面对本申请实施例的技术方案能够适用的应用场景做一些简单介绍，需要说明的是，以下介绍的应用场景仅用于说明本申请实施例而非限定。在具体实施过程中，可以根据实际需要灵活地应用本申请实施例提供的技术方案。

本申请实施例中的图片处理方法可以应用于发型变换的场景中，或者该方法还可以应用于模型训练等应用场景中。

请参见图2所示，为发型变换为例的场景示意图，该应用场景可以包括终端设备201和服务器202。上述终端设备201通过无线或有线网络与服务器202连接，终端设备201可以为便携设备(例如：手机、平板、笔记本电脑等)，也可以为个人电脑(PC，PersonalComputer)，服务器202可以为任何能够提供互联网服务的设备，例如可以是一台服务器或若干台服务器组成的服务器集群或云计算中心。

终端设备201上可以安装具有发型变换功能的客户端，然后用户可以通过终端设备201中安装的客户端选择想要更换的发型以及获取人脸图片，例如可以通过终端设备201的拍摄功能拍摄人脸图片，或者从终端设备201的相册中选取人脸图片，然后将该人脸图片发送给服务器202，服务器202在接收到人脸图片后，会实施本申请实施例提供的图片处理方法，将用户选择的发型对应头发添加到人脸图片中，并将最终变换发型之后的图片返回给终端设备201进行显示。

上述具有发型变换功能的客户端例如可以为美颜类的客户端，针对该种类型的客户端，最终通常只需要输出一张合成图片给用户，即可以采用上述的过程来实施，或者具有发型变换功能的客户端还可以为能够添加特效的视频拍摄客户端，例如短视频客户端。对于该种类型的客户端，头发既可以作为其中一种特效供给用户选择，最终输出给用户的为一段视频，该种类型的客户端同样可以采用如图3所示的应用场景，下面以该种类型的客户端为例，对本申请实施例的应用进行介绍。

用户在终端设备201上打开能够添加特效的视频拍摄客户端之后，可以选择想要添加的发型，以及头发纹理、颜色、长度以及刘海造型等头发素材信息，并开启摄像头开始拍摄，摄像头拍摄的视频可以以视频流的形式实时传输给服务器202，服务器202可以依次针对初始视频流(初始用于表征为更换发型之前的视频流)中的目标视频帧，实施本申请实施例提供的图片处理方法，将用户选择的发型对应头发添加到各目标图像帧中，得到各目标图像帧对应的目标合成图片，并将目标合成图片依次返回给终端设备201，以供视频拍摄客户端实时显示，这样，对于用户而言，其感知到的既是终端设备201上实时显示的目标视频流(用于表征为更换了发型之后的视频流)，且该目标视频流中每一个图像帧均为更换了发型之后的目标合成图片。或者，服务器202也可以不实时将目标合成图片返回给终端设备201，而是在所有目标图像帧处理完毕之后，按照各目标合成图片所对应的目标图像帧在初始视频流中的位置，将所有的目标合成图片合成为目标视频流，再将目标视频流返回给终端设备201。

需要说明的是，当终端设备201的处理能力满足一定要求时，上述服务器所执行的图片处理方法的过程还可以通过终端设备201来执行，即图2所示的应用场景中可以仅包括终端设备201。例如，终端设备201中的客户端可以包括上述图片处理方法的程序指令，当用户在客户端中选定目标发型和提供人脸图片后，则可以调用这些程序指令，来实现为人脸图片添加头发的效果，从而使得客户端即使在离线状态下，同样可以完成为人脸图片添加头发的过程。

本申请实施例中的图片处理方法应用于模型训练的应用场景中时，其应用场景中的设备可以仅包括终端设备或者服务器，终端设备或者服务器均具有一定的计算能力，能够满足大量人脸图片的图片处理以及模型训练的计算能力要求。

具体的，用户可以提供大量的人脸图片以及不同的发型模型等本申请实施例中图片处理方法所需的素材，进而基于用户提供的素材，利用本申请实施例中的图片处理方法分别为各人脸图片添加头发，得到大量的目标合成图片，并将人脸图片和对应的目标合成图片作为成对数据，作为模型训练的训练样本，对已构建的模型进行训练学习，以得到一种端对端的为人脸图片添加头发的模型。当然，在模型训练时，还可以添加其他信息作为训练学习的辅助信息，例如可以通过其他的模型从大量的头发图片中学习到发型相关的特征信息，如人脸与头发边缘结合的特征信息，再采用迁移学习的方法，将已学习到的特征信息应用到模型训练的过程中，这样，通过最终训练完成的为人脸图片添加头发的模型所得到的合成图片能够更加优化。

当然，本申请实施例提供的方法并不限用于上述所述的应用场景中，还可以用于其他可能的应用场景，本申请实施例并不进行限制。对于上述所述的应用场景的各个设备所能实现的功能将在后续的方法实施例中一并进行描述，在此先不过多赘述。

请参见图3所示，为本申请实施例提供的图片处理方法的流程示意图，该方法的流程介绍如下。

步骤301：获取目标发型对应的多个掩膜图片。

本申请实施例中，目标发型是指当前需要更换的发型。例如，在用户使用发型变换相关的应用(后续简称为目标应用)中，目标发型则可以为用户在目标应用中选中的发型。

具体的，目标应用启动之后，用户可以在目标应用的相应选择页面上进行第一选择操作，用于从目标应用提供的至少一种发型中选定用户想要更换的发型，即目标发型。

或者，在进行获取模型训练所需的训练样本时，则针对一次图片处理过程，也可以从提供的发型中选择一种发型作为目标发型，选择的过程可以是随机进行选择的，也可以是预先指定，或者按照预设的选择规则进行选择。

在选定目标发型之后，则可以获取目标发型对应的多个掩膜图片。其中，获取掩膜图片的过程可以是在选定目标发型之后，再基于选定的目标发型采集相对应的掩膜图片，也可以是预先为每个发型构建好目标发型对应的掩膜图片库，那么在选定目标图片之后，则可以直接调用其对应的掩膜图片库即可。

本申请实施例中，针对每一种发型而言，其获取掩膜图片的过程是相同的，因而下面以其中一种发型为例，对获取掩膜图片的过程进行介绍。请参见图4所示，为获取掩膜图片的示意图。

具体的，可以获取三维头部模型和将要获取掩膜图片的发型对应的三维头发模型。三维头发模型和三维头部模型均可以是根据真实头部和真实头发进行设计的，且在设计模型时，可以通过多次调整模型参数，使得三维头发模型和三维头部模型在三维空间中的位置配合关系趋近于真实人头与头发的相对位置关系。其中，为了方便与三维头发模型进行组装配合，三维头部模型可以为光头的三维人头模型。

参见图4所示，在获取三维头发模型和三维头部模型之后，可以按照设定的相对位置参数，将三维头发模型和三维头部模型进行组装配合。这里的相对位置参数可以为基于真实的头部和头发的相对位置进行设置的参数，也就是上述调整得到的模型参数。

其中，组装配合的过程可以理解为将三维头发模型固定在三维头部模型的过程，且在组装配合之后，三维头发模型和三维头部模型之间的相对位置关系则会保持固定。

三维头发模型和三维头部模型进行组装配合之后，则可以按照设定的单位角度同步旋转三维头发模型与三维头部模型以形成不同的人脸姿态，且针对各个人脸姿态，获得如图4所示的组装配合的三维头发模型和三维头部模型的掩膜图片。其中，由于三维头发模型和三维头部模型之间的相对位置关系是保持固定的，因此可以旋转三维头发模型或者三维头部模型，相应的，另一模型则会同步进行旋转。

具体的，可以采用计算机图形(Computer Graphics，CG)渲染技术将组装配合好的三维头发模型与三维头部模型在一定角度范围内进行同步旋转，从而获取到给定发型在不同人脸姿态下的掩膜图片。其中，一定角度范围可以预先进行设置，例如旋转的角度一般可以包括左右转动的角度，即偏航角(yaw)和俯仰旋转的角度，即俯仰角(pitch)，yaw的角度范围可以设置为[-Y，+Y]，Y的取值例如可以为70°，pitch的角度范围例如可以设置为[-P，+P]，P的取值例如可以为90°，当然，Y和P的取值还可以为其他可能的值，本申请实施例对此不做限制。

具体的，为了便于后续进行人脸姿态的匹配，在三维头部模型的人脸区域中预先定义了K个关键点，且可以为每个关键点设置对应的索引编号，每个关键点的索引编号是固定不变的。那么相应的，在将组装配合好的三维头发模型与三维头部模型进行同步旋转时，还可以记录下各人脸姿态下采集的掩膜图片的人脸中K个关键点的位置信息，位置信息既可以为K个关键点的坐标。

如图5所示，为一种人脸关键点的示意图，其中，在面部定义了80个关键点，其中左右眉毛各定义8个关键点，左右眼睛各定义8个关键点，鼻子定义11个关键点，嘴部定义18个关键点，脸部轮廓定义19个关键点(未示出)，各关键点均可以用坐标进行表示，并给每个关键点设置固定的索引编号。当然在实际应用中，K个关键点的具体数量可以根据实际情况进行设置，例如可以设置为60个或者100个，或者其他可能的值，本申请实施例对此不做限制。

在具体实施时，可以按照一定的单位角度同步旋转组装配合好的三维头发模型与三维头部模型，并且在每一次旋转之后，渲染得到当前人脸姿态下的掩膜图片，并标注当前人脸姿态下采集的掩膜图片的人脸中K个关键点的位置信息，从而得到多个掩膜图片，形成每一发型对应的掩膜图片库，在掩膜图片中的每一掩膜图片中均包括头发区域掩膜，以及标注了人脸中K个关键点的位置信息。其中，单位角度例如可以为1°，或者为其他可能的值，本申请实施例对此不做限制。

针对每一发型而言，在旋转的角度包括yaw和pitch时，则总共可以存在(2*P+1)*(2*Y+1)个角度，一个角度为一个人脸姿态，从而也就总共存在(2*P+1)*(2*Y+1)个人脸姿态，那么最终得到的掩膜图片的数量也就为(2*P+1)*(2*Y+1)个，且每个掩膜图片都对应有一组坐标，每一组坐标即为K个关键点的坐标。示例性的，当P和Y分别为90°和70°，且单位角度为1°时，则最终可以获得181*141＝25521个掩膜图片，且每个掩膜图片都有对应的一组80个关键点坐标，因此共计有25521组80个关键点坐标，可见，掩膜图片基本能够囊括人脸的各种姿态，从而能够为给定的人脸图片匹配更为精准的姿态，使得最终人脸图片与头发素材能够以最符合人脸图片中人脸姿态的方式进行结合，使得人脸与头发的契合度更高，提高真实感。

本申请实施例中，考虑到在某些人脸姿态下，一些关键点会被遮挡而不可见，对于这些不可见的关键点，在三维模型中位置信息较容易获取，而在后续的二维人脸图片中则较难提取，因此在不同的人脸姿态时，定义的K个关键点可以是不同的，比如在接近正脸时，各个特征部位的关键点基本都可见，那么可以按照如图5所示的关键点示意图标注关键点的位置信息，而在侧脸时，通常鼻子和眼部都会有一些不可见的关键点，对于这些不可见的关键点则可以使用轮廓边缘点来代替。例如鼻子，在人脸处于左侧脸姿态时，右侧的关键点基本不可见，那么鼻子部位可以标注左侧可见的关键点，而右侧不可见的关键点则使用鼻子的轮廓边缘点代替，例如鼻尖以及鼻梁上的点作为关键点。

当然，除了定义关键点之外，还可以利用其它方式进行姿态匹配。例如可以在采集每一人脸姿态下的掩膜图片时，标注掩膜图片中人脸朝向。人脸朝向可以通过脸部面向的方向来表示，例如脸部面向左方，左上方以及右方等方向来表示，或者可以利用人脸中特定基准点构成的平面与三维基准平面之间的角度来表示，例如特定基准点例如可以是双眼以及唇部中的关键点，构建的三维模型中基准平面例如可以分别为X、Y和Z面，那么人脸朝向可以利用双眼以及唇部中的关键点构成的平面分别与X、Y和Z面之间的角度来表示。

通过上述的过程，可以获取任一发型对应的多个掩膜图片，在实际应用时，可以预先获取所有发型的掩膜图片库，并存储在本地或者网络存储位置，在需要使用某一发型的掩膜图片时，根据发型标识调用相应的掩膜图片库即可，减小图片处理所需的计算量，提升图片处理的效率。

步骤302：获取人脸图片，并从多个掩膜图片中确定与该人脸图片中人脸姿态匹配的目标掩膜图片。

具体的，当用户使用目标应用时，人脸图片可以为用户利用目标应用的拍摄功能拍摄的，或者从终端设备的本地相册中获取，亦或者从网络下载的；或者，在进行获取模型训练所需的训练样本时，则针对一次图片处理过程，人脸图片可以是从提供的多个人脸图片中选择的，选择的过程可以是随机进行选择的，也可以是预先指定，或者按照预设的选择规则进行选择。

在获取人脸图片之后，则可以将人脸图片与掩膜图片进行姿态匹配，从而从多个掩膜图片中确定出与人脸图片中人脸姿态匹配的目标掩膜图片。其中，目标掩膜图片是指多个掩膜图片中人脸姿态与人脸图片人脸姿态之间的偏差最小的图片，即人脸姿态之间的偏差最小定义为匹配。

本申请实施例中，可以从人脸图片中确定K个关键点的位置信息，从而基于这K个关键点来对人脸图片与掩膜图片进行人脸姿态匹配。

其中，这K个关键点可以是与上述三维头部模型中的人脸中定义的K个关键点是一一对应的，且为了后续匹配的方便，K个关键点与上述三维头部模型中的人脸中定义的K个关键点的索引编号，也就是各掩膜图片中K个关键点的索引编号保持一致，例如上述三维头部模型中的人脸中定义的K个关键点中左眉的8个关键点的索引编号为0～7，则从人脸图片中确定的K个关键点中左眉的8个关键点的索引编号也可以为0～7。

具体的，可以采用人脸配准算法来得到人脸图片上K个关键点的位置信息。其中，人脸配准算法可以为基于深度卷积神经网络(Convolutional Neural Network，CNN)的人脸配准算法，或者基于粗到精的自动编码网络(Coarse-to-Fine Auto-Encoder Networks，CAFN)的人脸配准算法，当然，也可以采用其他可能的人脸配准算法，本申请实施例对此不做限制。

以基于CNN的人脸配准算法为例，确定关键点的过程大致过程为：先从人脸图片中进行人脸检测，将脸部区域从人脸图片中提取出来，然后再利用CNN回归人脸的关键点坐标。

如图6所示，为通过人脸配准算法得到的人脸关键点示意图。其中，图6同样以80个关键点为例进行示出，其中这80个关键点是与图5示意的关键点是一一对应，即在80个关键点中，同样包括左右眉毛各8个关键点，左右眼睛各8个关键点，鼻子11个关键点，嘴部18个关键点，脸部轮廓19个关键点，且各关键点拥有自己的索引编号，与图5示意的关键点的索引编号对应保持一致。

与掩膜图片所对应的，当人脸图片中的人脸处于侧脸时，其定义方式是与掩膜图片的定义的关键点的方式是保持一致的，当掩膜图片采用轮廓边缘点来代替不可见关键点时，在进行人脸配准时，对于不可见的关键点也需要通过轮廓边缘点来代替，从而在进行姿态匹配时才能够准确；或者，由于掩膜图片是基于三维模型采集的，关键点是较好采集位置信息的，那么掩膜图片可以在任何姿态时，都标注实际关键点的位置信息，即人脸上K个关键点是定死的，只是随着模型旋转时位置信息会发生改变，从而采集不同人脸姿态时各关键点的位置信息，那么在从人脸图片中确定K个关键点的位置信息时，可以先得到K个关键点中可见的关键点的位置信息，再基于可见的关键点的位置信息对不可见的关键点的位置信息进行预测，例如可以利用预先训练好的关键点预测模型进行不可见关键点的预测。

具体的，为了更准确的估计不可见关键点的位置信息，可以针对不同特征部位训练不同的关键点预测子模型，即上述关键点预测模型可以有多个对应于不同特征部位的关键点预测子模型组成。那么可以先从人脸图片中分别确定各个特征部位中可见的关键点的位置信息，并针对每一特征部位，利用该特征部位对应的关键点预测子模型和该特征部位的可见的关键点的位置信息，预测该特征部位中不可见的关键点的位置信息，各特征部位可见的关键点与不可见的关键点的集合即为K个关键点，从而通过上述方式得到各特征部位的可见的关键点的位置信息和不可见的关键点的位置信息，即为K个关键点的位置信息。

本申请实施例中，当人脸图片中人脸姿态与掩膜图片中人脸姿态愈加接近时，则人脸图片与掩膜图片的K个关键点中对应关键点的位置信息基本是相同的，因此，在从人脸图片中确定K个关键点的位置信息之后，则可以基于K个关键点将人脸图片与目标发型对应的多个掩膜图片进行匹配，从而获取与人脸图片的人脸姿态匹配的掩膜图片。

具体的，可以分别针对每个掩膜图片中K个关键点的位置信息，获取各个关键点分别与人脸图片中K个关键点中对应关键点的位置误差相加后的误差总和，从而将各个掩膜图片中对应的误差总和的值最小的掩膜图片确定为目标掩膜图片。

可以通过如下公式计算上述误差总和：

其中，E为一个掩膜图片与人脸图片的K个关键点的误差总和，i为K个关键点中第i个关键点的索引编号，x_i,y_i表示掩膜图片中第i个关键点的坐标，

表示人脸图片中第i个关键点的坐标，

表示

的L2模。

当然，在实际应用时，还可以通过其他可能的公式计算误差总和，例如计算关键点之间的欧氏距离之和等，本申请实施例对此不做限制。

本申请实施例中，在获取人脸图片之后，还可以采用设定的人脸朝向确定方法，确定人脸图片中人脸朝向，从而将人脸图片的人脸朝向与各掩膜图片标注的人脸朝向进行比对，从而确定出各个掩膜图片中人脸朝向与人脸图片中人脸朝向匹配的掩膜图片，并将其作为目标掩膜图片。人脸朝向确定方法例如可以为预先训练好的用于人脸朝向识别的神经网络模型。

其中，与人脸图片中人脸朝向匹配的掩膜图片匹配，是指各个掩膜图片中人脸朝向与人脸图片中人脸朝向之间的误差总和最小的掩膜图片。

本申请实施例中，由于掩膜图片是根据旋转单位角度之后采集的，因此可以预想到，掩膜图片仍然由不能覆盖的人脸姿态，比如单位角度为1°时，获取了两张掩膜图片其对应的yaw分别为30°和31°，那么30°和31°之间的角度掩膜图片仍然无法覆盖，那么当人脸图片中角度为30°和31°之间的角度时，则目标掩膜图片与人脸图片之间仍然存在一定的角度差异，因而为了减小这种差异，进一步提升最终获取的合成图片中头发与人脸的契合度，还可以在获取目标掩膜图片之后，对目标掩膜图片进行一定的处理，再基于该掩膜图片，将头发素材图片与人脸图片进行融合。

具体的，基于目标掩膜图片中K个关键点的位置信息，以及人脸图片中K个关键点的位置信息，可以计算得到目标掩膜图片与人脸图片中人脸姿态的偏差值，从而根据偏差值对目标掩膜图片进行调整，使得调整后的目标掩膜图片中人脸姿态与人脸图片中人脸姿态的偏差值小于预设偏差值阈值，以补偿与人脸图片中人脸姿态的角度偏差。例如目标掩膜图片与人脸图片中偏差值为0.5°，则可以将目标掩膜图片中人脸姿态调整0.5°。

具体的，可以利用图像处理技术对目标掩膜图片进行调整，调整例如可以包括旋转以及拉伸变换等处理。

进行调整之后，则后续在进行目标头发素材图片与人脸图片进行融合时，则可以根据调整后的目标掩膜图片中的头发区域掩膜，来将人脸图片和目标头发素材图片进行融合。

当然，因为目标掩膜图片与人脸图片的尺寸也可能大小不一，因而也可以对目标掩膜图片进行缩放操作，以使得目标掩膜图片与人脸图片中人脸区域的尺寸相适应。

步骤303：根据目标掩膜图片中的头发区域掩膜，将人脸图片和目标发型对应的目标头发素材图片进行融合，得到目标合成图片。

本申请实施例中，目标发型决定了变换后的发型的样式，即发型外形轮廓，而目标头发素材图片包含的是与头发素材相关信息，例如头发的颜色、纹理或者长度等信息，在具体实施过程中，用户在使用目标应用时，用户可以自行选择头发素材。

具体的，可以将发型与素材信息进行结合，即用户使用目标应用时，所查看到的直接为包含了发型和头发素材信息的可选项，那么用户在进行发型选择时，即用户在进行第一选择操作时，不仅能够从至少一种发型中选中目标发型，还可以选择头发素材信息，那么基于用户进行的第一选择操作所选择的头发素材信息，则可以从至少一个头发素材图片中确定出目标头发素材图片。

或者，用户可以随时对头发素材信息进行调整或者选择，例如还可以在确定了目标掩膜图片之后，用户可以在目标应用中进行第二选择操作，以从提供的头发素材信息中选择用户想要的头发素材信息，相应的，基于用户的第二选择操作，可以从至少一个头发素材图片中确定出目标头发素材图片。

本申请实施例中，各头发素材图片中的至少一种头发素材信息不同。为了提升为人脸图片添加的头发的真实性，各头发素材图片可以均为根据三维头发模型采用真实头发素材获取的图片。其中，获取头发素材图片的过程类似于将三维的地球仪展开为一张二维的地图的过程，因而在获取头发素材图片时，可以以三维头发模型为基准，对一种真实头发素材进行尝试展开，并调整到较好的效果，记录下调整参数，从而可以利用该调整参数对其他真实头发素材进行展开，以获得更多的头发素材图片。

如图7所示，为获取目标合成图片的示例图。其中，可以根据目标掩膜图片中的头发区域掩膜，从目标头发素材图片中相应提取出头发区域掩膜对应的局部头发素材图片，再将提取的局部头发素材图片叠加在人脸图片上，以得到目标合成图片。

在实际应用中，考虑到目标合成图片中叠加的局部头发素材图片可能会覆盖住过多的脸部区域，使得目标合成图片的视觉效果不佳，因而如图8所示的获取目标合成图片的过程中，可以将局部头发素材图片叠加在人脸图片上获取的图片作为中间图片，继续对其进行处理。具体的，可以从人脸图片中提取人脸区域图片，再将人脸区域图片叠加到中间图片中，以得到最终的目标合成图片。

在实际应用中，可以利用人脸分割技术从人脸图片中将人脸区域单独分割出来，得到人脸区域图片。其中，分割人脸区域的过程可以在获取人脸图片之后的任一时机进行，例如可以在获取人脸图片之后即进行人脸区域的分割，或者在匹配姿态完成之后进行人脸区域的分割，或者还可以在得到中间图片之后再进行人脸区域的分割。

下面结合具体的实施例对上述方法的过程进行介绍。其中，用户通过第一应用进行发型变换。如图9所示，为用户进行发型变换的流程示意图。

步骤901：第一应用获取人脸图片。

如图10A所示，用户可以通过第一应用的拍照功能拍摄人脸图片，图10A图具体以此为例，用户对拍摄按钮进行操作之后，则可以获取人脸图片。或者，用户还可以从本地相册入口进入本地相册中选择人脸图片。

需要声明的是，虽然图10A中示出的人脸图片接近于正脸图片，但是本申请实施例中用户可以拍摄任一人脸角度的人脸图片，即本申请实施例中并不限制拍摄的人脸角度。

步骤902：第一应用确定用户选择的发型。

用户可以在如图10B所示的发型选择界面中选择想要更换的发型，相应的，用户进行选择操作之后，第一应用则可以基于用户的选择操作确定用户想要更换的发型。

步骤903：第一应用确定用户选择的头发素材信息。

用户可以在如图10C所示的头发素材选择界面中选择想要更换的头发的头发素材信息，相应的，用户进行选择操作之后，第一应用则可以基于用户的选择操作确定用户选择的头发素材信息。

在实际应用中，步骤902和步骤903可以同时进行，例如在图10B所示的发型选择界面中，除了展示发型之外，还可以将头发素材信息连同发型一并展示，那么用户选择其中一个选项之后，则可以同时选择出发型和头发素材信息。

需要声明的是，步骤901的过程和步骤902～903的过程可以同时进行，也可以先后顺序进行，本申请实施例对此不做限制。

步骤904：第一应用向服务器发送发型变换请求。

其中，发型变换请求中可以携带人脸图片、发型标识以及头发素材信息。其中，发型变换请求可以分为多个子请求进行发送，例如在第一应用获取人脸图片之后，则可以将人脸图片携带在一个子请求中发送给服务器，以及在第一应用确定用户选择的发型之后，将发型标识携带在一个子请求中发送给服务器。

步骤905：服务器为人脸图片中人脸添加相应的头发。

其中，服务器接收发型变换请求之后，则可以基于发型标识获取发型对应的掩膜图片库，并将人脸图片与各掩膜图片进行姿态匹配，以从中选择与人脸图片姿态匹配的掩膜图片，进而基于该掩膜图片中的头发区域掩膜，从头发素材信息对应的头发素材图片中扣取相应的局部头发素材图片，并将局部头发素材图片叠加在人脸图片上，最后将从人脸图片中分割出来的人脸区域进一步叠加在人脸图片上，得到最终人脸生成头发后的目标合成图片。

步骤906：服务器将目标合成图片发送给第一应用。

步骤907：第一应用展示目标合成图片。

如图10D所示，第一应用接收服务器返回的目标合成图片之后，则可以将目标合成图片展示给用户。

本申请实施例中，如图11所示，基于同一发明构思，还提供一种视频流处理方法，该方法的流程描述如下。其中，该方法可以通过图2所示的终端设备和服务器共同执行，也可以通过图2所示的终端设备或者服务器来执行。

步骤1101：获取目标发型，并获取对应的多个掩膜图片。

具体的，用户可以通过终端设备中的客户端进行选择操作，以从提供的至少一种发型中选择自己想要更换的目标发型，从而根据用户的选择操作，客户端可以确定用户选择的目标发型，并获取目标发型的多个掩膜图片。其中，客户端可以从服务器获取多个掩膜图片；或者，客户端也可以预存储各个发型对应的掩膜图片，从而直接从本地存储中获取多个掩膜图片；或者，客户端还可以基于存储的三维头部模型和目标发型对应的三维头发模型生成多个掩膜图片。

具体的，用户通过客户端进行选择操作之后，客户端还可以将用户选择的目标发型的标识信息发送给服务器，从而通过服务器执行后续添加头发的过程。

步骤1102：获取初始视频流。

初始视频流是指基于用户的操作，上传或者采集的视频流，与最终合成的目标视频流相对应，初始视频流是指还未进行后续添加头发处理的视频流，目标视频流则是指进行了添加头发处理之后得到的视频流。

具体的，用户可以在客户端中进行视频获取操作，来获取初始视频流。其中，视频获取操作具体可以为从本地存储获取视频文件的操作，从本地存储获取的视频文件即可作为初始视频流；或者，视频获取操作也可以为通过客户端的视频拍摄功能拍摄视频的操作，从而将新拍摄的视频作为初始视频流。

同样的，用户通过客户端进行视频获取操作之后，客户端也可以将初始视频流发送给服务器，从而通过服务器执行后续添加头发的过程。

步骤1103：针对初始视频流中的每个目标图像帧，获取该目标图像帧对应的目标合成图片。

具体的，针对每个目标图像帧，可以从多个掩膜图片中确定与目标图像帧中人脸姿态匹配的目标掩膜图片，并根据目标掩膜图片中的头发区域掩膜，将图像帧和目标头发素材图片进行融合。其中，目标图像帧可以是指初始视频流中需要进行添加头发处理的图像帧，例如可以将包括了人脸的图像帧定义为需要进行添加头发处理的图像帧，那么只需要针对初始视频流中包括了人脸的图像帧进行添加头发的处理，而对于不包括的人脸的图像帧，可以不进行处理，从而减少处理工作量，加快视频处理速度。

其中，目标头发素材图片可以是基于在选择目标发型时一并选择的头发素材信息确定的，也可以是用户在选择目标发型之后，基于用户进行的其他选择操作选择的头发素材信息确定的。

上述获取多个掩膜图片的过程以及获取目标图像帧对应的目标合成图片的过程是与图3～图8所示的实施例部分相对应的，因此该过程可以参考图3～图8部分的介绍，在此不再赘述。

步骤1104：按照各个目标图像帧在初始视频流中的先后顺序，展示各个目标图像帧对应的目标合成图片。

当用户利用视频拍摄功能拍摄视频时，则可以实时输出拍摄的每一个目标图像帧对应的目标合成图片，这样，用户可以实时感知添加头发的效果。

步骤1105：根据各个目标图像帧在初始视频流中的位置，通过各个目标图像帧对应的目标合成图片合成目标视频流。

对每个目标图像帧进行处理，获得每个目标图像帧对应的目标合成图片之后，则可以按照初始视频流中各目标图像帧的顺序，通过对应的目标合成图片合成目标视频流。

在实际应用中，当用户从本地存储获取视频文件时，则可以在合成目标视频流之后，输出完整的目标视频流；或者，当用户利用视频拍摄功能拍摄视频时，除了可以实时输出拍摄的每一个目标图像帧对应的目标合成图片之外，还可以在获取所有的目标图像帧对应的目标合成图片之后，合成完整的目标视频流。

上述步骤1104和步骤1105可以择一执行，或者均执行，具体可根据实际情况进行设置，本申请实施例对此不做限制。

本申请实施例中，当通过服务器对各目标图像帧进行处理时，服务器可以将得到的目标合成图片发送给终端设备，由终端设备来执行视频流的合成或者展示。

下面结合具体的实施例对上述方法的过程进行介绍。其中，用户通过第二应用拍摄发型变换的视频。如图12所示，为用户进行发型变换的流程示意图。下面以客户端(终端设备)和服务器结合实现的场景为例进行介绍，但是在实际应用中，服务器执行的步骤也可以通过客户端(终端设备)来执行，本申请实施例对此不做限制。

步骤1201：第二应用获取用户选择的特效信息。

用户可以在第二应用的特效选择界面中选择想要在拍摄视频时使用的特效，这里具体即为发型变换特效，特效信息具体可以包括变换后的发型信息和头发素材信息。

步骤1202：第二应用将用户选择的特效信息发送给服务器。

服务器获取用户选择的特效信息后，可以为后续的拍摄进行准备，例如获取特效信息中指示的发型对应的掩膜图片以及头发素材信息对应的头发素材图片。

步骤1203：第二应用在确定用户进行开始拍摄操作时，采集视频图像帧。

步骤1204：第二应用将视频图像帧发送给服务器。

用户在做好视频拍摄准备之后，则可以对拍摄按钮进行操作，从而第二应用可以开始采集视频图像帧，并将视频图像帧发送给服务器。

步骤1205：服务器对接收到的视频图像帧变换发型。

具体的，服务器接收第二应用的视频图像帧之后，则可以为每一视频图像更换发型。当然，对于第二应用发送的未包括人脸的视频图像帧，可以不进行处理。

步骤1206：服务器将变换发型后的目标合成图片发送给第二应用。

步骤1207：第二应用依次展示目标合成图片，形成视频流。

具体的，第二应用可以将采集的视频图像帧依次发送给服务器，服务器依次处理之后，则可以依次将变换发型后的目标合成图片发送给第二应用，从而在第二应用中展示的则为目标合成图片组成的视频，对于用户而言，所看到的第二应用中展示的视频即为由目标合成图片组成的视频。

本申请实施例中，如图13所示，基于同一发明构思，还提供一种模型训练方法，该方法的流程描述如下。

步骤1301：获取多个人脸图片，并获取每个人脸图片对应的目标合成图片。

具体的，针对每个人脸图片，可以采用图3～图8所示的图片处理方法获取每个人脸图片对应的目标合成图片，因此该过程可以参考图3～图8部分的介绍，在此不再赘述。

步骤1302：将各个人脸图片和与各个人脸图片对应的目标合成图片作为训练样本对模型进行训练。

通过步骤1301，可以获取大量的人脸图片以及相应的目标合成图片，从而可以将人脸图片和对应的目标合成图片作为成对数据，作为模型训练的训练样本，对已构建的模型进行训练学习，以得到一种端对端的为人脸图片添加头发的模型。当然，在模型训练时，还可以添加其他信息作为训练学习的辅助信息，例如可以通过其他的模型从大量的头发图片中学习到发型相关的特征信息，如人脸与头发边缘结合的特征信息，再采用迁移学习的方法，将已学习到的特征信息应用到模型训练的过程中，这样，通过最终训练完成的为人脸图片添加头发的模型所得到的合成图片能够更加优化。

综上所述，本申请实施例提供的图像处理方法，考虑到了人脸在不同姿态下头发区域呈现的效果是不同的，因而先获取目标发型所对应的各种人脸姿态下的掩膜图片，这样，在获取人脸图片之后，可以将获取的人脸图片与各掩膜图片进行姿态匹配，从而获取与人脸图片姿态最接近的掩膜图片，进而可以基于该掩膜图片对人脸和头发进行融合，从而获取的目标合成图片中人脸和头发的姿态是更为契合的，真实感更高。

请参见图14，基于同一发明构思，本申请实施例还提供了一种图像处理装置140，该装置包括：

掩膜图片获取单元1401，用于获取目标发型对应的多个掩膜图片，其中，多个掩膜图片分别对应于人脸的不同姿态，且每个掩膜图片包括头发区域掩膜；

姿态匹配单元1402，用于获取人脸图片，并从多个掩膜图片中确定与人脸图片中人脸姿态匹配的目标掩膜图片；

融合单元1403，用于根据目标掩膜图片中的头发区域掩膜，将人脸图片和目标头发素材图片进行融合，得到目标合成图片。

可选的，掩膜图片获取单元1401，用于：

获取发型对应的三维头发模型和三维头部模型；

按照设定的相对位置参数，将三维头发模型和三维头部模型进行组装配合；相对位置参数是基于真实的头部和头发的相对位置进行设置的；

按照设定的单位角度同步旋转三维头发模型与三维头部模型以形成不同的人脸姿态，且针对各个人脸姿态，获得组装配合的三维头发模型和三维头部模型的掩膜图片。

可选的，掩膜图片获取单元1401，用于：

针对各个人脸姿态，标注人脸姿态下采集的掩膜图片的人脸中K个关键点的位置信息，K为正整数；

姿态匹配单元1402，用于：

从人脸图片中确定K个关键点的位置信息；

将各个掩膜图片中K个关键点的位置信息与人脸图片中K个关键点的位置信息匹配的掩膜图片，确定为目标掩膜图片。

可选的，姿态匹配单元1402，用于：

分别针对每个掩膜图片中K个关键点的位置信息，获取各个关键点分别与人脸图片中K个关键点中对应关键点的位置误差相加后的误差总和；

将各个掩膜图片中对应的误差总和的值最小的掩膜图片确定为目标掩膜图片。

可选的，姿态匹配单元1402，用于：

从人脸图片中确定K个关键点中可见的关键点的位置信息；

根据可见的关键点的位置信息以及预先训练的关键点预测模型，预测K个关键点中不可见的关键点的位置信息。

可选的，关键点预测模型包括对应于不同特征部位的关键点预测子模型，则姿态匹配单元1402，用于：

针对每一特征部位，根据特征部位中可见的关键点的位置信息以及特征部位对应的关键点预测子模型，预测特征部位中不可见的关键点的位置信息。

可选的，姿态匹配单元1402，用于：

针对各个人脸姿态，标注人脸姿态下采集的掩膜图片的人脸朝向；

则从多个掩膜图片中确定与人脸图片中人脸姿态匹配的目标掩膜图片，包括：

采用设定的人脸朝向确定方法，确定人脸图片中人脸朝向；

将各个掩膜图片中人脸朝向与人脸图片中人脸朝向匹配的掩膜图片，确定为目标掩膜图片。

可选的，融合单元1403，用于：

获取目标掩膜图片中人脸姿态与人脸图片中人脸姿态的偏差值；

根据偏差值对目标掩膜图片进行调整，使得调整后的目标掩膜图片中人脸姿态与人脸图片中人脸姿态的偏差值小于预设偏差值阈值；

根据调整后的目标掩膜图片中的头发区域掩膜，将人脸图片和目标头发素材图片进行融合。

可选的，目标头发素材图片为根据三维头发模型采用真实头发素材获取的图片。

可选的，融合单元1403，用于：

根据目标掩膜图片中的头发区域掩膜，从目标头发素材图片中提取头发区域掩膜对应的局部头发素材图片；

将局部头发素材图片叠加在人脸图片上，并根据叠加得到的中间图片得到目标合成图片。

可选的，该装置还包括人脸区域提取单元1404，用于：

从人脸图片中提取人脸区域图片；

融合单元1403，用于：

将人脸区域图片叠加在中间图片上，以得到目标合成图片。

该装置可以用于执行图3～图10D所示的实施例中涉及的方法，因此，对于该装置的各功能模块所能够实现的功能等可参考图3～图10D所示的实施例的描述，不多赘述。其中，人脸区域提取单元1404并非必选的功能单元，因此在图14中以虚线示出。

请参见图15，基于同一发明构思，本申请实施例还提供了一种视频流处理装置150，该装置包括：

获取单元1501，用于获取目标发型，并获取目标发型对应的多个掩膜图片，其中，多个掩膜图片分别对应于人脸的不同姿态，且每个掩膜图片包括头发区域掩膜；以及，获取初始视频流；

图像帧处理单元1502，用于针对初始视频流中的每个目标图像帧，从多个掩膜图片中确定与目标图像帧中人脸姿态匹配的目标掩膜图片，并根据目标掩膜图片中的头发区域掩膜，将图像帧和目标头发素材图片进行融合，得到目标图像帧对应的目标合成图片；

展示单元1503，用于按照各个目标图像帧在初始视频流中的先后顺序，展示各个目标图像帧对应的目标合成图片；和/或，

视频合成单元1504，用于根据各个目标图像帧在初始视频流中的位置，通过各个目标图像帧对应的目标合成图片合成目标视频流。

可选的，装置还包括确定单元1505；

获取单元1501，还用于获取头发素材信息，头发素材信息包括颜色、纹理以及长度；

确定单元1505，用于基于至少一种头发素材信息，从至少一个头发素材图片中确定目标头发素材图片。

该装置可以用于执行图11～图12所示的实施例中涉及的方法，因此，对于该装置的各功能模块所能够实现的功能等可参考图11～图12所示的实施例的描述，不多赘述。其中，确定单元1505并非必选的功能单元，因此在图15中以虚线示出。

请参见图16，基于同一发明构思，本申请实施例还提供了一种模型训练装置160，该装置包括：

获取单元1601，用于获取多个人脸图片，并获取每个人脸图片对应的目标合成图片。

模型训练单元1602，用于将各个人脸图片和与各个人脸图片对应的目标合成图片作为训练样本对模型进行训练。

该装置可以用于执行图13所示的实施例中涉及的方法，因此，对于该装置的各功能模块所能够实现的功能等可参考图13所示的实施例的描述，不多赘述。

请参见图17，基于同一技术构思，本申请实施例还提供了一种计算机设备170，可以包括存储器1701和处理器1702。

所述存储器1701，用于存储处理器1702执行的计算机程序。存储器1701可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据计算机设备的使用所创建的数据等。处理器1702，可以是一个中央处理单元(central processing unit，CPU)，或者为数字处理单元等等。本申请实施例中不限定上述存储器1701和处理器1702之间的具体连接介质。本申请实施例在图17中以存储器1701和处理器1702之间通过总线1703连接，总线1703在图17中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。所述总线1703可以分为地址总线、数据总线、控制总线等。为便于表示，图17中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器1701可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器1701也可以是非易失性存储器(non-volatilememory)，例如只读存储器，快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)、或者存储器1701是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器1701可以是上述存储器的组合。

处理器1702，用于调用所述存储器1701中存储的计算机程序时执行如图3～图10D、图11～12或者图13中所示的实施例涉及的方法。

在一些可能的实施方式中，本申请提供的方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在计算机设备上运行时，所述程序代码用于使所述计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的方法中的步骤，例如，所述计算机设备可以执行如图3～图10D、图11～12或者图13中所示的实施例涉及的方法。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (15)

1.一种图片处理方法，其特征在于，所述方法包括：

获取目标发型对应的多个掩膜图片，其中，所述多个掩膜图片分别对应于人脸的不同姿态，且每个掩膜图片包括头发区域掩膜；

获取人脸图片，并从所述多个掩膜图片中确定与所述人脸图片中人脸姿态匹配的目标掩膜图片；

根据所述目标掩膜图片中的头发区域掩膜，将所述人脸图片和目标头发素材图片进行融合，得到目标合成图片。

2.如权利要求1所述的方法，其特征在于，针对每一种发型，通过以下过程得到所述发型对应的多个掩膜图片：

获取所述发型对应的三维头发模型和三维头部模型；

按照设定的相对位置参数，将所述三维头发模型和所述三维头部模型进行组装配合；所述相对位置参数是基于真实的头部和头发的相对位置进行设置的；

按照设定的单位角度同步旋转所述三维头发模型与所述三维头部模型以形成不同的人脸姿态，且针对各个人脸姿态，获得组装配合的所述三维头发模型和所述三维头部模型的掩膜图片。

3.如权利要求2所述的方法，其特征在于，在所述按照设定的相对位置参数，将所述三维头发模型和所述三维头部模型进行组装配合之后，所述方法还包括：

针对各个人脸姿态，标注人脸姿态下采集的掩膜图片的人脸中K个关键点的位置信息，K为正整数；

则所述从所述多个掩膜图片中确定与所述人脸图片中人脸姿态匹配的目标掩膜图片，包括：

从所述人脸图片中确定所述K个关键点的位置信息；

将各个掩膜图片中K个关键点的位置信息与所述人脸图片中K个关键点的位置信息匹配的掩膜图片，确定为所述目标掩膜图片。

4.如权利要求3所述的方法，其特征在于，所述将各个掩膜图片中K个关键点的位置信息与所述人脸图片中K个关键点的位置信息匹配的掩膜图片，确定为所述目标掩膜图片，包括：

分别针对每个掩膜图片中K个关键点的位置信息，获取各个关键点分别与所述人脸图片中K个关键点中对应关键点的位置误差相加后的误差总和；

将各个掩膜图片中对应的误差总和的值最小的掩膜图片确定为所述目标掩膜图片。

5.如权利要求3所述的方法，其特征在于，从所述人脸图片中确定所述K个关键点的位置信息，包括：

从所述人脸图片中确定所述K个关键点中可见的关键点的位置信息；

根据可见的关键点的位置信息以及预先训练的关键点预测模型，预测所述K个关键点中不可见的关键点的位置信息。

6.如权利要求5所述的方法，其特征在于，所述关键点预测模型包括对应于多个特征部位的关键点预测子模型，则根据可见的关键点的位置信息以及预先训练的关键点预测模型，预测所述K个关键点中不可见的关键点的位置信息，包括：

针对每一特征部位，根据所述特征部位中可见的关键点的位置信息以及所述特征部位对应的关键点预测子模型，预测所述特征部位中不可见的关键点的位置信息。

7.如权利要求2所述的方法，其特征在于，在所述按照设定的相对位置参数，将所述三维头发模型和所述三维头部模型进行组装配合之后，所述方法还包括：

针对各个人脸姿态，标注人脸姿态下采集的掩膜图片的人脸朝向；

则所述从所述多个掩膜图片中确定与所述人脸图片中人脸姿态匹配的目标掩膜图片，包括：

采用设定的人脸朝向确定方法，确定所述人脸图片中人脸朝向；

将各个掩膜图片中人脸朝向与所述人脸图片中人脸朝向匹配的掩膜图片，确定为所述目标掩膜图片。

8.如权利要求1所述的方法，其特征在于，根据所述目标掩膜图片中的头发区域掩膜，将所述人脸图片和目标头发素材图片进行融合，得到目标合成图片，包括：

获取所述目标掩膜图片中人脸姿态与所述人脸图片中人脸姿态的偏差值；

根据所述偏差值对所述目标掩膜图片进行调整，使得调整后的目标掩膜图片中人脸姿态与所述人脸图片中人脸姿态的偏差值小于预设偏差值阈值；

根据调整后的目标掩膜图片中的头发区域掩膜，将所述人脸图片和目标头发素材图片进行融合。

9.如权利要求1所述的方法，其特征在于，所述目标头发素材图片为根据三维头发模型采用真实头发素材获取的图片。

10.如权利要求1或9所述的方法，其特征在于，所述根据所述目标掩膜图片中的头发区域掩膜，将所述人脸图片和目标头发素材图片进行融合，得到目标合成图片，包括：

根据所述目标掩膜图片中的头发区域掩膜，从所述目标头发素材图片中提取头发区域掩膜对应的局部头发素材图片；

将所述局部头发素材图片叠加在所述人脸图片上，并根据叠加得到的中间图片得到所述目标合成图片。

11.如权利要求10所述的方法，其特征在于，所述方法还包括：

从所述人脸图片中提取人脸区域图片；

则将所述局部头发素材图片与所述人脸图片进行叠加，并根据叠加得到的中间图片得到所述目标合成图片，包括：

将所述人脸区域图片叠加在所述中间图片上，以得到所述目标合成图片。

12.一种视频流处理方法，其特征在于，所述方法包括：

获取目标发型，并获取所述目标发型对应的多个掩膜图片，其中，所述多个掩膜图片分别对应于人脸的不同姿态，且每个掩膜图片包括头发区域掩膜；

获取初始视频流；

针对所述初始视频流中的每个目标图像帧，从所述多个掩膜图片中确定与目标图像帧中人脸姿态匹配的目标掩膜图片，并根据所述目标掩膜图片中的头发区域掩膜，将图像帧和目标头发素材图片进行融合，得到目标图像帧对应的目标合成图片；

按照各个目标图像帧在所述初始视频流中的先后顺序，展示各个目标图像帧对应的目标合成图片；和/或，

根据各个目标图像帧在所述初始视频流中的位置，通过各个目标图像帧对应的目标合成图片合成目标视频流。

13.一种图片处理装置，其特征在于，包括：

掩膜图片获取单元，用于获取目标发型对应的多个掩膜图片，其中，所述多个掩膜图片分别对应于人脸的不同姿态，且每个掩膜图片包括头发区域掩膜；

姿态匹配单元，用于获取人脸图片，并从所述多个掩膜图片中确定与所述人脸图片中人脸姿态匹配的目标掩膜图片；

融合单元，用于根据所述目标掩膜图片中的头发区域掩膜，将所述人脸图片和目标头发素材图片进行融合，得到目标合成图片。

14.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，

所述处理器执行所述程序时实现如权利要求1～11或者12任一所述的方法。

15.一种计算机可读存储介质，其特征在于，存储有处理器可执行指令，

所述处理器可执行指令被处理器执行时用于实现如权利要求1～11或者12任一所述的方法。

Images