CN115660948A - 一种发型转换方法、装置及存储介质 - Google Patents

Abstract

本发明公开了一种发型转换方法、装置及存储介质，其包括：获取待转换源图和目标发型图，进行对齐处理，得到目标发型对齐图；将待转换源图输入至第一编码器内，得到第一特征向量和第一特征图；对第一特征图进行第一头发分割后输入神经网络进行图像修复，得到第三特征向量和第三特征图；将目标发型对齐图输入至第一编码器内，得到第二特征向量和第二特征图；对第二特征图进行第二头发分割，将第二头发分割结果进行压缩，压缩结果记为M；基于第二特征图、第三特征图和M，进行发型融合，得到第一融合图；对第一融合图进行二次融合，得到第二融合图。通过本发明的发型转换方法，能够提升发型转换效果，得到自然且高清的发型转换结果。

Description

一种发型转换方法、装置及存储介质

技术领域

本发明涉及图像处理技术领域，特别是一种发型转换方法及其应用该方法的发型转换装置及计算机可读存储介质。

背景技术

通常，人们会尝试通过美发来改变自己的形象、气质。但是，其中很大一部分的人希望在进行美发之前，能够先看到自己美发后的整体效果如何，作为尝试美发前的效果参考。

或者，人们为了新奇的体验，也会希望能够通过简单的操作实现短时间内尝试多种不同的发型的原因。因此，一些基于图像处理技术的发型(或称发型迁移)应用应运而生。发型转换(或称迁移)任务，是指将源图像中的人脸发型修改成为目标图像中的人脸发型。

但是，目前发型转换(或称迁移)任务的实现效果不佳，发型转化效果不自然。例如：除头发外的其他人脸属性也会发生改变、转换后的图像分辨率不高，头发部分较为模糊。

发明内容

本发明的主要目的在于提供了一种发型转换方法、装置及存储介质，旨在解决现有的发型转换方法发型转化效果不佳、不自然的技术问题。

为实现上述目的，本发明提供了一种发型转换方法，其包括以下步骤：获取待转换源图和目标发型图，进行对齐处理，得到目标发型对齐图；将待转换源图输入至第一编码器内，得到第一特征向量和第一特征图；对第一特征图进行第一头发分割后输入神经网络进行图像修复，得到第三特征向量和第三特征图；将目标发型对齐图输入至第一编码器内，得到第二特征向量和第二特征图；对第二特征图进行第二头发分割，将第二头发分割结果进行压缩，压缩结果记为M；基于第二特征图、第三特征图和M，进行发型融合，得到第一融合图；对第一融合图进行二次融合，得到第二融合图。

优选的，对齐处理进一步包括：分别对待转换源图和目标发型图进行关键点检测，得到待转换源图的关键点和目标发型图的关键点；将目标发型图与目标发型图的关键点输入至对齐网络的第二编码器内，进行特征提取，得到对应的高维特征；将高维特征与待转换源图的关键点输入至对齐网络的生成器内，生成目标发型对齐图。

优选的，对齐网络是通过K-hairstyle数据集训练得到的，且对齐网络采用u-net结构。

优选的，第一编码器是通过预先训练得到的，具体为通过Stylegan生成器生成多张人脸图片，并保存与多张人脸图片相对应的多个向量，用于训练第一编码器。

优选的，对第一特征图进行第一头发分割后输入神经网络进行图像修复，得到第三特征向量和第三特征图，具体包括如下步骤：对第一特征图进行第一头发分割，得到源图发型掩膜，以确定待修复区域；基于人脸图片得到编辑头发长度的方向向量，并基于方向向量对第一特征图进行处理，得到用于引导图像修复的引导图像；将第一特征图输入神经网络，神经网络基于源图发型掩膜与引导图像，对第一头发分割后的第一特征图进行图像修复。

优选的，基于人脸图片得到编辑头发长度的方向向量，具体包括如下步骤：获取预设长发阈值和预设短发阈值，并通过人脸属性判别器对人脸图片进行分类，得到带头发长度标签的图片数据集；基于头发长度标签对相应的特征向量进行训练，得到svm分类超平面；对svm分类超平面取法向量，得到编辑头发长度的方向向量。

优选的，对第二特征图进行第二头发分割并压缩，将压缩结果记为M，具体包括如下步骤：对第二特征图进行第二头发分割，得到目标发型掩膜；再将目标发型掩膜压缩至特征空间F的尺度，并将压缩结果记为记为M。

优选的，基于第二特征图、第三特征图和M，进行发型融合，得到第一融合图，具体公式如下：F_merge＝M*F_align+(1-M)*F_short；其中，F_merge表示第一融合后的高维特征，其具有空间意义，F_align表示第二特征图的F高维特征，F_short表示第三特征图的F高维特征；二次融合是基于源图发型掩膜与目标发型掩膜的融合掩膜、第一融合图、待转换源图进行的；融合掩膜为源图发型掩膜与目标发型掩膜的并集。

与所述发型转换方法相对应的，本发明提供一种发型转换装置，其包括：图像获取模块，用于获取待转换源图和目标发型图；对齐处理模块，用于对待转换源图和目标发型图，进行对齐处理，得到目标发型对齐图；第一编码器，将待转换源图输入至第一编码器内，得到第一特征向量和第一特征图；将目标发型对齐图输入至第一编码器内，得到第二特征向量和第二特征图；图像修复模块，用于对第一特征图进行第一头发分割后输入神经网络进行图像修复，得到第三特征向量和第三特征图；头发分割模块，用于对进行第一头发分割，对第二特征图进行第二头发分割；压缩模块，用于将第二特征图的第二头发分割结果进行压缩，将压缩结果记为M；第一融合模块，用于基于第二特征图、第三特征图和M，进行发型融合，得到第一融合图；第二融合模块，用于对第一融合图进行二次融合，得到第二融合图。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有图像处理程序，所述图像处理程序被处理器执行时实现如上文所述的发型转换方法的步骤。

本发明的有益效果是：

(1)通过对齐处理，能够根据待转移源图的姿态，修改生成网络的隐空间特征，自动匹配待转移源图的人脸角度，得到合适角度的发型；通过第一融合(即发型融合)，能够参照待转移源图的发色、环境光线等参数，调整目标发型；通过二次融合能够提升融合效果，得到自然且高清的发型转换结果；

(2)采用K-hairstyle数据集训练得到对齐网络，使得目标输出图是带有像素级标签的，并且采用u-net结构，充分利用了目标人脸姿态；

(3)通过引导图像引导神经网络进行图像修复，能够提高图像修复效果；再结合源图发型掩膜对第一特征图进行图像修复，在源图发型掩膜区域生成非头发，让修复结果更加真实，同时，不改变待转换源图中除了头发以外的区域，提高了图像修复效果；

(4)通过将目标发型掩膜压缩到特征空间F的尺度，F特征级别融合在编辑后不会出现不自然的过渡边缘，同时，能够保留无关区域和原始图片的一致性使得发型转换效果更加自然；

(5)基于源图发型掩膜与目标发型掩膜的融合掩膜、第一融合图、第三特征图进行二次融合，能够避免脸部和身体等非头发区域因为发型转换而发生变化，提高了发型转换效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明发型转换方法的流程简图；

图2为本发明发型转换方法的一实施例示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，术语“第一”、“第二”等词语仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。以下结合实施例详细阐述本发明的内容。

目前，已经有不少发型转换研究的工作，多数的方法都是基于生成对抗网络中的Stylegan，原因是Stylegan很大程度上保证了生成图的人脸语义质量。比如MiChiGan参考Stylegan，设计了一个条件生成网络，使用引导图来对生成发型的属性加以进行控制，LOHO则是通过迭代优化Stylegan的隐向量来得到比较自然的结果，但它们都只适用于姿态相对一致的情况，且支持的图片分辨率比较低。

此外，还有像SimSwap等的换脸算法，它相比发型转换，可以认为是反向换发型，但对目标人脸有比较大的改变。但是由于现有技术的局限，发型转换认为面临转换效果不佳的痛点。

为了提升发型转换效果，得到自然且高清的发型转换结果，本发明提供一种发型转换方法、装置及存储介质。如图1所示，本发明的一种发型转换方法，其包括以下步骤：获取待转换源图和目标发型图，进行对齐处理，得到目标发型对齐图；将待转换源图输入至第一编码器内，得到第一特征向量和第一特征图；对第一特征图进行第一头发分割后输入神经网络进行图像修复，得到第三特征向量和第三特征图；将目标发型对齐图输入至第一编码器内，得到第二特征向量和第二特征图；对第二特征图进行第二头发分割，将第二头发分割结果进行压缩，压缩结果记为M；基于第二特征图、第三特征图和M，进行发型融合(也可称为第一融合)，得到第一融合图；对第一融合图进行二次融合，得到第二融合图。

本发明通过对齐处理，能够根据待转移源图的姿态，修改生成网络的隐空间特征，自动匹配待转移源图的人脸角度，得到合适角度的发型；通过第一融合，能够参照待转移源图的发色、环境光线等参数，调整目标发型；通过二次融合能够提升融合效果，得到自然且高清的发型转换结果。

为便于理解，下面结合图2(本发明发型转换方法的一实施例示意图)对本发明进行说明。如图2所示，a1为待转换源图，可以由用户输入得到；b1为目标发型图，可以由用户输入得到，或用户选择得到，或系统随机选择得到；a2为根据待转换源图得到的第一特征图，有对应的第一特征向量；b2为根据目标发型图得到的目标发型对齐图，c为根据目标发型对齐图得到的第二特征图，有对应的第二特征向量；a3为基于第一特征图得到的第三特征图；d1为第一融合图，d2为第二融合图；m1为基于第一头发分割得到的源图发型掩膜，m2为基于第二头发分割得到的目标发型掩膜，m3为基于源图发型掩膜m1、目标发型掩膜m2得到的融合掩膜。

在本实施例中，对齐网络分为编码器(即下文的第二编码器)和生成器两部分。对齐处理进一步包括：分别对待转换源图a1和目标发型图b1进行关键点检测，得到待转换源图a1的关键点和目标发型图b1的关键点；将目标发型图b1与目标发型图b1的关键点输入至对齐网络的第二编码器内，进行特征提取，得到对应的高维特征；将高维特征与待转换源图a1的关键点输入至对齐网络的生成器内，生成目标发型对齐图b2。

优选的，对齐网络是通过K-hairstyle数据集训练得到的，且对齐网络采用u-net结构。

本发明采用K-hairstyle数据集(一个同人同发型多角度的数据集)训练得到对齐网络，使得目标输出图是带有像素级标签的，并且采用u-net结构，充分利用了目标人脸姿态。

在本实施例中，第一编码器是通过预先训练得到的，具体为通过Stylegan生成器生成多张人脸图片，并保存与多张人脸图片相对应的多个向量，用于训练第一编码器。

Stylegan生成器的输入是一个随机向量，输出是一张人脸图像，本发明基于该生成器可以保证生成的人脸图片质量较高的，这对于生成图来说是很根本且很重要的。优选的，在本实施例中，通过Stylegan生成器生成两万张人脸图片，保存对应的两万个向量，用于训练第一编码器；该编码器可以反向地将一张图片转换成对应的高维向量，也可称为该图片的特征向量。

在本实施例中，对第一特征图a2进行第一头发分割后输入神经网络进行图像修复，得到第三特征向量和第三特征图a3，具体包括如下步骤：对第一特征图a2进行第一头发分割，得到源图发型掩膜m1，以确定待修复区域；基于人脸图片得到编辑头发长度的方向向量，并基于方向向量对第一特征图a2进行处理，得到用于引导图像修复的引导图像；将第一特征图a2输入神经网络，神经网络基于源图发型掩膜m1与引导图像，进行图像修复。

其中，基于方向向量对第一特征图a2进行处理具体为：通过方向向量对第一特征图a2对应的第一特征向量做加法或减法，使得第一特征图a2中的发型变短。

可以理解的是，可以通过设置预设头发长度阈值，对方向向量处理后得到的第一特征图a2的发型长度进行限定，保证无论待转换源图a1的发型是长发还是短发，都能通过方向向量的处理得到符合应用标准的发型长度。

在本实施例中，基于人脸图片得到编辑头发长度的方向向量，具体包括如下步骤：获取预设长发阈值和预设短发阈值，并通过人脸属性判别器对人脸图片进行分类，得到带头发长度标签的图片数据集；基于头发长度标签对相应的特征向量进行训练，得到svm分类超平面；对svm分类超平面取法向量，得到编辑头发长度的方向向量。

优选的，本实施例中，随机采样4万张Stylegan生成器的生成图，基于长发和短发的二分类判别器，得到头发长短的标签和置信得分，并对长发图片取得分高的50％，短发图片取得分高的50％，并根据具体的置信得分设置对应的阈值，此时得到带头发长度标签的图片数据集，各1万张(及对应的特征)。

人脸属性判别器可以采用现有的第三方工具，其可以对输入图片的指定属性进行打分，比如：图片中头发为卷发的置信分数、皮肤为黄色的置信分数等，在本发明中用于对头发的长度进行区分。

本发明通过编辑头发长度的方向向量使得第一特征图a2中的发型变短，生成引导图像，通过引导图像引导神经网络进行图像修复，能够提高图像修复效果；再结合源图发型掩膜m1对第一特征图a2进行图像修复，在源图发型掩膜m1区域生成非头发，让修复结果更加真实，同时，不改变待转换源图a1中除了头发以外的区域，提高了图像修复效果。

优选的，本实施例中采用的神经网络是预先训练好的，采用e4e神经网络进行训练，e4e使用基于编码器(encoder)的方法，在控制失真量的前提下力求获得反演图像最佳的感知质量与可编辑潜码(editable latents)。它不仅关注于如何获得高质量的反演图像，更加关注于如何获得高质量的可编辑潜码，使得真实图像在数字孪生空间内具有更强的感知质量与演变能力。

简单来说，本实施例中训练方式为：一张图随机地用一个掩膜(mask)将图片相应的部分的值变成全0，然后和mask一起输出至e4e，输出图片使用未mask前的原图监督，如此训练e4e。使用的时候，该神经网络就会根据mask对对应的区域进行图像修复。

在本实施例中，基于第一头发分割得到头发区域(源图发型掩膜m1)，基于源图发型掩膜m1可以确定修复区域，再通过方向向量将第一特征图a2中的发型变成短发/光头，生成引导图像引导图像修复；神经网络根据源图发型掩膜m1与引导图像对对应的区域进行图像修复，在源图发型掩膜m1区域生成非头发之后进行发型转换，就不会有多余的源图头发出现。

在本实施例中，对第二特征图c进行第二头发分割，将第二头发分割结果进行压缩，压缩结果记为M，具体包括如下步骤：采用预训练的头发分割工具包对第二特征图c进行第二头发分割，得到目标发型掩膜m2；再将目标发型掩膜m2压缩至特征空间F的尺度，并将压缩结果记为记为M。

在本实施例中，头发分割工具包是一个开源的模型，它会根据输入的第二特征图c，输出一个第二头发分割的结果，比如属于头发的像素位置用1表示，不属于头发的像素位置用0表示。可以理解的是，第一头发分割原理与第二头发分割类似，也是通过上述头发分割工具包实现，不做赘述。

在本实施例中，F空间是FS空间的子空间。而FS空间本质上可以看作是Stylegan生成器中间层的一个结果。F和S，基本上把结构信息分开，F表示结构，S表示颜色等其他信息。其中，FS的值一旦确定，那么经过stylegan生成器后面的层，得到最后的图片，也是确定的。

W+是stylegan生成器的特征空间，功能上，W+可以进行编辑，而FS就无法编辑短发，因为FS中的F的值已经固定，具有图片的结构信息，无法进行改变。

本发明通过将目标发型掩膜m2压缩到特征空间F的尺度，由于F空间是具有结构意义的，一个固定的F就已经决定了生成图结构，因此相比在图片像素级别做融合，F特征级别融合在编辑后不会出现不自然的过渡边缘，同时，能够保留无关区域和原始图片的一致性使得发型转换效果更加自然。在本实施例中，基于第二特征图c、第三特征图a3和M，进行发型融合，得到第一融合图d1，具体公式如下：

F_merge＝M*F_align+(1-M)*F_short；

其中，F_merge表示第一融合后的高维特征，其具有空间意义，F_align表示第二特征图c的F高维特征，F_short表示第三特征图a3的F高维特征。

上述发型融合具体是基于第二特征图c的第二特征向量、第三特征图a3的第三特征向量以及M，进行发型融合，得到第一融合图d1；是特征层面的融合，而不是图片层面的融合，因此融合的结果会更加自然。

需要说明的是，为形象地展示本发明发型转换方法的一实施例示意图，图2中c指代第二特征图、a3指代第三特征图。但可以理解的是，对第一特征图a2进行第一头发分割后输入神经网络进行图像修复，得到的是第三特征向量(图中未示出)和第三特征图a3；将目标发型对齐图b2输入至第一编码器内，得到的是第二特征向量(图中未示出)和第二特征图。因此，实际上c还包括了与第二特征图对应的第二特征，同样的，a3还包括了第三特征图对应的第三特征向量、a2还包括了第一特征图对应的第一特征向量。

融合时使用的S特征是待转移源图的(即第二特征图c)，由于S空间表示的更多是非结构的属性，所以融合结果在发色和光照等方面保留了源图的用户的光线、发色等，可以自适应地和待转移源图匹配。

完整的S空间上，可以修改它的一些值，使得相应的特征变化的，比如将发型变卷，或者变成有刘海。因此本发明中在进行发型转换的时候，还可以修改相应的值，从而控制最后的发型效果。即本发明中的发型转换，除了可以转换成目标发型的样子，还可以转换成目标发型经过一定编辑后的款式，更加灵活、多样化。

在本实施例中，二次融合是基于源图发型掩膜m1与目标发型掩膜m2的融合掩膜m3、第一融合图d1、待转换源图a1进行的，具体而言，二次融合是基于待转换源图a1中非融合掩膜m3的区域、第一融合图d1以及融合掩膜m3进行的；融合掩膜m3是源图发型掩膜m1与目标发型掩膜m2的并集。

进一步而言，二次融合是部分替换源图，因此能够保证二次融合后得到的第二融合图的人脸和源图人脸一致。

本发明通过基于源图发型掩膜m1与目标发型掩膜m2的融合掩膜m3、第一融合图d1、待转换源图a1中非融合掩膜m3的区域进行二次融合，能够避免脸部和身体等非头发区域因为发型转换而发生变化，提高了发型转换效果。

本发明是基于Stylegan生成器实现的，不仅可以可以自动匹配用户输入图的人脸角度、自动调整发型转换后的发色和光线等；并且目标发型转换更加灵活、多样化，编辑后的图片高清、自然真实。

与发型转换方法相对应的，本发明提供一种发型转换装置，其包括：图像获取模块，用于获取待转换源图a1和目标发型图b1；对齐处理模块，用于对待转换源图a1和目标发型图b1，进行对齐处理，得到目标发型对齐图；第一编码器，将待转换源图a1输入至第一编码器内，得到第一特征向量和第一特征图a2；将目标发型对齐图输入至第一编码器内，得到第二特征向量和第二特征图c；图像修复模块，用于对第一特征图a2进行第一头发分割后输入神经网络进行图像修复，得到第三特征向量和第三特征图a3；头发分割模块，用于对第一特征图a2进行第一头发分割，对第二特征图c进行第二头发分割；压缩模块，用于将第二特征图c的第二头发分割结果进行压缩，将压缩结果记为M；第一融合模块，用于基于第二特征图c、第三特征图a3和M，进行发型融合，得到第一融合图d1；第二融合模块，用于对第一融合图d1进行二次融合，得到第一融合图d2。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以是存储器中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。该计算机可读存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现图1所示的发型转换方法。所述计算机可读存储介质可以是只读存储器，磁盘或光盘等。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置实施例、设备实施例及存储介质实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

并且，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

上述说明示出并描述了本发明的优选实施例，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (10)

1.一种发型转换方法，其特征在于，包括以下步骤：

获取待转换源图和目标发型图，进行对齐处理，得到目标发型对齐图；

将待转换源图输入至第一编码器内，得到第一特征向量和第一特征图；对第一特征图进行第一头发分割后输入神经网络进行图像修复，得到第三特征向量和第三特征图；

将目标发型对齐图输入至第一编码器内，得到第二特征向量和第二特征图；对第二特征图进行第二头发分割，将第二头发分割结果进行压缩，压缩结果记为M；

基于第二特征图、第三特征图和M，进行发型融合，得到第一融合图；

对第一融合图进行二次融合，得到第二融合图。

2.根据权利要求1所述的一种发型转换方法，其特征在于：对齐处理进一步包括：

分别对待转换源图和目标发型图进行关键点检测，得到待转换源图的关键点和目标发型图的关键点；

将目标发型图与目标发型图的关键点输入至对齐网络的第二编码器内，进行特征提取，得到对应的高维特征；

将高维特征与待转换源图的关键点输入至对齐网络的生成器内，生成目标发型对齐图。

3.根据权利要求2所述的一种发型转换方法，其特征在于：对齐网络是通过K-hairstyle数据集训练得到的，且对齐网络采用u-net结构。

4.根据权利要求1所述的一种发型转换方法，其特征在于：第一编码器是通过预先训练得到的，具体为通过Stylegan生成器生成多张人脸图片，并保存与多张人脸图片相对应的多个向量，用于训练第一编码器。

5.根据权利要求4所述的一种发型转换方法，其特征在于：对第一特征图进行第一头发分割后输入神经网络进行图像修复，得到第三特征向量和第三特征图，具体包括如下步骤：

对第一特征图进行第一头发分割，得到源图发型掩膜，以确定待修复区域；

基于人脸图片得到编辑头发长度的方向向量，并基于方向向量对第一特征图进行处理，得到用于引导图像修复的引导图像；

将第一特征图输入神经网络，神经网络基于源图发型掩膜与引导图像，进行图像修复。

6.根据权利要求5所述的一种发型转换方法，其特征在于：基于人脸图片得到编辑头发长度的方向向量，具体包括如下步骤：

获取预设长发阈值和预设短发阈值，并通过人脸属性判别器对人脸图片进行分类，得到带头发长度标签的图片数据集；

基于头发长度标签对相应的特征向量进行训练，得到svm分类超平面；

对svm分类超平面取法向量，得到编辑头发长度的方向向量。

7.根据权利要求1所述的一种发型转换方法，其特征在于：对第二特征图进行第二头发分割并压缩，将压缩结果记为M，具体包括如下步骤：

对第二特征图进行第二头发分割，得到目标发型掩膜；

再将目标发型掩膜压缩至特征空间F的尺度，并将压缩结果记为记为M。

8.根据权利要求1所述的一种发型转换方法，其特征在于：基于第二特征图、第三特征图和M，进行发型融合，得到第一融合图，具体公式如下：

F_merge＝M*F_align+(1-M)*F_short

其中，F_merge表示第一融合后的高维特征，其具有空间意义，F_align表示第二特征图的F高维特征，F_short表示第三特征图的F高维特征；

二次融合是基于源图发型掩膜与目标发型掩膜的融合掩膜、第一融合图、待转换源图进行的；融合掩膜为源图发型掩膜与目标发型掩膜的并集。

9.一种发型转换装置，其特征在于，包括：

图像获取模块，用于获取待转换源图和目标发型图；

对齐处理模块，用于对待转换源图和目标发型图，进行对齐处理，得到目标发型对齐图；

第一编码器，将待转换源图输入至第一编码器内，得到第一特征向量和第一特征图；将目标发型对齐图输入至第一编码器内，得到第二特征向量和第二特征图；

图像修复模块，用于对第一特征图进行第一头发分割后输入神经网络进行图像修复，得到第三特征向量和第三特征图；

头发分割模块，用于对第一特征图进行第一头发分割，对第二特征图进行第二头发分割；

压缩模块，用于将第二特征图的第二头发分割结果进行压缩，将压缩结果记为M；

第一融合模块，用于基于第二特征图、第三特征图和M，进行发型融合，得到第一融合图；

第二融合模块，用于对第一融合图进行二次融合，得到第二融合图。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有图像处理程序，所述图像处理程序被处理器执行时实现如权利要求1至8任一项所述的发型转换方法的步骤。

Images