CN110782419B - 一种基于图形处理器的三维人脸融合方法及系统 - Google Patents

Abstract

本发明公开了一种基于图形处理器的三维人脸融合方法及系统，其中融合方法包括步骤：S1、构建融合源、目标的三维人脸网格形状；S2、统计人脸皮肤颜色分布直方图并对融合源、目标的人脸区域纹理进行均衡化处理；S3、计算各分辨率下的融合源人脸和目标人脸的概貌纹理、轮廓细节纹理，对融合源人脸和目标人脸进行融合；S4、按照变形系数计算获得融合人脸三维形状；S5、将融合的纹理图像贴图渲染变形后的人脸三维形状，生成人脸融合结果。本发明通过控制各尺度下用户人脸和特定形象的概貌分量和轮廓细节的混合比例，从而获得效果自然且样式丰富的融合结果人像。

Description

一种基于图形处理器的三维人脸融合方法及系统

技术领域

本发明涉及图像融合领域，具体涉及一种基于图形处理器(Graphics ProcessingUnit，GPU)的三维人脸融合方法及系统。

背景技术

图像融合是将两张或多张的图像信息融合到单张图像上，使得融合的图像含有更多的信息、能够更方便人来观察、获得更佳效果或者便于计算机处理。人脸图像融合作为图像融合技术的特定应用领域，是将用户照片与特定形象进行面部融合，使生成的图片同时具备用户与特定形象的外貌特征，从而获得人像美化的视觉特效。人脸图像融合因其独特的内容、对象和效果，因而获得了更深入的研究和关注，同时也有着更广泛的应用。

现有的实时人脸融合技术大多采用人脸特征点局部变形和颜色迁移的方法实现，对于光照条件差异较大的图像(如强光、暗光、逆光或存在人脸五官遮挡情况)，该类方法的融合效果突兀，源和目标颜色差异大，融合边界轮廓明显，无法获得自然的融合效果。同时，在人脸姿态变换幅度大的情况下(如侧脸，过大的人脸角度)，因对齐后的二维人脸特征点偏差，该类方法容易出现局部区域变形严重或出现对齐困难，融合效果也不尽人意。

公开号为CN109308682A的发明专利公开了一种人脸识别与卡通还原方法、装置、介质及系统，获取用户上传的图像；识别所述图像中的人脸特征；将所述人脸特征与预建立的卡通素材库中的素材进行对比；利用相似度最高的素材和所述图像还原人脸卡通形象。本发明可以通过深度学习算法的不断精进和素材库的不断增加，提高人脸还原的相似度，具备较强的可扩展性。实际应用中能迅速识别人脸五官特征进行还原，并通过人脸融合技术，保证相似度的同时提升美观度。

上述基于深度学习的人脸融合方法，虽然能获得较自然的融合效果，但因其依赖于复杂的网络结构和庞大的计算量，该类方法的计算复杂度高，实时性差，而且对设备的计算能力要求高，无法满足大众的日常需求。在移动互联网盛行的时代，如何在资源和计算能力有限的手持设备中获得融合效果自然的人脸图像是本领域亟待解决的问题。

发明内容

本发明的目的是针对现有技术的缺陷，提供了一种基于图形处理器的三维人脸融合方法及系统。基于多尺度多分辨图像融合原理，提取人像的整体概貌信息和轮廓细节纹理，通过控制各尺度下用户人脸和特定形象的概貌分量和轮廓细节的混合比例，从而获得效果自然且样式丰富的融合结果人像。

为了实现以上目的，本发明采用以下技术方案：

一种基于图形处理器的三维人脸融合方法，包括步骤：

S1、构建融合源、目标的三维人脸网格形状；

S2、统计人脸皮肤颜色分布直方图并对融合源、目标的人脸区域纹理进行均衡化处理；

S3、计算各分辨率下的融合源人脸和目标人脸的概貌纹理、轮廓细节纹理，对融合源人脸和目标人脸进行融合；

S4、按照变形系数计算获得融合人脸三维形状；

S5、将融合的纹理图像贴图渲染变形后的人脸三维形状，生成人脸融合结果。

进一步地，步骤S2包括：

S2.1、定位、分割人脸皮肤区域；

S2.2、统计人脸皮肤颜色分布直方图；

S2.3、定义着色器代码对融合源、目标的人脸区域纹理进行均衡化处理。

进一步地，步骤S3包括：

S3.1、获得各分辨率下的融合源和目标的概貌纹理Sc、Dc；

S3.2、将各尺度下均衡化处理后融合源人脸图像So和目标图像Do分别减去Sc和Dc，获得相应的轮廓细节纹理Sd和Dd；

S3.3、控制所述概貌纹理和所述轮廓细节纹理的混合比例，对融合源人脸和目标人脸进行融合。

进一步地，所述对融合源人脸和目标人脸进行融合得到的融合纹理图像Mo为：

Mc＝Dc+(Sc–Dc)*Ac

Md＝Dd+(Sd–Dd)*Ad

Mo＝Mc+Md

其中，Ac、Ad分别为各尺度下概貌分量和轮廓细节的混合比例，Mc为融合后的概貌纹理，Md为融合后的轮廓细节纹理。

进一步地，步骤S4包括：

使用主成分分析方法对齐融合源人脸和目标人脸的三维网格形状Sm、Dm，得到三维网格形状Bm，按照变形系数Am计算获得融合人脸三维形状Om为：

Om＝Bm+(Bm–Dm)*Am。

本发明还提出一种基于图形处理器的三维人脸融合系统，包括：

网格构建模块，用于构建融合源、目标的三维人脸网格形状；

均衡模块，用于统计人脸皮肤颜色分布直方图并对融合源、目标的人脸区域纹理进行均衡化处理；

纹理融合模块，用于计算各分辨率下的融合源人脸和目标人脸的概貌纹理、轮廓细节纹理，对融合源人脸和目标人脸进行融合；

三维形状融合模块，用于按照变形系数计算获得融合人脸三维形状；

人脸融合模块，用于将融合的纹理图像贴图渲染变形后的人脸三维形状，生成人脸融合结果。

进一步地，所述均衡模块包括：

定位模块，用于定位、分割人脸皮肤区域；

统计模块，用于统计人脸皮肤颜色分布直方图；

着色模块，用于定义着色器代码对融合源、目标的人脸区域纹理进行均衡化处理。

进一步地，纹理融合模块包括：

概貌纹理获取模块，用于获得各分辨率下的融合源和目标的概貌纹理Sc、Dc；

轮廓细节纹理获取模块，用于将各尺度下均衡化处理后融合源人脸图像So和目标图像Do分别减去Sc和Dc，获得相应的轮廓细节纹理Sd和Dd；

混合模块，用于控制所述概貌纹理和所述轮廓细节纹理的混合比例，对融合源人脸和目标人脸进行融合。

进一步地，所述对融合源人脸和目标人脸进行融合得到的融合纹理图像Mo为：

Mc＝Dc+(Sc–Dc)*Ac

Md＝Dd+(Sd–Dd)*Ad

Mo＝Mc+Md

其中，Ac、Ad分别为各尺度下概貌分量和轮廓细节的混合比例，Mc为融合后的概貌纹理，Md为融合后的轮廓细节纹理。

进一步地，所述三维形状融合模块包括：

使用主成分分析方法对齐融合源人脸和目标人脸的三维网格形状Sm、Dm，得到三维网格形状Bm，按照变形系数Am计算获得融合人脸三维形状Om为：

Om＝Bm+(Bm–Dm)*Am。

本发明与现有技术相比，具有如下效果：

(1)本发明提出的基于多尺度多分辨图像融合原理，使用保边滤波器(如双边滤波器、导向滤波器等)分离人脸图片的各尺度下的颜色信息的高低频带，提取人像的整体概貌信息和轮廓细节纹理，通过控制各尺度下用户人脸和特定形象的概貌分量和轮廓细节的混合比例，从而获得效果自然且样式丰富的融合结果人像；

(2)使用人脸三维网格形状进行人脸五官对齐和局部区域变形，解决侧脸和姿态差异大情况下的人脸对齐困难问题，同时结合特定模板形象特点，美化用户人像的五官和轮廓，使融合结果图片同时具有用户与特定形象的外貌特征；

(3)结合人脸蒙版图像和特征点位置信息，准确定位和分割人脸肤色区域，计算并统计用户人脸和模板形象的肤色信息，根据肤色差异进行均衡化处理和迁移，提高人脸融合效果的真实自然感和相似度，避免出现颜色突变；

(4)充分利用GPU高效且强大的并行流水线处理能力，在GPU中分离人脸图片的高低频带信息，变形拟合三维人脸网格形状，迁移融合人脸肤色及混合概貌分量和轮廓细节，大大提高了人脸融合算法的处理效率，降低了CPU负载，满足实时性处理要求；

(5)可便捷地进行算法级联，如多人脸融合方法或人脸美化后处理方法(美颜磨皮、唇彩美妆等过程)，提高融合结果图像的美感，丰富融合视觉效果；

附图说明

图1是实施例一提供的一种基于图形处理器的三维人脸融合方法流程图；

图2是实施例二提供的一种基于图形处理器的三维人脸融合系统结构图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

实施例一

如图1所示，本实施例提出了一种基于图形处理器的三维人脸融合方法，包括：

S1、构建融合源、目标的三维人脸网格形状；

人脸融合处理过程是将用户图像的人脸区域及五官特征无缝地融合到模板图像中，使得结果图像既保留了用户的人脸五官特征，也继承了特定形象的外貌特点和内容，可应用到图像/视频换脸、全家福、与明星合照等场景中，可大大增加社交活动的趣味性。因此，本发明所述的融合源为原始的人脸图像，如全家福、与明星合照等。目标为用户想要达到的模板人脸图像，如明星的照片等。

为了构建三维人脸网格形状，本发明首先对采集的二维融合源人脸图像、目标人脸图像进行处理。检测融合源、目标的人脸信息，以根据应用场景需要选取出待融合的源人脸和融合目标人脸区域。根据具体的应用场景和实际需求，从融合源人脸图像和目标人脸图像中各选取一个合适的人脸区域。本发明检测融合源人脸图像和目标人脸图像中的所有人脸信息，对于图片中包含多个人脸区域的情况，可以根据相应的人脸区域检测方法同时检测。本发明不对具体的人脸区域检测方法进行限定，可以包括但不限定于马赛克图像法、基于人脸训练集的检测方法等。

人脸的融合核心是人脸关键点的融合，因此，在检测出人脸区域后，本发明进一步定位融合源、目标的人脸关键点二维坐标位置。人脸关键点的检测可以通过基于先验规则的方法、基于几何形状的方法、基于灰度信息的方法等，在此不再赘述。

定位融合源、目标的人脸关键点二维坐标位置后，使用三维重建方法拟合构建融合源、目标的三维人脸网格形状。对于检测出多人脸的图像，可一次进行关键点的检测并进一步基于检测的关键点拟合三维人脸网格形状。

S2、统计人脸皮肤颜色分布直方图并对融合源、目标的人脸区域纹理进行均衡化处理；

为了避免融合源和目标颜色差异大，导致融合边界轮廓明显的问题，本发明在对人脸进行融合前，对融合源、目标的人脸区域进行均衡化处理，以降低融合源和目标颜色差异。具体包括：

S2.1、定位、分割人脸皮肤区域；

结合人脸蒙版图像、检测出的人脸区域及特征点坐标位置信息，准确定位和分割人脸皮肤区域。为了加快皮肤区域定位和分割处理过程，可基于特定的人脸模特绘制人脸皮肤区域蒙版。此外，本发明利用GPU使用自定义片元着色器贴图渲染人脸三维形状，根据透明度快速定位出用户人脸图像中的皮肤区域。

S2.2、统计人脸皮肤颜色分布直方图；

肤色检测的核心是肤色建模，本发明采用直方图的方式对皮肤颜色进行统计。

S2.3、定义着色器代码对融合源、目标的人脸区域纹理进行均衡化处理。

根据皮肤颜色分布直方图，通过自定义着色器代码，在GPU中对融合源、目标人脸区域纹理均衡化处理，并将融合源人脸颜色迁移到融合目标人脸颜色范围中，使得源人脸图像和目标图像的整体色调接近一致，从而提高融合结果的真实自然感。

S3、计算各分辨率下的融合源人脸和目标人脸的概貌纹理、轮廓细节纹理，对融合源人脸和目标人脸进行融合；

本发明基于多尺度多分辨图像融合原理，首先利用GPU对颜色迁移后的源人脸图像S和融合目标图像进行多尺度保边滤波，获得各个分辨率下的源人脸和融合目标的概貌纹理Sc和Dc。具体的保边滤波可以选用双边滤波器、导向滤波器、加权最小二乘法滤波器、联合双边滤波器等。

获得各分辨率下的源人脸和融合目标的概貌纹理后，将各尺度下的颜色迁移后的源人脸图像So和融合目标图像Do减去其对应的概貌分量纹理Sc和Dc，获得相应的轮廓细节纹理Sd和Dd。具体为：

Sd＝So–Sc

Dd＝Do–Dc

获得融合源人脸和目标人脸的概貌纹理、轮廓细节纹理后，控制概貌分量和轮廓细节的混合比例，以对融合源人脸和目标人脸进行融合。对融合源人脸和目标人脸进行融合的过程中，通过控制概貌分量和轮廓细节的混合比例，使得融合纹理图像同时拥有用户与特定形象的外貌特征。

例如，当各尺度下概貌分量和轮廓细节的混合比例分别Ac和Ad时，融合纹理图像Mo为：

Mc＝Dc+(Sc–Dc)*Ac

Md＝Dd+(Sd–Dd)*Ad

Mo＝Mc+Md

其中，Mc为融合后的概貌纹理，Md为融合后的轮廓细节纹理。

本发明设置各尺度下概貌分量和轮廓细节的混合比例，并融合源人脸图像和目标人脸图像，得到同时拥有用户与特定形象的外貌特征的融合纹理。实际应用中，可根据场景需要调整混合比例系数，控制人脸融合结果的相似度。

S4、按照变形系数计算获得融合人脸三维形状；

为了避免在人脸姿态变换幅度大的情况下，局部区域变形严重或出现对齐困难的问题，本发明对融合结果的人脸五官及轮廓进行控制。具体为：

使用主成分分析方法对齐源人脸和目标人脸的三维网格形状，然后按照变形系数计算最终融合人脸三维形状，从而控制融合结果的人脸五官及轮廓。

假设融合源人脸的三维形状为Sm、融合目标人脸的三维形状为Dm，对齐源人脸和目标人脸得到的三维网格形状为Bm，按照变形系数Am计算获得融合人脸三维形状Om为：

Om＝Bm+(Bm–Dm)*Am

S5、将融合的纹理图像贴图渲染变形后的人脸三维形状，生成人脸融合结果。

本发明利用人脸蒙版图像，将融合纹理图像贴图渲染对齐变形后的人脸三维形状，融合到模板目标图像中，从而获得最终融合的人脸结果输出。

对于包括多个人脸区域的图像，可以定义人脸融合的映射关系，实现一对多、多对一、多到多的人脸融合处理过程，其具体的融合方法与单个的人脸融合相同。

本发明所述的人脸融合方法利用GPU进行处理，利用现代图形处理器可编程管线的特点和强大的并行数据处理能力，在GPU实现人脸皮肤迁移融合过程，人脸图片的高低频带信息分离处理，概貌分量和轮廓细节混合和三维人脸网格形状变形和渲染，大大提高了算法的处理效率，极大地减少CPU计算量和运算负载，可在移动设备中实时处理。

此外，为了极大化渲染效率和最大化融合算法的通用性，本发明首先会根据具体GPU的能力和不同操作系统，选择最优GPU编程语言。在微软Windows系统中使用Direct3D，在Linux系统中使用Vulkan/OpenGL，在谷歌Android系统中使用Vulkan/OpenGL ES，而在苹果iOS和OS X系统中则使用Metal/OpenGL/OpenGL ES，然后使用相应的GPU着色器编程语言具体实现人脸融合的具体数据处理过程。

本发明能够与现有的图像处理方法融合，对于融合后的人脸图像，可根据具体应用场景需要，级联处理多人脸融合处理过程或人脸美化后处理方法，提高融合结果图像的美感，丰富融合视觉效果。比如可对人脸融合效果纹理继续在GPU进行美颜磨皮处理或添加唇彩赛后等美妆效果。在此不再赘述。

实施例二

如图2所示，本实施例提出了一种基于图形处理器的三维人脸融合系统，包括：

网格构建模块，用于构建融合源、目标的三维人脸网格形状；

人脸融合处理过程是将用户图像的人脸区域及五官特征无缝地融合到模板图像中，使得结果图像既保留了用户的人脸五官特征，也继承了特定形象的外貌特点和内容，可应用到图像/视频换脸、全家福、与明星合照等场景中，可大大增加社交活动的趣味性。因此，本发明所述的融合源为原始的人脸图像，如全家福、与明星合照等。目标为用户想要达到的模板人脸图像，如明星的照片等。

为了构建三维人脸网格形状，本发明首先对采集的二维融合源人脸图像、目标人脸图像进行处理。检测融合源、目标的人脸信息，以根据应用场景需要选取出待融合的源人脸和融合目标人脸区域。根据具体的应用场景和实际需求，从融合源人脸图像和目标人脸图像中各选取一个合适的人脸区域。本发明检测融合源人脸图像和目标人脸图像中的所有人脸信息，对于图片中包含多个人脸区域的情况，可以根据相应的人脸区域检测方法同时检测。本发明不对具体的人脸区域检测方法进行限定，可以包括但不限定于马赛克图像法、基于人脸训练集的检测方法等。

人脸的融合核心是人脸关键点的融合，因此，在检测出人脸区域后，本发明进一步定位融合源、目标的人脸关键点二维坐标位置。人脸关键点的检测可以通过基于先验规则的方法、基于几何形状的方法、基于灰度信息的方法等，在此不再赘述。

定位融合源、目标的人脸关键点二维坐标位置后，使用三维重建方法拟合构建融合源、目标的三维人脸网格形状。对于检测出多人脸的图像，可一次进行关键点的检测并进一步基于检测的关键点拟合三维人脸网格形状。

均衡模块，用于统计人脸皮肤颜色分布直方图并对融合源、目标的人脸区域纹理进行均衡化处理；

为了避免融合源和目标颜色差异大，导致融合边界轮廓明显的问题，本发明在对人脸进行融合前，对融合源、目标的人脸区域进行均衡化处理，以降低融合源和目标颜色差异。具体包括：

定位模块，用于定位、分割人脸皮肤区域；

结合人脸蒙版图像、检测出的人脸区域及特征点坐标位置信息，准确定位和分割人脸皮肤区域。为了加快皮肤区域定位和分割处理过程，可基于特定的人脸模特绘制人脸皮肤区域蒙版。此外，本发明利用GPU使用自定义片元着色器贴图渲染人脸三维形状，根据透明度快速定位出用户人脸图像中的皮肤区域。

统计模块，用于统计人脸皮肤颜色分布直方图；

肤色检测的核心是肤色建模，本发明采用直方图的方式对皮肤颜色进行统计。

着色模块，用于定义着色器代码对融合源、目标的人脸区域纹理进行均衡化处理。

根据皮肤颜色分布直方图，通过自定义着色器代码，在GPU中对融合源、目标人脸区域纹理均衡化处理，并将融合源人脸颜色迁移到融合目标人脸颜色范围中，使得源人脸图像和目标图像的整体色调接近一致，从而提高融合结果的真实自然感。

纹理融合模块，用于计算各分辨率下的融合源人脸和目标人脸的概貌纹理、轮廓细节纹理，对融合源人脸和目标人脸进行融合；

本发明基于多尺度多分辨图像融合原理，首先利用GPU对颜色迁移后的源人脸图像S和融合目标图像进行多尺度保边滤波，获得各个分辨率下的源人脸和融合目标的概貌纹理Sc和Dc。具体的保边滤波可以选用双边滤波器、导向滤波器、加权最小二乘法滤波器、联合双边滤波器等。

获得各分辨率下的源人脸和融合目标的概貌纹理后，将各尺度下的颜色迁移后的源人脸图像So和融合目标图像Do减去其对应的概貌分量纹理Sc和Dc，获得相应的轮廓细节纹理Sd和Dd。具体为：

Sd＝So–Sc

Dd＝Do–Dc

获得融合源人脸和目标人脸的概貌纹理、轮廓细节纹理后，控制概貌分量和轮廓细节的混合比例，以对融合源人脸和目标人脸进行融合。对融合源人脸和目标人脸进行融合的过程中，通过控制概貌分量和轮廓细节的混合比例，使得融合纹理图像同时拥有用户与特定形象的外貌特征。

例如，当各尺度下概貌分量和轮廓细节的混合比例分别Ac和Ad时，融合纹理图像Mo为：

Mc＝Dc+(Sc–Dc)*Ac

Md＝Dd+(Sd–Dd)*Ad

Mo＝Mc+Md

其中，Mc为融合后的概貌纹理，Md为融合后的轮廓细节纹理。

本发明设置各尺度下概貌分量和轮廓细节的混合比例，并融合源人脸图像和目标人脸图像，得到同时拥有用户与特定形象的外貌特征的融合纹理。实际应用中，可根据场景需要调整混合比例系数，控制人脸融合结果的相似度。

三维形状融合模块，用于按照变形系数计算获得融合人脸三维形状；

为了避免在人脸姿态变换幅度大的情况下，局部区域变形严重或出现对齐困难的问题，本发明对融合结果的人脸五官及轮廓进行控制。具体为：

使用主成分分析方法对齐源人脸和目标人脸的三维网格形状，然后按照变形系数计算最终融合人脸三维形状，从而控制融合结果的人脸五官及轮廓。

假设融合源人脸的三维形状为Sm、融合目标人脸的三维形状为Dm，对齐源人脸和目标人脸得到的三维网格形状为Bm，按照变形系数Am计算获得融合人脸三维形状Om为：

Om＝Bm+(Bm–Dm)*Am

人脸融合模块，用于将融合的纹理图像贴图渲染变形后的人脸三维形状，生成人脸融合结果。

本发明利用人脸蒙版图像，将融合纹理图像贴图渲染对齐变形后的人脸三维形状，融合到模板目标图像中，从而获得最终融合的人脸结果输出。

对于包括多个人脸区域的图像，可以定义人脸融合的映射关系，实现一对多、多对一、多到多的人脸融合处理过程，其具体的融合方法与单个的人脸融合相同。

本发明所述的人脸融合方法利用GPU进行处理，利用现代图形处理器可编程管线的特点和强大的并行数据处理能力，在GPU实现人脸皮肤迁移融合过程，人脸图片的高低频带信息分离处理，概貌分量和轮廓细节混合和三维人脸网格形状变形和渲染，大大提高了算法的处理效率，极大地减少CPU计算量和运算负载，可在移动设备中实时处理。

此外，为了极大化渲染效率和最大化融合算法的通用性，本发明首先会根据具体GPU的能力和不同操作系统，选择最优GPU编程语言。在微软Windows系统中使用Direct3D，在Linux系统中使用Vulkan/OpenGL，在谷歌Android系统中使用Vulkan/OpenGL ES，而在苹果iOS和OS X系统中则使用Metal/OpenGL/OpenGL ES，然后使用相应的GPU着色器编程语言具体实现人脸融合的具体数据处理过程。

本发明能够与现有的图像处理方法融合，对于融合后的人脸图像，可根据具体应用场景需要，级联处理多人脸融合处理过程或人脸美化后处理方法，提高融合结果图像的美感，丰富融合视觉效果。比如可对人脸融合效果纹理继续在GPU进行美颜磨皮处理或添加唇彩赛后等美妆效果。在此不再赘述。

由此可知，本发明提出的基于图形处理器的三维人脸融合方法，通过对融合源和目标的肤色进行均衡，避免源和目标颜色差异大，融合边界轮廓明显，无法获得自然的融合效果的问题。此外通过对人脸三维网格形状进行人脸五官对齐和局部区域变形，解决侧脸和姿态差异大情况下的人脸对齐困难的问题，获得效果自然且样式丰富的融合结果人像。利用GPU高效且强大的并行流水线处理能力大大提高了人脸融合算法的处理效率，降低了CPU负载，满足实时性处理要求，能够在移动终端进行处理，提高了人脸融合的便利性。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (2)

1.一种基于图形处理器的三维人脸融合方法，其特征在于，包括步骤：

S1、构建融合源、目标的三维人脸网格形状；

S2、统计人脸皮肤颜色分布直方图并对融合源、目标的人脸区域纹理进行均衡化处理；

S3、计算各分辨率下的融合源人脸和目标人脸的概貌纹理、轮廓细节纹理，对融合源人脸和目标人脸进行融合；

S4、按照变形系数计算获得融合人脸三维形状；

S5、将融合的纹理图像贴图渲染变形后的人脸三维形状，生成人脸融合结果；

步骤S2包括：

S2.1、定位、分割人脸皮肤区域；

S2.2、统计人脸皮肤颜色分布直方图；

S2.3、定义着色器代码对融合源、目标的人脸区域纹理进行均衡化处理；

步骤S3包括：

S3.1、获得各分辨率下的融合源和目标的概貌纹理Sc、Dc；

S3.2、将各尺度下均衡化处理后融合源人脸图像So和目标图像Do分别减去Sc和Dc，获得相应的轮廓细节纹理Sd和Dd；

S3.3、控制所述概貌纹理和所述轮廓细节纹理的混合比例，对融合源人脸和目标人脸进行融合；

所述对融合源人脸和目标人脸进行融合得到的融合纹理图像Mo为：

Mc＝Dc+(Sc–Dc)*Ac

Md＝Dd+(Sd–Dd)*Ad

Mo＝Mc+Md

其中，Ac、Ad分别为各尺度下概貌分量和轮廓细节的混合比例，Mc为融合后的概貌纹理，Md为融合后的轮廓细节纹理；

步骤S4包括：使用主成分分析方法对齐融合源人脸和目标人脸的三维网格形状Sm、Dm，得到三维网格形状Bm，按照变形系数Am计算获得融合人脸三维形状Om为：

Om＝Bm+(Bm–Dm)*Am。

2.一种基于图形处理器的三维人脸融合系统，其特征在于，包括：

网格构建模块，用于构建融合源、目标的三维人脸网格形状；

均衡模块，用于统计人脸皮肤颜色分布直方图并对融合源、目标的人脸区域纹理进行均衡化处理；

纹理融合模块，用于计算各分辨率下的融合源人脸和目标人脸的概貌纹理、轮廓细节纹理，对融合源人脸和目标人脸进行融合；

三维形状融合模块，用于按照变形系数计算获得融合人脸三维形状；

人脸融合模块，用于将融合的纹理图像贴图渲染变形后的人脸三维形状，生成人脸融合结果；

所述均衡模块包括：

定位模块，用于定位、分割人脸皮肤区域；

统计模块，用于统计人脸皮肤颜色分布直方图；

着色模块，用于定义着色器代码对融合源、目标的人脸区域纹理进行均衡化处理；

纹理融合模块包括：

概貌纹理获取模块，用于获得各分辨率下的融合源和目标的概貌纹理Sc、Dc；

轮廓细节纹理获取模块，用于将各尺度下均衡化处理后融合源人脸图像So和目标图像Do分别减去Sc和Dc，获得相应的轮廓细节纹理Sd和Dd；

混合模块，用于控制所述概貌纹理和所述轮廓细节纹理的混合比例，对融合源人脸和目标人脸进行融合；

所述对融合源人脸和目标人脸进行融合得到的融合纹理图像Mo为：

Mc＝Dc+(Sc–Dc)*Ac

Md＝Dd+(Sd–Dd)*Ad

Mo＝Mc+Md

其中，Ac、Ad分别为各尺度下概貌分量和轮廓细节的混合比例，Mc为融合后的概貌纹理，Md为融合后的轮廓细节纹理；

所述三维形状融合模块包括：

使用主成分分析方法对齐融合源人脸和目标人脸的三维网格形状Sm、Dm，得到三维网格形状Bm，按照变形系数Am计算获得融合人脸三维形状Om为：

Om＝Bm+(Bm–Dm)*Am。

Images