CN113240814B - 图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开关于一种图像处理方法、装置、电子设备及存储介质，涉及图像处理技术领域。其中，方法包括：在获取到原始图像和目标图像后，分别对原始图像包含第一人脸图像和目标图像包含的第二人脸图像进行三维重建，得到第一人脸图像的原始三维人脸网格，及第二人脸图像中人脸的第一焦距和第一方向，根据第一焦距、第一方向和第一人脸图像，重建出第一人脸图像的目标三维人脸网格，根据原始三维人脸网格和目标三维人脸网格对第一人脸图像进行逐像素调整，以得到目标人脸图像。由此，基于三维重建的方式根据目标图像中人脸调整原始图像中人脸的方向和透视，使得调整得到的目标人脸图像的五官布局更加合理。

Description

图像处理方法、装置、电子设备及存储介质

技术领域

本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

在换脸等应用中，将源人脸的方向和透视情况对齐目标人脸是非常重要的。但是，相关技术中，基本都是假设为比较简单的正交投影，然后重建正交投影下的人脸三维方向，并根据目标的方向去调整人脸朝向，从而出现由于正交投影和真实世界的成像规则不同导致人脸三维方向的获取是误差很大。

发明内容

本公开提供一种人脸图像的调整方法、装置及电子设备，以至少解决相关技术中人脸图像调整存在误差较大的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种图像处理方法，包括：

获取原始图像和目标图像；所述原始图像包含第一人脸图像，所述目标图像包含第二人脸图像；

分别对所述第一人脸图像和所述第二人脸图像进行三维重建，得到所述第一人脸图像的原始三维人脸网格，及所述第二人脸图像中人脸的第一焦距和第一方向；

根据所述第一焦距、所述第一方向和所述第一人脸图像，重建出所述第一人脸图像的目标三维人脸网格；

根据所述原始三维人脸网格和所述目标三维人脸网格对所述第一人脸图像进行逐像素调整，得到目标人脸图像。

作为本公开实施例的第一种可能的情况，所述根据所述第一焦距、所述第一方向和所述第一人脸图像，重建出所述第一人脸图像的目标三维人脸网格，包括：

对所述第一人脸图像进行三维重建，得到所述第一人脸图像的第二焦距和第二方向；

将所述第一人脸图像从所述第二方向旋转至所述第一方向，将所述第一人脸图像的第二焦距调整为所述第一焦距，以及将所述第一人脸图像对应的相机坐标系的Z方向缩放至第一距离，得到所述目标三维人脸网格；其中，所述相机坐标系的Z方向为用于采集所述原始图像的采集设备的镜头与所述第一人脸图像中人脸的距离；所述第一距离为所述第二焦距与所述第一焦距的比值。

作为本公开实施例的第二种可能的情况，所述根据所述原始三维人脸网格和所述目标三维人脸网格对所述第一人脸图像进行逐像素调整，得到目标人脸图像，包括：

对所述原始三维人脸网格和所述目标三维人脸网格进行投影，分别得到对应的原始二维人脸网格和目标二维人脸网格；

将所述原始二维人脸网格中的各像素点移动至所述目标二维人脸网格对应的像素点位置，得到所述目标人脸图像。

作为本公开实施例的第三种可能的情况，还包括：

对所述原始图像进行人脸关键点检测，得到第一人脸关键点；

对所述原始二维人脸网格进行人脸关键点检测，得到第二人脸关键点；

对所述第一人脸图像进行三维重建过程中的三维重建参数进行调整，直至所述第一人脸关键点和所述第二人脸关键点之间的位置差异最小；

根据调整后的所述三维重建参数对所述第一人脸图像进行三维重建。

作为本公开实施例的第四种可能的情况，还包括：

对所述目标图像进行人脸关键点检测，得到第三人脸关键点

对所述目标二维人脸网格进行人脸关键点检测，得到第四人脸关键点；

对所述第二人脸图像进行三维重建过程中的三维重建参数进行调整，直至所述第三人脸关键点和所述第四人脸关键点之间的位置差异最小；

根据调整后的所述三维重建参数对所述第二人脸图像进行三维重建。

作为本公开实施例的第五种可能的情况，所述三维重建参数包括焦距、脸型系数、位移参数和旋转角度中至少一个。

根据本公开实施例的第二方面，提供一种图像处理装置，包括：

获取单元，被配置为执行获取原始图像和目标图像；所述原始图像包含第一人脸图像，所述目标图像包含第二人脸图像；

三维重建单元，被配置为执行分别对所述第一人脸图像和所述第二人脸图像进行三维重建，得到所述第一人脸图像的原始三维人脸网格，及所述第二人脸图像中人脸的第一焦距和第一方向；

人脸网格重建单元，被配置为执行根据所述第一焦距、所述第一方向和所述第一人脸图像，重建出所述第一人脸图像的目标三维人脸网格；

处理单元，被配置为执行根据所述原始三维人脸网格和所述目标三维人脸网格对所述第一人脸图像进行逐像素调整，得到目标人脸图像。

根据本公开实施例的第三方面，提供一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现第一方面所述的图像处理方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行第一方面所述的图像处理方法。

根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现第一方面所述的图像处理方法。

本公开的实施例提供的技术方案至少带来以下有益效果：在获取到原始图像和目标图像后，分别对原始图像包含第一人脸图像和目标图像包含的第二人脸图像进行三维重建，得到第一人脸图像的原始三维人脸网格，及第二人脸图像中人脸的第一焦距和第一方向，根据第一焦距、第一方向和第一人脸图像，重建出第一人脸图像的目标三维人脸网格，根据原始三维人脸网格和目标三维人脸网格对第一人脸图像进行逐像素调整，以得到目标人脸图像。由此，基于三维重建的方式根据目标图像中人脸调整原始图像中人脸的方向和透视，使得调整得到的目标人脸图像的五官布局更加合理。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种图像处理方法的流程图；

图2是根据一示例性实施例示出的另一种图像处理方法的流程图；

图3是根据一示例性实施例示出的一种图像处理装置的框图；

图4是根据一示例性实施例示出的一种用于图像处理的电子设备的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种图像处理方法的流程图，如图1所示，该图像处理方法用于电子设备中，包括以下步骤。

在步骤S11中，获取原始图像和目标图像；

其中，原始图像包含第一人脸图像，目标图像包含第二人脸图像。

本公开实施例以该图像处理方法被配置于图像处理装置中来举例说明，该图像处理装置可以应用于任一电子设备中，以使该电子设备可以执行图像处理功能。

其中，电子设备，可以为个人电脑(Personal Computer，简称PC)、云端设备、移动设备等，移动设备例如可以为手机、平板电脑、个人数字助理、穿戴式设备、车载设备等具有各种操作系统的硬件设备。

可以理解的是，原始图像为电子设备拍摄的未经过任何处理的，包含有第一人脸图像。原始图像可以是RGB(Red，Green，Blue)图像、灰度图像、深度图像等其中的任意一种。

目标图像可以为预设的包含有第二人脸图像的，需要采用第二人脸图像替换原始图像中第一人脸图像。

电子设备可以设置摄像头，设置的摄像头的数量可以是一个或者多个。例如，设置1个、2个、3个、5个等，在此不做限定。摄像头设置于电子设备的形式不限，例如，可以是内置于电子设备的摄像头，也可以外置于电子设备的摄像头；可以是前置摄像头，也可以是后置摄像头。

电子设备上的摄像头可以为任意类型的摄像头。例如，摄像头可以是彩色摄像头、黑白摄像头、深度摄像头、长焦摄像头、广角摄像头等，在此不做限定。

在步骤S12中，分别对第一人脸图像和第二人脸图像进行三维重建，得到第一人脸图像的原始三维人脸网格，及第二人脸图像中人脸的第一焦距和第一方向。

本公开实施例中，获取到包含有第一人脸图像的原始图像和包含第二人脸图像的目标图像后，可以分别对第一人脸图像和第二人脸图像进行三维重建，以得到第一人脸图像的原始三维人脸网格，及第二人脸图像中人脸的第一焦距和第一方向。

为了便于区分，本公开中将三维重建得到的第二人脸图像中人脸的焦距和方向，命名为第一焦距和第一方向，将对第一人脸图像中的人脸进行三维重建得到的焦距和方向，命名为第二焦距和第二方向，当然也可以采用其他的命名方式，在此不做限定。

在本公开实施例中，在对第一人脸图像进行三维重建时，在三维重建的过程中，需要对第一人脸图像在三维重建过程中的三维重建系数进行调整，以利用优化调整后的重建参数对第一人脸图像进行三维重建，从而重建得到更加真实的三维人脸。

在本公开实施例中，在获取到原始图像后，可以对原始图像进行人脸关键点检测，以得到第一人脸关键点，对原始二维人脸网格进行人脸关键点检测，得到第二人脸关键点，根据第一人脸关键点和第二人脸关键点之间的位置差异，对第一人脸图像进行三维重建过程中的三维重建参数进行调整，直至第一人脸关键点和第二人脸关键点之间的位置差异最小，进而，根据调整后的三维重建参数对第一人脸图像进行三维重建。由此，在对第一人脸图像进行三维重建过程中，对三维重建参数进行调整，根据调整后的三维重建参数对第一人脸图像进行三维重建，从而有利于提高第一人脸图像进行三维重建的精度，以得到精度较高的原始三维人脸网格。

其中，三维重建参数包括焦距、脸型系数、位移参数和旋转角度中至少一个。对三维重建参数进行优化的目标是最小化二维人脸网格和重建后三维人脸网格投影点的误差，使得根据优化的三维重建参数对人脸图像进行三维重建时，可以得到更加真实的三维人脸。

本公开实施例中，在对第二人脸图像进行三维重建时，在三维重建的过程中，也需要对第二人脸图像在三维重建过程中的三维重建系数进行调整，以利用优化调整后的重建参数对第二人脸图像进行三维重建，从而重建得到更加真实的三维人脸。

本公开实施例中，在获取到目标图像后，可以对目标图像进行人脸关键点检测，得到第三人脸关键点，对目标二维人脸网格进行人脸关键点检测，得到第四人脸关键点，根据第三人脸关键点和第四人脸关键点之间的位置差异，对第二人脸图像进行三维重建过程中的三维重建参数进行调整，直至第三人脸关键点和第四人脸关键点之间的位置差异最小，进而，根据调整后的三维重建参数对第二人脸图像进行三维重建。由此，根据调整后的三维重建参数对第二人脸图像进行三维重建，从而有利于提高第二人脸图像进行三维重建的精度。

在上述对原始图像和目标图像进行人脸关键点检测时，可以将原始图像和目标图像输入经过训练的三维人脸关键点检测模型，以根据模型的输出确定第一人脸关键点和第三人脸关键点。

对原始二维人脸网格和目标二维人脸网格进行人脸关键点检测时，也可以将原始二维人脸网格和目标二维人脸网格分别输入经过训练的二维人脸关键点检测模块，以根据模型输出确定第二人脸关键点和第四人脸关键点。

本公开实施例中对人脸关键点检测的方法不限于上述实现方法，任意可以实现的人脸关键点检测方法均可以适用于本公开，在此不做限定。

在步骤S13中，根据第一焦距、第一方向和第一人脸图像，重建出第一人脸图像的目标三维人脸网格。

本公开实施例中，在对第一人脸图像进行三维重建后，可以得到原始三维人脸网格和第一人脸图像的第二焦距和第二方向，在对第二人脸图像进行三维重建后，得到第二人脸图像的第一焦距和第一方向，可以根据第一焦距、第一方向和第一人脸图像对第一人脸图像进行三维重建，以重建出第一人脸图像的目标三维人脸网格。

可选地，在分别对第一人脸图像和第二人脸图像进行三维重建，得到第一人脸图像的第二焦距和第二方向，以及第二人脸图像的第一焦距和第一方向后，可以将第一人脸图像从第二方向旋转至第一方向，将第一人脸图像的第二焦距调整为第一焦距，以及将第一人脸图像对应的相机坐标系的Z方向缩放至第一距离，以得到目标三维人脸网络。其中，相机坐标系的Z方向为用于采集原始图像的采集设备的镜头与第一人脸图像中人脸的距离；第一距离为第二焦距与第一焦距的比值。

需要解释的是，将第一人脸图像的第二焦距调整为第一焦距，以及将第一人脸图像对应的相机坐标系的Z方向缩放至第一距离，可以确保调整焦距后第一人脸图像的人脸的大小保持不变。由此，根据调整后的第一焦距和第一方向以及第一人脸图像重建出目标三维人脸网格，以根据原始三维人脸网格和重建出的目标三维人脸网格对第一人脸图像进行调整，实现了对方向和焦距一起调整，以得到更加真实的人脸五官的目的。

作为一种示例，假设对目标图像中的第二人脸图像进行三维重建，得到的第二人脸图像的焦距为F1，方向为R1，对原始图像中的第一人脸图像进行三维重建，得到第一人脸图像的焦距为F2，方向为R2。将第一人脸图像中人脸的焦距调整为F1，并将第一人脸图像对应的相机坐标系的镜头方向拉近F2/F1，以保证调整焦距后人脸的大小不变。将第一人脸图像中人脸的方向调整为R1，以根据调整后的焦距F1、方向R1以及第一人脸图像，重建出第一人脸图像的目标三维人脸网格。

在步骤S14中，根据原始三维人脸网格和目标三维人脸网格对第一人脸图像进行逐像素调整，得到目标人脸图像。

其中，目标人脸图像，为对原始图像中的第一人脸图像进行调整后得到的人脸图像。

本公开实施例中，重建出第一人脸图像对应的原始三维人脸网格和目标三维人脸网格后，可以根据原始三维人脸网格和目标三维人脸网格之间的差异对第一人脸图像进行逐像素调整，以得到目标人脸图像。

本公开实施例的图像处理方法，在获取到原始图像和目标图像后，分别对原始图像包含第一人脸图像和目标图像包含的第二人脸图像进行三维重建，得到第一人脸图像的原始三维人脸网格，及第二人脸图像中人脸的第一焦距和第一方向，根据第一焦距、第一方向和第一人脸图像，重建出第一人脸图像的目标三维人脸网格，根据原始三维人脸网格和目标三维人脸网格对第一人脸图像进行逐像素调整，以得到目标人脸图像。由此，基于三维重建的方式根据目标图像中人脸调整原始图像中人脸的方向和透视，使得调整得到的目标人脸图像的五官布局更加合理。

在上述实施例的基础上，在根据原始三维人脸网格和目标三维人脸网格对第一人脸图像进行逐像素调整时，可以分别得到原始三维人脸网格和目标三维人脸网格对应的原始二维人脸网格和目标二维人脸网格，根据原始二维人脸网格和目标二维人脸网格的像素点的位置差异，调整原始二维人脸网格中的各像素点，下面结合图2进行详细介绍。

图2是根据一示例性实施例示出的另一种图像处理方法的流程示意图。如图2所示，该图像处理方法，可以包括以下步骤。

在步骤S21中，获取原始图像和目标图像；原始图像包含第一人脸图像，目标图像包含第二人脸图像。

在步骤S22中，分别对第一人脸图像和第二人脸图像进行三维重建，得到第一人脸图像的原始三维人脸网格，及第二人脸图像中人脸的第一焦距和第一方向。

在步骤S23中，根据第一焦距、第一方向和第一人脸图像，重建出第一人脸图像的目标三维人脸网格。

需要说明的是，上述步骤S21至步骤S23的实现过程，可以参见上述实施例中步骤S11至步骤S13的实现过程，在此不再赘述。

在步骤S24，对原始三维人脸网格和目标三维人脸网格进行投影，分别得到对应的原始二维人脸网格和目标二维人脸网格。

在本公开实施例中，重建得到原始三维人脸网格和目标人脸网格后，可以对原始三维人脸网格和目标三维人脸网格进行投影，分别得到对应的原始二维人脸网格和目标二维人脸网格。

可选地，对原始三维人脸网格和目标三维人脸网格进行投影时，可以采用平行投影、透视投影、正交投影等投影方法，本公开实施例中不做限定。

步骤S25，将原始二维人脸网格中的各像素点移动至目标二维人脸网格对应的像素点位置，得到目标人脸图像。

本公开实施例中，在对原始三维人脸网格和目标三维人脸网格进行投影，分别得到对应的原始二维人脸网格和目标二维人脸网格后，可以根据原始二维人脸网格和目标二维人脸网格中对应像素点的位置差异，将原始二维人脸网格中的各像素点移动至目标二维人脸网格对应的像素点位置，以得到目标人脸图像。

本公开实施例中，对原始三维人脸网格和目标三维人脸网格进行投影，分别得到对应的原始二维人脸网格和目标二维人脸网格，将原始二维人脸网格中的各像素点移动至目标二维人脸网格对应的像素点位置，得到目标人脸图像。由此，根据原始二维人脸网格和目标二维人脸网格中对应像素点的位置差异，对原始二维人脸网格进行逐像素变形，使得调整像素后得到的目标人脸图像更加真实合理。

为了实现上述实施例，本公开提出了一种图像处理装置。

图3是根据一示例性实施例示出的一种图像处理装置框图。参照图3，该装置可以包括：获取单元310，三维重建单元320，人脸网格重建单元330以及处理单元340。

其中，获取单元310，被配置为执行获取原始图像和目标图像；所述原始图像包含第一人脸图像，所述目标图像包含第二人脸图像；

三维重建单元320，被配置为执行分别对所述第一人脸图像和所述第二人脸图像进行三维重建，得到所述第一人脸图像的原始三维人脸网格，及所述第二人脸图像中人脸的第一焦距和第一方向；

人脸网格重建单元330，被配置为执行根据所述第一焦距、所述第一方向和所述第一人脸图像，重建出所述第一人脸图像的目标三维人脸网格；

处理单元340，被配置为执行根据所述原始三维人脸网格和所述目标三维人脸网格对所述第一人脸图像进行逐像素调整，得到目标人脸图像。

可选地，人脸网格重建单元330，还可以被配置为执行：

对所述第一人脸图像进行三维重建，得到所述第一人脸图像的第二焦距和第二方向；将所述第一人脸图像从所述第二防线旋转至所述第一方向，将所述第一人脸图像的第二焦距调整为所述第一焦距，以及将所述第一人脸图像对应的相机坐标系的Z方向缩放至第一距离，得到所述目标三维人脸网格；其中，所述相机坐标系的Z方向为用于采集所述原始图像的采集设备的镜头与所述第一人脸图像中人脸的距离；所述第一距离为所述第二焦距与所述第一焦距的比值。

可选地，处理单元340，还可以被配置为执行：

对所述原始三维人脸网格和所述目标三维人脸网格进行投影，分别得到对应的原始二维人脸网格和目标二维人脸网格；

将所述原始二维人脸网格中的各像素点移动至所述目标二维人脸网格对应的像素点位置，得到所述目标人脸图像。

可选地，该图像处理装置，还可以包括：

第一检测单元，被配置为执行对所述原始图像进行人脸关键点检测，得到第一人脸关键点；

第二检测单元，被配置为执行对所述原始二维人脸网格进行人脸关键点检测，得到第二人脸关键点；

第一调整单元，被配置为执行对所述第一人脸图像进行三维重建过程中的三维重建参数进行调整，直至所述第一人脸关键点和所述第二人脸关键点之间的位置差异最小；

第一重建单元，被配置为执行根据调整后的所述三维重建参数对所述第一人脸图像进行三维重建。

可选地，该图像处理装置，还可以包括：

第三检测单元，被配置为执行对所述目标图像进行人脸关键点检测，得到第三人脸关键点

第四检测单元，被配置为执行对所述目标二维人脸网格进行人脸关键点检测，得到第四人脸关键点；

第二调整单元，被配置为执行对所述第二人脸图像进行三维重建过程中的三维重建参数进行调整，直至所述第三人脸关键点和所述第四人脸关键点之间的位置差异最小；

第二重建单元，被配置为执行根据调整后的所述三维重建参数对所述第二人脸图像进行三维重建。

可选地，三维重建参数包括焦距、脸型系数、位移参数和旋转角度中至少一个。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本公开实施例的图像处理装置，在获取到原始图像和目标图像后，分别对原始图像包含第一人脸图像和目标图像包含的第二人脸图像进行三维重建，得到第一人脸图像的原始三维人脸网格，及第二人脸图像中人脸的第一焦距和第一方向，根据第一焦距、第一方向和第一人脸图像，重建出第一人脸图像的目标三维人脸网格，根据原始三维人脸网格和目标三维人脸网格对第一人脸图像进行逐像素调整，以得到目标人脸图像。由此，基于三维重建的方式根据目标图像中人脸调整原始图像中人脸的方向和透视，使得调整得到的目标人脸图像的五官布局更加合理。

为了实现上述实施例，本公开实施例还提出了一种电子设备。

其中，电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如前所述的图像处理方法。

作为一种示例，图4是根据一示例性实施例示出的一种用于图像处理的电子设备的框图，如图4所示，上述电子设备200，还可以包括：

存储器210及处理器220，连接不同组件(包括存储器210和处理器220)的总线230，存储器210存储有计算机程序，当处理器220执行所述程序时实现本公开实施例所述的图像处理方法。

总线230表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

电子设备200典型地包括多种电子设备可读介质。这些介质可以是任何能够被电子设备200访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器210还可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)240和/或高速缓存存储器250。电子设备200可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统260可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线230相连。存储器210可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本公开各实施例的功能。

具有一组(至少一个)程序模块270的程序/实用工具280，可以存储在例如存储器210中，这样的程序模块270包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块270通常执行本公开所描述的实施例中的功能和/或方法。

电子设备200也可以与一个或多个外部设备290(例如键盘、指向设备、显示器291等)通信，还可与一个或者多个使得用户能与该电子设备200交互的设备通信，和/或与使得该电子设备200能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口292进行。并且，电子设备200还可以通过网络适配器293与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器293通过总线230与电子设备200的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理器220通过运行存储在存储器210中的程序，从而执行各种功能应用以及数据处理。

需要说明的是，本实施例的电子设备的实施过程和技术原理参见前述对本公开实施例的图像处理方法的解释说明，此处不再赘述。

为了实现上述实施例，本公开还提出了一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行上述实施例所述的图像处理方法。

为了实现上述实施例，本公开还提出了一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现上述实施例所述的图像处理方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

获取原始图像和目标图像；所述原始图像包含第一人脸图像，所述目标图像包含第二人脸图像；

分别对所述第一人脸图像和所述第二人脸图像进行三维重建，得到所述第一人脸图像的原始三维人脸网格，及所述第二人脸图像中人脸的第一焦距和第一方向；

根据所述第一焦距、所述第一方向和所述第一人脸图像，重建出所述第一人脸图像的目标三维人脸网格；

根据所述原始三维人脸网格和所述目标三维人脸网格对所述第一人脸图像进行逐像素调整，得到目标人脸图像；

其中，所述根据所述第一焦距、所述第一方向和所述第一人脸图像，重建出所述第一人脸图像的目标三维人脸网格，包括：对所述第一人脸图像进行三维重建，得到所述第一人脸图像的第二焦距和第二方向，将所述第一人脸图像从所述第二方向旋转至所述第一方向，将所述第一人脸图像的第二焦距调整为所述第一焦距，以及将所述第一人脸图像对应的相机坐标系的Z方向缩放至第一距离，得到所述目标三维人脸网格；其中，所述相机坐标系的Z方向为用于采集所述原始图像的采集设备的镜头与所述第一人脸图像中人脸的距离；所述第一距离为所述第二焦距与所述第一焦距的比值；

在对第一人脸图像进行三维重建时，需要对第一人脸图像进行三维重建过程中的三维重建参数进行调整，所述三维重建参数包括焦距、脸型系数、位移参数和旋转角度中至少一个，对三维重建参数进行优化的目标是最小化二维人脸网格和重建后三维人脸网格投影点的误差。

2.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述原始三维人脸网格和所述目标三维人脸网格对所述第一人脸图像进行逐像素调整，得到目标人脸图像，包括：

对所述原始三维人脸网格和所述目标三维人脸网格进行投影，分别得到对应的原始二维人脸网格和目标二维人脸网格；

将所述原始二维人脸网格中的各像素点移动至所述目标二维人脸网格对应的像素点位置，得到所述目标人脸图像。

3.根据权利要求2所述的图像处理方法，其特征在于，还包括：

对所述原始图像进行人脸关键点检测，得到第一人脸关键点；

对所述原始二维人脸网格进行人脸关键点检测，得到第二人脸关键点；

对所述第一人脸图像进行三维重建过程中的三维重建参数进行调整，直至所述第一人脸关键点和所述第二人脸关键点之间的位置差异最小；

根据调整后的所述三维重建参数对所述第一人脸图像进行三维重建。

4.根据权利要求2所述的图像处理方法，其特征在于，还包括：

对所述目标图像进行人脸关键点检测，得到第三人脸关键点；

对所述目标二维人脸网格进行人脸关键点检测，得到第四人脸关键点；

对所述第二人脸图像进行三维重建过程中的三维重建参数进行调整，直至所述第三人脸关键点和所述第四人脸关键点之间的位置差异最小；

根据调整后的所述三维重建参数对所述第二人脸图像进行三维重建。

5.一种图像处理装置，其特征在于，包括：

获取单元，被配置为执行获取原始图像和目标图像；所述原始图像包含第一人脸图像，所述目标图像包含第二人脸图像；

三维重建单元，被配置为执行分别对所述第一人脸图像和所述第二人脸图像进行三维重建，得到所述第一人脸图像的原始三维人脸网格，及所述第二人脸图像中人脸的第一焦距和第一方向；

人脸网格重建单元，被配置为执行根据所述第一焦距、所述第一方向和所述第一人脸图像，重建出所述第一人脸图像的目标三维人脸网格；

处理单元，被配置为执行根据所述原始三维人脸网格和所述目标三维人脸网格对所述第一人脸图像进行逐像素调整，得到目标人脸图像；

其中，所述人脸网格重建单元，还被配置为执行：对所述第一人脸图像进行三维重建，得到所述第一人脸图像的第二焦距和第二方向，将所述第一人脸图像从所述第二方向旋转至所述第一方向，将所述第一人脸图像的第二焦距调整为所述第一焦距，以及将所述第一人脸图像对应的相机坐标系的Z方向缩放至第一距离，得到所述目标三维人脸网格；其中，所述相机坐标系的Z方向为用于采集所述原始图像的采集设备的镜头与所述第一人脸图像中人脸的距离；所述第一距离为所述第二焦距与所述第一焦距的比值；

在对第一人脸图像进行三维重建时，需要对第一人脸图像进行三维重建过程中的三维重建参数进行调整，所述三维重建参数包括焦距、脸型系数、位移参数和旋转角度中至少一个，对三维重建参数进行优化的目标是最小化二维人脸网格和重建后三维人脸网格投影点的误差。

6.根据权利要求5所述的图像处理装置，其特征在于，所述处理单元，还被配置为执行：

对所述原始三维人脸网格和所述目标三维人脸网格进行投影，分别得到对应的原始二维人脸网格和目标二维人脸网格；

将所述原始二维人脸网格中的各像素点移动至所述目标二维人脸网格对应的像素点位置，得到所述目标人脸图像。

7.根据权利要求5所述的图像处理装置，其特征在于，所述装置，还包括：

第一检测单元，被配置为执行对所述原始图像进行人脸关键点检测，得到第一人脸关键点；

第二检测单元，被配置为执行对所述原始二维人脸网格进行人脸关键点检测，得到第二人脸关键点；

第一调整单元，被配置为执行对所述第一人脸图像进行三维重建过程中的三维重建参数进行调整，直至所述第一人脸关键点和所述第二人脸关键点之间的位置差异最小；

第一重建单元，被配置为执行根据调整后的所述三维重建参数对所述第一人脸图像进行三维重建。

8.根据权利要求5所述的图像处理装置，其特征在于，所述装置，还包括：

第三检测单元，被配置为执行对所述目标图像进行人脸关键点检测，得到第三人脸关键点

第四检测单元，被配置为执行对所述目标二维人脸网格进行人脸关键点检测，得到第四人脸关键点；

第二调整单元，被配置为执行对所述第二人脸图像进行三维重建过程中的三维重建参数进行调整，直至所述第三人脸关键点和所述第四人脸关键点之间的位置差异最小；

第二重建单元，被配置为执行根据调整后的所述三维重建参数对所述第二人脸图像进行三维重建。

9.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至4中任一项所述的图像处理方法。

10.一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至4中任一项所述的图像处理方法。