CN111008935A - 一种人脸图像增强方法、装置、系统及存储介质 - Google Patents

Abstract

本发明提供了一种人脸图像增强方法、装置、系统及存储介质，方法包括：对原始图像进行人脸检测得到人脸检测框；根据人脸检测框和三维人脸模型，确定人脸检测框中的人脸图像所对应的三维人脸信息；基于原始图像和人脸三维模型，对原始图像中的人脸图像进行处理，能充分利用人脸三维信息，提高图像处理的准确率，另外通过原始图像进行图像处理可大大减少人脸失真模糊，有利于提升图像处理效果。根据本发明的方法、装置、系统及存储介质，基于原始图像和人脸三维模型，对原始图像中的人脸图像进行处理，能充分利用人脸三维信息，提高图像处理的准确率，另外通过原始图像进行图像处理可大大减少人脸失真模糊，有利于提升图像处理效果。

Description

一种人脸图像增强方法、装置、系统及存储介质

技术领域

本发明涉及图像处理技术领域，更具体地涉及基于人脸图像增强的处理。

背景技术

人脸融合是指通过融合多帧的人脸信息，获得信息量更多的人脸增强结果，包括噪声减少、解析力提高、细节更丰富等等。现有人脸融合方法都是基于经过图像信号处理器(isp)处理的RGB图像进行融合，而经过isp的RGB图像已经丢失了很多信息。此外，现有方法并没有考虑原有人脸的形状以及表情信息，这就会导致融合后的人脸与本人由于人脸形状以及表情等因素影响，会导致人脸失真，又或者因为姿态估计错误，导致融合后的人脸出错。

因此，现有技术中的人脸融合技术存在融合前信息丢失过多，融合后人脸失真模糊的问题。

发明内容

考虑到上述问题而提出了本发明。本发明提供了一种人脸图像增强方法、装置、系统及计算机存储介质，基于原始图像和人脸三维模型，对原始图像中的人脸图像进行处理，能充分利用人脸三维信息，提高图像处理的准确率。

根据本发明的第一方面，提供了一种人脸图像增强方法，包括：

对原始图像进行人脸检测得到人脸检测框；

根据所述人脸检测框和三维人脸模型，确定所述人脸检测框中的人脸图像所对应的三维人脸信息；

根据所述三维人脸信息对所述原始图像进行处理，得到输出图像。

根据本发明的第二方面，提供了一种人脸图像增强装置，包括：

人脸检测模块，用于对原始图像进行人脸检测得到人脸检测框；

三维人脸模块，用于根据所述人脸检测框和三维人脸模型，确定所述人脸检测框中的人脸图像所对应的三维人脸信息；

融合模块，用于根据所述三维人脸信息对所述原始图像进行处理，得到输出图像。

根据本发明的第三方面，提供了一种人脸图像增强系统，包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现第一方面所述方法的步骤。

根据本发明的第四方面，提供了一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被计算机执行时实现第一方面所述方法的步骤。

根据本发明实施例的人脸图像增强方法、装置、系统及计算机存储介质，基于原始图像和人脸三维模型，对原始图像中的人脸图像进行处理，能充分利用人脸三维信息，提高图像处理的准确率，另外通过原始图像进行图像处理可大大减少人脸失真模糊，有利于提升图像处理效果。

附图说明

通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是用于实现根据本发明实施例的人脸图像增强方法和装置的示例电子设备的示意性框图；

图2是根据本发明实施例的人脸图像增强方法的示意性流程图；

图3是根据本发明实施例的人脸图像增强方法的示例；

图4是根据本发明实施例的人脸图像增强装置的示意性框图；

图5是根据本发明实施例的人脸图像增强系统的示意性框图。

具体实施方式

为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。

首先，参考图1来描述用于实现本发明实施例的人脸图像增强方法和装置的示例电子设备100。

如图1所示，电子设备100包括一个或多个处理器101、一个或多个存储装置102、输入装置103、输出装置104、图像传感器105，这些组件通过总线系统106或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器101可以是中央处理单元(CPU)或者具有人脸图像增强能力或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储装置102可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用或产生的各种数据等。

所述输入装置103可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置104可以向外部(例如用户)输出各种信息(例如图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述图像传感器105可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置102中以供其它组件使用。

示例性地，用于实现根据本发明实施例的人脸图像增强方法和装置的示例电子设备可以被实现为诸如智能手机、平板电脑、计算机设备等。

下面，将参照图2描述根据本发明实施例的人脸图像增强方法200。如图2所示，一种人脸图像增强方法200，包括：

首先，在步骤S210中，对原始图像进行人脸检测得到人脸检测框；

在步骤S220中，根据所述人脸检测框和三维人脸模型，确定所述人脸检测框中的人脸图像所对应的三维人脸信息；

在步骤S230中，根据所述三维人脸信息对所述原始图像进行处理，得到人脸图像增强的所述原始图像。

其中，原始图像，也即raw图像，是指图像感应器将捕捉到图像的光源信号转化为数字信号的未经过任何处理的原始数据，其图像层次丰富，可以最大限度地利用所有数据空间，包含了大量丰富的信息；原始图像给予用户非常充足的处理空间，且几乎都是无损处理，处理后的图像效果好，适用于作为图像处理的基础。

对于人脸图像的处理，相比于传统方法中的基于经过图像信号处理器(isp)处理的RGB图像等进行人脸融合增强，直接在原始图像上进行人脸融合增强可以最大程度的利用原始图像的信息。通过原始图像构建3D人脸模型，充分利用了原始图像中人脸的形状、表情、姿态等信息，再将3D人脸模型投影至2D得到2D融合人脸图像后融合入原始的原始图像中，极大减少了人脸融合增强的失真，提高了人脸增效的效果；由于3D人脸模型不依赖于颜色信息，构建3D人脸模型后还可以解决图像中的人脸存在遮挡和受客观因素如光线等影响较大的问题，进一步减少融合后人脸失真的情况，保证人脸融合增强效果。适合广泛应用于图像处理中的需要增强人脸图像的各种场合，有利于节省时间和成本，充分利用原始信息以拣选人脸图像失真，可以进一步提高后续人脸图像处理的精度。

示例性地，根据本发明实施例的人脸图像增强方法可以在具有存储器和处理器的设备、装置或者系统中实现。

根据本发明实施例的人脸图像增强方法可以部署在人脸图像采集端处，例如，可以部署在门禁系统的图像采集端；可以部署在个人终端处，诸如智能电话、平板电脑、个人计算机等。

根据本发明实施例的人脸图像增强方法可以部署在个人终端处或服务器端(或云端)，所述个人终端处诸如智能电话、平板电脑、个人计算机等。例如，可以在个人终端处或服务器端(或云端)处，获取原始图像数据并进行人脸图像增强。

示例地，根据本发明实施例的人脸图像增强方法还可以分布地部署在个人终端处和服务器端(或云端)。例如，可以在服务器端(或云端)获取原始图像数据，服务器端(或云端)将获取的原始图像数据传递给个人终端，个人终端根据所接收的原始图像数据进行人脸图像增强。再例如，可以在个人终端获取原始图像数据。将获取的原始图像数据传递给服务器端(或云端)，然后服务器端(或云端)进人脸图像增强。

根据本发明实施例的人脸图像增强方法，基于raw域的人脸图像进行融合构建人脸3D模型对人脸图像进行融合增强，最大程度的保证了人脸形状表情以及姿态，大大减少人脸图像的失真模糊。

根据本发明实施例，所述步骤S210之前，所述方法200还可以包括：获取原始图像。

示例性地，所述获取原始图像可以进一步包括：通过图像采集装置采集得到所述原始图像。

其中，图像采集装置可以采集单帧图像，也可以采集多帧图像或视频数据。当图像采集装置采集单帧图像时，所述单帧图像不需要经过其它处理，可以直接作为所述原始图像；当图像采集装置采集多帧图像或视频数据时，可以对所述采集多帧图像或视频数据进行分帧后得到至少一帧所述原始图像。

示例性地，所述获取原始图像还可以通过其它数据源获取图像数据得到。所述图像数据可以包括视频数据和/或非视频数据，非视频数据可以包括单帧图像，此时单帧图像不需要进行分帧处理，可以直接作为所述原始图像。

需要说明的是，所述原始图像可以是实时采集的数据，也可以是非实时数据；且所述原始图像并非必须是图像数据中所有包含有人脸的图像，而可以仅是其中的部分图像帧；另一方面，至少一帧所述原始图像可以是连续的多帧图像，也可以是不连续的、任意选定的多帧图像，在此均不作限制。

根据本发明实施例，在步骤S210中，对原始图像进行人脸检测得到人脸检测框，可以包括：

将所述原始图像输入训练好的人脸检测和/或人脸跟踪网络得到所述原始图像的人脸检测框。

示例性地，所述人脸检测框是通过对至少一帧所述原始图像进行人脸检测和人脸跟踪处理所确定的包含有目标人脸的图像的检测框(bounding box)。具体的，可以通过诸如模板匹配、SVM(支持向量机)、神经网络等各种本领域中常用的人脸检测和跟踪方法在包含目标人脸的原始图像中确定该目标人脸的大小和位置，随后基于目标人脸的颜色信息、局部特征、或运动信息等对该目标人脸进行跟踪和/或定位，从而确定至少一帧所述原始图像中包含有目标人脸的图像及其检测框。上述通过人脸检测和/或人脸跟踪网络确定包含有目标人脸的图像及其检测框的处理是图像处理领域中的常见处理，此处不再对其进行详细描述。

应了解，本发明不受具体采用的人脸检测方法、人脸跟踪方法、或检测框定位方法的限制，无论是现有的人脸检测方法、人脸跟踪方法、或检测框定位方法，还是将来开发的人脸检测方法、人脸跟踪方法、或检测框定位方法，都可以应用于根据本发明实施例的人脸图像增强方法中，并且也应包括在本发明的保护范围内。

在一些实施例中，对所述原始图像进行人脸检测得到所述原始图像的人脸检测框还可以包括：

在所述原始图像中显示所述人脸图像的所述人脸检测框。

根据本发明实施例，所述方法200还可以包括：向每个人脸检测框分配相应的标识信息。

其中，标识信息可以是用于区别不同人脸的任何信息，如人脸ID等，在此不做限制。所述原始图像中可能包括一个或多个人脸，对检测出来的人脸图像和/或人脸检测框设置标识信息以区分所述原始图像中不同的人脸，具有相同标识信息的人脸图像和/或人脸检测框表示同一个人。

在一个实施例中，所述标识信息包括ID，向每个人脸检测框分配相应的ID可以包括：

将所述原始图像输入训练好的人脸检测和/或人脸跟踪网络；

所述人脸检测和跟踪网络检测到所述原始图像中包括n个人脸图像的人脸检测框；

判断第i个人脸检测框中的人脸图像与已经分配ID的人脸检测框中人脸图像是否属于同一人脸，i＝1,2,3……n，n为正整数；

如果第i个人脸检测框中的人脸图像与已经分配ID的人脸检测框中人脸图像不属于同一人脸，则向第i个人脸检测框分配新的ID；

如果第i个人脸检测框中的人脸图像与已经分配ID的人脸检测框中人脸图像属于同一人脸，则向第i个人脸检测框分配与其属于同一人脸的人脸检测框的ID。

根据本发明实施例，在步骤S220中，根据所述人脸检测框和三维人脸模型，确定所述人脸检测框中的人脸图像所对应的三维人脸信息，可以包括：

获取所述人脸检测框中的人脸图像的形态参数；

根据所述形态参数和所述三维人脸模型，得到所述人脸图像所对应的三维人脸信息。

示例性地，获取所述人脸检测框中的人脸图像的形态参数，可以包括：

将所述人脸图像输入训练好的三维参数检测网络得到所述人脸图像的形态参数。

其中，三维参数检测网络可以基于平均人脸模型根据所述人脸图像估计得到所述人脸图像的三维参数，根据所述三维参数则可以构建所述人脸图像所对应的3D人脸图像。

在一些实施例中，所述3D人脸网络可以为残差神经网络，例如，ResNets，但本申请实施例不以此为限。示例性地，所述三维参数检测网络的训练包括：

将2D人脸训练图像作为输入层数据；

所述三维参数检测网络基于所述三维人脸模型对所述2D人脸训练图像建立三维人脸训练图像，得到所述三维人脸训练图像的三维参数，所述三维参数使所述三维人脸训练图像中的点(如关键点)投影到2D平面坐标系上的点与对应的2D人脸训练图像的点(如关键点)之间的欧氏距离最小。

示例性地，所述形态参数包括如下至少一种：形状参数、表情参数。

其中，所述形状参数可以表征人脸的形状(如脸型等)、人脸的角度等，所述表情参数可以表征人脸的面部特征等；通过对原始图像进行估计得到的三维参数可以从人脸的形状、表情和角度等因素构建人脸图像的三维人脸图像，与传统的人脸融合增强方法过于依赖图像的颜色信息相比，获得了更丰富的人脸信息，解决了融合前人脸信息丢失过多的问题，为人脸融合过程提供了更加准确的数据基础，有利于提高人脸融合的效果。

示例性地，所述方法200还包括：

获取所述人脸检测框中的人脸图像的纹理信息；

所述根据所述形态参数和所述三维人脸模型，得到所述人脸图像所对应的三维人脸信息，包括：

根据所述形态参数和所述三维人脸模型，得到所述人脸图像所对应的三维人脸姿态；

将所述人脸图像的纹理信息融合至所述三维人脸姿态的对应位置，得到所述人脸图像所对应的三维人脸信息。

示例性地，获取所述人脸检测框中的人脸图像的纹理信息，可以包括：获取所述人脸图像的像素信息作为所述纹理信息，或对所述人脸图像进行特征提取得到所述纹理信息。

其中，纹理信息包括通过像素及其周围空间邻域的灰度分布来表现，描述了人脸图像中人脸的表面性质。

在一些实施例中，对所述人脸图像进行特征提取得到所述纹理信息的方法可以包括：统计方法、模型方法或信号处理方法。其中，所述统计方法基于像元及其邻域的灰度属性,研究纹理区域中的统计特性,或像元及其邻域内的灰度的一阶、二阶或高阶统计特性，从而得到所述纹理信息；所述模型方法假设纹理是以某种参数控制的分布模型方式形成的,从纹理图像的实现来估计计算模型参数；所述信号处理法是对纹理图像中某个区域内进行变换(如小波变换)后,再提取保持相对平稳的特征值作为所述纹理信息。

示例性地，根据所述形态参数和所述三维人脸模型，得到所述人脸图像所对应的三维人脸姿态，包括：

获取预设角度的所述三维人脸模型；

基于所述形态参数，对所述预设角度的所述三维人脸模型的轮廓进行调整；

基于所述表情参数，对经过轮廓调整的三维人脸模型的五官进行调整，得到所述人脸图像所对应的三维人脸姿态。

示例性地，所述根据所述形态参数和所述三维人脸模型，得到所述人脸图像所对应的三维人脸姿态，包括：

获取所述人脸图像的标识信息以及与所述标识信息对应的三维人脸模型；

基于所述表情参数，对与所述标识信息对应的三维人脸模型的五官进行调整，得到所述人脸图像所对应的三维人脸姿态。

根据本发明实施例，在步骤S210之后，所述方法200还可以包括：

判断所述人脸检测框中的人脸是否存在对应的标识信息；如果存在所述标识信息，则直接获取所述人脸图像的所对应的三维人脸信息；

如果不存在所述标识信息，则执行步骤S220。

其中，如果标识信息存在，说明当前帧中的该人脸图像在之前的图像帧中已经出现过，相应地，该人脸图像的三维人脸模型可能已经基于之前的图像帧构建完成，为了加快整个人脸融合过程的速度以及节省计算资源，可以在已经构建的同一个人的三维人脸模型上根据表情参数并融合纹理信息后进行投影，这样就不用对于每一帧原始图像中出现过的人脸图像进行重复三维人脸模型的建立，大量节省了计算资源，提高了人脸融合的速度。

如果标识信息不存在，则说明当前帧中的该人脸图像在之前的图像帧中没有出现，是新加入的人脸，需要对其设置新的标识信息以与其它人脸图像进行区别；同时，根据所述形态参数构建其三维人脸模型。

示例性地，将所述人脸图像的纹理信息融合至所述三维人脸姿态的对应位置，得到所述人脸图像所对应的三维人脸信息，包括：

根据所述姿态参数得到所述三维人脸图像的人脸角度；

根据所述三维人脸图像的人脸角度将所述三维人脸图像旋转至预设角度；

基于所述人脸图像的关键点将所述人脸图像的纹理信息复制到所述三维人脸图像中的对应位置，得到所述人脸图像所对应的三维人脸信息。

其中，由于所述人脸图像中人脸的角度可能可不相同，使得人脸的纹理信息分布不同，为了避免这些因素对构建3D人脸图像造成不良的影响，可以将3D人脸模型旋转至统一预设角度(如正脸)后进行纹理信息融合以提高纹理信息融合的准确性。应了解，所述预设角度可以根据需要进行设置，在此不做限制。

在一些实施例中，基将所述人脸图像的纹理信息融合至所述三维人脸姿态的对应位置，得到所述人脸图像所对应的三维人脸信息，包括：

所述三维人脸姿态包括若干单元区域；

根据所述三维人脸姿态的关键点与对应的所述人脸图像的关键点得到所述若干单元区域在所述人脸图像的对应区域；

将所述若干单元区域在所述人脸图像的对应区域的纹理信息分别融合至所述若干单元区域得到所述人脸图像所对应的三维人脸信息。

其中，将三维人脸姿态与所述人脸图像根据关键点相对应，将人脸图像中关键点处或附近的纹理信息复制到三维人脸姿态的相同关键点所对应的单元区域，得到所述人脸图像所对应的三维人脸信息。所述关键点可以是用于识别人脸的关键点，例如人脸五官关键点和/或人脸轮廓关键点；其中人脸五官关键点可以包括眉眼关键点、鼻部关键点、唇部关键点、耳朵关键点中的至少一种。在一些实施例中，眉眼关键点中包括眉毛关键点和眼睛关键点，眼睛关键点包括上眼睑关键点和下眼睑关键点，唇部关键点包括上唇关键点和下唇关键点等。

在一个实施例中，所述单元区域包括三角形区域。

据本发明实施例，在步骤S230中，根据所述三维人脸信息对所述原始图像进行处理，得到人脸图像增强的所述原始图像，包括，可以包括：

将所述三维人脸信息投影至2D坐标系，得到所述三维人脸信息所对应的2D人脸图像；

将所述2D人脸图像与所述原始图像融合得到人脸图像增强的所述原始图像。

示例性地，将所述三维人脸信息投影至2D坐标系得到所述三维人脸信息所对应的2D人脸图像，包括：

根据所述形态参数，确定所述人脸图像的人脸角度；

根据所述人脸角度和所述三维人脸信息，计算所述三维人脸信息与所述人脸图像之间的角度变换矩阵；

根据所述角度变换矩阵，旋转所述三维人脸信息；

将旋转后的所述三维人脸信息投影至2D坐标系，得到所述2D人脸图像。

其中，由于在融合纹理信息的过程中将三维人脸图像旋转至统一的预设角度，那么在将融合增强后的人脸图像融合至原始图像时，得到的2D人脸图像需要根据融合增强前的人脸图像一致，以保证融合效果，那么可以将三维人脸图像旋转至与原始图像中相应的人脸图像一致，然后进行投影得到融合增强后的人脸图像。

示例性地，所述将所述2D人脸图像与所述原始图像融合，得到输出图像，包括：

根据所述检测框中的人脸图像，得到所述原始图像的蒙版图像；

将所述2D人脸图像与所述蒙版图像融合，得到所述输出图像。

其中，在得到根据原始图像建立的三维人脸模型得到增强后的2D人脸图像之后，还需要将增强后的2D人脸图像融合到原始图像中，替代原始图像中的人脸图像，以得到良好的人脸图像处理效果。具体来说，可以将原始图像中所述检测框中的人脸图像的像素设置为0，相当于将需要增强的人脸图像去除，得到原始图像的蒙版图像；然后将基于原始图像的信息得到的增强后的2D人脸图像，与所述蒙版图像融合，即可得到人脸图像增强后的原始图像作为输出图像。

在一些实施例中，将所述2D人脸图像与所述蒙版图像融合可以采用加权平均图像融合方法、HIS空间图像融合方法、主成分分析图像融合方法、伪彩色图像融合方法、基于金字塔变换的融合方法及基于小波变换的图像融合方法等。需要说明的是，根据本发明实施例的人脸图像增强方法不受图像融合方法的限制，无论是现有的图像融合方法，还是将来开发的图像融合方法均适用于本发明实施例的人脸图像增强方法。

在一些实施例中，所述方法还包括：对所述人脸图像增强的所述原始图像进行图像信号处理。其中，图像信号处理可以包括特征提取等等。根据本发明实施例的人脸图像增强方法对原始图像进行人脸图像增强后，人脸图像中包含了更多丰富的信息，对后续图像处理过程如人脸识别等提供了准确有效的数据基础，不仅提升了人脸融合的效果，而且有利于提高整个图像处理过程的精度。

在一个实施例中，参见图3，图3示出了根据本发明实施例的人脸图像增强方法的示例。如图3所示，所述方法包括：

首先，通过图像传感器sensor采集原始图像；

然后，对于所述图像采集装置采集的每一帧原始图像进行人脸检测和跟踪，具体可以包括：将所述原始图像输入训练好的人脸检测和/或人脸跟踪网络；所述人脸检测和跟踪网络检测到所述原始图像中包括n个人脸图像的人脸检测框；判断第i个人脸检测框中的人脸图像与已经分配ID的人脸检测框中人脸图像是否属于同一人脸；如果第i个人脸检测框中的人脸图像与已经分配ID的人脸检测框中人脸图像不属于同一人脸，则向第i个人脸检测框分配新的ID；如果第i个人脸检测框中的人脸图像与已经分配ID的人脸检测框中人脸图像属于同一人脸，则向第i个人脸检测框分配与其属于同一人脸的人脸检测框的ID；

假设在所述原始图像中显示所述n个人脸图像的人脸框均为出现过，并设置相应的ID为N1，N2,……Nn，n为正整数；

接着，根据所述人脸检测框和三维人脸模型，确定所述人脸检测框中的人脸图像所对应的三维人脸信息，具体可以包括：

将所述人脸图像输入训练好的三维参数检测网络得到所述人脸图像的形态参数；其中，所述形态参数包括形状参数和表情参数；

接着，判断所述人脸图像的ID是否存在；

如果存在所述ID，则获取所述ID对应的三维人脸模型，再基于所述表情参数对与所述标识信息对应的三维人脸模型的五官进行调整，得到所述人脸图像所对应的三维人脸姿态；

如果不存在所述ID，则根据所述形态参数建立所述人脸图像的三维人脸模型，根据所述形态参数和所述三维人脸模型，得到所述人脸图像所对应的三维人脸姿态，具体包括：获取预设角度的所述三维人脸模型；基于所述形态参数，对所述预设角度的所述三维人脸模型的轮廓进行调整；基于所述表情参数，对经过轮廓调整的三维人脸模型的五官进行调整，得到所述人脸图像所对应的三维人脸姿态；

例如，如果存在ID为N2，则直接获取N2对应的三维人脸模型(对应的三维人脸模型的ID也可以是N2)，如果不存在ID为N5，则根据ID为N5的人脸图像的三维形态参数建立N5对应的三维人脸模型(或设置该三维人脸模型的ID为N5)；

所述三维人脸姿态包括若干单元区域；

接着，根据所述三维人脸姿态的关键点与对应的所述人脸图像的关键点得到所述若干单元区域在所述人脸图像的对应区域；

将所述若干单元区域在所述人脸图像的对应区域的纹理信息分别融合至所述若干单元区域得到所述人脸图像所对应的三维人脸信息；

接着，根据所述形态参数，确定所述人脸图像的人脸角度；根据所述人脸角度和所述三维人脸信息，计算所述三维人脸信息与所述人脸图像之间的角度变换矩阵；根据所述角度变换矩阵，旋转所述三维人脸信息；将旋转后的所述三维人脸信息投影至2D坐标系，得到所述2D人脸图像；

接着，根据所述检测框中的人脸图像，得到所述原始图像的蒙版图像；将所述2D人脸图像与所述蒙版图像融合，得到所述输出图像；

最后，将人脸图像增强的所述原始图像输入图像信号处理器进行图像处理。

由此可知，根据本发明实施例的人脸图像增强方法，基于原始图像进行融合构建三维人脸模型对原始图像中的人脸图像进行融合增强，最大程度的保证了人脸形状表情以及姿态，大大减少人脸失真模糊。

图4示出了根据本发明实施例的人脸图像增强装置400的示意性框图。如图4所示，根据本发明实施例的人脸图像增强装置400包括：

人脸检测模块410，用于对原始图像进行人脸检测得到人脸检测框；

三维人脸模块420，用于根据所述人脸检测框和三维人脸模型，确定所述人脸检测框中的人脸图像所对应的三维人脸信息；

融合模块430，用于根据所述三维人脸信息对所述原始图像进行处理，得到人脸图像增强的所述原始图像。

需要说明的是，根据本发明实施例的人脸图像增强装置400中的所述各个模块可分别执行上文中结合图2描述的人脸图像增强方法的各个步骤/功能。以上仅对该人脸图像增强装置400的各部件的主要功能进行描述，而省略上文已经描述过的细节内容。图5示出了根据本发明实施例的人脸图像增强系统500的示意性框图。人脸图像增强系统500包括图像传感器510、存储装置520、以及处理器530。

图像传感器510用于采集图像数据。

所述存储装置520存储用于实现根据本发明实施例的人脸图像增强方法中的相应步骤的程序代码。

所述处理器530用于运行所述存储装置520中存储的程序代码，以执行根据本发明实施例的人脸图像增强方法的相应步骤，并且用于实现根据本发明实施例的人脸图像增强装置中的相应模块。

此外，根据本发明实施例，还提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本发明实施例的人脸图像增强方法的相应步骤，并且用于实现根据本发明实施例的人脸图像增强装置中的相应模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合，例如一个计算机可读存储介质包含用于随机地生成动作指令序列的计算机可读的程序代码，另一个计算机可读存储介质包含用于进行人脸图像增强的计算机可读的程序代码。

在一个实施例中，所述计算机程序指令在被计算机运行时可以实现根据本发明实施例的人脸图像增强装置的各个功能模块，并且/或者可以执行根据本发明实施例的人脸图像增强方法。

根据本发明实施例的人脸图像增强系统中的各模块可以通过根据本发明实施例的人脸图像增强的电子设备的处理器运行在存储器中存储的计算机程序指令来实现，或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。

根据本发明实施例的人脸图像增强方法、装置、系统以及存储介质，基于raw域的人脸图像进行融合构建人脸3D模型对人脸图像进行融合增强，最大程度的保证了人脸形状表情以及姿态，大大减少人脸失真模糊。

尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的物品分析设备中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种人脸图像增强方法，其特征在于，所述方法包括：

对原始图像进行人脸检测得到人脸检测框；

根据所述人脸检测框和三维人脸模型，确定所述人脸检测框中的人脸图像所对应的三维人脸信息；

根据所述三维人脸信息对所述原始图像进行处理，得到输出图像。

2.如权利要求1所述的方法，其特征在于，根据所述人脸检测框和三维人脸模型，确定所述人脸检测框中的人脸图像所对应的三维人脸信息，包括：

获取所述人脸检测框中的人脸图像的形态参数；

根据所述形态参数和所述三维人脸模型，得到所述人脸图像所对应的三维人脸信息。

3.如权利要求2所述的方法，其特征在于，还包括：

获取所述人脸检测框中的人脸图像的纹理信息；

所述根据所述形态参数和所述三维人脸模型，得到所述人脸图像所对应的三维人脸信息，包括：

根据所述形态参数和所述三维人脸模型，得到所述人脸图像所对应的三维人脸姿态；

将所述人脸图像的纹理信息融合至所述三维人脸姿态的对应位置，得到所述人脸图像所对应的三维人脸信息。

4.如权利要求3所述的方法，其特征在于，所述形态参数包括形状参数和表情参数。

5.如权利要求4所述的方法，其特征在于，根据所述形态参数和所述三维人脸模型，得到所述人脸图像所对应的三维人脸姿态，包括：

获取预设角度的所述三维人脸模型；

基于所述形态参数，对所述预设角度的所述三维人脸模型的轮廓进行调整；

基于所述表情参数，对经过轮廓调整的三维人脸模型的五官进行调整，得到所述人脸图像所对应的三维人脸姿态。

6.如权利要求4所述的方法，其特征在于，所述根据所述形态参数和所述三维人脸模型，得到所述人脸图像所对应的三维人脸姿态，包括：

获取所述人脸图像的标识信息以及与所述标识信息对应的三维人脸模型；

基于所述表情参数，对与所述标识信息对应的三维人脸模型的五官进行调整，得到所述人脸图像所对应的三维人脸姿态。

7.如权利要求1-6任一项所述的方法，其特征在于，根据所述三维人脸信息对所述原始图像进行处理，得到输出图像，包括：

将所述三维人脸信息投影至2D坐标系，得到所述三维人脸信息所对应的2D人脸图像；

将所述2D人脸图像与所述原始图像融合，得到所述输出图像。

8.如权利要求7所述的方法，其特征在于，将所述三维人脸信息投影至2D坐标系，得到所述三维人脸信息所对应的2D人脸图像，包括：

根据所述形态参数，确定所述人脸图像的人脸角度；

根据所述人脸角度和所述三维人脸信息，计算所述三维人脸信息与所述人脸图像之间的角度变换矩阵；

根据所述角度变换矩阵，旋转所述三维人脸信息；

将旋转后的所述三维人脸信息投影至2D坐标系，得到所述2D人脸图像。

9.如权利要求7所述的方法，其特征在于，所述将所述2D人脸图像与所述原始图像融合，得到输出图像，包括：

根据所述检测框中的人脸图像，得到所述原始图像的蒙版图像；

将所述2D人脸图像与所述蒙版图像融合，得到所述输出图像。

10.一种人脸图像增强装置，其特征在于，所述装置包括：

人脸检测模块，用于对原始图像进行人脸检测得到人脸检测框；

三维人脸模块，用于根据所述人脸检测框和三维人脸模型，确定所述人脸检测框中的人脸图像所对应的三维人脸信息；

融合模块，用于根据所述三维人脸信息对所述原始图像进行处理，得到输出图像。

11.一种人脸图像增强系统，包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述方法的步骤。

12.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被计算机执行时实现权利要求1至9中任一项所述方法的步骤。

Images