CN107506714A - 一种人脸图像重光照的方法 - Google Patents

Abstract

本发明公开一种人脸图像重光照的方法，包括：对二维人脸图像进行人脸识别，获取二维特征点；根据二维特征点和三维脸部模型数据进行面部三维重建，生成三维人脸图像的三维网格；根据光照渲染参数和预建的光照模型对三维网格进行局部光照渲染，生成第一二维面部光照映射图；对二维人脸图像进行肤色检测，获取二维人脸图像肤色概率值；根据肤色概率值对第一二维面部光照映射图进行非肤色区域保护，获取第二二维面部光照映射图；对第二二维面部光照映射图的脸部轮廓进行边缘扩展，获取第三二维面部光照映射图；将第三二维面部光照映射图与二维人脸图像进行重光融合，生成打光结果图。本发明提供的技术方案简单易行，快速高效，且用户可操控性强。

Description

一种人脸图像重光照的方法

技术领域

本发明涉及数字图像处理技术领域，尤其涉及一种人脸图像重光照的方法。

背景技术

近年来，人像美颜美妆类应用深受年轻用户喜爱，为了得到好的拍摄效果，通常需要使用者处于良好的光线环境和光照条件下。由于光照条件和光源位置因素很容易造成面部立体等细节丢失，造成美妆后面部成片效果平整，缺乏真实感。作为对上述这类应用成片效果的改善，提出了一种后期对拍摄人像照片进行面部二次光照(Relighting)方法，即人脸图像重光照的方法。该方法是根据光照或外部环境的变化情况，对目标人物的人脸图像进行调整，并生成与指定的目标光照环境相一致的人脸图像。人脸图像重光照操作在人脸识别、基于图像的渲染、以及电影后期制作等领域都有着非常广泛的应用。

现有的人脸图像重光照的方法较多，比较主流的方法有：(1)搜集各种姿态下的人脸光照图像及相应的光照数据建立模型数据库，对当前人脸图像进行预处理和模型匹配得到光源位置和重光照相关数据，并进行重光照处理。(2)建立一个标准3D人脸模型，使用球面谐波等三维分析技术得到当前人脸图像的三维姿态信息。根据三维姿态信息对标准三维人脸模型进行几何变换，得到当前人脸图像的3D模型，根据3D模型和数据库预估光源位置，并进行后续的重光照处理。

从上述方法可以看出，现有的人脸图像重光照技术需要提前准备大量的处于不同人脸姿态下的样本数据。同时，考虑到不同种族和肤色具有不同的面部结构(脸型)以及不同的光照反射率，这使得需要的准备的样本数量大大提升。基于这些环境因素干扰以及其采用的技术方案，上述的方法很难准确进行面部的3D结构的重建和还原。同时由于肤色以及不同的面部结构问题也很难找出光源准确位置、以及材质相关系数。总之，现有的技术方案较复杂、不易掌握，且实施起来效率较低。

发明内容

本发明旨在提供一种人脸图像重光照的方法，简单易行，快速高效，且用户可操控性强、重光照效果逼真。

为达到上述目的，本发明采用的技术方案如下：

一种人脸图像重光照的方法，包括：对获取的二维人脸图像进行人脸识别与五官定位，获取人脸预定部位的二维特征点；根据所述二维特征点和预设的三维脸部模型数据进行面部三维重建，获取三维人脸图像，并获取所述二维特征点的深度信息和所述三维人脸图像的网格顶点数据；根据所述网格顶点数据和Delaunay三角剖分算法生成所述三维人脸图像的三维网格；配置光照渲染参数；根据所述光照渲染参数和预先建立的光照模型对所述三维网格进行局部光照渲染，生成第一二维面部光照映射图；对所述二维人脸图像进行肤色检测，获取所述二维人脸图像的肤色概率值；根据所述肤色概率值对所述第一二维面部光照映射图进行非肤色区域的保护，获取第二二维面部光照映射图；对所述第二二维面部光照映射图的脸部轮廓和额头部位进行边缘扩展，获取第三二维面部光照映射图；将所述第三二维面部光照映射图与所述二维人脸图像进行重光融合，生成打光结果图。

优选地，采用可变人脸模型技术3DMM进行面部三维重建。

优选地，所述根据所述光照渲染参数和预先建立的光照模型对所述三维网格进行局部光照渲染包括：计算出所述三维网格的三角形面的表面法向量；根据所述光照渲染参数和所述表面法向量建立Phong光照模型；根据所述Phong光照模型对所述三维网格进行局部光照渲染。

优选地，所述根据所述光照渲染参数和所述表面法向量建立Phong光照模型的方法为：

I_dif＝k_d*ambient+k_d*light*N·L

I_spec＝k_s*light*(V·R)^n_s

I_phong＝I_dif+I_spec

其中，k_d为表面材质的漫反射系数，k_s为表面材质镜面反射系数，n_s为高光系数，ambient为环境光颜色，light为光源颜色，N为三维网格的三角形面的表面法向量，V为摄像机的方向，L为入射光的方向，R为反射光的单位向量，I_dif漫反射结果，I_spec为镜面反射结果，I_phong为Phong光照模型。

优选地，所述对所述二维人脸图像进行肤色检测，获取所述二维人脸图像的肤色概率值包括：将所述二维人脸图像从RGB色彩空间转换到YCbCr色彩空间；统计色彩成分Cb和Cr得到面部平均肤色值；根据所述面部平均肤色值生成所述二维人脸图像的肤色概率值。

优选地，根据所述肤色概率值对所述第一二维面部光照映射图进行非肤色区域的保护，获取第二二维面部光照映射图的方法为：M₁'＝(M*α+M₁*(255-α))/255

其中，M为二维人脸图像，M₁为第一二维面部光照映射图，M₁'为第二二维面部光照映射图，α为肤色概率值。

优选地，所述对所述第二二维面部光照映射图的脸部轮廓和额头部位进行边缘扩展，获取第三二维面部光照映射图包括：对所述第二二维面部光照映射图的脸部轮廓和额头部位进行预定范围的膨胀，使光照区域能够完全覆盖所述第二二维面部光照映射图；对膨胀后的第二二维面部光照映射图进行高斯滤波处理，获取第三二维面部光照映射图。

优选地，所述将所述第三二维面部光照映射图与所述二维人脸图像进行重光融合，生成打光结果图的方法为：

B＝I≤128？2*I*M₁”/255：255-2*(255-I)(255-M₁”)/255

O＝I*(1.0-strong)+B*strong

其中，I是二维人脸图像，O为打光结果图,strong为打光强度，strong的取值范围为0～1，M₁”为第三二维面部光照映射图。

本发明实施例提供的人脸图像重光照的方法，模拟了真实的三维灯光环境，由于用户能够动态地配置光照渲染参数，即能够根据用户需要动态调整照射到人脸图像的光源方向、光源位置、光线冷暖度等参数，减少了程序自动计算产生的误差和不确定性，从而让用户在图像处理后期能较好地还原面部光照细节，使得面部效果更加立体和真实。同时，本方法还引入了对二维人脸图像进行肤色检测的步骤，有效地解决了非肤色区域保护的问题，加强了重光效果的真实度。本发明还采用可变人脸模型技术3DMM进行面部三维重建，由于3DMM技术成熟，准确度高、实现难度相对较低，因此使本发明的技术方案在整体上简单易行、快速高效。综上所述，本发明提供的人脸图像重光照的方法，用户可操控性强，速度快，实现方法简单，在实际应用中具有较高的鲁棒性，因此非常契合移动端的实际使用场景。

附图说明

图1为本发明实施例的方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。

图1为本发明实施例提供的人脸图像重光照的方法流程图。

步骤101，获取二维人脸图像；对获取的二维人脸图像进行人脸识别与五官定位，获取人脸预定部位的二维特征点；

本实施例中，通过拍照获取需要进行处理的二维人脸图像，获取的二维人脸图像用I(r,g,b)表示，其中，r,g,b分别表示RGB色彩空间中对应像素点的颜色值。人脸预定部位的二维特征点通常为脸部轮廓、眼睛、鼻子、嘴巴等人脸关键部位的二维特征点。

步骤102，根据所述二维特征点和预设的三维脸部模型数据进行面部三维重建，获取三维人脸图像，并获取所述二维特征点的深度信息和所述三维人脸图像的网格顶点数据；

本实施例中，三维脸部模型数据为预先设置的多组不同姿态、不同种族、不同性别、不同表情下的人脸模型，根据实践结果来看，60组上述人脸模型即可得到比较准确的重建结果。优选地，采用可变人脸模型技术3DMM进行面部三维重建。3DMM技术成熟，准确度高、实现难度相对较低。当然，也可以采用其它三维重建技术进行面部三维重建。

步骤103，根据所述网格顶点数据和Delaunay三角剖分算法生成所述三维人脸图像的三维网格；

步骤104，配置光照渲染参数；根据所述光照渲染参数和预先建立的光照模型对所述三维网格进行局部光照渲染，生成第一二维面部光照映射图；

本实施例中，光照渲染参数为光源位置、光线冷暖、材质反光率等用户参数，完全由用户来进行动态调整，减少了程序自动计算产生的误差和不准确性。具体地，根据光照渲染参数和预先建立的光照模型对三维网格进行局部光照渲染包括：计算出所述三维网格的三角形面的表面法向量；根据所述光照渲染参数和所述表面法向量建立Phong光照模型；根据所述Phong光照模型对所述三维网格进行局部光照渲染。(当然，也可以采用其它的光照模型，例如：Lambert、BlinnPhong光照模型也能达到本发明的目的。)其中，三维网格的三角形面的表面法向量决定了每个网格表面区域对光线的敏感程度，三维网格的三角形面的表面法向量计算过程的伪代码如下：

loop(face list)/*循环遍历三角形网格表面*/

{

u＝v1.xyz-v2.xyz

v＝v2.xyz-v3.xyz/*v1v2v3为当前三角形的三个顶点*/

face_normal＝cross(u,v)/*得到表面法线*/

v1.normal+＝face_normal

v2.normal+＝face_normal

v3.normal+＝face_normal

}

loop(vertexlist)/*循环遍历网格顶点,对法线进行归一化处理*/

{normalized(v.normal)}

具体地，根据光照渲染参数和表面法向量建立Phong光照模型的方法为：

I_dif＝k_d*ambient+k_d*light*N·L

I_spec＝k_s*light*(V·R)^n_s

I_phong＝I_dif+I_spec

其中，k_d为表面材质的漫反射系数，k_s为表面材质镜面反射系数，n_s为高光系数，ambient为环境光颜色，light为光源颜色，N为三维网格的三角形面的表面法向量，V为摄像机的方向，L为入射光的方向，R为反射光的单位向量，I_dif漫反射结果，I_spec为镜面反射结果，I_phong为Phong光照模型。

为了加速本步骤的执行，上述光照渲染过程由GPU来完成。

步骤105，对所述二维人脸图像进行肤色检测，获取所述二维人脸图像的肤色概率值；根据所述肤色概率值对所述第一二维面部光照映射图进行非肤色区域的保护，获取第二二维面部光照映射图；

本实施例中，上述非肤色区域通常为瞳孔和嘴唇。具体地，对所述二维人脸图像进行肤色检测，获取所述二维人脸图像的肤色概率值包括：将所述二维人脸图像从RGB色彩空间转换到YCbCr色彩空间；统计色彩成分Cb和Cr得到面部平均肤色值；根据所述面部平均肤色值生成所述二维人脸图像的肤色概率值，0表示完全为非肤色，255表示完全为肤色。其中，将二维人脸图像从RGB色彩空间转换到YCbCr色彩空间的计算公式为：

Y＝0.257*R+0.564*G+0.098*B+16

Cb＝-0.148*R-0.291*G+0.439*B+128

Cr＝0.439*R-0.368*G-0.071*B+128

其中Y、Cb、Cr为YCbCr色彩空间的对应值，取值范围为0～255，R、G、B为RGB色彩空间对应像素点的颜色值。

本实施例中，根据所述肤色概率值对所述第一二维面部光照映射图进行非肤色区域的保护，获取第二二维面部光照映射图的方法具体为：

M₁'＝(M*α+M₁*(255-α))/255

其中，M为二维人脸图像，M₁为第一二维面部光照映射图，M₁'为第二二维面部光照映射图，α为肤色概率值。

本步骤中的肤色检测，有效地解决了非肤色区域保护，加强了重光效果的真实度。

步骤106，对所述第二二维面部光照映射图的脸部轮廓和额头部位进行边缘扩展，获取第三二维面部光照映射图；

本步骤的具体方法为：对所述第二二维面部光照映射图的脸部轮廓和额头部位进行预定范围的膨胀，使光照区域能够完全覆盖所述第二二维面部光照映射图；对膨胀后的第二二维面部光照映射图进行高斯滤波处理，获取第三二维面部光照映射图。

步骤107，将所述第三二维面部光照映射图与所述二维人脸图像I(r,g,b)进行重光融合，生成打光结果图O(r,g,b)。

B＝I≤128？2*I*M₁”/255：255-2*(255-I)(255-M₁”)/255

O＝I*(1.0-strong)+B*strong

其中，I是二维人脸图像，O为打光结果图,strong为打光强度，strong的取值范围为0～1，M₁”为第三二维面部光照映射图。

为了加速本方法的执行效率，采用OpenGL ES技术框架依靠GPU并行处理能力来加速上述步骤104和步骤107的执行过程。

本发明实施例提供的人脸图像重光照的方法，模拟了真实的三维灯光环境，由于用户能够动态地配置光照渲染参数，即能够根据用户需要动态调整照射到人脸图像的光源方向、光源位置、光线冷暖度等参数，减少了程序自动计算产生的误差和不确定性，从而让用户在图像处理后期能较好地还原面部光照细节，使得面部效果更加立体和真实。同时，本方法还引入了对二维人脸图像进行肤色检测的步骤，有效地解决了非肤色区域保护的问题，加强了重光效果的真实度。本发明还采用可变人脸模型技术3DMM进行面部三维重建，由于3DMM技术成熟，准确度高、实现难度相对较低，因此使本发明的技术方案在整体上简单易行、快速高效。综上所述，本发明提供的人脸图像重光照的方法，用户可操控性强，速度快，实现方法简单，在实际应用中具有较高的鲁棒性，因此非常契合移动端的实际使用场景。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种人脸图像重光照的方法，其特征在于，包括：

对获取的二维人脸图像进行人脸识别与五官定位，获取人脸预定部位的二维特征点；

根据所述二维特征点和预设的三维脸部模型数据进行面部三维重建，获取三维人脸图像，并获取所述二维特征点的深度信息和所述三维人脸图像的网格顶点数据；

根据所述网格顶点数据和Delaunay三角剖分算法生成所述三维人脸图像的三维网格；

配置光照渲染参数；根据所述光照渲染参数和预先建立的光照模型对所述三维网格进行局部光照渲染，生成第一二维面部光照映射图；

对所述二维人脸图像进行肤色检测，获取所述二维人脸图像的肤色概率值；根据所述肤色概率值对所述第一二维面部光照映射图进行非肤色区域的保护，获取第二二维面部光照映射图；

对所述第二二维面部光照映射图的脸部轮廓和额头部位进行边缘扩展，获取第三二维面部光照映射图；

将所述第三二维面部光照映射图与所述二维人脸图像进行重光融合，生成打光结果图。

2.根据权利要求1所述的人脸图像重光照的方法，其特征在于，采用可变人脸模型技术进行面部三维重建。

3.根据权利要求2所述的人脸图像重光照的方法，其特征在于，所述根据所述光照渲染参数和预先建立的光照模型对所述三维网格进行局部光照渲染包括：

计算出所述三维网格的三角形面的表面法向量；

根据所述光照渲染参数和所述表面法向量建立Phong光照模型；

根据所述Phong光照模型对所述三维网格进行局部光照渲染。

4.根据权利要求3所述的人脸图像重光照的方法，其特征在于，所述根据所述光照渲染参数和所述表面法向量建立Phong光照模型的方法为：

I_dif＝k_d*ambient+k_d*light*N·L

I_spec＝k_s*light*(V·R)^n_s

I_phong＝I_dif+I_spec

其中，k_d为表面材质的漫反射系数，k_s为表面材质镜面反射系数，n_s为高光系数，ambient为环境光颜色，light为光源颜色，N为三维网格的三角形面的表面法向量，V为摄像机的方向，L为入射光的方向，R为反射光的单位向量，I_dif漫反射结果，I_spec为镜面反射结果，I_phong为Phong光照模型。

5.根据权利要求1所述的人脸图像重光照的方法，其特征在于，所述对所述二维人脸图像进行肤色检测，获取所述二维人脸图像的肤色概率值包括：

将所述二维人脸图像从RGB色彩空间转换到YCbCr色彩空间；

统计色彩成分Cb和Cr得到面部平均肤色值；

根据所述面部平均肤色值生成所述二维人脸图像的肤色概率值。

6.根据权利要求5所述的人脸图像重光照的方法，其特征在于，根据所述肤色概率值对所述第一二维面部光照映射图进行非肤色区域的保护，获取第二二维面部光照映射图的方法为：

M′₁＝(M*α+M₁*(255-α))/255

其中，M为二维人脸图像，M₁为第一二维面部光照映射图，M′₁为第二二维面部光照映射图，α为肤色概率值。

7.根据权利要求1所述的人脸图像重光照的方法，其特征在于，所述对所述第二二维面部光照映射图的脸部轮廓和额头部位进行边缘扩展，获取第三二维面部光照映射图包括：

对所述第二二维面部光照映射图的脸部轮廓和额头部位进行预定范围的膨胀，使光照区域能够完全覆盖所述第二二维面部光照映射图；

对膨胀后的第二二维面部光照映射图进行高斯滤波处理，获取第三二维面部光照映射图。

8.根据权利要求1所述的人脸图像重光照的方法，其特征在于，所述将所述第三二维面部光照映射图与所述二维人脸图像进行重光融合，生成打光结果图的方法为：

B＝I≤128？2*I*M″₁/255：255-2*(255-I)(255-M″₁)/255

O＝I*(1.0-strong)+B*strong

其中，I是二维人脸图像，O为打光结果图,strong为打光强度，strong的取值范围为0～1，M″₁为第三二维面部光照映射图。