CN106951840A - 一种人脸特征点检测方法 - Google Patents

Abstract

本发明公开一种人脸特征点检测方法，以姿态检测任务作为约束，以多类特征图进行融合的新型三通道GEH(Gray‑Edge‑Hog)模式图像作为输入的人脸特征点检测的方法。考虑到人脸三维姿态信息对人脸全局特征点的检测，尤其在姿态偏转较大的情况下对人脸图像特征点检测，具有相当大的影响；同时加入反映人脸图像局部特征表象和形状的Hog特征信息以及用于边缘检测的Sobel算子提取的边缘图像信息可有效降低轮廓特征点检测的复杂度，本发明通过提取图像灰度值，边缘信息及Hog特征生成新型GEH三通道图像作为输入，同时以三维姿态估计的辅助任务作为约束信息，进行人脸特征点检测。

Description

一种人脸特征点检测方法

技术领域

本发明属于计算机视觉领域，尤其涉及一种新型图像模式下以人脸三维姿态信息为辅助约束的人脸特征点检测方法，在人脸识别、人脸姿态表情分析及人脸合成中有着重要应用。

背景技术

近年来，随着深度学习的发展，卷积神经网络(Convolutional Neural Networks，CNN)在人脸特征点检测方面取得了很好的效果。CNN以人脸原始图像为输入，利用局部感受野策略获取的特征具有更好的表达能力；权值共享结构减少了权值的数量进而降低了网络模型的复杂度；同时，利用图像局部相关性原理对特征图进行的下采样在保留有用结构信息的同时有效地减少了数据的处理量，因此CNN被广泛应用于人脸图像的特征提取。

Yi Sun等人在2013年提出三级深度卷积神经网络级联的人脸特征点检测模型(Deep Convolutional Network Cascade，DCNN)。该网络的第一级以人脸图像的三块不同区域(全部人脸区域，眼睛与鼻子区域，鼻子与嘴唇区域)作为输入，分别训练三个卷积神经网络来预测特征点的位置，融合三个网络的预测值以得到更加稳定的初级特征点检测结果。第二、三级在每个特征点附近提取特征，针对每个特征点单独训练一个卷积神经网络来修正定位的结果，实现左眼中心、右眼中心、鼻尖、左嘴角、右嘴角五个特征点的检测。但该方法所得结果只是将眼睛、鼻子、嘴的位置粗略标定出来，并不能很好的将面部属性具体表示出来,同时网络模型也过于复杂。

同年Erijin Zhou等人提出检测68个人脸特征点的四级卷积神经网络级联模型。该模型考虑到人脸外部轮廓与内部五官特征点定位的复杂程度不同，分别进行检测。多特征点检测能够更加详细的表示出人脸的姿态及表情等属性。但该方法操作过程较为复杂，涉及到10种不同的网络分别进行训练。

Zhanpeng Zhang等人在2015年提出受辅助任务约束的深度卷积神经网络(Tasks-Constrained Deep Convolutional Network，TCDCN)。该模型在进行5个人脸特征点检测的同时，通过与面部属性相关的18个辅助任务作为约束，增强了网络提取特征的能力，有助于特征点检测精确度的提高。但该方法仅考虑了人脸姿态在水平维度偏转的情况，而在多数情况下其他维度姿态偏转情况对于特征点检测精确度也具有一定影响。

发明内容

本发明给出一种以多类特征图融合的新型三通道GEH(Gray-Edge-Hog)模式图像为输入，以三维姿态辅助任务为约束信息进行人脸特征点检测的方法。本发明考虑到人脸在姿态发生变化的同时，能够明显地看到图像轮廓结构的变化，因此人脸三维姿态信息对人脸全局特征点的标定都具有相当大的影响；同时因为人脸外部轮廓特征点与内部器官特征点检测的难易程度不同，将人脸提取的边缘信息作为一个图像模式变量，可降低外部轮廓点的检测难度；将人脸图像提取的Hog特征图作为一个图像模式变量，在清晰反映图像轮廓结构的同时，更有效地突出了人脸各器官区域特征，因此提出了一种以图像灰度值，边缘信息及Hog特征融合的新型GEH模式图像为输入，以面部三维姿态信息为辅助约束的，面部特征点与面部姿态联合训练的卷积神经网络结构模型，实现对人脸68个特征点进行精确定位。

为实现上述目的，本发明采用如下的技术方案：

一种人脸特征点检测方法包括以下步骤：

步骤1、将原始图像进行人脸检测定位与剪裁和三通道多特征图融合，得到三通道GEH模式图Picture_GEH；

步骤2、以三种特征图融合后的三通道GEH模式图作为卷积神经网络的输入，进行网络人脸特征提取，所述人脸特征包含：人脸特征点和三维姿态，所述特征点检测及姿态检测均以线性回归问题对应的最小二乘函数设计双任务损失函数；

步骤3、采用梯度反向传播算法对所述双任务损失函数进行网络训练，最终学习到人脸特征点检测权重和姿态检测权重，在测试过程，经过相同的人脸特征提取网络，以实现人脸特征点检测及人脸三维姿态的检测。

作为优选，所述网络特征提取由3个卷积层和3个池化层，2个全连接层交替完成；

首先，将三通道GEH模式图Picture_GEH作为第一层卷积操作的输入输出特征图y_j的计算公式如以下公式所示：

其中，f表示卷积操作，l表示当前网络层数，i表示输入特征图的数量，j表示输出特征图的数量，w_ij为待求的卷积核参数，b_j是偏置参数，w_ij和b_j在实验开始时采用随机正态初始化的方式获取；

然后，根据卷积阶段得到的结果，将特征送入线性回归问题对应的函数，设计的双任务损失函数表达式如以下公式所示：

其中，N表示训练图像数量，表示第i张图像特征点检测任务的标签值，分别表示人脸三维姿态检测对应的标签值，x_i表示卷积神经网络提取的第i张图像特征，W^f表示特征点检测任务权重，W^yaw,W^pitch,W^roll分别表示人脸三姿态检测任务对应的权重λ_Yaw,λ_Pitch,λ_Roll表示损失函数损失权；

通过反向传播算法进行网络训练，得到人脸特征点检测权重W^f和姿态检测权重W^yaw,W^pitch,W^roll；测试过程，经过相同的人脸特征提取网络，最终得到人脸特征点检测结果(W^f)^Tx_i，以及三维姿态检测结果(W^Yaw)^Tx_i,(W^Pitch)^Tx_i,(W^Roll)^Tx_i。

作为优选，步骤1中将经人脸检测定位与剪裁后的人脸子图进行灰度处理，得到灰度特征图G；然后对人脸子图提取Hog特征，得到Hog特征图H；最后提取边缘特征，得到边缘特征图E；利用RGB(Red‐Green‐Blue)颜色空间作为基底，将上述特征图G(Gray)、特征图E(Edge)、特征图H(Hog)特征图变量分别映射到RGB直角坐标系颜色空间上，生成新型的GEH模式图像Picture_GEH，生成公式如下：

其中，代表灰度特征图Gray的灰度值映射到RGB中的R(Red)色彩空间，代表Hog特征图特征值映射到B(Blue)色彩空间，代表Edge特征图的特征值映射到G(Green)色彩空间。

附图说明

图1：本发明的三通道特征图生成流程示意图；

图2a：原始人脸图像；

图2b：经多特征图融合后的人脸图像；

图3：GEH-双任务卷积神经网络结构模型。

具体实施方式

本发明提供一种人脸特征点检测方法，以姿态检测任务作为约束，以多类特征图进行融合的新型三通道GEH(Gray-Edge-Hog)模式图像作为输入的人脸特征点检测的方法。考虑到人脸三维姿态信息对人脸全局特征点的检测，尤其在姿态偏转较大的情况下对人脸图像特征点检测，具有相当大的影响；同时加入反映人脸图像局部特征表象和形状的Hog特征信息以及用于边缘检测的Sobel算子提取的边缘图像信息可有效降低轮廓特征点检测的复杂度，本发明通过提取图像灰度值，边缘信息及Hog特征生成新型GEH三通道图像作为输入，同时以三维姿态估计的辅助任务作为约束信息，进行人脸特征点检测。

本发明所用到的基础数据来自于300—W人脸特征点检测竞赛平台，其中包含LFPW,AFW,HELEN,IBUG四个数据集。每个数据集中的图像标签均为68个点，包括外部轮廓点及内部五官(眉毛，眼睛，鼻子，嘴巴)。对应的三维姿态标签由人类感知实验室研发的Interface软件，根据300-W图像提供的特征点标签计算生成，分别表示Yaw，Pitch及Roll三维信息。

本发明提出的人脸特征点检测CNN结构包含两个任务，即68个点的人脸特征点检测任务，以及三维姿态信息检测任务。利用三维姿态信息对全局人脸特征点检测的相关影响，通过CNN人脸特征点检测网络提取出既能表示人脸特征点位置又能反映人脸姿态朝向的联合特征，最终实现人脸特征点的检测。

1、图像预处理

适当的图像预处理方法，可以消除原始图像中的天气、光照等环境影响，使图像的边缘和颜色特征更加突出，便于卷积神经网络的特征提取。本发明首先对原始图像进行人脸检测定位与剪裁，归一化处理，然后对剪裁图像分别进行灰度化处理，Hog特征提取并可视化，以及Sobel算子边缘特征提取，将生成的多类特征图融合形成新型GEH图像模式，将该模式下的三通道图像作为输入。

1.1人脸检测定位与剪裁

本发明为去除图像背景、头发、服装等信息对特征点检测任务的干扰。根据人脸检测定位的结果，分别对检测到的图像上、下、左、右距离进行一定比例扩大，然后对扩大后的人脸图像进行裁剪处理及尺度归一化处理。

1.2三通道多特征图融合

首先将上述1.1所得人脸子图进行灰度处理，得到灰度特征图G；然后对人脸子图提取Hog特征，因提取Hog特征后的特征图维度与人脸子图维度不同，在此采用CarlVondrick于2012年提出的Inverting Visual Features方法进行特征可视化处理最终得到与人脸子图同尺寸的Hog特征图H；最后提取边缘特征，利用5阶Sobel算子对经过尺度归一化后的RGB人脸子图图像进行边缘提取，生成的边缘特征图E。

由于上述三类特征图反映了人脸图像不同属性的信息且相互独立，三个独立变量综合作用可形成新的图像模式。因此，本发明利用RGB(Red‐Green‐Blue)颜色空间作为基底，将上述G(Gray)，E(Edge)，H(Hog)特征图变量分别映射到RGB直角坐标系颜色空间上，生成新型的GEH模式图像Picture_GEH。生成公式如下：

其中，代表灰度特征图Gray的灰度值映射到RGB中的R(Red)色彩空间，代表Hog特征图特征值映射到B(Blue)色彩空间，代表Edge特征图的特征值映射到G(Green)色彩空间。

GEH三通道图像生成过程如图1所示。

GEH三通道图像效果如图2a、2b所示。

2、人脸特征点检测与三维姿态检测双任务网络模型

本发明的CNN网络结构联合考虑人脸图像特征点检测任务与三维姿态检测任务，其中人脸特征点检测任务为主要任务，三维姿态检测任务为辅助任务，网络结构如图3所示。

2.1人脸特征提取

本网络以三种特征图融合后的三通道GEH模式图Picture_GEH作为卷积神经网络的输入，提取人脸特征。特征点检测及姿态检测任务均以线性回归问题对应的最小二乘函数作为损失函数，采用梯度反向传播算法，训练网络参数，最终实现人脸特征点检测及人脸三维姿态的检测。

本发明中网络特征提取由3个卷积层和3个池化层，2个全连接层交替完成。卷积层通过局部感受野进行卷积操作提取视觉特征。为了更完整地保留原始图像转换成GEH图像模式后的图像特征，本发明以接近原始图像人脸子图的尺寸作为输入尺寸，第一层卷积操作的输入(即Picture_GEH)是尺寸为224×224的图像，是DCNN及TCDCN输入尺寸的2.3倍，保证了图像的完整性及特征有效性；卷积核大小分别为7×7，4×4，3×3。输出特征图y_j的计算公式如式(2)所示：

其中，f表示卷积操作，l表示当前网络层数，i表示输入特征图的数量，j表示输出特征图的数量，w_ij为待求的卷积核参数，b_j是偏置参数，w_ij和b_j在实验开始时采用随机正态初始化的方式获取。

池化层操作采用最大池化方法，针对上述GEH模式图像输入尺寸的特点，本发明第一、三层池化范围设为3×3，步长为3，在保证提取特征完备性的同时，更加有效的降低特征维度，降低了网络训练的复杂度；第二层池化范围为2×2，步长为2。

2.2双任务目标函数的设计

接下来根据卷积阶段得到的结果，将特征送入线性回归问题对应的函数。本发明中人脸特征点检测问题和人脸三维姿态检测问题均为线性回归问题，采用最小二乘函数作为损失函数，表达式如公式(3)所示：

f_loss＝||l-W^Tx_i|| (3)

其中，l表示回归问题的标签，x_i表示由卷积神经网络提取的特征，W表示线性回归问题对应的权重系数。

本发明以人脸特征点检测为主要任务。三维姿态检测为辅助任务，用以协助人脸特征点检测任务提取更能反映三维姿态的特征，对姿态较大的人脸图像进行更加精确的定位；三维姿态坐标分别以Pitch，Yaw和Roll表示，以三维直角坐标系中的右手笛卡尔坐标系为例，Pitch表示围绕X轴旋转，称为俯仰角，Yaw表示围绕Y轴旋转，称为偏航角，Roll表示围绕Z轴旋转，称为翻滚角。在三维姿态检测任务中，根据对实验数据的统计可知，三维姿态中Yaw姿态的变化幅度较大，为Pitch姿态及Roll姿态变化的5～6倍，因此Yaw的影响较Pitch及Roll更大，所以设置损失函数权重以调整三维姿态对于人脸检测主要任务的影响。本发明设计的双任务损失函数表达式如公式(4)所示：

其中，N表示训练图像数量，表示第i张图像特征点检测任务的标签值(维度为136)，分别表示人脸三维姿态检测对应的标签值(维度均为1)，x_i表示卷积神经网络提取的第i张图像特征，W^f表示特征点检测任务权重，W^yaw,W^pitch,W^roll分别表示人脸三姿态检测任务对应的权重。λ_Yaw,λ_Pitch,λ_Roll表示损失函数损失权重，分别取0.3，0.1，0.1。

2.3网络学习

本发明采用反向传播算法进行网络训练。最终学习到人脸特征点检测权重W^f和姿态检测权重W^yaw,W^pitch,W^roll。测试过程，经过相同的人脸特征提取网络，最终得到人脸特征点检测结果(W^f)^Tx_i，以及三维姿态检测结果(W^Yaw)^Tx_i,(W^Pitch)^Tx_i,(W^Roll)^Tx_i。

对上述方法进行了实验验证，并取得了明显的效果。评价指标采用Yi Sun等人2013年在CVPR上发表的针对人脸特征点检测提出的平均估计误差指标来度量所设计方法的性能，该指标显示了一个特征点定位算法的准确度和可靠性。

平均估计误差计算公式如下:

其中，(x，y)和(x′，y′)分别表示特征点真值坐标和估计坐标，l表示估计误差标准化因子。如果估计误差超过10％，则认为估计失效。

实验采用300‐W挑战平台中的LFPW数据库，该数据库是一个包括多姿态、多视角的人脸数据库。因为该包括了各种姿态、表情、光照、等因素影响的图片，所以大部分人脸特征点检测方法均在该数据集上进行验证。该数据集包含811张训练图像和224张测试图像。

第一组实验主要内容：以多特征融合图为输入的双任务卷积神经网络(3feature‐D‐CNN)，以原始图像为输入的双任务卷积神经网络(D‐CNN)，及以原始图像为输入的传统卷积神经网络(CNN)对于人脸特征点检测的性能比较。上述三种网络中的卷积层，池化层及全连接层的结构设置均相同。区别在于网络结构的输入图像类型，输出损失函数及输出维度不同。实验比较结果如下：

表1：三种卷积神经网络模型比较

表1各列数据代表不同网络模型在LFPW数据上的测试结果。值越低表示人脸特征点检测的效果越好。可以看出本发明提出的3feature‐D‐CNN网络较原始CNN网络，及D‐CNN网络，平均估计误差分别降低了14.02％，11.6％。这说明以姿态检测任务作为约束，以多类特征图进行融合的新型三通道GEH(Gray-Edge-Hog)模式图像作为输入的人脸特征点检测的方法是有效的。

第二组实验主要内容：上述三种网络对于外部轮廓点检测的效果比较。实验结果如表2所示：

表2：三种网络模型检测人脸外部轮廓检测结果比较

表2各列数据代表不同网络模型在LFPW数据上对轮廓点检测结果。值越低表示人脸特征点检测的效果越好。可以看出本发明提出的3feature‐D‐CNN网络与原始CNN网络，及D‐CNN网络相比，在外部轮廓检测方面平均误差分别降低了21.52％，4.95％。验证本发明对人脸外部轮廓点检测效果进行了一定程度的改善。

Claims (3)

1.一种人脸特征点检测方法，其特征在于，包括以下步骤：

步骤1、将原始人脸图像进行人脸检测定位与剪裁和三通道多特征图融合，得到三通道GEH模式图Picture_GEH；

步骤2、以三种特征图融合后的三通道GEH模式图作为卷积神经网络的输入，进行网络人脸特征提取，所述人脸特征包含：人脸特征点和三维姿态，所述特征点检测及姿态检测均以线性回归问题对应的最小二乘函数设计双任务损失函数；

步骤3、采用梯度反向传播算法对所述双任务损失函数进行网络训练，最终学习到人脸特征点检测权重和姿态检测权重，在测试过程，经过相同的人脸特征提取网络，以实现人脸特征点检测及人脸三维姿态的检测。

2.如权利要求1所述的人脸特征点检测方法，其特征在于，所述网络特征提取由3个卷积层和3个池化层，2个全连接层交替完成；

首先，将三通道GEH模式图Picture_GEH作为第一层卷积操作的输入输出特征图y_j的计算公式如以下公式所示：

$x_j^l=f(b_j+{\mathrm{\Σ}}_i{w}_{ij}*x_i^{l-1})$

其中，f表示卷积操作，l表示当前网络层数，i表示输入特征图的数量，j表示输出特征图的数量，w_ij为待求的卷积核参数，b_j是偏置参数，w_ij和b_j在实验开始时采用随机正态初始化的方式获取；

然后，根据卷积阶段得到的结果，将特征送入线性回归问题对应的函数，设计的双任务损失函数表达式如以下公式所示：

$\begin{array}{c}\underset{W^f,W^{Yaw},W^{Pitch},W^{Roll}}{\arg \min }\left\{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\right||l_i^f-{\left(W^f\right)}^T{x}_i|{|}^2+{\mathrm{\λ}}_{Yaw}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left|\right|l_i^{Yaw}-{\left(W^{Yaw}\right)}^T{x}_i|{|}^2\\ +{\mathrm{\λ}}_{Pitch}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left|\right|l_i^{Pitch}-{\left(W^{Pitch}\right)}^T{x}_i|{|}^2+{\mathrm{\λ}}_{Roll}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}||l_i^{Roll}-{\left(W^{Roll}\right)}^T{x}_i|{|}^2\}\end{array}$

其中，N表示训练图像数量，表示第i张图像特征点检测任务的标签值，分别表示人脸三维姿态检测对应的标签值，x_i表示卷积神经网络提取的第i张图像特征，W^f表示特征点检测任务权重，W^yaw,W^pitch,W^roll分别表示人脸三姿态检测任务对应的权重λ_Yaw,λ_Pitch,λ_Roll表示损失函数损失权；

通过反向传播算法进行网络训练，得到人脸特征点检测权重W^f和姿态检测权重W^yaw,W^pitch,W^roll；测试过程，经过相同的人脸特征提取网络，最终得到人脸特征点检测结果(W^f)^Tx_i，以及三维姿态检测结果(W^Yaw)^Tx_i,(W^Pitch)^Tx_i,(W^Roll)^Tx_i。

3.如权利要求1所述的人脸特征点检测方法，其特征在于，步骤1中将经人脸检测定位与剪裁后的人脸子图进行灰度处理，得到灰度特征图G；然后对人脸子图提取Hog特征，得到Hog特征图H；最后提取边缘特征，得到边缘特征图E；利用RGB(Red‐Green‐Blue)颜色空间作为基底，将上述特征图G(Gray)、特征图E(Edge)、特征图H(Hog)特征图变量分别映射到RGB直角坐标系颜色空间上，生成新型的GEH模式图像Picture_GEH，生成公式如下：

其中，代表灰度特征图Gray的灰度值映射到RGB中的R(Red)色彩空间，代表Hog特征图特征值映射到B(Blue)色彩空间，代表Edge特征图的特征值映射到G(Green)色彩空间。