CN101908140A - 一种在人脸识别中应用的活体检测方法 - Google Patents

Abstract

本发明提出一种在人脸识别中应用的活体检测方法，属于模式识别技术领域。本发明提出的算法首先不管此时用户姿态是否正确均向登陆用户提示“请正面面向摄像头”，在用户进行姿态校正的过程中，利用Adaboost人脸分类器寻找人脸和眼眶区域，再利用差分投影确定上下眼皮、左右眼角，精确框定眼眶位置。然后在输入视频序列中计算相邻两帧的光流场，采取LK算法进行计算。将得到的光流数据做进一步处理，求得光流幅值，得到幅值较大的像素点数，计算其所占的比重，若比例足够大则标定为眼部发生了运动。实验表明，对于真实人脸而言，眼部在姿态校正和眨眼过程中会产生较大的光流，发生的运动易被检测到；但对于照片而言，不论照片如何旋转、平移，眼部均只会产生微弱的运动。这种方法用来进行活体检测取得了较好的效果。

Description

一种在人脸识别中应用的活体检测方法

技术领域

本发明属于模式识别领域，具体涉及一种在人脸识别中应用的基于误导性提示信息和光流场的活体检测方法。

背景技术

随着生物识别技术的发展，人脸识别技术已趋于成熟，在良好的光照条件和姿态下，人脸识别系统已经可以较好的进行人脸检测与识别，但是，对于一些诸如门禁、登录等系统的人脸识别技术而言，用户可以凭借照片等非法手段欺骗系统。对于这类系统，识别率越高，安全隐患越大。因此，活体检测成为这类系统应用人脸识别技术的瓶颈。

传统的人脸识别系统中的活体检测大致可分为用户配合和盲检测两种方法。用户配合的方法要求用户按照系统的提示做一些特定的动作，例如嘴型变化、头部转动、表情变化等。系统比较用户的反应是否与预期相符合，若符合则判断为活体，否则判断为照片。用户配合的检测方法的优点是确保活体，缺点是暴露了系统活体检测的判断依据。另外，用户配合的检测方法要求用户按照提示做一系列的动作，容易使用户产生厌烦情绪，降低了系统的友好性。盲检测的方法不需要用户配合，是在用户不知情的状态下进行活体检测。盲检测方法的优点是隐蔽性强，安全性高，缺点是可以稳定有效利用的活体特征较少。例如，眼睛眨动是盲检测方法常用的活体特征，但据统计，人平均2至4秒才眨动一次眼睛，这个时间太长了，况且长时间不眨眼的人也不少。

本发明提出一种介于用户配合方法和盲检测方法之间的人脸活体检测方法。目前，许多人脸识别系统为了提高识别率，往往会提示用户正面面对摄像头。本发明提出的活体检测方法是在用户已经正面面对摄像头的情况下，仍然不断提示用户正面面对摄像头，从而引起用户困惑而下意识地调整自己的姿态。就正常的用户来说，这些调整的动作是可以预期的。本发明提出的活体检测方法通过检测这些动作判断活体。

1981年，Horn和Schunck(参考文献[1]：B.K.P.Horn，B.G.Schunck，DeterminingOptical Flow，Artificial Intelligence 17，1981，pp.185-203)最早研究光流场的计算。光流指图像中灰度模式运动速度。物体在光源照射下，其表面的灰度呈现一定的空间分布，称之为灰度模式。当人的眼睛观察运动物体时，物体的景象在人眼的视网膜上形成一系列连续变化的图像，这一系列连续变化的信息不断“流过”视网膜(即图像平面)，好像是一种光的“流”，故称之为光流。当物体运动时，在图像上对应物体的亮度模式也在运动。光流是指图像亮度模式的表观(或视在)运动(apparent motion)。光流表达图像的变化，包含目标运动的信息，可用来确定目标的运动。定义光流以点为基础。具体来说，设(u，v)为图像点(x，y)的光流，则把(x，y，u，v)成为光流点。所有光流点的集合称为光流场。本发明利用光流场计算统一检测眼眶内眼睛眨动和眼球转动的动作。

发明内容

本发明提出一种基于误导信息和光流场的人脸识别活体检测方法，具体内容如下：

(1)系统给出误导性提示信息

目前，许多人脸识别系统为了提高识别率，都会提示用户正面面对摄像头。本发明提出的活体检测方法是在用户已经正面面对摄像头的情况下依然不断提示“正面面向摄像头”的信息，从而使用户产生困惑并下意识调整自己的姿态。系统通过检测这些姿态进行活体判断。这样做有三个目的：

·保证活体检测的隐蔽性。本发明的提示信息都是许多人脸识别系统在“用户配合的应用”中经常使用的、正常的提示信息，如“请正面面对摄像头”、“现场光线过暗”、“请摘除眼镜”等等。这些信息原本不是为了活体检测，而是为了提高识别率。这些信息在“用户配合的应用”中已经广泛使用和广为熟悉。用户看到这些信息不会生疑，不会知道系统正在进行活体检测，从而保证了活体检测的隐蔽性。

·诱使用户产生活体动作。本发明是在用户已经满足提示信息的前提下仍然不断地显示提示信息。例如，在用户已经正面面对摄像头的情况下，仍然提示用户正面面对摄像头。在本发明中，我们把这些信息称为误导信息。误导信息的目的是诱发用户产生困惑，从而下意识地调整自己的姿态。不同的用户可能会有不同的姿态调整动作。例如，有的用户会左右摆动自己的头部，有的用户会上下摆动自己的头部，等等。但是，在“正面面对摄像头”的强烈心理暗示下，用户在调整自己姿态的时侯，眼睛会一直盯住显示屏。这是因为用户的视频和系统的提示信息都实时显示在显示屏上，用户需要通过观察显示屏上的图像和信息实时掌握自己姿态调整的效果。这意味着用户的眼球在其眼眶的相对位置会在用户姿态调整时会发生变化。本发明通过检测眼球相对于眼眶的位置变化判断活体。

·促使用户用眼疲劳，诱发眨眼动作。眨眼是人脸识别中活体检测常用的判别依据。但是，根据统计，人眼平均2到4秒才眨动一次，而且，长时间不眨眼的人也不少。因此，诱发用户在无意识的状态下产生眨眼动作是盲检测方法首要考虑的问题。本发明采用误导信息促使用户产生困惑，又采用走字或闪动的方式不断显示这些误导信息，造成用户精神和用眼的疲劳，诱发用户眨眼。本发明通过检测用户眨眼判断活体。

(2)Adaboost检测人脸、人眼区域

首先对图像进行一定的光线补偿，然后利用Adaboost层叠型人脸分类器对输入图像进行人脸检测，再在检测到的人脸区域上半部利用Adaboost层叠型眼睛分类器进行人眼检测。Adaboost检测到的人眼眼眶包含了眉毛区域、眼睛左右眼角外的一些皮肤区域和眼睛下部的一部分皮肤区，因此需要按照固定比例将眉毛切除，得到候选的眼睛区域。

(3)差分灰度投影精确框定人眼眼眶

为精确框定眼眶，在候选的眼睛区域内进行差分灰度投影。差分灰度投影函数反应了图像在某个方向上的灰度变化大小。由于眼睛相对于周围皮肤灰度值存在较大变化，因此分别经过水平投影、垂直投影后，上下眼皮、左右眼角位置处的投影值相对周围皮肤区域大很多，可以由此特性确定人眼眼眶。

(4)计算相邻两帧眼睛光流场

对于相邻两帧人脸图，可以由以上步骤分别得到两幅左眼眼图和两幅右眼眼图，采取LK算法对左眼、右眼分别做光流计算，目的在于判断眼部是否发生了较大的运动。对于人脸而言，在姿态校正的过程中会伴随眼珠转动和眼睛眨动，通常针对眼珠转动的算法需要精确确定眼珠位置，但这样会带来较大的计算量，并且目前的特征点提取算法鲁棒性不足，对于光线、姿态变化敏感；针对眼睛眨动的算法通常需要确定眼睛睁开、闭合状态，若状态序列符合人眼眨动过程则判断发生了眨眼活动。本发明引入光流场的概念，可以同时估计到这两种运动信息，大大缩减计算量的同时使计算效果大大提高，当上述运动发生时计算得到的光流场较大，对于照片而言，尽管照片的运动也会带来一定的光流变化，但相较于真实人脸的上述两种运动，其光流场微弱许多。

(5)活体判别

可由光流计算的结果得到像素运动幅值，计算幅值足够大的点数占整个图像点数的比重，若占到相当大的比例则判断此时人眼区域发生了较大的运动，说明为活体，否则为照片。

发明特点

本发明特点之一在于提出了一种基于误导信息的活体检测方法。本发明在用户已经正面面向摄像头的时候仍然不断提示用户正面面向摄像头，因此这是一种误导性的提示信息。用户在进行姿态校正的过程中，会有一系列的反应，如转动头部但同时眼睛依然注视摄像头，这时眼珠在眼眶中的相对位置势必会发生变化；同时，信息的提示会诱发用户眼睛的疲劳，使用户较平时更易眨动眼睛。本发明则是利用了这两方面的活体特征进行活体判别。这种方法是介于传统的盲检测和用户配合方式之间的一种判别方法，从本质上讲属于盲检测，因为用户并不知道系统此时正在进行活体判别，也不知道系统利用了怎样的活体特征，在用户反复校正姿态并观察提示信息时，他便无意识的主动提供了系统可利用的运动信息。对于照片，不论其如何旋转、平移，人脸图像的眼部区域始终几乎静止不动，所产生的光流场也比较微弱。这种方式的优点之一在于系统提取的活体特征并没有暴露在用户面前，而且可以同时利用多种活体特征，增强了系统的隐蔽性和安全性。

本发明特点之二在于采用光流场进行活体特征的估计。本发明利用的活体特征是眼珠的转动和眼睛眨动。对于这两种运动而言，目前都有相关的研究算法，但计算量大且效果不佳。本发明中利用的光流场理论，可以同时捕捉到眼珠转动和眼睛眨动时的运动信息，而不去关心眼珠的精确位置和眼睛眨动的开、闭具体状态。本发明在Adaboost检测到眼眶大致区域后，按固定比例去掉眉毛部分，然后利用灰度投影的方法精确框定眼眶，采用LK算法计算眼眶部位相邻帧的光流场。记录每幅图上像素点的光流幅度，计算幅度足够大的点占所有点的比重，若该百分比大于某值则判断眼部发生了运动，否则静止。

附图说明

图1、基于光流场的活体检测流程图

图2、Adaboost检测到的人脸和眼眶位置

图3、根据一定比例切除Adaboost后的眼眶，得到候选眼眶区域

图4、灰度投影图及眼眶精确框定

具体实施方式

本发明以基于视频的人脸检测与识别的应用为例，说明本发明的具体实施过程。试验采用普通的500万象素摄像头，摄像头与人脸的距离约为0.4米，处于一般的室内光照环境下，人脸检测、活体检测、识别系统运行在PC机上。

步骤1：系统提示误导性信息

当用户输入用户名和密码期待进入系统时，向用户发出一条提示信息“请正面面向摄像头”，要求用户进行一定的姿态校正，无论此时摄像头是否已经抓拍到的人脸图像是否为正面图。

步骤2：Adaboost人脸、人眼检测

Adaboost算法提出后被引入用作人脸检测，使人脸检测速度得到很大提高。随着国内外学者对其算法的不断研究和改进，使得现在的Adaboost算法成为人脸检测的主流算法之一。

本发明采用此算法，首先利用层叠性人脸分类器检测人脸，检测出的人脸头像上至额头，下至下巴，左右两侧包含较多的背景图像，见图2；然后在人脸图像的上半部分利用层叠性眼睛分类器进行眼睛的查找，最终找到的眼部区域包含完整的眉毛、左右眼角及眼睛下部的一些皮肤区域。可按比例除去眉毛部分，假设Adaboost检测到的人眼眼眶宽w，高h，则向右舍弃向下舍弃

剩余的

作为候选眼眶，见图3。这部分已经初步去除掉眉毛部分，可以用灰度投影做下一步的处理。

步骤3：差分灰度投影确定人眼眼眶

因人眼与周围皮肤相比，有较强的边缘信息，因此可利用灰度变化来提取上下眼皮、左右眼角的位置。差分投影考虑了图像在某个方向上的灰度变化率改变的情况，由于人眼出较周围皮肤的灰度变化较为显著，因此对去除掉眉毛的人眼区域进行差分投影，对应于人眼位置会有一相当明显的高峰。差分投影函数定义如下：若图像尺寸为imW×imH，垂直差分投影DPF_v(x)与水平差分投影DPF_h(y)可分别表示为：

${\mathrm{DPF}}_v\left(x\right)=\frac{1}{\mathrm{imW}}\underset{i=1}{\overset{\mathrm{imW}-1}{\mathrm{\Σ}}}|I(x,y_{i+1})-I(x,y_i)|$

${\mathrm{DPF}}_h\left(y\right)=\frac{1}{\mathrm{imH}}\underset{i=1}{\overset{\mathrm{imH}-1}{\mathrm{\Σ}}}|I(x_{i+1},y)-I(x_i,y)|$

本发明针对候选眼眶部分左右眼分别进行水平和垂直方向的差分投影，根据投影函数截取一定的范围作为精确的眼眶部位，具体如图4所示。

步骤4：计算相邻帧眼眶光流场

对于视频输入的每一帧图像，依次提取其左右眼眶，然后计算相邻两帧对应的光流场。利用LK算法可得到光流的水平部分图像velx和垂直部分图像vely。为了降低系统计算量，使运行速率提高，本发明只利用每个窗口window×window的中心点(x，y)的光流值，并将这些点成为有效点。对于点(x，y)，分别将其velx图和vely图window×window邻域内的像素光流值取平均，作为该点的水平运动分量xx和垂直方向运动分量yy。为估计其运动信息v，计算

LK算法基于以下三点基本假设：

1、图像的灰度一致性。假设图像中的像素在运动过程中，其像素值是固定不变的，也即帧与帧之间同一物体的同一点灰度值不会随着时间的变化而变化；

2、运动幅度较小。物体的运动速度比较小，否则帧的变化太慢捕捉不到物体的运动情况；

3、空间中相邻点投射到2D平面后仍然彼此相邻，具有相似的运动特性。

由假设条件有，设时刻t时，图像上一点(x，y)处的灰度值为I(x，y，t)。在时刻t+Δt时，这一点运动到新位置，其在图像上的位置变为(x+Δx，y+Δy)，新位置的灰度值记为I(x+Δx，y+Δy，t+Δt)，根据图像灰度一致性假设，有dI(x，y，t)/dt＝0，则

I(x，y，t)＝I(x+Δx，y+Δy，t+Δt)

设u和v分别为该点光流在x和y方向上的分量，即u＝dx/dt，v＝dy/dt，将上式右边用Taylor公式展开，略去2次以上的项，则可得灰度图像光流场计算基本等式

$\frac{\∂I}{\∂x}u+\frac{\∂I}{\∂y}v+\frac{\∂I}{\∂t}=0$

即

I_xu+I_yv+I_t＝0

Lucas-Kanade方法是一种基于像素递归的光流算法，就是预测矫正型的位移估算器预测值可以作为前一个像素位置的运动估算值，或作为当前像素邻域内的运动估算线性组合。依据该像素上的位移帧差的梯度最小值，对预测作进一步的修正。

Lucas和Kanade假设在一个小的空间邻域上Ω运动矢量保持恒定，然后使用加权最小二乘方估计光流。在一个小的空间邻域Ω上，光流估计误差定义为

$\underset{(x,y)\∈\mathrm{\Ω}}{\mathrm{\Σ}}{W}^2\left(x\right){(I_{x}u+I_{y}v+I_t)}^2$

其中W(x)表示窗口权重函数，它使邻域中心部分对约束产生的影响比外围部分更大。

设V＝(u，v)^T，上式的解由下式给出：

A^TW²AV＝A^TW²b

其中，在时刻t的n个点x_i∈Ω，

$A={[\▿I\left(x_1\right),...\▿I\left(x_n\right)]}^T,$

W＝diag[W(x₁)，...W(x_n)]，

b＝-(I_t(x₁)，...I_t(x_n))^T

A^TW²AV＝A^TW²b的解为V＝(A^TW²A)^TA^TW²b，其中当A^TW²A为非奇异时可得到解析解，因为它是一个2*2的矩阵：

$A^T{W}^{2}A=\left[\begin{array}{cc}\mathrm{\Σ}{W}^2\left(x\right)I_x^2\left(x\right)& \mathrm{\Σ}{W}^2\left(x\right)I_x\left(x\right)I_y\left(x\right)\\ \mathrm{\Σ}{W}^2\left(x\right)I_y\left(x\right)I_x\left(x\right)& \mathrm{\Σ}{W}^2\left(x\right)I_y^2\left(x\right)\end{array}\right],$

其中所有的和都是在邻域Ω上的点得到的。

对于光流的基本方程，光流的可靠性由A^TW²A矩阵的特征值来决定，假设其特征值为λ₁和λ₂，若它们均大于给定的阈值λ，则计算出的光流是可靠的，反之，是不可靠的。

步骤5：判断是否为活体

对于计算得到的左右眼眶的光流图，设定一阈值λ，只有该点的运动赋值v≥λ时才将其定义为发生了较大运动的点。计算这些运动足够大的点占有效点数的比重p，若p≥15％(百分比可根据实际调试确定，本发明取值为15％)时认为眼部产生了一定的运动，同时，只有双眼都检测到有运动信息时，才将其判定为活体。实验表明，对于真实人脸，随着姿态的校正和眼睛的眨动，计算得到的光流值较大，光流值较大的点所占比重也较高，系统可以将其判为发生了运动的图；对于照片而言，不论照片如何平移、旋转，所带来的眼部的运动均较微弱，与真实人脸存在较大差别。

Claims (3)

1.一种在人脸识别中应用的活体检测方法，其特征在于：

A、利用正常提示信息进行隐蔽性活体检测；

B、利用光流场统一进行眨眼和眼球转动的检测。

2.根据权利1所述的在人脸识别中应用的活体检测方法，其特征在于所述步骤A具体包括：在用户已经正面面对摄像头的情况下，仍然不断闪现“请正面面对摄像头”的提示信息，从而引起用户困惑，产生一些具有活体特征的可以预期的动作：如用户会下意识的矫正姿态而眼睛却盯住屏幕，这相当于眼球在眼眶中发生了移动；由于过度注视提示信息，使眼睛疲劳而眨动。

3.根据权利1所述的在人脸识别中应用的活体检测方法，其特征在于所述的步骤B具体包括：利用计算光流场统一检测眼球移动和眨眼的活体动作，因为眼球移动或眨眼都可以统一概括为眼眶内物体发生运动，光流场对物体运动比较敏感，利用光流场可以统一检测眼球移动和眨眼。

Images