CN108021892B - 一种基于极短视频的人脸活体检测方法 - Google Patents

Abstract

本发明公开一种基于极短视频人脸活体检测方法。首先，采集包括真人脸部和该真人脸部照片的训练集视频。接着，利用欧拉放大技术对真假人脸视频进行时‑空滤波处理，得到欧拉放大视频。然后，通过SIFT算法提取训练视频中各帧图像之间的SIFT特征匹配点对，再将特征匹配点对的坐标用于其对应的欧拉放大视频，并结合帧间红色分量的差值生成该段训练视频的特征直方图。在测试时，采集时长1秒的待检测人脸视频并生成特征直方图。最后，将训练集中所有训练视频所对应的特征直方图和待检测人脸视频的特征直方图输入到SVM分类器进行真假判断。该方法只需要1秒钟的极短人脸视频，就可以进行真假判断，并不需要用户人脸部的任何动作，可以达到95％的正确识别率。

Description

一种基于极短视频的人脸活体检测方法

技术领域

本发明涉及机器学习和模式识别领域，尤其涉及一种基于极短视频的人脸活体检测方法。

背景技术

近年来，生物特征识别技术取得飞速发展，指纹识别、人脸识别、虹膜识别等身份识别技术得到非常广泛的应用。生物识别技术是根据人体的生理或生理特征来识别一个人。为确保身份验证的正确性，生物识别系统必须能够检测和识别出使用的是生物特征的副本，还是活体本身生物特征，这个通常称为“活性检测”。例如，传统的人脸识别系统在实际应用中能被轻易攻击，N.M Duc等人用一张打印的人脸照片就能通过系统认证。因此，人脸活体检测对于人脸识别系统的安全性尤其重要。

人脸识别系统主要面临着三种常见的欺骗手段：照片欺骗、视频欺骗和三维模型欺骗。国内外许多研究学者都致力于活体检测研究问题。K.Kollreider提出利用光流学方法检测人脸动态变化从而进行活体检测。这种方法所需的特征难以获取，需要用户的主动配合，而且假冒者刻意将照片弯曲变形时，估计的深度坐标会有较大的变化，同时这种判断易受到噪声和光照条件的影响，所以，该方法可靠性不强。A.K.Jain等人提出利用傅里叶频谱分析方法，定义频率动态描述子来区分活体脸和照片人脸。Jukka Maatta等人提出利用LBP特征、Gabor wavelet和HOG三种特征融合的方法来进行活体检测的判别。Diego A等人将拍摄到可见光人脸和热红外人脸进行匹配，根据两者相关性进行活体判断。Hyung-KeunJee等人在输入的连续图片序列中检测眼睛并且计算眼睛区域的运动，以判断输入人脸是活体还是翻拍照片。这些方法需要额外的设备，在普通设备上无法大力推广。

因此，本领域的技术人员致力于开发一种基于极短视频人脸活体检测方法。首先，采集包括真人脸部和该真人脸部照片的训练集视频，训练集中各段训练视频时长1秒。接着，利用欧拉放大技术对真假人脸视频进行时-空滤波处理，得到欧拉放大视频。然后，通过SIFT算法提取训练视频中各帧图像之间的SIFT特征匹配点对，再将特征匹配点对的坐标用于其对应的欧拉放大视频，并结合帧间红色分量的差值生成该段训练视频的特征直方图。在测试时，采集时长1秒的待检测人脸视频并生成特征直方图。最后，将训练集中所有训练视频所对应的特征直方图和待检测人脸视频的特征直方图输入到SVM分类器进行真假判断。实验结果表明，该方法只需要1秒钟的极短人脸视频，就可以进行真假判断，并不需要用户人脸部的任何动作，可以达到95％的正确识别率。本发明的优势在于，传统的真假人脸识别需要用户主动配合，即要求用户在一段时间下完成脸部的表情或姿态的变化才能进行真假人脸的判定，而本发明只需1秒时间且不需用户任何脸部的动作就可以进行真假人脸的识别。同时，本发明只需要一台图像拍摄装置，不需要其它额外的设备，即可完成真假人脸识别，操作过程比传统方法更为简捷方便，并能达到较高的识别率。

发明内容

由于光流学方法检测人脸的特征难以获取，需要用户的主动配合，同时容易受到噪声和光照条件的影响，可靠性不强；将可见光人脸和热红外人脸匹配的方法需要额外的设备，在普通设备上无法大力推广。为解决上述问题，本发明提出一种基于极短视频的人脸活体检测方法。包括以下步骤：

S1：采集包括真人脸部和该真人脸部照片的训练集视频，训练集中各段训练视频时长1秒；

S2：对训练视频进行欧拉视频放大处理，得到欧拉放大视频；

S3：提取训练视频中各帧图像的SIFT特征点并进行帧间SIFT特征点匹配；

S4：将训练视频帧间SIFT特征匹配点对的坐标，应用到其对应的欧拉放大视频，并结合帧间红色分量的差值生成该段训练视频的特征直方图；

S5：采集时长1秒的待检测人脸视频并生成待检测人脸视频的特征直方图；

S6：将训练集中所有训练视频所对应训练视频的特征直方图和待检测人脸视频的特征直方图输入到SVM，输出检测结果。

进一步地，步骤S1采集包括真人脸部和该真人脸部照片的训练集视频，训练集中各段训练视频时长1秒，其具体步骤为：利用视频采集装置采集真人脸部的训练视频，以及该真人脸部照片的训练视频，训练视频时长1秒，所有的训练视频构成训练集视频。

进一步地，步骤S2对训练视频进行欧拉视频放大处理，得到欧拉放大视频，其具体步骤为：对于训练集中各段训练视频，首先，用拉普拉斯金字塔对训练视频进行空间域分解；然后，经高斯滤波器对空间域分解结果进行时域滤波处理；最后，将得到的信号进行放大，得到欧拉放大视频。

进一步地，步骤S3提取训练视频中各帧图像的SIFT特征点并进行帧间SIFT特征点匹配，其具体步骤为：利用SIFT算法提取训练视频中各帧图像的SIFT特征点，并进行SIFT特征点匹配。匹配方法是第1帧与第2帧，第3帧，…，第n帧图像分别进行特征点匹配，得到帧间匹配点对，再将第2帧和第3帧，第4帧，…，第n帧图像分别进行特征点匹配，以此类推，直到第n-1帧和第n帧进行特征点匹配。

进一步地，步骤S4将训练视频帧间SIFT特征匹配点对的坐标，应用到其对应的欧拉放大视频，并结合帧间红色分量的差值生成该段训练视频的特征直方图，其具体步骤为：(1)假定训练视频中第1帧与第2帧共提取k对SIFT匹配点对，第1帧的k个SIFT特征点记作{s₁₁,s₁₂,…,s_1k}，第2帧的k个SIFT特征点记作{s₂₁,s₂₂,…,s_2k}；(2)对于经欧拉视频放大处理后的第1帧图像的红色分量I₁，分别以{s₁₁,s₁₂,…,s_1k}中的k个坐标点为中心，计算其3*3邻域的均值，从而得到k个均值{r₁₁,r₁₂,…,r_1k}，对于经欧拉视频放大处理后的第2帧图像的红色分量I₂也进行同样运算，得到k个均值{r₂₁,r₂₂,…,r_2k}，计算第1帧与第2帧间所有匹配点对的对应均值间差值的绝对值，得到|r₂₁-r₁₁|，|r₂₂-r₁₂|，…，|r_2k-r_1k|，同理，计算第1帧与第3帧间所有匹配点对的对应均值间差值的绝对值，…，计算第1帧与第n帧间所有匹配点对的对应均值间差值的绝对值，…，计算将第2帧和第3帧，第4帧，…，第n帧间所有匹配点对的对应均值间差值的绝对值，以此类推，直到计算第n-1帧和第n帧间所有匹配点对的对应均值间差值的绝对值；(3)对于所有的均值差值的绝对值，按[0,0.5]，[0.5,1]，[1,1.5]，[1.5,2]，[2,4]，[4,6]，[6,8]，[8,10]，[10,12]，[12,14]，[14,16]等构成的11个区间，统计该段视频中所有的均值差值的绝对值落入这11个区间的数目，并构建归一化特征直方图。

进一步地，步骤S5采集时长1秒的待检测人脸视频并生成检测人脸视频的特征直方图，其具体步骤为：采集待检测人脸视频，视频时长1秒，按训练视频生成特征直方图的方法，生成待检测人脸视频的特征直方图。

进一步地，步骤S6将训练集中所有训练视频所对应的特征直方图和待检测人脸视频的特征直方图输入到SVM，输出检测结果，其具体步骤为：计算训练集中所有训练视频的特征直方图和待检测人脸视频的特征直方图，将所有的特征直方图输入到SVM，输出检测结果。

技术效果：

首先，利用欧拉放大技术对真假人脸视频进行时-空滤波处理，得到欧拉放大视频，从而增加了真假人脸视频的差别，保证了后续判断真假工作的顺利进行；其次，本发明提取各帧图像之间SIFT特征匹配点对，从而避免了因拍摄时真假人脸部晃动带来的误判；另外，传统的真假人脸判别需要用户主动配合，比如，要求用户在一段时间内有一定的脸部表情和姿态的变化，而本发明不需要用户任何脸部的动作配合就可以完成真假人脸的识别；再者，本发明只需1秒时间，也就是在一瞬间即可进行真假人脸的识别；同时，本发明只需要一台图像拍摄装置，不需要其它额外设备，即可完成真假人脸识别，操作过程简捷方便，并能达到较高的识别率。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1为本发明的一较佳实施的一种基于极短视频的人脸活体检测方法的流程图；

图2为本发明的一较佳实施的一种基于极短视频的人脸活体检测方法的欧拉视频放大算法流程图；

图3为本发明的一较佳实施的第一位试验者脸部前5帧训练视频；

图4为本发明的一较佳实施的第一位试验者脸部照片前5帧训练视频；

图5为本发明的一较佳实施的经欧拉视频放大处理后的第一位试验者脸部前5帧视频；

图6为本发明的一较佳实施的经欧拉视频放大处理后的第一位试验者脸部照片前5帧视频；

图7位为本发明的一较佳实施的第一位试验者脸部训练视频对应的特征直方图；

图8位为本发明的一较佳实施的第一位试验者脸部照片训练视频对应的特征直方图；

图9为本发明的一较佳实施的10组真人脸部训练直方图；

图10为本发明的一较佳实施的10组真人脸部照片训练直方图；

图11为本发明的一较佳实施的10组真人脸部测试直方图；

图12为本发明的一较佳实施的10组真人脸部照片测试直方图。

具体实施方式：

由于光流学方法检测人脸的特征难以获取，需要用户的主动配合，同时容易受到噪声和光照条件的影响，可靠性不强；将可见光人脸和热红外人脸匹配的方法需要额外的设备，在普通设备上无法大力推广。为解决上述问题，本发明提出一种基于极短视频的人脸活体检测方法。

本发明提供了一种基于极短视频的人脸活体检测方法，具体的实施可以遵从如下处理过程：

首先，采集包括真人脸部和该真人脸部照片的1秒内训练集视频，利用欧拉放大算法对训练视频进行时-空滤波处理，得到欧拉放大视频；然后，通过SIFT算法提取原始训练视频中各帧图像的SIFT特征点并进行帧间SIFT特征点匹配，再将特征匹配点的坐标用于欧拉放大视频并进行相关计算，从而得到特征直方图；接着，采集时长1秒的待检测人脸视频并生成特征直方图；最后，将训练集中所有训练视频所对应的特征直方图和待检测人脸视频的特征直方图输入到SVM分类器，输入检测结果。实验结果表明，该方法只需要1秒钟的极短人脸视频，就可以进行活体检测，并且不需要用户人脸部的任何动作，可以达到95％的正确识别率。

如图1所示，本发明一较佳实施例的一种基于极短视频的人脸活体检测方法具体包括以下步骤：

S1：采集包括真人脸部和该真人脸部照片的训练集视频，训练集中各段训练视频时长1秒；

S2：对训练视频进行欧拉视频放大处理，得到欧拉放大视频；

S3：提取训练视频中各帧图像的SIFT特征点并进行帧间SIFT特征点匹配；

S4：将训练视频帧间SIFT特征匹配点对的坐标，应用到其对应的欧拉放大视频，并结合帧间红色分量的差值生成该段训练视频的特征直方图；

S5：采集时长1秒的待检测人脸视频并生成特征直方图；

S6：将训练集中所有训练视频所对应的特征直方图和待检测人脸视频的特征直方图输入到SVM，输出检测结果。

进一步地，步骤S1采集包括真人脸部和该真人脸部照片的训练集视频，训练集中各段训练视频时长1秒，其具体步骤为：利用视频采集装置采集真人脸部的训练视频，以及该真人脸部照片的训练视频，训练视频时长1秒，所有的训练视频构成训练集视频。

进一步地，步骤S2对训练视频进行欧拉视频放大处理，得到欧拉放大视频，图2为欧拉视频放大算法流程图。其具体步骤为：对于训练集中各段训练视频，首先，用拉普拉斯金字塔对训练视频进行空间域分解；然后，经高斯滤波器对空间域分解结果进行时域滤波处理；最后，将得到的信号进行放大，得到欧拉放大视频。

进一步地，步骤S3提取训练视频中各帧图像的SIFT特征点并进行帧间SIFT特征点匹配，其具体步骤为：利用SIFT算法提取训练视频中各帧图像的SIFT特征点，并进行SIFT特征点匹配。匹配方法是第1帧与第2帧，第3帧，…，第n帧图像分别进行特征点匹配，得到帧间匹配点对，再将第2帧和第3帧，第4帧，…，第n帧图像分别进行特征点匹配，以此类推，直到第n-1帧和第n帧进行特征点匹配。

进一步地，步骤S4将训练视频帧间SIFT特征匹配点对的坐标，应用到其对应的欧拉放大视频，并结合帧间红色分量的差值生成该段训练视频的特征直方图，其具体步骤为：第一步：假定训练视频中第1帧与第2帧共提取k对SIFT匹配点对，第1帧的k个SIFT特征点记作{s₁₁,s₁₂,…,s_1k}，第2帧的k个SIFT特征点记作{s₂₁,s₂₂,…,s_2k}；第二步：对于经欧拉视频放大处理后的第1帧图像的红色分量I₁，分别以{s₁₁,s₁₂,…,s_1k}中的k个坐标点为中心，计算其3*3邻域的均值，从而得到k个均值{r₁₁,r₁₂,…,r_1k}，对于经欧拉视频放大处理后的第2帧图像的红色分量I₂也进行同样运算，得到k个均值{r₂₁,r₂₂,…,r_2k}，计算第1帧与第2帧间所有匹配点对的对应均值间差值的绝对值，得到|r₂₁-r₁₁|，|r₂₂-r₁₂|，…，|r_2k-r_1k|，同理，计算第1帧与第3帧间所有匹配点对的对应均值间差值的绝对值，…，计算第1帧与第n帧间所有匹配点对的对应均值间差值的绝对值，…，计算将第2帧和第3帧，第4帧，…，第n帧间所有匹配点对的对应均值间差值的绝对值，以此类推，直到计算第n-1帧和第n帧间所有匹配点对的对应均值间差值的绝对值。第三步：对于所有的均值差值的绝对值，按[0,0.5]，[0.5,1]，[1,1.5]，[1.5,2]，[2,4]，[4,6]，[6,8]，[8,10]，[10,12]，[12,14]，[14,16]等构成的11个区间，统计该段视频中所有的均值差值的绝对值落入这11个区间的数目，并构建归一化特征直方图。

进一步地，步骤S5采集时长1秒的待检测人脸视频并生成特征直方图，其具体步骤为：采集待检测人脸视频，视频时长1秒，按训练视频生成特征直方图的方法，生成待检测人脸视频的特征直方图。

进一步地，步骤S6将训练集中所有训练视频所对应的特征直方图和待检测人脸视频的特征直方图输入到SVM，输出检测结果，其具体步骤为：计算训练集中所有训练视频的特征直方图和待检测人脸视频的特征直方图，将所有的特征直方图输入到SVM，输出检测结果。

实施例

(1)采集包括真人脸部和该真人脸部照片的训练集视频，训练集中各段训练视频时长1秒，本实验采集10名志愿者视频作为训练集视频，照片各帧分辨率为1334*750，1秒视频包括30帧图像。图3所示为取第一位试验者脸部训练视频30帧中前5帧，图4所示为取第一位试验者脸部照片训练视频30帧中前5帧。

(2)对采集到的训练视频进行欧拉视频放大处理，输出放大后的视频，欧拉视频放大算法的整个流程如图2所示。假设I(x,t)表示图像序列在t时刻时x位置的值。当图像序列发生微小平移运动δ(t)时，在t时刻观测到的图像序列x位置上的值就可以表示为I(x,t)＝f(x+δ(t))，则图像序列满足I(x,0)＝f(x)。欧拉视频放大算法的目标就是合成以下形式的输出图像信号：

其中，α是放大倍数。

假如图像序列可以用一阶泰勒级数展开式表示，则I(x,t)可以近似的表示为：

当对图像信号I(x,t)中的所有位置x进行带通滤波处理时，B(x,t)表示滤波后的信号，假设平移运动δ(t)在带通滤波器的频带内，则有：

然后对滤波后的信号进行放大，放大倍数为α，并将原始信号I(x,t)和放大后的信号相加，则有：

将公式(2)，(3)和(4)合并相加得到

假设放大后的运动(1+α)δ(t)也满足一阶泰勒级数展开式，于是将时域的带通滤波和运动放大相联系起来。处理后的输出可以写成：

由上式可以看出，原来微小的平移运动δ(t)经时域带通滤波后放大到(1+α)δ(t)，即信号幅度被放大到了(1+α)倍。

图5为经欧拉视频放大处理后的第一位试验者脸部前5帧视频，图6为经欧拉视频放大处理后的第一位试验者脸部照片前5帧视频。从图5可见，由于真人脸部分布着毛细血管，随着血压起伏，真人脸部颜色会发生人眼无法察觉的变化，经欧拉视频放大技术处理后，可以将这些细微变化放大，而假人其脸部不会具有这些细微的变化。从图6可见，即使对真人脸部照片视频进行欧拉视频放大，也不会发生较为明显的变化。

(3)提取训练视频中各帧图像的SIFT特征点并进行帧间SIFT特征点匹配。视频经欧拉视频放大处理以后，真人视频的帧间差值比假人大，可以利用该特点进行活体检测，但由于存在这样的可能性，即，假人在1秒的视频拍摄瞬间作了某种运动，其经欧拉视频放大处理后的帧间差值也较大，从而导致误判。本发明选用SIFT算法进行图像匹配的优点在于SIFT算法对旋转、尺度缩放、亮度变化具有保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性。因此，本发明利用SIFT特征匹配点对来提取经欧拉视频放大处理后的帧间差值，并构成特征直方图来进行人脸活体检测。

SIFT算法的实质可归为在不同尺度空间上查找特征点，通过高斯差分算子在高斯尺度空间上找出图像的局部极值点，然后分别利用曲线拟合和Hessian矩阵除去初始特征点中的不稳定极值点和边缘响应点，最后根据关键点邻域像素的梯度方向分布特性为每个关键点指定方向，提取对图像旋转具有不变性的特征点后，采用梯度直方图统计法确定关键点的方向，生成128维特征向量，即SIFT描述子。

在利用SIFT特征进行图像匹配时，首先分别提取两幅图像中SIFT关键点的128维描述子，再将一幅图像的128维描述子逐个取出，计算其与另一幅图像的所有128维描述子之间的欧几里德距离，从而找到最匹配的关键点对。例如，从待匹配图像1中取出关键点J1，并找出其与另一幅图像2中距离最近的关键点J2和次近的关键点J3。如果最近的距离除以次近的距离小于比例阈值(本发明取阈值为0.6)，则认为J1与J2匹配，否则两者不匹配。

本发明是利用SIFT算法提取训练视频中各帧图像的SIFT特征点，并进行SIFT特征点匹配。匹配方法是第1帧与第2帧，第3帧，…，第n帧图像分别进行特征点匹配，得到帧间匹配点对，再将第2帧和第3帧，第4帧，…，第n帧图像分别进行特征点匹配，以此类推，直到第n-1帧和第n帧进行特征点匹配。

以图3前5帧真人图像为例，首先利用SIFT算法分别得到第1帧和第2帧图像的匹配点对坐标。第1帧图像匹配点坐标：(62,476),(443,455),(443,455),(288,379),(385,428),(421,350),(463,85),(463,85),(464,213),(469,202),(465,98),(467,105),(470,130),(27,270),(49,348),(253,286),(253,286),(336,170),(336,170),(336,170),(391,460),(391,460),(427,454),(432,464),(432,464),(434,452),(440,457),(420,348),(73,378),(251,282),(300,375),(313,185),(345,185)；第2帧图像匹配点坐标：(55,476),(437,453),(437,453),(281,379),(378,427),(414,349),(449,55),(455,79),(457,211),(457,211),(459,98),(460,104),(465,145),(24,278),(43,348),(245,285),(245,285),(328,169),(328,169),(334,171),(385,458),(385,458),(423,451),(426,462),(426,462),(428,451),(435,455),(414,347),(63,373),(243,282),(294,375),(305,184),(338,184)。

在上面第1帧与第2帧的匹配点坐标中，第1帧的第1个匹配点坐标(62,476)与第2帧的第1个匹配点坐标(55,476)对应，即，第1帧的第n个匹配点坐标与第2帧的第n个匹配点坐标对应。

然后，利用SIFT算法分别得到第1帧和第3帧图像的匹配点对坐标，这里，第1帧的第n个匹配点坐标与第3帧的第n个匹配点坐标对应。第1帧图像匹配点坐标：(62,476),(443,455),(67,367),(287,379),(420,350),(462,246),(467,106),(470,130),(470,130),(472,174),(453,255),(453,255),(27,271),(27,271),(78,472),(78,472),(122,466),(122,466),(252,286),(252,286),(336,170),(336,170),(336,170),(336,170),(391,460),(391,460),(391,460),(432,465),(432,465),(441,457),(64,364),(64,364),(349,186),(349,186),(383,427),(383,427),(444,260),(444,260),(286,373),(312,185),(345,185),(307,189),(307,189),(307,189)；第3帧图像匹配点坐标：(437,453),(61,367),(281,379),(414,349),(455,244),(460,104),(465,145),(466,157),(466,173),(447,254),(447,254),(21,270),(24,278),(71,471),(71,471),(117,465),(117,465),(245,285),(245,285),(328,169),(328,169),(334,171),(334,171),(385,458),(385,458),(393,456),(426,462),(426,462),(435,455),(59,364),(59,364),(342,184),(342,184),(376,426),(376,426),(437,261),(437,261),(294,375),(305,184),(338,184),(299,188),(299,188),(299,188)。

接着，利用SIFT算法分别得到第1帧和第4帧图像的匹配点对坐标，这里，第1帧的第n个匹配点坐标与第4帧的第n个匹配点坐标对应。第1帧图像匹配点坐标：(62,476),(442,455),(442,455),(67,367),(384,428),(420,350),(464,98),(461,245),(464,98),(466,105),(469,130),(469,130),(469,130),(469,130),(453,256),(453,256),(54,477),(54,477),(252,286),(252,286),(335,170),(335,170),(335,170),(390,460),(390,460),(434,453),(432,464),(432,464),(434,453),(440,457),(64,364),(64,364),(349,186),(349,186),(443,260),(452,56),(452,56),(261,292),(261,292),(45,346),(45,346),(250,283),(250,283),(393,457),(137,194),(299,375),(312,185),(344,185),(306,189),(306,189)；第4帧图像匹配点坐标：(55,476),(437,453),(437,453),(61,367),(378,427),(414,349),(455,79),(455,244),(459,98),(460,104),(465,145),(465,145),(466,157),(466,157),(447,254),(447,254),(47,477),(47,477),(245,285),(245,285),(328,169),(328,169),(334,171),(385,458),(385,458),(423,451),(426,462),(426,462),(428,451),(435,455),(59,364),(59,364),(342,184),(342,184),(437,261),(446,54),(454,84),(255,291),(255,291),(39,346),(39,346),(243,282),(243,282),(391,454),(130,194),(294,375),(305,184),(338,184),(299,188),(299,188)。

然后，利用SIFT算法分别得到第1帧和第5帧图像的匹配点对坐标，这里，第1帧的第n个匹配点坐标与第5帧的第n个匹配点坐标对应。第1帧图像匹配点坐标：(61,477),(442,455),(383,429),(461,84),(461,84),(461,246),(462,213),(466,105),(469,130),(469,130),(469,130),(452,256),(452,256),(26,270),(26,270),(53,477),(53,477),(121,467),(121,467),(251,286),(251,286),(335,170),(335,170),(335,170),(428,454),(428,454),(431,465),(431,465),(440,457),(64,364),(64,364),(348,186),(348,186),(381,427),(381,427),(418,348),(418,348),(418,348),(443,261),(443,261),(393,457),(136,194),(261,295),(298,376),(311,185),(343,185),(239,205)；第5帧图像匹配点坐标：(55,476),(437,453),(378,427),(449,55),(455,79),(455,244),(457,211),(460,104),(465,145),(465,145),(466,157),(447,254),(447,254),(21,270),(24,278),(47,477),(47,477),(117,465),(117,465),(245,285),(245,285),(328,169),(328,169),(334,171),(423,451),(423,451),(426,462),(426,462),(435,455),(59,364),(59,364),(342,184),(342,184),(376,426),(376,426),(414,347),(414,347),(414,347),(437,261),(437,261),(391,454),(130,194),(255,294),(294,375),(305,184),(338,184),(233,202)。

以此类推，直到第n-1帧和第n帧进行特征点匹配。

(4)将训练视频帧间SIFT特征匹配点对的坐标，应用到其对应的欧拉放大视频，并结合帧间红色分量的差值生成该段训练视频的特征直方图，其具体步骤为：

以图3第一位试验者前5帧图像为例：

第一步：通过第(2)步，我们已经得到了图3的前5帧SIFT特征点匹配后的坐标，分别对第1帧和第2帧共提取33对SIFT匹配点对，第1帧的33个SIFT特征点记作{s_1,1,s_1,2,...,s_1,33}，第2帧的33个SIFT特征点记作{s_2,1,s_2,2,...,s_2,33}。

第二步：对于经欧拉视频放大处理后的第1帧图像(如图5所示)的红色分量I₁，其中，第1帧图像的像素值分别以{s_1,1,s_1,2,...,s_1,33}中的33个坐标点为中心，计算其3*3邻域的均值，从而得到33个均值{r_1,1,r_1,2,...,r_1,33}。例如，计算以s_1,1坐标点为中心的3*3邻域均值，已知图1中s_1,1的坐标为(62,476)，可得到如下计算公式：

同理，可以得到剩余32个均值，从而得到33个均值{r_1,1,r_1,2,...,r_1,33}。对于经欧拉视频放大处理后的第2帧图像的红色分量I₂也进行同样运算，得到33个均值{r_2,1,r_2,2,...,r_2,33}，计算第1帧与第2帧间所有匹配点对的对应均值间差值的绝对值，得到|r_2,1-r_1,1|，|r₂,₂-r_1,2|，…，|r_2,33-r_1,33|共33个差值绝对值，同理，计算第1帧与第3帧间所有匹配点对的对应均值间差值的绝对值，…，计算第1帧与第n帧间所有匹配点对的对应均值间差值的绝对值，…，计算将第2帧和第3帧，第4帧，…，第n帧间所有匹配点对的对应均值间差值的绝对值，以此类推，直到计算第n-1帧和第n帧间所有匹配点对的对应均值间差值的绝对值。

第三步：对于所有的均值差值的绝对值，按[0,0.5]，[0.5,1]，[1,1.5]，[1.5,2]，[2,4]，[4,6]，[6,8]，[8,10]，[10,12]，[12,14]，[14,16]等构成的11个区间，统计该段视频中所有的均值差值的绝对值落入这11个区间的数目，并构建归一化特征直方图，如图7所示。

(5)采集时长1秒的待检测人脸视频并生成特征直方图。其具体步骤为：采集待检测人脸视频，视频时长1秒，按训练视频生成特征直方图的方法，生成待检测人脸视频的特征直方图。例如，采集第一位试验者对应的脸部照片时长1秒视频，并将该视频作为待检测人脸视频，按照训练视频生成特征直方图的方法，生成该名试验者的特征直方图，如图8所示。

(6)将训练集中所有训练视频所对应的特征直方图和待检测人脸视频的特征直方图输入到SVM，输出检测结果，其具体步骤为：计算训练集中所有训练视频的特征直方图和待检测人脸视频的特征直方图，将所有的特征直方图输入到SVM，输出检测结果。

为进一步验证本发明方法的有效性，本实验共采集20名志愿者视频，各帧分辨率为1334*750，1秒视频包括30帧图像。每个人对应真假视频各2个，因此，我们共得到40个真假视频，由此得到40个特征直方图，其中随机选取10组真人和10组假人作为训练特征直方图，10组真人和10组假人作为测试特征直方图，如图图9-12所示。从图9-12中可以看出，真人的差值绝对值分散在不同区间，而假人的差值绝对值主要集中在[0,0.5]区间。

将40组训练与测试特征直方图输入到SVM中进行判别，最终得出实验结果，如表1所示。从表1可以看出，检测准确率达到95％。

表1检测结果

以上对本发明的具体实施进行了详细描述，但其只是作为范例，本发明并不限制于以上描述的具体实施。对于本领域技术人员而言，任何对本发明进行的等同修改和替代也都在本发明的范畴之中。因此，在不脱离本发明的精神和范围下所作的均等变换和修改，都应涵盖在本发明的范围内。

Claims (7)

1.一种基于极短视频的人脸活体检测方法，其特征在于，包括以下步骤：

S1：采集包括真人脸部和该真人脸部照片的训练集视频，所述训练集视频中的各段训练视频时长被设置为1秒；

S2：对所述训练视频进行欧拉视频放大处理，得到欧拉放大视频；

S3：提取所述训练视频中各帧图像的SIFT特征点并进行帧间SIFT特征点匹配；

S4：将所述训练视频的帧间SIFT特征匹配点对的坐标，应用到其对应的所述欧拉放大视频，并结合帧间红色分量的差值生成该段所述训练视频的特征直方图；其具体步骤为：

(1)假定训练视频中第1帧与第2帧共提取k对SIFT匹配点对，第1帧的k个SIFT特征点记作{s₁₁,s₁₂,…,s_1k}，第2帧的k个SIFT特征点记作{s₂₁,s₂₂,…,s_2k}；

(2)对于经欧拉视频放大处理后的第1帧图像的红色分量I₁，分别以{s₁₁,s₁₂,…,s_1k}中的k个坐标点为中心，计算其3*3邻域的均值，从而得到k个均值{r₁₁,r₁₂,…,r_1k}，对于经欧拉视频放大处理后的第2帧图像的红色分量I₂也进行同样运算，得到k个均值{r₂₁,r₂₂,…,r_2k}，计算第1帧与第2帧间所有匹配点对的对应均值间差值的绝对值，得到|r₂₁-r₁₁|，|r₂₂-r₁₂|，…，|r_2k-r_1k|，同理，计算第1帧与第3帧间所有匹配点对的对应均值间差值的绝对值，…，计算第1帧与第n帧间所有匹配点对的对应均值间差值的绝对值，…，计算将第2帧和第3帧，第4帧，…，第n帧间所有匹配点对的对应均值间差值的绝对值，以此类推，直到计算第n-1帧和第n帧间所有匹配点对的对应均值间差值的绝对值；

(3)对于所有的均值差值的绝对值，按[0,0.5]，[0.5,1]，[1,1.5]，[1.5,2]，[2,4]，[4,6]，[6,8]，[8,10]，[10,12]，[12,14]，[14,16]等构成的11个区间，统计该段训练视频中所有的均值差值的绝对值落入这11个区间的数目，并构建归一化所述训练视频的特征直方图；

S5：采集时长1秒的待检测人脸视频并生成待检测人脸视频的特征直方图；

S6：将所述训练集视频中的所有训练视频所对应的所述训练视频的特征直方图和所述待检测人脸视频的特征直方图输入到SVM，输出检测结果。

2.如权利要求1所述的一种基于极短视频的人脸活体检测方法，其特征在于，所述的采集包括真人脸部和该真人脸部照片的训练集视频，训练集中各段训练视频时长1秒，其具体步骤为：利用视频采集装置采集所述真人脸部的训练视频，以及该所述真人脸部照片的训练视频，所述训练视频时长被设置为1秒，所有的训练视频构成所述训练集视频。

3.如权利要求1所述的一种基于极短视频的人脸活体检测方法，其特征在于，所述的对所述训练视频进行欧拉视频放大处理，得到欧拉放大视频，其具体步骤为：对于所述训练集中各段训练视频，首先，用拉普拉斯金字塔对训练视频进行空间域分解；然后，经高斯滤波器对所述空间域分解结果进行时域滤波处理；最后，将得到的信号进行放大，得到欧拉放大视频。

4.如权利要求1所述的一种基于极短视频的人脸活体检测方法，其特征在于，所述的提取所述训练视频中各帧图像的SIFT特征点并进行帧间SIFT特征点匹配，其具体步骤为：利用SIFT算法提取所述训练视频中各帧图像的SIFT特征点，并进行所述SIFT特征点匹配。

5.如权利要求4所述的一种基于极短视频的人脸活体检测方法，其特征在于，所述SIFT特征点匹配的匹配方法具体是第1帧与第2帧，第3帧，…，第n帧图像分别进行特征点匹配，得到帧间匹配点对，再将第2帧和第3帧，第4帧，…，第n帧图像分别进行特征点匹配，以此类推，直到第n-1帧和第n帧进行特征点匹配。

6.如权利要求1所述的一种基于极短视频的人脸活体检测方法，其特征在于，所述的采集时长1秒的待检测人脸视频并生成待检测人脸视频的特征直方图，其具体步骤为：采集待检测人脸视频，视频时长1秒，按训练视频生成特征直方图的方法，生成所述待检测人脸视频的特征直方图。

7.如权利要求1所述的一种基于极短视频的人脸活体检测方法，其特征在于，所述的将所述训练集中所有训练视频所对应的所述训练视频的特征直方图和所述待检测人脸视频的特征直方图输入到SVM，输出检测结果，其具体步骤为：计算所述训练集中所有的所述训练视频的特征直方图和所述待检测人脸视频的特征直方图，将所有的所述训练视频的特征直方图和所述待检测人脸视频的特征直方图输入到SVM，输出检测结果。

Images