CN110287900A - 验证方法和验证装置 - Google Patents

Abstract

本发明实施例提供了一种验证方法及装置，包括：获取目标对象的近红外图像和深度图像；对所述近红外图像进行人脸检测，得到人脸轮廓信息；根据所述人脸轮廓信息和所述深度图像进行活体检测；响应于所述活体检测通过，根据所述近红外图像对所述目标对象进行人脸验证；响应于所述人脸验证通过，执行解锁操作；通过该验证方法可有效解决暗逆光下人脸识别问题及假人攻击等难以防御的问题。

Description

验证方法和验证装置

技术领域

本发明涉及人脸识别技术领域，具体涉及了一种验证方法和验证装置。

背景技术

人脸识别方案包含人脸检测，人脸识别，活体检测，睁闭眼检测，图像质量检测技术。通过提前录入人脸图像信息，手机在打开屏幕时可快速识别屏幕前的人脸，进行活体检测、睁闭眼检测、比对人脸信息，实现解锁。目前的脸解锁方案有常见的RGB人脸解锁，近红外人脸解锁，以及3D结构光人脸解锁。

目前已有的2D手机人脸解锁方案成本较低，但存在容易被环境光影响或对剪纸/照片/高成本的假人攻击难以防御的问题。因为暗光环境下RGB照片的人脸较暗，难以被识别。在强光下人脸容易出现过曝，或由于树荫等遮挡形成“阴阳脸”会增加人脸识别难度。防攻击方面，由于2D方案得到的是2D RGB图或2D近红外照片容易被攻击成功，对用户设备安全形成威胁。

发明内容

本发明实施例提供了一种验证方法和验证装置，能够有效解决暗逆光下人脸识别问题及假人攻击等难以防御的问题。

本发明实施例第一方面公开了一种验证方法，所述方法包括：获取目标对象的近红外图像和深度图像；对所述近红外图像进行人脸检测，得到人脸轮廓信息；根据所述人脸轮廓信息和所述深度图像进行活体检测；响应于所述活体检测通过，根据所述近红外图像对所述目标对象进行人脸验证；响应于所述人脸验证通过，执行解锁操作。

可选的，所述对所述近红外图像进行人脸检测，得到人脸轮廓信息包括：调整所述近红外图像的大小，得到图像金字塔；对所述图像金字塔进行人脸特征提取并标定边框；对所述边框进行优化，得到所述人脸轮廓信息。

可选的，在所述对所述近红外图像进行人脸检测得到人脸轮廓信息之后，所述方法还包括：根据所述人脸轮廓信息进行睁闭眼检测。

可选的，所述根据所述人脸轮廓信息进行睁闭眼检测，包括：将所述近红外图像输入深度学习网络的第一模块中，所述第一模块用于睁闭眼检测；获取所述人脸轮廓信息中的眼部关键点坐标；根据所述眼部关键点坐标在所述第一模块中提取眼部特征；将提取的所述眼部特征与第一预存特征进行比对，以进行睁闭眼检测，其中，所述第一预存特征为人脸特征库中预存的睁眼时的眼部特征。

可选的，所述深度学习网络还包括第二模块，所述第二模块用于所述活体检测，所述根据所述人脸轮廓信息和所述深度图像进行活体检测，包括：根据所述近红外图像的所述人脸轮廓信息在所述深度图像中分割出第一人脸区域图像；将第一人脸区域图像输入所述第二模块中，通过所述第二模块提取所述第一人脸区域图像的第一人脸特征；将所述第一人脸特征与第二预存特征进行比对，以进行活体检测，其中，所述第二预存特征为所述人脸特征库中预存的活体人脸特征信息。

可选的，所述深度学习网络还包括第三模块，所述第三模块用于所述人脸验证，所述根据所述近红外图像对所述目标对象进行人脸验证包括：根据所述人脸轮廓信息在所述近红外图像中分割出第二人脸区域图像；将第二人脸区域图像输入所述第三模块中，通过所述第三模块提取所述第二人脸区域图像的第二人脸特征，将所述第二人脸特征与第三预存特征进行比对，判断是否为同一人，其中，所述第三预存特征为所述人脸特征库中预存的所述目标对象的人脸特征。

可选的，所述深度学习网络是经过训练得到的，所述训练包括：建立深度学习网络，其中，所述深度学习网络包括所述第一模块，所述第二模块，所述第三模块；选取训练样本，所述训练样本包括睁闭眼检测样本，活体检测样本和人脸验证样本；通过所述第一模块对所述睁闭眼检测样本提取所述第一预存特征，通过所述第二模块对所述活体检测样本提取所述第二预存特征，通过所述第三模块对所述人脸验证样本提取所述第三预存特征，将所述第一预存特征，所述第二预存特征和所述第三预存特征存入所述人脸特征库；根据所述第一预存特征对所述第一模块进行训练，根据所述第二预存特征对所述第二模块进行训练，根据所述第三预存特征对所述第三模块进行训练；根据训练结果调整所述深度学习网络的超参数，得到训练后的深度学习网络。

本发明第二方面公开了一种验证方法装置，所述验证方法装置包括：第一获取单元，用于获取目标对象的近红外图像和深度图像；人脸检测单元，用于对所述近红外图像进行人脸检测，得到人脸轮廓信息；活体检测单元，用于根据所述人脸轮廓信息和所述深度图像进行活体检测；人脸验证单元，用于响应于所述活体检测通过，根据所述近红外图像对所述目标对象进行人脸验证；解锁单元，用于响应于所述人脸验证通过，执行解锁操作。

可选的，在所述对所述近红外图像进行人脸检测，得到人脸轮廓信息方面，所述人脸检测单元具体用于：调整所述近红外图像的大小，得到图像金字塔；对所述图像金字塔进行人脸特征提取并标定边框；对所述边框进行优化，得到所述人脸轮廓信息。

可选的，在所述根据所述人脸轮廓信息进行睁闭眼检测方面，所述睁闭眼检测单元具体用于：将所述近红外图像输入深度学习网络的第一模块中，所述第一模块用于睁闭眼检测；获取所述人脸轮廓信息中的眼部关键点坐标；根据所述眼部关键点坐标在所述第一模块中提取眼部特征；将提取的所述眼部特征与第一预存特征进行比对，以进行睁闭眼检测，其中，所述第一预存特征为人脸特征库中预存的睁眼时的眼部特征。

可选的，所述深度学习网络还包括第二模块，所述第二模块用于所述活体检测，在所述根据所述人脸轮廓信息和所述深度图像进行活体检测方面，所述活体检测单元具体用于：根据所述近红外图像的所述人脸轮廓信息在所述深度图像中分割出第一人脸区域图像；将第一人脸区域图像输入所述第二模块中，通过所述第二模块提取所述第一人脸区域图像的第一人脸特征；将所述第一人脸特征与第二预存特征进行比对，以进行活体检测，其中，所述第二预存特征为所述人脸特征库中预存的活体人脸特征信息。

可选的，所述深度学习网络还包括第三模块，所述第三模块用于所述人脸验证，在所述根据所述近红外图像对所述目标对象进行人脸验证方面，所述人脸验证单元具体用于：根据所述人脸轮廓信息在所述近红外图像中分割出第二人脸区域图像；将第二人脸区域图像输入所述第三模块中，通过所述第三模块提取所述第二人脸区域图像的第二人脸特征；将所述第二人脸特征与第三预存特征进行比对，判断是否为同一人，其中，所述第三预存特征为所述人脸特征库中预存的所述目标对象的人脸特征。

可选的，所述深度学习网络是经过训练得到的，所述验证装置还包括训练单元，用于：建立深度学习网络，其中，所述深度学习网络包括所述第一模块，所述第二模块，所述第三模块；选取训练样本，所述训练样本包括睁闭眼检测样本，活体检测样本和人脸验证样本；通过所述第一模块对所述睁闭眼检测样本提取所述第一预存特征，通过所述第二模块对所述活体检测样本提取所述第二预存特征，通过所述第三模块对所述人脸验证样本提取所述第三预存特征，将所述第一预存特征，所述第二预存特征和所述第三预存特征存入所述人脸特征库；根据所述第一预存特征对所述第一模块进行训练，根据所述第二预存特征对所述第二模块进行训练，根据所述第三预存特征对所述第三模块进行训练；根据训练结果调整所述深度学习网络的超参数，得到训练后的深度学习网络。

本发明第三方面公开了一种电子设备，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行第一方面任一项所述的方法。

本发明第四方面公开了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行，以实现如第一方面任一项所述的方法。

本发明实施例的方案中，获取目标对象的近红外图像和深度图像；对所述近红外图像进行人脸检测，得到人脸轮廓信息；根据所述人脸轮廓信息和所述深度图像进行活体检测；响应于所述活体检测通过，根据所述近红外图像对所述目标对象进行人脸验证；响应于所述人脸验证通过，执行解锁操作。通过本发明提供的方案，能够通过对近红外图像和深度图像进行人脸检测、活体检测和人脸验证等检测，有效的解决暗逆光下人脸识别问题及假人攻击等难以防御的问题。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种验证方法的注册流程示意图；

图2为本发明实施例提供的一种验证方法的解锁流程示意图；

图3为本发明实施例提供的一种验证方法的流程示意图；

图4为本申请实施例提供的一种电子设备的结构示意图；

图5为本发明实施例提供的一种验证装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本发明说明书、权利要求书和附图中出现的术语“第一”、“第二”和“第三”等是用于区别不同的对象，而并非用于描述特定的顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请实施例所涉及到的电子设备可以包括各种具有无线通信功能的手持设备、车载设备、无线耳机、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(user equipment，UE)，移动台(mobile station，MS)，终端设备(terminaldevice)等等，电子设备例如可以为智能手机、平板电脑、耳机盒等等。为方便描述，上面提到的设备统称为电子设备。

在本申请实施例中，通过近红外摄像头和TOF(Time of flight)摄像头来分别获取近红外图像和深度图像，其中，通过TOF摄像头获取深度图像的原理如下：通过TOF摄像头对目标场景发射连续的近红外脉冲，然后用传感器接收由物体反射回的光脉冲，通过比较发射光脉冲与经过物体反射的光脉冲的相位差，推算得到光脉冲之间的传输延迟进而得到物体相对于发射器的距离，最终得到深度图像，深度图像是将从摄像机到场景中各点的距离(深度)作为像素值的图像，根据深度图像可以获得物体的3D信息。

一般的，TOF相机包括红外发射单元、光学透镜、成像传感器、控制单元及核心算法计算单元。

其中，红外发射单元包括Vcsel发射器、Diffuser扩散器。Vcsel发出的是脉冲方波，波长为940nm，该波长的红外光是非可见光，在光谱中的量最少，因而可以避免环境光的干扰。

光学透镜用于汇聚反射回来的光线，在光学传感器上成像。

成像传感器与一般相机的感光元件类似，用来接收反射回来的光，并在Sensor上进行光电转换。

控制单元即为激光发射器的驱动IC，它能够驱动激光用上限达到100MHz的高频脉冲驱动，同时消除各类干扰，确保驱动波形是方波，上升沿和下降沿时间在0.2ns左右，从而有效保障高精度的深度精度的提取。

TOF芯片是TOF相机的核心，可将采集的图像信息转换为深度图。

TOF相机能够快速完成对目标的识别与追踪，可通过距离信息获取物体之间更加丰富的位置关系，即区分前景与后景，经过进一步深化处理，还可以完成三维建模等应用。

为了更好的理解本申请实施例提供的一种验证方法，下面首先对其进行简要介绍。本方法主要包括注册和解锁两部分。

请参阅图1，图1为本申请实施例提供的一种验证方法的注册流程示意图，首先通过近红外摄像头获取近红外图像，通过TOF摄像头获取深度图像，然后对近红外图像进行预处理，预处理包括人脸检测、图片质量检测和睁闭眼检测，之后对近红外图像和深度图像进行图像后处理，图像后处理包括活体检测、存为人脸模板、提取人脸特征并将人脸特征存入人脸特征库。

上述过程也可理解如下：在近红外图像中检测到人脸后，过滤掉有问题的近红外图像(脸部遮挡，位置出框，脸太偏等)，并过滤距离太近或太远的深度图像，进一步过滤闭眼或者未注视屏幕的近红外图像，之后，通过近红外图像配合深度图像过滤掉非活体图像，最终得到的近红外图像即为合格图像，最后，将合格图像保存到人脸模板，并提取人脸模板中的人脸特征，将人脸特征存入人脸特征库中。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

本申请实施例示出验证方法的注册过程，注册过程如下：

获取目标对象的近红外图像和深度图像。

对所述近红外图像进行人脸检测，得到人脸轮廓信息。

对所述近红外图像进行质量检测。

其中，质量检测包括检测曝光、清晰度、颜色、噪音、防手抖、闪光灯、对焦和伪像等因素，只有在以上因素的检测结果都满足预设阈值的条件下，才可通过质量检测。

根据所述人脸轮廓信息进行睁闭眼检测。

对所述近红外图像进行注视检测。

其中，注视检测为非必要项，注视检测需要分别检测上、下、左、右和正面五个方向时的人眼注视情况，若注视检测失败，则重新录入近红外图像和深度图像。

根据所述人脸轮廓信息和所述深度图像进行活体检测。

响应于所述活体检测通过，检测所述近红外图像中人脸角度。

其中，检测所述近红外图像中人脸角度是为了在录入相应角度的人脸模板时，保证人脸角度处于预设范围中，例如，在进行正面检测时，必须确保人脸在允许的偏差范围内正对屏幕。

在确认人脸角度处于预设范围后，提取所述近红外图像中的人脸特征与已录入人脸特征库中的人脸特征进行对比。

其中，若人脸角度超出角度偏差允许范围，则返回重新录入深度图像和近红外图像。

经人脸特征对比确认为同一人，将所述近红外图像保存为人脸模板。

其中，若经比对不是同一个人，则返回重新录入深度图像和近红外图像。

重复以上步骤5次，分别录入正面、上、下、左、右五个方向的人脸模板。

其中，在每一次录入开始时，会以文字或语音或文字加语音的形式提醒用户准备录入模板以及相关的动作指令，动作指令包括：正视屏幕、向左偏转、向右偏转、向上偏转和向下偏转。

其中，在进行模板录入的过程中，若超过预设时间未检测到有效人脸或者任意一项检测未通过，则返回重新录入深度图像和近红外图像。

可见，通过上述步骤可以保证最后录入的人脸模板为目标对象本人的人脸图像，并且可通过人脸比对进行后续的解锁操作。

请参阅图2，图2为本申请实施例提供的一种验证方法的解锁流程示意图，首先通过近红外摄像头获取近红外图像，通过TOF摄像头获取深度图像，然后对近红外图像进行预处理，预处理包括人脸检测、图片质量检测和睁闭眼检测，之后对近红外图像和深度图像进行图像后处理，图像后处理包括活体检测、提取人脸特征与人脸特征库中的人脸特征进行比较。

上述过程也可理解如下：在近红外图像中检测到人脸后，过滤有闭眼情况的近红外图像，通过近红外图像配合深度图像过滤掉非活体图像，从近红外图像中提取人脸特征与人脸特征库中的人脸特征比较，全部步骤通过后返回解锁成功，否则为失败。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

参阅图3，图3为本申请实施例提供的一种验证方法的流程示意图，包括：

S301，获取目标对象的近红外图像和深度图像。

其中，通过近红外摄像头和TOF摄像头来分别获取近红外图像和深度图像，近红外摄像头通过主动光源发射近红外光再由感光器件接收然后成像，不受可见光强度影响，可以完美解决暗逆光下人脸识别问题；TOF摄像头通过飞行时间判断距离的原理来检测深度信息，在100m距离内检测精度大约在1cm左右，且不受物体纹理影响，有较高帧率，体积小，有效深度信息高，制造工艺简单，物体边缘清晰等优点。

S302，对所述近红外图像进行人脸检测，得到人脸轮廓信息。

其中，所述人脸轮廓信息包括人脸框坐标和人脸关键点坐标，人脸关键点坐标包括眼部关键点坐标，眉部关键点坐标、鼻部关键点坐标和唇部关键点坐标，还可包括耳部关键点坐标、颧骨关键点坐标和下颚关键点坐标等。

其中，对所述近红外图像中的人脸进行检测可基于特征不变的方法、模板匹配方法、基于外观的方法和基于知识的方法等，本申请对此不做限定。可选的，可选用深度学习模型MTCNN(Multi-task convolutional neural network多任务卷积神经网络)来进行人脸检测，其中，MTCNN由PNet，RNet和Onet级联而成，图像数据先后经过这三个卷积神经网络的处理后，最后可得到人脸轮廓信息。经过人脸检测后，可有效滤除脸部遮挡，位置出框，脸太偏的不合格图像。

S303，根据所述人脸轮廓信息和所述深度图像进行活体检测。

其中，选取数据样本，建立深度学习网络，提取活体人脸与非活体人脸中区分度最大的特征作为区分特征，基于数据样本对深度学习网络进行训练，得到训练好的深度学习网络，将所述近红外图像中的所述人脸框坐标对齐到所述深度图像中，根据所述人脸框坐标在所述深度图像中分割出第一人脸区域图像，将第一人脸区域图像输入训练好的深度学习网络中，用训练好的深度学习网络来区分活体和非活体。

通过活体检测可以判断图像中人脸是否为真人，该方案防攻击能力强，可预防所有图片、视频、剪纸、照片类2D攻击以及大部分的3D攻击。

S304，响应于所述活体检测通过，根据所述近红外图像对所述目标对象进行人脸验证。

其中，通过训练好的深度学习网络对近红外图像中的人脸区域进行特征提取和特征比对，从而进行人脸验证，在复杂环境下识别效果佳，可在人脸各种角度、复杂光线和距离等场景下保证通过率。

S305，响应于所述人脸验证通过，执行解锁操作。

其中，执行解锁操作时，通过光敏传感器获取环境亮度，根据环境亮度适应的调节电子设备的屏幕亮度。

其中，步骤S303可也在步骤S304之后执行，即上述步骤可为：

获取目标对象的近红外图像和深度图像；

对所述近红外图像进行人脸检测，得到人脸轮廓信息；

根据所述近红外图像对所述目标对象进行人脸验证；

响应于所述人脸验证通过，根据所述人脸轮廓信息和所述深度图像进行活体检测；

响应于所述活体检测通过，执行解锁操作。

此外，本申请实施例支持用户在手机非正向的状态下解锁，解锁范围高达手机平面的360度旋转区间内。

可以看出，在本申请实施例中，获取目标对象的近红外图像和深度图像；对所述近红外图像进行人脸检测，得到人脸轮廓信息；根据所述人脸轮廓信息和所述深度图像进行活体检测；响应于所述活体检测通过，根据所述近红外图像对所述目标对象进行人脸验证；响应于所述人脸验证通过，执行解锁操作。通过本发明提供的方案，能够通过对近红外图像和深度图像进行人脸检测、活体检测和人脸验证等检测，有效的解决暗逆光下人脸识别问题及假人攻击等难以防御的问题。此外，本申请实施例基于硬件级别的安全平台开发，可用于支付等安全级别要求比较高的方向。

可选的，所述对所述近红外图像进行人脸检测，得到人脸轮廓信息包括：

调整所述近红外图像的大小，得到图像金字塔。

其中，将所述近红外图像进行缩放得到不同尺度的近红外图像，形成图像金字塔，以达到尺度不变。

对所述图像金字塔进行人脸特征提取并标定边框。

其中，同时会生成候选边框和边框回归向量。

对所述边框进行优化，得到所述人脸轮廓信息。

其中，优化包括校准、合并、微调和去除重叠，具体的：用所述边框做回归，对其他候选边框进行校准，然后通过非极大值抑制(NMS)来合并高度重叠的候选边框，利用边框回归向量微调候选边框，再利用NMS去除重叠的边框，得到人脸框坐标和人脸关键点坐标，人脸框坐标和人脸关键点坐标均以标签形式标注于对应的像素点上，例如某像素点属于眼部关键点，则该像素点有对应的标签，为“眼部关键点，坐标为：***”。若所述人脸检测失败，则重新获取所述近红外图像。

可见，通过人脸检测可以滤除没有人脸的近红外图像，并且对人脸位置进行定位，有利于后续的睁闭眼检测和人脸识别等操作。

可选的，在所述对所述近红外图像进行人脸检测，得到人脸轮廓信息之后，所述方法还包括：

根据所述人脸轮廓信息进行睁闭眼检测。

其中，若所述睁闭眼检测失败，则重新获取所述近红外图像。通过睁闭眼检测可以判断用户是否为主动认证。

可选的，所述根据所述人脸轮廓信息进行睁闭眼检测，包括：

将所述近红外图像输入深度学习网络的第一模块中，所述第一模块用于睁闭眼检测。

其中，所述深度学习网络包括第一模块、第二模块和第三模块，所述第一模块用于睁闭眼检测。

获取所述人脸轮廓信息中的眼部关键点坐标。

其中，因为人脸关键点的名称和坐标均以标签形式标注于图像的像素点上，因此可通过标签中关键点的名称快速获取眼部关键点的坐标。

根据所述眼部关键点坐标在所述第一模块中提取眼部特征。

其中，在获取眼部关键点坐标后，可对眼部关键点定位，然后通过SIFT(尺度不变特征变换)、HOG(方向梯度直方图)、LBP(局部二值模式)等方法对眼部关键点进行特征提取。

将提取的所述眼部特征与第一预存特征进行比对，以进行睁闭眼检测，其中，所述第一预存特征为人脸特征库中预存的睁眼时的眼部特征。

其中，通过训练好的深度学习网络进行睁闭眼检测，判断用户是否为双眼睁状态，即用户是否想要主动进行认证，若检测结果为闭眼状态或者一睁一闭状态，均会导致睁闭眼检测失败，返回重新获取近红外图像和深度图像。

可选的，所述深度学习网络还包括第二模块，所述第二模块用于所述活体检测，所述根据所述人脸轮廓信息和所述深度图像进行活体检测，包括：

根据所述近红外图像的所述人脸轮廓信息在所述深度图像中分割出第一人脸区域图像；

将第一人脸区域图像输入所述第二模块中，通过所述第二模块提取所述第一人脸区域图像的第一人脸特征；

将所述第一人脸特征与第二预存特征进行比对，以进行活体检测，其中，所述第二预存特征为所述人脸特征库中预存的活体人脸特征信息。

其中，根据所述近红外图像的所述人脸轮廓信息在所述深度图像中分割出第一人脸区域图像包括：将所述人脸框坐标对齐到所述深度图像中，根据所述人脸框坐标在所述深度图像中分割出第一人脸区域图像。通过TOF摄像头可以同时获得深度图像和RGB彩色图像，RGB彩色图像和深度图像是配准的，二者各像素点之间一一对应，但深度图像中的对象的边缘是锯齿状的，并且不与对应的彩色图像中的对象的边界对齐，因此若直接将RGB彩色图像中的人脸位置对应到深度图像中，会出现较大偏差，故将近红外图像中的人脸位置坐标对齐到所述深度图像中。

其中，所提取的第一人脸特征是从深度图像中所提取的深度信息，可以区分活体人脸图像和非活体人脸图像，若第一人脸特征比对结果超过预设阈值，则认为是活体人脸。若所述活体检测失败，则重新获取所述近红外图像。

可选的，所述深度学习网络还包括第三模块，所述第三模块用于所述人脸验证，所述根据所述近红外图像对所述目标对象进行人脸验证包括：

根据所述人脸轮廓信息在所述近红外图像中分割出第二人脸区域图像；

将第二人脸区域图像输入所述第三模块中，通过所述第三模块提取所述第二人脸区域图像的第二人脸特征，将所述第二人脸特征与第三预存特征进行比对，判断是否为同一人，其中，所述第三预存特征为所述人脸特征库中预存的所述目标对象的人脸特征。

其中，通过人脸轮廓信息可以分割出第二人脸区域图像，从而将人脸区域从背景图像中提取出来，排除了背景信息的干扰，有利于之后的第二人脸特征提取，通过人脸验证，可以确定认证人员是否为目标用户。

可选的，所述第二深度学习网络是经过训练得到的，所述训练包括：

建立深度学习网络，其中，所述深度学习网络包括所述第一模块，所述第二模块，所述第三模块。

其中，所述第一模块用于睁闭眼检测，所述第二模块用于活体检测，所述第三模块用于人脸验证。

选取训练样本，所述训练样本包括睁闭眼检测样本，活体检测样本和人脸验证样本。

其中，所述人脸验证样本为注册阶段保存的目标对象的人脸模板，所述睁闭眼检测样本和所述活体检测样本是在数据库中选取的图像样本，其中数据库可选用COCO，ImageNet等。

通过所述第一模块对所述睁闭眼检测样本提取所述第一预存特征，通过所述第二模块对所述活体检测样本提取所述第二预存特征，通过所述第三模块对所述人脸验证样本提取所述第三预存特征，将所述第一预存特征，所述第二预存特征和所述第三预存特征存入所述人脸特征库。

根据所述第一预存特征对所述第一模块进行训练，根据所述第二预存特征对所述第二模块进行训练，根据所述第三预存特征对所述第三模块进行训练。

其中，通过BP算法(逆误差传播算法)或OLS算法(正交最小二乘学习算法)或RBF网学习算法等方法来对所述第一模块、所述第二模块和所述第三模块进行训练，并调整所述深度学习网络中各层的权重。

根据训练结果调整所述深度学习网络的超参数，得到训练后的深度学习网络。

其中，所述训练结果包括损失函数和准确率和绝对误差调整参数，所述超参数包括学习率，迭代次数和批次大小。

可见，通过训练样本训练后得到的深度学习网络可用于睁闭眼检测，活体检测和人脸验证，从而有效的预防各类材质照片、视频、面具和3D假人的人脸攻击。

本申请实施例示出验证方法的一个具体场景，在该场景中，用户使用带有3D ToF设备的安卓手机进行手机人脸录入和解锁的操作。首先进行人脸录入，根据手机提示转动头部完成上下左右中面部图像获取，得到该用户人脸模板，存入人脸特征库中。之后用户在每次使用手机时，在屏幕亮起的瞬间即可实现无感知的解锁动作，整个人脸识别解锁过程在几十毫秒内完成。

可见，本申请实施例可以实现任意角度的解锁，即使电子设备为非正向状态，也可以通过比对所获取图像与模板中不同角度的人脸图像，进而解锁。

请参阅图4，图4为本申请实施例提供的一种电子设备的结构示意图，如图所示，包括处理器、存储器、通信接口，以及一个或多个程序，所述程序被存储在所述存储器中，并且被配置由所述处理器执行。

可选的，在电子设备为验证装置时，其中，该装置可以是智能手机、平板电脑、智能穿戴式设备等电子设备，所述程序包括用于执行以下步骤的指令：

获取目标对象的近红外图像和深度图像；

对所述近红外图像进行人脸检测，得到人脸轮廓信息；

根据所述人脸轮廓信息和所述深度图像进行活体检测；

响应于所述活体检测通过，根据所述近红外图像对所述目标对象进行人脸验证；

响应于所述人脸验证通过，执行解锁操作。

可选的，在所述对所述近红外图像进行人脸检测，得到人脸轮廓信息方面，所述程序包括用于执行以下步骤的指令：

调整所述近红外图像的大小，得到图像金字塔；

对所述图像金字塔进行人脸特征提取并标定边框；

对所述边框进行优化，得到所述人脸轮廓信息。

可选的，在所述对所述近红外图像进行人脸检测，得到人脸轮廓信息之后，所述程序包括用于执行以下步骤的指令：

根据所述人脸轮廓信息进行睁闭眼检测。

可选的，在所述根据所述人脸轮廓信息进行睁闭眼检测方面，所述程序包括用于执行以下步骤的指令：

将所述近红外图像输入深度学习网络的第一模块中，所述第一模块用于睁闭眼检测；

获取所述人脸轮廓信息中的眼部关键点坐标；

根据所述眼部关键点坐标在所述第一模块中提取眼部特征；

将提取的所述眼部特征与第一预存特征进行比对，以进行睁闭眼检测，其中，所述第一预存特征为人脸特征库中预存的睁眼时的眼部特征。

可选的，所述深度学习网络还包括第二模块，所述第二模块用于所述活体检测，在所述根据所述人脸轮廓信息和所述深度图像进行活体检测方面，所述程序包括用于执行以下步骤的指令：

根据所述近红外图像的所述人脸轮廓信息在所述深度图像中分割出第一人脸区域图像；

将第一人脸区域图像输入所述第二模块中，通过所述第二模块提取所述第一人脸区域图像的第一人脸特征；

将所述第一人脸特征与第二预存特征进行比对，以进行活体检测，其中，所述第二预存特征为所述人脸特征库中预存的活体人脸特征信息。

可选的，所述深度学习网络还包括第三模块，所述第三模块用于所述人脸验证，在所述根据所述近红外图像对所述目标对象进行人脸验证方面，所述程序包括用于执行以下步骤的指令：

根据所述人脸轮廓信息在所述近红外图像中分割出第二人脸区域图像；

将第二人脸区域图像输入所述第三模块中，通过所述第三模块提取所述第二人脸区域图像的第二人脸特征，将所述第二人脸特征与第三预存特征进行比对，判断是否为同一人，其中，所述第三预存特征为所述人脸特征库中预存的所述目标对象的人脸特征。

可选的，所述深度学习网络是经过训练得到的，在所述训练方面，所述程序包括用于执行以下步骤的指令：

建立深度学习网络，其中，所述深度学习网络包括所述第一模块，所述第二模块，所述第三模块；

选取训练样本，所述训练样本包括睁闭眼检测样本，活体检测样本和人脸验证样本；

通过所述第一模块对所述睁闭眼检测样本提取所述第一预存特征，通过所述第二模块对所述活体检测样本提取所述第二预存特征，通过所述第三模块对所述人脸验证样本提取所述第三预存特征，将所述第一预存特征，所述第二预存特征和所述第三预存特征存入所述人脸特征库；

根据所述第一预存特征对所述第一模块进行训练，根据所述第二预存特征对所述第二模块进行训练，根据所述第三预存特征对所述第三模块进行训练；

根据训练结果调整所述深度学习网络的超参数，得到训练后的深度学习网络。

上述主要从方法执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，终端为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对终端进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

与上述一致的，请参阅图5，图5为本申请实施例提供的一种验证装置500的结构示意图。所述验证装置包括第一获取单元501、人脸检测单元502、活体检测单元503、人脸验证单元504，解锁单元505，其中：

第一获取单元501，用于获取目标对象的近红外图像和深度图像；

人脸检测单元502，用于对所述近红外图像进行人脸检测，得到人脸轮廓信息；

活体检测单元503，用于根据所述人脸轮廓信息和所述深度图像进行活体检测；

人脸验证单元504，用于响应于所述活体检测通过，根据所述近红外图像对所述目标对象进行人脸验证；

解锁单元505，用于响应于所述人脸验证通过，执行解锁操作。

可选的，在所述对所述近红外图像进行人脸检测，得到人脸轮廓信息方面，所述人脸检测单元502具体用于：

调整所述近红外图像的大小，得到图像金字塔；

对所述图像金字塔进行人脸特征提取并标定边框；

对所述边框进行优化，得到所述人脸轮廓信息。

可选的，所述验证装置还包括睁闭眼检测单元506，在所述对所述近红外图像进行人脸检测，得到人脸轮廓信息之后，所述睁闭眼检测单元506用于：

根据所述人脸轮廓信息进行睁闭眼检测。

可选的，在所述根据所述人脸轮廓信息进行睁闭眼检测方面，所述睁闭眼检测单元506具体用于：

将所述近红外图像输入深度学习网络的第一模块中，所述第一模块用于睁闭眼检测；

获取所述人脸轮廓信息中的眼部关键点坐标；

根据所述眼部关键点坐标在所述第一模块中提取眼部特征；

将提取的所述眼部特征与第一预存特征进行比对，以进行睁闭眼检测，其中，所述第一预存特征为人脸特征库中预存的睁眼时的眼部特征。

可选的，所述深度学习网络还包括第二模块，所述第二模块用于所述活体检测，在所述根据所述人脸轮廓信息和所述深度图像进行活体检测方面，所述活体检测单元503具体用于：

根据所述近红外图像的所述人脸轮廓信息在所述深度图像中分割出第一人脸区域图像；

将第一人脸区域图像输入所述第二模块中，通过所述第二模块提取所述第一人脸区域图像的第一人脸特征；

将所述第一人脸特征与第二预存特征进行比对，以进行活体检测，其中，所述第二预存特征为所述人脸特征库中预存的活体人脸特征信息。

可选的，所述深度学习网络还包括第三模块，所述第三模块用于所述人脸验证，在所述根据所述近红外图像对所述目标对象进行人脸验证方面，所述人脸验证单元504具体用于：

根据所述人脸轮廓信息在所述近红外图像中分割出第二人脸区域图像；

将第二人脸区域图像输入所述第三模块中，通过所述第三模块提取所述第二人脸区域图像的第二人脸特征，将所述第二人脸特征与第三预存特征进行比对，判断是否为同一人，其中，所述第三预存特征为所述人脸特征库中预存的所述目标对象的人脸特征。

可选的，所述深度学习网络是经过训练得到的，所述验证装置还包括训练单元507，所述训练单元507用于：

建立深度学习网络，其中，所述深度学习网络包括所述第一模块，所述第二模块，所述第三模块；

选取训练样本，所述训练样本包括睁闭眼检测样本，活体检测样本和人脸验证样本；

通过所述第一模块对所述睁闭眼检测样本提取所述第一预存特征，通过所述第二模块对所述活体检测样本提取所述第二预存特征，通过所述第三模块对所述人脸验证样本提取所述第三预存特征，将所述第一预存特征，所述第二预存特征和所述第三预存特征存入所述人脸特征库；

根据所述第一预存特征对所述第一模块进行训练，根据所述第二预存特征对所述第二模块进行训练，根据所述第三预存特征对所述第三模块进行训练；

根据训练结果调整所述深度学习网络的超参数，得到训练后的深度学习网络。

其中，上述单元可以用于执行上述实施例中所述的方法，具体描述详见实施例的描述，在此不再赘述。

在本申请实施例中，获取目标对象的近红外图像和深度图像；对所述近红外图像进行人脸检测，得到人脸轮廓信息；根据所述人脸轮廓信息和所述深度图像进行活体检测；响应于所述活体检测通过，根据所述近红外图像对所述目标对象进行人脸验证；响应于所述人脸验证通过，执行解锁操作。通过本发明提供的方案，能够通过对近红外图像和深度图像进行人脸检测、活体检测和人脸验证等检测，有效的解决暗逆光下人脸识别问题及假人攻击等难以防御的问题。

本申请实施例还提供一种计算机可读存储介质，存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种验证方法的部分或全部步骤。

本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种验证方法的部分或全部步骤。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种验证方法，其特征在于，所述方法包括：

获取目标对象的近红外图像和深度图像；

对所述近红外图像进行人脸检测，得到人脸轮廓信息；

根据所述人脸轮廓信息和所述深度图像进行活体检测；

响应于所述活体检测通过，根据所述近红外图像对所述目标对象进行人脸验证；

响应于所述人脸验证通过，执行解锁操作。

2.根据权利要求1所述的方法，其特征在于，所述对所述近红外图像进行人脸检测，得到人脸轮廓信息包括：

调整所述近红外图像的大小，得到图像金字塔；

对所述图像金字塔进行人脸特征提取并标定边框；

对所述边框进行优化，得到所述人脸轮廓信息。

3.根据权利要求1所述的方法，其特征在于，在所述对所述近红外图像进行人脸检测，得到人脸轮廓信息之后，所述方法还包括：

根据所述人脸轮廓信息进行睁闭眼检测。

4.根据权利要求3所述的方法，其特征在于，所述根据所述人脸轮廓信息进行睁闭眼检测，包括：

将所述近红外图像输入深度学习网络的第一模块中，所述第一模块用于睁闭眼检测；

获取所述人脸轮廓信息中的眼部关键点坐标；

根据所述眼部关键点坐标在所述第一模块中提取眼部特征；

将提取的所述眼部特征与第一预存特征进行比对，以进行睁闭眼检测，其中，所述第一预存特征为人脸特征库中预存的睁眼时的眼部特征。

5.根据权利要求1所述的方法，其特征在于，所述深度学习网络还包括第二模块，所述第二模块用于所述活体检测，所述根据所述人脸轮廓信息和所述深度图像进行活体检测，包括：

根据所述近红外图像的所述人脸轮廓信息在所述深度图像中分割出第一人脸区域图像；

将第一人脸区域图像输入所述第二模块中，通过所述第二模块提取所述第一人脸区域图像的第一人脸特征；

将所述第一人脸特征与第二预存特征进行比对，以进行活体检测，其中，所述第二预存特征为所述人脸特征库中预存的活体人脸特征信息。

6.根据权利要求1所述的方法，其特征在于，所述深度学习网络还包括第三模块，所述第三模块用于所述人脸验证，所述根据所述近红外图像对所述目标对象进行人脸验证，包括：

根据所述人脸轮廓信息在所述近红外图像中分割出第二人脸区域图像；

将第二人脸区域图像输入所述第三模块中，通过所述第三模块提取所述第二人脸区域图像的第二人脸特征；

将所述第二人脸特征与第三预存特征进行比对，判断是否为同一人，其中，所述第三预存特征为所述人脸特征库中预存的所述目标对象的人脸特征。

7.根据权利要求4所述的方法，其特征在于，所述深度学习网络是经过训练得到的，所述训练包括：

建立深度学习网络，其中，所述深度学习网络包括所述第一模块，所述第二模块，所述第三模块；

选取训练样本，所述训练样本包括睁闭眼检测样本，活体检测样本和人脸验证样本；

通过所述第一模块对所述睁闭眼检测样本提取所述第一预存特征，通过所述第二模块对所述活体检测样本提取所述第二预存特征，通过所述第三模块对所述人脸验证样本提取所述第三预存特征，将所述第一预存特征，所述第二预存特征和所述第三预存特征存入所述人脸特征库；

根据所述第一预存特征对所述第一模块进行训练，根据所述第二预存特征对所述第二模块进行训练，根据所述第三预存特征对所述第三模块进行训练；

根据训练结果调整所述深度学习网络的超参数，得到训练后的深度学习网络。

8.一种验证装置，其特征在于，所述验证装置包括：

第一获取单元，用于获取目标对象的近红外图像和深度图像；

人脸检测单元，用于对所述近红外图像进行人脸检测，得到人脸轮廓信息；

活体检测单元，用于根据所述人脸轮廓信息和所述深度图像进行活体检测；

人脸验证单元，用于响应于所述活体检测通过，根据所述近红外图像对所述目标对象进行人脸验证；

解锁单元，用于响应于所述人脸验证通过，执行解锁操作。

9.根据权利要求8所述的验证装置，其特征在于，在所述对所述近红外图像进行人脸检测，得到人脸轮廓信息方面，所述人脸检测单元具体用于：

调整所述近红外图像的大小，得到图像金字塔；

对所述图像金字塔进行人脸特征提取并标定边框；

对所述边框进行优化，得到所述人脸轮廓信息。

10.根据权利要求8所述的验证装置，其特征在于，所述验证装置还包括睁闭眼检测单元，在所述对所述近红外图像进行人脸检测，得到人脸轮廓信息之后，所述睁闭眼检测单元用于：根据所述人脸轮廓信息进行睁闭眼检测。