CN108875485A - 一种底图录入方法、装置及系统 - Google Patents

Abstract

本发明提供了一种底图录入方法、装置及系统，所述底图录入方法包括：获取包含目标对象人脸的图像；对所述包含目标对象人脸的图像进行质量判断；将质量判断为合格的至少一张图像确定为底图；保存所述底图。通过引导用户的拍摄，使得用户在拍摄照片或视频时录入用于人脸识别的底图时，能够获得成像质量较高的图像作为底图，通过底图质量的判断，排除掉了不适合作为识别底图的图像，提高了后续的人脸识别结果准确性。

Description

一种底图录入方法、装置及系统

技术领域

本发明涉及一种人工智能方法、装置及系统，特别涉及一种用于人脸识别的底图的录入方法、装置及系统。

背景技术

随着人工智能技术的不断发展以及计算机计算能力的不断提高，人脸识别技术越来越多地应用于实际的产业界。现阶段的人脸识别流程一般都是首先构建一个人脸识别数据库，在这个数据库中存储着与待识别人员的人员信息，当需要对某个人进行识别时，就使用人脸识别算法与人脸识别数据库中的图像进行一一比对，以选出最相似的一张图像作为识别结果。由于用于人脸识别的数据库包含的人脸底图数量很大，所以对录入的底图的质量要求就比较高。尤其是涉及到用户通过自主拍摄的方式进行底库录入的情况，由于用户并不清楚底图录入的要求，往往无法录入满足识别要求的底图。

发明内容

考虑到上述问题而提出了本发明。本发明提供了一种底图录入方法、装置及系统。

根据本发明的一方面，提供了一种底图录入方法，包括，获取包含目标对象人脸的图像；对所述包含目标对象人脸的图像进行质量判断；将质量判断为合格的至少一张图像确定为底图；保存所述底图。

示例性地，所述方法还包括，对所述包含目标对象人脸的图像进行人脸检测，以获得人脸包围框。

示例性地，所述对所述包含目标对象人脸的图像进行质量判断包括，对所述人脸包围框图像进行质量判断；所述质量判断包括判断人脸三维姿态、人脸图像的模糊程度、人脸的遮挡状态、人脸图像的亮度和人脸图像的大小中的至少之一是否满足质量要求。

示例性地，所述方法对所述人脸包围框图像进行质量判断是基于深度神经网络进行的；所述判断人脸三维姿态是否满足质量要求包括：确定所述人脸在三维空间中的每一维偏离正脸的角度；以及如果所述每一维偏离正脸的角度不大于预定阈值，则确定所述人脸的三维姿态满足质量要求，反之，则不满足质量要求。

示例性地，所述判断人脸图像的模糊程度是否满足质量要求包括：确定所述人脸包围框图像的模糊程度，如果所述模糊程度不大于预定阈值，则确定所述人脸图像的模糊程度满足质量要求，反之，则不满足质量要求。

示例性地，所述判断人脸的遮挡状态是否满足质量要求包括：确定所述人脸的关键部位是否被遮挡；以及如果所述人脸的关键部位未被遮挡，则确定所述人脸图像中的人脸的遮挡状态满足质量要求，反之，则不满足质量要求。

示例性地，所述判断人脸图像的亮度是否满足质量要求包括：确定所述人脸包围框图像的亮度，如果所述亮度在第一亮度阈值和第二亮度阈值之间，则确定所述人脸图像的亮度满足质量要求，反之，则不满足质量要求。

示例性地，所述判断人脸图像的大小是否满足质量要求包括：如果所述人脸包围框图像的大小在第一大小阈值和第二大小阈值之间，则确定所述人脸图像的大小满足质量要求，反之，则不满足质量要求。

示例性地，所述方法还包括，对所述包含目标对象的人脸图像进行活体检测。

示例性地，所述方法还包括，在所述包含目标对象人脸的图像的质量判断为不合格的情况下，发出第一提示，提示目标对象进行调整。

根据本发明的另一方面，还提供了一种底图录入装置，包括:图像获取模块，用于获取包含目标对象人脸的图像；质量判断模块，用于对所述包含目标对象人脸的图像进行质量判断；底图确定模块，用于将质量判断为合格的至少一张图像确定为底图；底图保存模块，用于保存所述底图。

示例性地，所述装置还包括，人脸检测模块，用于对所述包含目标对象人脸的图像进行人脸检测，以获得人脸包围框。

示例性地，所述质量判断模块具体用于对所述人脸包围框图像进行质量判断；所述质量判断模块具体包括人脸三维姿态判断子模块、人脸图像的模糊程度判断子模块、人脸的遮挡状态判断子模块、人脸图像的亮度判断子模块和人脸图像的大小判断子模块中的至少之一。

示例性地，所述质量判断模块对所述人脸包围框图像进行质量判断是基于深度神经网络进行的；所述人脸三维姿态判断子模块，用于确定所述人脸在三维空间中的每一维偏离正脸的角度；以及如果所述每一维偏离正脸的角度不大于预定阈值，则确定所述人脸的三维姿态满足质量要求，反之，则不满足质量要求。

示例性地，所述人脸图像的模糊程度判断子模块，用于确定所述人脸包围框图像的模糊程度，如果所述模糊程度不大于预定阈值，则确定所述人脸图像的模糊程度满足质量要求，反之，则不满足质量要求。

示例性地，所述人脸的遮挡状态判断子模块，用于确定所述人脸的关键部位是否被遮挡；以及如果所述人脸的关键部位未被遮挡，则确定所述人脸图像中的人脸的遮挡状态满足质量要求，反之，则不满足质量要求。

示例性地，所述人脸图像的亮度判断子模块，用于确定所述人脸包围框图像的亮度，如果所述亮度在第一亮度阈值和第二亮度阈值之间，则确定所述人脸图像的亮度满足质量要求，反之，则不满足质量要求。

示例性地，所述人脸图像的大小判断子模块，用于如果所述人脸包围框图像的大小在第一大小阈值和第二大小阈值之间，则确定所述人脸图像的大小满足质量要求，反之，则不满足质量要求。

示例性地，所述装置还包括，活体检测模块，用于对所述包含目标对象的人脸图像进行活体检测。

示例性地，所述装置还包括，提示模块，用于在所述包含目标对象人脸的图像的质量判断为不合格的情况下，发出第一提示，提示目标对象进行调整。

根据发明的另一方法，还提供一种底图录入系统，包括图像传感器、存储装置和处理器，所述图像传感器用于采集人脸图像，所述存储装置上存储有由所述处理器运行的计算机程序，所述计算机程序在被所述处理器运行时执行上述的底图录入方法。

根据本发明实施例的底图录入方法、装置及系统，通过引导用户的拍摄，使得用户在拍摄照片或视频时录入用于人脸识别的底图时，能够获得成像质量较高的图像作为底图，通过底图质量的判断，排除掉了不适合作为识别底图的图像，提高了后续的人脸识别结果准确性。

附图说明

通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1示出了根据本发明一个实施例的底图录入方法的示意性流程图；

图2示出了根据本发明一个实施例的质量判断步骤的示意性流程图；

图3示出了根据本发明一个实施例的底图录入装置的示意图。

具体实施方式

为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。

为解决上文所述的问题，本发明实施例提供一种底图录入方法，首先，根据图1对所述底图录入方法进行说明。

步骤110，获取包含目标对象人脸的图像。

目标对象是指将要进行人脸底图录入的人，获取包含该人的人脸的图像可以是通过拍摄照片的方式，通过拍摄一张或多张照片，将拍摄的照片用作底图照片，也可以是通过实时视频获取的方式，即开启移动终端的摄像装置，获取包含目标对象人脸的视频流，在该视频流中获取视频帧图像，以用于底图的录入。获取人脸图像的装置可以是照相机，也可以是具备拍摄功能的手机或其他移动终端。在一个实施例中，通过手机上的图像采集装置采集人脸图像，用作底图的录入，以用于手机屏幕的解锁，在该实施例中，手机具有人脸识别功能，当手机的图像采集装置采集到的人脸与底图中的人脸为同一人时，即解除手机屏幕的锁屏状态。

步骤120，对所述包含目标对象人脸的图像进行质量判断。

在通过上述方式获取到包含目标对象人脸的图像时，为了使得后续的人脸识别能够更加准确，需要对所述人脸图像的成像质量进行判断。如果获取的是单张或多张图像，则对该单张或多张图像进行逐一判断，判断是否满足预定的质量要求。如果获取的是视频流，则可以对视频流中的所有视频帧图像逐一进行判断，也可以抽取视频流中的一部分进行逐一判断，在一个实施例中，在每连续的10帧中抽取3帧进行判断，具体的抽帧方法可以根据具体情况来定。

步骤130，将质量判断为合格的至少一张图像确定为底图。

可以确定一张图作为底图，在另一实施例中也可以确定多张图为底图，在多张底图的情况下，可以将与多张底图分别进行相似度计算，取平均值作为最终的识别结果。在进行质量判断的过程中，当已确定一张或多张图像符合质量判断标准的时候，可以停止判断，并将所述确定的图像作为底图。

步骤140，保存所述底图。

在确定完底图后，可以将所述确定的底图保存在本地。在一个实施例中，将所述底图保存在移动终端预定的底图存放位置，在另一个实施例中，可以将底图通过通讯传输手段传输到云端进行存储，例如通过移动网络、WIFI、WLAN等方式进行底图的上传。在另一个实施例中，也可以在本地和云端同时存储。

根据本发明的实施例，所述方法还包括，对所述包含目标对象人脸的图像进行人脸检测，以获得人脸包围框。

进行人脸检测可以采用神经网络、AdaBoost等方法，通过人脸检测可以得到仅包含人脸图像区域的包围框，后续仅对人脸包围框进行处理，可以减小计算量，同时也排除掉了图像中不相关的信息，提高了识别精度。人脸包围框可以是包含人脸的最小方框，也可以是包含人脸的最小方框再向外扩展一部分的方框，例如最小方框的1.2倍，适当放大一些人脸包围框可以避免丢失人脸信息。

根据图2，所述质量判断步骤还可以包括多个子步骤，在进行质量判断时，可以选择所有子步骤进行质量判断，也可以选择其中的一部分进行质量判断。

根据本发明的实施例，所述对所述包含目标对象人脸的图像进行质量判断包括，对所述人脸包围框图像进行质量判断；所述质量判断包括判断人脸三维姿态、人脸图像的模糊程度、人脸的遮挡状态、人脸图像的亮度和人脸图像的大小中的至少之一是否满足质量要求。

人脸底图的注册一般只注册包含人脸信息的图像，因此，仅对人脸包围框图像进行质量判断即可。在人脸识别过程中，影响识别效果的因素有很多，而在录入人脸底图的时候要尽量选择正脸的、清晰的、无遮挡、亮度适中和大小适中的图像。因此，在图像质量判断时，也主要考虑人脸三维姿态、人脸图像的模糊程度、人脸的遮挡状态、人脸图像的亮度和人脸图像的大小。在具体实施时，可以选择这些条件中的一项或者多项进行判断，具体可以根据计算量和精度要求的不同而进行选择。

根据本发明的实施例，步骤220是对三维姿态进行判断，所述方法对所述人脸包围框图像进行质量判断是基于深度神经网络进行的；所述判断人脸三维姿态是否满足质量要求包括：确定所述人脸在三维空间中的每一维偏离正脸的角度；以及如果所述每一维偏离正脸的角度不大于预定阈值，则确定所述人脸的三维姿态满足质量要求，反之，则不满足质量要求。

在一个实施例中，可以使用深度神经网络进行图像质量的判断，通过训练一个神经网络，对于输入的图像，可以输出该图像中人脸的三维角度值、人脸图像的模糊值、人脸是否有遮挡、人脸图像的亮度值和人脸图像的大小。在一个实施例中使用俯仰角(pitch)、偏航角(yaw)、翻滚角(roll)来定义人脸的三维姿态，将图像输入到神经网络，神经网络将分别输出上述三种角度的大小，将三种角度分别与预定的角度阈值进行比较，如果每种角度都不超过预定的角度阈值，则确定所述人脸的三维姿态满足质量要求。如果有一种角度超过了预定阈值，则确定该图像不满足质量要求。几种超过预定角度阈值的情况分别对应抬头、低头、头左偏、头右偏、头不正等情况，在终端实时获取图像时，可以提示用户不满足质量要求的种类，以使得用户进行纠正。

根据本发明的实施例，步骤230是对人脸图像模糊程度进行判断，所述判断人脸图像的模糊程度是否满足质量要求包括：确定所述人脸包围框图像的模糊程度，如果所述模糊程度不大于预定阈值，则确定所述人脸图像的模糊程度满足质量要求，反之，则不满足质量要求。

在一个实施例中，对经采集的人脸图像的模糊程度是否满足识别要求的确定可以基于深度卷积网络进行。人脸图像的模糊程度可以定义为一个数值，例如，可以归一化为一个0到1的数值。在一个示例中，确定经采集的人脸图像的模糊程度是否满足识别要求可以包括：基于经采集的人脸图像的运动模糊和高斯模糊确定经采集的人脸图像的模糊程度；如果经采集的人脸图像的模糊程度不大于预定阈值，则确定人脸图像的模糊程度满足识别要求，反之，则不满足识别要求。可以基于离线训练好的深度卷积网络模型来实施该过程。其中，该预定阈值的设定可以基于具体的应用场景。在其他示例中，也可以通过任何其他合适的方式来确定经采集的人脸图像的模糊程度是否满足识别要求。

根据本发明的实施例，步骤240是对人脸遮挡状态进行判断，所述判断人脸的遮挡状态是否满足质量要求包括：确定所述人脸的关键部位是否被遮挡；以及如果所述人脸的关键部位未被遮挡，则确定所述人脸图像中的人脸的遮挡状态满足质量要求，反之，则不满足质量要求。

在一个实施例中，对经采集的人脸图像中的人脸的遮挡状态是否满足识别要求的确定可以基于深度卷积网络进行。在一个示例中，确定经采集的人脸图像中的人脸的遮挡状态是否满足识别要求可以包括：确定人脸的关键部位是否被遮挡；如果人脸的关键部位未被遮挡，则确定人脸图像中的人脸的遮挡状态满足识别要求，反之，则不满足识别要求。其中，人脸的关键部位可以包括眉毛、眼睛、鼻子、嘴等器官中的至少一个。例如，在一个示例中，可以对人脸的眼睛和嘴进行遮挡判断。采用离线训练好的深度卷积网络模型，根据输入的人脸图像，输出左眼/右眼/嘴巴三个关键部位是否被遮挡。如果任意一个部位被遮挡，则人脸图像不满足识别要求。在其他示例中，也可以通过任何其他合适的方式来确定经采集的人脸图像中的人脸的遮挡状态是否满足识别要求。

根据本发明的实施例，步骤250是对人脸图像亮度进行判断，所述判断人脸图像的亮度是否满足质量要求包括：确定所述人脸包围框图像的亮度，如果所述亮度在第一亮度阈值和第二亮度阈值之间，则确定所述人脸图像的亮度满足质量要求，反之，则不满足质量要求。

在一个实施例中，可以使用深度卷积网络对图像亮度进行判定。对于输入的图像，深度卷积网络将输出一个数值，用于表示图像的亮度，该数值可以是0到255之间的数值，也可以是归一化为0到1的数值。一般情况下，亮度太高或者太低都表示成像质量不太好，图像过亮或者过暗都不利于人脸识别。在一个实施例中设定两个阈值，如果低于较低的阈值被认为是人脸图像过暗，如果高于较高的阈值则被认为是人脸图像过亮，这两种情况都判定为质量不合格，最终选择出亮度适中的人脸图像。在另一个实施例中，对人脸图像中每个像素点的亮度进行统计分析，计算各个像素点的亮度的方差，如果方差过大，比如超过预定阈值，则认为图像亮度不均匀，这样的人脸图像也被认定为质量不合格，经过这样的判断主要是用于排除“阴阳脸”的情况，即一侧的脸亮度较高，而另一侧的脸亮度较低。

在另一个实施例中，对经采集的人脸图像的亮度是否满足识别要求的确定可以基于灰度直方图进行。在一个示例中，可以对人脸图像中的人脸在人脸整体、左眼部分、右眼部分和嘴部各抽取灰度直方图特征，得到四个直方图，计算上述四个直方图及其30％和70％分位数的亮度，如果存在两个及以上的数值与正常光照人脸对应数据相差很大，则判断为人脸图像的亮度不满足识别要求，否则判断为满足识别要求。在其他示例中，也可以通过任何其他合适的方式来确定经采集的人脸图像的亮度是否满足识别要求。

根据本发明的实施例，步骤260是对人脸图像大小进行判断，所述判断人脸图像的大小是否满足质量要求包括：如果所述人脸包围框图像的大小在第一大小阈值和第二大小阈值之间，则确定所述人脸图像的大小满足质量要求，反之，则不满足质量要求。

在一个实施例中，对经人脸检测后的人脸图像的大小进行判断，例如，判断人脸框的大小，如果人脸框过大或者过小，都不利于人脸识别的操作。示例性地，可以通过统计人脸框像素个数或者计算人脸框的面积等方式确定大小。在一个实施例中，如果检测到的人脸过大或者过小，可以提示用户进行调整，调整人脸与图像采集装置的距离来得到一个大小适中的人脸图像。

根据本发明的实施例，所述方法还包括，对所述包含目标对象的人脸图像进行活体检测。

在一个示例中，可以指示待识别对象朗读一段文字，通过采集人脸图像，判断其唇动是否与对应文字的唇动匹配，若匹配，则活体检测成功。

在一个示例中，可以指示待识别对象做出指定动作(该指定动作例如为手指按压两腮皮肤，或者嘴中吞气将两腮鼓起等)。在该示例的一个示例中，当待识别对象做了一个或多个指示动作时，采集其人脸图像，判断其所作的动作是否合格，若是，则活体检测成功，反之，活体检测失败。在该示例的另一个示例中，当待识别对象做了一个或多个指示动作时，从图像中分别捕捉该待识别对象动作前和动作后的皮肤区域图像，并将皮肤区域图像传输给皮肤弹性分类器，该皮肤弹性分类器为一个预先学习好的分类模型。例如，如果是活体皮肤，则该模型输出为1，否则输出为0。在该实施例中，可以基于对待识别对象在执行指示动作前后的皮肤区域图像的比较进行活体检测。

示例性地，皮肤弹性分类器的学习可以离线进行。一种可能的实施方案是事先搜集活体真人做规定动作的前后帧图像，同时搜集使用照片、视频回放、纸片面具以及3D模型等做规定动作的攻击图像。前者作为正样本，后者作为负样本，然后使用深度学习，支撑向量机等统计学习方法训练皮肤弹性分类器。

示例性地，对皮肤区域图像的捕捉可以基于人脸检测和人脸关键点定位算法来实现，例如预先搜集大量人脸图像，人工在每张图像中标注出人脸的眼角，嘴角，鼻翼，颧骨最高点，外轮廓点等一系列关键点，使用机器学习算法(如深度学习，或者基于局部特征的回归算法)并将前述标注好的图像作为输入训练人脸检测、人脸关键点定位模型。将采集到的动作前后的人脸图像输入训练好的人脸检测、人脸关键点定位模型后，将输出人脸位置和关键点位置坐标，根据关键点位置坐标将人脸区域切分成一系列三角片元，将位于下巴、颧骨、两腮等区域的三角片元图像块作为人脸皮肤区域。

在另一个实施例中，可以采用特殊硬件做活体采集装置，比如双目摄像头，针对一些安全要求较高的场景。在该实施例中，可以基于对待识别人脸的亚表面散射程度的判断进行活体检测。由于3D面具等与真人脸的亚表面散射程度不同(亚表面散射越强烈时，图像梯度越小，从而扩散程度越小)，例如，一般的纸或塑料等材质的面具的亚表面散射程度远弱于人脸，而一般的硅胶等材质的面具的亚表面散射程度远强于人脸，故通过对扩散程度的判断即可有效防御面具攻击者。因此，在本发明实施例中，可以将双目摄像头和结构光结合，通过双目摄像头采集有结构光图案的3D人脸，然后根据结构光图案在3D人脸亚表面的散射程度来进行活体判断。

根据本发明的实施例，所述方法还包括，在所述包含目标对象人脸的图像的质量判断为不合格的情况下，发出第一提示，提示目标对象进行调整。

在一个实施例中，在人脸图像的质量判断为不合格的情况下，为了使用户能清楚地了解不合格的原因，提供了反馈机制，并根据质量判断的结果向用户反馈质量不合格原因，例如，提供光线太强、光线太弱、脸偏左、脸偏右、脸偏下、抬头、脸太大、脸太小等的提示。进行提示的方式可以有多种，可以通过语音进行提示，也可以通过文字进行提示，例如，在终端显示装置上以文字的形式进行显示。通过适当的提示，可以引导用户进行适应性调整，以获得符合质量要求的人脸图像。

根据发明的另一方面，提供了一种底图录入装置，图3示出了底图录入装置的一个实施例的示意图。

一种底图录入装置300，包括:图像获取模块310，用于获取包含目标对象人脸的图像；质量判断模块320，用于对所述包含目标对象人脸的图像进行质量判断；底图确定模块330，用于将质量判断为合格的至少一张图像确定为底图；底图保存模块340，用于保存所述底图。

根据本发明的实施例，所述装置还包括，人脸检测模块，用于对所述包含目标对象人脸的图像进行人脸检测，以获得人脸包围框。

进行人脸检测可以采用神经网络、AdaBoost等方法，通过人脸检测可以得到仅包含人脸图像区域的包围框，后续仅对人脸包围框进行处理，可以减小计算量，同时也排除掉了图像中不相关的信息，提高了识别精度。人脸包围框可以是包含人脸的最小方框，也可以是包含人脸的最小方框再向外扩展一部分的方框，例如最小方框的1.2倍，适当放大一些人脸包围框可以避免丢失人脸信息。

根据本发明的实施例，所述质量判断模块具体用于对所述人脸包围框图像进行质量判断；所述质量判断模块具体包括人脸三维姿态判断子模块、人脸图像的模糊程度判断子模块、人脸的遮挡状态判断子模块、人脸图像的亮度判断子模块和人脸图像的大小判断子模块中的至少之一。

人脸底图的注册一般只注册包含人脸信息的图像，因此，仅对人脸包围框图像进行质量判断即可。在人脸识别过程中，影响识别效果的因素有很多，而在录入人脸底图的时候要尽量选择正脸的、清晰的、无遮挡、亮度适中和大小适中的图像。因此，在图像质量判断时，也主要考虑人脸三维姿态、人脸图像的模糊程度、人脸的遮挡状态、人脸图像的亮度和人脸图像的大小。在具体实施时，可以选择这些条件中的一项或者多项进行判断，具体可以根据计算量和精度要求的不同而进行选择。

根据本发明的实施例，所述质量判断模块对所述人脸包围框图像进行质量判断是基于深度神经网络进行的；所述人脸三维姿态判断子模块，用于确定所述人脸在三维空间中的每一维偏离正脸的角度；以及如果所述每一维偏离正脸的角度不大于预定阈值，则确定所述人脸的三维姿态满足质量要求，反之，则不满足质量要求。

在一个实施例中，可以使用深度神经网络进行图像质量的判断，通过训练一个神经网络，对于输入的图像，可以输出该图像中人脸的三维角度值、人脸图像的模糊值、人脸是否有遮挡、人脸图像的亮度值和人脸图像的大小。在一个实施例中使用俯仰角(pitch)、偏航角(yaw)、翻滚角(roll)来定义人脸的三维姿态，将图像输入到神经网络，神经网络将分别输出上述三种角度的大小，将三种角度分别与预定的角度阈值进行比较，如果每种角度都不超过预定的角度阈值，则确定所述人脸的三维姿态满足质量要求。如果有一种角度超过了预定阈值，则确定该图像不满足质量要求。几种超过预定角度阈值的情况分别对应抬头、低头、头左偏、头右偏、头不正等情况，在终端实时获取图像时，可以提示用户不满足质量要求的种类，以使得用户进行纠正。

根据本发明的实施例，所述人脸图像的模糊程度判断子模块，用于确定所述人脸包围框图像的模糊程度，如果所述模糊程度不大于预定阈值，则确定所述人脸图像的模糊程度满足质量要求，反之，则不满足质量要求。

在一个实施例中，对经采集的人脸图像的模糊程度是否满足识别要求的确定可以基于深度卷积网络进行。人脸图像的模糊程度可以定义为一个数值，例如，可以归一化为一个0到1的数值。在一个示例中，确定经采集的人脸图像的模糊程度是否满足识别要求可以包括：基于经采集的人脸图像的运动模糊和高斯模糊确定经采集的人脸图像的模糊程度；如果经采集的人脸图像的模糊程度不大于预定阈值，则确定人脸图像的模糊程度满足识别要求，反之，则不满足识别要求。可以基于离线训练好的深度卷积网络模型来实施该过程。其中，该预定阈值的设定可以基于具体的应用场景。在其他示例中，也可以通过任何其他合适的方式来确定经采集的人脸图像的模糊程度是否满足识别要求。

根据本发明的实施例，所述人脸的遮挡状态判断子模块，用于确定所述人脸的关键部位是否被遮挡；以及如果所述人脸的关键部位未被遮挡，则确定所述人脸图像中的人脸的遮挡状态满足质量要求，反之，则不满足质量要求。

在一个实施例中，对经采集的人脸图像中的人脸的遮挡状态是否满足识别要求的确定可以基于深度卷积网络进行。在一个示例中，确定经采集的人脸图像中的人脸的遮挡状态是否满足识别要求可以包括：确定人脸的关键部位是否被遮挡；如果人脸的关键部位未被遮挡，则确定人脸图像中的人脸的遮挡状态满足识别要求，反之，则不满足识别要求。其中，人脸的关键部位可以包括眉毛、眼睛、鼻子、嘴等器官中的至少一个。例如，在一个示例中，可以对人脸的眼睛和嘴进行遮挡判断。采用离线训练好的深度卷积网络模型，根据输入的人脸图像，输出左眼/右眼/嘴巴三个关键部位是否被遮挡。如果任意一个部位被遮挡，则人脸图像不满足识别要求。在其他示例中，也可以通过任何其他合适的方式来确定经采集的人脸图像中的人脸的遮挡状态是否满足识别要求。

根据本发明的实施例，所述人脸图像的亮度判断子模块，用于确定所述人脸包围框图像的亮度，如果所述亮度在第一亮度阈值和第二亮度阈值之间，则确定所述人脸图像的亮度满足质量要求，反之，则不满足质量要求。

在一个实施例中，可以使用深度卷积网络对图像亮度进行判定。对于输入的图像，深度卷积网络将输出一个数值，用于表示图像的亮度，该数值可以是0到255之间的数值，也可以是归一化为0到1的数值。一般情况下，亮度太高或者太低都表示成像质量不太好，图像过亮或者过暗都不利于人脸识别。在一个实施例中设定两个阈值，如果低于较低的阈值被认为是人脸图像过暗，如果高于较高的阈值则被认为是人脸图像过亮，这两种情况都判定为质量不合格，最终选择出亮度适中的人脸图像。在另一个实施例中，对人脸图像中每个像素点的亮度进行统计分析，计算各个像素点的亮度的方差，如果方差过大，比如超过预定阈值，则认为图像亮度不均匀，这样的人脸图像也被认定为质量不合格，经过这样的判断主要是用于排除“阴阳脸”的情况，即一侧的脸亮度较高，而另一侧的脸亮度较低。

在另一个实施例中，对经采集的人脸图像的亮度是否满足识别要求的确定可以基于灰度直方图进行。在一个示例中，可以对人脸图像中的人脸在人脸整体、左眼部分、右眼部分和嘴部各抽取灰度直方图特征，得到四个直方图，计算上述四个直方图及其30％和70％分位数的亮度，如果存在两个及以上的数值与正常光照人脸对应数据相差很大，则判断为人脸图像的亮度不满足识别要求，否则判断为满足识别要求。在其他示例中，也可以通过任何其他合适的方式来确定经采集的人脸图像的亮度是否满足识别要求。

根据本发明的实施例，所述人脸图像的大小判断子模块，用于如果所述人脸包围框图像的大小在第一大小阈值和第二大小阈值之间，则确定所述人脸图像的大小满足质量要求，反之，则不满足质量要求。

在一个实施例中，对经人脸检测后的人脸图像的大小进行判断，例如，判断人脸框的大小，如果人脸框过大或者过小，都不利于人脸识别的操作。示例性地，可以通过统计人脸框像素个数或者计算人脸框的面积等方式确定大小。在一个实施例中，如果检测到的人脸过大或者过小，可以提示用户进行调整，调整人脸与图像采集装置的距离来得到一个大小适中的人脸图像。

根据本发明的实施例，所述装置还包括，活体检测模块，用于对所述包含目标对象的人脸图像进行活体检测。

在一个示例中，可以指示待识别对象朗读一段文字，通过采集人脸图像，判断其唇动是否与对应文字的唇动匹配，若匹配，则活体检测成功。

在一个示例中，可以指示待识别对象做出指定动作(该指定动作例如为手指按压两腮皮肤，或者嘴中吞气将两腮鼓起等)。在该示例的一个示例中，当待识别对象做了一个或多个指示动作时，采集其人脸图像，判断其所作的动作是否合格，若是，则活体检测成功，反之，活体检测失败。在该示例的另一个示例中，当待识别对象做了一个或多个指示动作时，从图像中分别捕捉该待识别对象动作前和动作后的皮肤区域图像，并将皮肤区域图像传输给皮肤弹性分类器，该皮肤弹性分类器为一个预先学习好的分类模型。例如，如果是活体皮肤，则该模型输出为1，否则输出为0。在该实施例中，可以基于对待识别对象在执行指示动作前后的皮肤区域图像的比较进行活体检测。

示例性地，皮肤弹性分类器的学习可以离线进行。一种可能的实施方案是事先搜集活体真人做规定动作的前后帧图像，同时搜集使用照片、视频回放、纸片面具以及3D模型等做规定动作的攻击图像。前者作为正样本，后者作为负样本，然后使用深度学习，支撑向量机等统计学习方法训练皮肤弹性分类器。

示例性地，对皮肤区域图像的捕捉可以基于人脸检测和人脸关键点定位算法来实现，例如预先搜集大量人脸图像，人工在每张图像中标注出人脸的眼角，嘴角，鼻翼，颧骨最高点，外轮廓点等一系列关键点，使用机器学习算法(如深度学习，或者基于局部特征的回归算法)并将前述标注好的图像作为输入训练人脸检测、人脸关键点定位模型。将采集到的动作前后的人脸图像输入训练好的人脸检测、人脸关键点定位模型后，将输出人脸位置和关键点位置坐标，根据关键点位置坐标将人脸区域切分成一系列三角片元，将位于下巴、颧骨、两腮等区域的三角片元图像块作为人脸皮肤区域。

在另一个实施例中，可以采用特殊硬件做活体采集装置，比如双目摄像头，针对一些安全要求较高的场景。在该实施例中，可以基于对待识别人脸的亚表面散射程度的判断进行活体检测。由于3D面具等与真人脸的亚表面散射程度不同(亚表面散射越强烈时，图像梯度越小，从而扩散程度越小)，例如，一般的纸或塑料等材质的面具的亚表面散射程度远弱于人脸，而一般的硅胶等材质的面具的亚表面散射程度远强于人脸，故通过对扩散程度的判断即可有效防御面具攻击者。因此，在本发明实施例中，可以将双目摄像头和结构光结合，通过双目摄像头采集有结构光图案的3D人脸，然后根据结构光图案在3D人脸亚表面的散射程度来进行活体判断。

根据本发明的实施例，所述装置还包括，提示模块，用于在所述包含目标对象人脸的图像的质量判断为不合格的情况下，发出第一提示，提示目标对象进行调整。

在一个实施例中，在人脸图像的质量判断为不合格的情况下，为了使用户能清楚地了解不合格的原因，提供了反馈机制，并根据质量判断的结果向用户反馈质量不合格原因，例如，提供光线太强、光线太弱、脸偏左、脸偏右、脸偏下、抬头、脸太大、脸太小等的提示。进行提示的方式可以有多种，可以通过语音进行提示，也可以通过文字进行提示，例如，在终端显示装置上以文字的形式进行显示。通过适当的提示，可以引导用户进行适应性调整，以获得符合质量要求的人脸图像。

根据发明的另一方面，还提供一种底图录入系统，包括图像传感器、存储装置和处理器，所述图像传感器用于采集人脸图像，所述存储装置上存储有由所述处理器运行的计算机程序，所述计算机程序在被所述处理器运行时执行上述的底图录入方法。

在一个实施例中，上述底图录入方法、装置及系统应用于移动终端的人脸解锁的场景。为了实现人脸解锁，需要预先在移动终端(例如手机)中预先录入底图，录入底图后，当用户需要将已经锁屏的移动终端进行解锁时，只需将移动终端的图像采集装置对着自己的脸部，图像采集装置实时采集人脸图像，并与已经录入的底图进行比对，如果相似度大于或等于预定阈值，则执行解锁操作，如果相似度小于预定阈值，则不进行解锁。在进行实时采集时，可以进行活体检测，检测方式可以与上述活体检测方法相同。

在另一个实施例中，上述底图录入方法、装置及系统用于无人值守商店的场景。无人值守商店一般需要人脸识别来控制客户的进出，而客户进行人脸识别的注册都是通过自己的移动终端实现的。通过手持移动终端进行拍摄，上传底图到云端服务器，从而实现账户的注册。

尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的用于行人检测的装置中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (21)

1.一种底图录入方法，包括，

获取包含目标对象人脸的图像；

对所述包含目标对象人脸的图像进行质量判断；

将质量判断为合格的至少一张图像确定为底图；

保存所述底图。

2.根据权利要求1所述的底图录入方法，还包括，

对所述包含目标对象人脸的图像进行人脸检测，以获得人脸包围框。

3.根据权利要求2所述的底图录入方法，所述对所述包含目标对象人脸的图像进行质量判断包括，

对所述人脸包围框图像进行质量判断；

所述质量判断包括判断人脸三维姿态、人脸图像的模糊程度、人脸的遮挡状态、人脸图像的亮度和人脸图像的大小中的至少之一是否满足质量要求。

4.根据权利要求3所述的底图录入方法，对所述人脸包围框图像进行质量判断是基于深度神经网络进行的；

所述判断人脸三维姿态是否满足质量要求包括：确定所述人脸在三维空间中的每一维偏离正脸的角度；以及如果所述每一维偏离正脸的角度不大于预定阈值，则确定所述人脸的三维姿态满足质量要求，反之，则不满足质量要求。

5.根据权利要求3所述的底图录入方法，

所述判断人脸图像的模糊程度是否满足质量要求包括：确定所述人脸包围框图像的模糊程度，如果所述模糊程度不大于预定阈值，则确定所述人脸图像的模糊程度满足质量要求，反之，则不满足质量要求。

6.根据权利要求3所述的底图录入方法，

所述判断人脸的遮挡状态是否满足质量要求包括：确定所述人脸的关键部位是否被遮挡；以及如果所述人脸的关键部位未被遮挡，则确定所述人脸图像中的人脸的遮挡状态满足质量要求，反之，则不满足质量要求。

7.根据权利要求3所述的底图录入方法，

所述判断人脸图像的亮度是否满足质量要求包括：确定所述人脸包围框图像的亮度，如果所述亮度在第一亮度阈值和第二亮度阈值之间，则确定所述人脸图像的亮度满足质量要求，反之，则不满足质量要求。

8.根据权利要求3所述的底图录入方法，

所述判断人脸图像的大小是否满足质量要求包括：如果所述人脸包围框图像的大小在第一大小阈值和第二大小阈值之间，则确定所述人脸图像的大小满足质量要求，反之，则不满足质量要求。

9.根据权利要求1所述底图录入方法，还包括，

对所述包含目标对象的人脸图像进行活体检测。

10.根据权利要求1所述的底图录入方法，还包括，在所述包含目标对象人脸的图像的质量判断为不合格的情况下，发出第一提示，提示目标对象进行调整。

11.一种底图录入装置，包括，

图像获取模块，用于获取包含目标对象人脸的图像；

质量判断模块，用于对所述包含目标对象人脸的图像进行质量判断；

底图确定模块，用于将质量判断为合格的至少一张图像确定为底图；

底图保存模块，用于保存所述底图。

12.根据权利要求11所述的底图录入装置，还包括，

人脸检测模块，用于对所述包含目标对象人脸的图像进行人脸检测，以获得人脸包围框。

13.根据权利要求12所述的底图录入装置，所述质量判断模块具体用于对所述人脸包围框图像进行质量判断；

所述质量判断模块具体包括人脸三维姿态判断子模块、人脸图像的模糊程度判断子模块、人脸的遮挡状态判断子模块、人脸图像的亮度判断子模块和人脸图像的大小判断子模块中的至少之一。

14.根据权利要求13所述的底图录入装置，

所述质量判断模块对所述人脸包围框图像进行质量判断是基于深度神经网络进行的；

所述人脸三维姿态判断子模块，用于确定所述人脸在三维空间中的每一维偏离正脸的角度；以及如果所述每一维偏离正脸的角度不大于预定阈值，则确定所述人脸的三维姿态满足质量要求，反之，则不满足质量要求。

15.根据权利要求13所述的底图录入装置，

所述人脸图像的模糊程度判断子模块，用于确定所述人脸包围框图像的模糊程度，如果所述模糊程度不大于预定阈值，则确定所述人脸图像的模糊程度满足质量要求，反之，则不满足质量要求。

16.根据权利要求13所述的底图录入装置，

所述人脸的遮挡状态判断子模块，用于确定所述人脸的关键部位是否被遮挡；以及如果所述人脸的关键部位未被遮挡，则确定所述人脸图像中的人脸的遮挡状态满足质量要求，反之，则不满足质量要求。

17.根据权利要求13所述的底图录入装置，

所述人脸图像的亮度判断子模块，用于确定所述人脸包围框图像的亮度，如果所述亮度在第一亮度阈值和第二亮度阈值之间，则确定所述人脸图像的亮度满足质量要求，反之，则不满足质量要求。

18.根据权利要求13所述的底图录入装置，

所述人脸图像的大小判断子模块，用于如果所述人脸包围框图像的大小在第一大小阈值和第二大小阈值之间，则确定所述人脸图像的大小满足质量要求，反之，则不满足质量要求。

19.根据权利要求11所述的底图录入装置，还包括，

活体检测模块，用于对所述包含目标对象的人脸图像进行活体检测。

20.根据权利要求11所述的底图录入装置，还包括，

提示模块，用于在所述包含目标对象人脸的图像的质量判断为不合格的情况下，发出第一提示，提示目标对象进行调整。

21.一种底图录入系统，包括图像传感器、存储装置和处理器，所述图像传感器用于采集人脸图像，所述存储装置上存储有由所述处理器运行的计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1-10中的任一项所述的底图录入方法。