CN101980242B - 人脸面相判别方法、系统及公共安全系统 - Google Patents

Abstract

本发明涉及一种人脸面相判别方法，包括伪装分类器、伪装模型以及人脸识别分类器，所述人脸面相判别方法包括如下步骤：获取人脸图像：从视频或图像中获取人脸图像；进行人脸伪装判别：将人脸图像根据伪装分类器、伪装模型进行伪装判别；人脸面相判别：对于伪装判别结果中未进行伪装的人脸图像根据人脸识别分类器进行人脸分类面相判别。本发明人脸面相判别的方法、系统及公共安全系统，通过在进行人脸面相识别前先进行人脸伪装判别，对于人脸图像进行伪装的行为及时进行反应。

Description

人脸面相判别方法、系统及公共安全系统

技术领域

本发明涉及一种人脸面相判别的方法、系统及公共安全系统，尤其涉及一种先进行伪装判别的人脸面相判别的方法、系统及公共安全系统。

背景技术

随着社会的进步，人们越来越多的社会活动都在向着方便、简单、便捷发展。银行自助取款机是社会发展的一个表现，使人们避免了携带现金带来的诸多不便。但是，自助银行环境中的安全问题日越显现出来。例如：通过银行卡欺骗、盗窃财物是目前银行损失的主要问题，银行卡被盗窃等问题也越来越频繁。不法之徒大都会遮挡之后拿着盗窃来的银行卡去自助厅取款（遮挡有很多种，例如：进行自助银行犯罪的嫌疑人用帽子、围巾和墨镜对面部进行遮挡）。其次，其他类别的犯罪份子（如通缉犯、抢劫犯等）会通自助银行取款，这也提供了一种发现嫌疑人的去向的机制，通过人脸识别可以识别和定位犯罪份子。通过银行自助取款厅的监控摄像头，能过及时的发现嫌疑人或者遮挡之后取款的人，并发出警报，提醒相关人员注意；另外，对作案的嫌疑人，根据目击证人提供的描述，如是否戴眼镜、性别等条件，或根据目击证人提供的图像或者模拟图像，对嫌疑人人脸库进行搜索、比对，列出比较可能的嫌疑人以供目击证人指证也为犯罪嫌疑分子的确认和抓取带来便利。现有技术的人脸识别方法及系统，通常只能不能对伪装进行判别，对于伪装的人脸图像不能进行有效的反应。

发明内容

本发明解决的技术问题是：构建一种人脸面相判别的方法、系统及公共安全系统，克服现有技术中不能对伪装进行判别，对于伪装的人脸图像不能进行有效的反应的技术问题。

本发明的技术方案是：提供一种人脸面相判别方法，包括伪装分类器、伪装模型以及人脸识别分类器，所述人脸面相判别方法包括如下步骤：

获取人脸图像：从视频或图像中获取人脸图像；

进行人脸伪装判别：将人脸图像根据伪装分类器、伪装模型进行伪装判别；

人脸面相判别：对于伪装判别结果中未进行伪装的人脸图像根据人脸识别分类器进行人脸分类面相判别。

本发明的进一步技术方案是：在进行人脸伪装判别的步骤中，在进行人脸图像对比前，还包括对人脸图像的预处理操作，所述预处理操作为对人脸图像进行归一化处理。

本发明的进一步技术方案是：在进行人脸伪装判别步骤中，所述人脸伪装判别包括：戴帽子伪装判别、戴墨镜伪装判别、戴口罩或围巾的伪装判别。

本发明的技术方案是：构建一种人脸面相判别系统，包括输入人脸图像的图像输入单元、根据人脸图像进行人脸伪装判别的伪装判别单元、进行人脸面相识别的人脸识别单元，所述伪装判别单元包括获伪装分类器、伪装模型及伪装判别模块，所述人脸识别单元包括存储人脸图像的人脸图像数据库、人脸识别分类器，所述伪装判别模块根据伪装分类器、伪装模型对所述图像输入单元输入的人脸图像进行伪装判别，对于所述伪装判别模块判别为不是伪装的人脸图像时，所述人脸识别单元将对所述图像输入单元输入的人脸图像与所述人脸图像数据库中的人脸图像根据人脸识别分类器进行人脸面相识别。

本发明的进一步技术方案是：所述伪装分类器包括帽子分类器、墨镜分类器，所述伪装判别模块根据帽子分类器判别人脸图像是否为戴帽子伪装，所述伪装判别模块根据墨镜分类器判别人脸图像是否为戴墨镜伪装。

本发明的进一步技术方案是：所述伪装模型包括肤色模型，所述伪装判别模块根据肤色模型判别人脸图像是否为戴口罩或围巾的伪装。

本发明的进一步技术方案是：所述人脸面相判别系统还包括人脸图像检索单元，所述人脸图像检索单元根据输入的条件对所述人脸图像数据库中的人脸图像进行检索。

本发明的技术方案是：构建一种公共安全系统，所述公共安全系统包括人脸面相判别系统，所述人脸图像数据库为存储嫌疑人人脸图像的嫌疑人图像数据库，对于所述伪装判别模块判别为不是伪装的人脸图像时，所述人脸识别单元将所述人脸图像与所述嫌疑人图像数据库中的人脸图像进行人脸面相识别。

本发明的进一步技术方案是：所述公共安全系统还包括报警单元，对于所述伪装判别模块判别为是伪装的人脸图像时，所述报警单元报警；对于所述人脸识别单元将所述人脸图像识别为所述嫌疑人图像数据库中的人脸图像，所述报警单元报警。

本发明的进一步技术方案是：所述公共安全系统还包括嫌疑人图像检索单元，所述公共安全系统还包括嫌疑人图像检索单元，所述嫌疑人图像检索单元根据输入的条件对所述嫌疑人图像数据库中的人脸图像进行检索。

本发明的技术效果是：本发明人脸面相判别的方法、系统及公共安全系统，通过在进行人脸面相识别前先进行人脸伪装判别，对于人脸图像进行伪装的行为及时进行反应。

附图说明

图1为本发明的流程图。

图2为本发明人脸面相判别系统的结构示意图。

图3为本发明公共安全系统的结构示意图。

具体实施方式

下面结合具体实施例，对本发明技术方案进一步说明。

如图1所示，本发明的具体实施方式是：本发明提供一种人脸面相判别方法，包括伪装分类器、伪装模型以及人脸识别分类器，所述人脸面相判别方法包括如下步骤：

步骤100：获取人脸图像，即，从视频或图像中获取人脸图像。本发明中首先要获取人脸图像，人脸图像的获取来源于视频中截出人脸图像，也可以来源于图像中含有人脸部分的图像，本发明中的图像可以是直接接收的图像电子文件或扫描生成的图像电子文件或者截取的图像文件上含有人脸部分的图像电子文件。本发明的具体实施方式中，将人脸图像根据人脸的大小以矩形框住人脸为限，也即是获取人脸图像以尽量大的有脸被矩形框住的矩形图像。

步骤200：进行人脸伪装判别，即，将人脸图像根据伪装分类器、伪装模型进行伪装判别。本发明中，所述人脸伪装判别包括：戴墨镜伪装判别、戴墨镜伪装判别、戴口罩或围巾的伪装判别。在进行伪装判别前需要生成伪装分类器及伪装模型。具体来说，本发明中的伪装分类器包括帽子分类器、墨镜分类器，根据帽子分类器判别人脸图像是否为戴帽子伪装，根据墨镜分类器判别人脸图像是否为戴墨镜伪装。所述伪装模型包括肤色模型，根据肤色模型判别人脸图像是否为戴口罩或围巾的伪装。以下具体说明伪装分类器的生成过程：

帽子分类器的生成过程：首先获取多张不同放置方法不同形状帽子的图像以及不是帽子的图像两组图像，一般数量上分别超过一百张，将这些图像进行归一化处理，比如大小统一规定为40x30像素大小。然后将多张帽子的图像作为正例样本，将多张不是帽子的图像作为反例样本，这些正例样本和反例样本即组成帽子级联分类器的训练集。利用Opencv（OpenCV是Intel公司支持的开源计算机视觉库，它由一系列C函数和少量C++类构成，实现了图像处理和计算机视觉方面的很多通用算法。）中已经写好的基于Haar特征的Adaboosting算法，分类器的训练用Opencv中的haartraining程序来实现，以取得的帽子级联分类器的训练集为输入分别训练，得到帽子分类器，最终的输出为基于Harr特征的帽子级联分类器。

获得帽子级联分类器后，再获取其中的帽子hu不变量（胡氏不变量，一些矩特征。由于关于长轴及短轴的惯性矩和一些十分有用的矩不变量都可直接由矩得到，不变矩是图像的统计特性,满足平移、绅缩、旋转均不变的不变性,在图像识别领域得到了广泛的应用，Hu首先提出了用于区域形状识别的不变矩，胡氏不变量是一些矩特征。）训练集。利用分类器训练中形成的帽子级联分类器，来检测帽子，并截出帽子区域图像，这样得到的图像集合中有两类图像，一类是帽子，另外一类不是帽子（这里称之为“虚假帽子”），然后将它们分成两组，是帽子的一组为正例样本，“虚假帽子”的一组为反例样本；如此形成用于获取帽子Hu不变量的帽子图像集（这里获取帽子Hu不变量训练集所用的图像集和上述训练帽子级联分类器所用的图像库是不同的两个图像集；这两个图像集都是在系统运行之前准备好的，计算其中所有图像的7个hu不变量，形成帽子hu不变量训练集，其中有帽子和非帽子两类数据。

通过上述方法即获得了帽子分类器。

在获得帽子分类器后，利用帽子分类器对图像中进行戴帽子伪装判别，即，先利用帽子级联分类器初步检测，对检测到的‘帽子图像’，再利用帽子分类器中的7个不变量训练集和K（一个正整数，在本发明中取9）近邻方法来判别当前检测的图像中是否是真的帽子，若刚当前检测帽子的特征向量离帽子hu不变量训练集帽子数据较近，则判为帽子，否则不是帽子。具体实施过程中，真实帽子图像与误判为帽子的图像的7个Hu不变矩中第5维与第7维特征的点绘图有很好的分离性，因此使用这两个特征作为K近邻方法的输入来减少误判，如此也降低了计算复杂度。

同上述过程一样，墨镜分类器的获取过程如下：

墨镜分类器的生成过程：首先获取多张不同放置方法不同形状墨镜的图像以及不是墨镜的图像两组图像，一般数量上分别超过一百张，将这些图像进行归一化处理，比如大小统一规定为40x30像素大小。然后将多张墨镜的图像作为正例样本，将多张不是墨镜的图像作为反例样本，这些正例样本和反例样本即组成墨镜级联分类器的训练集。利用Opencv（OpenCV是Intel公司支持的开源计算机视觉库，它由一系列C函数和少量C++类构成，实现了图像处理和计算机视觉方面的很多通用算法。）中已经写好的基于Haar特征的Adaboosting算法，分类器的训练用Opencv中的haartraining程序来实现，以取得的墨镜分类器的训练集为输入分别训练，得到墨镜分类器，最终的输出为基于Harr特征的墨镜级联分类器。

获得墨镜级联分类器后，再获取其中的墨镜hu不变量（胡氏不变量，一些矩特征。由于关于长轴及短轴的惯性矩和一些十分有用的矩不变量都可直接由矩得到，不变矩是图像的统计特性,满足平移、绅缩、旋转均不变的不变性,在图像识别领域得到了广泛的应用，Hu首先提出了用于区域形状识别的不变矩，胡氏不变量是一些矩特征。）训练集。利用分类器训练中形成的墨镜级联分类器，来检测帽子，并截出墨镜区域图像，这样得到的图像集合中有两类图像，一类是墨镜，另外一类不是墨镜（这里称之为“虚假墨镜”），然后将它们分成两组，是墨镜的一组为正例样本，‘虚假墨镜’的一组为反例样本；如此形成用于获取墨镜Hu不变量的墨镜图像集（这里获取墨镜Hu不变量训练集所用的图像集和上述训练墨镜级联分类器所用的图像库是不同的两个图像集；），计算其中所有图像的7个hu不变量，形成墨镜hu不变量训练集，其中有墨镜和非墨镜两类数据。

通过上述方法即获得了墨镜分类器。

在获得墨镜分类器后，利用墨镜分类器对图像中进行戴墨镜伪装判别，即，先利用墨镜级联分类器初步检测，对检测到的‘墨镜图像’，再计算该‘墨镜图像’的7个Hu不变量，然后把7个Hu不变量输入神经网络，根据神经网络输出结果（0或1，0表示不是墨镜、1表示是墨镜）判别当前检测的图像是否是真的帽子，利用帽子分类器中的7个不变量训练集和多层神经网络方法，神经网络训练过程如下，使用有三层BP神经网络，输入层7个节点（对应7个Hu不变量），隐藏层10个节点，输出层一个节点（对应是否是墨镜）；训练神经网络的数据集为从视频中截取的墨镜hu不变量训练集。训练后产生神经网络模型。

以下简要说明伪装分类器中二个相关的步骤：

一、基于Haar特征的Adaboosting算法。基于Haar特征的Adaboosting算法来检测出一些指定的目标，如人脸，墨镜，眼睛，汽车等。具体过如下：Haar特征分为三类：边缘特征、线性特征、中心特征与对角线特征组合成的特征模板。特征模板内有白色和黑色两种矩形，并定义该模板的特征值为白色矩形像素值的和减去黑色矩形像素值的和。在确定了特征形式后Harr-like特征的数量就取决于训练样本图像矩阵的大小，特征模板在子窗口内任意放置，一种形态称为一种特征，找出所有子窗口的特征是进行弱分类训练的基础。Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。利用样本的harr特征进行分类器训练，得到一个级联的强分类器。训练样本分为正例样本和反例样本，其中正例样本是指待检目标样本(例如人脸或汽车等)，反例样本指其它任意图像，所有的样本图像都被归一化为同样的尺寸大小(例如，20x20)。分类器训练完以后，就可以应用于输入图像中的感兴趣区域(与训练样本相同的尺寸)的检测。检测到目标区域(汽车或人脸)分类器输出为1，否则输出为0。为了检测整副图像，在图像中移动搜索窗口，检测每一个位置来确定可能的目标。为了搜索不同大小的目标物体，分类器被设计为可以进行尺寸改变，这样比改变待检图像的尺寸大小更为有效。所以，为了在图像中检测未知大小的目标物体，扫描程序通常需要用不同比例大小的搜索窗口对图像进行几次扫描。

二、hu不变量的计算。

7个hu不变量的计算方法如下：对于数字图像f(x,y),其(p+q)阶几何矩用m_pq表示:

$m_{\mathrm{pq}}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{x}^p{y}^{q}f(x,y)$

${\mathrm{\μ}}_{\mathrm{pq}}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{\left({x-x}_0\right)}^p{(y-y_0)}^{q}f(x,y)$

中心矩μ_pq是平移不变的,还需规范化得到尺度规范化矩:

${\mathrm{\η}}_{\mathrm{pq}}=\frac{{\mathrm{\μ}}_{\mathrm{pq}}}{{\mathrm{\μ}}_{00}^r},r=\frac{p+q+2}{2},\frac{p+q}{2}\≥2$

hu构造出的7个不变量为:

φ₁＝η₂₀+η₀₂

φ₂＝(η₂₀-η₀₂)²+4η₁₁ ²

φ₃＝(η₃₀-3η₁₂)²+(3η₂₁+η₀₃)²

φ₄＝(η₃₀+η₁₂)²+(η₂₁+η₀₃)²

φ₅＝(η₃₀-3η₁₂)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-3(η₂₁+η₀₃)²]+

(3η₂₁-η₀₃)(η₂₁+η₀₃)[3(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]

φ₆＝(η₂₀-η₀₂)[(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]+4η₁₁(η₃₀+η₁₂)(η₂₁+η₀₃)

φ₇＝(3η₂₁-η₀₃)(η₃₀+η₁₂)[(η₃₀+η1₂)²-3(η₂₁+η₀₃)²]-

(η₃₀-3η₁₂)(η₂₁+η₀₃)[3(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]

m_pq是图像的（p+q）阶矩，p、q是任意的非负整数；μ_pq是图像的（p+q）阶中心不变矩；η_pq为规范化后的（p+q）阶中心不变矩；Φ_i(i=1、2、……7)为七个胡不变量，是标量。

本发明中，所述伪装模型包括肤色模型，根据肤色模型判别人脸图像是否为戴口罩或围巾的伪装。具体过程如下：肤色模型的功能是对给定有图像，找到并标记没被遮挡的人脸区域，以便于后期人脸图像的识别处理。然后通过计算相似度，从而对人脸的区域进行标记。包括以下三个步骤：

一、图像亮度调整

给定的图像，由于摄像头的质量差异，光照的差异，有较大的区别，为减少外界条件对人脸肤色颜色的影响，我们首先对其进行预处理矫正。这里处理方法的矫正公式如下：

Sc＝Sc*scalar

$\mathrm{Scalar}=\frac{\mathrm{Savg}}{\mathrm{Scavg}}$

其中，Sc是原图像的RGB值，Savg为标准图像的RGB值，Scavg为当前图像的相应的RGB分量所对应的RGB的平均值。标准图像的RGB值，我们通过在正常光照条件下拍摄20张图像，然后分别计算所有图片中所有像素点的R、G、B三个通道的平均值得到。通过计算，我们得到的SAVGB=174.415，SAVGG=180.664，SAVGR=180.448.

通过图像校正结果的比较我们发现，图像校正前，视频图像存在曝光过度的问题，采用校正算法后，图像对比度明显增强了。

二、人脸区域检测

对于人脸的区域检测我们采用了计算人脸区域相似度的方法。

首先，我们把图像转换到YCbCr色彩格式。与RGB色彩空间相比较，YCbCr能很好的将彩色图像中的亮度分离出来。

将RGB色彩空间转换成YCbCr空间的公式如下：

Cb＝128-37.797*R/255-74.203*G/255+112*B/255

Cr＝128+112*R255-93.786*G/255-18.214*B/255

除去Y分量（亮度分量），我们把一个三维平面降为二维，而这个二维平面上肤色的区域相对很集中，因此我们用高斯分布来模拟这种分布。

我们采用训练的方法得到一个这样的分布的中心，然后根据要考察的像素离该中心的远近得到一个肤色的相似度，继而得到一个原图的相似的分布图，再按照一定的规则对该分布图二值化，最终确定肤色的区域。训练的时候，需要确定的是均值M和方差C。由下面的公式给出：

M＝E(x)，C＝E((x-x)(x-M)^T)x＝[r，t]^T

其中，x是图像中所有像素点的颜色的Cr，Cb两个值组成的向量。计算相似度时采用公式:

P（r,b）=exp[-0.5(x-M)^TC^-1(x-M)]

P（r,b）也称为YCbCr空间中Cr，Cb两个值为r、b的像素点为肤色的概率，计算相似度后，若P（r,b）大于给定的阈值，则该点为肤色，对应像素点灰度值设为1，否则为0，据此对图像进行二值化，阈值根据多次的实验结果确定。在本发明中为0.62。

三、人脸区域的提取

在正确对图像进行二值化后，整个脸理论上处于同一个连通的区域中，尽管在图像中或许还可能存在其他较小的连通区域，但是整个人脸区域的面积应该是最大的。基于此，我们先计算连通区域面积和整个图像的面积比例，找面积比例一定限定区间的连通分量，就可以认为这个连通区域就是要找的人脸区域。限定区间通过多次试验结果确定，本发明中面积比例限定区间为[0.25，0.68]，即面积比例大于0.25且小于0.68时该连通区域被认为是人脸。

步骤300：人脸面相判别，即,对于伪装判别结果中未进行伪装的人脸图像根据人脸识别分类器进行人脸分类面相判别。

具体过程如下：从视频中抓取到一帧图像。在本发明中，使用opencv中提供的训练好的人脸分类器来检测人脸。具体实施过程中,把该人脸图像归一化大小为训练样本的大小（70×100像素）的灰度图像。设y∈Rⁿ代表该人脸图像，即为测试样本，A∈R^n×m是所有训练样本组成的矩阵，即是已加载的嫌疑人人脸库中所有图像样本，每一列对应一个训练样本。假设测试样本y可以用所有训练样本的线性组合表示如下：

$y=\underset{k=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{\α}}_k{a}_k---(**)$

其中，m表示训练样本的个数，a_k代表第k个训练样本，α_k是线性组合中与第k个训练样本相对应的系数。其中，α=(α₁,α₂,..,α_m)^T是系数矢量，A=(a₁,a₂,..,a_m)。

通过下式

$\widehat{\mathrm{\α}}={\left(A^{T}A\right)}^{-1}{A}^{T}y$

求出系数矢量。

计算每类样本对描述测试样本的贡献。由式（**）可知，每一个训练样本对测试样本的描述都有贡献，第k个训练样本的贡献为α_ka_k(k=1,2,...,m)。因为各个训练样本所属的类别是已知的，所以将每一类中所有训练样本的贡献相加，可以求出此类样本对描述测试样本的贡献。例如，假设a_s，...,a_t是属于第d类的训练样本，则第d类在描述测试样本时所作的贡献为g_d＝α_sa_s+,..+α_ta_t。

计算所有类别的误差e_d＝||y-g_d||²(d=1,2,...,L)。其中，L是数据库中的类别个数。

找出最小误差所属类别，识别。误差越小的类别说明测试样本（待识别人脸图像）与该类别距离较近，且当误差小于一定阈值时则认为待识别人像与数据库中人像一样。否则，拒绝识别，进入下一次处理。在在本发明中阈值取0.02（0至1之间的小数）。

本发明的优选实施方式是：在进行人脸伪装判别的步骤中，在进行人脸图像对比前，还包括对人脸图像的预处理操作，所述预处理操作为对人脸图像进行归一化处理。

如图2所示，本发明的具体实施过程如下：本发明的技术方案是：构建一种人脸面相判别系统，包括输入人脸图像的图像输入单元1、根据人脸图像进行人脸伪装判别的伪装判别单元2、进行人脸面相识别的人脸识别单元3，所述伪装判别单元包括获伪装分类器22、伪装模型23及伪装判别模块21，所述人脸识别单元3包括存储人脸图像的人脸图像数据库32、人脸识别分类器31，所述伪装判别模块21根据伪装分类器22、伪装模型23对所述图像输入单元1输入的人脸图像进行伪装判别，对于所述伪装判别模块21判别为不是伪装的人脸图像时，所述人脸识别单元3将对所述图像输入单元1输入的人脸图像与所述人脸图像数据库32中的人脸图像根据人脸识别分类器31进行人脸面相识别。

本发明的具体实施过程如下：首先通过图像输入单元1要获取人脸图像，人脸图像的获取来源于视频中截出人脸图像，也可以来源于图像中含有人脸部分的图像，本发明中的图像可以是直接接收的图像电子文件或扫描生成的图像电子文件或者截取的图像文件上含有人脸部分的图像电子文件。本发明的具体实施方式中，将人脸图像根据人脸的大小以矩形框住人脸为限，也即是获取人脸图像以尽量大的有脸被矩形框住的矩形图像。

其次，将人脸图像根据伪装分类器、伪装模型进行伪装判别。本发明中，所述人脸伪装判别包括：戴帽子伪装判别、戴墨镜伪装判别、戴口罩或围巾的伪装判别。在进行伪装判别前需要生成伪装分类器22及伪装模型23。具体来说，本发明中的伪装分类器22包括帽子分类器221、墨镜分类器222，所述伪装判别模块21根据帽子分类器判别人脸图像是否为戴帽子伪装，所述伪装判别模块21根据墨镜分类器222判别人脸图像是否为戴墨镜伪装。所述伪装模型23包括肤色模型231，所述伪装判别模块21根据肤色模型231判别人脸图像是否为戴口罩或围巾的伪装。

最后，对于所述伪装判别模块21判别为不是伪装的人脸图像，所述人脸识别单元3将对所述图像输入单元1输入的人脸图像与所述人脸图像数据库32中的人脸图像根据人脸识别分类器31进行人脸面相识别。

本发明人脸面相判别系统对于人脸图像进行伪装的行为及时进行反应,识别效果更好。

如图2所示，本发明的优选实施方式是：所述人脸面相判别系统还包括人脸图像检索单元4，所述人脸图像检索单元4根据输入的条件对所述人脸图像数据库32中的人脸图像进行检索。本发明中的人脸图像检索单元4根据用户输入的人脸图像，对所述人脸图像数据库32中的图像通过所述人脸识别单元3进行对比检索。本发明的人脸图像检索单元4还可以根据输入的人的性别、年龄范围等条件进行人脸图像检索。

如图3所示，本发明的技术方案是：构建一种公共安全系统，所述公共安全系统包括人脸面相判别系统，所述人脸图像数据库为存储嫌疑人人脸图像的嫌疑人图像数据库33，对于所述伪装判别模块21判别为不是伪装的人脸图像时，所述人脸识别单元3将所述人脸图像与所述嫌疑人图像数据库33中的人脸图像进行人脸面相识别。

其具体工作过程同上述人脸面相识别系统的工作过程，这里只不过将普通的人脸图像数据库限定了嫌疑人图像数据库33。

如图3所示，本发明的优选实施方式是：所述公共安全系统还包括报警单元5，对于所述伪装判别模块21判别为是伪装的人脸图像时，所述报警单元5报警；对于所述人脸识别单元3将所述人脸图像识别为所述嫌疑人图像数据库33中的人脸图像，所述报警单元5报警。

本发明的优选实施方式是：所述公共安全系统还包括嫌疑人图像检索单元，所述嫌疑人图像检索单元根据输入的条件对所述嫌疑人图像数据库33中的人脸图像进行检索。本发明中的嫌疑人图像检索单元根据用户输入的人脸图像，对所述嫌疑人图像数据库33中的图像通过所述人脸识别单元3进行对比检索。本发明的嫌疑人图像检索单元还可以根据输入的人的性别、年龄范围等条件进行人脸图像检索。这里所述嫌疑人图像检索单元工作过程与所述人脸图像检索单元4工作过程一样，只不过其检索的数据库为嫌疑人图像数据库33。

本发明的技术效果是：本发明人脸面相判别的方法、系统及公共安全系统，通过在进行人脸面相识别前先进行人脸伪装判别，对于人脸图像进行伪装的行为及时进行反应。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种人脸面相判别方法，包括伪装分类器、伪装模型以及人脸识别分类器，所述人脸面相判别方法包括如下步骤：

获取人脸图像：从视频或图像中获取人脸图像；

进行人脸伪装判别：将人脸图像根据伪装分类器、伪装模型进行伪装判别；利用样本的harr特征进行分类器训练，得到一个级联的强分类器，训练样本分为正例样本和反例样本，其中，正例样本是指待检目标样本，反例样本指其它任意图像，所有的样本图像都被归一化，对于级联的强分类器，根据级联的强分类器得到hu不变量训练集，所述伪装模型中还包括肤色模型，根据所述肤色模型判别人脸图像是否为戴口罩或围巾的伪装，根据所述肤色模型找到并标记没被遮挡的人脸区域，然后通过计算相似度，从而对人脸的区域进行标记，计算相似度时采用公式：

P(r,b)=exp[-0.5(x-m)^TC^-1(x-m)]

其中，x是图像中所有像素点的颜色的Cr，Cb两个值组成的向量，m表示训练样本的个数，P（r,b）也称为YCbCr空间中Cr，Cb两个值为r、b的像素点为肤色的概率，计算相似度后，若P（r,b）大于给定的阈值，则该点为肤色，对应像素点灰度值设为1，否则为0，据此对图像进行二值化，在对图像进行二值化后，整个脸处于同一个连通的区域中，然后计算连通区域面积和整个图像的面积比例，根据面积比例一定限定区间的连通分量，即认为该连通区域就是要找的人脸区域；

人脸面相判别：对于伪装判别结果中未进行伪装的人脸图像根据人脸识别分类器进行人脸分类面相判别；所述人脸识别为基于线性组合的具有拒绝识别功能的人脸识别方法，具体如下：把该人脸图像归一化大小为训练样本的大小的灰度图像；设y∈Rⁿ代表该人脸图像，即为测试样本，A∈R^n×m是所有训练样本组成的矩阵，即是已加载的嫌疑人人脸库中所有图像样本，每一列对应一个训练样本；测试样本y用所有训练样本的线性组合表示如下：

$y=\underset{k=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{\α}}_k{a}_k$

其中，m表示训练样本的个数，a_k代表第k个训练样本，α_k是线性组合中与第k个训练样本相对应的系数；其中，α=(α₁,α₂,..,α_m)^T是系数矢量，A=(a₁,a₂,...,a_m)；

计算每类样本对描述测试样本的贡献；第d类在描述测试样本时所作的贡献为g_d=α_sa_s+,...+α_ta_t；计算所有类别的误差e_d=||y-g_d||²(d=1,2,...,L)，其中，L是数据库中的类别个数；找出最小误差所属类别，识别；误差越小的类别说明测试样本与该类别距离较近，且当误差小于一定阈值时则认为待识别人像与数据库中人像一样；否则，拒绝识别，进入下一次处理。

2.根据权利要求1所述的人脸面相判别方法，其特征在于，在进行人脸伪装判别的步骤中，在进行人脸图像对比前，还包括对人脸图像的预处理操作，所述预处理操作为对人脸图像进行归一化处理。

3.根据权利要求1所述的人脸面相判别方法，其特征在于，在进行人脸伪装判别步骤中，所述人脸伪装判别包括：戴帽子伪装判别、戴墨镜伪装判别、戴口罩或围巾的伪装判别。

4.一种人脸面相判别系统，其特征在于，包括输入人脸图像的图像输入单元、根据人脸图像进行人脸伪装判别的伪装判别单元、进行人脸面相识别的人脸识别单元，所述伪装判别单元包括伪装分类器、伪装模型及伪装判别模块，所述人脸识别单元包括存储人脸图像的人脸图像数据库、人脸识别分类器，所述伪装判别模块根据伪装分类器、伪装模型对所述图像输入单元输入的人脸图像进行伪装判别，对于所述伪装判别模块判别为不是伪装的人脸图像时，所述人脸识别单元将对所述图像输入单元输入的人脸图像与所述人脸图像数据库中的人脸图像根据人脸识别分类器进行人脸面相识别；

所述伪装分类器利用样本的harr特征进行分类器训练，得到一个级联的强分类器，训练样本分为正例样本和反例样本，其中，正例样本是指待检目标样本，反例样本指其它任意图像，所有的样本图像都被归一化，对于级联的强分类器，根据级联的强分类器得到hu不变量训练集，所述伪装模型中还包括肤色模型，根据所述肤色模型判别人脸图像是否为戴口罩或围巾的伪装，根据所述肤色模型找到并标记没被遮挡的人脸区域，然后通过计算相似度，从而对人脸的区域进行标记，计算相似度时采用公式：

P(r,b)=exp[-0.5(x-m)^TC^-1(x-m)]

P（r,b）也称为YCbCr空间中Cr，Cb两个值为r、b的像素点为肤色的概率，计算相似度后，若P（r,b）大于给定的阈值，则该点为肤色，对应像素点灰度值设为1，否则为0，据此对图像进行二值化，在对图像进行二值化后，整个脸处于同一个连通的区域中，然后计算连通区域面积和整个图像的面积比例，根据面积比例一定限定区间的连通分量，即认为该连通区域就是要找的人脸区域；

所述人脸识别单元为基于线性组合的具有拒绝识别功能的人脸识别方法，具体如下：把该人脸图像归一化大小为训练样本的大小的灰度图像；设y∈Rⁿ代表该人脸图像，即为测试样本，A∈R^n×m是所有训练样本组成的矩阵，即是已加载的嫌疑人人脸库中所有图像样本，每一列对应一个训练样本；测试样本y用所有训练样本的线性组合表示如下：

$y=\underset{k=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{\α}}_k{a}_k$

其中，m表示训练样本的个数，a_k代表第k个训练样本，α_k是线性组合中与第k个训练样本相对应的系数；其中，α=(α₁,α₂,..,α_m)^T是系数矢量，A=(a₁,a₂,...,a_m)；

计算每类样本对描述测试样本的贡献；第d类在描述测试样本时所作的贡献为g_d=α_sa_s+,...+α_ta_t；计算所有类别的误差e_d=||y-g_d||²(d=1,2,...,L)，其中，L是数据库中的类别个数；找出最小误差所属类别，识别；误差越小的类别说明测试样本与该类别距离较近，且当误差小于一定阈值时则认为待识别人像与数据库中人像一样；否则，拒绝识别，进入下一次处理。

5.根据权利要求4所述的人脸面相判别系统，其特征在于，所述伪装分类器包括帽子分类器、墨镜分类器，所述伪装判别模块根据帽子分类器判别人脸图像是否为戴帽子伪装，所述伪装判别模块根据墨镜分类器判别人脸图像是否为戴墨镜伪装。

6.根据权利要求4所述的人脸面相判别系统，其特征在于，所述伪装模型包括肤色模型，所述伪装判别模块根据肤色模型判别人脸图像是否为戴口罩或围巾的伪装。

7.根据权利要求4所述的人脸面相判别系统，其特征在于，所述人脸面相判别系统还包括人脸图像检索单元，所述人脸图像检索单元根据输入的条件对所述人脸图像数据库中的人脸图像进行检索。

8.一种应用权利要求4至7中任一权利要求所述人脸面相判别系统的公共安全系统，其特征在于，所述公共安全系统包括人脸面相判别系统，所述人脸图像数据库为存储嫌疑人人脸图像的嫌疑人图像数据库，对于所述伪装判别模块判别为不是伪装的人脸图像时，所述人脸识别单元将所述人脸图像与所述嫌疑人图像数据库中的人脸图像进行人脸面相识别。

9.根据权利要求8所述的公共安全系统，其特征在于，所述公共安全系统还包括报警单元，对于所述伪装判别模块判别为是伪装的人脸图像时，所述报警单元报警；对于所述人脸识别单元将所述人脸图像识别为所述嫌疑人图像数据库中的人脸图像，所述报警单元报警。

10.根据权利要求8所述的公共安全系统，其特征在于，所述公共安全系统还包括嫌疑人图像检索单元，所述公共安全系统还包括嫌疑人图像检索单元，所述嫌疑人图像检索单元根据输入的条件对所述嫌疑人图像数据库中的人脸图像进行检索。

Images