CN105956515A - 基于极成像的立体-高光谱人脸识别方法 - Google Patents

Abstract

本发明提出了一种基于极成像的立体‑高光谱人脸识别的方法，用于解决现有多光谱人脸识别方法中存在的识别结果稳定性差和识别效率低的技术问题，包括如下步骤，1、利用极光谱系统采集人脸信息；2、根据人脸信息中的二维极图像对人脸进行立体重构；3、对二维人脸进行区域块划分，并根据该划分结果对立体人脸和人脸光谱信息进行区域块划分；4、提取区域块的综合特征向量；5、分别对多个人脸和待识别人脸采用步骤1到步骤4得到样本库数据和待识别人脸数据；6、训练样本库数据得到分类器；7、将待识别人脸数据输入到分类器中，并识别人脸。本发明具有稳定性好和识别效率高特点，可用于金融交易、安全防务、通关安检等的身份鉴定。

Description

基于极成像的立体-高光谱人脸识别方法

技术领域

本发明属于生物特征识别技术领域，涉及一种人脸识别方法，具体涉及一种基于极成像的立体-高光谱人脸识别方法，可用于金融交易、安全防务、通关安检等的身份鉴定。

背景技术

世界上居住着67亿相貌各异、肤色不同的人类，人脸作为一项重要的生物特征，在人与人之间的交流中具有重要地位。当今社会中，人脸已经成为一种重要的用于身份鉴定的特征。人脸识别系统按功能可以分为三种：面向安防类、管理监督类和多媒体娱乐类，对识别准确率的要求也依次降低。据报道，在美国每年有上亿美元的政府福利资金被非法冒领，另外，因为缺少完善的身份识别系统，也出现了包括恐怖袭击威胁的多种社会安全问题。近年来发生的连续恐怖袭击的悲剧，在加强安保措施的同时对各国的边境检查、入境审察能力也敲响了警钟。因此，研究面向安防类的更加精确、高效的人脸识别技术具有明确的、紧迫的研究意义。

人脸识别过程一般被描述为，给定一个静态或者动态的人脸图像，利用已有的人脸数据库来确定图像中的一个或者多个人的身份。其主要解决三个任务：身份认证、身份识别、监控。身份认证是判断图像中的人脸是否是他所声明的身份，只需要将输入的人脸图像与数据库中所存储的该身份的模板图像相比对，是一对一的比较；身份识别是利用人脸数据库来确定图像中人脸的身份，需要将输入的人脸图像与库中所有的身份模板图像进行比对并给出相似度，来判别输入人脸是库中的哪个身份(相似度最高)，是一对多的比较。监视是指在监控范围内发现人脸并跟踪和分割出来，并判断该人脸是否在监控列表上，如果是的话，再进一步确认他们的身份。

人脸识别的基本流程主要包括数据采集、人脸检测、人脸配准、人脸特征提取以及人脸识别等过程。使用图像传感器如CCD或CMOS等获取人脸图像或视频，通过预处理提高图像质量，然后进行人脸检测、姿态估计和特征点定位，即从图像中分割出感兴趣的人脸区域，对人脸区域进行配准和归一化，再对归一化后的人脸图像进行特征提取，输入到分类器中与人脸库中模板图像特征向量进行匹配计算，最后输出识别结果。

人脸识别从描述人脸的方法上可以分为两大类：基于几何特征人脸表示方法和基于纹理的人脸表示方法。基于人脸几何结构的识别方法利用人脸在结构组成上的特征信息，从人脸二维图像求取边缘和轮廓作为特征，进而利用特征比对的方式判断特征之间的相似度。本质上，从二维图片中提取的信息是丢失了真实三维人脸深度维信息后的子集，而且人脸的外形特征并不稳定，容易受光照和表情变化的影响，因此基于二维人脸图像的几何结构识别方法稳定性不高，在大面积的阴影影响下甚至会失效。从而，近两年来基于三维或深度几何特征的人脸识别方法被提出，通过激光扫描、立体成像等技术获得带有深度信息的人脸三维模型，并从模型中提取有效的特征，例如使用前额曲率、鼻子高度等信息组成描述三维人脸的特征向量，进而通过模板匹配的方法进行识别。空间多维度信息的引入成功的解决了人脸特征受光照变化的影响，使识别准确率达到了90％以上。

另一方面，国内外的研究学者们还开展了大量的基于纹理信息的人脸识别方法研究。此类方法从人脸的光谱维信息出发，利用光谱在人脸表面分布的规律性和固定性作为人脸的特征描述，进而利用模式识别的方法完成人脸识别。作用于人脸的光分为主动和被动光源，光源光谱的波段范围也从可见光扩展到近红外，光谱的分辨率范围从多色、多光谱再到高光谱。依托于统计模式识别的理论和技术的发展，涌现出大量的基于纹理信息的人脸识别算法。二十世纪九十年代被提出的“特征脸(Eignface)”是具有代表性的识别方法。至今“特征脸”方法仍旧是人脸识别领域中用来评测新算法的基准算法之一，被应用于各个光谱波段的人脸识别。随着机器学习技术的兴起与快速发展，神经网络、深度学习等方法被应用到人脸检测中并获得了很大的成功，尤其是最近两年来随着高性能计算机硬件的推广，人工智能技术有了重大的突破，利用机器学习对大规模样本训练后获得良好的分类器，进而对人脸图像或视频进行检测和识别。虽然，“机器学习”的应用发展的如火如荼，但是在处理人脸检测与识别问题上还是存在明显不足的：需要大量的有监督训练数据作为支撑，以提高系统的泛化能力；目前已有的人脸数据库中具有完整标签信息的很少，限制了大部分监督学习算法；模型训练时间和资源消耗很大，如要调整训练策略和参数，需要很长的周期。

目前，研究者所使用的人脸识别方法从空间上已经由低维向高维空间发展，从光谱上已经由单色灰度图像向宽波段乃至高(多)光谱发展。一方面，通过激光扫描、立体成像等技术获得带有深度信息的人脸三维模型，并从模型中提取有效的几何特征，空间维度信息的引入解决了人脸特征受光照和表情变化的影响。另一方面，利用波光片或分光棱镜的光学手段获得人脸的光谱信息，并从获得的人脸光谱信息中提取人脸局部的光谱特征，光谱维度信息的扩展解决了人脸识别受阴影和部分遮挡因素的影响。例如，中国专利申请，授权公告号为CN102831400B，名称为“一种多光谱人脸识别方法及其系统”的发明专利，该发明包括光谱成像系统、彩色相机、人脸识别模块、数据存储模块、中心控制模块和光谱仪，多光谱成像系统将拍摄的人脸图像数据输出至人脸识别模块，人脸识别模块根据数据存储模块中的标准人脸数据库的信息进行识别，然后将识别的结果进行输出，中心控制模块控制多光谱成像系统的图像摄取和人脸识别模块的识别。该发明虽然能够在识别过程中提供明显的类间距离，但是仍存在两处不足一是由于使用多光谱成像系统采集人脸图像数据，无法获得人脸的立体结构信息，使识别结果容易受到光照变化、涂覆与遮挡的影响，导致识别结果稳定性差，另外该发明由于在截取人脸区域样本时需要手动操作，降低了人脸识别的效率。

发明内容

本发明的目的在于克服上述现有技术存在的缺陷，提出了一种基于极成像的立体-高光谱人脸识别方法，用于解决现有多光谱人脸识别方法中存在的识别结果稳定性差和识别效率低的技术问题。

为实现上述目的，本发明采取的技术方案，包括如下步骤：

步骤1，利用极光谱系统采集人脸数据，得到人脸在各光谱波段的二维极图像以及该二维极图像上像素点对应的光谱信息；

步骤2，从得到的人脸的二维极图像中筛选出质量最高的多个光谱波段对应的极图像，对筛选出的多个极图像进行融合，并对融合后的极图像进行仿射变换，得到人脸三个不同视点的图像；

步骤3，利用多视点立体匹配方法，对得到人脸三个不同视点的图像进行立体重构，得到人脸的三维结构；

步骤4，对所述融合后的极图像中的完整二维人脸进行划分，得到人脸带有不同分类标签的二维局部区域块；

步骤5，根据得到的人脸带有不同分类标签的二维局部区域块，对所述人脸的三维结构和所述二维极图像上像素点对应的光谱信息进行局部区域块划分，得到包含三维结构和光谱信息的带有分类标签的多个局部区域块；

步骤6，对得到的多个局部区域块中的每个局部区域块，计算三维结构的特征向量，同时提取光谱信息的特征向量，并对这两个特征向量进行合并，得到人脸的多个带有分类标签的局部综合特征向量；

步骤7，对多个样本人脸采用步骤1到步骤6，得到包含多个样本人脸的多个带有分类标签的局部综合特征向量的人脸样本库；

步骤8，将得到的人脸样本库数据输入到线性支持向量机模型中进行训练，得到针对不同目标类型的分类器；

步骤9，对待识别人脸采用步骤1到步骤6，得到待识别人脸的多个带有分类标签的局部综合特征向量；

步骤10，将得到的待识别人脸的多个带有分类标签的局部综合特征向量，输入到所述的分类器中进行分类，得到待识别人脸多个局部区域块所属的目标类型，并根据待识别人脸的多个局部区域块是否属于同一目标类型，判断该人脸是否与样本库相符。

本发明与现有技术相比，具有如下优点：

1、本发明由于在采集人脸数据时利用了极光谱系统，并根据得到二维极图像对人脸进行三维重构，能够实现人脸特征中三维结构和光谱信息的同时获取，与现有技术中利用多光谱成像系统采集人脸数据，并获取人脸的二维几何特征和光谱信息相比，识别结果不受光照变化、涂覆与遮挡的影响，有更高的稳定性。

2、本发明由于在对完整二维人脸进行划分时，不需要人工参与，与现有技术采用的手动截取人脸区域样本的方法相比，提高了人脸识别的效率。

附图说明

图1为本发明的流程框图；

图2为本发明中的极光谱系统对人脸数据采集示意图；

图3为极成像多视点成像原理图；

图4为本发明中人脸多个局部区域块示意图。

具体实施方式

以下结合附图和具体实施例，对本发明作进一步描述。

参照图1，基于极成像的立体-高光谱人脸识别方法，包括如下步骤：

步骤1，利用极光谱系统采集人脸数据，如图2所示，得到人脸在各光谱波段的二维极图像以及该二维极图像上像素点对应的光谱信息，采集各光谱波段的人脸数据可以更全面的反映人脸特征，使识别结果更加准确；

步骤2，从获取的人脸的二维极图像中筛选出质量最高的多个光谱波段对应的极图像，对筛选出的质量最高的多个极图像进行融合，并对融合后的极图像进行仿射变换，在仿射变换时提取融合后极图像中的径向线(极线)，并水平堆放成一个新的图像，根据图3所示的极成像多视点成像原理将新图像沿水平方向按比例分为三份，分别对应高光谱成像仪的三个视点，从而得到人脸三个不同视点的图像；

筛选出质量最高的多个光谱波段对应的极图像按照如下步骤实现：

步骤2a，利用峰值信噪比函数(Peak Signal-to-Noise Ratio，PSNR)和基于结构相似度的评价函数(Structural Similarity Image Measurement,SSIM)，对人脸各光谱波段的极图像进行质量评估，得到人脸各光谱波段极图像的峰值信噪比和基于结构相似度的评分，峰值信噪比函数可以高效的获得高光谱图像中噪声较少的波段，而基于结构相似度的评价函数从图像的亮度、对比度和结构三个要素评价高光谱图像的内容质量，融合质量较高波段的目的在于获得特征点明显的单幅二维图像，为后面深度重构提供充足的特征点用于立体匹配；

步骤2b，对得到的人脸各光谱波段极图像的峰值信噪比和基于结构相似度的评分进行量化并线性叠加，得到各光谱波段极图像的质量得分，并从各光谱波段极图像中筛选出至少两个质量得分高的光谱波段对应的极图像，本发明筛选出三个极图像，若筛选出过多的图像会达不到高质量的效果，筛选太少的图像则会使融合图像太过单一化，不能完整的描述人脸数据；

步骤3，利用多视点立体匹配方法，使用GPU并行算法对得到的人脸三个不同视点的图像进行立体重构，得到二维人脸中像素点对应的深度信息，即得到人脸的三维结构；

步骤4，由于人脸二维极图像的圆形中心区域是人脸通过高光谱成像仪的真实视点成的像，该区域图像可以准确显示二维人脸，通过划分该区域的完整二维人脸图像，可以为后面划分人脸三维结构和光谱信息提供更为准确的划分依据，所以对所述融合后的二维极图像中的完整二维人脸进行划分，得到人脸带有不同分类标签的二维局部区域块；

划分完整二维人脸的按照如下步骤实现：

步骤4a，将得到的人脸融合后极图像中的包含完整人脸的圆形图像分割出来，得到完整的二维人脸图像；

步骤4b，对得到的完整的二维人脸图像进行锐化处理，并检测锐化处理后二维人脸图像的边缘点，得到二维人脸图像边缘点；

步骤4c，对得到的二维人脸图像边缘点进行聚类，得到二维人脸图像中多个包含边缘点的类别，这里的聚类是通过人脸上不同器官的差异来划分类别的，由于人脸上眼睛、鼻子、嘴唇等器官对光谱反射率的明显差异，所以很容易通过人脸图像来划分区域块，本发明中将人脸分为9个类别；

步骤4d，分别计算得到的二维人脸图像中多个包含边缘点的类别的中心点位置，并根据各类别中心点的位置确定其分类标签和区域大小，例如，对于一个类别中心点在最左边的类别，本发明给予这个类别眼睛标签，并设定它的类别区域形状为长方形，大小为正常人眼睛的平均长和宽，得到人脸带有不同分类标签的二维局部区域块；

步骤5，根据得到的人脸带有不同分类标签的二维局部区域块，对所述人脸的三维结构(二维图像结合深度信息组成人脸立体信息)和所述二维极图像上像素点对应的光谱信息进行局部区域块划分，该光谱信息在划分时只对人脸极图像中心圆形区域的完整人脸进行划分，得到包含三维结构和光谱信息的带有分类标签的多个局部区域块，如图4所示；

步骤6，在得到的人脸的多个局部区域块中，利用局部区域的平均高度和梯度组成三维结构的特征向量，同时使用基于GPU的HySime算法快速提取每一区域块的光谱维子空间，获得光谱信息的特征向量，并对每个局部区域块的两个特征向量进行合并，得到人脸的多个带有分类标签的局部综合特征向量；

步骤7，对多个样本人脸采用步骤1到步骤6，得到包含多个样本人脸的多个带有分类标签的局部综合特征向量的人脸样本库；

步骤8，人脸三维结构和光谱信息的局部综合特征向量的数据量大，人工分类区域块费时、费力、不现实，本发明采用线性支持向量机模型，将人脸样本库中有分类标签的局部综合特征数据，输入到线性支持向量机模型中进行训练，支持向量机本质上是一种二分类模型，即在两种类别特征空间中找到最优的分割超平面，而一般的应用中目标场景分割的局部特征往往多于两种，因此需要采用支持向量机的“一对一”模式进行多次分类处理，得到针对不同的目标类型的分类器，该分类器判定带有分类标签的局部综合特征向量的目标类型，即可以判定输入的眼睛或鼻子等区域块属于样本库中的哪一个人脸；

步骤9，对待识别人脸采用步骤1到步骤6，得到待识别人脸的多个带有分类标签的局部综合特征向量；

步骤10，将得到的待识别人脸的多个带有分类标签的局部综合特征向量，输入到所述的分类器中进行分类，得到待识别人脸多个局部区域块所属的目标类型，如果多个局部区域块都分类为同一个目标类型，则待识别人脸识别为该目标类型，否则待识别人脸与样本库不符，即不属于样本库。

参照图2，本发明采用的系统由高光谱成像仪、圆台内反射镜、扫描转台、同步支架与夹具组成。高光谱成像仪光谱成像范围从400nm到1000nm，涵盖了可见光-近红外波段，由于金属银在可见光-近红外的光谱区间内保持着相当高的反射率(r>0.96)，利于成像光谱仪通过内反射镜的径向光谱采集，因此选用银(Ag)作为圆台反射镜内壁的镀膜材料。由于高光谱成像仪扫描线的空间分辨率为1632像素，光谱平均最小分辨率为0.64nm，即具有936个光谱带，如此高的空间和光谱分辨率要求扫描过程支架的稳定性良好，考虑到本发明要将成像仪和内反射镜整合在一起组成“极光谱”采集系统，需要改造已有扫描转台，通过加工同步支架和夹具来控制内反射镜的位置，并改造步进电机的控制方式使高光谱成像仪和内反射镜的扫描过程保持同步。将高光谱成像仪与内反射镜级联后，需要利用激光对成像光路进行校准和测试。并根据极成像的成像原理，确定整个“极光谱”成像系统的视场角和有效作用距离。

极光谱系统中圆台内反射镜与高光谱成像仪之间存在一定的位置关系，图中r代表内反射镜左侧端口半径，θ代表成像仪透镜中心对内反射镜左侧端口的张角的一半，β代表内反射镜镜筒切平面与水平面夹角，由于要保证人脸在内反射镜中只进行一次成像，所以镜筒水平长度l满足一定的条件，l须满足l＝2r cos(β)cos(θ-2β)csc(θ-3β)。

参照图3，光经过截顶圆锥内反射镜后，在高光谱成像仪中形成多视点图像，根据预先设计好的反射镜的长度、张角以及前后半径限制一定范围内的光只经过一次反射即可到达成像焦平面，从而完成“一物点多视点”的成像，在作用距离内的空间被划分成三目区、双目区和其他盲区。人脸的位置处于三目区之内，该三目区是指人脸上任意一点会同时在径向上三个视点成像，这三个视点即图中的A、B、C三点，点B是高光谱成像仪成像透镜的光心，点A和点C分别是点B在径向方向上关于内反射镜成的像。图中点P是目标场景空间中处在极成像系统的三目区中的一点，经过内反射镜后，在成像光谱仪的焦平面上分别形成A、B、C三个视点的像，B点投影于极图像的中心圆形区域中，A和C点投影于极图像的外围圆环区域中。

参照图4，人脸被划分为眉毛、眼睛、鼻子、嘴唇等多个局部区域块，每个局部区域块中都包含有三维结构(二维图像结合深度信息)和光谱信息(光谱维数据)，其中光谱信息包含完整人脸中每一个点对各个光谱波段的反射率。

Claims (3)

1.一种基于极成像的立体-高光谱人脸识别方法，其特征在于，包括如下步骤：

(1)利用极光谱系统采集人脸数据，得到人脸在各光谱波段的二维极图像以及该二维极图像上像素点对应的光谱信息；

(2)从得到的人脸的二维极图像中筛选出质量最高的多个光谱波段对应的极图像，对筛选出的多个极图像进行融合，并对融合后的极图像进行仿射变换，得到人脸三个不同视点的图像；

(3)利用多视点立体匹配方法，对得到人脸三个不同视点的图像进行立体重构，得到人脸的三维结构；

(4)对所述融合后的极图像中的完整二维人脸进行划分，得到人脸带有不同分类标签的二维局部区域块；

(5)根据得到的人脸带有不同分类标签的二维局部区域块，对所述人脸的三维结构和所述二维极图像上像素点对应的光谱信息进行局部区域块划分，得到包含三维结构和光谱信息的带有分类标签的多个局部区域块；

(6)对得到的多个局部区域块中的每个局部区域块，计算三维结构的特征向量，同时提取光谱信息的特征向量，并对这两个特征向量进行合并，得到人脸的多个带有分类标签的局部综合特征向量；

(7)对多个样本人脸采用步骤(1)到步骤(6)，得到包含多个样本人脸的多个带有分类标签的局部综合特征向量的人脸样本库；

(8)将得到的人脸样本库数据输入到线性支持向量机模型中进行训练，得到针对不同目标类型的分类器；

(9)对待识别人脸采用步骤(1)到步骤(6)，得到待识别人脸的多个带有分类标签的局部综合特征向量；

(10)将得到的待识别人脸的多个带有分类标签的局部综合特征向量，输入到所述的分类器中进行分类，得到待识别人脸多个局部区域块所属的目标类型，并根据待识别人脸的多个局部区域块是否属于同一目标类型，判断该人脸是否与样本库相符。

2.根据权利要求1所述的基于极成像的立体-高光谱人脸识别方法，其特征在于：步骤(2)所述的筛选出质量最高的多个光谱波段对应的极图像，按照如下步骤实现：

(2a)利用峰值信噪比函数和基于结构相似度的评价函数，对人脸各光谱波段的极图像进行质量评估，得到人脸各光谱波段极图像的峰值信噪比和基于结构相似度的评分；

(2b)对得到的人脸各光谱波段极图像的峰值信噪比和基于结构相似度的评分进行量化并线性叠加，得到各光谱波段极图像的质量得分，并从中筛选出质量得分最高的多个光谱波段对应的极图像。

3.根据权利要求1所述的基于极成像的立体-高光谱人脸识别方法，其特征在于：步骤(4)所述的划分，按照如下步骤实现：

(4a)将得到的人脸融合后极图像中的包含完整人脸的圆形图像分割出来，得到完整的二维人脸图像；

(4b)对得到的完整的二维人脸图像进行锐化处理，并检测锐化处理后二维人脸图像的边缘点，得到二维人脸图像边缘点；

(4c)对得到的二维人脸图像边缘点进行聚类，得到二维人脸图像中多个包含边缘点的类别；

(4d)分别计算得到的二维人脸图像中多个包含边缘点的类别的中心点位置，并根据各类别中心点的位置确定其分类标签和区域大小，得到人脸带有不同分类标签的二维局部区域块。