CN107077596A - 用于产生针对所选择识别文档的符合的面部图像的系统 - Google Patents

Abstract

本发明涉及一种重新编码用于例如护照的个人照片识别文档中的照片的方法，其包含：使用数字图像捕获系统，所述系统包含数码相机、计算机处理器及存储照片打印的规格及要求以便符合在例如针对所选国家或管辖区的护照的用户所选照片ID中的使用的存储器；使用所述数字图像捕获系统来捕获面部图像；使用面部图像处理技术来提供对所述面部图像上的面部及面部特征点的自动检测；处理所述面部图像并产生符合性的视觉指示；以及在符合的情况下，基于所述符合的面部图像产生所述照片。

Description

用于产生针对所选择识别文档的符合的面部图像的系统

相关申请案的交叉参考

本申请案主张2014年8月12日申请的标题为用于产生针对所选择的识别文档的符合的面部图像的系统(SYSTEM FOR PRODUCING COMPLIANT FACIAL IMAGES FOR SELECTEDIDENTIFICATION DOCUMENTS)的第14/457,292号美国专利申请案的优先权，所述申请案的全部内容特此以引用的方式并入本文中。

技术领域

本发明涉及一种用于提供用于例如护照的个人照片识别文档中的照片的方法，所述个人照片识别文档自动地校正跨越众多管辖区的众多环境及主体要求。

背景技术

护照照片及其它照片识别文档通常包含与照片的主体、主体周围的环境及所产生的照片的质量相关的众多要求。这些要求根据管辖区及识别文档的所需类型而变化。这些要求此后被称为管辖要求或更简单地称为要求。虽然这些照片很容易在操作者的帮助下在零售点获得，但不能保证所获得的照片将实际上符合给定管辖区的所有要求，并且不能保证操作者将完全了解所有适用的要求。因此，期望的是一种方法，其将自动产生符合给定管辖区中的所有适用要求的所要照片识别文档。

发明内容

本发明是一种记录用于在例如护照的个人照片识别文档中的照片的方法。包含数码相机、计算机处理器及存储器的数字图像捕获系统存储照片打印的规格及要求，以便符合在用户所选的照片ID(例如针对所选国家或管辖区的护照)中使用。面部图像处理技术用于提供面部及面部特征点的自动检测。它们提供自动缩放、自动平面内旋转、自动裁剪及若干属性的分析来确定；头部的姿势、眼睛及嘴巴的表情、主体的照明、背景环境的外观及图像的拍摄质量，以便帮助操作者确定图片是否满足所有管辖要求。在一些情况下，例如轻微的头部未对准的问题被自动校正以使图像符合规范。

管辖要求与照片的主体、主体周围的环境以及所产生的照片的质量相关联。关于照片主体的要求的实例可能需要主体面向相机并且睁开两只眼睛直接看向相机。一些管辖区可能要求该主体呈现中性表情，且具体来说是不微笑。一些管辖区可能要求围绕主体的背景呈现为特定颜色，例如纯白色而没有任何可见纹理。管辖区可能对图像质量方面有要求，例如适当的对比度、亮度、清晰度及分辨率。

在本发明的一些实施例中，光照在计算机处理器的控制下。在这些情况下，计算机处理器可自动地改变光照，以便于最大化所拍摄的图片的符合性。

处理图像并提供对管辖要求的符合性的视觉指示。对于每一要求，提供通过或失败指示。任选地，可显示符合程度的指示以及关于如何校正任何不符合的指示。在一些实施例中，可处理视频流以向操作者提供即时反馈，从而帮助确保满足所有要求的图像的记录。在此实施例中，记录满足可接受性标准的所有帧。进行进一步的处理步骤以选择最符合的帧并且去除明显冗余的帧，从而简化了选择单个图像的任务。

由于对于此类照片的要求可能因管辖区而异，因此要求及可接受性限制是可配置的。此类要求可从对应于每一管辖区的配置设置存储及加载，或者由操作者改变。可将通常相关的要求分组并且一起呈现或隐藏。举例来说，在优选实施例中，与照明、分辨率及背景有关的要求可分组在一起并且在标题“环境”下呈现。与姿势、凝视及表情相关的要求分组在标题“主体”下。一旦针对固定位置正确建立，“环境”值不可能以与“主体”值相同的方式从主体到主体或从图像到图像发生改变。每一要求的群组关联在优选实施例中是完全可配置的。

所述系统提供在自主照相亭中或提供为配备有面向用户的相机及显示屏的计算机、智能电话或平板计算机的应用程序。在自主照相亭实施例中，显示给用户的图像沿垂直轴反射以模拟镜子。任何连接到左侧或右侧的视觉指示符都被类似地镜像化。此外，可操作系统的操作者辅助或自主版本，使得一旦主体的姿势符合所选择的照片识别文档类型的规格及要求，就捕获并及记录图像。虽然系统被设计为自动操作，但操作者能够超驰要求测量以适应由主体的独特特性引起的情况。(例如，光平衡估计器使用主体皮肤的反射率来确定主体是否均匀地被照亮。如果主体在面部的左侧与右侧之间具有肤色差异，那么可抛弃此估计。此实例可能是大的胎记或面部刺青。)

本发明的方法使用生物统计学来使用图像处理技术、面部图像处理及其它先进技术的组合来显现照片ID或护照照片，以自动缩放、自动裁剪及分析若干面部属性(头部姿势、眼睛睁开、没有微笑、适当的凝视，环境及类似者)，从而帮助操作者确定所要照片是否满足所有管辖要求。在一些情况下，例如超出规格的轻微的头部转动(平面内旋转)，本发明的方法将自动固定面部图像以使其符合规格。本发明分析与面部图像相关联的以下生物统计学，其包含：头部比例及位置(裁剪)、头部姿势(俯仰、摇动、转动)、眼睛的睁开度(两只眼睛的组合得分)、嘴巴(没有微笑及嘴巴闭合的组合得分)、凝视(向上或向下及向左或向右的组合得分)、关于头部大小及放置的分辨率、光照平衡、眼镜反射及裁剪边界。

本发明的方法使用分层或级联方法，因为要求是以基于依赖性及计算复杂度的顺序来评估的。对于依赖性的实例，如果眼睛不睁开那么尝试评估凝视是没有意义的，或者针对轮廓面部图像评估照明平衡是没有意义的。对于计算复杂度的实例，对每一个图像进行简单或基础测试，例如面部检测及头部姿势；只有在图像已被所有更简单的要求视为可接受的之后，才评估更复杂的要求，例如遮挡检测或一般表情。

在执行本发明的方法中使用的图像捕获装置可能够执行一些计算上更简单的功能，但将图像转移到例如基于云的服务的外部资源以执行计算密集程度更高的操作。结果可返回到捕获点以向操作者提供以上提及的反馈。

本发明的方法使用管辖及人口统计信息来建立输出肖像配置及此照片必须满足的管辖要求。人口统计信息可包含例如年龄及性别的信息。举例来说，在一些管辖区中，头部在输出图像内的放置对于婴儿及成人是不同的。此人口统计信息可由操作者输入或由系统自动估计。

本发明的方法可包含异常菜单或警告。此警告将向操作者或用户指示不能得到满足的配置要求的一些方面，例如：不正确的姿势、不正确的面部定向、模糊头饰、深色眼镜、模糊围巾、眼斑、不对称面部状况、不适当的表情(嘴巴张开、闭眼、极端表情)或极大的发型。

本发明的方法可基于照片文档类型及管辖区自动设置配置规格及背景样式/颜色。

本发明的方法还提供了一种用于主体特定的自动俯仰及摇动确定的方法。

附图说明

图1是根据本发明的用于产生针对所选择的识别文档的符合的面部图像的方法的流程图；

图2A及2B说明归因于头部姿势的面部部分之间的视距的前缩；

图3说明用于选择从视频流提取的符合的面部图像的子集的方法；

图4是配合本发明的方法使用的数字图像捕获系统的图；及

图5是根据本发明的数字图像捕获系统硬件的框图。

具体实施方式

在下面的描述中，将以通常被实施为软件程序的术语来描述本发明的一些实施例。所属领域的技术人员将容易地认识到，此软件的等效物也可在硬件中构造。因为图像操纵算法及系统是众所周知的，所以本说明书将特别针对形成根据本发明的方法的部分或与其更直接地协作的算法及系统。此类算法及系统的其它方面连同用于产生及以其它方式处理与其相关的图像信号的硬件及软件(本文未具体展示或描述)可选自所属领域中已知的此类系统、算法、组件及元件。给定如下根据本发明描述的系统，本文中没有具体展示、建议或描述的用于实施本发明的软件是常规的并且在所属领域的普通技术范围内。

本发明包含本文描述的实施例的组合。对“特定实施例”及类似者的参考是指存在于本发明的至少一个实施例中的特征。对“实施例”或“特定实施例”或类似者的单独参考不一定是指相同实施例；然而，此类实施例不是相互排斥的，除非如此指示或者对于所属领域技术人员来说是显而易见的。在提及“方法”及类似者时使用单数或复数并不是限制性的。应注意，除非上下文另有明确指出或要求，否则词语“或”在本发明中以非排他性的含义使用。

图1中说明本发明的方法的一般工作流程。在步骤100中，向图像捕获系统提供关于对应于一或多个集合的管辖要求的照片ID的管辖区的信息。当在步骤105处由图像捕获系统提供图像时，所述方法进入其主执行环路。在步骤110处，使用检测器115执行面部检测及面部特征点检测。如果在步骤120处发现面部，那么在125处提供对应于面部的人口统计信息。人口统计信息可包含例如年龄及性别的信息，其中此信息可影响管辖要求的选择。在此方法的一些实施例中，可通过使用从图像自动推断此信息的分类器来自动估计此信息。在步骤130中，对每一面部执行分类器135的集合以确定分类值。此类分类器估计头部姿势信息、凝视方向、眼睛及嘴巴张开度、微笑程度或对应于管辖要求的面部图像的任何其它方面。评估分类器的值以创建对应于管辖要求中的每一者的得分。在一些情况下，从单个分类器导出得分；在其它情况下，可组合得分。举例来说，可通过组合右眼及左眼的分类器结果来获得眼睛张开度的单个得分。在步骤145中，使用管辖及人口统计信息配置分级机155。

得分反映了对应于例如眼睛张开度或凝视方向的管辖要求的照片的某些方面的测量。得分不直接指示这些值的可接受性。这就是分级机的功能。接着，在步骤150中，将得分转换成等级。在优选实施例中，所提供的等级简单地为指示照片是否满足对应管辖要求的“通过”或“失败”。在替代实施例中，可报告不确定或“中性”等级。对于失败等级，可产生指令以引导主体或操作者校正缺陷。例如，如果主体的眼睛未充分睁开，那么这些校正指令可请求主体扩大他或她的凝视。如果失败对应于系统控制下的某一方面，那么校正指令可包含自动校正情况的操作。后一实例是分级器指示光照不平衡导致主体面部的一侧比另一侧更暗的情况。如果光照在系统控制下，那么可产生调整以自动校正所述问题。

如果在步骤160处认为面部不可接受，那么将校正指令提供给操作者或主体；在可能的情况下，它们可被自动地实施165。如果面部被认为是可接受的，那么可进行进一步的操作以改进图像170的质量，例如校正曝光及色彩平衡或使背景变白。最后，在步骤175处计算仿射变换以按比例缩放、旋转及裁剪图像，以产生具有针对管辖区的可接受的尺寸、分辨率及头部放置的版本。此外，可记录可接受图像的得分以有助于在拍摄同一主体的多个可接受照片时自动选择照片。

未知主体的单个帧图像的头部俯仰估计是基于面部特征点的相对位置以及面部上的这些点在用于创建估计器的面部群体内的分布。然而，这些点的分布在人类群体内沿垂直轴显著变化。举例来说，眼睛与嘴巴之间的距离或鼻子与嘴巴之间的距离可变化到足以导致未知主体的俯仰估计的不准确性。由于眼睛及嘴巴位于通常被认为是前向的平面上，使归因于前缩而使眼睛与嘴巴之间的视距最大化的姿势将定义具有零度的俯仰的姿势。因此，确定最优头部俯仰的方法需要指示主体在记录眼睛与嘴巴之间的视距的同时改变他或她头部的俯仰。使此视距最大化的头部姿势(使前缩最小化)被假设为向前姿势。所属领域技术人员将认识到，可通过测量眼睛或嘴巴的外部角之间的视距来类似地确定最优头部摇动。图2A及2B说明由于头部俯仰引起的前缩效果。图2A中的眼睛与嘴巴之间的距离(距离210)大于图2B中对应点之间的距离220。

许多管辖区对照片的整体亮度或曝光度、对比度、清晰度及噪声有要求。由萨瓦琪斯(Savakis)等人在以引用的方式并入本文中的第6,535,636号美国专利中描述用于测量的方法。

许多管辖区具有限制太阳镜、眼罩、围巾，头发及其它此类物品对面部的遮挡的要求。测量面部遮挡的程度及位置的一种方法是闵(Min)等人在“在稳健面部识别之前的高效阻挡检测(Efficient Detection of Occlusion prior to Robust Face Recognition)”(科学世界杂志，第2014卷，文章ID 519158，10页，2014.doi：10.1155/2014/519158)中所教示的，所述文献以引用的方式并入本文中。在以引用的方式并入本文中的共同转让的第8,270,682号美国专利中描述一种用于检测图像中的头皮或面部毛发的区域的方法。所属领域技术人员将容易地认识到，在不脱离本发明的原理及精神的情况下，存在检测面部遮挡及头发区域的许多其它方法。

许多管辖区对围绕主体头部的背景的颜色、亮度及纹理有要求。一旦已经检测到面部并且已经检测到头发区域，就将围绕头部的图像的其余区域认为是背景区。可通过将这些区域的照度及颜色的平均值及方差与目标阈值进行比较来产生背景的得分。方差提供了在背景区域内发现的纹理程度的指示。所属领域的技术人员将容易认识到，在不脱离本发明的原理及精神的情况下，存在测量背景区域的照度、颜色及纹理的许多其它方法。

在具有均匀背景的正常照明条件下，主体的左侧及右侧的照明平衡将类似于在背景中看到的平衡。如果主体与背景之间的平衡不一致，并且此不平衡不能通过某种形式的遮挡来解释，那么可向操作者或主体指示由于面部着色引起的不对称面部状况。

面部不对称的另一形式可归因于面部几何形状。通常通过按比例缩放及裁剪图像来确定照片的空间组成，使得主体眼睛落在预定位置中。这通常导致眼睛水平对准并且跨越图像的垂直轴而对称地放置。如果例如嘴巴及鼻子的角的其它面部特征不是类似对称地跨越垂直轴放置并且差异超过预定阈值，那么可向操作者或主体指示由于面部几何形状导致的不对称面部状况。

本发明可对例如从视频流或视频文件获得的面部图像序列进行操作。对于序列中的每一图像，执行上文参考图1描述的方法。对于视频序列，这可能导致主体的大量高度相似的可接受的照片。可能期望选择单个照片或提供较小的可接受照片集合，主体或操作者可从所述照片集合选择。还可能期望选择不是循序接近的照片，这是因为这些照片可能非常类似。

对于在序列内发现的每一可接受的面部图像，连同图像序列号一起记录步骤175的结果。将对应于每一管辖要求的得分组合成合计的面部得分。在优选实施例中，这通过将每一要求得分标准化为从零到一的范围、将每一标准化得分乘以与相应得分的重要性成比例的权重并且将经加权得分相加来实现。所属领域的技术人员将容易地认识到，在不脱离本发明的原理及精神的情况下，存在形成总计得分的许多其它方法。图3说明针对此视频序列的合计面部得分相对于帧编号的曲线图。在总序列内，可存在产生可接受照片310的子序列。在每一子序列内，选择具有最高总计面部得分320的照片作为代表。在一些情况下，可能期望将从其中进行选择的照片的数目限制为非常小的数目(例如，两个或三个)。如果子序列的数目超过此限制，那么选择具有最高合计面部得分的代表，直到达到限制。

图4说明图像捕获环境。主体410坐在或站立在背景420的前面，并面对相机430摆好姿势。光源的阵列用于照明主体440。这些光可为唯一的照明源或可增强环境光照条件。环境光照条件可能导致主体的照明不平衡。可操纵光源阵列以补偿入射到主体上的任何不平衡照明。如果光源阵列由系统程序化地控制，那么可例如在图1中描述的步骤165中自动地进行调整。

图5展示系统的框图。由数码相机510捕获主体的图像。计算机处理器520相对于存储在存储器530中的针对照片打印的要求来评估图像，以便符合在用户所选的照片ID(例如所选国家或管辖区的护照)中的使用。所述系统可任选地包含显示器540，其用于提供产生符合性的视觉指示并且提供关于如何校正任何不符合性的指令。产生符合的图像并且可在输出装置550上产生符合的图像。此输出装置可为打印机或可为例如磁盘或USB驱动器的数字存储装置，以以数字形式将符合的图像存储在其上以备后用。显示器540可与数码相机510相关联，或可与计算机处理器520相关联。本发明的一些实施例可使用例如打印机的输出装置550来产生代替显示器的符合性的视觉指示。

已经特定参考本发明的某些优选实施例详细描述了本发明，但将理解，可在本发明的精神及范围内进行变化及修改。

部件列表

100 获得管辖区信息步骤

105 获得图像步骤

110 运行面部及面部特征检测器步骤

115 检测器

120 发现面部步骤

125 获得人口统计信息步骤

130 运行分类器步骤

135 分类器

140 评估结果以产生得分步骤

145 配置分级器步骤

150 将得分转换为等级并产生校正指令步骤

155 分级器

160 面部可接受步骤

165 指导主体或改变捕获条件步骤

170 校正颜色平衡、使背景变宽等等步骤

175 产生经裁剪的图像步骤

210 面对相机摆好姿势的面部的眼睛到嘴巴的距离

Claims (20)

1.一种重新编码用于例如护照的个人照片识别文档中的照片的方法，其包括：

使用数字图像捕获系统，所述系统包含数码相机、计算机处理器及存储照片打印的规格及要求以便符合在例如针对所选国家或管辖区的护照的用户所选照片ID中的使用的存储器；

使用所述数字图像捕获系统来捕获面部图像；

使用面部图像处理技术来提供对所述面部图像上的面部及面部特征点的自动检测；

处理所述面部图像并产生符合性的视觉指示；以及

在符合的情况下，基于所述符合的面部图像产生所述照片。

2.根据权利要求1所述的方法，其中处理所述面部图像包括自动缩放、自动平面内旋转、自动裁剪及对若干属性的分析，以确定头部的姿势、眼睛及嘴巴的表情、主体的照明及背景环境的外观。

3.根据权利要求1所述的方法，其中处理所述面部图像包括轻微头部未对准的自动校正。

4.根据权利要求1所述的方法，其中所述符合性指示包括针对每一要求的通过或失败指示。

5.根据权利要求1所述的方法，其中所述符合性指示包括符合性程度的指示。

6.根据权利要求1所述的方法，其中所述符合性指示包括关于如何校正任何不符合性的指令。

7.根据权利要求1所述的方法，其进一步包括提供视频流以向操作者提供即时反馈以帮助确保记录满足所有要求的所述面部图像，其中记录满足可接受标准的所有帧。

8.根据权利要求1所述的方法，其中所述要求及所述要求的可接受性限度是可配置的。

9.根据权利要求1所述的方法，其中所述要求包括环境要求集合，其包含照明、分辨率及背景要求。

10.根据权利要求1所述的方法，其中所述要求包括主体要求集合，其包含姿势、凝视及表情。

11.根据权利要求1所述的方法，其中所述方法是在自主照相亭中提供或者提供为用于配备有面向用户的相机及显示屏的计算机、智能电话或平板计算机的应用程序。

12.根据权利要求11所述的方法，其中沿垂直轴反射向用户显示的所述面部图像及对应视觉指示符以模拟镜子。

13.根据权利要求1所述的方法，其中通过操作者辅助或自主地，一旦所述主体的姿势符合所选择照片识别文档类型的规格及要求，就捕获并记录所述面部图像。

14.根据权利要求1所述的方法，其进一步包括操作者超驰选项。

15.根据权利要求1所述的方法，其进一步包括产生不能满足所述要求中的一者的警告指示，例如不正确的姿势、不正确的面部定向、模糊头饰、深色眼镜、模糊围巾、眼罩、不对称面部状况、不适当表情或过大发型。

16.根据权利要求1所述的方法，其进一步包括基于照片文档类型及管辖区设置配置规格及背景样式/颜色。

17.一种数字图像捕获系统，其包括：

数码相机、计算机处理器及存储照片打印的规格及要求以便符合在例如针对所选国家或管辖区的护照的用户所选照片ID中使用的存储器，其中所述数字图像捕获系统经配置以：

捕获面部图像；

提供对所述面部图像上的面部及面部特征点的自动检测；

处理所述面部图像并产生符合性的视觉指示；以及

在符合的情况下，基于所述符合的面部图像产生照片。

18.根据权利要求17所述的数字图像捕获系统，其中处理所述面部图像包括自动缩放、自动平面内旋转、自动裁剪及对若干属性的分析，以确定头部的姿势、眼睛及嘴巴的表情、主体的照明及背景环境的外观。

19.根据权利要求17所述的数字图像捕获系统，其中处理所述面部图像包括轻微头部未对准的自动校正。

20.根据权利要求17所述的数字图像捕获系统，其中所述符合性指示包括针对每一要求的通过或失败指示。