Nothing Special   »   [go: up one dir, main page]

CN107729886B - 人脸图像的处理方法及装置 - Google Patents

人脸图像的处理方法及装置 Download PDF

Info

Publication number
CN107729886B
CN107729886B CN201711189340.3A CN201711189340A CN107729886B CN 107729886 B CN107729886 B CN 107729886B CN 201711189340 A CN201711189340 A CN 201711189340A CN 107729886 B CN107729886 B CN 107729886B
Authority
CN
China
Prior art keywords
face
image
preset number
images
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711189340.3A
Other languages
English (en)
Other versions
CN107729886A (zh
Inventor
万韶华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN201711189340.3A priority Critical patent/CN107729886B/zh
Publication of CN107729886A publication Critical patent/CN107729886A/zh
Application granted granted Critical
Publication of CN107729886B publication Critical patent/CN107729886B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G06Q20/40145—Biometric identity checks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Accounting & Taxation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

本公开是关于一种人脸图像的处理方法及装置，用以提高人脸识别的准确度。所述方法包括：若检测到待识别的第一人脸图像中预设物件处于第一佩戴状态，则确定预设数量的第二人脸图像；预设数量的第二人脸图像中预设物件处于第一佩戴状态；基于预设数量的第二人脸图像各自与第一人脸图像的相似度，确定预设数量的第二人脸图像各自的权重；基于预设数量的第二人脸图像各自的权重以及预设数量的第三人脸图像对第一人脸图像进行图像重构，得到与第一人脸图像相对应的第四人脸图像，第三人脸图像与第四人脸图像中预设物件均处于第二佩戴状态，预设数量的第二人脸图像与预设数量的第三人脸图像中的人脸一一对应。本公开技术方案可以提高人脸识别的准确度。

Description

人脸图像的处理方法及装置
技术领域
本公开涉及互联网技术领域，尤其涉及一种人脸图像的处理方法及装置。
背景技术
随着技术的逐步成熟，人脸识别系统已经开始较大规模的商用，并向着全自动化的趋势发展。人脸识别系统可以像指纹识别系统一样，用于人脸识别，例如，人脸识别可以用来进行手机解锁。
人脸识别的一个难点在于，如果将佩戴眼镜的用户的人脸图像与没有佩戴眼镜的用户的人脸图像进行比对来进行人脸识别，会极大地影响人脸识别的准确度。例如，人脸解锁系统要求用户在使用前，首先注册一张自己的人脸相片，如果在注册时没有佩戴眼镜，那么在后续使用时就不太容易识别佩戴眼镜的人脸。再如，如果人脸识别系统中预存的人脸图像中用户佩戴有眼镜，而进行人脸识别时采集的用户的人脸图像中用户没有佩戴眼镜，那么，同样会降低人脸识别的准确度。因此，如何在进行比对的两幅人脸图像中的任意一幅人脸图像中存在眼镜时提高人脸识别的准确度是目前需要解决的一个技术问题。
发明内容
为克服相关技术中存在的问题，本公开实施例提供一种人脸图像的处理方法及装置，用以提高人脸识别的准确度。
根据本公开实施例的第一方面，提供一种人脸图像的处理方法，包括：
如果检测到待识别的第一人脸图像中遮挡人脸的预设物件处于第一佩戴状态，则确定预设数量的第二人脸图像；所述预设数量的第二人脸图像中所述预设物件均处于所述第一佩戴状态；
基于所述预设数量的第二人脸图像各自与所述第一人脸图像的相似度，确定所述预设数量的第二人脸图像各自的权重；
基于所述预设数量的第二人脸图像各自的权重以及预设数量的第三人脸图像对所述第一人脸图像进行图像重构，得到与所述第一人脸图像相对应的第四人脸图像，所述第三人脸图像与所述第四人脸图像中所述预设物件均处于第二佩戴状态，所述预设数量的第二人脸图像与所述预设数量的第三人脸图像中的人脸一一对应。
在一个实施例中，所述基于所述预设数量的第二人脸图像各自与所述第一人脸图像的相似度，确定所述预设数量的第二人脸图像各自的权重，可包括：
基于所述预设数量的第二人脸图像各自与所述第一人脸图像的相似度系数以及所述预设数量的第二人脸图像对所述第一人脸图像进行重构，得到第一重构图像；
当所述第一重构图像与所述第一人脸图像之间的误差不符合预设条件时，对所述相似度系数的值进行调整，并基于调整后的所述相似度系数以及所述预设数量的第二人脸图像对所述第一人脸图像进行重构，得到调整后的所述第一重构图像；
当所述第一重构图像与所述第一人脸图像之间的误差符合所述预设条件时，得到所述预设数量的第二人脸图像各自与所述第一人脸图像的相似度系数的值，作为所述预设数量的第二人脸图像各自的权重。
在一个实施例中，所述基于所述预设数量的第二人脸图像各自的权重以及预设数量的第三人脸图像对所述第一人脸图像进行图像重构，得到与所述第一人脸图像相对应的第四人脸图像，可包括：
确定用于分别表示所述预设数量的第三人脸图像的一维向量；
基于所述预设数量的第二人脸图像各自的权重对所述预设数量的第三人脸图像各自对应的一维向量进行加权求和，得到一个加权和；
根据所述第一人脸图像的第一二维图像矩阵将所述加权和转换为对应的第二二维图像矩阵；
将所述第二二维图像矩阵转换为所述第四人脸图像。
在一个实施例中，所述第一佩戴状态可为已佩戴，所述第二佩戴状态可为未佩戴；或者，
所述第一佩戴状态可为未佩戴，所述第二佩戴状态可为已佩戴。
在一个实施例中，当所述第一佩戴状态为已佩戴且所述第二佩戴状态为未佩戴时，所述基于所述预设数量的第二人脸图像各自的权重以及预设数量的第三人脸图像对所述第一人脸图像进行图像重构，得到与所述第一人脸图像相对应的第四人脸图像，包括：
确定所述预设数量的第二人脸图像各自对应的所述预设物件的第一轮廓以及所述第一轮廓的位置；
基于所述预设物件的第一轮廓以及所述第一轮廓的位置，确定所述预设数量的第三人脸图像各自对应的所述第一轮廓内的图像；
基于所述预设数量的第二人脸图像各自的权重以及预设数量的第三人脸图像各自对应的所述第一轮廓内的图像，对所述第一人脸图像中所述预设物件的第二轮廓内的图像进行图像重构，得到所述第二轮廓内的第二重构图像；
将所述第二重构图像与所述第一人脸图像中所述第二轮廓外的图像进行合并，得到所述第四人脸图像。
在一个实施例中，所述基于所述预设数量的第二人脸图像各自的权重以及预设数量的第三人脸图像对所述第一人脸图像进行图像重构，得到与所述第一人脸图像相对应的第四人脸图像之后，还可包括：
将所述第四人脸图像与预存的第五人脸图像进行匹配；所述第五人脸图像中所述预设物件处于第二佩戴状态；
基于匹配结果确定身份验证是否成功。
根据本公开实施例的第二方面，提供一种人脸图像的处理装置，包括：
第一确定模块，被配置为在检测到待识别的第一人脸图像中遮挡人脸的预设物件处于第一佩戴状态后，确定预设数量的第二人脸图像；所述预设数量的第二人脸图像中所述预设物件均处于所述第一佩戴状态；
第二确定模块，被配置为基于所述预设数量的第二人脸图像各自与所述第一人脸图像的相似度，确定所述预设数量的第二人脸图像各自的权重；
第一重构模块，被配置为基于所述预设数量的第二人脸图像各自的权重以及预设数量的第三人脸图像对所述第一人脸图像进行图像重构，得到与所述第一人脸图像相对应的第四人脸图像，所述第三人脸图像与所述第四人脸图像中所述预设物件均处于第二佩戴状态，所述预设数量的第二人脸图像与所述预设数量的第三人脸图像中的人脸一一对应。
在一个实施例中，所述第二确定模块，可包括：
第一重构子模块，被配置为基于所述预设数量的第二人脸图像各自与所述第一人脸图像的相似度系数以及所述预设数量的第二人脸图像对所述第一人脸图像进行重构，得到第一重构图像；
调整子模块，被配置为在所述第一重构图像与所述第一人脸图像之间的误差不符合预设条件时，对所述相似度系数的值进行调整，并基于调整后的所述相似度系数以及所述预设数量的第二人脸图像对所述第一人脸图像进行重构，得到调整后的所述第一重构图像；
第一确定子模块，被配置为在所述第一重构图像与所述第一人脸图像之间的误差符合所述预设条件时，得到所述预设数量的第二人脸图像各自与所述第一人脸图像的相似度系数的值，确定为所述预设数量的第二人脸图像各自的权重。
在一个实施例中，所述第一重构模块，可包括：
第二确定子模块，被配置为确定用于分别表示所述预设数量的第三人脸图像的一维向量；
计算子模块，被配置为基于所述预设数量的第二人脸图像各自的权重对所述预设数量的第三人脸图像各自对应的一维向量进行加权求和，得到一个加权和；
第一转换子模块，被配置为根据所述第一人脸图像的第一二维图像矩阵将所述加权和转换为对应的第二二维图像矩阵；
第二转换子模块，被配置为将所述第二二维图像矩阵转换为所述第四人脸图像。
在一个实施例中，所述第一佩戴状态为已佩戴，所述第二佩戴状态为未佩戴；或者，
所述第一佩戴状态为未佩戴，所述第二佩戴状态为已佩戴。
在一个实施例中，当所述第一佩戴状态为已佩戴且所述第二佩戴状态为未佩戴时，所述第一重构模块，包括：
第三确定子模块，被配置为确定所述预设数量的第二人脸图像各自对应的所述预设物件的第一轮廓以及所述第一轮廓的位置；
第四确定子模块，被配置为基于所述预设物件的第一轮廓以及所述第一轮廓的位置，确定所述预设数量的第三人脸图像各自对应的所述第一轮廓内的图像；
第二重构子模块，被配置为基于所述预设数量的第二人脸图像各自的权重以及预设数量的第三人脸图像各自对应的所述第一轮廓内的图像，对所述第一人脸图像中所述预设物件的第二轮廓内的图像进行图像重构，得到所述第二轮廓内的第二重构图像；
合并子模块，被配置为将所述第二重构图像与所述第一人脸图像中所述第二轮廓外的图像进行合并，得到所述第四人脸图像。
在一个实施例中，所述装置，还可包括：
匹配模块，被配置为将所述第四人脸图像与预存的第五人脸图像进行匹配；所述第五人脸图像中所述预设物件处于第二佩戴状态；
第三确定模块，被配置为基于匹配结果确定身份验证是否成功。
根据本公开实施例的第三方面，提供一种人脸图像的处理装置，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
如果检测到待识别的第一人脸图像中遮挡人脸的预设物件处于第一佩戴状态，则确定预设数量的第二人脸图像；所述预设数量的第二人脸图像中所述预设物件均处于所述第一佩戴状态；
基于所述预设数量的第二人脸图像各自与所述第一人脸图像的相似度，确定所述预设数量的第二人脸图像各自的权重；
基于所述预设数量的第二人脸图像各自的权重以及预设数量的第三人脸图像对所述第一人脸图像进行图像重构，得到与所述第一人脸图像相对应的第四人脸图像，所述第三人脸图像与所述第四人脸图像中所述预设物件均处于第二佩戴状态，所述预设数量的第二人脸图像与所述预设数量的第三人脸图像中的人脸一一对应。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：
如果检测到待识别的第一人脸图像中遮挡人脸的预设物件处于第一佩戴状态，则确定预设数量的第二人脸图像；所述预设数量的第二人脸图像中所述预设物件均处于所述第一佩戴状态；
基于所述预设数量的第二人脸图像各自与所述第一人脸图像的相似度，确定所述预设数量的第二人脸图像各自的权重；
基于所述预设数量的第二人脸图像各自的权重以及预设数量的第三人脸图像对所述第一人脸图像进行图像重构，得到与所述第一人脸图像相对应的第四人脸图像，所述第三人脸图像与所述第四人脸图像中所述预设物件均处于第二佩戴状态，所述预设数量的第二人脸图像与所述预设数量的第三人脸图像中的人脸一一对应。
本公开的实施例提供的技术方案可以包括以下有益效果：可以检测待识别的第一人脸图像中遮挡人脸的预设物件的佩戴状态，当检测到预设物件处于第一佩戴状态后，确定预设数量的第二人脸图像。其中，这预设数量的第二人脸图像对应预设数量的人脸，且预设数量的第二人脸图像中预设物件均处于所述第一佩戴状态。确定预设数量的第二人脸图像各自与所述第一人脸图像的相似度，并基于预设数量的第二人脸图像各自对应的相似度确定所述预设数量的第二人脸图像各自的权重。基于预设数量的第二人脸图像各自的权重以及预设数量的第三人脸图像对所述第一人脸图像进行图像重构，得到与所述第一人脸图像相对应的第四人脸图像，上述的第三人脸图像与上述的第四人脸图像中所述预设物件均处于第二佩戴状态，上述的预设数量的第二人脸图像与上述预设数量的第三人脸图像中的人脸一一对应。也就是将与预设数量的第二人脸图像相对应的预设物件处于第二佩戴状态的预设数量的第三人脸图像按照预设数量的第二人脸图像各自的权重进行图像重构，得到预设物件处于第二佩戴状态的第四人脸图像，作为与第一人脸图像对应的预设物件处于第二佩戴状态的人脸图像。这样，本公开的技术方案，就可以减少人脸图像中遮挡人脸的预设物件的佩戴状态对人脸识别的影响，进而提高人脸识别的准确度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1A是根据一示例性实施例示出的人脸图像的处理方法的流程图。
图1B是根据一示例性实施例示出的注册的人脸图像。
图1C是根据一示例性实施例示出的待识别的人脸图像。
图2是根据一示例性实施例一示出的人脸图像的处理方法的流程图。
图3是根据一示例性实施例二示出的人脸图像的处理方法的流程图。
图4是根据一示例性实施例三示出的人脸图像的处理方法的流程图。
图5A是根据一示例性实施例四示出的人脸图像的处理方法的流程图。
图5B是根据一示例性实施例四示出的第二人脸图像。
图5C是根据一示例性实施例四示出的第三人脸图像。
图5D是根据一示例性实施例四示出的第三人脸图像中按照第一轮廓圈出的图像。
图6A是根据一示例性实施例示出的一种人脸图像的处理装置的框图。
图6B是根据另一示例性实施例示出的一种人脸图像的处理装置的框图。
图6C是根据另一示例性实施例示出的一种人脸图像的处理装置的框图。
图6D是根据另一示例性实施例示出的一种人脸图像的处理装置的框图。
图7是根据一示例性实施例示出的一种人脸图像的处理装置的框图。
图8是根据一示例性实施例示出的一种人脸图像的处理装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
相关技术中，采用两幅用户均不佩戴眼镜的人脸图像进行人脸识别，准确度在一定程度上还可以得到保证。但是，如果将佩戴眼镜的用户的人脸图像与没有佩戴眼镜的用户的人脸图像进行比对来进行人脸识别，可能会极大地影响人脸识别的准确度。例如，在身份验证的应用场景中，用户先注册一张人脸图像，其中，注册用的人脸图像中的人脸上不存在眼镜等遮挡物的人脸图像。在注册人脸图像后，可以利用注册的人脸图像作为参照图像，对用户进行身份验证。在进行身份验证时，获取用户的人脸图像，将获取的人脸图像与注册的人脸图像进行匹配，如果匹配成功，则验证通过，如果匹配失败，则验证不通过。如果在身份验证时，用户的脸部上存在眼镜，即使镜片是透明的，也会导致身份验证的准确度下降。再如，如果人脸识别系统中预存的人脸图像中用户佩戴有眼镜，而进行人脸识别时采集的用户的人脸图像中用户没有佩戴眼镜，那么，同样会降低人脸识别的准确度。
有鉴于此，本公开实施例提出一种人脸图像的处理方法及装置，用于解决上述的问题，提高人脸识别的准确度。
图1A是根据一示例性实施例示出的人脸图像的处理方法的流程图，图1B是根据一示例性实施例示出的注册的人脸图像，图1C是根据一示例性实施例示出的待识别的人脸图像。该人脸图像的处理方法可以应用在终端设备(例如：智能手机、平板电脑)上，如图1A所示，该人脸图像的处理方法包括以下步骤S101-S103：
在步骤S101中，如果检测到待识别的第一人脸图像中遮挡人脸的预设物件处于第一佩戴状态，则确定预设数量的第二人脸图像；所述预设数量的第二人脸图像中所述预设物件均处于第一佩戴状态。
在本实施例中，在获取待识别的第一人脸图像后，可以对第一人脸图像检测出图像中的人脸，并检测人脸上预设物件的佩戴状态。其中，预设物件的佩戴状态包括第一佩戴状态与第二佩戴状态。在一个实施例中，所述第一佩戴状态为已佩戴，所述第二佩戴状态为未佩戴。在另一个实施例中，所述第一佩戴状态为未佩戴，所述第二佩戴状态为已佩戴。在检测人脸上预设物件的佩戴状态时，可以通过预设的检测算法进行检测。例如，可以先建立预设物件的模型，通过预设物件的模型训练检测预设物件的神经网络，利用已训练的神经网络检测预设物件。当然，在实际应用时，检测预设物件的佩戴状态的方法不局限于本公开提供的检测方法。
在一个实施例中，预设物件可以是眼镜、口罩或者遮挡部分人脸的面具中的任意一个，但不限于以上所述的几种物件。
在本实施例中，如果检测到待识别的第一人脸图像中遮挡人脸的预设物件的佩戴状态为第一佩戴状态，则从预设的数据库或者图库中确定预设数量的第二人脸图像。其中，预设数量的第二人脸图像分别来自预设数量的不同的人，预设数量的第二人脸图像中所述预设物件的佩戴状态均为第一佩戴状态。
在步骤S102中，基于所述预设数量的第二人脸图像各自与所述第一人脸图像的相似度，确定所述预设数量的第二人脸图像各自的权重。
在本实施例中，可以先检测出预设数量的第二人脸图像中的各自的人脸以及第一人脸图像中的人脸，并将这些人脸归一化到相同大小，比如，归一化到227*227。基于归一化后的人脸，检测预设数量的第二人脸图像中的各自的人脸与第一人脸图像中人脸的相似度，作为所述预设数量的第二人脸图像各自与所述第一人脸图像的相似度，再基于预设数量的第二人脸图像各自与所述第一人脸图像的相似度确定预设数量的第二人脸图像各自的权重。
在一个示例性实施例中，可以采用如下数学式(1)确定所述预设数量的第二人脸图像各自的权重。其中，min()是求最小值函数，x为用于表示待识别的第一人脸图像的一维向量，k为预设数量，j为自然数，φ为用于表示第二人脸图像的一维向量，λ为调节量，aj为权重，式中第二项
Figure BDA0001480695160000101
为调节项。用于表示图像的一维向量可采用现有成熟的方法获取，比如，先确定用于表示图像的二维图像矩阵，将二维图像矩阵中的行向量按照先后次序排列起来即可得到该图像对应的一维向量。本实施例中，可以将
Figure BDA0001480695160000102
的值最小时的aj确定为预设数量的第二人脸图像各自的权重。在一个示例性实施例中，确定
Figure BDA0001480695160000103
的最小值可以采用梯度下降法，但不局限于梯度下降法。
Figure BDA0001480695160000104
在一个示例性实施例中，可以采用稀疏编码算法确定所述预设数量的第二人脸图像各自的权重，简单高效。在保证重构的平方误差最小的前提下，使预设数量的第二人脸图像各自的权重为零的数目所占比例可以较大，比如，为95％左右，这样，可以减少后续图像处理的工作量。其中，采用稀疏编码算法确定所述预设数量的第二人脸图像各自的权重的数学式为上述的数学式(1)。在另一个示例性实施例中，可以采用最小二乘法确定所述预设数量的第二人脸图像各自的权重。当然，在实际应用时还可以采用其他方法确定预设数量的第二人脸图像各自的权重，不限于本公开实施例提供的方法。
在步骤S103中，基于所述预设数量的第二人脸图像各自的权重以及预设数量的第三人脸图像对所述第一人脸图像进行图像重构，得到与所述第一人脸图像相对应的第四人脸图像，所述第三人脸图像与所述第四人脸图像中所述预设物件均处于第二佩戴状态，所述预设数量的第二人脸图像与所述预设数量的第三人脸图像中的人脸一一对应。
在本步骤中，先从数据库或者图库中确定预先存储的预设数量的第三人脸图像。其中，这预设数量的第三人脸图像也分别来自上述预设数量的不同的人，来自同一个人的第二人脸图像与第三人脸图像相对应。接下来再将预设数量的第三人脸图像按照预设数量的第二人脸图像中对应的第二人脸图像的权重进行图像重构，得到第四人脸图像，作为与第一人脸图像相对应的预设物件处于第二佩戴状态的人脸图像。具体可采用如下数学式实现
Figure BDA0001480695160000111
其中，y为用于表示第四人脸图像的一维向量，Ψj为用于表示第三人脸图像的一维向量。将y转换为二维图像矩阵，再将二维图像矩阵转换为图像即可得到第四人脸图像。
如图1B～1C所示，在一个示例性场景中，用户在使用手机支付时想采用人脸图像进行身份验证。那么，需要先注册一张人脸图像，该注册的人脸图像11可以如图1B所示，人脸12上不能存在眼镜等遮挡人脸的遮挡物，即预设物件(眼镜)的佩戴状态为未佩戴。当注册完成后，在利用手机支付时，支付系统会提示用户将手机上的摄像设备对准人脸以获取用户的人脸图像。如果用户佩戴有眼镜，则手机会采集到一张如图1C所示的人脸图像13作为待识别的第一人脸图像。人脸图像13中的人脸14上存在眼镜15。当支付系统检测到人脸图像13中的人脸13上存在眼镜15后，会从支付服务器中确定预先存储的100个不同的人的第二人脸图像，这100张第二人脸图像中的人脸上存在眼镜。其中，这100张第二人脸图像中的人脸以及注册的人脸图像11、人脸图像13中的人脸可以是归一化到相同大小的人脸。接着，计算这100张第二人脸图像中的人脸与人脸图像13中的人脸14的相似度，将这100张第二人脸图像中的人脸对应的相似度对应地确定为这100张第二人脸图像各自与人脸图像13的相似度。接着，基于这100张第二人脸图像各自与人脸图像13的相似度确定这100张第二人脸图像各自对应的权重。接着，从支付服务器中在获取上述的100个不同的人的第三人脸图像，第三人脸图像中的人脸上不存在眼镜。将这100张第三人脸图像按照对应的第二人脸图像的权重进行图像重构，得到一张第四人脸图像，第四人脸图像中的人脸上不存在眼镜。将第四人脸图像作为人脸图像13对应的人脸上不存在眼镜的人脸图像，与注册的人脸图像11进行匹配，进行身份验证。如果第四人脸图像与人脸图像11匹配，则身份验证通过，如果第四人脸图像与人脸图像11不匹配，则身份验证不通过。
本实施例中，可以检测待识别的第一人脸图像中遮挡人脸的预设物件的佩戴状态，当检测到预设物件处于第一佩戴状态后，确定预设数量的第二人脸图像。其中，这预设数量的第二人脸图像对应预设数量的人脸，且预设数量的第二人脸图像中预设物件均处于所述第一佩戴状态。确定预设数量的第二人脸图像各自与所述第一人脸图像的相似度，并基于预设数量的第二人脸图像各自对应的相似度确定所述预设数量的第二人脸图像各自的权重。基于预设数量的第二人脸图像各自的权重以及预设数量的第三人脸图像对所述第一人脸图像进行图像重构，得到与所述第一人脸图像相对应的第四人脸图像，上述的第三人脸图像与上述的第四人脸图像中所述预设物件均处于第二佩戴状态，上述的预设数量的第二人脸图像与上述预设数量的第三人脸图像中的人脸一一对应。也就是将与预设数量的第二人脸图像相对应的预设物件处于第二佩戴状态的预设数量的第三人脸图像按照预设数量的第二人脸图像各自的权重进行图像重构，得到预设物件处于第二佩戴状态的第四人脸图像，作为与第一人脸图像对应的预设物件处于第二佩戴状态的人脸图像。这样，本公开的技术方案，就可以减少人脸图像中遮挡人脸的预设物件的佩戴状态对人脸识别的影响，进而提高人脸识别的准确度。
在一个实施例中，所述基于所述预设数量的第二人脸图像各自与所述第一人脸图像的相似度，确定所述预设数量的第二人脸图像各自的权重，可包括：
基于所述预设数量的第二人脸图像各自与所述第一人脸图像的相似度系数以及所述预设数量的第二人脸图像对所述第一人脸图像进行重构，得到第一重构图像；
当所述第一重构图像与所述第一人脸图像之间的误差不符合预设条件时，对所述相似度系数的值进行调整，并基于调整后的所述相似度系数以及所述预设数量的第二人脸图像对所述第一人脸图像进行重构，得到调整后的所述第一重构图像；
当所述第一重构图像与所述第一人脸图像之间的误差符合所述预设条件时，得到所述预设数量的第二人脸图像各自与所述第一人脸图像的相似度系数的值，作为所述预设数量的第二人脸图像各自的权重。
在一个实施例中，所述基于所述预设数量的第二人脸图像各自的权重以及预设数量的第三人脸图像对所述第一人脸图像进行图像重构，得到与所述第一人脸图像相对应的第四人脸图像，可包括：
确定用于分别表示所述预设数量的第三人脸图像的一维向量；
基于所述预设数量的第二人脸图像各自的权重对所述预设数量的第三人脸图像各自对应的一维向量进行加权求和，得到一个加权和；
根据所述第一人脸图像的第一二维图像矩阵将所述加权和转换为对应的第二二维图像矩阵；
将所述第二二维图像矩阵转换为所述第四人脸图像。
在一个实施例中，所述第一佩戴状态为已佩戴，所述第二佩戴状态为未佩戴；或者，
所述第一佩戴状态为未佩戴，所述第二佩戴状态为已佩戴。
在一个实施例中，当所述第一佩戴状态为已佩戴且所述第二佩戴状态为未佩戴时，所述基于所述预设数量的第二人脸图像各自的权重以及预设数量的第三人脸图像对所述第一人脸图像进行图像重构，得到与所述第一人脸图像相对应的第四人脸图像，包括：
确定所述预设数量的第二人脸图像各自对应的所述预设物件的第一轮廓以及所述第一轮廓的位置；
基于所述预设物件的第一轮廓以及所述第一轮廓的位置，确定所述预设数量的第三人脸图像各自对应的所述第一轮廓内的图像；
基于所述预设数量的第二人脸图像各自的权重以及预设数量的第三人脸图像各自对应的所述第一轮廓内的图像，对所述第一人脸图像中所述预设物件的第二轮廓内的图像进行图像重构，得到所述第二轮廓内的第二重构图像；
将所述第二重构图像与所述第一人脸图像中所述第二轮廓外的图像进行合并，得到所述第四人脸图像。
在一个实施例中，所述基于所述预设数量的第二人脸图像各自的权重以及预设数量的第三人脸图像对所述第一人脸图像进行图像重构，得到与所述第一人脸图像相对应的第四人脸图像之后，还可包括：
将所述第四人脸图像与预存的第五人脸图像进行匹配；
基于匹配结果确定身份验证是否成功。
具体如何处理人脸图像的，请参考后续实施例。
至此，本公开实施例提供的上述方法，可以检测待识别的第一人脸图像中遮挡人脸的预设物件的佩戴状态，在检测到第一人脸图像中上述的预设物件的佩戴状态为第一佩戴状态后，确定预设数量的第二人脸图像。其中，预设数量的第二人脸图像中预设物件的佩戴状态也为第一佩戴状态。确定预设数量的第二人脸图像各自与所述第一人脸图像的相似度，并基于预设数量的第二人脸图像各自对应的相似度确定所述预设数量的第二人脸图像各自的权重。将与预设数量的第二人脸图像相对应的预设物件处于第二佩戴状态的预设数量的第三人脸图像按照预设数量的第二人脸图像各自的权重进行图像重构，得到预设物件处于第二佩戴状态的第四人脸图像，作为与第一人脸图像对应的预设物件处于第二佩戴状态的人脸图像。这样，本公开的技术方案，就可以减少人脸图像中遮挡人脸的预设物件的佩戴状态对人脸识别的影响，进而提高人脸识别的准确度。
下面以具体实施例来说明本公开实施例提供的技术方案。
图2是根据一示例性实施例一示出的人脸图像的处理方法的流程图；本实施例利用本公开实施例提供的上述方法，以基于人脸图像进行身份验证为例进行示例性说明，如图2所示，包括如下步骤：
在步骤S201中，如果检测到待识别的第一人脸图像中遮挡人脸的预设物件处于第一佩戴状态，则确定预设数量的第二人脸图像；所述预设数量的第二人脸图像中所述预设物件均处于所述第一佩戴状态。
在步骤S202中，基于所述预设数量的第二人脸图像各自与所述第一人脸图像的相似度，确定所述预设数量的第二人脸图像各自的权重。
在步骤S203中，基于所述预设数量的第二人脸图像各自的权重以及预设数量的第三人脸图像对所述第一人脸图像进行图像重构，得到与所述第一人脸图像相对应的第四人脸图像，所述第三人脸图像与所述第四人脸图像中所述预设物件均处于第二佩戴状态，所述预设数量的第二人脸图像与所述预设数量的第三人脸图像中的人脸一一对应。
本实施例中的步骤S201～S203分别与图1A所示的实施例中的步骤S101～S103相似，在此不再赘述。
在步骤S204中，将所述第四人脸图像与预存的第五人脸图像进行匹配。所述第五人脸图像中所述预设物件处于第二佩戴状态。
在本实施例中，第五人脸图像为注册的用于身份验证的人脸图像，该人脸图像中预设物件处于第二佩戴状态。在得到第四人脸图像后，将第四人脸图像与第五人脸图像进行匹配，得到匹配结果。其中，如果第四人脸图像与第五人脸图像的匹配度大于或者等于预设阈值，则确定匹配成功，如果第四人脸图像与第七人脸图像的匹配度小于预设阈值，则匹配失败。
在步骤S205中，基于匹配结果确定身份验证是否成功。
如果第四人脸图像与第五人脸图像匹配成功，则确定身份验证成功，如果第四人脸图像与第七人脸图像匹配失败，则确定身份验证失败。
本实施例中，在进行身份验证时，如果检测到待识别的第一人脸图像中预设物件处于第一佩戴状态，可以利用预存的人脸图像中与获取的第一人脸图像中的人脸相似的、预设物件处于第二佩戴状态的第三人脸图像进行图像重构，得到与待识别的第一人脸图像相对应的预设物件处于第二佩戴状态的第四人脸图像。这样，再利用第四人脸图像与预设物件处于第二佩戴状态的第五人脸图像进行身份验证，可以减少人脸图像中遮挡人脸的预设物件的佩戴状态对人脸识别的影响，可以提高身份验证的准确度。
图3是根据一示例性实施例二示出的人脸图像的处理方法的流程图；本实施例利用本公开实施例提供的上述方法，以如何确定预设数量的第二人脸图像各自的权重为例进行示例性说明，如图3所示，包括如下步骤：
在步骤S301中，基于所述预设数量的第二人脸图像各自与所述第一人脸图像的相似度系数以及所述预设数量的第二人脸图像对所述第一人脸图像进行重构，得到第一重构图像。
在步骤S302中，当所述第一重构图像与所述第一人脸图像之间的误差不符合预设条件时，对所述相似度系数的值进行调整，并基于调整后的所述相似度系数以及所述预设数量的第二人脸图像对所述第一人脸图像进行重构，得到调整后的所述第一重构图像。
在步骤S303中，当所述第一重构图像与所述第一人脸图像之间的误差符合所述预设条件时，得到所述预设数量的第二人脸图像各自与所述第一人脸图像的相似度系数的值，作为所述预设数量的第二人脸图像各自的权重。
在本实施例中，先为预设数量的第二人脸图像分配各自与所述第一人脸图像的相似度系数，并赋予这些相似度系数以初始值，接着，基于上述的相似度系数、预设数量的第二人脸图像对第一人脸图像进行重构，得到第一重构图像。然后，确定第一重构图像与第一人脸图像之间的误差是否符合预设条件。当第一重构图像与第一人脸图像之间的误差不符合预设条件时，对上述的相似度系数进行调整，并基于调整后的相似度系数、预设数量的第二人脸图像对第一人脸图像进行重构，得到调整后的第一重构图像。然后，确定第一重构图像与第一人脸图像之间的误差是否符合预设条件。当所述第一重构图像与所述第一人脸图像之间的误差符合预设条件时，可以得到所述预设数量的第二人脸图像各自与所述第一人脸图像的相似度系数的值，作为所述预设数量的第二人脸图像各自的权重。在实际实施时，可以不限于本公开实施例所公开的经一次调整上述的相似度系数即可确定预设数量的第二人脸图像各自的权重情况，可以经多次调整上述的相似度系数后确定预设数量的第二人脸图像各自的权重。
在一个示例性实施例中，当第一重构图像与第一人脸图像之间的平方误差小于预设的平方误差时，可确定所述第一重构图像与所述第一人脸图像之间的误差符合预设条件。当然，在实际实施时，第一重构图像与第一人脸图像之间的误差是否符合预设条件也可以不限于本公开实施例公开的判断依据。在一个示例性实施例中，可以基于所述预设数量的第二人脸图像各自与所述第一人脸图像的相似度系数、所述预设数量的第二人脸图像以及第一人脸图像构建目标函数
Figure BDA0001480695160000171
并采用梯度下降法确定该目标函数的最小值。其中，式中第二项
Figure BDA0001480695160000172
为调节项。同时，采用该调节项即为采用稀疏编码算法调整上述的相似度系数的值。当然，在另一个实施例中，调节项也可以采用其他表达式，例如
Figure BDA0001480695160000173
当确定上述目标函数的最小值时，将对应的预设数量的第二人脸图像各自与第一人脸图像的相似度系数的值确定为预设数量的第二人脸图像各自的权重。
当然，在实际应用时还可以采用其他方法确定预设数量的第二人脸图像各自的权重，比如最小二乘法，不限于本公开提供的梯度下降法。
本实施例中，可以基于预设数量的第二人脸图像各自与第一人脸图像的相似度系数以及预设数量的第二人脸图像对第一人脸图像进行重构，得到重构图像，当重构图像与第一人脸图像之间的误差符合预设条件时，将预设数量的第二人脸图像各自与所述第一人脸图像的相似度系数的值，作为预设数量的第二人脸图像各自的权重。这样，可以提高预设数量的第二人脸图像各自的权重的准确度，进而提高人脸识别的准确度。
图4是根据一示例性实施例三示出的人脸图像的处理方法的流程图；本实施例利用本公开实施例提供的上述方法，以如何基于预设数量的第三人脸图像得到与所述第一人脸图像相对应的第四人脸图像为例进行示例性说明，如图4所示，包括如下步骤：
在步骤S401中，确定用于分别表示所述预设数量的第三人脸图像的一维向量。
在本步骤中，将每个第三人脸图像转换为对应的二维图像矩阵。针对每个二维图像矩阵，将二维图像矩阵中的行向量按照先后次序排列起来得到的一维向量，即为上述的一维向量。例如，针对Ψ1，
Figure BDA0001480695160000181
其中，ψ为矩阵元，用于标识图像中对应的像素值。Ψ1对应的一维向量为
Ψ‘1＝[ψ1,1，ψ1,2，...，ψ1,227，ψ2,1，ψ2,2，...，ψ2,227，...，ψ227,1，ψ227,2，...，ψ227,227]
在步骤S402中，基于所述预设数量的第二人脸图像各自的权重对所述预设数量的第三人脸图像各自对应的一维向量进行加权求和，得到一个加权和。
在本步骤中，将步骤S401中得到的预设数量的第三人脸图像各自对应的一维向量代入如下数学式(2)中，进行加权求和，得到一个加权和，该加权和也是一个一维向量。
Figure BDA0001480695160000191
在步骤S403中，根据所述第一人脸图像的第一二维图像矩阵将所述加权和转换为对应的第二二维图像矩阵。
如下数学式所示，所述加权和y可以是如下的一维向量
y＝[y1,1，y1,2，...，y1,227，y2,1，y2,2，...，y2,227，...，y227,1，y227,2，...，y227,227]
根据第一人脸图像的第一二维图像矩阵的行数、列数，并按照二维图像矩阵转换为对应的一维向量的方法的逆方法，可以得到所述加权和对应的一维向量所对应的第二二维图像矩阵y1
Figure BDA0001480695160000192
在步骤S404中，将所述第二二维图像矩阵转换为所述第四人脸图像。
在本步骤中，可以按照二维图像矩阵转换为图像的方法将第二二维图像矩阵转换为所述第四人脸图像。
本实施例中，将预设数量的第三人脸图像转换为各自对应的一维向量，基于一维向量进行加权计算，得到加权和，可以减少进行计算所占用的内存，减少内存资源的占用，有利于提高图像处理的速度。
图5A是根据一示例性实施例四示出的人脸图像的处理方法的流程图；图5B是根据一示例性实施例四示出的第二人脸图像，图5C是根据一示例性实施例四示出的第三人脸图像，图5D是根据一示例性实施例四示出的第三人脸图像中按照第一轮廓圈出的图像。本实施例利用本公开实施例提供的上述方法，以重构预设物件轮廓内的图像为例进行示例性说明。在本实施例中，如图5A所示，本实施例中的人脸图像的处理方法还包括如下步骤：
在步骤S501中，如果检测到待识别的第一人脸图像中遮挡人脸的预设物件处于第一佩戴状态，则确定预设数量的第二人脸图像；所述预设数量的第二人脸图像中所述预设物件均处于所述第一佩戴状态。
在本实施例中，步骤S501与图1A所示的步骤S101相似，在此不再赘述。其中，所述第一佩戴状态为已佩戴。
在步骤S502中，基于所述预设数量的第二人脸图像各自与所述第一人脸图像的相似度，确定所述预设数量的第二人脸图像各自的权重。
在本实施例中，步骤S502与图1A所示的步骤S102相似，在此不再赘述。
在步骤S503中，确定所述预设数量的第二人脸图像各自对应的所述预设物件的第一轮廓以及所述第一轮廓的位置。
在本实施例中，可以采用预设算法对预设数量的第二人脸图像进行预设物件的轮廓进行检测，得到第一轮廓。在一个示例性实施例中，预设物件为眼镜，可以采用预设的眼镜检测算法确定预设数量的第二人脸图像各自对应的眼镜的轮廓，作为第一轮廓。在得到第一轮廓后，如图5B所示，可以通过20个点53勾勒出第二人脸图像51中人脸52上存在的预设物件(眼镜)的轮廓(第一轮廓)。在实际应用中，勾勒轮廓的点的数量可以不局限于20。第一轮廓在第二人脸图像中的位置可以通过确定预设物件上的一个参考点在第二人脸图像中的坐标确定。
在步骤S504中，基于所述预设物件的第一轮廓以及所述第一轮廓的位置，确定所述预设数量的第三人脸图像各自对应的所述第一轮廓内的图像。
在本步骤中，根据预设物件的第一轮廓以及所述第一轮廓在第二人脸图像中的位置，在对应的第三人脸图像中，确定第一轮廓内的图像。也就是说，如果在第三人脸图像中与第二人脸图像中预设物件的位置相对应的位置处也存在预设物件，则确定该预设物件的轮廓内的图像。例如，与图5B所示的第二人脸图像51对应的第三人脸图像54如图5C所示，人脸55上不存在预设物件。按照图5B所示的预设物件的第一轮廓以及所述第一轮廓的位置，从图5C所示的人脸55上确定的第一轮廓内的图像如图5D中所示。
在步骤S505中，基于所述预设数量的第二人脸图像各自的权重以及预设数量的第三人脸图像各自对应的所述第一轮廓内的图像，对所述第一人脸图像中所述预设物件的第二轮廓内的图像进行图像重构，得到所述第二轮廓内的第二重构图像。所述第三人脸图像中所述预设物件处于第二佩戴状态。
在本实施例中，可以采用预设算法对第一人脸图像进行预设物件的轮廓进行检测，得到第二轮廓。在一个示例性实施例中，预设物件为眼镜，可以采用预设的眼镜检测算法确定第一人脸图像中的眼镜的轮廓，作为第二轮廓。
在本实施例中，步骤S505中对所述第一人脸图像中所述预设物件的第二轮廓内的图像进行图像重构的方法与图1A所示的步骤S103中基于预设数量的第二人脸图像各自的权重以及预设数量的第三人脸图像对第一人脸图像进行图像重构的方法类似，在此不再赘述。其中，在步骤S505中重构得到的第二重构图像与图5D中所示的图像类似。
在步骤S506中，将所述第二重构图像与所述第一人脸图像中所述第二轮廓外的图像进行合并，得到所述第四人脸图像。所述第四人脸图像中所述预设物件处于第二佩戴状态。在本实施例中，所述第二佩戴状态为未佩戴。
在本实施例中，当确定待识别的第一人脸图像中遮挡人脸的预设物件处于已佩戴状态后，对待识别的第一人脸图像中的预设物件轮廓内的图像进行重构，得到重构图像，并将重构图像与待识别的第一人脸图像中的预设物件轮廓外的图像进行合并，得到预设物件处于未佩戴状态的第四人脸图像，作为待识别的第一人脸图像对应的预设物件处于未佩戴状态的人脸图像。这样，不仅可以减少图像重构的工作量，还可以避免用户利用预设物件遮挡重要的具有辨识度的特征而降低人脸识别的准确度，以及可以最大限度保留待识别的第一人脸图像中的人脸特征，提高人脸识别的准确度。
图6A是根据一示例性实施例示出的一种人脸图像的处理装置的框图，如图6A所示，人脸图像的处理装置包括：
第一确定模块61，被配置为在检测到待识别的第一人脸图像中遮挡人脸的预设物件处于第一佩戴状态后，确定预设数量的第二人脸图像；所述预设数量的第二人脸图像中所述预设物件均处于所述第一佩戴状态；
第二确定模块62，被配置为基于所述预设数量的第二人脸图像各自与所述第一人脸图像的相似度，确定所述预设数量的第二人脸图像各自的权重；
第一重构模块63，被配置为基于所述预设数量的第二人脸图像各自的权重以及预设数量的第三人脸图像对所述第一人脸图像进行图像重构，得到与所述第一人脸图像相对应的第四人脸图像，所述第三人脸图像与所述第四人脸图像中所述预设物件均处于第二佩戴状态，所述预设数量的第二人脸图像与所述预设数量的第三人脸图像中的人脸一一对应。
图6B是根据另一示例性实施例示出的一种人脸图像的处理装置的框图，如图6B所示，所述第二确定模块62，包括：
第一重构子模块621，被配置为基于所述预设数量的第二人脸图像各自与所述第一人脸图像的相似度系数以及所述预设数量的第二人脸图像对所述第一人脸图像进行重构，得到第一重构图像；
调整子模块622，被配置为在所述第一重构图像与所述第一人脸图像之间的误差不符合预设条件时，对所述相似度系数的值进行调整，并基于调整后的所述相似度系数以及所述预设数量的第二人脸图像对所述第一人脸图像进行重构，得到调整后的所述第一重构图像；
第一确定子模块623，被配置为在所述第一重构图像与所述第一人脸图像之间的误差符合所述预设条件时，得到所述预设数量的第二人脸图像各自与所述第一人脸图像的相似度系数的值，确定为所述预设数量的第二人脸图像各自的权重。
图6C是根据另一示例性实施例示出的一种人脸图像的处理装置的框图，如图6C所示，所述第一重构模块63，包括：
第二确定子模块631，被配置为确定用于分别表示所述预设数量的第三人脸图像的一维向量；
计算子模块632，被配置为基于所述预设数量的第二人脸图像各自的权重对所述预设数量的第三人脸图像各自对应的一维向量进行加权求和，得到一个加权和；
第一转换子模块633，被配置为根据所述第一人脸图像的第一二维图像矩阵将所述加权和转换为对应的第二二维图像矩阵；
第二转换子模块634，被配置为将所述第二二维图像矩阵转换为所述第四人脸图像。
在一个实施例中，所述第一佩戴状态为已佩戴，所述第二佩戴状态为未佩戴；或者，所述第一佩戴状态为未佩戴，所述第二佩戴状态为已佩戴。
图6D是根据另一示例性实施例示出的一种人脸图像的处理装置的框图，如图6D所示，当所述第一佩戴状态为已佩戴且所述第二佩戴状态为未佩戴时，所述第一重构模块63，包括：
第三确定子模块635，被配置为确定所述预设数量的第二人脸图像各自对应的所述预设物件的第一轮廓以及所述第一轮廓的位置；
第四确定子模块636，被配置为基于所述预设物件的第一轮廓以及所述第一轮廓的位置，确定所述预设数量的第三人脸图像各自对应的所述第一轮廓内的图像；
第二重构子模块637，被配置为基于所述预设数量的第二人脸图像各自的权重以及预设数量的第三人脸图像各自对应的所述第一轮廓内的图像，对所述第一人脸图像中所述预设物件的第二轮廓内的图像进行图像重构，得到所述第二轮廓内的第二重构图像；
合并子模块638，被配置为将所述第二重构图像与所述第一人脸图像中所述第二轮廓外的图像进行合并，得到所述第四人脸图像。
图7是根据一示例性实施例示出的一种人脸图像的处理装置的框图，如图7所示，人脸图像的处理装置还包括：
匹配模块71，被配置为将所述第四人脸图像与预存的第五人脸图像进行匹配；所述第五人脸图像中所述预设物件处于第二佩戴状态；
第三确定模块72，被配置为基于匹配结果确定身份验证是否成功。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图8是根据一示例性实施例示出的一种人脸图像的处理装置的框图。例如，装置800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图8，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理部件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电力组件806为装置800的各种组件提供电力。电力组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信部件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (14)

1.一种人脸图像的处理方法，其特征在于，所述方法包括：
如果检测到待识别的第一人脸图像中遮挡人脸的预设物件处于第一佩戴状态，则从预设的数据库中确定预设数量的第二人脸图像；所述预设数量的第二人脸图像中所述预设物件均处于所述第一佩戴状态；所述预设数量的第二人脸图像是不同于所述第一人脸图像中人脸的人脸图像；
基于所述预设数量的第二人脸图像各自与所述第一人脸图像的相似度，确定所述预设数量的第二人脸图像各自的权重；
基于所述预设数量的第二人脸图像各自的权重以及预设数量的第三人脸图像对所述第一人脸图像进行图像重构，得到与所述第一人脸图像相对应的第四人脸图像，所述第三人脸图像与所述第四人脸图像中所述预设物件均处于第二佩戴状态，所述预设数量的第二人脸图像与所述预设数量的第三人脸图像中的人脸一一对应。
2.根据权利要求1所述的方法，其特征在于，所述基于所述预设数量的第二人脸图像各自与所述第一人脸图像的相似度，确定所述预设数量的第二人脸图像各自的权重，包括：
基于所述预设数量的第二人脸图像各自与所述第一人脸图像的相似度系数以及所述预设数量的第二人脸图像对所述第一人脸图像进行重构，得到第一重构图像；
当所述第一重构图像与所述第一人脸图像之间的误差不符合预设条件时，对所述相似度系数的值进行调整，并基于调整后的所述相似度系数以及所述预设数量的第二人脸图像对所述第一人脸图像进行重构，得到调整后的所述第一重构图像；
当所述第一重构图像与所述第一人脸图像之间的误差符合所述预设条件时，得到所述预设数量的第二人脸图像各自与所述第一人脸图像的相似度系数的值，作为所述预设数量的第二人脸图像各自的权重。
3.根据权利要求1所述的方法，其特征在于，所述基于所述预设数量的第二人脸图像各自的权重以及预设数量的第三人脸图像对所述第一人脸图像进行图像重构，得到与所述第一人脸图像相对应的第四人脸图像，包括：
确定用于分别表示所述预设数量的第三人脸图像的一维向量；
基于所述预设数量的第二人脸图像各自的权重对所述预设数量的第三人脸图像各自对应的一维向量进行加权求和，得到一个加权和；
根据所述第一人脸图像的第一二维图像矩阵将所述加权和转换为对应的第二二维图像矩阵；
将所述第二二维图像矩阵转换为所述第四人脸图像。
4.根据权利要求1所述的方法，其特征在于，所述第一佩戴状态为已佩戴，所述第二佩戴状态为未佩戴；或者，
所述第一佩戴状态为未佩戴，所述第二佩戴状态为已佩戴。
5.根据权利要求4所述的方法，其特征在于，当所述第一佩戴状态为已佩戴且所述第二佩戴状态为未佩戴时，所述基于所述预设数量的第二人脸图像各自的权重以及预设数量的第三人脸图像对所述第一人脸图像进行图像重构，得到与所述第一人脸图像相对应的第四人脸图像，包括：
确定所述预设数量的第二人脸图像各自对应的所述预设物件的第一轮廓以及所述第一轮廓的位置；
基于所述预设物件的第一轮廓以及所述第一轮廓的位置，确定所述预设数量的第三人脸图像各自对应的所述第一轮廓内的图像；
基于所述预设数量的第二人脸图像各自的权重以及预设数量的第三人脸图像各自对应的所述第一轮廓内的图像，对所述第一人脸图像中所述预设物件的第二轮廓内的图像进行图像重构，得到所述第二轮廓内的第二重构图像；
将所述第二重构图像与所述第一人脸图像中所述第二轮廓外的图像进行合并，得到所述第四人脸图像。
6.根据权利要求1所述的方法，其特征在于，所述基于所述预设数量的第二人脸图像各自的权重以及预设数量的第三人脸图像对所述第一人脸图像进行图像重构，得到与所述第一人脸图像相对应的第四人脸图像之后，还包括：
将所述第四人脸图像与预存的第五人脸图像进行匹配；所述第五人脸图像中所述预设物件处于第二佩戴状态；
基于匹配结果确定身份验证是否成功。
7.一种人脸图像的处理装置，其特征在于，所述装置包括：
第一确定模块，被配置为在检测到待识别的第一人脸图像中遮挡人脸的预设物件处于第一佩戴状态后，从预设的数据库中确定预设数量的第二人脸图像；所述预设数量的第二人脸图像中所述预设物件均处于所述第一佩戴状态；所述预设数量的第二人脸图像是不同于所述第一人脸图像中人脸的人脸图像；
第二确定模块，被配置为基于所述预设数量的第二人脸图像各自与所述第一人脸图像的相似度，确定所述预设数量的第二人脸图像各自的权重；
第一重构模块，被配置为基于所述预设数量的第二人脸图像各自的权重以及预设数量的第三人脸图像对所述第一人脸图像进行图像重构，得到与所述第一人脸图像相对应的第四人脸图像，所述第三人脸图像与所述第四人脸图像中所述预设物件均处于第二佩戴状态，所述预设数量的第二人脸图像与所述预设数量的第三人脸图像中的人脸一一对应。
8.根据权利要求7所述的装置，其特征在于，所述第二确定模块，包括：
第一重构子模块，被配置为基于所述预设数量的第二人脸图像各自与所述第一人脸图像的相似度系数以及所述预设数量的第二人脸图像对所述第一人脸图像进行重构，得到第一重构图像；
调整子模块，被配置为在所述第一重构图像与所述第一人脸图像之间的误差不符合预设条件时，对所述相似度系数的值进行调整，并基于调整后的所述相似度系数以及所述预设数量的第二人脸图像对所述第一人脸图像进行重构，得到调整后的所述第一重构图像；
第一确定子模块，被配置为在所述第一重构图像与所述第一人脸图像之间的误差符合所述预设条件时，得到所述预设数量的第二人脸图像各自与所述第一人脸图像的相似度系数的值，确定为所述预设数量的第二人脸图像各自的权重。
9.根据权利要求7所述的装置，其特征在于，所述第一重构模块，包括：
第二确定子模块，被配置为确定用于分别表示所述预设数量的第三人脸图像的一维向量；
计算子模块，被配置为基于所述预设数量的第二人脸图像各自的权重对所述预设数量的第三人脸图像各自对应的一维向量进行加权求和，得到一个加权和；
第一转换子模块，被配置为根据所述第一人脸图像的第一二维图像矩阵将所述加权和转换为对应的第二二维图像矩阵；
第二转换子模块，被配置为将所述第二二维图像矩阵转换为所述第四人脸图像。
10.根据权利要求7所述的装置，其特征在于，所述第一佩戴状态为已佩戴，所述第二佩戴状态为未佩戴；或者，
所述第一佩戴状态为未佩戴，所述第二佩戴状态为已佩戴。
11.根据权利要求10所述的装置，其特征在于，当所述第一佩戴状态为已佩戴且所述第二佩戴状态为未佩戴时，所述第一重构模块，包括：
第三确定子模块，被配置为确定所述预设数量的第二人脸图像各自对应的所述预设物件的第一轮廓以及所述第一轮廓的位置；
第四确定子模块，被配置为基于所述预设物件的第一轮廓以及所述第一轮廓的位置，确定所述预设数量的第三人脸图像各自对应的所述第一轮廓内的图像；
第二重构子模块，被配置为基于所述预设数量的第二人脸图像各自的权重以及预设数量的第三人脸图像各自对应的所述第一轮廓内的图像，对所述第一人脸图像中所述预设物件的第二轮廓内的图像进行图像重构，得到所述第二轮廓内的第二重构图像；
合并子模块，被配置为将所述第二重构图像与所述第一人脸图像中所述第二轮廓外的图像进行合并，得到所述第四人脸图像。
12.根据权利要求7所述的装置，其特征在于，所述装置，还包括：
匹配模块，被配置为将所述第四人脸图像与预存的第五人脸图像进行匹配；所述第五人脸图像中所述预设物件处于第二佩戴状态；
第三确定模块，被配置为基于匹配结果确定身份验证是否成功。
13.一种人脸图像的处理装置，其特征在于，所述装置包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
如果检测到待识别的第一人脸图像中遮挡人脸的预设物件处于第一佩戴状态，则从预设的数据库中确定预设数量的第二人脸图像；所述预设数量的第二人脸图像中所述预设物件均处于所述第一佩戴状态；所述预设数量的第二人脸图像是不同于所述第一人脸图像中人脸的人脸图像；
基于所述预设数量的第二人脸图像各自与所述第一人脸图像的相似度，确定所述预设数量的第二人脸图像各自的权重；
基于所述预设数量的第二人脸图像各自的权重以及预设数量的第三人脸图像对所述第一人脸图像进行图像重构，得到与所述第一人脸图像相对应的第四人脸图像，所述第三人脸图像与所述第四人脸图像中所述预设物件均处于第二佩戴状态，所述预设数量的第二人脸图像与所述预设数量的第三人脸图像中的人脸一一对应。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如下步骤：
如果检测到待识别的第一人脸图像中遮挡人脸的预设物件处于第一佩戴状态，则从预设的数据库中确定预设数量的第二人脸图像；所述预设数量的第二人脸图像中所述预设物件均处于所述第一佩戴状态；所述预设数量的第二人脸图像是不同于所述第一人脸图像中人脸的人脸图像；
基于所述预设数量的第二人脸图像各自与所述第一人脸图像的相似度，确定所述预设数量的第二人脸图像各自的权重；
基于所述预设数量的第二人脸图像各自的权重以及预设数量的第三人脸图像对所述第一人脸图像进行图像重构，得到与所述第一人脸图像相对应的第四人脸图像，所述第三人脸图像与所述第四人脸图像中所述预设物件均处于第二佩戴状态，所述预设数量的第二人脸图像与所述预设数量的第三人脸图像中的人脸一一对应。
CN201711189340.3A 2017-11-24 2017-11-24 人脸图像的处理方法及装置 Active CN107729886B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711189340.3A CN107729886B (zh) 2017-11-24 2017-11-24 人脸图像的处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711189340.3A CN107729886B (zh) 2017-11-24 2017-11-24 人脸图像的处理方法及装置

Publications (2)

Publication Number Publication Date
CN107729886A CN107729886A (zh) 2018-02-23
CN107729886B true CN107729886B (zh) 2021-03-02

Family

ID=61219194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711189340.3A Active CN107729886B (zh) 2017-11-24 2017-11-24 人脸图像的处理方法及装置

Country Status (1)

Country Link
CN (1) CN107729886B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830062B (zh) * 2018-05-29 2022-10-04 浙江水科文化集团有限公司 人脸识别方法、移动终端及计算机可读存储介质
CN109101923B (zh) * 2018-08-14 2020-11-27 罗普特（厦门）科技集团有限公司 一种人员佩戴口罩情况的检测方法以及装置
CN110210582A (zh) * 2019-06-17 2019-09-06 上海海事大学 一种基于局部协作表示分类的手写汉字识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101162500A (zh) * 2006-10-13 2008-04-16 上海银晨智能识别科技有限公司 分区式人脸识别方法
CN101587543A (zh) * 2009-06-19 2009-11-25 电子科技大学 一种人脸识别方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003037766A (ja) * 2001-07-24 2003-02-07 Matsushita Electric Ind Co Ltd 虹彩撮像装置
CN101388074B (zh) * 2008-10-11 2012-01-18 大连大学 基于个人ica基图像重构误差的人脸识别方法
US9959444B2 (en) * 2015-09-02 2018-05-01 Synaptics Incorporated Fingerprint sensor under thin face-sheet with aperture layer
CN105139000B (zh) * 2015-09-16 2019-03-12 浙江宇视科技有限公司 一种去除眼镜痕迹的人脸识别方法及装置
CN105825183B (zh) * 2016-03-14 2019-02-12 合肥工业大学 基于部分遮挡图像的人脸表情识别方法
CN106651978B (zh) * 2016-10-10 2021-04-02 讯飞智元信息科技有限公司 人脸图像预测方法及系统
CN106570464B (zh) * 2016-10-31 2020-05-22 华南理工大学 一种快速处理人脸遮挡的人脸识别方法及装置
CN107016370B (zh) * 2017-04-10 2019-10-11 电子科技大学 一种基于数据增强的部分遮挡人脸识别方法
CN107292287B (zh) * 2017-07-14 2018-09-21 深圳云天励飞技术有限公司 人脸识别方法、装置、电子设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101162500A (zh) * 2006-10-13 2008-04-16 上海银晨智能识别科技有限公司 分区式人脸识别方法
CN101587543A (zh) * 2009-06-19 2009-11-25 电子科技大学 一种人脸识别方法

Also Published As

Publication number Publication date
CN107729886A (zh) 2018-02-23

Similar Documents

Publication Publication Date Title
CN108197586B (zh) 脸部识别方法和装置
US20210117674A1 (en) Image processing method and device and storage medium
US10885178B2 (en) Methods and devices for generating security questions and verifying identities
CN110288716B (zh) 图像处理方法、装置、电子设备及存储介质
CN104408402B (zh) 人脸识别方法及装置
EP3086275A1 (en) Numerical value transfer method, terminal, cloud server, computer program and recording medium
CN105654039B (zh) 图像处理的方法和装置
CN110287671B (zh) 验证方法及装置、电子设备和存储介质
CN107944367B (zh) 人脸关键点检测方法及装置
CN107958223B (zh) 人脸识别方法及装置、移动设备、计算机可读存储介质
CN106845398B (zh) 人脸关键点定位方法及装置
CN107798654B (zh) 图像磨皮方法及装置、存储介质
CN105631803B (zh) 滤镜处理的方法和装置
CN110705365A (zh) 一种人体关键点检测方法、装置、电子设备及存储介质
CN107463903B (zh) 人脸关键点定位方法及装置
CN107688781A (zh) 人脸识别方法及装置
CN106557759B (zh) 一种标志牌信息获取方法及装置
CN111243011A (zh) 关键点检测方法及装置、电子设备和存储介质
CN107220614B (zh) 图像识别方法、装置及计算机可读存储介质
CN109325908B (zh) 图像处理方法及装置、电子设备和存储介质
US10083346B2 (en) Method and apparatus for providing contact card
CN107729886B (zh) 人脸图像的处理方法及装置
CN107133577B (zh) 一种指纹识别方法和装置
CN112188091B (zh) 人脸信息识别方法、装置、电子设备及存储介质
CN107977636B (zh) 人脸检测方法及装置、终端、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant