Nothing Special   »   [go: up one dir, main page]

CN111488811A - 人脸识别方法、装置、终端设备及计算机可读介质 - Google Patents

人脸识别方法、装置、终端设备及计算机可读介质 Download PDF

Info

Publication number
CN111488811A
CN111488811A CN202010247554.7A CN202010247554A CN111488811A CN 111488811 A CN111488811 A CN 111488811A CN 202010247554 A CN202010247554 A CN 202010247554A CN 111488811 A CN111488811 A CN 111488811A
Authority
CN
China
Prior art keywords
image area
face recognition
face
image
key points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010247554.7A
Other languages
English (en)
Other versions
CN111488811B (zh
Inventor
罗茜
张斯尧
王思远
蒋杰
张�诚
李乾
谢喜林
黄晋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Qianshitong Intelligent Technology Co ltd
Original Assignee
Changsha Qianshitong Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Qianshitong Intelligent Technology Co ltd filed Critical Changsha Qianshitong Intelligent Technology Co ltd
Priority to CN202010247554.7A priority Critical patent/CN111488811B/zh
Publication of CN111488811A publication Critical patent/CN111488811A/zh
Application granted granted Critical
Publication of CN111488811B publication Critical patent/CN111488811B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理领域，其实施方式提供了一种人脸识别方法，所述人脸识别方法包括：S1，获取待识别人脸的图像区域及所述图像区域的关键点；S2，基于所述关键点对所述图像区域进行归一化；S3，根据归一化后的图像区域中未遮挡区域进行人脸识别。同时还提供了一种对应的人脸识别装置以及对应的存储介质。本发明的实施方式能够提升人脸识别的准确率，且模型简单，计算快速。

Description

人脸识别方法、装置、终端设备及计算机可读介质
技术领域
本发明涉及一种图像处理领域，特别涉及一种人脸识别方法、一种人脸识别装置，以及对应的终端设备和计算机可读介质。
背景技术
人脸识别技术是目前的研究热点之一，广泛应用于零售、安防等领域。深度卷积神经网络的出现使得人脸识别取得了长足的进步，在LFW(Labeled Faces in the Wild)等数据集上的验证精度甚至超过人类水平，因此人脸识别技术得到了越来越多的关注。
在人脸识别实际应用中，存在因人脸被遮挡导致识别率不高的问题。目前对于遮挡人脸的识别，主要采用基于部分人脸特征识别或基于遮挡人脸重构识别，但在现有 方法中，存在识别率较低，计算复杂等问题，需要进一步提高识别精度。
发明内容
鉴于此，本发明旨在提出一种人脸识别方法及网络，以至少解决目前人脸识别中存在面部遮挡而导致的识别准确率下降的问题。
在本发明的第一方面，提供一种人脸识别方法，所述人脸识别方法包括：
S1，获取待识别人脸的图像区域及所述图像区域的关键点；
S2，基于所述关键点对所述图像区域进行归一化；
S3，根据归一化后的图像区域的未遮挡区域进行人脸识别。
可选的，所述S1中获取待识别人脸的图像区域及所述图像区域的关键点，包括：
采用训练好的卷积神经网络对所述图像区域及所述图像区域的关键点进行获取。
可选的，所述训练好的卷积神经网络包括：以P-Net网络为框架，采用带有图像 区域标记及标注有所述图像区域的关键点的图像作为训练集进行训练，通过损失函数 调整网络参数，直至迭代达到预设次数。
可选的，所述损失函数与人脸检测交叉熵损失函数、人脸边界框回归损失函数和关键点损失函数相关。
可选的，所述S2中基于所述关键点对所述图像区域进行归一化，包括：
基于所述关键点，通过坐标变换对所述图像区域中的人脸的大小、角度和位置进行调整，使其符合预设标准形式。
可选的，所述S3中根据归一化后的图像区域的未遮挡区域进行人脸识别，包括：
S31，以所述归一化后的图像区域为目标对象，
S32，对目标对象进行分割；
S33，确定分割后的每幅图像区域为遮挡或未遮挡；
S34，提取确定为未遮挡的图像区域的直方图序列特征；
S35，对确定为遮挡的图像区域为目标对象；
S36，重复步骤S32至S35预设次数；
S37，根据所获取的全部直方图序列特征，进行人脸识别。
可选的，所述S32中对目标对象进行分割，包括：
采用马尔科夫随机场增强特征信息产生一个掩模，采用所述掩模对所述确定为遮挡的图像区域进行分割。
可选的，所述步骤S33中确定分割后的每幅图像区域为遮挡或未遮挡，包括：
S331，对所述每幅图像区域进行不同尺度和方向的小波变换产生特征；
S332，对所述特征进行降维，并采用支持向量机对降维后的特征进行分类；
S333，根据分类的结果确定所述每幅图像区域是否遮挡。
在本发明第二方面，还提供一种人脸识别装置，所述人脸识别装置包括：
获取模块，用于获取待识别人脸的图像区域及其所述图像区域的关键点；归一化模块，用于基于所述关键点对所述图像区域进行归一化；检测模块，用于根据归一化 后的图像区域的未遮挡区域进行人脸识别。
本发明第三方面一种存储介质，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行前述的人脸识别方法。
通过本发明提供的上述技术方案，具有以下有益效果：本发明提出了一种应用于带有遮挡的人脸识别的方法及网络，能够提升人脸识别的准确率，且模型简单，计算 快速。
本发明的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
图1是本发明一种实施方式提供的人脸识别方法的流程示意图；
图2是本发明一种实施方式提供的人脸识别装置的模型结构图；
图3是本发明一种实施方式提供的终端设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有 这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的 系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
图1是本发明一种实施方式提供的人脸识别方法的流程示意图，如图1所示。本 实施方式提供一种人脸识别方法，所述人脸识别方法包括：
S1，获取待识别人脸的图像区域及所述图像区域的关键点；
S2，基于所述关键点对所述图像区域进行归一化；
S3，根据归一化后的图像区域的未遮挡区域进行人脸识别。
如此，通过对图像的前置性处理，提取出包含有人脸的图像区域，并对此进行预处理，能够提升人脸识别的准确性。而进一步地对图像区域进行归一化，变换待识别 人脸的大小、角度和位置等参数，避免因为参数的误差而导致识别率的降低，再通过 区分图像中的遮挡区域和未遮挡区域进行区分，仅对未遮挡区域进行识别，避免遮挡 区域对图像识别的干扰，从而进一步提升识别准确率。本发明实施方式通过以上的图 像处理，能够降低在图像识别中的干扰和误差，从而提升人脸识别的准确率。
具体的，本实施方式的大体步骤如下：提取图像区域及其关键点，此处的图像区域为人脸所在的区域，关键点为人脸中的识别关键点或位置关键点，通过提取准确的 待识别区域和关键点，为下一步的归一化作为基础。图像归一化是指对图像进行了一 系列标准的处理变换，使之变换为一固定标准形式的过程，该标准图像也称作归一化 图像。通过对归一化图像进行遮挡识别，对人脸区域的口罩或墨镜等区域进行忽略， 而专注于未遮挡区域，以此避免遮挡物对人脸识别准确率的影响。
在本发明提供的一种实施方式中，所述S1中获取待识别人脸的图像区域及所述图像区 域的关键点，包括：
采用训练好的卷积神经网络对所述图像区域及所述图像区域的关键点进行获取。采用 卷积神经网络对图像区域和关键点进行识别能够有效提升识别效率，相比于其他获取 方式具有准确性好和计算迅速的优点。进一步的，所述训练好的卷积神经网络包括： 以P-Net网络为框架，采用带有图像区域标记及标注有所述图像区域的关键点的图像 作为训练集进行训练，通过损失函数调整网络参数，直至迭代达到预设次数。而且， 本实施方式优选以P-Net网络为基础，设置各层的网络参数，并采用带有图像区域标 记及标注有所述图像区域的关键点的图像作为训练集进行训练，通过损失函数调整网 络参数，具体的神经网络的训练过程参照现有技术，此处不再赘述。训练好的P-Net 网络能够快速准确识别目标图像中的人脸区域和人脸区域的关键点。
在本发明提供的一种实施方式中，所述损失函数与人脸检测交叉熵损失函数、人脸边界框回归损失函数和关键点损失函数相关。损失函数是神经网络模型的重要组成 部分，适宜的损失函数是卷积神经网络快速收敛的保障。前述的训练好的卷积神经网 络的损失函数包括：
人脸检测交叉熵损失函数
Figure BDA0002434343610000041
其中，Xi表示样本的真实标签，pi表示网络输出为人脸的概率，N为训练样本总数；
人脸边界框回归损失函数
Figure BDA0002434343610000042
其中，
Figure BDA0002434343610000043
表示网络输出之后得到的边界框坐标，yi表示目标的真实边界框；
关键点损失函数
Figure BDA0002434343610000044
其中，
Figure BDA0002434343610000045
表示网络输出之后得到的关键点的坐标，zi表示关键点的真实坐标；
总损失函数为
L＝min(λ1L1+λ2L2+λ3L3)
其中，λ1、λ2、λ3是各损失所占的权重。
在本发明提供的一种实施方式中，所述S2中基于所述关键点对所述图像区域进行归一化，包括：基于所述关键点，通过坐标变换对所述图像区域中的人脸的大小、角 度和位置进行调整，使其符合预设标准形式。例如，根据人脸左、右眼中心坐标位置 计算图像的变换矩阵，
Figure BDA0002434343610000046
其中，Sx，Sy分别是图像在x、y方向的缩放因子，θ是旋转角度，tx表示在x方向平 移距离，ty在y方向平移距离，通过此变换矩阵，能够实施对图像区域的缩放、旋转 和平移等操作，使其成为符合标准的图像。
在本发明提供的一种实施方式中，所述S3中根据归一化后的图像区域的未遮挡区域进行人脸识别，包括：
S31，以所述归一化后的图像区域为目标对象，
S32，对目标对象进行分割；
S33，确定分割后的每幅图像区域为遮挡或未遮挡；
S34，提取确定为未遮挡的图像区域的直方图序列特征；
S35，对确定为遮挡的图像区域为目标对象；
S36，重复步骤S32至S35预设次数；
S37，根据所获取的全部直方图序列特征，进行人脸识别。
本实施方式主要采用图像分割后进行判定的方式，对分割后的图像进行分类，分为遮挡或未遮挡，仅对未遮挡区域进行特征提取，以此忽略遮挡部分的特征，以此提 升识别准确率。而图像分割存在分割粒度的问题，在分割后的图像中极大可能存在部 分遮挡的情况，而此时将判定为遮挡的图像进行整体的去除，会丢失掉很多图像特征， 降低图像识别的准确率。因此本实施方式通过对遮挡图像的再次分割，以降低图像的 特征损失。并能够进行多次的递进分割，以尽量不损失图像中的人脸信息。
在本发明提供的一种实施方式中，所述S32中对目标对象进行分割，包括：
采用马尔科夫随机场增强特征信息产生一个掩模，采用所述掩模对所述确定为遮挡的图像区域进行分割。利用马尔科夫随机场增强特征信息产生掩模的方法具体为假 设图像所有像素点集合为S，采用SVM对图像遮挡的分类结果作为初始化分类标签W， 即有遮挡时像素记为1，无遮挡时像素记为0，则可以联合先验概率和条件概率估计后 验概率最大化标签，即P(W|S)的最大值，当P(W|S)取最大值时，各像素点获得遮挡与 否的最适宜分类结果
Figure BDA0002434343610000051
P(S|W)表示条件概率，是P(W|S)的似然函数，表示分好类的各个像素点和真实像素点 分布是否匹配的关系；P(S)表示输入图像的分布，为常数；P(W)表示分类类型。图像中的像素点可以看成是一个马尔科夫随机场，即图像中某一像素点的分类概率只和相 邻点有关而与其他距离远的点无关，像素点与周围相邻点构成的一个小区域称为势能 团，例如像素点与它左边相邻的像素点构成一个势能团。
P(W)可以通过势能函数求取
Figure BDA0002434343610000052
其中z是配分函数，是一个归一化常数，参数T可控制P(W)的形状，T越大越平坦，C是势能团的集合
Figure BDA0002434343610000053
Figure BDA0002434343610000054
其中，Vc(wc)是势能团势能，β为耦合系数，s、t分别为相邻的两个像素点。
P(S|W)利用标记信息估计像素点的值，标记分类中的像素点分布满足高斯分布，则可以根据某一像素点的值判断它的分类结果。
利用马尔科夫随机场对遮挡图像再次分割，提高分割准确性，然后比对非遮挡人脸区域的LGBPHS(直方图序列)特征，通过直方图相识度匹配方法来识别人脸，例如 用直方图交运算进行匹配识别。LGBPHS特征是在Gabor特征基础上通过LBP算子进一 步编码，获得一个新的基于局部Gabor变换直方图序列。
在本发明提供的一种实施方式中，所述步骤S33中确定分割后的每幅图像区域为遮挡或未遮挡，包括：
S331，对所述每幅图像区域进行不同尺度和方向的小波变换产生特征；
S332，对所述特征进行降维，并采用支持向量机对降维后的特征进行分类；
S333，根据分类的结果确定所述每幅图像区域是否遮挡。
具体的，小波变换采用Gabor小波，Gabor小波由正弦载波和高斯包络组成，具 有在空间域和频率域同时取得最优局部化的特性，因此能很好地描述对应于空间频率、 空间位置及方向选择性的局部结构信息。由于所提取的Gabor特征尺寸较大，采用PCA (主成分分析)来最大化Gabor特征在投影子空间中的方差，使得Gabor特征在保持 其判别能力的同时减少特征向量的维数。
图2是本发明一种实施方式提供的人脸识别装置的模型结构图，如图2所示。在本发 明提供的一种实施方式中，还提供了一种人脸识别装置，所述人脸识别装置包括：
获取模块，用于获取待识别人脸的图像区域及其所述图像区域的关键点；
归一化模块，用于基于所述关键点对所述图像区域进行归一化；
检测模块，用于根据归一化后的图像区域的未遮挡区域进行人脸识别。
获取模块包括：采用训练好的卷积神经网络对所述图像区域及所述图像区域的关键点进行获取。
所述训练好的卷积神经网络包括：以P-Net网络为框架，采用带有图像区域标记及标注有所述图像区域的关键点的图像作为训练集进行训练，通过损失函数调整网络 参数，直至迭代达到预设次数。
所述损失函数与人脸检测交叉熵损失函数、人脸边界框回归损失函数和关键点损失函数相关。
归一化模块包括：基于所述关键点，通过坐标变换对所述图像区域中的人脸的大小、角度和位置进行调整，使其符合预设标准形式。
检测模块包括：
S31，以所述归一化后的图像区域为目标对象；
S32，对目标对象进行分割；
S33，确定分割后的每幅图像区域为遮挡或未遮挡；
S34，提取确定为未遮挡的图像区域的直方图序列特征；
S35，对确定为遮挡的图像区域为目标对象；
S36，重复步骤S32至S35预设次数；
S37，根据所获取的全部直方图序列特征，进行人脸识别。
检测模块中对目标对象进行分割，包括：采用马尔科夫随机场增强特征信息产生一个掩模，采用所述掩模对所述确定为遮挡的图像区域进行分割。
检测模块中确定分割后的每幅图像区域为遮挡或未遮挡，包括：
S331，对所述每幅图像区域进行不同尺度和方向的小波变换产生特征；
S332，对所述特征进行降维，并采用支持向量机对降维后的特征进行分类；
S333，根据分类的结果确定所述每幅图像区域是否遮挡。
该人脸识别装置的实施方式的细节参照前述的人脸识别方法，此处不再赘述。
在本发明提供的一种实施方式中，还提供一种计算机或服务器，该计算机或服务器上加载有前述的人脸识别装置，使其能够完成前述的人脸识别方法。
图3是本发明一种实施方式提供的终端设备的示意图，如图3所示。该实施例的 终端设备10包括：处理器100、存储器101以及存储在所述存储器101中并可在所述 处理器100上运行的计算机程序102，例如进行人脸识别的程序。所述处理器100执 行所述计算机程序102时实现上述方法实施例中的步骤，例如，图1所示的人脸识别 方法的相关步骤。或者，所述处理器100执行所述计算机程序102时实现上述各装置 实施例中各模块/单元的功能，例如图2所示的人脸识别装置的相关模块的功能。
示例性的，所述计算机程序102可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器101中，并由所述处理器100执行，以完成本发 明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段， 该指令段用于描述所述计算机程序102在终端设备10中的执行过程。例如，所述计算 机程序102可以被分割成获取模块、归一化模块和检测模块(虚拟装置中的模块)， 各模块具体功能如下：
获取模块，用于获取待识别人脸的图像区域及其所述图像区域的关键点；
归一化模块，用于基于所述关键点对所述图像区域进行归一化；
检测模块，用于根据归一化后的图像区域的未遮挡区域进行人脸识别。
所述终端设备10可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。终端设备10可包括，但不仅限于，处理器100、存储器101。本领域技术人员可 以理解，图3仅仅是终端设备10的示例，并不构成对终端设备10的限定，可以包括 比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备 还可以包括输入输出设备、网络接入设备、总线等。
所述处理器100可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成 电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶 体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是 任何常规的处理器等。
所述存储器101可以是终端设备10的内部存储单元，例如终端设备10的硬盘或 内存。所述存储器101也可以是终端设备10的外部存储设备，例如所述终端设备10 上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital, SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器101还可以既包括终端设 备10的内部存储单元也包括外部存储设备。所述存储器101用于存储所述计算机程序 以及终端设备10所需的其他程序和数据。所述存储器101还可以用于暂时地存储已经 输出或者将要输出的数据。
在本发明提供的一种实施方式中，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行前述的人脸识别方法。
通过本发明提供的实施方法，对于带有遮挡的人脸具有很好的识别效果，试验证明能够有效提升人脸识别的准确度。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由 不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块， 以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个 处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一 个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的 形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于 限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法 实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功 能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专 业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实 现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例 如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划 分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以 忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可 以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的 形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到 多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例 方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成 的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上 述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成， 所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行 时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码， 所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式 等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、 记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号 以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法 管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法 和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前 述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而 这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神 和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种人脸识别方法，其特征在于，所述人脸识别方法包括：
S1，获取待识别人脸的图像区域及所述图像区域的关键点；
S2，基于所述关键点对所述图像区域进行归一化；
S3，根据归一化后的图像区域中未遮挡区域进行人脸识别。
2.根据权利要求1所述的人脸识别方法，其特征在于，所述S1中获取待识别人脸的图像区域及所述图像区域的关键点，包括：
采用训练好的卷积神经网络对所述图像区域及所述图像区域的关键点进行获取。
3.根据权利要求2所述的人脸识别方法，其特征在于，所述训练好的卷积神经网络包括：以P-Net网络为框架，采用带有图像区域标记及标注有所述图像区域的关键点的图像作为训练集进行训练，通过损失函数调整网络参数，直至迭代达到预设次数；
所述损失函数与人脸检测交叉熵损失函数、人脸边界框回归损失函数和关键点损失函数相关。
4.根据权利要求1所述的人脸识别方法，其特征在于，所述S2中基于所述关键点对所述图像区域进行归一化，包括：
基于所述关键点，通过坐标变换对所述图像区域中的人脸的大小、角度和位置进行调整，使其符合预设标准形式。
5.根据权利要求1所述的人脸识别方法，其特征在于，所述S3中根据归一化后的图像区域中未遮挡区域进行人脸识别，包括：
S31，以所述归一化后的图像区域为目标对象，
S32，对目标对象进行分割；
S33，确定分割后的每幅图像区域为遮挡或未遮挡；
S34，提取确定为未遮挡的图像区域的直方图序列特征；
S35，对确定为遮挡的图像区域为目标对象；
S36，重复步骤S32至S35预设次数；
S37，根据所获取的全部直方图序列特征，进行人脸识别。
6.根据权利要求5所述的人脸识别方法，其特征在于，所述S32中对目标对象进行分割，包括：
采用马尔科夫随机场增强特征信息产生一个掩模，采用所述掩模对所述确定为遮挡的图像区域进行分割。
7.根据权利要求5所述的人脸识别方法，其特征在于，所述步骤S33中确定分割后的每幅图像区域为遮挡或未遮挡，包括：
S331，对所述每幅图像区域进行不同尺度和方向的小波变换产生特征；
S332，对所述特征进行降维，并采用支持向量机对降维后的特征进行分类；
S333，根据分类的结果确定所述每幅图像区域是否遮挡。
8.一种人脸识别装置，其特征在于，所述人脸识别装置包括：
获取模块，用于获取待识别人脸的图像区域及其所述图像区域的关键点；
归一化模块，用于基于所述关键点对所述图像区域进行归一化；
检测模块，用于根据归一化后的图像区域中的未遮挡区域进行人脸识别。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述方法的步骤。
10.一种存储介质，其特征在于，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行权利要求1至7中任一项所述方法的步骤。
CN202010247554.7A 2020-03-31 2020-03-31 人脸识别方法、装置、终端设备及计算机可读介质 Active CN111488811B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010247554.7A CN111488811B (zh) 2020-03-31 2020-03-31 人脸识别方法、装置、终端设备及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010247554.7A CN111488811B (zh) 2020-03-31 2020-03-31 人脸识别方法、装置、终端设备及计算机可读介质

Publications (2)

Publication Number Publication Date
CN111488811A true CN111488811A (zh) 2020-08-04
CN111488811B CN111488811B (zh) 2023-08-22

Family

ID=71812564

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010247554.7A Active CN111488811B (zh) 2020-03-31 2020-03-31 人脸识别方法、装置、终端设备及计算机可读介质

Country Status (1)

Country Link
CN (1) CN111488811B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914812A (zh) * 2020-08-20 2020-11-10 腾讯科技（深圳）有限公司 图像处理模型训练方法、装置、设备及存储介质
CN111968291A (zh) * 2020-08-26 2020-11-20 重庆康普达科技有限公司 人脸识别智能柱

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103996039A (zh) * 2014-05-06 2014-08-20 河海大学 联合灰度阈值分割及轮廓形态识别的sar图像河道提取方法
CN104091163A (zh) * 2014-07-19 2014-10-08 福州大学 一种消除遮挡影响的lbp人脸识别方法
US20150205997A1 (en) * 2012-06-25 2015-07-23 Nokia Corporation Method, apparatus and computer program product for human-face features extraction
KR20160061856A (ko) * 2014-11-24 2016-06-01 삼성전자주식회사 객체 인식 방법 및 장치, 및 인식기 학습 방법 및 장치
CN206224639U (zh) * 2016-11-14 2017-06-06 华南理工大学 一种具有遮挡检测功能的人脸识别门禁系统
CN107292287A (zh) * 2017-07-14 2017-10-24 深圳云天励飞技术有限公司 人脸识别方法、装置、电子设备及存储介质
CN107463920A (zh) * 2017-08-21 2017-12-12 吉林大学 一种消除局部遮挡物影响的人脸识别方法
CN107622503A (zh) * 2017-08-10 2018-01-23 上海电力学院 一种恢复图像遮挡边界的分层分割方法
US20180158246A1 (en) * 2016-12-07 2018-06-07 Intel IP Corporation Method and system of providing user facial displays in virtual or augmented reality for face occluding head mounted displays
CN108932458A (zh) * 2017-05-24 2018-12-04 上海云从企业发展有限公司 恢复眼镜遮挡区域的人脸重建方法及装置
EP3428843A1 (en) * 2017-07-14 2019-01-16 GB Group plc Improvements relating to face recognition
CN109684973A (zh) * 2018-12-18 2019-04-26 哈尔滨工业大学 基于对称一致性的卷积神经网络的人脸图像填充系统
CN110263768A (zh) * 2019-07-19 2019-09-20 深圳市科葩信息技术有限公司 一种基于深度残差网络的人脸识别方法
CN110298284A (zh) * 2019-06-24 2019-10-01 火石信科(广州)科技有限公司 一种读写场景及读写位置的识别方法
US20200034657A1 (en) * 2017-07-27 2020-01-30 Tencent Technology (Shenzhen) Company Limited Method and apparatus for occlusion detection on target object, electronic device, and storage medium
CN110895693A (zh) * 2019-09-12 2020-03-20 华中科技大学 一种证件的防伪信息的鉴别方法及鉴别系统

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150205997A1 (en) * 2012-06-25 2015-07-23 Nokia Corporation Method, apparatus and computer program product for human-face features extraction
CN103996039A (zh) * 2014-05-06 2014-08-20 河海大学 联合灰度阈值分割及轮廓形态识别的sar图像河道提取方法
CN104091163A (zh) * 2014-07-19 2014-10-08 福州大学 一种消除遮挡影响的lbp人脸识别方法
KR20160061856A (ko) * 2014-11-24 2016-06-01 삼성전자주식회사 객체 인식 방법 및 장치, 및 인식기 학습 방법 및 장치
CN206224639U (zh) * 2016-11-14 2017-06-06 华南理工大学 一种具有遮挡检测功能的人脸识别门禁系统
US20180158246A1 (en) * 2016-12-07 2018-06-07 Intel IP Corporation Method and system of providing user facial displays in virtual or augmented reality for face occluding head mounted displays
CN108932458A (zh) * 2017-05-24 2018-12-04 上海云从企业发展有限公司 恢复眼镜遮挡区域的人脸重建方法及装置
CN107292287A (zh) * 2017-07-14 2017-10-24 深圳云天励飞技术有限公司 人脸识别方法、装置、电子设备及存储介质
EP3428843A1 (en) * 2017-07-14 2019-01-16 GB Group plc Improvements relating to face recognition
US20200034657A1 (en) * 2017-07-27 2020-01-30 Tencent Technology (Shenzhen) Company Limited Method and apparatus for occlusion detection on target object, electronic device, and storage medium
CN107622503A (zh) * 2017-08-10 2018-01-23 上海电力学院 一种恢复图像遮挡边界的分层分割方法
CN107463920A (zh) * 2017-08-21 2017-12-12 吉林大学 一种消除局部遮挡物影响的人脸识别方法
CN109684973A (zh) * 2018-12-18 2019-04-26 哈尔滨工业大学 基于对称一致性的卷积神经网络的人脸图像填充系统
CN110298284A (zh) * 2019-06-24 2019-10-01 火石信科(广州)科技有限公司 一种读写场景及读写位置的识别方法
CN110263768A (zh) * 2019-07-19 2019-09-20 深圳市科葩信息技术有限公司 一种基于深度残差网络的人脸识别方法
CN110895693A (zh) * 2019-09-12 2020-03-20 华中科技大学 一种证件的防伪信息的鉴别方法及鉴别系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
傅勇;潘晴;田妮莉;杨志景;BINGO WING-KUEN LING;EVERETT.X.WANG;: "改进级联卷积神经网络的平面旋转人脸检测", vol. 41, no. 03, pages 856 - 861 *
孔令美等: "基于小波变换和小波神经网络的3D遮挡人脸识别方法", 湘潭大学自然科学学报, vol. 37, no. 04, pages 82 - 86 *
封筠等: "梯度方向直方图特征的人耳身份识别方法", 南京大学学报(自然科学版), vol. 48, no. 04, pages 452 - 458 *
李冬梅;熊承义;高志荣;周城;汪汉新;: "基于异值区域消除的遮挡人脸识别", vol. 42, no. 03, pages 289 - 295 *
邵一鸣;孙红星;陈虹羊;: "基于深度学习的人脸遮挡检测方法", vol. 42, no. 06, pages 454 - 461 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914812A (zh) * 2020-08-20 2020-11-10 腾讯科技（深圳）有限公司 图像处理模型训练方法、装置、设备及存储介质
CN111914812B (zh) * 2020-08-20 2022-09-16 腾讯科技（深圳）有限公司 图像处理模型训练方法、装置、设备及存储介质
CN111968291A (zh) * 2020-08-26 2020-11-20 重庆康普达科技有限公司 人脸识别智能柱
CN111968291B (zh) * 2020-08-26 2022-05-17 重庆康普达科技有限公司 人脸识别智能柱

Also Published As

Publication number Publication date
CN111488811B (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
CN111860670B (zh) 域自适应模型训练、图像检测方法、装置、设备及介质
Nogueira et al. Evaluating software-based fingerprint liveness detection using convolutional networks and local binary patterns
Montazer et al. An improved radial basis function neural network for object image retrieval
Gao et al. CW-SSIM based image classification
CN111353385B (zh) 一种基于掩膜对齐与注意力机制的行人再识别方法和装置
CN111695462A (zh) 一种人脸识别方法、装置、存储介质和服务器
Yang et al. An efficient method for vehicle model identification via logo recognition
CN114444565A (zh) 一种图像篡改检测方法、终端设备及存储介质
CN111191569A (zh) 人脸属性的识别方法及其相关装置
CN111488811B (zh) 人脸识别方法、装置、终端设备及计算机可读介质
CN113592030B (zh) 基于复值奇异谱分析的图像检索方法和系统
CN111898408B (zh) 一种快速人脸识别方法及装置
CN112070116B (zh) 一种基于支持向量机的艺术画作自动分类系统及方法
CN109902720B (zh) 基于子空间分解进行深度特征估计的图像分类识别方法
Florindo et al. Texture descriptors by a fractal analysis of three-dimensional local coarseness
CN111950403A (zh) 一种虹膜分类方法及系统、电子设备和存储介质
Hamidi et al. Local selected features of dual‐tree complex wavelet transform for single sample face recognition
CN113313124B (zh) 基于图像分割算法识别车牌号码的方法、装置和终端设备
CN111553195B (zh) 基于多位图切平面与多尺度uLBP的三维人脸遮挡判别方法
Zayed et al. A New Refined-TLBO Aided Bi-Generative Adversarial Network for Finger Vein Recognition
Backes et al. Texture classification using fractal dimension improved by local binary patterns
CN107704819B (zh) 一种动作识别方法、系统及终端设备
Kuban et al. A NOVEL MODIFICATION OF SURF ALGORITHM FOR FINGERPRINT MATCHING.
CN117456284B (zh) 图像分类方法、装置、设备及存储介质
CN111950320A (zh) 一种基于相对总变差和概率协同表示的虹膜识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant