Nothing Special   »   [go: up one dir, main page]

CN108875522B - 人脸聚类方法、装置和系统及存储介质 - Google Patents

人脸聚类方法、装置和系统及存储介质 Download PDF

Info

Publication number
CN108875522B
CN108875522B CN201711389683.4A CN201711389683A CN108875522B CN 108875522 B CN108875522 B CN 108875522B CN 201711389683 A CN201711389683 A CN 201711389683A CN 108875522 B CN108875522 B CN 108875522B
Authority
CN
China
Prior art keywords
face
images
clustering
image
face images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711389683.4A
Other languages
English (en)
Other versions
CN108875522A (zh
Inventor
杜航宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kuangshi Technology Co Ltd
Original Assignee
Beijing Kuangshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kuangshi Technology Co Ltd filed Critical Beijing Kuangshi Technology Co Ltd
Priority to CN201711389683.4A priority Critical patent/CN108875522B/zh
Publication of CN108875522A publication Critical patent/CN108875522A/zh
Application granted granted Critical
Publication of CN108875522B publication Critical patent/CN108875522B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/179—Human faces, e.g. facial parts, sketches or expressions metadata assisted face recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种人脸聚类方法、装置和系统以及存储介质。该方法包括：获取多个人脸图像；检测多个人脸图像中的目标人脸的人脸质量，以获得多个人脸图像的人脸质量数据；提取多个人脸图像中的至少部分人脸图像中的目标人脸的特征，以获得至少部分人脸图像的人脸特征数据；以及根据至少部分人脸图像的人脸特征数据和人脸质量数据对至少部分人脸图像进行聚类。根据本发明实施例的人脸聚类方法、装置和系统及存储介质，在进行聚类时，不仅考虑人脸特征，还考虑人脸质量，使得在聚类过程中可以有效减小人脸质量差或人脸质量差异大对聚类效果的影响。该人脸聚类方法具有高准确率、高召回率、高可靠性等特点。

Description

人脸聚类方法、装置和系统及存储介质
技术领域
本发明涉及图像处理领域，更具体地涉及一种人脸聚类方法、装置和系统以及存储介质。
背景技术
人脸聚类是指对于未做标记的人脸图像，以图像中的人是否为同一个人作为标准进行聚类，将属于同一个人的人脸图像合并到一个组，不属于同一个人的人脸图像分开到不同的组。人脸聚类技术广泛应用于类似相册管理、陌生人识别等诸多领域。
现有的人脸聚类方法有很多种，通常是从人脸图像中提取能够代表这张人脸图像中的人脸的特征，然后按照某种算法对每张人脸图像的特征进行比较并聚合。现有的人脸聚类方法只是简单地考虑了人脸特征因素，但是人脸图像(或说人脸图像中的人脸)的质量会对人脸特征之间的比较产生很大的影响。参与聚类的人脸图像本身质量比较差和/或不同人脸图像的质量存在较大差异时，现有的人脸聚类方法的聚类效果不能保证。
发明内容
考虑到上述问题而提出了本发明。本发明提供了一种人脸聚类方法、装置和系统以及存储介质。
根据本发明一方面，提供了一种人脸聚类方法。该方法包括：获取多个人脸图像；检测多个人脸图像中的目标人脸的人脸质量，以获得多个人脸图像的人脸质量数据；提取多个人脸图像中的至少部分人脸图像中的目标人脸的特征，以获得至少部分人脸图像的人脸特征数据；以及根据至少部分人脸图像的人脸特征数据和人脸质量数据对至少部分人脸图像进行聚类。
示例性地，根据至少部分人脸图像的人脸特征数据和人脸质量数据对至少部分人脸图像进行聚类包括：从至少部分人脸图像中选择至少两个人脸图像；以及根据至少两个人脸图像的人脸特征数据和人脸质量数据对至少两个人脸图像进行聚类，以将至少两个人脸图像划分为特定数目的图像组，以获得聚类结果。
示例性地，根据至少两个人脸图像的人脸特征数据和人脸质量数据对至少两个人脸图像进行聚类，以将至少两个人脸图像划分为特定数目的图像组包括：基于至少两个人脸图像的人脸特征数据构建相似度矩阵；根据至少两个人脸图像的人脸质量数据计算相似度阈值；根据相似度矩阵和相似度阈值初始化连接矩阵；以经初始化的连接矩阵为基础，利用相似度矩阵和相似度阈值迭代更新连接矩阵，直至迭代更新次数达到预设次数或与聚类相关的预设目标函数收敛；以及基于迭代更新后的连接矩阵确定至少两个人脸图像各自所属的图像组。
示例性地，从至少部分人脸图像中选择至少两个人脸图像包括：判断至少部分人脸图像的人脸质量数据是否满足第一预设要求；确定人脸质量数据满足第一预设要求的人脸图像为至少两个人脸图像。
示例性地，根据至少部分人脸图像的人脸特征数据和人脸质量数据对至少部分人脸图像进行聚类还包括：确定人脸质量数据不满足第一预设要求的人脸图像为剩余人脸图像；根据至少两个人脸图像的聚类结果以及剩余人脸图像的人脸特征数据和人脸质量数据，将剩余人脸图像划分到特定数目的图像组或新的图像组中以更新聚类结果。
示例性地，根据至少两个人脸图像的聚类结果以及剩余人脸图像的人脸特征数据和人脸质量数据对剩余人脸图像进行增量聚类，将剩余人脸图像划分到特定数目的图像组或新的图像组中以更新聚类结果包括：根据剩余人脸图像中每个人脸图像的人脸特征数据和聚类结果中每个图像组中的每个人脸图像的人脸特征数据，计算剩余人脸图像中每个人脸图像与聚类结果中每个图像组中的所有人脸图像之间的人脸相似度的平均值作为剩余人脸图像中每个人脸图像与聚类结果中每个图像组之间的人脸相似度；如果聚类结果中存在与剩余人脸图像中的一人脸图像之间的人脸相似度大于预设阈值的图像组，则将该人脸图像归入与该人脸图像之间的人脸相似度最大的图像组以更新聚类结果，如果剩余人脸图像的一人脸图像与聚类结果中的所有图像组之间的人脸相似度均不大于预设阈值，则将该人脸图像归入新的图像组以更新聚类结果。
示例性地，第一预设要求包括以下项中的一项或多项：目标人脸的俯仰角小于第一俯仰角度；目标人脸的偏航角小于第一偏航角度；目标人脸的翻滚角小于第一翻滚角度；目标人脸的模糊程度小于第一模糊度阈值；目标人脸的亮度值处于第一预设范围内；目标人脸的像素数目大于第一像素数阈值。
示例性地，在检测多个人脸图像中的目标人脸的人脸质量之后，人脸聚类方法还包括：判断多个人脸图像的人脸质量数据是否满足第二预设要求；从多个人脸图像中选择人脸质量数据满足第二预设要求的人脸图像作为至少部分人脸图像。
示例性地，第二预设要求包括以下项中的一项或多项：目标人脸的俯仰角小于第二俯仰角度；目标人脸的偏航角小于第二偏航角度；目标人脸的翻滚角小于第二翻滚角度；目标人脸的模糊程度小于第二模糊度阈值；目标人脸的亮度值处于第二预设范围内；目标人脸的像素数目大于第二像素数阈值。
示例性地，人脸质量数据包括以下项中的一项或多项：对应目标人脸的模糊程度、对应目标人脸的像素数目、对应目标人脸的亮度值、对应目标人脸的人脸姿态数据、对应目标人脸的年龄。
根据本发明另一方面，提供了一种人脸聚类装置，包括：图像获取模块，用于获取多个人脸图像；质量检测模块，用于检测多个人脸图像中的目标人脸的人脸质量，以获得多个人脸图像的人脸质量数据；特征提取模块，用于提取多个人脸图像中的至少部分人脸图像中的目标人脸的特征，以获得至少部分人脸图像的人脸特征数据；以及聚类模块，用于根据至少部分人脸图像的人脸特征数据和人脸质量数据对至少部分人脸图像进行聚类。
示例性地，聚类模块包括：选择子模块，用于从至少部分人脸图像中选择至少两个人脸图像；以及第一聚类子模块，用于根据至少两个人脸图像的人脸特征数据和人脸质量数据对至少两个人脸图像进行聚类，以将至少两个人脸图像划分为特定数目的图像组，以获得聚类结果。
示例性地，第一聚类子模块包括：相似度矩阵构建单元，用于基于至少两个人脸图像的人脸特征数据构建相似度矩阵；相似度阈值计算单元，用于根据至少两个人脸图像的人脸质量数据计算相似度阈值；连接矩阵初始化单元，用于根据相似度矩阵和相似度阈值初始化连接矩阵；连接矩阵更新单元，用于以经初始化的连接矩阵为基础，利用相似度矩阵和相似度阈值迭代更新连接矩阵，直至迭代更新次数达到预设次数或与聚类相关的预设目标函数收敛；以及图像组确定单元，用于基于迭代更新后的连接矩阵确定至少两个人脸图像各自所属的图像组。
示例性地，选择子模块包括：判断单元，用于判断至少部分人脸图像的人脸质量数据是否满足第一预设要求；图像确定单元，用于确定人脸质量数据满足第一预设要求的人脸图像为至少两个人脸图像。
示例性地，聚类模块还包括：图像确定子模块，用于确定人脸质量数据不满足第一预设要求的人脸图像为剩余人脸图像；第二聚类子模块，用于根据至少两个人脸图像的聚类结果以及剩余人脸图像的人脸特征数据和人脸质量数据，将剩余人脸图像划分到特定数目的图像组或新的图像组中以更新聚类结果。
示例性地，第二聚类子模块包括：相似度计算单元，用于根据剩余人脸图像中每个人脸图像的人脸特征数据和聚类结果中每个图像组中的每个人脸图像的人脸特征数据，计算剩余人脸图像中每个人脸图像与聚类结果中每个图像组中的所有人脸图像之间的人脸相似度的平均值作为剩余人脸图像中每个人脸图像与聚类结果中每个图像组之间的人脸相似度；图像组归类单元，用于如果聚类结果中存在与剩余人脸图像中的一人脸图像之间的人脸相似度大于预设阈值的图像组，则将该人脸图像归入与该人脸图像之间的人脸相似度最大的图像组以更新聚类结果，如果剩余人脸图像的一人脸图像与聚类结果中的所有图像组之间的人脸相似度均不大于预设阈值，则将该人脸图像归入新的图像组以更新聚类结果。
示例性地，第一预设要求包括以下项中的一项或多项：目标人脸的俯仰角小于第一俯仰角度；目标人脸的偏航角小于第一偏航角度；目标人脸的翻滚角小于第一翻滚角度；目标人脸的模糊程度小于第一模糊度阈值；目标人脸的亮度值处于第一预设范围内；目标人脸的像素数目大于第一像素数阈值。
示例性地，人脸聚类装置还包括：判断模块，用于在质量检测模块检测多个人脸图像中的目标人脸的人脸质量之后，判断多个人脸图像的人脸质量数据是否满足第二预设要求；选择模块，用于从多个人脸图像中选择人脸质量数据满足第二预设要求的人脸图像作为至少部分人脸图像。
示例性地，第二预设要求包括以下项中的一项或多项：目标人脸的俯仰角小于第二俯仰角度；目标人脸的偏航角小于第二偏航角度；目标人脸的翻滚角小于第二翻滚角度；目标人脸的模糊程度小于第二模糊度阈值；目标人脸的亮度值处于第二预设范围内；目标人脸的像素数目大于第二像素数阈值。
示例性地，人脸质量数据包括以下项中的一项或多项：对应目标人脸的模糊程度、对应目标人脸的像素数目、对应目标人脸的亮度值、对应目标人脸的人脸姿态数据、对应目标人脸的年龄。
根据本发明另一方面，提供了一种人脸聚类系统，包括处理器和存储器，其中，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行以下步骤：获取多个人脸图像；检测多个人脸图像中的目标人脸的人脸质量，以获得多个人脸图像的人脸质量数据；提取多个人脸图像中的至少部分人脸图像中的目标人脸的特征，以获得至少部分人脸图像的人脸特征数据；以及根据至少部分人脸图像的人脸特征数据和人脸质量数据对至少部分人脸图像进行聚类。
示例性地，所述计算机程序指令被所述处理器运行时所用于执行的根据至少部分人脸图像的人脸特征数据和人脸质量数据对至少部分人脸图像进行聚类的步骤包括：从至少部分人脸图像中选择至少两个人脸图像；以及根据至少两个人脸图像的人脸特征数据和人脸质量数据对至少两个人脸图像进行聚类，以将至少两个人脸图像划分为特定数目的图像组，以获得聚类结果。
示例性地，所述计算机程序指令被所述处理器运行时所用于执行的根据至少两个人脸图像的人脸特征数据和人脸质量数据对至少两个人脸图像进行聚类，以将至少两个人脸图像划分为特定数目的图像组的步骤包括：基于至少两个人脸图像的人脸特征数据构建相似度矩阵；根据至少两个人脸图像的人脸质量数据计算相似度阈值；根据相似度矩阵和相似度阈值初始化连接矩阵；以经初始化的连接矩阵为基础，利用相似度矩阵和相似度阈值迭代更新连接矩阵，直至迭代更新次数达到预设次数或与聚类相关的预设目标函数收敛；以及基于迭代更新后的连接矩阵确定至少两个人脸图像各自所属的图像组。
示例性地，所述计算机程序指令被所述处理器运行时所用于执行的从至少部分人脸图像中选择至少两个人脸图像的步骤包括：判断至少部分人脸图像的人脸质量数据是否满足第一预设要求；确定人脸质量数据满足第一预设要求的人脸图像为至少两个人脸图像。
示例性地，所述计算机程序指令被所述处理器运行时所用于执行的根据至少部分人脸图像的人脸特征数据和人脸质量数据对至少部分人脸图像进行聚类的步骤还包括：确定人脸质量数据不满足第一预设要求的人脸图像为剩余人脸图像；根据至少两个人脸图像的聚类结果以及剩余人脸图像的人脸特征数据和人脸质量数据，将剩余人脸图像划分到特定数目的图像组或新的图像组中以更新聚类结果。
示例性地，所述计算机程序指令被所述处理器运行时所用于执行的根据至少两个人脸图像的聚类结果以及剩余人脸图像的人脸特征数据和人脸质量数据，将剩余人脸图像划分到特定数目的图像组或新的图像组中以更新聚类结果的步骤包括：根据剩余人脸图像中每个人脸图像的人脸特征数据和聚类结果中每个图像组中的每个人脸图像的人脸特征数据，计算剩余人脸图像中每个人脸图像与聚类结果中每个图像组中的所有人脸图像之间的人脸相似度的平均值作为剩余人脸图像中每个人脸图像与聚类结果中每个图像组之间的人脸相似度；如果聚类结果中存在与剩余人脸图像中的一人脸图像之间的人脸相似度大于预设阈值的图像组，则将该人脸图像归入与该人脸图像之间的人脸相似度最大的图像组以更新聚类结果，如果剩余人脸图像的一人脸图像与聚类结果中的所有图像组之间的人脸相似度均不大于预设阈值，则将该人脸图像归入新的图像组以更新聚类结果。
示例性地，第一预设要求包括以下项中的一项或多项：目标人脸的俯仰角小于第一俯仰角度；目标人脸的偏航角小于第一偏航角度；目标人脸的翻滚角小于第一翻滚角度；目标人脸的模糊程度小于第一模糊度阈值；目标人脸的亮度值处于第一预设范围内；目标人脸的像素数目大于第一像素数阈值。
示例性地，在所述计算机程序指令被所述处理器运行时所用于执行的检测多个人脸图像中的目标人脸的人脸质量的步骤之后，所述计算机程序指令被所述处理器运行时还用于执行以下步骤：判断多个人脸图像的人脸质量数据是否满足第二预设要求；从多个人脸图像中选择人脸质量数据满足第二预设要求的人脸图像作为至少部分人脸图像。
示例性地，第二预设要求包括以下项中的一项或多项：目标人脸的俯仰角小于第二俯仰角度；目标人脸的偏航角小于第二偏航角度；目标人脸的翻滚角小于第二翻滚角度；目标人脸的模糊程度小于第二模糊度阈值；目标人脸的亮度值处于第二预设范围内；目标人脸的像素数目大于第二像素数阈值。
示例性地，人脸质量数据包括以下项中的一项或多项：对应目标人脸的模糊程度、对应目标人脸的像素数目、对应目标人脸的亮度值、对应目标人脸的人脸姿态数据、对应目标人脸的年龄。
根据本发明另一方面，提供了一种存储介质，在所述存储介质上存储了程序指令，所述程序指令在运行时用于执行以下步骤：获取多个人脸图像；检测多个人脸图像中的目标人脸的人脸质量，以获得多个人脸图像的人脸质量数据；提取多个人脸图像中的至少部分人脸图像中的目标人脸的特征，以获得至少部分人脸图像的人脸特征数据；以及根据至少部分人脸图像的人脸特征数据和人脸质量数据对至少部分人脸图像进行聚类。
示例性地，所述程序指令在运行时所用于执行的根据至少部分人脸图像的人脸特征数据和人脸质量数据对至少部分人脸图像进行聚类的步骤包括：从至少部分人脸图像中选择至少两个人脸图像；以及根据至少两个人脸图像的人脸特征数据和人脸质量数据对至少两个人脸图像进行聚类，以将至少两个人脸图像划分为特定数目的图像组，以获得聚类结果。
示例性地，所述程序指令在运行时所用于执行的根据至少两个人脸图像的人脸特征数据和人脸质量数据对至少两个人脸图像进行聚类，以将至少两个人脸图像划分为特定数目的图像组的步骤包括：基于至少两个人脸图像的人脸特征数据构建相似度矩阵；根据至少两个人脸图像的人脸质量数据计算相似度阈值；根据相似度矩阵和相似度阈值初始化连接矩阵；以经初始化的连接矩阵为基础，利用相似度矩阵和相似度阈值迭代更新连接矩阵，直至迭代更新次数达到预设次数或与聚类相关的预设目标函数收敛；以及基于迭代更新后的连接矩阵确定至少两个人脸图像各自所属的图像组。
示例性地，所述程序指令在运行时所用于执行的从至少部分人脸图像中选择至少两个人脸图像的步骤包括：判断至少部分人脸图像的人脸质量数据是否满足第一预设要求；确定人脸质量数据满足第一预设要求的人脸图像为至少两个人脸图像。
所述程序指令在运行时所用于执行的根据至少部分人脸图像的人脸特征数据和人脸质量数据对至少部分人脸图像进行聚类的步骤还包括：确定人脸质量数据不满足第一预设要求的人脸图像为剩余人脸图像；根据至少两个人脸图像的聚类结果以及剩余人脸图像的人脸特征数据和人脸质量数据，将剩余人脸图像划分到特定数目的图像组或新的图像组中以更新聚类结果。
示例性地，所述程序指令在运行时所用于执行的根据至少两个人脸图像的聚类结果以及剩余人脸图像的人脸特征数据和人脸质量数据，将剩余人脸图像划分到特定数目的图像组或新的图像组中以更新聚类结果的步骤包括：根据剩余人脸图像中每个人脸图像的人脸特征数据和聚类结果中每个图像组中的每个人脸图像的人脸特征数据，计算剩余人脸图像中每个人脸图像与聚类结果中每个图像组中的所有人脸图像之间的人脸相似度的平均值作为剩余人脸图像中每个人脸图像与聚类结果中每个图像组之间的人脸相似度；如果聚类结果中存在与剩余人脸图像中的一人脸图像之间的人脸相似度大于预设阈值的图像组，则将该人脸图像归入与该人脸图像之间的人脸相似度最大的图像组以更新聚类结果，如果剩余人脸图像的一人脸图像与聚类结果中的所有图像组之间的人脸相似度均不大于预设阈值，则将该人脸图像归入新的图像组以更新聚类结果。
示例性地，第一预设要求包括以下项中的一项或多项：目标人脸的俯仰角小于第一俯仰角度；目标人脸的偏航角小于第一偏航角度；目标人脸的翻滚角小于第一翻滚角度；目标人脸的模糊程度小于第一模糊度阈值；目标人脸的亮度值处于第一预设范围内；目标人脸的像素数目大于第一像素数阈值。
示例性地，在所述程序指令在运行时所用于执行的检测多个人脸图像中的目标人脸的人脸质量的步骤之后，所述程序指令在运行时还用于执行以下步骤：判断多个人脸图像的人脸质量数据是否满足第二预设要求；从多个人脸图像中选择人脸质量数据满足第二预设要求的人脸图像作为至少部分人脸图像。
示例性地，第二预设要求包括以下项中的一项或多项：目标人脸的俯仰角小于第二俯仰角度；目标人脸的偏航角小于第二偏航角度；目标人脸的翻滚角小于第二翻滚角度；目标人脸的模糊程度小于第二模糊度阈值；目标人脸的亮度值处于第二预设范围内；目标人脸的像素数目大于第二像素数阈值。
示例性地，人脸质量数据包括以下项中的一项或多项：对应目标人脸的模糊程度、对应目标人脸的像素数目、对应目标人脸的亮度值、对应目标人脸的人脸姿态数据、对应目标人脸的年龄。
根据本发明实施例的人脸聚类方法、装置和系统以及存储介质，在进行聚类时，不仅考虑人脸特征，还考虑人脸质量，使得在聚类过程中可以有效减小人脸质量差或人脸质量差异大对聚类效果的影响。根据本发明实施例的人脸聚类方法具有高准确率、高召回率、高可靠性等特点。
附图说明
通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1示出用于实现根据本发明实施例的人脸聚类方法和装置的示例电子设备的示意性框图；
图2示出根据本发明一个实施例的人脸聚类方法的示意性流程图；
图3示出了根据本发明一个实施例的人脸聚类装置的示意性框图；以及
图4示出了根据本发明一个实施例的人脸聚类系统的示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
如上文所述，人脸图像(或说人脸图像中的人脸)的质量，例如光照条件、图像模糊程度、人的年龄、姿态的不同，对人脸特征之间的比较会产生很大影响，这会导致人脸聚类结果不准确。
为了解决上述问题，本发明实施例提供了一种人脸聚类方法、装置和系统以及存储介质。根据本发明实施例的人脸聚类方法在进行聚类时参考了人脸质量因素，可以比较准确地对人脸图像进行聚类。根据本发明实施例的人脸聚类方法可以应用于陌生人识别等各种需要对人脸进行聚类的应用领域。
首先，参照图1来描述用于实现根据本发明实施例的人脸聚类方法和装置的示例电子设备100。
如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108、以及图像采集装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。
所述处理器102可以采用数字信号处理(DSP)、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)中的至少一种硬件形式来实现，所述处理器102可以是中央处理单元(CPU)、图像处理器(GPU)、专用的集成电路(ASIC)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元中的一种或几种的组合，并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如用户)输出各种信息(例如图像和/或声音)，并且可以包括显示器、扬声器等中的一个或多个。输出装置108还可以是网络通信接口。
所述图像采集装置110可以采集图像(包括视频帧)，并且将所采集的图像存储在所述存储装置104中以供其它组件使用。图像采集装置110可以是摄像头。应当理解，图像采集装置110仅是示例，电子设备100可以不包括图像采集装置110。在这种情况下，可以利用其他具有图像采集能力的器件采集人脸图像，并将采集的图像发送给电子设备100。
示例性地，用于实现根据本发明实施例的人脸聚类方法和装置的示例电子设备可以在诸如个人计算机或远程服务器等的设备上实现。
下面，将参考图2描述根据本发明实施例的人脸聚类方法。图2示出根据本发明一个实施例的人脸聚类方法200的示意性流程图。如图2所示，人脸聚类方法200包括以下步骤。
在步骤S210，获取多个人脸图像。
所述多个人脸图像可以是任何合适的包含人脸的图像。比较可取的是，每个人脸图像包含一个人脸。人脸图像可以是图像采集装置(例如摄像头)采集到的原始图像，也可以是对原始图像进行预处理(诸如数字化、归一化、平滑等)之后获得的图像。
在一个示例中，可以在获取所有的多个人脸图像之后，再执行下述步骤S220和/或S230，检测人脸质量数据和/或提取人脸特征数据。在另一个示例中，步骤S210与步骤S220和/或S230可以是同步执行的，即可以实时获取多个图像，并实时地从获取的多个图像中检测人脸质量数据和/或提取人脸特征数据。
在步骤S220，检测多个人脸图像中的目标人脸的人脸质量，以获得多个人脸图像的人脸质量数据。
目标人脸是指每个人脸图像中的主要人脸(或说有效人脸)。人脸图像仅包含一个人脸的情况下，目标人脸即为该人脸。在某些情况下，除主要人脸之外，人脸图像中可能包含一些比较小、人脸朝向比较偏或不完整的多余人脸。在这种情况下，可以从人脸图像中识别出主要人脸作为目标人脸。在所述人脸质量数据包括人脸角度、人脸的年龄等与人脸直接相关的数据的情况下，检测人脸质量以及提取人脸特征时，针对的是人脸图像中的主要人脸。
示例性地，检测人脸质量可以包括对图像模糊程度、年龄、人脸角度等影响人脸聚类效果的因素中的一项或多项进行检测。例如，人脸质量数据可以包括以下项中的一项或多项：对应目标人脸的模糊程度、对应目标人脸的像素数目、对应目标人脸的亮度值(与人脸的光照条件有关)、对应目标人脸的人脸姿态数据、对应目标人脸的年龄。上述人脸质量数据仅是示例而非对本发明的限制，人脸质量数据可以包括与其他影响人脸聚类效果的因素相关的数据。
可以理解，人脸质量数据是能够表示人脸质量的数据，其不局限于目标人脸所在的图像块部分的信息，整个人脸图像的信息也可以用于表示人脸质量。例如，在人脸质量数据仅包括目标人脸的模糊程度的情况下，可以无需检测目标人脸所在位置，直接计算整个人脸图像的模糊程度即可。当然，也可以先检测出目标人脸所在位置，从人脸图像中提取包含目标人脸的图像块，并计算该图像块的模糊程度作为人脸质量数据。也就是说，本文所述的目标人脸的模糊程度可以是基于整个人脸图像计算获得的模糊程度，也可以是基于包含目标人脸的图像块计算获得的模糊程度。其他类型的人脸质量数据(例如目标人脸的亮度值、目标人脸的像素数目等)类似，不再一一赘述。
在一个示例中，人脸质量数据包括对应目标人脸的模糊程度。在本示例中，可以在步骤S220对人脸图像进行模糊度的检测。示例性地，可以采用基于深度学习训练出的模糊度检测模型来确定人脸图像中的目标人脸的模糊程度。例如，模糊度检测模型可以是常规的卷积神经网络。人脸图像中的目标人脸的模糊程度可以表示为一个0到1的小数。例如，将人脸图像A和B分别输入模糊度检测模型之后，模糊度检测模型分别输出“0.003”和“0.972”，代表人脸图像A中的目标人脸的模糊程度的预测值为0.003，人脸图像B中的目标人脸的模糊程度的预测值为0.972。
在一个示例中，人脸质量数据包括对应目标人脸的年龄。在本示例中，可以在步骤S220对人脸图像中的目标人脸进行年龄的检测。示例性地，可以采用基于深度学习训练出的年龄检测模型来确定目标人脸的年龄。例如，年龄检测模型可以是常规的卷积神经网络。例如，将人脸图像C和D分别输入年龄检测模型之后，年龄检测模型分别输出“17.1”和“2.4”，代表人脸图像C中的目标人脸的年龄的预测值为17.1，人脸图像D中的目标人脸的年龄的预测值为2.4。
在一个示例中，人脸质量数据包括对应目标人脸的人脸姿态数据。在本示例中，可以在步骤S220对人脸图像中的目标人脸进行姿态的检测。示例性地，可以采用基于深度学习训练出的姿态检测模型来确定目标人脸的姿态。例如，姿态检测模型可以是常规的卷积神经网络。人脸的姿态可以采用人脸的俯仰角(pitch，上下翻转角度)、偏航角(yaw，左右翻转角度)和翻滚角(roll，平面内旋转角度)来表示。姿态检测模型可以对俯仰角、偏航角和翻滚角中的一项或多项进行检测。例如，将人脸图像E和F分别输入姿态检测模型之后，姿态检测模型分别输出“yaw(29.8)pitch(-2.74)”和“yaw(2.53)pitch(5.18)”，代表人脸图像E中的目标人脸的偏航角的预测值为29.8度，俯仰角的预测值为-2.74度，人脸图像F中的目标人脸的偏航角的预测值为2.53度，俯仰角的预测值为5.18度。
示例性地，在步骤S220之前，人脸聚类方法200还可以包括：对多个人脸图像分别进行人脸检测，以识别多个人脸图像中的每个人脸图像中的目标人脸。人脸检测可以采用现有的或将来可能出现的人脸检测方法实现。示例性地，可以采用基于深度学习方法训练出的人脸检测器来实施人脸检测。例如，人脸检测器可以是常规的卷积神经网络。
在步骤S230，提取多个人脸图像中的至少部分人脸图像中的目标人脸的特征，以获得至少部分人脸图像的人脸特征数据。
在一个示例中，将多个人脸图像作为所述至少部分人脸图像，也就是说，对多个人脸图像中的所有人脸图像进行特征提取及后续的聚类操作。
在另一个示例中，对多个人脸图像进行过滤，从多个人脸图像中选出一部分人脸图像，仅对选出的人脸图像进行聚类操作，其余的人脸图像被过滤掉，不进行聚类。
步骤S230可以采用任何现有的或将来可能出现的人脸特征提取方法实现。示例性地，可以采用基于深度学习训练出的人脸特征提取模型来提取目标人脸的特征。例如，人脸特征提取模型可以是常规的卷积神经网络。
示例性地，人脸特征数据可以是通过采用人脸关键点定位方法对人脸图像进行处理所获得的数据。示例性地，人脸特征数据可以用特征向量的形式表示。在这种情况下，对于每个人脸图像来说，提取目标人脸的特征之后，所获得的是一个特征向量。
在步骤S240，根据至少部分人脸图像的人脸特征数据和人脸质量数据对至少部分人脸图像进行聚类。
示例性地，可以根据至少部分人脸图像的人脸特征数据计算不同人脸图像之间的相似度。此外，可以根据至少部分人脸图像的人脸质量数据计算相似度阈值。在不考虑人脸质量数据的情况下，相似度阈值具有预设的初始值，可以基于该初始的相似度阈值判断两个人脸图像中的目标人脸是否属于同一人。在本发明的实施例中，考虑人脸质量数据，可以基于人脸质量数据调整相似度阈值。例如，在人脸质量比较差(例如目标人脸的模糊程度比较高)的情况下，可以将相似度阈值调整得高一些，使得聚合为一类的判定条件更严格，即两个人脸图像更难被判定为属于同一人，通过这种方式可以减小人脸质量差或不同人脸图像中的人脸质量差异大对聚类效果的影响，减小聚类的误差。
图2所示的人脸聚类方法200的各步骤的执行顺序仅是示例而非对本发明的限制，人脸聚类方法200可以具有其他合理的执行顺序。例如，步骤S230可以在步骤S220之前或与步骤S220同时执行。
根据本发明实施例的人脸聚类方法，在进行聚类时，不仅考虑人脸特征，还考虑人脸质量，使得在聚类过程中可以有效减小人脸质量差或人脸质量差异大对聚类效果的影响。根据本发明实施例的人脸聚类方法具有高准确率、高召回率、高可靠性等特点。与现有的人脸聚类方法相比，根据本发明实施例的人脸聚类方法具有更好的适应性以及更好的聚类性能。
示例性地，根据本发明实施例的人脸聚类方法可以在具有存储器和处理器的设备、装置或者系统中实现。
根据本发明实施例的人脸聚类方法可以部署在图像采集端处，例如，在安防监控领域，可以部署在门禁系统的图像采集端；在基于软件的模式识别领域，可以部署在个人终端处，诸如智能电话、平板电脑、个人计算机等。
替代地，根据本发明实施例的人脸聚类方法还可以分布地部署在服务器端和个人终端处。例如，可以在图像采集端采集人脸图像，图像采集端将采集的人脸图像传送给服务器端(或云端)，由服务器端(或云端)进行人脸聚类。
根据本发明实施例，步骤S240可以包括：从至少部分人脸图像中选择至少两个人脸图像；以及根据至少两个人脸图像的人脸特征数据和人脸质量数据对至少两个人脸图像进行聚类，以将至少两个人脸图像划分为特定数目的图像组，以获得聚类结果。聚类结果可以包括与当前聚类获得的图像组以及各图像组中包括的人脸图像相关的信息。对至少两个人脸图像进行聚类所获得的聚类结果可以理解为初始的聚类结果，后续可以对该聚类结果进行更新，例如采用下文的增量聚类方式对剩余人脸图像进行聚类，以获得新的聚类结果。在增量聚类过程中，聚类结果可以不断更新，当至少部分人脸中的所有人脸图像聚类结束之后，可以获得最终的聚类结果。
在一个示例中，从至少部分人脸图像中选择至少两个人脸图像可以包括：判断至少部分人脸图像的人脸质量数据是否满足第一预设要求；确定人脸质量数据满足第一预设要求的人脸图像为至少两个人脸图像。
第一预设要求中涉及对人脸质量数据的要求以及作为判断上述人脸质量数据是否满足要求的阈值均可以根据需要设定，本发明不对此进行限制。示例性地，第一预设要求可以包括以下项中的一项或多项：目标人脸的俯仰角小于第一俯仰角度；目标人脸的偏航角小于第一偏航角度；目标人脸的翻滚角小于第一翻滚角度；目标人脸的模糊程度小于第一模糊度阈值；目标人脸的亮度值处于第一预设范围内；目标人脸的像素数目大于第一像素数阈值。
上述第一俯仰角度、第一偏航角度、第一翻滚角度、第一模糊度阈值、第一预设范围和第一像素数阈值可以事先设定好。
示例性地，步骤S240还可以包括：确定人脸质量数据不满足第一预设要求的人脸图像为剩余人脸图像；根据至少两个人脸图像的聚类结果以及剩余人脸图像的人脸特征数据和人脸质量数据，将剩余人脸图像划分到上述特定数目的图像组或新的图像组中以更新聚类结果。
例如，假设至少部分人脸图像的数目为100个，其中有10个人脸图像中的目标人脸的偏航角过大，超过了第一偏航角度，则可以将这10个人脸图像选出。为描述方便，假设剩余的90个人脸图像属于第一图像集合，所选出的10个人脸图像属于第二图像集合。第二图像集合中的人脸图像对人脸聚类效果影响较大，因此不参与直接聚类(本文称为全量聚类)。例如，可以首先对第一图像集合中的90个人脸图像进行全量聚类，将这90个人脸图像划分为若干个图像组，每个图像组对应一个人。此时可以获得这90个人脸图像的聚类结果。随后，对第二图像集合中的10个人脸图像进行增量聚类。假设对第一图像集合进行全量聚类共获得12个图像组，对应着12个人，则对于第二图像集合中的10个人脸图像中的每个人脸图像，可以尝试将该人脸图像划分到这12个图像组中。如果发现第二图像集合中的某个人脸图像不属于任一已知的图像组，则可以将该人脸图像划分到一个新的图像组。在每次对第二图像集合中的每个人脸图像进行聚类时，可以根据人脸图像所归入的图像组，相应地对聚类结果进行一次更新。
采用先全量聚类再增量聚类的方式可以进一步减小人脸质量差的人脸图像对人脸聚类的影响，因此可以进一步改善人脸聚类效果。
在另一个示例中，从至少部分人脸图像中选择至少两个人脸图像可以包括：确定至少部分人脸图像为至少两个人脸图像。也就是说，可以直接对至少部分人脸图像中的所有人脸图像进行全量聚类，不再按照对人脸聚类效果的影响大小区分人脸图像。在获取的人脸图像中的人脸质量均较好且差异不大的情况下，采用这种处理方式，可以减小计算量，提高人脸聚类的效率。
根据本发明实施例，根据至少两个人脸图像的聚类结果以及剩余人脸图像的人脸特征数据和人脸质量数据，将剩余人脸图像划分到特定数目的图像组或新的图像组中以更新聚类结果包括：根据剩余人脸图像中每个人脸图像的人脸特征数据和聚类结果中每个图像组中的每个人脸图像的人脸特征数据，计算剩余人脸图像中每个人脸图像与聚类结果中每个图像组中的所有人脸图像之间的人脸相似度的平均值作为剩余人脸图像中每个人脸图像与聚类结果中每个图像组之间的人脸相似度；如果聚类结果中存在与剩余人脸图像中的一人脸图像之间的人脸相似度大于预设阈值的图像组，则将该人脸图像归入与该人脸图像之间的人脸相似度最大的图像组以更新聚类结果，如果剩余人脸图像的一人脸图像与聚类结果中的所有图像组之间的人脸相似度均不大于预设阈值，则将该人脸图像归入新的图像组以更新聚类结果。
沿用上述示例。对于第二图像集合中的第m(m＝1,2,…,10)个人脸图像来说，可以首先计算其与第k(k≥1,2,…,12)个图像组中的每个人脸图像之间的相似度(称为人脸相似度)，并对求得的人脸相似度求平均，获得第m个人脸图像与第k个图像组之间的人脸相似度。对于第m个人脸图像来说，可以计算获得k个人脸相似度，取人脸相似度最大且大于预设阈值的图像组加入该第m个人脸图像，并相应地更新聚类结果。如果k个人脸相似度中不存在大于预设阈值的图像组，则可以将该第m个人脸图像划分到一个新的图像组中，并相应地更新聚类结果。
可以理解，在对第二图像集合进行增量聚类之前，已划分出12个图像组，此时，k＝12。随着增量聚类的进行，可能会有新的图像组出现，所以k有可能大于12。第二图像集合中的人脸图像如果按照一定的顺序依次进行聚类的话，对于当前的人脸图像来说，已存在的图像组可能≥12，且第二图像集合中的不同人脸图像可能会面向不同的已有图像组进行聚类。
根据本发明实施例，根据至少两个人脸图像的人脸特征数据和人脸质量数据对至少两个人脸图像进行聚类，以将至少两个人脸图像划分为特定数目的图像组可以包括：基于至少两个人脸图像的人脸特征数据构建相似度矩阵；根据至少两个人脸图像的人脸质量数据计算相似度阈值；根据相似度矩阵和相似度阈值初始化连接矩阵；以经初始化的连接矩阵为基础，利用相似度矩阵和相似度阈值迭代更新连接矩阵，直至迭代更新次数达到预设次数或与聚类相关的预设目标函数收敛；以及基于迭代更新后的连接矩阵确定至少两个人脸图像各自所属的图像组。
基于每两个人脸图像的人脸特征数据可以计算该两个人脸图像中的目标人脸之间的相似度。相似度的计算方式可以采用本领域的常规计算方式实现，此处不赘述。假设至少两个人脸图像的数目为n个，则相似度矩阵可以构建为n*n维的矩阵(Si,j)n*n。在相似度矩阵中，元素Si,j代表第i个人脸图像和第j个人脸图像之间的相似度。元素Si,j可以是一个非负的数值，第i个人脸图像和第j个人脸图像中的目标人脸越相似，Si,j的值就越接近1；反之，第i个人脸图像和第j个人脸图像中的目标人脸越不相似，Si,j的值就越小，越接近0。
可以预先构建相似度阈值与人脸质量数据之间的计算函数。该计算函数可以基于理论或实践经验构建。例如，可以构建该计算函数，使得在至少两个人脸图像中的目标人脸的模糊程度的平均值越大时，计算获得的相似度阈值越高。又例如，可以构建该计算函数，使得在至少两个人脸图像中的目标人脸的年龄相差越大时，计算获得的相似度阈值越高。又例如，可以构建该计算函数，使得在至少两个人脸图像中的目标人脸的角度(俯仰角、偏航角、翻滚角等)的平均值越大时，计算获得的相似度阈值越高。
随后，可以基于相似度矩阵中每两个人脸图像之间的相似度以及计算获得的相似度阈值，判断每两个人脸图像中的目标人脸是否属于同一人。需理解，在判断两个人脸图像中的目标人脸是否属于同一人时，可以是将这两个人脸图像之间的相似度直接与相似度阈值进行对比，也可以是将该相似度与相似度阈值进行一定的运算(并非简单的比较)，再根据计算结果判断是否属于同一人。
根据相似度阈值和相似度矩阵确定每两个人脸图像中的目标人脸是否属于同一人之后，可以初始化一个连接矩阵。连接矩阵与相似度矩阵的表示形式类似，也可以是一个n*n维的矩阵，例如用矩阵(Ai,j)n*n表示。在连接矩阵中，元素Ai,j代表第i个人脸图像和第j个人脸图像中的目标人脸是否属于同一人。元素Ai,j可以是0和1中的某一个值。例如，如果第i个人脸图像和第j个人脸图像中的目标人脸属于同一人，则Si,j的值取1；反之，如果第i个人脸图像和第j个人脸图像中的目标人脸不属于同一人，则Si,j的值取0。
根据连接矩阵可以确定至少两个人脸图像共属于多少图像组，每个图像组包括哪些人脸图像。
在构建相似度矩阵、计算相似度阈值以及初始化连接矩阵之后，可以继续基于条件随机场的模型对至少两个人脸图像进行聚类。基于条件随机场的模型进行聚类的实现方式是在经初始化的连接矩阵(即具有初始化参数的连接矩阵)的基础上，利用相识度矩阵和相似度阈值不断地迭代更新连接矩阵。
基于条件随机场的模型进行聚类的方法的原理大致如下。假设在当前的连接矩阵中确定人脸图像A和人脸图像B属于同一图像组，则可以根据当前的连接矩阵、相似度阈值和相似度矩阵确定与人脸图像A属于同一图像组的所有人脸图像(假设为图像集合X)，并确定与人脸图像B属于同一图像组的所有人脸图像(假设为图像集合Y)。将图像集合X中的人脸图像与图像集合Y中的人脸图像进行对比。假设图像集合X和图像集合Y的交集为图像集合I，图像集合X与图像集合Y的并集为图像集合U，则可以计算图像集合I与U之比，根据比值判断人脸图像A和人脸图像B是否确实属于同一图像组。如果确定人脸图像A和人脸图像B不属于同一图像组，则可以更新连接矩阵中的对应元素的值，例如将该元素的值由1改为0。上文通过简单的示例描述了连接矩阵的更新原理，但是需理解的是，在连接矩阵的更新过程中所涉及的重新判断人脸图像A和B是否属于同一图像组的算法可以更复杂。
基于条件随机场的模型进行聚类的方法考虑了与每个人脸图像属于同一图像组的其他人脸图像(可以称为邻近图像)的情况，以邻近图像作为人脸图像的约束因素，辅助判断两个人脸图像是否确实属于同一图像组。这种方式可以大大提高聚类的准确性。
上述连接矩阵的更新步骤可以重复执行，直至连接矩阵的迭代更新次数达到预设次数(例如2次)或预设目标函数收敛，例如收敛到极小值。预设目标函数是用于衡量聚类质量的函数，其可以是本领域采用的常规目标函数，例如残差平方和(SSE)函数等。
当迭代更新停止后，基于当前的连接矩阵可以确定至少两个人脸图像分别属于哪些图像组，即可以获得最终的人脸聚类结果。
根据本发明实施例，在步骤S220之后，人脸聚类方法200还可以包括：判断多个人脸图像的人脸质量数据是否满足第二预设要求；从多个人脸图像中选择人脸质量数据满足第二预设要求的人脸图像作为至少部分人脸图像。
与第一预设要求类似地，第二预设要求中涉及对人脸质量数据的要求以及作为判断上述人脸质量数据是否满足要求的判据的阈值均可以根据需要设定，本发明不对此进行限制。示例性地，第二预设要求可以包括以下项中的一项或多项：目标人脸的俯仰角小于第二俯仰角度；目标人脸的偏航角小于第二偏航角度；目标人脸的翻滚角小于第二翻滚角度；目标人脸的模糊程度小于第二模糊度阈值；目标人脸的亮度值处于第二预设范围内；目标人脸的像素数目大于第二像素数阈值。
可以参考第一预设要求的描述来理解第二预设要求，此处不再赘述。第一预设要求和第二预设要求中所涉及的人脸质量数据的类型可以相同，也可以不同，其均可以根据需要设定。
需注意，在采用第一预设要求和/或第二预设要求对人脸图像进行区分时，第一预设要求和/或第二预设要求可能对在步骤S220中检测获得的质量数据中的某些特定数据(例如目标人脸的年龄)没有要求，这种情况下可以理解为在第一预设要求和/或第二预设要求中，对该特定数据的约束条件是该特定数据为任意值，即无论该特定数据是多少，均符合第一预设要求和/或第二预设要求中对该特定数据的约束条件。
对于严重影响聚类效果的人脸图像，可以直接过滤掉。例如，可以直接将获取的人脸图像中的目标人脸的俯仰角或偏航角大于一定角度、目标人脸的模糊程度大于一定阈值、目标人脸的像素数目大于一定数量的人脸图像丢弃，不再参与聚类。这样可以进一步减小质量差的人脸图像对聚类效果的影响。
根据本发明另一方面，提供一种人脸聚类装置。图3示出了根据本发明一个实施例的人脸聚类装置300的示意性框图。
如图3所示，根据本发明实施例的人脸聚类装置300包括图像获取模块310、质量检测模块320、特征提取模块330和聚类模块340。所述各个模块可分别执行上文中结合图2描述的人脸聚类方法的各个步骤/功能。以下仅对该人脸聚类装置300的各部件的主要功能进行描述，而省略以上已经描述过的细节内容。
图像获取模块310用于获取多个人脸图像。图像获取模块310可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。
质量检测模块320用于检测所述多个人脸图像中的目标人脸的人脸质量，以获得所述多个人脸图像的人脸质量数据。质量检测模块320可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。
特征提取模块330用于提取所述多个人脸图像中的至少部分人脸图像中的目标人脸的特征，以获得所述至少部分人脸图像的人脸特征数据。特征提取模块330可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。
聚类模块340用于根据所述至少部分人脸图像的人脸特征数据和人脸质量数据对所述至少部分人脸图像进行聚类。聚类模块340可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。
示例性地，聚类模块340包括：选择子模块，用于从至少部分人脸图像中选择至少两个人脸图像；以及第一聚类子模块，用于根据至少两个人脸图像的人脸特征数据和人脸质量数据对至少两个人脸图像进行聚类，以将至少两个人脸图像划分为特定数目的图像组，以获得聚类结果。
示例性地，第一聚类子模块包括：相似度矩阵构建单元，用于基于至少两个人脸图像的人脸特征数据构建相似度矩阵；相似度阈值计算单元，用于根据至少两个人脸图像的人脸质量数据计算相似度阈值；连接矩阵初始化单元，用于根据相似度矩阵和相似度阈值初始化连接矩阵；连接矩阵更新单元，用于以经初始化的连接矩阵为基础，利用相似度矩阵和相似度阈值迭代更新连接矩阵，直至迭代更新次数达到预设次数或与聚类相关的预设目标函数收敛；以及图像组确定单元，用于基于迭代更新后的连接矩阵确定至少两个人脸图像各自所属的图像组。
示例性地，选择子模块包括：判断单元，用于判断至少部分人脸图像的人脸质量数据是否满足第一预设要求；图像确定单元，用于确定人脸质量数据满足第一预设要求的人脸图像为至少两个人脸图像。
示例性地，聚类模块340还包括：图像确定子模块，用于确定人脸质量数据不满足第一预设要求的人脸图像为剩余人脸图像；第二聚类子模块，用于根据至少两个人脸图像的聚类结果以及剩余人脸图像的人脸特征数据和人脸质量数据，将剩余人脸图像划分到特定数目的图像组或新的图像组中以更新聚类结果。
示例性地，第二聚类子模块包括：相似度计算单元，用于根据剩余人脸图像中每个人脸图像的人脸特征数据和聚类结果中每个图像组中的每个人脸图像的人脸特征数据，计算剩余人脸图像中每个人脸图像与聚类结果中每个图像组中的所有人脸图像之间的人脸相似度的平均值作为剩余人脸图像中每个人脸图像与聚类结果中每个图像组之间的人脸相似度；图像组归类单元，用于如果聚类结果中存在与剩余人脸图像中的一人脸图像之间的人脸相似度大于预设阈值的图像组，则将该人脸图像归入与该人脸图像之间的人脸相似度最大的图像组以更新聚类结果，如果剩余人脸图像的一人脸图像与聚类结果中的所有图像组之间的人脸相似度均不大于预设阈值，则将该人脸图像归入新的图像组以更新聚类结果。
示例性地，第一预设要求包括以下项中的一项或多项：目标人脸的俯仰角小于第一俯仰角度；目标人脸的偏航角小于第一偏航角度；目标人脸的翻滚角小于第一翻滚角度；目标人脸的模糊程度小于第一模糊度阈值；目标人脸的亮度值处于第一预设范围内；目标人脸的像素数目大于第一像素数阈值。
示例性地，人脸聚类装置300还包括：判断模块，用于在质量检测模块320检测多个人脸图像中的目标人脸的人脸质量之后，判断多个人脸图像的人脸质量数据是否满足第二预设要求；选择模块，用于从多个人脸图像中选择人脸质量数据满足第二预设要求的人脸图像作为至少部分人脸图像。
示例性地，第二预设要求包括以下项中的一项或多项：目标人脸的俯仰角小于第二俯仰角度；目标人脸的偏航角小于第二偏航角度；目标人脸的翻滚角小于第二翻滚角度；目标人脸的模糊程度小于第二模糊度阈值；目标人脸的亮度值处于第二预设范围内；目标人脸的像素数目大于第二像素数阈值。
示例性地，人脸质量数据包括以下项中的一项或多项：对应目标人脸的模糊程度、对应目标人脸的像素数目、对应目标人脸的亮度值、对应目标人脸的人脸姿态数据、对应目标人脸的年龄。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
图4示出了根据本发明一个实施例的人脸聚类系统400的示意性框图。人脸聚类系统400包括图像采集装置410、存储装置420、以及处理器430。
图像采集装置410用于采集人脸图像。图像采集装置410是可选的，人脸聚类系统400可以不包括图像采集装置410。在这种情况下，可以利用其他图像采集装置采集人脸图像，并将采集的人脸图像发送给人脸聚类系统400。
所述存储器420存储用于实现根据本发明实施例的人脸聚类方法中的相应步骤的计算机程序指令。
所述处理器430用于运行所述存储器420中存储的计算机程序指令，以执行根据本发明实施例的人脸聚类方法的相应步骤，并且用于实现根据本发明实施例的人脸聚类装置300中的图像获取模块310、质量检测模块320、特征提取模块330和聚类模块340。
在一个实施例中，所述计算机程序指令被所述处理器430运行时用于执行以下步骤：获取多个人脸图像；检测多个人脸图像中的目标人脸的人脸质量，以获得多个人脸图像的人脸质量数据；提取多个人脸图像中的至少部分人脸图像中的目标人脸的特征，以获得至少部分人脸图像的人脸特征数据；以及根据至少部分人脸图像的人脸特征数据和人脸质量数据对至少部分人脸图像进行聚类。
示例性地，所述计算机程序指令被所述处理器430运行时所用于执行的根据至少部分人脸图像的人脸特征数据和人脸质量数据对至少部分人脸图像进行聚类的步骤包括：从至少部分人脸图像中选择至少两个人脸图像；以及根据至少两个人脸图像的人脸特征数据和人脸质量数据对至少两个人脸图像进行聚类，以将至少两个人脸图像划分为特定数目的图像组，以获得聚类结果。
示例性地，所述计算机程序指令被所述处理器430运行时所用于执行的根据至少两个人脸图像的人脸特征数据和人脸质量数据对至少两个人脸图像进行聚类，以将至少两个人脸图像划分为特定数目的图像组的步骤包括：基于至少两个人脸图像的人脸特征数据构建相似度矩阵；根据至少两个人脸图像的人脸质量数据计算相似度阈值；根据相似度矩阵和相似度阈值初始化连接矩阵；以经初始化的连接矩阵为基础，利用相似度矩阵和相似度阈值迭代更新连接矩阵，直至迭代更新次数达到预设次数或与聚类相关的预设目标函数收敛；以及基于迭代更新后的连接矩阵确定至少两个人脸图像各自所属的图像组。
示例性地，所述计算机程序指令被所述处理器430运行时所用于执行的从至少部分人脸图像中选择至少两个人脸图像的步骤包括：判断至少部分人脸图像的人脸质量数据是否满足第一预设要求；确定人脸质量数据满足第一预设要求的人脸图像为至少两个人脸图像。
所述计算机程序指令被所述处理器430运行时所用于执行的根据至少部分人脸图像的人脸特征数据和人脸质量数据对至少部分人脸图像进行聚类的步骤还包括：确定人脸质量数据不满足第一预设要求的人脸图像为剩余人脸图像；根据至少两个人脸图像的聚类结果以及剩余人脸图像的人脸特征数据和人脸质量数据，将剩余人脸图像划分到特定数目的图像组或新的图像组中以更新聚类结果。
示例性地，所述计算机程序指令被所述处理器430运行时所用于执行的根据至少两个人脸图像的聚类结果以及剩余人脸图像的人脸特征数据和人脸质量数据，将剩余人脸图像划分到特定数目的图像组或新的图像组中以更新聚类结果的步骤包括：根据剩余人脸图像中每个人脸图像的人脸特征数据和聚类结果中每个图像组中的每个人脸图像的人脸特征数据，计算剩余人脸图像中每个人脸图像与聚类结果中每个图像组中的所有人脸图像之间的人脸相似度的平均值作为剩余人脸图像中每个人脸图像与聚类结果中每个图像组之间的人脸相似度；如果聚类结果中存在与剩余人脸图像中的一人脸图像之间的人脸相似度大于预设阈值的图像组，则将该人脸图像归入与该人脸图像之间的人脸相似度最大的图像组以更新聚类结果，如果剩余人脸图像的一人脸图像与聚类结果中的所有图像组之间的人脸相似度均不大于预设阈值，则将该人脸图像归入新的图像组以更新聚类结果。
示例性地，第一预设要求包括以下项中的一项或多项：目标人脸的俯仰角小于第一俯仰角度；目标人脸的偏航角小于第一偏航角度；目标人脸的翻滚角小于第一翻滚角度；目标人脸的模糊程度小于第一模糊度阈值；目标人脸的亮度值处于第一预设范围内；目标人脸的像素数目大于第一像素数阈值。
示例性地，在所述计算机程序指令被所述处理器430运行时所用于执行的检测多个人脸图像中的目标人脸的人脸质量的步骤之后，所述计算机程序指令被所述处理器430运行时还用于执行以下步骤：判断多个人脸图像的人脸质量数据是否满足第二预设要求；从多个人脸图像中选择人脸质量数据满足第二预设要求的人脸图像作为至少部分人脸图像。
示例性地，第二预设要求包括以下项中的一项或多项：目标人脸的俯仰角小于第二俯仰角度；目标人脸的偏航角小于第二偏航角度；目标人脸的翻滚角小于第二翻滚角度；目标人脸的模糊程度小于第二模糊度阈值；目标人脸的亮度值处于第二预设范围内；目标人脸的像素数目大于第二像素数阈值。
示例性地，人脸质量数据包括以下项中的一项或多项：对应目标人脸的模糊程度、对应目标人脸的像素数目、对应目标人脸的亮度值、对应目标人脸的人脸姿态数据、对应目标人脸的年龄。
此外，根据本发明实施例，还提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本发明实施例的人脸聚类方法的相应步骤，并且用于实现根据本发明实施例的人脸聚类装置中的相应模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。
在一个实施例中，所述程序指令在被计算机或处理器运行时可以使得计算机或处理器实现根据本发明实施例的人脸聚类装置的各个功能模块，并且/或者可以执行根据本发明实施例的人脸聚类方法。
在一个实施例中，所述程序指令在运行时用于执行以下步骤：获取多个人脸图像；检测多个人脸图像中的目标人脸的人脸质量，以获得多个人脸图像的人脸质量数据；提取多个人脸图像中的至少部分人脸图像中的目标人脸的特征，以获得至少部分人脸图像的人脸特征数据；以及根据至少部分人脸图像的人脸特征数据和人脸质量数据对至少部分人脸图像进行聚类。
示例性地，所述程序指令在运行时所用于执行的根据至少部分人脸图像的人脸特征数据和人脸质量数据对至少部分人脸图像进行聚类的步骤包括：从至少部分人脸图像中选择至少两个人脸图像；以及根据至少两个人脸图像的人脸特征数据和人脸质量数据对至少两个人脸图像进行聚类，以将至少两个人脸图像划分为特定数目的图像组，以获得聚类结果。
示例性地，所述程序指令在运行时所用于执行的根据至少两个人脸图像的人脸特征数据和人脸质量数据对至少两个人脸图像进行聚类，以将至少两个人脸图像划分为特定数目的图像组的步骤包括：基于至少两个人脸图像的人脸特征数据构建相似度矩阵；根据至少两个人脸图像的人脸质量数据计算相似度阈值；根据相似度矩阵和相似度阈值初始化连接矩阵；以经初始化的连接矩阵为基础，利用相似度矩阵和相似度阈值迭代更新连接矩阵，直至迭代更新次数达到预设次数或与聚类相关的预设目标函数收敛；以及基于迭代更新后的连接矩阵确定至少两个人脸图像各自所属的图像组。
示例性地，所述程序指令在运行时所用于执行的从至少部分人脸图像中选择至少两个人脸图像的步骤包括：判断至少部分人脸图像的人脸质量数据是否满足第一预设要求；确定人脸质量数据满足第一预设要求的人脸图像为至少两个人脸图像。
所述程序指令在运行时所用于执行的根据至少部分人脸图像的人脸特征数据和人脸质量数据对至少部分人脸图像进行聚类的步骤还包括：确定人脸质量数据不满足第一预设要求的人脸图像为剩余人脸图像；根据至少两个人脸图像的聚类结果以及剩余人脸图像的人脸特征数据和人脸质量数据，将剩余人脸图像划分到特定数目的图像组或新的图像组中以更新聚类结果。
示例性地，所述程序指令在运行时所用于执行的根据至少两个人脸图像的聚类结果以及剩余人脸图像的人脸特征数据和人脸质量数据，将剩余人脸图像划分到特定数目的图像组或新的图像组中以更新聚类结果的步骤包括：根据剩余人脸图像中每个人脸图像的人脸特征数据和聚类结果中每个图像组中的每个人脸图像的人脸特征数据，计算剩余人脸图像中每个人脸图像与聚类结果中每个图像组中的所有人脸图像之间的人脸相似度的平均值作为剩余人脸图像中每个人脸图像与聚类结果中每个图像组之间的人脸相似度；如果聚类结果中存在与剩余人脸图像中的一人脸图像之间的人脸相似度大于预设阈值的图像组，则将该人脸图像归入与该人脸图像之间的人脸相似度最大的图像组以更新聚类结果，如果剩余人脸图像的一人脸图像与聚类结果中的所有图像组之间的人脸相似度均不大于预设阈值，则将该人脸图像归入新的图像组以更新聚类结果。
示例性地，第一预设要求包括以下项中的一项或多项：目标人脸的俯仰角小于第一俯仰角度；目标人脸的偏航角小于第一偏航角度；目标人脸的翻滚角小于第一翻滚角度；目标人脸的模糊程度小于第一模糊度阈值；目标人脸的亮度值处于第一预设范围内；目标人脸的像素数目大于第一像素数阈值。
示例性地，在所述程序指令在运行时所用于执行的检测多个人脸图像中的目标人脸的人脸质量的步骤之后，所述程序指令在运行时还用于执行以下步骤：判断多个人脸图像的人脸质量数据是否满足第二预设要求；从多个人脸图像中选择人脸质量数据满足第二预设要求的人脸图像作为至少部分人脸图像。
示例性地，第二预设要求包括以下项中的一项或多项：目标人脸的俯仰角小于第二俯仰角度；目标人脸的偏航角小于第二偏航角度；目标人脸的翻滚角小于第二翻滚角度；目标人脸的模糊程度小于第二模糊度阈值；目标人脸的亮度值处于第二预设范围内；目标人脸的像素数目大于第二像素数阈值。
示例性地，人脸质量数据包括以下项中的一项或多项：对应目标人脸的模糊程度、对应目标人脸的像素数目、对应目标人脸的亮度值、对应目标人脸的人脸姿态数据、对应目标人脸的年龄。
根据本发明实施例的人脸聚类系统中的各模块可以通过根据本发明实施例的实施人脸聚类的电子设备的处理器运行在存储器中存储的计算机程序指令来实现，或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。
尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的人脸聚类装置中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种人脸聚类方法，包括：
获取多个人脸图像；
检测所述多个人脸图像中的目标人脸的人脸质量，以获得所述多个人脸图像的人脸质量数据；
提取所述多个人脸图像中的至少部分人脸图像中的目标人脸的特征，以获得所述至少部分人脸图像的人脸特征数据；以及
根据所述至少部分人脸图像的人脸特征数据和人脸质量数据对所述至少部分人脸图像进行聚类；
其中，所述根据所述至少部分人脸图像的人脸特征数据和人脸质量数据对所述至少部分人脸图像进行聚类包括：
从所述至少部分人脸图像中选择至少两个人脸图像；以及
根据所述至少两个人脸图像的人脸特征数据和人脸质量数据对所述至少两个人脸图像进行聚类，以将所述至少两个人脸图像划分为特定数目的图像组，以获得聚类结果；
其中，所述根据所述至少两个人脸图像的人脸特征数据和人脸质量数据对所述至少两个人脸图像进行聚类，以将所述至少两个人脸图像划分为特定数目的图像组包括：
根据预先构建的计算函数并根据所述至少两个人脸图像的人脸质量数据计算相似度阈值，其中，所述计算函数构建为使得所述至少两个人脸图像的人脸质量数据的平均值越大或者人脸质量数据相差越大时，计算获得的相似度阈值越大；
根据所述相似度阈值和所述至少两个人脸图像的人脸特征数据对所述至少两个人脸图像进行聚类，以将所述至少两个人脸图像划分为特定数目的图像组。
2.如权利要求1所述的方法，其中，所述根据所述相似度阈值和所述至少两个人脸图像的人脸特征数据对所述至少两个人脸图像进行聚类，以将所述至少两个人脸图像划分为特定数目的图像组包括：
基于所述至少两个人脸图像的人脸特征数据构建相似度矩阵；
根据所述相似度矩阵和所述相似度阈值初始化连接矩阵；
以经初始化的所述连接矩阵为基础，利用所述相似度矩阵和所述相似度阈值迭代更新所述连接矩阵，直至迭代更新次数达到预设次数或与聚类相关的预设目标函数收敛；以及
基于迭代更新后的所述连接矩阵确定所述至少两个人脸图像各自所属的图像组。
3.如权利要求1所述的方法，其中，所述从所述至少部分人脸图像中选择至少两个人脸图像包括：
判断所述至少部分人脸图像的人脸质量数据是否满足第一预设要求；以及
确定人脸质量数据满足所述第一预设要求的人脸图像为所述至少两个人脸图像。
4.如权利要求3所述的方法，其中，所述根据所述至少部分人脸图像的人脸特征数据和人脸质量数据对所述至少部分人脸图像进行聚类还包括：
确定人脸质量数据不满足所述第一预设要求的人脸图像为剩余人脸图像；
根据所述至少两个人脸图像的所述聚类结果以及所述剩余人脸图像的人脸特征数据和人脸质量数据，将所述剩余人脸图像划分到所述特定数目的图像组或新的图像组中以更新所述聚类结果。
5.如权利要求4所述的方法，其中，所述根据所述至少两个人脸图像的聚类结果以及所述剩余人脸图像的人脸特征数据和人脸质量数据，将所述剩余人脸图像划分到所述特定数目的图像组或新的图像组中以更新所述聚类结果包括：
根据所述剩余人脸图像中每个人脸图像的人脸特征数据和所述聚类结果中每个图像组中的每个人脸图像的人脸特征数据，计算所述剩余人脸图像中每个人脸图像与所述聚类结果中每个图像组中的所有人脸图像之间的人脸相似度的平均值作为所述剩余人脸图像中每个人脸图像与所述聚类结果中每个图像组之间的人脸相似度；
如果所述聚类结果中存在与所述剩余人脸图像中的一人脸图像之间的人脸相似度大于预设阈值的图像组，则将该人脸图像归入与该人脸图像之间的人脸相似度最大的图像组以更新所述聚类结果，如果所述剩余人脸图像的一人脸图像与所述聚类结果中的所有图像组之间的人脸相似度均不大于所述预设阈值，则将该人脸图像归入新的图像组以更新所述聚类结果。
6.如权利要求3所述的方法，其中，所述第一预设要求包括以下项中的一项或多项：
目标人脸的俯仰角小于第一俯仰角度；
目标人脸的偏航角小于第一偏航角度；
目标人脸的翻滚角小于第一翻滚角度；
目标人脸的模糊程度小于第一模糊度阈值；
目标人脸的亮度值处于第一预设范围内；
目标人脸的像素数目大于第一像素数阈值。
7.如权利要求1所述的方法，其中，在所述检测所述多个人脸图像中的目标人脸的人脸质量之后，所述人脸聚类方法还包括：
判断所述多个人脸图像的人脸质量数据是否满足第二预设要求；
从所述多个人脸图像中选择人脸质量数据满足所述第二预设要求的人脸图像作为所述至少部分人脸图像。
8.如权利要求7所述的方法，其中，所述第二预设要求包括以下项中的一项或多项：
目标人脸的俯仰角小于第二俯仰角度；
目标人脸的偏航角小于第二偏航角度；
目标人脸的翻滚角小于第二翻滚角度；
目标人脸的模糊程度小于第二模糊度阈值；
目标人脸的亮度值处于第二预设范围内；
目标人脸的像素数目大于第二像素数阈值。
9.如权利要求1所述的方法，其中，所述人脸质量数据包括以下项中的一项或多项：对应目标人脸的模糊程度、对应目标人脸的像素数目、对应目标人脸的亮度值、对应目标人脸的人脸姿态数据、对应目标人脸的年龄。
10.一种人脸聚类装置，包括：
图像获取模块，用于获取多个人脸图像；
质量检测模块，用于检测所述多个人脸图像中的目标人脸的人脸质量，以获得所述多个人脸图像的人脸质量数据；
特征提取模块，用于提取所述多个人脸图像中的至少部分人脸图像中的目标人脸的特征，以获得所述至少部分人脸图像的人脸特征数据；以及
聚类模块，用于根据所述至少部分人脸图像的人脸特征数据和人脸质量数据对所述至少部分人脸图像进行聚类；
其中，所述聚类模块包括：
选择子模块，用于从所述至少部分人脸图像中选择至少两个人脸图像；以及
第一聚类子模块，用于根据所述至少两个人脸图像的人脸特征数据和人脸质量数据对所述至少两个人脸图像进行聚类，以将所述至少两个人脸图像划分为特定数目的图像组，以获得聚类结果；
其中，所述第一聚类子模块包括：
计算单元，用于根据预先构建的计算函数并根据所述至少两个人脸图像的人脸质量数据计算相似度阈值，其中，所述计算函数构建为使得所述至少两个人脸图像的人脸质量数据的平均值越大或者人脸质量数据相差越大时，计算获得的相似度阈值越大；
聚类单元，用于根据所述相似度阈值和所述至少两个人脸图像的人脸特征数据对所述至少两个人脸图像进行聚类，以将所述至少两个人脸图像划分为特定数目的图像组。
11.一种人脸聚类系统，包括处理器和存储器，其中，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行如权利要求1-9任一项所述的人脸聚类方法。
12.一种存储介质，在所述存储介质上存储了程序指令，所述程序指令在运行时用于执行如权利要求1-9任一项所述的人脸聚类方法。
CN201711389683.4A 2017-12-21 2017-12-21 人脸聚类方法、装置和系统及存储介质 Active CN108875522B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711389683.4A CN108875522B (zh) 2017-12-21 2017-12-21 人脸聚类方法、装置和系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711389683.4A CN108875522B (zh) 2017-12-21 2017-12-21 人脸聚类方法、装置和系统及存储介质

Publications (2)

Publication Number Publication Date
CN108875522A CN108875522A (zh) 2018-11-23
CN108875522B true CN108875522B (zh) 2022-06-10

Family

ID=64325791

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711389683.4A Active CN108875522B (zh) 2017-12-21 2017-12-21 人脸聚类方法、装置和系统及存储介质

Country Status (1)

Country Link
CN (1) CN108875522B (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543641B (zh) * 2018-11-30 2021-01-26 厦门市美亚柏科信息股份有限公司 一种实时视频的多目标去重方法、终端设备及存储介质
CN109447186A (zh) * 2018-12-13 2019-03-08 深圳云天励飞技术有限公司 聚类方法及相关产品
CN109658572B (zh) 2018-12-21 2020-09-15 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN111382627B (zh) * 2018-12-28 2024-03-26 成都云天励飞技术有限公司 同行判定方法及相关产品
CN109858380A (zh) * 2019-01-04 2019-06-07 广州大学 可扩展手势识别方法、装置、系统、手势识别终端和介质
CN110084267B (zh) * 2019-03-12 2023-05-26 北京旷视科技有限公司 人像聚类方法、装置、电子设备及可读存储介质
CN110069989B (zh) * 2019-03-15 2021-07-30 上海拍拍贷金融信息服务有限公司 人脸图像处理方法及装置、计算机可读存储介质
CN109800744B (zh) 2019-03-18 2021-08-20 深圳市商汤科技有限公司 图像聚类方法及装置、电子设备和存储介质
CN110110593A (zh) * 2019-03-27 2019-08-09 广州杰赛科技股份有限公司 基于自学习的人脸考勤方法、装置、设备及存储介质
CN109948734B (zh) * 2019-04-02 2022-03-29 北京旷视科技有限公司 图像聚类方法、装置及电子设备
CN110245679B (zh) * 2019-05-08 2021-12-28 北京旷视科技有限公司 图像聚类方法、装置、电子设备及计算机可读存储介质
CN110175549B (zh) * 2019-05-20 2024-02-20 腾讯科技（深圳）有限公司 人脸图像处理方法、装置、设备及存储介质
CN110298310A (zh) * 2019-06-28 2019-10-01 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN112149479B (zh) * 2019-06-28 2024-07-26 西安光启智能技术有限公司 人脸识别的方法、存储介质和电子装置
CN110516624A (zh) * 2019-08-29 2019-11-29 北京旷视科技有限公司 图像处理方法、装置、电子设备及存储介质
CN110968719B (zh) * 2019-11-25 2023-04-18 浙江大华技术股份有限公司 一种人脸聚类方法及装置
CN111598012B (zh) * 2020-05-19 2021-11-12 恒睿(重庆)人工智能技术研究院有限公司 一种图片聚类管理方法、系统、设备及介质
CN112906568B (zh) * 2020-07-16 2021-11-12 云从科技集团股份有限公司 动态阈值管理方法、系统、电子设备及介质
CN111931670B (zh) * 2020-08-14 2024-05-31 成都数城科技有限公司 基于卷积神经网的深度图像头部检测与定位方法及系统
CN112232324B (zh) * 2020-12-15 2021-08-03 杭州宇泛智能科技有限公司 人脸验伪方法、装置、计算机设备和存储介质
CN112446362B (zh) * 2020-12-16 2022-07-22 上海芯翌智能科技有限公司 人脸图片档案处理方法及设备
CN112560963A (zh) * 2020-12-17 2021-03-26 北京赢识科技有限公司 大规模人脸图像聚类方法、装置、电子设备及介质
CN112700568B (zh) * 2020-12-28 2023-04-18 科大讯飞股份有限公司 一种身份认证的方法、设备及计算机可读存储介质
CN112948612B (zh) * 2021-03-16 2024-02-06 杭州海康威视数字技术股份有限公司 人体封面生成方法、装置、电子设备及存储介质
CN112966136B (zh) * 2021-05-18 2021-09-07 武汉中科通达高新技术股份有限公司 一种人脸分类方法及装置
CN114663954B (zh) * 2022-03-30 2024-08-13 济南博观智能科技有限公司 一种人脸图像的聚类方法、系统、装置及计算机可读存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101359368B (zh) * 2008-09-09 2010-08-25 华为技术有限公司 一种视频图像聚类方法及系统
CN104820675B (zh) * 2015-04-08 2018-11-06 小米科技有限责任公司 相册显示方法及装置
CN105260732A (zh) * 2015-11-26 2016-01-20 小米科技有限责任公司 图片处理方法及装置
CN105488527B (zh) * 2015-11-27 2020-01-10 小米科技有限责任公司 图像分类方法及装置
CN107392222B (zh) * 2017-06-07 2020-07-07 深圳市深网视界科技有限公司 一种人脸聚类方法、装置以及存储介质

Also Published As

Publication number Publication date
CN108875522A (zh) 2018-11-23

Similar Documents

Publication Publication Date Title
CN108875522B (zh) 人脸聚类方法、装置和系统及存储介质
US11455807B2 (en) Training neural networks for vehicle re-identification
CN109961009B (zh) 基于深度学习的行人检测方法、系统、装置及存储介质
US10366313B2 (en) Activation layers for deep learning networks
CN108229322B (zh) 基于视频的人脸识别方法、装置、电子设备及存储介质
CN105938552B (zh) 底图自动更新的人脸识别方法及装置
Goodfellow et al. Multi-digit number recognition from street view imagery using deep convolutional neural networks
CN109145766B (zh) 模型训练方法、装置、识别方法、电子设备及存储介质
CN108427927B (zh) 目标再识别方法和装置、电子设备、程序和存储介质
US8792722B2 (en) Hand gesture detection
WO2019001481A1 (zh) 车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备
CN108875540B (zh) 图像处理方法、装置和系统及存储介质
CN108256404B (zh) 行人检测方法和装置
CN108932456B (zh) 人脸识别方法、装置和系统及存储介质
US20180032796A1 (en) Face identification using artificial neural network
US20160259980A1 (en) Systems and methodologies for performing intelligent perception based real-time counting
WO2022037541A1 (zh) 图像处理模型训练方法、装置、设备及存储介质
CN108875537B (zh) 对象检测方法、装置和系统及存储介质
WO2016054779A1 (en) Spatial pyramid pooling networks for image processing
US20120027263A1 (en) Hand gesture detection
CN108009466B (zh) 行人检测方法和装置
CN110765860A (zh) 摔倒判定方法、装置、计算机设备及存储介质
CN109241888B (zh) 神经网络训练与对象识别方法、装置和系统及存储介质
CN110414550B (zh) 人脸识别模型的训练方法、装置、系统和计算机可读介质
WO2021218238A1 (zh) 图像处理方法和图像处理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant