CN113283305B - 人脸识别方法、装置、电子设备及计算机可读存储介质 - Google Patents

Abstract

本公开提供了人脸识别方法、装置和电子设备等，涉及计算机视觉和深度学习等人工智能领域，所述方法可包括：针对连续视频帧中的任一视频帧，进行人脸检测，得到其中的指定人脸信息及对应的标识信息；将指定人脸信息对应的子图作为人脸抓拍图，并获取人脸抓拍图对应的质量评分；按照质量评分的大小，将人脸抓拍图加入到标识信息对应的缓冲区中，其中，缓冲区中至多存放M张人脸抓拍图，M为大于1的正整数；分别利用缓冲区中对应连续视频帧中多个视频帧的人脸抓拍图对目标库中的目标人脸图进行检索，根据得到的检索结果确定出指定人脸信息对应的人脸识别结果。应用本公开所述方案，可提升人脸识别的准确率和召回率。

Description

人脸识别方法、装置、电子设备及计算机可读存储介质

技术领域

本公开涉及人工智能技术领域，特别涉及计算机视觉和深度学习等领域的人脸识别方法、装置、电子设备及计算机可读存储介质。

背景技术

在进行人脸识别时，通常会按照一定的策略选取质量最优的人脸抓拍图，并通过将质量最优的人脸抓拍图的特征值与目标库中的各目标人脸图的特征值进行比对，得到人脸识别结果。

但是，所述策略通常只适用于特定的场景，一旦场景发生变化，按照所述策略选取出的质量最优的人脸抓拍图和实际的最优人脸抓拍图往往存在较大的差异，从而影响了人脸识别的准确率和召回率等。

发明内容

本公开提供了人脸识别方法、装置、电子设备及计算机可读存储介质。

根据本公开的一个方面，提供了一种人脸识别方法，包括：

针对连续视频帧中的任一视频帧，进行人脸检测，得到其中的指定人脸信息及对应的标识信息；

将所述指定人脸信息对应的子图作为人脸抓拍图，并获取所述人脸抓拍图对应的质量评分；

按照所述质量评分的大小，将所述人脸抓拍图加入到所述标识信息对应的缓冲区中，其中，所述缓冲区中至多存放M张人脸抓拍图，M为大于1的正整数；

分别利用所述缓冲区中对应所述连续视频帧中多个视频帧的人脸抓拍图对目标库中的目标人脸图进行检索，根据得到的检索结果确定所述指定人脸信息对应的人脸识别结果。

根据本公开的一个方面，提供了一种人脸识别装置，包括：第一处理模块、第二处理模块、第三处理模块以及第四处理模块；

所述第一处理模块，用于针对连续视频帧中的任一视频帧，进行人脸检测，得到其中的指定人脸信息及对应的标识信息；

所述第二处理模块，用于将所述指定人脸信息对应的子图作为人脸抓拍图，并获取所述人脸抓拍图对应的质量评分；

所述第三处理模块，用于按照所述质量评分的大小，将所述人脸抓拍图加入到所述标识信息对应的缓冲区中，其中，所述缓冲区中至多存放M张人脸抓拍图，M为大于1的正整数；

所述第四处理模块，用于分别利用所述缓冲区中对应所述连续视频帧中多个视频帧的人脸抓拍图对目标库中的目标人脸图进行检索，根据得到的检索结果确定所述指定人脸信息对应的人脸识别结果。

根据本公开的一个方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如以上所述的方法。

根据本公开的一个方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行如以上所述的方法。

根据本公开的一个方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如以上所述的方法。

上述公开中的一个实施例具有如下优点或有益效果：可选取多张质量较优的人脸抓拍图分别进行目标人脸图的检索，并可结合得到的各检索结果确定出人脸识别结果，从而降低了最优人脸抓拍图选取错误所带来的影响，提升了人脸识别的准确率和召回率。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1为本公开人脸识别方法实施例的流程图；

图2为本公开针对人脸信息b对应的人脸抓拍图的处理方法实施例的流程图；

图3为本公开根据人脸抓拍图1～人脸抓拍图6分别对应的检索结果确定出标识信息c对应的人脸信息的人脸识别结果的方法实施例的流程图；

图4为本公开人脸识别装置实施例400的组成结构示意图；

图5示出了可以用来实施本公开的实施例的电子设备500的示意性框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

另外，应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

图1为本公开人脸识别方法实施例的流程图。如图1所示，包括以下具体实现步骤。

在步骤101中，针对连续视频帧中的任一视频帧，进行人脸检测，得到其中的指定人脸信息及对应的标识信息。

在步骤102中，将指定人脸信息对应的子图作为人脸抓拍图，并获取人脸抓拍图对应的质量评分。

在步骤103中，按照质量评分的大小，将人脸抓拍图加入到标识信息对应的缓冲区中，其中，缓冲区中至多存放M张人脸抓拍图，M为大于1的正整数。

在步骤104中，分别利用缓冲区中对应连续视频帧中多个视频帧的人脸抓拍图对目标库中的目标人脸图进行检索，根据得到的检索结果确定出指定人脸信息对应的人脸识别结果。

可以看出，上述方法实施例所述方案中，可选取多张质量较优的人脸抓拍图分别进行目标人脸图的检索，并可结合得到的各检索结果确定出最终的人脸识别结果，从而降低了最优人脸抓拍图选取错误所带来的影响，提升了人脸识别的准确率和召回率。

可选地，目标库可为预先创建的，如可在业务应用部署阶段创建，其中可包括各目标人脸图及分别对应的特征值。如何获取目标人脸图的特征值不作限制，比如，可采用预先训练得到的特征提取模型来提取目标人脸图的特征值，或者，采用特征提取算法来提取目标人脸图的特征值等。

本公开所述方案对于实时接收的视频流和离线的视频文件均可适用，具有广泛适用性。

对于实时接收的视频流或离线的视频文件中的每一视频帧，可分别按照图1所示方式进行处理。为便于表述，以下将当前处理的视频帧称为视频帧a。

在对视频帧a进行人脸检测等之前，还可先对视频帧a进行预处理。所述预处理具体包括哪些内容可根据实际需要而定，比如，可将视频帧a送入解码器，对其进行解码，另外，目前的深度学习框架通常都需要ARGB或BGRA格式的帧数据，其中，A表示透明度(Alpha)，R表示红色(Red)，G表示绿色(Green)，B表示蓝色(Blue)，而解码得到的通常为YUV格式的视频帧，Y表示明亮度(Luminance)，U和V表示色度(Chrominance)，因此还可将视频帧a进行颜色空间变换，变换为ARGB或BGRA格式。

完成上述预处理之后，可对视频帧a进行人脸检测及跟踪，从而得到其中的人脸信息及对应的标识信息(id)。其中，人脸信息可通过检测得到，标识信息可通过跟踪得到。比如，某一人物的人脸信息连续出现在了多个视频帧中，那么从这多个视频帧中得到的该人脸信息将对应同一标识信息。

假设从视频帧a中检测到了三张人脸，那么针对每一人脸信息，可分别按照同样的方式进行处理。

具体地，对于任一人脸信息(为便于表述，后续将其称为人脸信息b)，可将人脸信息b对应的子图作为人脸抓拍图，如可从视频帧a(即视频图像)中截取出仅包括人脸信息b的人脸子图，作为所需的人脸抓拍图，之后，可获取人脸抓拍图对应的质量评分，并且，可按照质量评分的大小，将获取到的人脸抓拍图加入到人脸信息b对应的标识信息对应的缓冲区中，其中，缓冲区中至多存放M张质量评分最高的人脸抓拍图，M为大于一的正整数，具体取值可根据实际需要而定。可选地，还可将人脸抓拍图对应的质量评分对应存入缓冲区中，以下即以此为例进行说明。

其中，可根据人脸抓拍图中的人脸尺寸和人脸角度确定出人脸抓拍图对应的质量评分。

比如，可分别将人脸尺寸和人脸角度与对应的权重相乘，将两个乘积相加，将相加之和作为得到的质量评分。

即有：quality＝size*a+pose*b；(1)

其中，quality表示质量评分，a和b分别表示权重，0＝<a<＝1，0<＝b<＝1，a和b的具体取值均可根据实际需要而定，通常来说，a和b的相加之和为1，size表示人脸尺寸，不同的人脸尺寸可用不同的数值来表示，pose表示人脸角度，同样地，不同的人脸角度可用不同的数值来表示。

上述方式中，可结合人脸尺寸以及人脸角度等多个因素来确定出人脸抓拍图对应的质量评分，从而提升了获取到的质量评分的准确性等。

在获取到人脸信息b的人脸抓拍图及对应的质量评分后，可进一步确定是否已创建人脸信息b对应的标识信息对应的缓冲区，若未创建该缓冲区，则可创建该缓冲区，并可将人脸抓拍图及对应的质量评分加入到该缓冲区中，若已创建该缓冲区，则可根据质量评分的大小，将人脸抓拍图及对应的质量评分加入到该缓冲区中。

其中，对于任一人脸抓拍图，若对应的缓冲区中已存人脸抓拍图的数量等于M，且该人脸抓拍图对应的质量评分大于已存人脸抓拍图对应的质量评分中取值最小的质量评分，那么可将人脸抓拍图及对应的质量评分加入到缓冲区中，并可从缓冲区中删除取值最小的质量评分及对应的人脸抓拍图。若对应的缓冲区中已存人脸抓拍图的数量小于M，可直接将人脸抓拍图及对应的质量评分加入到缓冲区中。另外，若缓冲区中已存人脸抓拍图的数量等于M，且该人脸抓拍图对应的质量评分小于或等于已存人脸抓拍图对应的质量评分中取值最小的质量评分，那么可丢弃该人脸抓拍图。

基于上述介绍，图2为本公开针对人脸信息b对应的人脸抓拍图的处理方法实施例的流程图。如图2所示，包括以下具体实现方式。

在步骤201中，确定是否已创建该人脸抓拍图对应的标识信息对应的缓冲区，若否，则执行步骤202，若是，则执行步骤204。

在步骤202中，创建对应的缓冲区。

在步骤203中，将该人脸抓拍图及对应的质量评分加入到缓冲区中，之后结束流程。

在步骤204中，确定缓冲区中已存人脸抓拍图的数量是否小于M，若是，则执行步骤205，否则，执行步骤206。

M为大于一的正整数，具体取值可根据实际需要而定。

在步骤205中，将该人脸抓拍图及对应的质量评分加入到缓冲区中，之后结束流程。

在步骤206中，确定该人脸抓拍图对应的质量评分是否大于缓冲区中取值最小的质量评分，若是，则执行步骤207，否则，执行步骤208。

在步骤207中，将该人脸抓拍图及对应的质量评分加入到缓冲区中，并从缓冲区中删除取值最小的质量评分及对应的人脸抓拍图，之后结束流程。

在步骤208中，丢弃该人脸抓拍图，之后结束流程。

通过上述处理，使得缓冲区中存放的始终是质量评分较高的一些人脸抓拍图，从而为后续处理奠定了良好的基础等。

针对从视频帧a中得到的任一标识信息(为便于表述，后续将其称为标识信息c)，可分别确定其是否符合预定的发送条件。比如，符合预定的发送条件可包括：标识信息c对应的人脸信息在视频中连续出现的时长达到预定阈值，另外，还可包括标识信息c对应的缓冲区中存在人脸抓拍图。

所述阈值的具体取值可根据实际需要而定。比如，标识信息c对应的人脸信息在视频中连续出现的时长达到了15秒，而且，标识信息c对应的缓冲区中存在人脸抓拍图，那么则可认为标识信息c符合预定的发送条件。

相应地，若确定标识信息c符合预定的发送条件，可分别利用标识信息c对应的缓冲区中的各人脸抓拍图对目标库中的目标人脸图进行检索，并可将标识信息c对应的缓冲区中的各人脸抓拍图删除。比如，可针对标识信息c对应的缓冲区中的每张人脸抓拍图，分别执行以下处理：获取该人脸抓拍图的特征值，分别获取该人脸抓拍图的特征值与目标库中的各目标人脸图的特征值之间的比对评分，将比对评分大于预定阈值的目标人脸图作为该人脸抓拍图对应的检索结果。

本公开对如何获取人脸抓拍图的特征值不作限制，比如，可采用预先训练得到的特征提取模型来提取人脸抓拍图的特征值，或者，采用特征提取算法来提取人脸抓拍图的特征值等。

假设标识信息c对应的缓冲区中包括6张人脸抓拍图，分别为人脸抓拍图1～人脸抓拍图6，那么可获取人脸抓拍图1的特征值，并可通过特征值比对得到人脸抓拍图1对应的检索结果，同样地，可获取人脸抓拍图2的特征值，并可通过特征值比对得到人脸抓拍图2对应的检索结果，其它不再赘述，最终可分别得到人脸抓拍图1～人脸抓拍图6对应的检索结果。

之后，可根据得到的各检索结果确定出标识信息c对应的人脸的人脸识别结果。

另外，若已创建的任一缓冲区对应的标识信息未包括在对视频帧a进行人脸检测等得到的标识信息中，那么可确定该已创建的缓冲区对应的标识信息为已消失标识信息，进一步地，若已消失标识信息对应的缓冲区中存在人脸抓拍图，可分别利用已消失标识信息对应的缓冲区中的各人脸抓拍图对目标库中的目标人脸图进行检索，并可根据得到的检索结果确定出已消失标识信息对应的人脸信息的人脸识别结果，还可删除已消失标识信息及对应的缓冲区，若已消失标识信息对应的缓冲区中不存在人脸抓拍图，可直接删除已消失标识信息及对应的缓冲区。

比如，对视频帧a进行人脸检测及跟踪后得到3个标识信息，已创建了5个缓冲区，分别对应于一个不同的标识信息，这5个已创建的缓冲区对应的标识信息中，有2个标识信息未包括在对视频帧a进行人脸检测及跟踪后得到的3个标识信息中，那么可将这2个标识信息确定为已消失标识信息，针对每个已消失标识信息，可分别确定对应的缓冲区中是否存在人脸抓拍图，若存在人脸抓拍图，可分别利用其中的各人脸抓拍图对目标库中的目标人脸图进行检索，并可根据得到的检索结果确定出已消失标识信息对应的人脸信息的人脸识别结果，还可删除已消失标识信息及对应的缓冲区，若不存在人脸抓拍图，可直接删除已消失标识信息及对应的缓冲区。

若对视频帧a进行人脸检测及跟踪后得到0个标识信息，即未从视频帧a中检测到人脸，并假设已创建了5个缓冲区，那么可认为这5个已创建的缓冲区对应的标识信息均为已消失标识信息。

如前所述，假设标识信息c对应的缓冲区中包括6张人脸抓拍图，分别为人脸抓拍图1～人脸抓拍图6，并分别得到了人脸抓拍图1～人脸抓拍图6对应的检索结果，可根据得到的各检索结果确定出标识信息c对应的人脸的人脸识别结果。具体地，可将得到的各检索结果进行汇总(即合并和去重等)，得到候选目标人脸图集，若候选目标人脸图集中的各目标人脸图分别对应一张人脸抓拍图，则可将对应的比对评分最高的目标人脸图作为人脸识别结果，其中，对于任一目标人脸图，该目标人脸图所在的检索结果对应的人脸抓拍图即为该目标人脸图对应的人脸抓拍图，若候选目标人脸图集中的至少一张目标人脸图对应的人脸抓拍图数量大于1，则可将对应的人脸抓拍图数量最多的目标人脸图作为人脸识别结果。

在输出作为人脸识别结果的目标人脸图时，通常还会输出人脸抓拍图。其中，若候选目标人脸图集中的各目标人脸图分别对应一张人脸抓拍图，那么输出的人脸抓拍图即为作为人脸识别结果的目标人脸图对应的人脸抓拍图，若候选目标人脸图集中的至少一张目标人脸图对应的人脸抓拍图数量大于1，那么可确定出作为人脸识别结果的目标人脸图对应的人脸抓拍图中与作为人脸识别结果的目标人脸图之间的比对评分最高的人脸抓拍图，将确定出的人脸抓拍图作为输出的人脸抓拍图。

在实际应用中，候选目标人脸图集还可能为空，即人脸抓拍图1～人脸抓拍图6均未比中目标库中的目标人脸图，这种情况下，可将人脸抓拍图1～人脸抓拍图6中质量评分最高的人脸抓拍图输出。

基于上述介绍，图3为本公开根据人脸抓拍图1～人脸抓拍图6分别对应的检索结果确定出标识信息c对应的人脸信息的人脸识别结果的方法实施例的流程图。如图3所示，包括以下具体实现步骤。

在步骤301中，将各检索结果进行汇总，得到候选目标人脸图集。

在步骤302中，确定候选目标人脸图集是否为空，若是，则执行步骤303，否则，执行步骤304。

在步骤303中，将人脸抓拍图1～人脸抓拍图6中质量评分最高的人脸抓拍图输出，之后结束流程。

在步骤304中，确定候选目标人脸图集中的各目标人脸图是否分别对应一张人脸抓拍图，若是，则执行步骤305，否则，执行步骤306。

在步骤305中，将比对评分最高的人脸抓拍图及对应的目标人脸图输出，之后结束流程。

各目标人脸图可分别对应一个与对应的人脸抓拍图之间的比对评分，可选出取值最高的比对评分，将该比对评分对应的人脸抓拍图及对应的目标人脸图输出。

在步骤306中，将对应的人脸抓拍图数量最多的目标人脸图作为选出的目标人脸图(即作为人脸识别结果)，并确定出选出的目标人脸图对应的人脸抓拍图中与选出的目标人脸图之间的比对评分最高的人脸抓拍图，将确定出的人脸抓拍图及选出的目标人脸图输出，之后结束流程。

假设候选目标人脸图集中包括10张目标人脸图，分别为目标人脸图1～目标人脸图10，其中，目标人脸图1和目标人脸图2对应人脸抓拍图1，即利用人脸抓拍图1召回/检索到了目标人脸图1和目标人脸图2，目标人脸图3和目标人脸图8对应人脸抓拍图2，目标人脸图4和目标人脸图9对应人脸抓拍图3，目标人脸图5和目标人脸图10对应人脸抓拍图4，目标人脸图6、目标人脸图8和目标人脸图2对应人脸抓拍图5，目标人脸图7和目标人脸图2对应人脸抓拍图6，其中，目标人脸图2对应了三张人脸抓拍图，即人脸抓拍图1、人脸抓拍图5和人脸抓拍图6，目标人脸图8对应了两张人脸抓拍图，即人脸抓拍图2和人脸抓拍图5，其它目标人脸图分别对应了一张人脸抓拍图，那么，可将对应的人脸抓拍图数量最多的目标人脸图2作为选出的目标人脸图，并可从目标人脸图2对应的人脸抓拍图1、人脸抓拍图5和人脸抓拍图6中选出与目标人脸图2之间的比对评分最高的人脸抓拍图，假设为人脸抓拍图1，进而可将人脸抓拍图1和目标人脸图2输出。

通过上述处理，可结合得到的各检索结果确定出最终的人脸识别结果，并且，可结合目标人脸图被召回的次数以及目标人脸图与人脸抓拍图之间的比对评分等来确定出最终的人脸识别结果，从而进一步提升了人脸识别的准确率和召回率。

总之，采用本公开方法实施例所述方案，可通过参数配置，设置选取最优的人脸抓拍图的数量，并可根据选取出的各人脸抓拍图分别进行目标人脸图的检索，进而可结合得到的各检索结果确定出最终的人脸识别结果，从而降低了由于各种因素所导致的最优人脸抓拍图选取错误所带来的影响，在各种场景下均有较好的适用性，并提升了人脸识别的准确率和召回率。

需要说明的是，对于前述的各方法实施例，为了简单描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本公开并不受所描述的动作顺序的限制，因为依据本公开，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本公开所必须的。

以上是关于方法实施例的介绍，以下通过装置实施例，对本公开所述方案进行进一步说明。以下的装置实施例用于执行上述任一方法。

图4为本公开人脸识别装置实施例400的组成结构示意图。如图4所示，包括：第一处理模块401、第二处理模块402、第三处理模块403以及第四处理模块404。

第一处理模块401，用于针对连续视频帧中的任一视频帧，进行人脸检测，得到其中的指定人脸信息及对应的标识信息。

第二处理模块402，用于将指定人脸信息对应的子图作为人脸抓拍图，并获取人脸抓拍图对应的质量评分。

第三处理模块403，用于按照质量评分的大小，将人脸抓拍图加入到标识信息对应的缓冲区中，其中，缓冲区中至多存放M张人脸抓拍图，M为大于1的正整数。

第四处理模块404，用于分别利用缓冲区中对应连续视频帧中多个视频帧的人脸抓拍图对目标库中的目标人脸图进行检索，根据得到的检索结果确定出指定人脸信息对应的人脸识别结果。

上述装置实施例所述方案中，可选取多张质量较优的人脸抓拍图分别进行目标人脸图的检索，并可结合得到的各检索结果确定出最终的人脸识别结果，从而降低了最优人脸抓拍图选取错误所带来的影响，提升了人脸识别的准确率和召回率。

其中，第二处理模块402可根据人脸抓拍图中的人脸尺寸和人脸角度确定出人脸抓拍图对应的质量评分。

第三处理模块403可在缓冲区中已存人脸抓拍图的数量等于M，且人脸抓拍图对应的质量评分大于已存人脸抓拍图对应的质量评分中取值最小的质量评分时，将人脸抓拍图加入到缓冲区中，并从缓冲区中删除取值最小的已存人脸抓拍图。

第三处理模块403还可进一步执行以下之一或全部：若缓冲区中已存人脸抓拍图的数量小于M，则将人脸抓拍图加入到缓冲区中；若缓冲区中已存人脸抓拍图的数量等于M，且人脸抓拍图对应的质量评分小于或等于已存人脸抓拍图对应的质量评分中取值最小的质量评分，则丢弃人脸抓拍图。

另外，第三处理模块403还可在将人脸抓拍图加入到标识信息对应的缓冲区中之前，确定是否已创建缓冲区，若未创建缓冲区，则创建缓冲区。

进一步地，第四处理模块404可在指定人脸信息在视频中连续出现的时长达到预定阈值时，分别利用缓冲区中的各人脸抓拍图对目标库中的目标人脸图进行检索。

在分别利用缓冲区中的各人脸抓拍图对目标库中的目标人脸图进行检索之后，第四处理模块404还可将缓冲区中的各人脸抓拍图删除。

另外，第四处理模块404还可在已创建的任一缓冲区对应的标识信息未包括在对视频帧进行人脸检测得到的标识信息中时，确定该已创建的缓冲区对应的标识信息为已消失标识信息，若已消失标识信息对应的缓冲区中存在人脸抓拍图，则分别利用已消失标识信息对应的缓冲区中的各人脸抓拍图对目标库中的目标人脸图进行检索，根据得到的检索结果确定出已消失标识信息对应的人脸识别结果，并删除已消失标识信息及对应的缓冲区，若已消失标识信息对应的缓冲区中不存在人脸抓拍图，则删除已消失标识信息及对应的缓冲区。

其中，第四处理模块404可针对任一人脸抓拍图，分别执行以下处理：获取该人脸抓拍图的特征值；分别获取该人脸抓拍图的特征值与目标库中的各目标人脸图的特征值之间的比对评分；将比对评分大于预定阈值的目标人脸图作为该人脸抓拍图对应的检索结果。

进一步地，第四处理模块404可将得到的各检索结果进行汇总，得到候选目标人脸图集，若候选目标人脸图集中的各目标人脸图分别对应一张人脸抓拍图，则可将对应的比对评分最高的目标人脸图作为人脸识别结果，若候选目标人脸图集中的至少一张目标人脸图对应的人脸抓拍图数量大于1，则可将对应的人脸抓拍图数量最多的目标人脸图作为人脸识别结果。

图4所示装置实施例的具体工作流程请参照前述方法实施例中的相关说明，不再赘述。

总之，采用本公开装置实施例所述方案，可通过参数配置，设置选取最优的人脸抓拍图的数量，并可根据选取出的各人脸抓拍图分别进行目标人脸图的检索，进而可结合得到的各检索结果确定出最终的人脸识别结果，从而降低了由于各种因素所导致的最优人脸抓拍图选取错误所带来的影响，在各种场景下均有较好的适用性，并提升了人脸识别的准确率和召回率。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图5示出了可以用来实施本公开的实施例的电子设备500的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图5所示，设备500包括计算单元501，其可以根据存储在只读存储器(ROM)502中的计算机程序或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序，来执行各种适当的动作和处理。在RAM 503中，还可存储设备500操作所需的各种程序和数据。计算单元501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理，例如本公开所述的方法。例如，在一些实施例中，本公开所述的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM 503并由计算单元501执行时，可以执行本公开所述的方法的一个或多个步骤。备选地，在其他实施例中，计算单元501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行本公开所述的方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决传统物理主机与虚拟专用服务器(VPS)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。云计算指的是通过网络接入弹性可扩展的共享物理或虚拟资源池，资源可以包括服务器、操作系统、网络、软件、应用和存储设备等，并可以以按需、自服务的方式对资源进行部署和管理的技术体系，通过云计算技术，可以为人工智能、区块链等技术应用、模型训练提供高效强大的数据处理能力。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

需要说明的是，本公开所述方案可应用于人工智能领域，特别涉及计算机视觉和深度学习等领域。

人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术，人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术，人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

Claims (20)

1.一种人脸识别方法，包括：

针对连续视频帧中的任一视频帧，进行人脸检测，得到其中的指定人脸信息及对应的标识信息；

将所述指定人脸信息对应的子图作为人脸抓拍图，并获取所述人脸抓拍图对应的质量评分；

按照所述质量评分的大小，将所述人脸抓拍图加入到所述标识信息对应的缓冲区中，其中，所述缓冲区中至多存放M张质量评分最高的人脸抓拍图，M为大于1的正整数；

若所述指定人脸信息在视频中连续出现的时长达到预定阈值，分别利用所述缓冲区中对应所述连续视频帧中多个视频帧的人脸抓拍图对目标库中的目标人脸图进行检索，结合各检索结果确定出所述指定人脸信息对应的人脸识别结果，并将确定出的作为人脸识别结果的目标人脸图及对应的人脸抓拍图输出；

还包括：若已创建的任一缓冲区对应的标识信息未包括在对所述视频帧进行人脸检测得到的标识信息中，则确定所述已创建的任一缓冲区对应的标识信息为已消失标识信息，若所述已消失标识信息对应的缓冲区中存在人脸抓拍图，则分别利用所述已消失标识信息对应的缓冲区中的各人脸抓拍图对所述目标库中的目标人脸图进行检索，根据得到的检索结果确定出所述已消失标识信息对应的人脸识别结果，并删除所述已消失标识信息及对应的缓冲区。

2.根据权利要求1所述的方法，其中，所述获取所述人脸抓拍图对应的质量评分包括：

根据所述人脸抓拍图中的人脸尺寸和人脸角度确定出所述人脸抓拍图对应的质量评分。

3.根据权利要求1所述的方法，其中，所述按照所述质量评分的大小，将所述人脸抓拍图加入到所述标识信息对应的缓冲区中包括：

若所述缓冲区中已存人脸抓拍图的数量等于M，且所述人脸抓拍图对应的质量评分大于所述已存人脸抓拍图对应的质量评分中取值最小的质量评分，则将所述人脸抓拍图加入到所述缓冲区中，并从所述缓冲区中删除所述取值最小的已存人脸抓拍图。

4.根据权利要求1所述的方法，还包括以下之一或全部：

若所述缓冲区中已存人脸抓拍图的数量小于M，则将所述人脸抓拍图加入到所述缓冲区中；

若所述缓冲区中已存人脸抓拍图的数量等于M，且所述人脸抓拍图对应的质量评分小于或等于所述已存人脸抓拍图对应的质量评分中取值最小的质量评分，则丢弃所述人脸抓拍图。

5.根据权利要求1所述的方法，还包括：

所述将所述人脸抓拍图加入到所述标识信息对应的缓冲区中之前，确定是否已创建所述缓冲区；

若未创建所述缓冲区，则创建所述缓冲区。

6.根据权利要求1所述的方法，还包括：

在分别利用所述缓冲区中的各人脸抓拍图对目标库中的目标人脸图进行检索之后，将所述缓冲区中的各人脸抓拍图删除。

7.根据权利要求1所述的方法，还包括：

若所述已消失标识信息对应的缓冲区中不存在人脸抓拍图，则删除所述已消失标识信息及对应的缓冲区。

8.根据权利要求1～7中任一项所述的方法，其中，所述对目标库中的目标人脸图进行检索包括：

针对任一人脸抓拍图，分别执行以下处理：

获取所述人脸抓拍图的特征值；

分别获取所述人脸抓拍图的特征值与所述目标库中的各目标人脸图的特征值之间的比对评分；

将比对评分大于预定阈值的目标人脸图作为所述人脸抓拍图对应的检索结果。

9.根据权利要求8所述的方法，其中，所述结合各检索结果确定出所述指定人脸信息对应的人脸识别结果包括：

将得到的各检索结果进行汇总，得到候选目标人脸图集；

若所述候选目标人脸图集中的各目标人脸图分别对应一张人脸抓拍图，则将对应的比对评分最高的目标人脸图作为所述人脸识别结果；

若所述候选目标人脸图集中的至少一张目标人脸图对应的人脸抓拍图数量大于1，则将对应的人脸抓拍图数量最多的目标人脸图作为所述人脸识别结果。

10.一种人脸识别装置，包括：第一处理模块、第二处理模块、第三处理模块以及第四处理模块；

所述第一处理模块，用于针对连续视频帧中的任一视频帧，进行人脸检测，得到其中的指定人脸信息及对应的标识信息；

所述第二处理模块，用于将所述指定人脸信息对应的子图作为人脸抓拍图，并获取所述人脸抓拍图对应的质量评分；

所述第三处理模块，用于按照所述质量评分的大小，将所述人脸抓拍图加入到所述标识信息对应的缓冲区中，其中，所述缓冲区中至多存放M张质量评分最高的人脸抓拍图，M为大于1的正整数；

所述第四处理模块，用于在确定所述指定人脸信息在视频中连续出现的时长达到预定阈值时，分别利用所述缓冲区中对应所述连续视频帧中多个视频帧的人脸抓拍图对目标库中的目标人脸图进行检索，结合各检索结果确定出所述指定人脸信息对应的人脸识别结果，并将确定出的作为人脸识别结果的目标人脸图及对应的人脸抓拍图输出；

所述第四处理模块进一步用于，若已创建的任一缓冲区对应的标识信息未包括在对所述视频帧进行人脸检测得到的标识信息中，则确定所述已创建的任一缓冲区对应的标识信息为已消失标识信息，若所述已消失标识信息对应的缓冲区中存在人脸抓拍图，则分别利用所述已消失标识信息对应的缓冲区中的各人脸抓拍图对所述目标库中的目标人脸图进行检索，根据得到的检索结果确定出所述已消失标识信息对应的人脸识别结果，并删除所述已消失标识信息及对应的缓冲区。

11.根据权利要求10所述的装置，其中，

所述第二处理模块还用于根据所述人脸抓拍图中的人脸尺寸和人脸角度确定出所述人脸抓拍图对应的质量评分。

12.根据权利要求10所述的装置，其中，

所述第三处理模块还用于在所述缓冲区中已存人脸抓拍图的数量等于M，且所述人脸抓拍图对应的质量评分大于所述已存人脸抓拍图对应的质量评分中取值最小的质量评分时，将所述人脸抓拍图加入到所述缓冲区中，并从所述缓冲区中删除所述取值最小的已存人脸抓拍图。

13.根据权利要求10所述的装置，其中，

所述第三处理模块进一步用于执行以下之一或全部：

若所述缓冲区中已存人脸抓拍图的数量小于M，则将所述人脸抓拍图加入到所述缓冲区中；

若所述缓冲区中已存人脸抓拍图的数量等于M，且所述人脸抓拍图对应的质量评分小于或等于所述已存人脸抓拍图对应的质量评分中取值最小的质量评分，则丢弃所述人脸抓拍图。

14.根据权利要求10所述的装置，其中，

所述第三处理模块进一步用于，在将所述人脸抓拍图加入到所述标识信息对应的缓冲区中之前，确定是否已创建所述缓冲区，若未创建所述缓冲区，则创建所述缓冲区。

15.根据权利要求10所述的装置，其中，

所述第四处理模块进一步用于，在分别利用所述缓冲区中的各人脸抓拍图对目标库中的目标人脸图进行检索之后，将所述缓冲区中的各人脸抓拍图删除。

16.根据权利要求10所述的装置，其中，

所述第四处理模块进一步用于，若所述已消失标识信息对应的缓冲区中不存在人脸抓拍图，则删除所述已消失标识信息及对应的缓冲区。

17.根据权利要求10～16中任一项所述的装置，其中，

所述第四处理模块还用于针对任一人脸抓拍图，分别执行以下处理：获取所述人脸抓拍图的特征值；分别获取所述人脸抓拍图的特征值与所述目标库中的各目标人脸图的特征值之间的比对评分；将比对评分大于预定阈值的目标人脸图作为所述人脸抓拍图对应的检索结果。

18.根据权利要求17所述的装置，其中，

所述第四处理模块还用于将得到的各检索结果进行汇总，得到候选目标人脸图集，若所述候选目标人脸图集中的各目标人脸图分别对应一张人脸抓拍图，则将对应的比对评分最高的目标人脸图作为所述人脸识别结果，若所述候选目标人脸图集中的至少一张目标人脸图对应的人脸抓拍图数量大于1，则将对应的人脸抓拍图数量最多的目标人脸图作为所述人脸识别结果。

19.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法。

20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行根据权利要求1-9中任一项所述的方法。