CN113963303A - 图像处理方法、视频识别方法、装置、设备及存储介质 - Google Patents

Abstract

本发明实施例公开了图像处理方法、视频识别方法、装置、设备及存储介质。其中，图像处理方法包括：从目标用户的头像图像中提取满足预设要求的人脸特征并加入基准人脸特征集，从目标用户发布的历史视频中获取出现频率满足预设频率要求的目标人脸对应的人脸特征并加入候选人脸特征集，基于基准人脸特征集对候选人脸特征集中的人脸特征进行筛选，得到扩展人脸特征集，最后根据基准人脸特征集和扩展人脸特征集构建目标用户对应的目标人脸库。通过采用上述技术方案，可以自动综合同一用户的头像图像以及其所发布的历史视频来构建该用户的人脸库，该方案构建成本低，构建效率高，且所构建的人脸库可以涵盖较多的人脸状态变化，提高人脸库的准确度。

Description

图像处理方法、视频识别方法、装置、设备及存储介质

技术领域

本发明实施例涉及图像处理领域，尤其涉及图像处理方法、视频识别方法、装置、设备及存储介质。

背景技术

随着互联网技术的快速发展，越来越多的应用或平台可以支持由用户自己上传音视频内容，如短视频等。随着互联网上视频内容的大量增长，在视频内容理解和内容审核等方面出现越来越多的应用需求，其中原创性识别是一个重要的应用方向。

目前，原创性识别常见的实现方式包括基于视频检索的方法以及基于视频人脸识别的方法等。其中，视频检索的核心是建立一个检索库，存储每个原创视频对应的检索特征，然后通过将需要识别的视频和检索库内的视频进行比对来确认视频是否已经存在，从而判断视频是否原创，但该方法需要收集和存储大量的视频，存储成本高，且难以有效覆盖端外视频搬运，容易受到视频编辑的影响。视频人脸识别的方法需要预先建立人脸库，对于需要识别的视频，从视频里检测人脸后与人脸库匹配，确定视频中人脸和视频上传者人脸是否一致，进而确认视频是否原创，但该方法中人脸库通常采用人工方式构建，且人工构建的人脸库难以涵盖人脸的多种状态变化，该构建方案成本高且准确度差，因此需要改进。

发明内容

本发明实施例提供了图像处理方法、视频识别方法、装置、设备及存储介质，可以优化现有的基于人脸的图像处理和视频识别方案。

第一方面，本发明实施例提供了一种图像处理方法，该方法包括：

获取目标用户在预设应用程序中的头像图像，在从所述头像图像中提取到满足预设要求的第一人脸特征的情况下，将所述第一人脸特征加入基准人脸特征集；

从所述目标用户在所述预设应用程序中发布的历史视频中获取出现频率满足预设频率要求的目标人脸对应的第二人脸特征，并将所述第二人脸特征加入候选人脸特征集；

基于所述基准人脸特征集对所述候选人脸特征集中的人脸特征进行筛选，根据筛选结果确定扩展人脸特征集；

根据所述基准人脸特征集和所述扩展人脸特征集构建所述目标用户对应的目标人脸库。

第二方面，本发明实施例提供了一种视频识别方法，该方法包括：

从目标用户上传的待识别的目标视频中提取待识别人脸特征；

将所述待识别人脸特征与所述目标用户对应的目标人脸库中的各人脸特征进行比对，并根据比对结果识别所述目标视频的原创度，其中，所述目标人脸库采用本发明实施例提供的图像处理方法得到。

第三方面，本发明实施例提供了一种图像处理装置，该装置包括：

头像图像处理模块，用于获取目标用户在预设应用程序中的头像图像，在从所述头像图像中提取到满足预设要求的第一人脸特征的情况下，将所述第一人脸特征加入基准人脸特征集；

历史视频处理模块，用于从所述目标用户在所述预设应用程序中发布的历史视频中获取出现频率满足预设频率要求的目标人脸对应的第二人脸特征，并将所述第二人脸特征加入候选人脸特征集；

人脸特征筛选模块，用于基于所述基准人脸特征集对所述候选人脸特征集中的人脸特征进行筛选，根据筛选结果确定扩展人脸特征集；

人脸库构建模块，用于根据所述基准人脸特征集和所述扩展人脸特征集构建所述目标用户对应的目标人脸库。

第四方面，本发明实施例提供了一种视频识别装置，该装置包括：

人脸特征提取模块，用于从目标用户上传的待识别的目标视频中提取待识别人脸特征；

原创度识别模块，用于将所述待识别人脸特征与所述目标用户对应的目标人脸库中的各人脸特征进行比对，并根据比对结果识别所述目标视频的原创度，其中，所述目标人脸库采用本发明实施例提供的图像处理方法得到。

第五方面，本发明实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例提供的图像处理方法和/或视频识别方法。

第六方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例提供的图像处理方法和/或视频识别方法。

本发明实施例中提供的图像处理方案，从目标用户的头像图像中提取满足预设要求的第一人脸特征并加入基准人脸特征集，从目标用户发布的历史视频中获取出现频率满足预设频率要求的目标人脸对应的第二人脸特征，并加入候选人脸特征集，基于基准人脸特征集对候选人脸特征集中的人脸特征进行筛选，得到扩展人脸特征集，最后根据基准人脸特征集和扩展人脸特征集构建目标用户对应的目标人脸库。通过采用上述技术方案，可以自动综合同一用户的头像图像以及其所发布的历史视频来构建该用户的人脸库，该方案构建成本低，构建效率高，且所构建的人脸库可以涵盖较多的人脸状态变化，可以更加全面准确地表征用户的人脸特征，提高人脸库的准确度，进而可以使得利用该人脸集进行视频原创度识别等方面的应用时，可以达到更好的应用效果。

本发明实施例中提供的视频识别方案，从目标用户上传的待识别的目标视频中提取待识别人脸特征，将待识别人脸特征与采用本发明实施例提供的图像处理方法得到的目标用户对应的目标人脸库中的各人脸特征进行比对，根据比对结果识别目标视频的原创度，由于该人脸库可以更加全面准确地表征用户的人脸特征，因此，能够更加精准地识别视频的原创度，降低误识别概率，有利于对目标视频进行进一步的有针对性的相关处理，提高视频处理效率以及增强视频处理的合理性。

附图说明

图1为本发明实施例提供的一种图像处理方法的流程示意图；

图2为本发明实施例提供的又一种图像处理方法的流程示意图；

图3为本发明实施例提供的图像处理方法的原理示意图；

图4为本发明实施例提供的一种视频识别方法的流程示意图；

图5为本发明实施例提供的一种图像处理装置的结构框图；

图6为本发明实施例提供的一种视频识别装置的结构框图；

图7为本发明实施例提供的一种计算机设备的结构框图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

图1为本发明实施例提供的一种图像处理方法的流程示意图，该方法可以由图像处理装置执行，其中该装置可由软件和/或硬件实现，一般可集成在计算机设备中。所述计算机设备可以为手机、平板电脑、笔记本电脑以及个人数字助理等移动设备；也可为台式计算机或服务器等其他设备。如图1所示，该方法包括：

步骤101、获取目标用户在预设应用程序中的头像图像，在从所述头像图像中提取到满足预设要求的第一人脸特征的情况下，将所述第一人脸特征加入基准人脸特征集。

本公开实施例中，预设应用程序可以是具备视频发布功能的应用程序，具体类型不做限定，例如可以是短视频应用程序等社交类应用程序，还可以是其他类型的应用程序。预设应用程序可作为客户端安装于电子设备中，该电子设备可以与本发明实施例所述的计算机设备相同，也可不同，在不同的情况下，计算机设备可以是预设应用程序对应的服务端设备。

示例性的，用户可以在预设应用程序中注册账号，并通过所注册的账号发布视频等作品。以具体的应用场景为例，预设应用程序包括短视频应用程序，用户作为视频作者可以将自己拍摄的短视频作品上传至短视频平台，短视频平台可以将该短视频作品下发至其他用户使用的短视频应用程序中进行播放，则其他用户可以观看到该视频作者发布的短视频作品。

示例性的，用户在注册账号后，可以设置自己账号对应的头像。通常，用户为了增强自己账号的辨识度，会倾向于使用包含本人人脸(部分也可能包含亲人、好友或合作伙伴等具有亲密关系的人物的人脸)的照片作为头像，另外，头像图像在预设应用程序中的显示区域通常比较小，为了让其他用户清晰地看到自己的人脸，人脸在整个头像图像中的所占比例通常也比较高。本发明实施例中，优先从头像图像中获取基准人脸特征，可以有效提高基准人脸特征的获取效率以及降低获取成本。

示例性的，目标用户可以理解为当前需要有针对性地进行人脸库构建的用户，可以是任意一个用户或指定用户，具体不做限定。目标账户可以理解为目标用户在预设应用程序中注册并使用的账户。所获取的头像图像可以包括目标用户所使用过的全部或部分头像图像，也即目标用户为目标账户设置过的全部或部分头像图像，例如，可包括当前正在使用的头像图像，也可包括第一预设历史时段(如最近一年)内使用的头像图像，也可包括从目标账户注册时刻开始到当前时刻使用的所有头像图像。

示例性的，由于用户的头像通常为自定义图像，一般无法保证其中是否包含人脸，也无法保证人脸的质量。例如，可能会出现头像图像中为自然风光、头像图像中的形象为卡通人物等非真实人物、以及头像图像中的人脸存在遮挡或为侧脸等情况。为了更好地获取可以准确表征目标用户人脸的特征，可以设定预设要求，从头像图像中提取满足预设要求的第一人脸特征并加入基准人脸特征集。其中，预设要求可以根据实际情况设置，例如人脸的清晰度满足预设清晰度要求(如大于预设清晰度阈值，清晰度的具体计算方式不做限定)、人脸旋转角度小于预设角度阈值、以及人脸无遮挡物等等。其中，人脸旋转角度可以理解为人脸所在平面与取景镜头所在平面之间的夹角，当人脸为标准的正脸时，人脸旋转角度为0或接近于0。遮挡物例如可能是口罩或墨镜等。

示例性的，可以用预设人脸检测模型检测头像图像中是否包含人脸，在确定包含人脸的情况下，采用预设人脸识别模型来提取人脸特征，并判断人脸特征是否满足预设要求，将满足预设要求的人脸特征记为第一人脸特征。第一人脸特征的数量可以是一个或多个，也可能为0个。在提取到至少一个第一人脸特征的情况下，将所提取到的第一人脸特征加入基准人脸特征集。

示例性的，也可基于头像图像直接预测是否包含满足预设要求的人脸特征，若包含，则从头像图像中提取人脸特征，将所提取到的人脸特征作为第一人脸特征加入基准人脸特征集。这样设置的好处在于，可以减少人脸检测和人脸识别过程的数据处理量，提高第一人脸特征的提取效率。

示例性的，基准人脸特征集初始状态可以是空集，也可以包含初始基准人脸特征，具体不做限定。初始基准人脸特征例如可以是从目标用户上传的目标图像中提取的人脸特征，例如，预设应用程序可以提示目标用户主动上传包含自己人脸的图像作为目标图像，以便更加准确地确定基准人脸。

步骤102、从所述目标用户在所述预设应用程序中发布的历史视频中获取出现频率满足预设频率要求的目标人脸对应的第二人脸特征，并将所述第二人脸特征加入候选人脸特征集。

本发明实施例中，历史视频可以包括目标用户在预设应用程序中发布的所有或部分视频。例如，可以是第二预设历史时段(如最近三个月，可以根据目标用户的视频发布频率等因素动态确定)内发布的视频。又如，还可以采用时间维度以外的筛选方式，如根据预设应用程序的业务特点，选择如前置摄像头录制的视频，或按照录制方式进行分组，针对每组分别进行第二人脸特征的筛选等。对于很多用户来说，经常以本人为拍摄对象，也即视频内容中通常包含视频发布用户的人脸，因此，可以从目标用户发布的历史视频中提取人脸特征，以丰富目标用户对应的人脸库。此外，历史视频中可能出现除目标用户之外的其他用户的人脸，但与目标用户的人脸相比，出现频率一般较低，因此，可以设定预设频率要求。例如，将出现频率最高的人脸确定为目标人脸；又如，将出现频率较高的多个人脸(频率大于预设频率阈值的人脸，或者频率较高的预设数量的人脸)确定为目标人脸，考虑到目标用户的好友或亲人等出现频率也可能较高，可能与目标用户发布的视频作品的风格或内容等相关，例如有些用户可能习惯拍摄家人的日常生活等。针对目标人脸进行人脸特征提取，可将提取到的人脸特征记为第二人脸特征。

示例性的，人脸库通常用于视频识别，待识别的视频中出现的人脸可能会存在各种状态变化和干扰因素，如姿态、人脸旋转角度、妆容以及光照等等，人工构建人脸库时很难有效覆盖多种变化，成本高。本发明实施例中，自动从用户的历史视频中进行人脸特征的挖掘，并经过后续的基于基准人脸特征的筛选，可以快速准确地筛选出用于表征用户不同状态下的人脸的特征，提高人脸库的准确度，有利于提升视频识别效果。

可选的，候选人脸特征集中在包含第二人脸特征的同时，还可包括其他人脸特征，具体来源不做限定，例如可以来自于头像图像或用户主动上传的照片等。

步骤103、基于所述基准人脸特征集对所述候选人脸特征集中的人脸特征进行筛选，根据筛选结果确定扩展人脸特征集。

示例性的，基准人脸特征集中的人脸特征能够较准确地表征目标用户的人脸，而候选人脸特征集中的人脸特征来源于视频，可以涵盖较多的人脸状态变化，利用基准人脸特征集对候选人脸特征集中的人脸特征进行筛选，可以排除一些质量较差或参考价值较低的人脸特征，有利于提高最终的人脸库的精准度。可选的，筛选方式可以是将与基准人脸特征集中各人脸特征接近的人脸特征进行保留，将保留的人脸特征加入扩展人脸特征集。

步骤104、根据所述基准人脸特征集和所述扩展人脸特征集构建所述目标用户对应的目标人脸库。

示例性的，可以将基准人脸特征集和扩展人脸特征集进行合并，形成目标用户对应的目标人脸库。可选的，将基准人脸特征集和扩展人脸特征集中的人脸特征加入目标用户对应的初始人脸库，得到目标人脸库。其中，初始人脸库可以为空，也可以包含初始人脸特征，初始人脸特征来源不做限定，例如可以是从目标用户主动上传的包含自己人脸的目标图像中提取的人脸特征等。

示例性的，所述目标人脸库可以用于识别所述目标用户上传的视频的原创度。具体应用方式不做限定，将在下文中描述可选的应用方式。

本发明实施例中提供的图像处理方法，从目标用户的头像图像中提取满足预设要求的第一人脸特征并加入基准人脸特征集，从目标用户发布的历史视频中获取出现频率满足预设频率要求的目标人脸对应的第二人脸特征，并加入候选人脸特征集，基于基准人脸特征集对候选人脸特征集中的人脸特征进行筛选，得到扩展人脸特征集，最后根据基准人脸特征集和扩展人脸特征集构建目标用户对应的目标人脸库。通过采用上述技术方案，可以自动综合同一用户的头像图像以及其所发布的历史视频来构建该用户的人脸库，该方案构建成本低，构建效率高，且所构建的人脸库可以涵盖较多的人脸状态变化，可以更加全面准确地表征用户的人脸特征，提高人脸库的准确度，进而可以使得利用该人脸集进行视频原创度识别等方面的应用时，可以达到更好的应用效果。

在一些实施例中，在所述基于所述基准人脸特征集对所述候选人脸特征集中的人脸特征进行筛选之前，还包括：将从所述头像图像中提取到的不满足所述预设要求的第三人脸特征加入所述候选人脸特征集。这样设置的好处在于，对于未能加入基准人脸特征集的人脸特征来说，也存在一定的可能性是属于目标用户本人的，但可能受到遮挡或侧脸等干扰因素的影响，未成功加入基准人脸特征集，然而这些干扰因素同样也可能出现在待识别的视频中，因此，将不满足预设要求的第三人脸特征加入候选人脸特征集，可以有利于人脸库涵盖更丰富的人脸状态，有助于提高视频人脸识别的抗干扰能力，进一步提高人脸库的应用效果。其中，第三人脸特征可以包括头像图像中不满足预设要求的所有人脸特征或部分人脸特征。

在一些实施例中，在所述获取目标用户在预设应用程序中的头像图像之后，还包括：将所述头像图像输入至预设分类模型，并根据所述预设分类模型的输出结果确定所述头像图像的类别，其中，所述预设分类模型对应的训练样本图像的标签包括可用和不可用；从类别为可用的头像图像中进行人脸特征提取，得到满足预设要求的第一人脸特征。这样设置的好处在于，可以利用分类模型快速准确地识别出可用的头像图像，提高第一人脸特征的提取效率。

示例性的，预设分类模型可以是二分类模型或更多分类的模型，具体不做限定。二分类模型具有训练简单和计算开销小等优点，可以最小化地减少额外的成本开销。以二分类模型为例，在模型训练阶段，可以利用正样本和负样本对初始分类模型进行训练，进而得到预设分类模型。正样本和负样本统称训练样本，具体为训练样本图像。训练样本图像为携带有标签的图像，正样本的标签可以为可用，负样本的标签可以为不可用，该标签可以采用人工标注的方式添加到用于训练的图像中，在标注时，可以参考图像中的人脸的清晰度以及人脸旋转角度，例如将包含清晰无遮挡正脸的人脸的图像标注可用标签，其余图像标注不可用标签。示例性的，也可以采用预设规则来对样本图像进行评估，进而确定对应的标签，例如，标签为可用的训练样本图像中的人脸的清晰度满足预设清晰度要求且人脸旋转角度小于预设角度阈值，标签为不可用的训练样本图像中的人脸的清晰度不满足预设清晰度要求或人脸旋转角度大于或等于预设角度阈值。可选的，还可判断人脸是否存在遮挡情况，若存在，对应标签为不可用。

示例性的，在将头像图像输入至预设分类模型后，可以确定当前头像图像为可用头像或不可用头像，对于类别为可用的头像图像来说，可以认为其中包含满足预设要求的人脸特征，此时利用预设人脸识别模型从中提取人脸特征，得到第一人脸特征。

在一些实施例中，所述从所述目标用户在所述预设应用程序中发布的历史视频中获取出现频率满足预设频率要求的目标人脸对应的第二人脸特征，包括：针对所述目标用户在所述预设应用程序中发布的历史视频中的视频帧进行人脸特征提取，并将提取到的人脸特征作为备选人脸特征加入到备选人脸特征池；对所述备选人脸特征池中的备选人脸特征进行预设聚类处理，得到多个簇；对各个簇中包含的备选人脸特征的数量进行统计，将累计数量满足预设数量要求的簇确定为高频簇，其中，所述高频簇中的备选人脸特征所属的人脸记为出现频率满足预设频率要求的目标人脸；从所述高频簇中获取第二人脸特征。这样设置的好处在于，利用聚类算法可以快速对历史视频中出现的众多人脸特征进行归类，便于找到出现频率较高的目标人脸。

示例性的，预设聚类处理所采用的聚类算法不做限定，例如可以是具有噪声的基于密度的聚类方法(Density-Based Spatial Clustering of Applications with Noise，DBSCAN)、谱聚类或K均值(K-Means)等。为了保证每个簇内部的人脸特征对应的是同一个人的人脸，可以使用较为严格的相似度阈值，两个备选人脸特征作为两个特征点在高度相似的情况下会连接到一起从而构成一个簇(又称聚类)。预设数量要求例如可以是数量最多、数量大于预设数量阈值、或数量从多至少排序时排名大于预设排名阈值等。经过预设数量要求的筛选，可以得到一个或多个簇内人脸特征较多的簇，记为高频簇，表明对应的人脸出现频率较高。随后，从高频簇中获取全部或部分人脸特征作为第二人脸特征，加入候选人脸特征集。

在一些实施例中，所述从所述高频簇中获取第二人脸特征，包括：对于所述高频簇中的每个备选人脸特征，计算当前备选人脸特征与所属高频簇内的除所述当前备选人脸特征之外的各备选人脸特征的第一相似度，并计算第一数值，其中，所述第一数值为各第一相似度的和；将所述高频簇中对应第一数值满足第一预设数值要求的备选人脸特征作为第二人脸特征进行获取。这样设置的好处在于，针对高频簇中的备选人脸特征，进一步筛选出更加有代表性的备选人脸特征作为第二人脸特征进行获取，可以减少后续基于基准人脸特征集对候选人脸特征集进行筛选的计算量，节约设备的运算及存储资源，也可以提高人脸库的准确度和精度。

示例性的，第一相似度的计算方式不做限定，可以是计算余弦相似度或计算欧氏距离，还可以根据数据特点采用其他相似度度量算法。

在一些实施例中，还包括：在从所述头像图像中无法提取到满足预设要求的第一人脸特征的情况下，将所述累计数量最大的簇确定为目标簇，其中，所述高频簇中包括所述目标簇；将所述目标簇中对应第一数值满足第二预设数值要求的备选人脸特征加入所述基准人脸特征集。其中，第二预设数值要求一般比第二预设数值要求更加严格，例如可以是最大的第一数值。这样设置的好处在于，当根据头像图像无法确定基准人脸特征集时，根据历史视频中出现频率最高的人脸来确定基准人脸特征集，保证目标人脸库的成功构建。

在一些实施例中，所述基于所述基准人脸特征集对所述候选人脸特征集中的人脸特征进行筛选，根据筛选结果确定扩展人脸特征集，包括：对于所述候选人脸特征集中的每个候选人脸特征，计算当前候选人脸特征与所述基准人脸特征集中的各基准人脸特征的第二相似度，在存在至少一个第二相似度大于预设相似度阈值的情况下，将当前候选人脸特征确定为扩展人脸特征并加入扩展人脸特征集。这样设置的好处在于，基于相似度可以快速地筛选出与基准人脸特征集中的各基准人脸特征接近的候选人脸特征，在一定程度上保证筛选出来的人脸特征属于目标用户本人，提高人脸库构建的效率，以及可以提高人脸库的准确度和精度。

示例性的，第二相似度的计算方式不做限定，可以与第一相似度的计算方式相同或不同，可以是计算余弦相似度或计算欧氏距离，还可以根据数据特点采用其他相似度度量算法。

图2为本发明实施例提供的又一种图像处理方法的流程示意图，在上述各可选实施例基础上进行优化，图3为本发明实施例提供的图像处理方法的原理示意图，可结合图2和图3对本发明实施例进行理解。如图2所示，该方法可包括：

步骤201、获取目标用户在预设应用程序中的头像图像。

本发明实施例中，图像处理方法可离线执行，也可在线执行，具体不做限定。对于离线执行的情况，各用户的头像图像和历史视频可以存储于数据库中，在需要构建人脸库时，可以针对目标用户从与预设应用程序关联的数据库中获取相应的头像图像(也即图3所示的用户头像)。

步骤202、将头像图像输入至预设分类模型，并根据预设分类模型的输出结果确定头像图像的类别。

示例性的，预设分类模型可以是二分类模型，用于判断头像图像是否可用，因此可称为头像可用性模型。目前主流的人脸识别模型通常对清晰无遮挡的正脸具有最好的识别效果，而当人脸存在遮挡或侧脸等干扰因素时较容易出现识别错误，因此本发明实施例中可以将可用头像定义为包含清晰无遮挡正脸的头像。具体的，在进行模型训练时，可以将人脸的清晰度满足预设清晰度要求、人脸旋转角度小于预设角度阈值、且人脸不存在遮挡物的样本图像添加可用标签，成为正样本，不满足该条件的样本图像添加不可用标签，成为负样本。

步骤203、从类别为可用的头像图像中进行人脸特征提取，得到满足预设要求的第一人脸特征，将第一人脸特征加入基准人脸特征集，从类别为不可用的头像图像中进行人脸特征提取，得到第三人脸特征，将第三人脸特征加入候选人脸特征集。

示例性的，基于头像可用性模型的判断结果，可以从目标用户使用过的所有头像中筛选出可用头像，并通过人脸检测模型从可用头像中检测人脸，形成目标用户的基准人脸集，可记为

可经过人脸识别模型对基准人脸进行人脸特征提取，得到的第一人脸特征。考虑到目标用户的头像可能全部不可用，因此基准人脸特征集可能为空。若不存在类别为可用的头像图像，则本步骤中暂不需要针对基准人脸特征集进行处理。

示例性的，对于类型为不可用的头像图像，其中的一些人脸遮挡或侧脸等干扰因素也可能存在于用户上传的视频中，因此，将这些头像图像加以利用，可以提高人脸库的抗干扰能力。具体的，可以对这些头像图像进行人脸识别，识别到的人脸可以构成头像人脸池，进一步的，可以对人脸特征进行提取，得到第三人脸特征，并加入到候选人脸特征集中，供后续步骤进行进一步筛选。另外，也可能不存在不可用的头像图像，例如，目标用户的头像均为清晰无遮挡的正脸，此时不存在第三人脸特征。

步骤204、针对目标用户在预设应用程序中发布的历史视频中的视频帧进行人脸特征提取，将提取到的人脸特征作为备选人脸特征加入到备选人脸特征池。

示例性的，可以针对目标用户从与预设应用程序关联的数据库中获取相应的历史视频(也即图3所示的用户上传视频)，为了提高人脸库的全面性，这里可以是目标用户发布的所有视频，构成历史视频集合，可记为

对于每个历史视频，分别进行解码可以得到对应的视频帧集合，可记为

使用人脸检测模型从视频帧集合中获得备选人脸池，可记为

高频人脸可理解为用户发布的视频中出现频率较高的人脸。为了从备选人脸池中找到高频人脸，首先可计算备选人脸池中的人脸相似性。使用人脸识别模型针对备选人脸池中的每一个人脸进行提取特征，得到备选人脸特征池，可记为

步骤205、对备选人脸特征池中的备选人脸特征进行预设聚类处理，得到多个簇。

示例性的，采用余弦相似度和DBSCAN聚类算法将所有的备选人脸特征划分为若干个聚类，每个聚类包含一个或多个候选人脸特征。示例性的，通过两个人脸face_i和face_j的特征e_i和e_j间的余弦相似度

表示两个人脸的相似性，余弦相似度越大表示人脸相似度越高。DBSCAN聚类算法是基于密度估计的一种聚类方法，通过自下而上的方式将相似的特征点连接起来，所有连接到一起的特征点构成一个聚类。DBSCAN的优点是计算速度快，并且能得到任意形状的聚类，同时对离群点不敏感，因此可以较好地满足挖掘高频人脸的需求。为了保证每个聚类内部的人脸特征对应的是同一个人脸，可以使用较为严格的相似度阈值，如95％。

步骤206、对各个簇中包含的备选人脸特征的数量进行统计，将累计数量满足预设数量要求的簇确定为高频簇。

示例性的，备选人脸特征池经过DBSCAN算法后得到若干个聚类，聚类中包含人脸特征的数量越多，说明对应的人脸出现的频率越高。预设数量要求例如可以是按照累计数量进行排序，将排序中前A个(A的取值可根据实际情况设置，可以是1或3等)聚类确定为高频聚类，也即高频簇。

步骤207、对于高频簇中的每个备选人脸特征，计算当前备选人脸特征与所属高频簇内的除当前备选人脸特征之外的各备选人脸特征的第一相似度，并计算第一数值，将高频簇中对应第一数值满足第一预设数值要求的备选人脸特征作为第二人脸特征进行获取。

示例性的，同一个聚类中可能包含多个不同变化状态下的人脸的特征，有些人脸由于角度、遮挡或视频模糊等因素导致可用性较差，因此可以进一步从高频聚类内部找出可用性最高的或较高的高频人脸特征，从而保证基于高频人脸构建的人脸库具有较高的质量。为此，进一步计算各聚类的每个聚类

中所有人脸特征对(也即每两个人脸特征)之间的余弦相似度，得到相似度矩阵M∈R^K×K，其中M_ij表示所属聚类中第i个人脸特征和第j个人脸特征间的余弦相似度。通过选择和聚类中的其他样本的相似度之和最大或较大的人脸特征，得到第二人脸特征，这一过程可视为对相似度矩阵M的各行分别求和，再找出其中值最大或较大的列，即通过

找到高频人脸在聚类内的索引p，从而获得第二人脸特征。第二人脸特征构成的集合可以称为图3中的高频人脸池。

步骤208、将第二人脸特征加入候选人脸特征集，在不存在类别为可用的头像图像的情况下，将累计数量最大的簇确定为目标簇，将目标簇中对应第一数值满足第二预设数值要求的备选人脸特征加入基准人脸特征集。

示例性的，在得到第二人脸特征后，将第二人脸特征也加入候选人脸特征集，在存在第三人脸特征的情况下，候选人脸特征集中同时包含了来自头像图像的人脸特征以及来自历史视频的高频人脸的人脸特征，可以涵盖多种不同状态下的多种人脸特征。也即候选人脸特征集包含图3中的头像人脸池和高频人脸池。

其中，若根据头像图像无法得到基准人脸特征集，则可以将出现频率最高的人脸确定为用户本人的基准人脸，并从中筛选出可用性最高或较高的人脸特征加入基准人脸特征集。

步骤209、对于候选人脸特征集中的每个候选人脸特征，计算当前候选人脸特征与基准人脸特征集中的各基准人脸特征的第二相似度，在存在至少一个第二相似度大于预设相似度阈值的情况下，将当前候选人脸特征确定为扩展人脸特征并加入扩展人脸特征集。

示例性的，在得到基准人脸特征集和候选人脸特征集后，利用人脸库筛选算法从候选人脸特征集中筛选出与基准人脸身份一致的人脸特征，用以对人脸库进行扩充，提高对视频中各种不同干扰因素下的人脸的识别能力。具体的，计算候选人脸特征集中的人脸特征和基准人脸特征的余弦相似性，选择余弦相似性大于预设相似度阈值的人脸特征，加入到扩展人脸特征集中。

步骤210、将基准人脸特征集和扩展人脸特征集加入目标用户对应的初始人脸库，得到目标人脸库。

其中，初始人脸库可以是空集或已包含初始人脸特征。示例性的，在得到目标人脸库之后，还可以定期或不定时地对目标人脸库进行更新。例如，当目标用户上传新头像时，可以触发更新；又如，目标用户新上传视频的数量达到设定数值时，可以触发更新等。在触发更新后，可以重新执行本发明实施例的图像处理方法，也可以针对新上传的头像图像和新发布的视频进行增量更新。例如，对于新上传的头像，可以将其输入至预设分类模型，若输出类别为可用，则可直接加入目标人脸库，若输出类别为不可用，则无需对目标人脸库进行更新。又如，对于新上传视频，可以提取其中的人脸特征，计算人脸特征与基准人脸特征集中的各基准人脸特征的第二相似度，在存在至少一个第二相似度大于预设相似度阈值的情况下，将该人脸特征加入目标人脸库。

本发明实施例提供的图像处理方法，优先从用户使用过的头像图像中提取基准人脸特征，采用二分类模型将头像图像划分为可用头像和不可用头像，从可用头像中提取基准人脸特征，根据从用户发布过的历史视频中提取高频的人脸特征以及从不可用头像图像中的提取的人脸特征来构建候选人脸特征集，利用基准人脸特征集从候选人脸特征集中筛选出相似度较高的人脸特征作为扩展人脸特征，对基准人脸特征集进行扩充，从而更加全面地表征目标用户的人脸，该方法避免人工收集每个用户的人脸素材，减少大量的人力成本，实现了人脸库的高效自动构建，人脸库的可扩展性强，能够较好地适应短视频等业务场景下用户持续上传大量新增视频的特点，综合使用用户头像和用户上传视频作为人脸库构建素材，可以解决使用单一素材带来的部分用户人脸信息缺失问题，提高用户层面上的覆盖率，利用用户头像和用户上传视频中的多个不同人脸构建人脸库，可以有效处理线上视频人脸识别时存在的多种干扰因素和人脸状态变化问题，从而提高人脸识别的准确率，且方法可以通过离线完成，也即计算开销可以在离线人脸库构建阶段，而对于在线人脸识别阶段，不添加额外的计算步骤，从而不增加在线人脸识别的计算开销和处理延时，在人脸库构建过程中，可以使用各种主流的人脸检测模型和人脸识别模型，不需要额外收集训练数据用于优化或调整模型，从而可以避免收集数据和优化模型的成本开销，并提高实际应用的灵活性。

图4为本发明实施例提供的一种视频识别方法的流程示意图，该方法可以由视频识别装置执行，其中该装置可由软件和/或硬件实现，一般可集成在计算机设备中。所述计算机设备可以为手机、平板电脑、笔记本电脑以及个人数字助理等移动设备；也可为台式计算机或服务器等其他设备。如图4所示，该方法包括：

步骤401、从目标用户上传的待识别的目标视频中提取待识别人脸特征。

示例性的，目标视频可以是目标用户上传的未发布的视频，也可以是已经发布的视频，具体不做限定。针对目标视频，可以进行解码得到对应的视频帧，通过人脸检测模型从视频帧中检测到一组人脸，并采用人脸识别模型(一般与人脸库构建过程中采用的人脸识别模型一致)进行人脸特征的提取，得到待识别人脸特征，一般的，待识别人脸特征为多个。

步骤402、将所述待识别人脸特征与所述目标用户对应的目标人脸库中的各人脸特征进行比对，并根据比对结果识别所述目标视频的原创度。

其中，所述目标人脸库采用如本发明实施例提供的任意一种图像处理方法得到。

示例性的，将待识别人脸特征与目标人脸库中的各人脸特征进行逐个匹配，匹配方式例如可以是计算待识别人脸特征与目标人脸库中的人脸特征的相似度，若存在相似度大于设定相似度阈值的待识别人脸特征，则说明待识别的目标视频中包含目标用户的人脸，可认为目标视频为原创视频，或原创度较高。

示例性的，在识别出目标视频的原创度后，可以根据原创度对目标视频进行有针对性的处理，处理方式可以根据实际的业务场景设定。例如，若原创度高，则可提高目标视频进入视频推荐队列的概率，使得更多用户可以查看到目标视频，若原创度低，则可降低目标视频进入视频推荐队列的概率，使得较少用户甚至没有用户可以查看到目标视频。

本发明实施例中提供的视频识别方法，从目标用户上传的待识别的目标视频中提取待识别人脸特征，将待识别人脸特征与采用本发明实施例提供的图像处理方法得到的目标用户对应的目标人脸库中的各人脸特征进行比对，根据比对结果识别目标视频的原创度，由于该人脸库可以更加全面准确地表征用户的人脸特征，因此，能够更加精准地识别视频的原创度，降低误识别概率，有利于对目标视频进行进一步的有针对性的相关处理，提高视频处理效率以及增强视频处理的合理性。

图5为本发明实施例提供的一种图像处理装置的结构框图，该装置可由软件和/或硬件实现，一般可集成在计算机设备中，可通过执行图像处理方法来构建人脸库。如图5所示，该装置包括：

头像图像处理模块501，用于获取目标用户在预设应用程序中的头像图像，在从所述头像图像中提取到满足预设要求的第一人脸特征的情况下，将所述第一人脸特征加入基准人脸特征集；

历史视频处理模块502，用于从所述目标用户在所述预设应用程序中发布的历史视频中获取出现频率满足预设频率要求的目标人脸对应的第二人脸特征，并将所述第二人脸特征加入候选人脸特征集；

人脸特征筛选模块503，用于基于所述基准人脸特征集对所述候选人脸特征集中的人脸特征进行筛选，根据筛选结果确定扩展人脸特征集；

人脸库构建模块504，用于根据所述基准人脸特征集和所述扩展人脸特征集构建所述目标用户对应的目标人脸库。

本发明实施例中提供的图像处理装置，可以自动综合同一用户的头像图像以及其所发布的历史视频来构建该用户的人脸库，该方案构建成本低，构建效率高，且所构建的人脸库可以涵盖较多的人脸状态变化，可以更加全面准确地表征用户的人脸特征，提高人脸库的准确度，进而可以使得利用该人脸集进行视频原创度识别等方面的应用时，可以达到更好的应用效果。

图6为本发明实施例提供的一种视频识别装置的结构框图，该装置可由软件和/或硬件实现，一般可集成在计算机设备中，可通过执行视频识别方法来进行视频的原创度识别。如图6所示，该装置包括：

人脸特征提取模块601，用于从目标用户上传的待识别的目标视频中提取待识别人脸特征；

原创度识别模块602，用于将所述待识别人脸特征与所述目标用户对应的目标人脸库中的各人脸特征进行比对，并根据比对结果识别所述目标视频的原创度，其中，所述目标人脸库采用本发明实施例提供的图像处理方法得到。

本发明实施例中提供的视频识别装置，从目标用户上传的待识别的目标视频中提取待识别人脸特征，将待识别人脸特征与采用本发明实施例提供的图像处理方法得到的目标用户对应的目标人脸库中的各人脸特征进行比对，根据比对结果识别目标视频的原创度，由于该人脸库可以更加全面准确地表征用户的人脸特征，因此，能够更加精准地识别视频的原创度，降低误识别概率，有利于对目标视频进行进一步的有针对性的相关处理，提高视频处理效率以及增强视频处理的合理性。

本发明实施例提供了一种计算机设备，该计算机设备中可集成本发明实施例提供的图像处理装置。图7为本发明实施例提供的一种计算机设备的结构框图。计算机设备700包括存储器701、处理器702及存储在存储器701上并可在处理器702上运行的计算机程序，所述处理器702执行所述计算机程序时实现本发明实施例提供的图像处理方法和/或视频识别方法。

本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行本发明实施例提供的图像处理方法和/或视频识别方法。

上述实施例中提供的图像处理装置、视频识别装置、设备以及存储介质可执行本发明实施例所提供的相应的方法，具备执行方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的方法。

注意，上述仅为本发明的较佳实施例。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由权利要求范围决定。

Claims (12)

1.一种图像处理方法，其特征在于，包括：

获取目标用户在预设应用程序中的头像图像，在从所述头像图像中提取到满足预设要求的第一人脸特征的情况下，将所述第一人脸特征加入基准人脸特征集；

从所述目标用户在所述预设应用程序中发布的历史视频中获取出现频率满足预设频率要求的目标人脸对应的第二人脸特征，并将所述第二人脸特征加入候选人脸特征集；

基于所述基准人脸特征集对所述候选人脸特征集中的人脸特征进行筛选，根据筛选结果确定扩展人脸特征集；

根据所述基准人脸特征集和所述扩展人脸特征集构建所述目标用户对应的目标人脸库。

2.根据权利要求1所述的方法，其特征在于，在所述基于所述基准人脸特征集对所述候选人脸特征集中的人脸特征进行筛选之前，还包括：

将从所述头像图像中提取到的不满足所述预设要求的第三人脸特征加入所述候选人脸特征集。

3.根据权利要求1所述的方法，其特征在于，在所述获取目标用户在预设应用程序中的头像图像之后，还包括：

将所述头像图像输入至预设分类模型，并根据所述预设分类模型的输出结果确定所述头像图像的类别，其中，所述预设分类模型对应的训练样本图像的标签包括可用和不可用；

从类别为可用的头像图像中进行人脸特征提取，得到满足预设要求的第一人脸特征。

4.根据权利要求1所述的方法，其特征在于，所述从所述目标用户在所述预设应用程序中发布的历史视频中获取出现频率满足预设频率要求的目标人脸对应的第二人脸特征，包括：

针对所述目标用户在所述预设应用程序中发布的历史视频中的视频帧进行人脸特征提取，并将提取到的人脸特征作为备选人脸特征加入到备选人脸特征池；

对所述备选人脸特征池中的备选人脸特征进行预设聚类处理，得到多个簇；

对各个簇中包含的备选人脸特征的数量进行统计，将累计数量满足预设数量要求的簇确定为高频簇，其中，所述高频簇中的备选人脸特征所属的人脸记为出现频率满足预设频率要求的目标人脸；

从所述高频簇中获取第二人脸特征。

5.根据权利要求4所述的方法，其特征在于，所述从所述高频簇中获取第二人脸特征，包括：

对于所述高频簇中的每个备选人脸特征，计算当前备选人脸特征与所属高频簇内的除所述当前备选人脸特征之外的各备选人脸特征的第一相似度，并计算第一数值，其中，所述第一数值为各第一相似度的和；

将所述高频簇中对应第一数值满足第一预设数值要求的备选人脸特征作为第二人脸特征进行获取。

6.根据权利要求5所述的方法，其特征在于，还包括：

在从所述头像图像中无法提取到满足预设要求的第一人脸特征的情况下，将所述累计数量最大的簇确定为目标簇，其中，所述高频簇中包括所述目标簇；

将所述目标簇中对应第一数值满足第二预设数值要求的备选人脸特征加入所述基准人脸特征集。

7.根据权利要求1所述的方法，其特征在于，所述基于所述基准人脸特征集对所述候选人脸特征集中的人脸特征进行筛选，根据筛选结果确定扩展人脸特征集，包括：

对于所述候选人脸特征集中的每个候选人脸特征，计算当前候选人脸特征与所述基准人脸特征集中的各基准人脸特征的第二相似度，在存在至少一个第二相似度大于预设相似度阈值的情况下，将当前候选人脸特征确定为扩展人脸特征并加入扩展人脸特征集。

8.一种视频识别方法，其特征在于，包括：

从目标用户上传的待识别的目标视频中提取待识别人脸特征；

将所述待识别人脸特征与所述目标用户对应的目标人脸库中的各人脸特征进行比对，并根据比对结果识别所述目标视频的原创度，其中，所述目标人脸库采用如权利要求1-7任一所述的图像处理方法得到。

9.一种图像处理装置，其特征在于，包括：

头像图像处理模块，用于获取目标用户在预设应用程序中的头像图像，在从所述头像图像中提取到满足预设要求的第一人脸特征的情况下，将所述第一人脸特征加入基准人脸特征集；

历史视频处理模块，用于从所述目标用户在所述预设应用程序中发布的历史视频中获取出现频率满足预设频率要求的目标人脸对应的第二人脸特征，并将所述第二人脸特征加入候选人脸特征集；

人脸特征筛选模块，用于基于所述基准人脸特征集对所述候选人脸特征集中的人脸特征进行筛选，根据筛选结果确定扩展人脸特征集；

人脸库构建模块，用于根据所述基准人脸特征集和所述扩展人脸特征集构建所述目标用户对应的目标人脸库。

10.一种视频识别装置，其特征在于，包括：

人脸特征提取模块，用于从目标用户上传的待识别的目标视频中提取待识别人脸特征；

原创度识别模块，用于将所述待识别人脸特征与所述目标用户对应的目标人脸库中的各人脸特征进行比对，并根据比对结果识别所述目标视频的原创度，其中，所述目标人脸库采用如权利要求1-7任一所述的图像处理方法得到。

11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-8任一项所述的方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的方法。

Images