CN109862394A - 视频内容的审核方法、装置、设备和存储介质 - Google Patents

Abstract

本发明公开了一种视频内容的审核方法、装置、设备及存储介质，所述方法包括：获取待审核的视频文件；提取所述视频文件的部分视频帧，作为特征帧；对所述特征帧中的内容进行标注，获得第一内容标签和第一置信度；若所述第一内容标签为违规标签，则根据所述第一置信度输出所述视频文件的内容审核结果；若所述第一内容标签为未违规标签，则对所述特征帧的内容进行标注，获得第二内容标签和第二置信度；根据所述第二内容标签和所述第二置信度输出所述视频文件的内容审核结果。本发明实施例能够快速有效的对视频内容进行审核，提高视频审核的召回率和精确率。

Description

视频内容的审核方法、装置、设备和存储介质

技术领域

本发明实施例涉及视频处理技术领域，具体涉及一种视频内容的审核方法、装置、设备和存储介质。

背景技术

随着短视频等视频应用的快速发展，互联网上存在着海量的视频文件。由于互联网具有公开性和广泛传播性，所以需要各大平台对这些视频文件实施有效的监管，以传播正确的价值观。由于视频的数据量过多，所以仅仅利用人工筛选的方式会消耗大量人力资源。

目前平台上大量视频的主要采用机器审核，审核方法主要过程如下：首先对视频采取逐帧或顺帧抽取为图片，再根据训练好的模型对图片进行分类，进而判断该视频是否违规。

在图片识别的过程中，现有的采取模型标准单一，容易遗漏信息，造成识别的精确度低。

发明内容

本发明提供一种视频内容的审核方法，能够快速有效的对视频内容进行审核，提高视频审核的召回率和精确率。

第一方面，本发明实施例提供了一种视频内容的审核方法，包括：

获取待审核的视频文件；

提取所述视频文件的部分视频帧，作为特征帧；

对所述特征帧中的内容进行标注，获得第一内容标签和第一置信度；

若所述第一内容标签为违规标签，则根据所述第一置信度输出所述视频文件的内容审核结果；

若所述第一内容标签为未违规标签，则对所述特征帧的内容进行标注，获得第二内容标签和第二置信度；

根据所述第二内容标签和所述第二置信度输出所述视频文件的内容审核结果。

在第二方面，本发明实施例还提供一种视频内容的审核装置，包括：

视频获取模块，用于获取待审核的视频文件；

特征帧提取模块，用于提取所述视频文件的部分视频帧，作为特征帧；

第一标注模块，用于对所述特征帧中的内容进行标注，获得第一内容标签和第一置信度；

第一结果输出模块，用于若所述第一内容标签为违规标签，则根据所述第一置信度输出所述视频文件的内容审核结果；

第二标注模块，用于若所述第一内容标签为未违规标签，则对所述特征帧的内容进行标注，获得第二内容标签和第二置信度；

第二结果输出模块，用于根据所述第二内容标签和所述第二置信度输出所述视频文件的内容审核结果。

在第三方面，本发明实施例还提供一种设备，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现第一方面中的视频内容审核的方法。

在第四方面，本发明实施例还提供一种存储介质，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述存储介质所在设备执行第一方面中的视频内容审核的方法。

本发明实施例提供的一种视频内容的审核方法、装置、设备及存储介质，通过提取视频文件的部分视频帧作为特征帧，保留视频文件的有效信息并极大的减少了视频文件的内容审核的计算量；对特征帧中的内容进行标注，获得第一内容标签和第一置信度；当第一内容标签为违规标签时，根据第一置信度与确保精确率和召回率的置信度范围之间的关系，对视频文件的内容审核结果进行再判断后，输出视频文件的内容审核结果，从而确保视频文件内容的审核的精确率和召回率；当第一内容标签为未违规标签时，对特征帧再次进行内容标注，获得第二内容标签和第二置信度；根据第二内容标签和第二置信度输出视频文件的内容审核结果，通过二次标注，可避免对视频文件内容中的一些特定物体或小物体的检测识别遗漏，既满足了视频内容审核的高效性，也满足了视频内容审核的高召回，高准确性。

附图说明

图1是本发明实施例一提供的视频内容的审核方法的流程示意图；

图2是本发明实施例二提供的视频内容的审核方法的流程示意图；

图3是本发明实施例三提供的视频内容的审核方法的流程示意图；

图4是本发明实施例四提供的视频内容的审核方法的流程示意图；

图5是本发明实施例五提供的一种视频内容的审核装置的结构示意图；

图6是本发明实施例五提供的另一种视频内容的审核装置的结构示意图；

图7是本发明实施例的设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

由于传统的视频内容审核方法无法对视频中一些特定物体或小物体进行有效的检测识别，导致审核遗漏，不能满足视频内容审核的高召回和高准确性。本发明实施例提供的视频内容的审核方法，结合两次对视频内容进行内容标注的检测结果对视频内容进行内容审核，提高视频审核的召回率和精确率。

实施例一

图1是本发明实施例一提供的视频内容的审核方法的流程示意图，本实施例可适用于视频平台对视频文件进行内容审核的场景，尤其是在线审核视频文件的场景，该方法可以由视频内容的审核装置执行，该视频内容的审核装置可配置在视频平台中的设备，如服务器、工作站，典型的可配置在该设备的处理器中，该方法具体包括如下步骤：

S101、获取待审核的视频文件。

用户将视频文件上传至视频平台，如短视频、直播视频等，意图在该视频平台发布该视频文件，让公众传阅、浏览。

不同的视频平台可按照业务、法律等因素制定视频内容审核标准，在发布视频文件之前，按照该审核规范对该视频文件的内容进行审核，过滤掉一些不符合视频内容审核标准的视频文件，如包含色情、低俗、暴力等内容的视频文件，从而发布一些符合视频内容审核标准的视频文件。

如果对于实时性要求较高，在视频平台中可设置流式实时系统，用户通过客户端实时将视频文件上传至该流式实时系统，该流式实时可将该视频文件传输至用于审核的设备。

如果对于实时性要求较低，在视频平台中可设置数据库，如分布式数据库等，用户通过客户端将视频文件上传至该数据库，该设备可从该数据库读取该视频文件。

视频文件中包含大量的视频帧，由于拍摄角度、传感器性能等原因，视频帧的质量可能较低，影响视频文件内容的辨别，因此，可以将低质量的视频帧剔除。

需要说明的是，视频帧的质量并非指内容的质量高低，而是指视频帧本身的参数，如亮度、清晰度、色温、色彩空间、像素，等等。

在具体实现中，可针对低质量的视频帧设置质量条件，如果视频帧满足该质量条件，则表示该视频帧的质量较低，因此，可遍历视频文件中的视频帧，过滤该视频文件中符合预设的质量条件的视频帧。

在一个实施示例中，预设的质量条件包括如下的至少一种：

1、视频帧的亮度值低于预设的亮度阈值。

针对此质量条件，可预先设置一亮度阈值。对于视频文件中的视频帧，统计该视频帧的亮度值，如果视频帧的亮度值低于预设的亮度阈值，可认为该视频帧亮度较低，属于暗帧，影响视频文件内容的辨别，因此，可将此类低质帧剔除。

2、视频帧的清晰度低于预设的清晰阈值。

针对此质量条件，可预先设置灰度值阈值。对于视频文件中的视频帧，统计该视频帧的灰度值，如果视频帧的灰度值低于预设的灰度值阈值，可认为该视频帧清晰度低，属于模糊帧，影响视频文件内容的辨别，因此需将此类低质帧剔除。

在此示例中，根据镜头边缘检测的方法过滤亮度值低于预设的亮度阈值的视频帧、清晰度低于预设的清晰阈值的视频帧。

进一步而言，如果视频文件包括多个镜头，镜头是时间上连续的若干视频帧组成的片段，镜头之间的切换包含若干场景过渡的视频帧，作为场景过渡的视频帧可能包含表达物体运动的模糊帧和场景淡出的暗帧。

镜头边缘即镜头边界检测对视频文件进行检测时，依据该视频文件中镜头发生转变产生的视频帧序列之间的差别判断镜头发生转变后提取镜头的边界即关键帧，从而过滤该视频文件中镜头转换过程所包含的暗帧、模糊帧。

在本发明实施例中，通过预先剔除视频文件中符合质量条件的视频帧，可以剔除低质量的视频帧，减少对视频文件内容的辨别的影响，从而提高视频文件审核的准确性。

当然，上述质量条件及其检测方式方法只是作为示例，在实施本发明实施例时，可以根据实际情况设置其它质量条件及其检测方式，例如，视频多帧去噪或过滤器拦截等其他低质量的视频帧的过滤方法，等等，本发明实施例对此不加以限制。

S102、提取视频文件的部分视频帧，作为特征帧。

在具体实现中，提取视频文件中部分能够作为该视频文件的内容代表的视频帧作为特征帧。由于特征帧能够代表该视频文件的表达内容，在对该视频文件进行内容审核时对特征帧进行内容审核，以减少对该视频文件进行内容审核时视频帧的审核数量，降低功耗。

在一个实施方式中，可从视频文件中的视频帧提取纹理特征。

其中，纹理特征是一种反映视频帧中同质现象的视觉特征，它体现了物体表面的具有缓慢变化或者周期性变化的表面结构组织排列属性，常具有旋转不变性，可用于表达视频帧的内容。

进一步而言，该纹理特征可通过灰度共生矩阵、灰度行程统计或灰度差分统计等方式进行提取，提取的纹理特征可为LBP(Local Binary Pattern，局部二值模式)纹理特征。

基于提取到的纹理特征对视频帧进行聚类，得到聚类簇。

纹理特征刻画了视频帧的图像中重复出现的局部模式与他们的排列规则，为视频帧的画面所表达的内容的表征；基于提取到的纹理特征对视频帧进行聚类的方式能够考虑到视频的镜头内以及镜头间的相关性，依据每一视频帧图像之间纹理特征的相似度的大小，将视频帧聚类从而获得聚类簇。在聚类过程中以视频文件的任一视频帧作为初始聚类中心，之后按顺序选取剩余的视频帧与当前的聚类中心进行相似性度量；若某一视频帧的最大的相似性值仍然小于预设的相似阈值,则表明该视频帧与所有聚类中心的距离都太远，自成一类。然后重复此过程，直到取完视频文件中的视频帧后完成基于纹理特征的聚类得到聚类簇，聚类簇具有代表与该聚类簇的纹理特征相似度最高的聚类中心。

此后，在聚类簇中计算视频帧与聚类中心之间的距离。

按照视频帧与聚类中心之间的距离确定视频文件中的部分视频帧作为特征帧。由于视频帧与聚类中心之间的距离代表该视频帧与聚类簇对应的纹理特征之间的相似度，一般情况下，根据视频帧与聚类中心的距离确定与聚类中心距离最近的视频帧作为特征帧。通过对视频文件基于纹理特征聚类提取特征帧的方式，使得提取到的特征帧保留了视频文件中的有效信息。

S103、对特征帧中的内容进行标注，获得第一内容标签和第一置信度。

当获取到保留有视频文件的有效信息的特征帧后，通过对特征帧中的内容进行标注实现对视频文件的内容进行审核。

将特征帧输入预设的分类模型，对每一帧的内容进行标注，获得该特征帧的第一内容标签和第一置信度。

其中，该分类模型主要解决对场景的划分，以及针对视频帧中比较显著的特征进行分类。

将包含赌博、暴力以及人体过度暴露(人体肤色区域在图片中的面积占比)等内容的目标识别场景的图像数据作为训练数据，将此类训练数据输入预设的训练模型进行训练生成分类模型，从而使得输入分类模型的特征帧的内容能够被分类模型进行相关场景的识别和标注。

具体地，若从视频文件video_1提取获得的特征帧img_1输入分类模型进行标注后，得到结果为(label,conf)，label为分类模型对该视频帧的内容预测得到的结果即为第一内容标签，第一内容标签包括该视频帧的内容所属的分类；其中，视频帧的内容所属的分类包括违规类别和非违规类别；违规类别包括赌博、暴力或人体过度暴露等违法敏感标签，非违规类别包括生活、运动场景等标签；conf为分类模型对该视频帧标注的第一内容标签的置信度。

S104、若第一内容标签为违规标签，则根据第一置信度输出视频文件的内容审核结果。

当判断第一内容标签为视频内容审核标准所规定的违规标签时，根据第一置信度与确保精确率和召回率的置信度范围之间的关系，输出视频文件的内容审核结果，从而确保视频文件内容的审核的精确率和召回率。

S105、若第一内容标签为未违规标签，则对特征帧的内容进行标注，获得第二内容标签和第二置信度。

当判断第一内容标签不属于视频内容审核标准所规定的违规标签时，则对特征帧的内容再次进行标注。

将特征帧输入检测模型进行内容再标注，获得该特征帧的第二内容标签和第二置信度。

具体地，检测模型为上述分类模型的辅助模型，能够针对视频帧中的指定物体进行检测识别，由指定易错的标签训练而成；指定易错的标签包括赌博用具(如骰子)、危险物品(如刀具)等易被混淆识别错误的物品。通过检测模型对第一内容标签为未违规标签的特征帧的内容进行标注，实现针对易错和特定内容对视频文件进行再次审核，优化视频文件的内容审核方法，避免对视频文件内容中的一些特定物体或小物体的检测识别遗漏。

S106、根据第二内容标签和第二置信度输出视频文件的内容审核结果。

通过检测模型对特征帧的内容进行更细致的标注分类后，获得第二内容标签和第二置信度。

根据第二内容标签的合法性、第二置信度与检测模型确保高召回率的置信度范围之间的关系输出视频文件的内容审核结果。

本发明实施例提供的一种视频内容的审核方法、装置、设备及存储介质，通过提取视频文件的部分视频帧作为特征帧，保留视频文件的有效信息并极大的减少了视频文件的内容审核的计算量；对特征帧中的内容进行标注，获得第一内容标签和第一置信度；当第一内容标签为违规标签时，根据第一置信度与确保精确率和召回率的置信度范围之间的关系，对视频文件的内容审核结果进行再判断后，输出视频文件的内容审核结果，从而确保视频文件内容的审核的精确率和召回率；当第一内容标签为未违规标签时，对特征帧再次进行内容标注，获得第二内容标签和第二置信度；根据第二内容标签和第二置信度输出视频文件的内容审核结果，通过二次标注，可避免对视频文件内容中的一些特定物体或小物体的检测识别遗漏，既满足了视频内容审核的高效性，也满足了视频内容审核的高召回，高准确性。

实施例二

图2是本发明实施例二提供的视频内容的审核方法的流程示意图。在实施例一的基础上，本实施例还提供了根据第一置信度输出视频文件的内容审核结果的过程，从而确保视频文件内容的审核的精确率和召回率。该方法具体包括：

S201、获取待审核的视频文件。

S202、提取视频文件的部分视频帧，作为特征帧。

S203、对所述特征帧中的内容进行标注，获得第一内容标签和第一置信度。

S204、若所述第一内容标签为未违规标签，则对所述特征帧的内容进行标注，获得第二内容标签和第二置信度，根据所述第二内容标签和所述第二置信度输出所述视频文件的内容审核结果。

S205、若所述第一内容标签为违规标签，则确定第一置信度所属的置信范围。

在具体实现中，由于第一置信度是根据特征帧输入分类模型进行内容标注获得，为确保分类模型对特征帧进行内容标注时确保精确率和召回率，针对第一置信度预设第一类阈值thre_1和第二类阈值thre_2，其中，第一类阈值thre_1大于第二类阈值thre_2，第一类阈值thre_1为在保证高精确率的条件下尽可能的保证召回率的第一置信度的阈值，第二类阈值thre_2为在保证高召回率的条件下尽可能的保证精确率的第一置信度的阈值。

因此，由第一类阈值和第二类阈值构成的置信范围包括置信度大于第一类阈值thre_1的第一范围；置信度位于第一类阈值thre_1和第二类阈值thre_2之间的第二范围；以及置信度小于第二类阈值thre_2的第三范围；第一范围大于第二范围，第二范围大于第三范围。

若从视频文件video_1提取的其中一帧特征帧img_1输入分类模型进行图像内容标注后，得到结果为(label,conf)，label为分类模型对该视频帧图片的内容预测得到的结果即为第一内容标签，第一内容标签包括该视频帧图片的内容所属的标签分类；conf为分类模型对该视频帧图片推理结果的置信度。当判断第一内容标签为违规标签时，根据第一置信度的值确定第一置信度所属的置信范围。

S206、若置信范围为第一范围，则确定特征帧的内容违规，将视频文件的内容审核结果设置为第一内容标签对应的内容违规类别。

应用本发明实施例，可预先设置第一内容标签与内容违规类别之间的映射关系。一个内容违规类别对应多个不同的第一内容标签，其多个不同的第一内容标签为预设的违规类别对应的多个场景中涉及到的内容标签；例如，若第一内容标签为打斗、流血等属于暴力场景所涉及到的标签时，该第一内容标签对应的内容违规类别为暴力类别。

若置信范围为第一范围，即第一置信度conf>第一类阈值thre_1，说明生成第一内容标签的分类模型具备高精确率和保证召回率，分类模型生成的第一内容标签可信，则根据第一内容标签为违规标签确定特征帧的内容违规，将视频文件的内容审核结果设置为第一内容标签label对应的内容违规类别。

S207、若置信范围为第二范围，则将特征帧发送至质检端，接收质检端对特征帧标记的人工审核结果，将视频文件的内容审核结果设置为人工审核结果。

应用本发明实施例，可预先设置质检端，该质检端由专门的审核人员操作、管理。若置信范围为第二范围即第二类阈值thre_2<第一置信度conf<第一类阈值thre_1，说明生成第一内容标签的分类模型的精确率较高但召回率欠缺，分类模型生成的第一内容标签可能存在对特征帧漏检的情况。则需将特征帧发送至质检端，以使审核人员对质检端上的视频文件进行人工审核，从而实现视频文件的内容再审核，并反馈对该视频文件进行内容再审核的人工审核结果，该人工审核结果为审核人员根据特征帧的内容判断的视频内容合法与否的审核结果，包括内容合法或具体的内容违规类别。

若接收到质检端对特征帧标记的人工审核结果，则可以将视频文件的内容审核结果设置为人工审核结果。

S208、若置信范围为第三范围，则对特征帧的内容进行标注，获得第二内容标签和第二置信度；根据第二内容标签和第二置信度输出视频文件的内容审核结果。

若置信范围为第三范围即第一置信度conf<第二类阈值thre_2，说明生成第一内容标签的分类模型的精确率和召回率都欠缺，分类模型生成的第一内容标签可能存在对特征帧的错检或漏检的情况。则对特征帧的内容再次进行标注；通过检测模型对特征帧的内容进行更细致的标注分类后，获得第二内容标签和第二置信度。根据第二内容标签的合法性和第二置信度与检测模型确保高召回率的置信度范围之间的关系输出所述视频文件的内容审核结果。

具体地，检测模型为上述分类模型的辅助模型，能够针对视频帧中的指定物体进行检测识别，由指定易错的标签训练而成；指定易错的标签包括赌博用具(如骰子)、危险物品(如刀具)等易被混淆识别错误的物品。通过检测模型对第一内容标签为未违规标签的特征帧的内容进行标注，实现针对易错和特定内容对视频文件进行再次审核，优化视频文件的内容审核方法，避免对视频文件内容中的一些特定物体或小物体的检测识别遗漏。

实施例三

图3是本发明实施例三提供的视频内容的审核方法的流程示意图。在实施例二的基础上，本实施例还提供了当第一置信度为第三范围时，根据第二置信度输出视频文件的内容审核结果的过程，从而确保视频文件内容的审核的高召回率。该方法具体包括：

S301、获取待审核的视频文件。

S302、提取视频文件的部分视频帧，作为特征帧。

S303、对所述特征帧中的内容进行标注，获得第一内容标签和第一置信度。

S304、若所述第一内容标签为违规标签，则确定第一置信度所属的置信范围。

S305、若置信范围为第一范围，则确定特征帧的内容违规，将视频文件的内容审核结果设置为第一内容标签对应的内容违规类别；若置信范围为第二范围，则将特征帧发送至质检端，接收质检端对特征帧标记的人工审核结果，将视频文件的内容审核结果设置为人工审核结果。

S306、若置信范围为第三范围，则对特征帧的内容进行标注，获得第二内容标签和第二置信度。

S307、若第二内容标签为未违规标签，则确定视频文件的内容审核结果为内容合法。

当将特征帧输入检测模型进行再识别后，获得的第二内容标签为未违规标签时，则确定该视频文件的内容审核结果为内容合法。

S308、若所述第二内容标签为违规标签，则判断所述第二置信度是否超出预设的阈值；若是，则执行S309，若否，则执行S310。

当判断第二内容标签为视频内容审核标准所规定的违规标签时，根据第二置信度与检测模型确保高召回率的置信度范围之间的关系，对视频文件的内容审核结果进行再判断后，输出视频文件的内容审核结果，从而确保视频文件内容的审核的召回率。

由于第二置信度是根据特征帧输入检测模型进行内容标注获得，为确保检测模型对特征帧再次进行内容标注时确保召回率，针对第二置信度设置阈值thre_3。

S309、将所述视频文件的内容审核结果设置为所述第二内容标签对应的内容违规类别；

若第二置信度超出预设的阈值thre_3，则将视频文件的内容审核结果设置为第二内容标签对应的内容违规类别。

S310、确定所述视频文件的内容审核结果为内容合法。

若第二置信度未超出预设的阈值thre_3，则确定视频文件的内容审核结果为内容合法。并且，在高召回率的条件下，针对一些准确率较低的标签类别，检测模型后还可连接一个或多个二分类模型，该二分类模型对一些易混淆的标签进行重点检测，确保检测模型的召回率。

实施例四

图4是本发明实施例四提供的视频内容的审核方法的流程示意图。在实施例一的基础上，本实施例还提供了当第一内容标签为未违规标签时，根据第二置信度输出视频文件的内容审核结果的过程，从而确保视频文件内容的审核的高召回率。该方法具体包括：

S401、获取待审核的视频文件。

S402、提取视频文件的部分视频帧，作为特征帧。

S403、对所述特征帧中的内容进行标注，获得第一内容标签和第一置信度。

S404、若所述第一内容标签为违规标签，则根据第一置信度输出视频文件的内容审核结果。

S405、若第一内容标签为未违规标签，则对特征帧的内容进行标注，获得第二内容标签和第二置信度。

S406、判断所述第二置信度是否超出预设的阈值；若是，则执行S407，若否，则执行S408。

当判断第二内容标签为视频内容审核标准所规定的违规标签时，根据第二置信度与检测模型确保高召回率的置信度范围之间的关系，对视频文件的内容审核结果进行再判断后，输出视频文件的内容审核结果，从而确保视频文件内容的审核的召回率。

由于第二置信度是根据特征帧输入检测模型进行内容标注获得，为确保检测模型对特征帧再次进行内容标注时确保召回率，针对第二置信度设置阈值thre_3。

S407、将所述视频文件的内容审核结果设置为所述第二内容标签对应的内容违规类别；

若第二置信度超出预设的阈值thre_3，则将视频文件的内容审核结果设置为第二内容标签对应的内容违规类别。

S408、确定所述视频文件的内容审核结果为内容合法。

若第二置信度未超出预设的阈值thre_3，则确定视频文件的内容审核结果为内容合法。并且，在高召回率的条件下，针对一些准确率较低的标签类别，在检测模型之后还可连接一个或多个二分类模型，该二分类模型对一些易混淆的标签进行重点检测，确保检测模型的召回率。

实施例五

如图5所示，是本发明实施例五提供的一种视频内容的审核装置的结构示意图。本发明实施例还提供一种视频内容的审核装置，在第一种实施示例中，该审核装置包括：

视频获取模块501，用于获取待审核的视频文件；

特征帧提取模块502，用于提取所述视频文件的部分视频帧，作为特征帧；

第一标注模块503，用于对所述特征帧中的内容进行标注，获得第一内容标签和第一置信度；

第一结果输出模块504，用于若所述第一内容标签为违规标签，则根据所述第一置信度输出所述视频文件的内容审核结果；

进一步地，当第一结果输出模块504进行视频文件的内容审核结果输出时，第一结果输出模块504还包括：

置信范围确定单元，用于确定所述第一置信度所属的置信范围；

第一结果输出单元，用于若所述置信范围为第一范围，则确定所述特征帧的内容违规，将所述视频文件的内容审核结果设置为所述第一内容标签对应的内容违规类别；

第二结果输出单元，用于若所述置信范围为第二范围，则将所述特征帧发送至质检端，接收所述质检端对所述特征帧标记的人工审核结果，将所述视频文件的内容审核结果设置为所述人工审核结果；

第三结果输出单元，用于若所述置信范围为第三范围，则对所述特征帧的内容进行标注，获得第二内容标签和第二置信度；根据所述第二内容标签和所述第二置信度输出所述视频文件的内容审核结果；

其中，所述第一范围大于所述第二范围，所述第二范围大于所述第三范围。

第二标注模块505，用于若所述第一内容标签为未违规标签，则对所述特征帧的内容进行标注，获得第二内容标签和第二置信度；

第二结果输出模块506，用于根据所述第二内容标签和所述第二置信度输出所述视频文件的内容审核结果。

如图6所示，是本发明实施例五提供的另一种视频内容的审核装置的结构示意图。

进一步地，在此实施例中，在对视频文件进行特征帧提取之前，还需将影响视频文件内容的辨别的低质帧剔除，所述视频内容的审核装置包括：

视频获取模块601，用于获取待审核的视频文件；

视频帧过滤模块602，用于过滤所述视频文件中符合预设的质量条件的视频帧；

所述预设质量条件包括如下的至少一种：

所述视频帧的亮度值低于预设的亮度阈值；所述视频帧的清晰度低于预设的清晰阈值。

特征帧提取模块603，用于提取所述视频文件的部分视频帧，作为特征帧；

第一标注模块604，用于对所述特征帧中的内容进行标注，获得第一内容标签和第一置信度；

第一结果输出模块605，用于若所述第一内容标签为违规标签，则根据所述第一置信度输出所述视频文件的内容审核结果；

进一步地，当第一结果输出模块605进行视频文件的内容审核结果输出时，第一结果输出模块605还包括：

置信范围确定单元，用于确定所述第一置信度所属的置信范围；

第一结果输出单元，用于若所述置信范围为第一范围，则确定所述特征帧的内容违规，将所述视频文件的内容审核结果设置为所述第一内容标签对应的内容违规类别；

第二结果输出单元，用于若所述置信范围为第二范围，则将所述特征帧发送至质检端，接收所述质检端对所述特征帧标记的人工审核结果，将所述视频文件的内容审核结果设置为所述人工审核结果；

第三结果输出单元，用于若所述置信范围为第三范围，则对所述特征帧的内容进行标注，获得第二内容标签和第二置信度；根据所述第二内容标签和所述第二置信度输出所述视频文件的内容审核结果；

其中，所述第一范围大于所述第二范围，所述第二范围大于所述第三范围。

第二标注模块606，用于若所述第一内容标签为未违规标签，则对所述特征帧的内容进行标注，获得第二内容标签和第二置信度；

第二结果输出模块607，用于根据所述第二内容标签和所述第二置信度输出所述视频文件的内容审核结果。

实施例六

本发明实施例还提供一种设备，该设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现实施例一至实施例三中任一实施例中的所述的视频内容的审核方法。

如图7所示，为本发明实施例五提供的一种设备的结构示意图，该设备包括处理器701和存储装置702；设备中处理器701的数量可以是一个或多个，图7中以一个处理器701为例；设备中的处理器701和存储装置702可以通过总线或其他方式连接，图7中以通过总线连接为例。

存储装置702作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的命令处理方法对应的程序指令/模块(例如，如图5所示的视频获取模块501、特征帧提取模块502、第一标注模块503、第一结果输出模块504、第二标注模块505和第二结果输出模块506；或者，如图6所示的视频获取模块601、视频帧过滤模块602、特征帧提取模块603、第一标注模块604、第一结果输出模块605、第二标注模块606和第二结果输出模块607)。处理器701通过运行存储在存储装置702中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的命令处理方法。

实施例七

本发明实施例还提供一种存储介质，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述存储介质所在设备执行实施例一至实施例三中任一实施例中的所述的视频内容的审核方法。

当然,本发明实施例所提供的一种存储介质,其处理器可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的视频内容的审核方法中的相关操作。

综上所述，本发明实施例提供的一种视频内容的审核方法、装置、设备及存储介质，通过提取视频文件的部分视频帧作为特征帧，保留视频文件的有效信息并极大的减少了视频文件的内容审核的计算量；对特征帧中的内容进行标注，获得第一内容标签和第一置信度；当第一内容标签为违规标签时，根据第一置信度与确保精确率和召回率的置信度范围之间的关系，对视频文件的内容审核结果进行再判断后，输出视频文件的内容审核结果，从而确保视频文件内容的审核的精确率和召回率；当第一内容标签为未违规标签时，对特征帧再次进行内容标注，获得第二内容标签和第二置信度；根据第二内容标签和第二置信度输出视频文件的内容审核结果，通过二次标注，可避免对视频文件内容中的一些特定物体或小物体的检测识别遗漏，既满足了视频内容审核的高效性，也满足了视频内容审核的高召回，高准确性。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述药品输出装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种视频内容的审核方法，其特征在于，包括：

获取待审核的视频文件；

提取所述视频文件的部分视频帧，作为特征帧；

对所述特征帧中的内容进行标注，获得第一内容标签和第一置信度；

若所述第一内容标签为违规标签，则根据所述第一置信度输出所述视频文件的内容审核结果；

若所述第一内容标签为未违规标签，则对所述特征帧的内容进行标注，获得第二内容标签和第二置信度；

根据所述第二内容标签和所述第二置信度输出所述视频文件的内容审核结果。

2.如权利要求1所述的视频内容的审核方法，其特征在于，在提取所述视频文件的部分视频帧，作为特征帧之前，所述方法还包括：

过滤所述视频文件中符合预设的质量条件的视频帧；

所述预设的质量条件包括如下的至少一种：

所述视频帧的亮度值低于预设的亮度阈值；所述视频帧的清晰度低于预设的清晰阈值。

3.如权利要求1或2所述的视频内容的审核方法，其特征在于，所述根据所述第一置信度输出所述视频文件的内容审核结果，包括：

确定所述第一置信度所属的置信范围；

若所述置信范围为第一范围，则确定所述特征帧的内容违规，将所述视频文件的内容审核结果设置为所述第一内容标签对应的内容违规类别；

若所述置信范围为第二范围，则将所述特征帧发送至质检端，接收所述质检端对所述特征帧标记的人工审核结果，将所述视频文件的内容审核结果设置为所述人工审核结果；

若所述置信范围为第三范围，则对所述特征帧的内容进行标注，获得第二内容标签和第二置信度；根据所述第二内容标签和所述第二置信度输出所述视频文件的内容审核结果；

其中，所述第一范围大于所述第二范围，所述第二范围大于所述第三范围。

4.如权利要求1或3所述的视频内容的审核方法，其特征在于，所述根据所述第二内容标签和所述第二置信度输出所述视频文件的内容审核结果，包括：

若所述第二内容标签为违规标签，则根据所述第二置信度输出所述视频文件的内容审核结果；

若所述第二内容标签为未违规标签，则确定所述视频文件的内容审核结果为内容合法。

5.如权利要求4所述的视频内容的审核方法，其特征在于，所述根据所述第二置信度输出所述视频文件的内容审核结果，包括：

判断所述第二置信度是否超出预设的阈值；

若是，则将所述视频文件的内容审核结果设置为所述第二内容标签对应的内容违规类别；

若否，则确定所述视频文件的内容审核结果为内容合法。

6.如权利要求1或2所述的视频内容的审核方法，其特征在于，所述提取所述视频文件的部分视频帧，作为特征帧，包括：

从所述视频文件中的视频帧提取纹理特征；

基于所述纹理特征对所述视频帧进行聚类，得到聚类簇；所述聚类簇具有聚类中心；

在所述聚类簇中计算所述视频帧与所述聚类中心之间的距离；

按照所述距离确定部分视频帧作为特征帧。

7.一种视频内容的审核装置，其特征在于，包括：

视频获取模块，用于获取待审核的视频文件；

特征帧提取模块，用于提取所述视频文件的部分视频帧，作为特征帧；

第一标注模块，用于对所述特征帧中的内容进行标注，获得第一内容标签和第一置信度；

第一结果输出模块，用于若所述第一内容标签为违规标签，则根据所述第一置信度输出所述视频文件的内容审核结果；

第二标注模块，用于若所述第一内容标签为未违规标签，则对所述特征帧的内容进行标注，获得第二内容标签和第二置信度；

第二结果输出模块，用于根据所述第二内容标签和所述第二置信度输出所述视频文件的内容审核结果。

8.如权利要求7所述的视频内容的审核装置，其特征在于，所述装置还包括：

视频帧过滤模块，用于过滤所述视频文件中符合预设的质量条件的视频帧；

所述预设的质量条件包括如下的至少一种：

所述视频帧的亮度值低于预设的亮度阈值；所述视频帧的清晰度低于预设的清晰阈值。

9.一种设备，其特征在于，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的视频内容的审核方法。

10.一种存储介质，其特征在于，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述存储介质所在设备执行如权利要求1至6任意一项所述的视频内容的审核方法。