Nothing Special   »   [go: up one dir, main page]

CN112183289A - 一种花屏检测方法、装置、设备及介质 - Google Patents

一种花屏检测方法、装置、设备及介质 Download PDF

Info

Publication number
CN112183289A
CN112183289A CN202011002425.8A CN202011002425A CN112183289A CN 112183289 A CN112183289 A CN 112183289A CN 202011002425 A CN202011002425 A CN 202011002425A CN 112183289 A CN112183289 A CN 112183289A
Authority
CN
China
Prior art keywords
screen
video data
detected
similarity
splash
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011002425.8A
Other languages
English (en)
Inventor
汪贤
樊鸿飞
蔡媛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN202011002425.8A priority Critical patent/CN112183289A/zh
Publication of CN112183289A publication Critical patent/CN112183289A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本公开实施例涉及一种花屏检测方法、装置、设备及介质，其中该方法包括：获取待检测的视频数据；将视频数据的图像帧输入特征提取模型中，提取得到待测特征；基于待测特征与花屏模板特征之间的相似度，确定视频数据的花屏检测结果。采用上述技术方案，将深度学习模型作为图像特征提取器提取特征，并通过与花屏模板特征之间的相似度匹配实现花屏检测，提高了花屏检测的精度，实现了高召回率和低误报率，相较于现有技术，节省了收集样本的工作量，并且实施难度较低。

Description

一种花屏检测方法、装置、设备及介质
技术领域
本公开涉及视频处理技术领域，尤其涉及一种花屏检测方法、装置、设备及介质。
背景技术
在视频传输领域，由于编解码错误或者传输等因素导致部分数据丢失时，可能会导致视频中的图像帧出现非图像正常内容的色块，即出现花屏现象，严重影响了正常视频流信息的传播，也严重影响了用户的观感体验，因此需要对图像或者视频进行花屏检测，以便进行及时预警。
目前，花屏检测可以通过特征分析、训练深度学习模型进行检测以及采用当前数据与原始数据进行差异比较等方式实现，但是上述方式存在精度不高、费时费力以及实施难度大等问题，不能满足需求。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种花屏检测方法、装置、设备及介质。
本公开实施例提供了一种花屏检测方法，所述方法包括：
获取待检测的视频数据；
将所述视频数据的图像帧输入特征提取模型中，提取得到待测特征；
基于所述待测特征与花屏模板特征之间的相似度，确定所述视频数据的花屏检测结果。
本公开实施例还提供了一种花屏检测装置，所述装置包括：
视频获取模块，用于获取待检测的视频数据；
特征提取模块，用于将所述视频数据的图像帧输入特征提取模型中，提取得到待测特征；
花屏检测模块，用于基于所述待测特征与花屏模板特征之间的相似度，确定所述视频数据的花屏检测结果。
本公开实施例还提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现如本公开实施例提供的花屏检测方法。
本公开实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行如本公开实施例提供的花屏检测方法。
本公开实施例提供的技术方案与现有技术相比具有如下优点：本公开实施例提供的花屏检测方案，获取待检测的视频数据；将视频数据的图像帧输入特征提取模型中，提取得到待测特征；基于待测特征与花屏模板特征之间的相似度，确定视频数据的花屏检测结果。采用上述技术方案，将深度学习模型作为图像特征提取器提取特征，并通过与花屏模板特征之间的相似度匹配实现花屏检测，提高了花屏检测的精度，实现了高召回率和低误报率，相较于现有技术，节省了收集样本的工作量，并且实施难度较低。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的一种花屏检测方法的流程示意图；
图2为本公开实施例提供的另一种花屏检测方法的流程示意图；
图3为本公开实施例提供的一种花屏检测装置的结构示意图；
图4为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
现有的花屏检测方法，一种是基于图像帧的颜色、梯度、对比度等特征分析；另一种是基于训练深度学习模型的检测；还有一种是采用当前图像与原始图像，或者当前视频数据与原始视频数据进行差异比较的方式，其中，当前图像和当前视频数据可以为数据接收端当前收到的数据，而原始图像和原始视频数据可以为原始数据发送端下发的数据。
但是，上述花屏检测方法中，基于图像帧的颜色、梯度、对比度等特征分析的方案，因为特征模式比较单一，存在误报率较高，召回率较低，存在精度不高的问题；基于训练深度学习模型的检测的方式，需要先收集大量训练样本，甚至要采用复杂的生成式对抗网络(Generative Adversarial Networks，GAN)模拟生成样本集，费时费力，且模型训练后存在过拟合的风险；而采用差异比较的方式，对当前图像或者视频数据进行溯源的难度较大，另外也存在原始数据发送端进行安全的通信连接的难度较大等原因，在很多情形下，数据发送端的原始图像或者视频数据都很难获取甚至无法获取到，实施难度较大。为了解决上述问题，本公开实施例提供了一种花屏检测方法。
图1为本公开实施例提供的一种花屏检测方法的流程示意图，该方法可以由花屏检测装置执行，其中该装置可以采用软件和/或硬件实现，一般可集成在电子设备中。如图1所示，该方法包括：
步骤101、获取待检测的视频数据。
本公开实施例中，获取需要进行花屏检测的视频数据，具体视频数据的场景不作限定，可以为实时视频数据或离线视频数据。
步骤102、将视频数据的图像帧输入特征提取模型中，提取得到待测特征。
其中，图像帧为组成视频的最小单位，从视频数据中抽取得到。特征提取模型为预先训练的卷积神经网络，用于提取图像的特征。本公开实施例中对具体的特征提取模型不作限定，例如特征提取模型可以采用ResNet50卷积模型、VGG16模型或DenseNet模型等。待测特征可以为基于特征提取模型提取得到的卷积特征。
具体的，将视频数据的图像帧输入特征提取模型中，提取得到待测特征，可以包括：按照设定时间间隔从预设时长的视频数据中抽取图像帧；将图像帧输入特征提取模型中，通过特征提取模型得到待测特征，其中，特征提取模型为预先训练的卷积模型。其中，设定时间间隔是指抽取图像帧的间隔时长，由于相邻的图像帧存在比较高的相似性，通过间隔抽帧分析可以减少对相似数据的冗余分析，该设定时间间隔可以根据实际情况进行设定，例如设定时间间隔可以为0.5秒。预设时长是指从视频数据中选择的进行检测的视频时长，由于检测整个视频数据耗时较长，因此可以选择其中固定时长的视频数据进行检测，预设时长也可以根据实际情况进行设定，例如预设时长可以为10秒。
在预设时长的视频数据中间隔抽取多个图像帧，将多个图像帧分别输入特征提取模型中，得到对应的待测特征。例如，设定时间间隔可以为0.5秒，预设时长可以为10秒，抽取了20个图像帧，提取得到20个待测特征。
步骤103、基于待测特征与花屏模板特征之间的相似度，确定视频数据的花屏检测结果。
其中，花屏模板特征是指预先基于花屏样本图片生成的模板特征，该模板特征可以反应花屏现象。本公开实施例中，对花屏模板特征的数量不作限定，可以根据实际情况进行设定。
本公开实施例中，基于待测特征与花屏模板特征之间的相似度，确定视频数据的花屏检测结果，包括：采用相似度算法确定待测特征与花屏模板特征之间的相似度；基于相似度和相似度阈值，确定抽取的图像帧中的花屏图像帧；基于花屏图像帧在抽取的图像帧中所占的比例与占比阈值的对比结果，确定视频数据的花屏检测结果。基于相似度和相似度阈值，确定抽取的图像帧中的花屏图像帧，包括：将相似度大于或等于相似度阈值的待测特征确定为目标特征；将目标特征对应的图像帧确定为花屏图像帧。
其中，相似度算法可以为用于度量图像特征相似性的算法，本公开实施例中对具体采用的算法不作限定，例如相似度算法可以为余弦距离算法、欧式距离算法、汉明距离算法或相关系数算法等等。相似度阈值可以根据实际情况进行设置，例如相似度阈值可以设置为0.7。采用相似度算法依次确定各待测特征与花屏模板特征之间的相似度，如果相似度大于或等于相似度阈值，则当前的待测特征为目标特征，将目标特征对应的图像帧为花屏图像帧。
基于花屏图像帧在抽取的图像帧中所占的比例与占比阈值的对比结果，确定视频数据的花屏检测结果，可以包括：如果花屏图像帧在抽取的图像帧中所占的比例大于或等于占比阈值，则视频数据为花屏数据；否则，视频数据为非花屏数据。占比阈值可以根据实际情况进行设置，例如占比阈值可以设置为0.5。确定花屏图像帧在抽取的多个图像帧中所占的比例，当花屏图像帧在抽取的图像帧中所占的比例大于或等于占比阈值时，视频数据确定为花屏数据；当花屏图像帧在抽取的图像帧中所占的比例小于占比阈值时，视频数据确定为非花屏数据。
示例性的，在10s时长的视频序列中，每秒均匀间隔抽取两个图像帧，10s总共抽取了20个图像帧，确定每个图像帧的待测特征与花屏模板特征之间的相似度，相似度阈值可以设置为0.7，占比阈值可以设置为0.5，当20个图像帧中存在10个图像帧及以上的相似度大于或等于相似度阈值，则判定10s的视频序列出现花屏现象，视频数据为花屏数据。
本公开实施例提供的花屏检测方法，将花屏检测由常规的检测问题转换为匹配索引问题，通过深度学习预训练模型作为图像特征提取器，对典型正样本图片集构建模板特征集，在线或离线检测时采用同样的图像特征提取器进行特征提取，用模板特征集进行匹配索引，并采用在滑动的时序窗口中进行时序有效性阈值判定。
本公开实施例提供的花屏检测方案，获取待检测的视频数据；将视频数据的图像帧输入特征提取模型中，提取得到待测特征；基于待测特征与花屏模板特征之间的相似度，确定视频数据的花屏检测结果。采用上述技术方案，将深度学习模型作为图像特征提取器提取特征，并通过与花屏模板特征之间的相似度匹配实现花屏检测，提高了花屏检测的精度，实现了高召回率和低误报率，相较于现有技术，节省了收集样本的工作量，并且实施难度较低。
在一些实施例中，获取待检测的视频数据之前，本公开实施例提供的花屏检测方法还可以包括：获取设定数量的花屏样本图片；将花屏样本图片输入特征提取模型中，得到花屏模板特征；基于花屏模板特征建立模板特征库。其中，花屏样本图片可以为典型的花屏图片，具体来源不作限定，例如可以在实际业务场景中已发生花屏现象的视频数据中，采用截图的方式提取设定数量的各种典型样式的花屏图片。设定数量可以根据实际情况进行设定，例如设定数量可以为40。
特征提取模型与上述确定待测特征时采用的特征提取模型相同，特征提取模型可以基于卷积神经网络进行训练得到，也可以基于已经训练好的图像处理模型得到，具体可以将图像处理模型中的最后一层结果层去掉之后得到。上述图像处理模型的具体任务不限，例如图像处理模型可以用于进行图像分类或图像检测等，以在ImageNet数据库上预训练的ResNet50卷积模型为例进行说明，其中ImageNet数据库是一个大型可视化数据库，该数据库包括了2万多个类别，超过1400万的图像训练样本。通过ResNet50卷积模型对每张花屏样本图片提取卷积特征，取倒数第二层的4096维特征作为输出，即每个花屏样本图片会提取到一个4096维特征作为对应的特征描述，即花屏模板特征，最终对40张花屏样本图片提取出40个花屏模板特征，将提取的40个花屏模板特征的数据保存在文本中，可以作为模板特征库。可以理解的是，花屏模板特征的维度数量与具体的特征提取模型相对应，不同的特征提取模型对应的维度数量可以不同。
在一些实施例中，本公开实施例提供的花屏检测方法还可以包括：获取漏检视频数据，并从漏检视频数据中抽取漏检花屏图像帧；将漏检花屏图像帧作为新的花屏样本图片，在模板特征库中增加新的花屏模板特征。其中，漏检视频数据是指自身为花屏数据但是没有被检测出来的视频数据。
对于出现的漏检视频数据，可以截取多张不同的典型花屏图像帧，输入上述特征提取模型中提取得到对应的花屏模板特征，将这些新的花屏模板特征添加入上述模板特征库，即可完成花屏模板特征的更新。这样设置的好处在于，基于后续出现的漏检视频数据更新花屏模板特征，可以防止类似漏检的情况出现，进一步提高了花屏检测的准确性。
图2为本公开实施例提供的另一种花屏检测方法的流程示意图，本实施例在上述实施例的基础上，进一步优化了上述花屏检测方法。如图2所示，该方法包括：
步骤201、将花屏样本图片输入特征提取模型中，得到设定数量的花屏模板特征。
步骤202、获取待检测的视频数据。
步骤203、按照设定时间间隔从预设时长的视频数据中抽取图像帧。
步骤204、将图像帧输入特征提取模型中，通过特征提取模型得到待测特征。
其中，特征提取模型为预先训练的卷积模型。
步骤205、采用相似度算法确定待测特征与花屏模板特征之间的相似度。
本公开实施例中对具体的相似度算法不作限定，例如相似度算法可以为余弦距离算法、欧式距离算法、汉明距离算法或相关系数算法等等。示例性的，当采用余弦距离算法确定相似度时，余弦相似度公式为
Figure BDA0002694794320000081
其中S代表相似度，Xi和Yi分别代表向量X和向量Y的各分量。
步骤206、基于相似度和相似度阈值，确定抽取的图像帧中的花屏图像帧。
具体的，基于相似度和相似度阈值，确定抽取的图像帧中的花屏图像帧，包括：将相似度大于或等于相似度阈值的待测特征确定为目标特征；将目标特征对应的图像帧确定为花屏图像帧。
步骤207、判断花屏图像帧在抽取的图像帧中所占的比例是否大于或等于占比阈值，若是，则执行步骤208；否则，执行步骤209。
步骤208、视频数据为花屏数据。
步骤209、视频数据为非花屏数据。
示例性的，本公开实施例中的花屏检测方法通过具体的实验证明了低误检率和高准确性，在500个真实的正常视频测试集上误检率为0％，即全部判定为非花屏数据，在100个真实的花屏视频测试集上准确率为100％，即全部判定为花屏数据。
本公开实施例提供的花屏检测方法，采用成熟稳定的深度学习图像识别预训练模型作为特征提取器，对收集的少量典型花屏样本图片集提取特征来构建模板特征库，对待检测分析的视频数据的图像帧提取特征后，在模板特征库中进行特征匹配，如果固定长度时间窗口中满足一定比例的单帧匹配命中率，则可判定为花屏；并且对后续出现的漏检样例，只需通过特征提取器提取特征，加入模板特征库即可完成模板特征的更新。通过在时序上对视频的图像帧进行实时模板特征的相似度匹配来实现花屏检测，既不需要获取源数据进行对比，也不需要费时费力的收集大量训练样本，在避免了深度学习模型训练存在过拟合风险的同时，还实现了高召回率和低误报率，解决了实施难度大、复杂度高、精度不高的问题。
图3为本公开实施例提供的一种花屏检测装置的结构示意图，该装置可由软件和/或硬件实现，一般可集成在电子设备中，可通过执行花屏检测方法来实现花屏检测。如图3所示，该装置包括：
视频获取模块301，用于获取待检测的视频数据；
特征提取模块302，用于将所述视频数据的图像帧输入特征提取模型中，提取得到待测特征；
花屏检测模块303，用于基于所述待测特征与花屏模板特征之间的相似度，确定所述视频数据的花屏检测结果。
本公开实施例提供的花屏检测方案，获取待检测的视频数据；将视频数据的图像帧输入特征提取模型中，提取得到待测特征；基于待测特征与花屏模板特征之间的相似度，确定视频数据的花屏检测结果。采用上述技术方案，将深度学习模型作为图像特征提取器提取特征，并通过与花屏模板特征之间的相似度匹配实现花屏检测，提高了花屏检测的精度，实现了高召回率和低误报率，相较于现有技术，节省了收集样本的工作量，并且实施难度较低。
可选的，所述特征提取模块302具体用于：
按照设定时间间隔从预设时长的所述视频数据中抽取图像帧；
将所述图像帧输入特征提取模型中，通过所述特征提取模型得到待测特征，其中，所述特征提取模型为预先训练的卷积模型。
可选的，所述花屏检测模块303包括：
相似度单元，用于采用相似度算法确定所述待测特征与所述花屏模板特征之间的相似度；
花屏图像单元，用于基于所述相似度和相似度阈值，确定抽取的图像帧中的花屏图像帧；
对比单元，用于基于所述花屏图像帧在抽取的图像帧中所占的比例与占比阈值的对比结果，确定所述视频数据的花屏检测结果。
可选的，所述花屏图像单元具体用于：
将相似度大于或等于所述相似度阈值的待测特征确定为目标特征；
将所述目标特征对应的图像帧确定为花屏图像帧。
可选的，所述对比单元具体用于：
如果所述花屏图像帧在抽取的图像帧中所占的比例大于或等于所述占比阈值，则所述视频数据为花屏数据；否则，所述视频数据为非花屏数据。
可选的，所述装置还包括模板生成模块，具体用于：
获取设定数量的花屏样本图片；
将所述花屏样本图片输入所述特征提取模型中，得到花屏模板特征；
基于所述花屏模板特征建立模板特征库。
可选的，所述装置还包括模板更新模块，具体用于：
获取漏检视频数据，并从所述漏检视频数据中抽取漏检花屏图像帧；
将所述漏检花屏图像帧作为新的花屏样本图片，在所述模板特征库中增加新的花屏模板特征。
本公开实施例所提供的花屏检测装置可执行本发明任意实施例所提供的花屏检测方法，具备执行方法相应的功能模块和有益效果。
图4为本公开实施例提供的一种电子设备的结构示意图。如图4所示，电子设备400包括一个或多个处理器401和存储器402。
处理器401可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备400中的其他组件以执行期望的功能。
存储器402可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器401可以运行所述程序指令，以实现上文所述的本公开的实施例的花屏检测方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中，电子设备400还可以包括：输入装置403和输出装置404，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
此外，该输入装置403还可以包括例如键盘、鼠标等等。
该输出装置404可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置404可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图4中仅示出了该电子设备400中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备400还可以包括任何其他适当的组件。
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本公开实施例所提供的花屏检测方法。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本公开实施例所提供的花屏检测方法。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种花屏检测方法，其特征在于，所述方法包括：
获取待检测的视频数据；
将所述视频数据的图像帧输入特征提取模型中，提取得到待测特征；
基于所述待测特征与花屏模板特征之间的相似度，确定所述视频数据的花屏检测结果。
2.根据权利要求1所述的方法，其特征在于，所述将所述视频数据的图像帧输入特征提取模型中，提取得到待测特征，包括：
按照设定时间间隔从预设时长的所述视频数据中抽取图像帧；
将所述图像帧输入特征提取模型中，通过所述特征提取模型得到待测特征，其中，所述特征提取模型为预先训练的卷积模型。
3.根据权利要求2所述的方法，其特征在于，所述基于所述待测特征与花屏模板特征之间的相似度，确定所述视频数据的花屏检测结果，包括：
采用相似度算法确定所述待测特征与所述花屏模板特征之间的相似度；
基于所述相似度和相似度阈值，确定抽取的图像帧中的花屏图像帧；
基于所述花屏图像帧在抽取的图像帧中所占的比例与占比阈值的对比结果，确定所述视频数据的花屏检测结果。
4.根据权利要求3所述的方法，其特征在于，所述基于所述相似度和相似度阈值，确定抽取的图像帧中的花屏图像帧，包括：
将相似度大于或等于所述相似度阈值的待测特征确定为目标特征；
将所述目标特征对应的图像帧确定为花屏图像帧。
5.根据权利要求3所述的方法，其特征在于，所述基于所述花屏图像帧在抽取的图像帧中所占的比例与占比阈值的对比结果，确定所述视频数据的花屏检测结果，包括：
如果所述花屏图像帧在抽取的图像帧中所占的比例大于或等于所述占比阈值，则所述视频数据为花屏数据；否则，所述视频数据为非花屏数据。
6.根据权利要求1所述的方法，其特征在于，获取待检测的视频数据之前，所述方法还包括：
获取设定数量的花屏样本图片；
将所述花屏样本图片输入所述特征提取模型中，得到花屏模板特征；
基于所述花屏模板特征建立模板特征库。
7.根据权利要求6所述的方法，其特征在于，还包括：
获取漏检视频数据，并从所述漏检视频数据中抽取漏检花屏图像帧；
将所述漏检花屏图像帧作为新的花屏样本图片，在所述模板特征库中增加新的花屏模板特征。
8.一种花屏检测装置，其特征在于，所述装置包括：
视频获取模块，用于获取待检测的视频数据；
特征提取模块，用于将所述视频数据的图像帧输入特征提取模型中，提取得到待测特征；
花屏检测模块，用于基于所述待测特征与花屏模板特征之间的相似度，确定所述视频数据的花屏检测结果。
9.一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-7中任一所述的花屏检测方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-7中任一所述的花屏检测方法。
CN202011002425.8A 2020-09-22 2020-09-22 一种花屏检测方法、装置、设备及介质 Pending CN112183289A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011002425.8A CN112183289A (zh) 2020-09-22 2020-09-22 一种花屏检测方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011002425.8A CN112183289A (zh) 2020-09-22 2020-09-22 一种花屏检测方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN112183289A true CN112183289A (zh) 2021-01-05

Family

ID=73956713

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011002425.8A Pending CN112183289A (zh) 2020-09-22 2020-09-22 一种花屏检测方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN112183289A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991321A (zh) * 2021-04-08 2021-06-18 读书郎教育科技有限公司 一种平板花屏测试的检测方法及系统
CN113177529A (zh) * 2021-05-27 2021-07-27 腾讯音乐娱乐科技（深圳）有限公司 识别花屏的方法、装置、设备及存储介质
CN113573043A (zh) * 2021-01-18 2021-10-29 腾讯科技（深圳）有限公司 视频噪点识别方法、存储介质及设备
CN113660483A (zh) * 2021-08-05 2021-11-16 北京飞讯数码科技有限公司 一种视频播放质量的实时监控方法、装置和计算机设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140354826A1 (en) * 2013-05-28 2014-12-04 Apple Inc. Reference and non-reference video quality evaluation
CN108933935A (zh) * 2017-05-22 2018-12-04 中兴通讯股份有限公司 视频通信系统的检测方法、装置、存储介质和计算机设备
CN109522822A (zh) * 2018-10-30 2019-03-26 北京奇虎科技有限公司 一种视频检测方法及装置
CN109815874A (zh) * 2019-01-17 2019-05-28 苏州科达科技股份有限公司 一种人员身份识别方法、装置、设备及可读存储介质
CN110309795A (zh) * 2019-07-04 2019-10-08 腾讯科技（深圳）有限公司 视频检测方法、装置、电子设备及存储介质
CN110830787A (zh) * 2018-08-07 2020-02-21 北京优酷科技有限公司 一种检测花屏图像的方法及装置
CN111028222A (zh) * 2019-12-11 2020-04-17 广州视源电子科技股份有限公司 视频检测方法和装置、计算机存储介质及相关设备
CN111221996A (zh) * 2019-11-25 2020-06-02 上海华兴数字科技有限公司 仪表屏幕视觉检测方法和系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140354826A1 (en) * 2013-05-28 2014-12-04 Apple Inc. Reference and non-reference video quality evaluation
CN108933935A (zh) * 2017-05-22 2018-12-04 中兴通讯股份有限公司 视频通信系统的检测方法、装置、存储介质和计算机设备
CN110830787A (zh) * 2018-08-07 2020-02-21 北京优酷科技有限公司 一种检测花屏图像的方法及装置
CN109522822A (zh) * 2018-10-30 2019-03-26 北京奇虎科技有限公司 一种视频检测方法及装置
CN109815874A (zh) * 2019-01-17 2019-05-28 苏州科达科技股份有限公司 一种人员身份识别方法、装置、设备及可读存储介质
CN110309795A (zh) * 2019-07-04 2019-10-08 腾讯科技（深圳）有限公司 视频检测方法、装置、电子设备及存储介质
CN111221996A (zh) * 2019-11-25 2020-06-02 上海华兴数字科技有限公司 仪表屏幕视觉检测方法和系统
CN111028222A (zh) * 2019-12-11 2020-04-17 广州视源电子科技股份有限公司 视频检测方法和装置、计算机存储介质及相关设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KE GU; SHIQI WANG; HUAN YANG: "Saliency-Guided Quality Assessment of Screen Content Images", IEEE TRANSACTIONS ON MULTIMEDIA, 30 March 2016 (2016-03-30) *
曾凡智;程勇;周燕;: "一种视频时空特征提取算法及其应用研究", 佛山科学技术学院学报(自然科学版), no. 03, 15 May 2020 (2020-05-15) *
毛其超;贾瑞生;左羚群;齐榕;: "基于深度学习的交通监控视频车辆检测算法", 计算机应用与软件, no. 09, 10 September 2020 (2020-09-10) *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113573043A (zh) * 2021-01-18 2021-10-29 腾讯科技（深圳）有限公司 视频噪点识别方法、存储介质及设备
CN113573043B (zh) * 2021-01-18 2022-11-08 腾讯科技（深圳）有限公司 视频噪点识别方法、存储介质及设备
CN112991321A (zh) * 2021-04-08 2021-06-18 读书郎教育科技有限公司 一种平板花屏测试的检测方法及系统
CN113177529A (zh) * 2021-05-27 2021-07-27 腾讯音乐娱乐科技（深圳）有限公司 识别花屏的方法、装置、设备及存储介质
CN113177529B (zh) * 2021-05-27 2024-04-23 腾讯音乐娱乐科技（深圳）有限公司 识别花屏的方法、装置、设备及存储介质
CN113660483A (zh) * 2021-08-05 2021-11-16 北京飞讯数码科技有限公司 一种视频播放质量的实时监控方法、装置和计算机设备
CN113660483B (zh) * 2021-08-05 2024-09-10 北京飞讯数码科技有限公司 一种视频播放质量的实时监控方法、装置和计算机设备

Similar Documents

Publication Publication Date Title
CN112183289A (zh) 一种花屏检测方法、装置、设备及介质
CN110113226B (zh) 一种检测设备异常的方法及装置
CN108269254B (zh) 图像质量评估方法和装置
CN112492343B (zh) 一种视频直播监控方法及相关装置
CN110363220B (zh) 行为类别检测方法、装置、电子设备和计算机可读介质
WO2022116322A1 (zh) 异常检测模型生成方法和装置、异常事件检测方法和装置
CN110363084A (zh) 一种上课状态检测方法、装置、存储介质及电子
WO2020056995A1 (zh) 语音流利度识别方法、装置、计算机设备及可读存储介质
CN113850162A (zh) 一种视频审核方法、装置及电子设备
CN110610123A (zh) 一种多目标车辆检测方法、装置、电子设备及存储介质
CN110717407B (zh) 基于唇语密码的人脸识别方法、装置及存储介质
CN113763348A (zh) 图像质量确定方法、装置、电子设备及存储介质
CN113569671B (zh) 异常行为报警方法、装置
CN116492634B (zh) 基于图像视觉定位的立定跳远测试方法
CN114245232A (zh) 一种视频摘要生成方法、装置、存储介质及电子设备
CN115471216A (zh) 智慧实验室管理平台的数据管理方法
CN112995690A (zh) 直播内容品类识别方法、装置、电子设备和可读存储介质
CN111291666A (zh) 游戏直播视频识别方法、装置、电子设备及存储介质
CN112465805A (zh) 用于钢筋冲压折弯的质量检测的神经网络的训练方法
CN111325198B (zh) 视频对象特征提取方法和装置、视频对象匹配方法和装置
CN117633613A (zh) 跨模态的视频情感分析方法及装置、设备、存储介质
CN117540336A (zh) 时间序列预测方法、装置及电子设备
CN110826616A (zh) 信息处理方法及装置、电子设备、存储介质
CN114240926B (zh) 板卡缺陷类别识别方法、装置、设备及可读存储介质
CN116994049A (zh) 全自动针织横机及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination