Nothing Special   »   [go: up one dir, main page]

CN101479729A - 提取关键帧的系统和方法 - Google Patents

提取关键帧的系统和方法 Download PDF

Info

Publication number
CN101479729A
CN101479729A CNA2007800246067A CN200780024606A CN101479729A CN 101479729 A CN101479729 A CN 101479729A CN A2007800246067 A CNA2007800246067 A CN A2007800246067A CN 200780024606 A CN200780024606 A CN 200780024606A CN 101479729 A CN101479729 A CN 101479729A
Authority
CN
China
Prior art keywords
frame
video
frames
error rate
series
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2007800246067A
Other languages
English (en)
Inventor
王进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Priority to CNA2007800246067A priority Critical patent/CN101479729A/zh
Publication of CN101479729A publication Critical patent/CN101479729A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Circuits (AREA)

Abstract

本发明提供了一种从视频中提取关键帧的方法，所述视频包括一系列视频帧，所述方法包括步骤：计算所述一系列视频帧的每一帧的错误率；比较所述错误率与一个预定的阀值；鉴别具有错误率小于所述阀值的候选帧；以及从所述候选帧中选择一些帧来得出所述关键帧。依靠剔除具有太多错误的帧，本发明提高了关键帧提取的准确度。

Description

提取关键帧的系统和方法
技术领域
本发明涉及一种在视频中提取关键帧的系统和方法。本发明可应用在视频处理领域中。
背景技术
数字视频正在成为成为信息时代重要源头随着视频数据量的增加，需要一种技术来在短时间内有效地浏览视频数据，而不会丢掉内容。一个视频可以包括一系列的视频帧，每个视频帧包含一个图像场景的快照。关键帧被典型地定义为代表一个视频视觉内容一个无序的子集。关键帧在视频摘要，编辑，标注以及检索等应用中是有用的。某些关键帧方法已经出现在包括MPEG-4和MPEG-7的新标准中，这两个新标准提供给了用户基于内容的视频表示，编码以及描述的灵活性。
关键帧提取的一种方法是基于视频中镜头的安排。一个镜头可被定义为连续拍摄的一系列图像帧。例如，一个职业制作的视频可以被安排成一系列仔细选择的镜头。
另外一种方法适合于从短的视频段或者未仔细安排的业余制作的视频中提取关键帧，就像美国专利US2005/0228849A1批露的那样。这种方法包括对一个视频中一系列视频帧中的每一帧进行一系列的分析，从而选择选择一系列候选帧。每个分析是检测一个相应类型的有意义的内容。候选帧然后形成一系列类组合，从每个类中根据描述有意义的内容的相关重要性选择一个关键帧。
不幸的是，通讯系统的一个内在问题是由于在传输过程中信道噪音引入从而使信息可能改变或者丢失。因此，在与广播或者存储相关的应用中，随机错误会对图像数据产生负面影响。当这些错误存在在图像帧中或者甚至这些错误已被恢复，如果使用常规的关键帧提取方法，被恢复的帧将对关键帧的提取有负面的影响。当一些像素损坏或者没有正确地恢复时，这些像素是不应该被考虑的。
发明内容
本发明的目的之一是提供一种更有效地从一个视频中提取关键帧的方法。
出于这种目的，本发明提供了一种从一个视频中提取关键帧的方法，所述视频包括一系列视频帧，所述方法包括步骤：计算所述一系列视频帧的每一帧的错误率；比较所述错误率与一个预定的阀值；鉴别具有错误率小于所述阀值的候选帧；以及从所述候选帧中选择(104)一些帧来得出所述关键帧。
本发明也提供了一种系统，该系统包括其功能已被根据本发明的方法特征定义的单元。依靠剔除具有太多错误的帧，本发明提高了关键帧提取的准确度。因此本发明提供了一种更准确的关键帧提取方法。
附图说明
图1示出了根据从一个视频中提取关键帧的发明的第一种方法的流程图。
图2示出了根据从一个视频中提取关键帧的发明的第二种方法的流程图。
图3示出了根据从一个视频中提取关键帧的发明的第三种方法的流程图。
图4表示带有预定区域的视频的一个例子。
图5描绘了根据从一个视频中提取关键帧的发明的系统的示意图。
具体实施方式
下面将参照附图通过实施方式详细描述本发明的技术措施。
图1示出了根据从一个视频中提取关键帧的发明的第一种方法的流程图。
本发明提供了一种从一个视频中提取关键帧的方法，所述视频包括一系列视频帧，所述方法包括计算所述一系列视频帧的每一帧的错误率的步骤(101)。首先检测错误，然后计算所检测错误的数量。错误检测的方法是已知的。例如，基于语法的错误检测器(SBED)能被用来检测错误。如果固定长度码字(FLC)的值未被定义或被禁止，根据它的码字表，它的错误可以被检测出来。如果它不包括在码字表中或者超过64位DCT(离散余弦转换)系数出现在一个块上，在可变长度码字(VLC)的错误也可以被检测出来。检测到的错误可以形成一个错误图，所述错误率可以根据这个图被计算出来。
本方法还包括一个比较所述错误率与一个预定的阀值的步骤(102)。所述阀值，例如，根据本发明的一个试验结果，可以为30％。
在步骤101中提到的错误率，例如，可以是发生错误的宏块数和每一帧的总宏块数的比率。另外，它也可以是每一帧的总的错误数量。相应的前者的阀值是一个比率而后者的阀值是一个数量值。
本方法还包括一个鉴别具有错误率小于所述阀值的候选帧的步骤(103)。
具有太多错误的帧应该被剔除。例如，错误率低于某一预定阀值的候选帧在错误图中被标记为“0”，这些帧，作为候选帧，在选择关键帧的过程中将会被考虑。
最后，本方法还包括一个从所述候选帧中选择一些帧来得出所述关键帧的步骤(104)。例如，仅仅从那些标记为“0”的帧中选择关键帧。从一些帧中提取关键帧的方法是已知的，例如，如前所述，美国专利US20050228849批露了一种从一个视频中智能提取关键帧，该关键帧描绘了视频的有意义的内容。
图2示出了根据从一个视频中提取关键帧的发明的第二种方法的流程图。
图2是在图1的基础上增加了一个步骤(201)。
本方法在所述选择步骤(104)之前，进一步包括一个剔除步骤(201)，用于剔除候选帧，该候选帧已经经过先前的错误恢复而仍然包含视觉缺陷。
对那些错误率低于预定阀值的帧，仍然需要剔出一些错误恢复得不好的帧。
帧可以按照三种类型来编码：内帧：I帧(I-frames)，向前预测帧：P帧(P-frames)，双向预测帧：B帧(B-frames)。I帧是按照一个单独的图像来编码的，不用参考任何过去的或者将来的帧。P帧是相对于过去的参考帧来编码的。B帧是相对于过去的，将来的或者两者均有的参考帧来编码。
对I帧，不同的恢复方法可以被应用到不同的宏块。恢复之后，一些帧可能仍然包含视觉缺陷。视觉缺陷是由于量化误差，硬件或者软件上(例如JPEG和MPEG)的限制或者故障而导致的一种图像上的歪曲。
对I帧宏快的纹理部分，如果空间插值的错误恢复方法被应用了，这种恢复的质量对关键帧的提取来说是不好的。具有这种视觉缺陷的帧是应该被剔除出去的。对于I帧宏块的边缘部分，如果基于边缘的如果空间插值的错误恢复方法被应用了，这种恢复的质量对关键帧的提取来说是不好的。具有这种视觉缺陷的帧是应该被剔除出去的。
对于P帧和B帧来说：在大多数情况下，暂时错误隐藏的方法被应用。错误恢复得较好。这些被恢复的像素在关键帧的提取中是可以考虑的。
被剔除的帧可以被标记为“1”。
图3示出了根据从一个视频中提取关键帧的发明的第三种方法的流程图。
图3也是在图1的基础上增加了一个步骤(301)。
本方法在所述选择步骤(104)之前，进一步包括一个剔除步骤(301)，用于剔除候选帧，该候选帧的错误位于一个预定区域。
图4表示带有预定区域的视频的一个例子。
所述的预定区域，在图4中用“PA”表示，可以包括一个文本信息，图4中内容区域用“CA”表示。
在一个包含文本的区域内具有错误会对关键帧提取具有负面的效果。
如果错误发生在一个预定区域(PA)，比方说一个字幕区，该字幕区被起始点(X0，Yo)/宽度(W)/高度(H)定义，包含这种错误的帧应该被剔除。
被剔除的帧可以被标记为“1”。
图5描绘了根据从一个视频中提取关键帧的发明的系统的示意图。
本发明还提供了一种用于从一个视频中提取关键帧的系统，所述视频包括一系列视频帧，所述系统包括一个计算单元(501)，用于计算计算所述一系列视频帧的每一帧的错误率。这个计算单元(501)可以是一个处理器，比方说，处理被解压缩的一系列视频帧(图5中用VF)表示，对象基于语法的错误检测器所监测到的错误求和，并计算出错误率。
本系统还包括一个比较单元(502)，用于比较所述错误率与一个预定的阀值。比较单元(502)可以是一个处理器也可以包括一个存储预定阀值的存储器。
本系统还包括一个鉴别单元(503)，用于鉴别具有错误率小于所述阀值的候选帧。所述鉴别单元(503)可以是一个处理器。所述鉴别单元(503)可以，比方说，对错误率小于所述预定阀值的候选帧标记上“0”。
本系统还包括一个选择单元(504)，用于从所述候选帧中选择一些帧来得出所述关键帧。例如关键帧(在图5中用“KF”表示)可以从标记为“0”的候选帧中选择出来。选择单元(504)可以是一个处理器。
本系统还包括一个第一个剔除单元(505)，用于剔除候选帧，该候选帧已经经过先前的错误恢复而仍然包含视觉缺陷。例如这个剔除单元(505)可以对这些候选帧标记为“1”。
本系统还包括一个第二个剔除单元(506)，用于剔除候选帧，用于剔除候选帧，该候选帧的错误位于一个预定区域。例如这个剔除单元(506)可以对这些候选帧标记为“1”。
本系统可以被整合进一个解码器来帮助提高关键帧提取的性能。事实上，它也可以独立于解码器，例如，错误图可以被保存在存储器里。在关键帧提取过程中，可以访问错误图来提高关键帧提取的精度。
尽管已经在附图和前述描述中详细地说明和描述了本发明，但是这些说明和描述都应被理解为是说明性的或者示例性的而非限制性的；本发明不限于所公开的实施方式。
通过研究附图、公开的内容和所附权利要求，在实施本所要求保护的发明时，本领域的技术人员可以理解和实施对所公开的实施方式的其他变型。在权利要求中，措辞“包括”并不排除其他元件或步骤，并且措辞“一个”不排除多个。单个处理器或其他单元可以履行权利要求中陈述的多个项的功能。在多个不同的从属权利要求中描述的方法并不意味着这些方法的组合不可以被利用。权利要求中的任何参考标记不应理解为是对范围的限制。

Claims (13)

1.一种从视频中提取关键帧的方法，所述视频包括一系列视频帧，所述方法包括步骤：
- 计算(101)所述一系列视频帧的每一帧的错误率；
- 比较(102)所述错误率与一个预定的阀值；
- 鉴别(103)具有错误率小于所述阀值的候选帧；以及
- 从所述候选帧中选择(104)一些帧来得出所述关键帧。
2.如权利要求1所述的方法，在所述选择步骤(104)之前，进一步包括一个剔除步骤(201)，用于剔除候选帧，该候选帧已经经过先前的错误恢复而仍然包含视觉缺陷。
3.如权利要求2所述的方法，其中所述一系列视频帧是I帧，所述先前错误恢复与空间插值错误恢复有关，所述视觉缺陷位于一个宏块的纹理部分。
4.如权利要求2所述的方法，其中所述一系列视频帧是I帧，所述先前错误恢复与空间插值错误恢复有关，所述视觉缺陷位于一个宏块的边缘部分。
5.如权利要求1所述的方法，在所述选择步骤(104)之前，进一步包括一个剔除步骤(301)，用于剔除候选帧，该候选帧的错误位于一个预定区域。
6.如权利要求5所述的方法，其中所述预定区域包含文本信息。
7.如权利要求1所述的方法，其中所述错误率是具有错误的宏块数和所述视频帧的总宏块数的比率，所述阀值大约是30％。
8.一种用于从一个视频中提取关键帧的系统，所述视频包括一系列视频帧，所述系统包括：
一个计算单元(501)，用于计算计算所述一系列视频帧的每一帧的错误率；
一个比较单元(502)，用于比较所述错误率与一个预定的阀值；
一个鉴别单元(503)，用于鉴别具有错误率小于所述阀值的候选帧；以及
一个选择单元(504)，用于从所述候选帧中选择一些帧来得出所述关键帧。
9.如权利要求8所述的系统，进一步包括第一个剔出单元(505)，用于剔除候选帧，该候选帧已经经过先前的错误恢复而仍然包含视觉缺陷。
10.如权利要求8所述的系统，其中所述一系列视频帧是I帧，其中所述先前错误恢复与空间插值错误恢复有关，所述视觉缺陷位于一个宏块的纹理部分。
11.如权利要求8所述的系统，其中所述一系列视频帧是I帧，所述先前错误恢复与空间插值错误恢复有关，所述视觉缺陷位于一个宏块的边缘部分。
12.如权利要求8所述的系统，进一步包括第二个剔出单元(506)，用于剔除候选帧，该候选帧的错误位于一个预定区域。
13.如权利要求12所述的，其中所述预定区域包含文本信息。
CNA2007800246067A 2006-06-29 2007-06-26 提取关键帧的系统和方法 Pending CN101479729A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNA2007800246067A CN101479729A (zh) 2006-06-29 2007-06-26 提取关键帧的系统和方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN200610095682.4 2006-06-29
CN200610095682 2006-06-29
CNA2007800246067A CN101479729A (zh) 2006-06-29 2007-06-26 提取关键帧的系统和方法

Publications (1)

Publication Number Publication Date
CN101479729A true CN101479729A (zh) 2009-07-08

Family

ID=38698271

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2007800246067A Pending CN101479729A (zh) 2006-06-29 2007-06-26 提取关键帧的系统和方法

Country Status (6)

Country Link
US (1) US20090225169A1 (zh)
EP (1) EP2038774A2 (zh)
JP (1) JP2009543410A (zh)
KR (1) KR20090028788A (zh)
CN (1) CN101479729A (zh)
WO (1) WO2008001305A2 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016041311A1 (zh) * 2014-09-17 2016-03-24 小米科技有限责任公司 视频浏览方法及装置
US9799376B2 (en) 2014-09-17 2017-10-24 Xiaomi Inc. Method and device for video browsing based on keyframe
CN109409221A (zh) * 2018-09-20 2019-03-01 中国科学院计算技术研究所 基于帧选择的视频内容描述方法和系统
CN109862315A (zh) * 2019-01-24 2019-06-07 华为技术有限公司 视频处理方法、相关设备及计算机存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102542024B (zh) * 2011-12-21 2013-09-25 电子科技大学 一种视频资源语义标签的标定方法
CN102695056A (zh) * 2012-05-23 2012-09-26 中山大学 一种提取压缩视频关键帧的方法
CN107748761B (zh) * 2017-09-26 2021-10-19 广东工业大学 一种视频摘要的关键帧提取方法
WO2021154861A1 (en) * 2020-01-27 2021-08-05 Schlumberger Technology Corporation Key frame extraction for underwater telemetry and anomaly detection

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6098082A (en) * 1996-07-15 2000-08-01 At&T Corp Method for automatically providing a compressed rendition of a video program in a format suitable for electronic searching and retrieval
GB2356999B (en) * 1999-12-02 2004-05-05 Sony Uk Ltd Video signal processing
WO2002051162A1 (en) * 2000-12-20 2002-06-27 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for decoding motion video image
US7263660B2 (en) * 2002-03-29 2007-08-28 Microsoft Corporation System and method for producing a video skim
AU2003223639A1 (en) * 2002-04-15 2003-11-03 The Trustees Of Columbia University In The City Of New York Methods for selecting a subsequence of video frames from a sequence of video frames
US20050228849A1 (en) * 2004-03-24 2005-10-13 Tong Zhang Intelligent key-frame extraction from a video
US7809090B2 (en) * 2005-12-28 2010-10-05 Alcatel-Lucent Usa Inc. Blind data rate identification for enhanced receivers

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016041311A1 (zh) * 2014-09-17 2016-03-24 小米科技有限责任公司 视频浏览方法及装置
US9799376B2 (en) 2014-09-17 2017-10-24 Xiaomi Inc. Method and device for video browsing based on keyframe
CN109409221A (zh) * 2018-09-20 2019-03-01 中国科学院计算技术研究所 基于帧选择的视频内容描述方法和系统
CN109862315A (zh) * 2019-01-24 2019-06-07 华为技术有限公司 视频处理方法、相关设备及计算机存储介质

Also Published As

Publication number Publication date
EP2038774A2 (en) 2009-03-25
WO2008001305A2 (en) 2008-01-03
JP2009543410A (ja) 2009-12-03
KR20090028788A (ko) 2009-03-19
US20090225169A1 (en) 2009-09-10
WO2008001305A3 (en) 2008-07-03

Similar Documents

Publication Publication Date Title
CN112990191B (zh) 一种基于字幕视频的镜头边界检测与关键帧提取方法
US6449392B1 (en) Methods of scene change detection and fade detection for indexing of video sequences
EP1211644B1 (en) Method for describing motion activity in video
CN101479729A (zh) 提取关键帧的系统和方法
JP4267327B2 (ja) 動き記述子を用いてビデオを要約化する方法
US6618507B1 (en) Methods of feature extraction of video sequences
Liu et al. Key frame extraction from MPEG video stream
US7038736B2 (en) Moving image processing apparatus and method, and computer readable memory
WO2017114211A1 (zh) 用于对视频场景切换进行检测的方法和装置
WO2011140783A1 (zh) 一种实现视频预览和检索的方法及移动终端
EP1021041A2 (en) Methods of scene fade detection for indexing of video sequences
Fernando et al. A unified approach to scene change detection in uncompressed and compressed video
JPH10257436A (ja) 動画像の自動階層構造化方法及びこれを用いたブラウジング方法
CN112651336B (zh) 关键帧的确定方法、设备、计算机可读存储介质
KR20170090868A (ko) 장면 전환 프레임 검출 장치 및 방법
KR20060030270A (ko) 이동통신단말기상에서 디지털 동영상을 인덱싱하는 방법
Panchal et al. Performance evaluation of fade and dissolve transition shot boundary detection in presence of motion in video
US20070061727A1 (en) Adaptive key frame extraction from video data
KR100959053B1 (ko) 복수의 이미지 프레임을 갖는 비디오 시퀀스 검색을 위한비선형 양자화 및 유사도 매칭 방법
KR100977417B1 (ko) 저장된 동영상의 고속검색 방법
Bendraou et al. Video cut detection method based on a 2D luminance histogram using an appropriate threshold and a post processing
JP2005269015A (ja) 複数のアルゴリズムを利用する動画像抽出装置
JP3571200B2 (ja) 動画像データのカット検出装置及び方法及び記録媒体
Kayaalp Video segmentation using partially decoded mpeg bitstream
US20040125237A1 (en) Fast slope calculation method for shot detection in a video sequence

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20090708