JP4666784B2 - ビデオシーケンスのキーフレーム抽出方法及びビデオシーケンスのキーフレーム抽出装置 - Google Patents
ビデオシーケンスのキーフレーム抽出方法及びビデオシーケンスのキーフレーム抽出装置 Download PDFInfo
- Publication number
- JP4666784B2 JP4666784B2 JP2001024529A JP2001024529A JP4666784B2 JP 4666784 B2 JP4666784 B2 JP 4666784B2 JP 2001024529 A JP2001024529 A JP 2001024529A JP 2001024529 A JP2001024529 A JP 2001024529A JP 4666784 B2 JP4666784 B2 JP 4666784B2
- Authority
- JP
- Japan
- Prior art keywords
- global
- motion
- cluster
- video sequence
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000605 extraction Methods 0.000 title description 20
- 230000033001 locomotion Effects 0.000 claims description 141
- 238000000034 method Methods 0.000 claims description 75
- 239000013598 vector Substances 0.000 claims description 37
- 238000003860 storage Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 description 8
- 230000008901 benefit Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 235000008429 bread Nutrition 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012432 intermediate storage Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/71—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
- G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/147—Scene change detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Library & Information Science (AREA)
- Software Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
Description
【発明の属する技術分野】
本発明は、全般的にビデオシーケンスからキーフレームを抽出することに関する。特に、本発明はビデオシーケンスからキーフレームを抽出する方法及び装置と、ビデオシーケンスの表現を生成する方法及び装置に関する。また、本発明は、このような方法を実現するコンピュータプログラムを有するコンピュータ読み取り可能な媒体にも関する。更に、本発明は、このような方法により作成されるビデオサマリにも関する。
【0002】
【従来の技術】
近年、ビデオカメラの人気が益々高まってきている。カメラユーザは、一般に、各ビデオカセット又はその他の媒体上に1つ又は複数のビデオクリップを格納している。ビデオデータの増加に伴い、ユーザは自分のビデオデータを構成及び管理することが必要になっている。
【0003】
ビデオデータを構成及び管理する1つの基本的な方法は、ビデオの特定部分をアクセスするためのキーワード・ベースの探索及び早送り/巻戻しブラウジングを必要とする。しかしながら、キーワード・ベースのデータ検索システムでは、ビデオデータの内容を厳密かつ一意に表現することはできない。早送り/巻戻し操作は極めて低速でかつ非効率的である。
【0004】
ビデオクリップの特定部分にアクセスするための他の一般的な方法は、ビデオシーケンスから抽出される代表的なフレームとしてキーフレームを用いる。キーフレームの抽出は高速ビデオブラウジングを可能とし、またビデオ内容の要約化及び視覚化の強力なツールを提供する。
【0005】
しかしながら、一定時間の求めによりフレームの抽出に基づくビデオの要約化及び視覚化は、ショット情報もフレームの類似性も使用していない。短い重要なショットの場合は代表的なフレームがない可能性があり、長いショットの場合は類似した内容を有する複数のフレームがある可能性がある。
【0006】
ビデオサマリを作成するための他の一般的な方法は、カット/変化検出を使用して映画のショットに関する代表的なキーフレームを選択することである。代表的なフレームを選択するための典型的な手法は、カットポイントをキーフレームとして使用することである。そして、キーフレームはサマリとして使用される。通常、そのカットポイントはフレームの色ヒストグラムから決定される。互いに隣接するフレームの色ヒストグラム間の差が所定の閾値よりも大きくなったとき1つのカットポイントが決定される。しかしならが、この方法は、キーフレームを多く生成し過ぎ、多くの場合(例えば、映画、ニュース、レポートなど)で、選択されたキーフレームは多くの同様なフレーム(例えば、新聞のフレーム)を含むことがある。
【0007】
このようなヒストグラム技法は、画素ベースであるか、或いはブロックベースである。そして、閾値を決定する方法がシーン変化を判定するのに利用される。このような技法では、照明の変化が同じシーンを示す連続するフレーム間で色をシフトさせるので、誤りの結果をしばしば生成している。同様に、カメラズームショットが多過ぎるキーフレームをしばしば生成している。
【0008】
Ratakonda等の米国特許第5,995,095号は、ビデオシーケンスのキーフレームに基づいて階層的なサマリを生成すること、及びデジタルビデオシーケンスのデジタルビデオ信号を入力することを含む、階層的デジタルビデオ要約化及びブラウジングの方法を記載している。この階層的なサマリは、詳細(即ち、フレームの数)によって変化する複数のレベルを含む。最も粗い、即ち、最もコンパクトなレベルでは最も顕著な特徴が形成され、このレベルは最も少ない数のフレームを含む。
【0009】
ユーザは、最もコンパクトな(最も粗い)レベルのサマリ、即ち、最もコンパクトなサマリを得ることができる。そして、ユーザは親フレームにタグ付けし、より密なレベルの子(複数の子)フレームを見ることができる。最も密なレベルにおけるフレームにタグ付けすることはビデオの再生に帰着する。その方法は、ショット境界検出を利用して階層の最も密なレベルに含まれるもののためにキーフレームを選択する。ショット境界検出は、ショット境界(即ち、シーン変化)を判定するために互いに連続するフレームのヒストグラム間の差が比較される、閾値法を用いて行われる。この階層的ビデオ要約化方法は、ビットストリームの最小限の復号化と共にMPEG圧縮されたビデオに対して行われる。このビデオ要約化方法は、任意のパン運動の画像モザイク及び任意のズームのズームサマリを任意選択でかつ別々に判定することができる。しかしながら、Ratakonda等は、自動パン/ズーム検出/抽出機能を組み込むには、フレームビットストリーム全体が復号されなければならないことを開示している。更に、Ratakonda等は、計算にコストがかかり計算が非効率的である画素レベルでの動きベクトルに基づくパン及びズーム検出方法を開示している。また、Ratakonda等は、背景/前景の変化又は複雑なカメラ効果が現れる可能性がある実世界の複雑なショットでは効果的に実現することのできないショットフレームのパノラマビューの画像モザイクを構築することも記載している。
【0010】
【発明が解決しようとする課題】
本発明は、既存の構成の1つ又は複数の欠点を実質的に解消する、換言すれば少なくとも改善することを目的とする。
【0011】
【課題を解決するための手段】
本発明の一態様によれば、動きベクトルを持つ圧縮ビデオデータを有するビデオシーケンスからキーフレームを抽出する方法であって、前記動きベクトルに基づいてグローバル動き信号を生成する工程と、生成されたグローバル動き信号に基づいて、前記グローバル動き信号がグループ化されたドミナントグローバル方向クラスタを生成する工程と、生成されたドミナントグローバル方向クラスタを使用してキーフレームを選択する工程と、キーフレームを抽出するために前記選択されたキーフレームを解凍する工程とを有することを特徴とする方法が提供される。
【0012】
本発明の他の態様によれば、ブロック動きベクトルを持つ圧縮ビデオデータを有するビデオシーケンスの表現を生成する方法であって、前記ブロック動きベクトルを得るために前記圧縮ビデオデータを解凍する工程と、前記ブロック動きベクトルを順方向ブロック動きベクトルに変換する工程と、前記順方向ブロック動きベクトルに基づいてグローバル動き信号を生成する工程と、生成されたグローバル動き信号に基づいて、前記グローバル動き信号がグループ化されたドミナントグローバル方向クラスタを生成する工程と、生成されたドミナントグローバル方向クラスタ及び予め設定された規則に基づいてビデオシーケンスの潜在的なキーフレームを選択する工程と、選択された潜在的なキーフレームの冗長なキーフレームを削除して残りの選択されたキーフレームを得る工程と、前記ビデオシーケンスの表現を得るために前記残りの選択されたキーフレームを解凍する工程とを有することを特徴とする方法が提供される。
【0020】
【発明の実施の形態】
以下、図面を参照しながら本発明のいくつかの好ましい実施形態について説明する。
【0021】
図面のうち任意の1つ又は複数において、参照は同じ参照符号の工程及び/又は特徴に対してなされ、これらのステップ及び/又は特徴は矛盾する趣旨が現れない限り、説明の都合上、同じ機能を有し又は動作する。
【0022】
ビデオカメラのユーザは、しばしば1つの位置から他の位置にパン及びズームして異なった場所及び事象の関連性を示し、カメラを静止状態に保持し、重要な事象又はユーザが関心を有する特定のものに焦点を合わせている。この実施形態によるキーフレーム抽出方法は、圧縮されたビデオデータから推定されるカメラ運動のドミナントグローバル方向クラスタに基づかれるものである。この方法は、入力ビデオが既に圧縮された形態であるという事実を利用している。この利点は、あらゆるフレームを完全に解凍する際の計算上のコストが不要になることである。選択された多数のキーフレームをプロセスの終了時に解凍するだけでよい。また、この方法はユーザの関心といくつかの重要な事象を取り込むことを試みている。この方法は、ビデオの複雑さによる合理的な多数の効率的かつ効果的なキーフレームを与えている。
【0023】
ここで説明する好ましい方法の原理は、ビデオシーケンスからキーフレームを抽出する方法に一般的に適用可能である。しかしながら、説明の都合上、ビデオクリップを参照しながら好ましい方法のステップを説明する。ビデオクリップは、記録開始取込み事象及び記録終了取込み事象との間のビデオの区分として定義される。しかしながら、本発明は、後述する方法には限らない。例えば、本発明は多数のそのようなクリップを有する商業的な映画などに適用しても良い。また、この方法はMPEG(Moving Picture Coding Experts Group)2などの動き補償予測圧縮ビデオに適用可能である。しかしながら、この方法はこれに限らない。動きベクトルを組み込んだあらゆる圧縮ビデオシーケンスに適切である。
【0024】
次に、図1を参照して、第1の実施形態によるビデオクリップからキーフレームを抽出する方法の概要に関する流れ図を示す。キーフレーム抽出方法100はステップ102から開始され、任意の必要なパラメータが初期設定される。方法100は続くステップ104で、方法100によって処理するMPEG2の圧縮ビデオクリップを入力する。そして、方法100はステップ106に進み、ビデオクリップのグローバル動き信号を生成する。これらのグローバル動き信号は、ビデオクリップの大部分のフレームのためのグローバル動きパラメータを備えている。これらのグローバル動きパラメータは、ビデオクリップの利用可能な各フレーム毎にパンパラメータ、チルトパラメータ、ズームパラメータを備えている。グローバル動き信号は、ビデオシーケンス全体について時間の関数としてこれらのパラメータを備えている。例えば、図5Aから図5Cは、例示的なビデオシーケンスに関するグローバル動き信号を示すグラフである。これらのグローバル動き信号を生成する方法については以下に詳しく説明する。
【0025】
ステップ106の後、方法はステップ108に進み、ビデオシーケンス全体に関するグローバル動きのドミナント方向のクラスタ(以下、「ドミナントグローバル方向クラスタ」と呼ぶ)が生成される。この方法では、このステップ108の間、利用可能な各フレーム毎に全3つのグローバル動き信号を入力として取り込み、フレームのグローバル動き信号のドミナント方向を判定する。フレームのドミナント方向は、左パン、右パン、上チルト、下チルト、ズームイン、ズームアウト、グローバル静止の何れかで良い。そして、全ての利用可能なフレームのドミナント方向をクラスタ化し、ビデオシーケンス全体のドミナントグローバル方向クラスタを形成する。例えば、図5Dは、図5Aに用いられたのと同じ例示的なビデオシーケンスの時間の関数としてのドミナントグローバル方向クラスタ(即ち、フレーム番号)のグラフである。図5Dを見るとわかるように、ビデオシーケンスは、グローバル静止クラスタを有するフレーム番号=0から始まり、ズームインクラスタ、左パンクラスタに進み、グローバル静止クラスタで終わるクラスタにセグメント化される。これらのドミナントグローバル方向クラスタがどのように生成されるかについては以下に詳しく説明する。
【0026】
ステップ108の後、方法はステップ110に進み、ビデオシーケンスからキーフレームを抽出する。このステップ110の間、1組の予め定義された規則のセットを用いてドミナントグローバル方向クラスタからいくつかの潜在的なキーフレームが選択される。そして、この方法は冗長な潜在的キーフレームを削除して、最後に結果として得られる残りのキーフレームを完全に復号する。これらのキーフレームがどのように抽出されるかについては以下に詳しく説明する。そして、この方法は復号されたキーフレームをビデオシーケンスのサマリとして出力する。
【0027】
次に、図2を参照して、図1のキーフレーム抽出方法のステップ106のサブステップの流れ図を詳細に示す。ステップ104でMPEGビデオシーケンスが入力された後、方法はステップ202に進む。このステップ202の間、MPEG2圧縮ビデオシーケンスが既知の方式で部分的に解凍され、ビデオシーケンスの全てのMPEG2ブロック動きベクトルが得られる。
【0028】
動画に関するMPEG2圧縮基準は、ビデオシーケンスの空間的冗長性と時間的冗長性の両方を活用するものである。MPEG2は圧縮のいくつかのモードを利用している。1つのモードはフレーム内符号化(イントラ符号化)と呼ばれ、ビデオの多数の画面(pictures)は個別にかつ独立に圧縮又は符号化される。フレーム内符号化は、画面の互いに隣接する画素間に存在する空間的冗長性を活用している。フレーム内符号化のみを用いて符号化された画面をIピクチャと呼ぶ。MPEGは画面間の時間的冗長性を活用する、フレーム間符号化(インター符号化)と呼ばれる別のモードを利用している。時間的冗長性は、互いに隣接する画面間の高い相関の度合に起因する。
【0029】
MPEG2は、予測誤差と呼ばれるフレーム間差分信号を算出することによりこの冗長性を活用している。MPEG2は、予測誤差を算出する際に、動き補償に対してマクロブロック手法を使用している。符号化すべきフレームの中の目標マクロブロックが参照画像と呼ばれる前(又は連続)フレームの中の最も類似した置換されたマクロブロックとマッチされる。目標マクロブロックから予測マクロブロックへの置換を記述する(ブロック)動きベクトルは、最もマッチするマクロブロック、即ち、予測マクロブロックの位置を示す。その(ブロック)動きベクトル情報は符号化され、圧縮画像フレームと共に伝送される。順方向予測では、符号化すべき画面の中の目標マクロブロックが、参照画面と呼ばれる過去の画面の中の同じサイズの1組の置換されたマクロブロックとマッチされる。目標マクロブロックから予測マクロブロックへの水平及び垂直置換を記述する(ブロック)動きベクトルは、この最もマッチする予測マクロブロックの位置を示す。順方向予測を使用してMPEG2で符号化された画面をPピクチャと呼ぶ。
【0030】
また、MPEG2圧縮基準は双方向時間予測を使用している。双方向予測で符号化される画面は2つの参照画面、過去の参照画面、将来の参照画面を使用している。双方向に符号化された画面の中の目標マクロブロックは、過去の参照画面からの予測マクロブロックによって予測するか(順方向予測)、将来の参照画面からの予測マクロブロックによって予測するか(逆方向予測)、2つの予測マクロブロックの平均によって予測するか、各参照画面(補間)からの予測マクロブロックによって予測される。すべての場合において、参照画面からの予測マクロブロックは動きベクトルに関連付けられ、その結果、1マクロブロック当たり、最大2つの動きベクトルを双方向予測と共に使用することができる。
【0031】
このステップ202の間、キーフレーム抽出方法はビデオシーケンスを解凍し、ビデオシーケンスのすべてのMPEGブロック動きベクトルを得る。この方法はシーケンスを完全に復号することなく、このステップの間にフレーム間復号が行われることはない。当業者には、すべてのフレームが部分的に復号されるわけではないことが理解されよう。即ち、すべてのフレームが動きブロックベクトルを有するわけではない。
【0032】
この方法は、ステップ202でMPEGビデオシーケンスを部分的に解凍した後、ステップ204に進む。ステップ204では、すべての逆方向(ブロック)動きベクトルが、基本的に参照及び方向の変化を必要とする順方向(ブロック)動きベクトルに変換される。これらの順方向(ブロック)動きベクトルは、グローバル動きを算出することのできるローカル変位ベクトルを表す。
【0033】
次に、この方法はステップ206に続き、順方向動きベクトルを含む利用可能な各フレーム毎の3つのグローバル動きパラメータを算出する。これらのグローバル動きパラメータは、「Global Zoom/Pan estimation and Compensation for video Compression」(Proc ICASSP91、Yi Tong Tse and Richard Baker著、2725ページから2728ページ)に記載された方法を使用してフレームの順方向動きベクトルから算出される。3つのグローバルパラメータ、即ちパンパラメータとしてのx、チルトパラメータとしてのy、ズームパラメータとしてのzが算出される。利用可能な各フレーム毎にグローバル動きパラメータが算出される。そして、ビデオシーケンスに関する時間の関数として、これらのグローバルパラメータから3つのグローバル動き信号、X=x(t)、Y=y(t)、及びZ=z(t)が形成される。このように生成されたグローバル動き信号の例が図5Aから図5Cに示されている。
【0034】
次に、図5Aを参照して、例示的なビデオシーケンスに関する(パン)生成されたグローバル動き信号x(t)のグラフを示す。水平軸はフレーム番号0からフレーム番号260までのビデオシーケンスのフレームの数を表している。垂直軸は−10画素から+20画素まで変化するパンパラメータxである。パンパラメータxが−10から+10までは一般に小さなパン移動を示すことがわかる。10を越えるパンパラメータxは左パン移動を示す。−10未満のパンパラメータxは右パン移動を示す。図からわかるように、ビデオシーケンスの間中、概ねフレーム番号130から230までは左パン移動である。
【0035】
次に、図5Bを参照して、図5Aで使用されているのと同じ例示的なビデオシーケンスの(チルト)生成されたグローバル動き信号y(t)のグラフを示す。図5Aと同様に、水平軸はフレーム番号0からフレーム番号260までのビデオシーケンスのフレームの数を表している。垂直軸は−20画素から+20画素まで変化するチルトパラメータyである。チルトパラメータyが−10から+10までは一般に小さなチルト移動を示すことがわかる。10を越えるチルトパラメータyは上チルト移動を示す。−10未満のパンパラメータyは下チルト移動を示す。図からわかるように、ビデオシーケンスの間中、概ねフレーム番号60、125、150、160、220、及び240は短いチルト移動である。
【0036】
次に、図5Cを参照して、図5Aで使用されているのと同じ例示的なビデオシーケンスの(ズーム)生成されたグローバル動き信号z(t)のグラフを示す。図5Aと同様に、水平軸はフレーム番号0からフレーム番号260までのビデオシーケンスのフレームの数を表している。垂直軸は0ズーム係数から1.2ズーム係数まで変化するズームパラメータzである。ズームパラメータzが0.98から1.02までは一般に小さなズーム移動を示すことがわかる。1.02を超えるズームパラメータzはズームアウト移動し、0.98未満のズームパラメータzはズームイン移動を示す。図からわかるように、ビデオシーケンスの間中、概ねフレーム番号40から140まではズームイン移動である。
【0037】
次に、図3を参照して、図1に示した方法のステップ108のサブステップの流れ図を詳細に示す。キーフレーム抽出方法はステップ206でグローバル動き信号を算出した後、ステップ302に進む。ステップ302の間、方法はグローバル信号の各々の閾値を導入する。即ち、キーフレーム抽出方法は、利用可能な各フレームの各グローバルパラメータを3つの離散グローバルパラメータ値+1、0、−1の1つに変換する。例えば、グローバルパンパラメータxの場合に、−10≦x≦+10であればxが0に変換される。さもなければ、x>10であればxが1に変換され、x<−10であればxが−1に変換される。グローバルチルトパラメータyについても同様である。グローバルズームパラメータzの場合に、0.98≦z≦1.02であればzが0に変換される。さもなければ、z<0.98であればzが−1に変換され、z>1.02であればzが+1に変換される。
【0038】
閾値を導入するステップ302の後、ステップ304に進み、離散グローバル動き信号からノイズを除去する。離散グローバルパラメータがより顕著な形状に変形される既知の形態論処理技法を使用して離散グローバル動き信号からノイズを除去する。この技法は、短い遷移スパイクを除去し、離散グローバル動き信号中のあらゆるホールを充填する。形態論処理の基本動作を説明した「Fundamentals of Digital Image Processing」(A.K.Jain著、384ページ)を参照されたい。この方法は、ステップ304の後、ステップ306に進む。
【0039】
このキーフレーム抽出方法は、ステップ306の間、ビデオシーケンス全体に渡ってノイズが低減された離散グローバル動き信号に基づいてドミナントグローバル方向クラスタを生成する。この方法は、利用可能な各フレーム毎のノイズが低減されたすべての3つの離散グローバル動き信号を入力として取り込み、このフレームのグローバル動き信号のドミナント方向を判定する。フレームのドミナント方向は、左パン、右パン、上チルト、下チルト、ズームイン、ズームアウト、グローバル静止の何れかである。そして、すべての利用可能なフレームのドミナント方向をクラスタ化し、ビデオシーケンス全体のドミナントグローバル方向クラスタを形成する。例えば、「グローバル静止」運動はカメラ静止及び/又は小さなローカルオブジェクト運動、即ちゼロに近いか又はゼロに等しいそのフレームに対するすべての離散グローバル動き値を取り込む。左パン運動の例では、フレームの離散グローバル動き値は(パン=1、ズーム=0、チルト=0)である。しかしながら、フレームに関して組み合わされた動きが存在する場合(例えば、離散グローバル信号パン=1、ズーム=1、チルト=0)、グローバル運動のドミナント方向は、ステップ206で算出された3つの最初のグローバル動き信号のうちの最大の信号である。後者の場合、比較が行われ、フレーム中の最大の最初のグローバル動き信号を判定する。好ましくは、まず比較の前に、時間の経過と共に最初のグローバル動き信号の平均を求め、あらゆる遷移を削除する。図5Aから図5Cに示されるように、ズームグローバルパラメータは、チルトグローバルパラメータやパングローバルパラメータとは異なるメトリックを有する。ズームグローバル動き信号は、チルトグローバル動きパラメータ又はパングローバル動きパラメータと直接比較してグローバル運動のドミナント方向を判定できるように正規化される。各フレーム毎のグローバル運動のドミナント方向を判定した後、これらのドミナント方向をグループ化してクラスタを形成する。前述のように、このようなクラスタを本実施形態ではドミナントグローバル方向クラスタと呼ぶ。このクラスタ化サブステップにより、同じ種類の連続的で密なクラスタがグループ化される。非常に短い動きセグメントは無視される。
【0040】
次に、図5Dを参照して、図5Aで使用されているのと同じ例示的なビデオシーケンスの時間の関数としてのドミナントグローバル方向クラスタ(即ち、フレーム番号)のグラフを示す。図示するように、フレーム番号0から40までのグローバル静止クラスタがある。この時間中のドミナントグローバル運動はなく、ビデオシーケンスは比較的静止している。フレーム番号40から130の間にズームインクラスタがある。この時間中のドミナントグローバル運動はズームインである。ズームインクラスタの後、フレーム番号130から230の間に左パンクラスタがある。この持続時間の間のドミナントグローバル運動は左パンである。最後のクラスタは、フレーム番号230から260までのグローバル静止クラスタである。この期間中のドミナントグローバル運動はない。
【0041】
次に、図5Aから図5Cに示したように、フレーム番号130から140までの期間に左パン移動とズームイン移動とが重なり合っていることがわかる。このキーフレーム抽出方法は、この期間中ドミナントグローバル運動を左パンであると判定する。概ねフレーム番号60、125、150、160、220でのチルト移動が左パン移動とズームイン移動の両方と重なり合っていることもわかる。しかしながら、チルト動きセグメントは短く、キーフレーム抽出方法はクラスタ化の間このようなセグメントを無視している。
【0042】
次に、図4を参照して、図1のキーフレーム抽出方法のステップ110のサブステップの流れ図を示す。ステップ306でドミナントグローバル方向クラスタを判定した後、この方法はステップ402に進む。このステップ402の間、ドミナントグローバル方向クラスタから潜在的なキーフレームが選択される。これらキーフレームは、この段階でMPEG圧縮ビデオから抽出されることはない。これらキーフレームは、以下の定義済み規則のセットに応じて選択される。
【0043】
・パン又はチルトの長さ及び速度によってパンクラスタ又はチルトクラスタのために1つ又は複数のフレームを選択する。
【0044】
・ズーム係数及びズームの長さによってズームクラスタのために1つ又は複数のフレームを選択する。
【0045】
・各グローバル静止クラスタのために1つのフレームのみを選択する。
【0046】
例えば、パンクラスタから選択される潜在的なキーフレームは、パンクラスタの長さ及び速度によってパンの開始部分、パンの中央、及びパン終了部分に存在することも、或いはパンの開始部分から1つの潜在的なキーフレームにのみ存在することもできる。
【0047】
次に、図5Dに戻り、図5Aから図5Cに示されるビデオシーケンスのために選択された潜在的なキーフレームを説明する。この例では、第1のグローバル静止クラスタのために選択される1つのキーフレーム、ズームインクラスタの開始及び終了でズームインクラスタのために選択される2つのキーフレーム、左パンクラスタの開始及び終了で選択される2つのキーフレーム、最後のグローバル静止クラスタのために選択される1つのキーフレームがある。
【0048】
ステップ402の後、この方法はステップ404に進む。ステップ404では、ステップ402で選択されたキーフレームの冗長なキーフレームが写真の特性を考慮した定義済みの発見的規則のセットに基づいて削除される。例えば、グローバル静止は他の動きクラスタよりも重要である。グローバル静止では、しばしばユーザの関心又はある特定の事象が取り込まれる。また、グローバル静止では時には動く画像よりも多くの焦点が合った画像が取り込まれる。適用できる発見的規則のうちのいくつかを以下に示す。
【0049】
・「グローバル静止」でないクラスタの開始/終了で選択される潜在的なキーフレームが「グローバル静止」クラスタの後に続くか、このキーフレームの後に「グローバル静止」クラスタが続く場合、このキーフレームを削除する。例えば、「ズームイン」クラスタの終了で選択される潜在的なキーフレームの後に「グローバル静止」クラスタが続くとき、このキーフレームを削除する。「グローバル静止」から選択されるキーフレームは、しばしば「ズームイン」クラスタの終了から抽出されるキーフレームよりも良い品質を有し、これらのキーフレームは類似している。
【0050】
・パン/チルトの開始で選択される潜在的なキーフレームがズームクラスタの後に続く場合、このキーフレームを削除する。例えば、「ズームイン」クラスタの後に、非常に短い無視される動きセグメントが続き、その後、「右パン」クラスタが続く場合は、「右パン」の開始からの潜在的なキーフレームを削除する。しかしながら、発見的規則のセットはこれらの使用規則に限らない。
【0051】
そして、この方法はステップ406に進み、ステップ404の後、残っている選択されたキーフレームのうち同様なキーフレーム及び/又は繰り返されるキーフレームを削除する。定義済みの発見的規則を使用するにもかかわらず、依然としてシーンが繰り返され、異なる時間に同様なキーフレームが生じることもある。このステップ404は、画像類似性測定を用いてこれらの同様なキーフレームを削除する。画像の類似性を測定する既存の方法(例えば、色ヒストグラム比較)が使用できる。色ヒストグラムを算出する際に、PフレームやBフレームではなく、MPEGビデオの最も密なIフレームがキーフレームとして使用される。その場合、MPEG圧縮画像のDC係数を使用して低解像度画像を生成することができる。画像の類似性の測定は、DCキーフレーム画像を使用して行うことができる。
【0052】
ステップ406の後、この方法はステップ408に進み、ステップ406から依然として残っている選択されたキーフレームをMPEGビデオシーケンスから完全に復号する。これらの復号された残りキーフレームは、MPEGビデオシーケンスのサマリを形成し、ステップ112で出力される(例えば、ハードディスク上に記憶される)。そして、この方法はステップ114で終了する。このように、この方法は高速で効率的なキーフレーム抽出を実行する。
【0053】
次に、図5Dに戻り、図5Aから図5Cに示されるビデオシーケンスのために抽出されたキーフレームを説明する。ステップ404の間、図示するように抽出されたキーフレームを残す上述の発見的規則のセットを用いて第2、第4、及び第5の潜在的なキーフレームが除去される。この例における削除ステップ406は、同様なキーフレームも繰り返されるキーフレームも見つからず、抽出されたキーフレームは図示のように残される。そして、この方法はこれらの抽出されたキーフレームを復号し、ビデオシーケンスのビデオサマリを形成する。
【0054】
[装置の好ましい実施形態]
キーフレームを抽出する方法は、図6に示すような従来型の汎用コンピュータシステム600を使用して実施することが好ましい。ここで、図6のプロセスはコンピュータシステム600の中で実行するアプリケーションプログラムなどのソフトウェアとして実施される。特に、キーフレームを抽出する方法のステップは、コンピュータによって実行されるソフトウェアとして符号化された命令によって実施される。このソフトウェアは、キーフレーム抽出方法を実行する1つの部分と、この部分とユーザとの間のユーザインタフェースを管理する他の部分との2つの別々の部分に分割することができる。このソフトウェアは、例えば後述する記憶装置を含むコンピュータ読み取り可能な媒体に記憶されても良い。このソフトウェアは、コンピュータ読み取り可能な媒体からコンピュータにロードされ、そしてコンピュータによって実行される。このようなソフトウェア又はコンピュータプログラムが記録されたコンピュータ読み取り可能な媒体はコンピュータプログラム製品である。コンピュータ内でこのコンピュータプログラム製品を使用することにより、本発明の実施形態に応じてキーフレームを抽出する有利な装置を実現することが好ましい。
【0055】
コンピュータシステム600は、コンピュータモジュール601、キーボード602及びマウス603のような入力装置、プリンタ615を含む出力装置及び表示装置614を備えている。変復調(モデム)トランシーバ装置616が、例えば電話回線621又はその他の機能媒体を介して接続可能な通信ネットワーク620との間で通信するためにコンピュータモジュール601によって使用される。このモデム616は、インターネット、及びローカルエリアネットワーク(LAN)やワイドエリアネットワーク(WAN)など他のネットワークシステムへのアクセスを得るために使用される。
【0056】
コンピュータモジュール601は通常、少なくとも1つのプロセッサユニット605、例えば半導体ランダムアクセスメモリ(RAM)や読み取り専用メモリ(ROM)で形成されたメモリユニット606、ビデオインタフェース607を含む入出力(I/O)インタフェース、キーボード602及びマウス603及びオプションのジョイスティック(図示せず)用の入出力インタフェース613、並びにモデム616用のインタフェース608を含む。記憶装置609が設けられ、この装置は通常、ハードディスクドライブ610及びフロッピィーディスクドライブ611を含む。また、磁気テープドライブ(図示せず)を使用することもできる。非揮発性データ源として通常、CD−ROMドライブ又はDVDドライブ612が設けられている。コンピュータモジュール601の構成要素605〜613は通常、相互接続されたバス604を介して、関連技術におけるこれら周知のコンピュータシステム600の従来型の動作モードが得られるように通信している。本実施形態を実施できるコンピュータの例には、IBM-PC及びコンパチブル、Sun Sparcstation又はそれらから進化した同様なコンピュータシステムが含まれる。
【0057】
通常、好ましい実施形態のアプリケーションプログラムは、ハードディスクドライブ610上に存在し、プロセッサ605によって実行される際に読み取られ制御される。プログラム及びネットワーク620から取り込まれたあらゆるデータの中間記憶は、半導体メモリ606を、場合によってはハードディスクドライブ610と共に使用して行われる。いくつかの例では、アプリケーションプログラムは、CD−ROM又はフロッピィーディスク上に符号化されてユーザに供給され、対応するドライブ612又は611を介して読み取るか、或いはユーザによってモデム装置616を介してネットワーク620から読み取られても良い。更に、ソフトウェアは磁気テープ、ROM又は集積回路を含む他のコンピュータ読み取り可能な媒体、光磁気ディスク、コンピュータモジュール601及び他の装置の間の無線伝送チャネル又は赤外線伝送チャネル、PCMCIAカードなどのコンピュータ読み取り可能なカード、電子メール伝送及びWebサイトなどに記録された情報を含むインターネット及びイントラネットからコンピュータシステム600にロードされても良い。上述したものは、関連するコンピュータ読み取り可能な媒体の例に過ぎない。本発明の範囲及び趣旨から逸脱せずに他のコンピュータ可読媒体を実現することができる。
【0058】
このコンピュータシステム600は、キーフレーム抽出方法への入力として働く多量のビデオデータを記憶する機能を有する。ビデオデータはDVD−ROMドライブ612を介して、或いはカムコーダ(図示せず)から入出力インタフェース608を介して直接、コンピュータシステム600に入力されても良い。
【0059】
キーフレーム抽出方法は、図1に示す機能又は副機能を実行する1つ又は複数の集積回路などの専用ハードウェアで実現されても良い。このような専用ハードウェアは、カムコーダやVCRなどに組み込まれても良く、グラフィックプロセッサ、デジタル信号プロセッサ又は1つ又は複数のマイクロプロセッサ及び関連するメモリを含んでも良い。
【0060】
[産業上の利用可能性]
本発明の実施形態がビデオ処理業界に適用可能であることは上述の説明からも明らかである。キーフレーム抽出方法は、例えばビデオ内容の視覚識別、ビデオインデックス付け、ビデオブラウジング、ビデオ編集など多数の用途を有する。ここで、図5Dに戻り、図5Aから図5Cで用いられているビデオシーケンスのための抽出されたキーフレームを示す。ステップ404の間、図示するように、キーフレームを残す上述の発見的規則のセットを使用して第2、第4、及び第5の潜在的なキーフレームが削除される。
【0061】
以上、本発明の1つの実施形態/いくつかの実施形態のみについて説明したが、本発明の範囲及び趣旨から逸脱せずに実施形態に修正及び/又は変更を加えることができる。各実施形態は例示的なものであり、制限的なものではない。
【図面の簡単な説明】
【図1】第1の実施形態によってビデオシーケンスからキーフレームを抽出する方法の概要の流れ図である。
【図2】図1に示す方法のステップ106のサブステップの流れ図である。
【図3】図1に示す方法のステップ108のサブステップの流れ図である。
【図4】図1に示す方法のステップ110のサブステップの流れ図である。
【図5A】例示的なビデオシーケンスの(パン)グローバル動き信号x(t)のグラフである。
【図5B】図5Aと同様に例示的なビデオシーケンスの(チルト)グローバル動き信号y(t)のグラフである。
【図5C】図5Aと同様に例示的なビデオシーケンスの(ズーム)グローバル動き信号z(t)のグラフである。
【図5D】図5Aと同様に例示的なビデオシーケンスの、時間の関数としてのドミナントグローバル方向クラスタ、潜在的なキーフレーム、及び生成されるキーフレームのグラフである。
【図6】本発明の実施形態を実施できる汎用コンピュータの概略ブロック図である。
【符号の説明】
600 コンピュータシステム
601 コンピュータモジュール
602 キーボード
603 マウス
604 相互接続されたバス
605 プロセッサユニット
606 メモリユニット
607 ビデオインタフェース
608 入出力(I/O)インタフェース
609 記憶装置
610 ハードディスクドライブ
611 フロッピィーディスクドライブ
612 CD−ROMドライブ又はDVDドライブ
613 入出力インタフェース
614 表示装置
615 プリンタ
616 モデム
620 ネットワーク
621 電話回線
Claims (11)
- 動きベクトルを持つ圧縮ビデオデータを有するビデオシーケンスからキーフレームを抽出する方法であって、
前記動きベクトルに基づいてグローバル動き信号を生成する工程と、
生成されたグローバル動き信号に基づいて、前記グローバル動き信号がグループ化されたドミナントグローバル方向クラスタを生成する工程と、
生成されたドミナントグローバル方向クラスタを使用してキーフレームを選択する工程と、
キーフレームを抽出するために前記選択されたキーフレームを解凍する工程とを有することを特徴とする方法。 - 前記選択する工程は、前記生成されたドミナントグローバル方向クラスタ及び予め設定した規則に基づいてキーフレームを選択することを特徴とする請求項1に記載の方法。
- 前記選択する工程は、
前記生成されたドミナントグローバル方向クラスタ及び予め設定された第1の規則に基づいてビデオシーケンスの潜在的なキーフレームを選択し、
予め設定された第2の規則に基づいて前記選択された潜在的なキーフレームから冗長なキーフレームを削除して選択されたキーフレームを得ることを特徴とする請求項1に記載の方法。 - 前記グローバル動き信号を生成する工程は、パングローバル動き信号、ズームグローバル動き信号、チルトグローバル動き信号を生成することを特徴とする請求項1に記載の方法。
- 前記ドミナントグローバル方向クラスタは、左パン動きクラスタ、右パン動きクラスタ、上チルト動きクラスタ、下チルト動きクラスタ、ズームイン動きクラスタ、ズームアウト動きクラスタ、グローバル静止動きクラスタの1つ又は複数を有することを特徴とする請求項1に記載の方法。
- 前記ドミナントグローバル方向クラスタを生成する工程は、
前記生成されたグローバル動き信号から離散グローバル動き信号を生成し、
生成された離散グローバル動き信号からノイズを除去し、
前記ノイズが低減された離散グローバル動き信号に基づいてドミナントグローバル方向クラスタを生成することを特徴とする請求項1に記載の方法。 - ブロック動きベクトルを持つ圧縮ビデオデータを有するビデオシーケンスの表現を生成する方法であって、
前記ブロック動きベクトルを得るために前記圧縮ビデオデータを解凍する工程と、
前記ブロック動きベクトルを順方向ブロック動きベクトルに変換する工程と、
前記順方向ブロック動きベクトルに基づいてグローバル動き信号を生成する工程と、
生成されたグローバル動き信号に基づいて、前記グローバル動き信号がグループ化されたドミナントグローバル方向クラスタを生成する工程と、
生成されたドミナントグローバル方向クラスタ及び予め設定された規則に基づいてビデオシーケンスの潜在的なキーフレームを選択する工程と、
選択された潜在的なキーフレームの冗長なキーフレームを削除して残りの選択されたキーフレームを得る工程と、
前記ビデオシーケンスの表現を得るために前記残りの選択されたキーフレームを解凍する工程とを有することを特徴とする方法。 - 動きベクトルを持つ圧縮ビデオデータを有するビデオシーケンスからキーフレームを抽出する装置であって、
前記動きベクトルに基づいてグローバル動き信号を生成する手段と、
生成されたグローバル動き信号に基づいて、前記グローバル動き信号がグループ化されたドミナントグローバル方向クラスタを生成する手段と、
生成されたドミナントグローバル方向クラスタを使用してキーフレームを選択する手段と、
キーフレームを抽出するために前記選択されたキーフレームを解凍する手段とを有することを特徴とする装置。 - ブロック動きベクトルを持つ圧縮ビデオデータを有するビデオシーケンスの表現を生成する装置であって、
前記ブロック動きベクトルを得るために前記圧縮ビデオデータを解凍する手段と、
前記ブロック動きベクトルを順方向ブロック動きベクトルに変換する手段と、
前記順方向ブロック動きベクトルに基づいてグローバル動き信号を生成する手段と、
生成されたグローバル動き信号に基づいて、前記グローバル動き信号がグループ化されたドミナントグローバル方向クラスタを生成する手段と、
生成されたドミナントグローバル方向クラスタ及び予め設定された規則に基づいてビデオシーケンスの潜在的なキーフレームを選択する手段と、
選択された潜在的なキーフレームの冗長なキーフレームを削除して残りの選択されたキーフレームを得る手段と、
前記ビデオシーケンスの表現を得るために前記残りの選択されたキーフレームを解凍する手段とを有することを特徴とする装置。 - 請求項1に記載の方法をコンピュータに実行させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
- 請求項7に記載の方法をコンピュータに実行させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
AU5352 | 1982-08-12 | ||
AUPQ5352A AUPQ535200A0 (en) | 2000-01-31 | 2000-01-31 | Extracting key frames from a video sequence |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2001258038A JP2001258038A (ja) | 2001-09-21 |
JP2001258038A5 JP2001258038A5 (ja) | 2008-03-13 |
JP4666784B2 true JP4666784B2 (ja) | 2011-04-06 |
Family
ID=3819476
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001024529A Expired - Fee Related JP4666784B2 (ja) | 2000-01-31 | 2001-01-31 | ビデオシーケンスのキーフレーム抽出方法及びビデオシーケンスのキーフレーム抽出装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US7046731B2 (ja) |
JP (1) | JP4666784B2 (ja) |
AU (1) | AUPQ535200A0 (ja) |
Families Citing this family (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4783985B2 (ja) * | 2001-02-28 | 2011-09-28 | 日本電気株式会社 | 映像処理装置、映像表示装置及びそれに用いる映像処理方法並びにそのプログラム |
US20020186235A1 (en) * | 2001-05-25 | 2002-12-12 | Koninklijke Philips Electronics N.V. | Compact visual summaries using superhistograms and frame signatures |
US6941516B2 (en) * | 2001-08-06 | 2005-09-06 | Apple Computer, Inc. | Object movie exporter |
US8238718B2 (en) * | 2002-06-19 | 2012-08-07 | Microsoft Corporaton | System and method for automatically generating video cliplets from digital video |
JP4036328B2 (ja) | 2002-09-30 | 2008-01-23 | 株式会社Kddi研究所 | 動画像データのシーン分類装置 |
JP4424590B2 (ja) | 2004-03-05 | 2010-03-03 | 株式会社Kddi研究所 | スポーツ映像の分類装置 |
US8411902B2 (en) * | 2004-04-07 | 2013-04-02 | Hewlett-Packard Development Company, L.P. | Providing a visual indication of the content of a video by analyzing a likely user intent |
US7801328B2 (en) * | 2005-03-31 | 2010-09-21 | Honeywell International Inc. | Methods for defining, detecting, analyzing, indexing and retrieving events using video image processing |
US20060238616A1 (en) * | 2005-03-31 | 2006-10-26 | Honeywell International Inc. | Video image processing appliance manager |
US7760908B2 (en) * | 2005-03-31 | 2010-07-20 | Honeywell International Inc. | Event packaged video sequence |
US20060277457A1 (en) * | 2005-06-07 | 2006-12-07 | Salkind Carole T | Method and apparatus for integrating video into web logging |
US20070030396A1 (en) * | 2005-08-05 | 2007-02-08 | Hui Zhou | Method and apparatus for generating a panorama from a sequence of video frames |
US20070071404A1 (en) * | 2005-09-29 | 2007-03-29 | Honeywell International Inc. | Controlled video event presentation |
US8949235B2 (en) * | 2005-11-15 | 2015-02-03 | Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. | Methods and systems for producing a video synopsis using clustering |
US8102406B2 (en) | 2005-11-15 | 2012-01-24 | Yissum Research Development Company Of The Hebrew University Of Jerusalem | Method and system for producing a video synopsis |
US7889794B2 (en) * | 2006-02-03 | 2011-02-15 | Eastman Kodak Company | Extracting key frame candidates from video clip |
US20070237225A1 (en) * | 2006-03-30 | 2007-10-11 | Eastman Kodak Company | Method for enabling preview of video files |
KR101456652B1 (ko) | 2007-02-01 | 2014-11-04 | 이섬 리서치 디벨러프먼트 컴파니 오브 더 히브루 유니버시티 오브 예루살렘 엘티디. | 비디오 인덱싱 및 비디오 시놉시스 방법 및 시스템 |
US9172918B2 (en) * | 2007-02-02 | 2015-10-27 | Honeywell International Inc. | Systems and methods for managing live video data |
DE102007063635A1 (de) * | 2007-03-22 | 2009-04-02 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren zur zeitlichen Segmentierung eines Videos in Videobildfolgen und zur Auswahl von Keyframes für das Auffinden von Bildinhalten unter Einbeziehung einer Subshot-Detektion |
WO2008152556A1 (en) * | 2007-06-15 | 2008-12-18 | Koninklijke Philips Electronics N.V. | Method and apparatus for automatically generating summaries of a multimedia file |
WO2009154597A1 (en) * | 2008-06-19 | 2009-12-23 | Thomson Licensing | Adaptive video key frame selection |
WO2010099575A1 (en) | 2009-03-04 | 2010-09-10 | Honeywell International Inc. | Systems and methods for managing video data |
US9298722B2 (en) * | 2009-07-16 | 2016-03-29 | Novell, Inc. | Optimal sequential (de)compression of digital data |
US20110135170A1 (en) * | 2009-12-09 | 2011-06-09 | Capso Vision, Inc. | System and method for display speed control of capsule images |
US8599316B2 (en) | 2010-05-25 | 2013-12-03 | Intellectual Ventures Fund 83 Llc | Method for determining key video frames |
US8446490B2 (en) | 2010-05-25 | 2013-05-21 | Intellectual Ventures Fund 83 Llc | Video capture system producing a video summary |
US8605221B2 (en) | 2010-05-25 | 2013-12-10 | Intellectual Ventures Fund 83 Llc | Determining key video snippets using selection criteria to form a video summary |
US8619150B2 (en) | 2010-05-25 | 2013-12-31 | Intellectual Ventures Fund 83 Llc | Ranking key video frames using camera fixation |
US8520088B2 (en) | 2010-05-25 | 2013-08-27 | Intellectual Ventures Fund 83 Llc | Storing a video summary as metadata |
US8432965B2 (en) | 2010-05-25 | 2013-04-30 | Intellectual Ventures Fund 83 Llc | Efficient method for assembling key video snippets to form a video summary |
US9171578B2 (en) | 2010-08-06 | 2015-10-27 | Futurewei Technologies, Inc. | Video skimming methods and systems |
US8774168B2 (en) * | 2011-04-14 | 2014-07-08 | Skype | Communication system and method |
CN102855639B (zh) * | 2012-08-16 | 2014-11-19 | 大连大学 | 一种运动捕捉数据的关键帧提取方法 |
EP3031205A4 (en) | 2013-08-07 | 2017-06-14 | Audiostreamtv Inc. | Systems and methods for providing synchronized content |
US20150312574A1 (en) * | 2013-08-12 | 2015-10-29 | Intel Corporation | Techniques for low power image compression and display |
US10482613B2 (en) | 2017-07-06 | 2019-11-19 | Wisconsin Alumni Research Foundation | Movement monitoring system |
US10810414B2 (en) | 2017-07-06 | 2020-10-20 | Wisconsin Alumni Research Foundation | Movement monitoring system |
US11450148B2 (en) | 2017-07-06 | 2022-09-20 | Wisconsin Alumni Research Foundation | Movement monitoring system |
CN109544664B (zh) * | 2018-11-21 | 2023-03-28 | 北京像素软件科技股份有限公司 | 动画数据处理方法、装置、电子设备及可读存储介质 |
US10997426B1 (en) * | 2019-03-05 | 2021-05-04 | Amazon Technologies, Inc. | Optimal fragmentation of video based on shot analysis |
US11587361B2 (en) | 2019-11-08 | 2023-02-21 | Wisconsin Alumni Research Foundation | Movement monitoring system |
US11237708B2 (en) | 2020-05-27 | 2022-02-01 | Bank Of America Corporation | Video previews for interactive videos using a markup language |
US11461535B2 (en) | 2020-05-27 | 2022-10-04 | Bank Of America Corporation | Video buffering for interactive videos using a markup language |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08191411A (ja) * | 1994-11-08 | 1996-07-23 | Matsushita Electric Ind Co Ltd | シーン判別方法および代表画像記録・表示装置 |
WO1998052356A1 (en) * | 1997-05-16 | 1998-11-19 | The Trustees Of Columbia University In The City Of New York | Methods and architecture for indexing and editing compressed video over the world wide web |
WO1999032993A1 (en) * | 1997-12-19 | 1999-07-01 | Sharp Kabushiki Kaisha | Method for hierarchical summarization and browsing of digital video |
JPH11509025A (ja) * | 1996-04-25 | 1999-08-03 | フィリップス エレクトロニクス ネムローゼ フェンノートシャップ | 直流および動きの記号を用いた圧縮mpeg系列のビデオ検索 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2308774B (en) | 1993-04-08 | 1997-10-08 | Sony Uk Ltd | Motion compensated video signal processing |
KR19990008977A (ko) | 1997-07-05 | 1999-02-05 | 배순훈 | 윤곽선 부호화 방법 |
SI20409A (sl) | 1997-09-26 | 2001-06-30 | Egidija RO�KAR-NILSEN | Emg senzor in večkanalni uretralni emg sistem, ki vsebuje ta senzor |
-
2000
- 2000-01-31 AU AUPQ5352A patent/AUPQ535200A0/en not_active Abandoned
-
2001
- 2001-01-08 US US09/755,068 patent/US7046731B2/en not_active Expired - Fee Related
- 2001-01-31 JP JP2001024529A patent/JP4666784B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08191411A (ja) * | 1994-11-08 | 1996-07-23 | Matsushita Electric Ind Co Ltd | シーン判別方法および代表画像記録・表示装置 |
JPH11509025A (ja) * | 1996-04-25 | 1999-08-03 | フィリップス エレクトロニクス ネムローゼ フェンノートシャップ | 直流および動きの記号を用いた圧縮mpeg系列のビデオ検索 |
WO1998052356A1 (en) * | 1997-05-16 | 1998-11-19 | The Trustees Of Columbia University In The City Of New York | Methods and architecture for indexing and editing compressed video over the world wide web |
WO1999032993A1 (en) * | 1997-12-19 | 1999-07-01 | Sharp Kabushiki Kaisha | Method for hierarchical summarization and browsing of digital video |
Also Published As
Publication number | Publication date |
---|---|
AUPQ535200A0 (en) | 2000-02-17 |
JP2001258038A (ja) | 2001-09-21 |
US7046731B2 (en) | 2006-05-16 |
US20010016007A1 (en) | 2001-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4666784B2 (ja) | ビデオシーケンスのキーフレーム抽出方法及びビデオシーケンスのキーフレーム抽出装置 | |
JP3719933B2 (ja) | 階層的ディジタル動画要約及び閲覧方法、並びにその装置 | |
US7469010B2 (en) | Extracting key frames from a video sequence | |
US7027509B2 (en) | Hierarchical hybrid shot change detection method for MPEG-compressed video | |
US7817722B2 (en) | Methods and architecture for indexing and editing compressed video over the world wide web | |
US7356082B1 (en) | Video/audio signal processing method and video-audio signal processing apparatus | |
Meng et al. | Scene change detection in an MPEG-compressed video sequence | |
JP3656036B2 (ja) | Mpeg圧縮ビデオ環境でのディゾルブ/フェード検出方法 | |
JP2001526859A (ja) | ワールドワイドウェブ上の圧縮映像の指示及び編集方法及びアーキテクチュア | |
US8363726B2 (en) | Electronic apparatus, motion vector detecting method, and program therefor | |
JPH10257436A (ja) | 動画像の自動階層構造化方法及びこれを用いたブラウジング方法 | |
JP3714871B2 (ja) | サンプリングされたディジタル動画シーケンス中の推移を検出する方法 | |
JP2869398B2 (ja) | カット点検出方法及び装置 | |
JP2005341382A (ja) | 画像処理装置,撮像装置,コンピュータプログラムおよび画像処理方法 | |
AU762791B2 (en) | Extracting key frames from a video sequence | |
KR20020040503A (ko) | 동영상 비디오 스트림의 장면전환 검출방법 | |
Yi et al. | A motion-based scene tree for compressed video content management | |
Meng et al. | Searching and editing MPEG-compressed video in a distributed online environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080130 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110106 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140121 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |