JP2004112678A - 映像検索装置 - Google Patents
映像検索装置 Download PDFInfo
- Publication number
- JP2004112678A JP2004112678A JP2002275653A JP2002275653A JP2004112678A JP 2004112678 A JP2004112678 A JP 2004112678A JP 2002275653 A JP2002275653 A JP 2002275653A JP 2002275653 A JP2002275653 A JP 2002275653A JP 2004112678 A JP2004112678 A JP 2004112678A
- Authority
- JP
- Japan
- Prior art keywords
- screens
- correlation
- screen
- continuous
- measuring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/147—Scene change detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【課題】入力動画像中に挿入された短尺のショットを誤りなく効率的に検出することができる映像検索装置を提供すること。
【解決手段】映像入力部１２は、ＴＶ番組などの画像データを蓄積装置１１から取り出し、連続するｎ画面分についての画像データを連続画面間相関測定部１３およびサンプル画面間相関測定部１４に入力させる。連続画面間相関測定部１３は、動画像データから連続する画面間の相関を測定し、サンプル画面間相関測定部１４は、サブサンプルされた画面間の相関を測定する。短尺ショット判定部１５は、連続する画面間の相関および前記サブサンプルされた画面間の相関を用いて短尺カット点を判定する。さらに、連続する画面間、サブサンプルされた画面間の動き量を考慮して短尺カット点を判定することもできる。
【選択図】 図１
【解決手段】映像入力部１２は、ＴＶ番組などの画像データを蓄積装置１１から取り出し、連続するｎ画面分についての画像データを連続画面間相関測定部１３およびサンプル画面間相関測定部１４に入力させる。連続画面間相関測定部１３は、動画像データから連続する画面間の相関を測定し、サンプル画面間相関測定部１４は、サブサンプルされた画面間の相関を測定する。短尺ショット判定部１５は、連続する画面間の相関および前記サブサンプルされた画面間の相関を用いて短尺カット点を判定する。さらに、連続する画面間、サブサンプルされた画面間の動き量を考慮して短尺カット点を判定することもできる。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、映像検索装置に関し、特に、動画像における短尺ショットを誤りなく効率的に検出することができる映像検索装置に関する。
【０００２】
【従来の技術】
映像中に含まれるサブリミナル映像を判定するサブリミナル映像処理装置が特開平９−２８４６６７号公報に開示されている。このサブリミナル映像処理装置は、ｎ画面分の連続画像データを一画面ずつ蓄積し、蓄積されたｎ画面分の画面データと最新に入力された画像データとを比較・判断し、同一画面とされた画面よりも古く蓄積された画面に異画面と判断された部分があるとき、前後の画面と異なる絵柄を持つｎコマ以下の画面をサブリミナル映像の画面と判定するものである。
【０００３】
このブロック図を図１０に示し、ｎ画面記憶部５０からのｎ画面分の連続画像データと最新画面入力部５１からの最新入力の画像データとをｎ画面比較部５２で比較し、その異同を異画面判定部５３で判定する。サブリミナル映像判定部５４は、異画面判定部５３での判定結果に基づいてサブリミナル映像を判定し、サブリミナル映像と判定された画像データはサブリミナル映像除去部５５で除去される。
【０００４】
このように、連続する画像中に含まれる１フレームから数フレーム程度の短尺ショットを検出する従来の手法は、単に、最新に入力された画面と既入力のｎ画面との異同に基づいて短尺ショットを検出するというものである。
【０００５】
【発明が解決しようとする課題】
しかしながら、前記特開平９−２８４６６７号公報に記載された手法は、短尺ショットか否かを、単に、最新に入力された画面と既入力のｎ画面とを比較した結果に基づいて判断するものであり、静止画像中に挿入された短尺ショットは良好に検出できるが、動画像の場合には誤検出が生じるという問題がある。
【０００６】
例えば、同一ショットでも画像の動きが不連続の場合には、同一ショットに含まれる一部の画面だけが入力画面と異なることが起こるため、該画面部分を短尺ショット（サブリミナル映像）と誤って検出する可能性がある。また、画像の動きが連続的であっても、最新の入力された画面と、該画面と比較的離れた古い画面とを異画面であると判断し、該画面部分を短尺ショット（サブリミナル映像）と誤って検出する可能性もある。
【０００７】
本発明の目的は、前記した従来技術の問題点を解決し、入力動画像中に挿入された短尺のショットを誤りなく効率的に検出することができる映像検索装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記課題を解決するため、本発明は、連続する動画像データを入力する手段と、前記動画像データから連続する画面間の相関を測定する手段と、前記動画像データからサブサンプルされた画面間の相関を測定する手段と、前記連続する画面間の相関および前記サブサンプルされた画面間の相関を用いて短尺カット点を判定する手段とを有する点に第１の特徴がある。
【０００９】
また、本発明は、連続する動画像データを入力する手段と、前記動画像データから連続する画面間の相関を測定する手段と、前記動画像データからサブサンプルされた画面間の相関を測定する手段と、前記動画像データから連続する画面間の動き量を測定する手段と、前記連続する画面間の相関、前記サブサンプルされた画面間の相関および前記連続する画面間の動き量を用いて短尺カット点を判定する手段とを有する点に第２の特徴がある。
【００１０】
また、本発明は、連続する動画像データを入力する手段と、前記動画像データから連続する画面間の相関を測定する手段と、前記動画像データからサブサンプルされた画面間の相関を測定する手段と、前記動画像データから連続する画面間の動き量を測定する手段と、前記動画像データからサブサンプルされた画面間の動き量を測定する手段と、前記連続する画面間の相関、前記サブサンプルされた画面間の相関、前記連続する画面間の動き量および前記サブサンプルされた画面間の動き量を用いて短尺カット点を判定する手段とを有する点に第３の特徴がある。
【００１１】
また、本発明は、連続する動画像データを入力する手段と、前記動画像データから連続する画面間の相関を測定する手段と、前記動画像データからサブサンプルされた画面間の相関を測定する手段と、前記連続する画面間の相関および前記サブサンプルされた画面間の相関を用いて短尺カット点候補を判定する手段と、前記短尺カット点候補について、前記動画像データから連続する画面間の動き量を測定する手段と、前記連続する画面間の動き量を用いて短尺カット点を判定する手段とを有する点に第４の特徴がある。
【００１２】
また、本発明は、連続する動画像データを入力する手段と、前記動画像データから連続する画面間の動き量を測定する手段と、前記連続する画面間の動き量を用いて短尺カット点候補を判定する手段と、前記短尺カット点候補について、前記動画像データから連続する画面間の相関を測定する手段と、前記短尺カット点候補について、前記動画像データからサブサンプルされた画面間の相関を測定する手段と、前記連続する画面間の相関および前記サブサンプルされた画面間の相関を用いて短尺カット点を判定する手段とを有する点に第５の特徴がある。
【００１３】
また、本発明は、連続する動画像データを入力する手段と、前記動画像データから連続する画面間の相関を測定する手段と、前記動画像データからサブサンプルされた画面間の相関を測定する手段と、前記連続する画面間の相関および前記サブサンプルされた画面間の相関を用いて短尺カット点候補を判定する手段と、前記短尺カット点候補について、前記動画像データから連続する画面間の動き量を測定する手段と、前記短尺カット点候補について、前記動画像データからサブサンプルされた画面間の動き量を測定する手段と、前記連続する画面間の動き量および前記サブサンプルされた画面間の動き量を用いて短尺カット点を判定する手段とを有する点に第６の特徴がある。
【００１４】
また、本発明は、連続する動画像データを入力する手段と、前記動画像データから連続する画面間の動き量を測定する手段と、前記連続する画面間の動き量を用いて短尺カット点候補を判定する手段と、前記短尺カット点候補について、前記動画像データから連続する画面間の相関を測定する手段と、前記短尺カット点候補について、前記動画像データからサブサンプルされた画面間の相関を測定する手段と、前記短尺カット点候補について、前記動画像データからサブサンプルされた画面間の動き量を測定する手段と、前記連続する画面間の相関、前記サブサンプルされた画面間の相関および前記サブサンプルされた画面間の動き量を用いて短尺カット点を判定する手段とを有する点に第７の特徴がある。
【００１５】
また、本発明は、入力される動画像データが、画像データの低周波成分からなる点に第８の特徴がある。
【００１６】
さらに、本発明は、入力される動画像データが、圧縮された画像データを部分復号して得られる低周波画像データと動きベクトルとからなる点に第９の特徴がある。
【００１７】
第１の特徴によれば、連続する画面間の相関を用いており、さらにサブサンプルされた画面間の相関を用いて短尺カット点を判定するので、動画像中に挿入された短尺のショットを誤りなく効率的に検出することができる。
【００１８】
また、第２および第３の特徴によれば、さらに、連続する画面間の動き量やサブサンプルされた画面間の動き量を用いて短尺カット点を判定するので、同一ショットにおける画像の動きが不連続な場合でもより確実に誤判定を防ぐことができる。
【００１９】
また、第４および第６の特徴によれば、連続する画面間の相関およびサブサンプルされた画面間の相関を用いて短尺カット点候補を判定し、この判定により絞り込まれた短尺カット点候補について、連続する画面間の動き量やサブサンプルされた画面間の動き量を測定して短尺カット点を判定するので、比較的処理の重い動き量の測定を必要最小限に抑えることができる。
【００２０】
また、第５および第７の特徴によれば、連続する画面間の動き量を用いて短尺カット点候補を判定し、この判定により絞り込まれた短尺カット点候補について、連続する画面間の相関やサブサンプルされた画面間の相関やサブサンプルされた画面間の動き量を測定して短尺カット点を判定するので、動きが大きなショットを最初に除外することができ、装置全体としての検出処理負荷を軽減することができる。
【００２１】
また、第８の特徴によれば、画像データの低周波成分を用いて短尺カット点を判定するので、処理を軽減することができる。
【００２２】
さらに、第９の特徴によれば、入力される動画像データが、圧縮された動画像データを部分復号して得られる低周波画像データと動きベクトルとからなるので、低周波画像データを用いることにより処理を軽減することができ、また、連続する画面間の動き量やサブサンプルされた画面間の動き量の測定を含むものにおいては、その測定を動きベクトルを用いて容易に行うことができる。
【００２３】
【発明の実施の形態】
以下、図面を参照して本発明を詳細に説明する。図１は、本発明に係る映像検索装置の第１の実施形態を示すブロック図である。図１において、制御部１０は、本映像検索装置の全体の動作を制御する。
【００２４】
映像入力部１２は、ＴＶ番組などの画像データを蓄積装置１１から取り出し、連続するｎ画面分についての画像データを連続画面間相関測定部１３およびサンプル画面間相関測定部１４に入力させる。なお、この入力は、短尺ショットの検出処理１回ごとに１画面ずつずらしながら繰り返し行う。
【００２５】
連続画面間相関測定部１３は、連続する２つの画面Ｐ（ｉ−１）、Ｐ（ｉ）間の相関（以下、連続画面間相関と称す。）ＣＣ（ｉ），ｉ＝１，２，・・・，ｎ−１を測定する。また、サンプル画面間相関測定部１４は、サンプルされた画面間の相関（以下、サンプル画面間相関と称す。）ＳＣを測定する。サンプル画面は、例えば、画面Ｐ（０）と画面Ｐ（ｎ−１）であり、これらの画面Ｐ（０）、画面Ｐ（ｎ−１）間の相関ＳＣを測定する。
【００２６】
なお、連続画面間相関やサンプル画面間相関は、画面間輝度絶対差分和、画面平均輝度絶対差分値、画面平均色差絶対差分、画面間輝度ヒストグラム絶対差分和、画面間色差ヒストグラム絶対差分和、画面間色差ヒストグラム相関値などのいずれかを求めることにより、あるいはそれらの組み合わせを用いることにより測定できる。組み合わせによる場合、例えば、画面間輝度ヒストグラム絶対差分和と画面間色差ヒストグラム絶対差分和の和を用いることができる。
【００２７】
連続画面間相関測定部１３から出力される連続画面相関ＣＣ（ｉ）およびサンプル画面間相関測定部１４から出力されるサンプル画面相関ＳＣは短尺ショット判定部１５に入力される。
【００２８】
短尺ショット判定部１５は、連続画面間相関ＣＣ（ｉ）がｉ＝１，ｎ−１で低くそれ以外でＣＣ（ｉ）が高く、かつサンプル画面間相関ＳＣが高い場合に、画面Ｐ（０）と画面Ｐ（２）間、画面Ｐ（ｎ−２）と画面Ｐ（ｎ−１）間にそれぞれ短尺カット点が存在すると判定し、短尺ショット区間Ｐ（１）〜Ｐ（ｎ−２）を検出する。
【００２９】
短尺ショットの判定は、閾値処理で行うことができる。図２は、連続画面間相関ＣＣ（１）とＣＣ（ｎ−１）の閾値をＴＣＬとし、その他の連続画面間相関ＣＣ（ｉ）の閾値をＴＣＨとし、サンプル画面間相関ＳＣの閾値をＴＳＨとして、画面Ｐ（０）〜Ｐ（ｎ−１）のｎ画面において、ＣＣ（１）＜ＴＣＬ、ＣＣ（ｎ−１）＜ ＴＣＬ、ＣＣ（２）〜ＣＣ（ｎ−２）＞ ＴＣＨであり、かつＳＣ＞ＴＳＨであり、短尺ショット区間Ｐ（１）〜Ｐ（ｎ−２）が検出される状態を示している。ここで、閾値ＴＣＬとＴＣＨとは、同一の値でも異なる値でも構わない。
【００３０】
なお、ｎ＝３の場合には、連続画面間相関ＣＣ（ｉ）がｉ＝１，２で低く、かつサンプル画面間相関ＳＣが高い場合に、短尺ショットがｉ＝１で存在すると判定すればよい。
【００３１】
また、連続するｎ画面としては、連続するＮ画面から時系列に任意あるいは周期的にサンプルしたｎ画面を用いてもよく、本発明における連続する動画像データとは、このような動画像データも含む。
【００３２】
また、蓄積装置１１は、予め動画像データを蓄積しているものに限らず、リアルタイムで連続入力される動画像データの一次蓄積装置などでもよい。さらに、入力される動画像データの画面は、フレーム単位でもフィールド単位でもよく、フィールド単位の場合には偶数または奇数のいずれかのフィールドのみを用いるればよい。
【００３３】
本発明においては、動画像の動きをも考慮して短尺カット点を判定することができ、動画像の動きをも考慮すれば、同一ショットにおける画像の動きが不連続な場合の誤判定をより確実に防ぐことができる。以下、動画像の動きをも考慮したいくつかの実施形態についを説明する。なお、図１と同一あるいは同等部分には同一符号を付している。
【００３４】
図３は、本発明に係る映像検索装置の第２の実施形態を示すブロック図である。図３において、制御部１０は、本映像検索装置の全体の動作を制御する。映像入力部１２は、ＴＶ番組などの画像データを蓄積装置１１から取り出し、連続するｎ画面分についての画像データを連続画面間相関測定部１３、サンプル画面間相関測定部１４および連続画面間動き測定部１７に入力させる。
【００３５】
連続画面間相関測定部１３は、連続する２つの画面Ｐ（ｉ−１）、Ｐ（ｉ）間の相関ＣＣ（ｉ），ｉ＝１，２，・・・，ｎ−１を測定する。また、サンプル画面間相関測定部１４は、サンプル画面間相関ＳＣを測定する。サンプル画面は、例えば、画面Ｐ（０）と画面Ｐ（ｎ−１）であり、これらの画面Ｐ（０）、画面Ｐ（ｎ−１）間の相関ＳＣを測定する。
【００３６】
また、連続画面間動き測定部１７では連続する２つの画面Ｐ（ｉ−１）、Ｐ（ｉ）間の動き量（以下、連続画面間動き量と称す。）ＭＡ（ｉ）を測定する。連続画面間動き量ＭＡ（ｉ）としては、連続画面間においてブロックマッチング法で求めた動きベクトルノルムの画面平均、動きベクトルのＸ成分、Ｙ成分それぞれの絶対値の画面平均値、動きベクトルノルムや動きベクトルのＸ成分、Ｙ成分それぞれの絶対値の偏差の統計値などを用いることができる。
【００３７】
連続画面間相関測定部１３から出力される連続画面相関ＣＣ（ｉ）、サンプル画面間相関測定部１４から出力されるサンプル画面相関ＳＣおよび連続画面間動き測定部１７から出力される連続画面間動き量ＭＡ（ｉ）は短尺ショット判定部１５に入力される。
【００３８】
短尺ショット判定部１５は、連続画面間相関ＣＣ（ｉ）がｉ＝１，ｎ−１で低くそれ以外でＣＣ（ｉ）が高く、サンプル画面間相関ＳＣが高く、かつ連続画面間動き量ＭＡ（ｉ）がｉ＝１，ｎ−１で低い場合に、画面Ｐ（０）と画面Ｐ（２）間、画面Ｐ（ｎ−２）と画面Ｐ（ｎ−１）間にそれぞれ短尺カット点が存在すると判定し、短尺ショット区間Ｐ（１）〜Ｐ（ｎ−２）を検出する。なお、画面間動き量は、異画面間では低いものとして測定される。
【００３９】
短尺ショットの判定は、閾値処理で行うことができる。図２は、連続画面間相関ＣＣ（１）とＣＣ（ｎ−１）の閾値をＴＣＬとし、その他の連続画面間相関ＣＣ（ｉ）の閾値をＴＣＨとし、サンプル画面間相関ＳＣの閾値をＴＳＨとし、連続画面間動き量ＭＡ（ｉ）の閾値をＴＭＬとして、画面Ｐ（０）〜Ｐ（ｎ−１）のｎ画面において、ＣＣ（１）＜ＴＣＬ、ＣＣ（ｎ−１）＜ ＴＣＬ、ＣＣ（２）〜ＣＣ（ｎ−２）＞ ＴＣＨであり、ＳＣ＞ＴＳＨであり、かつＭＡ（１）＜ＴＭＬ、ＭＡ（ｎ−１）＜ ＴＭＬであり、短尺ショット区間Ｐ（１）〜Ｐ（ｎ−２）が検出される状態を示している。
【００４０】
なお、ｎ＝３の場合には、連続画面間相関ＣＣ（ｉ）がｉ＝１，２で低く、サンプル画面間相関ＳＣが高く、かつ連続画面間動き量ＭＡ（ｉ）がｉ＝１，２で低い場合に短尺ショットがｉ＝１で存在すると判定すればよい。
【００４１】
図４は、本発明に係る映像検索装置の第３の実施形態を示すブロック図である。図４において、制御部１０は、本映像検索装置の全体の動作を制御する。映像入力部１２は、ＴＶ番組などの画像データを蓄積装置１１から取り出し、連続するｎ画面分についての画像データを連続画面間相関測定部１３、サンプル画面間相関測定部１４、連続画面間動き測定部１７およびサンプル画面間動き測定部１８に入力させる。
【００４２】
連続画面間相関測定部１３は、連続する２つの画面Ｐ（ｉ−１）、Ｐ（ｉ）間の相関ＣＣ（ｉ），ｉ＝１，２，・・・，ｎ−１を測定する。また、サンプル画面間相関測定部１４は、サンプル画面間相関ＳＣを測定する。サンプル画面は、例えば、画面Ｐ（０）と画面Ｐ（ｎ−１）であり、これらの画面Ｐ（０）、画面Ｐ（ｎ−１）間の相関ＳＣを測定する。
【００４３】
連続画面間動き測定部１７では連続する２つの画面Ｐ（ｉ−１）、Ｐ（ｉ）間の動き量ＭＡ（ｉ）を測定する。また、サンプル画面間動き測定部１８ではサンプルされた画面間の動き量（以下、サンプル画面間動き量と称す。）ＳＭを測定する。なお、サンプル画面間動き測定部１８でのサンプル画面は、サンプル画面間相関測定部１４でのサンプル画面と同一のものであり、例えば、画面Ｐ（０）と画面Ｐ（ｎ−１）をサンプルとして用いて、これらの画面間の動き量ＳＭを求める。
【００４４】
連続画面間相関測定部１３から出力される連続画面間相関ＣＣ（ｉ）、サンプル画面間相関測定部１４から出力されるサンプル画面間相関ＳＣ、連続画面間動き測定部１７から出力される連続画面間動き量ＭＡ（ｉ））、サンプル画面間動き測定部１８から出力されるサンプル画面間動き量ＳＭは短尺ショット判定部１５に入力される。
【００４５】
短尺ショット判定部１５は、連続画面間相関ＣＣ（ｉ）がｉ＝１，ｎ−１で低くそれ以外でＣＣ（ｉ）が高く、サンプル画面間相関ＳＣが高く、連続画面間動き量ＭＡ（ｉ）がｉ＝１，ｎ−１で低く、かつサンプル画面間動き量ＳＭが低い場合に、画面Ｐ（０）と画面Ｐ（２）間、画面Ｐ（ｎ−２）と画面Ｐ（ｎ−１）間にそれぞれ短尺カット点が存在すると判定し、短尺ショット区間Ｐ（１）〜Ｐ（ｎ−２）を検出する。
【００４６】
短尺ショットの判定は、閾値処理で行うことができる。図２は、連続画面間相関ＣＣ（１）とＣＣ（ｎ−１）の閾値をＴＣＬとし、その他の連続画面間相関ＣＣ（ｉ）の閾値をＴＣＨとし、サンプル画面間相関ＳＣの閾値をＴＳＨとし、連続画面間動き量ＭＡ（ｉ）およびサンプル画面間動き量ＳＭの閾値をＴＭＬとして、画面Ｐ（０）〜Ｐ（ｎ−１）のｎ画面において、ＣＣ（１）＜ＴＣＬ、ＣＣ（ｎ−１）＜ ＴＣＬ、ＣＣ（２）〜ＣＣ（ｎ−２）＞ ＴＣＨであり、ＳＣ＞ＴＳＨであり、ＭＡ（１）＜ＴＭＬ、ＭＡ（ｎ−１）＜ ＴＭＬであり、かつＳＭ＜ＴＭＬであり、短尺ショット区間Ｐ（１）〜Ｐ（ｎ−２）が検出される状態を示している。
【００４７】
図５は、本発明に係る映像検索装置の第４の実施形態を示すブロック図である。図５において、制御部１０は、本映像検索装置の全体の動作を制御する。映像入力部１２は、ＴＶ番組などの画像データを蓄積装置１１から取り出し、連続するｎ画面分についての画像データを連続画面間相関測定部１３およびサンプル画面間相関測定部１４に入力させる。
【００４８】
連続画面間相関測定部１３は、連続する２つの画面Ｐ（ｉ−１）、Ｐ（ｉ）間の相関ＣＣ（ｉ），ｉ＝１，２，・・・，ｎ−１を測定する。また、サンプル画面間相関測定部１４は、サンプル画面間相関ＳＣを測定する。サンプル画面は、例えば、画面Ｐ（０）と画面Ｐ（ｎ−１）であり、これらの画面Ｐ（０）、画面Ｐ（ｎ−１）間の相関ＳＣを測定する。
【００４９】
連続画面間相関測定部１３から出力される連続画面間相関値ＣＣ（ｉ）、サンプル画面間相関測定部１４から出力されるサンプル画面間相関値ＳＣは短尺ショット候補判定部１９に入力される。
【００５０】
短尺ショット候補判定部１９は、連続画面間相関ＣＣ（ｉ） がｉ＝１，ｎ−１で低くそれ以外で高く、かつサンプル画面間相関ＳＣが高い場合に、短尺ショット候補がｉ＝１からｉ＝ｎ−２間で存在すると判定する。
【００５１】
次に、連続画面間動き測定部１７において、短尺ショット候補と判定された画面Ｐ（１）〜Ｐ（ｎ−２）を含むｎ画面Ｐ（０）〜Ｐ（ｎ−１）について、連続画面間動き量ＭＡ（ｉ）を測定する。連続画面間動き測定部１７から出力される連続画面間動き量ＭＡ（ｉ）は、短尺ショット判定部１５に入力される。
【００５２】
短尺ショット判定部１５は、連続画面間動き量ＭＡ（ｉ）がｉ＝１，ｎ−１で低い場合に、画面Ｐ（０）と画面Ｐ（２）間、画面Ｐ（ｎ−２）と画面Ｐ（ｎ−１）間にそれぞれ短尺カット点が存在すると判定し、短尺ショット区間Ｐ（１）〜Ｐ（ｎ−２）を検出する。
【００５３】
図５の実施形態では、連続画面間相関およびサンプル画面間相関を測定した後に連続画面間動き量を測定するものであり、この構成によれば、短尺カット点候補についてのみ連続画面間動き量を測定すればよく、動き量の測定を必要最小限に抑えることができる。
【００５４】
図６は、図５における処理の順序を逆にした変形例である第５の実施形態を示す。図６の実施形態では、入力された動画像データを、まず、連続画面間動き測定部１７に入力して連続画面間動き量ＭＡ（ｉ）を測定する。次に、測定された連続画面間動き量ＭＡ（ｉ）を短尺ショット候補判定部１９に入力して短尺ショット候補として画面Ｐ（１）〜Ｐ（ｎ−２）を検出する。
【００５５】
続いて、短尺ショット候補と判定された画面Ｐ（１）〜Ｐ（ｎ−２）を含むｎ画面Ｐ（０）〜Ｐ（ｎ−１）についての画像データを連続画面間相関測定部１３、サンプル画面間相関測定部１４に入力させ、連続画面間相関測定部１３から出力される画面間相関値ＣＣ（ｉ）とサンプル画面間相関測定部１４から出力されるサンプル画面間相関値ＳＣとを短尺ショット判定部１５に入力させて画面Ｐ（０）と画面Ｐ（２）間、画面Ｐ（ｎ−２）と画面Ｐ（ｎ−１）間にそれぞれ短尺カット点が存在すると判定し、短尺ショット区間Ｐ（１）〜Ｐ（ｎ−２）を検出する。
【００５６】
図６の実施形態によれば、動きが大きなショットがまず除外され、それらについては画面間相関を測定する必要がなくなるので、装置全体としての検出処理負荷を軽減することができる。
【００５７】
図７は、本発明に係る映像検索装置の第６の実施形態を示すブロック図である。図７において、制御部１０は、本映像検索装置の全体の動作を制御する。映像入力部１２は、ＴＶ番組などの画像データを蓄積装置１１から取り出し、連続するｎ画面分についての画像データを連続画面間相関測定部１３およびサンプル画面間相関測定部１４に入力させる。
【００５８】
連続画面間相関測定部１３は、連続する２つの画面Ｐ（ｉ−１）、Ｐ（ｉ）間の相関ＣＣ（ｉ），ｉ＝１，２，・・・，ｎ−１を測定する。また、サンプル画面間相関測定部１４は、サンプル画面間相関ＳＣを測定する。サンプル画面は、例えば、画面Ｐ（０）と画面Ｐ（ｎ−１）であり、これらの画面Ｐ（０）、画面Ｐ（ｎ−１）間の相関ＳＣを測定する。
【００５９】
連続画面間相関測定部１３から出力される連続画面間相関ＣＣ（ｉ）、サンプル画面間相関測定部１４から出力されるサンプル画面間相関ＳＣは短尺ショット候補判定部１９に入力される。
【００６０】
短尺ショット候補判定部１９は、連続画面間相関ＣＣ（ｉ） がｉ＝１，ｎ−１で低くそれ以外で高く、かつサンプル画面間相関ＳＣが高い場合に、短尺ショット候補がｉ＝１からｉ＝ｎ−２間で存在すると判定する。
【００６１】
続いて、短尺ショット候補と判定された画面Ｐ（１）〜Ｐ（ｎ−２）を含むｎ画面Ｐ（０）〜Ｐ（ｎ−１）についての画像データを連続画面間動き測定部１７およびサンプル画面間動き測定部１８に入力させ、連続画面間動き測定部１７から出力される連続画面間動き量ＭＡ（ｉ）とサンプル画面間動き測定部１８から出力されるおよびサンプル画面間動き量ＳＭを短尺ショット判定部１５に入力させる。短尺ショット判定部１５では連続画面間動き量ＭＡ（ｉ）がｉ＝１，ｎ−１で低く、サンプル画面間動き量ＳＭが低い場合に、画面Ｐ（０）と画面Ｐ（２）間、画面Ｐ（ｎ−２）と画面Ｐ（ｎ−１）間にそれぞれ短尺カット点が存在すると判定し、短尺ショット区間Ｐ（１）〜Ｐ（ｎ−２）を検出する。
【００６２】
図７の実施形態の変形例である第７の実施形態を図８に示す。第７の実施形態では、入力映像についてまず、連続画面間動き測定部１７で連続画面間動き量ＭＡ（ｉ）を測定し、連続画面間動き量ＭＡ（ｉ）を短尺ショット候補判定部１９に入力して短尺ショット候補を判定する。次に、短尺ショット候補と判定された画面Ｐ（１）〜Ｐ（ｎ−２）を含むｎ画面Ｐ（０）〜Ｐ（ｎ−１）についての画像データを連続画面間相関測定部１３、サンプル画面間相関測定部１４、サンプル画面間動き測定部１８に入力させ、連続画面間相関測定部１３から出力される画面間相関ＣＣ（ｉ）、サンプル画面間相関測定部１４から出力される連続画面間相関ＳＣ、サンプル画面間動き測定部１８から出力されるサンプル画面間動き量ＳＭを短尺ショット判定部１５に入力させて短尺ショットを判定する。
【００６３】
以上では、連続するｎ画面Ｐ（０）〜Ｐ（ｎ−１）から短尺ショット区間Ｐ（１）〜Ｐ（ｎ−２）を検出する例について説明したが、処理対象の画像数ｎを適宜設定することにより、種々の長さの短尺ショットを検出することができる。また、種々の画面間隔のサンプル画面について画面間相関や画面間動き量の測定を並列的に行うようにすれば、同時に種々の長さの短尺ショットを検出することもできる。なお、この場合、連続画面についての画面間相関や画面間動き量の測定は、１回行うだけでよい。
【００６４】
以上、本発明の実施形態について説明したが、本発明は、種々の変形が可能である。例えば、映像入力部１２では圧縮データを入力して部分的に復号した情報を出力することができる。
【００６５】
図９は、映像入力部１２で採用し得る部分復号処理の例を示す。本例では、圧縮映像データが圧縮映像バッファ２０に一次記憶され、部分復号部２１で圧縮映像データが部分的に復号される。例えば、ＭＰＥＧ符号化された映像データの場合、ＤＣＴ係数や動きベクトル情報を抽出する処理がこの部分復号処理に当たる。
【００６６】
これらの情報は低周波画像復元部２２と動きベクトル復元部２３に入力される。低周波画像復元部２２では部分復号データを用いて低周波成分画像を生成する。例えば、ＤＣＴ係数のうちゼロ次あるいは低次の係数のみ逆ＤＣＴを行って低周波成分を出力することができる。また動き補償予測符号化された圧縮データの場合、特開平７−５９１０８号公報「動画像のカット画面検出方法」で提案されているように、抽出された動きベクトルを用いて簡易動き補償を施して低周波画像を復元することも可能である。
【００６７】
動きベクトル復元部２３では部分復号部２１から出力された動きベクトル情報を元に動きベクトル情報を復元する。また、低周波画像を用いた場合などに、画像サイズが変更されたときには画像サイズに応じてベクトルサイズを変更することも可能である。これらの部分復元画像および動きベクトルは部分復号画像バッファ２４に蓄積され、動きベクトルは、連続画面間動き量やサンプル画面間動き量の測定に供することができる。
【００６８】
【発明の効果】
以上のごとく、本発明によれば、連続画面間相関およびサンプル画面間相関を用いることにより、誤りなく効率的に短尺ショット検出することができる。また、連続画面間動き量やサンプル画面間動き量をも用いることにより、同一ショットにおける画像の動きが不連続な場合でもより確実に誤判定を防ぐことができる。
【００６９】
さらに、短尺ショット候補を選定し、まず短尺ショット候補に絞り込み、次に、絞り込まれた短尺ショット候補における相関や動き量を測定することにより処理負荷を軽減することができる。
【図面の簡単な説明】
【図１】本発明に係る映像検索装置の第１の実施形態のブロック図である。
【図２】本発明に係る映像検索装置の動作の説明図である。
【図３】本発明に係る映像検索装置の第２の実施形態のブロック図である。
【図４】本発明に係る映像検索装置の第３の実施形態のブロック図である。
【図５】本発明に係る映像検索装置の第４の実施形態のブロック図である。
【図６】第４の実施形態の変形例（第５の実施形態）のブロック図である。
【図７】本発明に係る映像検索装置の第６の実施形態のブロック図である。
【図８】第５の実施形態の変形例（第７の実施形態）のブロック図である。
【図９】映像入力部の変形例のブロック図である。
【図１０】従来の映像検索装置のブロック図である。
【符号の説明】
１０・・・制御部、１１・・・蓄積装置、１２・・・映像入力部、１３・・・連続画面間相関測定部、１４・・・サンプル画面間相関測定部、１５・・・短尺ショット判定部、１６・・・結果出力部、１７・・・連続画面間動き測定部、１８・・・サンプル画面間動き測定部、１９・・・短尺ショット候補判定部、２０・・・圧縮映像バッファ、２１・・・部分復号部、２２・・・低周波画像復元部、２３・・・動きベクトル復元部、２４・・・部分画像バッファ、５０・・・ｎ画面記憶部、５１・・・最新画面入力部、５２・・・ｎ画面比較部、５３・・・異画面判定部、５４・・・サブリミナル映像判定部、５５・・・サブリミナル映像除去部
【発明の属する技術分野】
本発明は、映像検索装置に関し、特に、動画像における短尺ショットを誤りなく効率的に検出することができる映像検索装置に関する。
【０００２】
【従来の技術】
映像中に含まれるサブリミナル映像を判定するサブリミナル映像処理装置が特開平９−２８４６６７号公報に開示されている。このサブリミナル映像処理装置は、ｎ画面分の連続画像データを一画面ずつ蓄積し、蓄積されたｎ画面分の画面データと最新に入力された画像データとを比較・判断し、同一画面とされた画面よりも古く蓄積された画面に異画面と判断された部分があるとき、前後の画面と異なる絵柄を持つｎコマ以下の画面をサブリミナル映像の画面と判定するものである。
【０００３】
このブロック図を図１０に示し、ｎ画面記憶部５０からのｎ画面分の連続画像データと最新画面入力部５１からの最新入力の画像データとをｎ画面比較部５２で比較し、その異同を異画面判定部５３で判定する。サブリミナル映像判定部５４は、異画面判定部５３での判定結果に基づいてサブリミナル映像を判定し、サブリミナル映像と判定された画像データはサブリミナル映像除去部５５で除去される。
【０００４】
このように、連続する画像中に含まれる１フレームから数フレーム程度の短尺ショットを検出する従来の手法は、単に、最新に入力された画面と既入力のｎ画面との異同に基づいて短尺ショットを検出するというものである。
【０００５】
【発明が解決しようとする課題】
しかしながら、前記特開平９−２８４６６７号公報に記載された手法は、短尺ショットか否かを、単に、最新に入力された画面と既入力のｎ画面とを比較した結果に基づいて判断するものであり、静止画像中に挿入された短尺ショットは良好に検出できるが、動画像の場合には誤検出が生じるという問題がある。
【０００６】
例えば、同一ショットでも画像の動きが不連続の場合には、同一ショットに含まれる一部の画面だけが入力画面と異なることが起こるため、該画面部分を短尺ショット（サブリミナル映像）と誤って検出する可能性がある。また、画像の動きが連続的であっても、最新の入力された画面と、該画面と比較的離れた古い画面とを異画面であると判断し、該画面部分を短尺ショット（サブリミナル映像）と誤って検出する可能性もある。
【０００７】
本発明の目的は、前記した従来技術の問題点を解決し、入力動画像中に挿入された短尺のショットを誤りなく効率的に検出することができる映像検索装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記課題を解決するため、本発明は、連続する動画像データを入力する手段と、前記動画像データから連続する画面間の相関を測定する手段と、前記動画像データからサブサンプルされた画面間の相関を測定する手段と、前記連続する画面間の相関および前記サブサンプルされた画面間の相関を用いて短尺カット点を判定する手段とを有する点に第１の特徴がある。
【０００９】
また、本発明は、連続する動画像データを入力する手段と、前記動画像データから連続する画面間の相関を測定する手段と、前記動画像データからサブサンプルされた画面間の相関を測定する手段と、前記動画像データから連続する画面間の動き量を測定する手段と、前記連続する画面間の相関、前記サブサンプルされた画面間の相関および前記連続する画面間の動き量を用いて短尺カット点を判定する手段とを有する点に第２の特徴がある。
【００１０】
また、本発明は、連続する動画像データを入力する手段と、前記動画像データから連続する画面間の相関を測定する手段と、前記動画像データからサブサンプルされた画面間の相関を測定する手段と、前記動画像データから連続する画面間の動き量を測定する手段と、前記動画像データからサブサンプルされた画面間の動き量を測定する手段と、前記連続する画面間の相関、前記サブサンプルされた画面間の相関、前記連続する画面間の動き量および前記サブサンプルされた画面間の動き量を用いて短尺カット点を判定する手段とを有する点に第３の特徴がある。
【００１１】
また、本発明は、連続する動画像データを入力する手段と、前記動画像データから連続する画面間の相関を測定する手段と、前記動画像データからサブサンプルされた画面間の相関を測定する手段と、前記連続する画面間の相関および前記サブサンプルされた画面間の相関を用いて短尺カット点候補を判定する手段と、前記短尺カット点候補について、前記動画像データから連続する画面間の動き量を測定する手段と、前記連続する画面間の動き量を用いて短尺カット点を判定する手段とを有する点に第４の特徴がある。
【００１２】
また、本発明は、連続する動画像データを入力する手段と、前記動画像データから連続する画面間の動き量を測定する手段と、前記連続する画面間の動き量を用いて短尺カット点候補を判定する手段と、前記短尺カット点候補について、前記動画像データから連続する画面間の相関を測定する手段と、前記短尺カット点候補について、前記動画像データからサブサンプルされた画面間の相関を測定する手段と、前記連続する画面間の相関および前記サブサンプルされた画面間の相関を用いて短尺カット点を判定する手段とを有する点に第５の特徴がある。
【００１３】
また、本発明は、連続する動画像データを入力する手段と、前記動画像データから連続する画面間の相関を測定する手段と、前記動画像データからサブサンプルされた画面間の相関を測定する手段と、前記連続する画面間の相関および前記サブサンプルされた画面間の相関を用いて短尺カット点候補を判定する手段と、前記短尺カット点候補について、前記動画像データから連続する画面間の動き量を測定する手段と、前記短尺カット点候補について、前記動画像データからサブサンプルされた画面間の動き量を測定する手段と、前記連続する画面間の動き量および前記サブサンプルされた画面間の動き量を用いて短尺カット点を判定する手段とを有する点に第６の特徴がある。
【００１４】
また、本発明は、連続する動画像データを入力する手段と、前記動画像データから連続する画面間の動き量を測定する手段と、前記連続する画面間の動き量を用いて短尺カット点候補を判定する手段と、前記短尺カット点候補について、前記動画像データから連続する画面間の相関を測定する手段と、前記短尺カット点候補について、前記動画像データからサブサンプルされた画面間の相関を測定する手段と、前記短尺カット点候補について、前記動画像データからサブサンプルされた画面間の動き量を測定する手段と、前記連続する画面間の相関、前記サブサンプルされた画面間の相関および前記サブサンプルされた画面間の動き量を用いて短尺カット点を判定する手段とを有する点に第７の特徴がある。
【００１５】
また、本発明は、入力される動画像データが、画像データの低周波成分からなる点に第８の特徴がある。
【００１６】
さらに、本発明は、入力される動画像データが、圧縮された画像データを部分復号して得られる低周波画像データと動きベクトルとからなる点に第９の特徴がある。
【００１７】
第１の特徴によれば、連続する画面間の相関を用いており、さらにサブサンプルされた画面間の相関を用いて短尺カット点を判定するので、動画像中に挿入された短尺のショットを誤りなく効率的に検出することができる。
【００１８】
また、第２および第３の特徴によれば、さらに、連続する画面間の動き量やサブサンプルされた画面間の動き量を用いて短尺カット点を判定するので、同一ショットにおける画像の動きが不連続な場合でもより確実に誤判定を防ぐことができる。
【００１９】
また、第４および第６の特徴によれば、連続する画面間の相関およびサブサンプルされた画面間の相関を用いて短尺カット点候補を判定し、この判定により絞り込まれた短尺カット点候補について、連続する画面間の動き量やサブサンプルされた画面間の動き量を測定して短尺カット点を判定するので、比較的処理の重い動き量の測定を必要最小限に抑えることができる。
【００２０】
また、第５および第７の特徴によれば、連続する画面間の動き量を用いて短尺カット点候補を判定し、この判定により絞り込まれた短尺カット点候補について、連続する画面間の相関やサブサンプルされた画面間の相関やサブサンプルされた画面間の動き量を測定して短尺カット点を判定するので、動きが大きなショットを最初に除外することができ、装置全体としての検出処理負荷を軽減することができる。
【００２１】
また、第８の特徴によれば、画像データの低周波成分を用いて短尺カット点を判定するので、処理を軽減することができる。
【００２２】
さらに、第９の特徴によれば、入力される動画像データが、圧縮された動画像データを部分復号して得られる低周波画像データと動きベクトルとからなるので、低周波画像データを用いることにより処理を軽減することができ、また、連続する画面間の動き量やサブサンプルされた画面間の動き量の測定を含むものにおいては、その測定を動きベクトルを用いて容易に行うことができる。
【００２３】
【発明の実施の形態】
以下、図面を参照して本発明を詳細に説明する。図１は、本発明に係る映像検索装置の第１の実施形態を示すブロック図である。図１において、制御部１０は、本映像検索装置の全体の動作を制御する。
【００２４】
映像入力部１２は、ＴＶ番組などの画像データを蓄積装置１１から取り出し、連続するｎ画面分についての画像データを連続画面間相関測定部１３およびサンプル画面間相関測定部１４に入力させる。なお、この入力は、短尺ショットの検出処理１回ごとに１画面ずつずらしながら繰り返し行う。
【００２５】
連続画面間相関測定部１３は、連続する２つの画面Ｐ（ｉ−１）、Ｐ（ｉ）間の相関（以下、連続画面間相関と称す。）ＣＣ（ｉ），ｉ＝１，２，・・・，ｎ−１を測定する。また、サンプル画面間相関測定部１４は、サンプルされた画面間の相関（以下、サンプル画面間相関と称す。）ＳＣを測定する。サンプル画面は、例えば、画面Ｐ（０）と画面Ｐ（ｎ−１）であり、これらの画面Ｐ（０）、画面Ｐ（ｎ−１）間の相関ＳＣを測定する。
【００２６】
なお、連続画面間相関やサンプル画面間相関は、画面間輝度絶対差分和、画面平均輝度絶対差分値、画面平均色差絶対差分、画面間輝度ヒストグラム絶対差分和、画面間色差ヒストグラム絶対差分和、画面間色差ヒストグラム相関値などのいずれかを求めることにより、あるいはそれらの組み合わせを用いることにより測定できる。組み合わせによる場合、例えば、画面間輝度ヒストグラム絶対差分和と画面間色差ヒストグラム絶対差分和の和を用いることができる。
【００２７】
連続画面間相関測定部１３から出力される連続画面相関ＣＣ（ｉ）およびサンプル画面間相関測定部１４から出力されるサンプル画面相関ＳＣは短尺ショット判定部１５に入力される。
【００２８】
短尺ショット判定部１５は、連続画面間相関ＣＣ（ｉ）がｉ＝１，ｎ−１で低くそれ以外でＣＣ（ｉ）が高く、かつサンプル画面間相関ＳＣが高い場合に、画面Ｐ（０）と画面Ｐ（２）間、画面Ｐ（ｎ−２）と画面Ｐ（ｎ−１）間にそれぞれ短尺カット点が存在すると判定し、短尺ショット区間Ｐ（１）〜Ｐ（ｎ−２）を検出する。
【００２９】
短尺ショットの判定は、閾値処理で行うことができる。図２は、連続画面間相関ＣＣ（１）とＣＣ（ｎ−１）の閾値をＴＣＬとし、その他の連続画面間相関ＣＣ（ｉ）の閾値をＴＣＨとし、サンプル画面間相関ＳＣの閾値をＴＳＨとして、画面Ｐ（０）〜Ｐ（ｎ−１）のｎ画面において、ＣＣ（１）＜ＴＣＬ、ＣＣ（ｎ−１）＜ ＴＣＬ、ＣＣ（２）〜ＣＣ（ｎ−２）＞ ＴＣＨであり、かつＳＣ＞ＴＳＨであり、短尺ショット区間Ｐ（１）〜Ｐ（ｎ−２）が検出される状態を示している。ここで、閾値ＴＣＬとＴＣＨとは、同一の値でも異なる値でも構わない。
【００３０】
なお、ｎ＝３の場合には、連続画面間相関ＣＣ（ｉ）がｉ＝１，２で低く、かつサンプル画面間相関ＳＣが高い場合に、短尺ショットがｉ＝１で存在すると判定すればよい。
【００３１】
また、連続するｎ画面としては、連続するＮ画面から時系列に任意あるいは周期的にサンプルしたｎ画面を用いてもよく、本発明における連続する動画像データとは、このような動画像データも含む。
【００３２】
また、蓄積装置１１は、予め動画像データを蓄積しているものに限らず、リアルタイムで連続入力される動画像データの一次蓄積装置などでもよい。さらに、入力される動画像データの画面は、フレーム単位でもフィールド単位でもよく、フィールド単位の場合には偶数または奇数のいずれかのフィールドのみを用いるればよい。
【００３３】
本発明においては、動画像の動きをも考慮して短尺カット点を判定することができ、動画像の動きをも考慮すれば、同一ショットにおける画像の動きが不連続な場合の誤判定をより確実に防ぐことができる。以下、動画像の動きをも考慮したいくつかの実施形態についを説明する。なお、図１と同一あるいは同等部分には同一符号を付している。
【００３４】
図３は、本発明に係る映像検索装置の第２の実施形態を示すブロック図である。図３において、制御部１０は、本映像検索装置の全体の動作を制御する。映像入力部１２は、ＴＶ番組などの画像データを蓄積装置１１から取り出し、連続するｎ画面分についての画像データを連続画面間相関測定部１３、サンプル画面間相関測定部１４および連続画面間動き測定部１７に入力させる。
【００３５】
連続画面間相関測定部１３は、連続する２つの画面Ｐ（ｉ−１）、Ｐ（ｉ）間の相関ＣＣ（ｉ），ｉ＝１，２，・・・，ｎ−１を測定する。また、サンプル画面間相関測定部１４は、サンプル画面間相関ＳＣを測定する。サンプル画面は、例えば、画面Ｐ（０）と画面Ｐ（ｎ−１）であり、これらの画面Ｐ（０）、画面Ｐ（ｎ−１）間の相関ＳＣを測定する。
【００３６】
また、連続画面間動き測定部１７では連続する２つの画面Ｐ（ｉ−１）、Ｐ（ｉ）間の動き量（以下、連続画面間動き量と称す。）ＭＡ（ｉ）を測定する。連続画面間動き量ＭＡ（ｉ）としては、連続画面間においてブロックマッチング法で求めた動きベクトルノルムの画面平均、動きベクトルのＸ成分、Ｙ成分それぞれの絶対値の画面平均値、動きベクトルノルムや動きベクトルのＸ成分、Ｙ成分それぞれの絶対値の偏差の統計値などを用いることができる。
【００３７】
連続画面間相関測定部１３から出力される連続画面相関ＣＣ（ｉ）、サンプル画面間相関測定部１４から出力されるサンプル画面相関ＳＣおよび連続画面間動き測定部１７から出力される連続画面間動き量ＭＡ（ｉ）は短尺ショット判定部１５に入力される。
【００３８】
短尺ショット判定部１５は、連続画面間相関ＣＣ（ｉ）がｉ＝１，ｎ−１で低くそれ以外でＣＣ（ｉ）が高く、サンプル画面間相関ＳＣが高く、かつ連続画面間動き量ＭＡ（ｉ）がｉ＝１，ｎ−１で低い場合に、画面Ｐ（０）と画面Ｐ（２）間、画面Ｐ（ｎ−２）と画面Ｐ（ｎ−１）間にそれぞれ短尺カット点が存在すると判定し、短尺ショット区間Ｐ（１）〜Ｐ（ｎ−２）を検出する。なお、画面間動き量は、異画面間では低いものとして測定される。
【００３９】
短尺ショットの判定は、閾値処理で行うことができる。図２は、連続画面間相関ＣＣ（１）とＣＣ（ｎ−１）の閾値をＴＣＬとし、その他の連続画面間相関ＣＣ（ｉ）の閾値をＴＣＨとし、サンプル画面間相関ＳＣの閾値をＴＳＨとし、連続画面間動き量ＭＡ（ｉ）の閾値をＴＭＬとして、画面Ｐ（０）〜Ｐ（ｎ−１）のｎ画面において、ＣＣ（１）＜ＴＣＬ、ＣＣ（ｎ−１）＜ ＴＣＬ、ＣＣ（２）〜ＣＣ（ｎ−２）＞ ＴＣＨであり、ＳＣ＞ＴＳＨであり、かつＭＡ（１）＜ＴＭＬ、ＭＡ（ｎ−１）＜ ＴＭＬであり、短尺ショット区間Ｐ（１）〜Ｐ（ｎ−２）が検出される状態を示している。
【００４０】
なお、ｎ＝３の場合には、連続画面間相関ＣＣ（ｉ）がｉ＝１，２で低く、サンプル画面間相関ＳＣが高く、かつ連続画面間動き量ＭＡ（ｉ）がｉ＝１，２で低い場合に短尺ショットがｉ＝１で存在すると判定すればよい。
【００４１】
図４は、本発明に係る映像検索装置の第３の実施形態を示すブロック図である。図４において、制御部１０は、本映像検索装置の全体の動作を制御する。映像入力部１２は、ＴＶ番組などの画像データを蓄積装置１１から取り出し、連続するｎ画面分についての画像データを連続画面間相関測定部１３、サンプル画面間相関測定部１４、連続画面間動き測定部１７およびサンプル画面間動き測定部１８に入力させる。
【００４２】
連続画面間相関測定部１３は、連続する２つの画面Ｐ（ｉ−１）、Ｐ（ｉ）間の相関ＣＣ（ｉ），ｉ＝１，２，・・・，ｎ−１を測定する。また、サンプル画面間相関測定部１４は、サンプル画面間相関ＳＣを測定する。サンプル画面は、例えば、画面Ｐ（０）と画面Ｐ（ｎ−１）であり、これらの画面Ｐ（０）、画面Ｐ（ｎ−１）間の相関ＳＣを測定する。
【００４３】
連続画面間動き測定部１７では連続する２つの画面Ｐ（ｉ−１）、Ｐ（ｉ）間の動き量ＭＡ（ｉ）を測定する。また、サンプル画面間動き測定部１８ではサンプルされた画面間の動き量（以下、サンプル画面間動き量と称す。）ＳＭを測定する。なお、サンプル画面間動き測定部１８でのサンプル画面は、サンプル画面間相関測定部１４でのサンプル画面と同一のものであり、例えば、画面Ｐ（０）と画面Ｐ（ｎ−１）をサンプルとして用いて、これらの画面間の動き量ＳＭを求める。
【００４４】
連続画面間相関測定部１３から出力される連続画面間相関ＣＣ（ｉ）、サンプル画面間相関測定部１４から出力されるサンプル画面間相関ＳＣ、連続画面間動き測定部１７から出力される連続画面間動き量ＭＡ（ｉ））、サンプル画面間動き測定部１８から出力されるサンプル画面間動き量ＳＭは短尺ショット判定部１５に入力される。
【００４５】
短尺ショット判定部１５は、連続画面間相関ＣＣ（ｉ）がｉ＝１，ｎ−１で低くそれ以外でＣＣ（ｉ）が高く、サンプル画面間相関ＳＣが高く、連続画面間動き量ＭＡ（ｉ）がｉ＝１，ｎ−１で低く、かつサンプル画面間動き量ＳＭが低い場合に、画面Ｐ（０）と画面Ｐ（２）間、画面Ｐ（ｎ−２）と画面Ｐ（ｎ−１）間にそれぞれ短尺カット点が存在すると判定し、短尺ショット区間Ｐ（１）〜Ｐ（ｎ−２）を検出する。
【００４６】
短尺ショットの判定は、閾値処理で行うことができる。図２は、連続画面間相関ＣＣ（１）とＣＣ（ｎ−１）の閾値をＴＣＬとし、その他の連続画面間相関ＣＣ（ｉ）の閾値をＴＣＨとし、サンプル画面間相関ＳＣの閾値をＴＳＨとし、連続画面間動き量ＭＡ（ｉ）およびサンプル画面間動き量ＳＭの閾値をＴＭＬとして、画面Ｐ（０）〜Ｐ（ｎ−１）のｎ画面において、ＣＣ（１）＜ＴＣＬ、ＣＣ（ｎ−１）＜ ＴＣＬ、ＣＣ（２）〜ＣＣ（ｎ−２）＞ ＴＣＨであり、ＳＣ＞ＴＳＨであり、ＭＡ（１）＜ＴＭＬ、ＭＡ（ｎ−１）＜ ＴＭＬであり、かつＳＭ＜ＴＭＬであり、短尺ショット区間Ｐ（１）〜Ｐ（ｎ−２）が検出される状態を示している。
【００４７】
図５は、本発明に係る映像検索装置の第４の実施形態を示すブロック図である。図５において、制御部１０は、本映像検索装置の全体の動作を制御する。映像入力部１２は、ＴＶ番組などの画像データを蓄積装置１１から取り出し、連続するｎ画面分についての画像データを連続画面間相関測定部１３およびサンプル画面間相関測定部１４に入力させる。
【００４８】
連続画面間相関測定部１３は、連続する２つの画面Ｐ（ｉ−１）、Ｐ（ｉ）間の相関ＣＣ（ｉ），ｉ＝１，２，・・・，ｎ−１を測定する。また、サンプル画面間相関測定部１４は、サンプル画面間相関ＳＣを測定する。サンプル画面は、例えば、画面Ｐ（０）と画面Ｐ（ｎ−１）であり、これらの画面Ｐ（０）、画面Ｐ（ｎ−１）間の相関ＳＣを測定する。
【００４９】
連続画面間相関測定部１３から出力される連続画面間相関値ＣＣ（ｉ）、サンプル画面間相関測定部１４から出力されるサンプル画面間相関値ＳＣは短尺ショット候補判定部１９に入力される。
【００５０】
短尺ショット候補判定部１９は、連続画面間相関ＣＣ（ｉ） がｉ＝１，ｎ−１で低くそれ以外で高く、かつサンプル画面間相関ＳＣが高い場合に、短尺ショット候補がｉ＝１からｉ＝ｎ−２間で存在すると判定する。
【００５１】
次に、連続画面間動き測定部１７において、短尺ショット候補と判定された画面Ｐ（１）〜Ｐ（ｎ−２）を含むｎ画面Ｐ（０）〜Ｐ（ｎ−１）について、連続画面間動き量ＭＡ（ｉ）を測定する。連続画面間動き測定部１７から出力される連続画面間動き量ＭＡ（ｉ）は、短尺ショット判定部１５に入力される。
【００５２】
短尺ショット判定部１５は、連続画面間動き量ＭＡ（ｉ）がｉ＝１，ｎ−１で低い場合に、画面Ｐ（０）と画面Ｐ（２）間、画面Ｐ（ｎ−２）と画面Ｐ（ｎ−１）間にそれぞれ短尺カット点が存在すると判定し、短尺ショット区間Ｐ（１）〜Ｐ（ｎ−２）を検出する。
【００５３】
図５の実施形態では、連続画面間相関およびサンプル画面間相関を測定した後に連続画面間動き量を測定するものであり、この構成によれば、短尺カット点候補についてのみ連続画面間動き量を測定すればよく、動き量の測定を必要最小限に抑えることができる。
【００５４】
図６は、図５における処理の順序を逆にした変形例である第５の実施形態を示す。図６の実施形態では、入力された動画像データを、まず、連続画面間動き測定部１７に入力して連続画面間動き量ＭＡ（ｉ）を測定する。次に、測定された連続画面間動き量ＭＡ（ｉ）を短尺ショット候補判定部１９に入力して短尺ショット候補として画面Ｐ（１）〜Ｐ（ｎ−２）を検出する。
【００５５】
続いて、短尺ショット候補と判定された画面Ｐ（１）〜Ｐ（ｎ−２）を含むｎ画面Ｐ（０）〜Ｐ（ｎ−１）についての画像データを連続画面間相関測定部１３、サンプル画面間相関測定部１４に入力させ、連続画面間相関測定部１３から出力される画面間相関値ＣＣ（ｉ）とサンプル画面間相関測定部１４から出力されるサンプル画面間相関値ＳＣとを短尺ショット判定部１５に入力させて画面Ｐ（０）と画面Ｐ（２）間、画面Ｐ（ｎ−２）と画面Ｐ（ｎ−１）間にそれぞれ短尺カット点が存在すると判定し、短尺ショット区間Ｐ（１）〜Ｐ（ｎ−２）を検出する。
【００５６】
図６の実施形態によれば、動きが大きなショットがまず除外され、それらについては画面間相関を測定する必要がなくなるので、装置全体としての検出処理負荷を軽減することができる。
【００５７】
図７は、本発明に係る映像検索装置の第６の実施形態を示すブロック図である。図７において、制御部１０は、本映像検索装置の全体の動作を制御する。映像入力部１２は、ＴＶ番組などの画像データを蓄積装置１１から取り出し、連続するｎ画面分についての画像データを連続画面間相関測定部１３およびサンプル画面間相関測定部１４に入力させる。
【００５８】
連続画面間相関測定部１３は、連続する２つの画面Ｐ（ｉ−１）、Ｐ（ｉ）間の相関ＣＣ（ｉ），ｉ＝１，２，・・・，ｎ−１を測定する。また、サンプル画面間相関測定部１４は、サンプル画面間相関ＳＣを測定する。サンプル画面は、例えば、画面Ｐ（０）と画面Ｐ（ｎ−１）であり、これらの画面Ｐ（０）、画面Ｐ（ｎ−１）間の相関ＳＣを測定する。
【００５９】
連続画面間相関測定部１３から出力される連続画面間相関ＣＣ（ｉ）、サンプル画面間相関測定部１４から出力されるサンプル画面間相関ＳＣは短尺ショット候補判定部１９に入力される。
【００６０】
短尺ショット候補判定部１９は、連続画面間相関ＣＣ（ｉ） がｉ＝１，ｎ−１で低くそれ以外で高く、かつサンプル画面間相関ＳＣが高い場合に、短尺ショット候補がｉ＝１からｉ＝ｎ−２間で存在すると判定する。
【００６１】
続いて、短尺ショット候補と判定された画面Ｐ（１）〜Ｐ（ｎ−２）を含むｎ画面Ｐ（０）〜Ｐ（ｎ−１）についての画像データを連続画面間動き測定部１７およびサンプル画面間動き測定部１８に入力させ、連続画面間動き測定部１７から出力される連続画面間動き量ＭＡ（ｉ）とサンプル画面間動き測定部１８から出力されるおよびサンプル画面間動き量ＳＭを短尺ショット判定部１５に入力させる。短尺ショット判定部１５では連続画面間動き量ＭＡ（ｉ）がｉ＝１，ｎ−１で低く、サンプル画面間動き量ＳＭが低い場合に、画面Ｐ（０）と画面Ｐ（２）間、画面Ｐ（ｎ−２）と画面Ｐ（ｎ−１）間にそれぞれ短尺カット点が存在すると判定し、短尺ショット区間Ｐ（１）〜Ｐ（ｎ−２）を検出する。
【００６２】
図７の実施形態の変形例である第７の実施形態を図８に示す。第７の実施形態では、入力映像についてまず、連続画面間動き測定部１７で連続画面間動き量ＭＡ（ｉ）を測定し、連続画面間動き量ＭＡ（ｉ）を短尺ショット候補判定部１９に入力して短尺ショット候補を判定する。次に、短尺ショット候補と判定された画面Ｐ（１）〜Ｐ（ｎ−２）を含むｎ画面Ｐ（０）〜Ｐ（ｎ−１）についての画像データを連続画面間相関測定部１３、サンプル画面間相関測定部１４、サンプル画面間動き測定部１８に入力させ、連続画面間相関測定部１３から出力される画面間相関ＣＣ（ｉ）、サンプル画面間相関測定部１４から出力される連続画面間相関ＳＣ、サンプル画面間動き測定部１８から出力されるサンプル画面間動き量ＳＭを短尺ショット判定部１５に入力させて短尺ショットを判定する。
【００６３】
以上では、連続するｎ画面Ｐ（０）〜Ｐ（ｎ−１）から短尺ショット区間Ｐ（１）〜Ｐ（ｎ−２）を検出する例について説明したが、処理対象の画像数ｎを適宜設定することにより、種々の長さの短尺ショットを検出することができる。また、種々の画面間隔のサンプル画面について画面間相関や画面間動き量の測定を並列的に行うようにすれば、同時に種々の長さの短尺ショットを検出することもできる。なお、この場合、連続画面についての画面間相関や画面間動き量の測定は、１回行うだけでよい。
【００６４】
以上、本発明の実施形態について説明したが、本発明は、種々の変形が可能である。例えば、映像入力部１２では圧縮データを入力して部分的に復号した情報を出力することができる。
【００６５】
図９は、映像入力部１２で採用し得る部分復号処理の例を示す。本例では、圧縮映像データが圧縮映像バッファ２０に一次記憶され、部分復号部２１で圧縮映像データが部分的に復号される。例えば、ＭＰＥＧ符号化された映像データの場合、ＤＣＴ係数や動きベクトル情報を抽出する処理がこの部分復号処理に当たる。
【００６６】
これらの情報は低周波画像復元部２２と動きベクトル復元部２３に入力される。低周波画像復元部２２では部分復号データを用いて低周波成分画像を生成する。例えば、ＤＣＴ係数のうちゼロ次あるいは低次の係数のみ逆ＤＣＴを行って低周波成分を出力することができる。また動き補償予測符号化された圧縮データの場合、特開平７−５９１０８号公報「動画像のカット画面検出方法」で提案されているように、抽出された動きベクトルを用いて簡易動き補償を施して低周波画像を復元することも可能である。
【００６７】
動きベクトル復元部２３では部分復号部２１から出力された動きベクトル情報を元に動きベクトル情報を復元する。また、低周波画像を用いた場合などに、画像サイズが変更されたときには画像サイズに応じてベクトルサイズを変更することも可能である。これらの部分復元画像および動きベクトルは部分復号画像バッファ２４に蓄積され、動きベクトルは、連続画面間動き量やサンプル画面間動き量の測定に供することができる。
【００６８】
【発明の効果】
以上のごとく、本発明によれば、連続画面間相関およびサンプル画面間相関を用いることにより、誤りなく効率的に短尺ショット検出することができる。また、連続画面間動き量やサンプル画面間動き量をも用いることにより、同一ショットにおける画像の動きが不連続な場合でもより確実に誤判定を防ぐことができる。
【００６９】
さらに、短尺ショット候補を選定し、まず短尺ショット候補に絞り込み、次に、絞り込まれた短尺ショット候補における相関や動き量を測定することにより処理負荷を軽減することができる。
【図面の簡単な説明】
【図１】本発明に係る映像検索装置の第１の実施形態のブロック図である。
【図２】本発明に係る映像検索装置の動作の説明図である。
【図３】本発明に係る映像検索装置の第２の実施形態のブロック図である。
【図４】本発明に係る映像検索装置の第３の実施形態のブロック図である。
【図５】本発明に係る映像検索装置の第４の実施形態のブロック図である。
【図６】第４の実施形態の変形例（第５の実施形態）のブロック図である。
【図７】本発明に係る映像検索装置の第６の実施形態のブロック図である。
【図８】第５の実施形態の変形例（第７の実施形態）のブロック図である。
【図９】映像入力部の変形例のブロック図である。
【図１０】従来の映像検索装置のブロック図である。
【符号の説明】
１０・・・制御部、１１・・・蓄積装置、１２・・・映像入力部、１３・・・連続画面間相関測定部、１４・・・サンプル画面間相関測定部、１５・・・短尺ショット判定部、１６・・・結果出力部、１７・・・連続画面間動き測定部、１８・・・サンプル画面間動き測定部、１９・・・短尺ショット候補判定部、２０・・・圧縮映像バッファ、２１・・・部分復号部、２２・・・低周波画像復元部、２３・・・動きベクトル復元部、２４・・・部分画像バッファ、５０・・・ｎ画面記憶部、５１・・・最新画面入力部、５２・・・ｎ画面比較部、５３・・・異画面判定部、５４・・・サブリミナル映像判定部、５５・・・サブリミナル映像除去部
Claims (9)
- 連続する動画像データを入力する手段と、
前記動画像データから連続する画面間の相関を測定する手段と、
前記動画像データからサブサンプルされた画面間の相関を測定する手段と、
前記連続する画面間の相関および前記サブサンプルされた画面間の相関を用いて短尺カット点を判定する手段とを有することを特徴とする映像検索装置。 - 連続する動画像データを入力する手段と、
前記動画像データから連続する画面間の相関を測定する手段と、
前記動画像データからサブサンプルされた画面間の相関を測定する手段と、
前記動画像データから連続する画面間の動き量を測定する手段と、
前記連続する画面間の相関、前記サブサンプルされた画面間の相関および前記連続する画面間の動き量を用いて短尺カット点を判定する手段とを有することを特徴とする映像検索装置。 - 連続する動画像データを入力する手段と、
前記動画像データから連続する画面間の相関を測定する手段と、
前記動画像データからサブサンプルされた画面間の相関を測定する手段と、
前記動画像データから連続する画面間の動き量を測定する手段と、
前記動画像データからサブサンプルされた画面間の動き量を測定する手段と、
前記連続する画面間の相関、前記サブサンプルされた画面間の相関、前記連続する画面間の動き量および前記サブサンプルされた画面間の動き量を用いて短尺カット点を判定する手段とを有することを特徴とする映像検索装置。 - 連続する動画像データを入力する手段と、
前記動画像データから連続する画面間の相関を測定する手段と、
前記動画像データからサブサンプルされた画面間の相関を測定する手段と、
前記連続する画面間の相関および前記サブサンプルされた画面間の相関を用いて短尺カット点候補を判定する手段と、
前記短尺カット点候補について、前記動画像データから連続する画面間の動き量を測定する手段と、
前記連続する画面間の動き量を用いて短尺カット点を判定する手段とを有することを特徴とする映像検索装置。 - 連続する動画像データを入力する手段と、
前記動画像データから連続する画面間の動き量を測定する手段と、
前記連続する画面間の動き量を用いて短尺カット点候補を判定する手段と、
前記短尺カット点候補について、前記動画像データから連続する画面間の相関を測定する手段と、
前記短尺カット点候補について、前記動画像データからサブサンプルされた画面間の相関を測定する手段と、
前記連続する画面間の相関および前記サブサンプルされた画面間の相関を用いて短尺カット点を判定する手段とを有することを特徴とする映像検索装置。 - 連続する動画像データを入力する手段と、
前記動画像データから連続する画面間の相関を測定する手段と、
前記動画像データからサブサンプルされた画面間の相関を測定する手段と、
前記連続する画面間の相関および前記サブサンプルされた画面間の相関を用いて短尺カット点候補を判定する手段と、
前記短尺カット点候補について、前記動画像データから連続する画面間の動き量を測定する手段と、
前記短尺カット点候補について、前記動画像データからサブサンプルされた画面間の動き量を測定する手段と、
前記連続する画面間の動き量および前記サブサンプルされた画面間の動き量を用いて短尺カット点を判定する手段とを有することを特徴とする映像検索装置。 - 連続する動画像データを入力する手段と、
前記動画像データから連続する画面間の動き量を測定する手段と、
前記連続する画面間の動き量を用いて短尺カット点候補を判定する手段と、
前記短尺カット点候補について、前記動画像データから連続する画面間の相関を測定する手段と、
前記短尺カット点候補について、前記動画像データからサブサンプルされた画面間の相関を測定する手段と、
前記短尺カット点候補について、前記動画像データからサブサンプルされた画面間の動き量を測定する手段と、
前記連続する画面間の相関、前記サブサンプルされた画面間の相関および前記サブサンプルされた画面間の動き量を用いて短尺カット点を判定する手段とを有することを特徴とする映像検索装置。 - 入力される動画像データは、画像データの低周波成分からなることを特徴とする請求項１ないし７のいずれかに記載の映像検索装置。
- 入力される動画像データは、圧縮された画像データを部分復号して得られる低周波画像データと動きベクトルとからなることを特徴とする請求項１ないし７のいずれかに記載の映像検索装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002275653A JP4082664B2 (ja) | 2002-09-20 | 2002-09-20 | 映像検索装置 |
| US10/641,025 US7916793B2 (en) | 2002-09-20 | 2003-08-15 | Picture searching apparatus |
| US13/033,757 US8259172B2 (en) | 2002-09-20 | 2011-02-24 | Picture searching apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002275653A JP4082664B2 (ja) | 2002-09-20 | 2002-09-20 | 映像検索装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004112678A true JP2004112678A (ja) | 2004-04-08 |
| JP4082664B2 JP4082664B2 (ja) | 2008-04-30 |
Family
ID=32211516
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002275653A Expired - Fee Related JP4082664B2 (ja) | 2002-09-20 | 2002-09-20 | 映像検索装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US7916793B2 (ja) |
| JP (1) | JP4082664B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006135938A (ja) * | 2004-09-23 | 2006-05-25 | Mitsubishi Electric Information Technology Centre Europa Bv | 画像及び画像群を表現する方法、画像又は画像群の表現、画像及び／又は画像群を比較する方法、画像又は画像群を符号化する方法、画像又は画像シーケンスを復号する方法、符号化されたデータの使用、画像又は画像群を表現する装置、画像及び／又は画像群を比較する装置、コンピュータプログラム、システム、及びコンピュータ読み取り可能な記憶媒体 |
| US8014566B2 (en) | 2005-10-11 | 2011-09-06 | Sony Corporation | Image processing apparatus |
| US8014606B2 (en) | 2005-10-25 | 2011-09-06 | Mitsubishi Electric Corporation | Image discrimination apparatus |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2418555A (en) | 2004-09-23 | 2006-03-29 | Mitsubishi Electric Inf Tech | Representing an image using descriptors based on colour information |
| GB2418556A (en) | 2004-09-23 | 2006-03-29 | Mitsubishi Electric Inf Tech | Representing an image using descriptors based on colour information |
| US7813552B2 (en) * | 2004-09-23 | 2010-10-12 | Mitsubishi Denki Kabushiki Kaisha | Methods of representing and analysing images |
| JP4719889B2 (ja) * | 2006-08-03 | 2011-07-06 | 国立大学法人電気通信大学 | カット点検出システムおよび該カット点検出システムを用いたショット識別システム、カット点検出方法、並びにカット点検出プログラム |
| EP2188978A2 (en) * | 2007-09-10 | 2010-05-26 | Nxp B.V. | Method and apparatus for line-based motion estimation in video image data |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5835163A (en) * | 1995-12-21 | 1998-11-10 | Siemens Corporate Research, Inc. | Apparatus for detecting a cut in a video |
| JPH09284667A (ja) | 1996-04-09 | 1997-10-31 | Toshiba Corp | サブリミナル映像処理装置、テレビジョン受像機及び磁気記録再生装置 |
| US6122322A (en) | 1996-11-19 | 2000-09-19 | Telefonaktiebolaget Lm Ericsson | Subliminal message protection |
| SE510444C2 (sv) | 1996-11-19 | 1999-05-25 | Ericsson Telefon Ab L M | Skydd för subliminala meddelanden |
| JPH11177992A (ja) | 1997-12-10 | 1999-07-02 | Hitachi Ltd | 画像復号装置 |
| JP3738939B2 (ja) | 1998-03-05 | 2006-01-25 | Ｋｄｄｉ株式会社 | 動画像のカット点検出装置 |
| US6327390B1 (en) * | 1999-01-14 | 2001-12-04 | Mitsubishi Electric Research Laboratories, Inc. | Methods of scene fade detection for indexing of video sequences |
| KR100634671B1 (ko) * | 1999-08-13 | 2006-10-13 | 주식회사 케이티 | 고정밀도의 실시간 점진적 장면경계 검출기 및 그 방법 |
| US6549643B1 (en) * | 1999-11-30 | 2003-04-15 | Siemens Corporate Research, Inc. | System and method for selecting key-frames of video data |
| US6600784B1 (en) * | 2000-02-02 | 2003-07-29 | Mitsubishi Electric Research Laboratories, Inc. | Descriptor for spatial distribution of motion activity in compressed video |
| US6959044B1 (en) * | 2001-08-21 | 2005-10-25 | Cisco Systems Canada Co. | Dynamic GOP system and method for digital video encoding |
-
2002
- 2002-09-20 JP JP2002275653A patent/JP4082664B2/ja not_active Expired - Fee Related
-
2003
- 2003-08-15 US US10/641,025 patent/US7916793B2/en not_active Expired - Fee Related
-
2011
- 2011-02-24 US US13/033,757 patent/US8259172B2/en not_active Expired - Fee Related
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006135938A (ja) * | 2004-09-23 | 2006-05-25 | Mitsubishi Electric Information Technology Centre Europa Bv | 画像及び画像群を表現する方法、画像又は画像群の表現、画像及び／又は画像群を比較する方法、画像又は画像群を符号化する方法、画像又は画像シーケンスを復号する方法、符号化されたデータの使用、画像又は画像群を表現する装置、画像及び／又は画像群を比較する装置、コンピュータプログラム、システム、及びコンピュータ読み取り可能な記憶媒体 |
| US8320664B2 (en) | 2004-09-23 | 2012-11-27 | Mitsubishi Denki Kabushiki Kaisha | Methods of representing and analysing images |
| US8014566B2 (en) | 2005-10-11 | 2011-09-06 | Sony Corporation | Image processing apparatus |
| US8160299B2 (en) | 2005-10-11 | 2012-04-17 | Sony Corporation | Image processing apparatus |
| US8014606B2 (en) | 2005-10-25 | 2011-09-06 | Mitsubishi Electric Corporation | Image discrimination apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| US20040091044A1 (en) | 2004-05-13 |
| US8259172B2 (en) | 2012-09-04 |
| US7916793B2 (en) | 2011-03-29 |
| JP4082664B2 (ja) | 2008-04-30 |
| US20110142292A1 (en) | 2011-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1132812B1 (en) | Method of detecting dissolve/fade in mpeg-compressed video environment | |
| US8259172B2 (en) | Picture searching apparatus | |
| JPH09130812A (ja) | 重複ビデオフィールドの検出方法及び装置、画像エンコーダ | |
| JPH1075457A (ja) | 動画像内の移動物体検出装置 | |
| KR20050012766A (ko) | 현재 모션 벡터 추정을 위한 유닛 및 모션 벡터 추정 방법 | |
| US20050138532A1 (en) | Apparatus and method for concealing errors in a frame | |
| US20050002569A1 (en) | Method and apparatus for processing images | |
| Gangal et al. | An improved motion-compensated restoration method for damaged color motion picture films | |
| US6754278B1 (en) | Method for recovering moving picture by extending a damaged region in which an error occurs | |
| JP2869398B2 (ja) | カット点検出方法及び装置 | |
| JPH10224741A (ja) | 動画像のカット点検出方法 | |
| JP2002281508A (ja) | スキップ領域検出型動画像符号化装置および記録媒体 | |
| JPH1023421A (ja) | 動画像処理方法 | |
| US20070086525A1 (en) | Motion vector detection method and device of the same | |
| JPH10112863A (ja) | 動き被写体情報抽出方法及び装置 | |
| JP4225503B2 (ja) | 動画像のカット点検出装置 | |
| JP2008508787A (ja) | インター符号化系列向けのエラー隠蔽技術 | |
| JP3339544B2 (ja) | ディゾルブ検出方法および装置 | |
| JP2007166545A (ja) | 動きベクトル検出装置及び方法 | |
| JP2005167852A (ja) | 動きベクトル検出方法、及び動きベクトル検出装置 | |
| JP3333956B2 (ja) | カット点検出方法および装置 | |
| JP3597271B2 (ja) | 動画像のカット点画像検出装置 | |
| CN101204093B (zh) | 用于检测图像序列中的渐变的过程及设备 | |
| JP4261603B2 (ja) | 動画像のカット点検出装置 | |
| CN1798346A (zh) | 用于再隐藏包括在解码的图像中的错误的方法和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040922 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070410 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070418 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070615 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070718 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070914 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20071002 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080206 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080208 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110222 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110222 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140222 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |