JP2006140805A - 動画像のカット点検出装置 - Google Patents

Abstract

【課題】瞬時カット点およびディゾルブやフェード区間を示す特殊カット点を精度よく検出可能にする。
【解決手段】動画像データ入力部１０は、可変長復号部１１と簡易動き補償部１２を備え、動画像データのＤＣ成分を出力する。輝度・色差特徴情報抽出部１３は、フレーム間の輝度差分、色差ヒストグラム相関、画面内アクティビティとその一次微分係数、正規化動き補償予測誤差などを求める。エッジ特徴抽出部１４は、動画像データのＤＣ成分から画面内のエッジ特徴を抽出する。瞬時カット点検出処理部１５は、瞬時カット点を検出する。特殊カット点検出処理部１６は、エッジ特徴抽出部１４で抽出されたエッジ特徴の時間的変化を用いてディゾルブやフェードを含む特殊カット点を検出する。特殊カット点は、ディゾルブやフェード区間で画面内のエッジ成分が弱くなるという性質を利用して検出できる。
【選択図】図１

Description

本発明は、動画像のカット点検出装置に関し、特に、動画像におけるカット点を高精度に検出することができる動画像のカット点検出装置に関する。

動画像データからカット点、すなわちショットの境界を検出するカット点検出についてはこれまで多くの技術が開発され、特にＭＰＥＧなどの動画像符号化により圧縮された動画像データを対象としたカット点検出技術も多く見られる。ここで、ショットとは、１つのカメラ操作で撮影された一連の画像列を意味する。

例えば、特許文献１には、映像における時系列のフレーム画像をサンプリングし、各フレーム画像単位でエッジ強度係数を求め、その時間的な変化特性を利用して映像変化点を検出する手法が開示されている。

特許文献２には、可変長復号と簡易動き補償から得られるＤＣ画像において輝度差分、色差ヒストグラム相関、画面内アクティビティの一次微分係数などを用いて瞬時カット点や特殊カット点を検出する手法が開示されている。

また、特許文献３には、ディゾルブやフェードの候補区間を検出するために、カラーヒストグラムに基づいた色分布の差、マクロブロックの時空間の分布、動きベクトルの時空間上の分布、およびエッジの時空間上の分布と変化特性のいずれかを選択して利用する手法が開示されている。
特開平７−２８８８４０号公報 特開平１０−２２４７４１号公報 特開２００１−２８５７１２号公報

これまでＭＰＥＧなどの圧縮動画像データを対象とし、動画像データを復号せずに、動きベクトルやマクロブロックタイプなどの圧縮データ領域で得られるパラメータを用いたカット点検出技術が多く開発されているが、それらの技術では、ディゾルブやフェードの区間を示す特殊カット点を精度よく検出することが困難であるという課題がある。また、圧縮された動画像データからエッジ特性を抽出し、これを特殊カット点の検出に利用する考えはない。また、画面全体に対する輝度情報や色情報を用いるだけでは、色特性が類似した瞬時カット点や特殊カット点を正確に検出できない場合があるという課題がある。

さらに、テレビ映像では、1/60秒ごとに表示されるフィールド構造を持っているため、これをプログレッシブ構造で符号化した場合、フィールド間に存在する瞬時カット点を精度よく検出することが困難であるという課題もある。

本発明の目的は、上記課題を解決し、瞬時カット点およびディゾルブやフェード区間を示す特殊カット点を精度よく検出することができる動画像のカット点検出装置を提供することにある。

上記課題を解決するため、本発明は、動画像データを入力する動画像データ入力手段と、前記動画像データから画面内のエッジ特徴を抽出するエッジ特徴抽出手段と、前記エッジ特徴抽出手段により抽出されたエッジ特徴の時間的変化を用いてディゾルブやフェード区間を示す特殊カット点を検出する特殊カット点検出手段とを備えたことを特徴としている。

また、本発明は、動画像データを入力する動画像データ入力手段と、前記動画像データから画面内の色配置情報を抽出する色配置情報抽出手段と、前記色配置情報抽出手段により抽出された色配置情報の変化を用いてカット点を検出するカット点検出手段とを備えたことを特徴としている。

また、本発明は、インタレース画像がプログレッシブ画像として圧縮された動画像データを入力する動画像データ入力手段と、前記動画像データから隣接画面間のエッジ情報を抽出するエッジ情報抽出手段と、前記エッジ情報抽出手段により抽出された隣接画面間のエッジ情報の変化を用いてフィールド間で発生するカット点を検出するカット点検出手段とを備えたことを特徴としている。

さらに、本発明は、動画像データを入力する動画像データ入力手段と、前記動画像データから画面内のエッジ特徴を抽出するエッジ特徴抽出手段と、前記動画像データから連続するフレームの輝度差分および色差ヒストグラム相関を検出する輝度差分・色差ヒストグラム相関検出手段と、前記輝度差分・色差ヒストグラム相関検出手段により検出された輝度差分と色差ヒストグラム相関、および前記エッジ特徴抽出手段により抽出されたエッジ特徴を用いてフラッシュが発光された複数フレームに渡るフラッシュ区間を検出するカット点検出手段とを備えたことを特徴としている。

本発明ではエッジ特徴や色配置情報を用いてカット点を検出するので、動画像中における瞬時カット点およびディゾルブやフェード区間を示す特殊カット点を精度よく検出することができる。ここで、エッジ特徴や色配置情報は、圧縮された動画像データを画素レベルまで復号することなく、動画像データのＤＣ成分から高速に抽出できる。

また、隣接フレーム間でのエッジ情報の変化を用いることによりフィールド間で発生する瞬時カット点を検出でき、さらに、連続するフレームの輝度差分と色差ヒストグラム相関、およびエッジ特徴を用いることによりフラッシュが発光された複数フレームに渡るフラッシュ区間を検出することができる。

以下、図面を参照して本発明を詳細に説明する。図１は、本発明に係る動画像のカット点検出装置の第１実施形態を示す機能ブロック図である。なお、以下では、ＭＰＥＧで圧縮された動画像データを前提に説明するが、本発明は、これに限られず、同様な圧縮方式による動画像データに対しても適用できる。

まず、ＭＰＥＧ動画像データ（以下、単に動画像データと記す。）が動画像データ入力部１０に入力される。動画像データ入力部１０は、可変長復号部１１および簡易動き補償部１２を備え、入力された動画像データの可変長復号と簡易動き補償により動画像データのＤＣ成分を出力する。

動画像データのＤＣ成分から構成される画像は、原画像の水平および垂直方向それぞれの１／８に相当し、画素レベルまで復号することなく得ることができる。このＤＣ成分を処理対象とすることにより処理の負担軽減および高速化を図ることができる。なお、動画像データの可変長復号と簡易動き補償については特許文献２や特開平１０−７９９５７号に記載されており、ここではその技術を利用できるので説明を省略する。

輝度・色差特徴抽出部１３は、動画像データのＤＣ成分を元に、フレーム間の輝度差分Ｄ、色差ヒストグラム相関ρ、画面内アクティビティＦＡとその一次微分係数ＤＡ、正規化動き補償予測誤差ＮＰＥなどを求める。

エッジ特徴抽出部１４は、動画像データのＤＣ成分から画面内のエッジ特徴を抽出する。瞬時カット点検出処理部１５は、瞬時カット点を検出するものである。この瞬時カット点の検出は、輝度・色差特徴抽出部１３で抽出された各種情報やエッジ特徴抽出部１４で抽出されたエッジ特徴の隣接フレーム間での変化などを元に行うことができる。

特殊カット点検出処理部１６は、エッジ特徴抽出部１４で抽出されたエッジ特徴の時間的変化を用いてディゾルブやフェードを含む特殊カット点を検出する。ここでの特殊カット点の検出は、ディゾルブやフェード区間においては画面内のエッジ成分が弱くなるという性質を利用している。

エッジ特徴抽出部１４で抽出するエッジ特徴としては、画面内に分布するエッジパワーＥＰ、画面内に分布するエッジヒストグラム、入力画面とそれよりも時間的に前に位置する画面のエッジヒストグラム相関εなどがあり、それらのいずれかでよい。

エッジ特徴としてのエッジヒストグラムは、画面全体に対し任意の数方向のフィルタをかけることにより算出することができる。また、画面を複数の小領域に分割し、各分割領域対し任意の数方向のフィルタをかけることにより各分割領域ごとのエッジヒストグラムを算出することもできる。つまり、エッジヒストグラムを算出する単位領域は、画面全体でも画面全体を任意数で分割した分割領域のいずれでもよい。さらに、分割する小領域の大きさは、任意に設定可能にしてもよく、画面内の位置や特性に応じて動的に変更するようにしてもよい。

具体的には、ＭＰＥＧ−７で定義されているエッジヒストグラム記述子などを利用することができ、画面全体を４×４の領域に分割し、各分割領域に対し５方向のフィルタをかけることによりエッジヒストグラムを得ることができる。

瞬時カット点検出処理部１５および特殊カット点検出処理部１６からは、瞬時カット点および特殊カット点の情報が時間コードで出力され、キーフレーム生成部１７は、該時間コードを元に各ショットからキーフレームを生成する。このキーフレーム生成部１７としては、特開２００１−２５８０３８号公報に記載されている技術を利用できる。キーフレーム表示部１８は、キーフレーム生成部１７で生成されたキーフレームを表示する。この表示により、ユーザはショット一覧を閲覧することができる。

図２は、上記第１実施形態の特殊カット点検出処理部１６の動作の具体例を示すフローチャートである。同図において、まず、初期化処理によりｉ＝０とし（Ｓ２１）、フレームｎ＋ｉの動画像データを入力する（Ｓ２２）。次に、ｉを１ずつ順次インクリメント（Ｓ２５）して連続するフレームを順次入力しつつ、各フレーム入力時において、画面内アクティビティＦＡの一次微分係数ＤＡがある閾値TH_DA以上であり、一次微分係数ＤＡが時間的に凸型になっており、かつ正規化動き補償予測誤差ＮＰＥがある閾値TH_NPE以上であり、エッジパワーＥＰが凹型であるか否かを判定する（Ｓ２３）。

Ｓ２３での判定結果が肯定（Ｙ）の場合は当該フレームｎ＋ｉをディゾルブ候補とする（Ｓ２４）。また、Ｓ２３での判定結果が否定（Ｎ）の場合にはｉの値がある閾値N_dis1以上か否かを判定する（Ｓ２６）。Ｓ２６は、所定フレーム区間以上に渡りＳ２３の条件が満たされた場合に当該区間をディゾルブ区間と判定するために設けたものであり、これにより誤検出を防止できる。

ｉの値がN_dis1未満の場合にはディゾルブと判定することなく処理を終了し、ｉの値がN_dis1以上の場合にはフレームｎからフレームｎ＋ｉ−１までの区間をディゾルブ区間と判定する（Ｓ２７）。

図３は、本発明に係る動画像のカット点検出装置の第２実施形態を示す機能ブロック図である。本実施形態は、画面全体に対する輝度情報や色情報を用いるだけでは、色特性が類似した瞬時カット点や特殊カット点は正確に検出できないため、色配置情報を用いることによってそのようなカット点でも正確に検出することができるようにしたものである。図３おいて、図１と同一または同等部分には同じ符号を付している。

まず、第１実施形態と同様に、動画像データを動画像データ入力部１０に入力し、動画像データのＤＣ成分を出力する。輝度・色差特徴抽出部１３は、動画像データのＤＣ成分を元に、フレーム間の輝度差分Ｄ、色差ヒストグラム相関ρ、画面内アクティビティＦＡとその一次微分係数ＤＡ、正規化動き補償予測誤差ＮＰＥなどを求める。

色配置情報抽出部３１は、動画像データのＤＣ成分から画面内の色配置情報を抽出する。瞬時カット点検出処理部３２は、色配置情報抽出部３１で抽出された色配置情報の時間的変化を用いて瞬時カット点を検出する。特殊カット点検出処理部１５は、色配置情報抽出部３１で抽出された色配置情報の時間的変化を一定時間以上観測することにより特殊カット点を検出する。

ここでの瞬時カット点の検出は、カット点では隣接フレーム間の色配置情報が大きく変化する性質を利用している。また、特殊カット点の検出は、特殊カット点の場合には色配置情報の隣接フレームとの差分が凸状に変化するという性質を利用している。瞬時カット点検出処理部１５および特殊カット点検出処理部１６では、輝度・色差特徴抽出部１３で抽出された各種情報を併用して瞬時カット点および特殊カット点を検出してもよい。

色配置情報としては、ＭＰＥＧ−７で定義されているカラーレイアウト記述子などを用いることができる。カラーレイアウト記述子では、原画像を８×８に縮小し、縮小された画像を離散コサイン変換によって周波数領域へ変換し、その変換係数の集合を色配置情報として用いることができる。このように、原画像ではなく、動画像データのＤＣ成分をさらに縮小してカラーレイアウト記述子を抽出することにより、ＭＰＥＧなどの圧縮動画像データの復号処理を省くことができる。

図４は、本発明に係る動画像のカット点検出装置の第３実施形態を示す機能ブロック図である。本実施形態は、エッジ特徴と色配置情報を併用して特殊カット点を検出するものであり、そのためにエッジ特徴抽出部１４と色配置情報抽出部３１の両方を備える。

図５は、上記第３実施形態の特殊カット点検出処理部１５の動作の具体例を示すフローチャートである。本フローチャートは、図２とはＳ２３に代えてＳ５１を用いている点で異なる。Ｓ５１では、ｉを１ずつ順次インクリメント（Ｓ２５）して連続するフレームを順次入力しつつ、それらのフレームにおいて、エッジパワーＥＰがある閾値TH_EP以下であり、正規化動き補償誤差ＮＰＥまたは色配置情報の直前のフレームとの差分ＣＬがある閾値TH_NPEまたはTH_CL以上であり、画面内アクティビティＦＡの一次微分係数ＤＡがある閾値TH_DA以下であり、かつエッジヒストグラム相関εがある閾値TH_ε以上であるか否かを判定する。その他は図２と同様であるので説明は省略する。

次に、本発明に係る動画像のカット点検出装置の第４実施形態について説明する。テレビ映像は１／６０秒ごとに表示されるフィールド構造を持っているため、これをプログレッシブ構造で符号化した場合には、フィールド間で瞬時カット点が発生する場合がある。ＭＰＥＧ−２などはフィールド構造に対応した符号化アルゴリズムを有するが、ＭＰＥＧ−１などではフレーム構造（プログレッシブ）にしか対応していない。フィールド間瞬時カット点は，通常の瞬時カット点検出手段では検出することができない場合が多いため、これに特化した検出手段が必要となる。第４実施形態は、エッジヒストグラム相関εなどのエッジ特徴を用いてプログレッシブ動画像におけるフィールド間瞬時カット点を検出可能にしたものである。

図６は、本発明に係る動画像のカット点検出装置の第４実施形態を示す機能ブロック図である。本実施形態は、瞬時カット点検出処理部１５で以下の図７または図８に従うようにしてフィールド間瞬時カット点を検出するようにしたものである。

図７は、第４実施形態でのフィールド間瞬時カット点検出動作の具体例を示すフローチャートである。まず、初期化処理によりｉ＝０とし（Ｓ２１）、フレームｎの動画像データを入力する（Ｓ２２）。Ｓ７１では、隣接するフレームにおいて、輝度差分Dがある閾値TH_D2以上であり、かつエッジヒストグラム相関εがある閾値TH_ε以下であるか否かを判定する。

この判定結果が否定（Ｎ）であればそのまま処理を終了し 肯定（Ｙ）であれば、ｉを１だけインクリメントした後（Ｓ７２）、ｉ＝２であるか否かを判定する（Ｓ７３）。ここでｉ＝２でなければｎを１だけインクリメント（Ｓ７４）してＳ２２に戻り、ｉ＝２であればフレームｎにフィールド間瞬時カット点があると判定する（Ｓ７５）。以上の動作によりＳ７１での条件を満足するフレームが２フレーム連続して出現した場合にフィールド間瞬時カット点が検出される。

図８は、第４実施形態でのフィールド間瞬時カット点検出動作の他の具体例を示すフローチャートである。まず、３つの連続するフレームｎ−２、ｎ−１、ｎの動画像を入力し（Ｓ８１）、これらのフレームを処理対象とする。次に、Ｓ８２で、現在注目しているフレームｎと時間的に２フレーム前のフレームｎ−２との間の色差ヒストグラム相関ρがある閾値TH_ρ2以下であり、かつフレームｎと直前のフレームｎ−１との輝度差分Dがある閾値TH_D以上であるか否かを判定する（Ｓ８２）。この判定結果が肯定（Ｙ）の場合、フレームｎにフィールド間瞬時カット点があると判定し（Ｓ８３）、否定の場合にはそのまま処理を終了する。

次に、本発明に係る動画像のカット点検出装置の第５実施形態について説明する。第５実施形態は、連続するフレームの検出された輝度差分Ｄ、色差ヒストグラム相関ρ、およびエッジ特徴を利用してフラッシュが発光された複数フレームに渡るフラッシュ区間を検出可能にしたものである。

動画像データに含まれるフラッシュを検出する手段は特許文献２などに開示されているが、特許文献２では色差ヒストグラム相関のみを用いているため、画像全体が白っぽくなる場合や特に複数フレームに渡って連続して出現するフラッシュの検出が困難である。

図９は、本発明に係る動画像のカット点検出装置の第５実施形態を示す機能ブロック図である。本実施形態は、複数フレームに渡って連続して出現するフラッシュ区間を検出し、該フラッシュ区間を除去するフラッシュ除去処理部９１を備え、特殊カット点検出処理部１６では該フラッシュ区間が除去されたデータを処理対象として特殊カット点を検出するようにしたものである。

図１０および図１１は、フラッシュ除去処理部９１の動作の説明図である。複数フレームに渡るフラッシュ区間は以下のようにして検出される。ここでは、フレームｎ−１〜ｎ＋５が順次入力され、フレームｎ〜ｎ＋４のフレームに渡りフラッシュが発光された場合を想定する。

図１０は、複数フレームに渡るフラッシュ区間の終了判定の説明図である。フレームｎは、輝度差分Dと色差ヒストグラム相関ρがピークとなることにより瞬時カット点検出処理部１５で検出され、フラッシュ区間開始候補となる。フラッシュ除去処理部９１は、このフレームｎに対して、フレームｎ＋３以降においてフレームｎ−１との間のエッジヒストグラム相関εおよび色差ヒストグラム相関ρを観測する。

本例の場合、エッジヒストグラム相関εおよび色差ヒストグラム相関ρは、フレームｎ＋５においてある閾値以上になる。フラッシュ除去処理部９１は、フレームｎ〜ｎ＋４までをフラッシュ区間と判定する。一般的には、フレームｎ＋Ｆ（Ｆ＝３，４，５，・・・）においてエッジヒストグラム相関εおよび色差ヒストグラム相関ρがいずれもある閾値以上になる場合、フレームｎ〜ｎ＋Ｆ−１までの区間をフラッシュ区間と判定する。

図１１は、複数フレームに渡るフラッシュ区間の継続判定の説明図である。フレームｎをフラッシュ区間開始候補とし、フレームｎ＋３以降においてフレームｎ−１とのエッジヒストグラム相関εと色差ヒストグラム相関ρを計算する。次に、これらの値のいずれかがそれぞれある閾値以下の場合、当該フレームとその前のフレームとの間およびさらに前のフレームとの間での色差ヒストグラム相関ρを計算する。そして、この色差ヒストグラム相関ρの値が共にある閾値以上の場合には継続するフラッシュ区間と見なし、この値のいずれかがある閾値未満になった場合には当該フレームをフラッシュ区間終了直後のフレームとする。

一般的には、フレームｎをフラッシュ区間開始候補とし、フレームｎ−１とフレームｎ＋Ｃ（Ｃ＝１，２，３，・・・）においてエッジヒストグラム相関εと色差ヒストグラム相関ρを計算する。これらの値のいずれかがそれぞれある閾値以下の場合は、フレームｎ＋Ｃとフレームｎ＋Ｃ−１との間およびフレームｎ＋Ｃとｎ＋Ｃ−２との間で色差ヒストグラム相関ρを計算する。そして、この色差ヒストグラム相関ρの値が共にある閾値以上の場合は継続するフラッシュ区間と見なし、この値がある閾値未満になった場合にはフラッシュ区間継続終了とする。これを指定されたフレームFmaxの区間で行う。

図１２図は、上記第５実施形態での瞬時カット点検出およびフラッシュ区間検出動作の具体例を示すフローチャートである。まず、ｎ＝２、Ｃ＝３とし（Ｓ１２１）、フレームｎ−１およびフレームｎの動画像データを入力する（Ｓ１２２）。つぎに、フレームｎにおいて輝度差分Dと色差ヒストグラム相関ρがピークとなるか否かを判定する（Ｓ１２３）。

Ｓ１２３での判定結果が否定（Ｎ）であればｎを１つずつインクリメント（Ｓ１２４）してＳ１２２に戻り、肯定（Ｙ）であればフレームｎをフラッシュ区間開始候補とする（Ｓ１２５）。以上は、瞬時カット点検出処理部１５での処理である。

次に、フラッシュ区間の継続判定を行う。まず、フレームｎ＋Ｃを入力する（Ｓ１２６）。次に、Ｓ１２７で、フレームｎ−１とフレームｎ＋Ｃにおいてエッジヒストグラム相関εと色差ヒストグラム相関ρを計算し、これらの値が共にある閾値以上TH_ε2、TH_ρ3以上か否かを判定する（Ｓ１２７）。

Ｓ１２７での判定結果が否定（Ｎ）の場合にはさらに、フレームｎ＋Ｃ−１とフレームｎ＋Ｃとの間およびフレームｎ＋Ｃ−２とフレームｎ＋Ｃとの間で色差ヒストグラム相関ρを計算し、これらの値が共にある閾値以上TH_ρ４以上か否かを判定する（Ｓ１２８）。

そして、この判定結果が肯定（Ｙ）の場合は継続するフラッシュ区間と見なしてｎを１だけインクリメント（Ｓ１２９）してＳ１２６に戻る。また、この判定結果が否定（Ｎ）の場合、およびＳ１２７での判定結果が肯定（Ｙ）の場合には、フレームｎ〜フレームｎ＋Ｃ−１を連続フラッシュ区間と判定する（Ｓ１３０）。

図１３は、本発明に係る動画像のカット点検出装置の第６実施形態を示す機能ブロック図である。本実施形態は、第１〜第５実施形態を全て組み合わせたものであり、各処理部の動作は、上記と同様であるので説明を省略する。このように、第１〜第５実施形態の２つ以上を適宜組合せてカット点検出装置を構成できる。

本発明によれば、ＭＰＥＧなどで圧縮された動画像データにおいて、検索や編集を効果的に行うことを可能にするためのカット点検出を精度よく達成できる。例えば、数時間分の米国のニュース映像を対象とした実験において特許文献２で開示されている手段と比較した場合、本発明に係るカット点検出装置を用いることにより平均で１０％以上、最大で２０％程度までの再現率向上をみた。

本発明に係る動画像のカット点検出装置の第１実施形態を示す機能ブロック図である。 第１実施形態の特殊カット点検出処理部の動作の具体例を示すフローチャートである。 本発明に係る動画像のカット点検出装置の第２実施形態を示す機能ブロック図である。 本発明に係る動画像のカット点検出装置の第３実施形態を示す機能ブロック図である。 第３実施形態の特殊カット点検出処理部の動作の具体例を示すフローチャートである。 本発明に係る動画像のカット点検出装置の第４実施形態を示す機能ブロック図である。 第４実施形態でのフィールド間瞬時カット点検出動作の具体例を示すフローチャートである。 第４実施形態でのフィールド間瞬時カット点検出動作の他の具体例を示すフローチャートである。 本発明に係る動画像のカット点検出装置の第５実施形態を示す機能ブロック図である。 フラッシュ除去処理部の動作（終了判定）の説明図である。 フラッシュ除去処理部の動作（継続判定）の説明図である。 第５実施形態での瞬時カット点検出およびフラッシュ区間検出動作の具体例を示すフローチャートである。 本発明に係る動画像のカット点検出装置の第６実施形態を示す機能ブロック図である。

符号の説明

１０・・・動画像データ入力部、１１・・・可変長復号部、１２・・・簡易動き補償部、１３・・・輝度・色差特徴抽出部、１４・・・エッジ特徴抽出部、１５・・・瞬時カット点検出処理部、１６・・・特殊カット点検出処理部、１７・・・キーフレーム生成部、１８・・・キーフレーム表示部、３１・・・色配置情報抽出部、９１・・・フラッシュ除去処理部

Claims (17)

1. 動画像データを入力する動画像データ入力手段と、
   前記動画像データから画面内のエッジ特徴を抽出するエッジ特徴抽出手段と、
   前記エッジ特徴抽出手段により抽出されたエッジ特徴の時間的変化を用いてディゾルブやフェード区間を示す特殊カット点を検出する特殊カット点検出手段とを備えたことを特徴とする動画像のカット点検出装置。
2. 前記エッジ特徴は、画面内に分布するエッジパワー、画面内に分布するエッジヒストグラム、入力画面とそれよりも時間的に前に位置する画面のエッジヒストグラム相関のいずれかであることを特徴とする請求項１に記載の動画像のカット点検出装置。
3. 前記エッジ特徴は、画面内に分布するエッジヒストグラム、または入力画面とそれよりも時間的に前に位置する画面のエッジヒストグラム相関であり、前記エッジヒストグラムは、画面全体に対し任意の数方向のフィルタをかけることにより算出されることを特徴とする請求項１に記載の動画像のカット点検出装置。
4. 前記エッジ特徴は、画面内に分布するエッジヒストグラム、または入力画面とそれよりも時間的に前に位置する画面のエッジヒストグラム相関であり、前記エッジヒストグラムは、画面が分割された各小領域についてそれぞれ算出されることを特徴とする請求項１に記載の動画像のカット点検出装置。
5. 前記動画像データは、圧縮符号化されたデータであり、前記エッジ特徴抽出手段は、前記動画像データのＤＣ成分のみからエッジ特徴を抽出することを特徴とする請求項１ないし４のいずれかに記載の動画像のカット点検出装置。
6. 前記エッジ特徴は、画面内に分布するエッジパワーであり、前記特殊カット点検出手段は、ある区間内の連続するフレームにおいて、画面内アクティビティの一次微分係数がある閾値以上であり、それらが時間的に凸型になっており、かつ動き補償予測誤差がある閾値以上であり、エッジパワーが凹型になっている場合に、当該区間をディゾルブ区間と判定する手段を備えたことを特徴とする請求項１に記載の動画像のカット点検出装置。
7. さらに前記動画像データから画面内の色配置情報を抽出する色配置情報抽出手段を備え、前記エッジ特徴は、画面内に分布するエッジパワーおよび入力画面とそれよりも時間的に前に位置する画面のエッジヒストグラム相関であり、前記特殊カット点検出手段は、ある区間内の連続するフレームにおいて、エッジパワーが低く、動き補償予測誤差または色配置情報の直前のフレームとの差分がある閾値以上であり、画面内アクティビティの一次微分係数がある閾値以下であり、かつエッジヒストグラム相関がある閾値以上である場合に、当該区間をディゾルブ区間と判定する手段を備えたことを特徴とする請求項１に記載の動画像のカット点検出装置。
8. 動画像データを入力する動画像データ入力手段と、
   前記動画像データから画面内の色配置情報を抽出する色配置情報抽出手段と、
   前記色配置情報抽出手段により抽出された色配置情報の変化を用いてカット点を検出するカット点検出手段とを備えたことを特徴とする動画像のカット点検出装置。
9. 前記色配置情報は、縮退画像を周波数領域に変換することにより得られる変換係数から構成されることを特徴とする請求項８に記載の動画像のカット点検出装置。
10. 前記周波数領域への変換は、離散コサイン変換であることを特徴とする請求項９に記載の動画像のカット点検出装置。
11. 前記動画像データは、圧縮符号化されたデータであり、前記色配置情報抽出手段は、前記動画像データのＤＣ成分のみから色配置情報を抽出することを特徴とする請求項８ないし１０のいずれかに記載の動画像のカット点検出装置。
12. 前記カット点検出手段は、前記色配置情報の変化を一定時間以上観測することによりディゾルブやフェード区間を示す特殊カット点を検出することを特徴とする請求項８ないし１１のいずれかに記載の動画像のカット点検出装置。
13. インタレース画像がプログレッシブ画像として圧縮された動画像データを入力する動画像データ入力手段と、
    前記動画像データから隣接画面間のエッジ特徴を抽出するエッジ特徴抽出手段と、
    前記エッジ特徴抽出手段により抽出された隣接画面間のエッジ特徴の変化を用いてフィールド間で発生するカット点を検出するカット点検出手段とを備えたことを特徴とする動画像のカット点検出装置。
14. 前記エッジ特徴は、隣接画面におけるエッジヒストグラム相関であることを特徴とする請求項１３に記載の動画像のカット点検出装置。
15. インタレース画像がプログレッシブ画像として圧縮された動画像データを入力する動画像データ入力手段と、
    輝度差分がある閾値以上であり、かつ隣接画面におけるエッジヒストグラム相関がある閾値以下であるフレームが２フレーム連続して出現した場合、もしくは現在のフレームと２フレーム前の色差ヒストグラム相関がある閾値以下であり、かつ現在のフレームと直前のフレームとの輝度差分が大きい場合、フィールド間で発生するカット点を検出するカット点検出手段を備えたことを特徴とする請求項１３に記載の動画像のカット点検出装置。
16. 動画像データを入力する動画像データ入力手段と、
    前記動画像データから画面内のエッジ特徴を抽出するエッジ特徴抽出手段と、
    前記動画像データから連続するフレームの輝度差分および色差ヒストグラム相関を検出する輝度差分・色差ヒストグラム相関検出手段と、
    前記輝度差分・色差ヒストグラム相関検出手段により検出された輝度差分と色差ヒストグラム相関、および前記エッジ特徴抽出手段により抽出されたエッジ特徴を用いてフラッシュが発光された複数フレームに渡るフラッシュ区間を検出するカット点検出手段とを備えたことを特徴とする動画像のカット点検出装置。
17. 前記カット点検出手段は、輝度差分および色差ヒストグラム相関がピークとなるフレームｎに対してフレームｎ＋Ｆ（Ｆ＝３，４，５，・・・）においてフレームｎ−１との間のエッジ特徴の相関および色差ヒストグラム相関が高いと判定された場合にはフレームｎからフレームｎ＋Ｆ−１までフラッシュ区間と判定するか、フレームｎ−１とフレームｎ＋Ｃ（Ｃ＝３，４，５，・・・）との間のエッジ特徴の相関または色差ヒストグラム相関のいずれかが低い場合にはフレームｎ＋Ｃとフレームｎ＋Ｃ−１との間およびフレームｎ＋Ｃとフレームｎ＋Ｃ−２の色差ヒストグラム相関が低いと判定されるまでのフレームｎからフレームｎ＋Ｃ−１までをフラッシュ区間と判定する手段を備えたことを特徴とする請求項１６に記載の動画像のカット点検出装置。

Images