JP4895315B2 - 動画像のカット点検出装置 - Google Patents

Description

本発明は、動画像のカット点検出装置に関し、特に、動画像におけるカット点を高精度に検出することができる動画像のカット点検出装置に関する。

動画像データからカット点、すなわちショットの境界を検出するカット点検出についてはこれまで多くの技術が開発され、特にＭＰＥＧなどの動画像符号化により圧縮された動画像データを対象としたカット点検出技術も多く見られる。ここで、ショットとは、１つのカメラ操作で撮影された一連の画像列を意味する。

例えば、特許文献１には、映像における時系列のフレーム画像をサンプリングし、各フレーム画像単位でエッジ強度係数を求め、その時間的な変化特性を利用して映像変化点を検出する手法が開示されている。

特許文献２には、可変長復号と簡易動き補償から得られるＤＣ画像において輝度差分、色差ヒストグラム相関、画面内アクティビティの一次微分係数などを用いて瞬時カット点や特殊カット点を検出する手法が開示されている。

また、特許文献３には、ディゾルブやフェードの候補区間を検出するために、カラーヒストグラムに基づいた色分布の差、マクロブロックの時空間の分布、動きベクトルの時空間上の分布、およびエッジの時空間上の分布と変化特性のいずれかを選択して利用する手法が開示されている。

特開平７−２８８８４０号公報 特開平１０−２２４７４１号公報 特開２００１−２８５７１２号公報

これまでＭＰＥＧなどの圧縮動画像データを対象とし、動画像データを復号せずに、動きベクトルやマクロブロックタイプなどの圧縮データ領域で得られるパラメータを用いたカット点検出技術が多く開発されているが、それらの技術では、ディゾルブやフェードの区間を示す特殊カット点さらには瞬時カット点を精度よく検出することが困難であるという課題がある。

本発明の目的は、上記課題を解決し、ディゾルブやフェード区間を示す特殊カット点さらには瞬時カット点を精度よく検出することができる動画像のカット点検出装置を提供することにある。

上記課題を解決するため、本発明は、動画像データを入力する動画像データ入力手段と、前記動画像データから画面内の色配置情報を抽出する色配置情報抽出手段と、前記色配置情報抽出手段により抽出された色配置情報の変化を一定時間以上観測し、色配置情報の隣接フレームとの差分が凸状に変化する区間をディゾルブやフェード区間とし、該区間を示す特殊カット点を検出する特殊カット点検出手段を備えたことを特徴としている。

また、本発明は、さらに、瞬時カット点検出手段を備え、前記瞬時カット点検出手段は、隣接フレーム間の色配置情報が所定閾値以上に変化する点をカット点として検出することを特徴としている。

また、本発明は、前記色配置情報が、縮退画像を周波数領域に変換することにより得られる変換係数から構成されることを特徴としている。

また、本発明は、前記周波数領域への変換が、離散コサイン変換であることを特徴としている。

さらに、本発明は、前記動画像データが、圧縮符号化されたデータであり、前記色配置情報抽出手段は、前記動画像データのＤＣ成分のみから色配置情報を抽出することを特徴としている。

本発明では色配置情報の変化を一定時間以上観測し、色配置情報の隣接フレームとの差分の変化の性質からディゾルブやフェード区間を示す特殊カット点を検出するので、動画像中におけるディゾルブやフェード区間を示す特殊カット点を精度よく検出することができる。また、瞬時カット点も色配置情報の変化から検出することができる。ここで、色配置情報は、圧縮された動画像データを画素レベルまで復号することなく、動画像データのＤＣ成分から高速に抽出できる。

エッジ特徴を用いたカット点検出処理を示す機能ブロック図である。 図１の特殊カット点検出処理部の動作を示すフローチャートである。 本発明におけるカット点検出処理を示す機能ブロック図である。 エッジ特徴と色配置情報を併用したカット点検出処理を示す機能ブロック図である。 図４の特殊カット点検出処理部１５の動作を示すフローチャートである。 フィールド間瞬時カット点検出処理を示す機能ブロック図である。 図６でのフィールド間瞬時カット点検出動作の例を示すフローチャートである。 図６でのフィールド間瞬時カット点検出動作をの他の例を示すフローチャートである。 フラッシュ区間検出処理を示す機能ブロック図である。 フラッシュ除去処理部の動作（終了判定）の説明図である。 フラッシュ除去処理部の動作（継続判定）の説明図である。 図９での瞬時カット点検出およびフラッシュ区間検出動作を示すフローチャートである。 図１〜図１２を全て組み合わせたカット点検出処理を示す機能ブロック図である。

以下、図面を参照して本発明を詳細に説明する。図１は、エッジ特徴を用いたカット点検出処理を示す機能ブロック図である。なお、以下では、ＭＰＥＧで圧縮された動画像データを前提に説明するが、本発明は、これに限られず、同様な圧縮方式による動画像データに対しても適用できる。

まず、ＭＰＥＧ動画像データ（以下、単に動画像データと記す。）が動画像データ入力部１０に入力される。動画像データ入力部１０は、可変長復号部１１および簡易動き補償部１２を備え、入力された動画像データの可変長復号と簡易動き補償により動画像データのＤＣ成分を出力する。

動画像データのＤＣ成分から構成される画像は、原画像の水平および垂直方向それぞれの１／８に相当し、画素レベルまで復号することなく得ることができる。このＤＣ成分を処理対象とすることにより処理の負担軽減および高速化を図ることができる。なお、動画像データの可変長復号と簡易動き補償については特許文献２や特開平１０−７９９５７号に記載されており、ここではその技術を利用できるので説明を省略する。

輝度・色差特徴抽出部１３は、動画像データのＤＣ成分を元に、フレーム間の輝度差分Ｄ、色差ヒストグラム相関ρ、画面内アクティビティＦＡとその一次微分係数ＤＡ、正規化動き補償予測誤差ＮＰＥなどを求める。

エッジ特徴抽出部１４は、動画像データのＤＣ成分から画面内のエッジ特徴を抽出する。瞬時カット点検出処理部１５は、瞬時カット点を検出するものである。この瞬時カット点の検出は、輝度・色差特徴抽出部１３で抽出された各種情報やエッジ特徴抽出部１４で抽出されたエッジ特徴の隣接フレーム間での変化などを元に行うことができる。

特殊カット点検出処理部１６は、エッジ特徴抽出部１４で抽出されたエッジ特徴の時間的変化を用いてディゾルブやフェードを含む特殊カット点を検出する。ここでの特殊カット点の検出は、ディゾルブやフェード区間においては画面内のエッジ成分が弱くなるという性質を利用している。

エッジ特徴抽出部１４で抽出するエッジ特徴としては、画面内に分布するエッジパワーＥＰ、画面内に分布するエッジヒストグラム、入力画面とそれよりも時間的に前に位置する画面のエッジヒストグラム相関εなどがあり、それらのいずれかでよい。

エッジ特徴としてのエッジヒストグラムは、画面全体に対し任意の数方向のフィルタをかけることにより算出することができる。また、画面を複数の小領域に分割し、各分割領域対し任意の数方向のフィルタをかけることにより各分割領域ごとのエッジヒストグラムを算出することもできる。つまり、エッジヒストグラムを算出する単位領域は、画面全体でも画面全体を任意数で分割した分割領域のいずれでもよい。さらに、分割する小領域の大きさは、任意に設定可能にしてもよく、画面内の位置や特性に応じて動的に変更するようにしてもよい。

具体的には、ＭＰＥＧ−７で定義されているエッジヒストグラム記述子などを利用することができ、画面全体を４×４の領域に分割し、各分割領域に対し５方向のフィルタをかけることによりエッジヒストグラムを得ることができる。

瞬時カット点検出処理部１５および特殊カット点検出処理部１６からは、瞬時カット点および特殊カット点の情報が時間コードで出力され、キーフレーム生成部１７は、該時間コードを元に各ショットからキーフレームを生成する。このキーフレーム生成部１７としては、特開２００１−２５８０３８号公報に記載されている技術を利用できる。キーフレーム表示部１８は、キーフレーム生成部１７で生成されたキーフレームを表示する。この表示により、ユーザはショット一覧を閲覧することができる。

図２は、図１の特殊カット点検出処理部１６の動作を示すフローチャートである。同図において、まず、初期化処理によりｉ＝０とし（Ｓ２１）、フレームｎ＋ｉの動画像データを入力する（Ｓ２２）。次に、ｉを１ずつ順次インクリメント（Ｓ２５）して連続するフレームを順次入力しつつ、各フレーム入力時において、画面内アクティビティＦＡの一次微分係数ＤＡがある閾値TH_DA以上であり、一次微分係数ＤＡが時間的に凸型になっており、かつ正規化動き補償予測誤差ＮＰＥがある閾値TH_NPE以上であり、エッジパワーＥＰが凹型であるか否かを判定する（Ｓ２３）。

Ｓ２３での判定結果が肯定（Ｙ）の場合は当該フレームｎ＋ｉをディゾルブ候補とする（Ｓ２４）。また、Ｓ２３での判定結果が否定（Ｎ）の場合にはｉの値がある閾値N_dis1以上か否かを判定する（Ｓ２６）。Ｓ２６は、所定フレーム区間以上に渡りＳ２３の条件が満たされた場合に当該区間をディゾルブ区間と判定するために設けたものであり、これにより誤検出を防止できる。

ｉの値がN_dis1未満の場合にはディゾルブと判定することなく処理を終了し、ｉの値がN_dis1以上の場合にはフレームｎからフレームｎ＋ｉ−１までの区間をディゾルブ区間と判定する（Ｓ２７）。

図３は、本発明におけるカット点検出処理を示す機能ブロック図である。本発明では、色配置情報を用いることによって特殊カット点を検出し、これにより高精度の検出を可能にする。図３おいて、図１と同一または同等部分には同じ符号を付している。

まず、図１と同様に、動画像データを動画像データ入力部１０に入力し、動画像データのＤＣ成分を出力する。輝度・色差特徴抽出部１３は、動画像データのＤＣ成分を元に、フレーム間の輝度差分Ｄ、色差ヒストグラム相関ρ、画面内アクティビティＦＡとその一次微分係数ＤＡ、正規化動き補償予測誤差ＮＰＥなどを求める。

色配置情報抽出部３１は、動画像データのＤＣ成分から画面内の色配置情報を抽出する。瞬時カット点検出処理部３２は、色配置情報抽出部３１で抽出された色配置情報の時間的変化を用いて瞬時カット点を検出する。特殊カット点検出処理部１５は、色配置情報抽出部３１で抽出された色配置情報の時間的変化を一定時間以上観測することにより特殊カット点を検出する。

ここでの瞬時カット点の検出は、カット点では隣接フレーム間の色配置情報が大きく変化する性質を利用する。また、特殊カット点の検出は、特殊カット点の場合には色配置情報の隣接フレームとの差分が凸状に変化するという性質を利用する。瞬時カット点検出処理部１５および特殊カット点検出処理部１６では、輝度・色差特徴抽出部１３で抽出された各種情報を併用して瞬時カット点および特殊カット点を検出してもよい。

色配置情報としては、ＭＰＥＧ−７で定義されているカラーレイアウト記述子などを用いることができる。カラーレイアウト記述子では、原画像を８×８に縮小し、縮小された画像を離散コサイン変換によって周波数領域へ変換し、その変換係数の集合を色配置情報として用いることができる。このように、原画像ではなく、動画像データのＤＣ成分をさらに縮小してカラーレイアウト記述子を抽出することにより、ＭＰＥＧなどの圧縮動画像データの復号処理を省くことができる。

図４は、エッジ特徴と色配置情報を併用したカット点検出処理を示す機能ブロック図である。そのためにエッジ特徴抽出部１４と色配置情報抽出部３１の両方を備える。

図５は、図４の特殊カット点検出処理部１５の動作を示すフローチャートである。本フローチャートは、図２とはＳ２３に代えてＳ５１を用いている点で異なる。Ｓ５１では、ｉを１ずつ順次インクリメント（Ｓ２５）して連続するフレームを順次入力しつつ、それらのフレームにおいて、エッジパワーＥＰがある閾値TH_EP以下であり、正規化動き補償誤差ＮＰＥまたは色配置情報の直前のフレームとの差分ＣＬがある閾値TH_NPEまたはTH_CL以上であり、画面内アクティビティＦＡの一次微分係数ＤＡがある閾値TH_DA以下であり、かつエッジヒストグラム相関εがある閾値TH_ε以上であるか否かを判定する。その他は図２と同様であるので説明は省略する。

次に、フィールド間瞬時カット点検出について説明する。テレビ映像は１／６０秒ごとに表示されるフィールド構造を持っているため、これをプログレッシブ構造で符号化した場合には、フィールド間で瞬時カット点が発生する場合がある。ＭＰＥＧ−２などはフィールド構造に対応した符号化アルゴリズムを有するが、ＭＰＥＧ−１などではフレーム構造（プログレッシブ）にしか対応していない。フィールド間瞬時カット点は，通常の瞬時カット点検出手段では検出することができない場合が多いため、これに特化した検出手段が必要となる。第４実施形態は、エッジヒストグラム相関εなどのエッジ特徴を用いてプログレッシブ動画像におけるフィールド間瞬時カット点を検出可能にしたものである。

図６は、フィールド間瞬時カット点検出処理を示す機能ブロック図である。ここでは、瞬時カット点検出処理部１５で以下の図７または図８に従うようにしてフィールド間瞬時カット点を検出するようにしている。

図７は、図６でのフィールド間瞬時カット点検出動作の例を示すフローチャートである。まず、初期化処理によりｉ＝０とし（Ｓ２１）、フレームｎの動画像データを入力する（Ｓ２２）。Ｓ７１では、隣接するフレームにおいて、輝度差分Dがある閾値TH_D2以上であり、かつエッジヒストグラム相関εがある閾値TH_ε以下であるか否かを判定する。

この判定結果が否定（Ｎ）であればそのまま処理を終了し 肯定（Ｙ）であれば、ｉを１だけインクリメントした後（Ｓ７２）、ｉ＝２であるか否かを判定する（Ｓ７３）。ここでｉ＝２でなければｎを１だけインクリメント（Ｓ７４）してＳ２２に戻り、ｉ＝２であればフレームｎにフィールド間瞬時カット点があると判定する（Ｓ７５）。以上の動作によりＳ７１での条件を満足するフレームが２フレーム連続して出現した場合にフィールド間瞬時カット点が検出される。

図８は、図６でのフィールド間瞬時カット点検出動作の他の例を示すフローチャートである。まず、３つの連続するフレームｎ−２、ｎ−１、ｎの動画像を入力し（Ｓ８１）、これらのフレームを処理対象とする。次に、Ｓ８２で、現在注目しているフレームｎと時間的に２フレーム前のフレームｎ−２との間の色差ヒストグラム相関ρがある閾値TH_ρ2以下であり、かつフレームｎと直前のフレームｎ−１との輝度差分Dがある閾値TH_D以上であるか否かを判定する（Ｓ８２）。この判定結果が肯定（Ｙ）の場合、フレームｎにフィールド間瞬時カット点があると判定し（Ｓ８３）、否定の場合にはそのまま処理を終了する。

次に、フラッシュ区間検出について説明する。フラッシュ区間検出では、連続するフレームの検出された輝度差分Ｄ、色差ヒストグラム相関ρ、およびエッジ特徴を利用してフラッシュが発光された複数フレームに渡るフラッシュ区間を検出する。

動画像データに含まれるフラッシュを検出する手段は特許文献２などに開示されているが、特許文献２では色差ヒストグラム相関のみを用いているため、画像全体が白っぽくなる場合や特に複数フレームに渡って連続して出現するフラッシュの検出が困難である。

図９は、フラッシュ区間検出処理を示す機能ブロック図である。ここでは、複数フレームに渡って連続して出現するフラッシュ区間を検出し、該フラッシュ区間を除去するフラッシュ除去処理部９１を備え、特殊カット点検出処理部１６では該フラッシュ区間が除去されたデータを処理対象として特殊カット点を検出する。

図１０および図１１は、フラッシュ除去処理部９１の動作の説明図である。複数フレームに渡るフラッシュ区間は以下のようにして検出される。ここでは、フレームｎ−１〜ｎ＋５が順次入力され、フレームｎ〜ｎ＋４のフレームに渡りフラッシュが発光された場合を想定する。

図１０は、複数フレームに渡るフラッシュ区間の終了判定の説明図である。フレームｎは、輝度差分Dと色差ヒストグラム相関ρがピークとなることにより瞬時カット点検出処理部１５で検出され、フラッシュ区間開始候補となる。フラッシュ除去処理部９１は、このフレームｎに対して、フレームｎ＋３以降においてフレームｎ−１との間のエッジヒストグラム相関εおよび色差ヒストグラム相関ρを観測する。

エッジヒストグラム相関εおよび色差ヒストグラム相関ρは、フレームｎ＋５においてある閾値以上になる。フラッシュ除去処理部９１は、フレームｎ〜ｎ＋４までをフラッシュ区間と判定する。一般的には、フレームｎ＋Ｆ（Ｆ＝３，４，５，・・・）においてエッジヒストグラム相関εおよび色差ヒストグラム相関ρがいずれもある閾値以上になる場合、フレームｎ〜ｎ＋Ｆ−１までの区間をフラッシュ区間と判定する。

図１１は、複数フレームに渡るフラッシュ区間の継続判定の説明図である。フレームｎをフラッシュ区間開始候補とし、フレームｎ＋３以降においてフレームｎ−１とのエッジヒストグラム相関εと色差ヒストグラム相関ρを計算する。次に、これらの値のいずれかがそれぞれある閾値以下の場合、当該フレームとその前のフレームとの間およびさらに前のフレームとの間での色差ヒストグラム相関ρを計算する。そして、この色差ヒストグラム相関ρの値が共にある閾値以上の場合には継続するフラッシュ区間と見なし、この値のいずれかがある閾値未満になった場合には当該フレームをフラッシュ区間終了直後のフレームとする。

一般的には、フレームｎをフラッシュ区間開始候補とし、フレームｎ−１とフレームｎ＋Ｃ（Ｃ＝１，２，３，・・・）においてエッジヒストグラム相関εと色差ヒストグラム相関ρを計算する。これらの値のいずれかがそれぞれある閾値以下の場合は、フレームｎ＋Ｃとフレームｎ＋Ｃ−１との間およびフレームｎ＋Ｃとｎ＋Ｃ−２との間で色差ヒストグラム相関ρを計算する。そして、この色差ヒストグラム相関ρの値が共にある閾値以上の場合は継続するフラッシュ区間と見なし、この値がある閾値未満になった場合にはフラッシュ区間継続終了とする。これを指定されたフレームFmaxの区間で行う。

図１２図は、図９での瞬時カット点検出およびフラッシュ区間検出動作を示すフローチャートである。まず、ｎ＝２、Ｃ＝３とし（Ｓ１２１）、フレームｎ−１およびフレームｎの動画像データを入力する（Ｓ１２２）。つぎに、フレームｎにおいて輝度差分Dと色差ヒストグラム相関ρがピークとなるか否かを判定する（Ｓ１２３）。

Ｓ１２３での判定結果が否定（Ｎ）であればｎを１つずつインクリメント（Ｓ１２４）してＳ１２２に戻り、肯定（Ｙ）であればフレームｎをフラッシュ区間開始候補とする（Ｓ１２５）。以上は、瞬時カット点検出処理部１５での処理である。

次に、フラッシュ区間の継続判定を行う。まず、フレームｎ＋Ｃを入力する（Ｓ１２６）。次に、Ｓ１２７で、フレームｎ−１とフレームｎ＋Ｃにおいてエッジヒストグラム相関εと色差ヒストグラム相関ρを計算し、これらの値が共にある閾値以上TH_ε2、TH_ρ3以上か否かを判定する（Ｓ１２７）。

Ｓ１２７での判定結果が否定（Ｎ）の場合にはさらに、フレームｎ＋Ｃ−１とフレームｎ＋Ｃとの間およびフレームｎ＋Ｃ−２とフレームｎ＋Ｃとの間で色差ヒストグラム相関ρを計算し、これらの値が共にある閾値以上TH_ρ４以上か否かを判定する（Ｓ１２８）。

そして、この判定結果が肯定（Ｙ）の場合は継続するフラッシュ区間と見なしてｎを１だけインクリメント（Ｓ１２９）してＳ１２６に戻る。また、この判定結果が否定（Ｎ）の場合、およびＳ１２７での判定結果が肯定（Ｙ）の場合には、フレームｎ〜フレームｎ＋Ｃ−１を連続フラッシュ区間と判定する（Ｓ１３０）。

図１３は、図１〜図１２を全て組み合わせたカット点検出処理を示す機能ブロック図である。各処理部の動作は、上記と同様であるので説明を省略する。このように、図３のカット点検出処理に１つ以上の他のカット点検出処理を適宜組合せてカット点を検出することができる。

本発明によれば、ＭＰＥＧなどで圧縮された動画像データにおいて、検索や編集を効果的に行うことを可能にするためのカット点検出を精度よく達成できる。例えば、数時間分の米国のニュース映像を対象とした実験において特許文献２で開示されている手段と比較した場合、本発明に係るカット点検出装置を用いることにより平均で１０％以上、最大で２０％程度までの再現率向上をみた。

１０・・・動画像データ入力部、１１・・・可変長復号部、１２・・・簡易動き補償部、１３・・・輝度・色差特徴抽出部、１４・・・エッジ特徴抽出部、１５・・・瞬時カット点検出処理部、１６・・・特殊カット点検出処理部、１７・・・キーフレーム生成部、１８・・・キーフレーム表示部、３１・・・色配置情報抽出部、９１・・・フラッシュ除去処理部

Claims (5)

1. 動画像データを入力する動画像データ入力手段と、
   前記動画像データから画面内の色配置情報を抽出する色配置情報抽出手段と、
   前記色配置情報抽出手段により抽出された色配置情報の変化を一定時間以上観測し、色配置情報の隣接フレームとの差分が凸状に変化する区間をディゾルブやフェード区間とし、該区間を示す特殊カット点を検出する特殊カット点検出手段を備えたことを特徴とする動画像のカット点検出装置。
2. さらに、瞬時カット点検出手段を備え、
   前記瞬時カット点検出手段は、隣接フレーム間の色配置情報が所定閾値以上に変化する点を瞬時カット点として検出することを特徴とする請求項１に記載の動画像のカット点検出装置。
3. 前記色配置情報は、縮退画像を周波数領域に変換することにより得られる変換係数から構成されることを特徴とする請求項１または２に記載の動画像のカット点検出装置。
4. 前記周波数領域への変換は、離散コサイン変換であることを特徴とする請求項３に記載の動画像のカット点検出装置。
5. 前記動画像データは、圧縮符号化されたデータであり、前記色配置情報抽出手段は、前記動画像データのＤＣ成分のみから色配置情報を抽出することを特徴とする請求項１ないし４のいずれかに記載の動画像のカット点検出装置。

Images