JP4349542B2 - 動画像内のテロップ領域検出装置 - Google Patents
動画像内のテロップ領域検出装置 Download PDFInfo
- Publication number
- JP4349542B2 JP4349542B2 JP2000248794A JP2000248794A JP4349542B2 JP 4349542 B2 JP4349542 B2 JP 4349542B2 JP 2000248794 A JP2000248794 A JP 2000248794A JP 2000248794 A JP2000248794 A JP 2000248794A JP 4349542 B2 JP4349542 B2 JP 4349542B2
- Authority
- JP
- Japan
- Prior art keywords
- telop
- telop area
- moving image
- area detection
- detection device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Circuits (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は動画像内のテロップ領域検出装置に関し、特に、圧縮符号化データそのものまたはその一部だけを復号した情報から、高速かつ高精度にテロップ領域を抽出できる動画像内のテロップ領域検出装置に関する。
【０００２】
【従来の技術】
従来のテロップ領域を検出する方式（以下、第１の検出方式）、特にニュース映像からのテロップ検出方式として、時間的な輝度分布差分値をテロップの検出判定に使用する方式がある。また、出現位置の局所性、規則的な配置などの幾何的な性質からテロップを求める方式、エッジ分布の偏向や色の類似性など文字としての特徴量からテロップを求める方式が報告されている。さらに、これら特徴量を解析する方法として、ニューラルネットワークや遺伝アルゴリズムを取り入れたテロップ領域検出方法などが提案されている。これらの方式は、動画像における各画素の輝度値を対象に様々なアルゴリズムを適用してテロップ領域を抽出する方式である。
【０００３】
また、他のテロップ検出方式では画素そのものを利用するのではなく、圧縮符号化された動画像の符号化データそのものを利用する方式が提案されている。この方式は圧縮の際に求められる各種のパラメータや符号化データを直接操作することでテロップ領域の検出処理を達成する。
【０００４】
従来の動き予測誤差の時間的変化に注目した方式（以下、第２の検出方式）は、画像内の符号単位ブロックについて動き予測情報の時間変動を観測し、テロップの瞬時的な出現を検出する。必要最小限の情報のみを取捨選択しテロップ領域の抽出を行う。このため、抽出される解像度は動き予測情報を持つ各圧縮方式の符号化単位ブロックの大きさに設定される。
【０００５】
さらに、符号単位ブロックの符号化モードに着目した方式（以下、第３の検出方式）は、静止したテロップの特徴と符号化モードの相関から、符号化モードに応じて計数カウンタを増減させる。閾値以上の領域をテロップ領域候補と認識し、更に形状判断することで、テロップとして抽出する。なお、該第３の検出方式を開示した文献として、例えば、電子情報通信学会論文誌 D-II, Vol.J81-D-IINo.8,PP1847-1855,1998 年8 月「ＭＰＥＧ符号化映像からの高速テロップ領域検出法」がある。
【０００６】
【発明が解決しようとする課題】
前記第１の検出方式を圧縮符号化された動画像データに適用するには、符号化データを一旦復号する必要があり、圧縮符号化データを画素領域の情報に戻さねばテロップ検出処理を適用できない。よって、第１の検出方式は、例えば図１０のブロック図で示される構成により実現される。
【０００７】
図１０の可変長復号部５１は圧縮された画像符号化データを入力とし、可変長復号、逆量子化や係数範囲制限等の復号処理を行う。可変長復号部５１からは復号されたフレームやブロックの符号化モード情報、動き予測情報、動き予測誤差情報等が出力される。画像生成部５２の入力は可変長復号部５１からの予測誤差情報であり、逆変換を経て１フレームの画像データを生成する。また、動き補償部５２は動き予測の参照フレームを保持している画像メモリ５３から動き予測情報を使ってブロックを抽出し、完全な１フレームを構成するために画像生成部５２の出力画像データと加算する。この画像はテロップ検出部５４へ入力されるとともに、次フレーム以降の参照画像となるフレームならば画像メモリ５３に蓄積される。これら一連の復号処理の後、テロップ検出部５４にて、初めて画素領域でのテロップ領域検出処理が施される。テロップ検出部５４による検出結果は、画像表示部５５に送られる。
【０００８】
この第１の検出方式では、圧縮データの復号処理および復号された画像を用いたテロップ領域検出処理に、大きな計算コストがかかるという問題がある。
【０００９】
一方、前記第２、第３の検出方式は圧縮符号化データそのものを利用するので、復号処理過程が省略でき検出処理も高速に実行できる。しかし、実際の動画像では、パン、チルトなどのカメラワークや、ワイプ、ディゾルブなどの撮影後に編集された映像効果などの要因によって、動き予測誤差情報の変化が激しくなり、テロップの出現との判別が難しい。特にシーンチェンジにおいてはこの影響が大きく、第２の検出方式ではシーンチェンジ後のフレームをテロップ領域と誤認識するなど、検出精度が劣るという問題がある。
【００１０】
また、第３の検出方式はテロップ領域外に動きベクトルが多数存在する場合に検出率が高くなる特性を持つ。しかし、低解像度の映像では動きベクトルが相対的に小さくなり、符号化モードの分布も異なってくる。また、ニュース映像等はカメラが固定されている場合が多く、背景に動きベクトルが存在しないような場合、テロップ以外の領域をテロップ領域と誤検出する恐れがある。
【００１１】
本発明の目的は、前述した従来技術の問題点を解消し、圧縮された符号化データそのもの、またはその一部だけを復号した情報からテロップの出現を高速かつ高精度に検出できるテロップ領域検出装置、およびフレーム内でのテロップ位置を抽出できるテロップ領域検出装置を提供することにある。
【００１２】
前述の目的を達成するために、本発明は、圧縮された動画像のデータを入力とし、該動画像のデータにテロップ領域情報を付加して出力する動画像内のテロップ領域検出装置において、前記圧縮された動画像のデータを可変長復号する可変長復号部と、該可変長復号部で復号された現在と一つ前のフレーム内符号化画像とを比較して変化が認められた領域について該変化が収束するか否かを検知し、収束すると検知された場合にテロップ候補の位置情報を出力する時間変移判定部と、前記フレーム内符号化画像間に存在する前記可変長復号部で復号されたフレーム間符号化画像において、前記テロップ候補の位置情報に該当するブロックの符号化モードの種類からテロップに相応しい符号化モードをもつブロックを前記フレーム内符号化画像上から抜き出し、そのブロックの位置情報を出力するテロップ位置判定部と、前記フレーム間符号化画像の前記テロップ候補のブロックに関して、前記可変長復号部から出力される双方向予測画像群の動き予測情報の参照方向の時間的変化からテロップの出現フレームを検出する出現フレーム判定部とを具備した点に特徴がある。
【００１３】
この特徴によれば、テロップ領域の検出過程を段階的にしたので、高速でかつ高精度なテロップ領域検出処理を行うことができるようになる。
【００１４】
【発明の実施の形態】
以下に、本発明を、図面を参照して説明する。図１に本発明の一実施形態の構成を示すブロック図を表す。なお、この実施形態は入力動画像の符号化方式に国際標準であるMPEG-1ビデオ(ISO/IEC11172-2)を使用しているが、本発明はこれに限定されるものではない。
【００１５】
システム全体の入力として、圧縮符号化された動画像の符号化データが与えられる。符号化データは可変長復号部１により必要な情報だけが部分的に復号され、該復号された情報Ａ，Ｂ，Ｃは、それぞれ時間変移判定部２、テロップ位置判定部３、および出現フレーム判定部４に送られる。ここに、前記情報Ａは、（ｎ−Ｎ）フレーム〜（ｎ＋ｍＮ）フレーム間のフレーム内符号化画像（Ｉピクチャ）の符号化情報、Ｂは、ｎフレーム〜（ｎ＋ｍＮ）フレーム間のＰ、Ｂピクチャの符号化モード情報、Ｃは、（ｎ−Ｎ）フレーム〜ｎフレーム間のＢピクチャの動き予測情報である。ここで、定数ＮはＧＯＰ内のピクチャ数を表し、フレーム内符号化画像の出現間隔を意味するパラメータである。また、ｎ，ｍは任意の正の整数である。
【００１６】
時間変移判定部２は複数のフレーム内符号化画像の符号化情報Ａをもとに時間的推移の状態を検討する。そして、該検討の上で、テロップ領域候補となる領域をＩピクチャ上で設定し、この領域の位置情報Ｄをテロップ位置判定部３へ出力する。
【００１７】
テロップ位置判定部３では、時間変移判定部２からの位置情報Ｄをもとにテロップ判定対象のブロックを決定する。同時に、可変長復号部１からは対象ブロックの符号化モード情報Ｂを入力し、判定対象ブロック毎に符号化モードの選定状況を把握する。これらの結果を基に、テロップに相応しい符号化モードを持つブロックをＩピクチャ上から抜き出し、そのブロックの位置情報Ｅを出現フレーム判定部４へ送る。
【００１８】
出現フレーム判定部４ではテロップ位置判定部３から入力されたブロックの位置情報Ｅをもとに検出対象ブロックを決定し、同時に可変長復号部１から動き予測情報Ｃを受け取る。動き予測情報Ｃをもとに、どのフレームからテロップが出現したかのフレーム判定処理を行う。
【００１９】
この判定結果Ｆは、検出結果表示部または記録部（図示されていない）へ出力される。検出結果表示部または記録部は検出結果を出力し、要求があれば抽出領域の映像を部分的に復号し提示する。
【００２０】
次に、前記時間変移判定部２の機能を、図２のフローチャートを参照して、詳細に説明する。時間変移判定部２は４つの処理を行う。この４つの処理は、ステップＳ１のライン変動判定処理と、ステップＳ２のブロック変動判定処理と、ステップＳ３の収束判定処理と、ステップＳ４の形状整形処理である。
【００２１】
前記ライン変動判定処理（ステップＳ１）は、入力してくる２つのフレーム内(Intra) 符号化画像Ｉn-N 、Ｉn の符号化データに対して処理を行う。ここで、定数ＮはＧＯＰ内のピクチャ数を表し、フレーム内符号化画像の出現間隔を意味するパラメータである。ライン変動判定処理は、時間経過によって変化が生じた領域をブロックの１ライン単位で抽出する。ステップＳ１の処理で変動領域と判定された領域の位置情報は、ステップＳ２のブロック変動判定処理の入力となる。該ブロック変動判定処理ではブロック単位で変動領域を判定し、該抽出ブロックはステップＳ３の収束判定処理に送られる。
【００２２】
該収束判定処理は、指定された領域に対して、Ｉn 以降のフレームＩn+mN（０＜ｍ＜ｑ）全てにおいて変化が収束する領域を抽出し、該領域をテロップ領域候補とする。ここで、定数ｑは収束判定対象となるフレーム数を表し、１以上の値を取る。ステップＳ４の形状整形処理はテロップ領域候補を受け取り、テロップの大きさを考慮して孤立した小領域を排除する。次に膨張収縮処理にてテロップ領域候補の欠損部を補い、次以降の判定処理のためテロップ領域候補を整形する。以上で、前記時間変移判定部２の処理は終了する。
【００２３】
該時間変移判定部２は、現在のフレーム内符号化画像と一つ前のフレーム内符号化画像との比較によって変化が認められた領域に着目して、その領域のみ未来のフレーム内符号化画像において変化が収束するか否かを検討する。具体的な時間変化の発生判定には、ＤＣＴ係数のＤＣ成分とＡＣ成分を個別に判定基準として用いる。
【００２４】
以下に、前記ステップＳ１〜Ｓ３の処理を、図３〜図５を参照して、より詳細に説明する。
【００２５】
まず、図３を参照して、前記図２のステップＳ１のライン変動判定処理を説明する。図３(a) は、ＤＣ成分によるライン変動判定処理の詳細を示すフローチャートである。ライン変動判定処理には、フレームＩn と１ＧＯＰ前のフレームＩn-N のＤＣＴ係数ＤＣ成分情報が入力される。初めにテロップは画面に対して水平または垂直に現れると仮定して、ＤＣ成分はステップＳ１０の処理にて縦横それぞれ１ライン単位で読み込まれる。例えば、図３(b) に示されているように、フレームＩn と１ＧＯＰ前のフレームＩn-N の各ブロックのＤＣＴ係数のＤＣ成分が縦横１ライン単位で読み込まれる。
【００２６】
ステップＳ１１では、該ＤＣ成分の大まかな変化を捉えるため、粗く量子化した輝度ヒストグラムを生成する。ステップＳ１２では、過去のフレームＩn-N において同位置ラインのヒストグラムとの差分絶対値和を求める。ステップＳ１３では、閾値による判定を行い、閾値以上の差分値を持つラインはステップＳ１４で１ライン全体をテロップ領域候補とする。そうでなければ、ステップＳ１５で１ライン全体を非テロップ領域とする。
【００２７】
ステップＳ１６ではライン毎の処理が全ブロックについて全て終了したか否かを判断し、終了していなければステップＳ１０に戻り、次のラインについてステップＳ１０〜Ｓ１５の一連の処理を繰り返す。ステップＳ１６の判断が肯定の場合には、ステップＳ１７に移る。
【００２８】
ステップＳ１７はテロップ領域候補となったラインの本数を計数し、テロップ領域候補がフレームの大部分を占める場合はテロップ以外の原因による輝度変化として、全ブロックを非テロップ領域とした上で現フレームの検出処理を終了する。そうでなければ、抽出ブロックの位置情報を出力し、ＤＣ成分による時間変動判定処理を終了する。
【００２９】
次に、前記ステップＳ２のブロック変動判定処理を、図４を参照して説明する。図４(a) は、ＡＣ成分によるブロック変動判定処理のフローチャートを表す。該変動判定処理には、フレームＩn とフレームＩn-N のＤＣＴ係数ＡＣ成分情報が入力され、ブロック単位で処理する。文字と背景が織り成すエッジ領域はＤＣＴ係数ＡＣ成分の多寡に対応するので、ブロックの部分和の変化が空間的、時間的ともに閾値を超えるブロックをテロップ領域とする。
【００３０】
ステップＳ１９は、対象ブロックが前記ステップＳ１のライン変動判定処理でテロップ領域候補と判定された領域であるか調べる。テロップ領域候補であれば処理を続行し、そうでなければ非テロップとした上で該ブロックに対する判定を終了する。ステップＳ２０は、テロップ領域候補に対してＡＣ成分の絶対値部分和を計算する。
【００３１】
図４(b) は変動判定に利用する係数範囲についての一例を表す。ここでは、ＤＣＴ係数ＡＣ成分について、ジグザグスキャンオーダーでＡＣ低周波成分９個の絶対値部分和による判定を使用している。
【００３２】
ステップＳ２１では、過去のフレーム（Ｉn-N フレーム）における同位置ブロックの、ＡＣ低周波成分９個の絶対値部分和との差分を計算する。ステップＳ２２では、閾値による判定を行い、閾値以上の差分値を持つブロックはステップＳ２３でテロップ領域候補とする。そうでなければ、ステップＳ２４で非テロップ領域候補とする。ステップＳ２５は全てのブロックに対して処理が完了したかを判断し、完了していなければ、ステップＳ１９に戻って、ステップＳ１９〜Ｓ２４の一連の処理を繰り返す。ステップＳ２５で、全ブロックの処理が完了したと判定されると、ＡＣ成分による変動判定処理は終了する。
【００３３】
次に、前記ステップＳ３の収束判定処理の詳細を、図５を参照して説明する。図５(a) は、該収束判定処理のフローチャートを表す。変動領域はテロップの出現である可能性が高いが、移動する物体やカメラワークによる変動である可能性も否めない。テロップは出現過渡期においては時間的な輝度変動が激しいが、定常状態では逆に輝度変化がほとんど生じない。よって、該収束判定処理には、前記ステップＳ１、Ｓ２で抽出したテロップ領域候補のうち、テロップ出現以外の要因による変動領域を除去するため、テロップの位置に対する定常性を利用する。
【００３４】
具体的には、画面全体に対しＤＣ成分の時間的変化を判断基準にシーンチェンジ等が無いことを確認した上で、テロップ領域候補に対し静止したテロップのエッジの方向と位置が同一であることを利用する。エッジの一致性には、ＡＣ成分の部分和を利用したクラス分類を用いる。例えば、図４(b) に示した９つのＡＣ成分を更に縦（垂直）、横（水平）、対角要素の３つの部分に分割したとき、図５(b) で示すように４つのブロックから、合計で１２個のクラスを形成することができる。
【００３５】
ステップＳ３の収束判定処理には、フレームＩn からフレームＩn+qNまでのＤＣＴ係数ＡＣ成分情報が入力される。ステップＳ２６では、対象ブロックがテロップ領域候補であるか否かを調べる。テロップ領域候補であれば、処理を続行し、そうでなければ、非テロップ領域とした上で該ブロックの収束判定処理を終了する。ステップＳ２７は、フレームＩn における対象ブロックのエッジクラスを決定する。例えば、図５(b) の前記１２個のクラスから、最大部分和をもつエッジクラスを求める。ステップＳ２８では、フレームＩn+mN（０＜ｍ＜ｑ）における同位置ブロックの同エッジクラスを決定する。一般にフレーム内符号化画像は１２〜１５フレーム間隔で配置されることが多いため、３０ｆｐｓならば、およそ０．５秒間隔で配置されていることになる。２秒以上テロップが提示されていると仮定すれば、ｑの値は４程度まで設定できる。
【００３６】
ステップＳ２９では、前記ステップＳ２７とＳ２８で求められたエッジクラスの部分和が一致するかを判定する。一致する場合は、ステップＳ３０で該ブロックをテロップ領域候補とする。そうでなければ、ステップＳ３１で非テロップ領域候補とする。ステップＳ３２は全てのブロックに対して処理が完了したかを判断し、完了していなければ、ステップＳ２６に戻り、該ステップＳ２６〜Ｓ３１の一連の処理を繰り返す。全ブロックの処理が完了していれば、クラス分類による収束判定処理を終了する。
【００３７】
以上の時間変移判定処理により、テロップ領域候補となる領域がＩピクチャ上で設定されたことになる。
【００３８】
次に、図６を参照して、前記符号化モード情報によるテロップ位置判定部３（図１参照）の機能を説明する。テロップ位置判定部３には、時間変移判定部２にて抽出されたテロップ領域候補情報が入力される。同時に可変長復号部１からはフレームＩn とフレームＩn+mNの間に存在するフレーム（Ｐ，Ｂピクチャ）の符号化モード情報が入力される。複数のフレームに渡って、同位置に存在するブロック群を１単位として処理する。符号化モード情報によるテロップの検証は、前述の検出処理で抽出されたテロップ領域候補に限定して行う。
【００３９】
ステップＳ３３は対象ブロックが時間変移判定部２でテロップ領域候補と判定されているか否かを判断する。テロップ領域候補であれば処理を続行し、そうでなければ非テロップとした上で該ブロックに対する判定を終了する。ステップＳ３４は符号化モード情報と動き予測情報の参照するフレーム間距離から計数カウンタを生成する。ステップＳ３５はステップＳ３４で計数されたカウンタに対して、閾値による判定を行う。閾値以上を持つカウンタを形成したブロック群はステップＳ３６にてテロップ領域候補とする。そうでなければ、ステップＳ３７で非テロップ領域候補とする。ステップＳ３８は全てのブロックに対して処理が完了したかを判断し、完了していなければ、ステップＳ３３に戻って、ステップＳ３３〜Ｓ３７の一連の処理を繰り返す。全ブロックの処理が完了していれば、ステップＳ３９の処理に移る。ステップＳ３９はテロップ領域候補に対して形状整形処理を行う。処理内容は形状整形処理部（前記ステップＳ４）と同一である。以上で符号化モード情報による判定処理を終了する。
【００４０】
入力情報の一つである符号化モード情報には、フレーム符号化情報とブロック符号化情報を用いる。フレーム符号化情報には次の３種類が存在する。
(1) フレーム内符号化画像 （Ｉピクチャ）
(2) 順方向予測画像 （Ｐピクチャ）
(3) 双方向予測画像 （Ｂピクチャ）
【００４１】
ブロック符号化モードには、フレーム内符号化ブロック（Intra ）とフレーム間符号化ブロック（Inter ）がある。さらに、フレーム間符号化ブロックには動き補償と符号化の有無から次に示す４種類が存在する。
(1) 動き補償符号化ブロック （MC coded）
(2) フレーム差分符号化ブロック （no MC coded ）
(3) 動き補償ブロック （MC no coded ）
(4) スキップト・ブロック （Skip）
ただし、動き予測には順方向、逆方向、両方向の３種類が存在する。
【００４２】
このとき、静止したテロップの特徴と、対応するブロックの符号化モードとの間に高い相関が存在する。例えば、静止したテロップには動き予測情報が存在しないか、若しくはその大きさが０に近い。また、テロップを構成する文字列の特徴として境界部のエッジを挙げているように、複雑なテクスチャが存在するため動き予測誤差情報が省略されることは少ない。
【００４３】
よって、上記の特徴を備えるno MC coded 符号化モードは、テロップである可能性が最も高い。しかし、実映像の符号化過程を考慮するとき、符号化器の精度が向上するほど、静止領域には動き予測情報が与えられない。つまりテロップの有無に関わらず、動き予測情報を持たないモードが選択されることが多くなる。また、動き予測の参照フレームが近いほど移動している領域でも見かけの動きが小さいため、動き予測情報が割り当てられないことがある。
【００４４】
この問題を解決する方法として、符号化モードによる判定を行う際、時間的距離の概念を導入し、符号化モードの信頼性情報として利用する。参照フレームが近い場合は動き予測情報が存在しなくても、それがテロップである可能性を保証するものではないので符号化モード情報の信頼度は低く設定する。逆に動き予測情報が存在するならば、明確な移動物体が存在するものとして非テロップ領域候補としての信頼度は高くする。一方、参照フレームが遠く離れている場合は逆の設定を用意する。すなわち、動き予測情報が存在しない場合は完全に静止した領域と判断できるので、テロップ領域候補としての符号化モード情報の信頼度を高く設定する。また、動き予測情報が存在しても、非テロップ領域候補としての符号化モード情報の信頼度は低く設定する。
【００４５】
この時間的距離を信頼性情報とした符号化モード情報による計数法（前記ステップＳ３４）の一例を、図７のフローチャートを参照して説明する。入力される情報は同位置のブロック群の符号化モード情報である。
【００４６】
ステップＳ４０では、動き予測情報が参照するフレームまでの距離を算出する。ただし、予測方式が両方向予測のときは距離の近い方を採用する。ステップＳ４１はブロックの符号化モード情報を用いて判定を下す。ブロックの符号化タイプが動き予測情報を持つMC coded、MC no coded ならば、ステップＳ４２にてステップＳ４０で求めた参照フレームまでの時間的距離に反比例した数を減算する。一方、動き予測情報を持たないIntra 、動き予測情報の大きさが０であるno MC coded 、またはSkipならば、ステップＳ４３で時間的距離に比例した数を加算する。ステップＳ４４は同位置に存在するブロックに対して処理がすべて終了したかを判断し、終了していなければ次のブロックについてステップＳ４０から一連の操作を繰り返す。そうでなければカウンタの計数を終了する。
【００４７】
以上のテロップ位置判定処理により、テロップに相応しい符号化モードを持つブロックをＩピクチャ上から抜き出すことができる。
【００４８】
次に、前記出現フレーム判定部４の動作を説明する。動き予測情報によるテロップの検証は、前述の検出処理で抽出されたテロップ領域候補に限定して行う。ここでは、ブロックの符号化モードと動きベクトルの時間的参照方向を利用する。テロップが出現するとき、ＩまたはＰピクチャに区切られた連続するＢピクチャ（以下、これをＢピクチャ群という）のテロップ領域には次に挙げる性質が現れる。
(1) Ｂピクチャ群に両方向予測が存在しない。
(2) 出現フレームがＩ、又はＰピクチャのとき、Ｂピクチャ群に順方向動きベクトルのみ存在する。
(3) 出現フレームがＢピクチャのとき、Ｂピクチャ群に逆方向動きベクトルも存在する。
(4) 出現フレームがＢピクチャのとき、Ｂピクチャ群に順逆方向の切り替わりは一度だけ存在する。
(5) テロップ出現後は動きベクトルを持たない。
【００４９】
上記の性質の理解を容易にするために、図９を示す。同図(a) 、(b) から、Ｂピクチャ、Ｉピクチャ、またはＰピクチャにテロップが出現する時には、前記(1) のようにＢピクチャ群に両方向予測が存在しないことは明らかである。また、テロップの出現フレームがＩ、又はＰピクチャのときには、同図(b) から、前記(2) のようにＢピクチャ群に順方向動きベクトルのみが存在することは明らかである。また、テロップ出現フレームがＢピクチャのときには、同図(a) から、Ｂピクチャ群は前記(3) 、(4) の性質を有することは明らかである。なお、同図(c) に示されているように、Ｂピクチャ群に両方向予測が存在する場合には、Ｉ，ＰおよびＢピクチャ群のいずれにもテロップは出現しない。
【００５０】
したがって、Ｂピクチャ群の動き予測情報からテロップの出現フレームを上記の条件(1) 〜(5) を満たすフレームに絞り込む。なお、図９におけるＢピクチャ群の両側が、共にＰピクチャであることもありうる。
【００５１】
具体的には、時間変移判定部２で複数のフレーム内符号化画像にテロップの出現が検知されたとき、出現フレーム判定部４はＧＯＰ内部のＢピクチャ群について上記の特性（性質）を検証する。初めに、Ｂピクチャ群毎に、個々のブロックに対して動き予測情報の時間的参照方向を調べる。Ｂピクチャ群が順方向予測のみで構成される場合（前記性質２）は、直後のＩまたはＰピクチャにテロップが出現したものと判断する。Ｂピクチャ群が逆方向を含む場合、又は順方向から逆方向への変化が一度だけ存在する場合（前記性質３、４）は、逆方向が始まったＢピクチャにテロップが出現したと判断する。これら以外の場合は、この連続するＢピクチャ群にはテロップの出現はないと判断し、次のＢピクチャ群について判定処理を続ける。これにより、テロップの出現フレームはフレーム単位で検出することが可能となる。
【００５２】
ただし、静止したテロップを仮定しているため、動き予測情報自体の長さはほぼ０であるブロックに限定する。動き予測情報が有意な長さを持つブロックは参照方向の如何に関わらず、テロップ領域候補から外す。同様に、テロップ出現判定後のＧＯＰに対しても、同位置のブロック毎に、動き予測情報の長さを検証する。長さが十分０に近くなければ、そのブロックはテロップ領域候補から除外する。
【００５３】
図８に動き予測情報による出現フレーム判定部４の動作のフローチャートを示す。テロップ位置判定部３からはテロップ領域候補の位置情報が入力される。同時に可変長復号部１からはフレームＩn-N とフレームＩn 間にあるフレームの動き予測情報が入力される。判定はＢピクチャ群の個々のブロックを対象とする。
【００５４】
ステップＳ４５では、対象ブロックがテロップ位置判定部３でフレームＩn においてテロップ領域候補と判定されているか否かを判断する。テロップ領域候補であれば処理を続行し、そうでなければ該ブロック群に対する判定を終了する。ステップＳ４６は前述したテロップ出現に伴うＢピクチャ群の特性を検証する（前記性質(1) 〜(5) 、および図９参照）。ステップＳ４７ではステップＳ４６の出力が上記の性質を満たしているものであるか否かを判断し、満たしているならば、ステップＳ４８にて逆方向ベクトルが出現したＢピクチャフレーム，あるいはＩまたはＰピクチャフレームをテロップの出現フレームとして出力する。そうでなければ、ステップＳ４９にて該ブロックを非テロップとし、該Ｂピクチャ群にはテロップが出現していないと判断する。ステップＳ５０はＢピクチャ群の全てのブロックに対して判定処理が完了したかを判断する。終了していなければ、ステップＳ４５に戻って、次のブロックに対して前記ステップＳ４５〜Ｓ４９の一連の処理を繰り返す。そうでなければ判定処理を続ける。
【００５５】
ステップＳ５１はＧＯＰ内部のすべてのＢピクチャ群に対して判定処理が完了したかを判断する。終了していなければ次のＢピクチャ群について、ステップＳ４５〜Ｓ５０の一連の処理を繰り返す。そうでなければ、処理を終了する。なお、ステップＳ４８で、テロップ開始フレームが検出されなかった場合には、、全ブロックを非テロップ領域とし、出現フレーム判定部４の処理を終了する。この場合には、該出現フレーム判定部４は、その後、次のＧＯＰ内部のすべてのＢピクチャ群に対して、図８の判定処理を再度行う。
【００５６】
上記の説明から明らかなように、本発明によれば、以下の特徴(1) 〜(5) を提供することができる。
(1) テロップ領域の検出過程を段階的にするようにしたので、高速な処理と高精度な処理を両立させることができる。
(2) 時間的な変動判定とそれに続く収束判定とを行うようにしたので、不要な変動領域を排除して、テロップ領域の検出処理をすることができるようになる。
(3) 有意な動き予測情報を備えるブロックを検出対象から除外することができるようになる。
(4) 符号化モード情報の信頼性を考慮して、重み付け計数による検出判定を行うことができるようになる。
(5) 動き予測情報を利用して、１フレーム単位でのテロップ検出解像度を達成できるようになる。
【００５７】
【発明の効果】
以上の説明から明らかなように、本発明によれば、圧縮符号化された動画像データを部分的に復号することに加え、１０数フレームの間隔をおいたフレーム（例えば、フレーム内符号化画像）を対象とした検出をまず行い、次いで１フレーム単位での検出を行うというように、テロップ開始フレームの検出処理を階層的にしたので、従来の画素領域の検出方式（前記第１の検出方式）は無論のこと、符号データ領域での検出方式（前記第２、第３の検出方式）と比較しても処理コストを抑えることが可能となる。つまり、本発明では、テロップ検出判定の適用範囲を必要最小限に抑えることができるため、圧縮符号化データ上でのテロップ領域抽出方式の処理量の低減および高速性を更に向上することが可能となる。
【００５８】
また、本発明は、テロップの出現に伴う前兆（変動）と出現後の定常性（収束性）の２性質をそれぞれ異なる判別法で判定するようにしたので、第２、第３の検出方式と比較してはるかに優れた検出精度を達成することが可能となる。
【００５９】
また、本発明は、符号化モード情報を利用してテロップ領域候補となるブロックの精度を高め、動き予測情報を利用してテロップ開始フレームを求めるようにしたので、テロップ検出解像度を高めることが可能になる。
【図面の簡単な説明】
【図１】 本発明の一実施形態の概略の構成を示すブロック図である。
【図２】 図１の時間変移判定部の動作を示すフローチャートである。
【図３】 図２のライン変動判定処理（ステップＳ１）の詳細を示すフローチャートおよび説明図である。
【図４】 図２のブロック変動判定処理（ステップＳ２）の詳細を示すフローチャートおよび説明図である。
【図５】 図２の収束判定処理（ステップＳ３）の詳細を示すフローチャートおよび説明図である。
【図６】 図１のテロップ位置判定部の動作を示すフローチャートである。
【図７】 図６の重み付け符号化モード計数処理（ステップＳ３４）の詳細を示すフローチャートである。
【図８】 図１の出現フレーム判定部の動作を示すフローチャートである。
【図９】 図８の出現予兆の検証処理（ステップＳ４６）の説明図である。
【図１０】 従来の第１の検出方式の構成を示すブロック図である。
【符号の説明】
１…可変長復号部、２…時間変移判定部、３…テロップ位置判定部、４…出現フレーム判定部。
【発明の属する技術分野】
この発明は動画像内のテロップ領域検出装置に関し、特に、圧縮符号化データそのものまたはその一部だけを復号した情報から、高速かつ高精度にテロップ領域を抽出できる動画像内のテロップ領域検出装置に関する。
【０００２】
【従来の技術】
従来のテロップ領域を検出する方式（以下、第１の検出方式）、特にニュース映像からのテロップ検出方式として、時間的な輝度分布差分値をテロップの検出判定に使用する方式がある。また、出現位置の局所性、規則的な配置などの幾何的な性質からテロップを求める方式、エッジ分布の偏向や色の類似性など文字としての特徴量からテロップを求める方式が報告されている。さらに、これら特徴量を解析する方法として、ニューラルネットワークや遺伝アルゴリズムを取り入れたテロップ領域検出方法などが提案されている。これらの方式は、動画像における各画素の輝度値を対象に様々なアルゴリズムを適用してテロップ領域を抽出する方式である。
【０００３】
また、他のテロップ検出方式では画素そのものを利用するのではなく、圧縮符号化された動画像の符号化データそのものを利用する方式が提案されている。この方式は圧縮の際に求められる各種のパラメータや符号化データを直接操作することでテロップ領域の検出処理を達成する。
【０００４】
従来の動き予測誤差の時間的変化に注目した方式（以下、第２の検出方式）は、画像内の符号単位ブロックについて動き予測情報の時間変動を観測し、テロップの瞬時的な出現を検出する。必要最小限の情報のみを取捨選択しテロップ領域の抽出を行う。このため、抽出される解像度は動き予測情報を持つ各圧縮方式の符号化単位ブロックの大きさに設定される。
【０００５】
さらに、符号単位ブロックの符号化モードに着目した方式（以下、第３の検出方式）は、静止したテロップの特徴と符号化モードの相関から、符号化モードに応じて計数カウンタを増減させる。閾値以上の領域をテロップ領域候補と認識し、更に形状判断することで、テロップとして抽出する。なお、該第３の検出方式を開示した文献として、例えば、電子情報通信学会論文誌 D-II, Vol.J81-D-IINo.8,PP1847-1855,1998 年8 月「ＭＰＥＧ符号化映像からの高速テロップ領域検出法」がある。
【０００６】
【発明が解決しようとする課題】
前記第１の検出方式を圧縮符号化された動画像データに適用するには、符号化データを一旦復号する必要があり、圧縮符号化データを画素領域の情報に戻さねばテロップ検出処理を適用できない。よって、第１の検出方式は、例えば図１０のブロック図で示される構成により実現される。
【０００７】
図１０の可変長復号部５１は圧縮された画像符号化データを入力とし、可変長復号、逆量子化や係数範囲制限等の復号処理を行う。可変長復号部５１からは復号されたフレームやブロックの符号化モード情報、動き予測情報、動き予測誤差情報等が出力される。画像生成部５２の入力は可変長復号部５１からの予測誤差情報であり、逆変換を経て１フレームの画像データを生成する。また、動き補償部５２は動き予測の参照フレームを保持している画像メモリ５３から動き予測情報を使ってブロックを抽出し、完全な１フレームを構成するために画像生成部５２の出力画像データと加算する。この画像はテロップ検出部５４へ入力されるとともに、次フレーム以降の参照画像となるフレームならば画像メモリ５３に蓄積される。これら一連の復号処理の後、テロップ検出部５４にて、初めて画素領域でのテロップ領域検出処理が施される。テロップ検出部５４による検出結果は、画像表示部５５に送られる。
【０００８】
この第１の検出方式では、圧縮データの復号処理および復号された画像を用いたテロップ領域検出処理に、大きな計算コストがかかるという問題がある。
【０００９】
一方、前記第２、第３の検出方式は圧縮符号化データそのものを利用するので、復号処理過程が省略でき検出処理も高速に実行できる。しかし、実際の動画像では、パン、チルトなどのカメラワークや、ワイプ、ディゾルブなどの撮影後に編集された映像効果などの要因によって、動き予測誤差情報の変化が激しくなり、テロップの出現との判別が難しい。特にシーンチェンジにおいてはこの影響が大きく、第２の検出方式ではシーンチェンジ後のフレームをテロップ領域と誤認識するなど、検出精度が劣るという問題がある。
【００１０】
また、第３の検出方式はテロップ領域外に動きベクトルが多数存在する場合に検出率が高くなる特性を持つ。しかし、低解像度の映像では動きベクトルが相対的に小さくなり、符号化モードの分布も異なってくる。また、ニュース映像等はカメラが固定されている場合が多く、背景に動きベクトルが存在しないような場合、テロップ以外の領域をテロップ領域と誤検出する恐れがある。
【００１１】
本発明の目的は、前述した従来技術の問題点を解消し、圧縮された符号化データそのもの、またはその一部だけを復号した情報からテロップの出現を高速かつ高精度に検出できるテロップ領域検出装置、およびフレーム内でのテロップ位置を抽出できるテロップ領域検出装置を提供することにある。
【００１２】
前述の目的を達成するために、本発明は、圧縮された動画像のデータを入力とし、該動画像のデータにテロップ領域情報を付加して出力する動画像内のテロップ領域検出装置において、前記圧縮された動画像のデータを可変長復号する可変長復号部と、該可変長復号部で復号された現在と一つ前のフレーム内符号化画像とを比較して変化が認められた領域について該変化が収束するか否かを検知し、収束すると検知された場合にテロップ候補の位置情報を出力する時間変移判定部と、前記フレーム内符号化画像間に存在する前記可変長復号部で復号されたフレーム間符号化画像において、前記テロップ候補の位置情報に該当するブロックの符号化モードの種類からテロップに相応しい符号化モードをもつブロックを前記フレーム内符号化画像上から抜き出し、そのブロックの位置情報を出力するテロップ位置判定部と、前記フレーム間符号化画像の前記テロップ候補のブロックに関して、前記可変長復号部から出力される双方向予測画像群の動き予測情報の参照方向の時間的変化からテロップの出現フレームを検出する出現フレーム判定部とを具備した点に特徴がある。
【００１３】
この特徴によれば、テロップ領域の検出過程を段階的にしたので、高速でかつ高精度なテロップ領域検出処理を行うことができるようになる。
【００１４】
【発明の実施の形態】
以下に、本発明を、図面を参照して説明する。図１に本発明の一実施形態の構成を示すブロック図を表す。なお、この実施形態は入力動画像の符号化方式に国際標準であるMPEG-1ビデオ(ISO/IEC11172-2)を使用しているが、本発明はこれに限定されるものではない。
【００１５】
システム全体の入力として、圧縮符号化された動画像の符号化データが与えられる。符号化データは可変長復号部１により必要な情報だけが部分的に復号され、該復号された情報Ａ，Ｂ，Ｃは、それぞれ時間変移判定部２、テロップ位置判定部３、および出現フレーム判定部４に送られる。ここに、前記情報Ａは、（ｎ−Ｎ）フレーム〜（ｎ＋ｍＮ）フレーム間のフレーム内符号化画像（Ｉピクチャ）の符号化情報、Ｂは、ｎフレーム〜（ｎ＋ｍＮ）フレーム間のＰ、Ｂピクチャの符号化モード情報、Ｃは、（ｎ−Ｎ）フレーム〜ｎフレーム間のＢピクチャの動き予測情報である。ここで、定数ＮはＧＯＰ内のピクチャ数を表し、フレーム内符号化画像の出現間隔を意味するパラメータである。また、ｎ，ｍは任意の正の整数である。
【００１６】
時間変移判定部２は複数のフレーム内符号化画像の符号化情報Ａをもとに時間的推移の状態を検討する。そして、該検討の上で、テロップ領域候補となる領域をＩピクチャ上で設定し、この領域の位置情報Ｄをテロップ位置判定部３へ出力する。
【００１７】
テロップ位置判定部３では、時間変移判定部２からの位置情報Ｄをもとにテロップ判定対象のブロックを決定する。同時に、可変長復号部１からは対象ブロックの符号化モード情報Ｂを入力し、判定対象ブロック毎に符号化モードの選定状況を把握する。これらの結果を基に、テロップに相応しい符号化モードを持つブロックをＩピクチャ上から抜き出し、そのブロックの位置情報Ｅを出現フレーム判定部４へ送る。
【００１８】
出現フレーム判定部４ではテロップ位置判定部３から入力されたブロックの位置情報Ｅをもとに検出対象ブロックを決定し、同時に可変長復号部１から動き予測情報Ｃを受け取る。動き予測情報Ｃをもとに、どのフレームからテロップが出現したかのフレーム判定処理を行う。
【００１９】
この判定結果Ｆは、検出結果表示部または記録部（図示されていない）へ出力される。検出結果表示部または記録部は検出結果を出力し、要求があれば抽出領域の映像を部分的に復号し提示する。
【００２０】
次に、前記時間変移判定部２の機能を、図２のフローチャートを参照して、詳細に説明する。時間変移判定部２は４つの処理を行う。この４つの処理は、ステップＳ１のライン変動判定処理と、ステップＳ２のブロック変動判定処理と、ステップＳ３の収束判定処理と、ステップＳ４の形状整形処理である。
【００２１】
前記ライン変動判定処理（ステップＳ１）は、入力してくる２つのフレーム内(Intra) 符号化画像Ｉn-N 、Ｉn の符号化データに対して処理を行う。ここで、定数ＮはＧＯＰ内のピクチャ数を表し、フレーム内符号化画像の出現間隔を意味するパラメータである。ライン変動判定処理は、時間経過によって変化が生じた領域をブロックの１ライン単位で抽出する。ステップＳ１の処理で変動領域と判定された領域の位置情報は、ステップＳ２のブロック変動判定処理の入力となる。該ブロック変動判定処理ではブロック単位で変動領域を判定し、該抽出ブロックはステップＳ３の収束判定処理に送られる。
【００２２】
該収束判定処理は、指定された領域に対して、Ｉn 以降のフレームＩn+mN（０＜ｍ＜ｑ）全てにおいて変化が収束する領域を抽出し、該領域をテロップ領域候補とする。ここで、定数ｑは収束判定対象となるフレーム数を表し、１以上の値を取る。ステップＳ４の形状整形処理はテロップ領域候補を受け取り、テロップの大きさを考慮して孤立した小領域を排除する。次に膨張収縮処理にてテロップ領域候補の欠損部を補い、次以降の判定処理のためテロップ領域候補を整形する。以上で、前記時間変移判定部２の処理は終了する。
【００２３】
該時間変移判定部２は、現在のフレーム内符号化画像と一つ前のフレーム内符号化画像との比較によって変化が認められた領域に着目して、その領域のみ未来のフレーム内符号化画像において変化が収束するか否かを検討する。具体的な時間変化の発生判定には、ＤＣＴ係数のＤＣ成分とＡＣ成分を個別に判定基準として用いる。
【００２４】
以下に、前記ステップＳ１〜Ｓ３の処理を、図３〜図５を参照して、より詳細に説明する。
【００２５】
まず、図３を参照して、前記図２のステップＳ１のライン変動判定処理を説明する。図３(a) は、ＤＣ成分によるライン変動判定処理の詳細を示すフローチャートである。ライン変動判定処理には、フレームＩn と１ＧＯＰ前のフレームＩn-N のＤＣＴ係数ＤＣ成分情報が入力される。初めにテロップは画面に対して水平または垂直に現れると仮定して、ＤＣ成分はステップＳ１０の処理にて縦横それぞれ１ライン単位で読み込まれる。例えば、図３(b) に示されているように、フレームＩn と１ＧＯＰ前のフレームＩn-N の各ブロックのＤＣＴ係数のＤＣ成分が縦横１ライン単位で読み込まれる。
【００２６】
ステップＳ１１では、該ＤＣ成分の大まかな変化を捉えるため、粗く量子化した輝度ヒストグラムを生成する。ステップＳ１２では、過去のフレームＩn-N において同位置ラインのヒストグラムとの差分絶対値和を求める。ステップＳ１３では、閾値による判定を行い、閾値以上の差分値を持つラインはステップＳ１４で１ライン全体をテロップ領域候補とする。そうでなければ、ステップＳ１５で１ライン全体を非テロップ領域とする。
【００２７】
ステップＳ１６ではライン毎の処理が全ブロックについて全て終了したか否かを判断し、終了していなければステップＳ１０に戻り、次のラインについてステップＳ１０〜Ｓ１５の一連の処理を繰り返す。ステップＳ１６の判断が肯定の場合には、ステップＳ１７に移る。
【００２８】
ステップＳ１７はテロップ領域候補となったラインの本数を計数し、テロップ領域候補がフレームの大部分を占める場合はテロップ以外の原因による輝度変化として、全ブロックを非テロップ領域とした上で現フレームの検出処理を終了する。そうでなければ、抽出ブロックの位置情報を出力し、ＤＣ成分による時間変動判定処理を終了する。
【００２９】
次に、前記ステップＳ２のブロック変動判定処理を、図４を参照して説明する。図４(a) は、ＡＣ成分によるブロック変動判定処理のフローチャートを表す。該変動判定処理には、フレームＩn とフレームＩn-N のＤＣＴ係数ＡＣ成分情報が入力され、ブロック単位で処理する。文字と背景が織り成すエッジ領域はＤＣＴ係数ＡＣ成分の多寡に対応するので、ブロックの部分和の変化が空間的、時間的ともに閾値を超えるブロックをテロップ領域とする。
【００３０】
ステップＳ１９は、対象ブロックが前記ステップＳ１のライン変動判定処理でテロップ領域候補と判定された領域であるか調べる。テロップ領域候補であれば処理を続行し、そうでなければ非テロップとした上で該ブロックに対する判定を終了する。ステップＳ２０は、テロップ領域候補に対してＡＣ成分の絶対値部分和を計算する。
【００３１】
図４(b) は変動判定に利用する係数範囲についての一例を表す。ここでは、ＤＣＴ係数ＡＣ成分について、ジグザグスキャンオーダーでＡＣ低周波成分９個の絶対値部分和による判定を使用している。
【００３２】
ステップＳ２１では、過去のフレーム（Ｉn-N フレーム）における同位置ブロックの、ＡＣ低周波成分９個の絶対値部分和との差分を計算する。ステップＳ２２では、閾値による判定を行い、閾値以上の差分値を持つブロックはステップＳ２３でテロップ領域候補とする。そうでなければ、ステップＳ２４で非テロップ領域候補とする。ステップＳ２５は全てのブロックに対して処理が完了したかを判断し、完了していなければ、ステップＳ１９に戻って、ステップＳ１９〜Ｓ２４の一連の処理を繰り返す。ステップＳ２５で、全ブロックの処理が完了したと判定されると、ＡＣ成分による変動判定処理は終了する。
【００３３】
次に、前記ステップＳ３の収束判定処理の詳細を、図５を参照して説明する。図５(a) は、該収束判定処理のフローチャートを表す。変動領域はテロップの出現である可能性が高いが、移動する物体やカメラワークによる変動である可能性も否めない。テロップは出現過渡期においては時間的な輝度変動が激しいが、定常状態では逆に輝度変化がほとんど生じない。よって、該収束判定処理には、前記ステップＳ１、Ｓ２で抽出したテロップ領域候補のうち、テロップ出現以外の要因による変動領域を除去するため、テロップの位置に対する定常性を利用する。
【００３４】
具体的には、画面全体に対しＤＣ成分の時間的変化を判断基準にシーンチェンジ等が無いことを確認した上で、テロップ領域候補に対し静止したテロップのエッジの方向と位置が同一であることを利用する。エッジの一致性には、ＡＣ成分の部分和を利用したクラス分類を用いる。例えば、図４(b) に示した９つのＡＣ成分を更に縦（垂直）、横（水平）、対角要素の３つの部分に分割したとき、図５(b) で示すように４つのブロックから、合計で１２個のクラスを形成することができる。
【００３５】
ステップＳ３の収束判定処理には、フレームＩn からフレームＩn+qNまでのＤＣＴ係数ＡＣ成分情報が入力される。ステップＳ２６では、対象ブロックがテロップ領域候補であるか否かを調べる。テロップ領域候補であれば、処理を続行し、そうでなければ、非テロップ領域とした上で該ブロックの収束判定処理を終了する。ステップＳ２７は、フレームＩn における対象ブロックのエッジクラスを決定する。例えば、図５(b) の前記１２個のクラスから、最大部分和をもつエッジクラスを求める。ステップＳ２８では、フレームＩn+mN（０＜ｍ＜ｑ）における同位置ブロックの同エッジクラスを決定する。一般にフレーム内符号化画像は１２〜１５フレーム間隔で配置されることが多いため、３０ｆｐｓならば、およそ０．５秒間隔で配置されていることになる。２秒以上テロップが提示されていると仮定すれば、ｑの値は４程度まで設定できる。
【００３６】
ステップＳ２９では、前記ステップＳ２７とＳ２８で求められたエッジクラスの部分和が一致するかを判定する。一致する場合は、ステップＳ３０で該ブロックをテロップ領域候補とする。そうでなければ、ステップＳ３１で非テロップ領域候補とする。ステップＳ３２は全てのブロックに対して処理が完了したかを判断し、完了していなければ、ステップＳ２６に戻り、該ステップＳ２６〜Ｓ３１の一連の処理を繰り返す。全ブロックの処理が完了していれば、クラス分類による収束判定処理を終了する。
【００３７】
以上の時間変移判定処理により、テロップ領域候補となる領域がＩピクチャ上で設定されたことになる。
【００３８】
次に、図６を参照して、前記符号化モード情報によるテロップ位置判定部３（図１参照）の機能を説明する。テロップ位置判定部３には、時間変移判定部２にて抽出されたテロップ領域候補情報が入力される。同時に可変長復号部１からはフレームＩn とフレームＩn+mNの間に存在するフレーム（Ｐ，Ｂピクチャ）の符号化モード情報が入力される。複数のフレームに渡って、同位置に存在するブロック群を１単位として処理する。符号化モード情報によるテロップの検証は、前述の検出処理で抽出されたテロップ領域候補に限定して行う。
【００３９】
ステップＳ３３は対象ブロックが時間変移判定部２でテロップ領域候補と判定されているか否かを判断する。テロップ領域候補であれば処理を続行し、そうでなければ非テロップとした上で該ブロックに対する判定を終了する。ステップＳ３４は符号化モード情報と動き予測情報の参照するフレーム間距離から計数カウンタを生成する。ステップＳ３５はステップＳ３４で計数されたカウンタに対して、閾値による判定を行う。閾値以上を持つカウンタを形成したブロック群はステップＳ３６にてテロップ領域候補とする。そうでなければ、ステップＳ３７で非テロップ領域候補とする。ステップＳ３８は全てのブロックに対して処理が完了したかを判断し、完了していなければ、ステップＳ３３に戻って、ステップＳ３３〜Ｓ３７の一連の処理を繰り返す。全ブロックの処理が完了していれば、ステップＳ３９の処理に移る。ステップＳ３９はテロップ領域候補に対して形状整形処理を行う。処理内容は形状整形処理部（前記ステップＳ４）と同一である。以上で符号化モード情報による判定処理を終了する。
【００４０】
入力情報の一つである符号化モード情報には、フレーム符号化情報とブロック符号化情報を用いる。フレーム符号化情報には次の３種類が存在する。
(1) フレーム内符号化画像 （Ｉピクチャ）
(2) 順方向予測画像 （Ｐピクチャ）
(3) 双方向予測画像 （Ｂピクチャ）
【００４１】
ブロック符号化モードには、フレーム内符号化ブロック（Intra ）とフレーム間符号化ブロック（Inter ）がある。さらに、フレーム間符号化ブロックには動き補償と符号化の有無から次に示す４種類が存在する。
(1) 動き補償符号化ブロック （MC coded）
(2) フレーム差分符号化ブロック （no MC coded ）
(3) 動き補償ブロック （MC no coded ）
(4) スキップト・ブロック （Skip）
ただし、動き予測には順方向、逆方向、両方向の３種類が存在する。
【００４２】
このとき、静止したテロップの特徴と、対応するブロックの符号化モードとの間に高い相関が存在する。例えば、静止したテロップには動き予測情報が存在しないか、若しくはその大きさが０に近い。また、テロップを構成する文字列の特徴として境界部のエッジを挙げているように、複雑なテクスチャが存在するため動き予測誤差情報が省略されることは少ない。
【００４３】
よって、上記の特徴を備えるno MC coded 符号化モードは、テロップである可能性が最も高い。しかし、実映像の符号化過程を考慮するとき、符号化器の精度が向上するほど、静止領域には動き予測情報が与えられない。つまりテロップの有無に関わらず、動き予測情報を持たないモードが選択されることが多くなる。また、動き予測の参照フレームが近いほど移動している領域でも見かけの動きが小さいため、動き予測情報が割り当てられないことがある。
【００４４】
この問題を解決する方法として、符号化モードによる判定を行う際、時間的距離の概念を導入し、符号化モードの信頼性情報として利用する。参照フレームが近い場合は動き予測情報が存在しなくても、それがテロップである可能性を保証するものではないので符号化モード情報の信頼度は低く設定する。逆に動き予測情報が存在するならば、明確な移動物体が存在するものとして非テロップ領域候補としての信頼度は高くする。一方、参照フレームが遠く離れている場合は逆の設定を用意する。すなわち、動き予測情報が存在しない場合は完全に静止した領域と判断できるので、テロップ領域候補としての符号化モード情報の信頼度を高く設定する。また、動き予測情報が存在しても、非テロップ領域候補としての符号化モード情報の信頼度は低く設定する。
【００４５】
この時間的距離を信頼性情報とした符号化モード情報による計数法（前記ステップＳ３４）の一例を、図７のフローチャートを参照して説明する。入力される情報は同位置のブロック群の符号化モード情報である。
【００４６】
ステップＳ４０では、動き予測情報が参照するフレームまでの距離を算出する。ただし、予測方式が両方向予測のときは距離の近い方を採用する。ステップＳ４１はブロックの符号化モード情報を用いて判定を下す。ブロックの符号化タイプが動き予測情報を持つMC coded、MC no coded ならば、ステップＳ４２にてステップＳ４０で求めた参照フレームまでの時間的距離に反比例した数を減算する。一方、動き予測情報を持たないIntra 、動き予測情報の大きさが０であるno MC coded 、またはSkipならば、ステップＳ４３で時間的距離に比例した数を加算する。ステップＳ４４は同位置に存在するブロックに対して処理がすべて終了したかを判断し、終了していなければ次のブロックについてステップＳ４０から一連の操作を繰り返す。そうでなければカウンタの計数を終了する。
【００４７】
以上のテロップ位置判定処理により、テロップに相応しい符号化モードを持つブロックをＩピクチャ上から抜き出すことができる。
【００４８】
次に、前記出現フレーム判定部４の動作を説明する。動き予測情報によるテロップの検証は、前述の検出処理で抽出されたテロップ領域候補に限定して行う。ここでは、ブロックの符号化モードと動きベクトルの時間的参照方向を利用する。テロップが出現するとき、ＩまたはＰピクチャに区切られた連続するＢピクチャ（以下、これをＢピクチャ群という）のテロップ領域には次に挙げる性質が現れる。
(1) Ｂピクチャ群に両方向予測が存在しない。
(2) 出現フレームがＩ、又はＰピクチャのとき、Ｂピクチャ群に順方向動きベクトルのみ存在する。
(3) 出現フレームがＢピクチャのとき、Ｂピクチャ群に逆方向動きベクトルも存在する。
(4) 出現フレームがＢピクチャのとき、Ｂピクチャ群に順逆方向の切り替わりは一度だけ存在する。
(5) テロップ出現後は動きベクトルを持たない。
【００４９】
上記の性質の理解を容易にするために、図９を示す。同図(a) 、(b) から、Ｂピクチャ、Ｉピクチャ、またはＰピクチャにテロップが出現する時には、前記(1) のようにＢピクチャ群に両方向予測が存在しないことは明らかである。また、テロップの出現フレームがＩ、又はＰピクチャのときには、同図(b) から、前記(2) のようにＢピクチャ群に順方向動きベクトルのみが存在することは明らかである。また、テロップ出現フレームがＢピクチャのときには、同図(a) から、Ｂピクチャ群は前記(3) 、(4) の性質を有することは明らかである。なお、同図(c) に示されているように、Ｂピクチャ群に両方向予測が存在する場合には、Ｉ，ＰおよびＢピクチャ群のいずれにもテロップは出現しない。
【００５０】
したがって、Ｂピクチャ群の動き予測情報からテロップの出現フレームを上記の条件(1) 〜(5) を満たすフレームに絞り込む。なお、図９におけるＢピクチャ群の両側が、共にＰピクチャであることもありうる。
【００５１】
具体的には、時間変移判定部２で複数のフレーム内符号化画像にテロップの出現が検知されたとき、出現フレーム判定部４はＧＯＰ内部のＢピクチャ群について上記の特性（性質）を検証する。初めに、Ｂピクチャ群毎に、個々のブロックに対して動き予測情報の時間的参照方向を調べる。Ｂピクチャ群が順方向予測のみで構成される場合（前記性質２）は、直後のＩまたはＰピクチャにテロップが出現したものと判断する。Ｂピクチャ群が逆方向を含む場合、又は順方向から逆方向への変化が一度だけ存在する場合（前記性質３、４）は、逆方向が始まったＢピクチャにテロップが出現したと判断する。これら以外の場合は、この連続するＢピクチャ群にはテロップの出現はないと判断し、次のＢピクチャ群について判定処理を続ける。これにより、テロップの出現フレームはフレーム単位で検出することが可能となる。
【００５２】
ただし、静止したテロップを仮定しているため、動き予測情報自体の長さはほぼ０であるブロックに限定する。動き予測情報が有意な長さを持つブロックは参照方向の如何に関わらず、テロップ領域候補から外す。同様に、テロップ出現判定後のＧＯＰに対しても、同位置のブロック毎に、動き予測情報の長さを検証する。長さが十分０に近くなければ、そのブロックはテロップ領域候補から除外する。
【００５３】
図８に動き予測情報による出現フレーム判定部４の動作のフローチャートを示す。テロップ位置判定部３からはテロップ領域候補の位置情報が入力される。同時に可変長復号部１からはフレームＩn-N とフレームＩn 間にあるフレームの動き予測情報が入力される。判定はＢピクチャ群の個々のブロックを対象とする。
【００５４】
ステップＳ４５では、対象ブロックがテロップ位置判定部３でフレームＩn においてテロップ領域候補と判定されているか否かを判断する。テロップ領域候補であれば処理を続行し、そうでなければ該ブロック群に対する判定を終了する。ステップＳ４６は前述したテロップ出現に伴うＢピクチャ群の特性を検証する（前記性質(1) 〜(5) 、および図９参照）。ステップＳ４７ではステップＳ４６の出力が上記の性質を満たしているものであるか否かを判断し、満たしているならば、ステップＳ４８にて逆方向ベクトルが出現したＢピクチャフレーム，あるいはＩまたはＰピクチャフレームをテロップの出現フレームとして出力する。そうでなければ、ステップＳ４９にて該ブロックを非テロップとし、該Ｂピクチャ群にはテロップが出現していないと判断する。ステップＳ５０はＢピクチャ群の全てのブロックに対して判定処理が完了したかを判断する。終了していなければ、ステップＳ４５に戻って、次のブロックに対して前記ステップＳ４５〜Ｓ４９の一連の処理を繰り返す。そうでなければ判定処理を続ける。
【００５５】
ステップＳ５１はＧＯＰ内部のすべてのＢピクチャ群に対して判定処理が完了したかを判断する。終了していなければ次のＢピクチャ群について、ステップＳ４５〜Ｓ５０の一連の処理を繰り返す。そうでなければ、処理を終了する。なお、ステップＳ４８で、テロップ開始フレームが検出されなかった場合には、、全ブロックを非テロップ領域とし、出現フレーム判定部４の処理を終了する。この場合には、該出現フレーム判定部４は、その後、次のＧＯＰ内部のすべてのＢピクチャ群に対して、図８の判定処理を再度行う。
【００５６】
上記の説明から明らかなように、本発明によれば、以下の特徴(1) 〜(5) を提供することができる。
(1) テロップ領域の検出過程を段階的にするようにしたので、高速な処理と高精度な処理を両立させることができる。
(2) 時間的な変動判定とそれに続く収束判定とを行うようにしたので、不要な変動領域を排除して、テロップ領域の検出処理をすることができるようになる。
(3) 有意な動き予測情報を備えるブロックを検出対象から除外することができるようになる。
(4) 符号化モード情報の信頼性を考慮して、重み付け計数による検出判定を行うことができるようになる。
(5) 動き予測情報を利用して、１フレーム単位でのテロップ検出解像度を達成できるようになる。
【００５７】
【発明の効果】
以上の説明から明らかなように、本発明によれば、圧縮符号化された動画像データを部分的に復号することに加え、１０数フレームの間隔をおいたフレーム（例えば、フレーム内符号化画像）を対象とした検出をまず行い、次いで１フレーム単位での検出を行うというように、テロップ開始フレームの検出処理を階層的にしたので、従来の画素領域の検出方式（前記第１の検出方式）は無論のこと、符号データ領域での検出方式（前記第２、第３の検出方式）と比較しても処理コストを抑えることが可能となる。つまり、本発明では、テロップ検出判定の適用範囲を必要最小限に抑えることができるため、圧縮符号化データ上でのテロップ領域抽出方式の処理量の低減および高速性を更に向上することが可能となる。
【００５８】
また、本発明は、テロップの出現に伴う前兆（変動）と出現後の定常性（収束性）の２性質をそれぞれ異なる判別法で判定するようにしたので、第２、第３の検出方式と比較してはるかに優れた検出精度を達成することが可能となる。
【００５９】
また、本発明は、符号化モード情報を利用してテロップ領域候補となるブロックの精度を高め、動き予測情報を利用してテロップ開始フレームを求めるようにしたので、テロップ検出解像度を高めることが可能になる。
【図面の簡単な説明】
【図１】 本発明の一実施形態の概略の構成を示すブロック図である。
【図２】 図１の時間変移判定部の動作を示すフローチャートである。
【図３】 図２のライン変動判定処理（ステップＳ１）の詳細を示すフローチャートおよび説明図である。
【図４】 図２のブロック変動判定処理（ステップＳ２）の詳細を示すフローチャートおよび説明図である。
【図５】 図２の収束判定処理（ステップＳ３）の詳細を示すフローチャートおよび説明図である。
【図６】 図１のテロップ位置判定部の動作を示すフローチャートである。
【図７】 図６の重み付け符号化モード計数処理（ステップＳ３４）の詳細を示すフローチャートである。
【図８】 図１の出現フレーム判定部の動作を示すフローチャートである。
【図９】 図８の出現予兆の検証処理（ステップＳ４６）の説明図である。
【図１０】 従来の第１の検出方式の構成を示すブロック図である。
【符号の説明】
１…可変長復号部、２…時間変移判定部、３…テロップ位置判定部、４…出現フレーム判定部。
Claims (17)
- 圧縮された動画像のデータを入力とし、該動画像のデータにテロップ領域情報を付加して出力する動画像内のテロップ領域検出装置において、
前記圧縮された動画像のデータを可変長復号する可変長復号部と、
該可変長復号部で復号された現在と一つ前のフレーム内符号化画像とを比較して変化が認められた領域について該変化が収束するか否かを検知し、収束すると検知された場合にテロップ候補の位置情報を出力する時間変移判定部と、
前記フレーム内符号化画像間に存在する前記可変長復号部で復号されたフレーム間符号化画像において、前記テロップ候補の位置情報に該当するブロックの符号化モードの種類からテロップに相応しい符号化モードをもつブロックを前記フレーム内符号化画像上から抜き出し、そのブロックの位置情報を出力するテロップ位置判定部と、
前記フレーム間符号化画像の前記テロップ候補のブロックに関して、前記可変長復号部から出力される双方向予測画像群の動き予測情報の参照方向の時間的変化からテロップの出現フレームを検出する出現フレーム判定部とを具備したことを特徴とする動画像内のテロップ領域検出装置。 - 請求項１に記載の動画像内のテロップ領域検出装置において、
前記時間変移判定部は、テロップの出現判定として、フレーム間の動き予測誤差情報の差分値を判定基準に用いることを特徴とするテロップ領域検出装置。 - 請求項２に記載の動画像内のテロップ領域検出装置において、
前記時間変移判定部は、変動判定に用いるフレーム間の差分値として、動き予測誤差情報のＤＣＴ係数ＤＣ成分によるヒストグラム差分を利用することを特徴とするテロップ領域検出装置。 - 請求項２または３に記載の動画像内のテロップ領域検出装置において、
前記時間変移判定部は、動き予測誤差情報のヒストグラム差分を縦横それぞれブロックのライン毎に利用することを特徴とするテロップ領域検出装置。 - 請求項２に記載の動画像内のテロップ領域検出装置において、
前記時間変移判定部は、変動判定に用いるフレーム間の差分値として、動き予測誤差情報のＤＣＴ係数ＡＣ成分の部分絶対値和による差分を利用することを特徴とするテロップ領域検出装置。 - 請求項１に記載の動画像内のテロップ領域検出装置において、
前記時間変移判定部は、テロップ出現後の定常状態を確認する手段を有することを特徴とするテロップ領域検出装置。 - 請求項６に記載の動画像内のテロップ領域検出装置において、
前記時間変移判定部は、定常状態の確認にクラス分類による同一性判定を利用することを特徴とするテロップ領域検出装置。 - 請求項６または７に記載の動画像内のテロップ領域検出装置において、
前記時間変移判定部は、定常状態の把握に利用するクラスを動き予測誤差情報の係数分布の偏在をもとに形成することを特徴とするテロップ領域検出装置。 - 請求項６、７および８のいずれかに記載の動画像内のテロップ領域検出装置において、
前記時間変移判定部は、収束判定に用いるクラス形成に、動き予測誤差情報ＤＣＴ係数ＡＣ成分を縦、横、対角の３要素から識別したエッジ方向を利用することを特徴とするテロップ領域検出装置。 - 請求項１に記載の動画像内のテロップ領域検出装置において、
前記テロップ位置判定部は、テロップの判定に動き予測情報の大きさを判定基準にした０近似判定を利用することを特徴とするテロップ領域検出装置。 - 請求項１に記載の動画像内のテロップ領域検出装置において、
前記テロップ位置判定部は、符号化モード情報に対する信頼性の判定に動き予測情報の参照フレームまでの時間的距離を利用することを特徴とするテロップ領域検出装置。 - 請求項１１に記載の動画像内のテロップ領域検出装置において、
前記符号化モード情報に対する信頼性の判定に重み付け係数カウンタを利用することを特徴とするテロップ領域検出装置。 - 請求項１２に記載の動画像内のテロップ領域検出装置において、
前記重み付け係数カウンタの重み係数を、動き予測情報が参照するフレームまでの時間的距離に比例させることを特徴とするテロップ領域検出装置。 - 請求項１に記載の動画像内のテロップ領域検出装置において、
前記出現フレーム判定部は、テロップの出現フレームの判定として、連続する双方向予測画像中のテロップ領域に、両方向動き予測情報が存在しないことを判定基準に利用することを特徴とするテロップ領域検出装置。 - 請求項１に記載の動画像内のテロップ領域検出装置において、
前記出現フレーム判定部は、テロップの出現フレームの判定として、テロップがフレーム内符号化画像または片方向予測画像に出現するとき、それ以前の連続する双方向予測画像中のテロップ領域に順方向動き予測情報のみが存在することを判定基準に利用することを特徴とするテロップ領域検出装置。 - 請求項１に記載の動画像内のテロップ領域検出装置において、
前記出現フレーム判定部は、テロップの出現フレームの判定として、テロップが双方向予測画像に出現するとき、連続する双方向予測画像中のテロップ領域に逆方向動き予測情報も存在することを判定基準に利用することを特徴とするテロップ領域検出装置。 - 請求項１に記載の動画像内のテロップ領域検出装置において、
前記出現フレーム判定部は、テロップの出現フレームの判定として、テロップが双方向予測画像に出現するとき、連続する双方向予測画像中のテロップ領域に動き予測情報の順逆の向きが一度だけ切り替わることを判定基準に利用することを特徴とするテロップ領域検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000248794A JP4349542B2 (ja) | 2000-08-18 | 2000-08-18 | 動画像内のテロップ領域検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000248794A JP4349542B2 (ja) | 2000-08-18 | 2000-08-18 | 動画像内のテロップ領域検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002064748A JP2002064748A (ja) | 2002-02-28 |
| JP4349542B2 true JP4349542B2 (ja) | 2009-10-21 |
Family
ID=18738637
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000248794A Expired - Fee Related JP4349542B2 (ja) | 2000-08-18 | 2000-08-18 | 動画像内のテロップ領域検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4349542B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006018970A1 (ja) | 2004-08-19 | 2006-02-23 | Pioneer Corporation | テロップ検出方法、テロップ検出プログラム、およびテロップ検出装置 |
| JP4611787B2 (ja) * | 2005-04-04 | 2011-01-12 | シャープ株式会社 | テレビジョン受像機及び垂直位置調整方法 |
| JP5627617B2 (ja) * | 2012-02-22 | 2014-11-19 | 株式会社東芝 | 画像処理装置及び画像表示システム |
-
2000
- 2000-08-18 JP JP2000248794A patent/JP4349542B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002064748A (ja) | 2002-02-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4666784B2 (ja) | ビデオシーケンスのキーフレーム抽出方法及びビデオシーケンスのキーフレーム抽出装置 | |
| US5764803A (en) | Motion-adaptive modelling of scene content for very low bit rate model-assisted coding of video sequences | |
| JP4198206B2 (ja) | 動き依存予測を使用したビデオ情報の圧縮方法と装置 | |
| EP1389016B1 (en) | Improved motion estimation and block matching pattern | |
| US6192080B1 (en) | Motion compensated digital video signal processing | |
| US20060193387A1 (en) | Extracting key frames from a video sequence | |
| JP2003516053A (ja) | 映像音声信号処理方法及び映像音声信号処理装置 | |
| JP2000224590A (ja) | ビデオシ―ケンスの特徴抽出方法 | |
| JPH11112973A (ja) | 映像信号変換装置及び映像信号変換方法 | |
| WO2003005696A2 (en) | Method and apparatus for motion estimation between video frames | |
| US7295711B1 (en) | Method and apparatus for merging related image segments | |
| US6480543B1 (en) | Detection of a change of scene in a motion estimator of a video encoder | |
| Zhang et al. | An efficient coding scheme for surveillance videos captured by stationary cameras | |
| JP3593929B2 (ja) | 動画像符号化方法及び動画像符号化装置 | |
| JP2002051341A (ja) | 動画像符号化装置および動画像の特殊効果シーン検出装置 | |
| US20070092007A1 (en) | Methods and systems for video data processing employing frame/field region predictions in motion estimation | |
| JP4349542B2 (ja) | 動画像内のテロップ領域検出装置 | |
| JP2869398B2 (ja) | カット点検出方法及び装置 | |
| JP4350877B2 (ja) | 圧縮動画像のシーンチェンジ検出装置、圧縮動画像のシーンチェンジ検出方法及びそのプログラムを記録した記録媒体 | |
| Paul et al. | An efficient surveillance video coding scheme for static camera based captured video data | |
| JP3332202B2 (ja) | カメラワーク算出方法及び装置 | |
| JPH10112863A (ja) | 動き被写体情報抽出方法及び装置 | |
| JP3916505B2 (ja) | シーン変化検出回路 | |
| JP2868445B2 (ja) | 動画像圧縮方法および装置 | |
| JP4408330B2 (ja) | 動画像内のロールテロップ検出装置および記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050831 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081022 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081219 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090715 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090716 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120731 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |