JP4349542B2 - 動画像内のテロップ領域検出装置 - Google Patents
動画像内のテロップ領域検出装置 Download PDFInfo
- Publication number
- JP4349542B2 JP4349542B2 JP2000248794A JP2000248794A JP4349542B2 JP 4349542 B2 JP4349542 B2 JP 4349542B2 JP 2000248794 A JP2000248794 A JP 2000248794A JP 2000248794 A JP2000248794 A JP 2000248794A JP 4349542 B2 JP4349542 B2 JP 4349542B2
- Authority
- JP
- Japan
- Prior art keywords
- telop
- telop area
- moving image
- area detection
- detection device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Circuits (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
この発明は動画像内のテロップ領域検出装置に関し、特に、圧縮符号化データそのものまたはその一部だけを復号した情報から、高速かつ高精度にテロップ領域を抽出できる動画像内のテロップ領域検出装置に関する。
【0002】
【従来の技術】
従来のテロップ領域を検出する方式(以下、第1の検出方式)、特にニュース映像からのテロップ検出方式として、時間的な輝度分布差分値をテロップの検出判定に使用する方式がある。また、出現位置の局所性、規則的な配置などの幾何的な性質からテロップを求める方式、エッジ分布の偏向や色の類似性など文字としての特徴量からテロップを求める方式が報告されている。さらに、これら特徴量を解析する方法として、ニューラルネットワークや遺伝アルゴリズムを取り入れたテロップ領域検出方法などが提案されている。これらの方式は、動画像における各画素の輝度値を対象に様々なアルゴリズムを適用してテロップ領域を抽出する方式である。
【0003】
また、他のテロップ検出方式では画素そのものを利用するのではなく、圧縮符号化された動画像の符号化データそのものを利用する方式が提案されている。この方式は圧縮の際に求められる各種のパラメータや符号化データを直接操作することでテロップ領域の検出処理を達成する。
【0004】
従来の動き予測誤差の時間的変化に注目した方式(以下、第2の検出方式)は、画像内の符号単位ブロックについて動き予測情報の時間変動を観測し、テロップの瞬時的な出現を検出する。必要最小限の情報のみを取捨選択しテロップ領域の抽出を行う。このため、抽出される解像度は動き予測情報を持つ各圧縮方式の符号化単位ブロックの大きさに設定される。
【0005】
さらに、符号単位ブロックの符号化モードに着目した方式(以下、第3の検出方式)は、静止したテロップの特徴と符号化モードの相関から、符号化モードに応じて計数カウンタを増減させる。閾値以上の領域をテロップ領域候補と認識し、更に形状判断することで、テロップとして抽出する。なお、該第3の検出方式を開示した文献として、例えば、電子情報通信学会論文誌 D-II, Vol.J81-D-IINo.8,PP1847-1855,1998 年8 月「MPEG符号化映像からの高速テロップ領域検出法」がある。
【0006】
【発明が解決しようとする課題】
前記第1の検出方式を圧縮符号化された動画像データに適用するには、符号化データを一旦復号する必要があり、圧縮符号化データを画素領域の情報に戻さねばテロップ検出処理を適用できない。よって、第1の検出方式は、例えば図10のブロック図で示される構成により実現される。
【0007】
図10の可変長復号部51は圧縮された画像符号化データを入力とし、可変長復号、逆量子化や係数範囲制限等の復号処理を行う。可変長復号部51からは復号されたフレームやブロックの符号化モード情報、動き予測情報、動き予測誤差情報等が出力される。画像生成部52の入力は可変長復号部51からの予測誤差情報であり、逆変換を経て1フレームの画像データを生成する。また、動き補償部52は動き予測の参照フレームを保持している画像メモリ53から動き予測情報を使ってブロックを抽出し、完全な1フレームを構成するために画像生成部52の出力画像データと加算する。この画像はテロップ検出部54へ入力されるとともに、次フレーム以降の参照画像となるフレームならば画像メモリ53に蓄積される。これら一連の復号処理の後、テロップ検出部54にて、初めて画素領域でのテロップ領域検出処理が施される。テロップ検出部54による検出結果は、画像表示部55に送られる。
【0008】
この第1の検出方式では、圧縮データの復号処理および復号された画像を用いたテロップ領域検出処理に、大きな計算コストがかかるという問題がある。
【0009】
一方、前記第2、第3の検出方式は圧縮符号化データそのものを利用するので、復号処理過程が省略でき検出処理も高速に実行できる。しかし、実際の動画像では、パン、チルトなどのカメラワークや、ワイプ、ディゾルブなどの撮影後に編集された映像効果などの要因によって、動き予測誤差情報の変化が激しくなり、テロップの出現との判別が難しい。特にシーンチェンジにおいてはこの影響が大きく、第2の検出方式ではシーンチェンジ後のフレームをテロップ領域と誤認識するなど、検出精度が劣るという問題がある。
【0010】
また、第3の検出方式はテロップ領域外に動きベクトルが多数存在する場合に検出率が高くなる特性を持つ。しかし、低解像度の映像では動きベクトルが相対的に小さくなり、符号化モードの分布も異なってくる。また、ニュース映像等はカメラが固定されている場合が多く、背景に動きベクトルが存在しないような場合、テロップ以外の領域をテロップ領域と誤検出する恐れがある。
【0011】
本発明の目的は、前述した従来技術の問題点を解消し、圧縮された符号化データそのもの、またはその一部だけを復号した情報からテロップの出現を高速かつ高精度に検出できるテロップ領域検出装置、およびフレーム内でのテロップ位置を抽出できるテロップ領域検出装置を提供することにある。
【0012】
前述の目的を達成するために、本発明は、圧縮された動画像のデータを入力とし、該動画像のデータにテロップ領域情報を付加して出力する動画像内のテロップ領域検出装置において、前記圧縮された動画像のデータを可変長復号する可変長復号部と、該可変長復号部で復号された現在と一つ前のフレーム内符号化画像とを比較して変化が認められた領域について該変化が収束するか否かを検知し、収束すると検知された場合にテロップ候補の位置情報を出力する時間変移判定部と、前記フレーム内符号化画像間に存在する前記可変長復号部で復号されたフレーム間符号化画像において、前記テロップ候補の位置情報に該当するブロックの符号化モードの種類からテロップに相応しい符号化モードをもつブロックを前記フレーム内符号化画像上から抜き出し、そのブロックの位置情報を出力するテロップ位置判定部と、前記フレーム間符号化画像の前記テロップ候補のブロックに関して、前記可変長復号部から出力される双方向予測画像群の動き予測情報の参照方向の時間的変化からテロップの出現フレームを検出する出現フレーム判定部とを具備した点に特徴がある。
【0013】
この特徴によれば、テロップ領域の検出過程を段階的にしたので、高速でかつ高精度なテロップ領域検出処理を行うことができるようになる。
【0014】
【発明の実施の形態】
以下に、本発明を、図面を参照して説明する。図1に本発明の一実施形態の構成を示すブロック図を表す。なお、この実施形態は入力動画像の符号化方式に国際標準であるMPEG-1ビデオ(ISO/IEC11172-2)を使用しているが、本発明はこれに限定されるものではない。
【0015】
システム全体の入力として、圧縮符号化された動画像の符号化データが与えられる。符号化データは可変長復号部1により必要な情報だけが部分的に復号され、該復号された情報A,B,Cは、それぞれ時間変移判定部2、テロップ位置判定部3、および出現フレーム判定部4に送られる。ここに、前記情報Aは、(n−N)フレーム〜(n+mN)フレーム間のフレーム内符号化画像(Iピクチャ)の符号化情報、Bは、nフレーム〜(n+mN)フレーム間のP、Bピクチャの符号化モード情報、Cは、(n−N)フレーム〜nフレーム間のBピクチャの動き予測情報である。ここで、定数NはGOP内のピクチャ数を表し、フレーム内符号化画像の出現間隔を意味するパラメータである。また、n,mは任意の正の整数である。
【0016】
時間変移判定部2は複数のフレーム内符号化画像の符号化情報Aをもとに時間的推移の状態を検討する。そして、該検討の上で、テロップ領域候補となる領域をIピクチャ上で設定し、この領域の位置情報Dをテロップ位置判定部3へ出力する。
【0017】
テロップ位置判定部3では、時間変移判定部2からの位置情報Dをもとにテロップ判定対象のブロックを決定する。同時に、可変長復号部1からは対象ブロックの符号化モード情報Bを入力し、判定対象ブロック毎に符号化モードの選定状況を把握する。これらの結果を基に、テロップに相応しい符号化モードを持つブロックをIピクチャ上から抜き出し、そのブロックの位置情報Eを出現フレーム判定部4へ送る。
【0018】
出現フレーム判定部4ではテロップ位置判定部3から入力されたブロックの位置情報Eをもとに検出対象ブロックを決定し、同時に可変長復号部1から動き予測情報Cを受け取る。動き予測情報Cをもとに、どのフレームからテロップが出現したかのフレーム判定処理を行う。
【0019】
この判定結果Fは、検出結果表示部または記録部(図示されていない)へ出力される。検出結果表示部または記録部は検出結果を出力し、要求があれば抽出領域の映像を部分的に復号し提示する。
【0020】
次に、前記時間変移判定部2の機能を、図2のフローチャートを参照して、詳細に説明する。時間変移判定部2は4つの処理を行う。この4つの処理は、ステップS1のライン変動判定処理と、ステップS2のブロック変動判定処理と、ステップS3の収束判定処理と、ステップS4の形状整形処理である。
【0021】
前記ライン変動判定処理(ステップS1)は、入力してくる2つのフレーム内(Intra) 符号化画像In-N 、In の符号化データに対して処理を行う。ここで、定数NはGOP内のピクチャ数を表し、フレーム内符号化画像の出現間隔を意味するパラメータである。ライン変動判定処理は、時間経過によって変化が生じた領域をブロックの1ライン単位で抽出する。ステップS1の処理で変動領域と判定された領域の位置情報は、ステップS2のブロック変動判定処理の入力となる。該ブロック変動判定処理ではブロック単位で変動領域を判定し、該抽出ブロックはステップS3の収束判定処理に送られる。
【0022】
該収束判定処理は、指定された領域に対して、In 以降のフレームIn+mN(0<m<q)全てにおいて変化が収束する領域を抽出し、該領域をテロップ領域候補とする。ここで、定数qは収束判定対象となるフレーム数を表し、1以上の値を取る。ステップS4の形状整形処理はテロップ領域候補を受け取り、テロップの大きさを考慮して孤立した小領域を排除する。次に膨張収縮処理にてテロップ領域候補の欠損部を補い、次以降の判定処理のためテロップ領域候補を整形する。以上で、前記時間変移判定部2の処理は終了する。
【0023】
該時間変移判定部2は、現在のフレーム内符号化画像と一つ前のフレーム内符号化画像との比較によって変化が認められた領域に着目して、その領域のみ未来のフレーム内符号化画像において変化が収束するか否かを検討する。具体的な時間変化の発生判定には、DCT係数のDC成分とAC成分を個別に判定基準として用いる。
【0024】
以下に、前記ステップS1〜S3の処理を、図3〜図5を参照して、より詳細に説明する。
【0025】
まず、図3を参照して、前記図2のステップS1のライン変動判定処理を説明する。図3(a) は、DC成分によるライン変動判定処理の詳細を示すフローチャートである。ライン変動判定処理には、フレームIn と1GOP前のフレームIn-N のDCT係数DC成分情報が入力される。初めにテロップは画面に対して水平または垂直に現れると仮定して、DC成分はステップS10の処理にて縦横それぞれ1ライン単位で読み込まれる。例えば、図3(b) に示されているように、フレームIn と1GOP前のフレームIn-N の各ブロックのDCT係数のDC成分が縦横1ライン単位で読み込まれる。
【0026】
ステップS11では、該DC成分の大まかな変化を捉えるため、粗く量子化した輝度ヒストグラムを生成する。ステップS12では、過去のフレームIn-N において同位置ラインのヒストグラムとの差分絶対値和を求める。ステップS13では、閾値による判定を行い、閾値以上の差分値を持つラインはステップS14で1ライン全体をテロップ領域候補とする。そうでなければ、ステップS15で1ライン全体を非テロップ領域とする。
【0027】
ステップS16ではライン毎の処理が全ブロックについて全て終了したか否かを判断し、終了していなければステップS10に戻り、次のラインについてステップS10〜S15の一連の処理を繰り返す。ステップS16の判断が肯定の場合には、ステップS17に移る。
【0028】
ステップS17はテロップ領域候補となったラインの本数を計数し、テロップ領域候補がフレームの大部分を占める場合はテロップ以外の原因による輝度変化として、全ブロックを非テロップ領域とした上で現フレームの検出処理を終了する。そうでなければ、抽出ブロックの位置情報を出力し、DC成分による時間変動判定処理を終了する。
【0029】
次に、前記ステップS2のブロック変動判定処理を、図4を参照して説明する。図4(a) は、AC成分によるブロック変動判定処理のフローチャートを表す。該変動判定処理には、フレームIn とフレームIn-N のDCT係数AC成分情報が入力され、ブロック単位で処理する。文字と背景が織り成すエッジ領域はDCT係数AC成分の多寡に対応するので、ブロックの部分和の変化が空間的、時間的ともに閾値を超えるブロックをテロップ領域とする。
【0030】
ステップS19は、対象ブロックが前記ステップS1のライン変動判定処理でテロップ領域候補と判定された領域であるか調べる。テロップ領域候補であれば処理を続行し、そうでなければ非テロップとした上で該ブロックに対する判定を終了する。ステップS20は、テロップ領域候補に対してAC成分の絶対値部分和を計算する。
【0031】
図4(b) は変動判定に利用する係数範囲についての一例を表す。ここでは、DCT係数AC成分について、ジグザグスキャンオーダーでAC低周波成分9個の絶対値部分和による判定を使用している。
【0032】
ステップS21では、過去のフレーム(In-N フレーム)における同位置ブロックの、AC低周波成分9個の絶対値部分和との差分を計算する。ステップS22では、閾値による判定を行い、閾値以上の差分値を持つブロックはステップS23でテロップ領域候補とする。そうでなければ、ステップS24で非テロップ領域候補とする。ステップS25は全てのブロックに対して処理が完了したかを判断し、完了していなければ、ステップS19に戻って、ステップS19〜S24の一連の処理を繰り返す。ステップS25で、全ブロックの処理が完了したと判定されると、AC成分による変動判定処理は終了する。
【0033】
次に、前記ステップS3の収束判定処理の詳細を、図5を参照して説明する。図5(a) は、該収束判定処理のフローチャートを表す。変動領域はテロップの出現である可能性が高いが、移動する物体やカメラワークによる変動である可能性も否めない。テロップは出現過渡期においては時間的な輝度変動が激しいが、定常状態では逆に輝度変化がほとんど生じない。よって、該収束判定処理には、前記ステップS1、S2で抽出したテロップ領域候補のうち、テロップ出現以外の要因による変動領域を除去するため、テロップの位置に対する定常性を利用する。
【0034】
具体的には、画面全体に対しDC成分の時間的変化を判断基準にシーンチェンジ等が無いことを確認した上で、テロップ領域候補に対し静止したテロップのエッジの方向と位置が同一であることを利用する。エッジの一致性には、AC成分の部分和を利用したクラス分類を用いる。例えば、図4(b) に示した9つのAC成分を更に縦(垂直)、横(水平)、対角要素の3つの部分に分割したとき、図5(b) で示すように4つのブロックから、合計で12個のクラスを形成することができる。
【0035】
ステップS3の収束判定処理には、フレームIn からフレームIn+qNまでのDCT係数AC成分情報が入力される。ステップS26では、対象ブロックがテロップ領域候補であるか否かを調べる。テロップ領域候補であれば、処理を続行し、そうでなければ、非テロップ領域とした上で該ブロックの収束判定処理を終了する。ステップS27は、フレームIn における対象ブロックのエッジクラスを決定する。例えば、図5(b) の前記12個のクラスから、最大部分和をもつエッジクラスを求める。ステップS28では、フレームIn+mN(0<m<q)における同位置ブロックの同エッジクラスを決定する。一般にフレーム内符号化画像は12〜15フレーム間隔で配置されることが多いため、30fpsならば、およそ0.5秒間隔で配置されていることになる。2秒以上テロップが提示されていると仮定すれば、qの値は4程度まで設定できる。
【0036】
ステップS29では、前記ステップS27とS28で求められたエッジクラスの部分和が一致するかを判定する。一致する場合は、ステップS30で該ブロックをテロップ領域候補とする。そうでなければ、ステップS31で非テロップ領域候補とする。ステップS32は全てのブロックに対して処理が完了したかを判断し、完了していなければ、ステップS26に戻り、該ステップS26〜S31の一連の処理を繰り返す。全ブロックの処理が完了していれば、クラス分類による収束判定処理を終了する。
【0037】
以上の時間変移判定処理により、テロップ領域候補となる領域がIピクチャ上で設定されたことになる。
【0038】
次に、図6を参照して、前記符号化モード情報によるテロップ位置判定部3(図1参照)の機能を説明する。テロップ位置判定部3には、時間変移判定部2にて抽出されたテロップ領域候補情報が入力される。同時に可変長復号部1からはフレームIn とフレームIn+mNの間に存在するフレーム(P,Bピクチャ)の符号化モード情報が入力される。複数のフレームに渡って、同位置に存在するブロック群を1単位として処理する。符号化モード情報によるテロップの検証は、前述の検出処理で抽出されたテロップ領域候補に限定して行う。
【0039】
ステップS33は対象ブロックが時間変移判定部2でテロップ領域候補と判定されているか否かを判断する。テロップ領域候補であれば処理を続行し、そうでなければ非テロップとした上で該ブロックに対する判定を終了する。ステップS34は符号化モード情報と動き予測情報の参照するフレーム間距離から計数カウンタを生成する。ステップS35はステップS34で計数されたカウンタに対して、閾値による判定を行う。閾値以上を持つカウンタを形成したブロック群はステップS36にてテロップ領域候補とする。そうでなければ、ステップS37で非テロップ領域候補とする。ステップS38は全てのブロックに対して処理が完了したかを判断し、完了していなければ、ステップS33に戻って、ステップS33〜S37の一連の処理を繰り返す。全ブロックの処理が完了していれば、ステップS39の処理に移る。ステップS39はテロップ領域候補に対して形状整形処理を行う。処理内容は形状整形処理部(前記ステップS4)と同一である。以上で符号化モード情報による判定処理を終了する。
【0040】
入力情報の一つである符号化モード情報には、フレーム符号化情報とブロック符号化情報を用いる。フレーム符号化情報には次の3種類が存在する。
(1) フレーム内符号化画像 (Iピクチャ)
(2) 順方向予測画像 (Pピクチャ)
(3) 双方向予測画像 (Bピクチャ)
【0041】
ブロック符号化モードには、フレーム内符号化ブロック(Intra )とフレーム間符号化ブロック(Inter )がある。さらに、フレーム間符号化ブロックには動き補償と符号化の有無から次に示す4種類が存在する。
(1) 動き補償符号化ブロック (MC coded)
(2) フレーム差分符号化ブロック (no MC coded )
(3) 動き補償ブロック (MC no coded )
(4) スキップト・ブロック (Skip)
ただし、動き予測には順方向、逆方向、両方向の3種類が存在する。
【0042】
このとき、静止したテロップの特徴と、対応するブロックの符号化モードとの間に高い相関が存在する。例えば、静止したテロップには動き予測情報が存在しないか、若しくはその大きさが0に近い。また、テロップを構成する文字列の特徴として境界部のエッジを挙げているように、複雑なテクスチャが存在するため動き予測誤差情報が省略されることは少ない。
【0043】
よって、上記の特徴を備えるno MC coded 符号化モードは、テロップである可能性が最も高い。しかし、実映像の符号化過程を考慮するとき、符号化器の精度が向上するほど、静止領域には動き予測情報が与えられない。つまりテロップの有無に関わらず、動き予測情報を持たないモードが選択されることが多くなる。また、動き予測の参照フレームが近いほど移動している領域でも見かけの動きが小さいため、動き予測情報が割り当てられないことがある。
【0044】
この問題を解決する方法として、符号化モードによる判定を行う際、時間的距離の概念を導入し、符号化モードの信頼性情報として利用する。参照フレームが近い場合は動き予測情報が存在しなくても、それがテロップである可能性を保証するものではないので符号化モード情報の信頼度は低く設定する。逆に動き予測情報が存在するならば、明確な移動物体が存在するものとして非テロップ領域候補としての信頼度は高くする。一方、参照フレームが遠く離れている場合は逆の設定を用意する。すなわち、動き予測情報が存在しない場合は完全に静止した領域と判断できるので、テロップ領域候補としての符号化モード情報の信頼度を高く設定する。また、動き予測情報が存在しても、非テロップ領域候補としての符号化モード情報の信頼度は低く設定する。
【0045】
この時間的距離を信頼性情報とした符号化モード情報による計数法(前記ステップS34)の一例を、図7のフローチャートを参照して説明する。入力される情報は同位置のブロック群の符号化モード情報である。
【0046】
ステップS40では、動き予測情報が参照するフレームまでの距離を算出する。ただし、予測方式が両方向予測のときは距離の近い方を採用する。ステップS41はブロックの符号化モード情報を用いて判定を下す。ブロックの符号化タイプが動き予測情報を持つMC coded、MC no coded ならば、ステップS42にてステップS40で求めた参照フレームまでの時間的距離に反比例した数を減算する。一方、動き予測情報を持たないIntra 、動き予測情報の大きさが0であるno MC coded 、またはSkipならば、ステップS43で時間的距離に比例した数を加算する。ステップS44は同位置に存在するブロックに対して処理がすべて終了したかを判断し、終了していなければ次のブロックについてステップS40から一連の操作を繰り返す。そうでなければカウンタの計数を終了する。
【0047】
以上のテロップ位置判定処理により、テロップに相応しい符号化モードを持つブロックをIピクチャ上から抜き出すことができる。
【0048】
次に、前記出現フレーム判定部4の動作を説明する。動き予測情報によるテロップの検証は、前述の検出処理で抽出されたテロップ領域候補に限定して行う。ここでは、ブロックの符号化モードと動きベクトルの時間的参照方向を利用する。テロップが出現するとき、IまたはPピクチャに区切られた連続するBピクチャ(以下、これをBピクチャ群という)のテロップ領域には次に挙げる性質が現れる。
(1) Bピクチャ群に両方向予測が存在しない。
(2) 出現フレームがI、又はPピクチャのとき、Bピクチャ群に順方向動きベクトルのみ存在する。
(3) 出現フレームがBピクチャのとき、Bピクチャ群に逆方向動きベクトルも存在する。
(4) 出現フレームがBピクチャのとき、Bピクチャ群に順逆方向の切り替わりは一度だけ存在する。
(5) テロップ出現後は動きベクトルを持たない。
【0049】
上記の性質の理解を容易にするために、図9を示す。同図(a) 、(b) から、Bピクチャ、Iピクチャ、またはPピクチャにテロップが出現する時には、前記(1) のようにBピクチャ群に両方向予測が存在しないことは明らかである。また、テロップの出現フレームがI、又はPピクチャのときには、同図(b) から、前記(2) のようにBピクチャ群に順方向動きベクトルのみが存在することは明らかである。また、テロップ出現フレームがBピクチャのときには、同図(a) から、Bピクチャ群は前記(3) 、(4) の性質を有することは明らかである。なお、同図(c) に示されているように、Bピクチャ群に両方向予測が存在する場合には、I,PおよびBピクチャ群のいずれにもテロップは出現しない。
【0050】
したがって、Bピクチャ群の動き予測情報からテロップの出現フレームを上記の条件(1) 〜(5) を満たすフレームに絞り込む。なお、図9におけるBピクチャ群の両側が、共にPピクチャであることもありうる。
【0051】
具体的には、時間変移判定部2で複数のフレーム内符号化画像にテロップの出現が検知されたとき、出現フレーム判定部4はGOP内部のBピクチャ群について上記の特性(性質)を検証する。初めに、Bピクチャ群毎に、個々のブロックに対して動き予測情報の時間的参照方向を調べる。Bピクチャ群が順方向予測のみで構成される場合(前記性質2)は、直後のIまたはPピクチャにテロップが出現したものと判断する。Bピクチャ群が逆方向を含む場合、又は順方向から逆方向への変化が一度だけ存在する場合(前記性質3、4)は、逆方向が始まったBピクチャにテロップが出現したと判断する。これら以外の場合は、この連続するBピクチャ群にはテロップの出現はないと判断し、次のBピクチャ群について判定処理を続ける。これにより、テロップの出現フレームはフレーム単位で検出することが可能となる。
【0052】
ただし、静止したテロップを仮定しているため、動き予測情報自体の長さはほぼ0であるブロックに限定する。動き予測情報が有意な長さを持つブロックは参照方向の如何に関わらず、テロップ領域候補から外す。同様に、テロップ出現判定後のGOPに対しても、同位置のブロック毎に、動き予測情報の長さを検証する。長さが十分0に近くなければ、そのブロックはテロップ領域候補から除外する。
【0053】
図8に動き予測情報による出現フレーム判定部4の動作のフローチャートを示す。テロップ位置判定部3からはテロップ領域候補の位置情報が入力される。同時に可変長復号部1からはフレームIn-N とフレームIn 間にあるフレームの動き予測情報が入力される。判定はBピクチャ群の個々のブロックを対象とする。
【0054】
ステップS45では、対象ブロックがテロップ位置判定部3でフレームIn においてテロップ領域候補と判定されているか否かを判断する。テロップ領域候補であれば処理を続行し、そうでなければ該ブロック群に対する判定を終了する。ステップS46は前述したテロップ出現に伴うBピクチャ群の特性を検証する(前記性質(1) 〜(5) 、および図9参照)。ステップS47ではステップS46の出力が上記の性質を満たしているものであるか否かを判断し、満たしているならば、ステップS48にて逆方向ベクトルが出現したBピクチャフレーム,あるいはIまたはPピクチャフレームをテロップの出現フレームとして出力する。そうでなければ、ステップS49にて該ブロックを非テロップとし、該Bピクチャ群にはテロップが出現していないと判断する。ステップS50はBピクチャ群の全てのブロックに対して判定処理が完了したかを判断する。終了していなければ、ステップS45に戻って、次のブロックに対して前記ステップS45〜S49の一連の処理を繰り返す。そうでなければ判定処理を続ける。
【0055】
ステップS51はGOP内部のすべてのBピクチャ群に対して判定処理が完了したかを判断する。終了していなければ次のBピクチャ群について、ステップS45〜S50の一連の処理を繰り返す。そうでなければ、処理を終了する。なお、ステップS48で、テロップ開始フレームが検出されなかった場合には、、全ブロックを非テロップ領域とし、出現フレーム判定部4の処理を終了する。この場合には、該出現フレーム判定部4は、その後、次のGOP内部のすべてのBピクチャ群に対して、図8の判定処理を再度行う。
【0056】
上記の説明から明らかなように、本発明によれば、以下の特徴(1) 〜(5) を提供することができる。
(1) テロップ領域の検出過程を段階的にするようにしたので、高速な処理と高精度な処理を両立させることができる。
(2) 時間的な変動判定とそれに続く収束判定とを行うようにしたので、不要な変動領域を排除して、テロップ領域の検出処理をすることができるようになる。
(3) 有意な動き予測情報を備えるブロックを検出対象から除外することができるようになる。
(4) 符号化モード情報の信頼性を考慮して、重み付け計数による検出判定を行うことができるようになる。
(5) 動き予測情報を利用して、1フレーム単位でのテロップ検出解像度を達成できるようになる。
【0057】
【発明の効果】
以上の説明から明らかなように、本発明によれば、圧縮符号化された動画像データを部分的に復号することに加え、10数フレームの間隔をおいたフレーム(例えば、フレーム内符号化画像)を対象とした検出をまず行い、次いで1フレーム単位での検出を行うというように、テロップ開始フレームの検出処理を階層的にしたので、従来の画素領域の検出方式(前記第1の検出方式)は無論のこと、符号データ領域での検出方式(前記第2、第3の検出方式)と比較しても処理コストを抑えることが可能となる。つまり、本発明では、テロップ検出判定の適用範囲を必要最小限に抑えることができるため、圧縮符号化データ上でのテロップ領域抽出方式の処理量の低減および高速性を更に向上することが可能となる。
【0058】
また、本発明は、テロップの出現に伴う前兆(変動)と出現後の定常性(収束性)の2性質をそれぞれ異なる判別法で判定するようにしたので、第2、第3の検出方式と比較してはるかに優れた検出精度を達成することが可能となる。
【0059】
また、本発明は、符号化モード情報を利用してテロップ領域候補となるブロックの精度を高め、動き予測情報を利用してテロップ開始フレームを求めるようにしたので、テロップ検出解像度を高めることが可能になる。
【図面の簡単な説明】
【図1】 本発明の一実施形態の概略の構成を示すブロック図である。
【図2】 図1の時間変移判定部の動作を示すフローチャートである。
【図3】 図2のライン変動判定処理(ステップS1)の詳細を示すフローチャートおよび説明図である。
【図4】 図2のブロック変動判定処理(ステップS2)の詳細を示すフローチャートおよび説明図である。
【図5】 図2の収束判定処理(ステップS3)の詳細を示すフローチャートおよび説明図である。
【図6】 図1のテロップ位置判定部の動作を示すフローチャートである。
【図7】 図6の重み付け符号化モード計数処理(ステップS34)の詳細を示すフローチャートである。
【図8】 図1の出現フレーム判定部の動作を示すフローチャートである。
【図9】 図8の出現予兆の検証処理(ステップS46)の説明図である。
【図10】 従来の第1の検出方式の構成を示すブロック図である。
【符号の説明】
1…可変長復号部、2…時間変移判定部、3…テロップ位置判定部、4…出現フレーム判定部。
Claims (17)
- 圧縮された動画像のデータを入力とし、該動画像のデータにテロップ領域情報を付加して出力する動画像内のテロップ領域検出装置において、
前記圧縮された動画像のデータを可変長復号する可変長復号部と、
該可変長復号部で復号された現在と一つ前のフレーム内符号化画像とを比較して変化が認められた領域について該変化が収束するか否かを検知し、収束すると検知された場合にテロップ候補の位置情報を出力する時間変移判定部と、
前記フレーム内符号化画像間に存在する前記可変長復号部で復号されたフレーム間符号化画像において、前記テロップ候補の位置情報に該当するブロックの符号化モードの種類からテロップに相応しい符号化モードをもつブロックを前記フレーム内符号化画像上から抜き出し、そのブロックの位置情報を出力するテロップ位置判定部と、
前記フレーム間符号化画像の前記テロップ候補のブロックに関して、前記可変長復号部から出力される双方向予測画像群の動き予測情報の参照方向の時間的変化からテロップの出現フレームを検出する出現フレーム判定部とを具備したことを特徴とする動画像内のテロップ領域検出装置。 - 請求項1に記載の動画像内のテロップ領域検出装置において、
前記時間変移判定部は、テロップの出現判定として、フレーム間の動き予測誤差情報の差分値を判定基準に用いることを特徴とするテロップ領域検出装置。 - 請求項2に記載の動画像内のテロップ領域検出装置において、
前記時間変移判定部は、変動判定に用いるフレーム間の差分値として、動き予測誤差情報のDCT係数DC成分によるヒストグラム差分を利用することを特徴とするテロップ領域検出装置。 - 請求項2または3に記載の動画像内のテロップ領域検出装置において、
前記時間変移判定部は、動き予測誤差情報のヒストグラム差分を縦横それぞれブロックのライン毎に利用することを特徴とするテロップ領域検出装置。 - 請求項2に記載の動画像内のテロップ領域検出装置において、
前記時間変移判定部は、変動判定に用いるフレーム間の差分値として、動き予測誤差情報のDCT係数AC成分の部分絶対値和による差分を利用することを特徴とするテロップ領域検出装置。 - 請求項1に記載の動画像内のテロップ領域検出装置において、
前記時間変移判定部は、テロップ出現後の定常状態を確認する手段を有することを特徴とするテロップ領域検出装置。 - 請求項6に記載の動画像内のテロップ領域検出装置において、
前記時間変移判定部は、定常状態の確認にクラス分類による同一性判定を利用することを特徴とするテロップ領域検出装置。 - 請求項6または7に記載の動画像内のテロップ領域検出装置において、
前記時間変移判定部は、定常状態の把握に利用するクラスを動き予測誤差情報の係数分布の偏在をもとに形成することを特徴とするテロップ領域検出装置。 - 請求項6、7および8のいずれかに記載の動画像内のテロップ領域検出装置において、
前記時間変移判定部は、収束判定に用いるクラス形成に、動き予測誤差情報DCT係数AC成分を縦、横、対角の3要素から識別したエッジ方向を利用することを特徴とするテロップ領域検出装置。 - 請求項1に記載の動画像内のテロップ領域検出装置において、
前記テロップ位置判定部は、テロップの判定に動き予測情報の大きさを判定基準にした0近似判定を利用することを特徴とするテロップ領域検出装置。 - 請求項1に記載の動画像内のテロップ領域検出装置において、
前記テロップ位置判定部は、符号化モード情報に対する信頼性の判定に動き予測情報の参照フレームまでの時間的距離を利用することを特徴とするテロップ領域検出装置。 - 請求項11に記載の動画像内のテロップ領域検出装置において、
前記符号化モード情報に対する信頼性の判定に重み付け係数カウンタを利用することを特徴とするテロップ領域検出装置。 - 請求項12に記載の動画像内のテロップ領域検出装置において、
前記重み付け係数カウンタの重み係数を、動き予測情報が参照するフレームまでの時間的距離に比例させることを特徴とするテロップ領域検出装置。 - 請求項1に記載の動画像内のテロップ領域検出装置において、
前記出現フレーム判定部は、テロップの出現フレームの判定として、連続する双方向予測画像中のテロップ領域に、両方向動き予測情報が存在しないことを判定基準に利用することを特徴とするテロップ領域検出装置。 - 請求項1に記載の動画像内のテロップ領域検出装置において、
前記出現フレーム判定部は、テロップの出現フレームの判定として、テロップがフレーム内符号化画像または片方向予測画像に出現するとき、それ以前の連続する双方向予測画像中のテロップ領域に順方向動き予測情報のみが存在することを判定基準に利用することを特徴とするテロップ領域検出装置。 - 請求項1に記載の動画像内のテロップ領域検出装置において、
前記出現フレーム判定部は、テロップの出現フレームの判定として、テロップが双方向予測画像に出現するとき、連続する双方向予測画像中のテロップ領域に逆方向動き予測情報も存在することを判定基準に利用することを特徴とするテロップ領域検出装置。 - 請求項1に記載の動画像内のテロップ領域検出装置において、
前記出現フレーム判定部は、テロップの出現フレームの判定として、テロップが双方向予測画像に出現するとき、連続する双方向予測画像中のテロップ領域に動き予測情報の順逆の向きが一度だけ切り替わることを判定基準に利用することを特徴とするテロップ領域検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000248794A JP4349542B2 (ja) | 2000-08-18 | 2000-08-18 | 動画像内のテロップ領域検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000248794A JP4349542B2 (ja) | 2000-08-18 | 2000-08-18 | 動画像内のテロップ領域検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002064748A JP2002064748A (ja) | 2002-02-28 |
JP4349542B2 true JP4349542B2 (ja) | 2009-10-21 |
Family
ID=18738637
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000248794A Expired - Fee Related JP4349542B2 (ja) | 2000-08-18 | 2000-08-18 | 動画像内のテロップ領域検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4349542B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006018970A1 (ja) | 2004-08-19 | 2006-02-23 | Pioneer Corporation | テロップ検出方法、テロップ検出プログラム、およびテロップ検出装置 |
JP4611787B2 (ja) * | 2005-04-04 | 2011-01-12 | シャープ株式会社 | テレビジョン受像機及び垂直位置調整方法 |
JP5627617B2 (ja) * | 2012-02-22 | 2014-11-19 | 株式会社東芝 | 画像処理装置及び画像表示システム |
-
2000
- 2000-08-18 JP JP2000248794A patent/JP4349542B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2002064748A (ja) | 2002-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4666784B2 (ja) | ビデオシーケンスのキーフレーム抽出方法及びビデオシーケンスのキーフレーム抽出装置 | |
US5764803A (en) | Motion-adaptive modelling of scene content for very low bit rate model-assisted coding of video sequences | |
JP4198206B2 (ja) | 動き依存予測を使用したビデオ情報の圧縮方法と装置 | |
EP1389016B1 (en) | Improved motion estimation and block matching pattern | |
US6192080B1 (en) | Motion compensated digital video signal processing | |
US20060193387A1 (en) | Extracting key frames from a video sequence | |
JP2003516053A (ja) | 映像音声信号処理方法及び映像音声信号処理装置 | |
JP2000224590A (ja) | ビデオシ―ケンスの特徴抽出方法 | |
JPH11112973A (ja) | 映像信号変換装置及び映像信号変換方法 | |
EP1419650A2 (en) | method and apparatus for motion estimation between video frames | |
US7295711B1 (en) | Method and apparatus for merging related image segments | |
US6480543B1 (en) | Detection of a change of scene in a motion estimator of a video encoder | |
Zhang et al. | An efficient coding scheme for surveillance videos captured by stationary cameras | |
JP3593929B2 (ja) | 動画像符号化方法及び動画像符号化装置 | |
JP2002051341A (ja) | 動画像符号化装置および動画像の特殊効果シーン検出装置 | |
US20070092007A1 (en) | Methods and systems for video data processing employing frame/field region predictions in motion estimation | |
JP4349542B2 (ja) | 動画像内のテロップ領域検出装置 | |
JP4350877B2 (ja) | 圧縮動画像のシーンチェンジ検出装置、圧縮動画像のシーンチェンジ検出方法及びそのプログラムを記録した記録媒体 | |
Paul et al. | An efficient surveillance video coding scheme for static camera based captured video data | |
JP2002064823A (ja) | 圧縮動画像のシーンチェンジ検出装置、圧縮動画像のシーンチェンジ検出方法及びそのプログラムを記録した記録媒体 | |
JPH118854A (ja) | カット点検出方法及び装置 | |
JP3332202B2 (ja) | カメラワーク算出方法及び装置 | |
JPH10112863A (ja) | 動き被写体情報抽出方法及び装置 | |
JP2868445B2 (ja) | 動画像圧縮方法および装置 | |
JP4408330B2 (ja) | 動画像内のロールテロップ検出装置および記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050831 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081022 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081219 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090715 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090716 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120731 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |