Nothing Special   »   [go: up one dir, main page]

JP2002051341A - 動画像符号化装置および動画像の特殊効果シーン検出装置 - Google Patents

動画像符号化装置および動画像の特殊効果シーン検出装置

Info

Publication number
JP2002051341A
JP2002051341A JP2000234596A JP2000234596A JP2002051341A JP 2002051341 A JP2002051341 A JP 2002051341A JP 2000234596 A JP2000234596 A JP 2000234596A JP 2000234596 A JP2000234596 A JP 2000234596A JP 2002051341 A JP2002051341 A JP 2002051341A
Authority
JP
Japan
Prior art keywords
information
motion vector
scene
special effect
input image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000234596A
Other languages
English (en)
Other versions
JP4328000B2 (ja
Inventor
Akihiro Yamori
章弘 屋森
Kiyoshi Sakai
潔 酒井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2000234596A priority Critical patent/JP4328000B2/ja
Publication of JP2002051341A publication Critical patent/JP2002051341A/ja
Application granted granted Critical
Publication of JP4328000B2 publication Critical patent/JP4328000B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/004Predictors, e.g. intraframe, interframe coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【課題】 入力画像の輝度情報などの特徴情報について
の統計情報だけでなく、動きベクトル情報などの入力画
像を予測符号化する際に用いられる相関情報についての
統計情報をも考慮することで、フェードシーンなどの特
殊効果シーンを正確に検出して、特殊効果シーンの符号
化効率を向上できるようにする。 【解決手段】 入力画像のもつ特徴情報についての第1
統計情報と、上記の相関情報についての第2統計情報と
に基づいて入力画像の特殊効果シーンを検出する特殊効
果シーン検出部13と、この特殊効果シーン検出部13
で検出された特殊効果シーンに応じて予測符号化部21
による入力画像の符号化状態を制御する制御部17とを
そなえるように構成する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、動画像符号化装置
および動画像の特殊効果シーン検出装置に関し、特に、
フェードシーンやパニング,チルトなどの特殊効果シー
ンを含む動画像を符号化する際に用いて好適な、動画像
符号化装置および動画像の特殊効果シーン検出装置に関
する。
【0002】
【従来の技術】従来のディジタル動画像符号化方式とし
ては、例えば、MPEG(Moving Picture Experts Gr
oup)−1(ISO/IEC 11172-2)やMPEG−2(ISO/IE
C 13181-2),MPEG−4(ISO/IEC14496-2),IT
U−T(International Telecommunication Union-Tele
communication standardization sector)の映像符号化
勧告(H261.,H263.)などが知られているが、これらの
方式では、情報量が莫大な動画像を有効帯域で使用でき
るようにするために、情報圧縮技術を用いていて、共通
して、「フレーム間動き予測符号化」と呼ばれる手法を
用いている。
【0003】これらのディジタル動画像符号化方式で
は、まず、フレーム内符号化により1枚の動画像フレー
ム(以下、単にフレームという)に対して空間的冗長性
を省く処理を行なって情報量圧縮を行ない、次に、この
ようにフレーム内符号化により符号化した過去のフレー
ムと符号化対象のフレームとの差分情報を符号化するフ
レーム間符号化が行なわれる。
【0004】ここで、上記の「フレーム間符号化」と
は、動画像の連続性に着目することにより、1枚1枚の
フレームを独立してフレーム内符号化するよりも、フレ
ーム内のサブブロックである所定のマクロブロック〔m
×n(m,nはいずれも自然数)の画素集合;以下、M
Bと表記する〕毎に、符号化済みのフレームの或るMB
と同位置の符号化対象フレームにおけるMBとの差分を
求め、その差分MBを符号化することであり、このよう
にすることで、より効率良く動画像の冗長性を省いて情
報量を圧縮することができる。
【0005】なお、実際には、フレーム内の絵柄が動い
ている場合には、単純にフレーム間の同位置MB間差分
をとっても、差分量が小さくならないため、さらに、M
B毎に動き(ベクトル)探索を行ない、参照フレーム内
からより差分の小さいブロック領域を探し出し、現フレ
ームのMBと参照フレームの動き探索により求められた
ブロック領域との差分MBを求め、その差分MBを符号
化することが行なわれる。このとき、動き探索によって
求められた動きベクトル情報と差分情報を符号化したも
のが多重化されてMB符号化情報となる。
【0006】しかしながら、これらの動画像符号化方式
では、例えば、フェードや動きの大きいパニングやチル
トなどの映像撮影や編集時に広く用いられている特殊効
果シーンに対する符号化効率があまり良くなく、画質の
劣化を引き起こす要因となっている。例えば、上記のフ
ェードは、ビデオ編集の1手法として広く用いられてい
る方式で、通常の画像から次第に白色や黒色などの一定
色の画像に変化ゆくフェードアウトと、逆に、一定色の
画像から通常の画像が次第に現われてくるフェードイン
とがあるが、いずれの場合も、フレーム毎に輝度信号の
レベルが変化するために動き予測が当たり難く、結果的
に、余分な動きベクトル情報を符号化してしまって符号
化効率が低下する。
【0007】一方、パニングやチルトは、例えば、車な
どの動く物体を追いかけて撮影するときにカメラを横方
向もしくは縦方向に流しながら撮影する手法であるが、
一般的に、上記の動き探索の探索範囲に限りがあるため
に、その探索範囲を超えたパニングやチルトのシーンで
は、適切な動きベクトルを検出することが不可能で、動
き予測が当たらなくなり符号化効率が低下する。
【0008】このため、これまで、フェードシーンに対
する対処としては、例えば、特開平6−46412号公
報(以下、公知文献1という)や特開平8−65684
号公報(以下、公知文献2という),特開平11−19
1862号公報(以下、公知文献3という)などで各種
手法が提案されている。ここで、上記の各公知文献1〜
3で提案されている各手法の要旨を説明すると、まず、
公知文献1による手法(以下、第1手法という)は、フ
レーム間差分情報を符号化する場合に、フレーム間の平
均輝度値の差分を求め、その差分を補正(フェード補
正)により除去して符号化することにより、「フェード
シーン」においても予測残差を削減して符号化効率を上
げることができるという手法であり、公知文献2による
手法(以下、第2手法という)は、フレーム間の平均輝
度値の差分を求め、その差分補正を動きベクトル探索前
のMBに対して行なった上で、動きベクトル探索を行な
うことにより、「フェードシーン」においてもより正確
な動きベクトルを求めることができるという手法であ
る。そして、公知文献3による手法(以下、第3手法と
いう)は、フレーム間の輝度信号の平均及び分散を求
め、これらの各情報に基づいて「フェードシーン」を検
出する手法である。
【0009】一方、パニングなどの特殊効果シーンに対
する対処としては、例えば、特開平5−207444号
公報(以下、公知文献4という)や特開平9−2149
74号公報(以下、公知文献5という),特開平10−
224741号公報(以下、公知文献6という)などに
示されるような各種手法が提案されている。ここで、上
記の公知文献4による手法(以下、第4手法という)
は、動きベクトルの統計によりパニングを検出し、その
場合に動き予測をフィールド間予測に限定することで符
号化効率を向上できるようにした手法であり、上記の公
知文献5による手法(以下、第5手法という)は、動き
ベクトルの統計によりパニング(あるいは、チルト)を
検出し、その場合に符号化画面の画像解像度を落とすこ
とで動きベクトルの探索範囲(以下、単に「動き探索範
囲」ともいう)を仮想的に拡大するという手法である。
【0010】例えば、パニング(あるいは、チルト)が
検出された場合には、フレームを縦横1/2に間引いた
画像を生成して、その画像を符号化することで、同じ範
囲の動き探索を行なったとしても、実質縦横2倍の範囲
を探索していることになる。そして、上記の公知文献6
による手法(以下、第6手法という)は、符号化出力
(ストリーム)から種々のカット点検出を行なうことを
要旨とした手法である。
【0011】
【発明が解決しようとする課題】しかしながら、上記の
各手法では、それぞれ、次のような課題が生じる。ま
ず、第1手法では、フレームの輝度情報の変化のみでフ
ェード検出を行なうため、パニングやチルトなどの画像
(シーン)をフェードシーンと誤検出してしまう可能性
がある。その上、本第1手法では、フェード検出情報を
符号化情報へ多重化するため、余分な情報が必要とな
り、符号化ストリームが完全なMPEG互換ではなくな
る。
【0012】また、第2手法では、動きベクトル探索段
階で平均輝度情報を削減するという処理をMB単位で行
なうため演算量が莫大になるばかりでなく、フェードの
具合によっては平均輝度情報を削減しても、動きベクト
ルの誤検出が起こる場合がある。その具体例として、フ
ェードとしてフレーム輝度平均が次第に低くなってゆ
き、最終画素値がZとなる場合を例として考えてみる。
【0013】例えば、nフレーム目のフレーム内の或る
画素位置の輝度値をXnとすると、フェードの式は、次
式(1)(画素の輝度値Xnがフレーム毎に一定に変化
してゆく場合)や次式(2)(画素の輝度値Xnの変化
がフレームによって変わる場合)などで表される。 Xn+1=max(Xn−A,Z) (Aは固定値)・・・(1) Xn+1=(1−α)・Xn+α・Z (0≦α≦1)・・・(2) 上記の式(1)の場合は、フレーム内のどの画素をとっ
てもフレーム毎の輝度情報変化値は同じ“A”であるた
め、平均輝度成分を取り除くと動きベクトルをうまく検
出できそうである。これに対し、上記の式(2)は、変
数αをフェード前後で0から1へと段階的に変化させる
ことにより、フェードアウトしていく画像を生成でき、
逆に、変数αを1から0へと段階的に変化させることに
より、フェードインしてゆく画像を生成できることを表
すが、この場合、フェードが進むにつれて輝度情報の変
化とともに、フレーム内の輝度値によって輝度情報変化
値も変わる、つまり、フレーム内の輝度が生成する模様
が変化するため、平均輝度成分を取り除いても動きベク
トルの誤検出の発生が十分に考えられる。
【0014】次に、上記の第3手法では、フレーム間の
各画素の輝度値の変化のみならず、その変化の2乗を計
算することにより、フェード検出をより正確に行なって
いるが、上記の第1手法と同様に、輝度値の変化に注目
するだけでは、パニングやチルトなどのシーンで誤検出
を起こすと思われる。また、本第3手法の場合は輝度値
の変化の2乗を計算するので演算量も膨大になってしま
う。
【0015】以上のように、上述した第1〜第3手法で
は、いずれの場合も、「フェードシーン」の検出にフレ
ーム間の輝度情報の変化しか考慮していないために、
「フェードシーン」以外の特殊効果シーン(パニングや
チルトなど)を「フェードシーン」として誤検出してし
まう可能性が十分にあり、正確なフェード検出が行なえ
ないのである。
【0016】一方、パニングやチルトなどのシーンに関
して、上記の第4手法では、動きベクトルの探索範囲が
固定であるため、単位時間当たりの動き量の大きいパニ
ングやチルトにより探索範囲を超えた画像が入力された
場合に、動きベクトルを得ることができず対処できな
い。また、上記の第5手法では、パニングが検出された
場合には、低解像度の符号化を行なうため画質が劣化す
る(ボケる)という課題がある。なお、解像度を落とさ
ずに、単純に、動き探索範囲を拡大すると演算量が膨大
になる。
【0017】さらに、上記の第6手法では、符号化スト
リームを復号するときに、シーン検出インデックスを付
けるだけ(符号化モードの変更は無し)なので、符号化
側の概念は無く、パニングやチルトのシーンに対して符
号化効率を上げるという意図は無い。つまり、上記の第
4〜第6手法では、動きベクトルの探索範囲が固定、も
しくは、拡大する場合は画像解像度を落とす必要がある
ため、パニングやチルトなどの特殊効果シーンに対して
高画質を維持しながら符号化効率を上げることができな
いのである。
【0018】本発明は、以上のような課題に鑑み創案さ
れたもので、入力画像の輝度情報などの特徴情報につい
ての統計情報だけでなく、動きベクトル情報などの入力
画像を予測符号化する際に用いられる相関情報について
の統計情報をも考慮することで、フェードシーンなどの
特殊効果シーンを正確に検出できるようにすることを目
的とする。また、パニングやチルトなどの特殊効果シー
ンに対しては、動きベクトル情報などの相関情報の探索
範囲をシフト制御することで、画像解像度を落とすこと
なく、且つ、相関情報探索のための演算量を増大させる
ことなく、正確な相関情報を取得して符号化効率を向上
できるようにすることも目的とする。
【0019】
【課題を解決するための手段】上記の目的を達成するた
めに、本発明の動画像符号化装置(請求項1)は、入力
画像を過去に符号化した画像との相関情報に基づいて予
測符号化する予測符号化部と、入力画像のもつ特徴情報
についての第1統計情報と上記の相関情報についての第
2統計情報とに基づいて入力画像の特殊効果シーンを検
出する特殊効果シーン検出部と、この特殊効果シーン検
出部で検出された特殊効果シーンに応じて前記予測符号
化部による入力画像の符号化状態を制御する制御部とを
そなえて構成されたことを特徴としている。
【0020】上述のごとく構成された本発明の動画像符
号化装置(請求項1)では、入力画像のもつ特徴情報に
ついての第1統計情報のみならず、予測符号化時の相関
情報についての第2統計情報をも用いて入力画像の特殊
効果シーンを検出することができるので、一方の統計情
報だけをみると本来検出したい特殊効果シーンと特徴の
似た入力画像(シーン)でも、他方の統計情報が本来検
出したい特殊効果シーンの特徴を示していなければ検出
対象の特殊効果シーンから除外することができる。そし
て、この上で検出された特殊効果シーンに応じて予測符
号化部による符号化状態を制御することで予測符号化誤
差の低減を図ることができる。
【0021】ここで、上記の特殊効果シーン検出部に
は、入力画像の輝度情報についての統計情報を前記第1
統計情報として取得する輝度情報統計取得部と、入力画
像と過去に符号化した画像との間の動きベクトル情報に
ついての統計情報を前記第2統計情報として取得する動
きベクトル情報統計取得部と、これらの各部によって得
られた上記の各統計情報が所定の第1検出条件を満足す
ると入力画像が上記特殊効果シーンとしてのフェードシ
ーンであることを検出するフェード検出部とをそなえ、
上記の制御部を、フェード検出部にてフェードシーンが
検出されると上記の動きベクトル情報を制御して該符号
化状態を制御する動きベクトル情報制御部として構成し
てもよい。
【0022】このような構成を採ると、入力画像の輝度
情報についての統計情報と動きベクトル情報についての
統計情報とがそれぞれフェードシーンの特徴を示してい
ない限り、入力画像がフェードシーンであるとは検出さ
れないので、例えば、輝度情報についての統計情報だけ
をみるとフェードシーンの特徴を示すが、動きベクトル
情報についての統計情報がフェードシーン以外の特徴を
示すような入力画像(例えば、パニングやチルトなどの
シーン)をフェードシーンと誤検出してしまうことを回
避することができる。そして、フェードシーン検出時に
は、動きベクトル情報を制御することで、誤った動きベ
クトル情報の符号化による符号化効率の低下を回避でき
る(請求項2)。
【0023】また、上記の予測符号化部には、上記の相
関情報として動きベクトル情報を得るために符号化対象
の入力画像を所定の画素探索範囲で探索する動きベクト
ル情報探索部をそなえるとともに、上記の特殊効果シー
ン検出部には、入力画像の輝度情報についての統計情報
を前記第1統計情報として取得する輝度情報統計取得部
と、上記の動きベクトル情報についての統計情報を前記
第2統計情報として取得する動きベクトル情報統計取得
部と、これらの各統計取得部によって得られた各統計情
報が所定の第2検出条件を満足すると入力画像が特殊効
果シーンとしてのパニングあるいはチルトのシーンであ
ることを検出するパニング/チルト検出部とをそなえ、
且つ、上記の制御部を、このパニング/チルト検出部で
上記のパニングあるいはチルトのシーンが検出されると
前記第2統計情報に基づいて上記動きベクトル情報探索
部での画素探索範囲をシフト制御する探索範囲シフト制
御部として構成してもよい。
【0024】このような構成を採ると、上記の各統計情
報がパニングやチルトのシーン以外の特徴を示す特殊効
果シーンを検出対象から除外して、パニングやチルトの
シーンを正確に検出することができるとともに、動きベ
クトル情報探索のための演算量を増大させることなく、
パニングやチルトのシーンに応じた必要な動きベクトル
情報を得ることができる(請求項3)。
【0025】次に、本発明の動画像符号化装置(請求項
4)は、過去に符号化した画像との相関情報として動き
ベクトル情報を得るために符号化対象の入力画像を所定
の画素探索範囲で探索する動きベクトル情報探索部と、
この動きベクトル情報探索部によって得られた動きベク
トル情報に基づいて入力画像を予測符号化する予測符号
化部と、上記の動きベクトル情報についての統計情報に
基づいて入力画像の特殊効果シーンを検出する特殊効果
シーン検出部と、この特殊効果シーン検出部で上記の特
殊効果シーンが検出されると上記の統計情報に応じて上
記動きベクトル情報探索部での画素探索範囲をシフト制
御する探索範囲シフト制御部とをそなえて構成されたこ
とを特徴としている。
【0026】上述のごとく構成された本発明の動画像符
号化装置(請求項4)では、上記の特殊効果シーンが検
出されると、上記の動きベクトル情報についての統計情
報に基づいて上記の画素探索範囲がシフト制御されるの
で、動きベクトル情報探索のための演算量を増大させる
ことなく、検出された特殊効果シーンに応じて必要な相
関情報を得ることができる。
【0027】さらに、本発明の動画像の特殊効果シーン
検出装置(請求項5)は、入力画像のもつ特徴情報につ
いての統計情報を取得する第1統計情報取得部と、予測
符号化対象の入力画像と過去に符号化された画像との相
関情報についての統計情報を取得する第2統計情報取得
部と、これらの各統計情報取得部によって得られた各統
計情報に基づいて該入力画像の特殊効果シーンを検出す
る特殊効果シーン検出部とをそなえて構成されたことを
特徴としている。
【0028】上述のごとく構成された本特殊効果シーン
検出装置(請求項5)では、入力画像のもつ特徴情報に
ついての統計情報のみならず、予測符号化時の相関情報
についての統計情報をも用いて入力画像の特殊効果シー
ンを検出することができるので、一方の統計情報だけを
みると本来検出したい特殊効果シーンと特徴の似た入力
画像(シーン)でも、他方の統計情報が本来検出したい
特殊効果シーンの特徴を示していなければ検出対象の特
殊効果シーンから除外することができる。
【0029】
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図1は本発明の一実施形態として
の特殊効果シーン検出装置が適用されるディジタル動画
像符号化装置の構成を示すブロック図で、この図1に示
すディジタル動画像符号化装置(以下、単に「動画像符
号化装置」という)1は、フレームメモリ2,原画マク
ロブロック(MB)取得器3,参照ブロック取得器4,
動きベクトル探索器5,予測判定器6,減算器7,加算
器11,スイッチ8,12,符号化器9及び局所復号化
器10をそなえるとともに、特殊効果シーン検出装置1
3として、入力画像情報統計取得器14,動き情報統計
取得器15,特殊シーン検出器16及び制御部17をそ
なえて構成されている。
【0030】ここで、上記のフレームメモリ2は、符号
化すべき入力動画像データをフレーム(静止画像)単位
で記憶するためのものである。なお、入力動画像データ
がNTSC方式などにおけるインタレース走査によって
生成された画像データの場合、1フレーム分の入力画像
は偶フィールドと奇フィールドの2枚のフィールドから
成るので、フレームメモリ2には、さらに、フィールド
単位に画像データが保持されることになる。以下、これ
らのフレームとフィールドとを特に区別しない場合は、
総称して「ピクチャ」という。
【0031】また、原画MB取得器3は、フレームメモ
リ2に記憶されている画像データ(原画ピクチャ)から
符号化対象のMBを原画MBとして取得(抽出)するた
めのもので、例えば、原画ピクチャ内における任意の1
6×16画素(ピクセル)の矩形領域(画素集合)が原
画MBとして抽出されるようになっている。また、参照
ブロック取得器4は、ピクチャ間差分情報を得るのに必
要な原画MBに対する参照ブロックをフレームメモリ2
から取得するためのもので、例えば図3に模式的に示す
ように、既に符号化され局所復号化器10にて再生(局
所復号)された過去のピクチャ(参照ピクチャ)32に
おいて原画ピクチャ31内の原画MB311と同じ位置
に位置するMB(参照MB)321を中心として縦横方
向にそれぞれ1画素ずつ所定画素分だけずらした範囲
(この範囲が動きベクトル探索範囲322となる)のブ
ロックが上記参照ブロックとして得られるようになって
いる。
【0032】ただし、フィールド間予測の場合は上記の
偶フィールド及び奇フィールドのそれぞれ対応して2つ
の参照ブロックが取得され、それぞれについて下記に示
す動きベクトル探索器5による動きベクトル情報の探索
が行なわれて、各フィールド用の動きベクトル情報がそ
れぞれ得られるようになっている。そして、動きベクト
ル探索器(動きベクトル情報探索部)5は、上記の原画
MB取得器3で得られた原画MBと参照ブロック取得器
4で得られた参照ブロックとに基づいて動き予測を行な
って動きベクトル情報(以下、単に「動きベクトル」と
いう)を得るためのもので、例えば図4に模式的に示す
ように、上記の参照ブロック(動きベクトル探索範囲)
322内において原画MB311と最も相関の高いMB
(以下、予測MBという)323を探索(ブロックマッ
チング)し、その予測MB323の参照ピクチャ32内
での位置と、原画MB311の原画ピクチャ31内での
位置とのずれが動きベクトル(相関情報)30として表
わされるようになっている。
【0033】なお、原画MB311と予測MB323と
の相関は、一般に、画素のもつ特徴情報(輝度信号や色
差信号など)についての差分の絶対値和や2乗和などに
よって求められ、その値(動き探索評価値)が小さいほ
ど両者の相関が高いと判断される。また、得られた動き
ベクトルは、符号化情報に多重化される。さらに、予測
判定器6は、符号化対象のピクチャの属性や構造(フレ
ーム又はフィールド)に基づいて予測モード〔ピクチャ
(フレーム/フィールド)内/間予測〕を判定し、その
判定結果に応じてスイッチ8及び12を制御するととも
に、判定結果に応じた最適な動きベクトル(フレーム/
フィールド用)を減算器7及び加算器11へ出力するた
めのものである。
【0034】なお、上記のピクチャの属性とは、ピクチ
ャ内予測を行なうべき画像かピクチャ間予測を行なうべ
き画像かなどを意味し、例えば、MPEG方式の場合な
ら、Iピクチャ(Intra-coded picture)やPピクチャ
(Predictive-coded picture)/Bピクチャ(Bidirect
ionally predictive-coded picture)などの違いに相当
する。
【0035】そして、上記の予測判定器6は、例えば、
予測モードが、ピクチャ内予測であれば、スイッチ8及
び12をそれぞれ減算器7及び加算器11側とは逆側に
切り替えることで、原画MBそのものが符号化器9にて
独立して符号化(ピクチャ内符号化)されるように制御
する一方、ピクチャ間予測であれば、スイッチ8及び1
2をそれぞれ減算器7及び加算器11側に切り替えると
ともに、ピクチャ間予測モードに応じた動きベクトル
(フレーム/フィールド用)を減算器7及び加算器11
にそれぞれ出力する。
【0036】これにより、減算器7にて原画MBから動
きベクトルを除いた差分画像データが符号化器9に入力
されて符号化される一方、その符号化データを局所復号
化器10で復号した差分画像データに、上記の動きベク
トルが加算器11にて加算されて元の原画MBが再生さ
れフレームメモリ2に再度保持されることになる。な
お、動きベクトル探索器5によって得られた動きベクト
ルは、場合によっては使用しない方が良い場合がある
(ピクチャ間予測符号化対象の画像でもピクチャ内予測
符号化を行なった方が符号化効率が良い場合もある)。
このような場合には、予測判定器6は、ピクチャ間予測
符号化を行なうべき場合でも、動きベクトル探索器5に
よって得られた動きベクトルは使用(出力)せず、スイ
ッチ8及び12をそれぞれ減算器7及び加算器11側と
は逆側に切り替えて、ピクチャ内予測符号化が行なわれ
るようにする。
【0037】次に、上記の符号化器9は、スイッチ8か
ら選択出力されてくる画像データをMB単位に符号化す
るもので、例えば、MPEG方式の場合であれば、DC
T(Discrete Cosine Transform)による直行変換,量
子化及び可変長符号化の各処理が符号化処理として含ま
れることになる。また、局所復号化器10は、ピクチャ
間予測符号化を行なう基本原理として、過去に符号化し
たピクチャと符号化対象のピクチャとの差分情報を得る
必要があるので、符号化器10で符号化されたデータを
復号することにより過去に符号化したピクチャを再生す
るもので、MPEG方式の場合であれば、逆量子化及び
逆DCTの各処理が局所復号化処理として含まれること
になる。なお、局所復号化処理は、MPEG方式の場
合、上記の符号化器9における可変長符号化処理前のデ
ータを用いて行なうのが一般的であるので、逆可変復号
化処理は含まないのが普通である。
【0038】つまり、図1において、特殊効果シーン検
出装置13以外の部分は、符号化対象のピクチャを過去
に符号化したピクチャとの相関に基づいて予測符号化す
る予測符号化部21として機能するのである。次に、上
記の特殊効果シーン検出装置13において、入力画像情
報統計取得器(輝度情報統計取得部)14は、フレーム
メモリ2に蓄積された符号化対象のピクチャの特徴情報
としての輝度信号(輝度情報)についての統計情報(輝
度平均;第1統計情報)を取得するためのもので、例え
ば、フレーム輝度平均を求める場合は、フレーム内の画
素集合をU、フレーム輝度平均をAvePとすると、フレー
ム輝度平均AvePは、例えば、次式(3)によって求めら
れる。
【0039】
【数1】
【0040】なお、この輝度平均の算出は、必ずしもピ
クチャ内の全画素を用いる必要はなく、一部の画素を用
いるようにしてもよい。一方、上記の動き情報統計取得
器(動きベクトル情報統計取得部)15は、符号化対象
のピクチャと過去に符号化したピクチャとの間の動きベ
クトルについての統計情報(第2統計情報)として動き
ベクトル平均及び分散を取得するためのもので、例え
ば、各MBで得られた動きベクトルを累積してゆき、累
積動きベクトルをピクチャのMB数で割ることにより動
きベクトル平均を得ることができ、各動きベクトルと動
きベクトル平均との差の2乗和や絶対値和を求めてMB
数で割ることにより動きベクトル分散を得ることができ
る。
【0041】即ち、フレーム内のMB集合をV、各動き
ベクトルをVec_i、ピクチャのMB数をNum_I、動きベク
トルの値を(水平成分,垂直成分)=(VecH_i,VecV_
i)とし、水平成分の平均値(以下、単に「水平平均
値」という)をAH、水平成分の分散値(以下、単に
「水平分散値」という)をVH、垂直成分の平均値(以
下、単に「垂直平均値」という)をAV、垂直成分の分
散値(以下、単に「垂直分散値」という)をVVとそれ
ぞれ表わすと、動き情報統計取得器15は、それぞれ次
式(4)〜(7)で表わされる演算により、動きベクト
ルの水平成分及び垂直成分についての平均及び分散をそ
れぞれ求めることができる。
【0042】
【数2】
【0043】このため、本実施形態の動き情報統計取得
器15には、例えば図2中に示すように、上記の式
(4)による演算によって水平平均値AHを求める水平
動きベクトル平均演算器151、上記の式(5)による
演算によって水平分散値VHを求める水平動きベクトル
分散演算器152、上記の式(6)による演算によって
垂直平均値AVを求める垂直動きベクトル平均演算器1
53、上記の式(7)による演算によって垂直分散値V
Vを求める垂直動きベクトル分散演算器154がそなえ
られている。
【0044】なお、上記の例は、各動きベクトルと動き
ベクトル平均との差の絶対値和をとる場合であるが、勿
論、2乗和をとるようにしてもよい。また、以下におい
て、動きベクトルの水平成分及び垂直成分についての平
均及び分散を特に区別しない場合は、単に「動きベクト
ル平均」及び「動きベクトル分散」と称することにす
る。
【0045】次に、上記の特殊シーン検出器(特殊効果
シーン検出部)16は、上記の各統計取得器14,15
によって得られた各統計情報(輝度平均,動きベクトル
平均及び分散)に基づいて符号化対象のピクチャが、フ
ェードやパニング,チルトなどの特殊効果シーンである
ことを検出するためのもので、ここでは、上記の各統計
情報が、図2により後述するように、閾値L1,L2,
MH1〜MH3,MV1〜MV3によって規定される所
定の第1検出条件を満足すると符号化対象のピクチャが
フェードシーンであると判断し、第2検出条件を満足す
ると符号化対象のピクチャがパニングもしくはチルトの
シーンであると判断するようになっている。
【0046】つまり、上記の特殊シーン検出器16は、
上記の各統計情報が所定の第1検出条件を満足すると符
号化対象のピクチャがフェードシーンであることを検出
するフェード検出部としての機能と、上記の各統計情報
が所定の第2検出条件を満足すると符号化対象のピクチ
ャがパニングあるいはチルトのシーンであることを検出
するパニング/チルト検出部としての機能とを兼ね備え
ているのである。
【0047】そして、制御部17は、上記の特殊シーン
検出器16(特殊効果シーン検出装置13)にて符号化
対象のピクチャが特殊効果シーンであると判断された場
合に、検出された特殊効果シーンの種別(フェードやパ
ニング/チルトなど)に応じて、符号化状態を制御する
ためのもので、本実施形態では、特殊シーン検出器16
にて、後述するように特殊効果シーンとして、フェード
シーンが検出された場合には、動きベクトルを制御する
一方、パニングやチルトのシーンが検出された場合に
は、動きベクトル探索器5による動きベクトル探索範囲
を動きベクトルについての統計に基づいてシフト制御す
るようになっている。
【0048】例えば、本実施形態では、特殊効果シーン
としてフェードシーンが検出された場合には、全ての動
きベクトルを強制的にゼロベクトルにすることで、不要
な動きベクトルが選択(符号化)されないようにピクチ
ャの符号化状態を制御して符号化効率を上げることがで
きる。一方、特殊効果シーンとしてパニングやチルトの
シーンが検出された場合には、動きベクトルの統計から
動き方向を判別して、その方向へ動きベクトル探索範囲
をシフトすることで、パニングやチルトのシーンに対し
ても演算量を増やすことなく必要な動きベクトルを精度
良く求めて符号化効率を上げることができる。
【0049】つまり、本実施形態の制御部17は、特殊
シーン検出器16にてフェードシーンが検出されると動
きベクトルを制御して予測符号化部21での符号化状態
を制御する動きベクトル情報制御部としての機能と、特
殊シーン検出器16にてパニングあるいはチルトのシー
ンが検出されると動きベクトルの統計情報に基づいて動
きベクトル探索器5での探索範囲をシフト制御する探索
範囲シフト制御部としての機能とを兼ね備えているので
ある。
【0050】以下、上述のごとく構成された本実施形態
の動画像符号化装置1(特殊効果シーン検出装置13)
の動作について、図2に示すフローチャートを参照しな
がら詳述する。なお、予測符号化部21での基本的な動
作については従来と同様である。即ち、最初の符号化対
象のピクチャについては、ピクチャ内符号化が行なわ
れ、原画MBがそのまま符号化される。そして、以降の
継続するピクチャについては、それぞれ前に符号化した
ピクチャとの差分を符号化するために動き予測が行なわ
れる。即ち、より原画MBに相関の高いMBが参照ブロ
ック内で探索され、原画MBのピクチャ内での位置と予
測MBの参照ブロック内での位置の相対的なずれが動き
ベクトルとして求められて符号化情報に多重化される。
【0051】一方、特殊効果シーン検出装置13におい
ては、まず、入力画像情報統計取得器14にて、符号化
対象のピクチャについての輝度平均AvePが求められ、前
ピクチャについての輝度平均AvePとの差分D(以下、輝
度平均差分Dともいう)が求められる。そして、この差
分Dと第1の閾値L1とが特殊シーン検出器16におい
て比較されて、差分Dが閾値L1よりも大きいか否かが
判別される(ステップS1)。この結果、差分Dが閾値
L1以下であるようなら、輝度平均の変化があまり無い
と思われるのでフェード検出条件から外れる(フェード
非検出;ステップS1のNOルート)。なお、上記の閾
値L1としては、例えば、2〜5程度の値を設定するの
が適当である。
【0052】これに対し、上記の差分Dが閾値L1より
も大きければ、フェードシーンの可能性があるので、特
殊シーン検出器16は、次に、差分Dと第2の閾値L2
とを比較して、差分Dの方が閾値L2よりも小さいかど
うかを判別する(ステップS1のYESルートからステ
ップS2)。なお、上記の閾値L2は、L2>L1を満
足する値で、例えば、20程度を設定するのが適当であ
る。
【0053】この結果、差分Dが閾値L2以上であれ
ば、フェードシーンとは異なりピクチャ間の相関がかな
り低いシーンチェンジが発生していると思われるので、
この場合も、フェード検出条件から除外される(フェー
ド非検出;ステップS2のNOルート)。ちなみに、シ
ーンチェンジ発生の場合には、ピクチャ内符号化を使用
した方が一般的に符号化効率が良い。
【0054】一方、上記の差分Dが第2の閾値L2より
も小さければ、特殊シーン検出器16は、次に、水平動
きベクトル平均演算器151〔式(4)参照〕によって
求められた水平平均値AHとその水平平均値AHについ
ての閾値MH1とを比較(絶対値比較)して、水平平均
値AHの方が閾値MH1よりも小さいかどうかを判別す
る(ステップS2のYESルートからステップS3)。
なお、上記の閾値MH1としては、例えば、10〜16
程度の値を設定するのが適当である。
【0055】上記の判別の結果、水平平均値AHが閾値
MH1以上であれば、動きベクトルの水平成分の方向が
或る程度揃っていることになるので、そのときの符号化
対象のピクチャ(シーン)はフェードシーンではなくパ
ニングのシーンである可能性が高いと判断されて、フェ
ード検出条件からは除外される(フェード非検出;ステ
ップS3のNOルート)。
【0056】一方、水平平均値AHの方が閾値MH1よ
りも小さければ、特殊シーン検出器16は、次に、水平
動きベクトル分散演算器152〔式(5)参照〕によっ
て求められた水平分散値VHと、その水平分散値VHに
ついての閾値MH2とを比較して、水平分散値VHの方
が閾値MH2よりも大きいかどうかを判別する(ステッ
プS3のYESルートからステップS4)。なお、上記
の閾値MH2は、MH2<MH1を満足する値で、例え
ば、MH1/3程度の値を設定するのが適当である。
【0057】この結果、水平分散値VHが閾値MH2以
下であれば、水平平均値AHも水平分散値VHも小さい
ということになるので、フェードシーン時に発生する動
き予測効率の低下が発生していないと思われるので、こ
の場合も、フェード検出条件から除外される(フェード
非検出;ステップS4のNOルート)。一方、水平分散
値VHが閾値MH2よりも大きければ、特殊シーン検出
器16は、次に、垂直動きベクトル平均演算器153
〔式(6)参照〕によって求められた垂直平均値AV
と、その垂直平均値AVについての閾値MV1とを比較
(絶対値比較)して、垂直平均値AVが閾値MV1より
も小さいかどうかを判別する(ステップS4のYESル
ートからステップS5)。なお、上記の閾値MV1に
は、水平平均値についての閾値MH1と同程度の値を設
定するのが適当である。
【0058】この結果、垂直平均値AVが閾値MV1以
上であれば、チルトシーンの可能性があるので、フェー
ド検出条件からは除外される(フェード非検出;ステッ
プS5のNOルート)。一方、垂直平均値AVが閾値M
V1よりも小さければ、特殊シーン検出器16は、次
に、垂直動きベクトル分散演算器154〔式(7)参
照〕によって求められた垂直分散値VVと、その垂直分
散値VVについての閾値MV2とを比較して、垂直分散
値VVが閾値MV2よりも大きいか否かを判別する(ス
テップS5のYESルートからステップS6)。なお、
上記の閾値MV2は、MV2<MV1を満足する値で、
例えば、MV1/3程度の値を設定するのが適当であ
る。
【0059】その結果、垂直分散値VVが閾値MV2以
下であれば(ステップS6でNOと判定されれば)、垂
直平均値AVも垂直分散値VVも小さいことになるの
で、この場合も、フェードシーン時に発生する動き予測
効率の低下が発生していないと思われるので、フェード
検出条件から外れる(フェード非検出)。これに対し、
垂直分散値VVが閾値MV2よりも大きい場合は、符号
化対象のピクチャがフェードシーンである可能性が非常
に高いと判断される(フェード検出;ステップS6のY
ESルート)。
【0060】つまり、本実施形態の特殊シーン検出器1
6は、前記の第1検出条件として、D>L1,D<L
2,AH<MH1,VH>MH2,AV<MV1及びV
V>MV2という条件を全て満足した場合に初めて、符
号化対象のピクチャがフェードシーンであると判断する
のである。従って、輝度平均だけをみるとフェードシー
ンと似た特徴を示すフェードシーン以外のシーン(パニ
ングやチルトなど)をフェードシーンとして誤検出して
しまう確率が大幅に低減されて、正確なフェード検出が
実現される。
【0061】そして、このようにして、フェードシーン
が検出されると、特殊シーン検出器16は、制御部17
に対してフェード検出信号を出力し、これにより、制御
部17は、動きベクトル探索器5で得られる全ての動き
ベクトルを強制的にゼロベクトルに制御する。これによ
り、フェードシーンにおいて不要な動きベクトルが選択
(符号化)されて符号化効率が落ちることを確実に回避
することができ、フェードシーンでの符号化効率を飛躍
的に向上することができる。
【0062】ところで、上記のステップS3(S5)に
おいて水平平均値AH(垂直平均値AV)が閾値MH1
(MV1)以上であった場合、特殊シーン検出器16
は、上述したフェード検出と並行して、水平動きベクト
ル分散演算器152(垂直動きベクトル分散演算器15
4)によって求められた水平分散値VH(垂直分散値V
V)と、その水平分散値VH(垂直分散値VV)につい
ての閾値MH3(MV3)とを比較して、水平分散値V
H(垂直分散値VV)が閾値MH3(MV3)よりも小
さいかどうかを判別している〔ステップS3(S5)の
NOルートからステップS7(S8)〕。
【0063】なお、上記の閾値MH3(MV3)には、
閾値MH2(MV2)と同じ値を設定してもよいが、或
る程度以上動きベクトルがばらついていることを検出す
るための閾値MH2(MV2)と、或る程度以上動きベ
クトルが揃っていることを検出するための閾値MH3
(MV3)というように検出目的が異なるので、上述し
たように、各値は異なる値〔MH2>MH3(MV2>
MV3)〕に設定するのが好ましい。
【0064】そして、上記の判別の結果、水平分散値V
H(垂直分散値VV)が閾値MH3(MV3)よりも小
さければ、特殊シーン検出器16は、そのときの符号化
対象のピクチャがパニング(チルト)のシーンであると
判別して〔パニング(チルト)検出;ステップS7(S
8)のYESルート〕、パニング(チルト)検出信号を
制御部17へ出力する。なお、水平分散値VH(垂直分
散値VV)が閾値MH3(MV3)以上の場合は、動き
ベクトルが或る程度ばらついていることになるので、パ
ニング(チルト)検出条件からは外れる〔パニング(チ
ルト)非検出;ステップS7(S8)のNOルート〕。
【0065】つまり、特殊シーン検出器16は、前記の
第2検出条件として、D>L1及びD<L2という条件
を満足するとともに、AH≧MH1及びVH<MH3
(AV≧MV1及びVV<MV3)という条件を満足し
た場合に初めて、符号化対象のピクチャがパニング(チ
ルト)のシーンであると判断するのである。従って、輝
度平均だけをみる場合に比して、より正確にパニングや
チルトのシーンを検出することができる。
【0066】そして、上述のごとくパニング(チルト)
が検出されてパニング(チルト)検出信号が制御部17
に出力されると、制御部17は、動きベクトルの統計か
ら動きの(パニング又はチルトの)方向を判別し、その
方向へ動きベクトル探索範囲322を平均動き量だけシ
フトする。例えば図5に模式的に示すように、元の動き
ベクトル探索範囲322が[MinH,MaxH]である
場合に、パニングが検出されると、制御部17は、 [M
inH+AH,MaxH+AH]というように元の探索
範囲322を水平方向に平均動き量AHだけシフトす
る。これにより、パニングやチルトなどの一定方向へ移
動するシーンに対しても動きベクトルを求めるための演
算量を増やすことなく、必要な動きベクトルを精度良く
求めて符号化効率を上げることができる。
【0067】なお、演算量は増えるが、勿論、上記の平
均動き量分だけ元の探索範囲322を拡大しても、パニ
ングやチルトなどのシーンにおける動きベクトルを精度
良く求めることは可能である。また、符号化を行なって
いる場合、フェードやパニング,チルトなどが生じ始め
た最初のピクチャから符号化効率が悪くなったのを視覚
的に認知することは非常に困難であるため、制御部17
は、上述したフェード(パニング/チルト)検出が所定
フレーム分連続して発生したことを確認した上で、上述
したような制御を実行するようにしてもよい。このよう
にすることで、フェードやパニング,チルトなどのシー
ンと、ズームアウトやズームインのシーンとを区別する
ことも可能になり、より正確な検出を行なうことが可能
である。
【0068】さらに、動きベクトルがフレーム枠の外側
を指すことは一般に考えられないため、動きベクトルの
方向に制限があるフレーム枠側の方のMBを除いて、動
きベクトルの統計処理を行なうのも良い方法である。こ
れは、輝度平均の統計で必ずしも全画素を用いる必要が
ないことと同様である。また、フェード検出時の制御部
17による符号化制御としては、上記のように全ての動
きベクトルを0ベクトルにするのではなく、より0ベク
トルに近いベクトルが選択されやすいように、重み付け
制御を行なう方法も考えられる。例えば、動きベクトル
を求める際に行なうブロックマッチング処理の評価値
に、動きベクトルの大きさに比例する補正量を加算した
上で、ブロックマッチングを行なうことにより、より0
ベクトルに近いベクトルが選択されやすいようにしても
よい。
【0069】また、前記の輝度平均や動きベクトル平
均,動きベクトル分散の各演算には、必ずしも前記の式
(3)〜式(7)を用いる必要はなく、より簡単な演算
を用いてもよい。例えば、演算量削減のために割り算の
処理を省いて単なる累積値を求めるようにしても構わな
いし、1画素飛びに累積を行なうなど、ピクチャ内の全
画素の部分集合を用いて処理を行なうことも可能であ
る。ただし、演算式が変わるとそれに応じて設定する閾
値(L1,L2,MH1〜MH3,MV1〜MV3)も
変更する必要がある。
【0070】さらに、上記の例では、フェードシーンの
検出のために、動きベクトルの水平成分及び垂直成分の
双方についての平均値及び分散値を用いているが、水平
成分及び垂直成分のいずれか一方のみを用いるようにし
てもよいし、平均値及び分散値のいずれか一方のみを用
いるようにしてもよい。また、上記の例では、特殊シー
ン検出器16が、フェード検出とパニング/チルト検出
とで兼用になっているが、フェード検出専用あるいはパ
ニング/チルト検出専用の検出器として構成してもよ
い。即ち、特殊シーン検出器16は、例えば図6に示す
フェード検出フロー(アルゴリズム)に従って動作する
ように構成してもよいし、図7に示すパニング/チルト
検出フロー(アルゴリズム)に従って動作するように構
成してもよい。なお、図6及び図7に示すフローチャー
トにおいて、図2により上述したステップ番号と同一ス
テップ番号を付した処理は、図2により上述した処理と
同様であるものとする。
【0071】さらに、特殊シーン検出器16をパニング
/チルト検出専用の検出器として構成する場合には、必
ずしも輝度平均は用いなくてもよく、例えば図8に示す
ように、動きベクトルの統計のみでパニングやチルトの
シーン検出を行なうようにしてもよい。ただし、パニン
グやチルトのシーンが検出された場合は、必ず上記の動
きベクトル探索範囲のシフト制御を行なうのが前提であ
る。
【0072】そして、本発明は、上述した実施形態に限
定されるものではなく、本発明の趣旨を逸脱しない範囲
で種々変形して実施することができる。 ・付記 (付記1) 入力画像を過去に符号化した画像との相関
情報に基づいて予測符号化する予測符号化部と、該入力
画像のもつ特徴情報についての第1統計情報と、該相関
情報についての第2統計情報とに基づいて該入力画像の
特殊効果シーンを検出する特殊効果シーン検出部と、該
特殊効果シーン検出部で検出された特殊効果シーンに応
じて該予測符号化部による該入力画像の符号化状態を制
御する制御部とをそなえて構成されたことを特徴とす
る、動画像符号化装置。
【0073】(付記2) 該特殊効果シーン検出部が、
該入力画像の輝度情報についての統計情報を該第1統計
情報として取得する輝度情報統計取得部と、該入力画像
と過去に符号化した画像との間の動きベクトル情報につ
いての統計情報を該第2統計情報として取得する動きベ
クトル情報統計取得部と、上記の各統計情報が所定の第
1検出条件を満足すると該入力画像が該特殊効果シーン
としてのフェードシーンであることを検出するフェード
検出部とをそなえて構成されるとともに、該制御部が、
該フェード検出部にて該フェードシーンが検出されると
該動きベクトル情報を制御して該符号化状態を制御する
動きベクトル情報制御部として構成されていることを特
徴とする、付記1記載の動画像符号化装置。
【0074】(付記3) 該輝度情報統計取得部が、該
入力画像の全画素もしくは一部の画素についての輝度情
報の平均値もしくは累積値を該第1統計情報として取得
するように構成されたことを特徴とする、付記2記載の
動画像符号化装置。 (付記4) 該動きベクトル情報制御部が、該フェード
検出部にて該フェードシーンが検出されると、全ての動
きベクトル情報をゼロに制御するように構成されたこと
を特徴とする、付記2又は付記3に記載の動画像符号化
装置。
【0075】(付記5) 該動きベクトル情報制御部
が、該フェード検出部にて該フェードシーンが検出され
ると、よりゼロに近い動きベクトル情報が有効な動きベ
クトル情報として選択されやすいよう該動きベクトル情
報の補正を行なうように構成されたことを特徴とする、
付記2又は付記3記載の動画像符号化装置。
【0076】(付記6) 該予測符号化部が、該相関情
報としての動きベクトル情報を得るために符号化対象の
入力画像を所定の画素探索範囲で探索する動きベクトル
情報探索部をそなえるとともに、該特殊効果シーン検出
部が、該入力画像の輝度情報についての統計情報を該第
1統計情報として取得する輝度情報統計取得部と、該動
きベクトル情報についての統計情報を該第2統計情報と
して取得する動きベクトル情報統計取得部と、上記の各
統計情報が所定の第2検出条件を満足すると該入力画像
が該特殊効果シーンとしてのパニングあるいはチルトの
シーンであることを検出するパニング/チルト検出部と
をそなえて構成され、且つ、該制御部が、該パニング/
チルト検出部で上記のパニングあるいはチルトのシーン
が検出されると該第2統計情報に基づいて該動きベクト
ル情報探索部での該画素探索範囲をシフト制御する探索
範囲シフト制御部として構成されていることを特徴とす
る、付記1記載の動画像符号化装置。
【0077】(付記7) 該制御部が、該特殊効果シー
ン検出部にて所定回数連続して同じ種類の特殊効果シー
ンが検出されると、該符号化状態の制御を実行するよう
に構成されたことを特徴とする、付記1記載の動画像符
号化装置。 (付記8) 過去に符号化した画像との相関情報として
動きベクトル情報を得るために符号化対象の入力画像を
所定の画素探索範囲で探索する動きベクトル情報探索部
と、該動きベクトル情報探索部によって得られた該動き
ベクトル情報に基づいて該入力画像を予測符号化する予
測符号化部と、該動きベクトル情報についての統計情報
に基づいて該入力画像の特殊効果シーンを検出する特殊
効果シーン検出部と、該特殊効果シーン検出部で該特殊
効果シーンが検出されると該統計情報に応じて該動きベ
クトル情報探索部での該画素探索範囲をシフト制御する
探索範囲シフト制御部とをそなえて構成されたことを特
徴とする、動画像符号化装置。
【0078】(付記9) 入力画像のもつ特徴情報につ
いての統計情報を取得する第1統計情報取得部と、予測
符号化対象の入力画像と過去に符号化された画像との相
関情報についての統計情報を取得する第2統計情報取得
部と、上記の各統計情報取得部によって得られた各統計
情報に基づいて該入力画像の特殊効果シーンを検出する
特殊効果シーン検出部とをそなえて構成されたことを特
徴とする、動画像の特殊効果シーン検出装置。
【0079】(付記10)入力画像を過去に符号化した
画像との相関情報に基づいて予測符号化する予測符号化
ステップと、該入力画像のもつ特徴情報についての第1
統計情報と、該相関情報についての第2統計情報とに基
づいて該入力画像の特殊効果シーンを検出する特殊効果
シーン検出ステップと、該特殊効果シーン検出ステップ
で検出された該特殊効果シーンに応じて該予測符号化ス
テップでの該入力画像の符号化状態を制御する制御ステ
ップとを有して成ることを特徴とする、動画像符号化方
法。
【0080】(付記11) 過去に符号化した画像との
相関情報として動きベクトル情報を得るために符号化対
象の入力画像を所定の画素探索範囲で探索する動きベク
トル情報探索ステップと、該動きベクトル情報探索ステ
ップによって得られた該動きベクトル情報に基づいて該
入力画像を予測符号化する予測符号化ステップと、該動
きベクトル情報についての統計情報に基づいて該入力画
像の特殊効果シーンを検出する特殊効果シーン検出ステ
ップと、該特殊効果シーン検出ステップで該特殊効果シ
ーンが検出されると該統計情報に基づいて該画素探索範
囲をシフト制御する探索範囲シフト制御ステップとを有
して成ることを特徴とする、動画像符号化方法。
【0081】(付記12) 入力画像のもつ特徴情報に
ついての統計情報と、予測符号化対象の入力画像と過去
に符号化された画像との相関情報についての統計情報と
をそれぞれ取得する統計情報取得ステップと、上記の統
計情報取得ステップによって得られた各統計情報に基づ
いて該入力画像の特殊効果シーンを検出する特殊効果シ
ーン検出ステップとを有して成ることを特徴とする、動
画像の特殊効果シーン検出方法。
【0082】
【発明の効果】以上詳述したように、本発明によれば、
入力画像のもつ特徴情報についての第1統計情報のみな
らず、予測符号化時の相関情報についての第2統計情報
をも用いて入力画像の特殊効果シーンを検出することが
できるので、一方の統計情報だけをみると本来検出した
い特殊効果シーンと特徴の似た入力画像(シーン)で
も、他方の統計情報が本来検出したい特殊効果シーンの
特徴を示していなければ検出対象の特殊効果シーンから
除外することができ、所望の特殊効果シーンの検出精度
を大幅に向上することができる(請求項1,5)。
【0083】そして、この上で検出された特殊効果シー
ンに応じて予測符号化部による符号化状態を制御するこ
とで予測符号化誤差の低減を図ることができるので、特
殊効果シーンに対する符号化効率を飛躍的に向上するこ
とができる(請求項1)。例えば、上記の特殊効果シー
ン検出部において、入力画像の輝度情報についての統計
情報と動きベクトル情報についての統計情報とがそれぞ
れ所定の第1条件を満足しない限り、入力画像がフェー
ドシーンであるとは検出しないようにすれば、動きベク
トル情報についての統計情報がフェードシーン以外の特
徴を示すような入力画像をフェードシーンと誤検出して
しまうことを回避することができるので、正確なフェー
ドシーン検出が実現できる。そして、フェードシーン検
出時には、動きベクトル情報を制御することで、誤った
動きベクトル情報の符号化による符号化効率の低下を回
避できるので、フェードシーンの符号化効率を大幅に向
上することができる(請求項2)。
【0084】また、上記の特殊効果シーン検出部におい
て、上記の各統計情報が所定の第2条件を満足しない限
り、入力画像がパニングやチルトのシーンであるとは検
出しないようにすれば、パニングやチルトのシーンを正
確に検出することができる。そして、この場合、動きベ
クトル情報の探索範囲を動きベクトル情報の統計情報に
基づいてシフト制御すれば、動きベクトル情報探索のた
めの演算量を増大させることなく、パニングやチルトの
シーンに応じた必要な動きベクトル情報を確実に得るこ
とができるので、パニングやチルトのシーンの符号化効
率を大幅に向上することができる(請求項3)。
【0085】なお、動きベクトル情報の探索範囲につい
てのシフト制御は、動きベクトル情報のみから特殊効果
シーンが検出された場合に適用してもよく、この場合
も、動きベクトル情報探索のための演算量を増大させる
ことなく、パニングやチルトなどの特殊効果シーンに応
じた必要な動きベクトル情報を確実に得ることができる
ので、その特殊効果シーンの符号化効率を大幅に向上す
ることができる(請求項4)。
【図面の簡単な説明】
【図1】本発明の一実施形態としての動画像符号化装置
の構成を示すブロック図である。
【図2】図1に示す動画像符号化装置(特殊効果シーン
検出装置)の動作(処理手順)を説明するためのフロー
チャートである。
【図3】動きベクトル探索範囲を説明するための模式図
である。
【図4】動きベクトルの定義を説明するための模式図で
ある。
【図5】本実施形態に係るパニング/チルトシーン検出
時の動きベクトル探索範囲のシフト制御を説明するため
の模式図である。
【図6】図2に示す処理手順の変形例(フェード検出専
用時)を示すフローチャートである。
【図7】図2に示す処理手順の変形例(パニング/チル
ト検出専用時)を示すフローチャートである。
【図8】図2に示す処理手順の変形例(パニング/チル
ト検出専用で動きベクトルの統計のみを用いる場合)を
示すフローチャートである。
【符号の説明】
1 ディジタル動画像符号化装置 2 フレームメモリ 3 原画マクロブロック(MB)取得 4 参照ブロック取得器 5 動きベクトル探索器(動きベクトル情報探索部) 6 予測判定器 7 減算器 8,12 スイッチ 9 符号化器 10 局所復号化器 11 加算器 13 特殊効果シーン検出装置 14 入力画像情報統計取得器(輝度情報統計取得部) 15 動き情報統計取得器(動きベクトル情報統計取得
部) 16 特殊シーン検出器(特殊効果シーン検出部;フェ
ード検出部,パニング/チルト検出部) 17 制御部(動きベクトル情報制御部,探索範囲シフ
ト制御部) 21 予測符号化部 30 動きベクトル 31 原画ピクチャ 32 参照ピクチャ 151 水平動きベクトル平均演算器 152 水平動きベクトル分散演算器 153 垂直動きベクトル平均演算器 154 垂直動きベクトル分散演算器 311 原画MB 321 参照MB 322 動きベクトル探索範囲 323 予測MB
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5C059 KK23 MA00 MA05 NN03 NN43 PP05 PP06 PP07 TA25 TA62 TB07 TC12 TC14 TD04 5J064 BA01 BB03 BB13 BC21 BD01

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 入力画像を過去に符号化した画像との相
    関情報に基づいて予測符号化する予測符号化部と、 該入力画像のもつ特徴情報についての第1統計情報と、
    該相関情報についての第2統計情報とに基づいて該入力
    画像の特殊効果シーンを検出する特殊効果シーン検出部
    と、 該特殊効果シーン検出部で検出された特殊効果シーンに
    応じて該予測符号化部による該入力画像の符号化状態を
    制御する制御部とをそなえて構成されたことを特徴とす
    る、動画像符号化装置。
  2. 【請求項2】 該特殊効果シーン検出部が、 該入力画像の輝度情報についての統計情報を該第1統計
    情報として取得する輝度情報統計取得部と、 該入力画像と過去に符号化した画像との間の動きベクト
    ル情報についての統計情報を該第2統計情報として取得
    する動きベクトル情報統計取得部と、 上記の各統計情報が所定の第1検出条件を満足すると該
    入力画像が該特殊効果シーンとしてのフェードシーンで
    あることを検出するフェード検出部とをそなえて構成さ
    れるとともに、 該制御部が、 該フェード検出部にて該フェードシーンが検出されると
    該動きベクトル情報を制御して該符号化状態を制御する
    動きベクトル情報制御部として構成されていることを特
    徴とする、請求項1記載の動画像符号化装置。
  3. 【請求項3】 該予測符号化部が、 該相関情報としての動きベクトル情報を得るために符号
    化対象の入力画像を所定の画素探索範囲で探索する動き
    ベクトル情報探索部をそなえるとともに、 該特殊効果シーン検出部が、 該入力画像の輝度情報についての統計情報を該第1統計
    情報として取得する輝度情報統計取得部と、 該動きベクトル情報についての統計情報を該第2統計情
    報として取得する動きベクトル情報統計取得部と、 上記の各統計情報が所定の第2検出条件を満足すると該
    入力画像が該特殊効果シーンとしてのパニングあるいは
    チルトのシーンであることを検出するパニング/チルト
    検出部とをそなえて構成され、且つ、 該制御部が、 該パニング/チルト検出部で上記のパニングあるいはチ
    ルトのシーンが検出されると該第2統計情報に基づいて
    該動きベクトル情報探索部での該画素探索範囲をシフト
    制御する探索範囲シフト制御部として構成されているこ
    とを特徴とする、請求項1記載の動画像符号化装置。
  4. 【請求項4】 過去に符号化した画像との相関情報とし
    て動きベクトル情報を得るために符号化対象の入力画像
    を所定の画素探索範囲で探索する動きベクトル情報探索
    部と、 該動きベクトル情報探索部によって得られた該動きベク
    トル情報に基づいて該入力画像を予測符号化する予測符
    号化部と、 該動きベクトル情報についての統計情報に基づいて該入
    力画像の特殊効果シーンを検出する特殊効果シーン検出
    部と、 該特殊効果シーン検出部で該特殊効果シーンが検出され
    ると該統計情報に応じて該動きベクトル情報探索部での
    該画素探索範囲をシフト制御する探索範囲シフト制御部
    とをそなえて構成されたことを特徴とする、動画像符号
    化装置。
  5. 【請求項5】 入力画像のもつ特徴情報についての統計
    情報を取得する第1統計情報取得部と、 予測符号化対象の入力画像と過去に符号化された画像と
    の相関情報についての統計情報を取得する第2統計情報
    取得部と、 上記の各統計情報取得部によって得られた各統計情報に
    基づいて該入力画像の特殊効果シーンを検出する特殊効
    果シーン検出部とをそなえて構成されたことを特徴とす
    る、動画像の特殊効果シーン検出装置。
JP2000234596A 2000-08-02 2000-08-02 動画像符号化装置および動画像の特殊効果シーン検出装置 Expired - Fee Related JP4328000B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000234596A JP4328000B2 (ja) 2000-08-02 2000-08-02 動画像符号化装置および動画像の特殊効果シーン検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000234596A JP4328000B2 (ja) 2000-08-02 2000-08-02 動画像符号化装置および動画像の特殊効果シーン検出装置

Publications (2)

Publication Number Publication Date
JP2002051341A true JP2002051341A (ja) 2002-02-15
JP4328000B2 JP4328000B2 (ja) 2009-09-09

Family

ID=18726942

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000234596A Expired - Fee Related JP4328000B2 (ja) 2000-08-02 2000-08-02 動画像符号化装置および動画像の特殊効果シーン検出装置

Country Status (1)

Country Link
JP (1) JP4328000B2 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003250159A (ja) * 2002-02-22 2003-09-05 Fujitsu Ltd 動画像処理方法及び動画像処理装置
JP2004007650A (ja) * 2002-05-03 2004-01-08 Microsoft Corp ビデオ画像を処理するコンピュータ実行方法及び記録媒体
JP2004032718A (ja) * 2002-05-03 2004-01-29 Microsoft Corp フェーディング推定/補償によりビデオフレームを処理するシステムおよび方法
JP2005303942A (ja) * 2004-04-16 2005-10-27 Kddi Corp 動き予測情報検出装置
JP2006222696A (ja) * 2005-02-09 2006-08-24 Ntt Electornics Corp フェード検出装置及びフェード検出方法
JP2007124587A (ja) * 2005-10-31 2007-05-17 Fujitsu Ltd 動画像符号化装置、及びフェードシーン検出装置
US7277486B2 (en) 2002-05-03 2007-10-02 Microsoft Corporation Parameterization for fading compensation
JP2007318634A (ja) * 2006-05-29 2007-12-06 Nippon Hoso Kyokai <Nhk> フェード検出装置
JP2008544666A (ja) * 2005-06-23 2008-12-04 トムソン ライセンシング 画像シーケンスでフェードを検出するための手順及び装置
JP2009284199A (ja) * 2008-05-22 2009-12-03 Ikegami Tsushinki Co Ltd テレビカメラ
JP2010057166A (ja) * 2008-07-29 2010-03-11 Panasonic Corp 画像符号化装置、画像符号化方法、集積回路及びカメラ
JP2011507314A (ja) * 2007-09-28 2011-03-03 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション ビデオ情報処理
US8009739B2 (en) 2003-09-07 2011-08-30 Microsoft Corporation Intensity estimation/compensation for interlaced forward-predicted fields
JP2013038490A (ja) * 2011-08-04 2013-02-21 Jvc Kenwood Corp スクロール判定装置及び方法
JP2017512398A (ja) * 2014-02-27 2017-05-18 トムソン ライセンシングThomson Licensing 映像を提示する方法及び装置

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003250159A (ja) * 2002-02-22 2003-09-05 Fujitsu Ltd 動画像処理方法及び動画像処理装置
US7609767B2 (en) 2002-05-03 2009-10-27 Microsoft Corporation Signaling for fading compensation
US7277486B2 (en) 2002-05-03 2007-10-02 Microsoft Corporation Parameterization for fading compensation
US8265148B2 (en) 2002-05-03 2012-09-11 Microsoft Corporation Parameterization for fading compensation
JP2004007650A (ja) * 2002-05-03 2004-01-08 Microsoft Corp ビデオ画像を処理するコンピュータ実行方法及び記録媒体
US9843822B2 (en) 2002-05-03 2017-12-12 Microsoft Technology Licensing, Llc Parameterization for fading compensation
US9363536B2 (en) 2002-05-03 2016-06-07 Microsoft Technology Licensing, Llc Parameterization for fading compensation
JP2004032718A (ja) * 2002-05-03 2004-01-29 Microsoft Corp フェーディング推定/補償によりビデオフレームを処理するシステムおよび方法
JP2007306619A (ja) * 2002-05-03 2007-11-22 Microsoft Corp ビデオ画像を処理するコンピュータ実行方法及び記録媒体
JP2007074750A (ja) * 2002-05-03 2007-03-22 Microsoft Corp ビデオ画像を処理するコンピュータ実行方法
US10264284B2 (en) 2002-05-03 2019-04-16 Microsoft Technology Licensing, Llc Parameterization for fading compensation
US7463684B2 (en) 2002-05-03 2008-12-09 Microsoft Corporation Fading estimation/compensation
US8009739B2 (en) 2003-09-07 2011-08-30 Microsoft Corporation Intensity estimation/compensation for interlaced forward-predicted fields
JP2005303942A (ja) * 2004-04-16 2005-10-27 Kddi Corp 動き予測情報検出装置
JP2006222696A (ja) * 2005-02-09 2006-08-24 Ntt Electornics Corp フェード検出装置及びフェード検出方法
JP2008544666A (ja) * 2005-06-23 2008-12-04 トムソン ライセンシング 画像シーケンスでフェードを検出するための手順及び装置
US8165337B2 (en) 2005-06-23 2012-04-24 Ludovic Noblet Procedure and device for detecting fades in a sequence of images
JP2007124587A (ja) * 2005-10-31 2007-05-17 Fujitsu Ltd 動画像符号化装置、及びフェードシーン検出装置
US8090020B2 (en) 2005-10-31 2012-01-03 Fujitsu Semiconductor Limited Moving picture encoding device, fade scene detection device and storage medium
JP4690250B2 (ja) * 2006-05-29 2011-06-01 日本放送協会 フェード検出装置
JP2007318634A (ja) * 2006-05-29 2007-12-06 Nippon Hoso Kyokai <Nhk> フェード検出装置
JP2011507314A (ja) * 2007-09-28 2011-03-03 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション ビデオ情報処理
US8750372B2 (en) 2007-09-28 2014-06-10 Dolby Laboratories Licensing Corporation Treating video information
JP2009284199A (ja) * 2008-05-22 2009-12-03 Ikegami Tsushinki Co Ltd テレビカメラ
JP2010057166A (ja) * 2008-07-29 2010-03-11 Panasonic Corp 画像符号化装置、画像符号化方法、集積回路及びカメラ
US8514935B2 (en) 2008-07-29 2013-08-20 Panasonic Corporation Image coding apparatus, image coding method, integrated circuit, and camera
JP2013038490A (ja) * 2011-08-04 2013-02-21 Jvc Kenwood Corp スクロール判定装置及び方法
JP2017512398A (ja) * 2014-02-27 2017-05-18 トムソン ライセンシングThomson Licensing 映像を提示する方法及び装置

Also Published As

Publication number Publication date
JP4328000B2 (ja) 2009-09-09

Similar Documents

Publication Publication Date Title
EP1993292B1 (en) Dynamic image encoding method and device and program using the same
EP2536143B1 (en) Method and a digital video encoder system for encoding digital video data
JP4328000B2 (ja) 動画像符号化装置および動画像の特殊効果シーン検出装置
JP5248632B2 (ja) 動き推定のための技術
JP2000270332A (ja) 動画像符号化方法および装置
US8514935B2 (en) Image coding apparatus, image coding method, integrated circuit, and camera
CN108632618B (zh) 用于对视频流进行编码的方法、视频编码器和摄像机
JP2012034225A (ja) 動きベクトル検出装置及び動きベクトル検出方法、コンピュータプログラム
US20120008685A1 (en) Image coding device and image coding method
JP2007067469A (ja) フレーム内予測符号化制御方法、フレーム内予測符号化制御装置、フレーム内予測符号化制御プログラムおよびそのプログラムを記録した記録媒体
JP2012142702A (ja) 画像処理装置および方法、並びにプログラム
US20070092007A1 (en) Methods and systems for video data processing employing frame/field region predictions in motion estimation
JP2010258576A (ja) シーンチェンジ検出装置および映像記録装置
JP4624308B2 (ja) 動画像復号装置及び動画像復号方法
JP2006203597A (ja) ディジタル画像復号装置及び方法
JP4573297B2 (ja) 移動物体抽出装置
JP4126626B2 (ja) データ符号化装置及びデータ符号化方法
JP2003333601A (ja) シーン変化検出回路
JP4829951B2 (ja) フレーム内予測符号化制御方法、フレーム内予測符号化制御装置、フレーム内予測符号化制御プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
US8179965B2 (en) Moving picture coding method
JP4561701B2 (ja) 動画像符号化装置
JP4003149B2 (ja) 画像符号化装置及びその方法
JP2002344949A (ja) 動画像監視装置
JP6016484B2 (ja) 符号化装置
JPH09219865A (ja) 映像符号化装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081209

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090303

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090421

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090519

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090612

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120619

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120619

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130619

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140619

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees