JP2011259230A

JP2011259230A - 動画像復号装置、動画像復号方法及び動画像復号プログラム

Info

Publication number: JP2011259230A
Application number: JP2010132184A
Authority: JP
Inventors: Motoharu Ueda; 基晴上田
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2010-06-09
Filing date: 2010-06-09
Publication date: 2011-12-22

Abstract

【課題】ダイレクトモードに対して、演算量の増加を抑えつつ、予測画像の品質を高めて動き補償予測の効率を向上させる技術を提供する。
【解決手段】基準参照画像決定部２１４は、符号化時の参照画像の指定情報および符号化時の動きベクトルの指定情報を伝送しないことを示す情報が検出された場合に、復号対象ブロックの動き補償処理に使用する第１の参照画像および第１の動きベクトル値を、復号対象ブロックの周辺ブロックでの動き補償予測に用いられた情報を元に選択する。参照画像合成部は、第１の動きベクトル値を用いて第１の参照画像より抽出した第１の参照ブロックと、他の少なくとも１つの参照画像の所定領域とを合成した合成参照ブロックを生成する。エントロピー復号部２０２は、合成参照ブロックを予測ブロックとして、予測ブロックと、復号対象ブロックから復号した予測差分ブロックとを加算することにより、復号画像を生成する。
【選択図】図２

Description

本発明は、動画像信号の復号技術に関する。

近年、デジタル化された画像及び音のコンテンツを、衛星や地上波等の放送波やネットワークを介して配信するサービスが実用化されており、膨大な情報量を持つコンテンツを効率的に記録及び伝送するための高能率符号化技術が必要となっている。動画像の高能率符号化としては、ＭＰＥＧ４−ＡＶＣに代表される、動画像信号の同一フレーム内で空間的に隣接する画素間の相関、及び時間的に隣接するフレーム間やフィールド間の相関を利用して情報を圧縮する方法が用いられる。

ＭＰＥＧ４−ＡＶＣでは、時間的相関を利用した圧縮として、符号化対象フレームである対象画像に対して、既に符号化済みのフレームの局部復号画像を参照画像として用い、所定の大きさの２次元ブロック（以降、「対象ブロック」と記す）単位で、対象画像と参照画像との間での動き量（以降、「動きベクトル」と記す）を検出し、対象ブロックと動きベクトルに基づいた予測画像を生成する動き補償予測が用いられる。

ＭＰＥＧ４−ＡＶＣでは、符号化処理の単位となる１６×１６画素の２次元ブロック（以降、「マクロブロック」と記す）内での、対象ブロックの大きさを可変にして対象ブロック毎の動きベクトルを用いて予測する手法、複数の参照画像を格納し予測に用いる参照画像を選択する手法、２つの参照画像と対象ブロックの間の動きベクトルを求めて動き予測画像を生成する手法を用いる事で、動き補償予測の予測精度を向上させる事が可能であり、それにより情報量の削減を実現している。

また、動き補償予測においては生成した動きベクトルを符号化伝送する必要があり、動きベクトルによる情報量の増加を防ぐために、対象ブロック周辺の復号済みのブロックに対する動きベクトルから予測される、予測動きベクトル値を用いて符号化する事で、動きベクトルを伝送しないダイレクトモードと呼ばれる動き補償予測を用いる事が可能となっている。

しかしながら、上記動きベクトルの予測は必ずしも精度良く求める事が出来ないため、特許文献１に示されるように、符号化側と復号側が共に、参照画像間で動きベクトルの検出を行い、その動きベクトルが時間的に連続している事を想定して、対象ブロックの予測動きベクトルを生成し、ダイレクトモードを構成する手法も提示されている。

特開２００８−１５４０１５号公報

ＭＰＥＧ４−ＡＶＣに代表される従来の動画像符号化における動き補償予測は、以下のような課題が解決できていないために、符号化効率の向上が妨げられている。

一つ目の課題は、参照画像として用いる復号画像の品質が劣化することによる、動き補償予測画像の品質低下であり、特に高圧縮な符号化を施した場合に動き補償予測画像に混入した劣化成分が予測精度を悪化させると共に、劣化成分を復元するための情報を予測差分として符号化する必要があり、情報量が増加している。

二つ目の課題は、時間的・空間的に動きの連続性が少ない画像信号において、動きベクトルの予測が十分な精度でなく、ダイレクトモードを用いた際の予測画像の品質が悪く有効に機能しない点である。対象となる物体を跨いで隣接するブロックでは異なる動きを有する際にこの劣化が生じ、時間的には動きが大きい場合に予測に用いる動きベクトルが本来の対象ブロックとは動きに相当して移動した位置のブロックを想定しているためにこの劣化が生じる。また時間的に動きが変化する場合にも、同様に予測が当らず劣化が生じる。

ＭＰＥＧ４―ＡＶＣでは、動き補償予測に用いる参照画像を複数の参照画像より、対象となるブロック単位で切り替え可能であり、また動き補償予測を用いずに画面内で予測を行うイントラ予測を選択することも可能である。その為、隣接するブロックで動きベクトルの予測に用いる、該当する参照画像に対する隣接動きベクトルが存在しない場合が多く存在し、ダイレクトモードにおける動きベクトルの予測精度が更に低下する。

三つ目の課題は、２つの参照画像を用いた予測や細かいブロック単位での動き補償予測を用いた際の、動きベクトル伝送に要する符号量の増加である。２つの参照画像を用いる場合に、参照画像を加算する事による予測劣化の平滑化が行われ、劣化成分の影響を少なくする事が出来るが、それに応じた動きベクトルの伝送が必要となり符号量が増加する。また、細かいブロック単位での動き補償においても、物体の境界に応じて適切な動きを求める事が可能となり、予測画像の精度は向上するが、細かい単位での動きベクトルの伝送が必要となって符号量が増大する。

特許文献１は、上記二つ目の課題を解決するために提示された手法であるが、空間的に一様な動きをしている場合には、参照画像間で求めた動きベクトルが対象ブロックの位置を通過する動きとなる為、動きベクトルの予測精度は向上するが、空間的に一様な動きをしていない場合には、対象ブロックの情報を用いずに求めた予測動きベクトルであるために、対象ブロックと異なる動きとなり予測が十分に当らない。また、大きな動きを捉えるためには、参照画像間で広い範囲に渡る動きベクトルの検出処理が符号化装置、復号装置の両方に必要となり、演算量が大きくなる課題が生じる。

本発明はこうした状況に鑑みてなされたものであり、その目的は、動きベクトルを伝送しないモードにおいて、符号化装置および復号装置における演算量の増加を抑えつつ、予測画像の品質を高めて動き補償予測の効率を向上させる技術を提供することにある。

上記課題を解決するために、本発明のある態様の動画像復号装置は、符号化時の参照画像の指定情報および符号化時の動きベクトルの指定情報を伝送しないモードであることを示すモード情報を検出するモード検出部（２０３）と、前記モード検出部で前記モード情報が検出された場合に、復号対象ブロックの動き補償処理に使用する第１の参照画像および第１の動きベクトル値を、復号対象ブロックの周辺ブロックでの動き補償予測に用いられた情報を元に選択する基準参照画像決定部（２１４）と、前記第１の動きベクトル値を用いて第１の参照画像より抽出した第１の参照ブロックと、他の少なくとも１つの参照画像の所定領域とを合成した合成参照ブロックを生成する参照画像合成部（２１５および２１６）と、前記合成参照ブロックを予測ブロックとして、前記予測ブロックと、前記復号対象ブロックから復号した予測差分ブロックとを加算することにより、復号画像を生成する復号部（２０２）とを備える。

前記基準参照画像決定部（２１４）が、符号化対象ブロックの周辺ブロックで動き補償予測に使用されていない参照画像に対する動きベクトル値を、動き補償予測に使用された参照画像に対する動きベクトル値と復号画像信号を用いて算出すると共に、その算出した動きベクトル値に応じて当該動き補償予測に使用されていない参照画像を第１の参照画像の選択候補に加えるか否かを判断し、加えると判断した場合に、前記算出した動きベクトル値を当該動き補償予測に使用されていない参照画像に対する動きベクトルの候補に加えることによって、当該動き補償予測に使用されていない参照画像の頻度を増加させた上で第１の参照画像を選択すると共に、選択された第１の参照画像において候補に加えられている動きベクトル値を用いて前記第１の動きベクトル値を生成する（図１２、Ｓ１２０２〜Ｓ１２２５）。

前記参照画像合成部（２１５および２１６）が、前記第１の参照ブロック以下の大きさのブロック単位で検出した、複数の参照画像との間の複数の第２の動きベクトル値を元に、第２の参照ブロックに用いる参照画像を選択し、前記第１の参照ブロックと前記第２の参照ブロックとを合成した合成参照ブロックを生成してその合成参照ブロックを予測ブロックとするか、前記第１の参照ブロックを予測ブロックとして利用するかの判定を行ってもよい（図１３、Ｓ１３０３〜Ｓ１３０８）。

本発明の別の態様は、動画像復号方法である。この方法は、符号化時の参照画像の指定情報および符号化時の動きベクトルの指定情報を伝送しないモードであることを示すモード情報を検出するステップと、前記モード情報が検出された場合に、復号対象ブロックの動き補償処理に使用する第１の参照画像および第１の動きベクトル値を、復号対象ブロックの周辺ブロックでの動き補償予測に用いられた情報を元に選択するステップと、前記第１の動きベクトル値を用いて第１の参照画像より抽出した第１の参照ブロックと、他の少なくとも１つの参照画像の所定領域とを合成した合成参照ブロックを生成するステップと、前記合成参照ブロックを予測ブロックとして、前記予測ブロックと、前記復号対象ブロックから復号した予測差分ブロックとを加算することにより、復号画像を生成するステップとを含む。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、符号化する動きベクトルを削減し、符号化装置および復号装置における演算量の増加を抑えつつ、予測画像の品質を高めて動き補償予測の効率を向上させることができる。

本発明の実施の形態１の動画像符号化装置の構成を示すブロック図である。本発明の実施の形態１の動画像復号装置の構成を示すブロック図である。本発明の実施の形態１のダイレクト動き補償予測の動作を示す概念図である。本発明の実施の形態１の符号化側のダイレクトモード動き補償予測の動作を説明するフローチャートである。本発明の実施の形態１の復号側のダイレクトモード動き補償予測の動作を説明するフローチャートである。本発明の実施の形態１の基準参照画像決定部の動作を説明するフローチャートである。本発明の実施の形態１における周辺ブロックの動き補償予測情報の管理形態を示す図である。本発明の実施の形態１の参照画像間動きベクトル検出部の構成を示すブロック図である。本発明の実施の形態１の参照画像間動きベクトル検出部の動作を説明するフローチャートである。本発明の実施の形態1における参照画像間の動きベクトル検出範囲の一例を示す図である。本発明の実施の形態２の動画像符号化装置の構成を示すブロック図である。本発明の実施の形態２の動画像復号装置の構成を示すブロック図である。本発明の実施の形態２の基準参照画像決定部の動作を説明するフローチャートである。本発明の実施の形態２の参照画像間動きベクトル検出部の動作を説明するフローチャートである。本発明の実施の形態２における対象参照画像に対する動き補償情報が存在しないブロックの補間対象を示す概念図である。本発明の実施の形態２において、出力されるダイレクト動き補償予測の小ブロック単位での双方向／片方向の選択結果の一例を示す図である。

以下、本発明の実施の形態について図面を参照して説明する。

（実施の形態１）
まず、実施の形態１の動画像符号化装置を説明する。図１は、実施の形態１の動画像符号化装置の構成を示すブロック図である。

図１に示すように、実施の形態１の動画像符号化装置は、入力端子１００、入力画像バッファ１０１、ブロック分割部１０２、フレーム内予測部１０３、動きベクトル検出部１０４、動き補償予測部１０５、動きベクトル予測部１０６、基準参照画像決定部１０７、参照画像間動きベクトル検出部１０８、ダイレクト動き補償予測部１０９、予測モード判定部１１０、減算器１１１、直交変換部１１２、量子化部１１３、逆量子化部１１４、逆直交変換部１１５、加算器１１６、フレーム内復号画像メモリ１１７、復号参照画像メモリ１１８、エントロピー符号化部１１９、ストリームバッファ１２０、出力端子１２１及び符号量制御部１２２を含む。ここで、参照画像間動きベクトル検出部１０８およびダイレクト動き補償予測部１０９は、本発明の動画像符号化装置の「参照画像合成部」の実施例である。

基準参照画像決定部１０７、及び参照画像間動きベクトル検出部１０８を設けた点と、この処理ブロック及びダイレクト動き補償予測部１０９における動作が、本発明の実施の形態１における特徴であり、他の処理ブロックに関してはＭＰＥＧ４−ＡＶＣ等の動画像符号化装置における符号化処理を構成する処理ブロックと同一処理が適用できる。

入力端子１００より入力されたデジタル画像信号は、入力画像バッファ１０１に格納される。入力画像バッファ１０１に格納されたデジタル画像信号は、ブロック分割部１０２に供給され、１６×１６画素で構成されるマクロブロック単位で符号化対象ブロックとして切り出される。ブロック分割部１０２は、切り出した符号化対象ブロックを、フレーム内予測部１０３、動きベクトル検出部１０４、動き補償予測部１０５、ダイレクト動き補償予測部１０９及び減算器１１１に供給する。

フレーム内予測部１０３では、ブロック分割部１０２より入力された符号化対象ブロックと、フレーム内復号画像メモリ１１７に格納された、符号化対象ブロックの周辺に対して符号化が完了した領域の復号画像が入力され、フレーム内の相関性を用いた予測が行われる。例えば、符号化対象ブロックに対して、４×４画素単位、８×８画素単位、１６×１６画素単位で、複数の所定の方向に対して画素値を予測し、予測処理の単位と選択した方向を示す情報（イントラ予測モード）と共に予測画像を生成するイントラ予測という手法を用いて、画面内の隣接画素の相関を用いた予測を行う。予測画像及び選択したイントラ予測モードは、フレーム内予測部１０３より予測モード判定部１１０に出力される。

動きベクトル検出部１０４では、ブロック分割部１０２より入力された符号化対象ブロックと、復号参照画像メモリ１１８に格納された、画面全体の符号化が完了したフレームの復号画像が参照画像として入力されて、符号化対象ブロックと参照画像との間での動き推定を行う。一般的な動き推定処理としては、画面内の同一位置より所定の移動量だけ移動させた位置の参照画像を切り出し、その画像を予測ブロックとした際の予測誤差が最も少なくなる移動量を動きベクトル値として、移動量を変化させながら求めるブロックマッチング処理が用いられる。検出された動きベクトル値は、動き補償予測部１０５に出力される。

動き補償予測部１０５は、動きベクトル検出部１０４によって求められた動きベクトル値を入力し、１６×１６以下の複数のブロックサイズ及び複数の参照画像に対する動き補償予測画像を、復号参照画像メモリ１１８より取得し、ブロック分割部１０２より入力された符号化対象ブロックに対して、最も符号化する差分情報が少ない予測信号を選択すると共に、最も符号化する差分情報が少ない予測信号を選択する。動き補償予測部１０５は、選択された動き補償予測モードと予測信号を予測モード判定部１１０に出力する。

動きベクトル予測部１０６は、周辺の符号化済みブロックの動きベクトルを用いて、予測動きベクトル値を算出し、動きベクトル検出部１０４、動き補償予測部１０５に供給する。

前記予測動きベクトル値を用いる事で、動きベクトル検出部１０４は、動きベクトル予測値と動きベクトル値との差分を符号化する際に必要となる符号量を加味して、最適な動きベクトル値を検出する。同様に、動き補償予測部１０５は、動きベクトル予測値と動きベクトル値との差分を符号化する際に必要となる符号量を加味して、最適な動き補償予測のブロック単位と用いる参照画像及び動きベクトル値を選択する。

動きベクトル予測部１０６は、更に格納している周辺の符号化済みブロックの動きベクトル、及び動きベクトルの対象となっている参照画像や動き補償のブロックサイズを示す情報を、基準参照画像決定部１０７に出力する。

基準参照画像決定部１０７は、動きベクトル予測部１０６より入力された周辺の符号化済みブロックの動き補償予測情報である、動きベクトル、及び動きベクトルの対象となっている参照画像や動き補償のブロックサイズを元に、符号化対象ブロックに対して動きベクトルを予測可能な参照画像を確定すると共に、確定した参照画像に対する予測動きベクトル値を算出する機能を有する。算出した予測動きベクトル値と対応する参照画像を示す情報は、参照画像間動きベクトル検出部１０８に出力される。基準参照画像決定部１０７の詳細動作に関しては後述する。

参照画像間動きベクトル検出部１０８は、基準参照画像決定部１０７より入力された、予測動きベクトル値と対応する参照画像を示す情報を元に、復号参照画像メモリ１１８より動き補償予測に用いる第１の参照ブロックを抽出する。

続いて、参照画像間動きベクトル検出部１０８は、抽出した第１の参照ブロックと他の参照画像との間における動きベクトルをブロックマッチング等で誤差値を算出し、その値が小さな動きベクトルを参照画像間動きベクトルとして算出する。参照画像間動きベクトル検出部１０８は、算出した参照画像間動きベクトルにより他の参照画像から抽出された第２の参照ブロックを第１の参照ブロックと共に、ダイレクト動き補償予測部１０９に出力する。参照画像間動きベクトル検出部１０８は、基準参照画像に対する予測動きベクトル値と、予測動きベクトル値と参照画像間動きベクトルから算出される、他の参照画像と符号化対象ブロックとの間の動きベクトル値も、ダイレクト動き補償予測部１０９に出力する。参照画像間動きベクトル検出部１０８の詳細動作に関しては後述する。

ダイレクト動き補償予測部１０９は、参照画像間動きベクトル検出部１０８より入力された第１の参照ブロックと第２の参照ブロックを画素毎に加算平均することで、動きベクトルを伝送しないダイレクトモードに対する動き補償予測ブロックを生成し、予測モード判定部１１０に出力すると共に、基準参照画像に対する予測動きベクトル値と他の参照画像と符号化対象ブロックとの間の動きベクトル値も、同様に予測モード判定部１１０に出力する。

予測モード判定部１１０は、フレーム内予測部１０３、動き補償予測部１０５、ダイレクト動き補償予測部１０９より入力された各予測手法に対する予測モードと予測画像より、ブロック分割部１０２より入力された符号化対象ブロックに対して、最も符号化する差分情報が少ない予測信号を選択し、選択された予測手法に対する予測画像ブロックを減算器１１１及び加算器１１６に出力すると共に、エントロピー符号化部に１１９に対して、付加情報としての予測モード情報と、予測モードに応じた符号化を要する情報を出力する。

予測モード判定部１１０は、選択した予測手法において用いられた動きベクトル及び動きベクトルの対象となっている参照画像や動き補償のブロックサイズ等の予測モード情報を、動きベクトル予測部１０６に出力する。出力された情報は、続く符号化対象ブロックにおける予測動きベクトル値の生成に用いられる。

減算器１１１は、ブロック分割部１０２から供給された符号化対象ブロックと、予測モード判定部１１０より供給された予測画像ブロックとの差分を演算し、結果を差分ブロックとして直交変換部１１２に供給する。

直交変換部１１２では、差分ブロックに対して４×４画素もしくは８×８画素単位にＤＣＴ変換を行うことで、直交変換された周波数成分信号に相当するＤＣＴ係数を生成する。また、直交変換部１１２では、生成したＤＣＴ係数をマクロブロック単位に纏めて、量子化部１１３に出力する。

量子化部１１３においては、ＤＣＴ係数を周波数成分毎に異なった値で除算することにより量子化処理を施す。量子化部１１３は、量子化処理されたＤＣＴ係数を、逆量子化部１１４及びエントロピー符号化部１１９に供給する。

逆量子化部１１４は、量子化部１１３より入力した量子化処理されたＤＣＴ係数に対して、量子化時に除算された値を乗算することで逆量子化を行い、逆量子化された結果を復号されたＤＣＴ係数として、逆直交変換部１１５に出力する。

逆直交変換部１１５においては逆ＤＣＴ処理が行われ、復号された差分ブロックを生成する。逆直交変換部１１５は、復号された差分ブロックを加算器１１６に供給する。

加算器１１６は、予測モード判定部１１０より供給された予測画像ブロックと、逆直交変換部１１５より供給される復号された差分ブロックを加算し、局部復号ブロックを生成する。加算器１１６で生成された局部復号ブロックは、フレーム内復号画像メモリ１１７及び復号参照画像メモリ１１８に逆ブロック変換された形で格納される。ＭＰＥＧ−４ＡＶＣの場合には、局部復号ブロックが復号参照画像メモリ１１８に入力される手前で、ブロック毎での符号化歪が境界となって現れやすいブロック境界に対して、適応的にフィルタリングを行う処理が施される場合もある。

エントロピー符号化部１１９は、量子化部１１３より供給された量子化処理されたＤＣＴ係数と、予測モード判定部１１０より供給された、予測モード情報と、予測モードに応じた符号化を要する情報に対して、それぞれの情報の可変長符号化を行う。具体的には、フレーム内予測の場合にはイントラ予測モードと予測ブロックサイズ情報が、動き補償予測及び合成画像動き補償予測の場合には、予測ブロックサイズ、参照画像の指定情報、及び動きベクトルと予測動きベクトル値との差分値が、符号化を要する情報となる。可変長符号化を施した情報は符号化ビットストリームとして、エントロピー符号化部１１９よりストリームバッファ１２０に出力される。

ストリームバッファ１２０に蓄えられた符号化ビットストリームは、出力端子１２１を介して、記録媒体もしくは伝送路に出力される。符号化ビットストリームの符号量制御に関しては、符号量制御部１２２に、ストリームバッファ１２０に蓄えられている符号化ビットストリームの符号量が供給され、目標とする符号量との間で比較がとられ、目標符号量に近づけるために量子化部１１３の量子化の細かさ（量子化スケール）が制御される。

続いて、実施の形態１の動画像符号化装置により生成された符号化ビットストリームを復号する、動画像復号装置を説明する。図２は、実施の形態１の動画像復号装置の構成図である。

図２に示すように、実施の形態１の動画像復号装置は、入力端子２００、ストリームバッファ２０１、エントロピー復号部２０２、予測モード復号部２０３、予測画像選択部２０４、逆量子化部２０５、逆直交変換部２０６、加算器２０７、フレーム内復号画像メモリ２０８、復号参照画像メモリ２０９、出力端子２１０、フレーム内予測部２１１、動きベクトル予測復号部２１２、動き補償予測部２１３、基準参照画像決定部２１４、参照画像間動きベクトル検出部２１５、及びダイレクト動き補償予測部２１６を含む。ここで、参照画像間動きベクトル検出部２１５およびダイレクト動き補償予測部２１６は、本発明の動画像復号装置の「参照画像合成部」の実施例である。

基準参照画像決定部２１４、参照画像間動きベクトル検出部２１５を設けた点と、これらの処理ブロック及びダイレクト動き補償予測部２１６における動作が、本発明の実施の形態１における特徴であり、これらの動作は図１に示した動画像符号化装置の同じ機能ブロックと同一の動作をすることで、付加情報の伝送無しにダイレクトモードに対する動き補償予測ブロックを生成する。他の処理ブロックに関してはＭＰＥＧ４−ＡＶＣ等の動画像復号装置における復号処理を構成する処理ブロックと同一処理が適用できる。

入力端子２００より入力された符号化ビットストリームは、ストリームバッファ２０１に供給され、ストリームバッファ２０１で符号化ビットストリームの符号量変動を吸収して、フレーム等の所定単位でエントロピー復号部２０２に供給される。エントロピー復号部２０２は、ストリームバッファ２０１を介して入力された符号化ビットストリームより、符号化された予測モード情報と予測モードに応じた付加情報、及び量子化されたＤＣＴ係数に関して可変長復号を行い、逆量子化部２０５に量子化されたＤＣＴ係数を、予測モード復号部２０３に予測モード情報と予測モードに応じた付加情報を出力する。

逆量子化部２０５、逆直交変換部２０６、加算器２０７、フレーム内復号画像メモリ２０８、及び復号参照画像メモリ２０９に関しては、本発明の実施の形態１の動画像符号化装置の局部復号処理である逆量子化部１１４、逆直交変換部１１５、加算器１１６、フレーム内復号画像メモリ１１７、復号参照画像メモリ１１８と同様の処理が行われる。復号参照画像メモリ２０９に蓄えられた復号画像は、出力端子２１０を介して、表示装置に復号画像信号として表示される。

予測モード復号部２０３では、エントロピー復号部２０２より入力された予測モード情報と予測モードに応じた付加情報より、予測モードとして動き補償予測が選択された場合に、動きベクトル予測復号部２１２に対して、予測したブロック単位を示す情報である動き補償予測モードもしくはダイレクトモードを示す予測モード情報と、動き補償予測モードの場合の復号した差分ベクトル値を出力すると共に、予測画像選択部２０４に対して予測モード情報を出力する。また、予測モード復号部２０３は、復号した予測モード情報に応じて、フレーム内予測部２１１、動き補償予測部２１３、及びダイレクト動き補償予測部２１６に対して、選択されたことを示す情報及び予測モードに応じた付加情報を出力する。

予測画像選択部２０４は、予測モード復号部２０３より入力された予測モード情報に応じて、フレーム内予測部２１１、動き補償予測部２１３、及びダイレクト動き補償予測部２１６の何れかより出力された、復号対象ブロックに対する予測画像を選択し、加算器２０７に出力する。

フレーム内予測部２１１は、復号した予測モードがフレーム内予測を示している場合に、予測モード復号部２０３より予測モードに応じた付加情報として、イントラ予測モードが入力され、イントラ予測モードに応じてフレーム内復号画像メモリ２０８に格納された、復号対象ブロックの周辺に対して復号が完了した領域の復号画像が入力され、符号化装置と同じイントラ予測モードでフレーム内の相関性を用いた予測が行なわれる。フレーム内予測部２１１は、予測により生成したフレーム内予測画像を、予測画像選択部２０４に出力する。

動きベクトル予測復号部２１２は、予測モード復号部２０３より入力された復号した差分ベクトル値に対して、周辺の復号済みブロックの動きベクトルを用いて、符号化装置で行う方式と同じ方法で予測動きベクトル値を算出し、差分ベクトル値と予測動きベクトル値を加算した値を、復号対象ブロックの動きベクトル値として動き補償予測部２１３に出力する。動きベクトルは、動き補償予測モードもしくは合成画像動き補償予測モードで示される、予測処理のブロック単位に従って符号化された数だけ復号される。

動きベクトル予測復号部２１２は、更に格納している周辺の符号化済みブロックの動きベクトル、及び動きベクトルの対象となっている参照画像や動き補償のブロックサイズを示す情報を、基準参照画像決定部２１４に出力する。

動き補償予測部２１３は、動きベクトル予測復号部２１２より入力された動きベクトル値より、復号参照画像メモリ２０９より動き補償予測画像を生成し、生成した動き補償予測画像を、予測画像選択部２０４に出力する。

基準参照画像決定部２１４は、動きベクトル予測復号部２１２より入力された周辺の符号化済みブロックの動き補償予測情報である、動きベクトル、及び動きベクトルの対象となっている参照画像や動き補償のブロックサイズを元に、復号対象ブロックに対して動きベクトルを予測可能な参照画像を確定すると共に、確定した参照画像に対する予測動きベクトル値を算出する機能を有する。算出した予測動きベクトル値と対応する参照画像を示す情報は、参照画像間動きベクトル検出部２１５に出力される。

参照画像間動きベクトル検出部２１５は、基準参照画像決定部２１４より入力された、予測動きベクトル値と対応する参照画像を示す情報を元に、復号参照画像メモリ２０９より動き補償予測に用いる第１の参照ブロックを抽出する。

続いて、参照画像間動きベクトル検出部２１５は、抽出した第１の参照ブロックと他の参照画像との間における動きベクトルをブロックマッチング等で誤差値を算出し、その値が小さな動きベクトルを参照画像間動きベクトルとして算出する。参照画像間動きベクトル検出部２１５は、算出した参照画像間動きベクトルにより他の参照画像から抽出された第２の参照ブロックを第１の参照ブロックと共に、ダイレクト動き補償予測部２１６に出力する。参照画像間動きベクトル検出部２１５は、基準参照画像に対する予測動きベクトル値と、予測動きベクトル値と参照画像間動きベクトルから算出される、他の参照画像と符号化対象ブロックとの間の動きベクトル値も、ダイレクト動き補償予測部２１６に出力する。基準参照画像決定部２１４と参照画像間動きベクトル検出部２１５の詳細動作は、実施の形態１の動画像符号化装置における、基準参照画像決定部１０７及び参照画像間動きベクトル検出部１０８と対をなすものであり、詳細動作に関しては後述する。

ダイレクト動き補償予測部２１６は、参照画像間動きベクトル検出部２１５より入力された第１の参照ブロックと第２の参照ブロックを画素毎に加算平均することで、動きベクトルを伝送しないダイレクトモードに対する動き補償予測ブロックを生成し、予測画像選択部２０４に出力すると共に、基準参照画像に対する予測動きベクトル値と他の参照画像と符号化対象ブロックとの間の動きベクトル値を動きベクトル予測復号部２１２に出力する。出力された情報は、続く復号対象ブロックにおける予測動きベクトル値の生成に用いられる。

以下、実施の形態１の動画像符号化装置と動画像復号装置において動作する、合成した参照画像による動き補償予測の予測画像生成方法を、図３を用いて説明を行う。

図３（ｃ）は、ダイレクト動き補償予測を示す概念図である。図３（ａ）と図３（ｂ）は、ＭＰＥＧ４−ＡＶＣにおいて用いられている複数参照画像を用いた動き補償予測の概念図である。

図３（ａ）は、双方向予測と呼ばれている２つの参照画像に対して符号化対象ブロックとの間で動きベクトルを検出し、それぞれの参照画像に対する動きベクトルを伝送すると共に、２つの動きベクトルで示される参照ブロックの平均値を予測画像とする手法である。２つの参照画像を合成することで、時間方向の動き適応フィルタとしての符号化劣化成分の除去機能と、符号化対象物の微少な輝度変化成分を平均化により追従する機能とを持った予測画像を生成できる。

ＭＰＥＧ４―ＡＶＣにおいては、複数毎の復号された参照画像を格納しておき、所定のブロック単位に予測に用いる参照画像の番号と動きベクトルを伝送することで、適応的に参照画像を選択している。図３（ａ）の場合には、参照画像として４枚の復号画像が確保されており、参照画像１と参照画像３を用いて２つの予測画像を取得し、双方向予測を行う場合を示している。動きベクトルとしては、ｍｖＬ０及びｍｖＬ１が予測動きベクトルとの差分値を取られ伝送される。

図３（ｂ）は、時間ダイレクトモードと呼ばれている、動きベクトルの伝送なしに２つの参照画像を用いた予測を行う手法である。時間ダイレクトモードにおいては、アンカーブロックと呼ばれる、符号化対象画像より時間的に後に再生される時間的に直近の参照画像（ここでは参照画像３を示す）の、符号化対象ブロックと同位置にあるブロックが参照画像２からの動き補償予測で生成されている場合に、その動きが時間的に連続していることを想定して、参照画像２と参照画像３の間の動きベクトルｍｖＣｏｌより符号化対象ブロックと参照画像２の間の動きベクトル値ｍｖＬ０、及び符号化対象ブロックと参照画像３の間の動きベクトル値ｍｖＬ１を生成し、その動きベクトルにより双方向予測を行う構成となる。

時間ダイレクトモードにおいては、動きベクトルｍｖＬ０、ｍｖＬ１を伝送することなく、２つの参照画像を合成した予測画像を生成できるが、図３b)で示されるように、ｍｖＣｏｌが大きい場合に、ｍｖＣｏｌで表される動きが符号化対象ブロックから空間的に離れた位置の動きを示しているため、空間的な動きの連続性の無い場合には適切なｍｖＬ０、ｍｖＬ１を算出できない。

また、動きベクトルｍｖＬ０、ｍｖＬ１は、時間的かつ連続している場合の動きに限定して暗黙に生成されており、時間的に動きベクトル値の連続性が少ない場合にも、適切な動きベクトルを生成できず、時間ダイレクトモードは空間的及び時間的に動きが一様である限定された条件でなければ有効に機能しない。

特許文献１に示される方法は、上記時間ダイレクトモードの品質を向上させる目的で、符号化側と復号側が共に参照画像間で符号化対象ブロックを中心に対称位置に存在するブロックでの動きを検出しｍｖＣｏｌを作り直すことで、符号化対象ブロックの位置を通る時間連続性のある動きベクトルを生成する手法であるが、時間的な連続性に関しては時間ダイレクトモードと同様に動きが一様である限定でｍｖＬ０、ｍｖＬ１が生成され、時間的に連続性の少ない場合には、時間ダイレクトモードと同様に有効に機能しない。

本発明のダイレクト動き補償予測の予測構成は、図３（ｃ）で示されるように、複数存在する参照画像より基準参照画像（図３（ｃ）では参照画像３）を確定させ、基準参照画像に対する符号化対象ブロックとの間の予測動きベクトル値を算出してｍｖＬ０とする。続いて、基準参照画像の動きベクトルｍｖＬ０で示された参照ブロックに対して、他の参照画像（図３（ｃ）では参照画像１）に対する参照画像間での動きベクトル検出を符号化側と復号側で共に行い、参照画像間動きベクトルｍｖＩｎｔｅｒＲｅｆより,符号化対象ブロックと参照画像１の間の動きベクトル値ｍｖＬ１を算出し、動きベクトルｍｖＬ０、ｍｖＬ１を用いて２つの参照画像を用いた双方向予測を行う構成を取る。

空間的・時間的に連続性が保たれていない画像に対する動きベクトルの暗黙的算出として、周辺の復号済み動き補償予測情報を用いて最も参照画像として適切に動きベクトルが予測出来る参照画像を選定する機能を有する点と、基準とした参照画像及び動きベクトルで示された予測画像ブロックに対して、符号化・復号双方で他の参照画像の同一部分を参照画像間の動きベクトルを検出する事で追跡し、他方の動きベクトル値を暗黙的に算出させる点が、本発明の実施の形態の動画像符号化装置、動画像復号装置におけるダイレクト動き補償予測手法のポイントであり、これにより空間的・時間的な連続性の少ない動画像信号においてもより適切な双方向予測を動きベクトルの伝送を伴うことなく実現し、符号化効率を大幅に向上可能である。

実施の形態１の符号化装置及び復号装置における、ダイレクト動き補償予測の処理手順を示すフローチャートを図４Ａ、図４Ｂに示し、予測処理の流れを説明する。図４Ａが符号化側、図４Ｂが復号側である。

符号化側では、最初に符号化対象ブロックに対する基準参照画像を確定する（Ｓ４００）。
続いて、基準参照画像に対する予測動きベクトル値を算出する（Ｓ４０１）。続いて、予測動きベクトル値を動きベクトル値ｍｖＬ０とし、符号化対象ブロックの画面内位置よりｍｖＬ０分移動させた位置の基準参照画像を取得し、第１の予測ブロックを生成する（Ｓ４０２）。

続いて、第１の予測ブロックに対して、他の参照画像との間で動きベクトルの検出を行い、参照画像間動きベクトル値ｍｖＩｎｔｅｒＲｅｆを算出する（Ｓ４０３）。他の参照画像の選択に関しては、所定単位で明示的に指定する方法や、暗黙的に符号化対象ブロックを跨いだ時間的位置にある、符号化対象ブロックに最も近接している参照画像を取得する方法を用いることが可能である。実施の形態１においては、基準参照画像に対する他方の参照画像を示す情報（以降参照ＩＤと記す）が画面単位の情報としてＭＰＥＧ４−ＡＶＣにおけるスライスヘッダと同様の単位で伝送されるものとする。

参照画像間動きベクトル値ｍｖＩｎｔｅｒＲｅｆより、第１の予測ブロックの画面内位置よりｍｖＩｎｔｅｒＲｅｆ分移動させた位置の他の参照画像を取得し、第２の予測ブロックを生成する（Ｓ４０４）。符号化対象ブロックと第２の予測ブロックの間の動きを示す動きベクトル値ｍｖＬ１に関しては、暗黙的に作られる値であるため動き補償予測の為に算出する必要はないが、後続する符号化対象ブロックの予測ベクトルを生成するための情報として用いる為に作成する。具体的には、ｍｖＬ０とｍｖＩｎｔｅｒＲｅｆを加算する事でｍｖＬ１を算出する（Ｓ４０５）。
ｍｖＬ１＝ｍｖＬ０＋ｍｖＩｎｔｅｒＲｅｆ
尚、動きベクトル値は水平・垂直の２成分あり、それぞれの値を上記式で算出することになる。

最後に、第１の予測ブロックと第２の予測ブロックを画素毎に加算平均し、双方向予測を行った予測ブロックを、ダイレクト動き補償予測ブロックとして、動きベクトル値ｍｖＬ０、ｍｖＬ１と共に出力する（Ｓ４０６）。

復号側では、復号対象ブロックがダイレクト動き補償予測モードであった場合に（Ｓ４１０：ＹＥＳ）、最初に復号対象ブロックに対する基準参照画像を確定する（Ｓ４１１）。

続いて、符号化側と同様に処理を施して行き、基準参照画像に対する予測動きベクトル値を算出し（Ｓ４１２）、予測動きベクトル値を動きベクトル値ｍｖＬ０として第１の予測ブロックを生成し（Ｓ４１３）、第１の予測ブロックに対して、他の参照画像との間で動きベクトルの検出を行い、参照画像間動きベクトル値ｍｖＩｎｔｅｒＲｅｆを算出し（Ｓ４１４）、参照画像間動きベクトル値ｍｖＩｎｔｅｒＲｅｆより、第２の予測ブロックを生成し（Ｓ４１５）、ｍｖＬ０とｍｖＩｎｔｅｒＲｅｆを加算する事でｍｖＬ１を算出する（Ｓ４１６）。

最後に、第１の予測ブロックと第２の予測ブロックを画素毎に加算平均し、双方向予測を行った予測ブロックを、ダイレクト動き補償予測ブロックとして、動きベクトル値ｍｖＬ０、ｍｖＬ１と共に出力する（Ｓ４１７）。

これらの動作は参照画像として復号済みの画像信号が使われているため、符号化側と復号側で全く同じ動作を行うことが出来、動きベクトル値ｍｖＬ０、ｍｖＩｎｔｅｒＲｅｆ及びｍｖＬ１を伝送することなく、復号側で再現できる。

次に、基準参照画像決定部１０７、２１４及び図４の処理フローチャートのＳ４００、Ｓ４１１によって動作する、基準参照画像決定処理の動作を図５のフローチャートを用いて説明する。符号化側と復号側では同一の動作を行うため、以下の説明は共通の機能として実現される。

基準参照画像決定部１０７、２１４では、最初に符号化対象ブロック（復号装置の場合は復号対象ブロック）の周辺ブロックにおいて用いられた動き補償予測の動きベクトル値、参照ＩＤ、動き補償のブロックサイズ情報を取得する（Ｓ５００）。

次に、符号化対象ブロックに隣接する動き補償予測情報を、動き補償予測ブロックサイズをあわせた形で格納する（Ｓ５０１）。具体的な振る舞いを図６を用いて説明する。図６（ａ）が、符号化対象ブロックと隣接する復号済みブロックとの関係である。ダイレクト動き補償予測の予測ブロックサイズを１６×１６とすると、符号化処理が１６×１６のマクロブロック単位で左から右、上から下に向かって行われているため、左（Ａ）、上（Ｂ）、右上（Ｃ）、左上（Ｄ）の４マクロブロックに対する動き補償予測情報が隣接するブロックの情報となる。

それぞれのマクロブロックは、様々なブロックサイズで動き補償が行われており、図６（ｂ）で示されるように、マクロブロックより小さな単位で動き補償予測されたマクロブロックにおいては、複数の動き補償予測情報が存在する。

実施の形態１における、基準参照画像決定処理においては動き補償予測の情報に対してブロックサイズで重みを付けて評価する構成を取り、最小の動き補償予測ブロックに対する符号化対象に隣接したブロック位置毎に、その部分の動き補償に用いられた動き補償予測情報を格納する。ＭＰＥＧ４―ＡＶＣの動き補償予測においては、サブマクロブロック内での適応動き補償ブロックサイズを用いる場合には最小４×４画素単位、用いない場合には最小８×８画素単位となる。以降の説明は８×８画素が最小の動き補償予測ブロックサイズである場合で説明されるが、４×４画素の場合も同様の処理で実現出来る。

図６（ｂ）のような周辺ブロックの動き補償予測が行われた場合に、格納する動き補償予測情報が図６（ｃ）に示す。動き補償予測は１つの参照画像のみを用いて行う片方向予測と、２つの参照画像を用いて行う双方向予測があり、片方向予測の場合には同一位置の動き補償予測情報として１つの動きベクトル値と１つの参照ＩＤを格納する。一方双方向予測の場合には、２つの動きベクトル値と２つの参照ＩＤを格納する。

図６（ｃ）に示した一例では、符号化対象ブロックに対して左が１６×８ブロック、上が８×１６ブロック、右上が８×８ブロック、左上が１６×１６ブロックの構成となっており、上のマクロブロックは第１参照のみで片方向予測が行われており、左上のマクロブロックでは第２参照のみで片方向予測が行われている。

このケースでは、左マクロブロックの動き補償予測情報として第１参照に対するｍｖＡ１、ｍｖＡ２及びそれぞれの参照ＩＤ、第２参照に対するｍｖＡ１、ｍｖＡ２及びそれぞれの参照ＩＤが格納され、上マクロブロックの動き補償予測情報として第１参照に対するｍｖＢ１、ｍｖＢ２及びそれぞれの参照ＩＤ、右上マクロブロックの動き補償予測情報として第１参照に対するｍｖＣ３及び参照ＩＤ、第２参照に対するｍｖＣ３及び参照ＩＤ、左上マクロブロックの動き補償予測情報として第２参照に対するｍｖＤ及び参照ＩＤの、合計９個の動き補償予測情報が格納される。

続いて、格納した動き補償予測情報の参照ＩＤを参照画像別に集計し、最も多い参照画像を算出する（Ｓ５０２）。左や上のマクロブロックで１６×１６画素の動き補償予測が選択されていた場合などは、最小の動き補償予測ブロックに分割した際に同じ動き補償予測が格納されており、動き補償予測のブロックサイズに応じて、情報に重み付けがなされることになる。また、第１参照と第２参照に関しては、区別をつけずに集計し、最終的に動きベクトルが指し示している参照画像毎の適用回数をカウントする。

実施の形態１においては、最も多い参照画像が１つである場合（Ｓ５０３：ＹＥＳ）には、その参照画像を基準参照画像として選択する（Ｓ５０４）。最も多い参照画像が複数であった場合には（Ｓ５０３：ＮＯ）、参照画像がより符号化対象ブロックに近い参照画像を優先的に選択し、距離も等しい場合には時間的に先行して符号化された参照画像の方が予測符号化を施した回数が少ないと判断して選択する（Ｓ５０５）。

尚、最も多い参照画像が複数であった場合に、参照画像が符号化を施された際の量子化値を符号化側・復号側で取得し、より細かく量子化を施されている参照画像が品質が良いと判断して優先的に選択することも可能であり、実施の形態１における基準参照画像決定処理の一つの派生例となる。周辺領域で最も多く動き補償予測として参照されている参照画像が、参照画像の品質及び符号化対象ブロックが存在する画像との時間相関が高いものとして、信頼性が高いと判断している点が、実施の形態１における、基準参照画像決定処理のポイントであり、動きベクトルの予測候補として用いることが可能な情報も多く取得でき、動きベクトルの予測精度も高くなる。

続いて、選択された基準参照画像に対する予測動きベクトル値を算出する処理を行う。最初に、基準参照画像が参照ＩＤとなっている動き補償予測情報が３つ以上である場合（Ｓ５０６：ＹＥＳ）には、その動き補償予測における動きベクトル値の水平・垂直の中央値を算出（Ｓ５０９）する。中央値を算出する手法は、ＭＰＥＧ４−ＡＶＣにおける予測ベクトル値生成手法と同じであるが、動きベクトル値に重みを付けて領域が大きな動きベクトルの優先度を向上させている点と、予測に適した情報が多く取得できている参照画像で行っていることによる精度向上により、従来の予測動きベクトルよりも高精度な予測が可能となる。偶数の動きベクトルが取得された場合（Ｓ５０７：ＹＥＳ）には、中央の２つの動きベクトル値の平均から最も離れている動きベクトル値を除外した（Ｓ５０８）後に中央値を取得（Ｓ５０９）する。

基準参照画像が参照ＩＤとなっている動き補償予測情報が２つ以下である場合（Ｓ５０６：ＮＯ）には、２つの場合に（Ｓ５１０：ＹＥＳ）動きベクトル値の平均値を算出（Ｓ５１１）し、１つの場合には（Ｓ５１０：ＮＯ）その動きベクトル値を予測動きベクトル値とする（Ｓ５１２）。

このようにして、算出された参照ＩＤ及び予測動きベクトル値を、参照画像間動きベクトル検出部１０８、２１５に出力し（Ｓ５１３）、基準参照画像決定処理が終了する。

続いて、参照画像間動きベクトル検出部１０８、２１５及び図４の処理フローチャートのＳ４０３、Ｓ４１４によって動作する、参照画像間動きベクトル検出処理の説明を、図７に示す参照画像間動きベクトル検出部の内部構成図及び、図８に示す処理フローチャートを用いて行う。

参照画像間動きベクトル検出部１０８は、基準参照画像取得部７００、動きベクトル検出範囲設定部７０１、基準参照画像メモリ７０２、参照画像取得部７０３、及びブロックマッチング評価部７０４から構成される。

最初に、基準参照画像取得部７００が基準参照画像決定部１０７より入力された基準参照画像の参照ＩＤ及び予測動きベクトル値ｍｖＬ０を元に、復号参照画像メモリ１１８より、基準参照画像の符号化対象ブロックからｍｖＬ０移動したの画像ブロックを切り出し、第１の参照ブロックを取得する（Ｓ８００）。取得した参照ブロックは、基準参照画像メモリ７０２に格納される。

続いて、動きベクトル検出範囲設定部７０１は、基準参照画像決定部１０７より入力された基準参照画像の参照ＩＤ及び予測動きベクトル値ｍｖＬ０を元に、第２参照画像の参照ＩＤを確定する（Ｓ８０１）。前記したように、実施の形態１においては、基準参照画像に対する他方の参照ＩＤが画面単位の情報としてＭＰＥＧ４−ＡＶＣにおけるスライスヘッダと同様の単位で伝送する構成を取り、対応する情報を参照することで、第２参照画像の参照ＩＤを確定できる。

続いて、基準参照画像と第２参照画像の間で検出する、参照画像間動きベクトルの検出範囲を設定する（Ｓ８０２）。検出範囲に関しては、第１の参照ブロックに対して、第２参照画像の全領域を動きベクトル検出範囲にとることも可能であり、符号化装置と復号装置と同じ定義で検出処理を行うことで機能するが、参照画像間の動きベクトル検出における演算量を減らすために、図９で示すような検出範囲の設定を行う。

図９は、実施の形態１における参照画像間の動きベクトル検出範囲の一例である。符号化対象画像の入力時刻をＰｏｃ＿Ｃｕｒ、基準参照画像の入力時刻をＰｏｃ＿Ｒｅｆ１、第２参照画像の入力時刻をＰｏｃ＿Ｒｅｆ２とすると、符号化対象ブロックに対する基準参照画像からの動きベクトルｍｖＬ０に対して、第２参照画像の探索範囲を符号化対象ブロックの位置を基準にすると、探索中心位置を
α＝ｍｖＬ０×（Ｐｏｃ＿Ｃｕｒ−Ｐｏｃ＿Ｒｅｆ２）／（Ｐｏｃ＿Ｃｕｒ−Ｐｏｃ＿Ｒｅｆ１）
で表されるように、時間的に動きが連続していることを想定した場合の符号化対象ブロックと第２参照画像の間の動きベクトル予測値に設定する。

しかしながら、カメラの動きや物体の動き等、時間的に連続な変化ではない状況も多いため、探索位置を中心として特定の領域に関して動きベクトルを探索することで、適切な第２参照画像の参照ブロックを取得できるようにする。図９に示した一例においては、特定の領域として、±８画素の領域を指定している。

参照画像取得部７０３は、動きベクトル検出範囲設定部７０１より指定された動きベクトルの検出範囲における第２参照画像の参照ブロックを、復号参照画像メモリ１１８より取得し（Ｓ８０３）、ブロックマッチング評価部７０４に出力する。

ブロックマッチング評価部７０４では、基準参照画像メモリ７０２に格納された第１の参照ブロックと、参照画像取得部７０３より入力された第２参照画像の参照ブロックとの間で画素毎の誤差総和を算出し、より総和が少ない参照ブロックと参照ブロックを取得した際の動きベクトル値を格納する（Ｓ８０４）。

すべての動きベクトルの検出範囲に対して、画素毎の誤差総和を算出した（Ｓ８０５：ＹＥＳ）後で、保存されている参照ブロックを第２の参照ブロックとし、動きベクトル値を参照画像間動きベクトル値ｍｖＩｎｔｅｒＲｅｆとする（Ｓ８０６）。

参照画像間動きベクトルの検出精度に関しても、符号化装置と復号装置において同じ検出精度の動きベクトル検出を暗黙に行う手法を適用可能であるが、フレーム単位や用いられる参照画像毎に動きベクトルの検出精度を符号化情報として伝送する手法を用いることも可能である。ここでは、暗黙の設定として１／４画素精度の検出精度とする。算出した参照画像間動きベクトル値ｍｖＩｎｔｅｒＲｅｆは、ｍｖＬ０、第１の参照ブロック及び第２の参照ブロックと共に、ダイレクト動き補償予測部１０９に出力される（Ｓ８０７）。

実施の形態１における動画像符号化装置及び動画像復号装置においては、符号化対象ブロックの周辺ブロックにおける符号化済みの動き補償予測情報を元に、予測に適した参照画像を選択する機能を、符号化側・復号側共に有することで、暗黙的に生成する動きベクトルの精度と、用いる参照画像をより適切なものとすることができると共に、求めた参照画像を基準参照画像として抽出した予測ブロックと、他の参照画像との間での動きベクトルを検出し、検出した動きベクトルを用いて双方向予測を行う機能を、符号化側・復号側共に有することで、動きベクトル等の付加情報を伝送せずに、時間的に動きの変化を伴う動画像信号に対する予測効率を向上させることが出来、符号化効率を向上させることが可能となる。

（実施の形態２）
次に、実施の形態２の動画像符号化装置及び動画像復号装置を説明する。実施の形態２においても、動画像符号化装置及び動画像復号装置の構成は実施の形態１と同様の構成を取るが、図１０及び図１１に示すように、基準参照画像決定部１０７、２１４が復号参照画像メモリ１１８、２０９より参照画像信号を、フレーム内復号画像メモリ１１７、２０８より隣接するフレーム内復号信号を参照画像決定処理に用いるために入力される点が異なる。

処理においては、参照画像決定処理及び参照画像間動きベクトル検出処理が異なる動作を行うため、図１２に実施の形態２における参照画像決定処理の処理フローチャートを、図１３に実施の形態２における参照画像間動きベクトル検出処理の処理フローチャートを示し、実施の形態２の動作を説明する。尚、実施の形態１と同様に、これらの機能は符号側・復号側で同様の処理が行われることにより機能するため、共通の構成として説明する。

実施の形態２は、実施の形態１における参照画像の確定精度を更に高めるために、符号化対象ブロックの周辺ブロックで用いられた動き補償予測情報に対して、使用していない参照画像に対する動きベクトルの結果を、空間的・時間的に隣接した動きベクトル情報を用いた場合に良好な動き補償予測が可能であったか否かを、復号画像間で動き補償予測を行い評価する機能を有する。

これにより、周辺ブロックの各参照画像に対してより多くの予測参照可能な動きベクトルを算出することが出来、動き補償予測情報の重要度をより適切に反映させた参照画像と、予測動きベクトル値が選択可能となる。

更に、実施の形態２は、基準参照画像から取得される第１の参照ブロックと複数の他の参照画像との間での動きベクトルを検出した際の参照画像間の誤差評価値を元に、どの参照画像を双方向予測に用いるかの判定と、参照ブロックの大きさよりも細かい単位で双方向予測を行うか否かの判定を行う機能を有する。

これにより、シーンチェンジなどの画面変化や物体が隠れる場合の伴う動画像信号に対して部分的に適した参照画像の情報を用いて、付加情報無しに細かい単位での双方向予測を行うことが可能となる。

最初に参照画像決定処理の説明を行う。図１２のフローチャートに示すように、実施の形態２においても実施の形態１と同様に最初に符号化対象ブロック（復号装置の場合は復号対象ブロック）の周辺ブロックにおいて用いられた動き補償予測の動きベクトル値、参照ＩＤ、動き補償のブロックサイズ情報を取得し（Ｓ１２００）、符号化対象ブロックに隣接する動き補償予測情報を、動き補償予測ブロックサイズをあわせた形で格納する（Ｓ１２０１）。

続いて、参照画像毎に対象となる動き補償予測情報が格納されている場合（Ｓ１２０２：ＹＥＳ）は、上記動き補償予測情報が確定され、参照ＩＤで示される参照画像の情報として使用される（Ｓ１２０３）。

対象となる動き補償予測情報が格納されていない場合（Ｓ１２０２：ＮＯ）には、該当する隣接ブロックの更に周辺のブロックにおける動き補償情報において、該当する参照ＩＤの参照画像が使用されたブロックを探す処理を行う。

具体的には、図１４に示すように、対象となる参照画像に対する動き補償情報が存在しないブロックの周辺のブロックが該当する参照ＩＤの参照画像を用いている場合（Ｓ１２０４：ＹＥＳ）には、隣接するブロックの動きベクトル値を候補ベクトル値とする（Ｓ１２０５）。また、対象ブロックが他の参照ＩＤの参照画像を用いている場合（Ｓ１２０６：ＹＥＳ）には、参照ＩＤの中で最も対象となる参照画像に近い参照ＩＤにおける動きベクトル値を符号化対象ブロックとの距離比率に応じて縮小・拡大した値を候補ベクトル値とする（Ｓ１２０７）。

具体的には、図１４において動き補償情報が指し示す参照画像ＲｅｆＢの入力時刻をＰｏｃ＿ＲｅｆＢ、対象参照画像ＲｅｆＡの入力時刻をＰｏｃ＿ＲｅｆＡ、符号化対象ブロックの入力時刻をＰｏｃ＿Ｃｕｒとした際に、ＲｅｆＢに対する動きベクトル値がｍｖＲｅｆＢの場合に、
ｍｖＲｅｆＡ＿ｃａｎｄ＝ｍｖＲｅｆＢ×（Ｐｏｃ＿Ｃｕｒ−Ｐｏｃ＿ＲｅｆＡ）／（Ｐｏｃ＿Ｃｕｒ−Ｐｏｃ＿ＲｅｆＢ）
で、候補ベクトル値が算出される。

続いて、候補ベクトルが算出できた対象参照画像のブロックに対して、参照画像メモリ、フレーム内復号画像メモリより、参照画像及びフレーム内復号画像を取得し候補ベクトルを用いて、周辺ブロックを動き補償予測した際の誤差値を算出する（Ｓ１２０８）。候補ベクトル値は複数取りうるが、全てに対して誤差値を評価し、最も誤差値が少ない候補動きベクトル値を仮動きベクトル値とする（Ｓ１２０９）。

次に、この仮動きベクトル値が信頼出来る周辺の動きベクトル値であるか否かを判断する為に、誤差値を閾値αと比較し、αよりも小さい場合（Ｓ１２１０：ＹＥＳ）には、仮動きベクトル値を動き補償予測情報として確定し、対象となる参照画像の動きベクトルとして格納する（Ｓ１２１１）。一方、誤差値が閾値α以上である場合（Ｓ１２１０：ＮＯ）には、仮動きベクトル値は動き補償予測情報として採用せず、対象となる参照画像に対する情報は無いと判断する（Ｓ１２１２）。

閾値αに関しては、固定値を暗黙の値（例：２×ブロックサイズ）もしくはスライス単位の情報として伝送することも可能であるが、対象となっているブロックが本来動き補償予測された際の誤差値を復号画像を用いて算出し、その値と比較して例えば４／３以下であれば、信頼できるものと判断させることも可能である。

すべての隣接するブロックと参照ＩＤに対して、上記候補ベクトルの評価と動き補償予測情報の補間が終了したら（Ｓ１２１３：ＹＥＳ）、実施の形態１と同様の処理である、格納した動き補償予測情報の参照ＩＤを参照画像別に集計し、最も多い参照画像を算出する（Ｓ１２１４）。第１参照と第２参照に関しても、区別をつけずに集計し、最終的に動きベクトルが指し示している参照画像毎の適用回数をカウントする。

実施の形態２においても、実施の形態１と同様に最も多い参照画像が１つである場合（Ｓ１２１５：ＹＥＳ）には、その参照画像を基準参照画像として選択する（Ｓ１２１６）。最も多い参照画像が複数であった場合には（Ｓ１２１６：ＮＯ）、参照画像がより符号化対象ブロックに近い参照画像を優先的に選択し、距離も等しい場合には時間的に先行して符号化された参照画像の方が予測符号化を施した回数が少ないと判断して選択する（Ｓ１２１７）。

選択された基準参照画像に対する予測動きベクトル値を算出する処理も実施の形態１と同様であるが、採用された候補ベクトル値が格納されているため、より多くの動きベクトル値より適した予測ベクトルが算出できる。最初に、基準参照画像が参照ＩＤとなっている動き補償予測情報が３つ以上である場合（Ｓ１２１８：ＹＥＳ）には、その動き補償予測における動きベクトル値の水平・垂直の中央値を算出（Ｓ１２２１）する。偶数の動きベクトルが取得された場合（Ｓ１２１９：ＹＥＳ）には、中央の２つの動きベクトル値の平均から最も離れている動きベクトル値を除外した（Ｓ１２２０）後に中央値を取得（Ｓ１２２１）する。

基準参照画像が参照ＩＤとなっている動き補償予測情報が２つ以下である場合（Ｓ１２１８：ＮＯ）には、２つの場合に（Ｓ１２２２：ＹＥＳ）動きベクトル値の平均値を算出（Ｓ１２２３）し、１つの場合には（Ｓ１２２２：ＮＯ）その動きベクトル値を予測動きベクトル値とする（Ｓ１２２４）。

このようにして、算出された参照ＩＤ及び予測動きベクトル値を、参照画像間動きベクトル検出部１０８、２１５に出力し（Ｓ１２２５）、基準参照画像決定処理を終了する。

次に、参照画像間動きベクトル検出処理の説明を行う。図１３のフローチャートに示すように、実施の形態２においても実施の形態１と同様に、基準参照画像取得部７００が基準参照画像決定部１０７より入力された基準参照画像の参照ＩＤ及び予測動きベクトル値ｍｖＬ０を元に、復号参照画像メモリ１１８より、基準参照画像の符号化対象ブロックからｍｖＬ０移動したの画像ブロックを切り出し、第１の参照ブロックを取得する（Ｓ１３００）。取得した参照ブロックは、基準参照画像メモリ７０２に格納される。

続いて、動きベクトル検出範囲設定部７０１は、基準参照画像決定部１０７より入力された基準参照画像の参照ＩＤ及び予測動きベクトル値ｍｖＬ０を元に、複数の参照可能な参照画像に対する基準参照画像との間の参照画像間動きベクトルの検出範囲を設定する（Ｓ１３０１）。検出手法は、実施の形態１と同様に行うことが可能であるが、複数の参照画像に対して行う点が異なる処理となる。

参照画像取得部７０３は、全ての参照画像に対して動きベクトル検出範囲設定部７０１より指定された、該当する参照画像における動きベクトルの検出範囲における参照ブロックを、復号参照画像メモリ１１８より取得し（Ｓ１３０２）、ブロックマッチング評価部７０４に出力する。

ブロックマッチング評価部７０４では、基準参照画像メモリ７０２に格納された第１の参照ブロックと、参照画像取得部７０３より入力された該当する参照画像の参照ブロックとの間で画素毎の誤差総和をブロックサイズよりも小さな単位毎に算出し、小さな単位別により総和が少ない参照ブロックと参照ブロックを取得した際の動きベクトル値を格納する（Ｓ１３０３）。実施の形態２においては、第１の参照ブロックのブロックサイズを１６×１６画素、上記ブロックサイズよりも小さな単位を４×４画素とし、１６個の小ブロックサイズに対して、各参照画像に対する参照画像間動きベクトル値ｍｖＩｎｔｅｒＲｅｆとブロックマッチングにおける誤差評価値が格納される。

全ての参照画像に対して参照画像間の動きベクトルの検出が終了したら（Ｓ１３０４：ＹＥＳ）、４×４ブロック毎に全ての参照画像の誤差評価値を比較し、最も小さな値をとる参照画像を第２の参照画像と確定する（Ｓ１３０５）。この場合の誤差評価値に関しては、ブロックマッチング時の誤差評価値をそのまま使用しても可能であるが、誤差のＤＣ成分を除去した誤差値において比較することも可能であり、その場合には微妙なＤＣの変化を生かした双方向予測信号を生成できる。

続いて、上記算出された第２の参照画像における誤差評価値が閾値β（例：１００）より大きな場合（Ｓ１３０６：ＹＥＳ）には、物体の見え隠れなどにより部分的に双方向予測に適した信号を生成出来なかったと判断して、第２の参照画像を選択せずに片方向予測とする（Ｓ１３０７）。

このようにして、４×４ブロック単位にそれぞれ最適な参照画像及び双方向・片方向の判定を行った結果としては、図１５の一例で示されるようなブロック形状に即した参照画像及び動きベクトル値を生成することが可能となる。基準となる参照画像の参照ブロックに対して、部分毎に適切な予測画像が合成される構成が実現できる。

これらの処理を全ての４×４ブロックに対して行ったら（Ｓ１３０８：ＹＥＳ）、４×４ブロック単位での参照ＩＤと参照画像間動きベクトル値ｍｖＩｎｔｅｒＲｅｆ、及び片方向予測か双方向予測かを示す情報を元に第２の参照ブロックを生成する（Ｓ１３０９）。

片方向予測を行うブロックに対する第２の参照ブロックの画像はダイレクト動き補償予測部で使用されないが、例えば第１の参照ブロックの同一の画素データを格納しておけば、平均値をブロック内の全ての値に施した場合でも片方向予測の予測ブロックが生成出きる。

最後に、４×４ブロック単位での参照ＩＤと参照画像間動きベクトル値ｍｖＩｎｔｅｒＲｅｆ、及び片方向予測か双方向予測かを示す情報を、ｍｖＬ０、第１の参照ブロック及び第２の参照ブロックと共に、ダイレクト動き補償予測部１０９に出力する（Ｓ１３１０）。

実施の形態２における動画像符号化装置及び動画像復号装置によれば、符号化対象ブロックの周辺ブロックで用いられた動き補償予測情報に対して、使用していない参照画像に対する動きベクトルの結果を、空間的・時間的に隣接した動きベクトル情報で復号画像を使って評価する機能を、符号化側・復号側共に有することで、動き補償予測情報の重要度をより適切に反映させた参照画像の選択手法を実現でき、実施の形態１における基準参照画像決定処理の精度を向上させ、その結果を用いて生成されるダイレクトモードの動き補償予測効率を更に向上できる。

更に、実施の形態２においては、基準になる参照画像の動き補償予測ブロックに対して、複数の参照画像との間で参照画像間の動きベクトル検出を行い、誤差評価値を元に双方向予測を行う他方の参照画像の確定と双方向予測を行うか否かの判定を行う機能を、符号化側・復号側共に有することで、シーンチェンジなどの画面変化や物体が隠れる場合の伴う動画像信号に対して適した参照画像の情報のみを用いた動き補償予測信号を、付加情報無しに生成することを可能とし、ダイレクトモードの動き補償予測効率を更に向上できる。

以上述べた本発明の各実施の形態によれば、符号化対象ブロックの周辺ブロックにおける符号化済みの動き補償予測情報を元に、予測に適した参照画像を選択する機能（符号１０７、２１５、図５参照）を、符号化側・復号側共に有することで、動きベクトル情報を伝送せずに動き補償予測を行うダイレクトモードに適した参照画像を付加情報無く認識できるため、予測効率を向上させることが出来、符号化効率を向上させた動画像符号化を実現できる。

また、各実施の形態によれば、基準になる参照画像の動き補償予測ブロックに対して、他の参照画像との間での動きベクトルを検出し（符号１０８、２１５、図７、図８参照）、検出した動きベクトルを元に他の参照画像の動き補償予測ブロックを生成し双方向予測を行う機能（符号１０９、２１６参照）を、符号化側・復号側共に有することで、動きベクトル情報を伝送せずに時間的に動きの変化を伴う動画像信号に対する予測効率を向上させることが出来、符号化効率を向上させた動画像符号化を実現できる。

さらに、実施の形態２によれば、基準になる参照画像の動き補償予測ブロックに対して、複数の他の参照画像との間での動きベクトルを検出した際の参照画像間の誤差評価値を元に、双方向予測を行う他方の参照画像の確定と双方向予測を行うか否かの判定を行う機能（図１３のＳ１３０３〜Ｓ１３０８参照）を、符号化側・復号側共に有することで、シーンチェンジなどの画面変化や物体が隠れる場合の伴う動画像信号に対して適した参照画像の情報のみを用いた動き補償予測信号を、付加情報無しに生成することが出来、符号化効率を向上させた動画像符号化を実現できる。

さらに、実施の形態２によれば、符号化対象ブロックの周辺ブロックで用いられた動き補償予測情報に対して、使用していない参照画像に対する動きベクトルの結果を、空間的・時間的に隣接した動きベクトル情報で復号画像を使って評価する機能（図１２のＳ１２０２〜Ｓ１２１３参照）を、符号化側・復号側共に有することで、動き補償予測情報の重要度をより適切に反映させた参照画像を選択することが可能となり、ダイレクトモードの予測効率を更に向上できる。

尚、第１、第２、第３、第４、第５の実施の形態として提示した、動画像符号化装置、及び動画像復号装置は、物理的にはＣＰＵ（中央処理装置）、メモリなどの記録装置、ディスプレイ等の表示装置、及び伝送路への通信手段を具備したコンピュータで実現することが可能であり、提示した各々の機能を具備する手段を、コンピュータ上のプログラムとして実現し、実行することが可能である。また、プログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星デジタル放送のデータ放送として提供することも可能である。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１０１入力画像バッファ、１０２ブロック分割部、１０３フレーム内予測部、１０４動きベクトル検出部、１０５動き補償予測部、１０６動きベクトル予測部、１０７基準参照画像決定部、１０８参照画像間動きベクトル検出部、１０９ダイレクト動き補償予測部、１１０予測モード判定部、１１１減算器、１１２直交変換部、１１３量子化部、１１４逆量子化部、１１５逆直交変換部、１１６加算器、１１７フレーム内復号画像メモリ、１１８復号参照画像メモリ、１１９エントロピー符号化部、１２０ストリームバッファ、１２２符号量制御部、２０１ストリームバッファ、２０２エントロピー復号部、２０３予測モード復号部、２０４予測画像選択部、２０５逆量子化部、２０６逆直交変換部、２０７加算器、２０８フレーム内復号画像メモリ、２０９復号参照画像メモリ、２１１フレーム内予測部、２１２動きベクトル予測復号部、２１３動き補償予測部、２１４基準参照画像決定部、２１５参照画像間動きベクトル検出部、２１６ダイレクト動き補償予測部、７００基準参照画像取得部、７０１動きベクトル検出範囲設定部、７０２基準参照画像メモリ、７０３参照画像取得部、７０４ブロックマッチング評価部。

Claims

符号化時の参照画像の指定情報および符号化時の動きベクトルの指定情報を伝送しないモードであることを示すモード情報を検出するモード検出部と、
前記モード検出部で前記モード情報が検出された場合に、復号対象ブロックの動き補償処理に使用する第１の参照画像および第１の動きベクトル値を、復号対象ブロックの周辺ブロックでの動き補償予測に用いられた情報を元に選択する基準参照画像決定部と、
前記第１の動きベクトル値を用いて第１の参照画像より抽出した第１の参照ブロックと、他の少なくとも１つの参照画像の所定領域とを合成した合成参照ブロックを生成する参照画像合成部と、
前記合成参照ブロックを予測ブロックとして、前記予測ブロックと、前記復号対象ブロックから復号した予測差分ブロックとを加算することにより、復号画像を生成する復号部とを備えることを特徴とする動画像復号装置。
前記基準参照画像決定部が、符号化対象ブロックの周辺ブロックで動き補償予測に使用されていない参照画像に対する動きベクトル値を、動き補償予測に使用された参照画像に対する動きベクトル値と復号画像信号を用いて算出すると共に、その算出した動きベクトル値に応じて当該動き補償予測に使用されていない参照画像を第１の参照画像の選択候補に加えるか否かを判断し、加えると判断した場合に、前記算出した動きベクトル値を当該動き補償予測に使用されていない参照画像に対する動きベクトルの候補に加えることによって、当該動き補償予測に使用されていない参照画像の頻度を増加させた上で第１の参照画像を選択すると共に、選択された第１の参照画像において候補に加えられている動きベクトル値を用いて前記第１の動きベクトル値を生成するとすることを特徴とする請求項１に記載の動画像復号装置。
前記参照画像合成部が、前記第１の参照ブロック以下の大きさのブロック単位で検出した、複数の参照画像との間の複数の第２の動きベクトル値を元に、第２の参照ブロックに用いる参照画像を選択し、前記第１の参照ブロックと前記第２の参照ブロックとを合成した合成参照ブロックを生成してその合成参照ブロックを予測ブロックとするか、前記第１の参照ブロックを予測ブロックとして利用するかの判定を行うことを特徴とする請求項１に記載の動画像復号装置。
符号化時の参照画像の指定情報および符号化時の動きベクトルの指定情報を伝送しないモードであることを示すモード情報を検出するステップと、
前記モード情報が検出された場合に、復号対象ブロックの動き補償処理に使用する第１の参照画像および第１の動きベクトル値を、復号対象ブロックの周辺ブロックでの動き補償予測に用いられた情報を元に選択するステップと、
前記第１の動きベクトル値を用いて第１の参照画像より抽出した第１の参照ブロックと、他の少なくとも１つの参照画像の所定領域とを合成した合成参照ブロックを生成するステップと、
前記合成参照ブロックを予測ブロックとして、前記予測ブロックと、前記復号対象ブロックから復号した予測差分ブロックとを加算することにより、復号画像を生成するステップとを含むことを特徴とする動画像復号方法。
符号化時の参照画像の指定情報および符号化時の動きベクトルの指定情報を伝送しないモードであることを示すモード情報を検出する機能と、
前記モード情報が検出された場合に、復号対象ブロックの動き補償処理に使用する第１の参照画像および第１の動きベクトル値を、復号対象ブロックの周辺ブロックでの動き補償予測に用いられた情報を元に選択する機能と、
前記第１の動きベクトル値を用いて第１の参照画像より抽出した第１の参照ブロックと、他の少なくとも１つの参照画像の所定領域とを合成した合成参照ブロックを生成する機能と、
前記合成参照ブロックを予測ブロックとして、前記予測ブロックと、前記復号対象ブロックから復号した予測差分ブロックとを加算することにより、復号画像を生成する機能とをコンピュータに実現させることを特徴とする動画像復号プログラム。