WO2012090425A1

WO2012090425A1 - 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム、並びに動画像復号装置、動画像復号方法及び動画像復号プログラム

Info

Publication number: WO2012090425A1
Application number: PCT/JP2011/007065
Authority: WO
Inventors: 上田　基晴; 英樹竹原; 博哉中村; 和美荒蔭; 智坂爪
Original assignee: 株式会社Ｊｖｃケンウッド
Priority date: 2010-12-27
Filing date: 2011-12-19
Publication date: 2012-07-05

Abstract

　動きベクトル検出部は、符号化対象ブロックに対して第１の参照画像からの動きベクトルを検出する。第１参照画像合成部は、動きベクトルを用いて第１の参照画像より抽出した第１の参照ブロックと、他の少なくとも１つの参照画像の所定領域を合成した第１の合成参照ブロックを生成する。第２参照画像合成部は、符号化済領域の合成参照ブロック生成に必要な情報より、第２の参照ブロックと合成に用いられた参照画像の所定領域を特定して合成した第２の合成参照ブロックを生成する。符号化部は、少なくとも第１の合成参照ブロックと第２の合成参照ブロックを含む複数の予測ブロックより選択された予測ブロックを、符号化対象ブロックより減算した予測差分ブロックを符号化する。

Description

動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム、並びに動画像復号装置、動画像復号方法及び動画像復号プログラム

　本発明は、動画像信号の符号化及び復号技術に関する。

　近年、デジタル化された画像及び音のコンテンツを、衛星や地上波等の放送波やネットワークを介して配信するサービスが実用化されており、膨大な情報量を持つコンテンツを効率的に記録及び伝送するための高能率符号化技術が必要となっている。動画像の高能率符号化としては、ＭＰＥＧ４－ＡＶＣに代表される、動画像信号の同一フレーム内で空間的に隣接する画素間の相関、及び時間的に隣接するフレーム間やフィールド間の相関を利用して情報を圧縮する方法が用いられる。

　ＭＰＥＧ４－ＡＶＣでは、時間的相関を利用した圧縮として、符号化対象フレームである対象画像に対して、既に符号化済みのフレームの局部復号画像を参照画像として用い、所定の大きさの２次元ブロック（以降、「対象ブロック」と記す）単位で、対象画像と参照画像との間での動き量（以降、「動きベクトル」と記す）を検出し、対象ブロックと動きベクトルに基づいた予測画像を生成する動き補償予測が用いられる。

ＭＰＥＧ４－ＡＶＣでは、符号化処理の単位となる１６×１６画素の２次元ブロック（以降、「マクロブロック」と記す）内での、対象ブロックの大きさを可変にして対象ブロック毎の動きベクトルを用いて予測する手法、複数の参照画像を格納し予測に用いる参照画像を選択する手法、２つの参照画像と対象ブロックの間の動きベクトルを求めて動き予測画像を生成する手法を用いる事で、動き補償予測の予測精度を向上させる事が可能であり、それにより情報量の削減を実現している。

　また、動き補償予測においては生成した動きベクトルを符号化伝送する必要があり、動きベクトルによる情報量の増加を防ぐために、対象ブロック周辺の復号済みのブロックに対する動きベクトルから予測される、予測動きベクトル値を用いて符号化する事で、動きベクトルを伝送しないダイレクトモードと呼ばれる動き補償予測を用いる事が可能となっている。

　しかしながら、上記動きベクトルの予測は必ずしも精度良く求める事が出来ないため、特許文献１に示されるように、符号化側と復号側が共に、参照画像間で動きベクトルの検出を行い、その動きベクトルが時間的に連続している事を想定して、対象ブロックの予測動きベクトルを生成し、ダイレクトモードを構成する手法も提示されている。

特開２００８－１５４０１５号公報

　ＭＰＥＧ４－ＡＶＣに代表される従来の動画像符号化における動き補償予測は、以下のような課題が解決できていないために、符号化効率の向上が妨げられている。

　一つ目の課題は、参照画像として用いる復号画像の品質が劣化することによる、動き補償予測画像の品質低下であり、特に高圧縮な符号化を施した場合に動き補償予測画像に混入した劣化成分が予測精度を悪化させると共に、劣化成分を復元するための情報を予測差分として符号化する必要があり、情報量が増加している。

　二つ目の課題は、時間的・空間的に動きの連続性が少ない画像信号において、動きベクトルの予測が十分な精度でなく、ダイレクトモードを用いた際の予測画像の品質が悪く有効に機能しない点である。対象となる物体を跨いで隣接するブロックでは異なる動きを有する際にこの劣化が生じ、時間的には動きが大きい場合に予測に用いる動きベクトルが本来の対象ブロックとは動きに相当して移動した位置のブロックを想定しているためにこの劣化が生じる。また時間的に動きが変化する場合にも、同様に予測が当らず劣化が生じる。

　三つ目の課題は、２つの参照画像を用いた予測や細かいブロック単位での動き補償予測を用いた際の、動きベクトル伝送に要する符号量の増加である。２つの参照画像を用いる場合に、参照画像を加算する事による予測劣化の平滑化が行われ、劣化成分の影響を少なくする事が出来るが、それに応じた動きベクトルの伝送が必要となり符号量が増加する。
　また、細かいブロック単位での動き補償においても、物体の境界に応じて適切な動きを求める事が可能となり、予測画像の精度は向上するが、細かい単位での動きベクトルの伝送が必要となって符号量が増大する。

　特許文献１は、上記二つ目の課題を解決するために提示された手法であるが、空間的に一様な動きをしている場合には、参照画像間で求めた動きベクトルが対象ブロックの位置を通過する動きとなる為、動きベクトルの予測精度は向上するが、空間的に一様な動きをしていない場合には、対象ブロックの情報を用いずに求めた予測動きベクトルであるために、対象ブロックと異なる動きとなり予測が十分に当らない。また、大きな動きを捉えるためには、参照画像間で広い範囲に渡る動きベクトルの検出処理が符号化装置、復号化装置の両方に必要となり、演算量が大きくなる課題が生じる。

　そこで、本発明は、伝送する動きベクトルを増加させず、符号化装置および復号化装置における演算量の増加を抑えつつ、予測画像の品質を向上させて動き補償予測の効率を向上させる技術を提供することを目的とする。

　上記課題を解決するために、本発明のある態様の動画像符号化装置は、符号化対象ブロックに対して、第１の参照画像からの動きベクトルを検出する動きベクトル検出部（１１７）と、動きベクトルを用いて前記第１の参照画像より抽出した第１の参照ブロックと他の少なくとも１つの参照画像の所定領域を合成した第１の合成参照ブロックを生成する、第１参照画像合成部（１２１）と、第１参照画像合成部において算出した、合成参照ブロック生成に必要な情報を格納する、参照画像合成パラメータ格納部（１２２）と、参照画像合成パラメータ格納部に格納された、符号化済領域の合成参照ブロック生成に必要な情報より、第２の参照ブロックと合成に用いられた参照画像の所定領域を特定して合成した第２の合成参照ブロックを生成する、第２参照画像合成部（１２３）を具備し、少なくとも第１の合成参照ブロックと第２の合成参照ブロックを含む複数の予測ブロックより、符号化対象ブロックに対する予測ブロックを選択し、予測ブロックを符号化対象ブロックより減算した予測差分ブロックを符号化する符号化部を備える。

　第１参照画像合成動き補償予測を用いることにより、参照画像間動きベクトル検出を用いた高効率な予測ブロックを、追加の動きベクトル伝送を行わずに生成できると共に、第２参照画像合成動き補償予測を用いることにより、少ない情報で高効率な予測ブロックを延長できると共に、復号装置において参照画像合成動き補償予測を行うために必要な参照画像間動きベクトル検出を機能させる領域を大幅に小さくすることが出来、演算量を大きく削減できる効果も有する。

　本発明の別の態様もまた、動画像符号化装置である。この装置は、符号化対象ブロックに対して、第１の参照画像からの動きベクトルを検出する動きベクトル検出部（１１７）と、動きベクトルを用いて前記第１の参照画像より抽出した第１の参照ブロックと他の少なくとも１つの参照画像の所定領域を合成した第１の合成参照ブロックを生成する、第１参照画像合成部（１２１）と、第１参照画像合成部において算出した、合成参照ブロック生成に必要な情報を格納する、参照画像合成パラメータ格納部（１２２）と、参照画像合成パラメータ格納部に格納された、符号化済領域の合成参照ブロック生成に必要な情報より、第２の参照ブロックと合成に用いられた参照画像の所定領域を特定して合成した第２の合成参照ブロックを生成する、第２参照画像合成部（１２３）と、参照画像合成パラメータ格納部に格納された、符号化済領域の合成参照ブロック生成に必要な情報を入力し、第２参照画像合成部に対する合成方法を確定する、参照画像合成選択部（１２２４）を具備し、参照画像合成選択部が、符号化対象ブロックに対する前記合成参照ブロック生成に必要な情報を用いて生成した複数の参照ブロックの間の相関値と、符号化済領域に対する前記合成参照ブロック生成に必要な情報を用いて生成した複数の参照ブロックの間の相関値を比較し、第２参照画像合成部からの出力を、第２の合成参照ブロックと第２の参照ブロックで選択する機能（Ｓ１４１４－Ｓ１４１７、Ｓ１４１８－Ｓ１４２１）を有し、少なくとも第１の合成参照ブロックと第２の合成参照ブロックもしくは第２の参照ブロックを含む複数の予測ブロックより、前記符号化対象ブロックに対する予測ブロックを選択し、予測ブロックを前記符号化対象ブロックより減算した予測差分ブロックを符号化する符号化部を備える。

　参照した隣接ブロックにおける第１の予測画像と第２の予測画像間の誤差値と、符号化対象ブロックに対する第１の予測画像及び第２の予測画像の誤差値を算出し、参照画像間の連続性の有無を判断し、連続性がなくなった場合には、第１の予測画像とを動き補償予測画像として出力することで、連続性が保たれている場合にのみ適切に参照画像合成動き補償予測を機能させることができ、付加情報を与えずに、より正しい動き補償予測画像を生成し符号化効率を向上させることができる。

　本発明の別の態様もまた、動画像符号化装置である。この装置は、符号化対象ブロックに対して、第１の参照画像からの動きベクトルを検出する動きベクトル検出部（１１７）と、動きベクトルを用いて前記第１の参照画像より抽出した第１の参照ブロックと他の少なくとも１つの参照画像の所定領域を合成した第１の合成参照ブロックを生成する第１参照画像合成部（１２１）と、第１参照画像合成部において算出した、合成参照ブロック生成に必要な情報を格納する、参照画像合成パラメータ格納部（１２２）と、参照画像合成パラメータ格納部に格納された、符号化済領域の合成参照ブロック生成に必要な情報より、第２の参照ブロックと参照画像の所定領域を特定して合成した第２の合成参照ブロックを生成する、第２参照画像合成部（１２３）と、参照画像合成パラメータ格納部に格納された、符号化済領域の合成参照ブロック生成に必要な情報を入力し、第２参照画像合成部に対する合成方法を確定する、参照画像合成選択部（１２２４）を具備し、第２参照画像合成部もしくは第１参照画像合成部が、第２の参照ブロックと他の少なくとも１つの参照画像の所定領域を合成した第３の合成参照ブロックを生成する機能を有し、参照画像合成選択部が、符号化対象ブロックに対する前記合成参照ブロック生成に必要な情報を用いて生成した複数の参照ブロックの間の相関値と、符号化済領域に対する前記合成参照ブロック生成に必要な情報を用いて生成した複数の参照ブロックの間の相関値を比較し、第２参照画像合成部から第２の合成参照ブロックを出力するか、第２参照画像合成部もしくは第１参照画像合成部から、第３の合成参照ブロックを出力するかを選択する機能（Ｓ１４１４－Ｓ１４１６、Ｓ１５２２－Ｓ１５２３、Ｓ１４１８－Ｓ１４２０、Ｓ１５２４－Ｓ１５２５）を有することを特徴とし、少なくとも第１の合成参照ブロックと第２の合成参照ブロックもしくは第３の合成参照ブロックを含む複数の予測ブロックより、符号化対象ブロックに対する予測ブロックを選択し、予測ブロックを前記符号化対象ブロックより減算した予測差分ブロックを符号化する符号化部を備える。

　参照した隣接ブロックにおける第１の予測画像と第２の予測画像間の誤差値と、符号化対象ブロックに対する第１の予測画像及び第２の予測画像の誤差値を算出し、参照画像間の連続性の有無を判断し、連続性がなくなった場合には、第１の予測画像と第２の参照画像の間での参照画像間動きベクトル情報を算出することで第３の予測画像を生成し、第１の予測画像と第３の予測画像を合成することにより、合成動き補償予測画像を生成することで、必要な場合にのみ再度復号側動きベクトル算出型の動き補償予測をおこなうことができ、演算量の増加を抑えつつ、付加情報を用いずに符号化効率をより向上させることができる。

　本発明のある態様の動画像復号装置は、符号化ストリームより、復号対象ブロックに対する動きベクトルを復号する動きベクトル復号部（２１２）と、動きベクトルを用いて第１の参照画像より抽出した第１の参照ブロックと、他の少なくとも１つの参照画像の所定領域を合成した第１の合成参照ブロックを生成する第１参照画像合成部（２１５）と、第１参照画像合成部において算出した、合成参照ブロック生成に必要な情報を格納する、参照画像合成パラメータ格納部（２１６）と、参照画像合成パラメータ格納部に格納された、復号済領域の合成参照ブロック生成に必要な情報により、第２の参照ブロックと合成に用いられた参照画像の所定領域を特定して合成した第２の合成参照ブロックを生成する、第２参照画像合成部（２１７）と、符号化ストリームより、復号対象ブロックが、少なくとも第１の合成参照ブロックと第２の合成参照ブロックを含む複数の予測ブロックから選択した、予測モード選択情報を復号する、予測モード復号部（２０３）を具備し、予測モード選択情報により選択された予測ブロックと、復号対象ブロックから復号した予測差分ブロックを加算することにより復号画像を生成する復号部を備える。

　本発明の別の態様もまた、動画像復号装置である。この装置は、符号化ストリームより復号対象ブロックに対する動きベクトルを復号する動きベクトル復号部（２１２）と、動きベクトルを用いて第１の参照画像より抽出した第１の参照ブロックと、他の少なくとも１つの参照画像の所定領域を合成した第１の合成参照ブロックを生成する第１参照画像合成部（２１５）と、第１参照画像合成部において算出した、合成参照ブロック生成に必要な情報を格納する、参照画像合成パラメータ格納部（２１６）と、参照画像合成パラメータ格納部に格納された、復号済領域の合成参照ブロック生成に必要な情報より、第２の参照ブロックと合成に用いられた参照画像の所定領域を特定して合成した第２の合成参照ブロックを生成する、第２参照画像合成部（２１７）と、符号化ストリームより、復号対象ブロックが、少なくとも第１の合成参照ブロックと第２の合成参照ブロックを含む複数の予測ブロックから選択した、予測モード選択情報を復号する、予測モード復号部（２０３）と、参照画像合成パラメータ格納部に格納された、復号済領域の合成参照ブロック生成に必要な情報を入力し、第２参照画像合成部に対する合成方法を確定する、参照画像合成選択部（１３１８）を具備し、参照画像合成選択部が、復号対象ブロックに対する前記合成参照ブロック生成に必要な情報を用いて生成した複数の参照ブロックの間の相関値と、復号済領域に対する前記合成参照ブロック生成に必要な情報を用いて生成した複数の参照ブロックの間の相関値を比較し、第２参照画像合成部からの出力を、第２の合成参照ブロックと第２の参照ブロックで選択する機能（Ｓ１４２６－Ｓ１４２９）を有することを特徴とし、予測モード選択情報より、予測ブロックとして少なくとも第１の合成参照ブロックと第２の合成参照ブロックもしくは第２の参照ブロックを含む複数の予測ブロックより選択された予測ブロックと、復号対象ブロックから復号した予測差分ブロックを加算することにより復号画像を生成する復号部を備える。

　本発明の別の態様もまた、動画像復号装置である。この装置は、符号化ストリームより、復号対象ブロックに対する動きベクトルを復号する動きベクトル復号部（２１２）と、動きベクトルを用いて前記第１の参照画像より抽出した第１の参照ブロックと、他の少なくとも１つの参照画像の所定領域を合成した第１の合成参照ブロックを生成する第１参照画像合成部（２１５）と、第１参照画像合成部において算出した、合成参照ブロック生成に必要な情報を格納する、参照画像合成パラメータ格納部（２１６）と、参照画像合成パラメータ格納部に格納された、復号済領域の合成参照ブロック生成に必要な情報より、第２の参照ブロックと合成に用いられた参照画像の所定領域を特定して合成した第２の合成参照ブロックを生成する、第２参照画像合成部（２１７）と、符号化ストリームより、復号対象ブロックが、少なくとも第１の合成参照ブロックと第２の合成参照ブロックを含む複数の予測ブロックから選択した、予測モード選択情報を復号する、予測モード復号部（２０３）と、参照画像合成パラメータ格納部に格納された、復号済領域の合成参照ブロック生成に必要な情報を入力し、第２参照画像合成部に対する合成方法を確定する、参照画像合成選択部（１３１８）を具備し、第２参照画像合成部もしくは前記第１参照画像合成部が、前記第２の参照ブロックと他の少なくとも１つの参照画像の所定領域を合成した第３の合成参照ブロックを生成する機能を有し、参照画像合成選択部が、復号対象ブロックに対する合成参照ブロック生成に必要な情報を用いて生成した複数の参照ブロックの間の相関値と、復号済領域に対する合成参照ブロック生成に必要な情報を用いて生成した複数の参照ブロックの間の相関値を比較し、第２参照画像合成部から第２の合成参照ブロックを出力するか、第２参照画像合成部もしくは第１参照画像合成部から、第３の合成参照ブロックを出力するかを選択する機能（Ｓ１４２６－Ｓ１４２８、Ｓ１５３０－Ｓ１５３１）を有することを特徴とし、予測モード選択情報より、予測ブロックとして少なくとも第１の合成参照ブロックと第２の合成参照ブロックもしくは第３の合成参照ブロックを含む複数の予測ブロックより選択された予測ブロックと、復号対象ブロックから復号した予測差分ブロックを加算することにより復号画像を生成する復号部を備える。

　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

　本発明によれば、符号化装置・復号化装置における演算量の増加を抑えつつ、予測画像の品質を高めて動き補償予測の効率を向上させることができる。

本発明の実施の形態１における動画像符号化装置の構成図である。本発明の実施の形態１における動画像復号装置の構成図である。本発明における参照画像合成動き補償予測の動作を示す概念図である。本発明の実施の形態１における予測ブロック生成処理のフローチャートである。本発明の実施の形態１における第１参照画像合成動き補償予測の処理フローチャートである。本発明の実施の形態１における参照画像間動きベクトル検出部の構成図である。本発明の実施の形態１における参照画像間の動きベクトル検出範囲の一例を示す図である。本発明の実施の形態１における参照画像間動きベクトル検出部の処理フローチャートである。本発明の実施の形態１における第２参照画像合成動き補償予測の処理フローチャートである。本発明の実施の形態１における参照画像合成パラメータ格納部の管理形態を示す図である。本発明の実施の形態１における第１、第２参照画像合成動き補償の選択結果の概念図である。本発明の実施の形態２における動画像符号化装置の構成図である。本発明の実施の形態２における動画像復号装置の構成図である。本発明の実施の形態２における符号化側の参照画像合成選択処理のフローチャートである。本発明の実施の形態２における復号側の参照画像合成選択処理のフローチャートである。本発明の実施の形態３における符号化側の参照画像合成選択処理のフローチャートである。本発明の実施の形態３における復号側の参照画像合成選択処理のフローチャートである。

　以下に、発明を実施するための形態について図面を参照して説明する。
　（実施の形態１）
　まず、実施の形態１の動画像符号化装置を説明する。図１は、実施の形態１の動画像符号化装置の構成を示す構成図である。

　図１に示すように、実施の形態１の動画像符号化装置は、入力端子１００、入力画像バッファ１０１、ブロック分割部１０２、減算器１０３、直交変換部１０４、量子化部１０５、逆量子化部１０６、逆直交変換部１０７、加算器１０８、フレーム内復号画像メモリ１０９、復号参照画像メモリ１１０、エントロピー符号化部１１１、ストリームバッファ１１２、出力端子１１３、符号量制御部１１４、予測モード判定部１１５、フレーム内予測部１１６、動きベクトル検出部１１７、動き補償予測部１１８、動きベクトル予測部１１９、参照画像間動きベクトル検出部１２０、第１参照画像合成動き補償予測部１２１、参照画像合成パラメータ格納部１２２、および第２参照画像合成動き補償予測部１２３から構成される。

　参照画像間動きベクトル検出部１２０、第１参照画像合成動き補償予測部１２１、参照画像合成パラメータ格納部１２２、および第２参照画像合成動き補償予測部１２３を設けた点と、この処理ブロックにおける動作が、本発明の実施の形態１における特徴であり、他の処理ブロックに関してはＭＰＥＧ４－ＡＶＣ等の動画像符号化装置における符号化処理を構成する処理ブロックと同一処理が適用できる。

　入力端子１００より入力されたデジタル画像信号は、入力画像バッファ１０１に格納される。入力画像バッファ１０１に格納されたデジタル画像信号は、ブロック分割部１０２に供給され、水平Ｎ画素×垂直Ｍ画素で構成されるブロック単位で符号化対象ブロックとして切り出される。ＮおよびＭの値は、複数の予め設定可能な画素数より選択的に構成することも可能であるが、実施の形態１における説明ではＮ＝１６、Ｍ＝１６で固定であるとする。ブロック分割部１０２は、切り出した符号化対象ブロックを、フレーム内予測部１１６、動きベクトル検出部１１７、動き補償予測部１１８、第１参照画像合成動き補償予測部１２１、第２参照画像合成動き補償予測部１２３、および減算器１０３に供給する。

　減算器１０３は、ブロック分割部１０２から供給された符号化対象ブロックと、予測モード判定部１１５より供給された予測画像ブロックとの差分を演算し、結果を差分ブロックとして直交変換部１０４に供給する。予測モード判定部１１５の動作に関しては後述する。

　直交変換部１０４では、差分ブロックに対して所定単位でＤＣＴ変換を行うことで、直交変換された周波数成分信号に相当するＤＣＴ係数を生成する。実施の形態１における説明では、ＤＣＴ変換を施す単位は４×４画素もしくは８×８画素単位であるとする。また、直交変換部１０４では、生成したＤＣＴ係数を符号化対象ブロック単位に纏めて、量子化部１０５に出力する。

　量子化部１０５においては、ＤＣＴ係数を周波数成分毎に異なった値で除算することにより量子化処理を施す。量子化部１０５は、量子化処理されたＤＣＴ係数を、逆量子化部１０６及びエントロピー符号化部１１１に供給する。

　逆量子化部１０６は、量子化部１０５より入力した量子化処理されたＤＣＴ係数に対して、量子化時に除算された値を乗算することで逆量子化を行い、逆量子化された結果を復号されたＤＣＴ係数として、逆直交変換部１０７に出力する。

　逆直交変換部１０７においては逆ＤＣＴ処理が行われ、復号された差分ブロックを生成する。逆直交変換部１０７は、復号された差分ブロックを加算器１０８に供給する。

　加算器１０８は、予測モード判定部１１５より供給された予測画像ブロックと、逆直交変換部１０７より供給される復号された差分ブロックを加算し、局部復号ブロックを生成する。加算器１０８で生成された局部復号ブロックは、フレーム内復号画像メモリ１０９及び復号参照画像メモリ１１０に逆ブロック変換された形で格納される。ＭＰＥＧ－４　ＡＶＣの場合には、局部復号ブロックが復号参照画像メモリ１１０に入力される手前で、ブロック毎での符号化歪が境界となって現れやすいブロック境界に対して、適応的にフィルタリングを行う処理が施される場合もある。

　エントロピー符号化部１１１は、量子化部１０５より供給された量子化処理されたＤＣＴ係数と、予測モード判定部１１５より供給された、予測モード情報と、予測モードに応じて伝送が必要な付加情報に対して、それぞれの情報の可変長符号化を行う。具体的には、フレーム内予測の場合にはイントラ予測モードと予測ブロックサイズ情報が、動き補償予測及び参照画像合成画像動き補償予測の場合には、予測ブロックサイズ、参照画像の指定情報、及び動きベクトルと予測動きベクトル値との差分値が、符号化を要する情報となる。可変長符号化を施した情報は符号化ビットストリームとして、エントロピー符号化部１１１よりストリームバッファ１１２に出力される。

　ストリームバッファ１１２に蓄えられた符号化ビットストリームは、出力端子１１３を介して、記録媒体もしくは伝送路に出力される。符号化ビットストリームの符号量制御に関しては、符号量制御部１１４に、ストリームバッファ１１２に蓄えられている符号化ビットストリームの符号量が供給され、目標とする符号量との間で比較がとられ、目標符号量に近づけるために量子化部１０５の量子化の細かさ（量子化スケール）が制御される。

　予測モード判定部１１５は、フレーム内予測部１１６、動き補償予測部１１８、第１参照画像合成動き補償予測部１２１、第２参照画像合成動き補償予測部１２３より入力された各予測手法に対する予測モードと予測ブロックより、ブロック分割部１０２より入力された符号化対象ブロックに対して、最も符号化する差分情報が少ない予測信号を選択し、選択された予測手法に対する予測画像ブロックを減算器１０３及び加算器１０８に出力すると共に、エントロピー符号化部１１１、動きベクトル予測部１１９および参照画像合成パラメータ格納部１２２に対して、付加情報としての予測モード情報と、予測モードに応じて伝送が必要な情報を出力する。動きベクトル値に関しては、後述する動きベクトル予測部１１９で算出された予測ベクトル値との差分情報がエントロピー符号化部１１１に送られ符号化される。

　フレーム内予測部１１６では、ブロック分割部１０２より入力された符号化対象ブロックと、フレーム内復号画像メモリ１０９に格納された、符号化対象ブロックの周辺に対して符号化が完了した領域の復号画像が入力され、フレーム内の相関性を用いた予測が行われる。ＭＰＥＧ４－ＡＶＣの場合には符号化対象ブロックに対して、４×４画素単位、８×８画素単位、１６×１６画素単位で、複数の所定の方向に対して画素値を予測し、予測処理の単位と選択した方向を示す情報（イントラ予測モード）と共に予測ブロックを生成するイントラ予測という手法を用いて、画面内の隣接画素の相関を用いた予測を行う。予測画ブロック及び選択したイントラ予測モードは、フレーム内予測部１１６より予測モード判定部１１５に出力される。

　動きベクトル検出部１１７では、ブロック分割部１０２より入力された符号化対象ブロックと、復号参照画像メモリ１１０に格納された、画面全体の符号化が完了したフレームの復号画像が参照画像として入力されて、符号化対象ブロックと参照画像との間での動き推定を行う。一般的な動き推定処理としては、画面内の同一位置より所定の移動量だけ移動させた位置の参照画像を切り出し、その画像を予測ブロックとした際の予測誤差が最も少なくなる移動量を動きベクトル値として、移動量を変化させながら求めるブロックマッチング処理が用いられる。予測誤差の評価値としては、誤差の絶対値総和（ＳＡＤ）や誤差の二乗総和（ＳＳＥ）等が用いられ、更に動きベクトル等の付加情報の符号量と加味して評価することで、より符号化された場合に効率に良い動きベクトルを算出できる。検出された動きベクトル値は、動き補償予測部１１８および参照画像間動きベクトル検出部１２０に出力される。

　動き補償予測部１１８は、動きベクトル検出部１１７によって求められた動きベクトル値を入力し、符号化対象ブロック以下の複数のブロックサイズ及び複数の参照画像に対する動き補償予測画像を、動きベクトル検出部１１７経由で復号参照画像メモリ１１０より取得し、ブロック分割部１０２より入力された符号化対象ブロックに対して、最も符号化する差分情報が少ない予測ブロックを選択すると共に、最も符号化する差分情報が少ない予測ブロックを選択する。動き補償予測部１１８は、選択された動き補償予測モード、動きベクトル値と予測ブロックを予測モード判定部１１５に出力する。

　動きベクトル予測部１１９は、周辺の符号化済みブロックの動きベクトルを用いて予測動きベクトル値を算出し、動きベクトル検出部１１７、動き補償予測部１１８および第１参照画像合成動き補償予測部１２１に供給する。

　前記予測動きベクトル値を用いて、動きベクトル検出部１１７は、動きベクトル予測値と動きベクトル値との差分を符号化する際に必要となる符号量を加味して、最適な動きベクトル値を検出する。同様に、動き補償予測部１１８は、動きベクトル予測値と伝送する動きベクトル値との差分を符号化する際に必要となる符号量を加味して、最適な動き補償予測のブロック単位と用いる参照画像及び動きベクトル値を選択する。

　参照画像間動きベクトル検出部１２０は、動きベクトル検出部１１７より入力された動きベクトルより、動きベクトルと対応する参照画像から第１の参照ブロックを抽出する。参照画像間動きベクトル検出部１２０は、抽出した第１の参照ブロックと他の参照画像との間における動きベクトルをブロックマッチング等で誤差値を算出し、その値が小さな動きベクトルを参照画像間動きベクトルとして算出する。参照画像間動きベクトル検出部１２０は、第１の参照ブロックを生成する動きベクトル値と、参照画像間動きベクトルにより算出された他の参照画像と符号化対象ブロックとの間の動きベクトル値を、第１参照画像合成動き補償予測部１２１に出力する。

　第１参照画像合成動き補償予測部１２１は、参照画像間動きベクトル検出部１２０より入力された動きベクトル値および、参照画像間動きベクトルにより算出された他の参照画像と符号化対象ブロックとの間の動きベクトル値を元に、復号参照画像メモリ１１０より第１の予測ブロックおよび第２の予測ブロックを取得し、これらの予測ブロックを合成することで参照画像合成動き補償予測ブロックを生成する。第１参照画像合成動き補償予測部１２１も動き補償予測部１１８と同様に、ブロック分割部１０２より入力された符号化対象ブロックに対して、動きベクトル予測値と伝送する動きベクトル値との差分を符号化する際に必要となる符号量を加味して、最適な参照画像合成動き補償予測のブロック単位と用いる動きベクトル値を選択する。

　第１参照画像合成動き補償予測部１２１は、選択された動き補償予測モード、動きベクトル値と予測ブロックを予測モード判定部１１５に出力するとともに、参照画像間動きベクトルにより算出された他の参照画像と符号化対象ブロックとの間の動きベクトル値を、参照画像合成パラメータ格納部１２２に出力する。第１参照画像合成動き補償予測部１２１の動作の詳細に関しては後述する。

　参照画像合成パラメータ格納部１２２は、第１参照画像合成動き補償予測部１２１より入力された、参照画像間動きベクトルにより算出された他の参照画像と符号化対象ブロックとの間の動きベクトル値と、予測モード判定部１１５より入力された付加情報としての予測モード情報と、予測モードに応じて伝送が必要な情報、および第２参照画像合成動き補償予測部１２３より入力される第２参照画像合成動き補償予測に対する参照画像合成予測に必要なパラメータを格納すると共に、第２参照画像合成動き補償予測部１２３に対して、符号化対象ブロックの符号化済周辺ブロックにおける、参照画像合成予測に必要なパラメータを出力する。

　第２参照画像合成動き補償予測部１２３は、ブロック分割部１０２より入力された符号化対象ブロックに対して、参照画像合成パラメータ格納部１２２より入力される符号化対象ブロックの符号化済周辺ブロックにおける、参照画像合成に用いるパラメータを用いて、復号参照画像メモリ１１０より第１の予測ブロックおよび第２の予測ブロックを取得し、これらの予測ブロックを合成することで参照画像合成動き補償予測ブロックを生成する。

　第２参照画像合成動き補償予測部１２３は、選択された動き補償予測モードと予測ブロックを予測モード判定部１１５に出力する。第２参照画像合成動き補償予測部１２３で生成される予測ブロックに対しては、復号済のブロックの周辺情報より生成されるため、付加情報として動きベクトルは伝送されない。

　また、第２参照画像合成動き補償予測部１２３は、選択された動き補償予測モードにおいて用いられる参照画像合成に用いるパラメータを参照画像合成パラメータ格納部１２２に出力する。第２参照画像合成動き補償予測部１２３の動作の詳細に関しては後述する。

　続いて、実施の形態１の動画像符号化装置により生成された符号化ビットストリームを復号する、動画像復号装置を説明する。図２は、実施の形態１の動画像復号装置の構成図である。

　図２に示すように、実施の形態１の動画像復号装置は、入力端子２００、ストリームバッファ２０１、エントロピー復号部２０２、予測モード復号部２０３、予測画像選択部２０４、逆量子化部２０５、逆直交変換部２０６、加算器２０７、フレーム内復号画像メモリ２０８、復号参照画像メモリ２０９、出力端子２１０、フレーム内予測部２１１、動きベクトル予測復号部２１２、動き補償予測部２１３、参照画像間動きベクトル検出部２１４、第１参照画像合成動き補償予測部２１５、参照画像合成パラメータ格納部２１６、および第２参照画像合成動き補償予測部２１７から構成される。

　参照画像間動きベクトル検出部２１４、第１参照画像合成動き補償予測部２１５、参照画像合成パラメータ格納部２１６、および第２参照画像合成動き補償予測部２１７を設けた点と、これらの処理ブロックにおける動作が、本発明の実施の形態１の復号装置における特徴である。これらの動作は図１に示した動画像符号化装置の同じ機能ブロックと対になることで、付加情報の伝送を削減させた動き補償予測ブロックを生成する。他の処理ブロックに関してはＭＰＥＧ４－ＡＶＣ等の動画像復号装置における復号処理を構成する処理ブロックと同一処理が適用できる。

　入力端子２００より入力された符号化ビットストリームは、ストリームバッファ２０１に供給され、ストリームバッファ２０１で符号化ビットストリームの符号量変動を吸収して、フレーム等の所定単位でエントロピー復号部２０２に供給される。エントロピー復号部２０２は、ストリームバッファ２０１を介して入力された符号化ビットストリームより、符号化された予測モード情報と予測モードに応じた付加情報、及び量子化されたＤＣＴ係数に関して可変長復号を行い、逆量子化部２０５に量子化されたＤＣＴ係数を、予測モード復号部２０３に予測モード情報と予測モードに応じた付加情報を出力する。

　逆量子化部２０５、逆直交変換部２０６、加算器２０７、フレーム内復号画像メモリ２０８、及び復号参照画像メモリ２０９に関しては、本発明の実施の形態１の動画像符号化装置の局部復号処理である逆量子化部１０６、逆直交変換部１０７、加算器１０８、フレーム内復号画像メモリ１０９、復号参照画像メモリ１１０と同様の処理が行われる。復号参照画像メモリ２０９に蓄えられた復号画像は、出力端子２１０を介して、表示装置に復号画像信号として表示される。

　予測モード復号部２０３では、エントロピー復号部２０２より入力された予測モード情報と予測モードに応じた付加情報より、予測モードとして動き補償予測が選択された場合に、動きベクトル予測復号部２１２に対して、予測したブロック単位を示す情報である動き補償予測モード、第１参照画像合成動き補償予測モード、第２参照画像合成動き補償予測モードを示す情報と、復号した差分ベクトル値を出力すると共に、予測画像選択部２０４、および参照画像合成パラメータ格納部２１６に対して予測モード情報を出力する。また、予測モード復号部２０３は、復号した予測モード情報に応じて、フレーム内予測部２１１、動き補償予測部２１３、第１参照画像合成動き補償予測部２１５、および第２参照画像合成動き補償予測部２１７に対して、選択されたことを示す情報及び予測モードに応じた付加情報を出力する。

　予測画像選択部２０４は、予測モード復号部２０３より入力された予測モード情報に応じて、フレーム内予測部２１１、動き補償予測部２１３、第１参照画像合成動き補償予測部２１５、および第２参照画像合成動き補償予測部２１７の何れかより出力された、復号対象ブロックに対する予測画像を選択し、加算器２０７に出力する。

　フレーム内予測部２１１は、復号した予測モードがフレーム内予測を示している場合に、予測モード復号部２０３より予測モードに応じた付加情報として、イントラ予測モードが入力され、イントラ予測モードに応じてフレーム内復号画像メモリ２０８に格納された、復号対象ブロックの周辺に対して復号が完了した領域の復号画像が入力され、符号化装置と同じイントラ予測モードでフレーム内の相関性を用いた予測が行なわれる。フレーム内予測部２１１は、予測により生成したフレーム内予測ブロックを、予測画像選択部２０４に出力する。

　動きベクトル予測復号部２１２は、予測モード復号部２０３より入力された復号した差分ベクトル値に対して、周辺の復号済みブロックの動きベクトルを用いて、符号化装置で行う方式と同じ方法で予測動きベクトル値を算出し、差分ベクトル値と予測動きベクトル値を加算した値を、復号対象ブロックの動きベクトル値として動き補償予測部２１３、参照画像間動きベクトル検出部２１４、および参照画像合成パラメータ格納部２１６に出力する。動きベクトルは、動き補償予測モードもしくは第１参照画像合成画像動き補償予測モードで示される、予測処理のブロック単位に従って符号化された数だけ復号される。

　動き補償予測部２１３は、動きベクトル予測復号部２１２より入力された動きベクトル値より、復号参照画像メモリ２０９より動き補償予測ブロックを生成し、生成した動き補償予測ブロックを、予測画像選択部２０４に出力する。

　参照画像間動きベクトル検出部２１４は、動きベクトル予測復号部２１２より入力された動きベクトル値より、復号参照画像メモリ２０９より動き補償予測に用いる第１の参照ブロックを抽出する。続いて、抽出した第１の参照ブロックと他の参照画像との間における動きベクトルをブロックマッチング等で誤差値を算出し、その値が小さな動きベクトルを参照画像間動きベクトルとして算出する。

　続いて、参照画像間動きベクトル検出部２１４は、第１の参照ブロックを生成する動きベクトル値と、参照画像間動きベクトルにより算出された他の参照画像と符号化対象ブロックとの間の動きベクトル値を、第１参照画像合成動き補償予測部２１５に出力する。

　第１参照画像合成動き補償予測部２１５は、参照画像間動きベクトル検出部２１４より入力された動きベクトル値および、参照画像間動きベクトルにより算出された他の参照画像と符号化対象ブロックとの間の動きベクトル値を元に、復号参照画像メモリ２０９より第１の予測ブロックおよび第２の予測ブロックを取得し、これらの予測ブロックを合成することで参照画像合成動き補償予測ブロックを生成する。生成した参照画像合成動き補償予測ブロックは、予測画像選択部２０４に出力される。

　また、第１参照画像合成動き補償予測部２１５は、参照画像間動きベクトルにより算出された他の参照画像と復号対象ブロックとの間の動きベクトル値を、参照画像合成パラメータ格納部２１６に出力する。第１参照画像合成動き補償予測部２１５の動作の詳細に関しては後述する。

　参照画像合成パラメータ格納部２１６は、第１参照画像合成動き補償予測部２１５より入力された、参照画像間動きベクトルにより算出された他の参照画像と復号対象ブロックとの間の動きベクトル値と、予測モード復号部２０３より入力された付加情報としての予測モード情報と、動きベクトル予測復号部２１２より入力された動きベクトル情報、および第２参照画像合成動き補償予測部２１７より入力される第２参照画像合成動き補償予測に対する参照画像合成予測に必要なパラメータを格納すると共に、第２参照画像合成動き補償予測部２１７に対して、復号対象ブロックの復号済周辺ブロックにおける、参照画像合成予測に必要なパラメータを出力する。

　第２参照画像合成動き補償予測部２１７は、参照画像合成パラメータ格納部２１６より入力される復号対象ブロックの復号済周辺ブロックにおける、参照画像合成に用いるパラメータを用いて、復号参照画像メモリ２０９より第１の予測ブロックおよび第２の予測ブロックを取得し、これらの予測ブロックを合成することで参照画像合成動き補償予測ブロックを生成する。生成した参照画像合成動き補償予測ブロックは、予測画像選択部２０４に出力される。

　また、第２参照画像合成動き補償予測部２１７は、選択された動き補償予測モードにおいて用いられる参照画像合成に用いるパラメータを参照画像合成パラメータ格納部２１６に出力する。第２参照画像合成動き補償予測部２１７の動作の詳細に関しては後述する。

　以下、実施の形態１の動画像符号化装置と動画像復号装置において動作する、参照画像合成動き補償予測の予測画像生成動作を、図３の概念図を用いて説明を行う。

　図３b)および図３c)が、発明における参照画像合成動き補償予測を示す概念図である。図３a)は、ＭＰＥＧ４－ＡＶＣにおいて用いられている２つの参照画像を用いた双方向動き補償予測の概念図となる。

　図３a)は、２つの参照画像に対して符号化対象ブロックとの間で動きベクトルを検出し、それぞれの参照画像に対する動きベクトルを伝送すると共に、２つの動きベクトルで示される参照ブロックの平均値を予測画像とする手法である。２つの参照画像を合成することで、時間方向の動き適応フィルタとしての符号化劣化成分の除去機能と、符号化対象物の微少な輝度変化成分を平均化により追従する機能とを持った予測画像を生成できる。

　ＭＰＥＧ４―ＡＶＣにおいては、複数毎の復号された参照画像を格納しておき、所定のブロック単位に予測に用いる参照画像の番号と動きベクトルを伝送することで、適応的に参照画像を選択している。図３a)の場合には、参照画像として４枚の復号画像が確保されており、参照画像１と参照画像３を用いて２つの予測画像を取得し、双方向予測を行う場合を示している。
動きベクトルとしては、mvL0及びmvL1が予測動きベクトルとの差分値を取られ伝送される。

　これに対して、図３b）では、基準となる参照画像を特定し動きベクトルを検出し、その動きベクトルmvL0を用いて取得した第１の参照ブロックと、他の参照画像との間の参照画像間動きベクトルmvInterRefを求めることにより、符号化対象画像と他の参照画像の間の動きmvL1を動きベクトルの伝送無しに生成する手法をとる。復号側では、伝送された動きベクトルmvL0を用いて同様の処理を行うことで、mvL1を生成出来る。

　特許文献１に示される方法は、符号化対象画像を跨ぐ隣接画像における物体の動きが一様である場合に、２つの参照画像間で符号化対象ブロックと対称位置になるブロックの誤差値を評価することで、動きベクトルを伝送せずにmvL0とmvL1を生成する手法であるが、動きが一様である限定でmvL0、mvL1が生成され、時間的に連続性の少ない場合には有効に機能しないため、十分に予測誤差の少ない予測ブロックを生成することが出来ない。また、動きの大きな画像に対して、適切な動きを生成するためには大きな動き探索範囲が必要となり、符号化装置・復号装置における動き探索処理に要する演算量が増大する。

　図３b）の構成においては、符号化対象ブロックの予測ブロックとして適切な参照ブロックを伝送するmvL0より取得し、生成された予測画像ブロックに対して、符号化・復号の双方で、他の参照画像の同一領域を参照画像間の動きベクトルを検出することで追跡し、他方の動きベクトル値を暗黙的に算出させることで、符号化対象ブロックの予測に適した動きベクトルを少ない探索範囲で取得することが可能となり、これにより空間的・時間的な連続性の少ない動画像信号においても、適切な双方向予測を動きベクトルの伝送を伴うことなく実現し、符号化効率を大幅に向上可能である。

　また、図３c)の構成のように、予測画像を生成するための参照画像を３枚以上にして、それぞれの動きベクトルmvL1,mvL2を参照画像間の動きベクトルを検出することで生成することも可能であり、多くの参照画像を用いて合成することで、符号化歪や変形を伴った動きによる予測画像の効率低下を低減した予測を、図３b）と同様に、1つの動きベクトルの伝送により実現でき、さらに符号化効率を向上させることが可能である。

　本発明においては、上記参照画像合成動き補償予測による符号化効率の向上に加えて、符号化・復号済ブロックにおいて用いられた参照画像合成動き補償予測に必要なパラメータを用いて、復号側での参照画像間動きベクトルを動きベクトル検出処理を用いずに算出して参照画像合成動き補償予測を行う、第２の参照画像合成動き補償予測処理を導入することにより、空間的に動きの連続性がある画像に対して、小さい領域で参照画像間の動きベクトル検出を用いて生成された動きベクトルを、より広い範囲で適応されることができ、復号装置における動きベクトル検出に必要な演算量を大幅に削減すると共に、より少ない動きベクトルの伝送で、予測画像の効率を向上させた符号化を実現することが可能となる。

　次に、実施の形態１における予測ブロック生成処理の動作を図４のフローチャートを用いて説明する。

　符号化側においては、フレーム内予測を行う（Ｓ４００）と共に、フレーム間予測を行うフレームにおいては、符号化対象ブロックと復号参照画像間で第１の動きベクトルを検出し（Ｓ４０１）、第１の動きベクトルを用いて従来の動き補償予測である、片方向および双方向の動き補償予測を行う（Ｓ４０２）。続いて、第１の動きベクトルを用いて生成した第１の予測ブロックと複数参照画像間で第２の動きベクトルを算出する（Ｓ４０３）。

　第１の動くベクトルと算出した第２の動きベクトルを用いて、第１の参照画像合成動き補償予測を行う（Ｓ４０４）。続いて、復号済周辺ブロックで算出された第１の動きベクトルと第２の動きベクトルを用いて、第２の参照画像合成動き補償予測を行う（Ｓ４０５）。

　これらの処理により求められた、フレーム内予測／片方向・双方向動き補償予測／第１の参照画像合成動き補償予測／第２の参照画像合成動き補償予測より、それぞれの予測に必要な付加情報を加味した符号量と、符号化歪より算出した誤差評価値を元に、最適な予測ブロックを選択して、出力する（Ｓ４０６）。

　最後に、選択された予測ブロックの生成に必要なパラメータを参照画像合成パラメータ格納部に記録する（Ｓ４０７）。記録すべき情報としては、最適な予測ブロックを示す情報と動き補償予測に用いられる参照画像情報、および動きベクトルとなる。

　復号側においては予測モード情報を復号し、予測モードがフレーム内予測モードである場合（Ｓ４１０：ＹＥＳ）には、フレーム内予測を行う（Ｓ４１１）。そうでない場合に（Ｓ４１０：ＮＯ）予測モードが第２の参照画像合成動き補償予測モードである場合（Ｓ４１２：ＹＥＳ）には、参照画像合成パラメータ格納部に記録された復号済周辺ブロックで復号された第１の動きベクトルと第２の動きベクトルを用いて、第２の参照画像合成動き補償予測を行う（Ｓ４１３）。

　予測モードが第２の参照画像合成動き補償予測モードでない場合（Ｓ４１２：ＮＯ）、予測モードが第１の参照画像合成動き補償予測モードでない場合（Ｓ４１４：ＮＯ）には、従来の動き補償予測処理がおこなわれ、復号した第１の動きベクトルを用いて片方向もしくは双方向予測の動き補償予測が行われる（Ｓ４１５）。予測モードが第１の参照画像合成動き補償予測モードである場合（Ｓ４１４：ＹＥＳ）には、復号した第１の動きベクトルを用いて生成した第１の予測ブロックと複数参照画像間で第２の動きベクトルを算出する（Ｓ４１６）。そして、算出された第２の動きベクトルと第１の動きベクトルを用いて、第１の参照画像合成動き補償予測が行われる（Ｓ４１７）。

　これらの予測処理により生成された予測ブロックが復号時の予測画像情報として出力される（Ｓ４１８）と共に、後続する復号ブロックの復号処理に用いるために、選択された予測ブロックの生成に必要なパラメータを参照画像合成パラメータ格納部に記録する（Ｓ４１９）。

　次に、実施の形態１における第１参照画像合成動き補償予測処理の動作を図５のフローチャートを用いて説明する。符号化・復号装置のブロックとしては、参照画像間動きベクトル検出部（図１の１２０、図２の２１４）および第１参照画像合成動き補償予測部（図１の１２１、図２の２１５）によって行われる詳細動作の説明となる。

　符号化側では、最初に符号化対象ブロックに対する基準参照画像を確定する（Ｓ５００）。符号化時には予測可能な参照画像に対して、参照画像を示す情報を伝送することで選択的に参照画像を指定できるため、すべての参照画像を基準参照画像に設定して、以降の処理を動作させ最適な予測ブロックを生成することが可能である。

　続いて、動きベクトル検出部（図１の１１７）により検出された基準参照画像に対する第１の動きベクトル値mvL0 baseを入力する（Ｓ５０１）。実施例としては、通常の動き補償予測に用いられる動きベクトル値を入力させているが、別途他の手法で特定された動きベクトル値を入力することも可能である。

　次に、mvL0 baseを整数画素精度に丸めこんだ値である、mvL0 roundedを用いた予測ブロックを生成する（Ｓ５０２）。例えば、入力された動きベクトル値mvL0 baseが１／４画素精度であった場合には、mvL0 roundedを以下のように計算で求める。
mvL0 rounded＝（mvL0 base ＋２）＞＞２　(水平・垂直別々に演算)

　このようにして生成された予測ブロックと、他の参照画像との間で参照画像間動きベクトル値mvInterRefを算出する（Ｓ５０３）。この処理の詳細は、参照画像間動きベクトル検出部（図１の１２０、図２の２１４）に対する説明で行う。ここで、生成されたmvL0 roundedとmvInterRefを加算することで、第２の動きベクトルの基準となるmvL1 baseを算出する（Ｓ５０４）。

　Ｓ５０２によりmvL0 baseを整数画素精度に丸めこんだため、符号化時に伝送する動きベクトルの精度分の情報が複数参照画像予測ブロックの精度を高くするための情報として用いることが可能となる。整数画素精度に丸めこむと０になる範囲の動きを位相シフトベクトルphase vectorとして定義し、phase vectorをmvL0 roundedとmvL1 baseそれぞれに加算した動きベクトル値を用いて、２つの参照画像より予測ブロックを生成し、その加算平均を候補とする予測ブロックとして、符号化対象ブロックとの予測誤差値を算出する（Ｓ５０５）。

　具体的には、phase vectorは１／４画素精度である場合には、水平・垂直共に－１／２≦phase vector＜１／２の範囲内で、動きベクトル値と加算して伝送できるため、この範囲内でphase vectorを移動させて、それぞれの予測誤差値を算出する。復号時にはphase vectorは伝送されたmvL0と整数画素精度に丸めこまれたmvL0 roundedの差分として再現できる。

　最後に、最小の予測誤差値をとるphase vectorをmvL0 roundedおよびmvL1 baseに加算した動きベクトル値を第１参照画像合成動き補償予測ブロックにおける第１の動きベクトル値mvL0および第２の動きベクトル値mvL1として、mvL0,mvL1より双方向予測された予測ブロックと共に出力する（Ｓ５０６）。第１参照画像合成動き補償予測の場合には、出力されたmvL0の情報のみが動きベクトル値として伝送され、mvL1の情報は伝送されず、復号側で参照画像間動きベクトル検出を行うことで生成する構成となる。

　復号側における第１参照画像合成動き補償予測の動作は、最初に符号化対象ブロックに対する基準参照画像を確定する（Ｓ５１０）。これは復号された予測モードが第１参照画像合成動き補償予測の場合には、通常の動き補償予測の片方向予測を示す情報として参照画像を指定する情報が復号され、その情報により基準参照画像を確定できる。

　続いて、基準参照画像に対して復号された第１の動きベクトル値mvL0を動きベクトル予測復号部（図２の２１２）より入力し（Ｓ５１１）、mvL0を整数画素精度に丸めこんだ値mvL0 roundedを用いて予測ブロックを生成する（Ｓ５１２）。

　このようにして生成された予測ブロックと、他の参照画像との間で参照画像間動きベクトル値mvInterRefを算出する（Ｓ５１３）。この処理は符号化側における参照画像間動きベクトル検出と同じ動作となる。ここで、生成されたmvL0 roundedとmvInterRefを加算することで、第２の動きベクトルの基準となるmvL1 baseを算出する（Ｓ５１４）。

　次に、mvL0とmvL0 roundedの差分をphase vectorとして算出する（Ｓ５１５）。算出したphase vectorをmvL1 baseに加算することでmvL1が算出される（Ｓ５１６）。最後に、算出されたmvL0とmvL1を用いて、双方向予測された予測ブロックをmvL0,mvL1と共に出力する（Ｓ５１７）。

　実施の形態１における第１参照画像合成動き補償予測において、参照画像間動きベクトル値を求める基準となるmvL0 roundedに関しては整数画素としているが、最終的に伝送される精度以下であれば同様の参照画像合成動き補償予測を施すことは可能であり、最終的に伝送される動きベクトルの精度と同じ精度の動きベクトル値をmvL0 roundedとして用いる場合には、phase vectorが0に固定になるため、符号化側におけるＳ５０５の処理が施されなくなり、符号化側での参照画像合成時の誤差評価を加味した動きベクトル値検出ができないが、精度の良い予測ブロックを元に参照画像間動きベクトル検出が行われる。

　実施の形態１においては、mvL0 roundedは整数画素としているため、参照画像間動きベクトル検出時に第１の予測ブロックに対して、少数画素精度の予測ブロックを生成するためのフィルタリング処理を行わなくて良い利点と、符号化側での参照画像合成時の誤差評価を加味した動きベクトル値が生成できる利点がある。

　続いて、符号化・復号における第１参照画像合成動き補償予測処理に用いられる、参照画像間動きベクトル検出部（図１の１２０、図２の２１４）の説明を、図６に示す構成図および図８に示す処理フローチャートを用いて行う。

　参照画像間動きベクトル検出部（図１の１２０、図２の２１４）は、基準参照画像取得部６００、動きベクトル検出範囲設定部６０１、基準参照画像メモリ６０２、参照画像取得部６０３、及びブロックマッチング評価部６０４から構成される。

　最初に、基準参照画像取得部６００が動きベクトル検出部（図１の１１７）もしくは動きベクトル予測復号部（図２の２１２）より入力された、基準参照画像の参照ID及び動きベクトル値mvL0を元にmvL0 roundedを算出し、復号参照画像メモリ（図１の１１０、図２の２０９）より、基準参照画像の符号化対象ブロックからmvL0 rounded移動した位置の画像ブロックを切り出し、第１の参照ブロックを取得する（Ｓ８００）。取得した参照ブロックは、基準参照画像メモリ６０２に格納される。

　続いて、動きベクトル検出範囲設定部６０１は、第２参照画像の参照IDを確定して、基準参照画像と第２参照画像の間で検出する、参照画像間動きベクトルの検出範囲を設定する（Ｓ８０１）。基準参照画像に対する他方の参照IDに対しては、画面単位の情報としてＭＰＥＧ４－ＡＶＣにおけるスライスヘッダと同様の単位で伝送する構成を取ることも可能であるが、実施の形態１においては、第１参照画像の参照ID毎に暗黙で第２参照画像の参照IDを確定する構成をとる。

　検出範囲に関しては、第１の参照ブロックに対して、第２参照画像の全領域を動きベクトル検出範囲にとることも可能であり、符号化装置と復号装置と同じ定義で検出処理を行うことで機能するが、参照画像間の動きベクトル検出における演算量を減らすために、図７で示すような検出範囲の設定を行う。

　図７は、実施の形態１における参照画像間の動きベクトル検出範囲の一例である。符号化対象画像の入力時刻をPoc Cur、基準参照画像の入力時刻をPoc Ref1、第２参照画像の入力時刻をPoc Ref2とすると、符号化対象ブロックに対する基準参照画像からの動きベクトルmvL0 roundedに対して、第２参照画像の探索範囲を符号化対象ブロックの位置を基準にすると、探索中心位置を
α＝mvL0 rounded×（Poc Cur - Poc Ref2）／（Poc Cur - Poc Ref1）で表されるように、時間的に動きが連続していることを想定した場合の符号化対象ブロックと第２参照画像の間の動きベクトル予測値に設定する。

　しかしながら、カメラの動きや物体の動き等、時間的に連続な変化ではない状況も多いため、探索位置を中心として特定の領域に関して動きベクトルを探索することで、適切な第２参照画像の参照ブロックを取得できるようにする。図７に示した一例においては、特定の領域として、±８画素の領域を指定している。

　参照画像取得部６０３は、動きベクトル検出範囲設定部６０１より指定された、動きベクトルの検出範囲における第２参照画像の参照ブロックを、復号参照画像メモリ（図１の１１０、図２の２０９）より取得し（Ｓ８０２）、ブロックマッチング評価部６０４に出力する。

　ブロックマッチング評価部６０４では、基準参照画像メモリ６０２に格納された第１の参照ブロックと、参照画像取得部６０３より入力された第２参照画像の参照ブロックとの間で画素毎の誤差総和を算出し、より総和が少ない参照ブロックと参照ブロックを取得した際の動きベクトル値を格納する（Ｓ８０３）。ブロックマッチング手法としては、通常の動きベクトル検出部と同様に、ＳＡＤやＳＳＥ等の評価値で評価されるが、参照画像間動きベクトル検出で導出される動きベクトル値は、符号化時に伝送されないため、動きベクトルの符号量は考慮しないで評価する。

　すべての動きベクトルの検出範囲に対して、画素毎の誤差総和を算出した（Ｓ８０４：ＹＥＳ）後で、保存されている参照ブロックを第２の参照ブロックとし、動きベクトル値を参照画像間動きベクトル値mvInterRefとする（Ｓ８０５）。

　参照画像間動きベクトルの検出精度に関しても、符号化装置と復号装置において同じ検出精度の動きベクトル検出を暗黙に行う手法を適用可能であるが、フレーム単位や用いられる参照画像毎に動きベクトルの検出精度を符号化情報として伝送する手法を用いることも可能である。ここでは、暗黙の設定として１／４画素精度の検出精度とする。算出した参照画像間動きベクトル値mvInterRefは、mvL0、mvL0 rounded、第１の参照ブロック及び第２の参照ブロックと共に、第１参照画像合成動き補償予測部（図１の１２１、図２の２１５）に出力される（Ｓ８０６）。

　次に、実施の形態１における第２参照画像合成動き補償予測の動作を図９のフローチャートを用いて説明する。符号化・復号装置のブロックとしては、参照画像合成パラメータ格納部（図１の１２２、図２の２１６）および第２参照画像合成動き補償予測部（図１の１２３、図２の２１７）によって行われる詳細動作の説明となる。

　符号化側においては、最初に符号化対象ブロックの上部の復号済ブロックに対する参照画像合成パラメータを取得する（Ｓ９００）。符号化対象ブロックと隣接する復号済ブロックは、図１０a)に示されるような関係にあり、上部のブロックとしてはＢの位置のパラメータを取得することになる。パラメータとしては、図１０b）にあるような情報が格納される。実施の形態１においては、基本予測モード／参照画像合成モード／動きベクトル情報（２本）、合成モード動きベクトル情報が格納される。

　基本予測モードとしては、イントラ予測もしくは、動き補償予測として予測動きベクトルにより予測され伝送される動きベクトルの数を示す予測モードが格納される。参照画像合成モードとしては、参照画像合成動き補償予測を用いたか否かを示すフラグが格納される。参照画像合成モードがOnの場合には、基本予測モードとしては片方向予測が設定される。（1本の動きベクトルのみを伝送する為）

　動きベクトル情報としては、用いた参照画像を特定する参照画像ＩＤと動きベクトル値が格納され、合成モード動きベクトル情報としては、参照画像合成動き補償において生成された、符号化情報として伝送されない動きベクトル値が格納される。実施の形態１においては、参照画像合成動き補償では２つの参照画像に対する動きベクトルを用いる構成になっているので、合成モード動きベクトル情報としては、対象ブロック単位に１本の動きベクトルが格納されるが、３つ以上の参照画像を用いる場合には、２本以上の動きベクトルが格納される。

　次に、取得した復号画像合成パラメータの予測モードがフレーム内予測モードである場合（Ｓ９０１：ＹＥＳ）は、上部の復号済ブロックを参照した第２参照画像合成動き補償予測は無効となり、予測ブロックは生成されない。予測モードがフレーム内予測モードでない場合（Ｓ９０１：ＮＯ）に、パラメータの参照画像合成モードがOnでない場合（Ｓ９０２：ＮＯ）には、パラメータの予測モードとして動きベクトルを用いて片方向もしくは双方向の動き補償予測ブロックを生成する（Ｓ９０３）。

　パラメータの参照画像合成モードがOnである場合（Ｓ９０２：ＹＥＳ）は、格納された動きベクトルと合成モード動きベクトル情報を用いて、双方向動き補償予測ブロックを生成する（Ｓ９０４）。この結果は、上部で算出された複数合成画像動き補償と同じ処理が、符号化対象ブロックにおいて施された結果と同じ条件の予測ブロックを生成することになる。

　これらにより生成された予測ブロックに対して、符号化対象ブロックとの間で予測誤差評価値extended aboveが計算される（Ｓ９０５）。

　続いて、符号化対象ブロックの左部の復号済ブロックに対する参照画像合成パラメータを取得する（Ｓ９０６）。図１０a)において、左部のブロックとしてはＡの位置のパラメータを取得することになる。

　左部の情報を用いた予測ブロック生成も同様の処理で行われ、取得した復号画像合成パラメータの予測モードがフレーム内予測モードである場合（Ｓ９０７：ＹＥＳ）は、上部の復号済ブロックを参照した第２参照画像合成動き補償予測は無効となり、予測ブロックは生成されない。予測モードがフレーム内予測モードでない場合（Ｓ９０７：ＮＯ）に、パラメータの参照画像合成モードがOnでない場合（Ｓ９０８：ＮＯ）には、パラメータの予測モードとして動きベクトルを用いて動き補償予測ブロックを生成し（Ｓ９０９）、パラメータの参照画像合成モードがOnである場合（Ｓ９０８：ＹＥＳ）は、格納された動きベクトルと合成モード動きベクトル情報を用いて、双方向動き補償予測ブロックを生成する（Ｓ９１０）。

これらにより生成された予測ブロックに対して、符号化対象ブロックとの間で予測誤差評価値extended leftが算出される（Ｓ９１１）。

上部・左部の予測ブロックが生成される場合には、双方の予測誤差評価値extended aboveとextended leftを比較し、評価値の小さな方向の予測ブロックを選択し、方向を示す情報left flagと共に出力する（Ｓ９１２）。どちらか片方の予測ブロックのみが生成された場合には、生成された方向の予測ブロックが出力され、どちらの方向の予測ブロックも生成されなかった場合には、第２復号画像合成動き補償予測は、その符号化対象ブロックでは用いられない。

次に、復号側の処理を説明する。復号側では、上部・左部の予測モードの両方がイントラ予測の場合には、第２参照画像合成動き補償予測処理を機能させない為、上部・左部のいずれかイントラ予測でないブロックである場合に、有効なブロックが１つの場合にはこの方向を示す情報が、有効なブロックが２つの場合には符号化された方向を示す情報としてleft flagが復号され、それにより指定された方向の参照画像合成パラメータを取得する（Ｓ９２０）。

取得したパラメータの参照画像合成モードがOnでない場合（Ｓ９２１：ＮＯ）には、パラメータの予測モードとして動きベクトルを用いて動き補償予測ブロックを生成し（Ｓ９２２）、パラメータの参照画像合成モードがOnである場合（Ｓ９２１：ＹＥＳ）は、格納された動きベクトルと合成モード動きベクトル情報を用いて、双方向動き補償予測ブロックを生成する（Ｓ９２３）。選択された予測ブロックを出力する（Ｓ９２４）と共に、選択された方向の参照画像合成パラメータを参照画像合成パラメータ格納部に出力し（Ｓ９２５）、復号対象ブロックに対する第２参照画像合成動き補償予測処理が終了する。

上記フローチャートにおいては、選択可能な隣接する復号済ブロックを上部と左部の２点としたが、方向を追加して選択することも可能であり、図１０b)に示す、左上部（Ｄ）や右上部（Ｃ）等が復号済ブロックである場合に選択させて、第２参照画像合成動き補償予測を行うことも可能である。

　実施の形態１により生成された、イントラ予測、動き補償予測、第１参照画像合成動き補償予測、第２参照画像合成動き補償予測は、符号化装置において予測ブロックの復号に必要な付加情報を加味して、符号量と符号化による歪量による選択が予測モード判定部１１５で行われる。実施の形態１においては、第２参照画像合成動き補償予測を示す情報がOn/Offビットの情報として符号化され、Onの場合には復号済ブロックの参照画像合成パラメータを引き継いだ方向を示す情報であるleft flagが、複数の候補がある場合に符号化される。

　第２参照画像合成動き補償予測でない場合には、第２参照画像合成動き補償予測を示す情報がOffとして符号化され、基本予測モードとしてイントラ予測／片方向予測／双方向予測を示す情報が符号化され、片方向予測の場合には参照画像合成モード情報としてOn/Off情報が送られる。参照画像合成モード情報がOnの場合は、第１参照画像合成動き補償予測が行われ、Offの場合には従来の動き補償予測が行われる。また、従来の動き補償予測の場合には片方向予測の場合には１本、双方向予測の場合には２本の動きベクトルが参照画像を示す情報と共に符号化され、第１参照画像合成動き補償予測の場合には、基準となる１本の動きベクトルのみが参照画像を示す情報と共に符号化される。

　図１１に、実施の形態１の符号化装置・復号装置により生成された第１および第２の参照画像合成動き補償予測の選択結果の概念図を示し、その効果を説明する。

　時間と共に物体が動いている場合に、背景部分に関しては複数の参照画像が対象となる予測領域を持っているため、符号化歪が微小部分の時間変化を平均化させる双方向予測が有効に機能するが、第１参照画像合成動き補償予測により参照画像間の動きベクトル検出により有効な動きベクトルを伝送することなく取得でき、有効な予測ブロックが生成できるため、第１参照画像合成動き補償予測が選択される。

　また、動きが空間的に連続性を保っている場合には、第１参照画像合成動き補償予測において生成されたパラメータは、隣接するブロックにおいても有効に機能するため、延長することを示す情報と方向を示す情報のみの伝送で、参照画像合成動き補償予測ブロックを生成できる、第２参照画像合成動き補償予測が選択される。

　背景と動物体の重なり部分等で、複数の参照画像からの予測が十分に機能しない場合等に、通常の動き補償予測やフレーム内予測が適応的に選択されるが、大部分は小さな領域の第１参照画像合成動き補償予測と、残りの領域の第２参照画像合成動き補償予測で予測ブロックが構成される。

　第１参照画像合成動き補償予測を用いることにより、高効率な予測ブロックを生成できると共に、第２参照画像合成動き補償予測を用いることにより、少ない情報で高効率な予測ブロックを延長できると共に、復号装置において参照画像合成動き補償予測を行うために必要な参照画像間動きベクトル検出を機能させる領域を大幅に小さくすることが出来、演算量を大きく削減できる効果も有する。

（実施の形態２）
　次に、実施の形態２の動画像符号化装置および動画像復号装置を説明する。図１２は、実施の形態２の動画像符号化装置の構成を示す構成図、図１３は実施の形態２の動画像復号装置の構成を示す構成図である。

　図１２に示すように、実施の形態２の動画像符号化装置は、入力端子１００、入力画像バッファ１０１、ブロック分割部１０２、減算器１０３、直交変換部１０４、量子化部１０５、逆量子化部１０６、逆直交変換部１０７、加算器１０８、フレーム内復号画像メモリ１０９、復号参照画像メモリ１１０、エントロピー符号化部１１１、ストリームバッファ１１２、出力端子１１３、符号量制御部１１４、予測モード判定部１１５、フレーム内予測部１１６、動きベクトル検出部１１７、動き補償予測部１１８、動きベクトル予測部１１９、参照画像間動きベクトル検出部１２０、第１参照画像合成動き補償予測部１２１、参照画像合成パラメータ格納部１２２、第２参照画像合成動き補償予測部１２３、および参照画像合成選択部１２２４から構成される。

　参照画像合成選択部１２２４を設けた点と、この処理ブロックにおける動作が、本発明の実施の形態２における特徴であり、他の処理ブロックに関しては実施の形態１と同様の動作が行われる。

　同様に、図１３に示すように、実施の形態２の動画像復号装置は、入力端子２００、ストリームバッファ２０１、エントロピー復号部２０２、予測モード復号部２０３、予測画像選択部２０４、逆量子化部２０５、逆直交変換部２０６、加算器２０７、フレーム内復号画像メモリ２０８、復号参照画像メモリ２０９、出力端子２１０、フレーム内予測部２１１、動きベクトル予測復号部２１２、動き補償予測部２１３、参照画像間動きベクトル検出部２１４、第１参照画像合成動き補償予測部２１５、参照画像合成パラメータ格納部２１６、第２参照画像合成動き補償予測部２１７、および参照画像合成選択部１３１８から構成される。

　参照画像合成選択部１３１８を設けた点と、この処理ブロックにおける動作が、本発明の実施の形態２の復号装置における特徴であり、他の処理ブロックに関しては実施の形態１と同様の動作が行われる。参照画像合成選択部（１２２４、１３１８）は符号化・復号で同じ機能を有し、対になることで付加情報の伝送なく、隣接ブロックからの参照画像合成パラメータを用いて予測ブロックを生成するか否かの判断を行う機能を有する。

　続いて、図１４Ａ、図１４Ｂに実施の形態２における参照画像合成選択処理のフローチャートを示し、その動作を説明する。符号化側においては、実施の形態１におけるフローチャート（Ｓ９００－Ｓ９１３）の動作に加えて、参照画像合成選択部１２２４で行われる、Ｓ１４１４－Ｓ１４２１の動作が追加される。

　参照画像合成モードがOnである場合（Ｓ９０２：ＹＥＳ）、格納された動きベクトルと合成モード動きベクトルを用いて、２つの参照画像からの予測ブロックをそれぞれ生成すし、生成された２つの予測ブロックの間の誤差値をextended interref errorを算出する（Ｓ１４１４）。この場合の評価値としては、参照画像間動きベクトル検出部における評価と同様にＳＡＤやＳＳＥ等の誤差総和を用いる。

　続いて、上隣接ブロックに対して、２つの参照画像からの予測ブロックを生成し、２つの参照画像間の誤差評価値interref errorを算出する（Ｓ１４１５）。この誤差評価値に関しては、上隣接ブロックの予測ブロックを生成する際に、interref errorを算出し、参照画像合成パラメータとして格納しておくことも可能であるが、実施の形態２においては、隣接ブロックとして用いられる際に算出する処理構成にしている。

　そして、extended interref errorとinterref errorを比較することで、隣接ブロックとの特性変化を評価する。具体的には、
extended interref error > interref error + α（閾値）の場合には（Ｓ１４１６：ＹＥＳ）、隣接ブロックで生成された参照画像間動きベクトルに関しての連続性が少ないとして、格納された動きベクトル値のみを用いて、片方向動き補償予測ブロックを生成する（Ｓ１４１７）。

　一方、上記条件を満たさない場合（Ｓ１４１６：ＮＯ）は、隣接ブロックで生成された参照画像間動きベクトルに関する連続性は保たれているとして、実施の形態１の場合と同様に、格納された動きベクトルと合成モード動きベクトル情報を用いて、双方向動き補償予測ブロックを生成する（Ｓ９０４）。閾値αに関しては、一例としては誤差評価がＳＡＤの場合に平均誤差が４であるような値（４×ブロックの画素数）をとることが出来るが、符号化する際の量子化値や、interref errorの大きさでαを切り替えることで、より効果的に隣接ブロックとの連続性を判断することが可能となる。

　符号化側においては、左側の隣接ブロックに対しても同様に、参照画像合成モードがOnである場合（Ｓ９０８：ＹＥＳ）、格納された動きベクトルと合成モード動きベクトルを用いて、２つの参照画像からの予測ブロックをそれぞれ生成し、生成された２つの予測ブロックの間の誤差値をextended interref errorを算出し（Ｓ１４１８）、隣接ブロックに対して２つの参照画像からの予測ブロックを生成し、２つの参照画像間の誤差評価値interref errorを算出し（Ｓ１４１９）、
extended interref error > interref error + α（閾値）の場合には（Ｓ１４２０：ＹＥＳ）、隣接ブロックで生成された参照画像間動きベクトルに関しての連続性が少ないとして、格納された動きベクトル値のみを用いて、片方向動き補償予測ブロックを生成し（Ｓ１４２１）、そうでない場合（Ｓ１４２０：ＮＯ）には、格納された動きベクトルと合成モード動きベクトル情報を用いて、双方向動き補償予測ブロックを生成する（Ｓ９１０）。

　復号側においても、実施の形態１に対して、同様の判断が参照画像合成選択処理に加わる構成となる。復号側においては、実施の形態１におけるフローチャート（Ｓ９２０－Ｓ９２５）の動作に加えて、参照画像合成選択部１３１８で行われる、Ｓ１４２６－Ｓ１４２９の動作が追加される。

　参照画像合成モードがOnである場合（Ｓ９２１：ＹＥＳ）、格納された動きベクトルと合成モード動きベクトルを用いて、２つの参照画像からの予測ブロックをそれぞれ生成し、生成された２つの予測ブロックの間の誤差値をextended interref errorを算出し（Ｓ１４２６）、隣接ブロックに対して２つの参照画像からの予測ブロックを生成し、２つの参照画像間の誤差評価値interref errorを算出し（Ｓ１４２７）、
extended interref error > interref error + α（閾値）の場合には（Ｓ１４２８：ＹＥＳ）、隣接ブロックで生成された参照画像間動きベクトルに関しての連続性が少ないとして、格納された動きベクトル値のみを用いて、片方向動き補償予測ブロックを生成し（Ｓ１４２９）、そうでない場合（Ｓ１４２８：ＮＯ）には、格納された動きベクトルと合成モード動きベクトル情報を用いて、双方向動き補償予測ブロックを生成する（Ｓ９２３）。

　実施の形態２においては、実施の形態１における第１および第２の参照画像合成動き補償予測を用いることによる、高効率な予測ブロックを少ない情報で符号化しつつ、復号装置における参照画像間動きベクトル検出の演算量を大きく削減できる効果に加えて、第２参照画像合成動き補償予測において、参照した復号済隣接ブロックにおける第１の予測画像と第２の予測画像の間の誤差値と、符号化／復号対象ブロックに対する第１の予測画像及び第２の予測画像の誤差値を算出し、符号化／復号対象ブロックに対する誤差値が参照した復号済ブロックにおける誤差値より十分大きな場合には参照画像間の連続性がなくなったと判断し、符号化／復号対象ブロックに対して第１の予測画像のみで構成される動き補償予測画像を生成することで、動き補償予測画像の連続性を判定し、付加情報を用いずにより正しい動き補償予測画像を生成し符号化効率を向上させることが可能となる。

（実施の形態３）
　次に、実施の形態３の動画像符号化装置および動画像復号装置を説明する。実施の形態３においては、動画像符号化装置の構成および動画像復号装置の構成は、実施の形態２と同じであり、参照画像合成選択部（図１２：１２２４、図１３：１３１８）の動作が異なる形態となっている。図１５Ａ、図１５Ｂに実施の形態３における参照画像合成選択処理のフローチャートを示し、その動作を説明する。

　実施の形態３における、符号化側においては、実施の形態２におけるフローチャート（Ｓ９００－Ｓ９１３、Ｓ１４１４－Ｓ１４２１）の動作に対して、Ｓ１４１７、Ｓ１４２１の代わりに、Ｓ１５２２－Ｓ１５２５の動作が加わった構成となる。復号側においては、実施の形態２におけるフローチャート（Ｓ９２０－Ｓ９２５、Ｓ１４２６－Ｓ１４２９）の動作に対して、Ｓ１４２９の代わりにＳ１５３０－Ｓ１５３１の動作が追加される。

　符号化側においては、上隣接ブロックに対して、
extended interref error > interref error + α（閾値）の場合には（Ｓ１４１６：ＹＥＳ）、動きベクトルより生成した第１の予測ブロックより参照画像間で第２の動きベクトルを検出し（Ｓ１５２２）、第１の予測ブロックと第２の予測ブロックを用いて、参照画像合成動き補償予測ブロックを生成する（Ｓ１５２３）。

　これらの処理は、第１の参照画像合成動き補償予測と同等の処理であるが、符号化側においても復号側と同じ処理を施すことで、特定された第１の動きベクトルから第２の動きベクトルを算出することになり、図５ｂ)の処理フローチャートにおいて説明されている処理が施される。

　上記処理に関しては、参照画像合成選択部１２２４に具備する事も可能であるが、第１参照画像合成動き補償予測部１２１に機能を有し、参照画像合成選択部１２２４より指示をあたえることで、参照画像合成動き補償予測ブロックを算出させることも可能である。

　符号化側においては、左側の隣接ブロックに対しても同様に、
extended interref error > interref error + α（閾値）の場合には（Ｓ１４２０：ＹＥＳ）、動きベクトルより生成した第１の予測ブロックより参照画像間で第２の動きベクトルを検出し（Ｓ１５２４）、第１の予測ブロックと第２の予測ブロックを用いて、参照画像合成動き補償予測ブロックを生成する（Ｓ１５２５）。

　復号側においても、同様の処理が実施の形態２に対して追加され、拡張された方向の隣接ブロックに対して、
extended interref error > interref error + α（閾値）の場合には（Ｓ１４２８：ＹＥＳ）、動きベクトルより生成した第１の予測ブロックより参照画像間で第２の動きベクトルを検出し（Ｓ１５３０）、第１の予測ブロックと第２の予測ブロックを用いて、参照画像合成動き補償予測ブロックを生成する（Ｓ１５３１）。

　実施の形態３においては、実施の形態１における第１および第２の参照画像合成動き補償予測を用いることによる、高効率な予測ブロックを少ない情報で符号化しつつ、復号装置における参照画像間動きベクトル検出の演算量を大きく削減できる効果に加えて、第２参照画像合成動き補償予測において、参照した復号済隣接ブロックにおける第１の予測画像と第２の予測画像間の誤差値と、符号化／復号対象ブロックに対する第１の予測画像及び第２の予測画像の誤差値を算出し、符号化／復号対象ブロックに対する誤差値が参照した復号済ブロックにおける誤差値より十分大きな場合には参照画像間の連続性がなくなったと判断し、符号化／復号対象ブロックに対する第１の予測画像と第２の参照画像の間での動きベクトル情報を算出し、第３の予測画像を生成し、第１の予測画像と第３の予測画像を合成することにより、動き補償予測画像を生成することで、動き補償予測画像の連続性を適応的に判断し必要な場合にのみ再度復号側動きベクトル算出型の動き補償予測をおこなうことが出来、演算量の増加を抑えつつ、付加情報を用いずにより適切な動き補償予測画像を生成し符号化効率を向上させることを可能とする。

　尚、実施の形態１、２、３として提示した、動画像符号化装置、及び動画像復号化装置は、物理的にはＣＰＵ（中央処理装置）、メモリなどの記録装置、ディスプレイ等の表示装置、及び伝送路への通信手段を具備したコンピュータで実現することが可能であり、提示した各々の機能を具備する手段を、コンピュータ上のプログラムとして実現し、実行することが可能である。また、プログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星デジタル放送のデータ放送として提供することも可能である。

　以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１００　入力端子
１０１　入力画像バッファ
１０２　ブロック分割部
１０３　減算器
１０４　直交変換部
１０５　量子化部
１０６　逆量子化部
１０７　逆直交変換部
１０８　加算器
１０９　フレーム内復号画像メモリ
１１０　復号参照画像メモリ
１１１　エントロピー符号化部
１１２　ストリームバッファ
１１３　出力端子
１１４　符号量制御部
１１５　予測モード判定部
１１６　フレーム内予測部
１１７　動きベクトル検出部
１１８　動き補償予測部
１１９　動きベクトル予測部
１２０　参照画像間動きベクトル検出部
１２１　第１参照画像合成動き補償予測部
１２２　参照画像合成パラメータ格納部
１２３　第２参照画像合成動き補償予測部
２００　入力端子
２０１　ストリームバッファ
２０２　エントロピー復号部
２０３　予測モード復号部
２０４　予測画像選択部
２０５　逆量子化部
２０６　逆直交変換部
２０７　加算器
２０８　フレーム内復号画像メモリ
２０９　復号参照画像メモリ
２１０　出力端子
２１１　フレーム内予測部
２１２　動きベクトル予測復号部
２１３　動き補償予測部
２１４　参照画像間動きベクトル検出部
２１５　第１参照画像合成動き補償予測部
２１６　参照画像合成パラメータ格納部
２１７　第２参照画像合成動き補償予測部
６００　基準参照画像取得部
６０１　動きベクトル検出範囲設定部
６０２　基準参照画像メモリ
６０３　参照画像取得部
６０４　ブロックマッチング評価部
１２２４　参照画像合成選択部
１３１８　参照画像合成選択部

　本発明は、動画像信号の符号化技術に利用できる。

Claims

　符号化対象ブロックに対して、第１の参照画像からの動きベクトルを検出する動きベクトル検出部と、
　前記動きベクトルを用いて前記第１の参照画像より抽出した第１の参照ブロックと、他の少なくとも１つの参照画像の所定領域を合成した第１の合成参照ブロックを生成する第１参照画像合成部と、
　前記第１参照画像合成部において算出した、合成参照ブロック生成に必要な情報を格納する、参照画像合成パラメータ格納部と、
　前記参照画像合成パラメータ格納部に格納された、符号化済領域の合成参照ブロック生成に必要な情報より、第２の参照ブロックと合成に用いられた参照画像の所定領域を特定して合成した第２の合成参照ブロックを生成する、第２参照画像合成部を具備し、
　少なくとも第１の合成参照ブロックと第２の合成参照ブロックを含む複数の予測ブロックより、前記符号化対象ブロックに対する予測ブロックを選択し、
　前記予測ブロックを前記符号化対象ブロックより減算した予測差分ブロックを符号化する符号化部を備えることを特徴とする動画像符号化装置。
　符号化対象ブロックに対して、第１の参照画像からの動きベクトルを検出する動きベクトル検出部と、
　前記動きベクトルを用いて前記第１の参照画像より抽出した第１の参照ブロックと、他の少なくとも１つの参照画像の所定領域を合成した第１の合成参照ブロックを生成する第１参照画像合成部と、
　前記第１参照画像合成部において算出した、合成参照ブロック生成に必要な情報を格納する、参照画像合成パラメータ格納部と、
　前記参照画像合成パラメータ格納部に格納された、符号化済領域の合成参照ブロック生成に必要な情報より、第２の参照ブロックと合成に用いられた参照画像の所定領域を特定して合成した第２の合成参照ブロックを生成する、第２参照画像合成部と、
　前記参照画像合成パラメータ格納部に格納された、符号化済領域の合成参照ブロック生成に必要な情報を入力し、第２参照画像合成部に対する合成方法を確定する、参照画像合成選択部を具備し、
　前記参照画像合成選択部が、符号化対象ブロックに対する前記合成参照ブロック生成に必要な情報を用いて生成した複数の参照ブロックの間の相関値と、符号化済領域に対する前記合成参照ブロック生成に必要な情報を用いて生成した複数の参照ブロックの間の相関値を比較し、前記第２参照画像合成部からの出力を、前記第２の合成参照ブロックと前記第２の参照ブロックで選択する機能を有し、
　少なくとも第１の合成参照ブロックと第２の合成参照ブロックもしくは第２の参照ブロックを含む複数の予測ブロックより、前記符号化対象ブロックに対する予測ブロックを選択し、
　前記予測ブロックを前記符号化対象ブロックより減算した予測差分ブロックを符号化する符号化部を備えることを特徴とする動画像符号化装置。
　符号化対象ブロックに対して、第１の参照画像からの動きベクトルを検出する動きベクトル検出部と、
　前記動きベクトルを用いて前記第１の参照画像より抽出した第１の参照ブロックと、他の少なくとも１つの参照画像の所定領域を合成した第１の合成参照ブロックを生成する第１参照画像合成部と、
　前記第１参照画像合成部において算出した、合成参照ブロック生成に必要な情報を格納する、参照画像合成パラメータ格納部と、
　前記参照画像合成パラメータ格納部に格納された、符号化済領域の合成参照ブロック生成に必要な情報より、第２の参照ブロックと参照画像の所定領域を特定して合成した第２の合成参照ブロックを生成する、第２参照画像合成部と、
　前記参照画像合成パラメータ格納部に格納された、符号化済領域の合成参照ブロック生成に必要な情報を入力し、第２参照画像合成部に対する合成方法を確定する、参照画像合成選択部を具備し、
　第２参照画像合成部もしくは第１参照画像合成部が、前記第２の参照ブロックと他の少なくとも１つの参照画像の所定領域を合成した第３の合成参照ブロックを生成する機能を有し、
　前記参照画像合成選択部が、符号化対象ブロックに対する前記合成参照ブロック生成に必要な情報を用いて生成した複数の参照ブロックの間の相関値と、符号化済領域に対する前記合成参照ブロック生成に必要な情報を用いて生成した複数の参照ブロックの間の相関値を比較し、前記第２参照画像合成部から前記第２の合成参照ブロックを出力するか、前記第２参照画像合成部もしくは前記第１参照画像合成部から、前記第３の合成参照ブロックを出力するかを選択する機能を有し、
　少なくとも第１の合成参照ブロックと第２の合成参照ブロックもしくは第３の合成参照ブロックを含む複数の予測ブロックより、前記符号化対象ブロックに対する予測ブロックを選択し、
　前記予測ブロックを前記符号化対象ブロックより減算した予測差分ブロックを符号化する符号化部を備えることを特徴とする動画像符号化装置。
　符号化対象ブロックに対して、第１の参照画像からの動きベクトルを検出するステップと、
　前記動きベクトルを用いて前記第１の参照画像より抽出した第１の参照ブロックと、他の少なくとも１つの参照画像の所定領域を合成した第１の合成参照ブロックを生成するステップと、
　前記合成参照ブロック生成に必要な情報を格納するステップと、
　格納された符号化済領域の合成参照ブロック生成に必要な情報より、第２の参照ブロックと合成に用いられた参照画像の所定領域を特定して合成した第２の合成参照ブロックを生成するステップを具備し、
　少なくとも第１の合成参照ブロックと第２の合成参照ブロックを含む複数の予測ブロックより、前記符号化対象ブロックに対する予測ブロックを選択し、
　前記予測ブロックを前記符号化対象ブロックより減算した予測差分ブロックを符号化するステップを備えることを特徴とする動画像符号化方法。
　符号化対象ブロックに対して、第１の参照画像からの動きベクトルを検出する機能と、
　前記動きベクトルを用いて前記第１の参照画像より抽出した第１の参照ブロックと、他の少なくとも１つの参照画像の所定領域を合成した第１の合成参照ブロックを生成する機能と、
　前記合成参照ブロック生成に必要な情報を格納する機能と、
　格納された符号化済領域の合成参照ブロック生成に必要な情報より、第２の参照ブロックと合成に用いられた参照画像の所定領域を特定して合成した第２の合成参照ブロックを生成する機能を具備し、
　少なくとも第１の合成参照ブロックと第２の合成参照ブロックを含む複数の予測ブロックより、前記符号化対象ブロックに対する予測ブロックを選択し、
　前記予測ブロックを前記符号化対象ブロックより減算した予測差分ブロックを符号化する機能を備えることを特徴とする動画像符号化プログラム。
　符号化ストリームより、復号対象ブロックに対する動きベクトルを復号する動きベクトル復号部と、
　前記動きベクトルを用いて第１の参照画像より抽出した第１の参照ブロックと、他の少なくとも１つの参照画像の所定領域を合成した第１の合成参照ブロックを生成する第１参照画像合成部と、
　前記第１参照画像合成部において算出した、合成参照ブロック生成に必要な情報を格納する、参照画像合成パラメータ格納部と、
　前記参照画像合成パラメータ格納部に格納された、復号済領域の合成参照ブロック生成に必要な情報より、第２の参照ブロックと合成に用いられた参照画像の所定領域を特定して合成した第２の合成参照ブロックを生成する、第２参照画像合成部と、
　符号化ストリームより、復号対象ブロックが、少なくとも第１の合成参照ブロックと第２の合成参照ブロックを含む複数の予測ブロックから選択した、予測モード選択情報を復号する、予測モード復号部を具備し、
　前記予測モード選択情報により選択された予測ブロックと、前記復号対象ブロックから復号した予測差分ブロックを加算することにより復号画像を生成する復号部を備えることを特徴とする動画像復号装置。
　符号化ストリームより、復号対象ブロックに対する動きベクトルを復号する動きベクトル復号部と、
　前記動きベクトルを用いて第１の参照画像より抽出した第１の参照ブロックと、他の少なくとも１つの参照画像の所定領域を合成した第１の合成参照ブロックを生成する第１参照画像合成部と、
　前記第１参照画像合成部において算出した、合成参照ブロック生成に必要な情報を格納する、参照画像合成パラメータ格納部と、
　前記参照画像合成パラメータ格納部に格納された、復号済領域の合成参照ブロック生成に必要な情報より、第２の参照ブロックと合成に用いられた参照画像の所定領域を特定して合成した第２の合成参照ブロックを生成する、第２参照画像合成部と、
　符号化ストリームより、復号対象ブロックが、少なくとも第１の合成参照ブロックと第２の合成参照ブロックを含む複数の予測ブロックから選択した、予測モード選択情報を復号する、予測モード復号部と、
　前記参照画像合成パラメータ格納部に格納された、復号済領域の合成参照ブロック生成に必要な情報を入力し、第２参照画像合成部に対する合成方法を確定する、参照画像合成選択部を具備し、
　前記参照画像合成選択部が、復号対象ブロックに対する前記合成参照ブロック生成に必要な情報を用いて生成した複数の参照ブロックの間の相関値と、復号済領域に対する前記合成参照ブロック生成に必要な情報を用いて生成した複数の参照ブロックの間の相関値を比較し、前記第２参照画像合成部からの出力を、前記第２の合成参照ブロックと前記第２の参照ブロックで選択する機能を有し、
　前記予測モード選択情報より、予測ブロックとして少なくとも第１の合成参照ブロックと第２の合成参照ブロックもしくは第２の参照ブロックを含む複数の予測ブロックより選択された予測ブロックと、前記復号対象ブロックから復号した予測差分ブロックを加算することにより復号画像を生成する復号部を備えることを特徴とする動画像復号装置。
　符号化ストリームより、復号対象ブロックに対する動きベクトルを復号する動きベクトル復号部と、
　前記動きベクトルを用いて第１の参照画像より抽出した第１の参照ブロックと、他の少なくとも１つの参照画像の所定領域を合成した第１の合成参照ブロックを生成する第１参照画像合成部と、
　前記第１参照画像合成部において算出した、合成参照ブロック生成に必要な情報を格納する、参照画像合成パラメータ格納部と、
　前記参照画像合成パラメータ格納部に格納された、復号済領域の合成参照ブロック生成に必要な情報より、第２の参照ブロックと合成に用いられた参照画像の所定領域を特定して合成した第２の合成参照ブロックを生成する、第２参照画像合成部と、
　符号化ストリームより、復号対象ブロックが、少なくとも第１の合成参照ブロックと第２の合成参照ブロックを含む複数の予測ブロックから選択した、予測モード選択情報を復号する、予測モード復号部と、
　前記参照画像合成パラメータ格納部に格納された、復号済領域の合成参照ブロック生成に必要な情報を入力し、第２参照画像合成部に対する合成方法を確定する、参照画像合成選択部を具備し、
　前記第２参照画像合成部もしくは前記第１参照画像合成部が、前記第２の参照ブロックと他の少なくとも１つの参照画像の所定領域を合成した第３の合成参照ブロックを生成する機能を有し、
　前記参照画像合成選択部が、復号対象ブロックに対する前記合成参照ブロック生成に必要な情報を用いて生成した複数の参照ブロックの間の相関値と、復号済領域に対する前記合成参照ブロック生成に必要な情報を用いて生成した複数の参照ブロックの間の相関値を比較し、前記第２参照画像合成部から前記第２の合成参照ブロックを出力するか、前記第２参照画像合成部もしくは前記第１参照画像合成部から、前記第３の合成参照ブロックを出力するかを選択する機能を有し、
　前記予測モード選択情報より、予測ブロックとして少なくとも第１の合成参照ブロックと第２の合成参照ブロックもしくは第３の合成参照ブロックを含む複数の予測ブロックより選択された予測ブロックと、前記復号対象ブロックから復号した予測差分ブロックを加算することにより復号画像を生成する復号部を備えることを特徴とする動画像復号装置。
　符号化ストリームより、復号対象ブロックに対する動きベクトルを復号するステップと、
　前記動きベクトルを用いて第１の参照画像より抽出した第１の参照ブロックと、他の少なくとも１つの参照画像の所定領域を合成した第１の合成参照ブロックを生成するステップと、
　前記合成参照ブロック生成に必要な情報を格納するステップと、
　格納された復号済領域の合成参照ブロック生成に必要な情報より、第２の参照ブロックと合成に用いられた参照画像の所定領域を特定して合成した第２の合成参照ブロックを生成するステップと、
　符号化ストリームより、復号対象ブロックが、少なくとも第１の合成参照ブロックと第２の合成参照ブロックを含む複数の予測ブロックから選択した、予測モード選択情報を復号するステップを具備し、
　前記予測モード選択情報により選択された予測ブロックと、前記復号対象ブロックから復号した予測差分ブロックを加算することにより復号画像を生成するステップを備えることを特徴とする動画像復号方法。
　符号化ストリームより、復号対象ブロックに対する動きベクトルを復号する機能と、
　前記動きベクトルを用いて第１の参照画像より抽出した第１の参照ブロックと、他の少なくとも１つの参照画像の所定領域を合成した第１の合成参照ブロックを生成する機能と、
　前記合成参照ブロック生成に必要な情報を格納する機能と、
　格納された復号済領域の合成参照ブロック生成に必要な情報より、第２の参照ブロックと合成に用いられた参照画像の所定領域を特定して合成した第２の合成参照ブロックを生成する機能と、
　符号化ストリームより、復号対象ブロックが、少なくとも第１の合成参照ブロックと第２の合成参照ブロックを含む複数の予測ブロックから選択した、予測モード選択情報を復号する機能を具備し、
　前記予測モード選択情報により選択された予測ブロックと、前記復号対象ブロックから復号した予測差分ブロックを加算することにより復号画像を生成する機能を備えることを特徴とする動画像復号プログラム。