JP4964595B2 - 画像復号装置及び方法 - Google Patents

Description

この発明は、複数の色成分からなる入力画像信号に対して圧縮処理を行う画像符号化方法と装置および複数の色成分からなる画像信号が圧縮されたビットストリームを入力して復号処理を行う画像復号方法と装置、並びに画像符号化ビットストリーム及び記録媒体に関するものである。

従来、ＭＰＥＧやＩＴＵ−Ｔ Ｈ．２６ｘなどの国際標準映像符号化方式では、主として「４：２：０」フォーマットと呼ばれる入力信号フォーマットの使用を前提としてきた。４：２：０フォーマットとは、ＲＧＢなどのカラー画像信号を、輝度成分（Ｙ）と２つの色差成分（ＣＢ、ＣＲ）に変換し、色差成分のサンプル数を輝度成分のサンプル数に対して水平方向・垂直方向ともに半分に削減したフォーマットのことである。人間の視覚特性上、色差成分は輝度成分に比べて視認性が劣ることから、従来の国際標準映像符号化方式では、符号化を行う前に色差成分のサンプル数を減らすことで符号化対象の情報量を削減しておくことを前提としていた。

一方、近年のビデオディスプレイの高解像度化・高階調化に伴い、色差成分をダウンサンプルすることなく輝度成分と同一サンプルで符号化する方式についての検討も行われている。輝度成分と色差成分とが同一のサンプル数のフォーマットは「４：４：４」フォーマットと呼ばれている。そして、４：４：４フォーマットを入力する符号化方式として「ハイ４４４プロファイル」が策定されている（例えば、非特許文献１参照）。

従来の４：２：０フォーマットでは色差成分のダウンサンプルを前提とし、Ｙ、ＣＢ、ＣＲという色空間にのみ限定されていたのに対し、４：４：４フォーマットでは色成分間にサンプル比の区別がないため、Ｙ、ＣＢ、ＣＲのほか、Ｒ，Ｇ，Ｂを直接使用したり、そのほかの色空間を定義して利用したりすることが可能である。

ＩＳＯ／ＩＥＣ １４４９６−１０｜ＩＴＵ−Ｔ Ｈ．２６４規格（Advanced Video Coding：ＡＶＣ）

ＩＳＯ／ＩＥＣ １４４９６−１０｜ＩＴＵ−Ｔ Ｈ．２６４（２００５）規格（以下、ＡＶＣと称す）で定義されたハイ４４４プロファイルを用いると、従来の符号化方式と同様に、マクロブロックを単位とした符号化処理・復号処理を行う必要がある。

すなわち、ひとつのマクロブロックの中に３つの色成分のデータが含まれているため、それぞれの色成分のデータをマクロブロック単位に順番に処理を行うこととなるため、符号化・復号処理を並列化する、という目的には好ましくない。

一方、ＡＶＣでは、４：０：０フォーマットが定義されている。これは、元々は輝度成分のみの画像、すなわちモノクロ画像の符号化処理を対象としたものである。この４：０：０フォーマットを用いて、４：４：４フォーマットの３つの色成分に対してそれぞれを４：０：０フォーマットで符号化処理を行うことによって３つの独立した符号化データを生成する、という方法をとることもできる。この場合、それぞれの色成分を独立に処理することとなるため、並列処理が可能となる。

しかし、それぞれの色成分を独立に処理を行うこととなるため、それぞれの色成分間で時間情報を合わせたり、符号化モードを揃えたりする、というような処理を現在の標準規格では実現することが不可能であった。そのため、ランダムアクセス再生（早送りや巻き戻しなど）やピクチャ単位の編集処理が容易に実現できない、という問題が発生するものであった。

この問題についてさらに説明する。ＡＶＣで定義されている各種データは、アクセスユニットデリミタ（ＡＵＤ）、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、ピクチャデータの順序で配置されている。なお、本発明に関係しないデータについてはここでは割愛する。

また、ＡＶＣでは、一つのアクセスユニット（ＡＵ）は一つのピクチャ（１フレームもしくは１フィールドに相当する）によって構成するもの、と定義されている。アクセスユニットの境界はアクセスユニットデリミタ（ＡＵＤ）を用いて示すことができる。例えばＡＶＣのBaselineプロファイルであれば、各ピクチャの境界にアクセスユニットデリミタが配置されるため、アクセスユニットデリミタを検出することにより一つのアクセスユニットを独立にかつ簡単に取り出すことができ、一つのピクチャ分のデータを復号することが可能である。

一方、現在のＡＶＣ方式を用いて４：０：０フォーマットで３つの色成分を符号化した場合、それぞれの色成分ごとにアクセスユニットが定義されることとなり、一つのピクチャは３つのアクセスユニットにより構成されることとなる。そのため、アクセスユニットデリミタを検出するだけでは一つのピクチャ分のデータを取り出すことができなく、ランダムアクセス再生やピクチャ単位の編集処理が容易に実現できなくなる。また、それぞれの色成分ごとで独立に符号化処理が行われるため、時間情報を揃えたり、符号化モードを揃えたりすることが困難になるものである。

そこで、この発明では、ＡＶＣを拡張することにより、４：４：４フォーマットの３つの色成分に対してそれぞれを４：０：０フォーマットを使用して符号化処理を行った場合においても１ピクチャ分のデータを一つのアクセスユニットに含めることを可能とするとともに、それぞれの色成分間で時間情報を揃えたり、符号化モードを揃えたりすることを可能とする画像復号装置及び方法を提供することを目的とする。

この発明に係る画像復号装置は、４：４：４フォーマットのカラー画像を圧縮符号化して生成されたビットストリームを入力として、カラー画像信号を復号する画像復号装置において、前記ビットストリームから、各色成分の信号が独立に４：０：０フォーマットで符号化されているか否かを示す識別情報を復号する上位ヘッダ解析部と、前記上位ヘッダ解析部により復号された該識別情報に基づいて、該識別情報が各色成分の信号が独立に４：０：０フォーマットで符号化されていないことを示す場合に、各色成分に対して共通の予測モードと共通の参照画像インデックスと共通の動きベクトルを使用して４：４：４フォーマットのカラー画像信号の復号を行い、該識別情報が各色成分の信号が独立に４：０：０フォーマットで符号化されていることを示す場合に、同一フレームないしはフィールドに属する４：０：０フォーマットで符号化された３枚の独立したピクチャ符号化データをまとめた単位をアクセスユニットとして認識するとともに、各色成分ごとに個別の予測モードと個別の参照画像インデックスと個別の動きベクトルを使用して４：４：４フォーマットのカラー画像信号の復号を行うピクチャ復号部とを備えることを特徴とする。
また、この発明に係る画像復号方法は、４：４：４フォーマットのカラー画像を圧縮符号化して生成されたビットストリームを入力として、カラー画像信号を復号する画像復号方法において、前記ビットストリームから、各色成分の信号が独立に４：０：０フォーマットで符号化されているか否かを示す識別情報を復号する上位ヘッダ解析ステップと、前記上位ヘッダ解析ステップにより復号された該識別情報に基づいて、該識別情報が各色成分の信号が独立に４：０：０フォーマットで符号化されていないことを示す場合に、各色成分に対して共通の予測モードと共通の参照画像インデックスと共通の動きベクトルを使用して４：４：４フォーマットのカラー画像信号の復号を行い、該識別情報が各色成分の信号が独立に４：０：０フォーマットで符号化されていることを示す場合に、同一フレームないしはフィールドに属する４：０：０フォーマットで符号化された３枚の独立したピクチャ符号化データをまとめた単位をアクセスユニットとして認識するとともに、各色成分ごとに個別の予測モードと個別の参照画像インデックスと個別の動きベクトルを使用して４：４：４フォーマットのカラー画像信号の復号を行うピクチャ復号ステップとを備えることを特徴とする。

この発明によれば、ランダムアクセス再生やピクチャ単位の編集処理を、ＡＵＤを用いて容易に実行することが可能となり、３つの色成分に対してそれぞれを４：０：０フォーマットを使用して符号化処理を行った場合においても１ピクチャ分のデータを一つのアクセスユニットに含めることを可能とするとともに、それぞれの色成分間で時間情報を揃えたり、符号化モードを揃えたりすることが可能となる。

この発明の画像符号化装置が生成する符号化ビットストリームのシンタックスのうち、この発明に関わる部分を抜き出した図である。 既存の規格との互換性を確保する別の方法として、パラメータcolour_idの定義についての説明図である。 ＡＵＤとＡＵＤの間に１ピクチャを構成する全ての色成分のデータを一つのアクセスユニット（ＡＵ）に含むようにした説明図である。 色成分のデータを一つのアクセスユニットの中にDelimiterで各色成分毎に区切りまとめて並べた説明図である。 ４：０：０フォーマットと４：４：４フォーマットの符号化モードを任意の単位で切り替える説明図である。 この発明の実施の形態７における共通符号化処理の説明図である。 この発明の実施の形態７における独立符号化処理の説明図である。 この発明の実施の形態７の符号化装置・復号装置における、ピクチャ間の時間方向の動き予測参照関係を示す図である。 この発明の実施の形態７の符号化装置で生成され、復号装置が入力・復号処理の対象とするビットストリームの構造の一例を示す図である。 この発明の実施の形態７における共通符号化処理、独立符号化処理それぞれの場合のスライスデータのビットストリーム構成を示す図である。 この発明の実施の形態７に係る符号化装置の概略構成を示すブロック図である。 図１１に示す多重化部１０５による多重化されて出力されるビットストリーム１０６の説明図である。 図１１に示す第１のピクチャ符号化部１０２の内部構成を示すブロック図である。 図１１に示す第２のピクチャ符号化部１０４の内部構成をブロック図である。 この発明の実施の形態７に係る復号装置の概略構成を示すブロック図である。 図１５に示す第１のピクチャ復号部３０２の内部構成を示すブロック図である。 図１５に示す第２のピクチャ復号部３０４の内部構成を示すブロック図である。 図１１に示す符号化装置の変形例を示すブロック図である。 図１１に示す符号化装置の他の変形例を示すブロック図である。 図１８に示す符号化装置に対応する復号装置を示すブロック図である。 図１９に示す符号化装置に対応する復号装置を示すブロック図である。 従来のＹＵＶ４：２：０フォーマットのビットストリームに含まれるマクロブロックヘッダ情報の符号化データの構成を示す図である。 従来のＹＵＶ４：２：０フォーマットのビットストリームに対する互換性を確保する第１のピクチャ復号部３０２の予測部３１１の内部構成を示す図である。 ビットストリームの構造の他の例を示す図である。 ビットストリームの構造のさらに他の例を示す図である。

実施の形態１．
図１は、この発明の画像符号化装置が生成する符号化ビットストリームのシンタックスのうち、この発明に関わる部分を抜き出した図である。図１において、（ａ）はＮＡＬ（ネットワークアブストラクションレイヤ）ユニットのヘッダ情報のシンタックス、（ｂ）はＳＰＳ（シーケンスパラメータセット）のシンタックス、（ｃ）はＰＰＳ（ピクチャパラメータセット）のシンタックス、（ｄ）はスライスヘッダのシンタックスである。網掛け部分以外は、既存のＡＶＣ規格で定められているシンタックスであり、網掛け部分は既存のＡＶＣ規格で定められているが、この発明により新たに機能を追加するシンタックスもしくは既存のＡＶＣ規格では定められておらずこの発明により新たに追加するシンタックスである。

以下、ＡＶＣで定義されているパラメータについて簡単に記す。
図１の（ａ）において、ＮＡＬユニットのnal_ref_idcは、ＮＡＬユニットのデータが予測参照に使用される画像データであるか否かを示すパラメータである。また、nal_unit_typeは、ＮＡＬユニットのデータがスライスデータ、ＳＰＳ、ＰＰＳ、アクセスユニットデリミタ（ＡＵＤ）のいずれであるかを示すパラメータである。

図１の（ｂ）において、ＳＰＳのprofile_idcは、符号化シーケンスのプロファイルを示すものであり、ＡＶＣではベースライン、メイン、ハイ、ハイ４４４などが定義されている。また、seq_paremeter_set_idはＳＰＳのＩＤを示すものであり、一つの符号化シーケンスの中に複数のＳＰＳを定義してそれぞれをＩＤで管理するものである。さらに、chroma_format_idcはハイ４４４プロファイルのときにのみ使用されるもので、符号化シーケンスが４：０：０、４：２：０、４：２：２，４：４：４のいずれかのフォーマットであるかを示すパラメータである。

図１の（ｃ）において、ＰＰＳのpic_paremter_set_idはＰＰＳのＩＤを示すものであり、ひとつの符号化シーケンスの中に複数のＰＰＳを定義してそれぞれをＩＤで管理するものである。ＰＰＳ中のseq_paremeter_set_idは、このＰＰＳがどのＳＰＳに属するかを示すパラメータである。

図１の（ｄ）において、スライスヘッダのfirst_mb_in_sliceは、スライスデータの先頭マクロブロックデータが画面内のどの位置にあるかを示すパラメータである。また、slice_typeは、スライスデータがフレーム内符号化、片方向予測符号化、双予測符号化のいずれであるかを示すパラメータである。さらに、pic_parameter_set_idはスライスデータがどのＰＰＳに属するかを示すパラメータである。

次に動作について説明する。
３つの色成分の画像信号に対して４：０：０フォーマットを用いてそれぞれの色成分を独立に符号化処理を行う場合、図１の（ｂ）に示すＳＰＳに含まれるパラメータの一つであるprofile_idcに、新たに４：０：０フォーマットを用いて３つの色成分のデータを独立に符号化する処理であることを示すデータを設けるとともに、図１の（ｄ）に示すスライスヘッダに、新たにcolour_idのパラメータを設け、スライスデータに含まれている符号化データが３つの色成分のいずれのものであるかを示すようにする。

既存の４：０：０フォーマット（モノクロ画像）、４：２：０フォーマット、４：２：２フォーマット、４：４：４フォーマットで符号化処理を行う場合には、図１の（ｄ）に示すパラメータcolour_idは使用せず、この発明により新たに定義する４：０：０フォーマットを用いて３つの色成分のデータを独立に符号化するモードのときにのみ、パラメータcolour_idを使用することにより、既存の規格には影響を及ぼさないようにすることができる。

この発明により新たに定義する４：０：０フォーマットを用いて３つの色成分のデータを独立に符号化するモードのときには、パラメータcolour_idを使用することによって、図３のように、３つの色成分のデータを一つのアクセスユニット（ＡＵ）に含むようにして、ＡＵＤとＡＵＤの間に１ピクチャを構成する全ての色成分のデータを入れるようにする。

また、既存の規格との互換性を確保する別の方法として、パラメータcolour_idを、図２のような定義としてもよい。このようにcolour_idを定義することで、colour_id=0の場合は、既存の規格のようにひとつのマクロブロックの中に３つの色成分のデータが含まれる形式で符号化されたスライスデータであることを示す。その他の値の場合は、本実施の形態１で述べた４：０：０フォーマットを用いて３つの色成分のデータを独立に符号化する処理で符号化されたスライスデータであることを示すことが可能である。

これにより、既存の方式と本実施の形態１で述べた方式の双方を包含するビットストリームを構成でき、既存方式との互換性を保つ点で有用である。また、スライスの数が多くなって、パラメータcolour_id自体の符号量のオーバヘッドが符号化効率に影響を与えるという場合には、既存の方式と本実施の形態１で述べた方式のいずれがより選択されやすいか、という判断基準に基づいて適当な可変長符号化を行い、colour_id自体の符号量を低減するように構成してもよい。

このように、複数の色成分からなる入力画像信号に対して圧縮処理を行う画像符号化方式において、それぞれの色成分の入力画像信号を独立に符号化処理を行うことにより得られる符号化データと、前記符号化データがどの色成分のものに対してのものであるかを示すパラメータとを、ビットストリームに多重することによって、ランダムアクセス再生やピクチャ単位の編集処理を、ＡＵＤを用いて容易に実行することが可能となる。

複数の色成分からなる画像信号が圧縮されたビットストリームを入力して復号処理を行う画像復号方式において、どの色成分のものに対する符号化データであるかを示すパラメータを用いてそれぞれの色成分の符号化データの復号処理を容易に行うことができる。

また、３つの色成分のデータが一つのアクセスユニットに含まれることになるため、３つの色成分のデータが同時にＩＤＲ（Instantaneous Devoding Refresh）ピクチャとして符号化されることとなる。

ＩＤＲピクチャはＡＶＣで定義されているもので、ＩＤＲピクチャからであれば即時に正常な復号処理が可能となるピクチャであり、ランダムアクセス再生の先頭として利用することを想定して設けられたものである。

また、３つの色成分のうちの一つの色成分だけを取り出したい場合には、特定の値を持っているcolour_idのスライスデータのみを抽出することにより容易に実現できる。

なお、図１では、colour_idパラメータをスライスヘッダの先頭に設けたが、必ずしも先頭に配置する必要はなく、スライスヘッダの中に含まれていれば同様の効果を得ることが可能である。

実施の形態２．
実施の形態１と同様に、一つのアクセスユニットの中に３つの色成分の符号化データを入れるものではあるが、図３に示す実施の形態１が、それぞれの色成分のデータ（Ｒ，Ｂ，Ｇ）を順番に並べたものであるのに対し、図４に示すように、Ｒだけ、Ｂだけ、Ｇだけと色成分をまとめて並べる方法をとることもできる。さらに、現在のＡＶＣでは定義されていない「Delimiter」を入れることによって、所定の色成分のもののみを簡単に取り出すような構成をとることも可能である。

このようにすることによって、例えばそれぞれの色成分ごとに異なるプロセッサを割り当てて並列に処理を行うことが容易にできるようになる。なお、この発明で示した「Delimiter」は、ＡＶＣのＳＥＩ（Supplemental Enhancement Information）メッセージペイロードを拡張することによって、既存の規格に影響を及ぼすことなく実現することが可能である。もちろん、これ以外の別の方法で「Delimiter」を定義しても同様の効果を得ることは可能である。

実施の形態３．
スライスヘッダのcolour_idの代わりに、ＮＡＬユニットの一部において色成分を示すパラメータを入れることによっても、実施の形態１と同じ効果を得ることができる。ＡＶＣでは、スライスヘッダおよびスライスヘッダに後続するスライスデータはＮＡＬユニットのペイロードとして定義されているため、ＮＡＬユニットのnal_unit_typeパラメータを拡張して、このパラメータの中にＮＡＬユニットのペイロードに含まれている映像データがどの色成分であるかを示すようにする。さらに、３つの色成分のデータは一つのアクセスユニット（ＡＵ）に含むようにすることにより、ＡＵＤとＡＵＤの間に１ピクチャを構成する全てのデータを入れるようにする。

このようにすることにより、実施の形態１と同様に、ランダムアクセス再生やピクチャ単位の編集処理が容易に実行できるとともに、３つの色成分のうちの一つの成分だけを取り出したい場合に、スライスヘッダまで解析することなく、ＮＡＬユニットのヘッダデータのみで抽出することが可能となる。

実施の形態４．
実施の形態１〜３のときに、さらに３つの色成分のデータが符号化されているスライスヘッダのfirst_mb_in_sliceパラメータに対して常に同じ値とするように制約を設ける。first_mb_in_sliceパラメータは、スライスデータの先頭データの位置が画面内のどこであるかを示すものである。

従来のＡＶＣの符号化方式では、スライスの構造は任意の形式をとることが可能なものであるため、各色成分でスライスの構造を異なるものとすることも可能ではあるが、この制約を設けることによって、同じfirst_mb_in_sliceの値を持つスライスデータを３つ集めてくることによって、正しい色の状態をもった画像の一部分を復号・表示することが可能となる。

このようにすることにより、画面の特定の部分、例えば中央部分だけを表示させたい、という場合に、制約を設けない場合にはfirst_mb_in_sliceの値がそれぞれの色成分で異なるために一画面分全てのスライスデータを用いて画面全体を復号しないと３つの色成分を合成して正しい復号画像が得られなかったものが、一画面全てではなく一部のスライスデータのみを用いて復号・表示処理が可能となる。また、個々の色成分のデータを個々のプロセッサを用いて並列処理を行う場合、各スライスデータが同じ位置から開始されるようになるため、並列処理の管理が容易になる。

実施の形態５．
実施の形態４に対して、さらに各色成分のスライスヘッダのslice_typeパラメータに対して常に同じ値とするように制約を設ける。slice_typeパラメータは、スライスヘッダに後続するスライスデータがフレーム内符号化、片方向予測符号化、双予測符号化のいずれであるか、等を示すものである。フレーム内符号化であれば、フレーム間予測処理が使用されないため、即時に復号・表示処理が可能となる。

そこで、画面上同じ位置にあるスライスデータについては符号化のタイプを全ての色成分に対して共通とし同じ符号化処理を行うことにより、復号装置では、ランダムアクセス再生時にはフレーム内符号化のスライスのみを復号処理を行うことによって高速に復号・表示処理を行うことが可能となる。

実施の形態６．
前述の実施の形態１〜５のような構成をとることによって、新たに定義する４：０：０フォーマットを用いて３つの色成分のデータを独立に符号化するモードと、４：４：４フォーマットの符号化モードを任意の単位で切り替えることが可能となる。

例えば図５のように、ＳＰＳのseq_parameter_set_id＝１に対して新たに定義した４：０：０フォーマットのパラメータをセットし、seq_parameter_set_id＝２に対して４：４：４フォーマットのパラメータをセットして、それぞれのseq_parameter_set_idに対応するＳＰＳを異なるpic_parameter_set_idを持たせてセットすることにより、ピクチャ単位で両者を切り替えることが可能となる。

このようにすることにより、符号化効率のより良い方を選択して符号化処理を行ったり、アプリケーションによって都合のよい方を選択して符号化処理を行うことが可能となる。

なお、本実施の形態５では、ピクチャ単位で両者を切り替えるものとして説明を行ったが、ＡＶＣの規格上では、同じ処理によりスライス単位での切り替えも可能である。

また、この発明では、動画像符号化方式の国際標準であるＡＶＣを用いて説明を行ったが、もちろん他の符号化方式を用いても同様の効果を得ることは可能である。

実施の形態７．
本実施の形態７では、３つの色成分信号を共通のマクロブロックヘッダで符号化するか、個別のマクロブロックヘッダで符号化するかを１フレーム（ないしは１フィールド）の単位で切り分けながら符号化・復号する装置構成・動作を具体的な図面をもとに説明する。以下、特に断らない限り、「１フレーム」と記載した場合は１フレームないしは１フィールドのデータ単位とみなす。

本実施の形態７におけるマクロブロックヘッダは、マクロブロックタイプ・サブマクロブロックタイプ・イントラ予測モードなどの符号化・予測モード情報、参照画像識別番号・動きベクトルなどの動き予測情報、変換係数に対する量子化パラメータ、変換ブロックサイズ指示フラグ、８×８ブロック単位での有効変換係数有無判定フラグなど、変換係数データ以外のマクロブロックオーバヘッド情報を含むものとする。

以降、１フレームの３つの色成分信号を共通のマクロブロックヘッダで符号化する処理を「共通符号化処理」、１フレームの３つの色成分信号を個別の独立したマクロブロックヘッダで符号化する処理を「独立符号化処理」と記す。同様に、１フレームの３つの色成分信号が共通のマクロブロックヘッダで符号化されたビットストリームからフレーム画像データを復号する処理を「共通復号処理」、１フレームの３つの色成分信号が個別の独立したマクロブロックヘッダで符号化されたビットストリームからフレーム画像データを復号する処理を「独立復号処理」と記す。

本実施の形態７における共通符号化処理では、図６に示すように、１フレーム分の入力映像信号をＣ０成分、Ｃ１成分、Ｃ２成分の３つの色成分をまとめた形の共通符号化処理の対象となるマクロブロックに分割する。一方、独立符号化処理では、図７に示すように、１フレーム分の入力映像信号をＣ０成分、Ｃ１成分、Ｃ２成分３つの色成分に分離し、それらを単一の色成分からなるマクロブロック、つまりＣ０成分、Ｃ１成分、Ｃ２成分毎の独立符号化処理の対象となる各マクロブロックに分割する。

すなわち、共通符号化処理の対象となるマクロブロックは、Ｃ０、Ｃ１、Ｃ２の３つの色成分のサンプルを含むが、独立符号化処理の対象となるマクロブロックは、Ｃ０またはＣ１またはＣ２成分のうちのいずれか１つの成分のサンプルのみを含む。

図８には、本実施の形態７の符号化装置・復号装置における、ピクチャ間の時間方向の動き予測参照関係を示す。この例では、太縦棒線で示されるデータ単位をピクチャとし、ピクチャとアクセスユニットとの関係を囲み点線で示している。共通符号化・復号処理の場合、１ピクチャは、３つの色成分が混在した１フレーム分の映像信号を表すデータであって、独立符号化・復号処理の場合、１ピクチャはいずれか１つの色成分の１フレーム分の映像信号とする。

アクセスユニットは、映像信号に対してオーディオ・音声情報などとの同期などを目的とするタイムスタンプを付与する最小データ単位であり、共通符号化・復号処理の場合、１つのアクセスユニットには１ピクチャ分のデータを含む。

一方、独立符号化・復号処理の場合は、１つのアクセスユニットに３つのピクチャが含まれる。これは、独立符号化・復号処理の場合、３つの色成分すべての同一表示時刻のピクチャがそろってはじめて１フレーム分の再生映像信号が得られるためである。なお、各ピクチャの上部に付与した番号は、ピクチャの時間方向の符号化・復号処理順序（動画データの圧縮符号化方式の標準であるＡＶＣ：Advanced Video Codingのframe_num）を示す。

図８では、ピクチャ間の矢印は動き予測の参照方向を示している。すなわち、独立符号化・復号処理の場合、同一アクセスユニットに含まれるピクチャの間での動き予測参照、ならびに異なる色成分間での動き予測参照は行わないものとし、Ｃ０、Ｃ１、Ｃ２の各色成分のピクチャを同一色成分の信号に限定して予測参照しながら符号化・復号する。

このような構成とすることにより、本実施の形態７における独立符号化・復号処理の場合は、各色成分の符号化・復号を、他の色成分の符号化・復号処理に全く依存することなく実行でき、並列処理が容易になる。

なお、ＡＶＣでは、自身はイントラ符号化を行うとともに、動き補償予測に用いる参照画像メモリの内容をリセットするＩＤＲ（instantaneous decoder refresh）ピクチャが定義されている。ＩＤＲピクチャは他のいかなるピクチャにも依存せずに復号可能であるためランダムアクセスポイントとして利用される。

共通符号化処理の場合のアクセスユニットは、１アクセスユニット＝１ピクチャであるが、独立符号化処理の場合のアクセスユニットでは１アクセスユニットが複数ピクチャで構成されるため、ある色成分ピクチャがＩＤＲピクチャである場合は他の残りの色成分ピクチャもＩＤＲピクチャとして、ＩＤＲアクセスユニットを定義し、ランダムアクセス機能を確保する。

以下、共通符号化処理による符号化を行ったか、独立符号化処理による符号化を行ったかを示す識別情報（インター予測モード共通化識別フラグやマクロブロックヘッダ共通化識別フラグ相当の情報）を、本実施の形態７では、共通符号化・独立符号化識別信号と呼ぶ。

図９に、本実施の形態７の符号化装置で生成され、本実施の形態７の復号装置が入力・復号処理の対象とするビットストリームの構造の一例を示す。同図は、シーケンスからフレームレベルまでのビットストリーム構成を示したもので、まず、シーケンスレベルの上位ヘッダ（ＡＶＣの場合、ＳＰＳ（sequence parameter set）など）に、共通符号化・独立符号化識別信号を多重しておく。

個々のフレームはアクセスユニットの単位で符号化される。ＡＵＤとは、ＡＶＣにおいてアクセスユニットの切れ目を識別するためのユニークなＮＡＬユニットであるAccess Unit Delimiter ＮＡＬユニットを示す。共通符号化・独立符号化識別信号が「共通符号化処理によるピクチャ符号化」を示す場合は、アクセスユニットには１ピクチャ分の符号化データが含まれる。

このときのピクチャは、前述のように３つの色成分が混在した１フレーム分の映像信号を表すデータであるとする。このとき、ｉ番目のアクセスユニットの符号化データはスライスデータ Slice（i,j）の集合として構成される。ｊは、１ピクチャ内のスライスデータのインデックスである。

一方、共通符号化・独立符号化識別信号が「独立符号化処理によるピクチャ符号化」を示す場合は、１ピクチャはいずれか１つの色成分の１フレーム分の映像信号である。このとき、ｐ番目のアクセスユニットの符号化データは、アクセスユニット内のｑ番目のピクチャのスライスデータ Slice（p,q,r）の集合として構成される。ｒは、１ピクチャ内のスライスデータのインデックスである。ＲＧＢのように色成分が３成分で構成される映像信号の場合、ｑは０，１，２のいずれかである。

また、３原色からなる映像信号に加えて例えばアルファブレンディングのための透過度情報のような付加データを同一アクセスユニットとして符号化・復号する場合や、４成分以上の色成分（例えばカラー印刷で使用されるYMCKなど）で構成される映像信号を符号化・復号する場合などは、ｑ＞３として扱うことができる。

本実施の形態７における符号化装置、復号装置は、独立符号化処理を選択すれば、映像信号を構成する各色成分をまったく独立に符号化するため、原理的に符号化・復号処理を変更することなく、色成分の枚数を自在に変更できる。将来、映像信号の色表現を行うための信号形式が変更された場合にも、本実施の形態７における独立符号化処理で対応可能となる効果がある。

このような構成を実現するために、本実施の形態７では、共通符号化・独立符号化識別信号は「１アクセスユニット内に含まれ、各々が相互に動き予測参照することなく独立に符号化されるピクチャの数」という形で表現する。

共通符号化・独立符号化識別信号３を、以降、num_pictures_in_au と呼ぶ。つまり、num_pictures_in_au＝１は「共通符号化処理」を示し、num_pictures_in_au＝３は本実施の形態７における「独立符号化処理」を示す。色成分が４以上となる場合、num_pictures_in_au＞３なる値に設定すればよい。

このようなシグナリングを行うことによって、復号装置は、num_pictures_in_auを復号、参照すれば共通符号化処理による符号化データと独立符号化処理による符号化データの区別ができるだけでなく、１つのアクセスユニット内に何枚の単一色成分ピクチャが存在するかを同時に知ることができ、将来の映像信号の色表現拡張への対応も可能にしつつ、共通符号化処理と独立符号化処理をビットストリーム中でシームレスに扱うことが可能である。

図１０には、共通符号化処理、独立符号化処理それぞれの場合のスライスデータのビットストリーム構成を示す。独立符号化処理によって符号化されたビットストリームでは、後述する効果を達成するため、復号装置で受信したスライスデータがアクセスユニット内のどの色成分のピクチャに属するスライスかを識別可能なように、スライスデータの先頭のヘッダ領域に色成分識別フラグ（color_channel_idc）を付与する。

color_channel_idcは、その値が同じスライスをグループ化する。つまり、color_channel_idcの値が異なるスライス間では、いかなる符号化・復号の依存性（例えば動き予測参照、ＣＡＢＡＣ（Context-Adaptive Binary Arithmetic Coding）のコンテキストモデリング・生起確率学習など）も持たせないものとする。なお、color_channel_idcは、図１の（ｄ）に示す実施の形態１のcolor_idと同じもので、同じセマンティクスの情報である。

このように規定することで、独立符号化処理の場合のアクセスユニット内の個々のピクチャの独立性が確保される。また、各スライスヘッダに多重される frame_num （スライスが属するピクチャの符号化・復号処理順序）については、１アクセスユニット内の全色成分ピクチャにおいて同一の値とする。

図１１に、本実施の形態７に係る符号化装置の概略構成を示す。同図において、共通符号化処理は、第１のピクチャ符号化部１０２において実行され、独立符号化処理は、第２のピクチャ符号化部１０４（３つの色成分分を用意）において実行される。入力映像信号１は、スイッチ（ＳＷ）１００によって第１のピクチャ符号化部１０２か、色成分分離部１０３および色成分毎の第２のピクチャ符号化部１０４のいずれかに供給される。スイッチ１００は、共通符号化・独立符号化識別信号１０１によって駆動され、入力映像信号１を指定されたパスへ供給する。

以下では、共通符号化・独立符号化識別信号（num_pictures_in_au）１０１は、入力映像信号が４：４：４フォーマットの場合にシーケンスパラメータセットに多重され、シーケンスの単位で共通符号化処理と独立符号化処理を選択する信号とする場合について説明する。

共通符号化処理を用いた場合は、復号装置側では共通復号処理を実行し、独立符号化処理を用いた場合は、復号装置側では独立復号処理を実行する必要があるため、共通符号化・独立符号化識別信号１０１は、それを指定する情報としてビットストリームに多重する必要がある。そのため、共通符号化・独立符号化識別信号１０１は多重化部１０５へ入力される。この共通符号化・独立符号化識別信号１０１の多重化単位は、シーケンス内のいくつかのピクチャ群からなるＧＯＰ（Group Of Pictures）の単位など、ピクチャよりも上位レイヤであればどのような単位であってもよい。

第１のピクチャ符号化部１０２では、共通符号化処理を実行するために、入力映像信号１を図６に示すように３つの色成分のサンプルをまとめた形式のマクロブロックへ分割して、その単位で符号化処理を進める。第１のピクチャ符号化部１０２における符号化処理は後述する。

独立符号化処理が選択された場合は、入力映像信号１は色成分分離部１０３でＣ０、Ｃ１、Ｃ２の１フレーム分のデータへ分離され、それぞれ対応する第２のピクチャ符号化部１０４へ供給される。第２のピクチャ符号化部１０４では、色成分ごとに分離された１フレーム分の信号を図７に示す形式のマクロブロックへ分割して、その単位で符号化処理を進める。第２のピクチャ符号化部における符号化処理は後述する。

第１のピクチャ符号化部１０２には、３つの色成分からなる１ピクチャ分の映像信号が入力され、符号化データはビットストリーム１３３として出力される。第２のピクチャ符号化部１０４には、単一色成分からなる１ピクチャ分の映像信号が入力され、符号化データはビットストリーム２３３ａ〜ｃとして出力される。

これらビットストリームは、共通符号化・独立符号化識別信号１０１の状態に基づいて多重化部１０５でビットストリーム１０６の形式に多重化され、出力される。すなわち、多重化部１０５は、それぞれの色成分の入力画像信号を独立に符号化することにより得られる符号化データと、符号化データがどの色成分のデータに対してのものであるかを示すパラメータとを、ビットストリームに多重化する。

ビットストリーム１０６の多重化に際しては、独立符号化処理される場合のアクセスユニット中では、スライスデータのビットストリーム中での多重化順、伝送順を、アクセスユニット内のピクチャ（各色成分）間でインタリーブ可能とする。

すなわち、図１２は、アクセスユニット内でのスライスインタリーブ不可の場合（ａ）と、スライスインタリーブ可の場合（ｂ）とを示す。スライスインタリーブ不可の場合（ａ）に、Ｃ１成分のピクチャデータは、Ｃ０成分の符号化が完了するまでビットストリームに多重できなく、Ｃ２成分のピクチャデータは、Ｃ０，Ｃ１成分の符号化が完了するまでビットストリームに多重できないが、スライスインタリーブ可の場合（ｂ）に、Ｃ１成分は、Ｃ０成分の１スライス分がビットストリームに多重されれば、直ぐに多重化可能であり、Ｃ２成分は、Ｃ０，Ｃ１成分の１スライス分がビットストリームに多重されれば、直ぐに多重化可能である。

この場合、復号装置側では、受信したスライスデータが、アクセスユニット内のどの色成分に属するスライスかを識別する必要がある。そのために、スライスデータの先頭のヘッダ領域に図１０のように多重する色成分識別フラグを利用する。なお、ここに記載した図１２のスライスインタリーブの概念は、図３で開示されている概念と等価である。

このような構成にすることにより、符号化装置では、図１１の符号化装置のように３つの色成分のピクチャをそれぞれ独立な第２のピクチャ符号化部６を３セット使用して、並列処理により符号化を行う場合に、他の色成分ピクチャの符号化データの完成を待たずに、自身のピクチャのスライスデータが準備できればすぐに符号化データを送出可能となる。

ＡＶＣでは１ピクチャを複数のスライスデータに分割して符号化することができ、スライスデータ長やスライス内に含まれるマクロブロックの個数については、符号化条件に応じて柔軟に変化させることができる。

画像空間上で隣り合うスライスの間では、スライスの復号処理の独立性を確保するため、イントラ予測や算術符号化などの近傍コンテキストの利用ができないため、スライスデータ長はできるだけ長いほうが符号化効率は高い。

一方、伝送や記録の過程でビットストリームに誤りが混入した場合は、スライスデータ長が短いほど誤りからの復帰が早まり、品質劣化を抑えやすくなる。色成分識別フラグを多重化することなく、スライスの長さや構成、色成分の順序などを固定的にしてしまうと、符号化装置においてビットストリームの生成条件が固定化されてしまい、多様な符号化要求条件に柔軟に対応することができなくなる。

また、図１２のようにビットストリームを構成することができれば、符号化装置では伝送に必要な送信バッファサイズ、すなわち符号化装置側での処理遅延を小さくすることができる。

その様子を図１１に示す。もしピクチャをまたがるスライスデータの多重が許容されない場合、符号化装置は、ある特定の色成分のピクチャの符号化が終了するまでの間、他のピクチャの符号化データをバッファリングさせる必要がある。これはピクチャレベルでの遅延が発生することを意味する。

一方、同図最下部に示すように、スライスレベルでインタリーブ可能とすれば、ある特定の色成分のピクチャ符号化部はスライスデータの単位で符号化データを多重化部に出力することができ、遅延を抑制することができる。

なお、１つの色成分ピクチャ内においては、それに含まれるスライスデータはマクロブロックのラスタスキャン順で伝送するようにしてもよいし、１つのピクチャ内でもインタリーブ伝送を可能とするように構成してもよい。

以下、第１ピクチャ符号化部１０２および第２のピクチャ符号化部１０４の動作を詳しく説明する。
第１のピクチャ符号化部１０２の動作概要
第１のピクチャ符号化部１０２の内部構成を図１３に示す。同図において、入力映像信号１は、４：４：４フォーマットで、かつ図６の形式の３つの色成分をまとめたマクロブロックの単位で入力されるものとする。

まず、予測部１１０において、メモリ１１１に格納される動き補償予測参照画像データの中から参照画像を選択し、該マクロブロックの単位で動き補償予測処理が行われる。メモリ１１１には、複数時刻に渡る、３つの色成分で構成される複数枚の参照画像データが格納され、予測部１１０では、これらの中からマクロブロックの単位で最適な参照画像を選択して動き予測を行う。

メモリ１１１内の参照画像データの配置は、色成分ごとに面順次で分けて格納してもよいし、各色成分のサンプルを点順次で格納してもよい。動き補償予測を行うブロックサイズは７種類用意されており、まず、マクロブロック単位に、１６×１６、１６×８、８×１６、８×８のいずれかのサイズを選択することができる。さらに、８×８が選択された場合には、各８×８ブロックごとに、、８×８、８×４、４×８、４×４のいずれかのサイズを選択することができる。

予測部１１０では、１６×１６、１６×８、８×１６、８×８のすべてまたは一部のブロックサイズ・８×８、８×４、４×８、４×４のサブブロックサイズ、および所定の探索範囲の動きベクトルおよび利用可能な１枚以上の参照画像に対してマクロブロックごとに動き補償予測処理を実行して、動きベクトルと予測に用いる参照画像識別情報１１２と減算器１１３により、動き補償予測単位となるブロックごとの予測差分信号１１４を得る。

予測差分信号１１４は符号化モード判定部１１５においてその予測効率が評価され、予測部１１０で実行した予測処理の中から、予測対象のマクロブロックに対して最適な予測効率が得られるマクロブロックタイプ／サブマクロブロックタイプ１１６と動きベクトル・参照画像識別情報１１２を出力する。

マクロブロックタイプ、サブマクロブロックタイプ、参照画像インデックス、動きベクトルなどのマクロブロックヘッダ情報はすべて、３つの色成分に対して共通のヘッダ情報として決定され、符号化に使用され、ビットストリームに多重化される。

予測効率の最適性の評価にあたっては、演算量を抑制する目的で、ある所定の色成分（たとえばＲＧＢのうちのＧ成分、ＹＵＶのうちのＹ成分など）に対する予測誤差量だけを評価してもよいし、演算量は大きくなるが最適な予測性能を得るべくすべての色成分についての予測誤差量を総合評価するようにしてもよい。また、最終的なマクロブロックタイプ／サブマクロブロックタイプ１１６の選定にあたっては、符号化制御部１１７の判断で定まる各タイプに対する重み係数１１８が加味されることもある。

同様に、予測部１１０では、イントラ予測も実行する。イントラ予測実行時は、信号１１２には、イントラ予測モード情報が出力される。以降、特にイントラ予測、動き補償予測を区別しない場合には、出力信号１１２はイントラ予測モード情報、動きベクトル情報、参照画像識別番号をまとめて予測オーバヘッド情報と呼ぶ。イントラ予測についても所定の色成分だけの予測誤差量を評価してもよいし、すべての色成分についての予測誤差量を総合評価するようにしてもよい。最後に、マクロブロックタイプをイントラ予測にするか、インター予測にするかを、符号化モード判定部１１５において予測効率または符号化効率で評価して選定する。

選定されたマクロブロックタイプ／サブマクロブロックタイプ１１６と、予測オーバヘッド情報１１２に基づくイントラ予測・動き補償予測によって得られる予測差分信号１１４を変換部１１９へ出力する。変換部１１９は入力される予測差分信号１１４を変換し変換係数として量子化部１２０へ出力する。この際、変換を行う単位となるブロックのサイズを４×４か８×８のいずれかから選択するようにしてもよい。変換ブロックサイズを選択可能とする場合は、符号化時に選択されたブロックサイズを、変換ブロックサイズ指定フラグ１３４の値に反映し、同フラグをビットストリームに多重化する。

量子化部１２０は、入力される変換係数を、符号化制御部１１７によって定まる量子化パラメータ１２１に基づいて量子化を行い、量子化済み変換係数１２２として可変長符号化部１２３へ出力する。量子化済み変換係数１２２は、３つの色成分分の情報を含み、可変長符号化部１２３にてハフマン符号化や算術符号化などの手段によりエントロピー符号化される。

また、量子化済み変換係数１２２は、逆量子化部１２４、逆変換部１２５を経て局部復号予測差分信号１２６へ復元され、選定されたマクロブロックタイプ／サブマクロブロックタイプ１１６と予測オーバヘッド情報１１２に基づいて生成される予測画像１２７と加算器１２８で加算することで局部復号画像１２９が生成される。局部復号画像１２９は、デブロッキングフィルタ１３０でブロックひずみ除去処理を実施した後、以降の動き補償予測処理に用いるためメモリ１１１へ格納される。

可変長符号化部１２３には、当該マクロブロックに対してデブロッキングフィルタを施すか否かを示すデブロッキングフィルタ制御フラグ１３１も入力される。

可変長符号化部１２３に入力される量子化済み変換係数１２２、マクロブロックタイプ／サブマクロブロックタイプ１１６、予測オーバヘッド情報１１２、量子化パラメータ１２１は所定の規則（シンタックス）に従ってビットストリームとして配列・整形され、図６の形式のマクロブロックが１つないしは複数個まとまったスライスデータの単位でＮＡＬユニット化された符号化データとして送信バッファ１３２へ出力される。

送信バッファ１７では符号化装置が接続される伝送路の帯域や記録媒体の読み出し速度に合わせてビットストリームを平滑化してビデオストリーム１３３として出力する。また、送信バッファ１３３中のビットストリーム蓄積状況に応じて符号化制御部１１７へフィードバックをかけ、以降の映像フレームの符号化における発生符号量を制御する。

なお、第１のピクチャ符号化部１０２の出力は、３成分をまとめた単位のスライスであって、アクセスユニットをまとめた単位での符号量と等価であるため、送信バッファ１３２はそのまま多重化部１０５内に配置してもよい。

本実施の形態７における第１のピクチャ符号化部１０２では、共通符号化・独立符号化識別信号１０１によってシーケンス中のすべてのスライスデータがＣ０，Ｃ１，Ｃ２混在スライス（すなわち、３つの色成分の情報が混在するスライス）であることが識別可能であるため、スライスヘッダに色成分識別フラグは多重化しない。

第２のピクチャ符号化部１０４の動作概要
第２のピクチャ符号化部１０４の内部構成を図１４に示す。557769JP03の図１の説明を流用して図Ｈの説明文案を作成していますが、図番が図１のままの箇所があります。同図において、入力映像信号１ａは、図７の形式の単一色成分のサンプルからなるマクロブロックの単位で入力されるものとする。

まず、予測部２１０において、メモリ２１１に格納される動き補償予測参照画像データの中から参照画像を選択し、該マクロブロックの単位で動き補償予測処理を行う。メモリ２１１には、複数時刻に渡る、単一色成分単一色成分を符号化処理対象とすることがポイント。図Ｈと図Ｉの見た目の違いは、メモリ１６の面数としています。で構成される複数枚の参照画像データを格納でき、予測部２１０では、これらの中からマクロブロックの単位で最適な参照画像を選択して動き予測を行う。

メモリ２１１は３つの色成分分をまとめた単位でメモリ１１１と共用するようにしてもよい。動き補償予測を行うブロックサイズには７種類用意されており、まず、マクロブロック単位に、１６×１６、１６×８、８×１６、８×８のいずれかのサイズを選択することができる。さらに、８×８が選択された場合には、各８×８ブロックごとに、８×８、８×４、４×８、４×４のいずれかのサイズを選択することができる。

予測部２１０では、１６×１６、１６×８、８×１６、８×８のすべてまたは一部のブロックサイズ・８×８、８×４、４×８、４×４のサブブロックサイズ、および所定の探索範囲の動きベクトルおよび利用可能な１枚以上の参照画像に対してマクロブロックごとに動き補償予測処理を実行して、動きベクトルと予測に用いる参照画像のインデックス２１２と減算器２１３により、動き補償予測単位となるブロックごとの予測差分信号２１４を得る。

予測差分信号２１４は符号化モード判定部２１５においてその予測効率が評価され、予測部２１０で実行した予測処理の中から、予測対象のマクロブロックに対して最適な予測効率が得られるマクロブロックタイプ／サブマクロブロックタイプ２１６と動きベクトル・参照画像のインデックス２１２を出力する。マクロブロックタイプ、サブマクロブロックタイプ、参照画像インデックス、動きベクトルなどのマクロブロックヘッダ情報はすべて、入力映像信号１ａの単一色成分の信号に対するヘッダ情報として決定され、符号化に使用され、ビットストリームに多重化される。

予測効率の最適性の評価にあたっては、符号化処理対象となる単一色成分に対する予測誤差量だけを評価する。また、最終的なマクロブロックタイプ／サブマクロブロックタイプ２１６の選定にあたっては、符号化制御部２１７の判断で定まる各タイプに対する重み係数２１８が加味されることもある。

同様に、予測部２１０では、イントラ予測も実行する。予測部１１０を、イントラ、インター予測を両方実行するブロックとした。イントラ予測実行時は、信号２１２には、イントラ予測モード情報が出力される。以降、特にイントラ予測、動き補償予測を区別しない場合には、信号２１２は予測オーバヘッド情報と呼ぶ。イントラ予測についても符号化処理対象となる単一色成分に対する予測誤差量だけを評価する。最後に、マクロブロックタイプをイントラ予測にするか、インター予測にするかを予測効率または符号化効率で評価して選定する。

選定されたマクロブロックタイプ／サブマクロブロックタイプ２１６と、予測オーバヘッド情報２１２によって得られる予測差分信号２１４を変換部２１９へ出力する。変換部２１９は入力される単一色成分分の予測差分信号２１４を変換し変換係数として量子化部２２０へ出力する。この際、変換を行う単位となるブロックのサイズを４×４か８×８のいずれかから選択するようにしてもよい。選択可能とする場合は、符号化時に選択されたブロックサイズを、変換ブロックサイズ指定フラグ２３４の値に反映し、同フラグをビットストリームに多重化する。

量子化部２２０は入力される変換係数を、符号化制御部２１７によって定まる量子化パラメータ２２１に基づいて量子化を行い、量子化済み変換係数２２２として可変長符号化部２２３へ出力する。量子化済み変換係数２２２は、単一色成分分の情報を含み、可変長符号化部２２３にてハフマン符号化や算術符号化などの手段によりエントロピー符号化される。

また、量子化済み変換係数２２２は逆量子化部２２４、逆変換部２２５を経て局部復号予測差分信号２２６へ復元され、選定されたマクロブロックタイプ／サブマクロブロックタイプ２１６と予測オーバヘッド情報２１２に基づいて生成される予測画像２２７と加算器２２８で加算することで局部復号画像２２９が生成される。

局部復号画像２２９は、デブロッキングフィルタ２３０でブロックひずみ除去処理を実施した後、以降の動き補償予測処理に用いるためメモリ２１１へ格納される。可変長符号化部２２３には、当該マクロブロックに対してデブロッキングフィルタを施すか否かを示すデブロッキングフィルタ制御フラグ２３１も入力される。

可変長符号化部２２３に入力される量子化済み変換係数２２２、マクロブロックタイプ／サブマクロブロックタイプ２１６、予測オーバヘッド情報２１２、量子化パラメータ２２１は所定の規則（シンタックス）に従ってビットストリームとして配列・整形され、図７の形式のマクロブロックが１つないしは複数個まとまったスライスデータの単位でＮＡＬユニット化された符号化データとして送信バッファ２３２へ出力される。

送信バッファ２３２では符号化装置が接続される伝送路の帯域や記録媒体の読み出し速度に合わせてビットストリームを平滑化してビデオストリーム２３３として出力する。また、送信バッファ２３２中のビットストリーム蓄積状況に応じて符号化制御部２１７へフィードバックをかけ、以降の映像フレームの符号化における発生符号量を制御する。

なお、第２のピクチャ符号化部１０４の出力は、単一色成分のデータのみからなるスライスであって、アクセスユニットをまとめた単位での符号量制御が必要となる場合には、多重化部１０５内に全色成分のスライスを多重した単位での共通送信バッファを設け、同バッファの占有量をもとに各色成分の符号化制御部２１７にフィードバックをかけるように構成してもよい。

また、この際、全色成分の発生情報量だけを用いて符号化制御を行うようにしてもよいし、各色成分の送信バッファ２３２の状態も加味して符号化制御を行うようにしてもよい。全色成分の発生情報量だけを用いて符号化制御を行う場合は、送信バッファ２３２相当の機能を多重化部１０５内の共通送信バッファで実現することとして、送信バッファ２３２を省略する構成をとることもできる。

本実施の形態７における第２のピクチャ符号化部１０４では、共通符号化・独立符号化識別信号１０１によってシーケンス中のすべてのスライスデータが単一色成分スライス（すなわち、Ｃ０スライスまたはＣ１スライスまたはＣ２スライス）であることが識別可能であるため、スライスヘッダに常に色成分識別フラグを多重化し、復号装置側でどのスライスがアクセスユニット内のどのピクチャデータに該当するかを識別できるようにする。

このため、各第２のピクチャ符号化部１０４は、それぞれの送信バッファ２３２からの出力を１ピクチャ分ためることなく、１スライス分のデータがたまった時点で送出することができる。

なお、第１のピクチャ符号化部１０２と第２のピクチャ符号化部１０４とは、マクロブロックヘッダ情報を３成分共通の情報として扱うか、単一の色成分の情報として扱うかの違いと、スライスデータのビットストリーム構成が異なるだけである。図１３や図１４における予測部や変換部・逆変換部、量子化部・逆量子化部、デブロッキングフィルタなどの基本的な処理ブロックの多くは、３つの色成分の情報とまとめて処理するか、単一の色成分の情報だけを扱うかの違いだけで、第１のピクチャ符号化部１０２と第２のピクチャ符号化部１０４とで共通の機能ブロックで実現することもできる。

したがって、図１１のような完全に独立な符号化処理部としてだけでなく、図１３や図１４の基本構成要素を適宜組み合わせて多様な符号化装置の実装を実現することができる。また、第１のピクチャ符号化部１０２におけるメモリ１１１の配置を面順次で持つことにすれば、参照画像格納メモリの構成を第１のピクチャ符号化部１０２と第２のピクチャ符号化部１０４とで共通にできる。

また、図示はしていないが、本実施の形態における符号化装置では、図９、図１０の配列に従うビデオストリーム１０６をバッファリングする仮想的なストリームバッファ（符号化ピクチャバッファ）と、復号画像３１３ａ、３１３ｂをバッファリングする仮想的なフレームメモリ（復号ピクチャバッファ）の存在を想定し、符号化ピクチャバッファのオーバーフロー・アンダーフローや、復号ピクチャバッファの破綻がないようにビデオストリーム１０６を生成する。この制御は、主として、符号化制御部１１７、２１７で行う。

これにより、復号装置において、ビデオストリーム１０６を符号化ピクチャバッファと復号ピクチャバッファの動作（仮想バッファモデル）に従って復号する場合に、復号装置に破綻が生じないようにすることを保証する。仮想バッファモデルを以下に規定する。

符号化ピクチャバッファの動作はアクセスユニット単位で行う。上述のとおり、共通復号処理を行う場合には、１アクセスユニットには１ピクチャ分の符号化データが含まれ、独立復号処理を行う場合に１アクセスユニットには色成分数分のピクチャ（３成分ならば３ピクチャ分）の符号化データが含まれている。

符号化ピクチャバッファについて規定される動作は、アクセスユニットの最初のビットと最後のビットが符号化ピクチャバッファに入力される時刻とアクセスユニットのビットが符号化ピクチャバッファから読み出される時刻である。なお、符号化ピクチャバッファからの読み出しは瞬時に行われると規定し、アクセスユニットのすべてのビットが同じ時刻に符号化ピクチャバッファから読み出されることする。

アクセスユニットのビットは、符号化ピクチャバッファから読み出されると、上位ヘッダ解析部へ入力され、上述のとおり、第１のピクチャ復号部または第２のピクチャ復号部にて復号処理が行われ、アクセスユニット単位に束ねられたカラー映像フレームとして出力される。なお、符号化ピクチャバッファからビットを読み出して、アクセスユニット単位のカラー映像フレームとして出力するまでの処理は、仮想バッファモデルの規定上は瞬時に行われるものとする。

アクセスユニット単位に構成されたカラー映像フレームは、復号ピクチャバッファへ入力され、復号ピクチャバッファからの出力時刻が算出される。復号ピクチャバッファからの出力時刻は、符号化ピクチャバッファからの読み出し時刻に所定の遅延時間を加えた値である。

この遅延時間は、ビットストリームに多重して復号装置を制御することが可能である。遅延時間が０の場合、すなわち復号ピクチャバッファからの出力時刻が符号化ピクチャバッファからの読み出し時刻に等しい場合には、カラー映像フレームが復号ピクチャバッファへ入力されると同時に復号ピクチャバッファから出力される。

それ以外の場合、すなわち復号ピクチャバッファからの出力時刻が符号化ピクチャバッファからの読み出し時刻より遅い場合、復号ピクチャバッファからの出力時刻になるまでカラー映像フレームは復号ピクチャバッファに保存される。上述のとおり、アクセスユニット単位に復号ピクチャバッファからの動作が規定される。

図１５に、本実施の形態７の復号装置の概略構成を示す。同図において、共通復号処理は、第１のピクチャ復号部３０２において実行され、独立復号処理は、色成分判定部３０３と第２のピクチャ復号部３０４（３つの色成分分を用意）において実行される。

ビットストリーム１０６は、上位ヘッダ解析部３００でＮＡＬユニット単位に分割され、シーケンスパラメータセットやピクチャパラメータセットなどの上位ヘッダ情報は、そのまま復号して復号装置内の第１のピクチャ復号部３０２、色成分判定部３０３、第２のピクチャ復号部３０４が参照可能な所定のメモリエリアへ格納しておく。シーケンス単位に多重される共通符号化・独立符号化識別信号（num_pictures_in_au）は、上位ヘッダ情報の一部として復号・保持される。

復号されたnum_pictures_in_auはスイッチ（ＳＷ）３０１に供給され、スイッチ３０１は、num_pictures_in_au = １ならば、ピクチャごとのスライスＮＡＬユニットを第１のピクチャ復号部３０２へ供給し、num_pictures_in_au = ３ならば、色成分判定部３０３に供給する。

すなわち、num_pictures_in_au = １ならば第１のピクチャ復号部３０２により、共通復号処理が行われ、num_pictures_in_au = ３ならば３つの第２のピクチャ復号部３０４により、独立復号処理が行われる。第１および第２のピクチャ復号部の詳細な動作は後述する。

色成分判定部３０３は、どの色成分のものに対する符号化データであるかを示すパラメータを検出する検出手段をなすもので、図１０で示した色成分識別フラグの値により、スライスＮＡＬユニットが現在のアクセスユニット内のいずれの色成分ピクチャに相当するかを識別して、適切な第２のピクチャ復号部３０４へ分配供給する。

このような復号装置の構成によって、図１２のようにアクセスユニット内でスライスがインタリーブされて符号化されたビットストリームを受信しても、どのスライスがどの色成分ピクチャに属するかを容易に判別し正しく復号できる効果がある。

第１のピクチャ復号部３０２の動作概要
第１のピクチャ復号部３０２の内部構成を図１６に示す。第１のピクチャ復号部３０２は、図１１の符号化装置から出力される図９，図１０の配列に従うビットストリーム１０６を、Ｃ０、Ｃ１、Ｃ２混在スライスの単位で受信して、図６に示す３つの色成分のサンプルからなるマクロブロックを単位として復号処理を行い、出力映像フレームを復元する。

可変長復号部３１０は、ビットストリーム１０６を入力とし、所定の規則（シンタックス）に従ってビットストリーム１０６を解読して、３成分分の量子化済み変換係数１２２、および３成分で共通して用いられるマクロブロックヘッダ情報（マクロブロックタイプ／サブマクロブロックタイプ１１６、予測オーバヘッド情報１１２、変換ブロックサイズ指定フラグ１３４、量子化パラメータ１２１）を抽出する。量子化済み変換係数１２２は量子化パラメータ１２１とともに、第１のピクチャ符号化部１０２と同じ処理を行う逆量子化部１２４へ入力され、逆量子化処理が行われる。

次いで、その出力が第１のピクチャ符号化部１０２と同じ処理を行う逆変換部１２５へ入力され、局部復号予測差分信号１２６へ復元される（変換ブロックサイズ指定フラグ１３４がビットストリーム１０６中に存在すれば、それを逆量子化、逆変換処理過程で参照する）。

一方、予測部３１１は、第１のピクチャ符号化部１０２中の予測部１１０のうち、予測オーバヘッド情報１１２を参照して予測画像１２７を生成する処理だけが含まれ、予測部３１１に対してマクロブロックタイプ／サブマクロブロックタイプ１１６、予測オーバヘッド情報１１２が入力され、３成分分の予測画像１２７を得る。

マクロブロックタイプがイントラ予測であることを示す場合は、予測オーバヘッド情報１１２からイントラ予測モード情報に従って３成分分の予測画像１２７を得、マクロブロックタイプがインター予測であることを示す場合は、予測オーバヘッド情報１１２から動きベクトル、参照画像インデックスに従って３成分分の予測画像１２７を得る。

局部復号予測差分信号１２６と予測画像１２７は加算器１２８により加算され、３成分分の暫定復号画像１２９を得る。暫定復号画像１２９は以降のマクロブロックの動き補償予測に用いられるため、第１のピクチャ符号化部１０２と同じ処理を行うデブロッキングフィルタ１３０で３成分分の暫定復号画像サンプルに対してブロックひずみ除去処理を実施した後、復号画像３１３として出力されるとともに、メモリ３１２へ格納される。

この際、可変長復号部３１０によって解読されたデブロッキングフィルタ制御フラグ１３１の指示に基づいてデブロッキングフィルタ処理を暫定復号画像１２９に対して作用させる。メモリ３１２には、複数時刻に渡る、３つの色成分で構成される複数枚の参照画像データが格納される。

予測部３１１では、これらの中からマクロブロックの単位でビットストリームから抽出した参照画像インデックスで示される参照画像を選択して予測画像生成を行う。メモリ３１２内の参照画像データの配置は、色成分ごとに面順次で分けて格納してもよいし、各色成分のサンプルを点順次で格納してもよい。復号画像３１３は３つの色成分を含み、そのまま共通復号処理におけるアクセスユニット３１３aを構成するカラー映像フレームとなる。

第２のピクチャ復号部３０４の動作概要
第２のピクチャ復号部３０４の内部構成を図１７に示す。第２のピクチャ復号部３０４は、図１１の符号化装置から出力される図９，図１０の配列に従うビットストリーム１０６が、色成分判定部３０３で振り分けられたＣ０ないしは、Ｃ１ないしは、Ｃ２スライスＮＡＬユニット４５０の単位で受信して、図７に示す単一色成分のサンプルからなるマクロブロックを単位として復号処理を行い、出力映像フレームを復元する。

可変長復号部４１０は、ビットストリーム４５０を入力とし、所定の規則（シンタックス）に従ってビットストリーム４５０を解読して、単一色成分の量子化済み変換係数２２２、および単一色成分に適用するマクロブロックヘッダ情報（マクロブロックタイプ／サブマクロブロックタイプ２１６、予測オーバヘッド情報２１２、変換ブロックサイズ指定フラグ２３４、量子化パラメータ２２１）を抽出する。

量子化済み変換係数２２２は量子化パラメータ２２１とともに第２のピクチャ符号化部１０４と同じ処理を行う逆量子化部２２４へ入力され、逆量子化処理が行われる。次いでその出力が第２のピクチャ符号化部１０４と同じ処理を行う逆変換部２２５へ入力され、局部復号予測差分信号２２６へ復元される（変換ブロックサイズ指定フラグ２３４がビットストリーム４５０中に存在すれば、それを逆量子化、逆直交変換処理過程で参照する）。

一方、予測部３１１は、第２のピクチャ符号化部１０４中の予測部２１０のうち、予測オーバヘッド情報２１２を参照して予測画像２２７を生成する処理だけが含まれ、予測部４１１に対してマクロブロックタイプ／サブマクロブロックタイプ２１６、予測オーバヘッド情報２１２が入力され、単一色成分の予測画像２２７を得る。

マクロブロックタイプがイントラ予測であることを示す場合は、予測オーバヘッド情報２１２からイントラ予測モード情報に従って単一色成分の予測画像２２７を得、マクロブロックタイプがインター予測であることを示す場合は、予測オーバヘッド情報２１２から動きベクトル、参照画像インデックスに従って単一色成分の予測画像２２７を得る。

局部復号予測差分信号２２６と予測画像２２７は加算器２２８により加算され、単一色成分マクロブロックの暫定復号画像２２９を得る。暫定復号画像２２９は以降のマクロブロックの動き補償予測に用いられるため、第２のピクチャ符号化部１０４と同じ処理を行うデブロッキングフィルタ２３０で単一色成分の暫定復号画像サンプルに対してブロックひずみ除去処理を実施した後、復号画像４５１として出力されるとともに、メモリ４１２へ格納される。

この際、可変長復号部４１０によって解読されたデブロッキングフィルタ制御フラグ２３１の指示に基づいてデブロッキングフィルタ処理を暫定復号画像２２９に対して作用させる。復号画像４１０は単一色成分のサンプルのみを含み、図１５における他の並列処理される第２のピクチャ復号部３０４のそれぞれの出力をアクセスユニット３１３ｂの単位に束ねることで、カラー映像フレームとして構成される。

以上のことから明らかなように、第１のピクチャ復号部３０２と第２のピクチャ復号部３０４とは、マクロブロックヘッダ情報を３成分共通の情報として扱うか、単一の色成分の情報として扱うかの違いと、スライスデータのビットストリーム構成が異なるだけで、図１３や図１４における動き補償予測処理や逆変換、逆量子化などの基本的な復号処理ブロックの多くは第１のピクチャ復号部３０２と第２のピクチャ復号部３０４とで共通の機能ブロックで実現できる。

したがって、図１５のような完全に独立な符号化処理部としてだけでなく、図１６や図１７の基本構成要素を適宜組み合わせて多様な復号装置の実装を実現することができる。現時点で具体的な装置構成は記述しきれないが・・・また、第１のピクチャ復号部３０２におけるメモリ３１２の配置を面順次で持つことにすれば、メモリ３１２、メモリ４１２の構成を第１のピクチャ復号部３０２と第２のピクチャ復号部３０４とで共通にできる。

なお、図１５の復号装置は、図１１の符号化装置の別の形態として、共通符号化・独立符号化識別信号３を常に「独立符号化処理」に固定化して、第１のピクチャ符号化部１０２を一切使用せず全フレームを独立符号化するように構成された符号化装置から出力されるビットストリームを受信して復号することももちろん可能である。

また、図１５の復号装置の別の形態として、常に共通符号化・独立符号化識別信号３が「独立符号化処理」に固定化されることを前提とする利用形態では、スイッチ３０１や第１のピクチャ復号部３０２を省略した独立復号処理を行うのみの復号装置として構成してもよい。

さらに、第１のピクチャ復号部３０２に、従来のＹＵＶ（輝度信号（Y）と、輝度信号と青色成分の差（U）、輝度信号と赤色成分の差（V）の３つの情報で色を表す形式の信号）４：２：０フォーマットを対象として３成分まとめて符号化されたＡＶＣハイプロファイル準拠のビットストリームの復号機能を備えるようにし、上位ヘッダ解析部３００において、ビットストリーム１０６から復号するプロファイル識別子を参照していずれのフォーマットで符号化されたビットストリームかを判定し、判定結果を共通符号化・独立符号化識別信号３の信号線の情報の一部としてスイッチ３０１と第１のピクチャ復号部３０２に伝える構成をとれば、従来のＹＵＶ４：２：０フォーマットのビットストリームに対する互換性を確保する復号装置を構成することもできる。

なお、本実施の形態７における第１のピクチャ符号化部１０２では、スライスデータに３つの色成分の情報が混在し、かつ３つの色成分に対してまったく同じイントラ・インター予測処理を実施するため、予測誤差信号空間で、色成分間での信号相関が残存することがある。

これを除去する工夫として、例えば、予測誤差信号に対して、色空間変換処理を施すように構成してもよい。このような構成をもつ第１のピクチャ符号化部１０２の例を図１８，図１９に示す。なお、図１８，図１９において、色空間変換部及び逆色空間変換部以外は図１３と共通する。

図１８は、色空間変換処理を、変換処理を行う前の画素レベルで実施する例であり、色空間変換部１５０ａを変換部の前に、逆色空間変換部１５１ａを逆変換部の後に配置する。

図１９は、色空間変換処理を、変換処理を行った後で得られた係数データに対して処理対象の周波数成分を適宜選択しながら実施ＨＨＩ提案する例であり、色空間変換部１５０ｂを変換部の後に、逆色空間変換部１５１ｂを逆変換部の前に配置する。色空間変換を施す周波数成分を限定することで、特定の色成分に含まれる高周波ノイズ成分がノイズをあまり含まない他の色成分に伝播することを抑制することができる効果がある。

色空間変換処理の対象となる周波数成分を適応選択可能とする場合には、復号側で符号化時の選択を判断するためのシグナリング情報１５２ａａ、１５２ｂをビットストリームに多重化する。

色空間変換処理は、符号化対象の画像信号の性質に応じて複数の変換方式をマクロブロック単位に切り替えて使用するようにしてもよいし、マクロブロックの単位で変換有無を判定するように構成してもよい。選択可能な変換方式の種別をシーケンスレベルなどで指定しておき、それらの中からどれを選ぶかをピクチャ、スライス、マクロブロックなどの単位で指定するようにも構成できる。また、直交変換の前で実施するか、後で実施するかを選択可能なように構成してもよい。

これらの適応符号化処理を行う場合は、選択可能なすべての選択肢について、符号化モード判定部１１５ないし２１５で符号化効率の評価を行ってもっとも符号化効率が高いものを選択するように構成することができる。これらの適応符号化処理を実施する場合は、復号側で符号化時の選択を判断するためのシグナリング情報１５２ａ、１５２ｂをビットストリームに多重化する。このようなシグナリングは、スライス、ピクチャ、ＧＯＰ、シーケンスなどマクロブロックとは異なるレベルで指定してもよい。

図１８，図１９の符号化装置に対応する復号装置を図２０，図２１に示す。なお、図２０，図２１において、逆色空間変換部以外は図１６と共通する。図２０は、図１８の符号化装置によって、変換処理前に色空間変換が行われて符号化されたビットストリームを復号する復号装置である。

可変長復号部はビットストリームから、逆色空間変換部１５１ａにおいて変換を行うか行わないかを選択する変換有無の情報や、逆色空間変換部において実行可能な変換方式を選択する情報１５２ａａを復号して、逆色空間変換部１５１ａへ供給する。図２０の復号装置は、逆色空間変換部１５１ａにおいて、これらの情報に基づいて逆変換後の予測誤差信号に対する色空間変換処理を実施する。

また、図２１は、図１９の符号化装置によって、変換処理後に処理対象の周波数成分を選択して色空間変換を行うことによって符号化されたビットストリームを復号する復号装置である。可変長復号部はビットストリームから、逆色空間変換部１５１ｂにおいて変換を行うか行わないかを選択する変換有無の情報や、逆色空間変換部において実行される変換方式を選択する情報や、色空間変換を施す周波数成分を特定する情報などを含む識別情報１５２ｂを復号して逆色空間変換部１５１ｂに供給する。図２１の復号装置は、逆色空間変換部１５１ｂにおいて、これらの情報に基づいて逆量子化後の変換係数データに対し色空間変換処理を実施する。

図２０、図２１の復号装置は、図１５の復号装置と同様、第１のピクチャ復号部３０２に、従来のＹＵＶ４：２：０フォーマットを対象として３成分まとめて符号化されたＡＶＣハイプロファイル準拠のビットストリームの復号機能を備えるようにし、上位ヘッダ解析部３００において、ビデオストリーム１０６から復号するプロファイル識別子を参照していずれのフォーマットで符号化されたビットストリームかを判定し、判定結果を共通符号化・独立符号化識別信号１０１の信号線の情報の一部としてスイッチ１０と第１のピクチャ復号部３０２に伝える構成をとれば、従来のＹＵＶ４：２：０フォーマットのビットストリームに対する互換性を確保する復号装置を構成することもできる。

図２２に従来のＹＵＶ４：２：０フォーマットのビットストリームに含まれるマクロブロックヘッダ情報の符号化データの構成を示す。マクロブロックタイプがイントラ予測のときに、イントラ色差予測モード５００の符号化データが含まれている。マクロブロックタイプがインター予測のときには、マクロブロックヘッダ情報に含まれる参照画像識別番号、動きベクトル情報を用いて輝度成分とは異なる方法で色差成分の動きベクトルが生成される。

従来のＹＵＶ４：２：０フォーマットのビットストリームに対する互換性を確保する復号装置の動作について説明する。上述のとおり、第１のピクチャ復号部３０２が従来のＹＵＶ４：２：０フォーマットのビットストリームの復号機能を備えるものとする。第１のピクチャ復号部の内部構成は図１６と同じである。

従来のＹＵＶ４：２：０フォーマットのビットストリームの復号機能を備えた第１のピクチャ復号部３０２の可変長復号部３１０の動作を説明する。ビデオストリーム１０６が可変長復号部３１０へ入力されると、色差フォーマット指示フラグを復号する。色差フォーマット指示フラグは、ビデオストリーム１０６のシーケンスパラメータヘッダに含まれ、入力映像フォーマットが４：４：４か、４：２：２か、４：２：０か、４：０：０かのいずれかのフォーマットを示すフラグである。

ビデオストリーム１０６のマクロブロックヘッダ情報の復号処理は色差フォーマット指示フラグの値によって切り替えられる。マクロブロックタイプがイントラ予測を示している場合で、色差フォーマット指示フラグが４：２：０または４：２：２を示している場合にはイントラ色差予測モードをビットストリームから復号する。色差フォーマット指示フラグが４：４：４を示している場合にはイントラ色差予測モードの復号をスキップする。色差フォーマット指示フラグが４：０：０を示している場合、入力映像信号は輝度信号のみで構成されるフォーマット(４：０：０フォーマット)であるため、イントラ色差予測モードの復号をスキップする。

イントラ色差予測モード以外のマクロブロックヘッダ情報の復号処理は、従来のＹＵＶ４：２：０フォーマットのビットストリームの復号機能を備えていない第１のピクチャ復号部３０２の可変長復号部３１０と同じである。

以上により、ビデオストリーム１０６が可変長復号部３１０へ入力されると、色差フォーマット指示フラグ(図示せず)、３成分分の量子化済み変換係数、マクロブロックヘッダ情報（マクロブロックタイプ／サブマクロブロックタイプ、予測オーバヘッド情報、変換ブロックサイズ指定フラグ、量子化パラメータ）を抽出する。予測部３１１には、色差指示フォーマット指示フラグ(図示せず)と予測オーバヘッド情報が入力され、３成分分の予測画像１２７を得る。

図２３に従来のＹＵＶ４：２：０フォーマットのビットストリームに対する互換性を確保する第１のピクチャ復号部３０２の予測部３１１の内部構成を示し、その動作を説明する。

切替部５０１は、マクロブロックタイプを判別し、マクロブロックタイプがイントラ予測であることを示す場合は、切替部５０２にて色差フォーマット指示フラグの値を判別する。色差フォーマット指示フラグの値が、４：２：０または４：２：２のいずれかを示す場合には、予測オーバヘッド情報からイントラ予測モード情報とイントラ色差予測モード情報に従って３成分分の予測画像１２７を得る。３成分のうち、輝度信号の予測画像は、イントラ予測モード情報に従って輝度信号イントラ予測部にて生成される。

色差信号２成分の予測画像は、イントラ色差予測モード情報に従って、輝度成分とは異なる処理を行う色差信号イントラ予測部にて生成される。色差フォーマット指示フラグの値が、４：４：４を示す場合には、３成分すべての予測画像がイントラ予測モード情報に従って輝度信号イントラ予測部にて生成される。色差フォーマット指示フラグの値が、４：０：０を示す場合には、４：０：０フォーマットは輝度信号(１成分)のみで構成されるため、輝度信号の予測画像のみがイントラ予測モード情報に従って輝度信号イントラ予測部にて生成される。

切替部５０１にてマクロブロックタイプがインター予測であることを示す場合は、切替部５０３にて色差フォーマット指示フラグの値を判別する。色差フォーマット指示フラグの値が４：２：０または４：２：２のいずれかを示す場合には、輝度信号については、輝度信号インター予測部にて予測オーバヘッド情報から動きベクトル、参照画像インデックスに従って、ＡＶＣ規格が定める輝度信号の予測画像生成方法に従って予測画像が生成される。

色差信号２成分の予測画像については、色差信号インター予測部にて、予測オーバヘッド情報から得られる動きベクトルを色差フォーマットに基づいてスケーリングして色差動きベクトルを生成し、予測オーバヘッド情報から得られる参照画像インデックスが指示する参照画像から、上記色差動きベクトルに基づいてＡＶＣ規格の定める方法に従って予測画像が生成される。色差フォーマット指示フラグの値が、４：０：０を示す場合には、４：０：０フォーマットは輝度信号(１成分)のみで構成されるため、輝度信号の予測画像のみが動きベクトル、参照画像インデックスに従って輝度信号インター予測部にて生成される。

以上のように、従来のＹＵＶ４：２：０フォーマットの色差信号の予測画像を生成する手段を設け、ビットストリームから復号した色差フォーマット指示フラグの値に応じて３成分の予測画像の生成に用いる手段を切り替えるようにしたため、従来のＹＵＶ４：２：０フォーマットのビットストリームに対する互換性を確保する復号装置を構成することができる。

なお、図２０，図２１の復号装置に供給するビットストリーム１０６に、図１５の復号装置のように色空間変換処理をサポートしない復号装置でも復号が可能であるビットストリームかどうかを示す情報をシーケンスパラメータセットなどの単位で付与しておけば、図２０，図２１、図１５のいずれの復号装置でもそれぞれの復号性能に応じたビットストリームの復号が可能であり、ビットストリームの互換性を確保しやすい効果がある。

実施の形態８．
本実施の形態８では、図１１や図１５など実施の形態７の符号化装置・復号装置において、その入出力対象となるビットストリームの構成のみが異なる別の実施の形態について述べる。本実施の形態８における符号化装置は、図２４に示すビットストリーム構成で符号化データの多重化を行う。

図９の構成のビットストリームにおいて、ＡＵＤ ＮＡＬユニットは、その要素として primary_pic_type という情報を含む。これは、表に示されるように、ＡＵＤ ＮＡＬユニットで始まるアクセスユニット内のピクチャデータが符号化される際のピクチャ符号化タイプの情報を示す。

例えば、primary_pic_type = ０の場合は、ピクチャ内すべてがイントラ符号化されていることを示す。primary_pic_type = １の場合は、イントラ符号化されるスライスと、参照ピクチャリストを１つだけ使用して動き補償予測を行うことが可能なスライスとがピクチャ内で混在できることを示す。primary_pic_typeは、１つのピクチャがどのような符号化モードを使用して符号化できるかを規定する情報であるので、符号化装置側ではこの情報を操作することで、入力映像信号の性質やランダムアクセス機能などの種々の条件に適した符号化を行うことができる。

実施の形態７では、primary_pic_typeがアクセスユニットあたり１つだけしかないので、独立符号化処理を行う場合のアクセスユニットでは３つの色成分ピクチャで primary_pic_type は共通とする。本実施の形態８では、各色成分ピクチャの独立符号化を行う場合に、図９のＡＵＤ ＮＡＬユニット内に、num_pictures_in_au の値に応じて、追加で残り２つの色成分ピクチャ分の primary_pic_type を挿入するか、図２４のビットストリーム構成のように、各色成分ピクチャの符号化データを、色成分ピクチャの開始を示すＮＡＬユニット （Color Channel Delimiter）から開始するように構成し、このCCD ＮＡＬユニット中に、対応するピクチャのprimary_pic_type情報を含むように構成する。なお、実施の形態８のCCD ＮＡＬユニットの概念は、図４で開示されている概念と等価である。

この構成では、各色成分ピクチャの符号化データは１ピクチャ分まとめて多重されるので、実施の形態７で述べた色成分識別フラグ（color_channel_idc）はスライスヘッダではなく、CCD ＮＡＬユニットに含めるようにする。これにより、各スライスへの多重が必要であった色成分識別フラグの情報をピクチャ単位のデータに集約できるので、オーバヘッド情報を削減できる効果がある。

また、バイト列として構成されるCCD ＮＡＬユニットを検出してcolor_channel_idcを色成分ピクチャあたり１度だけ検証すればよく、可変長復号処理を行うことなく色成分ピクチャの先頭をすばやく見つけることができるので、復号装置側で、色成分ごとに復号対象のＮＡＬユニットを分離するためにスライスヘッダ中のcolor_channel_idcを逐一検証しなくてもよくなり、第２のピクチャ復号部へのデータ供給を円滑に行うことができる。

一方で、このような構成では、実施の形態７の図１２で述べたような、符号化装置のバッファサイズ、処理遅延を低減する効果が薄れるため、色成分識別フラグはスライス単位に多重するか、色成分ピクチャ単位に多重するかをより上位のレベル（シーケンスやＧＯＰ）でシグナリングするように構成してもよい。このようなビットストリーム構成をとることで、符号化装置はその利用形態に応じて柔軟な実装を行うことが可能となる。

実施の形態９
さらに、別の実施の形態として、図２５に示すビットストリーム構成で符号化データの多重化を行ってもよい。同図において、図２４ではCCD ＮＡＬユニットに含むようにした color_channel_idc , primary_pic_type は各ＡＵＤに含むようにする。本実施の形態９におけるビットストリーム構成では、独立符号化処理の場合にも、１つのアクセスユニットに１つの（色成分）ピクチャが含まれるように構成する。すなわち、図２５においては、１ピクチャ（１色成分）＝１アクセスユニットとして定義する。

このような構成でも、色成分識別フラグの情報をピクチャ単位のデータに集約できることによるオーバヘッド情報の削減効果、また、バイト列として構成されるＡＵＤ ＮＡＬユニットを検出してcolor_channel_idcをピクチャあたり１度だけ検証すればよく、可変長復号処理を行うことなく色成分ピクチャの先頭をすばやく見つけることができるので、復号装置側で、色成分ごとに復号対象のＮＡＬユニットを分離するためにスライスヘッダ中のcolor_channel_idcを逐一検証することなく第２のピクチャ復号部へのデータ供給を円滑に行うことができる。

一方、１フレームないしは１フィールドの画像は３つのアクセスユニットから構成されるため、３つのアクセスユニットが同一時刻の画像データであることを指定する必要がある。このため、図２５のビットストリーム構成では、さらにＡＵＤの中に、各ピクチャのシーケンス番号（時間方向の符号化・復号順序等）を付与するように構成することもできる。

このような構成によって、復号装置側では、各ピクチャの復号・表示順や色成分属性、ＩＤＲの是非などを、スライスデータを一切復号することなく検証可能となり、ビットストリームレベルの編集や特殊再生を効率よく行うことが可能となる。

また、図９、図２４ないしは図２５のビットストリーム構成において、ＡＵＤやＣＣＤの領域に、ひとつの色成分ピクチャに含まれるスライスＮＡＬユニットの個数を指定する情報を格納するように構成してもよい。

なお、上記すべての実施の形態について、変換処理、逆変換処理は、ＤＣＴのように直交性を保証する変換でもよいし、ＡＶＣのような、厳密にはＤＣＴのような直交変換でなく、量子化・逆量子化処理と組み合わせて直交性を近似する変換であってもよい。また、変換を行わずに、予測誤差信号を画素レベルの情報として符号化するような構成であってもよい。

Claims (2)

1. ４：４：４フォーマットのカラー画像を圧縮符号化して生成されたビットストリームを入力として、カラー画像信号を復号する画像復号装置において、
   前記ビットストリームから、各色成分の信号が独立に４：０：０フォーマットで符号化されているか否かを示す識別情報を復号する上位ヘッダ解析部と、
   前記上位ヘッダ解析部により復号された該識別情報に基づいて、該識別情報が各色成分の信号が独立に４：０：０フォーマットで符号化されていないことを示す場合に、各色成分に対して共通の予測モードと共通の参照画像インデックスと共通の動きベクトルを使用して４：４：４フォーマットのカラー画像信号の復号を行い、該識別情報が各色成分の信号が独立に４：０：０フォーマットで符号化されていることを示す場合に、同一フレームないしはフィールドに属する４：０：０フォーマットで符号化された３枚の独立したピクチャ符号化データをまとめた単位をアクセスユニットとして認識するとともに、各色成分ごとに個別の予測モードと個別の参照画像インデックスと個別の動きベクトルを使用して４：４：４フォーマットのカラー画像信号の復号を行うピクチャ復号部と
   を備えることを特徴とする画像復号装置。
2. ４：４：４フォーマットのカラー画像を圧縮符号化して生成されたビットストリームを入力として、カラー画像信号を復号する画像復号方法において、
   前記ビットストリームから、各色成分の信号が独立に４：０：０フォーマットで符号化されているか否かを示す識別情報を復号する上位ヘッダ解析ステップと、
   前記上位ヘッダ解析ステップにより復号された該識別情報に基づいて、該識別情報が各色成分の信号が独立に４：０：０フォーマットで符号化されていないことを示す場合に、各色成分に対して共通の予測モードと共通の参照画像インデックスと共通の動きベクトルを使用して４：４：４フォーマットのカラー画像信号の復号を行い、該識別情報が各色成分の信号が独立に４：０：０フォーマットで符号化されていることを示す場合に、同一フレームないしはフィールドに属する４：０：０フォーマットで符号化された３枚の独立したピクチャ符号化データをまとめた単位をアクセスユニットとして認識するとともに、各色成分ごとに個別の予測モードと個別の参照画像インデックスと個別の動きベクトルを使用して４：４：４フォーマットのカラー画像信号の復号を行うピクチャ復号ステップと
   を備えることを特徴とする画像復号方法。

Images