JP5400133B2 - 線形形状の画素区画にスライスされた画像または画像シーケンスの符号化および復号 - Google Patents

Description

本発明は、一般に画像処理分野に関し、より詳細には、デジタル画像およびデジタル画像シーケンスを符号化/復号することに関する。

デジタル画像およびデジタル画像シーケンスは大量のメモリスペースを占有することが知られており、そのため、これらの画像を伝送するとき、その伝送に使用する通信ネットワーク上で使用可能なスループットは多くの場合限られており、その通信ネットワークを混雑させる問題を回避するために、それらの画像を圧縮しなければならなくしている。

文書ISO/IEC 14496-10などに示されているH.264/MPEG-4 AVC標準(AVCは、「Advanced Video Coding」を意味する)は、現在画像の、マクロブロックと呼ばれる画素群を、同一画像に属する他のマクロブロックを基準にして空間的に予測することによる技法についてとりわけ記載している。これは、イントラ符号化(または「フレーム内符号化」)と呼ばれるものである。この予測符号化の後、離散コサイン変換形式の変換によりその画素ブロックを変換し、量子化する。その量子化した画素ブロックの係数は、高周波におけるかなりの数のゼロ係数を利用できるようにする読取順序でその後トラバース(traverse)され、次いでエントロピー符号化によって符号化される。

より正確には、16×16タイプのマクロブロックを除き、上記の標準によりマクロブロックを予測符号化する間、そのマクロブロックはより小さいサイズのブロックへと区分化され、そのブロックの形状は長方形または正方形である。画像内のそのようなマクロブロックを空間的に予測することは、このマクロブロックを形成するより小さいサイズの各ブロックを、この同一画像の別のマクロブロックの1つまたは複数のブロックを基準にして予測することにある。この予測は、この他のマクロブロックが、予測しようとするマクロブロックに隣接し、かつその予測しようとするマクロブロックを基準にしてあらかじめ定められた特定の方向、つまり所謂「平常の:casual」隣接では概して上および左側にあるマクロブロックである場合にのみ可能である。

したがって、例えば16×16タイプのマクロブロックの場合、このマクロブロックの下、右側に位置する画素を予測することは、このマクロブロックの上および左側に位置する参照画素を基準にして必ず行われる。そうした参照画素は、予測しようとする画素から空間的に非常に離れている。

したがって、そのような種類の予測の精度は、特に空間活性度の高いマクロブロックの場合、つまり符号化しようとする画像が数多くの詳細を示す場合、最適化されていない。

G.J. SullivanおよびT. Wiegand, "Rate-distortion optimization for video compression," IEEE Signal Proc. Mag., 74〜90頁, 1998年 "Fundamentals of Digital Image Processing", A.K. Jain, published by Prentice Hall

本発明は、予測しようとする画素と参照画素との間の予測距離を最小限に抑えた、画像を符号化/復号するための方法およびデバイスを提供することにより、従来技術の欠点を解決することを目指す。

そのために、本発明は、画像のうちの1つの中の少なくとも1つの画素群を表すデータを含むデータストリームを生成する、画像または画像シーケンスの符号化方法であって、
符号化しようとする画素群について、所定の線形形状の初期区画を選択するステップと、
その選択した初期区画に従って、符号化しようとする画素群を分割するステップと、
その符号化しようとする画素群が、所定形状の複数の区画へと全体として分割されるまで、前述の符号化しようとする画素群の中で、選択した初期区画を増加させるステップと、
その分割した画素群について、区画の所定のトラバーサル順序を選択するステップと、
その選択したトラバーサル順序に従って、区画を次々と予測し、符号化するステップと
を含むことを特徴とする、符号化方法を提案する。

こうして本発明により得られるイントラ符号化は、一方では、慣例的な正方形形状または長方形形状と異なる、特定の形状の区画を増加させることによるそうしたマクロブロック分割により、他方ではマクロブロックの区画の特定のトラバーサル順序により、より近い参照画素を用いて予測を行うことを所与として、従来のイントラ符号化よりはるかに精密描画される。

さらに、区画が正方形または長方形でないことは、画像の特定の構造またはパターンに対し、この符号化をより適切に適合させることを可能にする。

最後に、区画のトラバーサル順序が従来のトラバーサル順序に対して異なることは、異なる形状およびサイズの新たな区画を作成できるようにする。そのような区画は、既に符号化されその後復号された、いくつもの区画から生じる参照画素を使用できる利点を提供する。

有利な特徴によれば、画素群の中の現在区画を予測することおよび符号化することは、少なくとも1つの参照区画を基準にして行われ、後者の参照区画は、現在区画の前に増加され、かつ既に符号化されその後復号されている区画である。

したがって、そうした提供は、予測しようとする画素と参照画素との間の予測距離を満足のいく方法で減らすことを可能にする。

他の有利な特徴によれば、
選択した、区画のトラバーサル順序は、それらの区画が増加された順序と同じであり、つまりそのような実施形態は、
予測しようとする現在区画の画素を、直接隣接する参照区画の画素を基準にして系統的に予測すること、
区画ごとに、より局所化された、したがってその区画の内容により適切に適合された周波数変換を適用すること
を可能にし、
選択した、区画のトラバーサル順序は、少なくとも1つの現在区画を、その現在区画に直接隣接する2つの参照区画を基準にして予測することおよび符号化することを可能にし、つまりそのような実施形態は、予測精度を改良することを可能にし、
選択した、区画のトラバーサル順序は二分タイプ(dichotomic type)のものであり、つまりそのような実施形態は予測精度をなおいっそう改良することを可能にする。

さらに別の有利な特徴によれば、このデータストリームは、選択した区画の形状に関係する情報および選択したトラバーサル順序に関係する情報を含む。

したがって、復号器は、復号しようとする現在のマクロブロックについて、増加させようとする区画の形状、およびそうしたマクロブロックの区画をその復号器が復号する順序を決定論的方法で推論することができる。

本発明は、画像または画像シーケンスを表すデータストリームの復号方法であって、そのようなストリームは画像のうちの1つの中の少なくとも1つの画素群を表すデータを含み、
復号しようとするストリーム内で、所定の線形形状の初期区画を求めるステップと、
その求めた初期区画に従って、復号しようとする画素群を分割するステップと、
その復号しようとする画素群が、所定形状の複数の区画へと全体として分割されるまで、前述の復号しようとする画素群の中で、求めた初期区画を増加させるステップと、
復号しようとするストリーム内で、区画のトラバーサル順序を求めるステップと、
その求めたトラバーサル順序に従って、区画を次々と復号するステップと
を含むことを特徴とする、復号方法にも関する。

他の有利な特徴によれば、
画素群の中の現在区画を復号することは、少なくとも1つの参照区画を基準にして行われ、その参照区画は、現在区画の前に増加されかつ既に復号されている区画であり、
区画のトラバーサル順序は、それらの区画が増加された順序と同じであり、
区画のトラバーサル順序は、少なくとも1つの現在区画を、その現在区画に直接隣接する2つの参照区画を基準にして復号することを可能にし、
区画のトラバーサル順序は二分タイプのものである。

本発明は、画像または画像シーケンスを表すデータストリームを運ぶ搬送波信号であって、そのストリームは画像のうちの1つの中の少なくとも1つの画素群を表すデータを含み、
その表すデータの一部は、画素群の予測および符号化時に選択された初期区画の所定の線形形状に関係し、
その表すデータの他のものは、区画を予測することおよび符号化することを目的として、前述の画素群を形成しかつ選択した初期区画を増加させる結果として生じる区画のトラバーサル順序に関係することを特徴とする、搬送波信号にも関する。

本発明は、画像のうちの1つの中の少なくとも1つの画素群を表すデータを含むデータストリームを生成する、画像または画像シーケンスを符号化するためのデバイスであって、
符号化しようとする画素群について、所定の線形形状の初期区画を選択するための手段と、
その選択した初期区画に従って、符号化しようとする画素群を分割するための手段と、
その符号化しようとする画素群が、所定形状の複数の区画へと全体として分割されるまで、前述の符号化しようとする画素群の中で、選択した初期区画を増加させるための手段と、
その分割した画素群について、区画の所定のトラバーサル順序を選択するための手段と、
その選択したトラバーサル順序に従って、区画を次々と予測し、符号化するための手段と
を備えることを特徴とする、デバイスにさらに関する。

本発明は、画像または画像シーケンスを表すデータストリームを復号するためのデバイスであって、そのストリームは画像のうちの1つの中の少なくとも1つの画素群を表すデータを含み、
復号しようとするストリーム内で、所定の線形形状の初期区画を求めるための手段と、
その求めた初期区画に従って、復号しようとする画素群を分割するための手段と、
その復号しようとする画素群が、所定形状の複数の区画へと全体として分割されるまで、前述の復号しようとする画素群の中で、求めた初期区画を増加させるための手段と、
復号しようとするストリーム内で、区画のトラバーサル順序を求めるための手段と、
その求めたトラバーサル順序に従って、区画を次々と復号するための手段と
を備えることを特徴とする、デバイスにも関する。

本発明は、コンピュータ上で実行されるとき、本発明による方法の1つを実施するための命令を含む、コンピュータプログラムにさらに関する。

諸図面を参照して説明する、好ましい実施形態を読むことにより、他の特徴および利点が明らかになろう。

本発明による符号化方法のステップを示す図である。 本発明による符号化デバイスの一実施形態を示す図である。 本発明による符号化デバイス内で選択されそうな、様々な線形形状の区画を示す図である。 図3に示す様々な初期区画を増加させることによって区分化されたマクロブロックを示す図である。 3つのあり得るトラバーサル順序に従って予測されている、図4Aの区分化されたマクロブロックを示す図である。 図5に示す3つのトラバーサル順序のうちの1つに従って予測されている、図4Cの区分化されたマクロブロックを示す図である。 本発明による符号化デバイスによって符号化されたマクロブロックの構造を示す図である。 図7の符号化されたマクロブロックの構造を構成するフィールドの詳細を示す図である。 本発明による復号デバイスを示す図である。 本発明による復号方法のステップを示す図である。

次に、本発明の一実施形態について説明し、この実施形態では本発明による符号化方法を使用して、H.264/MPEG-4 AVC標準による符号化によって得られるバイナリストリームに近いバイナリストリームによって画像シーケンスを符号化する。この実施形態では、H.264/MPEG-4 AVC標準に従って符号器を最初に修正することにより、本発明による符号化方法を例えばソフトウェア様式またはハードウェア様式によって実施する。本発明による符号化方法を、図1に示すステップC1からC6を含むアルゴリズム形式で示す。

H.264/MPEG-4 AVC標準に従って復号器を最初に修正することにより、本発明による復号方法がソフトウェア様式またはハードウェア様式によって対称的に実施されることに留意すべきである。

本発明の一実施形態によれば、本発明による符号化方法は、図2に示す符号化デバイスCOによって実施される。この符号器COが実行する符号化は、イントラタイプのものである。

図1に示す最初のステップC1は、符号化しようとする画像シーケンスの画像IEに属する画素群またはマクロブロックについて、1組の所定のあらかじめ定められた線形形状の区画の中から選ばれる、特定の区画を選択することである。このために、例えば8×8サイズの画像IEに属するマクロブロックMBを、図2に示す区画選択モジュールSPに入力として与える。

この区画を選択するためのモジュールSPは、例えば網羅的な競争(exhaustive competition)に基づく選択手順、あるいはアプリオリアルゴリズムの助けによる選択手順を使用する。そうした手順は、当業者によく知られている(参照:G.J. SullivanおよびT. Wiegand, “Rate-distortion optimization for video compression,” IEEE Signal Proc. Mag., 74〜90頁, 1998年)。したがって、それらの手順についてこれ以上説明しない。

上述の区画は、符号器COのデータベースBD1の中で一緒にされる。それらの区画は線形形状を有することを特徴とし、その線形形状は、それらの区画と従来技術の符号化技法で慣例的に使用された正方形または長方形の区画とを明らかに区別する。

図3に、この選択モジュールSPによって選択されそうな、例えば8×8サイズのマクロブロックの様々な区画を非限定的な例として示す。

図3Aは、行形式の初期区画P1に従って分割したマクロブロックMBを示す。

図3Bは、列形式の初期区画P1に従って分割したマクロブロックMBを示す。

図3Cは、「L」の形を有する初期区画P1に従って分割したマクロブロックMBを示す。

図3Dは、ばつ印の形を有する初期区画P1に従って分割したマクロブロックMBを示す。

図3Eは、垂直区間、水平区間、および斜め区間を含む、折れ線の形を有する初期区画P1に従って分割したマクロブロックMBを示す。

図3Fは、点を形成するようにその両端がつながる、折れ線の形を有する初期区画P1に従って分割したマクロブロックMBを示す。このような折れ線は、例えば前の画像内の同じ位置にあった(同じ場所に配置された)マクロブロックの勾配によって決定される。

図1に示す次のステップC2は、選択した初期区画P1に従ってマクロブロックMBを区分化することである。この区分化は、図2に示すマクロブロック区分化モジュールPMBによって実行される。このために、図3に示すように、この区分化モジュールPMBは、選択した初期区画P1に従ってマクロブロックMBを最初に分割することを目的とする、分割サブモジュールPARTを備える。

図2を参照すると、この区分化モジュールPMBは、マクロブロックMBがn+1の数の所定形状の区画へと全体として分割されるまで、マクロブロックMBの中で上述の選択した初期区画P1をnの回数(nは整数である)増加させることを目的とする、増加サブモジュールPROPをさらに備える。

増加モジュールPMBは増加アルゴリズムを使用し、その増加アルゴリズムは、例えば当業者によく知られている膨張処理(dilation)など、例えば数学的モルフォロジー演算子を使用する。そのような膨張処理については、著作:”Fundamentals of Digital Image Processing”, A.K. Jain, published by Prentice Hallの中で具体的に記載されている。

したがって、そのようなアルゴリズムは、初期区画がどのような形状であろうと、決定論的様式で有利にマクロブロックを区分化することを可能にする。

本発明の改変形態によれば、この増加アルゴリズムは、少なくとも前の区画が符号化されその後復号された時点で、予測しようとする現在区画Pj(1≦j≦n+1)と少なくとも前の区画Pj-1との間の予測距離を最小限に抑えるための計算機能を使用することができる。

図4は、図3に示す初期区画P1に従って分割した後に得られたマクロブロックMBpartを示す。

確認できるように、本発明による増加アルゴリズムは、このようにして得た区画P1,....,Pn+1が、
初期区画P1と同じ形状または実質的に同じ形状を有し、
マクロブロックMBpart内で重ならず、
必ずしも同じ画素数を有さない
ような方法で設計されている。

図4Aは、すべてが行形式でありかつ同じ画素数を有する8つの区画P1,...,P8を含む、区分化されたマクロブロックMBpartを示す。

図4Bは、すべてが列形式でありかつ同じ画素数を有する8つの区画P1...P8を含む、区分化されたマクロブロックMBpartを示す。

図4Cは、最後の区画P8を除き、すべてが「L」の形を有するが、それぞれ異なる画素数を有する8つの区画P1...P8を含む、区分化されたマクロブロックMBpartを示す。

図4Dは、ほぼすべてがばつ印の形を有するが、異なる画素数を有する4つの区画P1...P4を含む、区分化されたマクロブロックMBpartを示す。

図4Eは、ほぼすべてが垂直区間、水平区間、および斜め区間を含む、折れ線の形を有するが、それぞれ異なる画素数を有する4つの区画P1...P4を含む、区分化されたマクロブロックMBpartを示す。

図4Fは、すべてが、その両端がつながる折れ線の形を有するが、それぞれ異なる画素数を有する4つの区画P1...P4を含む、区分化されたマクロブロックMBpartを示す。

区分化ステップC2に続いて、図1に示すステップC3の過程で、区分化モジュールPMBが、区分化したばかりのマクロブロックMBpartを図2に示す予測計算モジュールPREDに伝送する。

図1に示すステップC4の過程で、その予測計算モジュールPREDが、受信済みの区分化されたマクロブロックMBpartの様々なあり得る予測を計算する。符号器COがイントラタイプのものであることを考慮し、予測計算モジュールPREDは、前に符号化されその後復号された最後の区画を基準にして、マクロブロックMBpartの各区画P1,....,Pn+1についてのあり得る空間的予測を計算する。

特に有利な方法では、予測計算モジュールPREDがマクロブロックMBpartの区画を次々と予測し、予測しようとする現在区画は、参照区画として働くよう、その現在区画の直前にありかつ符号化されその後復号されている区画を基準にして予測される。

したがって、予測しようとする上述の区画の画素に近接して位置する参照画素を基準にして区画の予測を行うため、予測距離が最小限に抑えられる。

図2を参照すると、そのような参照区画はH.264/MPEG-4 AVC標準に従って符号化され、つまりその参照区画はそれ自体で知られている方法で、
変換および量子化モジュールMTQが行う、離散コサイン変換および量子化による符号化と、
次いで、逆変換および逆量子化モジュールMTQIが行う、逆離散コサイン変換および逆量子化による復号と
にかけられる。

記載の実施形態では、予測計算モジュールPREDが区分化されたマクロブロックMBpartの区画P1,....,Pn+1を予測する可能性がある、諸区画についての3つの異なるトラバーサル順序O1、O2、O3にそれぞれ対応する3種類の空間的予測を考える。

選択した初期区画P1の1つおよび同じ形状について、前に述べた3つのトラバーサル順序に従って予測した3つのマクロブロックMBpredを図5に関して示す。

図5に示す例では、予測しようとするそれぞれの区分化されたマクロブロックMBpartは図4Aのものであり、つまり行形式の8つの区画P1,...,P8に分割されていると想定する。しかし当然ながら、図4Bから図4Fに示す他の形状を有する区画も、これから説明する3つのトラバーサル順序O1、O2、O3に従って予測するのに適している。

図5Aを参照すると、マクロブロックMBpartの区画P1,...,P8は、それらの区画が図4Aで増加された順序で次々と予測されている。

より正確には、初期区画と呼ばれる最初の区画P1を予測するように、図2の予測計算モジュールPREDが、マクロブロックMBpartの最初の行を左から右へとトラバースする。選択される最初の予測行は、マクロブロックMBpartの最初の行に相当する。予測計算モジュールPREDは、前に説明したように、符号化されその後復号されたばかりの隣接するマクロブロック(不図示)の参照区画PRの画素を基準にして、上述の区画P1を予測する。予測計算モジュールPREDは、変換および量子化モジュールMTQによって直ちに符号化され、次いで逆変換および逆量子化モジュールMTQIによって復号される最初の予測区画を送る。これらの操作を完了すると、図5Aに示すような参照区画PR1が得られる。

その後、予測計算モジュールPREDは、マクロブロックMBpartの2行目を左から右へとトラバースする。この選択される2行目は、マクロブロックMBpartの2行目である。予測計算モジュールPREDは、この2行目を、マクロブロックMBpartの第2の区画P2の予測に割り当てることを選ぶ。予測計算モジュールPREDは、上記で説明したように、符号化されその後復号されたばかりの区画PR1の画素を基準にして、上述の区画P2を予測する。予測計算モジュールPREDは、変換および量子化モジュールMTQによって直ちに符号化され、次いで逆変換および逆量子化モジュールMTQIによって復号される第2の予測区画を送る。これらの操作を完了すると、図5Aに示すような参照区画PR2が得られる。

予測計算モジュールPREDは、図4AのマクロブロックMBpartの区画P3、P4、P5、P6、P7、次いでP8について、上述の方法で続行する。この予測が完了すると、および図5Aを参照すると、予測されたマクロブロックMBpredが得られ、予測された区画PR1、PR2,....,PR8は、関連する区画P1、P2,...,P8が増加された順序で、予測されたマクロブロックMBpredの中で互いに続く。

次に図5Bを参照すると、マクロブロックMBの区画が次々と予測されているが、図4Aで増加された順序とは異なる順序で予測されている。

より正確には、図2の予測計算モジュールPREDは、図4Aに示すマクロブロックMBpartの最初の行を左から右へとトラバースし、この最初の行は、初期区画P1の予測に割り当てるよう意図される。選択される最初の行は、マクロブロックMBpartの2行目に相当する。次いで予測計算モジュールPREDは、前に説明したように、符号化されその後復号されたばかりの隣接するマクロブロック(不図示)の参照区画PRの画素を基準にして、上述の区画P1を予測する。参照区画PRの参照画素は、図5Aの例でそうであったように、予測しようとする画素のすぐ近くにはないが、それでもなお、これらの参照画素は予測距離を適正に最小限に抑えるには十分である。予測計算モジュールPREDは、変換および量子化モジュールMTQによって直ちに符号化され、次いで逆変換および逆量子化モジュールMTQIによって復号される最初の予測区画を送る。これらの操作を完了すると、図5Bに示すような参照区画PR1が得られる。

その後、予測計算モジュールPREDは、マクロブロックMBpartの2行目を左から右へとトラバースし、この2行目は、第2の区画P2の予測に割り当てるよう意図される。この選択される2行目は、マクロブロックMBpartの1行目である。予測計算モジュールPREDは、上記で説明したように、符号化されその後復号されたばかりの区画PR1の画素を基準にするだけでなく、上述の参照区画PRの画素も基準にして上述の区画P2を予測する。

予測計算モジュールPREDは、変換および量子化モジュールMTQによって直ちに符号化され、次いで逆変換および逆量子化モジュールMTQIによって復号される第2の予測区画を送る。これらの操作を完了すると、図5Bに示すような参照区画PR2が得られる。

したがって、区画P2を、単一の参照区画を基準にして予測するのではなく、区画P2に直接隣接する2つの参照区画を基準にして予測するため、区画P2の予測は図5Aの例におけるよりはるかに正確である。

予測計算モジュールPREDは、上述の方法で続行し、図4AのマクロブロックMBpartの区画P3、P4、P5、P6、P7、およびP8の予測を、4行目、3行目、6行目、5行目、8行目、および7行目についてそれぞれ行う。この予測が完了すると、および図5Bを参照すると、予測されたマクロブロックMBpredが得られ、予測された区画PR2、PR1,...Pi+1、Pi,..., PR8、PR7は、区画P1からP8の増加順序と異なる順序で、予測されたマクロブロックMBpredの中で互いに続く。

直線型の区分化に関連してたった今説明したトラバーサル順序の選択は、従来のイントラ符号化で得られる利得を基準にして、スループットにおいて約4%の利得を得ることを可能にする。

次に図5Cを参照すると、マクロブロックMBpartの区画が、ここでも図4Aで増加された順序と異なる順序で次々と予測されている。図5Cで説明するトラバーサル順序は、二分タイプのものである。

より正確には、図2の予測計算モジュールPREDは、図4Aに示すマクロブロックMBpartの最初の行を左から右へとトラバースし、この最初の行は、初期区画P1の予測に割り当てるよう意図される。選択される最初の行は、マクロブロックMBpartの最後の行に相当する。次いで予測計算モジュールPREDは、前に説明したように、符号化されその後復号されたばかりの隣接するマクロブロック(不図示)の参照区画PRの画素を基準にして、上述の区画P1を予測する。予測計算モジュールPREDは、変換および量子化モジュールMTQによって直ちに符号化され、次いで逆変換および逆量子化モジュールMTQIによって復号される最初の予測区画を送る。これらの操作を完了すると、図5Cに示すような参照区画PR1が得られる。

その後、予測計算モジュールPREDは、マクロブロックMBpartの2行目を左から右へとトラバースし、この2行目は、第2の区画P2の予測に割り当てるよう意図される。この選択される2行目は、マクロブロックMBpartの4行目である。予測計算モジュールPREDは、上記で説明したように、符号化されその後復号されたばかりの区画PR1の画素を基準にするだけでなく、上述の参照区画PRの画素も基準にして上述の区画P2を予測する。

予測計算モジュールPREDは、変換および量子化モジュールMTQによって直ちに符号化され、次いで逆変換および逆量子化モジュールMTQIによって復号される第2の予測区画を送る。これらの操作を完了すると、図5Cに示すような参照区画PR2が得られる。

区画P2から実質的に離れている参照画素を用いて行われるとはいえ、区画P2を、単一の参照区画を基準にして予測するのではなく、2つの参照区画を基準にして予測するため、区画P2の予測は図5Aの例におけるよりはるかに正確である。

その後、予測計算モジュールPREDは、マクロブロックMBpartの3行目を左から右へとトラバースし、この3行目は、第3の区画P3の予測に割り当てるよう意図される。この選択される3行目は、マクロブロックMBpartの2行目である。予測計算モジュールPREDは、上記で説明したように、符号化されその後復号されたばかりの区画PR2の画素を基準にするだけでなく、上述の参照区画PRの画素も基準にして上述の区画P3を予測する。

予測計算モジュールPREDは、変換および量子化モジュールMTQによって直ちに符号化され、次いで逆変換および逆量子化モジュールMTQIによって復号される第3の予測区画を送る。これらの操作を完了すると、図5Cに示すような参照区画PR3が得られる。

その後、予測計算モジュールPREDは、マクロブロックMBpartの4行目を左から右へとトラバースし、この4行目は、第4の区画P4の予測に割り当てるよう意図される。この選択される4行目は、マクロブロックMBpartの6行目である。予測計算モジュールPREDは、区画P4に最も近い参照区画の画素、すなわち区画PR1の画素および区画PR2の画素を基準にして、上述の区画P4を予測する。

予測計算モジュールPREDは、変換および量子化モジュールMTQによって直ちに符号化され、次いで逆変換および逆量子化モジュールMTQIによって復号される第4の予測区画を送る。これらの操作を完了すると、図5Cに示すような参照区画PR4が得られる。

その後、予測計算モジュールPREDは、マクロブロックMBpartの5行目を左から右へとトラバースし、この5行目は、第5の区画P5の予測に割り当てるよう意図される。この選択される5行目は、マクロブロックMBpartの1行目である。予測計算モジュールPREDは、区画P5に最も近い参照区画の画素、すなわち区画PRの画素および区画PR3の画素を基準にして、上述の区画P5を予測する。

予測計算モジュールPREDは、変換および量子化モジュールMTQによって直ちに符号化され、次いで逆変換および逆量子化モジュールMTQIによって復号される第5の予測区画を送る。これらの操作を完了すると、図5Cに示すような参照区画PR5が得られる。

その後、予測計算モジュールPREDは、マクロブロックMBpartの6行目を左から右へとトラバースし、この6行目は、第6の区画P6の予測に割り当てるよう意図される。この選択される6行目は、マクロブロックMBpartの3行目である。予測計算モジュールPREDは、
区画P6に最も近い参照区画の画素、すなわち区画PR2および区画PR3の画素を基準にするだけでなく、
区画P6からさらに離れており、区画P6を基準にして同じ区画数だけシフトした参照区画の画素、すなわち区画PRおよび区画PR4の画素も基準にして
上述の区画P6を予測する。

予測計算モジュールPREDは、変換および量子化モジュールMTQによって直ちに符号化され、次いで逆変換および逆量子化モジュールMTQIによって復号される第6の予測区画を送る。これらの操作を完了すると、図5Cに示すような参照区画PR6が得られる。

その後、予測計算モジュールPREDは、マクロブロックMBpartの7行目を左から右へとトラバースし、この7行目は、第7の区画P7の予測に割り当てるよう意図される。この選択される7行目は、マクロブロックMBpartの5行目である。予測計算モジュールPREDは、
区画P7に最も近い参照区画の画素、すなわち区画PR2および区画PR4の画素を基準にするだけでなく、
区画P7からさらに離れており、区画P7を基準にして同じ区画数だけシフトした参照区画の画素、すなわち区画PR1および区画PR5の画素も基準にして
上述の区画P7を予測する。

予測計算モジュールPREDは、変換および量子化モジュールMTQによって直ちに符号化され、次いで逆変換および逆量子化モジュールMTQIによって復号される第7の予測区画を送る。これらの操作を完了すると、図5Cに示すような参照区画PR7が得られる。

その後、予測計算モジュールPREDは、マクロブロックMBpartの8行目を左から右へとトラバースし、この8行目は、第8の区画P8の予測に割り当てるよう意図される。この選択される8行目は、マクロブロックMBpartの7行目である。予測計算モジュールPREDは、区画P8に最も近い参照区画の画素、すなわち区画PR1および区画PR4の画素を基準にして、上述の区画P8を予測する。

予測計算モジュールPREDは、変換および量子化モジュールMTQによって直ちに符号化され、次いで逆変換および逆量子化モジュールMTQIによって復号される第8の予測区画を送る。これらの操作を完了すると、図5Cに示すような参照区画PR8が得られる。

図5Cに示すトラバーサル順序によれば、特定の区画の予測を、それらの区画から実質的に離れている参照画素を用いて行うとはいえ、一部の区画を2つの参照区画を基準にして予測し、他のある区画は4つの参照区画を基準にして予測し得ることを考慮し、マクロブロックMBpartの予測精度は全体として高いままである。

この予測が完了すると、および図5Cを参照すると、予測されたマクロブロックMBpredが得られ、予測された区画PR5、PR3,...、PR2,...、PR8、PR1が、区画P1からP8の増加順序と異なる二分順序(dichotomic order)により、予測されたマクロブロックMBpredの中で互いに続く。

直線型の区分化に関連してたった今説明したトラバーサル順序の選択は、従来のイントラ符号化で得られる利得を基準にして、スループットにおいて約3%の利得を得ることを可能にする。

たった今説明した区画の第3のトラバーサル順序は、不均一なテクスチャのマクロブロックMBpartを予測するのに特に適しており、これは、画像IEがこの区画に似たパターン上に数多くの詳細または輝度のばらつきを含む場合に当てはまる。図3Cに示す「L」字型の初期区画P1を選択することにより、スループットおよび歪みの観点から使用した符号化のコストが、大幅に減ったことがとりわけ観察されている。

「L」字型の初期区画P1を増加させることに基づいて、この第3のトラバーサル順序に従って予測した予測マクロブロックMBpredを図6に示す。

参照区画PRから非常に離れている第1の予測区画PR1を得る場合、スループットおよび歪みに関するコストは確かに高い。しかし、この第1の予測は単一画素に基づいて行われており、これは図4CのマクロブロックMBpartの他の区画の画素を予測することに役立つことができる利点をもたらす。最終的に、マクロブロックMBpartの予測は全体として、ブロックによる従来の予測の場合よりも、または他の上述の区画のトラバーサル順序の場合よりも優れた精度のものとなる。

予測計算モジュールPREDがあり得る予測を計算すると、図1に示すステップC5の過程で、図2に示す決定モジュールDCNが画像IEの区分化されたマクロブロックをトラバースし、このステップC5で、これらのマクロブロックのそれぞれを符号化するために使用する予測モードを選択する。マクロブロックに関するあり得る予測の中から、この決定モジュールDCNは、当業者によく知られている歪みスループット基準に従って最適な予測を選択する。

符号化しようとする現在のマクロブロックMBについて、決定モジュールDCNは、例えば
図5に示す3つの区画トラバーサル順序であって、現在のマクロブロックMBは例えば図4Aに示すように区分化されている、3つの区画トラバーサル順序、
および従来の予測モードであって、現在のマクロブロックMBは8×8サイズの正方形形状のブロックに従って区分化されている、従来の予測モード
を競争させる。

別の改変形態によれば、決定モジュールDCNは、例えば
図5Aおよび図5Bにそれぞれ示す2つの区画トラバーサル順序O1、O2であって、現在のマクロブロックMBは例えば図4Aに示すように区分化されている、2つの区画トラバーサル順序O1、O2、
図6に示す二分トラバーサル順序O3であって、現在のマクロブロックMBは例えば図4Cに示すように区分化されている、二分トラバーサル順序O3、
および従来の予測モードであって、現在のマクロブロックMBは8×8サイズの正方形形状のブロックに従って区分化されている、従来の予測モード
を競争させる。

ステップC6の過程で、それぞれの予測されたマクロブロックMBpredを、H.264/MPEG-4 AVC標準にあるように符号化する。画像IEの符号化されたマクロブロックのスライスTを示す図7に関し、より詳細には、それぞれの符号化されたマクロブロックは、検討されるマクロブロックMBの符号化形式を指定するフィールドCH1であって、示した実施形態の場合はイントラである、フィールドCH1と、選択される区画の形状(正方形、行、列、ばつ印、「L」等)を指示するフィールドCH2と、使用される予測モード(従来の予測モード、または上記に記載したようなトラバーサル順序O1、O2もしくはO3)を指示するフィールドCH3と、予測されたマクロブロックMBpredの残差(residuals)の値を符号化するフィールドCH4とを含む。

図8に見られるように、フィールドCH3の中に符号化される情報は、図2に示す符号器COのデータベースBD2の中に前に含まれている。

再び図8を参照すると、そうした対応情報は、4列の対応表TCの中に記憶される。1列目は、増加された順序でマクロブロックMBpartのすべての区画を列挙する、「区画」フィールドを含む。2列目から4列目は、上述したように、各増加済み区画を予測するための特定のトラバーサル順序番号を各増加済み区画に割り当てる、「トラバーサル順序」フィールドO1、O2、O3をそれぞれ含む。

決定モジュールDCNがこの構造符号化を実行すると、離散コサイン変換とその後に続く量子化にかけるよう、存在する場合、画像IEのブロックに対応する残差係数が、変換および量子化モジュールMTQに送り出される。その後、この画像IEと同じ方法で既に符号化されているビデオシーケンスの他の画像とともに、本発明により符号化されるバイナリビデオストリームFを作成するよう、これらの量子化された係数とともにマクロブロックのスライスを、エントロピー符号化モジュールCEに伝送する。

そうして符号化されるバイナリストリームFは、通信ネットワークにより遠隔端末に伝送される。後者の遠隔端末は、図9に示す本発明による復号器DECを備える。

バイナリストリームFは、エントロピー復号モジュールDEにまず送り出され、その復号は、図2に示すエントロピー符号化モジュールCEによって実行されるものと逆である。次に、再構築しようとする画像マクロブロックごとに、モジュールDEが復号した係数を逆量子化および逆変換モジュールQTIに送り出す。

次いで、画像再構築モジュールRIが、本発明による符号化のステップC5でモジュールDCN(図2)が作成したデータに対応する、復号済みデータを伝送誤差の範囲内で受け取る。このモジュールRIは、図10に示すような本発明による復号方法のステップD1からD4を実施する。

最初のステップD1は、復号しようとする画像IEの現在のマクロブロックのスライスT内に符号化されたデータ構造を復号することである。それ自体で知られている方法で、この再構築モジュールRIは、フィールドCH1(図7)内で、スライスTのデータがイントラタイプの符号化にかけられていると判断する。

この同じステップの過程で、再構築モジュールRIは、本発明による復号方法に従い、
フィールドCH2(図7)により、再構築しようとする初期区画P1の形状、
フィールドCH3により、決定モジュールDCN(図2)が選択した最適な予測モード
を判断する。

例えば、初期区画P1の形状が図4Cに示すような「L」であり、最適な予測モードが図5Cに示すトラバーサル順序O3の場合、再構築モジュールRIは、そこから現在のマクロブロックの様々な区画P1からP8を復号する順序を推論する。そうした推論は、図8に示し、復号器DECに記憶される表TCを用いて行われる。

図10に示す次のステップD2は、ステップD1で求めた初期区画P1に従って、復号しようとする現在のマクロブロックを区分化することである。この区分化は、図2に示すPMBとあらゆる点で似ている、マクロブロックを区分化するためのモジュールPMBによって行われる。

このために、図10を参照すると、区分化モジュールPMBは、
求めた初期区画P1に従って、復号しようとする現在のマクロブロックを最初に分割することを目的とする、分割サブモジュールPART、
マクロブロックMBがn+1の数の所定形状の区画へと全体として分割されるまで、マクロブロックMBの中で上述の求めた初期区画P1をnの回数(nは整数である)増加させることを目的とする、増加サブモジュールPROP
を備える。

増加モジュールPMBは、前に説明した種類の増加アルゴリズムを使用する。

区分化ステップD2に続いて、図10に示すステップD3の過程で、区分化モジュールPMBは、復号しようとしかつn+1の区画へと区分化されたばかりの現在のマクロブロックを、図9に示す区画復号モジュールDECPに伝送する。

図10に示すステップD4の過程で、モジュールDECPは、次にステップD1で求めた復号順序に従い、このn+1の区画の復号を行う。

このために、復号しようとする現在のマクロブロックの、復号しようとする区画ごとに、復号モジュールDECPは、図9に示す予測計算モジュールPREDによって与えられる直前の区画の予測値を使用する。

予測計算モジュールPREDは、再構築モジュールRIが前に復号した区画の値を実際に受け取り、それらの値をメモリの中に保つ。

画像IEのマクロブロックのn+1の区画は、図7に示すフィールドCH1内で指示されるイントラ空間的予測を使用して復号される。

画像IEのすべてのマクロブロックを復号すると、画像再構築モジュールRIが、復号器DECからの出力として画像IEを復号することに対応する画像IDを提供する。

Claims (14)

1. 画像のうちの１つの中の少なくとも１つの画素群を表すデータを含むデータストリームを生成する、画像または画像シーケンスの符号化方法であって、
   符号化しようとする画素群について、線形形状の初期区画を選択するステップと、
   前記選択した初期区画に従って、前記符号化しようとする画素群を分割するステップと、
   （前記符号化しようとする）画素群が、所定形状の複数の区画へと全体として分割されるまで、前記符号化しようとする画素群の中で、前記選択した初期区画を増加させるステップと、
   前記分割した画素群について、前記区画の所定のトラバーサル順序を選択するステップと、
   前記選択したトラバーサル順序に従って、前記区画を次々と予測するステップと、
   前記予測の中から、所定の基準に従って選択を行うステップと、
   前記選択の結果に基づいて符号化を行うステップと、
   を含むことを特徴とする、符号化方法。
2. 前記画素群の中で現在区画を前記予測することおよび符号化することは、少なくとも１つの参照区画を基準にして行われ、前記参照区画は、前記現在区画の前に増加され、かつ既に符号化されその後復号されている区画である、請求項１に記載の符号化方法。
3. 前記選択した、前記区画のトラバーサル順序は、前記区画が増加された順序と同じである、請求項２に記載の符号化方法。
4. 前記選択した、前記区画のトラバーサル順序は、少なくとも１つの現在区画を、前記現在区画に直接隣接する２つの参照区画を基準にして前記予測することおよび符号化することを可能にする、請求項２に記載の符号化方法。
5. 前記選択した、前記区画のトラバーサル順序は二分タイプのものである、請求項２に記載の符号化方法。
6. 前記データストリームが、前記選択した区画の前記形状に関係する情報、および選択した前記トラバーサル順序に関係する情報を含む、請求項１から５のいずれか一項に記載の符号化方法。
7. 画像または画像シーケンスを表すデータストリームの復号方法であって、前記ストリームは前記画像のうちの１つの中の少なくとも１つの画素群を表すデータを含み、
   前記復号しようとするストリーム内で、所定の線形形状の初期区画を求めるステップと、
   前記求めた初期区画に従って、前記復号しようとする画素群を分割するステップと、
   （前記復号しようとする）画素群が、所定形状の複数の区画へと全体として分割されるまで、前記復号しようとする画素群の中で、前記求めた初期区画を増加させるステップと、
   （前記復号しようとする）ストリーム内で、前記区画のトラバーサル順序を求めるステップと、
   前記求めたトラバーサル順序に従って、前記区画を次々と復号するステップと
   を含むことを特徴とする、復号方法。
8. 前記画素群の中の現在区画を前記復号することは、少なくとも１つの参照区画を基準にして行われ、前記参照区画は、前記現在区画の前に増加されかつ既に復号されている区画である、請求項７に記載の復号方法。
9. 前記区画の前記トラバーサル順序は、前記区画が増加された順序と同じである、請求項８に記載の復号方法。
10. 前記区画の前記トラバーサル順序は、少なくとも１つの現在区画を、前記現在区画に直接隣接する２つの参照区画を基準にして前記復号することを可能にする、請求項８に記載の復号方法。
11. 前記区画の前記トラバーサル順序は二分タイプのものである、請求項８に記載の復号方法。
12. 画像のうちの１つの中の少なくとも１つの画素群を表すデータを含むデータストリームを生成する、画像または画像シーケンスを符号化するためのデバイスであって、
    符号化しようとする画素群について、所定の線形形状の初期区画を選択するための手段と、
    前記選択した初期区画に従って、前記符号化しようとする画素群を分割するための手段と、
    前記符号化しようとする画素群が、所定形状の複数の区画へと全体として分割されるまで、前記符号化しようとする画素群の中で、前記選択した初期区画を増加させるための手段と、
    前記分割した画素群について、前記区画の所定のトラバーサル順序を選択するための手段と、
    前記選択したトラバーサル順序に従って、前記区画を次々と予測するための手段と、
    前記予測の中から、所定の基準に従って選択を行うための手段と、
    前記選択の結果に基づいて符号化を行うための手段と、
    を備えることを特徴とする、デバイス。
13. 画像または画像シーケンスを表すデータストリームを復号するためのデバイスであって、前記ストリームは前記画像のうちの１つの中の少なくとも１つの画素群を表すデータを含み、
    前記復号しようとするストリーム内で、所定の線形形状の初期区画を求めるための手段と、
    前記求めた初期区画に従って、前記復号しようとする画素群を分割するための手段と、
    前記復号しようとする画素群が、所定形状の複数の区画へと全体として分割されるまで、前記復号しようとする画素群の中で、前記求めた初期区画を増加させるための手段と、
    前記復号しようとするストリーム内で、前記区画のトラバーサル順序を求めるための手段と、
    前記求めたトラバーサル順序に従って、前記区画を次々と復号するための手段と
    を備えることを特徴とする、デバイス。
14. コンピュータ上で実行されるとき、請求項１から１１のいずれか一項に記載の方法の１つを実施するための命令を含む、コンピュータプログラム。

Images