JP6242139B2 - 動画像復号処理装置およびその動作方法 - Google Patents

Description

本発明は、動画像復号処理装置およびその動作方法に関し、特に並列復号処理の開始のためのオーバーヘッドを低減するのに有効な技術に関するものである。

良く知られているように国際規格ＩＳＯ／ＩＥＣ １３８１８−２で標準化されたＭＰＥＧ−２の規格による動画像の一般的な圧縮方式は、ビデオストリームから冗長な情報を削除することによって、ビデオ記憶容量と必要な帯域幅とを削減すると言う原理に基づいている。尚、ＭＰＥＧは、Moving Picture Experts Groupの略である。

ＭＰＥＧ−２の規格は、ビットストリームのシンタックス(圧縮符号化データ列の規則または符号化データのビットストリームの構成方法)およびデコードプロセスのみを規定しているので、衛星放送・サービス、ケーブルテレビジョン、インターラクティブテレビジョン、インターネット等の種々の状況で十分利用可能なようにフレキシブルなものである。

ＭＰＥＧ−２のエンコードプロセスでは、最初にデジタルビデオの各画素の色差と輝度の成分を規定するために、ビデオ信号がサンプルされ量子化される。色差と輝度との成分を示す値は、マクロブロックとして知られている構造に蓄積される。マクロブロックに蓄積された色差と輝度との値は、離散コサイン変換(ＤＣＴ：Discrete Cosine Transform)を使用して周波数値に変換される。ＤＣＴによって得られる変換係数は、ピクチャーの輝度と色差で異なった周波数を持つ。量子化されたＤＣＴ変換係数は、ビデオストリームを更に圧縮する可変長コーディング(ＶＬＣ：Variable Length Coding)によってエンコードされる。

ＭＰＥＧ−２のエンコードプロセスでは、動き圧縮技術による付加圧縮が規定されている。ＭＰＥＧ−２の規格では、Ｉフレーム、Ｐフレーム、Ｂフレームの３種類のピクチャーもしくはフレームが存在している。Ｉフレームとは、ビデオストリーム中の他のいかなるピクチャーまたはフレームを参照することなく再生されることを意味する、イントラコードされたフレームである。ＰフレームとＢフレームとは、他のピクチャーまたはフレームの参照によって再生されることを意味する、インターコードされたフレームである。例えば、ＰフレームとＢフレームとは、参照フレームに関して動き推定を示す動きベクトルを含む。動きベクトルの使用によって、ＭＰＥＧエンコーダは特定のビデオストリームに必要な帯域幅の低減が可能となる。尚、Ｉフレームは独立(intra-coded)フレームと呼ばれ、Ｐフレームは片方向予測(predictive-coded)フレームと呼ばれ、Ｂフレームは両方向予測(bi-directionally predictive-coded)フレームと呼ばれる。

従って、ＭＰＥＧ−２の動画像符号化装置(Encoder)は、フレームメモリと動きベクトル検出部と動き補償部と減算部とＤＣＴ変換部と量子化部と逆量子化部と逆ＤＣＴ変換部と可変長符号化部と加算部とによって構成される。符号化される動画像信号は、ＰフレームやＢフレームの符号化や動きベクトルの検出ためにフレームメモリに格納された後、フレームメモリから読み出され、動き補償部からの動き補償予測信号が減算部で減算され、ＤＣＴ変換部と量子化部とでそれぞれＤＣＴ変換処理と量子化処理とが実行される。量子化されたＤＣＴ変換係数は、可変長符号化部で可変長符号化処理されるとともに、逆量子化部と逆ＤＣＴ変換部で局部復号処理が実行された後に、この局部復号処理結果は加算部に直接供給されるとともに動き補償部を介して減算部に供給される。

一方、ＭＰＥＧ−２の動画像復号装置(Decoder)は、バッファメモリと可変長復号部と逆量子化部と逆ＤＣＴ変換部と動き補償部と加算部とフレームメモリによって構成される。ＭＰＥＧ−２の符号化ビットストリームは、バッファメモリに蓄積された後、可変長復号部と逆量子化部と逆ＤＣＴ変換部でそれぞれ、可変長復号処理と逆量子化処理と逆ＤＣＴ変換処理が実行され、可変長復号処理された動きベクトルから動き補償部によって求められた予測画像と逆ＤＣＴ変換処理結果が加算部で加算され、加算部の出力から再生画像信号が生成される。この再生画像信号は、フレームメモリに格納され、他のフレームの予測に使用される。

ＭＰＥＧ−２の規格に続いて、テレビ電話等の低レートの符号化のための国際規格ＩＳＯ／ＩＥＣ １４４９６で標準化されたＭＰＥＧ−４の規格(Ｈ．２６３)よる動画像圧縮方式も提案されている。ＭＰＥＧ−４(Ｈ．２６３)の規格による圧縮方式は、ＭＰＥＧ−２と同様にフレーム間予測と離散コサイン変換を用いた「ハイブリッド型」と呼ばれるものであり、更に半画素(ハーフペル)単位での動き補償が導入された。この圧縮方式は、ＭＰＥＧ−２と同様に、エントロピー符号化としてハフマン符号を使用するが、新しくランとレベルとラストとを同時に符号化する３次元可変長符号化（３次元ＶＬＣ）という技術を導入して、圧縮率を大きく向上させている。尚、ランとレベルとはランレングスの係数に関するものであって、ラストとは最後の係数であるか否かを示すものである。更に、ＭＰＥＧ−４(Ｈ．２６３)規格には、Ｂａｓｅｌｉｎｅと呼ばれる基本部分と、Ａｎｎｅｘと呼ばれる拡張規格とがある。

ＭＰＥＧ−４(Ｈ．２６３)規格による圧縮方式を、より符号化効率が高いものにすべく、ＭＰＥＧ−４ ＡＶＣ(Ｈ．２６４)の規格が国際規格ＩＳＯ／ＩＥＣ １４４９６−１０によって標準化された。尚、ＡＶＣは、Advanced Video Codingの略であり、ＭＰＥＧ−４ ＡＶＣ(Ｈ．２６４)の規格は、Ｈ．２６４／ＡＶＣ規格と呼ばれる。

Ｈ．２６４／ＡＶＣ規格によるビデオコーディングは、ビデオコーディング層(Video Coding Layer)と、ネットワーク抽象層(Network Abstraction Layer)とから構成されている。すなわち、ビデオコーディング層は、ビデオコンテキストを有効に表現するように設計されたものであり、またネットワーク抽象層は、ビデオのＶＣＬ表現をフォーマットするとともに、種々の転送層や記憶媒体による転送のために適切な方法でのヘッダー情報を与えるものである。

ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４／ＡＶＣ規格等の国際標準動画像符号化方法では、時間方向の相関を使って高い符号化効率を実現するために、フレーム間予測符号化が使用されている。フレームの符号化モードには、フレーム間の相関を使わずに符号化するＩフレームと、過去に符号化した１フレームから予測するＰフレームと、過去に符号化した２フレームから予測することができるＢフレームがある。

このフレーム間予測符号化では、動画像から動き補償された参照画像(予測画像)が減算され、この減算による予測残差が符号化される。符号化の処理は、ＤＣＴ(離散コサイン変換)等の直交変換と量子化と可変長符号化との処理を含んでいる。動き補償(動き補正)は、フレーム間予測の参照フレームを空間的に移動させる処理を含むものであり、動き補償の処理は、被符号化フレームのブロック単位で行われる。画像内容に動きが無い場合には、移動は無く被予測画素と同一位置の画素が使用される。動きが有る場合には、最も適合するブロックが探索され、移動量が動きベクトルとされる。動き補償のブロックは、ＭＰＥＧ−２の符号化方法では、１６画素×１６画素／１６画素×８画素のブロックであり、ＭＰＥＧ−４の符号化方法では、１６画素×１６画素／１６画素×８画素／８画素×８画素のブロックである。動き補償のブロックは、Ｈ．２６４／ＡＶＣ規格の符号化方法では１６画素×１６画素／１６画素×８画素／８画素×１６画素／８画素×８画素／８画素×４画素／４画素×８画素／４画素×４画素のブロックである。

上述した符号化処理は映像画面(フレームまたはフィールド)毎に行われるものであり、画面を細分化したブロック(通常は１６画素×１６画素、ＭＰＥＧではマクロブロック(ＭＢ)と呼ばれる)が処理単位となるものである。すなわち、符号化されるべきブロック毎に既に符号化された参照画像から最も類似したブロック(予測画像)が選択され、符号化画像(ブロック)と予測画像との差分信号が符号化(直交変換、量子化等)される。画面内での符号化されるブロックと予測信号の相対位置の差が、動きベクトルと呼ばれるものである。

また下記非特許文献１には、Ｈ．２６４／ＡＶＣ規格によるビデオコーディング層(ＶＣＬ)は、ブロックベースドハイブリッドビデオコーディングと呼ばれるアプローチに従っていると記載している。ＶＣＬ設計は、マクロブロック、スライス、スライスブロックから構成されており、各ピクチャーは固定サイズの複数のマクロブロックに分割され、各マクロブロックは、輝度成分で１６×１６サンプルの四角形ピクチャー領域と、それに対応する２つの色差成分のそれぞれに四角形サンプル領域とを含んでいる。１つのピクチャーは、１つまたはそれ以上のスライスを含むことができ、各スライスは、アクティブシーケンスとピクチャーパラメータセットとを与えると言う意味で自己包含的であり、スライス表現は、基本的には他のスライスからの情報を使用することなくデコードされることができるので、シンタックスエレメントは、ビットストリームとピクチャーの領域のサンプルの値とから解析できる。しかしながら、より完全なデコーディングのために、スライス境界にわたってデブロッキングフィルタを適応するためには、他のスライスからのいくつかの情報が必要となる。また、各スライスは、ピクチャーの他のスライスと独立にエンコードされデコードされるので、スライスは並列処理に使用できることも、下記非特許文献１に記載されている。

一方で、動画像符号を扱うシステムは、デジタルＨＤＴＶ(High Definition Television)放送受信機やＨＤＴＶ信号を撮影可能なデジタルビデオカメラなどで、画像サイズは大画面化してきている。これらの信号を処理する画像符号化装置や画像復号装置には、ますます高い処理性能が求められている。

このような背景から、Ｈ．２６４／ＡＶＣ規格の後続規格である新規格Ｈ．２６５(ＩＳＯ／ＩＥＣ ２３００８−２)が提案され、この新規格はＨＥＶＣ(High Efficiency Video Coding)とも呼ばれている。この新規格は、ブロックサイズの適正化等により圧縮効率が優れており、ＭＰＥＧ−２の規格に比較して約４倍、規格Ｈ．２６４／ＡＶＣに比較して約２倍の圧縮性能を有すものである。

一方、下記特許文献１には、ＭＰＥＧ−１／２／４とＨ．２６１／Ｈ．２６３／Ｈ．２６４−ＡＶＣ等の広く採用されている種々の符号化圧縮規格が、１６×１６画素からなる１つのマクロブロックが動き補償と後続処理の処理単位として使用されているのに対し、Ｈ．２６５／ＨＥＶＣ規格では、よりフレキシブルなブロック構造が処理単位として採用されると記載されている。このフレキシブルなブロック構造の単位は、コーディングユニット(ＣＵ)と呼ばれ、最大コーディングユニット(ＬＣＵ)から出発して良好な性能を達成するために、クアッド・トリー(quadtree)を使用した小さなブロックに適応的に分割される。最大コーディングユニット(ＬＣＵ)のサイズは、１６×１６画素のマクロブロックのサイズよりもずっと大きな６４×６４画素である。下記特許文献１の図１とそれに関係する開示には、クアッド・トリーに基づくコーディングユニット分割の例が示され、その深さ“ゼロ”では、最初のコーディングユニット(ＣＵ)は、６４×６４画素からなる最大コーディングユニット(ＬＣＵ)である。スプリットフラグ“０”は、その時点のコーディングユニット(ＣＵ)が分割されないことを示し、スプリットフラグ“１”は、その時点のコーディングユニット(ＣＵ)がクアッド・トリーによって４つの小さなコーディングユニットに分割されることを示す。分割後のコーディングユニット(ＣＵ)は、予め特定された最小コーディングユニット(ＣＵ)サイズに到達するまで、更にクアッド・トリー分割されることも、下記特許文献１に記載されている。

下記特許文献２には、Ｈ．２６４／ＡＶＣ規格による動画像符号化・復号処理のために、第１動画像処理ユニットと第２動画像処理ユニットが並列動作することが記載されている。この並列動作では、第１動画像処理ユニットは、１つのピクチャーの１つの行に配列された第１の複数のマクロブロックをシーケンシャルに処理し、第２動画像処理ユニットは、次の１つの行に配列された第２の複数のマクロブロックをシーケンシャルに処理する。特に、第２動画像処理ユニットの動作タイミングは、第１動画像処理ユニットの動作タイミングよりもマクロブロック２個分、遅延される。その結果、第２動画像処理ユニットによる次の１つの行に配列された第２の複数のマクロブロックのイントラ・フレーム予測に際して、第１動画像処理ユニットによる１つの行に配列された第１の複数のマクロブロックの処理結果を使用することが可能となる。

下記非特許文献２には、Ｈ．２６５／ＨＥＶＣ規格の概観が記載されている。以前の規格のコーディングレイヤーのコアが輝度サンプルの１６×１６ブロックと８×８ブロックの２つの色差サンプルを含むマクロブロックであったのに対して、Ｈ．２６５／ＨＥＶＣ規格においては、伝統的なマクロブロックよりも大きくエンコーダによってサイズが選択されるコーディングトリーユニット(ＣＴＵ)である。コーディングトリーユニット(ＣＴＵ)は、輝度コーディングトリーブロック(ＣＴＢ)と色差コーディングトリーブロック(ＣＴＢ)とシンタックス要素とによって構成される。コーディングトリーユニット(ＣＴＵ)のクアッド・トリー・シンタックスは、その輝度と色差のコーディングトリーブロック(ＣＴＢ)の大きさと位置とを指定する。ピクチャー領域を符号化するためにインター・ピクチャーまたはイントラ・ピクチャーが使用されるか否かの決定は、コーディングユニット(ＣＵ)のレベルでなされる。プレディクションユニット(ＰＵ)の分割構造は、コーディングユニット(ＣＵ)のレベルにその根源を持っている。基本的なプレディクションタイプの決定に依存して、輝度と色差のコーディングブロック(ＣＢ)はサイズの分割が可能で、輝度と色差のプレディクションブロック(ＰＢ)からの予測が可能である。Ｈ．２６５／ＨＥＶＣ規格は、６４×６４サンプルから４×４サンプルまでの可変のプレディクションブロック(ＰＢ)のサイズをサポートする。予測残差はブロック変換によって符号化されて、トランスフォームユニット(ＴＵ)のトリー構造は、コーディングユニット(ＣＵ)のレベルにその根源を持つものである。輝度のコーディングブロック(ＣＢ)の残差は、輝度のトランスフォームブロック(ＴＢ)と同一なことが可能であり、更に小さな輝度のトランスフォームブロック(ＴＢ)への分割が可能である。これは、色差のトランスフォームブロック(ＴＢ)でも同様である。離散コサイン変換(ＤＣＴ)の関数と類似した整数ベースの関数が、４×４、８×８、１６×１６、３２×３２サンプルの四角型のトランスフォームブロック(ＴＢ)のサイズのために定義されている。Ｈ．２６５／ＨＥＶＣ規格では、Ｈ．２６４／ＡＶＣ規格と同様に、均等復元量子化(ＵＲＱ：Uniform Reconstruction Quantization)が使用される。すなわち、量子化パラメータ(ＱＰ)の値の範囲は０から５１までで規定され、量子化パラメータ(ＱＰ)のマッピングは量子化スケーリングマトリックスの対数に近似的に対応する。

更に下記非特許文献２には、Ｈ．２６５／ＨＥＶＣ規格のスライスは、同一のピクチャーの他のスライスから独立に符号化されることが可能なデータ構造であることが記載されている。また更に下記非特許文献２には、Ｈ．２６５／ＨＥＶＣ規格には、並列処理能力を強化するかパケッタイズする目的でスライスデータの構造を修正するために、タイルやウエーブフロント・パラレル・プロセッシング(ＷＰＰ)の新規な特徴が導入されていることも記載されている。タイルはピクチャーを四角形の領域に分割するものであり、タイルの主たる目的は、誤差の回復力を提供するよりも、並列処理の能力を増加するものである。複数のタイルは、１つのピクチャーの独立に復号可能な領域であり、こられは共有ヘッダー情報によって符号化される。ウエーブフロント・パラレル・プロセッシング(ＷＰＰ)により、１つのスライスは複数のコーディングトリーユニット(ＣＴＵ)の行に分割される。最初の行は通常の方法によって処理され、最初の行に若干の決定がされた後に２番目の行は処理を開始され、２番目の行に若干の決定がされた後に３番目の行は処理を開始されることができる。

下記非特許文献３には、Ｈ．２６５／ＨＥＶＣ規格におけるブロック構造が、プレディクションユニット(ＰＵ)とトランスフォームユニット(ＴＵ)とを含むコーディングユニット(ＣＵ)に基づくとともに、各フレームが最大サイズで６４×６４サンプルを有する最大コーディングユニット(ＬＣＵ)の集合に分割されることが記載されている。各最大コーディングユニット(ＬＣＵ)は、一般的なクアッド・トリー分割構造によって、小さなコーディングユニット(ＣＵ)に循環的に分離されることも、下記非特許文献３に記載されている。

下記非特許文献３には、Ｈ．２６５／ＨＥＶＣ規格に関する並列処理が記載されている。機能レベルの並列処理は、例えば、動画復号装置(video decoder)におけるフレームレベル・パイプラインアプローチを使用した相違した並列のステージによって構成される。４段パイプラインは、パーシング(構文解釈)と、エントロピーデコーディングと、ＬＣＵ再生とフィルタリングとによって実現されることが可能である。イントラ予測は現在のブロックを生成するために近接するブロックから再生したデータを使用するので、ブロックレベルでの並列処理を禁止する強力なデータ依存性を持つものである。この依存性を部分的に除去する提案は、「並列イントラ符号化のための並列予測ユニット」として知られている。データレベルの並列処理において、いくつかのプログラムがデータセットの異なった部分に適用される。ビデオ符号化復号装置(video codec)では、データレベルの並列処理は、例えば、フレームレベル、マクロブロック(または、ＬＣＵ)レベル、ブロックレベル、サンプルレベルの相違したデータ粒塊に適用される。ＬＣＵ(または、マクロブロック)レベルでの並列処理は、もし相違したカーネル(kernels)のデータ依存性が満足される場合には、フレーム内部もしくはフレーム間で利用されることができる。イントラ予測のように、ＬＣＵレベルで隣接データを参照するカーネルで、斜行ウェーブフロントのＬＣＵ処理はＬＣＵの並列処理を利用可能とするものである。更に、下記非特許文献３には、スライスレベルの並列処理も記載されている。

下記非特許文献４には、画像符号化規格の進歩に関連して、デュアルコアとクアッドコアのコンピュータが利用できるので、次に説明する異なった観点から符号化処理と復号処理に並列処理の試行がなされたことが記載されている。それは、ＧＯＰ(グループオブピクチャーズ)アプローチ、フレームアプローチ、パイプラインアプローチ、スライス分割アプローチ、マクロブロック再配置アプローチ等である。マクロブロック再配置アプローチはマクロブロック(ＭＢ)をウェーブフロントの整列で処理することを提案するものであり、その結果、隣接したマクロブロック(ＭＢ)が利用可能である場合には各斜行ラインのマクロブロック(ＭＢ)は同時に符号化されている。マクロブロック(ＭＢ)レベルでの良好な粒塊並列性によって、マクロブロック再配置アプローチは現時点で広く使用されているとしている。

下記非特許文献４には、よりフレキシブルな符号化方式を達成するために、Ｈ．２６５／ＨＥＶＣ規格は、６４×６４画素、３２×３２画素、１６×１６画素、８×８画素、４×４画素のサイズのマクロブロック(ＭＢ)をサポートするクアッド・トリー・ベース符号化構造を利用していると記載している。下記非特許文献４には、Ｈ．２６５／ＨＥＶＣ規格は、コーディングユニット(ＣＵ)とプレディクションユニット(ＰＵ)とトランスフォームユニット(ＴＵ)の３つのブロックの概念を別々に定義していると記載している。更に、下記非特許文献４には、最大コーディングユニット(ＬＣＵ)のサイズとコーディングユニット(ＣＵ)の階層深さとが定義された後に、符号化・復号化(Codec)の全体構成がコーディングユニット(ＣＵ)とプレディクションユニット(ＰＵ)とトランスフォームユニット(ＴＵ)のサイズによって特徴付けられると記載している。

更に下記非特許文献４には、Ｈ．２６５／ＨＥＶＣ規格に関係してブロックベース並列イントラ予測と呼ばれる手法が記載されている。６４×６４画素の最大コーディングユニット(ＬＣＵ)は、ブロック０とブロック１とブロック２とブロック３の４個のブロックに分割して、ブロック０とブロック１とにより第１セットブロックを構成して、ブロック２とブロック３とにより第２セットブロックを構成する。第１セットブロックの上部と左部に隣接する画素値を使用して第１セットブロックのブロック０とブロック１とが並列に予測され、第２セットブロックの上部と左部に隣接する画素値を使用して第２セットブロックのブロック２とブロック３とが並列に予測されるものである。それに対してＨ．２６５／ＨＥＶＣ規格による予測方式では、ブロック１の予測にはブロック１の上部と左部とに隣接する画素値が使用され、ブロック３の予測にはブロック３の上部と左部とに隣接する画素値が使用されるので、ブロック０とブロック１とブロック２とブロック３とはシーケンシャルに予測されるものである。

米国公開特許 ＵＳ２０１２／０１０６６５２Ａ１ 明細書 特開２００８−４２５７１号 公報

ＧＡＲＹ Ｊ． ＳＵＬＬＩＶＡＮ ｅｔ ａｌ，"Ｖｉｄｅｏ Ｃｏｍｐｒｅｓｓｉｏｎ−Ｆｒｏｍ Ｃｏｎｃｅｐｔ ｔｏ ｔｈｅ Ｈ．２６４／ＡＶＣ Ｓｔａｎｄａｒｄ" ， ＰＲＯＣＥＥＤＩＮＧ ＯＦ ＴＨＥ ＩＥＥＥ， ＶＯＬ．９３、 Ｎｏ．１， ＪＡＮＵＡＲＹ ２００５、ＰＰ．１８−３１． Ｇａｒｙ Ｊ． Ｓｕｌｌｉｖａｎ ｅｔ ａｌ， "Ｏｖｅｒｖｉｅｗ ｏｆ ｔｈｅ Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＨＥＶＣ） Ｓｔａｎｄａｒｄ"， ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＣＩＲＣＵＩＴＳ ＡＮＤ ＳＹＳＴＥＭＳ ＦＯＲ ＶＩＤＥＯ ＴＥＣＨＮＮＯＬＯＧＹ， ＶＯＬ．２２，ＮＯ．１２， ＤＥＣＥＭＢＥＲ ２０１２， ＰＰ．１６４９−１６６８． Ｍａｕｒｉｃｉｏ Ａｌｖａｎｅｚ Ｍｅｓａ ｅｔ ａｌ， "Ｅｖａｌｕａｔｉｏｎ ｏｆ Ｐａｒａｌｌｅｌ Ｓｒａｔｅｇｉｅｓ ｆｏｒ ｔｈｅ Ｅｍｅｒｇｉｎｇ ＨＥＶＣ Ｓｔａｎｄａｒｄｓ"， ｐｐ．１−１７． ｈｔｔｐ：／／ｗｗｗ．ｅｎｃｏｒｅ−ｐｒｏｊｅｃｔ．ｅｕ／ｓｙｓｔｅｍ／ｆｉｌｅｓ／ｈｅｖｃ＿ｐａｐｅｒ．ｐｄｆ＃ｓｅａｒｃｈ＝‘ｅｖａｌｕａｔｉｏｎ＋ｏｆ＋ｐａｒａｌｌｅｌ＋ｓｔｒａｔｅｇｉｅｓ＋ｆｏｒ＋ｅｍｅｇｉｎ＋ＨＥＶＣ’[平成２４年０９月２６日検索] Ｊｉｅ Ｊｉａｎｇ ｅｔ ａｌ， "Ｂｌｏｃｋ−Ｂａｓｅｄ Ｐａｒｅｌｌｅｌ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ Ｓｃｈｅｍｅ ｆｏｒ ＨＥＶＣ"， ＪＯＵＲＮＡＬ ＯＦ ＭＵＬＴＩＭＥＤＩＡ， ＶＯＬ．７， ＮＯ．４， ＡＵＧＵＳＴ ２０１２， ｐｐ．２８９−２９４．

本発明者等は本発明に先立って、Ｈ．２６５／ＨＥＶＣ規格によって符号化されたビットストリームを復号可能な画像復号装置(video decoder)の開発に従事した。

この開発においては、最初に本発明に先立って本発明者等は、既存の画像符号化規格とＨ．２６５／ＨＥＶＣ規格とに関してレビューを行ったものである。

まず、上述したようにＭＰＥＧ−１／２／４とＨ．２６１／Ｈ．２６３／Ｈ．２６４−ＡＶＣ等の従来の規格では、次のような符号化処理と動画像符号化とが実行される。符号化処理ではＩフレーム、ＰフレームまたはＢフレームの１枚の映像画面は、複数のマクロブロック(ＭＢ)と呼ばれる小領域に分割されて、１枚の映像画面の左上に位置するマクロブロック(ＭＢ)から開始され、表示のラスタスキャンの順序に従って右方向および下方向の複数のマクロブロック(ＭＢ)へ順次に符号化処理が実行される。動画像符号化では、動画像画面内のマクロブロック(ＭＢ)の空間的な相関関係を利用して動画像情報が圧縮される。すなわち、１個のマクロブロック(ＭＢ)を処理する際には、その周辺のマクロブロック(１枚の映像画面の上方向および左方向のマクロブロック)の情報から処理される１個のマクロブロック(ＭＢ)の情報が予測され、動画像符号化処理では予測情報との差分のみが符号化される。

例えば、ＭＰＥＧ−４ ＡＶＣ(Ｈ．２６４／ＡＶＣ規格)のイントラ符号化処理では、ブロック画素情報としてのＤＣＴ係数のＤＣ成分およびＡＣ成分でブロック間予測が実行され、Ｈ．２６４／ＡＶＣ規格のブロック間予測では、ＤＣＴ変換処理後のブロック画素値のＤＣ成分およびＡＣ成分でブロック間予測が実行される。

またＭＰＥＧ−４とＨ．２６４／ＡＶＣ規格の符号化処理の動きベクトル検出のための動き予測では、被符号化フレームの符号化対照ブロックと参照フレームの複数のブロックの間のブロックマッチングが実行される。

上述のようにＨ．２６４／ＡＶＣ規格までの既存の画像符号化規格においては、１６画素×１６画素のサイズを有するマクロブロック(ＭＢ)が処理単位とされている。

それに対して、Ｈ．２６５／ＨＥＶＣ規格においては、１６×１６画素のマクロブロック(ＭＢ)のサイズよりも大きな６４×６４画素を最大サイズとする最大コーディングユニット(ＬＣＵ)から出発するコーディングユニット(ＣＵ)と呼ばれるフレキシブルなブロック構造が処理単位として採用されている。

一方、上記非特許文献４に記載された、ブロックベース並列イントラ予測と呼ばれる手法は、最大コーディングユニット(ＬＣＵ)を４個のブロックに分割して、２個のブロックの並列予測を、２回実行するものである。しかし、上記非特許文献４に記載された手法は、符号化方式にのみ適用可能なものであり，本発明の主眼とするＨ．２６５／ＨＥＶＣの復号処理方法を示唆するものではない。すなわち、上記非特許文献４に記載された手法は、Ｈ．２６５／ＨＥＶＣ規格に準拠する画像復号装置(video decoder)において、高速化のための並列処理を実現するための復号処理に関して具体的な示唆を与えるものではない。

すなわち、画像符号化装置(video encoder)では、その装置自身の符号化ストラテジーによって符号化処理方法を決定することができる。更に、画像符号化装置の符号化処理方法の決定に際して、既存の画像符号化規格に準拠するか否かは、画像符号化装置の設計者の判断事項となる。尚、既存の画像符号化規格に準拠する画像符号化装置が、既存の画像符号化規格に準拠しない画像符号化装置よりも市場で受け入れられることは言うまでもない。

それに対して画像復号装置(video decoder)では、その装置自身の復号ストラテジーによって復号処理方法を決定することができない。すなわち、画像復号装置は、既存の画像符号化規格に準拠した符号化処理方法に従って画像符号化装置によって符号化されたビットストリームを、確実に復号できる能力が要求されるものである。従って、画像復号装置は、画像符号化装置(video encoder)の符号化処理方法の符号化ストラテジーに対応する復号ストラテジーによって復号処理方法を実行する必要がある。すなわち、この場合の復号処理方法は、符号化処理方法の逆処理と言うことができる。

Ｈ．２６４／ＡＶＣ規格に関しては、上記特許文献２には、イントラ・フレーム予測に際して、１６画素×１６画素のサイズを有するマクロブロック(ＭＢ)の並列処理が、マクロブロック(ＭＢ)２個分の遅延時間で、２つの行において実行されることが記載されている。

更にＨ．２６５／ＨＥＶＣ規格に関しては、上記特許文献１に記載されたように、１６画素×１６画素のサイズを有するマクロブロック(ＭＢ)よりも大きな６４画素×６４画素の最大サイズを有する最大コーディングユニット(ＬＣＵ)から出発するフレキシブルなブロック構造が処理単位として使用される。実際に、Ｈ．２６５／ＨＥＶＣ規格に関しては、上記非特許文献３には、最大コーディングユニット(ＬＣＵ)のレベルで、イントラ予測を使用して、並列処理を実行することが記載されている。すなわち、上記非特許文献３に記載された技術は、上記特許文献１に記載された「マクロブロック(ＭＢ)から最大コーディングユニット(ＬＣＵ)への置換」を上記特許文献２に記載された「イントラ・フレーム予測におけるマクロブロック(ＭＢ)の並列処理」に適用したことに対応するものである。

一方、本発明者等は本発明に先立ったＨ．２６５／ＨＥＶＣ規格により符号化されたビットストリームを復号可能な動画像復号処理装置の開発において、その復号処理に上記非特許文献３に記載された最大コーディングユニット(ＬＣＵ)のレベルの並列処理を採用することを検討した。すなわち、動画像復号処理装置のイントラ予測ユニットには、フレームメモリから参照データが供給される一方、符号化動画像ビットストリームにより伝達された動画像復号装置で計算されたイントラ予測の情報が供給される。上記非特許文献３に記載のように、イントラ予測は、現在のブロックを生成するために近接したブロックから再生したデータを使用するので、斜行ウェーブフロントのＬＣＵ処理がＬＣＵの並列処理に必要となる。

図９は、本発明に先立って本発明者等によってなされたＨ．２６５／ＨＥＶＣ規格により符号化されたビットストリームを復号可能な動画像復号処理装置の開発において検討された、復号映像信号が供給される液晶表示装置のサイズを示す図である。

図９に示したように、液晶表示装置は、長辺の横方向に６４個の最大コーディングユニット(ＬＣＵ)が配置され、短辺の縦方向に３２個の最大コーディングユニット(ＬＣＵ)が配置されるので、液晶表示装置のサイズは４０９６画素×２０４８画素の大きさである。尚、ここで、最大コーディングユニット(ＬＣＵ)は、Ｈ．２６５／ＨＥＶＣ規格において最大サイズである６４画素×６４画素のサイズに設定されている。その結果、長辺の横方向への６４個の最大コーディングユニット(ＬＣＵ)の配置によって、長辺の横方向の４０９６画素が実現され、短辺の縦方向に３２個の最大コーディングユニット(ＬＣＵ)の配置によって、短辺の縦方向の２０４８画素が実現されるものである。この液晶表示装置のサイズは、高精細ＨＤ(High Definition)のサイズの大きさ(１９２０画素×１０８０画素)と比較して、相当大きいものである。

図１０は、本発明に先立って本発明者等によって検討された、Ｈ．２６５／ＨＥＶＣ規格により符号化されたビットストリームを復号可能な動画像復号処理装置の動作を説明する図である。

図１０に示した動画像復号処理装置は、第１動画像処理ユニットＣＥ０と、第２動画像処理ユニットＣＥ１と、第３動画像処理ユニットＣＥ２と、第４動画像処理ユニットＣＥ３とを具備する。Ｈ．２６５／ＨＥＶＣ規格により符号化されたビットストリームが、図１０では図示されていない可変長復号部に供給されることによって、可変長復号部から第１と第２と第３と第４の動画像処理ユニットＣＥ０、ＣＥ１、ＣＥ２、ＣＥ３に供給される中間ストリームが生成される。

第１動画像処理ユニットＣＥ０に供給される第１中間ストリームは、図９に示した液晶表示装置の１行目に配置される６４個の最大コーディングユニットＬＣＵ００、ＬＣＵ０１…ＬＣＵ０６３の動画像復号処理情報が含まれる。更に、第２動画像処理ユニットＣＥ１に供給される第２中間ストリームは、図９に示した液晶表示装置の２行目に配置される６４個の最大コーディングユニットＬＣＵ１０、ＬＣＵ１１……ＬＣＵ１６３の動画像復号処理情報が含まれる。また第３動画像処理ユニットＣＥ２に供給される第３中間ストリームは、図９に示した液晶表示装置の３行目に配置される６４個の最大コーディングユニットＬＣＵ２０、ＬＣＵ２１……ＬＣＵ２６３の動画像復号処理情報が含まれる。更に第４動画像処理ユニットＣＥ３に供給される第４中間ストリームは、図９に示した液晶表示装置の４行目に配置される６４個の最大コーディングユニットＬＣＵ３０、ＬＣＵ３１……ＬＣＵ３６３の動画像復号処理情報が含まれる。

更に図１０には、第１動画像処理ユニットＣＥ０が図９に示した液晶表示装置の１行・１列に配置された最大コーディングユニットＬＣＵ００の情報を処理するタイミングと１行・２列に配置された最大コーディングユニットＬＣＵ０１の情報を処理するタイミングで、第２と第３と第４の動画像処理ユニットＣＥ１、ＣＥ２、ＣＥ３は、ノーオペレーション(ＮＯＰ)となることが示されている。

また図１０には、第２動画像処理ユニットＣＥ１が図９に示した液晶表示装置の２行・１列に配置された最大コーディングユニットＬＣＵ１０の情報を処理するタイミングと２行・２列に配置された最大コーディングユニットＬＣＵ１１の情報を処理するタイミングで、第３と第４の動画像処理ユニットＣＥ２、ＣＥ３は、ノーオペレーション(ＮＯＰ)となることが示されている。

更に図１０には、第３動画像処理ユニットＣＥ２が図９に示した液晶表示装置の３行・１列に配置された最大コーディングユニットＬＣＵ２０の情報を処理するタイミングと３行・２列に配置された最大コーディングユニットＬＣＵ２１の情報を処理するタイミングで、第４の動画像処理ユニットＣＥ３は、ノーオペレーション(ＮＯＰ)となることが示されている。

このように、図１０に示された三角形の複数の最大コーディングユニット(ＬＣＵ)のノーオペレーション(ＮＯＰ)の領域は、上記非特許文献３に記載されたＬＣＵの並列処理に必要な斜行ウェーブフロントに対応するものである。しかしながら、本発明に先立った本発明者等による検討によって、図１０の三角形のノーオペレーション(ＮＯＰ)の領域は、複数の動画像処理ユニットＣＥ０、ＣＥ１、ＣＥ２、ＣＥ３による並列復号処理の開始のためのオーバーヘッドを増大させると言う問題が明らかとされた。

このような課題を解決するための手段等を以下に説明するが、その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

本願において開示される代表的な実施の形態の概要を簡単に説明すれば、下記のとおりである。

すなわち、代表的な実施の形態によるによる動画像復号処理装置(１)は、構文解釈ユニット(１０)と、第１と第２の動画像処理ユニット(２０、２１)とを具備する。

所定の画素サイズを有する最大コーディングユニット(ＬＣＵ)の情報を含む符号化ビットストリーム(ＢＳ)が、前記構文解釈ユニット(１０)の入力端子に供給される。

前記構文解釈ユニット(１０)は、前記符号化ビットストリーム(ＢＳ)のシンタックスの構文解釈を実行することによって、前記最大コーディングユニット(ＬＣＵ００)から並列処理可能な第１の中間ストリームと第２の中間ストリームとを生成する。

前記第１の動画像処理ユニット(２０)と前記第２の動画像処理ユニット(２１)は、前記構文解釈ユニット(１０)から生成された前記第１の中間ストリームと前記第２の中間ストリームとを並列処理することを特徴とする(図１参照)。

本願において開示される実施の形態のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。

すなわち、本動画像復号処理装置によれば、並列復号処理の開始のためのオーバーヘッドを低減することができる。

図１は、実施の形態１による動画像復号処理装置１の構成を示す図である。 図２は、図１に示した実施の形態１による動画像復号処理装置１の複数の動画像処理ユニット２０、２１、２２、２３…２７がイントラ予測を使用して並列復号処理を実行する様子を示す図である。 図３は、図２で説明した第１の動画像処理ユニット２０(ＣＥ００)と第２の動画像処理ユニット２１(ＣＥ０１)とが、図９に示した液晶表示装置の１行・１列目に配置された最大コーディングユニットＬＣＵ００の内部の１６個の小さなコーディングユニットＣＵ０、ＣＵ１、ＣＵ２…ＣＵ１５の情報をイントラ予測を使用して並列復号処理を実行する様子を示す図である。 図４は、図２に示した第１の動画像処理ユニット２０(ＣＥ００)と第２の動画像処理ユニット２１(ＣＥ０１)とが、図３に示した１６個の小さなコーディングユニットＣＵ０、ＣＵ１、ＣＵ２…ＣＵ１５の情報をイントラ予測を使用して並列復号処理を実行するタイミングを示す図である。 図５は、図１に示した８個の動画像処理ユニット２０、２１、２２、２３…２７による４行分の最大コーディングユニットＬＣＵの内部情報の並列復号処理を実行するタイミングを示す図である。 図６は、図２で説明した第１の動画像処理ユニット２０(ＣＥ００)と第２の動画像処理ユニット２１(ＣＥ０１)とが、図９に示した液晶表示装置の１行・１列目に配置された最大コーディングユニットＬＣＵ００の内部の６４個の更に小さなコーディングユニットＣＵ０、ＣＵ１、ＣＵ２…ＣＵ６３の情報をイントラ予測に関して並列復号処理を実行する様子を示す図である。 図７は、図２に示した第１の動画像処理ユニット２０(ＣＥ００)と第２の動画像処理ユニット２１(ＣＥ０１)とが、図６に示した６４個の小さなコーディングユニットＣＵ０、ＣＵ１、ＣＵ２…ＣＵ６４の情報をイントラ予測を使用して並列復号処理を実行するタイミングを示す図である。 図８は、図１に示した８個の動画像処理ユニット２０、２１、２２、２３…２７による４行分の最大コーディングユニットＬＣＵの内部情報の並列復号処理を実行する様子を示す図である。 図９は、本発明に先立って本発明者等によってなされたＨ．２６５／ＨＥＶＣ規格により符号化されたビットストリームを復号可能な動画像復号処理装置の開発において検討された、復号映像信号が供給される液晶表示装置のサイズを示す図である。 図１０は、本発明に先立って本発明者等によって検討された、Ｈ．２６５／ＨＥＶＣ規格により符号化されたビットストリームを復号可能な動画像復号処理装置の動作を説明する図である。

１．実施の形態の概要
まず、本願において開示される発明の代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面の参照符号は、それが付された構成要素の概念に含まれるものを例示するに過ぎない。

〔１〕本発明の代表的な実施の形態による動画像復号処理装置(１)は、構文解釈ユニット(１０)と、第１と第２の動画像処理ユニット(２０、２１)とを具備する。

所定の画素サイズを有する最大コーディングユニット(ＬＣＵ)の情報を含む符号化ビットストリーム(ＢＳ)が、前記構文解釈ユニット(１０)の入力端子に供給される。

前記構文解釈ユニット(１０)は、前記入力端子に供給される前記符号化ビットストリーム(ＢＳ)のシンタックスの構文解釈を実行することによって、前記最大コーディングユニット(ＬＣＵ００)から並列処理可能な第１の中間ストリーム(“０”、“１”、“２”、“３”)と第２の中間ストリーム(“４”、“５”)とを生成する。

前記第１の動画像処理ユニット(２０)と前記第２の動画像処理ユニット(２１)は、前記構文解釈ユニット(１０)から生成された前記第１の中間ストリーム(“０”、“１”、“２”、“３”)と、前記第２の中間ストリーム(“４”、“５”)とを並列処理することを特徴とするものである(図１参照)。

前記実施の形態によれば、並列復号処理の開始のためのオーバーヘッドを低減することができる。

好適な実施の形態では、前記第１の動画像処理ユニット(２０)と前記第２の動画像処理ユニット(２１)は、イントラ予測の機能(２０４)とインター予測(２０５)の機能とをそれぞれ有をそれぞれ有する。

前記第１の動画像処理ユニット(２０)と前記第２の動画像処理ユニット(２１)とは、前記イントラ予測と前記インター予測との少なくともいずれか一方に関して前記第１の中間ストリーム(“０”、“１”、“２”、“３”)と前記第２の中間ストリーム(“４”、“５”)の並列復号処理を実行することを特徴とするものである(図３、図４参照)。

他の好適な実施の形態では、前記動画像復号処理装置(１)は、前記第１の動画像処理ユニット(２０)と前記第２の動画像処理ユニット(２１)の間に接続された第１信号経路(４１)を更に具備する。

前記第１信号経路(４１)を介して、前記第１の動画像処理ユニット(２０)と前記第２の動画像処理ユニット(２１)のいずれか一方による前記イントラ予測を使用した復号処理結果が前記第１の動画像処理ユニット(２０)と前記第２の動画像処理ユニット(２１)の他方に供給可能とされることを特徴とする(図１参照)。

更に他の好適な実施の形態では、前記構文解釈ユニット(１０)は、前記最大コーディングユニット(ＬＣＵ００)を複数のコーディングユニット(“０”、“１”、“２”、“３”、“４”、“５”……“１５”)に分割することによって、前記第１の中間ストリームと前記第２の中間ストリームとを生成する(図３参照)。

前記並列復号処理の実行において、前記第１の動画像処理ユニット(２０)が前記第１の中間ストリームに含まれる最初のコーディングユニット(“０”、“１”)を処理するタイミング(Ｔ０)では、前記第２の動画像処理ユニット(２１)はノーオペレーション(ＮＯＰ)を実行することを特徴とするものである(図４参照)。

より好適な実施の形態では、前記構文解釈ユニットは、前記最大コーディングユニットを少なくとも４個のコーディングユニットに分割することによって、前記第１の中間ストリームと前記第２の中間ストリームとを生成することを特徴とするものである。

他のより好適な実施の形態では、前記第１の動画像処理ユニット(２０)と前記第２の動画像処理ユニット(２１)は、逆量子化の機能(２０１)と逆変換の機能(２０２)と動き補償の機能(２０５)をそれぞれ有することを特徴とするものである(図１参照)。

更に他のより好適な実施の形態では、前記第１の動画像処理ユニット(２０)と前記第２の動画像処理ユニット(２１)は、前記逆量子化および前逆変換に関して、前記第１の中間ストリーム(“０”、“１”、“２”、“３”)と前記第２の中間ストリーム(“４”、“５”)の並列復号処理を実行することを特徴とする。

別の好適な実施の形態では、前記第１の動画像処理ユニット(２０)と前記第２の動画像処理ユニット(２１)は、前記動き補償に関して、前記第１の中間ストリーム(“０”、“１”、“２”、“３”)と前記第２の中間ストリーム(“４”、“５”)の並列復号処理を実行することを特徴とする。

更に別のより好適な実施の形態による動画像復号処理装置(１)は、第１の入力端子と第２の入力端子とに前記第１の動画像処理ユニット(２０)の処理結果と前記第２の動画像処理ユニット(２１)の処理結果とそれぞれ供給される画像構築ユニット(３０)を更に具備する。

前記画像構築ユニット(３０)の出力端子から、表示装置に供給可能な復号ピクチャーが生成されることを特徴とするものである(図１参照)。

具体的な好適な実施の形態による動画像復号処理装置(１)は、第３と第４の動画像処理ユニット(２２、２３)を更に具備する。

前記構文解釈ユニット(１０)は、前記構文解釈を実行することによって前記最大コーディングユニット(ＬＣＵ００)とは異なる他の最大コーディングユニット(ＬＣＵ１０)から並列処理可能な第３の中間ストリームと第４の中間ストリームとを生成する。

前記第３の動画像処理ユニット(２２)と前記第４の動画像処理ユニット(２３)は、前記構文解釈ユニット(１０)から生成された前記第３の中間ストリームと前記第４の中間ストリームとを並列処理することを特徴とするものである(図５参照)。

他の具体的な好適な実施の形態では、前記最大コーディングユニット(ＬＣＵ００)と前記他の最大コーディングユニット(ＬＣＵ１０)とは、表示装置の１つの行に配置される表示情報と当該１つの行の次の行に配置される他の表示情報とにそれぞれ対応することを特徴とするものである(図２参照)。

より具体的な好適な実施の形態では、前記動画像復号処理装置(１)は、前記第３の動画像処理ユニット(２２)と前記第４の動画像処理ユニット(２３)の間に接続された第２信号経路(４３)を更に具備する。

前記第２信号経路(４３)を介して、前記第３の動画像処理ユニット(２２)と前記第４の動画像処理ユニット(２３)のいずれか一方による前記イントラ予測を使用した復号処理結果が前記第３の動画像処理ユニット(２２)と前記第４の動画像処理ユニット(２３)の他方に供給可能とされることを特徴とする(図１参照)。

他のより具体的な好適な実施の形態では、前記タイミング(Ｔ０)では、前記第３の動画像処理ユニットが前記第３の中間ストリームに含まれる最初のコーディングユニットを処理して前記第２の動画像処理ユニットはノーオペレーション(ＮＯＰ)を実行することを特徴とするものである(図５参照)。

更に他のより具体的な実施の形態は、前記構文解釈ユニット(１０)と、前記イントラ予測の機能と前記逆量子化の機能と前記逆変換と前記動き補償の機能とをそれぞれ有する前記第１の動画像処理ユニット(２０)および前記第２の動画像処理ユニット(２１)と、前記画像構築ユニット(３０)とが、半導体集積回路の半導体チップの内部に集積化されたことを特徴とする(図１参照)。

別のより具体的な実施の形態では、前記構文解釈ユニットは、Ｈ．２６５／ＨＥＶＣ規格による前記最大コーディングユニットの情報を含んだ前記符号化ビットストリームの前記シンタックスの構文解釈を実行することを特徴とするものである。

最も具体的な実施の形態では、前記最大コーディングユニットは、前記Ｈ．２６５／ＨＥＶＣ規格によって６４画素×６４画素の最大のサイズを有することを特徴とするものである。

〔２〕本発明の別の観点の代表的な実施の形態は、構文解釈ユニット(１０)と、第１と第２の動画像処理ユニット(２０、２１)とを具備する動画像復号処理装置(１)の動作方法である。

所定の画素サイズを有する最大コーディングユニット(ＬＣＵ)の情報を含む符号化ビットストリーム(ＢＳ)が、前記構文解釈ユニット(１０)の入力端子に供給される。

前記構文解釈ユニット(１０)は、前記入力端子に供給される前記符号化ビットストリーム(ＢＳ)のシンタックスの構文解釈を実行することによって、前記最大コーディングユニット(ＬＣＵ００)から並列処理可能な第１の中間ストリーム(“０”、“１”、“２”、“３”)と第２の中間ストリーム(“４”、“５”)とを生成する。

前記第１の動画像処理ユニット(２０)と前記第２の動画像処理ユニット(２１)は、前記構文解釈ユニット(１０)から生成された前記第１の中間ストリーム(“０”、“１”、“２”、“３”)と、前記第２の中間ストリーム(“４”、“５”)とを並列処理することを特徴とするものである(図１参照)。

前記実施の形態によれば、並列復号処理の開始のためのオーバーヘッドを低減することができる。

２．実施の形態の詳細
次に、実施の形態について更に詳述する。尚、発明を実施するための最良の形態を説明するための全図において、前記の図と同一の機能を有する部品には同一の符号を付して、その繰り返しの説明は省略する。

［実施の形態１］
《動画像復号処理装置の構成》
図１は、実施の形態１による動画像復号処理装置１の構成を示す図である。

図１に示した実施の形態１による動画像復号処理装置１は、構文解釈ユニット１０と、複数の動画像処理ユニット２０、２１、２２、２３…２７と、画像構築ユニット３０と、複数のユニット間信号バス４１、４２、４３…４７とを具備する。

《構文解釈ユニット》
構文解釈ユニット１０は、Ｈ．２６５／ＨＥＶＣ規格により符号化されたビットストリームＢＳのパーシング(構文解釈)を実行するとともに、可変長復号を実行するエントロピー復号ユニットとしても機能するものである。

図１で図示されていない動画像符号化処理装置は、その装置自身の符号化ストラテジーに従って並列符号化処理を実行することによって、Ｈ．２６５／ＨＥＶＣ規格に準拠する符号化ビットストリームＢＳを生成する。

従って、図１に示す実施の形態１による動画像復号処理装置１の構文解釈ユニット１０は、符号化ビットストリームＢＳのシンタックス(圧縮符号化データ列の規則または符号化データのビットストリームの構成方法)のパーシング(構文解釈)を実行する。その結果、図示しない動画像符号化処理装置の符号化ストラテジーに従った並列符号化処理に対応する動画像復号処理装置１の並列復号処理を実行することが可能となる。

すなわち、構文解釈ユニット１０はエントロピー符号を逆転させ、最大コーディングユニット(ＬＣＵ)の符号化されたコーディングユニット(ＣＵ)とプレディクションユニット(ＰＵ)の構造と予測モード等のヘッダー情報と符号化されたプレディクションユニット(ＰＵ)とを回復する。復号された予測モードがイントラ予測モードである場合には構文解釈ユニット１０はイントラ予測の情報を再構築する一方、復号された予測モードがインター予測モードである場合には構文解釈ユニット１０は動きベクトルを再構築する。その結果、構文解釈ユニット１０からは、複数の動画像処理ユニット２０、２１、２２、２３…２７によって並列処理可能な複数のブロックを含んだ複数の中間ストリームが生成されて複数の動画像処理ユニット２０、２１、２２、２３…２７に供給される。すなわち、複数の動画像処理ユニット２０、２１、２２、２３…２７は、イントラ予測に関して並列復号処理を実行するものである。

《動画像処理ユニット》
第１の動画像処理ユニット２０は、逆量子化ユニット２０１と逆変換ユニット２０２とフレームメモリユニット２０３とイントラ予測ユニット２０４と動き補償ユニット２０５とモードスイッチ２０６と加算ユニット２０７とフィルタユニット２０８とを具備する。

構文解釈ユニット１０からエントロピー復号された輝度および色差の予測残差成分が逆量子化ユニット２０１の入力端子に供給され、この予測残差成分が逆量子化ユニット２０１によって逆量子化処理される。逆量子化ユニット２０１の出力信号は、逆変換ユニット２０２によって逆離散コサイン変換(ＤＣＴ)または逆離散サイン変換(ＤＳＴ)の処理が実行されることによって、残差コーディングユニット(ＣＵ)に変換される。すなわち、逆変換ユニット２０２に逆量子化ユニット２０１から周波数ドメインのデータが供給され、残差コーディングユニット(ＣＵ)に変換される。

加算ユニット２０７の第１入力端子に逆変換ユニット２０２から残差コーディングユニット(ＣＵ)が供給され、加算ユニット２０７の第２入力端子にモードスイッチ２０６から予測情報が供給される。復号動画像ストリーム中でインター予測モードが示されている場合には、モードスイッチ２０６は予測されたプレディクションユニット(ＰＵ)を動き補償ユニット２０５から選択する。復号動画像ストリーム中でイントラ予測モードが示されている場合には、モードスイッチ２０６はイントラ予測ユニット２０４からプレディクションユニット(ＰＵ)を選択する。

動き補償ユニット２０５はフレームメモリユニット２０３からの参照データを使用するとともに、動画像復号装置によって計算され符号化動画像ビットストリームで伝送された動き予測を適用することによって、プレディクションユニット(ＰＵ)を生成するものである。すなわち、動き補償ユニット２０５は、構文解釈ユニット１０からの動きベクトルと、フレームメモリユニット２０３からの参照データを使用することにより、プレディクションユニット(ＰＵ)を生成するものである。

イントラ予測ユニット２０４は現在のブロックより以前に復号された周辺画素を参照データとして使用して符号化動画像ビットストリームで伝送されたイントラ予測モードによって指定された動画像復号装置によって計算されたイントラ予測を適用することによって、プレディクションユニット(ＰＵ)を生成する。

加算ユニット２０７は、逆変換ユニット２０２から供給される残差コーディングユニット(ＣＵ)とモードスイッチ２０６によって選択されたプレディクションユニット(ＰＵ)とを加算することによって、コーディングユニット(ＣＵ)を生成する。

フィルタユニット２０８は、Ｈ．２６５／ＨＥＶＣ規格に従ってブロック歪みを低減するためのデブロッキングフィルタの機能を有するものである。またフィルタユニット２０８は、Ｈ．２６５／ＨＥＶＣ規格に準拠するために、デブロッキングフィルタ機能と別にサンプルアダプティブオフセット(ＳＡＯ)と呼ばれるフィルタ機能を有する。このフィルタ機能は、動画像符号化処理装置側の度数分布解析によって決定される追加パラメータを使用して記述されたルックアップテーブルを使用することにより、原信号振幅を良好に再構築するものである。加算ユニット２０７の出力信号が、フィルタユニット２０８の入力端子に供給されることによって、フィルタユニット２０８の出力端子から復号部分画像が生成され、生成された復号部分画像が、参照データとしてフレームメモリユニット２０３に格納される。

その他の動画像処理ユニット２１、２２、２３…２７も第１の動画像処理ユニット２０と全く同様に構成される。すなわち、各動画像処理ユニットは、逆量子化ユニット２０１と逆変換ユニット２０２とフレームメモリユニット２０３とイントラ予測ユニット２０４と動き補償ユニット２０５とモードスイッチ２０６と加算ユニット２０７とフィルタユニット２０８とを具備するものである。

《ユニット間信号バス》
図１で図示されたように、複数の動画像処理ユニット２０、２１、２２、２３…２７に、複数のユニット間信号バス４１、４２、４３…４７が接続されている。その結果、複数の動画像処理ユニット２０、２１、２２、２３…２７は、イントラ予測に関する並列復号処理を実行するために、複数のユニット間信号バス４１、４２、４３…４７を介してイントラ予測復号処理結果を双方向で、相互に隣接する動画像処理ユニットに供給するものである。

《画像構築ユニット》
画像構築ユニット３０は、複数の動画像処理ユニット２０、２１、２２、２３…２７から生成される復号部分画像に基づいて、図９に示した液晶表示装置に供給される復号フレームＤＦである復号ピクチャーを生成するものである。

《半導体集積回路の利用》
図１に示した実施の形態１による動画像復号処理装置１は、その大部分がシステムオンチップ(ＳｏＣ)と呼ばれるシステムＬＳＩ半導体集積回路の半導体チップの内部に集積化されている。しかし、複数の動画像処理ユニット２０、２１、２２、２３…２７の複数のフレームメモリユニット２０３の大部分は、システムＬＳＩ半導体集積回路とは別個に構成された同期スタティックランダムアクセスメモリ(ＳＲＡＭ)の半導体チップの内部に集積化される。しかしその他の実施の形態では、複数の動画像処理ユニット２０、２１、２２、２３…２７の複数のフレームメモリユニット２０３の一部は、高速アクセスのために、システムＬＳＩ半導体集積回路の半導体チップの内部に集積化されることも可能である。

画像構築ユニット３０から生成されて図９に示す液晶表示装置に供給される復号フレームＤＦである復号ピクチャーは、システムＬＳＩ半導体集積回路と別個に構成されたグラフィックメモリの半導体チップに格納されることができる。

従って、図１に示した実施の形態１による動画像復号処理装置１の構文解釈ユニット１０と複数の動画像処理ユニット２０、２１、２２、２３…２７と画像構築ユニット３０の大部分は、システムＬＳＩ半導体集積回路の半導体チップの内部に構成されることができる。すなわち、構文解釈ユニット１０と複数の動画像処理ユニット２０、２１、２２、２３…２７と画像構築ユニット３０は、システムＬＳＩ半導体集積回路の半導体チップの内部に構成されたハードウェアによって実現されることができる。それ以外に、複数の動画像処理ユニット２０、２１、２２、２３…２７は、上記非特許文献４に記載されたデュアルコアとクアッドコアのコンピュータのように、マルチＣＰＵのハードウェアとソフトウェアとを利用するファームウェアによって実現されることも可能である。

《複数の動画像処理ユニットによる並列復号処理》
図２は、図１に示した実施の形態１による動画像復号処理装置１の複数の動画像処理ユニット２０、２１、２２、２３…２７がイントラ予測を使用して並列復号処理を実行する様子を示す図である。

図２に示すように、第１の動画像処理ユニット２０(ＣＥ００)と第２の動画像処理ユニット２１(ＣＥ０１)とは、図９に示した液晶表示装置の１行目に横方向に配置された６４個の最大コーディングユニットＬＣＵ００、ＬＣＵ０１、ＬＣＵ０２…ＬＣＵ０６３の情報を処理するものである。

また、第３の動画像処理ユニット２２(ＣＥ１０)と第４の動画像処理ユニット２３(ＣＥ１１)とは、図９に示した液晶表示装置の２行目に横方向に配置された６４個の最大コーディングユニットＬＣＵ１０、ＬＣＵ１１、ＬＣＵ１２…ＬＣＵ１６３の情報を処理するものである。

また、第５の動画像処理ユニット２４(ＣＥ２０)と第６の動画像処理ユニット２５(ＣＥ２１)とは、図９に示した液晶表示装置の３行目に横方向に配置された６４個の最大コーディングユニットＬＣＵ２０、ＬＣＵ２１、ＬＣＵ２２…ＬＣＵ２６３の情報を処理するものである。

また、第７の動画像処理ユニット２６(ＣＥ３０)と第８の動画像処理ユニット２７(ＣＥ３１)とは、図９に示した液晶表示装置の４行目に横方向に配置された６４個の最大コーディングユニットＬＣＵ３０、ＬＣＵ３１、ＬＣＵ３２…ＬＣＵ３６３の情報を処理するものである。

図２に示すように第１と第２の動画像処理ユニット２０、２１による１行目の６４個のＬＣＵ００…６３の処理と、第３と第４の動画像処理ユニット２２、２３による２行目の６４個のＬＣＵ１０…１６３の処理とは、並列復号処理となる。また更にこの並列復号処理と、第５と第６の動画像処理ユニット２４、２５による３行目の６４個のＬＣＵ２０…２６３の処理と、第７と第８の動画像処理ユニット２４、２５による４行目の６４個のＬＣＵ３０…３６３の処理とは、並列復号処理となる。このように、８個の動画像処理ユニット２０、２１、２２、２３…２７による４行分の最大コーディングユニットＬＣＵの情報のイントラ予測に関する並列復号処理を可能とするためには、４行分の最大コーディングユニットＬＣＵは、４個のスライスに分割される。すなわち、１行目の６４個のＬＣＵ００…６３は第１のスライスの内部に配置され、２行目の６４個のＬＣＵ１０…１６３は第２のスライスの内部に配置され、３行目の６４個のＬＣＵ２０…２６３は第３のスライスの内部に配置され、４行目の６４個のＬＣＵ３０…３６３は第４のスライスの内部に配置される。このスライス分割の理由は、上記非特許文献２に記載されたように、Ｈ．２６５／ＨＥＶＣ規格のスライスは、同一ピクチャーの他のスライスと独立に復号化されるので、上記の複数のスライスの並列復号処理が可能となるためである。

図２に図示されてはいないが、図１に示した実施の形態１による動画像復号処理装置１は、第６３の動画像処理ユニット２６２と第６４の動画像処理ユニット２６３とを含むものである。従って、第６３の動画像処理ユニット２６２と第６４の動画像処理ユニット２６３とは、図９に示した液晶表示装置の３２行目に横方向に配置された６４個の最大コーディングユニットＬＣＵ３１０、ＬＣＵ３１１、ＬＣＵ３１２…ＬＣＵ３１６３の情報を処理するものである。従って、図１に示した実施の形態１による動画像復号処理装置１の６４個の動画像処理ユニット２０、２１、２２、２３…２６３は、図９に示した液晶表示装置の長辺の横方向の６４列と短辺の縦方向の３２行とに配置された２０４８個の最大コーディングユニット(ＬＣＵ)の情報を並列処理するものである。

《小さなコーディングユニットの並列復号処理》
図３は、図２で説明した第１の動画像処理ユニット２０(ＣＥ００)と第２の動画像処理ユニット２１(ＣＥ０１)とが、図９に示した液晶表示装置の１行・１列目に配置された最大コーディングユニットＬＣＵ００の内部の１６個の小さなコーディングユニットＣＵ０、ＣＵ１、ＣＵ２…ＣＵ１５の情報をイントラ予測を使用して並列復号処理を実行する様子を示す図である。

図３に示したように、１個の最大コーディングユニットＬＣＵ００は６４画素×６４画素の大きなサイズを有する一方、１６個の小さなコーディングユニットＣＵ０、ＣＵ１、ＣＵ２…ＣＵ１５の各コーディングユニットは１６画素×１６画素の小さなサイズを有している。１列目に４個の小さなコーディングユニットＣＵ０、ＣＵ１、ＣＵ４、ＣＵ５が配置され、２列目に４個の小さなコーディングユニットＣＵ２、ＣＵ３、ＣＵ６、ＣＵ７が配置され、３列目に４個の小さなコーディングユニットＣＵ８、ＣＵ９、ＣＵ１２、ＣＵ１３が配置され、４列目に４個の小さなコーディングユニットＣＵ１０、ＣＵ１１、ＣＵ１４、ＣＵ１５が配置されている。

図３に示したように、第１のタイミングＴ０では、第１の動画像処理ユニット２０(ＣＥ００)によって、第１と第２のコーディングユニットＣＵ０、ＣＵ１がシーケンシャルに復号処理される。第２のタイミングＴ１では、第１の動画像処理ユニット２０(ＣＥ００)によって第３と第４のコーディングユニットＣＵ２、ＣＵ３がシーケンシャルに復号処理されるのと並行して、第２の動画像処理ユニット２１(ＣＥ０１)によって第５と第６のコーディングユニットＣＵ４、ＣＵ５がシーケンシャルに復号処理される。尚、第２のコーディングユニットＣＵ１は第１のコーディングユニットＣＵ０からイントラ予測されて、第３のコーディングユニットＣＵ２も第１のコーディングユニットＣＵ０からイントラ予測され、第４のコーディングユニットＣＵ３は第２のコーディングユニットＣＵ１からイントラ予測される。また、第５のコーディングユニットＣＵ４は第２のコーディングユニットＣＵ１からイントラ予測され、第６のコーディングユニットＣＵ５は第５のコーディングユニットＣＵ４からイントラ予測される。

第３のタイミングＴ２では第１の動画像処理ユニット２０(ＣＥ００)によって第７と第８のコーディングユニットＣＵ６、ＣＵ７がシーケンシャルに復号処理されるのと並行して、第２の動画像処理ユニット２１(ＣＥ０１)によって第９と第１０のコーディングユニットＣＵ８、ＣＵ９がシーケンシャルに復号処理される。尚、第７のコーディングユニットＣＵ６は第４のコーディングユニットＣＵ３からイントラ予測され、第８のコーディングユニットＣＵ７は第７のコーディングユニットＣＵ６からイントラ予測される。更に、第９のコーディングユニットＣＵ８は第３のコーディングユニットＣＵ２からイントラ予測され、第１０のコーディングユニットＣＵ９は第９のコーディングユニットＣＵ８からイントラ予測される。

第４のタイミングＴ３では第１の動画像処理ユニット２０(ＣＥ００)によって第１１と第１２のコーディングユニットＣＵ１０、ＣＵ１１がシーケンシャルに復号処理されるのと並行して、第２の動画像処理ユニット２１(ＣＥ０１)によって第１３と第１４のコーディングユニットＣＵ１２、ＣＵ１３がシーケンシャルに復号処理される。尚、第１１のコーディングユニットＣＵ１０は第９のコーディングユニットＣＵ８からイントラ予測され、第１２のコーディングユニットＣＵ１１は第１１のコーディングユニットＣＵ１０からイントラ予測される。更に、第１３のコーディングユニットＣＵ１２は第１０のコーディングユニットＣＵ９からイントラ予測され、第１４のコーディングユニットＣＵ１３は第１３のコーディングユニットＣＵ１２からイントラ予測される。

第５のタイミングＴ４では、第１の動画像処理ユニット２０(ＣＥ００)によって、第１５と第１６のコーディングユニットＣＵ１４、ＣＵ１５がシーケンシャルに復号処理される。尚、第１５のコーディングユニットＣＵ１４は第１２のコーディングユニットＣＵ１１からイントラ予測され、第１６のコーディングユニットＣＵ１５は第１５のコーディングユニットＣＵ１４からイントラ予測される。

図３に示した実施の形態１の例では、第１の動画像処理ユニット２０(ＣＥ００)と第２の動画像処理ユニット２１(ＣＥ０１)が、１個の最大コーディングユニットＬＣＵ００から分割された１６個の小さなコーディングユニットＣＵ０、ＣＵ１、ＣＵ２…ＣＵ１５を２分割してイントラ予測の並列復号処理するものである。従って、図１に示す実施の形態１による動画像復号処理装置１において、第１の動画像処理ユニット２０(ＣＥ００)と第２の動画像処理ユニット２１(ＣＥ０１)とは、逆量子化ユニット２０１と逆変換ユニット２０２と動き補償ユニット２０５とフィルタユニット２０８とにおけるそれぞれの処理においても、上述のような２分割の並列処理を実行するものである。

すなわち、構文解釈ユニット１０による符号化ビットストリームＢＳのシンタックスの構文解釈によって、複数の動画像処理ユニット２０、２１、２２、２３…２７によって逆量子化処理および逆変換処理に関する並列処理が可能とされるものである。従って、構文解釈ユニット１０から複数の動画像処理ユニット２０、２１、２２、２３…２７によって逆量子化処理および逆変換処理に関して並列処理可能な複数のブロックを含んだ複数の中間ストリームが生成され、複数の動画像処理ユニット２０、２１、２２、２３…２７に供給される。その結果、複数の動画像処理ユニット２０、２１、２２、２３…２７は、逆量子化処理および逆変換処理に関して並列復号処理を実行するものである。

更に構文解釈ユニット１０による符号化ビットストリームＢＳのシンタックスの構文解釈によって、複数の動画像処理ユニット２０、２１、２２、２３…２７によって動き補償処理およびフィルタ処理に関する並列処理が可能とされるものである。従って、構文解釈ユニット１０から複数の動画像処理ユニット２０、２１、２２、２３…２７によって動き補償処理およびフィルタ処理に関して並列処理可能な複数のブロックを含んだ複数の中間ストリームが生成され、複数の動画像処理ユニット２０、２１、２２、２３…２７に供給される。その結果、複数の動画像処理ユニット２０、２１、２２、２３…２７は、動き補償処理およびフィルタ処理に関して並列復号処理を実行するものである。

《並列復号処理のタイミング》
図４は、図２に示した第１の動画像処理ユニット２０(ＣＥ００)と第２の動画像処理ユニット２１(ＣＥ０１)とが、図３に示した１６個の小さなコーディングユニットＣＵ０、ＣＵ１、ＣＵ２…ＣＵ１５の情報をイントラ予測を使用して並列復号処理を実行するタイミングを示す図である。

図４に示したように第１のタイミングＴ０では、第１の動画像処理ユニット２０(ＣＥ００)によって第１と第２のコーディングユニットＣＵ０、ＣＵ１がシーケンシャルに復号処理されるのと並行して、第２の動画像処理ユニット２１(ＣＥ０１)によって２回のノーオペレーション(ＮＯＰ)が実行される。

この図４に示された２回のノーオペレーション(ＮＯＰ)の領域は、上記非特許文献３に記載されたＬＣＵの並列処理に必要な斜行ウェーブフロントに対応するものである。

図４に示した第２のタイミングＴ１では、第１の動画像処理ユニット２０(ＣＥ００)によって第３と第４のコーディングユニットＣＵ２、ＣＵ３がシーケンシャルに復号処理されるのと並行して、第２の動画像処理ユニット２１(ＣＥ０１)によって第５と第６のコーディングユニットＣＵ４、ＣＵ５がシーケンシャルに復号処理される。ここで、第１のタイミングＴ０での第１の動画像処理ユニット２０(ＣＥ００)による第２のコーディングユニットＣＵ１のイントラ予測を使用した復号処理結果が、第２のタイミングＴ１での第２の動画像処理ユニット２１(ＣＥ０１)による第５のコーディングユニットＣＵ４のイントラ予測を使用する復号処理に使用される。すなわち、第１のタイミングＴ０での第１の動画像処理ユニット２０(ＣＥ００)による第２のコーディングユニットＣＵ１のイントラ予測を使用した復号処理結果が、図１に示したユニット間信号バス４１を介して、第１の動画像処理ユニット２０(ＣＥ００)から、第２の動画像処理ユニット２１(ＣＥ０１)に供給されるものである。

図４に示した第３のタイミングＴ２では、第１の動画像処理ユニット２０(ＣＥ００)によって第７と第８のコーディングユニットＣＵ６、ＣＵ７がシーケンシャルに復号処理されるのと並行して、第２の動画像処理ユニット２１(ＣＥ０１)によって第９と第１０のコーディングユニットＣＵ８、ＣＵ９がシーケンシャルに復号処理される。ここで、第２のタイミングＴ１での第１の動画像処理ユニット２０(ＣＥ００)による第３のコーディングユニットＣＵ２のイントラ予測を使用した復号処理結果が、第３のタイミングＴ２での第２の動画像処理ユニット２１(ＣＥ０１)による第９のコーディングユニットＣＵ８のイントラ予測を使用する復号処理に使用される。すなわち、第２のタイミングＴ１での第１の動画像処理ユニット２０(ＣＥ００)による第３のコーディングユニットＣＵ２のイントラ予測を使用した復号処理結果が、図１に示したユニット間信号バス４１を介して、第１の動画像処理ユニット２０(ＣＥ００)から、第２の動画像処理ユニット２１(ＣＥ０１)に供給されるものである。

図４に示した第４のタイミングＴ３では、第１の動画像処理ユニット２０(ＣＥ００)によって第１１と第１２のコーディングユニットＣＵ１０、ＣＵ１１がシーケンシャルに復号処理されるのと並行して、第２の動画像処理ユニット２１(ＣＥ０１)によって第１３と第１４のコーディングユニットＣＵ１２、ＣＵ１３がシーケンシャルに復号処理される。ここで、第３のタイミングＴ２での第２の動画像処理ユニット２１(ＣＥ０１)による第９のコーディングユニットＣＵ８のイントラ予測を使用した復号処理結果が、第４のタイミングＴ３での第１の動画像処理ユニット２０(ＣＥ００)による第１１コーディングユニットＣＵ１０のイントラ予測を使用する復号処理に使用される。すなわち、第３のタイミングＴ２での第２の動画像処理ユニット２１(ＣＥ０１)による第９のコーディングユニットＣＵ８のイントラ予測を使用した復号処理結果が、図１に示したユニット間信号バス４１を介して、第２の動画像処理ユニット２１(ＣＥ０１)から、第１の動画像処理ユニット２０(ＣＥ００)に供給されるものである。

図４に示した第５のタイミングＴ４では、第１の動画像処理ユニット２０(ＣＥ００)によって、第１５と第１６のコーディングユニットＣＵ１４、ＣＵ１５がシーケンシャルに復号処理されるのと並行して、第２の動画像処理ユニット２１(ＣＥ０１)によって２回のオペレーション(ＯＰＥ)が実行されるものである。この第２の動画像処理ユニット２１(ＣＥ０１)によって実行される２回のオペレーション(ＯＰＥ)は、図９の液晶表示装置の１行・２列目に配置された最大コーディングユニットＬＣＵ０１の内部の第１と第２のコーディングユニットＣＵ０、ＣＵ１をシーケンシャルに復号処理するものである。

このように、図２に示した第１の動画像処理ユニット２０(ＣＥ００)と第２の動画像処理ユニット２１(ＣＥ０１)とが、図９に示した液晶表示装置の１行目に横方向に配置された６４個の最大コーディングユニットＬＣＵ００、ＬＣＵ０１、ＬＣＵ０２…ＬＣＵ０６３の内部情報を並列復号処理するものである。

《８個の動画像処理ユニットによる並列復号処理》
図５は、図１に示した８個の動画像処理ユニット２０、２１、２２、２３…２７による４行分の最大コーディングユニットＬＣＵの内部情報の並列復号処理を実行するタイミングを示す図である。

図５の第１番目に、図２に示した第１の動画像処理ユニット２０(ＣＥ００)と第２の動画像処理ユニット２１(ＣＥ０１)とが、図９に示した液晶表示装置の１行目の最大コーディングユニットＬＣＵ００の内部の１６個の小さなコーディングユニットＣＵ０、ＣＵ１、ＣＵ２…ＣＵ１５の情報の並列復号処理を実行するタイミングを示している。

図５の第１番目の最初でも、図４の第１のタイミングＴ０と同様に、第１の動画像処理ユニット２０(ＣＥ００)によって第１と第２のコーディングユニットＣＵ０、ＣＵ１がシーケンシャルに復号処理されるのと並行して、第２の動画像処理ユニット２１(ＣＥ０１)によって２回のノーオペレーション(ＮＯＰ)が実行される。

図５の第１番目の最後でも、図４の第５のタイミングＴ４と同様に第１の動画像処理ユニット２０(ＣＥ００)によって第１５と第１６のコーディングユニットＣＵ１４、ＣＵ１５がシーケンシャルに復号処理されるのと並行して、第２の動画像処理ユニット２１(ＣＥ０１)によって２回のオペレーション(ＯＰＥ)が実行されるものである。

図５の第２番目に、図２に示した第３の動画像処理ユニット２２(ＣＥ１０)と第４の動画像処理ユニット２３(ＣＥ１１)とが、図９に示した液晶表示装置の２行目の最大コーディングユニットＬＣＵ１０の内部の１６個の小さなコーディングユニットＣＵ０、ＣＵ１、ＣＵ２…ＣＵ１５の情報の並列復号処理を実行するタイミングを示している。

図５の第２番目の最初でも、図４の第１のタイミングＴ０と同様に、第３の動画像処理ユニット２２(ＣＥ１０)によって第１と第２のコーディングユニットＣＵ０、ＣＵ１がシーケンシャルに復号処理されるのと並行して、第４の動画像処理ユニット２３(ＣＥ１１)によって２回のノーオペレーション(ＮＯＰ)が実行される。

図５の第２番目の最後でも、図４の第５のタイミングＴ４と同様に第３の動画像処理ユニット２２(ＣＥ１０)によって第１５と第１６のコーディングユニットＣＵ１４、ＣＵ１５がシーケンシャルに復号処理されるのと並行して、第４の動画像処理ユニット２３(ＣＥ１１)によって２回のオペレーション(ＯＰＥ)が実行されるものである。

図５の第３番目に、図２に示した第５の動画像処理ユニット２４(ＣＥ２０)と第６の動画像処理ユニット２５(ＣＥ２１)とが、図９に示した液晶表示装置の３行目の最大コーディングユニットＬＣＵ２０の内部の１６個の小さなコーディングユニットＣＵ０、ＣＵ１、ＣＵ２…ＣＵ１５の情報の並列復号処理を実行するタイミングを示している。

図５の第３番目の最初でも、図４の第１のタイミングＴ０と同様に、第５の動画像処理ユニット２４(ＣＥ２０)によって第１と第２のコーディングユニットＣＵ０、ＣＵ１がシーケンシャルに復号処理されるのと並行して、第６の動画像処理ユニット２５(ＣＥ２１)によって２回のノーオペレーション(ＮＯＰ)が実行される。

図５の第３番目の最後でも、図４の第５のタイミングＴ４と同様に第５の動画像処理ユニット２４(ＣＥ２０)によって第１５と第１６のコーディングユニットＣＵ１４、ＣＵ１５がシーケンシャルに復号処理されるのと並行して、第６の動画像処理ユニット２５(ＣＥ２１)によって２回のオペレーション(ＯＰＥ)が実行されるものである。

図５の第４番目に、図２に示した第７の動画像処理ユニット２６(ＣＥ３０)と第８の動画像処理ユニット２７(ＣＥ３１)とが、図９に示した液晶表示装置の４行目の最大コーディングユニットＬＣＵ３０の内部の１６個の小さなコーディングユニットＣＵ０、ＣＵ１、ＣＵ２…ＣＵ１５の情報の並列復号処理を実行するタイミングを示している。

図５の第４番目の最初でも、図４の第１のタイミングＴ０と同様に、第７の動画像処理ユニット２６(ＣＥ３０)によって第１と第２のコーディングユニットＣＵ０、ＣＵ１がシーケンシャルに復号処理されるのと並行して、第８の動画像処理ユニット２７(ＣＥ３１)によって２回のノーオペレーション(ＮＯＰ)が実行される。

図５の第４番目の最後でも、図４の第５のタイミングＴ４と同様に第７の動画像処理ユニット２６(ＣＥ３０)によって第１５と第１６のコーディングユニットＣＵ１４、ＣＵ１５がシーケンシャルに復号処理されるのと並行して、第８の動画像処理ユニット２７(ＣＥ３１)によって２回のオペレーション(ＯＰＥ)が実行されるものである。

図５に示したように、最初に第２の動画像処理ユニット２１による２回のノーオペレーション(ＮＯＰ)の実行と、第４の動画像処理ユニット２３による２回のノーオペレーション(ＮＯＰ)の実行と、第６の動画像処理ユニット２５による２回のノーオペレーション(ＮＯＰ)の実行と、第８の動画像処理ユニット２７による２回のノーオペレーション(ＮＯＰ)の実行とが並列実行される。しかし、図５に示した４系統で並列実行される２回のノーオペレーション(ＮＯＰ)のオーバーヘッドは、本発明に先立って本発明者等によって検討された図１０に示した三角形のノーオペレーション(ＮＯＰ)のオーバーヘッドよりも著しく低減されていることが理解できる。

《小さなコーディングユニットの並列復号処理》
図６は、図２で説明した第１の動画像処理ユニット２０(ＣＥ００)と第２の動画像処理ユニット２１(ＣＥ０１)とが、図９に示した液晶表示装置の１行・１列目に配置された最大コーディングユニットＬＣＵ００の内部の６４個の更に小さなコーディングユニットＣＵ０、ＣＵ１、ＣＵ２…ＣＵ６３の情報をイントラ予測に関して並列復号処理を実行する様子を示す図である。

図６に示したように、１個の最大コーディングユニットＬＣＵ００は６４画素×６４画素の最大のサイズを有する一方、６４個の小さなコーディングユニットＣＵ０、ＣＵ１、ＣＵ２…ＣＵ６３の各コーディングユニットは８画素×８画素の更に小さなサイズを有している。１行目に８個の小さなコーディングユニットＣＵ０、ＣＵ１、ＣＵ４、ＣＵ５…ＣＵ１２、ＣＵ１３が配置され、２行目に８個の小さなコーディングユニットＣＵ２、ＣＵ３、ＣＵ６、ＣＵ７…ＣＵ１４、ＣＵ１５が配置されている。３行目にも８個の小さなコーディングユニットＣＵ１６、ＣＵ１７、ＣＵ２０、ＣＵ２１…ＣＵ２８、ＣＵ２９が配置され、４行目にも８個の小さなコーディングユニットＣＵ１８、ＣＵ１９、ＣＵ２２、ＣＵ２３…ＣＵ３０、ＣＵ３１が配置されている。５行目から８行目までは、図６に示した通りであり、説明を省略する。

図６に示したように、第１のタイミングＴ０では、第１の動画像処理ユニット２０(ＣＥ００)によって、第１と第２のコーディングユニットＣＵ０、ＣＵ１がシーケンシャルに復号処理される。第２のタイミングＴ１では、第１の動画像処理ユニット２０(ＣＥ００)によって第３と第４のコーディングユニットＣＵ２、ＣＵ３がシーケンシャルに復号処理されるのと並行して、第２の動画像処理ユニット２１(ＣＥ０１)によって第５と第６のコーディングユニットＣＵ４、ＣＵ５がシーケンシャルに復号処理される。尚、第２のコーディングユニットＣＵ１は第１のコーディングユニットＣＵ０からイントラ予測されて、第３のコーディングユニットＣＵ２も第１のコーディングユニットＣＵ０からイントラ予測され、第４のコーディングユニットＣＵ３は第２のコーディングユニットＣＵ１からイントラ予測される。また、第５のコーディングユニットＣＵ４は第２のコーディングユニットＣＵ１からイントラ予測され、第６のコーディングユニットＣＵ５は第５のコーディングユニットＣＵ４からイントラ予測される。

第３のタイミングＴ２では第１の動画像処理ユニット２０(ＣＥ００)によって第７と第８のコーディングユニットＣＵ６、ＣＵ７がシーケンシャルに復号処理されるのと並行して、第２の動画像処理ユニット２１(ＣＥ０１)によって第９と第１０のコーディングユニットＣＵ８、ＣＵ９がシーケンシャルに復号処理される。尚、第７のコーディングユニットＣＵ６は第４のコーディングユニットＣＵ３からイントラ予測され、第８のコーディングユニットＣＵ７は第７のコーディングユニットＣＵ６からイントラ予測される。更に、第９のコーディングユニットＣＵ８は第６のコーディングユニットＣＵ５からイントラ予測され、第１０のコーディングユニットＣＵ９は第９のコーディングユニットＣＵ８からイントラ予測される。

第４のタイミングＴ３では第１の動画像処理ユニット２０(ＣＥ００)によって第１１と第１２のコーディングユニットＣＵ１０、ＣＵ１１がシーケンシャルに復号処理されるのと並行して、第２の動画像処理ユニット２１(ＣＥ０１)によって第１３と第１４のコーディングユニットＣＵ１２、ＣＵ１３がシーケンシャルに復号処理される。尚、第１１のコーディングユニットＣＵ１０は第８のコーディングユニットＣＵ７からイントラ予測され、第１２のコーディングユニットＣＵ１１は第１１のコーディングユニットＣＵ１０からイントラ予測される。更に、第１３のコーディングユニットＣＵ１２は第１０のコーディングユニットＣＵ９からイントラ予測され、第１４のコーディングユニットＣＵ１３は第１３のコーディングユニットＣＵ１２からイントラ予測される。

第５のタイミングＴ４では、第１の動画像処理ユニット２０(ＣＥ００)によって、第１５と第１６のコーディングユニットＣＵ１４、ＣＵ１５がシーケンシャルに復号処理されるのと並行して、第２の動画像処理ユニット２１(ＣＥ０１)によって第１７と第１８のコーディングユニットＣＵ１６、ＣＵ１７がシーケンシャルに復号処理される。尚、第１５のコーディングユニットＣＵ１４は第１２のコーディングユニットＣＵ１１からイントラ予測され、第１６のコーディングユニットＣＵ１５は第１５のコーディングユニットＣＵ１４からイントラ予測される。更に第１７のコーディングユニットＣＵ１６は第３のコーディングユニットＣＵ２からイントラ予測され、第１８のコーディングユニットＣＵ１７は第１７のコーディングユニットＣＵ１６からイントラ予測される。

第６のタイミングＴ５では、第１の動画像処理ユニット２０(ＣＥ００)によって、第１９と第２０のコーディングユニットＣＵ１８、ＣＵ１９がシーケンシャルに復号処理されるのと並行して、第２の動画像処理ユニット２１(ＣＥ０１)によって第２１と第２２のコーディングユニットＣＵ２０、ＣＵ２１がシーケンシャルに復号処理される。尚、第１９のコーディングユニットＣＵ１８は第１７のコーディングユニットＣＵ１６からイントラ予測され、第２０のコーディングユニットＣＵ１９は第１９のコーディングユニットＣＵ１８からイントラ予測される。更に、第２１のコーディングユニットＣＵ２０は第１８のコーディングユニットＣＵ１７からイントラ予測され、第２２のコーディングユニットＣＵ２１は第２１のコーディングユニットＣＵ２０からイントラ予測される。

第７のタイミングＴ６では、第１の動画像処理ユニット２０(ＣＥ００)によって第２３と第２４のコーディングユニットＣＵ２２、ＣＵ２３がシーケンシャルに復号処理されるのと並行して、第２の動画像処理ユニット２１(ＣＥ０１)によって第２５と第２６のコーディングユニットＣＵ２４、ＣＵ２５がシーケンシャルに復号処理される。尚、第２３のコーディングユニットＣＵ２２は第２０のコーディングユニットＣＵ１９からイントラ予測され、第２４のコーディングユニットＣＵ２３は第２３のコーディングユニットＣＵ２２からイントラ予測される。更に、第２５のコーディングユニットＣＵ２４は第２２のコーディングユニットＣＵ２１からイントラ予測され、第２６のコーディングユニットＣＵ２５は第２５のコーディングユニットＣＵ２４からイントラ予測される。

第８のタイミングＴ７では、第１の動画像処理ユニット２０(ＣＥ００)によって第２７と第２８のコーディングユニットＣＵ２６、ＣＵ２７がシーケンシャルに復号処理されるのと並行して、第２の動画像処理ユニット２１(ＣＥ０１)によって第２９と第３０のコーディングユニットＣＵ２８、ＣＵ２９がシーケンシャルに復号処理される。尚、第２７のコーディングユニットＣＵ２６は第２４のコーディングユニットＣＵ２３からイントラ予測され、第２８のコーディングユニットＣＵ２７は第２７のコーディングユニットＣＵ２６からイントラ予測される。更に、第２９のコーディングユニットＣＵ２８は第２６のコーディングユニットＣＵ２５からイントラ予測され、第３０のコーディングユニットＣＵ２９は第２９のコーディングユニットＣＵ２８からイントラ予測される。

図６に示した第９のタイミングＴ８から第１６のタイミングＴ１５までの動作は、上述した第１のタイミングＴ０から第８のタイミングＴ７までの動作と類似したものであるので、説明を省略する。

図６に示した第１７のタイミングＴ１６では、第１の動画像処理ユニット２０(ＣＥ００)によって、第６３と第６４のコーディングユニットＣＵ６２、ＣＵ６３がシーケンシャルに復号処理される。尚、第６３のコーディングユニットＣＵ６２は第６０のコーディングユニットＣＵ５９からイントラ予測され、第６４のコーディングユニットＣＵ６３は第６３のコーディングユニットＣＵ６２からイントラ予測される。

図６に示した実施の形態１の例では、第１の動画像処理ユニット２０(ＣＥ００)と第２の動画像処理ユニット２１(ＣＥ０１)とが、１個の最大コーディングユニットＬＣＵ００から分割された６４個の小さなコーディングユニットＣＵ０、ＣＵ１、ＣＵ２…ＣＵ６３を２分割してイントラ予測の並列復号処理するものである。従って、図１に示した実施の形態１による動画像復号処理装置１では、第１の動画像処理ユニット２０(ＣＥ００)と第２の動画像処理ユニット２１(ＣＥ０１)とは、逆量子化ユニット２０１と逆変換ユニット２０２と動き補償ユニット２０５とフィルタユニット２０８とにおけるそれぞれの処理においても、上述のような２分割の並列処理を実行するものである。

《並列復号処理のタイミング》
図７は、図２に示した第１の動画像処理ユニット２０(ＣＥ００)と第２の動画像処理ユニット２１(ＣＥ０１)とが、図６に示した６４個の小さなコーディングユニットＣＵ０、ＣＵ１、ＣＵ２…ＣＵ６４の情報をイントラ予測を使用して並列復号処理を実行するタイミングを示す図である。

図６に示した第１のタイミングＴ０と全く同様に図７に示した第１のタイミングＴ０では、第１の動画像処理ユニット２０(ＣＥ００)により第１と第２のコーディングユニットＣＵ０、ＣＵ１がシーケンシャルに復号処理されるのと並行して、第２の動画像処理ユニット２１(ＣＥ０１)によって２回のノーオペレーション(ＮＯＰ)が実行される。

この図７に示された２回のノーオペレーション(ＮＯＰ)の領域は、上記非特許文献３に記載されたＬＣＵの並列処理に必要な斜行ウェーブフロントに対応するものである。

図７に示したイントラ予測を使用して並列復号処理においても、第１のタイミングＴ０での第１の動画像処理ユニット２０(ＣＥ００)による第２のコーディングユニットＣＵ１のイントラ予測を使用した復号処理結果が、第２のタイミングＴ１での第２の動画像処理ユニット２１(ＣＥ０１)による第５のコーディングユニットＣＵ４のイントラ予測を使用する復号処理に使用される。すなわち、第１のタイミングＴ０での第１の動画像処理ユニット２０(ＣＥ００)による第２のコーディングユニットＣＵ１のイントラ予測を使用した復号処理結果が、図１に示したユニット間信号バス４１を介して、第１の動画像処理ユニット２０(ＣＥ００)から、第２の動画像処理ユニット２１(ＣＥ０１)に供給されるものである。更に第２のタイミングＴ１での第１の動画像処理ユニット２０(ＣＥ００)による第３のコーディングユニットＣＵ２のイントラ予測を使用した復号処理結果が、第５のタイミングＴ４での第２の動画像処理ユニット２１(ＣＥ０１)による第１７のコーディングユニットＣＵ１６のイントラ予測を使用する復号処理に使用される。すなわち、第２のタイミングＴ１での第１の動画像処理ユニット２０(ＣＥ００)による第３のコーディングユニットＣＵ２のイントラ予測を使用した復号処理結果が、図１に示したユニット間信号バス４１を介して、第１の動画像処理ユニット２０(ＣＥ００)から、第２の動画像処理ユニット２１(ＣＥ０１)に供給されるものである。更に第５のタイミングＴ４での第２の動画像処理ユニット２１(ＣＥ０１)による第１７のコーディングユニットＣＵ１６のイントラ予測を使用した復号処理結果が、第６のタイミングＴ５での第１の動画像処理ユニット２０(ＣＥ００)による第１９のコーディングユニットＣＵ１８のイントラ予測を使用する復号処理に使用される。すなわち、第５のタイミングＴ４での第２の動画像処理ユニット２１(ＣＥ０１)による第１７のコーディングユニットＣＵ１６のイントラ予測を使用した復号処理結果が、図１に示したユニット間信号バス４１を介して、第２の動画像処理ユニット２１(ＣＥ０１)から、第１の動画像処理ユニット２０(ＣＥ００)に供給されるものである。更に第９のタイミングＴ８での第２の動画像処理ユニット２１(ＣＥ０１)による第３３のコーディングユニットＣＵ３２のイントラ予測を使用した復号処理結果が、第１０のタイミングＴ９での第１の動画像処理ユニット２０(ＣＥ００)による第３５のコーディングユニットＣＵ３４のイントラ予測を使用する復号処理に使用される。すなわち、第９のタイミングＴ８での第２の動画像処理ユニット２１(ＣＥ０１)による第３３のコーディングユニットＣＵ３２のイントラ予測を使用した復号処理結果が、図１に示したユニット間信号バス４１を介して、第２の動画像処理ユニット２１(ＣＥ０１)から、第１の動画像処理ユニット２０(ＣＥ００)に供給されるものである。更に第１０のタイミングＴ９での第１の動画像処理ユニット２０(ＣＥ００)による第３５のコーディングユニットＣＵ３４のイントラ予測を使用した復号処理結果が、第１３のタイミングＴ１２での第２の動画像処理ユニット２１(ＣＥ０１)による第４９のコーディングユニットＣＵ４８のイントラ予測を使用する復号処理に使用される。すなわち、第１０のタイミングＴ９での第１の動画像処理ユニット２０(ＣＥ００)による第３５のコーディングユニットＣＵ３４のイントラ予測を使用した復号処理結果が、図１に示したユニット間信号バス４１を介して、第１の動画像処理ユニット２０(ＣＥ００)から、第２の動画像処理ユニット２１(ＣＥ０１)に供給されるものである。更に第１３のタイミングＴ１２での第２の動画像処理ユニット２１(ＣＥ０１)による第４９のコーディングユニットＣＵ４８のイントラ予測を使用した復号処理結果が、第１４のタイミングＴ１３での第１の動画像処理ユニット２０(ＣＥ００)による第５１のコーディングユニットＣＵ５０のイントラ予測を使用する復号処理を使用する復号処理に使用される。すなわち、第１３のタイミングＴ１２での第２の動画像処理ユニット２１(ＣＥ０１)による第４９のコーディングユニットＣＵ４８のイントラ予測を使用した復号処理結果が、図１に示したユニット間信号バス４１を介して、第２の動画像処理ユニット２１(ＣＥ０１)から、第１の動画像処理ユニット２０(ＣＥ００)に供給されるものである。

図７に示した第２のタイミングＴ１から第１６のタイミングＴ１５のその他の動作は、図６に示した第２のタイミングＴ１から第１６のタイミングＴ１５の動作と類似したものであるので、説明を省略する。

図７に示した第１７のタイミングＴ１６では、第１の動画像処理ユニット２０(ＣＥ００)によって第６３と第６４のコーディングユニットＣＵ６２、ＣＵ６３がシーケンシャルに復号処理されるのと並行して、第２の動画像処理ユニット２１(ＣＥ０１)によって２回のオペレーション(ＯＰＥ)が実行されるものである。この第２の動画像処理ユニット２１(ＣＥ０１)により実行される２回のオペレーション(ＯＰＥ)は、図９の液晶表示装置の１行・２列目に配置された最大コーディングユニットＬＣＵ０１の内部の第１と第２のコーディングユニットＣＵ０、ＣＵ１をシーケンシャルに復号処理するものである。

このようにして図２に示した第１の動画像処理ユニット２０(ＣＥ００)と第２の動画像処理ユニット２１(ＣＥ０１)とが、図９に示した液晶表示装置の１行目に横方向に配置された６４個の最大コーディングユニットＬＣＵ００、ＬＣＵ０１、ＬＣＵ０２…ＬＣＵ０６３の内部情報を並列復号処理するものである。

《８個の動画像処理ユニットによる並列復号処理》
図８は、図１に示した８個の動画像処理ユニット２０、２１、２２、２３…２７による４行分の最大コーディングユニットＬＣＵの内部情報の並列復号処理を実行する様子を示す図である。

図８に示した８個の動画像処理ユニット２０、２１、２２、２３…２７による４行分の最大コーディングユニットＬＣＵの内部情報の並列復号処理は、図５に示した並列復号処理と同様であるが、相違点は下記の通りである。

すなわち、図８の最後でも、図７の第１７のタイミングＴ１６と全く同様に、第１の動画像処理ユニット２０(ＣＥ００)により第６３と第６４のコーディングユニットＣＵ６２、ＣＵ６３がシーケンシャルに復号処理されるのと並行して、第２の動画像処理ユニット２１(ＣＥ０１)により２回のオペレーション(ＯＰＥ)が実行されるものである。この第２の動画像処理ユニット２１(ＣＥ０１)により実行される２回のオペレーション(ＯＰＥ)は、図９の液晶表示装置の１行・２列目に配置された最大コーディングユニットＬＣＵ０１の内部の第１と第２のコーディングユニットＣＵ０、ＣＵ１をシーケンシャルに復号処理するものである。

以上、本発明者によってなされた発明を種々の実施の形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。

例えば、本動画像復号処理装置は、Ｈ．２６５／ＨＥＶＣ規格に準拠する符号化ビットストリームＢＳを復号処理することにのみ限定されるものではない。

すなわち、本動画像復号処理装置は、６４×６４画素の最大のサイズを有する最大コーディングユニット(ＬＣＵ)を処理単位とするＨ．２６５／ＨＥＶＣ規格以外に６４×６４画素より大きな最大サイズを有する最大コーディングユニット(ＬＣＵ)を処理単位とする将来出現する規格に準拠した符号化ビットストリームＢＳを復号処理することに適用することも可能である。

更に、本動画像復号処理装置は、６４×６４画素の最大サイズよりも小さい、例えば３２×３２画素のサイズを有する最大コーディングユニット(ＬＣＵ)を処理単位として、Ｈ．２６５／ＨＥＶＣ規格に準拠して符号化された符号化ビットストリームＢＳを復号処理することも可能である。

図３と図４に示した例では、第１の動画像処理ユニット２０(ＣＥ００)と第２の動画像処理ユニット２１(ＣＥ０１)とが、１個の最大コーディングユニットＬＣＵ００から分割された１６個の小さなコーディングユニットＣＵ０、ＣＵ１、ＣＵ２…ＣＵ１５を２分割してイントラ予測の並列復号処理するものであった。それ以外にも、第１の動画像処理ユニット２０(ＣＥ００)と第２の動画像処理ユニット２１(ＣＥ０１)とが、１個の最大コーディングユニットＬＣＵ００から分割された４個のコーディングユニットＣＵ０、ＣＵ１、ＣＵ２、ＣＵ３を２分割してイントラ予測の並列復号処理することも可能である。

更に、本動画像復号処理装置は、図１に示したように８個の動画像処理ユニット２０、２１、２２、２３…２７のうちの２個の動画像処理ユニットが、１つの行の最大コーディングユニット(ＬＣＵ)の内部の複数個の小さなコーディングユニットの情報をイントラ予測を使用して並列復号処理を実行することにのみ限定されるものではない。すなわち、２個の動画像処理ユニットが１つの行の最大コーディングユニット(ＬＣＵ)の内部の複数個の小さなコーディングユニットの情報を、インター予測を使用して並列復号処理することも可能である。このインター予測の場合には、復号処理対象である最大コーディングユニット(ＬＣＵ)を含むフレームとは別のフレームが、参照フレームとして選択されるものである。

更に、本動画像復号処理装置は、上記非特許文献４に記載されたデュアルコアのコンピュータのように、図１に示した２個の動画像処理ユニット２０、２１のみを使用して４０９６画素×２０４８画素の大きさの表示画面の短辺の縦方向に配置された３２個の最大コーディングユニット(ＬＣＵ)を処理することも可能である。すなわち、２個の動画像処理ユニット２０、２１のみを使用して、３２行の各行の最大コーディングユニット(ＬＣＵ)の内部の複数の小さなコーディングユニットの情報をイントラ予測に関して並列復号処理を実行することも可能である。

１…動画像復号処理装置
１０…構文解釈ユニット
２０、２１、２２、２３…２７…動画像処理ユニット
３０…画像構築ユニット
２０１…逆量子化ユニット
２０２…逆変換ユニット
２０３…フレームメモリユニット
２０４…イントラ予測ユニット
２０５…動き補償ユニット
２０６…モードスイッチ
２０７…加算ユニット
２０８…フィルタユニット
４１、４２、４３…４７…ユニット間信号バス

Claims (20)

1. 動画像復号処理装置は、構文解釈ユニットと、第１と第２の動画像処理ユニットとを具備して、
   所定の画素サイズを有する複数の最大コーディングユニットのそれぞれの情報を含む符号化ビットストリームが、前記構文解釈ユニットの入力端子に供給され、
   前記構文解釈ユニットは、前記入力端子に供給される前記符号化ビットストリームのシンタックスの構文解釈を実行することによって、前記複数の最大コーディングユニットのうちの第１の最大コーディングユニットを分割して、それぞれより小さいコーディングユニットを１つ以上含む並列処理可能な第１の中間ストリームと第２の中間ストリームとを生成して、
   前記第１の動画像処理ユニットと前記第２の動画像処理ユニットは、前記構文解釈ユニットから生成された前記第１の中間ストリームに含まれる前記より小さいコーディングユニットと前記第２の中間ストリームに含まれる前記より小さいコーディングユニットとをそれぞれ並列処理する
   動画像復号処理装置。
2. 請求項１において、
   前記第１の動画像処理ユニットと前記第２の動画像処理ユニットは、イントラ予測の機能とインター予測の機能とをそれぞれ有して、
   前記第１の動画像処理ユニットと前記第２の動画像処理ユニットとは、前記イントラ予測と前記インター予測との少なくともいずれか一方に関して、前記第１の中間ストリームと前記第２の中間ストリームの並列復号処理を実行する
   動画像復号処理装置。
3. 請求項２において、
   前記動画像復号処理装置は、前記第１の動画像処理ユニットと前記第２の動画像処理ユニットの間に接続された第１信号経路を更に具備して、
   前記第１信号経路を介して、前記第１の動画像処理ユニットと前記第２の動画像処理ユニットのいずれか一方による前記イントラ予測を使用した復号処理結果が前記第１の動画像処理ユニットと前記第２の動画像処理ユニットの他方に供給可能とされる
   動画像復号処理装置。
4. 請求項３において、
   前記並列復号処理の実行において、前記第１の動画像処理ユニットが前記第１の中間ストリームに含まれる最初の前記より小さいコーディングユニットを処理するタイミングでは、前記第２の動画像処理ユニットはノーオペレーションを実行する
   動画像復号処理装置。
5. 請求項４において、
   前記構文解釈ユニットは、前記第１の最大コーディングユニットを少なくとも４個の前記より小さいコーディングユニットに分割することによって、前記第１の中間ストリームと前記第２の中間ストリームとを生成する
   動画像復号処理装置。
6. 請求項５において、
   前記第１の動画像処理ユニットと前記第２の動画像処理ユニットは、逆量子化の機能と逆変換の機能と動き補償の機能をそれぞれ有する
   動画像復号処理装置。
7. 請求項６において、
   前記第１の動画像処理ユニットと前記第２の動画像処理ユニットは、前記逆量子化および前逆変換に関して、前記第１の中間ストリームと前記第２の中間ストリームの並列復号処理を実行する
   動画像復号処理装置。
8. 請求項６において、
   前記第１の動画像処理ユニットと前記第２の動画像処理ユニットは、前記動き補償に関して、前記第１の中間ストリームと前記第２の中間ストリームの並列復号処理を実行する
   ことを特徴とする。
   動画像復号処理装置。
9. 請求項６において、
   前記動画像復号処理装置は、第１の入力端子と第２の入力端子とに前記第１の動画像処理ユニットの処理結果と前記第２の動画像処理ユニットの処理結果とそれぞれ供給される画像構築ユニットを更に具備して、
   前記画像構築ユニットの出力端子から、表示装置に供給可能な復号ピクチャーが生成される
   動画像復号処理装置。
10. 請求項５において、
    前記動画像復号処理装置は、第３と第４の動画像処理ユニットを更に具備して、
    前記構文解釈ユニットは、前記構文解釈を実行することによって前記第１の最大コーディングユニットとは異なる第２の最大コーディングユニットから並列処理可能な第３の中間ストリームと第４の中間ストリームとを生成して、
    前記第３の動画像処理ユニットと前記第４の動画像処理ユニットは、前記構文解釈ユニットから生成された前記第３の中間ストリームと前記第４の中間ストリームとを並列処理する
    動画像復号処理装置。
11. 請求項１０において、
    前記第１の最大コーディングユニットと前記第２の最大コーディングユニットとは、表示装置の１つの行に配置される表示情報と当該１つの行の次の行に配置される他の表示情報とにそれぞれ対応する
    動画像復号処理装置。
12. 請求項１１において、
    前記動画像復号処理装置は、前記第３の動画像処理ユニットと前記第４の動画像処理ユニットの間に接続された第２信号経路を更に具備して、
    前記第２信号経路を介して、前記第３の動画像処理ユニットと前記第４の動画像処理ユニットのいずれか一方による前記イントラ予測を使用した復号処理結果が前記第３の動画像処理ユニットと前記第４の動画像処理ユニットの他方に供給可能とされる
    動画像復号処理装置。
13. 請求項１２において、
    前記タイミングでは、前記第３の動画像処理ユニットが前記第３の中間ストリームに含まれる最初のより小さいコーディングユニットを処理して前記第２の動画像処理ユニットはノーオペレーションを実行する
    動画像復号処理装置。
14. 請求項９において、
    前記構文解釈ユニットと、前記イントラ予測の機能と前記逆量子化の機能と前記逆変換と前記動き補償の機能とをそれぞれ有する前記第１の動画像処理ユニットおよび前記第２の動画像処理ユニットと、前記画像構築ユニットとが、半導体集積回路の半導体チップの内部に集積化された
    動画像復号処理装置。
15. 請求項６において、
    前記構文解釈ユニットは、Ｈ．２６５／ＨＥＶＣ規格による前記最大コーディングユニットの情報を含んだ前記符号化ビットストリームの前記シンタックスの構文解釈を実行する
    動画像復号処理装置。
16. 請求項１５において、
    前記最大コーディングユニットは、前記Ｈ．２６５／ＨＥＶＣ規格によって６４画素×６４画素の最大のサイズを有する
    動画像復号処理装置。
17. 構文解釈ユニットと、第１と第２の動画像処理ユニットとを具備する動画像復号処理装置の動作方法であって、
    所定の画素サイズを有する複数の最大コーディングユニットのそれぞれの情報を含む符号化ビットストリームが、前記構文解釈ユニットの入力端子に供給され、
    前記構文解釈ユニットは、前記入力端子に供給される前記符号化ビットストリームのシンタックスの構文解釈を実行することによって、前記複数の最大コーディングユニットのうちの第１の最大コーディングユニットを分割して、それぞれより小さいコーディングユニットを１つ以上含む列処理可能な第１の中間ストリームと第２の中間ストリームとを生成して、
    前記第１の動画像処理ユニットと前記第２の動画像処理ユニットは、前記構文解釈ユニットから生成された前記第１の中間ストリームに含まれる前記より小さいコーディングユニットと前記第２の中間ストリームに含まれる前記より小さいコーディングユニットとをそれぞれ並列処理する
    動画像復号処理装置の動作方法。
18. 請求項１７において、
    前記第１の動画像処理ユニットと前記第２の動画像処理ユニットは、イントラ予測の機能とインター予測の機能とをそれぞれ有して、
    前記第１の動画像処理ユニットと前記第２の動画像処理ユニットとは、前記イントラ予測と前記インター予測との少なくともいずれか一方に関して前記第１の中間ストリームと前記第２の中間ストリームの並列復号処理を実行する
    動画像復号処理装置の動作方法。
19. 請求項１８において、
    前記動画像復号処理装置は、前記第１の動画像処理ユニットと前記第２の動画像処理ユニットの間に接続された第１信号経路を更に具備して、
    前記第１信号経路を介して、前記第１の動画像処理ユニットと前記第２の動画像処理ユニットのいずれか一方による前記イントラ予測を使用した復号処理結果が前記第１の動画像処理ユニットと前記第２の動画像処理ユニットの他方に供給可能とされる
    動画像復号処理装置の動作方法。
20. 請求項１９において、
    前記並列復号処理の実行において、前記第１の動画像処理ユニットが前記第１の中間ストリームに含まれる最初の前記より小さいコーディングユニットを処理するタイミングでは、前記第２の動画像処理ユニットはノーオペレーションを実行する
    動画像復号処理装置の動作方法。

Images