JP5162939B2 - 情報処理装置および方法、並びにプログラム - Google Patents

Description

本発明は、情報処理装置および方法、並びにプログラムに関し、特に、パケット送受信時における遅延を低減させることができるようにした情報処理装置および方法、並びにプログラムに関する。

従来、インターネット等を介して映像や音声のストリーミングが行われている。このときパケットロスや到着遅延等が生じると、データ品質劣化が起きる恐れがある。例えば、MPEG（Moving Picture Experts Group）やＨ．２６ｘ系の圧縮方式ように、フレーム間差分を取るエンコード方式の場合、パケットロスにより、あるフレームのデータが欠落すると、それ以降のフレームの画質に影響が出る、いわゆるエラーの伝搬が生じる。

また，MPEG方式では動き予測により圧縮率を高めているが、動き予測を行うとアルゴリズムが複雑になり、その処理時間はフレームサイズの２乗に比例して大きくなるため、原理的に数フレームの符号化遅延が発生する。双方向実時間通信を行う際には、許容遅延時間２５０ｍｓぎりぎりの遅延時間となり、無視できない大きさである。

これらに対して、JPEG（Joint Photographic Experts Group）２０００に代表されるような、イントラフレームコーデックはフレーム間の差分情報を利用しないため、上述したような遅延は発生しない。しかしながら、フレーム単位での圧縮となるため、エンコード開始まで、最低でも１フレームは待つ必要がある。現在の一般的なシステムでは１秒間に３０フレームであることが多いため、エンコード開始までに１６ｍｓ程度の待ち時間が必要となる。

そこでこの遅延をさらに低減することが求められており、エンコードやデコード以外の部分における遅延の低減も必要になってきた。

処理遅延のひとつとして、RTP（Real-time Transport Protocol）パケット化とデパケット化を行うパケタイズ/デパケタイズ処理がある。従来、デパケタイズを行う際には、ある程度のパケットが溜るのを待ってから処理を開始するため、遅延が発生していた。パケットをためる理由としては、インターネットでは分割せずに送信することのできるパケットの最大サイズに制限が存在し、ある意味を持った一連のデータが、複数のパケットに分割して送信される。デパケタイザでも分割されたパケットが揃うまでバッファリングしてからデパケタイズをはじめるため、遅延が増大し、またバッファのためのリソースも必要となる。

つまり、符号化データの受信側の装置では、受信したパケットが、デパケタイズ処理部によりデパケタイズされ、抽出された符号化データがデコーダにより復号されるが、このとき、デパケタイズ処理とデコード処理の両方においてバッファが必要になり、バッファのメモリ容量が増大する恐れがあった。

これに対して、バッファのメモリ容量を低減させるために各種の方法が考えられてきた（例えば、特許文献１参照）。

特許文献１においては、中継装置が受信したパケットを誤り訂正のためにバッファメモリに蓄積すると同時に、誤り訂正演算ブロック全体のパケットが到着するのを待つことなく、下流側に向けて逐次送信し、パケットの消失が検出された場合、誤り訂正演算を行って回復させて、その回復させたパケットを先送りしたパケットに続く形式で送信する。

特開２００５-１２７５３号

しかしながら、上述した特許文献１に記載の方法の場合、誤り訂正を行うため、中継装置においてもバッファメモリが必要になる。すなわち、上述したようにバッファのメモリ容量が増大する恐れがあった。また、特許文献１に記載の方法の場合、中継装置がパケットの誤り訂正を行うとパケットの順序が変更されてしまう。従って、受信装置においてデパケタイズの際に並び替えを行う必要があり、デパケタイズ処理が複雑になり遅延時間が増大するだけでなく、デパケタイズ処理用のバッファも必要になる。受信装置においてパケット化されて伝送された符号化データのデコードを行う場合、そのデパケタイズ用のバッファとは別にデコード用のバッファも必要になるので、メモリ容量だけでなく遅延時間もさらに増大する恐れがあった。

本発明は、このような従来の実情に鑑みて提案されたものであり、デパケタイズ処理において不要な待機時間の発生を抑制し、処理を容易かつ高速に行うことができるようにし、データをパケット化して送受信する際に発生する遅延時間を低減させることができるようにするものである。

本発明の一側面は、画像データの符号化データであって、前記画像データを符号化する際に行われる前記画像データのウェーブレット変換において、最低域成分の１ライン分を生成するために必要な、他のサブバンドも含めたラインの集まりであるプレシンクトの符号化データを、複数の部分データに分割する分割部と、前記分割部により得られた各部分データを、それぞれパケット化するパケット化部と、前記パケット化部により生成された各パケットの内、前記プレシンクトの符号化データの先頭の部分データをペイロードとする先頭パケットに対して、先頭パケットであることを示し、デパケタイズの際に、パケットロス発生に対するデータ破棄の制御を前記プレシンクトの符号化データ毎に行うために、前記プレシンクトの符号化データの先頭であることを確認するために参照される先頭フラグを設定する先頭フラグ設定部と、前記パケット化部により生成された各パケットの内、前記プレシンクトの符号化データの終端の部分データをペイロードとする最終パケットに対して、最終パケットであることを示し、デパケタイズの際に、パケットロス発生に対するデータ破棄の制御を前記プレシンクトの符号化データ毎に行うために、前記プレシンクトの符号化データの終端であることを確認するために参照される最終フラグを設定する最終フラグ設定部とを備える情報処理装置である。

前記パケット化部は、前記プレシンクトの符号化データについて、符号化が失敗している場合、前記分割部により得られた各部分データを破棄し、ヘッダ情報のみでパケット化することができる。

前記パケット化部は、前記部分データをペイロードとし、前記プレシンクトの符号化データのヘッダ情報と、少なくとも一部が共通のヘッダ情報を付加することにより、前記部分データをパケット化することができる。

前記パケット化部は、前記プレシンクトの符号化データの符号化が失敗しているか否かを示すフラグを、前記ヘッダ情報に含めて前記部分データに付加することができる。

前記画像データを、前記プレシンクト毎に符号化する符号化部をさらに備え、前記分割部は、前記符号化部により得られた前記プレシンクトの符号化データを分割することができる。

本発明の一側面はまた、情報処理装置の情報処理方法であって、前記情報処理装置が、画像データの符号化データであって、前記画像データを符号化する際に行われる前記画像データのウェーブレット変換において、最低域成分の１ライン分を生成するために必要な、他のサブバンドも含めたラインの集まりであるプレシンクトの符号化データを、複数の部分データに分割し、得られた各部分データを、それぞれパケット化し、生成された各パケットの内、前記プレシンクトの符号化データの先頭の部分データをペイロードとする先頭パケットに対して、先頭パケットであることを示し、デパケタイズの際に、パケットロス発生に対するデータ破棄の制御を前記プレシンクトの符号化データ毎に行うために、前記プレシンクトの符号化データの先頭であることを確認するために参照される先頭フラグを設定し、生成された各パケットの内、前記プレシンクトの符号化データの終端の部分データをペイロードとする最終パケットに対して、最終パケットであることを示し、デパケタイズの際に、パケットロス発生に対するデータ破棄の制御を前記プレシンクトの符号化データ毎に行うために、前記プレシンクトの符号化データの終端であることを確認するために参照される最終フラグを設定する情報処理方法である。

本発明の一側面はさらに、コンピュータを、画像データの符号化データであって、前記画像データを符号化する際に行われる前記画像データのウェーブレット変換において、最低域成分の１ライン分を生成するために必要な、他のサブバンドも含めたラインの集まりであるプレシンクトの符号化データを、複数の部分データに分割する分割部と、前記分割部により得られた各部分データを、それぞれパケット化するパケット化部と、前記パケット化部により生成された各パケットの内、前記プレシンクトの符号化データの先頭の部分データをペイロードとする先頭パケットに対して、先頭パケットであることを示し、デパケタイズの際に、パケットロス発生に対するデータ破棄の制御を前記プレシンクトの符号化データ毎に行うために、前記プレシンクトの符号化データの先頭であることを確認するために参照される先頭フラグを設定する先頭フラグ設定部と、前記パケット化部により生成された各パケットの内、前記プレシンクトの符号化データの終端の部分データをペイロードとする最終パケットに対して、最終パケットであることを示し、デパケタイズの際に、パケットロス発生に対するデータ破棄の制御を前記プレシンクトの符号化データ毎に行うために、前記プレシンクトの符号化データの終端であることを確認するために参照される最終フラグを設定する最終フラグ設定部として機能させるためのプログラムである。

本発明の一側面においては、画像データの符号化データであって、画像データを符号化する際に行われる画像データのウェーブレット変換において、最低域成分の１ライン分を生成するために必要な、他のサブバンドも含めたラインの集まりであるプレシンクトの符号化データが、複数の部分データに分割され、得られた各部分データが、それぞれパケット化され、生成された各パケットの内、プレシンクトの符号化データの先頭の部分データをペイロードとする先頭パケットに対して、先頭パケットであることを示し、デパケタイズの際に、パケットロス発生に対するデータ破棄の制御をプレシンクトの符号化データ毎に行うために、プレシンクトの符号化データの先頭であることを確認するために参照される先頭フラグが設定され、生成された各パケットの内、プレシンクトの符号化データの終端の部分データをペイロードとする最終パケットに対して、最終パケットであることを示し、デパケタイズの際に、パケットロス発生に対するデータ破棄の制御をプレシンクトの符号化データ毎に行うために、プレシンクトの符号化データの終端であることを確認するために参照される最終フラグが設定される。

本発明によれば、パケットを受信し、そのパケットからデータを抽出することができる。特に、その際のデパケタイズ処理を容易かつ高速に行い、後段の処理開始までの遅延時間を低減させることができる。

以下、本発明の実施の形態について説明する。

図１は、本発明を適用した伝送システムの構成例を示すブロック図である。

図１において、伝送システム１００は、撮像装置１０１が生成した画像データを送信装置１０２が圧縮符号化し、パケット化して送信し、回線１１０を介して伝送されるそのパケットを、受信装置１０３が受信してデパケタイズして復号し、表示装置１０４が得られた画像データの画像を表示するデータ伝送システムである。

撮像装置１０１は、CCD（Charge Coupled Device）やCMOS（Complementary Metal Oxide Semiconductor）等を利用した撮像素子を有し、被写体を撮像し、その撮像画像をデジタルデータの画像データに変換し、得られた画像データを送信装置１０２に供給する。

送信装置１０２は、符号化部１２１、パケタイズ処理部１２２、および送信部１２３を有する。送信装置１０２は、符号化部１２１において、撮像装置１０１より供給される画像データを所定の方法で符号化し、その符号化により得られた符号化データをパケタイズ処理部１２２においてパケット化し、生成されたパケットを送信部１２３より所定の通信方法で回線１１０に送出する。

回線１１０は、送信装置１０２と受信装置１０３を接続し、送信装置１０２より送出されるパケットを受信装置１０３に伝送する任意の伝送媒体である。

受信装置１０３は、受信部１３１、デパケタイズ処理部１３２、および復号部１３３を有する。受信装置１０３は、受信部１３１において、回線１１０を介して伝送されてきたパケットを受信し、デパケタイズ処理部１３２において、その受信したパケットから符号化データを抽出し、復号部１３３において、その抽出した符号化データを送信装置１０２の符号化部１２１に対応する復号方法で復号し、得られたベースバンドの画像データを表示装置１０４に出力する。

表示装置１０４は、ディスプレイを有し、受信装置１０３より供給された画像データの画像をそのディスプレイに表示する。

この図１の伝送システム１００は、パケタイズ処理部１２２によるパケタイズ処理による遅延時間、および、デパケタイズ処理部１３２によるデパケタイズ処理による遅延時間を低減し、撮像装置１０１において撮像されてから、その画像が表示装置１０４に表示されるまでの遅延時間を低減させることができるシステムである。

図１の伝送システム１００において、送信装置１０２が送信する画像データを提供する装置として撮像装置１０１が示されているが、画像データを提供することができる装置であればどのような装置であってもよい。また、受信装置１０３が受信した画像データを利用する装置として表示装置１０４が示されているが、画像データを利用することができる装置であればどのような装置であってもよい。

また、ここでは伝送されるデータとして画像データについてのみ説明するが、例えば、音声データ等、その他のデータが画像データとともに伝送されてもよい。

送信装置１０２が行うパケットの送信方法は、受信装置１０３に対してのみ送信するユニキャストであってもよいし、受信装置１０３を含む複数の装置に対して送信するマルチキャストであってもよいし、不特定多数の装置に対して送信するブロードキャストであってもよい。

回線１１０は、パケットを伝送可能なものであればどのような形態のものであってもよく、有線であってもよいし、無線であってもよいし、その両方を含むものであってもよい。また、図１において回線１１０は、１本の矢印により示されているが、専用または汎用の伝送ケーブルであってもよいし、例えばLAN（Local Area Network）やインターネット等のような、１つまたは複数の通信網を含むようにしてもよいし、何らかの通信中継装置を含むようにしてもよい。さらに、回線１１０の回線数（チャネル数）は何本であってもよい。

次に、図１に示される送信装置１０２および受信装置１０３の各部の詳細について説明する。

図２は、図１の送信装置１０２の符号化部１２１の内部の構成例を示すブロック図である。図２において、符号化部１２１は、ウェーブレット変換部１５０、途中計算用バッファ部１５１、係数並び替え用バッファ部１５２、係数並び替え部１５３、レート制御部１５４、およびエントロピ符号化部１５５を有する。

符号化部１２１に入力された画像データは、途中計算用バッファ部１５１に一時的に溜め込まれる。ウェーブレット変換部１５０は、途中計算用バッファ部１５１に溜め込まれた画像データに対してウェーブレット変換を施す。すなわち、ウェーブレット変換部１５０は、途中計算用バッファ部１５１から画像データを読み出して分析フィルタによりフィルタ処理を施して低域成分および高域成分の係数のデータを生成し、生成された係数データを途中計算用バッファ部１５１に格納する。ウェーブレット変換部１５０は、水平分析フィルタと垂直分析フィルタとを有し、画像データ群に対して、画面水平方向と画面垂直方向の両方について分析フィルタ処理を行う。ウェーブレット変換部１５０は、途中計算用バッファ部１５１に格納された低域成分の係数データを再度読み出し、読み出した係数データに対して分析フィルタによるフィルタ処理を施して、高域成分および低域成分の係数のデータをさらに生成する。生成された係数データは、途中計算用バッファ部１５１に格納される。

ウェーブレット変換部１５０は、この処理を繰り返して分解レベルが所定レベルに達したら、途中計算用バッファ部１５１から係数データを読み出し、読み出された係数データを係数並び替え用バッファ部１５２に書き込む。

係数並び替え部１５３は、係数並び替え用バッファ部１５２に書き込まれた係数データを所定の順序で読み出し、エントロピ符号化部１５５に供給する。エントロピ符号化部１５５は、供給された係数データを、例えばハフマン符号化や算術符号化といった所定のエントロピ符号化方式で符号化する。

エントロピ符号化部１５５は、レート制御部１５４と連動的に動作し、出力される圧縮符号化データのビットレートが略一定値となるように制御される。すなわち、レート制御部１５４は、エントロピ符号化部１５５からの符号化データ情報に基づき、エントロピ符号化部１５５により圧縮符号化されたデータのビットレートが目標値に達した時点あるいは目標値に達する直前でエントロピ符号化部１５５による符号化処理を終了するように制御する制御信号を、エントロピ符号化部１５５に対して供給する。エントロピ符号化部１５５は、レート制御部１５４から供給される制御信号に応じて符号化処理が終了した時点で、符号化データを出力する。

なお、エントロピ符号化部１５５が、係数並び替え部１５３から読み出された係数データに対して、最初に量子化を行い、得られた量子化係数に対してハフマン符号化や算術符号化等の情報源符号化処理を施すようにすれば、さらに圧縮効果の向上を期待することができる。この量子化の方法としてはどのようなものを用いても良く、例えば、一般的な手段、つまり、以下の式（１）に示されるような、係数データＷを量子化ステップサイズΔで除算する手法を用いれば良い。

量子化係数＝Ｗ／Δ ・・・（１）

この時の量子化ステップサイズΔは、例えばレート制御部１５４において算出される。

エントロピ符号化部１５５は、符号化により得られた符号化データをパケタイズ処理部１２２に供給する。

次に、図２のウェーブレット変換部１５０で行われる処理について、より詳細に説明する。先ず、ウェーブレット変換について、概略的に説明する。画像データに対するウェーブレット変換では、図３に概略的に示されるように、画像データを空間周波数の高い帯域と低い帯域とに分割する処理を、分割の結果得られる空間周波数の低い帯域のデータに対して再帰的に繰り返す。こうして、空間周波数の低い帯域のデータをより小さな領域に追い込んでいくことで、効率的な圧縮符号化を可能とする。

なお、図３は、画像データの最低域成分領域に対する低域成分の領域Ｌおよび高域成分の領域Ｈへの分割処理を３回、繰り返し、分割の階層の総数を示す分割レベル＝３とした場合の例である。図３において、"Ｌ"および"Ｈ"は、それぞれ低域成分および高域成分を表し、"Ｌ"および"Ｈ"の順序は、前側が横方向に分割した結果の帯域を示し、後側が縦方向に分割した結果の帯域を示す。また、"Ｌ"および"Ｈ"の前の数字は、その領域の階層を示しており、低域成分の階層ほど小さい値で表されている。

また、図３の例から分かるように、画面の右下の領域から左上の領域にかけて段階的に処理がなされ、低域成分が追い込まれていく。すなわち、図３の例では、画面の右下の領域が最も低域成分の少ない（高域成分が最も多く含まれる）領域３ＨＨとされる、画面が４分割された左上の領域は、さらに４分割され、この４分割された領域のうち左上の領域がさらに４分割される。最も左上隅の領域は、最も低域成分を多く含む領域０ＬＬとされる。

低域成分に対して繰り返し変換および分割を行うのは、画像のエネルギが低域成分に集中しているためである。このことは、図４Ａに一例が示される分割レベル＝１の状態から、図４Ｂに一例が示される分割レベル＝３の状態のように分割レベルを進めていくに従って、図４Ｂに示されるようにしてサブバンドが形成されていくことからも、理解される。例えば、図３におけるウェーブレット変換の分割レベルは３であり、この結果、１０個のサブバンドが形成されている。

ウェーブレット変換部１５０は、通常、低域フィルタと高域フィルタとから構成されるフィルタバンクを用いて、上述のような処理を行う。なお、デジタルフィルタは、通常、複数タップ長のインパルス応答すなわちフィルタ係数を持っているため、フィルタ処理を行えるだけの入力画像データまたは係数データを予めバッファリングしておく必要がある。また、ウェーブレット変換を多段にわたって行う場合も同様に、前段で生成したウェーブレット変換係数を、フィルタ処理が行える数だけバッファリングしておく必要がある。

このウェーブレット変換の具体的な例として、５×３フィルタを用いた方法について説明する。この５×３フィルタを用いた方法は、JPEG２０００規格でも採用されており、少ないフィルタタップ数でウェーブレット変換を行うことができる点で、優れた方法である。

５×３フィルタのインパルス応答（Ｚ変換表現）は、次の式（２）および式（３）に示すように、低域フィルタＨ₀（ｚ）と、高域フィルタＨ₁（ｚ）とから構成される。式（２）および式（３）から、低域フィルタＨ₀（ｚ）は、５タップで、高域フィルタＨ₁（ｚ）は、３タップであることが分かる。

Ｈ₀（ｚ）＝（−１＋２ｚ^-1＋６ｚ^-2＋２ｚ^-3−ｚ^-4）／８ ・・・（２）
Ｈ₁（ｚ）＝（−１＋２ｚ^-1−ｚ^-2）／２ ・・・（３）

これら式（２）および式（３）によれば、低域成分および高域成分の係数を、直接的に算出することができる。ここで、リフティング(Lifting)技術を用いることで、フィルタ処理の計算を減らすことができる。

次に、このウェーブレット変換方法について、さらに具体的に説明する。図５は、５×３フィルタのリフティングによるフィルタ処理を、分解レベル＝２まで実行した例を示している。なお、図５において、図の左側に分析フィルタとして示される部分は、ウェーブレット変換部１５０のフィルタである。また、図の右側に合成フィルタとして示される部分は、後述する復号装置におけるウェーブレット逆変換部のフィルタである。

なお、以下の説明では、例えば表示デバイスなどにおいて画面の左上隅の画素を先頭として、画素が画面の左端から右端に向けて走査されて１ラインが構成され、ライン毎の走査が画面の上端から下端に向けて行われて１画面が構成されるものとする。

図５において、左端列は、原画像データのライン上の対応する位置にある画素データが縦方向に並べられて示されている。すなわち、ウェーブレット変換部１５０におけるフィルタ処理は、垂直フィルタを用いて画面上を画素が縦に走査されて行われる。左端から１列目乃至３列目が分割レベル＝１のフィルタ処理を示し、４列目乃至６列目が分割レベル＝２のフィルタ処理を示す。左端から２列目は、左端の原画像データの画素に基づく高域成分出力、左端から３列目は、原画像データおよび高域成分出力に基づく低域成分出力を示す。分割レベル＝２のフィルタ処理は、左端から４列目乃至６列目に示されるように、分割レベル＝１のフィルタ処理の出力に対して処理がなされる。

分解レベル＝１のフィルタ処理において、第１段階のフィルタ処理として、原画像データの画素に基づき高域成分の係数データが算出され、第２段階のフィルタ処理として、第１段階のフィルタ処理で算出された高域成分の係数データと、原画像データの画素とに基づき低域成分の係数データが算出される。分解レベル＝１の一例のフィルタ処理を、図５における左側（分析フィルタ側）の第１列目乃至第３列目に示す。算出された高域成分の係数データは、図２の係数並び替え用バッファ部１５２に格納される。また、算出された低域成分の係数データは、図２の途中計算用バッファ部１５１に格納される。

図５においては、係数並び替え用バッファ部１５２は、一点鎖線で囲まれた部分として示し、途中計算用バッファ部１５１は、点線で囲まれた部分として示す。

途中計算用バッファ部１５１に保持された分解レベル＝１のフィルタ処理の結果に基づき、分解レベル＝２のフィルタ処理が行われる。分解レベル＝２のフィルタ処理では、分解レベル＝１のフィルタ処理において低域成分の係数として算出された係数データを、低域成分および高域成分を含んだ係数データと見做して、分解レベル＝１と同様のフィルタ処理を行う。分解レベル＝２のフィルタ処理により算出された、高域成分の係数データおよび低域成分の係数データは、係数並び替え用バッファ部１５２に格納される。

ウェーブレット変換部１５０では、上述したようなフィルタ処理を、画面の水平方向および垂直方向にそれぞれ行う。例えば、先ず、分解レベル＝１のフィルタ処理を水平方向に行い、生成された高域成分および低域成分の係数データを途中計算用バッファ部１５１に格納する。次に、途中計算用バッファ部１５１に格納された係数データに対して、垂直方向に分解レベル＝１のフィルタ処理を行う。この分解レベル＝１の水平および垂直方向の処理により、高域成分をさらに高域成分および低域成分に分解した係数データのそれぞれによる領域ＨＨおよび領域ＨＬと、低域成分をさらに高域成分および低域成分に分解した係数データのそれぞれによる領域ＬＨおよび領域ＬＬとの４領域が形成される。

そして、分解レベル＝２では、水平方向および垂直方向のそれぞれについて、分解レベル＝１で生成された低域成分の係数データに対してフィルタ処理が行われる。すなわち、分解レベル＝２では、分解レベル＝１で分割されて形成された領域ＬＬがさらに４分割され、領域ＬＬ内にさらに領域ＨＨ、領域ＨＬ、領域ＬＨおよび領域ＬＬが形成される。

ウェーブレット変換部１５０は、ウェーブレット変換によるフィルタ処理を、画面の縦方向について、数ライン毎の処理に分割して、複数回に分けて段階的に行うようにしている。図５の例では、画面上の第１ラインからの処理になる１回目の処理は、７ラインについてフィルタ処理を行い、８ライン目からの処理になる２回目以降の処理は、４ライン毎にフィルタ処理を行っている。このライン数は、高域成分と低域成分とに２分解した後に、１ライン分の最低域成分が生成されるために必要なライン数に基づく。

なお、以下において、この最低域成分の１ライン分（最低域成分のサブバンドの１ライン分の係数データ）を生成するために必要な、他のサブバンドも含めたラインの集まりを、プレシンクト（またはラインブロック）と称する。ここでラインとは、ウェーブレット変換前の画像データに対応するピクチャ若しくはフィールド内、または各サブバンド内において形成される１行分の画素データ若しくは係数データのことを示す。すなわち、プレシンクト（ラインブロック）とは、ウェーブレット変換前の元の画像データにおける、ウェーブレット変換後の最低域成分のサブバンド１ライン分の係数データを生成するために必要なライン数分の画素データ群、または、その画素データ群をウェーブレット変換して得られる各サブバンドの係数データ群のことを示す。

図５によれば、分解レベル＝２のフィルタ処理結果で得られる係数Ｃ５は、係数Ｃ４および途中計算用バッファ部１５１に格納された係数Ｃ_aに基づき算出され、係数Ｃ４は、途中計算用バッファ部１５１に格納された係数Ｃ_a、係数Ｃ_bおよび係数Ｃ_cに基づき算出される。さらに、係数Ｃ_cは、係数並び替え用バッファ部１５２に格納される係数Ｃ２および係数Ｃ３、並びに、第５ラインの画素データに基づき算出される。また、係数Ｃ３は、第５ライン乃至第７ラインの画素データに基づき算出される。このように、分割レベル＝２における低域成分の係数Ｃ５を得るためには、第１ライン乃至第７ラインの画素データが必要とされる。

これに対して、２回目以降のフィルタ処理においては、前回までのフィルタ処理で既に算出され係数並び替え用バッファ部１５２に格納されている係数データを用いることができるので、必要なライン数が少なくて済む。

すなわち、図５によれば、分解レベル＝２のフィルタ処理結果で得られる低域成分の係数のうち、係数Ｃ５の次の係数である係数Ｃ９は、係数Ｃ４および係数Ｃ８、並びに、途中計算用バッファ部１５１に格納された係数Ｃ_cに基づき算出される。係数Ｃ４は、上述した１回目のフィルタ処理により既に算出され、係数並び替え用バッファ部１５２に格納されている。同様に、係数Ｃ_cは、上述の１回目のフィルタ処理により既に算出され、途中計算用バッファ部１５１に格納されている。したがって、この２回目のフィルタ処理においては、係数Ｃ８を算出するためのフィルタ処理のみが、新たになされることになる。この新たなフィルタ処理は、第８ライン乃至第１１ラインがさらに用いられてなされる。

このように、２回目以降のフィルタ処理は、前回までのフィルタ処理により算出され途中計算用バッファ部１５１および係数並び替え用バッファ部１５２に格納されたデータを用いることができるので、それぞれ４ライン毎の処理で済むことになる。

なお、画面上のライン数が符号化のライン数と合致しない場合は、原画像データのラインを所定の方法で複製してライン数を符号化のライン数と合わせて、フィルタ処理を行う。

このように、最低域成分１ライン分の係数データが得られるだけのフィルタ処理を段階的に、画面全体のラインに対して複数回に分けて（プレシンクト単位で）行うことで、符号化データを伝送した際に低遅延で復号画像を得ることを可能としている。

ウェーブレット変換を行うためには、ウェーブレット変換そのものを実行するために用いられる第１のバッファと、所定の分割レベルまで処理を実行する間に生成される係数を格納するための第２のバッファとが必要とされる。第１のバッファは、途中計算用バッファ部１５１に対応し、図５においては点線で囲まれて示されている。また、第２のバッファは、係数並び替え用バッファ部１５２に対応し、図５においては一点鎖線に囲まれて示されている。第２のバッファに格納された係数は、復号の際に用いられるため、後段のエントロピ符号化処理の対象とされる。

次に、図２の係数並び替え部１５３の処理について説明する。上述したように、ウェーブレット変換部１５０で算出された係数データは、係数並び替え用バッファ部１５２に格納され、係数並び替え部１５３により順序を並び替えられて読み出され、コーディングユニット単位でエントロピ符号化部１５５に送出される。

既に説明したように、ウェーブレット変換においては、高域成分側から低域成分側へと係数が生成されていく。図５の例では、１回目において、原画像の画素データにより、分解レベル＝１のフィルタ処理で、高域成分の係数Ｃ１、係数Ｃ２および係数Ｃ３が順次生成される。そして、分解レベル＝１のフィルタ処理で得られた低域成分の係数データに対して分解レベル＝２のフィルタ処理を行い、低域成分の係数Ｃ４および係数Ｃ５が順次生成される。すなわち、第１回目では、係数Ｃ１、係数Ｃ２、係数Ｃ３、係数Ｃ４、係数Ｃ５の順に、係数データが生成される。この係数データの生成順は、ウェーブレット変換の原理上、必ずこの順序（高域から低域の順）になる。

これに対して、復号側では、低遅延で即座に復号を行うためには低域成分から画像の生成および出力を行う必要がある。そのため、符号化側で生成された係数データを最低域成分側から高域成分側に向けて並び替えて復号側に供給することが望ましい。

図５の例を用いて、より具体的に説明する。図５の右側は、逆ウェーブレット変換を行う合成フィルタ側を示す。復号側の、出力画像データの第１ライン目を含む１回目の合成処理（逆ウェーブレット変換処理）は、符号化側の１回目のフィルタ処理で生成された最低域成分の係数Ｃ４および係数Ｃ５と、係数Ｃ１とを用いて行われる。

すなわち、１回目の合成処理においては、係数Ｃ５、係数Ｃ４、係数Ｃ１の順に符号化側から復号側に係数データを供給し、復号側では、分解レベル＝２に対応する合成処理である合成レベル＝２の処理で、係数Ｃ５および係数Ｃ４に対して合成処理を行って係数Ｃ_fを生成し、バッファに格納する。そして、分解レベル＝１に対応する合成処理である合成レベル＝１の処理で、この係数Ｃ_fと係数Ｃ１に対して合成処理を行って、第１ラインを出力する。

このように、第１回目の合成処理においては、符号化側で係数Ｃ１、係数Ｃ２、係数Ｃ３、係数Ｃ４、係数Ｃ５の順に生成され係数並び替え用バッファ部１５２に格納された係数データが、係数Ｃ５、係数Ｃ４、係数Ｃ１、・・・の順に並び替えられて復号側に供給される。

なお、図５の右側に示す合成フィルタ側では、符号化側から供給される係数について、括弧内に符号化側での係数の番号を記し、括弧外に合成フィルタのライン順を記す。例えば係数Ｃ１（５）は、図５の左側の分析フィルタ側では係数Ｃ５であって、合成フィルタ側では第１ライン目であることを示す。

符号化側の２回目以降のフィルタ処理で生成された係数データによる復号側の合成処理は、前回の合成処理の際に合成あるいは符号化側から供給された係数データを用いて行うことができる。図５の例では、符号化側の２回目のフィルタ処理で生成された低域成分の係数Ｃ８および係数Ｃ９を用いて行う、復号側の２回目の合成処理は、符号化側の１回目のフィルタ処理で生成された係数Ｃ２および係数Ｃ３がさらに必要とされ、第２ライン乃至第５ラインが復号される。

すなわち、２回目の合成処理においては、係数Ｃ９、係数Ｃ８、係数Ｃ２、係数Ｃ３の順に符号化側から復号側に係数データを供給する。復号側では、合成レベル＝２の処理において、係数Ｃ８および係数Ｃ９と、１回目の合成処理の際に符号化側から供給された係数Ｃ４とを用いて係数Ｃ_gを生成し、バッファに格納する。この係数Ｃ_gと、上述の係数Ｃ４と、１回目の合成処理により生成されバッファに格納された係数Ｃ_fとを用いて係数Ｃ_hを生成し、バッファに格納する。

そして、合成レベル＝１の処理において、合成レベル＝２の処理で生成されバッファに格納された係数Ｃ_gおよび係数Ｃ_hと、符号化側から供給された係数Ｃ２（合成フィルタでは係数Ｃ６（２）と示されている）および係数Ｃ３（合成フィルタでは係数Ｃ７（３）と示されている）とを用いて合成処理が行われ、第２ライン乃至第５ラインが復号される。

このように、第２回目の合成処理においては、符号化側で係数Ｃ２、係数Ｃ３、（係数Ｃ４、係数Ｃ５）、係数Ｃ６、係数Ｃ７、係数Ｃ８、係数Ｃ９の順に生成された係数データが、係数Ｃ９、係数Ｃ８、係数Ｃ２、係数Ｃ３、・・・の順に並び替えられて復号側に供給される。

３回目以降の合成処理においても、同様にして、係数並び替え用バッファ部１５２に格納された係数データが所定の順序に並び替えられて復号部に供給され、４ラインずつ、ラインが復号される。

なお、符号化側において画面の下端のラインを含むフィルタ処理（以下、最後の回と呼ぶ）に対応する復号側の合成処理では、それまでの処理で生成されバッファに格納された係数データを全て出力することになるため、出力ライン数が多くなる。図５の例では、最後の回に８ラインが出力される。

なお、係数並び替え部１５３による係数データの並び替え処理は、例えば、係数並び替え用バッファ部１５２に格納された係数データを読み出す際の読み出しアドレスを、所定の順序に設定することでなされる。

図６を用いて、上述までの処理をより具体的に説明する。図６は、５×３フィルタを用いて、分解レベル＝２までウェーブレット変換によるフィルタ処理を施した例である。ウェーブレット変換部１５０において、図６Ａに一例が示されるように、入力画像データの第１ラインから第７ラインに対して１回目のフィルタ処理が水平および垂直方向にそれぞれ行われる（図６ＡのＩｎ−１）。

１回目のフィルタ処理の分解レベル＝１の処理において、係数Ｃ１、係数Ｃ２、および係数Ｃ３の３ライン分の係数データが生成され、図６Ｂに一例が示されるように、分解レベル＝１で形成される領域ＨＨ、領域ＨＬおよび領域ＬＨのそれぞれに配置される（図６ＢのＷＴ−１）。

また、分解レベル＝１で形成される領域ＬＬは、分解レベル＝２による水平および垂直方向のフィルタ処理でさらに４分割される。分解レベル＝２で生成される係数Ｃ５および係数Ｃ４は、分解レベル＝１による領域ＬＬ内において、領域ＬＬに係数Ｃ５による１ラインが配置され、領域ＨＨ、領域ＨＬおよび領域ＬＨのそれぞれに、係数Ｃ４による１ラインが配置される。

ウェーブレット変換部１５０による２回目以降のフィルタ処理では、４ライン毎にフィルタ処理が行われ（図６ＡのＩｎ−２・・・）、分解レベル＝１で２ラインずつの係数データが生成され（図６ＢのＷＴ−２）、分解レベル＝２で１ラインずつの係数データが生成される。

図５の２回目の例では、分解レベル＝１のフィルタ処理で係数Ｃ６および係数Ｃ７の２ライン分の係数データが生成され、図６Ｂに一例が示されるように、分解レベル１で形成される領域ＨＨ、領域ＨＬおよび領域ＬＨの、１回目のフィルタ処理で生成された係数データの次から配置される。同様に、分解レベル＝１による領域ＬＬ内において、分解レベル＝２のフィルタ処理で生成された１ライン分の係数Ｃ９が領域ＬＬに配置され、１ライン分の係数Ｃ８が領域ＨＨ、領域ＨＬおよび領域ＬＨにそれぞれ配置される。

図６Ｂのようにウェーブレット変換されたデータを復号した際には、図６Ｃに一例が示されるように、符号化側の第１ライン乃至第７ラインによる１回目のフィルタ処理に対して、復号側の１回目の合成処理による第１ラインが出力される（図６ＣのＯｕｔ−１）。以降、符号化側の２回目から最後の回の前までのフィルタ処理に対して、復号側で４ラインずつが出力される（図６ＣのＯｕｔ−２・・・）。そして、符号化側の最後の回のフィルタ処理に対して、復号側で８ラインが出力される。

ウェーブレット変換部１５０で高域成分側から低域成分側へと生成された係数データは、係数並び替え用バッファ部１５２に順次格納される。係数並び替え部１５３は、上述した係数データの並び替えが可能となるまで係数並び替え用バッファ部１５２に係数データが蓄積されると、係数並び替え用バッファ部１５２から合成処理に必要な順に並び替えて係数データを読み出す。読み出された係数データは、エントロピ符号化部１５５に順次、供給される。

以上のようにプレシンクト単位で符号化された画像データ（符号化データ）は、パケタイズ処理部１２２に供給される。その際、エントロピ符号化部１５５は、プレシンクト単位で、その画像データに関する情報をヘッダ情報（プレシンクトヘッダ）としてパケタイズ処理部１２２に供給する。図７にそのプレシンクトヘッダの構成例を示す。

図７に示されるように、プレシンクトヘッダ１７１は、４ワード（３２×４ビット）分のデータよりなり、PID、AT、AID、FT、CF、IF、プレシンクトタイムスタンプ、量子化係数、およびプレシンクトコード長等の情報を含む。

PID（Precinct ID）は、ピクチャの先頭から数えたプレシンクトの番号を示す１２ビットの情報である。AT（Align Unit Type）は、プレシンクト内に構成されるアラインユニットの属性を示す４ビットの情報である。アラインユニットは、プレシンクト内の符号化データが、例えば符号化単位等、所定のデータ単位で分割されたものである。つまり、プレシンクトは１つまたは複数のアラインユニットにより構成される。AID（Align Unit ID）は、プレシンクトの先頭から数えたアラインユニットの番号を示す５ビットの情報である。FT（Field Type）は、ピクチャがプログレッシブであるか、または、インタレースのどちらのフィールドであるかを示す２ビットのフラグ情報である。CF（Component Flag）は、輝度成分Ｙ、色差成分Cb、および色差成分Crのコンポーネントの内、複数のコンポーネントをひとつのアラインユニットやプレシンクトにまとめたことを示す３ビットの情報である。

IF（Incomplete Flag）は、何らかの理由で符号化に失敗したアラインユニットまたはプレシンクトであることを示す１ビットのフラグ情報である。この失敗の範囲は、PID、AT、およびAIDが示すペイロードに限定される。

プレシンクトタイムスタンプ（Precint Time Stamp）は、そのプレシンクトのタイムスタンプの下位３２ビットを示す情報である。量子化係数（QP Y or C）は、そのプレシンクトの、輝度成分Ｙまたは色差成分Ｃの量子化の際に使用された量子化係数の値を示す１６ビットの情報である。プレシンクトコード長（Precinct Code Length Y or C）は、そのプレシンクトの、輝度成分Ｙまたは色差成分Ｃの符号化データのデータ長を示す２６ビットの情報である。

また、エントロピ符号化部１５５は、ピクチャ単位で、その画像データに関する情報をヘッダ情報（ピクチャヘッダ）としてパケタイズ処理部１２２に供給する。図８にそのピクチャヘッダの構成例を示す。

図８に示されるように、ピクチャヘッダ１７２は、２６ワード（３２×２６ビット）分のデータよりなり、PI、ｗ、CEF、CBD、DL、WF、PDI、SF、FR、AR、DBSZ、フルタイムスタンプ、V0スタートポジション、SD、Ｈスタートポジション、VF、Ｖ合計サイズ、TSD、Ｈ合計サイズ、PXCS、Ｖサイズ、VSD、Ｈサイズ、BRT、CTS、およびWTm等の情報を含む。

PI（Profile Indication）は、プロファイルの指定を行う５ビットの情報である。ｗは、重み付け係数のカスタム値を設定するためのテーブル情報であるウェイティングテーブルをパケットに含めるか否かを示す１ビットのフラグ情報である。CEF（Color Extension Flag）は、カラー情報の拡張ヘッダを使用するか否かを示す１ビットのフラグ情報である。CBD（Component Bit Depth）は、コンポーネントのビット深度を示す５ビットの情報である。予め指定された値から「８」を引いた値が格納される。DL（DWT Level）は、ウェーブレット変換の分割数（分割レベル）を示す３ビットの情報である。WF（Wavelet Filter）は、ウェーブレット変換において使用されたフィルタの種類を示す２ビットの情報である。PDI（Picture Discontinuity Indication）は、タイムスタンプの連続性を示す１ビットの情報である。SF（Sampling Format）は、色差のサンプリング法を示す２ビットの情報である。

FR（Frame Rate）は、フレームレートを示す１ビットの情報である。AR（Aspect Ratio）は、画素アスペクト比を示す６ビットの情報である。DBSZ（Decoder Buffer Size）は、デコーダでのプレシンクトバッファサイズを示す４ビットの情報である。フルタイムスタンプ（FTS（Full Time Stamp））は、フルサイズのタイムスタンプを示す４６ビットの情報である。

V0スタートポジション（FFVS（First Field Vertical Start））は、先頭フィールドの垂直方向有効画素開始位置を示す１３ビットの情報である。SD（Start Diff）は、FFVSと第２フィールドとの差分を示す２ビットの情報である。Ｈスタートポジション（HS（Horizontal Start））は、水平方向の有効画素開始位置を示す１３ビットの情報である。VF（Video Format）は、圧縮信号の映像フォーマットを示す４ビットの情報である。

Ｖ合計サイズ（FFVTS（First Field Vertical Total Size））は、先頭フィールドのブランクを含めた総画素数を示す１３ビットの情報である。TSD（Total Size Diff）は、FFVTSと第２フィールドとの差分を示す２ビットの情報である。Ｈ合計サイズ（HTS（Horizontal Total Size））は、水平方向のブランクを含めた総画素数を示す１３ビットの情報である。PXCS（Pixel Clock Scale）は、クロックの倍率を示す３ビットの情報である。

Ｖサイズ（FFVVS（First Field Vertical Valid Size））は、先頭フィールドの垂直方向有効画素サイズを示す１３ビットの情報である。VSD（Valid Size Diff）は、FFVVSと第２フィールドとの差分を示す２ビットの情報である。Ｈサイズ（HVS（Horizontal Valid Size））は、水平方向の有効画素サイズを示す１３ビットの情報である。BRT（B Value Reset Timing）は、Ｂ値のリセットタイミングを示す２ビットの情報である。

CTS（Custom Table Size）は、カスタムテーブルのサイズを示す１６ビットの情報である。指定値の数だけ後続のカスタム値が存在し、そのサイズはCTS×２バイトである。WTｍ（Weighting Table ｍ）は、ｍ番目のウェイティングテーブルを示す１６×ｍビットの情報である。

なお、実際には、図９に示されるように、符号化部１２１からパケタイズ処理部１２２へは、データ以外にも、属性情報やVALID情報等が供給される。属性情報は、供給するデータが、ヘッダであるか画像データであるかを示したり、輝度成分のデータであるか色差成分のデータであるかを示したりする情報である。VALID情報は、データの読み取りタイミングを通知する情報である。

パケタイズ処理部１２２は、所定のデータ単位（プレシンクト）毎に供給される符号化データに対して、そのデータのサイズと、別途指定されるパケットサイズに基づいて、パケタイズ処理を行う。

図１０は、図１のパケタイズ処理部１２２の内部の構成例を示すブロック図である。

図１０においてパケタイズ処理部１２２は、データ取得部２０１、RTP（Real-time Transport Protocol）ヘッダ作成部２０２、共通ヘッダ作成部２０３、拡張ヘッダ作成部２０４、ピクチャ情報作成部２０５、フラグ確認部２０６、サイズ確認部２０７、フラグメント処理部２０８、パケット化部２０９、および出力部２１０を有する。

データ取得部２０１は、符号化部１２１より供給される符号化データやパケット等を、そのデータともに供給される属性情報やVALID情報等に基づいて取得する。例えば、プレシンクトヘッダ１７１を取得すると、データ取得部２０１は、それを、RTPヘッダ作成部２０２、共通ヘッダ作成部２０３、拡張ヘッダ作成部、フラグ確認部２０６、およびサイズ確認部２０７に供給する。また、例えば、ピクチャヘッダ１７２を取得すると、データ取得部２０１は、それをピクチャ情報作成部２０５に供給する。さらに、例えば、符号化データを取得すると、データ取得部２０１は、それをフラグメント処理部２０８に供給する。

RTPヘッダ作成部２０２は、データ取得部２０１がプレシンクトヘッダを取得すると、その取得されたプレシンクトヘッダに基づいて、RTPパケットのヘッダであるRTPヘッダを作成する。RTPヘッダの詳細については後述する。RTPヘッダ作成部２０２は、作成したRTPヘッダをパケット化部２０９に供給し、処理終了を共通ヘッダ作成部２０３に通知する。

RTPヘッダ作成部２０２より通知を受けると、共通ヘッダ作成部２０３は、データ取得部２０１が取得したプレシンクトヘッダ１７１に基づいて、そのプレシンクトより作成される各パケットに付加される共通のヘッダである共通ヘッダを作成する。共通ヘッダにはそのプレシンクトに関する基本的な情報が含まれる。共通ヘッダの詳細については後述する。共通ヘッダ作成部２０３は、作成した共通ヘッダをパケット化部２０９に供給し、処理終了を拡張ヘッダ作成部２０４に通知する。

共通ヘッダ作成部２０３より通知を受けると、拡張ヘッダ作成部２０４は、データ取得部２０１が取得したプレシンクトヘッダ１７１に基づいて、そのプレシンクトに関する、共通ヘッダには含まれない情報を必要に応じて付与する拡張ヘッダの情報を作成する。この拡張ヘッダの作成により、送信者は柔軟かつ効率的なヘッダ作成が可能になる。拡張ヘッダの情報の内容は任意であるが、例えば、量子化係数に関する情報や、サイズに関する情報等がある。拡張ヘッダの詳細については後述する。拡張ヘッダ作成部２０４は、作成した拡張ヘッダをパケット化部２０９に供給し、処理終了をピクチャ情報作成部２０５に通知する。

拡張ヘッダ作成部２０４より通知を受け、さらに、データ取得部２０１がピクチャヘッダ１７２を取得すると、ピクチャ情報作成部２０５は、そのピクチャヘッダ１７２に基づいて、そのピクチャに関する情報を含むピクチャ情報を作成する。このピクチャ情報の詳細については後述する。ピクチャ情報作成部２０５は、作成したピクチャ情報をパケット化部２０９に供給し、そのピクチャ情報を拡張ヘッダに挿入させ、処理終了をフラグ確認部２０６に通知する。なお、データ取得部２０１がピクチャヘッダ１７２を取得しない場合、ピクチャ情報作成部２０５は、ピクチャ情報を作成せずに、処理終了をフラグ確認部２０６に通知する。

ピクチャ情報作成部２０５より通知を受けると、フラグ確認部２０６は、データ取得部２０１が取得したプレシンクトヘッダ１７１に含まれるIFを参照し、そのフラグの値に応じて、パケットに符号化データを含めるか否かを判定する。例えば、「IF＝１」である場合、フラグ確認部２０６は、そのプレシンクトのデータの符号化は失敗したと判定し、データ取得部２０１に、その復号不可能な符号化データを破棄させる（取得しない）ようにし、さらに、パケット化部２０９を制御し、ヘッダ情報のみで（ペイロードを含めないように）パケット化させる。また、例えば、「IF＝０」である場合、フラグ確認部２０６は、そのプレシンクトの符号化は成功したと判定し、パケット化部２０９にペイロードを含めてパケット化させるようにし、処理終了をサイズ確認部２０７に通知する。

フラグ確認部２０６より通知を受けると、サイズ確認部２０７は、データ取得部２０１が取得したプレシンクトヘッダに含まれるプレシンクトコード長に基づいて、プレシンクトのデータサイズが、予め別途設定されているパケットサイズ（１つのパケットに含まれるペイロードのデータサイズの最大値）より大きいか否かを確認する。例えば、パケットサイズよりプレシンクトのデータサイズの方が大きい場合、サイズ確認部２０７は、フラグメント処理部２０８を制御し、データ取得部２０１が取得する符号化データをパケットサイズ毎に分割させる。逆に、例えば、パケットサイズよりプレシンクトのデータサイズの方が大きくない場合、サイズ確認部２０７は、フラグメント処理部２０８を制御し、データ取得部２０１が取得する符号化データを分割させないようにする。

フラグメント処理部２０８は、サイズ確認部２０７に制御されて、プレシンクトのデータサイズがパケットサイズより大きい場合、データ取得部２０１が取得する符号化データを、パケットサイズ毎に分割してパケット化部２０９に供給する。つまり、この場合、フラグメント処理部２０８は、データ取得部２０１がヘッダ部分も考慮した１パケットサイズ分の符号化データを取得する度に、その１パケットサイズ分の符号化データを１つのペイロードとしてパケット化部２０９に供給する。

逆に、プレシンクトのデータサイズがパケットサイズより大きくない場合、フラグメント処理部２０８は、サイズ確認部２０７に制御されて、データ取得部２０１が取得する符号化データを、そのままパケット化部２０９に供給する。つまり、この場合、フラグメント処理部２０８は、データ取得部２０１が取得する１プレシンクト分の符号化データを１つのペイロードとしてパケット化部２０９に供給する。

パケット化部２０９は、各部より供給されるヘッダ情報を用いてフラグメント処理部２０８より供給されるペイロードをパケット化する。例えば、１プレシンクトの符号化データがフラグメント処理部２０８により複数のペイロードに分割される場合、パケット化部２０９は、各ペイロードに対して、それぞれ必要なヘッダ情報を付加し、それぞれをパケット化する。また、例えば、フラグメント処理部２０８が符号化データを分割しない場合、パケット化部２０９は、フラグメント処理部２０８より供給された１つのペイロードに対して必要なヘッダ情報を付加しパケット化する。さらに、例えば、フラグ確認部２０６が、ペイロードをパケットに含めないように指示する場合、パケット化部２０９は、その指示に基づいてヘッダ情報のみでパケット化を行う。

また、パケット化部２０９は、生成した各パケットの共通ヘッダに含まれるSFFやＭ等のフラグ情報の値を適宜設定する。SFF（Start Fragment Flag）は、そのパケットがプレシンクトの先頭部分を含むパケット（先頭パケット）であるか否かを示すフラグ情報であり、Ｍ（Marker）は、プレシンクトの終端部分を含むパケット（最終パケット）であるか否かを示すフラグ情報である。これらのフラグ情報は、デパケタイズ処理部１３２によるデパケタイズ処理時に参照される。

例えば、フラグメント処理部２０８が符号化データを分割する場合、パケット化部２０９は、１プレシンクトの符号化データが分割されて生成されたペイロード群の内、先頭のペイロードのパケットのSFFを１に設定し、最後のペイロードのパケットのＭを１に設定する。

また、例えば、フラグメント処理部２０８が符号化データを分割しない場合、パケット化部２０９は、生成された１つのパケットのSFFおよびＭのそれぞれを１に設定する。

このようにSFFやＭ等のフラグ情報を設定することにより、デパケタイズ処理部１３２は、このフラグ情報を参照するだけで容易に、そのパケットがプレシンクトの先頭パケットであるか、最終パケットであるか、またはそれ以外のパケットであるかを把握することができる。これにより、デパケタイズ処理部１３２は、後述するように待機時間を低減させることができ、デパケタイズ処理の遅延時間を低減させることができる。

パケット化部２０９は、生成したパケットを出力部２１０に供給する。

出力部２１０は、パケット化部２０９より供給されるRTPパケットを、送信部１２３（図１）に供給し、受信装置１０３（図１）に送信させる。

上述したように符号化部１２１は、図１１に示されるように、１ピクチャ（フレームまたはフィールド）を、複数のプレシンクトに分割し、そのプレシンクト毎に符号化を行う。

パケタイズ処理部１２２は、図１２に示されるように、１つのプレシンクトの符号化データを所定のパケットサイズ毎に分割してパケット化する。プレシンクトのデータサイズがパケットサイズより大きくなければ、生成されるパケットは１つとなる。図１２の例においては１つのプレシンクトの符号化データから５つのパケットが生成されている。

画像データの伝送フォーマットの一例について以下に示す。

図１３は、RTPヘッダ作成部２０２が作成する、RTPパケットのヘッダ情報であるRTPヘッダの構成を示している。RTPヘッダ２２１には、バージョン番号（Ｖ）、パディング（Ｐ）、拡張ヘッダ（Ｘ）の有無、送信元数（Counter）（CC）、マーカ情報（marker bit）（Ｍ）、ペイロードタイプ（Payload type）（PT）、シーケンス番号、タイムスタンプ、および同期ソース（送信元）識別子（SSRC（Synchronization Source Identifier））の各フィールドが設けられている。

バージョン番号（Ｖ）は、RTPのバージョン番号を示す２ビットの情報である。パディング（Ｐ）は、１ビットのフラグ情報であり、その値が「１」のとき、ペイロードの最後にパディング・オクテット（埋め込みデータ）が１つ以上付加されていることを示す。拡張ヘッダ（Ｘ）の有無は、１ビットのフラグ情報であり、その値が「１」のとき、固定長ヘッダの他に拡張ヘッダが付加されている（ヘッダ拡張がある）ことを示す。送信元数（CC）は、CSRCの識別子の数を示す４ビットの情報であり、例えば、多地点電話会議のように、複数のデータ源のデータを１つのRTPパケット化したときの、個々のデータ源の識別子の数を示す。

マーカ情報（Ｍ）は、１ビットのフラグ情報であり、例えば、ペイロードにおける任意のイベント等を示す。このマーカ情報（Ｍ）の利用方法は、例えば、ペイロードタイプ（PT）等において設定される。ペイロードタイプ（PT）は、そのパケットで運ぶペイロードの形式を指定する７ビットの情報である。

シーケンス番号は、RTPデータパケットの順序を示す１６ビットの番号情報であり、初期値はランダムに設定され、その後に続くパケットにおいては値が「１」ずつ増える。このシーケンス番号は、伝送される符号化データ（画像データ）全体を通してのパケットの順序を示す。

タイムスタンプは、RTPパケットの最初のバイトのサンプリング時刻を示す３２ビットの情報である。サンプリングクロックは、ペイロードのデータプロファイルによって決まる。例えば、音声信号の標本化周波数を８kHzとすると、タイムスタンプの値は１２５μsec毎に「１」増えるので、RTPデータパケットが２０msecのデータとすると、タイムスタンプの値はパケットごとに１６０ずつ増える。なお、初期値はランダムに設定される。

同期ソース（送信元）識別子（SSRC）は、このパケットの送信元を示す３２ビットの識別子である。この情報はランダムに生成される。トランスポートアドレスが変わると、このSSRC識別子も更新される。

共通ヘッダ作成部２０３、拡張ヘッダ作成部２０４、およびピクチャ情報作成部２０５はRTPヘッダに続くペイロードヘッダに含まれる各種情報を生成する。図１４にペイロードヘッダの構成例を示す。図１４に示されるように、ペイロードヘッダは、共通ヘッダ２３１、量子化パラメータ情報２３２、サイズ情報２３３、フォーマット情報２３４、ピクチャ情報２３５、およびカラー情報２３６により構成され、ペイロード２３７の前に付加される。

共通ヘッダ２３１は、共通ヘッダ作成部２０３により作成されるプレシンクトに関する基本的な情報を含むヘッダ情報である。この共通ヘッダ２３１は必須のヘッダであり、全パケットに付加される。

量子化パラメータ情報２３２は、拡張ヘッダ作成部２０４により作成される拡張ヘッダであり、量子化係数に関する情報を含む。サイズ情報２３３は、拡張ヘッダ作成部２０４により作成される拡張ヘッダであり、データサイズに関する情報を含む。フォーマット情報２３４は、拡張ヘッダ作成部２０４により作成される拡張ヘッダであり、データのフォーマットに関する情報を含む。ピクチャ情報２３５は、ピクチャ情報作成部２０５により作成される拡張ヘッダであり、元画像（つまり、符号化され、パケット化されて伝送される画像データ）に関する情報を含む。カラー情報２３６は、拡張ヘッダ作成部２０４により作成される拡張ヘッダであり、画像データの色に関する情報を含む。

量子化パラメータ情報２３２、フォーマット情報２３４、ピクチャ情報２３５、およびカラー情報２３６は、プレシンクトの先頭のパケット（フラグメントを行わない場合のパケットも含む）に拡張ヘッダとして付加される。サイズ情報２３３は、拡張ヘッダとして任意のパケットに付加される。

つまり、全てのパケットにサイズ情報を付加する場合、プレシンクトの先頭のパケットには、共通ヘッダ２３１乃至ペイロード２３７の全てが含まれる。これに対して、プレシンクトの先頭のパケット以外のパケットには、共通ヘッダ２３１とサイズ情報２３３とペイロード２３７のみが含まれる。

各情報の詳細について説明する。

図１５は、共通ヘッダ２３１の構成例を示す図である。図１５に示されるように、共通ヘッダ２３１は、PID、AT、AID、SFF、Ｍ、TSF、NF、FT、CF、IF、Ｘ、およびTS等の情報を含む。つまり、共通ヘッダ２３１の第１ワード（上から１段目）と第２ワード（上から２段目）は、符号化部１２１より供給されるプレシンクトヘッダ１７１の第１ワード（Word０）と第２ワード（Word１）をそのまま利用して作成されており、第１ワードの空きフィールド（Reserved）であった４ビットに、SFF、Ｍ、TSF、およびNFを追加したものである。

SFF（Start Fragment Flag）は、PID、AT、およびAIDが示すペイロードの先頭であるか否かを示す１ビットのフラグ情報である。つまり、このパケットがプレシンクトの先頭のパケット（先頭パケット）である場合、このSFFの値が「１」に設定され、それ以外の場合、「０」に設定される。

Ｍ（Marker）は、PID、AT、およびAIDが示すペイロードの終端部分を含むか否かを示す１ビットのフラグ情報である。つまり、このパケットがプレシンクト若しくはアラインユニットの終端部分を含むパケット（最終パケット）である場合、このＭの値が「１」に設定され、それ以外の場合、「０」に設定される。

TSF（Time Stamp Flag）は、共通ヘッダにタイムスタンプを含むか否かを示す１ビットのフラグ情報である。つまり、このTSFの値が「１」の場合、共通ヘッダ２３１の第２ワードには、プレシンクトヘッダ１７１の第２ワード（Word１）が付加されている。

NF（Next Flag）は、後続ペイロードの存在を示す１ビットのフラグ情報である。つまり、このパケットに複数のプレシンクト若しくはアラインユニットのペイロードが付加されていて、かつ、このヘッダがパケット中の最後のプレシンクト若しくはアラインユニットではない場合、このNFの値が「１」に設定される。

TS（Time Stamp）は、このパケットのペイロードが属するプレシンクトのタイムスタンプの下位３２ビットを示す情報であり、プレシンクトヘッダ１７１の第２ワード（Word１）に対応する。

なお、図１５に示される第３ワード（上から３段目）は、共通ヘッダ２３１に連続して付与される拡張ヘッダを示している。

図１６は、拡張ヘッダに含まれる量子化パラメータ情報２３２の構成例を示す図である。図１６に示されるように、量子化パラメータ情報２３２は、ET、QP、およびＸ等の情報を含む情報である。拡張ヘッダ作成部２０４は、符号化部１２１より供給されるプレシンクトヘッダ１７１の第３ワード（Word２）を利用して、この量子化パラメータ情報２３２を作成する。

ET（Extension Type）は、拡張ヘッダの内容を示す５ビットの情報である。この量子化パラメータ情報２３２使用時の場合の指定値は任意であるが、例えば「０００１１」である。QP（Quantize Parameter）は、量子化係数の値を示す１６ビットの情報である。Ｘ（Extension）は、拡張ヘッダを使用するか否かを示すフラグである。

図１７は、拡張ヘッダに含まれるサイズ情報２３３の構成例を示す図である。図１７に示されるように、サイズ情報２３３は、ET、SS、およびＸ等の情報を含む情報である。拡張ヘッダ作成部２０４は、符号化部１２１より供給されるプレシンクトヘッダ１７１の第４ワード（Word３）を利用して、このサイズ情報２３３を作成する。

ET（Extension Type）は、拡張ヘッダの内容を示す５ビットの情報である。このサイズ情報２３３使用時の場合の指定値は任意であるが、例えば「００１００」である。SS（Segment Size）は、セグメントのペイロードサイズをワード長で示す２６ビットの情報である。Ｘ（Extension）は、拡張ヘッダを使用するか否かを示すフラグである。

図７、並びに、図１５乃至図１７に示されるように、符号化部１２１は、共通ヘッダ２３１や拡張ヘッダ（量子化パラメータ情報２３２やサイズ情報２３３）と同じフォーマットのプレシンクトヘッダ１７１を、パケタイズ処理部１２２に供給する。これにより、パケタイズ処理部１２２の共通ヘッダ作成部２０３および拡張ヘッダ作成部２０４は、容易かつ高速に共通ヘッダおよび拡張ヘッダを作成することができる。

図１８は、拡張ヘッダに含まれるフォーマット情報２３４の構成例を示す図である。フォーマット情報２３４は、基本的に、図１８Ａに示されるように、ET、FTI、およびＸ等の情報を含む。拡張ヘッダ作成部２０４は、例えば符号化部１２１より供給される情報を利用して、このフォーマット情報２３４を作成する。

ET（Extension Type）は、拡張ヘッダの内容を示す５ビットの情報である。このフォーマット情報２３４使用時の場合の指定値は任意であるが、例えば「００１０１」である。FTI（Format Type Identifier）は、どのフォーマットタイプに関する情報が記述されているかを示す情報である。この値は任意であるが、例えば、ベイヤ情報が記述されている場合、値「００００１」が設定される。Ｘ（Extension）は、拡張ヘッダを使用するか否かを示すフラグである。

図１８Ｂに、ベイヤ情報が記述されている場合の、フォーマット情報２３４の構成例を示す。この場合、フォーマット情報２３４には、ET、FTI、およびXの他に、MT、SMT、BLF、VLOF、SSF、EVF、DC、BL、RBL、RVLO、DSS、NSS、およびEV等の情報が含まれる。

MT（Mosaic Type）は、ペイロードのモザイクタイプを示す４ビットの情報である。SMT（Start Mosaic Type）は、フレーム左上の最初の画素情報を示す４ビットの女王である。BLF（Black Level Flag）は、黒レベル情報の存在を示す１ビットのフラグ情報である。VLOF（Vertical Line Offset Flag）は、縦筋補正情報の存在を示す１ビットのフラグ情報である。SSF（Shutter Speed Flag）は、シャッタースピード情報の存在を示す１ビットのフラグ情報である。EVF（EV Flag）は、EV情報の存在を示す１ビットのフラグ情報である。DC（Defect Correction）は、欠陥補正を行うか否かを示す１ビットのフラグ情報である。

BL（Black Level）は、黒レベル値を示す３２ビットのフラグ情報である。RBL（Revised Black Level）は、黒レベル補正オフセット値を示す３２ビットの情報である。BLとRBLは、BLFの値が「１」の場合のみ存在する。

RVLO（Revised Vertical Line Offset）は、縦筋補正オフセット値を示す３２ビットの情報である。RVLOは、VLOFの値が「１」の場合のみ存在する。

DSSは、シャッタースピード分子（APEX単位）を示す３２ビットの情報である。NSSは、シャッタースピード分母（APEX単位）を示す３２ビットの情報である。DSSとNSSは、SSFの値が「１」の場合のみ存在する。

EVは、EV値を示す３２ビットの情報である。EVは、EVFの値が「１」の場合のみ存在する。
図１９は、拡張ヘッダに含まれるピクチャ情報２３５の構成例を示す図である。図１９に示されるように、ピクチャ情報２３５は、ET、PI、CEF、CBD、DL、WF、PDI、SF、FR、AR、DBSZ、FTS、FFVS、SD、HS、VF、FFVTS、TSD、HTS、PXCS、FFVVS、VSD、HVS、BRT、WCF、X、CTS、およびWTｍ等の情報を含む。ピクチャ情報作成部２０５は、符号化部１２１より供給されるピクチャヘッダ１７２を利用して、このピクチャ情報２３５を作成する。

つまり、ピクチャ情報２３５は、符号化部１２１より供給されるピクチャヘッダ１７２の、第１ワード（Word０）の空きフィールド（Reserved）にETを追加し、第６ワード（Word５）の空きフィールド（Reserved）にWCFとXを追加したものである。

ET（Extension Type）は、拡張ヘッダの内容を示す５ビットの情報である。このピクチャ情報２３５使用時の場合の指定値は任意であるが、例えば「０００１０」である。WCF（Waighting Custom Flag）は、重み付け係数のカスタム値を使用するかを示す１ビットのフラグ情報である。このWCFの値が「１」のときのみCTSが存在する。Ｘ（Extension）は、拡張ヘッダをこのヘッダに続けて使用するか否かを示すフラグである。

図８、および図１９に示されるように、符号化部１２１は、ピクチャ情報２３５と同じフォーマットのピクチャヘッダ１７２を、パケタイズ処理部１２２に供給する。これにより、パケタイズ処理部１２２のピクチャ情報作成部２０５は、容易かつ高速にピクチャ情報２３５を作成することができる。

図２０は、拡張ヘッダに含まれるカラー情報２３６の構成例を示す図である。図２０に示されるように、カラー情報２３６は、ETやＸ等の情報を含む。拡張ヘッダ作成部２０４は、符号化部１２１より供給される情報等を利用して、このカラー情報２３６を作成する。

ET（Extension Type）は、拡張ヘッダの内容を示す５ビットの情報である。Ｘ（Extension）は、拡張ヘッダを使用するか否かを示すフラグである。

パケタイズ処理部１２２は、以上のようにプレシンクト毎の符号化データをパケット化し、送信部１２３に供給する。送信部１２３は、そのパケットを順次、回線１１０を介して受信装置１０３に送信する。

以上のようなフォーマットで送信部１２３より送出されたパケットは、回線１１０を介して受信装置１０３の受信部１３１に供給される。受信部１３１は、そのパケットを受信すると、それをデパケタイズ処理部１３２に供給する。

図２１は、デパケタイズ処理部１３２の内部の構成例を示すブロック図である。図２１に示されるように、デパケタイズ処理部１３２は、例えば、パケット取得部２５１、ヘッダ情報解析部２５２、制御モード遷移部２５３、制御部２５４、ヘッダ供給部２５５、データ供給部２５６、エラー通知部２５７、および制御信号供給部２５８を有する。

パケット取得部２５１は、受信部１３１より供給されるパケットを取得する。そのとき、パケット取得部２５１は、RTPペイロードヘッダまで情報を取得すると、その取得を続けながら、既に取得した情報を順次、ヘッダ情報解析部２５２に供給する。つまり、パケット取得部２５１は、ペイロードの取得が完了する前に、ヘッダ情報をヘッダ情報解析部２５２に供給する。また、パケット取得部２５１は、ヘッダ情報はヘッダ供給部２５５にも供給し、ペイロードはデータ供給部２５６にも供給する。

ヘッダ情報解析部２５２は、パケット取得部２５１が取得したRTPパケットのヘッダ情報、つまり、RTPヘッダやペイロードヘッダの情報を解析し、その解析結果を制御モード遷移部２５３や制御部２５４に供給する。

制御モード遷移部２５３は、ヘッダ情報解析部２５２より供給されるヘッダ情報の解析結果に基づいて制御部２５４の動作モードを制御し、必要に応じて遷移させる。

制御部２５４は、制御モード遷移部２５３により制御されて遷移した制御モードで、ヘッダ情報解析部２５２より供給される解析結果に基づいて、ヘッダ供給部２５５、データ供給部２５６、エラー通知部２５７、および制御信号供給部２５８の動作を制御する。

ヘッダ供給部２５５は、制御部２５４に制御されて、パケット取得部２５１より供給されるペイロードヘッダに含まれる各種情報を抽出し、プレシンクトヘッダ１７１やピクチャヘッダ１７２を復元し、復号部１３３に供給する。データ供給部２５６は、制御部２５４に制御されて、パケット取得部２５１より供給されるペイロードデータを復号部１３３に供給する。エラー通知部２５７は、制御部２５４に制御されて、パケットロスの発生等のエラーを復号部１３３に通知する。制御信号供給部２５８は、制御部２５４に制御されて、ヘッダやデータ以外の各種制御情報を復号部１３３に供給する。

制御部２５４の制御モードには、図２２に示されるように、スタートモード３０１、スタンバイモード３０２、プロセッシングモード３０３、およびロスモード３０４の４つのモードがある。制御モード遷移部２５３は、ヘッダ情報解析部２５２によるヘッダ情報の解析結果に基づいて、RTPパケットの受信状況を把握し、その状況に応じて制御部２５４の制御モードを、最適なモードに遷移させる。

スタートモード３０１は、符号化データ全体の最初のパケットを処理するためのモードである。デパケタイズ処理開始時、制御部２５４は、このスタートモード３０１に設定される。スタンバイモード３０２は、プレシンクトの先頭のパケットを処理するためのモードである。プレシンクトの最後のパケットが処理された後、制御部２５４は、このスタンバイモード３０２に設定される。プロセッシングモード３０３は、パケットロスが発生していない通常時、プレシンクトの先頭以外の各パケットを処理するためのモードである。パケットロスが発生していないとき、プレシンクトの先頭以外の各パケットに対して、制御部２５４は、このプロセッシングモード３０３に設定される。ロスモード３０４は、パケットロス等のエラーが発生したときに、そのプレシンクトの残りのパケットを処理するためのモードである。パケットロスが発生した場合、制御部２５４は、このロスモード３０４に設定される。

各モードにおけるデパケタイズ処理部１３２の動作の詳細については後述する。

なお、実際には、図２３に示されるように、デパケタイズ処理部１３２から復号部１３３へは、データ以外にも、スタート情報、エンド情報、VALID情報、属性情報、およびエラー通知等が供給される。

スタート情報は、プレシンクト若しくはアラインユニットの先頭パケットのペイロードを示す情報であり、デパケタイズ処理部１３２が、プレシンクト若しくはアラインユニットの先頭パケットのペイロードを復号部１３３に供給するとき、このスタート情報に値「１」が設定される。エンド情報は、プレシンクト若しくはアラインユニットの最終パケットのペイロードを示す情報であり、デパケタイズ処理部１３２が、プレシンクト若しくはアラインユニットの最終パケットのペイロードを復号部１３３に供給するとき、このエンド情報に値「１」が設定される。

属性情報は、供給するデータが、ヘッダであるか画像データであるかを示したり、輝度成分のデータであるか色差成分のデータであるかを示したりする情報である。VALID情報は、データの読み取りタイミングを通知する情報である。エラー通知は、パケットロス等のエラーの発生を復号部１３３に通知する情報である。

図２４は、図１の復号部１３３の内部の構成例を示すブロック図である。図２４に示されるように、復号部１３３は、制御情報取得部３５１、復号制御部３５２、復号処理実行部３５３、ヘッダ取得部３５４、データ取得部３５５、エラー通知取得部３５６、および破棄処理部３５７を有する。

制御情報取得部３５１は、デパケタイズ処理部１３２より、スタート情報、エンド情報、VALID情報、および属性情報等の制御情報を取得し、その制御情報を復号制御部３５２に供給する。復号制御部３５２は、その制御情報に基づいて、所定のタイミングで復号処理実行部３５３に復号処理を開始させる。

復号処理実行部３５３は、デパケタイズ処理部１３２より供給され、ヘッダ取得部３５４により取得されたヘッダ情報に基づいて、データ取得部３５５により取得された符号化データの復号処理を行う。復号処理実行部３５３は、図２４に示されるように、バッファ部３６１、エントロピ復号部３６２、およびウェーブレット逆変換部３６３を有する。バッファ部３６１は、データ取得部３５５より供給される符号化データを一時的に保持し、必要に応じてその符号化データをエントロピ復号部３６２に供給する。また、バッファ部３６１は、エントロピ復号部３６２より供給される、符号化データの復号結果である係数データを一時的に保持し、必要に応じてその係数データをウェーブレット逆変換部３６３に供給する。

エントロピ復号部３６２は、復号制御部３５２に制御されて、バッファ部３６１に保持されている符号化データを読み出して、符号化部１２１のエントロピ符号化部１５５に対応する方法でエントロピ復号し、係数データを生成する。なお、エントロピ符号化部１５５において、量子化を行う場合、エントロピ復号部３６２は、エントロピ復号処理を行った後、得られる係数データに対して逆量子化処理も行う。エントロピ復号部３６２は、得られた係数データをバッファ部３６１に供給して蓄積させる。

ウェーブレット逆変換部３６３は、所定のタイミングでバッファ部３６１に蓄積された係数データを読み出し、符号化部１２１のウェーブレット変換部１５０に対応する方法でウェーブレット逆変換処理を行い、得られたベースバンドの画像データを出力画像データとして、表示装置１０４に出力する。

ヘッダ取得部３５４は、デパケタイズ処理部１３２より供給されるプレシンクトヘッダやピクチャヘッダ等のヘッダ情報を取得し、それをバッファ部３６１に供給して保持させる。データ取得部３５５は、デパケタイズ処理部１３２より供給されるペイロードデータを取得し、それをバッファ部３６１に供給して保持させる。

エラー通知取得部３５６は、デパケタイズ処理部１３２より供給される、受信処理においてパケットのロスが発生したこと等を通知するエラー通知を取得し、それを破棄処理部３５７に供給する。破棄処理部３５７は、エラー通知を取得すると、復号処理実行部３５３のバッファ部３６１に蓄積されている符号化データを破棄させる。つまり、破棄処理部３５７は、パケットの受信処理においてパケットのロスが発生した場合（シーケンス番号に基づいてパケットロスの発生が確認された場合）、そのパケットロスが発生した現在のプレシンクトに対する正常なエントロピ復号処理が実行不可能であるので、バッファ部３６１に蓄積されている、パケットロスが発生した現在のプレシンクトの符号化データを全て破棄する。

次に、各部の実行する処理の流れについて説明する。最初に、送信装置１０２の符号化部１２１により実行される符号化処理の流れの例を図２５のフローチャートを参照して説明する。

符号化処理が開始されると、ウェーブレット変換部１５０は、ステップＳ１において、処理対象プレシンクトの番号Ａを初期設定にする。通常の場合、番号Ａは「１」に設定される。設定が終了すると、ウェーブレット変換部１５０は、ステップＳ２において、最低域サブバンドにおいて上からＡ番目の１ラインを生成するのに必要なライン数（すなわち、１プレシンクト）の画像データを取得し、その画像データに対して、ステップＳ３において画面垂直方向に並ぶ画像データに対して分析フィルタリングを行う垂直分析フィルタリング処理を行い、ステップＳ４において画面水平方向に並ぶ画像データに対して分析フィルタリング処理を行う水平分析フィルタリング処理を行う。

ステップＳ５においてウェーブレット変換部１５０は、分析フィルタリング処理を最終レベルまで行ったか否かを判定し、分解レベルが最終レベルに達していないと判定した場合、処理をステップＳ３に戻し、現在の分解レベルに対して、ステップＳ３およびステップＳ４の分析フィルタリング処理を繰り返す。

ステップＳ５において、分析フィルタリング処理が最終レベルまで行われたと判定した場合、ウェーブレット変換部１５０は、処理をステップＳ６に進める。

ステップＳ６において、係数並び替え部１５３は、プレシンクトＡ（ピクチャ（フレームまたはフィールド）の上からＡ番目のプレシンクト）の係数を低域から高域の順番に並び替える。エントロピ符号化部１５５は、ステップＳ７において、その係数に対してライン毎にエントロピ符号化する。

エントロピ符号化が終了すると、エントロピ符号化部１５５は、まず、ステップＳ８においてプレシンクトヘッダ１７１（図７）を送出し、ステップＳ９において、現在の処理対象のプレシンクトがピクチャの先頭のプレシンクト（つまり、Ａ＝１）であるか否かを判定する。ピクチャの先頭であると判定された場合、処理はステップＳ１０に進み、エントロピ符号化部１５５は、ピクチャヘッダ１７２（図８）を送出する。ステップＳ１０の処理が終了すると、処理はステップＳ１１に進む。また、ステップＳ９において、現在の処理対象のプレシンクトがピクチャの先頭のプレシンクトでないと判定された場合、ステップＳ１０の処理は省略され、処理はステップＳ１１に進む。

エントロピ符号化部１５５は、ステップＳ１１において、ヘッダ情報に続いてプレシンクトＡの符号化データを外部に送出する。

ウェーブレット変換部１５０は、ステップＳ１２において番号Ａの値を「１」インクリメントして次のプレシンクトを処理対象とし、ステップＳ１３において、処理対象のピクチャについて、未処理の画像入力ラインが存在するか否かを判定し、存在すると判定した場合、処理をステップＳ２に戻し、新たな処理対象のプレシンクトに対してそれ以降の処理を繰り返す。

以上のようにステップＳ２乃至ステップＳ１３の処理が繰り返し実行され、各プレシンクトが符号化される。そして、ステップＳ１３において、未処理の画像入力ラインが存在しないと判定した場合、ウェーブレット変換部１５０は、そのピクチャに対する符号化処理を終了する。次のピクチャに対しては新たに符号化処理が開始される。

従来のウェーブレット変換の方法の場合、まず、水平分析フィルタリング処理をピクチャ全体に対して行い、次に垂直分析フィルタリング処理をそのピクチャ全体に対して行う。そして得られた低域成分全体に対して同様の水平分析フィルタリング処理と垂直分析フィルタリング処理を順に行う。以上のように、分解レベルが最終レベルに達するまで、分析フィルタリング処理が再帰的に繰り返される。従って、各分析フィルタリング処理の結果をバッファに保持させる必要があるが、その際、バッファは、ピクチャ全体、若しくは、その時点の分解レベルの低域成分全体のフィルタリング結果を保持する必要があり、多大なメモリ容量を必要とすることになる（保持するデータ量が多い）。

また、この場合、ピクチャ内において全てのウェーブレット変換が終了するまで、後段の係数並び替えやエントロピ符号化を行うことができず、遅延時間が増大する。

これに対して、符号化部１２１のウェーブレット変換部１５０の場合、上述したようにプレシンクト単位で垂直分析フィルタリング処理および水平分析フィルタリング処理を最終レベルまで連続して行うので、従来の方法と比較して、一度に（同時期に）保持する（バッファリングする）必要のあるデータの量が少なく、用意すべきバッファのメモリ量を大幅に低減させることができる。また、最終レベルまで分析フィルタリング処理が行われることにより、後段の係数並び替えやエントロピ符号化等の処理も行うことができる（つまり、係数並び替えやエントロピ符号化をプレシンクト単位で行うことができる）。従って、従来の方法と比較して遅延時間を大幅に低減させることができる。

また、エントロピ符号化部１５５は、符号化データとともに、プレシンクト毎にプレシンクトヘッダ１７１を、ピクチャ毎にピクチャヘッダ１７２をパケタイズ処理部１２２に供給するので、パケタイズ処理部１２２は、容易にヘッダ情報を生成することができる。また、このプレシンクトヘッダ１７１およびピクチャヘッダ１７２のフォーマットは、パケタイズ処理部１２２がパケットに付加するペイロードヘッダのフォーマットと同様であるので、パケタイズ処理部１２２は、さらに容易にヘッダ情報を生成することができる。

さらに、エントロピ符号化部１５５は、何らかの理由で符号化に失敗した場合、プレシンクトヘッダ１７１のIFを立てることにより、そのプレシンクトまたはアラインユニットが、符号化に失敗したプレシンクトまたはアラインユニットであることを示す。このIFを参照することによりパケタイズ処理部１２２は、復号できない不要なデータをパケット化して受信装置１０３に送信することを容易に抑制することができる。

次に、パケタイズ処理部１２２によるパケタイズ処理の流れの例を、図２６のフローチャートを参照して説明する。

ステップＳ３１において、パケタイズ処理部１２２のデータ取得部２０１は、プレシンクトヘッダ１７１を取得したか否かを判定し、取得したと判定するまで待機する。符号化部１２１より供給されたプレシンクトヘッダ１７１を取得したと判定された場合、処理はステップＳ３２に進む。

ステップＳ３２において、RTPヘッダ作成部２０２は、RTPヘッダ２２１を作成する。ステップＳ３３において、共通ヘッダ作成部２０３は、プレシンクトヘッダ１７１に基づいて、共通ヘッダ２３１を作成する。このとき、共通ヘッダ作成部２０３は、プレシンクトヘッダ１７１の第１ワード（Word０）に、SFF、Ｍ、TSF、およびNFのフィールドを追加する。

ステップＳ３４において、拡張ヘッダ作成部２０４は、プレシンクトヘッダ１７１に基づいて、量子化パラメータ情報２３２、サイズ情報２３３、フォーマット情報２３４、およびカラー情報２３６等の拡張ヘッダを作成する。

ステップＳ３５において、ピクチャ情報作成部２０５は、ピクチャヘッダ１７２を取得したか否かを判定する。ピクチャヘッダ１７２を取得したと判定された場合、処理はステップＳ３６に進む。ステップＳ３６において、ピクチャ情報作成部２０５は、ピクチャヘッダ１７２を参照し、ｗの値が「１」であるか否かを判定し、ｗの値が「１」であると判定した場合、ステップＳ３７においてウェイティングテーブル（WTｍ）もパケット化するようにピクチャ情報に含める。ステップＳ３７の処理が終了すると、処理はステップＳ３９に進む。

また、ステップＳ３６において、ｗの値が「０」であると判定した場合、ピクチャ情報作成部２０５は、ステップＳ３８において、ウェイティングテーブル（WTｍ）をピクチャ情報より削除する。ステップＳ３８の処理が終了すると、処理はステップＳ３９に進む。

さらに、ステップＳ３５において、ピクチャヘッダを取得していないと判定された場合、処理は、ステップＳ３９に進む。

ステップＳ３９において、フラグ確認部２０６は、プレシンクトヘッダ１７１のIFの値が０であるか否かを判定する。プレシンクトヘッダ１７１のIFの値が０であると判定された場合、処理はステップＳ４０に進む。

ステップＳ４０において、サイズ確認部２０７は、プレシンクトのデータサイズがパケットのペイロードの最大サイズ（パケットサイズ）より大きいか否かを判定する。

プレシンクトのサイズがパケットサイズより大きいと判定された場合、処理はステップＳ４１に進む。ステップＳ４１において、フラグメント処理部２０８は、１プレシンクトの符号化データをパケットサイズ毎に分割し、互いに異なるペイロードとする。ステップＳ４１の処理が終了すると、処理はステップＳ４３に進む。

また、ステップＳ４０において、プレシンクトのデータサイズがパケットサイズより大きくないと判定された場合、フラグメント処理部２０８は、符号化データの分割を行わない。つまり、この場合、ステップＳ４１の処理は省略され、処理はステップＳ４３に進む。

さらに、ステップＳ３９において、「IF＝０」と判定された場合、処理はステップＳ４２に進む。ステップＳ４２において、データ取得部２０１は、フラグ確認部２０６に制御されて、供給される符号化データを破棄する。ステップＳ４２の処理が終了すると、処理はステップＳ４３に進む。

パケット化部２０９は、ステップＳ４３において、各ペイロードやヘッダ情報を用いてRTPパケットを生成し、ステップＳ４４において、各パケットのSFFおよびＭ等のフラグ情報を設定する。

以上のように各フラグ情報が設定されると、出力部２１０は、そのRTPパケットを、送信部１２３に出力する。

ステップＳ４５において、データ取得部２０１は、全てのプレシンクトを処理したか否かを判定する。未処理のプレシンクトが存在すると判定された場合、処理はステップＳ３１に戻り、それ以降の処理が繰り返される。また、ステップＳ４５において全てのプレシンクトを処理したと判定された場合、パケタイズ処理は終了する。

以上のように、パケタイズ処理部１２２は、符号化部１２１より供給されるヘッダ情報に基づいて容易に共通ヘッダや拡張ヘッダを生成することができる。

また、上述したように、ステップＳ３６乃至ステップＳ３８において、ピクチャ情報作成部２０５は、プレシンクトヘッダ１７１のｗの値に基づいてウェイティングテーブルの付加を容易かつ高速に制御することができる。つまり、ピクチャ情報作成部２０５は、プレシンクトヘッダ１７１のｗの値を確認するだけで、ウェイティングテーブルを必要なときのみ適切に付加することができる。これにより、送信装置１０２より受信装置１０３に転送されるデータ量の不要な増大や、それに伴う各部の不要な負荷の増大を抑制することができる。

さらに、上述したように、ステップＳ３９においてプレシンクトヘッダ１７１のIFの値が「１」である場合、フラグ確認部２０６は、ステップＳ４２においてデータ取得部２０１を制御して、符号化データを取得させないようにし、パケットにペイロードを付加させないようにする。つまり、この場合、パケタイズ処理部１２２より出力されるRTPパケットにはヘッダ情報のみが含まれ、ペイロードは含まれない。このようにすることにより、パケタイズ処理部１２２は、符号化部１２１より供給されるプレシンクトヘッダ１７１を参照するだけで、容易かつ高速に復号できない不要なデータの送信を低減させることができ、送信部１２３、回線１１０、および受信装置１０３等の不要な負荷の増大を抑制することができる。

また、上述したようにステップＳ４０において、サイズ確認部２０７は、プレシンクトヘッダ１７１に基づいてプレシンクトのサイズがパケットサイズより大きいか否かを判定することができるので、パケタイズ処理部１２２は、１プレシンクトの符号化データを、蓄積することなく、容易かつ高速にフラグメントするか否かを判定することができる。

さらに、パケット化部２０９は、ステップＳ４４において、プレシンクトの先頭パケットについては、共通ヘッダ２３１のSFFのフラグを立て、プレシンクトの最終パケットについては、共通ヘッダ２３１のＭのフラグを立てる。このようなフラグを立てることにより、受信装置１０３のデパケタイズ処理部１３２は、ヘッダ情報を参照するだけで容易に、プレシンクトの先頭とプレシンクトの終端を識別することができる。これによりデパケタイズ処理部１３２は、後述するようにデパケタイズ処理を高速かつ容易に行うことができる。

さらに、このとき、共通ヘッダ２３１のIFのフラグが立てられていることにより、受信装置１０３のデパケタイズ処理部１３２は、ヘッダ情報を参照するだけで容易に、パケットにペイロードが含まれていないことを識別することができる。これによりデパケタイズ処理部１３２は、後述するようにデパケタイズ処理を高速かつ容易に行うことができる。

次に、パケットを受信する受信装置１０３のデパケタイズ処理部１３２が実行する処理について説明する。上述したようにデパケタイズ処理部１３２は、４つの制御モードでデパケタイズ処理を行う。デパケタイズ処理を開始する際、デパケタイズ処理部１３２は、スタートモード３０１に設定される。

最初に、そのスタートモード３０１のデパケタイズ処理部１３２により実行されるスタートモード処理の流れの例を図２７のフローチャートを参照して説明する。

ステップＳ６１において、パケット取得部２５１は、パケットを取得したか否かを判定し、受信部１３１を介してパケットを取得したと判定するまで待機する。パケットを取得したと判定された場合、処理はステップＳ６２に進む。ステップＳ６２において、ヘッダ情報解析部２５２は、パケットのヘッダ情報を取得し、「PID＝０」、「CF＝４」、かつ「SFF＝１」であるか否かを判定する。つまり、ヘッダ情報解析部２５２は、複数のコンポーネントを１つにまとめた、ピクチャの先頭のプレシンクトの最初のパケットであるか否かを判定する。「PID＝０」、「CF＝４」、かつ「SFF＝１」ではないと判定された場合、処理はステップＳ６１に戻りそれ以降の処理が繰り返される。つまり、「PID＝０」、「CF＝４」、かつ「SFF＝１」であると判定されるまで、ステップＳ６１およびステップＳ６２の処理が繰り返され、「PID＝０」、「CF＝４」、かつ「SFF＝１」であると判定されると、処理はステップＳ６３に進む。

ステップＳ６３において、制御部２５４は、後述するように各モードで実行される、プレシンクトの先頭のパケットに対するデパケタイズ処理であるモード共通処理を実行する。モード共通処理の詳細については後述する。モード共通処理が終了すると、制御モードは他のモードに遷移するので、スタートモード処理は終了する。

以上のように、スタートモードにおいて、制御部２５４は、共通ヘッダ２３１のSFFの値を参照するだけで、ピクチャの先頭のプレシンクトの先頭パケットを容易に検出することができる。また、制御部２５４は、そのピクチャの先頭のプレシンクトの先頭パケットを検出することにより、その時点でモード共通処理を開始し、そのプレシンクトからペイロードの抽出を開始することができる。つまり、制御部２５４は、プレシンクトの最終パケットを確認することなく、新規のプレシンクトを把握することができるので、ペイロードの抽出の開始タイミングをより早くすることができ、遅延時間を低減させることができる。

次に、図２７のステップＳ６３において実行されるモード共通処理の流れの例を図２８のフローチャートを参照して説明する。このモード共通処理は、後述するように、他のモードにおいても実行される処理であり、デパケタイズ処理部１３２が、１つ前のプレシンクトの最終パケットが確認されていないが、新しいプレシンクトの先頭パケットを確認した場合に、そのプレシンクトに対するデパケタイズ処理を行うものである。

従って、このモード共通処理は、パケット取得部２５１がパケットを既に取得している状態で開始される。

モード共通処理が開始されると、ステップＳ８２において、ヘッダ情報解析部２５２は、共通ヘッダ２３１を参照し、「IF＝０」であるか否かを判定する。「IF＝１」であると判定された場合、処理はステップＳ８３に進む。

「IF＝１」であると判定された場合、制御部２５４は、ステップＳ８３において、ヘッダ供給部２５５およびデータ供給部２５６を制御して、パケットのヘッダ部分のみを復号部１３３に転送させる。IF＝１の場合、基本的にそのパケットにペイロードは含まれていない。仮に含まれているとしても復号不可能であるので、制御部２５４は、データ供給部２５６を制御してそのペイロードの転送を禁止する。

ステップＳ８３の処理が終了すると、制御モード遷移部２５３は、ステップＳ８４において、制御モードを、次のプレシンクトの先頭パケットを待ち受けるスタンバイモードへ遷移する。スタンバイモードの処理については後述する。制御モードが遷移されるとモード共通処理は終了する。

ステップＳ８２において、「IF＝０」であると判定された場合、処理は、ステップＳ８５に進む。この場合、ペイロードの符号化データは正常に符号化されたデータである。ステップＳ８５において、ヘッダ供給部２５５は、制御部２５４に制御されて、プレシンクトヘッダ４ワード分を、復号部１３３に転送する。

ステップＳ８６において、ヘッダ情報解析部２５２は、共通ヘッダ２３１を参照し、「PID＝０」かつ「CF＝４」であるか否かを判定する。「PID＝０」かつ「CF＝４」であると判定された場合、処理は、ステップＳ８７進む。ステップＳ８７において、ヘッダ情報解析部２５２は、共通ヘッダ２３１を参照し、「ｗ＝１」であるか否かを判定する。「ｗ＝１」であると判定された場合、処理はステップＳ８８に進み、ヘッダ供給部２５５は、制御部２５４に制御されて、ピクチャヘッダ１７２を、ウェイティングテーブルも含めるように２６ワード分復号部１３３に転送する。ステップＳ８８の処理が終了すると、処理はステップＳ９０に進む。

また、ステップＳ８７において、「ｗ＝１」でないと判定された場合、処理はステップＳ８９に進み、ヘッダ供給部２５５は、制御部２５４に制御されて、ピクチャヘッダ１７２を、ウェイティングテーブルも含めないように６ワード分のみ復号部１３３に転送する。ステップＳ８９の処理が終了すると、処理はステップＳ９０に進む。

また、ステップＳ８６において、「PID＝０」かつ「CF＝４」であると判定された場合、ピクチャの先頭のプレシンクトではないので、ヘッダ供給部２５５は、制御部２５４に制御されて、ピクチャヘッダ１７２を復号部１３３に転送しない。従って、この場合、処理はステップＳ９０に進む。

ステップＳ９０において、データ供給部２５６は、制御部２５４に制御されて、パケットの残りのペイロード、つまり符号化データを復号部１３３に転送する。ステップＳ９１において、ヘッダ情報解析部２５２は、共通ヘッダ２３１を参照し、「Ｍ＝１」であるか否かを判定する。「Ｍ＝１」であり、処理対象のパケットがプレシンクトの最終パケットであると判定された場合、処理はステップＳ９２に進み、制御部２５４は、制御モード遷移部２５３に制御されて、制御モードをスタンバイモードへ遷移する。つまり、今回最終パケットの処理が終了したので、制御モードは、次のプレシンクトの先頭パケットを待ち受けるスタンバイモードへ遷移される。制御モードが遷移されるとモード共通処理は終了する。

また、ステップＳ９１において、「Ｍ＝１」でなく、処理対象のパケットがプレシンクトの最終パケットでないと判定された場合、処理はステップＳ９３に進み、制御部２５４は、制御モード遷移部２５３に制御されて、制御モードをプロセッシングモードへ遷移する。つまり、今回最終パケットでないパケットの転送処理が正常に終了したので、制御モードは、同じプレシンクトの後続のパケットを待ち受けるプロセッシングモードへ遷移される。制御モードが遷移されるとモード共通処理は終了する。このモード共通処理が図２７のステップＳ６３において実行されたのであれば、モード共通処理終了により、処理は図２７のステップＳ６３に戻り、スタートモード処理が終了される。

以上のように、デパケタイズ処理部１３２は、SFFやＭの値に基づいて、プレシンクトの先頭パケットや最終パケットを容易に識別することができる。また、Ｍにより最終パケットを識別することができるので、デパケタイズ処理部１３２は、容易にプレシンクト毎にモードを適宜遷移させることができる。これにより、デパケタイズ処理部１３２は、各プレシンクトに対して適切にデパケタイズ処理を行うことができる。さらに、SFFにより先頭パケットを識別することができるので、デパケタイズ処理部１３２は、最終パケットを確認しなくてもプレシンクトの更新を把握することができる。つまり、例えば、パケットロスが発生した場合、つまり、取得したパケットのシーケンス番号が前回取得したパケットのシーケンス番号と連続していない場合であっても、デパケタイズ処理部１３２は、そのパケットが新たなプレシンクトの先頭パケットであるならば、次のプレシンクトを待たずに、その新たなプレシンクトのパケットからペイロードの抽出を開始することができる。つまり、デパケタイズ処理部１３２は、不要な待機時間を低減させることができる。もちろん、スタートモードだけでなく、プロセッシングモードやロスモードにおいてモード共通処理を実行する場合も、デパケタイズ処理部１３２は、待機時間を短縮することができるので、遅延時間の短縮を実現することができる。

また、ステップＳ８３のように、デパケタイズ処理部１３２は、共通ヘッダ２３１を参照するだけで、容易に、復号不可能な不要なペイロードを復号部１３３に供給することを抑制することができる。これにより復号部１３３の復号処理の負荷を軽減させることができる。なお、ヘッダ情報は、復号処理に利用可能であるので、制御部２５４は、ヘッダ情報のみを転送させる。

次に、スタンバイモード処理の流れの例を図２９のフローチャートを参照して説明する。このスタンバイモード処理は、次のプレシンクトの先頭パケットを待ち受けるモードの処理であり、制御モード遷移部２５３により制御モードがスタンバイモードに遷移されると、開始される。

スタンバイモード処理が開始されると、パケット取得部２５１は、ステップＳ１１１において、パケットを受信したか否かを判定し、受信したと判定するまで待機する。受信部１３１よりパケットが供給され、パケットを受信したと判定された場合、処理はステップＳ１１２に進む。

ステップＳ１１２において、ヘッダ情報解析部２５２は、RTPヘッダ２２１を参照し、シーケンス番号が前回受信したパケットと連続するか否かを判定する。シーケンス番号が前回受信したパケットと連続していない場合、パケットの受信に失敗している（パケットロスが発生している）ことを示す。シーケンス番号が前回受信したパケットと連続しており、パケットロスが発生していないと判定された場合、処理はステップＳ１１３に進む。

ステップＳ１１３乃至ステップＳ１２２の各処理は、図２８を参照して説明したモード共通処理のステップＳ８２およびステップＳ８３、ステップＳ８５乃至ステップＳ９１、並びに、ステップＳ９３の各処理と同様に実行される。

つまり、ステップＳ１１３の処理はステップＳ８２に対応し、ステップＳ１１４の処理はステップＳ８３に対応する。ただし、スタンバイモード処理の場合、既にスタンバイモードであるので、図２８のステップＳ８４に対応する処理は省略され、ステップＳ１１１に処理が進められる（図２８においてスタンバイモードに遷移し、スタンバイモード処理が開始されるのと同等である）。

また、ステップＳ１１５乃至ステップＳ１２１は、それぞれ、図２８のステップＳ８５乃至ステップＳ９１に対応する。ただし、スタンバイモード処理の場合、既にスタンバイモードであるので、ステップＳ１２１において「Ｍ＝１」であると判定された場合、図２８のステップＳ９２に対応する処理は省略され、ステップＳ１１１に処理が進められる（図２８においてスタンバイモードに遷移し、スタンバイモード処理が開始されるのと同等である）。

なお、ステップＳ１２１において、「Ｍ＝１」でないと判定された場合、処理はステップＳ１２２に進む。このステップＳ１２２の処理は、図２８のステップＳ９３の処理に対応し、制御モード遷移部２５３が制御モードをプロセッシングモードに遷移させると、スタンバイモード処理は終了される。

また、ステップＳ１１２において、シーケンス番号が前回受信したパケットと連続しておらず、パケットロスが発生したと判定された場合、処理はステップＳ１２３に進む。

ステップＳ１２３において、ヘッダ情報解析部２５２は、共通ヘッダ２３１を参照し、「SFF＝１」であるか否かを判定する。「SFF＝１」であると判定された場合、処理はステップＳ１１３に戻り、それ以降の処理を繰り返す。復号処理はプレシンクト単位で行われるので、プレシンクト内においてパケットロスが発生していなければ、そのプレシンクトは復号可能である。つまり、「SFF＝１」である場合、現在処理対象のパケットが属するプレシンクトではなく、過去のプレシンクトにおいてパケットロスが発生したことを示している。その上、スタンバイモードの場合、その過去のプレシンクトの符号化データの、復号部１３３による蓄積は終了している。従って、パケットロスが発生しても、新たに取得したパケットが新たなプレシンクトの先頭パケットであるならば、そのパケットロスは無視され、処理はステップＳ１１３に戻される。

ステップＳ１２３において、「SFF＝１」でないと判定された場合、処理はステップＳ１２４に進む。この場合、パケットロスは、処理対象のパケットと同じプレシンクト内において発生している。従って、そのプレシンクトは復号することができないので、ペイロードの転送は中止される。つまり、ステップＳ１２４において、データ供給部２５６は、制御部２５４に制御されて、受信したパケットを、復号部１３３に転送せずに破棄する。

上述したように、スタンバイモードであるので、過去のプレシンクトの符号化データの、復号部１３３による蓄積は終了しており、新たなプレシンクトの符号化データはまだ蓄積されていない。従って、この場合、復号部１３３はデータを破棄する必要がないので、デパケタイズ処理部１３２は、復号部１３３にエラーを通知する必要は無い。

ステップＳ１２５において、制御部２５４は、制御モード遷移部２５３に制御されて、制御モードを、エラーが発生したプレシンクトにおいて次のプレシンクトのパケットを取得するまで待機するモードであるロスモードに遷移する。制御モードがロスモードに遷移されると、スタンバイモード処理は終了される。

以上のように、スタンバイモードにおいてデパケタイズ処理部１３２は、SFFやＭの値に基づいて、プレシンクトの先頭パケットや最終パケットを容易に識別することができる。また、Ｍにより最終パケットを識別することができるので、デパケタイズ処理部１３２は、容易にプレシンクト毎にモードを適宜遷移させることができる。これにより、デパケタイズ処理部１３２は、各プレシンクトに対して適切にデパケタイズ処理を行うことができる。さらに、SFFにより先頭パケットを識別することができるので、デパケタイズ処理部１３２は、最終パケットを確認しなくてもプレシンクトの更新を把握することができる。つまり、例えば、パケットロスが発生した場合、つまり、取得したパケットのシーケンス番号が前回取得したパケットのシーケンス番号と連続していない場合であっても、デパケタイズ処理部１３２は、そのパケットが新たなプレシンクトの先頭パケットであるならば、次のプレシンクトを待たずに、その新たなプレシンクトのパケットからペイロードの抽出を開始することができる。つまり、デパケタイズ処理部１３２は、不要な待機時間を低減させることができる。

次に、プロセッシングモード処理の流れの例を図３０のフローチャートを参照して説明する。このプロセッシングモード処理は、同じプレシンクトの後続のパケットを待ち受けるモードの処理であり、制御モード遷移部２５３により制御モードがプロセッシングモードに遷移されると、開始される。

プロセッシングモード処理が開始されると、パケット取得部２５１は、ステップＳ１４１において、パケットを受信したか否かを判定し、受信したと判定するまで待機する。受信部１３１よりパケットが供給され、パケットを受信したと判定された場合、処理はステップＳ１４２に進む。

ステップＳ１４２において、ヘッダ情報解析部２５２は、RTPヘッダ２２１を参照し、シーケンス番号が前回受信したパケットと連続するか否かを判定する。シーケンス番号が前回受信したパケットと連続しており、パケットロスが発生していないと判定された場合、処理はステップＳ１４３に進む。

ステップＳ１４３において、ヘッダ供給部２５５は、制御部２５４に制御されて、パケットより共通ヘッダ２３１を削除する。ステップＳ１４４において、データ供給部２５６は、制御部２５４に制御されて、残りのペイロードデータを復号部１３３へ転送する。ステップＳ１４５において、ヘッダ情報解析部２５２は、共通ヘッダ２３１を参照し、「Ｍ＝１」であるか否かを判定し、「Ｍ＝１」ではなくプレシンクトの最終パケットでないと判定された場合、同じプレシンクトに後続のパケットが存在するので、処理はステップＳ１４１に戻り、それ以降の処理が繰り返される。

つまり、ステップＳ１４１乃至ステップＳ１４５の処理が繰り返されながら、プレシンクトの各パケットよりペイロードが抽出されて復号部１３３に転送される。

ステップＳ１４５において、「Ｍ＝１」であり、処理対象のパケットがプレシンクトの最終パケットであると判定された場合、処理はステップＳ１４６に進み、制御部２５４は、制御モード遷移部２５３に制御されて、制御モードをスタンバイモードに遷移する。制御モードがスタンバイモードに遷移されるとプロセッシングモード処理は終了される。

また、ステップＳ１４２において、シーケンス番号が前回受信したパケットと連続しておらず、パケットロスが発生したと判定された場合、処理はステップＳ１４７に進む。

この場合、そのプレシンクトのデータを復号部１３３において蓄積中であるので、ステップＳ１４７において、エラー通知部２５７は、制御部２５４に制御されて、転送エラーを復号部１３３に通知する。

エラー通知が終了すると、ヘッダ情報解析部２５２は、ステップＳ１４８において、共通ヘッダ２３１を参照し、「SFF＝１」であるか否かを判定する。「SFF＝１」であると判定された場合、処理はステップＳ１４９に進む。ステップＳ１４９において、制御部２５４は、図２８のフローチャートを参照して説明したモード共通処理を実行する。この場合、モード共通処理が終了すると、処理は図３０のステップＳ１４９に戻り、プロセッシングモード処理が終了される。

また、ステップＳ１４８において、「SFF＝１」でないと判定された場合、処理はステップＳ１５０に進み、データ供給部２５６は、制御部２５４に制御されて受信したパケットを破棄する。ステップＳ１５１において、制御部２５４は、制御モード遷移部２５３に制御されて、制御モードをロスモードに遷移する。制御モードがロスモードに遷移されるとプロセッシングモード処理は終了される。

以上のように、プロセッシングモードにおいてデパケタイズ処理部１３２は、SFFやＭの値に基づいて、プレシンクトの先頭パケットや最終パケットを容易に識別することができる。また、Ｍにより最終パケットを識別することができるので、デパケタイズ処理部１３２は、容易にプレシンクト毎にモードを適宜遷移させることができる。これにより、デパケタイズ処理部１３２は、各プレシンクトに対して適切にデパケタイズ処理を行うことができる。さらに、SFFにより先頭パケットを識別することができるので、デパケタイズ処理部１３２は、最終パケットを確認しなくてもプレシンクトの更新を把握することができる。

例えば、パケットロスが発生していない場合、デパケタイズ処理部１３２は、順次供給される各パケットよりペイロードを抽出し、Ｍの値に基づいて最終パケットを確認し、そのプレシンクトに対する処理が終了したと判定した場合、スタンバイモードに遷移する。パケットロスが発生した場合、デパケタイズ処理部１３２は、復号部１３３にエラーを通知し、先頭パケットで無ければそのパケットを破棄し、次のプレシンクトのパケットを確認するまで待機するようにロスモードに遷移する。ただし、「SFF＝１」であるとき、つまり、パケットロスを確認したときに取得したパケットが新たなプレシンクトの先頭パケットであれば、デパケタイズ処理部１３２は、モード共通処理を実行することにより、スタンバイモードやロスモードに遷移することなく、つまり、新たなプレシンクトのパケットを待たずに、そのプレシンクトからペイロード抽出を開始することができるので、ペイロード抽出の開始タイミングをより早くすることができ、遅延時間を低減させることができる。

次に、図３１のフローチャートを参照してロスモード処理の流れの例を説明する。このロスモード処理は、同じプレシンクトにおいてパケットロスが発生したときに次のプレシンクトのパケットを受信するまで待機するモードの処理であり、制御モード遷移部２５３により制御モードがロスモードに遷移されると、開始される。

ロスモード処理が開始されると、パケット取得部２５１は、ステップＳ１７１において、パケットを受信したか否かを判定し、受信したと判定するまで待機する。受信部１３１よりパケットが供給され、パケットを受信したと判定された場合、処理はステップＳ１７２に進む。

ステップＳ１７２において、ヘッダ情報解析部２５２は、共通ヘッダ２３１を参照し、「SFF＝１」であるか否かを判定する。「SFF＝１」でなく、プレシンクトの先頭パケットでないと判定された場合、処理はステップＳ１７３に進み、ヘッダ情報解析部２５２は、今度は、「Ｍ＝１」であるか否かを判定する。「Ｍ＝１」でない、つまりプレシンクトの最終パケットで無いと判定された場合、処理は、ステップＳ１７１に戻りそれ以降の処理が繰り返される。

ステップＳ１７３において、「Ｍ＝１」であると判定された場合、処理はステップＳ１７４に進み、制御部２５４は、制御モード遷移部２５３に制御されて制御モードをスタンバイモードに遷移する。制御モードがスタンバイモードに遷移されるとロスモード処理は終了される。

また、ステップＳ１７２において、「SFF＝１」であると判定された場合、制御部２５４は、図２８のフローチャートを参照して説明したモード共通処理を実行する。この場合、モード共通処理が終了すると、処理は図３１のステップＳ１７５に戻り、ロスモード処理が終了される。

つまり、ロスモードにおいても、デパケタイズ処理部１３２は、SFFやＭの値に基づいて、プレシンクトの先頭パケットや最終パケットを容易に識別することができる。また、Ｍにより最終パケットを識別することができるので、デパケタイズ処理部１３２は、容易にプレシンクト毎にモードを適宜遷移させることができる。これにより、デパケタイズ処理部１３２は、各プレシンクトに対して適切にデパケタイズ処理を行うことができる。さらに、SFFにより先頭パケットを識別することができるので、デパケタイズ処理部１３２は、最終パケットを確認しなくてもプレシンクトの更新を把握することができる。

ロスモードの場合、デパケタイズ処理部１３２は、パケットを取得しながら、基本的に待機し、Ｍの値に基づいて最終パケットを検出した場合、スタンバイモードに遷移し、次のプレシンクトの先頭パケットの取得に備える。また、SFFの値に基づいて先頭パケットを検出した場合、デパケタイズ処理部１３２は、モード共通処理を実行することによって、そのプレシンクトからペイロードの抽出を開始する。

このようにすることにより、デパケタイズ処理部１３２は、ペイロードの抽出の開始タイミングをより早くすることができ、遅延時間を低減させることができる。

以上のように、状況に応じて制御モードを切り替えながらデパケタイズ処理を行うことにより、デパケタイズ処理部１３２は、デパケタイズ用のバッファを設けて、プレシンクト毎にパケットを蓄積しなくても、供給されるパケットのヘッダ情報に基づいて順次適切に処理を行うことができ、容易かつ高速にデパケタイズ処理を行うことができる。また、パケットロスが発生した場合、デパケタイズ処理部１３２は、必要に応じてエラー通知を行うので復号部１３３は、不要な復号処理の実行を抑制し、復号処理の負荷を軽減させることができる。

さらに、IFの値により、デパケタイズ処理部１３２は、容易に、復号不可能な不要なペイロードを復号部１３３に供給することを抑制することができる。これにより復号部１３３の復号処理の負荷を軽減させることができる。

復号部１３３は、以上のようなデパケタイズ処理部１３２の処理に対応して、デパケタイズ処理部１３２より供給される符号化データの復号処理を行う。そのために、復号部１３３は、復号処理の実行を制御する復号制御処理を実行する。図３２のフローチャートを参照して、復号制御処理の流れの例を説明する。この符号化制御処理は、符号化データの供給が開始されてから終了するまでの間実行される。

ステップＳ１９１において、データ取得部３５５は、デパケタイズ処理部１３２より供給される符号化データを取得する。ステップＳ１９２において、バッファ部３６１は、その符号化データを蓄積する。ステップＳ１９３において、制御情報取得部３５１は、制御情報を取得する。ステップＳ１９４において、復号制御部３５２は、制御情報取得部３５１が取得した制御情報に基づいて、データ取得部３５５が取得したデータがプレシンクトの先頭パケットのペイロードであるか否かを判定する。プレシンクトの先頭パケットのペイロードであると判定された場合、処理はステップＳ１９５に進む。ステップＳ１９５において、復号制御部３５２は、制御情報取得部３５１が取得した制御情報に基づいて、データ取得部３５５に取得されバッファ部３６１に蓄積されたデータが連続しているか否かを判定する。パケットロスが発生しておらず、データ取得部３５５に取得されバッファ部３６１に蓄積されたデータが連続していると判定された場合、処理は、ステップＳ１９１に戻り、次の符号化データに対して、ステップＳ１９１以降の処理が繰り返される。

また、ステップＳ１９５において、パケットロスが発生し、データが連続していないと判定された場合、処理はステップＳ１９６に進む。ステップＳ１９６において、復号制御部３５２は、エントロピ復号部３６２を制御し、補完処理を開始させる。エントロピ復号部３６２は、プレシンクト単位で復号処理を行うが、プレシンクトのデータが欠落した場合、他のプレシンクトのデータ等を用いて補完処理を行う。

従って、復号制御部３５２は、前回取得したパケットと連続していない先頭パケットを取得した場合、エントロピ復号部３６２を制御し、その１つ前のプレシンクトに対して補完処理を実行させる。補完処理が終了すると、処理はステップＳ１９７に進む。

ステップＳ１９７において、復号制御部３５２は、復号制御処理を終了するか否かを判定し、終了しないと判定された場合、処理はステップＳ１９１に戻り、それ以降の処理が繰り返される。また、ステップＳ１９７において、復号制御処理を終了すると判定された場合、復号制御処理が終了される。

また、ステップＳ１９４において、データ取得部３５５が取得したデータがプレシンクトの先頭パケットのペイロードでないと判定された場合、処理はステップＳ１９８に進み、復号制御部３５２は、データ取得部３５５が取得したデータがプレシンクトの最終パケットのペイロードであるか否かを判定する。プレシンクトの最終パケットのペイロードであると判定された場合、処理はステップＳ１９９に進み、復号制御部３５２は、エントロピ復号部３６２を制御して、バッファ部３６１に蓄積されている符号化データに対して、復号処理を開始させる。ステップＳ１９９の処理が終了されると、処理はステップＳ１９７に戻る。

また、ステップＳ１９８において、データ取得部３５５が取得したデータがプレシンクトの最終パケットのペイロードでないと判定された場合、処理はステップＳ１９７に戻る。

次に、図３３のステップＳ１９９において開始される復号処理の流れの例を図３５のフローチャートを参照して説明する。この復号処理は、図３４の復号制御処理により制御され、プレシンクト単位で実行される。

復号処理が開始されると、エントロピ復号部３６２は、ステップＳ２１１において、バッファ部３６１に蓄積されている符号化データを取得し、ステップＳ２１２において、ライン毎に符号化データをエントロピ復号する。ステップＳ２１３において、バッファ部３６１は、その復号されて得られた係数データを保持する。ステップＳ２１４においてウェーブレット逆変換部３６３は、バッファ部３６１に１プレシンクト分の係数データが蓄積されたか否かを判定し、蓄積されていないと判定した場合、処理をステップＳ２１１に戻し、それ以降の処理を実行させ、バッファ部３６１に１プレシンクト分の係数データが蓄積されるまで待機する。

ステップＳ２１４においてバッファ部３６１に１プレシンクト分の係数データが蓄積されたと判定した場合、ウェーブレット逆変換部３６３は、処理をステップＳ２１５に進め、バッファ部３６１に保持されている係数データを１プレシンクト分読み出す。

そしてその読み出した係数データに対して、ウェーブレット逆変換部３６３は、ステップＳ２１６において、画面垂直方向に並ぶ係数データに対して合成フィルタリング処理を行う垂直合成フィルタリング処理を行い、ステップＳ２１７において、画面水平方向に並ぶ係数データに対して合成フィルタリング処理を行う水平合成フィルタリング処理を行い、ステップＳ２１８において、合成フィルタリング処理がレベル１（分解レベルの値が「１」のレベル）まで終了したか否か、すなわち、ウェーブレット変換前の状態まで逆変換したか否かを判定し、レベル１まで達していないと判定した場合、処理をステップＳ２１６に戻し、ステップＳ２１６およびステップＳ２１７のフィルタリング処理を繰り返す。

ステップＳ２１８において、レベル１まで逆変換処理が終了したと判定した場合、ウェーブレット逆変換部３６３は、処理をステップＳ２１９に進め、逆変換処理により得られた画像データを外部に出力する。

ステップＳ２２０において、エントロピ復号部３６２は、復号処理を終了するか否かを判定し、復号処理を終了しないと判定した場合、処理をステップＳ２１１に戻し、それ以降の処理を繰り返す。また、ステップＳ２２０において、プレシンクトが終了するなどして復号処理を終了すると判定した場合、エントロピ復号部３６２は、復号処理を終了する。

従来のウェーブレット逆変換の方法の場合、処理対象の分解レベルの全係数に対して、まず、画面水平方向に水平合成フィルタリング処理を行い、次に画面垂直方向に垂直合成フィルタリング処理を行っていた。つまり、各合成フィルタリング処理の度に、その合成フィルタリング処理の結果をバッファに保持させる必要があるが、その際、バッファは、その時点の分解レベルの合成フィルタリング結果と、次の分解レベルの全係数を保持する必要があり、多大なメモリ容量を必要とすることになる（保持するデータ量が多い）。

また、この場合、ピクチャ（インタレース方式の場合フィールド）内において全てのウェーブレット逆変換が終了するまで画像データ出力が行われないので、入力から出力までの遅延時間が増大する。

これに対して、復号部１３３のウェーブレット逆変換部３６３の場合、上述したようにプレシンクト単位で垂直合成フィルタリング処理および水平合成フィルタリング処理をレベル１まで連続して行うので、従来の方法と比較して、一度に（同時期に）バッファリングする必要のあるデータの量が少なく、用意すべきバッファのメモリ量を大幅に低減させることができる。また、レベル１まで合成フィルタリング処理（ウェーブレット逆変換処理）が行われることにより、ピクチャ内の全画像データが得られる前に（プレシンクト単位で）画像データを順次出力させることができ、従来の方法と比較して遅延時間を大幅に低減させることができる。

次に、復号部１３３において、図３２の復号制御処理と並行して行われる、デパケタイズ処理部１３２からのエラー通知に対する処理であるエラー通知対応処理の流れの例を図３４のフローチャートを参照して説明する。

図３４において、エラー通知処理が開始されると、エラー通知取得部３５６は、ステップＳ２４１において、デパケタイズ処理部１３２よりエラー通知を取得したか否かを判定する。エラー通知を取得したと判定されるまで処理は待機する。ステップＳ２４１においてエラー通知を取得したと判定された場合、処理はステップＳ２４２に進む。ステップＳ２４２において、破棄処理部３５７は、バッファ部３６１に現在受信途中のプレシンクト（パケットロスが発生した最新のプレシンクトに属する符号化データ）が存在するか否かを判定する。

現在受信途中であるプレシンクトがバッファ部３６１に存在すると判定された場合、処理は、ステップＳ２４３に進む。ステップＳ２４３において、破棄処理部３５７は、バッファ部３６１に蓄積されている受信中のスライスを破棄する。ステップＳ２４３の処理が終了すると、処理は、ステップＳ２４４に進む。また、ステップＳ２４２において、現在受信途中であるスライスがバッファ部３６１に存在しないと判定された場合、ステップＳ２４３の処理は省略され、処理はステップＳ２４４に進む。

ステップＳ２４４において、破棄処理部３５７は、エラー通知対応処理を終了するか否かを判定する。デパケタイズ処理は続いており、エラー通知対応処理も終了しないと判定された場合、処理はステップＳ２４１に戻り、それ以降の処理を繰り返す。また、ステップＳ２４４において、エラー通知対応処理を終了すると判定された場合、エラー通知対応処理は終了される。

以上のように、復号部１３３は、デパケタイズ処理部１３２からのエラー通知に応じて、パケットロスが発生したスライスの符号化データを破棄するので、不要な復号処理を行わないようにすることができる。このように適切な復号処理を行うことができるので、復号部１３３は、復号処理を容易かつ高速に行うことができ、復号処理の負荷を低減し、回路規模やコストを低減させることができる。

デパケタイズ処理部１３２により行われるエラー通知の様子の例を図３５に示す。

図３５において、デパケタイズ処理部１３２と復号部１３３は、６本の信号線で接続されているものとする。デパケタイズ処理部１３２は、受信したパケット１からRTPヘッダなどを削除して抽出した符号化データ（Data１）を復号部１３３に供給する。このとき、この符号化データ（Data１）が新たなスライスの先頭であった場合、デパケタイズ処理部１３２の制御信号供給部２５８は、制御部２５４に制御されてスタート情報（START）を通知する。

次に届いたパケットがパケット５であった場合、パケットロスがあったと判断される。このとき、復号部１３３にはプレシンクトの一部であるData1が既に伝送されているため、デパケタイズ処理部１３２のエラー通知部２５７は、制御部２５４に制御されてエラー通知を行う。また、パケット５は「SFF＝１」であったため、デパケタイズ処理部１３２の制御信号供給部２５８は、制御部２５４に制御されて、スタート情報（START）を通知する。

なお、以上においては、パケタイズ処理部１２２は、プレシンクトのデータサイズがパケットサイズより大きい場合、データを分割して複数のパケットを生成し、そうでない場合、１つのパケットを生成するように説明したが、プレシンクトのデータサイズがパケットサイズに比べて小さい場合、複数のプレシンクトのデータを１つのパケットとするようにしてもよい。

その場合、ペイロードヘッダの構成は、例えば、図３６に示されるように、ヘッダ情報およびペイロードが順次並べられる。図３６の例の場合、１つ目のプレシンクトのデータである共通ヘッダ２３１乃至ペイロード２３７の後に、２つ目のプレシンクトのデータであるセグメント情報４３１、量子化パラメータ情報４３２、サイズ情報４３３、フォーマット情報４３４、ピクチャ情報４３５、カラー情報４３６、及びペイロード４３７が構成され、その後には、３つ目以降のプレシンクトのデータが並ぶ。

セグメント情報４３１は、２つ目のプレシンクトに対する共通ヘッダであり、図３７に示されるように、基本的に共通ヘッダ２３１と同様の情報が含まれる。つまり、セグメント情報４３１は、プレシンクトヘッダ１７１に基づいて作成される。なお、自分自身よりも後に他のプレシンクトのデータが存在する場合、共通ヘッダ２３１（セグメント情報４３１も同様）において、NFの値が「１」に設定される。

この場合のパケタイズ処理の流れの例を図３８のフローチャートを参照して説明する。

図３８に示されるように、この場合のパケタイズ処理も基本的に図２６を参照して説明した場合と同様に実行される。ステップＳ３０１乃至ステップＳ３１２の各処理は、図２６のステップＳ３１乃至ステップＳ４２の各処理と同様に実行され、ステップＳ３１５乃至ステップＳ３１７の各処理は、図２６のステップＳ４３乃至ステップＳ４５の各処理と同様に実行される。

ただし、ステップＳ３１０において、プレシンクトのサイズがパケットサイズより大きく無いと判定された場合、パケタイズ処理部１２２のサイズ確認部２０７は、同じパケットに新たなペイロードを追加可能であるか否かを判定する。パケットサイズに余裕があり、ペイロード追加可能と判定された場合、処理はステップＳ３１４に進み、データ取得部２０１は、プレシンクトヘッダを取得したか否かを判定し、取得したと判定するまで待機する。プレシンクトヘッダを取得したと判定した場合、処理はステップＳ３０３に戻り、パケットに追加するプレシンクトに対してそれ以降の処理が繰り返される。つまり、ステップＳ３０３乃至ステップＳ３１０、並びに、ステップＳ３１３およびステップＳ３１４のループ処理が繰り返されることにより、符号化データの合計のデータサイズがパケットサイズより大きくなるまで、同じパケットにプレシンクトが順次追加される。

なお、ステップＳ３１３において、パケットにペイロード追加不可能であると判定された場合、処理は、ステップＳ３１３に戻り、それ以降の処理が実行される。つまりこの場合、１つのプレシンクトの符号化データで１つのパケットが生成される。

以上のようにパケタイズ処理を行うことにより、１つのパケットに複数のプレシンクトのデータを含めることができる。

以上のような図１に示される伝送システム１００の各部により実行される各種処理は、例えば、図３９に示されるように、適宜、並列的に実行される。

図３９は、図１に示される伝送システム１００の各部により実行される処理の各要素の並列動作の例を概略的に示す図である。この図３９は、上述した図６と対応するものである。画像データの入力Ｉｎ−１（図３９Ａ）に対して、ウェーブレット変換部１５０（図２）で１回目のウェーブレット変換ＷＴ−１が施される（図３９Ｂ）。図５を参照し説明したように、この１回目のウェーブレット変換ＷＴ−１は、最初の３ラインが入力された時点で開始され、係数Ｃ１が生成される。すなわち、画像データＩｎ−１の入力からウェーブレット変換ＷＴ−１が開始されるまで、３ライン分の遅延が生じる。

生成された係数データは、係数並び替え用バッファ部１５２（図２）に格納される。以降、入力された画像データに対してウェーブレット変換が施され、１回目の処理が終了すると、そのまま２回目のウェーブレット変換ＷＴ−２に処理が移行する。

２回目のウェーブレット変換ＷＴ−２のための画像データＩｎ−２の入力と、当該２回目のウェーブレット変換ＷＴ−２の処理と並列的に、係数並び替え部１５３（図２）により３個の、係数Ｃ１、係数Ｃ４、および係数Ｃ５の並び替えＯｒｄ−１が実行される（図３９Ｃ）。

なお、ウェーブレット変換ＷＴ−１の終了から並び替えＯｒｄ−１が開始されるまでの遅延は、例えば、並び替え処理を係数並び替え部１５３に指示する制御信号の伝達に伴う遅延や、制御信号に対する係数並び替え部１５３の処理開始に要する遅延、プログラム処理に要する遅延といった、装置やシステム構成に基づく遅延であって、符号化処理における本質的な遅延ではない。

係数データは、並び替えが終了した順に係数並び替え用バッファ部１５２から読み出され、エントロピ符号化部１５５（図２）に供給され、エントロピ符号化ＥＣ−１が行われる（図３９Ｄ）。このエントロピ符号化ＥＣ−１は、３個の、係数Ｃ１、係数Ｃ４、および係数Ｃ５の、全ての並び替えの終了を待たずに開始することができる。例えば、最初に出力される係数Ｃ５による１ラインの並び替えが終了した時点で、当該係数Ｃ５に対するエントロピ符号化を開始することができる。この場合、並び替えＯｒｄ−１の処理開始からエントロピ符号化ＥＣ−１の処理開始までの遅延は、１ライン分となる。

エントロピ符号化部１５５によるエントロピ符号化ＥＣ−１が終了した符号化データは、所定の信号処理が施された後、回線１１０を介して受信装置１０３に伝送される（図３９Ｅ）。このとき、符号化データは、パケット化されて伝送される。

送信装置１０２の符号化部１２１に対して、１回目の処理による７ライン分の画像データ入力に続けて、画面上の下端のラインまで画像データが順次、入力される。符号化部１２１では、画像データの入力Ｉｎ−ｎ（ｎは２以上）に伴い、上述したようにして、４ライン毎にウェーブレット変換ＷＴ−ｎ、並び替えＯｒｄ−ｎおよびエントロピ符号化ＥＣ−ｎを行う。符号化部１２１における最後の回の処理に対する並び替えＯｒｄおよびエントロピ符号化ＥＣは、６ラインに対して行われる。これらの処理は、符号化部１２１において、図３９Ａ乃至図３９Ｄに例示されるように、並列的に行われる。

符号化部１２１によるエントロピ符号化ＥＣ−１により符号化された符号化データのパケットは、受信装置１０３に伝送され、デパケタイズ処理等が施された後、復号部１３３に供給される。復号部１３３のエントロピ復号部３６２は、供給された、エントロピ符号化ＥＣ−１により符号化された符号化データに対して、順次、エントロピ符号の復号ｉＥＣ−１を行い、係数データを復元する（図３９Ｆ）。復元された係数データは、順次、バッファ部３６１に格納される。ウェーブレット逆変換部３６３は、バッファ部３６１にウェーブレット逆変換が行えるだけ係数データが格納されたら、バッファ部３６１から係数データを読み出して、読み出された係数データを用いてウェーブレット逆変換ｉＷＴ−１を行う（図３９Ｇ）。

図５を参照して説明したように、ウェーブレット逆変換部３６３によるウェーブレット逆変換ｉＷＴ−１は、係数Ｃ４および係数Ｃ５がバッファ部３６１に格納された時点で開始することができる。したがって、エントロピ復号部３６２による復号ｉＥＣ−１が開始されてからウェーブレット逆変換部３６３によるウェーブレット逆変換ｉＷＴ−１が開始されるまでの遅延は、２ライン分となる。

ウェーブレット逆変換部３６３において、１回目のウェーブレット変換による３ライン分のウェーブレット逆変換ｉＷＴ−１が終了すると、ウェーブレット逆変換ｉＷＴ−１で生成された画像データの出力Ｏｕｔ−１が行われる（図３９Ｈ）。出力Ｏｕｔ−１では、図５および図６を用いて説明したように、第１ライン目の画像データが出力される。

復号部１３３に対して、符号化部１２１における１回目の処理による３ライン分の符号化された係数データの入力に続けて、エントロピ符号化ＥＣ−ｎ（ｎは２以上）により符号化された係数データが順次、入力される。復号部１３３では、入力された係数データに対して、上述したようにして、４ライン毎にエントロピ復号ｉＥＣ−ｎおよびウェーブレット逆変換ｉＷＴ−ｎを行い、ウェーブレット逆変換ｉＷＴ−ｎにより復元された画像データの出力Ｏｕｔ−ｎを順次、行う。符号化部１２１の最後の回に対応するエントロピ復号ｉＥＣおよびウェーブレット逆変換ｉＷＴは、６ラインに対して行われ、出力Ｏｕｔは、８ラインが出力される。これらの処理は、復号部１３３において、図３９Ｆ乃至図３９Ｈに例示されるように、並列的に行われる。

上述のようにして、画面上部から下部の方向に順番に、符号化部１２１および復号部１３３における各処理を並列的に行うことで、画像圧縮処理および画像復号処理をより低遅延で行うことが可能となる。

図３９を参照して、５×３フィルタを用いて分解レベル＝２までウェーブレット変換を行った場合の、画像入力から画像出力までの遅延時間を計算してみる。第１ライン目の画像データが符号化部１２１に入力されてから、この第１ライン目の画像データが復号部１３３から出力されるまでの遅延時間は、下記の各要素の総和となる。なお、ここでは、伝送路における遅延や、装置各部の実際の処理タイミングに伴う遅延などの、システムの構成により異なる遅延は、除外している。

（１）最初のライン入力から７ライン分のウェーブレット変換ＷＴ−１が終了するまでの遅延Ｄ＿ＷＴ
（２）３ライン分の計数並び替えＯｒｄ−１に伴う時間Ｄ＿Ｏｒｄ
（３）３ライン分のエントロピ符号化ＥＣ−１に伴う時間Ｄ＿ＥＣ
（４）３ライン分のエントロピ復号ｉＥＣ−１に伴う時間Ｄ＿ｉＥＣ
（５）３ライン分のウェーブレット逆変換ｉＷＴ−１に伴う時間Ｄ＿ｉＷＴ

図３９を参照して、上述の各要素による遅延の計算を試みる。（１）の遅延Ｄ＿ＷＴは、１０ライン分の時間である。（２）の時間Ｄ＿Ｏｒｄ、（３）の時間Ｄ＿ＥＣ、（４）の時間Ｄ＿ｉＥＣ、および（５）の時間Ｄ＿ｉＷＴは、それぞれ３ライン分の時間である。また、符号化部１２１において、並び替えＯｒｄ−１が開始されてから１ライン後には、エントロピ符号化ＥＣ−１を開始することができる。同様に、復号部１３３において、エントロピ復号ｉＥＣ−１が開始されてから２ライン後には、ウェーブレット逆変換ｉＷＴ−１を開始することができる。また、エントロピ復号ｉＥＣ−１は、エントロピ符号化ＥＣ−１で１ライン分の符号化が終了した時点で処理を開始することができる。

したがって、この図３９の例では、符号化部１２１に第１ライン目の画像データが入力されてから、復号部１３３から当該第１ライン目の画像データが出力されるまでの遅延時間は、１０＋１＋１＋２＋３＝１７ライン分となる。

遅延時間について、より具体的な例を挙げて考察する。入力される画像データがHDTV(High Definition Television)のインタレースビデオ信号の場合、例えば１９２０画素×１０８０ラインの解像度で１フレームが構成され、１フィールドは、１９２０画素×５４０ラインとなる。したがって、フレーム周波数を３０Hzとした場合、１フィールドの５４０ラインが１６.６７msec（＝１sec/６０フィールド）の時間に、符号化部１２１に入力されることになる。

したがって、７ライン分の画像データの入力に伴う遅延時間は、０.２１６msec（＝１６.６７msec×７/５４０ライン）であり、例えば１フィールドの更新時間に対して非常に短い時間となる。また、上述した（１）の遅延Ｄ＿ＷＴ、（２）の時間Ｄ＿Ｏｒｄ、（３）の時間Ｄ＿ＥＣ、（４）の時間Ｄ＿ｉＥＣ、および（５）の時間Ｄ＿ｉＷＴの総和についても、処理対象のライン数が少ないため、遅延時間が非常に短縮される。各処理を行う要素をハードウェア化すれば、処理時間をさらに短縮することも可能である。

ここで、SFFおよびＭのフラグ情報について説明する。

上述したように伝送システム１００においては、遅延時間の増大に対する許容度が低く、少しでも効率よくデータを伝送し、効率よく必要な処理を行うことが求められる。

従来においても、所定のデータ単位で符号化や復号を行うシステムは存在する。図１の伝送システム１００のように、符号化データをパケット化して伝送する場合、そのデータ単位の符号化データを複数に分割してそれぞれをパケット化して伝送するものもある。ただし、従来のシステムの場合、遅延時間に対する許容度は大きいので、デパケタイズ処理では、そのデータ単位分のパケットを蓄積し、データ単位毎にデパケタイズ処理が行われる。このようにすることにより、データ単位分揃った符号化データのみを復号部に供給し復号させることができる。

しかしながら、この方法では、デパケタイズ処理部においても符号化部においてもバッファリングする必要が生じるので、遅延時間の低減が求められる伝送システム１００においては望ましくない。

そこで、デパケタイズ処理部１３２は、上述したように、伝送される符号化データが各部においてその供給順に処理が可能であることを利用して、受信したパケットよりペイロードデータを順次抽出し、蓄積せずに復号部１３３に供給する。復号部１３３は、順次供給される符号化データをプレシンクト分蓄積する毎に復号処理を開始する。これにより、符号化データのバッファリングの回数を低減させることができるので、伝送システム１００は、遅延時間をより短縮させることができる。

SFFおよびＭは、プレシンクトの先頭または終端を示すフラグ情報であり、デパケタイズ処理部１３２は、このフラグ情報に基づいてプレシンクトの先頭や終端を検出することができ、その旨を復号部１３３に通知することができる。復号部１３３は、そのデパケタイズ処理部１３２からの通知に基づいて、プレシンクトの切れ目を把握し、復号処理をプレシンクト単位で開始することができる。

これだけであればプレシンクトの終端を示すＭだけでも十分である。仮に、プレシンクトを複数に分割したパケットと分割していないパケットが混在するのであれば、分割したことを示すフラグ情報があれば、それらのパケットの識別は可能である。

しかしながら、実際には受信部１３１がパケットの受信に失敗する（ロスする）ことも考えられる。このようにパケットロスが発生した場合、デパケタイズ処理部１３２は、パケットのバッファリングを行わないため、通常時と処理を変える必要がある。例えば、パケットロスが発生すると、伝送システム１００の場合、そのパケットを送信装置１０２に再送させる時間が確保できないので、そのプレシンクトの符号化データは揃わないことになる。つまり、パケットロスの発生により復号部１３３は、そのプレシンクトに対する復号処理を実行することができなくなる。

従って、例えばプレシンクトの途中のパケットでロスが発生した場合、復号部１３３には、そのプレシンクトのそれまでの符号化データが蓄積されていることも考えられる。このような場合、デパケタイズ処理部１３２は、復号部１３３にパケットロスの発生を通知し、その蓄積している、ロスされたパケットの符号化データと同じプレシンクトの符号化データを破棄させる。これにより、復号部１３３は、そのプレシンクトに対して不要な復号処理（失敗する復号処理）の実行を回避することができ、負荷を軽減させることができる。

また、一度パケットロスが発生すると、そのプレシンクトのそれ以降の符号化データは不要になる。従って、デパケタイズ処理部１３２は、次以降のプレシンクトになるまで、パケットを取得しても、符号化データを復号部１３３に供給しない。そして新たなプレシンクトのパケットを取得すると、デパケタイズ処理部１３２は、符号化データの供給を再開する。

このようにデパケタイズ処理部１３２は、その状況に応じて、制御モードを変更し、適宜適切な処理を行う。そのために、デパケタイズ処理部１３２は、SFFやＭを参照し、プレシンクトの先頭や終端を検出する。このとき、終端を示すＭしかないと、プレシンクトの終端を検出するまで、デパケタイズ処理部１３２は、プレシンクトが変わったと判定することができなくなる。例えば、プレシンクトの最終パケットをロスした場合、デパケタイズ処理部１３２は、さらに次の新たなプレシンクトを待たなければならなくなり、遅延時間が増大してしまうだけでなく、復号部１３３において復号処理を行うことができず、復元された画像の画質が劣化する恐れがある。

これに対して、SFFの値を参照し、先頭パケットを検出することにより、デパケタイズ処理部１３２は、復号部１３３へのデータを再開させる等、不要な待機時間を低減させるだけでなく、例えば、復号部１３３に符号化データだけでなくヘッダ情報も供給したり、パケットロスの発生を復号部１３３に通知するエラー通知を省略したり、パケットロスが発生しても復号部１３３への符号化データの供給を継続させたりするなど、先頭パケットに対してのみ例外的な処理を行うこともできる。

このようにSFFおよびＭのフラグ情報によりデパケタイズ処理部１３２は適切に処理を行うことができ、遅延時間をより短縮させることができる。

また、デパケタイズ処理部１３２は、このSFFやＭに基づいて、供給する符号化データがプレシンクトの先頭であることや終端であることを復号部１３３に通知したりする。これにより、復号部１３３は、プレシンクトの先頭と終端を容易に把握することができるので、例えば、プレシンクトの終端が供給されたのであれば、復号処理を開始することができるし、連続していない新たなプレシンクトの先頭が供給されたのであれば、その前のロスしたプレシンクトに対して補完処理を行うことができる。つまり、復号部１３３は、デパケタイズ処理部１３２からの通知に基づいて、このような制御を容易かつ高速に行うことができる。

以上のように、SFFやＭは、単にデパケタイズ処理や復号処理の開始タイミングを通知するためのフラグ情報ではなく、デパケタイズ処理部１３２および復号部１３３に、符号化データを復号して出力するまでの遅延時間をより短縮させるように、適切なタイミングで適切な処理を選択させ実行させるようにするためのフラグ情報である。

ところで、図２においては、係数の並び替えをウェーブレット変換の直後（エントロピ符号化の前）に行うように説明したが、符号化データが低域から高域の順に復号部１３３のウェーブレット逆変換部３６３に供給されればよく（つまり、低域のサブバンドに属する係数データを符号化して得られる符号化データから、高域のサブバンドに属する係数データを符号化して得られる符号化データの順に供給されればよく）、並び替えのタイミングは、ウェーブレット変換の直後以外であってもよい。

例えば、エントロピ符号化によって得られる符号化データの順序を並び替えるようにしてもよい。図４０は、その場合の符号化部の構成例を示すブロック図である。

図４０の場合、符号化部５００は、図２の符号化部１２１の場合と同様に、ウェーブレット変換部１５０、途中計算用バッファ部１５１、エントロピ符号化部１５５、およびレート制御部１５４を有するが、図２の係数並び替え用バッファ部１５２および係数並び替え部１５３の代わりに、符号並び替え用バッファ部５０１および符号並び替え部５０２を有する。

符号並び替え用バッファ部５０１は、エントロピ符号化部１５５において符号化された符号化データの出力順を並び替えるためのバッファであり、符号並び替え部５０２は、その符号並び替え用バッファ部５０１に蓄積される符号化データを所定の順に読み出すことにより、符号化データの出力順の並び替えを行う。

つまり、図４０の場合、ウェーブレット変換部１５０より出力されるウェーブレット係数は、エントロピ符号化部１５５に供給されて符号化される。その符号化により得られた各符号化データが、順次、符号並び替え用バッファ部５０１に供給され、並び替えのために一時的に蓄積される。

符号並び替え部５０２は、符号並び替え用バッファ部５０１に書き込まれた符号化データを、所望の順序で読み出し、符号化部５００の外部に出力する。

図４０の例の場合、エントロピ符号化部１５５は、ウェーブレット変換部１５０による出力順に、各係数データの符号化を行い、得られた符号化データを符号並び替え用バッファ部５０１に書き込む。つまり、符号並び替え用バッファ部５０１には、符号化データが、ウェーブレット変換部１５０によるウェーブレット係数の出力順に対応する順序で格納される。通常の場合、１つのプレシンクトに属する係数データ同士を比較すると、ウェーブレット変換部１５０は、より高域のサブバンドに属する係数データほど先に出力し、より低域のサブバンドに属する係数データほど後に出力する。つまり、符号並び替え用バッファ部５０１には、各符号化データが、高域のサブバンドに属する係数データをエントロピ符号化して得られた符号化データから、低域のサブバンドに属する係数データをエントロピ符号化して得られた符号化データに向かう順に記憶される。

これに対して、符号並び替え部５０２は、この順序とは独立して、任意の順序でその符号並び替え用バッファ部５０１に蓄積された各符号化データを読み出すことにより、符号データの並び替えを行う。

例えば、符号並び替え部５０２は、低域のサブバンドに属する係数データを符号化して得られた符号化データほど優先的に読み出し、最後に、最も高域のサブバンドに属する係数データを符号化して得られた符号化データを読み出す。このように、符号化データを低域から高域に向かって読み出すことにより、符号並び替え部５０２は、復号部１３３が、取得した順で各符号化データを復号することができるようにし、復号部１３３による復号処理おいて生じる遅延時間を低減させるようにすることができる。

符号並び替え部５０２は、符号並び替え用バッファ部５０１に蓄積されている符号化データを読み出し、それを符号化部５００の外部に出力する。

なお、図４０に示される符号化部５００で符号化され出力されたデータは、図２４を用いて既に説明した復号部１３３により、図２の符号化部１２１より出力される符号化データの場合と同様に復号することができる。

また、並び替えの処理を行うタイミングは、上述した以外であってもよい。例えば、図４１において一例が示されるように、符号化部において行うようにしてもよいし、図４２において一例が示されるように、復号部において行うようにしてもよい。

ウェーブレット変換で生成された係数データを並び替える処理では、係数並び替え用バッファの記憶容量として比較的大容量が必要となると共に、係数並び替えの処理自体にも、高い処理能力が要求される。この場合でも、符号化装置の処理能力がある程度以上高い場合には何ら問題は生じない。

ここで、携帯電話端末やPDA(Personal Digital Assistant)といった所謂モバイル端末などの、比較的処理能力の低い機器に符号化装置が搭載される場合について考える。例えば、近年では、携帯電話端末に対して撮像機能を付加した製品が広く普及している（カメラ機能付き携帯電話端末と呼ぶ）。このようなカメラ機能付き携帯電話端末で撮像された画像データをウェーブレット変換およびエントロピ符号化により圧縮符号化し、無線あるいは有線通信を介して伝送することが考えられる。

このような例えばモバイル端末は、CPU（Central Processing Unit）の処理能力も限られ、また、メモリ容量にもある程度の上限がある。そのため、上述したような係数並び替えに伴う処理の負荷などは、無視できない問題となる。

そこで、図４２に一例が示されるように、並び替え処理を復号部に組み入れることで、符号化部の負荷が軽くなり、符号化部をモバイル端末などの比較的処理能力が低い機器に搭載することが可能となる。

図４３は、その場合の符号化部の一例の構成を示すブロック図である。なお、この図４３において、上述の図２と共通する部分には同一の符号を付して、詳細な説明を省略する。

この図４３に示される符号化部５１０の構成は、上述の図２で示した符号化部１２１の構成に対して係数並び替え部１５３および係数並び替え用バッファ部１５２を除去した構成となっている。すなわち、符号化部５１０は、符号化部１２１と同様の、ウェーブレット変換部１５０、途中計算用バッファ部１５１、レート制御部１５４、およびエントロピ符号化部１５５を有している。

入力された画像データは、途中計算用バッファ部１５１に一時的に溜め込まれる。ウェーブレット変換部１５０は、途中計算用バッファ部１５１に溜め込まれた画像データに対してウェーブレット変換を施し、生成された係数データを、係数データの生成順に順次、エントロピ符号化部１５５に供給する。すなわち、エントロピ符号化部１５５に対して、ウェーブレット変換の順序に従い高域成分から低域成分の順に、生成された係数データが供給される。エントロピ符号化部１５５は、供給された係数に対して、レート制御部１５４により出力データのビットレートを制御されながらエントロピ符号化を施す。エントロピ符号化部１５５から、ウェーブレット変換により生成された係数データがエントロピ符号化された符号化データが出力される。

図４４は、この符号化部５１０に対応する復号装置の一例の構成を示すブロック図である。なお、この図４４において、上述の図２４と共通する部分には同一の符号を付し、詳細な説明を省略する。

図４４に示されるように、この場合の復号部５２０は、図２４の復号部１３３と同様に、制御情報取得部３５１、復号制御部３５２、復号処理実行部３５３、ヘッダ取得部３５４、データ取得部３５５、エラー通知取得部３５６、および破棄処理部３５７を有するが、復号処理実行部３５３は、さらに、係数並び替え用バッファ部５２１を有する。

図４３で説明した符号化部５１０のエントロピ符号化部１５５から出力された符号化データは、図４４の復号部５２０においてバッファ部３６１を介してエントロピ復号部３６２に供給され、エントロピ符号を復号され係数データとされる。この係数データは、バッファ部３６１を介して係数並び替え用バッファ部５２１に格納される。ウェーブレット逆変換部３６３は、係数並び替え用バッファ部５２１に係数データの並び替えが可能となるまで係数データが蓄積されると、係数並び替え用バッファ部５２１に格納された係数データを、低域成分から高域成分の順に並び替えて読み出し、読み出された順に係数データを用いてウェーブレット逆変換処理を行う。５×３フィルタを用いる場合は、上述の図４２で示したようになる。

すなわち、ウェーブレット逆変換部３６３は、例えば１フレームの先頭からの処理であれば、係数並び替え用バッファ部５２１にエントロピ符号の復号がなされた係数Ｃ１、係数Ｃ４、および係数Ｃ５が格納された時点で、係数並び替え用バッファ部５２１から係数データを読み出し、ウェーブレット逆変換処理を行う。ウェーブレット逆変換部３６３でウェーブレット逆変換を施されたデータは、順次、出力画像データとして出力される。

なお、この場合でも、図３９を用いて既に説明したように、符号化部５１０における各要素の処理と、伝送路に対する符号化データの伝送と、復号部５２０における各要素の処理とが並列的に実行される。

以上のように、本発明は、多様な形態に適用することができ、容易に多様な用途に応用することができる（すなわち汎用性が高い）ことも大きな効果である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ、または、複数の装置よりなる情報処理システムの情報処理装置などに、プログラム記録媒体からインストールされる。

図４５は、上述した一連の処理をプログラムにより実行する情報処理システムの構成の例を示すブロック図である。

図４５に示されるように、情報処理システム８００は、情報処理装置８０１、その情報処理装置８０１とPCIバス８０２によって接続された、記憶装置８０３、複数台のビデオテープレコーダ（VTR）であるVTR８０４-１乃至VTR８０４-S、ユーザがこれらに対する操作入力を行うためのマウス８０５、キーボード８０６、並びに操作コントローラ８０７により構成されるシステムであり、インストールされたプログラムによって、上述したような画像符号化処理や画像復号処理等を行うシステムである。

例えば情報処理システム８００の情報処理装置８０１は、RAID（Redundant Arrays of Independent Disks）でなる大容量の記憶装置８０３に記憶されている動画コンテンツを符号化して得られた符号化データを記憶装置８０３に記憶させたり、記憶装置８０３に記憶されている符号化データを復号して得られた復号画像データ（動画コンテンツ）を記憶装置８０３に記憶させたり、符号化データや復号画像データをVTR８０４-１乃至VTR８０４-Sを介してビデオテープに記録したりすることができる。また、情報処理装置８０１は、VTR８０４-１乃至VTR８０４-Sに装着されたビデオテープに記録された動画コンテンツを記憶装置８０３に取り込み得るようにもなされている。その際、情報処理装置８０１が、動画コンテンツを符号化するようにしてもよい。

情報処理装置８０１は、マイクロプロセッサ９０１、GPU（Graphics Processing Unit）９０２、XDR（Extreme Data Rate）-RAM９０３、サウスブリッジ９０４、HDD（Hard Disk Drive）９０５、USBインタフェース（USB I/F）９０６、およびサウンド入出力コーデック９０７を有している。

GPU９０２は専用のバス９１１を介してマイクロプロセッサ９０１に接続される。XDR-RAM９０３は専用のバス９１２を介してマイクロプロセッサ９０１に接続される。サウスブリッジ９０４は、専用のバスを介してマイクロプロセッサ９０１のI/Oコントローラ９４４に接続される。このサウスブリッジ９０４には、HDD９０５、USBインタフェース９０６、および、サウンド入出力コーデック９０７も接続されている。このサウンド入出力コーデック９０７にはスピーカ９２１が接続されている。また、GPU９０２にはディスプレイ９２２が接続されている。

またサウスブリッジ９０４には、さらに、PCIバス８０２を介して、マウス８０５、キーボード８０６、VTR８０４-１乃至VTR８０４-S、記憶装置８０３、並びに、操作コントローラ８０７が接続されている。

マウス８０５およびキーボード８０６は、ユーザの操作入力を受け、PCIバス８０２およびサウスブリッジ９０４を介して、ユーザの操作入力の内容を示す信号を、マイクロプロセッサ９０１に供給する。記憶装置８０３およびVTR８０４-１乃至VTR８０４-Sは、所定のデータを記録または再生できるようになされている。

PCIバス８０２にはさらに、必要に応じてドライブ８０８が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア８１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じてHDD９０５にインストールされる。

マイクロプロセッサ９０１は、OS（Operating System）等の基本プログラムを実行する汎用のメインCPUコア９４１と、メインCPUコア９４１に内部バス９４５を介して接続された複数（この場合８個）のRISC（Reduced Instruction Set Computer）タイプの信号処理プロセッサである、サブCPUコア９４２-１乃至サブCPUコア９４２-８と、例えば２５６[MByte]の容量を持つXDR-RAM９０３に対するメモリコントロールを行うメモリコントローラ９４３と、サウスブリッジ９０４との間でデータの入出力を管理するI/O（In/Out）コントローラ９４４とが１チップに集積されたマルチコア構成でなり、例えば動作周波数４[GHz]を実現している。

このマイクロプロセッサ９０１は、起動時、HDD９０５に格納された制御プログラムに基づき、HDD９０５に格納されている必要なアプリケーションプログラムを読み出してXDR-RAM９０３に展開し、この後このアプリケーションプログラム及びオペレータ操作に基づいて必要な制御処理を実行する。

また、マイクロプロセッサ９０１は、ソフトウェアを実行することにより、例えば、上述した符号化処理や復号処理を実現し、エンコードの結果得られた符号化ストリームを、サウスブリッジ９０４を介して、HDD９０５に供給して記憶させたり、デコードした結果得られる動画像コンテンツの再生映像を、GPU９０２へデータ転送して、ディスプレイ９２２に表示させたりすることができる。

マイクロプロセッサ９０１内の各CPUコアの使用方法は任意であるが、例えば、メインCPUコア９４１が、画像符号化処理や画像復号処理の制御に関する処理を行い、８個のサブCPUコア９４２-１乃至サブCPUコア９４２-８に、ウェーブレット変換、係数並び替え、エントロピ符号化、エントロピ復号、ウェーブレット逆変換、量子化、および逆量子化等の各処理を、例えば図３９を参照して説明したように同時並列的に実行させるようにしてもよい。その際、メインCPUコア９４１が、８個のサブCPUコア９４２-１乃至サブCPUコア９４２-８のそれぞれに対してプレシンクト単位で処理を割り振るようにすれば、符号化処理や復号処理が、図３９を参照して説明した場合と同様にプレシンクト単位で同時並列的に実行される。つまり、符号化処理や復号処理の効率を向上させ、処理全体の遅延時間を短縮させ、さらに、負荷、処理時間、および、処理に必要なメモリ容量を低減させることができる。もちろん、これ以外の方法で各処理を行うようにしてもよい。

例えば、マイクロプロセッサ９０１の８個のサブCPUコア９４２-１乃至サブCPUコア９４２-８のうちの一部がエンコード処理を、他の部分がデコード処理を、同時並列的に実行するようにすることも可能である。

また、例えば、PCIバス８０２に、独立したエンコーダまたはデコーダ、もしくは、コーデック処理装置が接続されている場合、マイクロプロセッサ９０１の８個のサブCPUコア９４２-１乃至サブCPUコア９４２-８が、サウスブリッジ９０４およびPCIバス８０２を介して、これらの装置が実行する処理を制御するようにしてもよい。さらに、これらの装置が複数接続されている場合、または、これらの装置が複数のデコーダまたはエンコーダを含んでいる場合、マイクロプロセッサ９０１の８個のサブCPUコア９４２-１乃至サブCPUコア９４２-８は、複数のデコーダまたはエンコーダが実行する処理を、分担して制御するようにしてもよい。

このときメインCPUコア９４１は、８個のサブCPUコア９４２-１乃至サブCPUコア９４２-８の動作を管理し、各サブCPUコアに対して処理を割り当てたり、処理結果を引き取ったりする。さらに、メインCPUコア９４１は、これらのサブCPUコアが行う以外の処理も行う。例えば、メインCPUコア９４１は、サウスブリッジ９０４を介してマウス８０５、キーボード８０６、または、操作コントローラ８０７から供給された命令を受け付け、命令に応じた種々の処理を実行する。

GPU９０２は、ディスプレイ９２２に表示する動画コンテンツの再生映像を動かすときのテクスチャの張り込みなどに関する最終的なレンダリング処理に加えて、動画コンテンツの再生映像及び静止画コンテンツの静止画像をディスプレイ９２２に一度に複数表示するときの座標変換計算処理や、動画コンテンツの再生映像及び静止画コンテンツの静止画像に対する拡大・縮小処理等を行う機能を司り、マイクロプロセッサ９０１の処理負担を軽減させるようになされている。

GPU９０２は、マイクロプロセッサ９０１の制御のもとに、供給された動画コンテンツの映像データや静止画コンテンツの画像データに対して所定の信号処理を施し、その結果得られた映像データや画像データをディスプレイ９２２へ送出して、画像信号をディスプレイ９２２へ表示させる。

ところで、マイクロプロセッサ９０１における８個のサブCPUコア９４２-１乃至サブCPUコア９４２-８で同時並列的にデコードされた複数の動画コンテンツにおける再生映像は、バス９１１を介してGPU９０２へデータ転送されるが、このときの転送速度は、例えば、最大３０[Gbyte/sec]であり、特殊効果の施された複雑な再生映像であっても高速かつ滑らかに表示し得るようになされている。

また、マイクロプロセッサ９０１は、動画コンテンツの映像データ及び音声データのうち音声データに対して音声ミキシング処理を施し、その結果得られた編集音声データを、サウスブリッジ９０４およびサウンド入出力コーデック９０７を介して、スピーカ９２１へ送出することにより、音声信号に基づく音声をスピーカ９２１から出力させることもできる。

上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、例えば、図４５に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM,DVDを含む）、光磁気ディスク（MDを含む）、もしくは半導体メモリなどよりなるリムーバブルメディア８１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているHDD９０５や記憶装置８０３等で構成される。もちろん、記録媒体は、ROMやフラッシュメモリ等の半導体メモリであってもよい。

以上においては、マイクロプロセッサ９０１内に８個のサブCPUコアが構成されるように説明したが、これに限らず、サブCPUコアの数は任意である。また、マイクロプロセッサ９０１が、メインCPUコアとサブCPUコアのような複数のコアにより構成されていなくてもよく、シングルコア（１つのコア）により構成されるCPUを用いるようにしてもよい。また、マイクロプロセッサ９０１の代わりに複数のCPUを用いるようにしてもよいし、複数の情報処理装置を用いる（すなわち、本発明の処理を実行するプログラムを、互いに連携して動作する複数の装置において実行する）ようにしてもよい。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。

なお、以上において、１つの装置として説明した構成を分割し、複数の装置として構成するようにしてもよい。逆に、以上において複数の装置として説明した構成をまとめて１つの装置として構成されるようにしてもよい。また、各装置の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置の構成の一部を他の装置の構成に含めるようにしてもよい。

以上説明したこの発明は、パケタイズ処理およびデパケタイズ処理を容易かつ高速に行うものであり、画像を圧縮符号化して伝送し、伝送先で圧縮符号を復号して出力するような装置またはシステムであれば、様々なものに適用することができる。この発明は、特に、画像の圧縮符号化から復号および出力までの遅延が短いことが要求されるような装置またはシステムに用いて好適である。

例えば、この発明は、ビデオカメラで撮影された映像を見ながらマジックハンドを操作して治療行為を行うような、医用遠隔医療診断の用途に用いて好適である。また、この発明は、放送局内などにおける、画像を符号化して伝送し、復号して表示または記録するようなシステムに用いて好適である。

さらに、実況中継される映像の配信を行うシステム、教育現場において生徒と教師との間でインタラクティブな通信を可能としたシステムなどに、この発明を適用することができる。

さらにまた、カメラ機能付き携帯電話端末といった、撮像機能を有するモバイル端末で撮影された画像データの送信や、テレビジョン会議システム、監視カメラおよび監視カメラで撮影された映像を記録するレコーダによるシステムなどに、この発明を適用することができる。

本発明を適用した伝送システムの構成例を示すブロック図である。 図１の符号化部の構成例を示すブロック図である。 ウェーブレット変換について概略的に説明するための略線図である。 ウェーブレット変換について概略的に説明するための略線図である。 ５×３フィルタのリフティングによるフィルタリングを分解レベル＝２まで実行した例を示す略線図である。 この発明によるウェーブレット変換およびウェーブレット逆変換の流れを概略的に示す略線図である。 プレシンクトヘッダの構成例を示す図である。 ピクチャヘッダの構成例を示す図である。 符号化部とパケタイズ処理部との間で授受される情報の例を示す図である。 図１のパケタイズ処理部の詳細な構成例を示すブロック図である。 プレシンクトの例を説明するための模式図である。 パケットの作成例を説明するための模式図である。 RTPヘッダの構成例を説明するための模式図である。 RTPペイロードヘッダの構成例を説明するための模式図である。 共通ヘッダの構成例を示す図である。 量子化パラメータ情報の構成例を示す図である。 サイズ情報の構成例を示す図である。 フォーマット情報の構成例を示す図である。 ピクチャ情報の構成例を示す図である。 カラー情報の構成例を示す図である。 図１のデパケタイズ処理部の詳細な構成例を示すブロック図である。 制御モードの遷移の様子の例を示す図である。 デパケタイズ処理部と復号部との間で授受される情報の例を示す図である。 図１の復号部の詳細な構成例を示すブロック図である。 符号化処理の流れの例を説明するためのフローチャートである。 パケタイズ処理の流れの例を説明するためのフローチャートである。 スタートモード処理の流れの例を説明するためのフローチャートである。 モード共通処理の流れの例を説明するためのフローチャートである。 スタンバイモード処理の流れの例を説明するためのフローチャートである。 プロセッシングモード処理の流れの例を説明するためのフローチャートである。 ロスモード処理の流れの例を説明するためのフローチャートである。 復号制御処理の流れの例を説明するためのフローチャートである。 復号処理の流れの例を説明するためのフローチャートである。 エラー通知対応処理の流れの例を説明するためのフローチャートである。 エラー通知対応の様子の例を説明する模式図である。 RTPペイロードヘッダの他の構成例を示す図である。 セグメント情報の構成例を示す図である。 パケタイズ処理の流れの、他の例を説明するためのフローチャートである。 送信装置および受信装置の各要素が行う並列動作の様子の例を概略的に示す略線図である。 図１の符号化部の他の構成例を示すブロック図である。 ウェーブレット係数の並び替え処理を符号化部側で行う場合の処理の流れを説明するための略線図である。 ウェーブレット係数の並び替え処理を復号部側で行う場合の処理の流れを説明するための略線図である。 図１の符号化部の、さらに他の構成例を示すブロック図である。 図４３の符号化部に対応する復号部の構成例を示すブロック図である。 本発明を適用した情報処理システムの構成例を示す図である。

符号の説明

１００ 伝送システム， １０２ 送信装置， １０３ 受信装置， １１０ 回線， １３２ デパケタイズ処理部， １３３ 復号部， ２０２ RTPヘッダ作成部， ２０３ 共通ヘッダ作成部， ２０４ 拡張ヘッダ作成部， ２０５ ピクチャ情報作成部， ２０６ フラグ確認部， ２０７ サイズ確認部， ２０８ フラグメント処理部， ２０９ パケット化部， ２５２ ヘッダ情報解析部， ２５３ 制御モード遷移部， ２５４ 制御部， ２５５ ヘッダ供給部， ２５６ データ供給部， ２５７ エラー通知部， ２５８ 制御信号供給部， ３５１ 制御情報取得部， ３５２ 復号制御部， ３５３ 復号処理実行部， ３５４ ヘッダ取得部， ３５５ データ取得部， ３５６ エラー通知取得部， ３５７ 破棄処理部

Claims (7)

1. 画像データの符号化データであって、前記画像データを符号化する際に行われる前記画像データのウェーブレット変換において、最低域成分の１ライン分を生成するために必要な、他のサブバンドも含めたラインの集まりであるプレシンクトの符号化データを、複数の部分データに分割する分割部と、
   前記分割部により得られた各部分データを、それぞれパケット化するパケット化部と、
   前記パケット化部により生成された各パケットの内、前記プレシンクトの符号化データの先頭の部分データをペイロードとする先頭パケットに対して、先頭パケットであることを示し、デパケタイズの際に、パケットロス発生に対するデータ破棄の制御を前記プレシンクトの符号化データ毎に行うために、前記プレシンクトの符号化データの先頭であることを確認するために参照される先頭フラグを設定する先頭フラグ設定部と、
   前記パケット化部により生成された各パケットの内、前記プレシンクトの符号化データの終端の部分データをペイロードとする最終パケットに対して、最終パケットであることを示し、デパケタイズの際に、パケットロス発生に対するデータ破棄の制御を前記プレシンクトの符号化データ毎に行うために、前記プレシンクトの符号化データの終端であることを確認するために参照される最終フラグを設定する最終フラグ設定部と
   を備える情報処理装置。
2. 前記パケット化部は、前記プレシンクトの符号化データについて、符号化が失敗している場合、前記分割部により得られた各部分データを破棄し、ヘッダ情報のみでパケット化する
   請求項１に記載の情報処理装置。
3. 前記パケット化部は、前記部分データをペイロードとし、前記プレシンクトの符号化データのヘッダ情報と、少なくとも一部が共通のヘッダ情報を付加することにより、前記部分データをパケット化する
   請求項１に記載の情報処理装置。
4. 前記パケット化部は、前記プレシンクトの符号化データの符号化が失敗しているか否かを示すフラグを、前記ヘッダ情報に含めて前記部分データに付加する
   請求項３に記載の情報処理装置。
5. 前記画像データを、前記プレシンクト毎に符号化する符号化部をさらに備え、
   前記分割部は、前記符号化部により得られた前記プレシンクトの符号化データを分割する
   請求項１に記載の情報処理装置。
6. 情報処理装置の情報処理方法であって、
   前記情報処理装置が、
   画像データの符号化データであって、前記画像データを符号化する際に行われる前記画像データのウェーブレット変換において、最低域成分の１ライン分を生成するために必要な、他のサブバンドも含めたラインの集まりであるプレシンクトの符号化データを、複数の部分データに分割し、
   得られた各部分データを、それぞれパケット化し、
   生成された各パケットの内、前記プレシンクトの符号化データの先頭の部分データをペイロードとする先頭パケットに対して、先頭パケットであることを示し、デパケタイズの際に、パケットロス発生に対するデータ破棄の制御を前記プレシンクトの符号化データ毎に行うために、前記プレシンクトの符号化データの先頭であることを確認するために参照される先頭フラグを設定し、
   生成された各パケットの内、前記プレシンクトの符号化データの終端の部分データをペイロードとする最終パケットに対して、最終パケットであることを示し、デパケタイズの際に、パケットロス発生に対するデータ破棄の制御を前記プレシンクトの符号化データ毎に行うために、前記プレシンクトの符号化データの終端であることを確認するために参照される最終フラグを設定する
   情報処理方法。
7. コンピュータを、
   画像データの符号化データであって、前記画像データを符号化する際に行われる前記画像データのウェーブレット変換において、最低域成分の１ライン分を生成するために必要な、他のサブバンドも含めたラインの集まりであるプレシンクトの符号化データを、複数の部分データに分割する分割部と、
   前記分割部により得られた各部分データを、それぞれパケット化するパケット化部と、
   前記パケット化部により生成された各パケットの内、前記プレシンクトの符号化データの先頭の部分データをペイロードとする先頭パケットに対して、先頭パケットであることを示し、デパケタイズの際に、パケットロス発生に対するデータ破棄の制御を前記プレシンクトの符号化データ毎に行うために、前記プレシンクトの符号化データの先頭であることを確認するために参照される先頭フラグを設定する先頭フラグ設定部と、
   前記パケット化部により生成された各パケットの内、前記プレシンクトの符号化データの終端の部分データをペイロードとする最終パケットに対して、最終パケットであることを示し、デパケタイズの際に、パケットロス発生に対するデータ破棄の制御を前記プレシンクトの符号化データ毎に行うために、前記プレシンクトの符号化データの終端であることを確認するために参照される最終フラグを設定する最終フラグ設定部と
   して機能させるためのプログラム。

Images