JP5482177B2 - 符号化装置、プログラム、記録媒体 - Google Patents

Description

本発明は、符号化装置、プログラム、記録媒体に関する。

一般的に、画像は、（１）絵柄と（２）文字・線画（絵柄と異なる記号なども含む、以下では、「非絵柄」という。）と、で構成されている。近年、この画像を符号化する際には、（１）絵柄と（２）文字・線画とに分離し、各々に対して符号化を施すことが提案されている。

例えば、特許文献１などでは、ＭＲＣ（ミクストラスターコンテント）モデルとよばれる手法が提案されている。図１にＭＲＣモデルの概念図を示す。図１の例では、原画像αは、「Ｂｕｙ ｎｏｗ ｆａｓｔｅｓｔ ｐｒｉｎｔｅｒ」という（２）文字Ａと、コピー機の（１）絵柄Ｂとが示されている。以下では、「Ｂｕｙ ｎｏｗ」を文字Ａ１とし、「ｆａｓｔｅｓｔ ｐｒｉｎｔｅｒ」を文字Ａ２とする。そして、文字Ａ１．文字Ａ２をまとめて文字Ａという。

そして、前景Ｐ（以下、「非絵柄部色画像Ｐ」という。）と、マスクＱ（以下、「非絵柄部形状画像Ｑ」という。）と、背景Ｒ（以下、「絵柄部画像Ｒ」という。）との３つに分けられる。

非絵柄部色画像Ｐは、文字Ａの色の画像を示した画像である。非絵柄部形状画像Ｑは文字Ａ１の形状の画像を示した画像である。絵柄部画像Ｒは、背景を示した画像である。このように、ＭＲＣモデルでは３レイヤにわけ、レイヤごとに符号化を行う。

また、特許文献２では、ＭＲＣモデルを用いてマスクを分割し、部分画像へのアクセス性を向上させる。

ＭＲＣモデルにおける非絵柄部色画像Ｐの作成手法には、大略して２つある。第１の手法として、図２に模式的に示すように、文字Ａ１の色Ｓ（図１参照）と、文字Ａ２の色Ｔ（図１参照）との間をグラデーション状Ｇ（図１参照）にして、ぼかして非絵柄部色画像Ｐを作成する手法である。なお、図２の図面の簡略化のために、色Ｓを黒色で示し、色Ｔを白色で示す。図２では、文字Ａ１、文字Ａ２以外の画素を非文字画素という。

図２に示すように、この第１の手法は、文字Ａ１および文字Ａ２との間の非文字画素の色Ｕ１〜Ｕ３を、徐々に遷移させたい色（グラデーション色）とする手法である。この第１の手法を用いると、少量のエッジしか生じないために、非絵柄部色画像Ｐの圧縮率を上げることができる。つまり、この第１の手法では、非絵柄部色画像Ｐは低周波の色成分で構成される。

第２の手法による、３つのレイヤに分けた場合の模式図を図３に示す。図３は図１と比較して、非絵柄部色画像Ｐ'のみが異なる。非絵柄部色画像Ｐ'中の文字Ａ１とＡ２それぞれには、色Ｓ、色Ｔが色づけされている。そして、文字Ａ１とＡ２には背景色Ｃが付けられている。

図４に、第２の手法について模式的に示す。なお、図４の図面の簡略化のために、色Ｓを黒色で示し、色Ｔを白色で示す。図４に示すように、この手法は、文字Ａ１（文字画素）および文字Ａ２（文字画素）との間に位置し、符号量が最も少なく、非文字画素である特定画素Ｃ（例えば、黒やグレー）である。なお、特定画素Ｃの集合が特定画像である。従って、以下では、特定画素Ｃの集合を特定画像Ｃともいう。

そして、非文字画素の領域を特定画像Ｃで埋めて、非絵柄部色画像Ｐ'を生成する。換言すれば、非絵柄部色画像Ｐ'は、原画像αの非絵柄（文字など）の色画像（色画素の集合）および該非絵柄の色画像以外の位置に占める特定画像で構成されるものである。また、特定画素Ｃの集合が特定画像になる。

つまり、文字Ａ１の色ＳおよびＡ２の色Ｔに関らず、文字Ａ１とＡ２との間に、符合量が少ない特定画像Ｃが用いられる。特定画像Ｃは、符号量が少ないことからこの第２の手法により、非絵柄部色画像Ｐ'の圧縮率を上げることができる。また、この第２の手法では、文字Ａ１と文字Ａ２との間はなめらかに遷移せず、エッジが生じる。従って、非絵柄部色画像Ｐ'は高周波を含むものとなる。

ここで、第１の手法と第２の手法とを比べる。原稿に占める文字・線画の割合が少ない場合には、第１の手法では、文字Ａ１と文字Ａ２との間に広い遷移範囲Ｅ１〜Ｅ３（グラデーション領域）が生じ、非絵柄部色画像Ｐの符号量が増える傾向にある。一方、第２の手法であれば、符号量が少ない特定画像Ｃが原稿の多くを占めるため、符号量が少なくなる。

また、原稿に占める文字・線画の割合が多い場合には、第１の手法では、文字Ａ１と文字Ａ２との間に狭い遷移範囲Ｅ１〜Ｅ３が生じ、非絵柄部色画像Ｐの符号量が減る傾向にある。一方、第２の手法であれば、符号量が少ない特定画像が原稿の割合は少なくなり、エッジが生じるため、符号量が多くなるという問題がある。

本発明の符号化装置であれば、上記第２の手法を用いた場合でも、符号量を少なくして、適切な符号化することを目的とする。

前記目的を達成するため、原画像から、該原画像の絵柄が表示される絵柄部画像と、該原画像の非絵柄の色画像および該非絵柄の色画像以外の位置に占める特定画像が表示される非絵柄部色画像と、前記非絵柄の形状が表示されるマスク画像と、を生成する生成部と、
前記絵柄部画像および前記非絵柄部色画像を周波数変換する周波数変換部と、
前記周波数変換部により得られた前記絵柄部画像の周波数係数および前記非絵柄部色画像の周波数係数を量子化する量子化部と、
前記量子化された前記絵柄部画像の周波数係数および前記非絵柄部色画像の周波数係数を符号化する符号化部とを、有し、
前記量子化は、周波数ゲインのための正規化のための量子化を除き、
前記非絵柄部色画像の高周波帯域の周波数係数の量子化ステップ数を、前記絵柄部画像の高周波帯域の周波数係数の量子化ステップ数よりも小さくすることを特徴とする符号化装置を提供する。

本発明の符号化装置であれば、上記第２の手法を用いた場合でも、符号量を少なくして、適切な符号化することができる。

原画像を第１の手法による３つのレイヤに分けた場合を示す図。 第１の手法を模式的に示した図。 原画像を第２の手法による３つのレイヤに分けた場合を示す図。 第２の手法を模式的に示した図。 ＭＲＣ符号の構成例。 ＪＰＭ符号の構成例。 本実施例の符号化装置の構成例。 本実施例のＣＰＵの機能構成例を示した図。 本実施例の符号化装置の主な処理の流れを示した図。 原画像を５つのレイヤに分けた場合を示す図。 Ｓｏｂｅｌオペレータの一例を示す図（その１）。 Ｓｏｂｅｌオペレータの一例を示す図（その２）。 ＤＣレベルシフト後の原画像と座標系を示した図。 垂直方向へのフィルタリング後の係数の配列。 水平方向へのフィルタリング後の係数の配列。 並べ替えた係数の配列。 ２回目の変換後の並べ替えた係数の配列を示した図。 デコンポジションレベルと解像度レベルの関係を示した図。 画像、タイル、サブバンドなどを示した図。 Ｖｉｓｕａｌ ｄｉｓｔａｎｃｅ１０００［ｄｏｔ］のＶｉｓｕａｌ Ｗｅｉｇｈｔを示した図。 Ｖｉｓｕａｌ ｄｉｓｔａｎｃｅ３０００［ｄｏｔ］のＶｉｓｕａｌ Ｗｅｉｇｈｔを示した図。 ９＊７ウェーブレット変換の周波数変換ゲインの平方根を示した図。 色変換のゲインの平方根を示す図。 正規化のための量子化ステップ数を示す図。 前景Ｐのための実質的な量子化を示す図。 背景Ｒのための実質的な量子化を示す図。 色差Ｃｂの実質的な量子化ステップ数／輝度Ｙの実質的な量子化ステップ数を示した図。 色差Ｃｒの実質的な量子化ステップ数／輝度Ｙの実質的な量子化ステップ数を示した図。 前景Ｐ'のための実質的な量子化ステップ数を示した図。 変形例１の前景Ｐ'、背景Ｑの輝度の実質的な量子化ステップ数を示した図。 変形例１の色差Ｃｂの実質的な量子化ステップ数／輝度Ｙの実質的な量子化ステップ数を示した図。 変形例１の色差Ｃｒの実質的な量子化ステップ数／輝度Ｙの実質的な量子化ステップ数を示した図。 変形例２の前景Ｐ'、背景Ｑの共通な符号化しないサブビットプレーン数を示した図。 ５＊３ウェーブレット変換の周波数変換ゲインの平方根を示した図。 色変換のゲインを示した図。 変形例３での正規化のための除数を示した図。 変形例３での前景Ｐ'における符号化しないビットプレーン数を示した図。 変形例３での背景Ｑにおける符号化しないビットプレーン数を示した図。 本実施例におけるＪＰＭファイルのレイアウトオブジェクトを示した図（その１）。 本実施例におけるＪＰＭファイルのレイアウトオブジェクトを示した図（その２）。 本実施例の状態通知装置の主要構成を示すハードウェア構成図を示した図。

「発明を実施するための形態」の説明をする前に、本実施例の背景を述べる。近年、インターネット等のネットワークや公衆回線の発達および画像圧縮技術の進歩により、画像データの伝送速度は飛躍的に向上している。これに伴い、伝送可能な画像データの高解像度化、高階調化、カラー化が進んでおり、４００ｄｐｉ（ｄｏｔ ｐｅｒ ｉｎｃｈ）のフルカラー画像も実用的な伝送対象となってきている。ところで、このようなフルカラー画像をネットワークあるいは公衆回線を通じて伝送する際には、通常、画像を圧縮する。そのときの圧縮アルゴリズムとしては、一般的にはＪＰＥＧアルゴリズムが用いられている。また、画像ファイリングなどの画像の蓄積も盛んに行なわれており、カラー画像の蓄積には同様にＪＰＥＧアルゴリズムなどを用いて圧縮されたデータが使用されている。

ここで、ＪＰＥＧアルゴリズムについて説明する。まず、圧縮アルゴリズムについて説明する。入力された画像データは、必要ならば例えばＲＧＢ色空間からＬ* ａ* ｂ* 色空間へというように色空間変換が施された後、８画素×８画素のブロックに分割され、ブロックごとにＤＣＴ（Ｄｉｓｃｒｅｔｅ ＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）によって周波数領域に変換され、ブロックと同じ大きさの量子化テーブルで量子化された後、ジグザグスキャンでブロックデータからラスターデータに変換され、２次元ハフマン符号化によって圧縮データとなる。伸長アルゴリズムは、圧縮アルゴリズムの逆のアルゴリズムであり、ハフマン復号、ラスタ−ブロック変換、逆量子化、ＩＤＣＴ（Ｉｎｖｅｒｓｅ ＤＣＴ）によって画像データが復元される。

しかし、上述の説明からもわかるように、ＪＰＥＧアルゴリズムでは非可逆過程である量子化を行なうため、伸長された画像は圧縮前の画像データよりも画質が劣化した画像となる。通常、量子化テーブルには圧縮率を稼ぐために高周波成分ほど量子化ステップが粗くなる量子化テーブルが用いられる。そのため、特に文字や線画のように高周波成分を多く含むエッジが存在する部分で、画質の劣化が著しく、また圧縮率も低下していた。

また、図１で説明したように、ＭＲＣ方式では、１つの背景に対して、複数の「前景Ｐ（非絵柄部色画像Ｐ）＋マスクＱ（非絵柄部形状画像Ｑ）」を重ねあわせていく方式が一般的である。マスクＱとは前景Ｐを(例えば文字の形に)切り取るための形状情報を持つ。マスクＱの値が前景Ｐの透過率(前景と背景Ｑ（絵柄部画像Ｑ）の混合比)を持つ場合もある。また、前景Ｐ、マスクＱ、背景Ｒ、の解像度は、任意に選択できることもできる。

図５は、ＭＲＣモデルによる符号構成の説明図である。ＭＲＣを用いた符号フォーマットは、ＭＲＣ符号であること等を示す全体用ヘッダと、１つの背景符号およびそのヘッダと、それに重ね合わせる１つ若しくは複数の「前景符号とマスク符号のペア」およびそのペア用のヘッダで構成されるのが典型である。

例えば、本実施の形態では、背景、前景、およびマスクの符号化方式として、ＪＰＥＧ
２０００を選択可能にしたＪＰＭ（ＪＰＥＧ２０００ Ｍｕｌｔｉ Ｌａｙｅｒ）を用いる。もちろん、ＪＰＭでは、ＪＰＥＧ２０００以外の符号化方式としてＪＰＥＧ、ＭＭＲ、ＪＢＩＧ等も選択可能であり、そのＪＰＭ符号のフォーマットも、図５に示すような符号の構成をとる。

例えば、前記ＭＲＣモデルの前景、マスク、背景の圧縮方式としてＪＰＥＧ２０００の選択を可能にしたＪＰＭという符号化方式が標準化されている。

図６は、ＪＰＭ符号の構成例の説明図である。なお、点線部分はオプションであるの
で、実線部分を中心に簡単に説明する。図６において、「JPEG2000 Signature box」は
、当該符号がＪＰＥＧ２０００ファミリーに属することを示す全体のヘッダである。「Fi
le Type box」は、当該符号がＪＰＭフォーマットであることを示す全体のヘッダである
。「Compound Image Header box」は、当該符号の全般的な情報を含む全体のヘッダであ
る。「Page Collection box」は、当該符号がマルチページからなる場合に各ページの順
番を示す目次的なものである。「Page box」は、ページの解像度等を示す全体のヘッダで
ある。ここで、ページとは、画像を順次重ねて（合成して）いくためのキャンバスであり
、合成が終った後の画像と同じ大きさを持つ。ＪＰＭの場合、ページには、前景とマスク
のペアで構成される「layout object（レイアウト・オブジェクト）」が順次描画される
。「Layout Object box」は、前景とマスクのサイズや位置等を示す、前景及びマスク用
のヘッダである。「Media Data box」や「Contiguous Codestream box」は、前景やマス
クの符号を含む部分である。なお、ＪＰＭでは、背景（BasePage）は、レイアウト・オブ
ジェクトが描画される前の初期的なページとして扱われる。

なお、ＪＰＭでは、上述したように、背景に対して前景とマスクとのペアとして定義さ
れるレイアウト・オブジェクトを順次重ねて画像を合成する処理において、前景と背景と
を合成する方法として、
（ｉ）前景か背景のいずれかを選択する方法
（ｉｉ）前景の値と背景の値の加重平均をとる方法
が選択可能である。（ｉ）の場合には、マスクを２値とし、その値が１のときに前景を選
択し、０のときに背景を選択するものである。また、（ｉｉ）の場合には、マスクに８ビ
ットの正の値を持たせ、以下に示す式（１）により前景と背景の加重平均により合成するものである。

合成画像=(マスク値/２５５)×前景+{(２５５-マスク値)/２５５}×背景 （１）
これらのいずれの合成方法をとるかは、前景とマスクのペアごとに指定可能であり、各ペア用のヘッダに記載する。

さて、以上のＭＲＣモデルでの符号化では、高圧縮率化のために、前景や背景を高い圧縮率(例えば１／４０)で圧縮する。こうした高い圧縮率下では、量子化の巧拙が画質に大きく影響するため、前景や背景を圧縮する際に適用する量子化については、最適化の必要がある。
ここで、ＭＲＣ符号の作成法としては、前景画像を減色し、前景を数色で（極端な場合には一色で）表現する方法が典型的である。こうした減色を用いれば、前景画像は人工画像的になり、人工画像用の符号化方式を用いて高い圧縮率を得ることができる。

しかしながら、減色を行う方式は、減色のための処理時間を要し、かつ減色のための画質劣化を生じる。この減色による画質劣化を防ぐためには、一色で表現する領域を狭くする必要があるが、そのためには前景画像を多くの部分画像に分割する必要が生じ、いずれにしても処理時間が必要となる（そもそもＭＲＣモデルでは、前景・背景の生成のために多くの処理時間を必要とするため、符号化にかける時間は極力少なくしたいという事情がある）。また、前景と背景の分離を完全に行うことは困難であり、本来背景であるべき部分が前景として分離された場合、これが減色されてしまうと、画像欠陥として認識されてしまうという問題もある。

したがって、ＭＲＣ符号を高速に作成しようと思えば、前景画像をあまり減色・分割することなく、高速かつ高い圧縮率で符号化できる方法が必要である。

このように前景画像の減色を省略する場合には、スキャンによってノイズが重畳された状態の前景画像を圧縮する必要があるため、人工画像用の符号化方式で高い圧縮率を得ることはできない。従って減色を省略して高い圧縮率を得るためには、前景・背景の両方に、周波数変換を利用した方式（自然画像用の符号化方式）を適用することになる。

さて、減色を行わない以上（＝高圧縮であるが画質・処理速度は維持したい）、前景画像の量子化については最適化を行いたいところであるが、減色を行わない理由が高速化であるため、最適化に処理時間をかけることはできない。例えば、画像の特徴量や内容を解析し、それに応じて符号化方式や量子化方式を選択する方法は知られているが、こうした解析は一般に処理量が多く、採用することは困難である。

そこで出願人は、減色を行わない前景画像を高速かつ最適に符号化するに際し、ＭＲＣモデルの持つ構造・機能に着目した。すなわち、前景に対して周波数変換と量子化を用いた符号化を採用する場合、「前景は色」というレイヤ自体が持つ機能を考慮すると、画像の内容を解析することなしに、該機能の差を量子化に反映することができるのである。しかしながら(発明者の知る限り)これまでは、前景に対して、こうした機能を反映した量子化はなされてこなかった。

なお、ブロック図において同じ機能を持つ構成部やフローチャート図において同じ処理を行う過程には同じ番号を付し、重複説明を省略する。

また、以下の説明では、非絵柄とは、絵柄ではないもの、例えば、文字、線図、記号などを示す。
［全体的な流れ］
まず、全体的な流れについて説明する。図７は、本実施の形態にかかるＰＣのハードウェア構成を示すブロック図である。本実施の形態にかかるＰＣ１００は、ＣＰＵ（Central Processing Unit）１０１、ＲＡＭ（Random Access Memory）１０２、ＨＤＤ（Hard Disk Drive）１０３等をシステムバス１０４により相互接続した一般的なパーソナルコンピュータである。

ＣＰＵ１０１は、ＰＣ１００の全体を制御するためのマイクロプロセッサである。ＲＡＭ１０２は、各種データを書換え可能に記憶する性質を有していることから、ＣＰＵ１０１の作業エリアとして機能してバッファ等の役割を果たす。ＨＤＤ１０３は、画像やＣＰＵ１０１により実行される各種プログラムを記憶する情報記録媒体である。

なお、情報記録媒体としては、ＨＤＤ１０３のみならずＣＤ（Compact Disk）−ＲＯＭ、ＤＶＤ（Digital Versatile Disk）などの各種の光ディスク、各種光磁気ディスク、フレキシブルディスクなどの各種磁気ディスク等、半導体メモリ等の各種方式のメディアを用いることができる。また、図示しない外部Ｉ／Ｆ装置を介してインターネットなどのネットワークからプログラムをダウンロードし、ＨＤＤ１０３にインストールするようにしてもよい。この場合に、送信側のサーバでプログラムを記憶している記憶装置も、この発明における情報記録媒体である。なお、プログラムは、所定のＯＳ（Operating System）上で動作するものであってもよいし、その場合に後述する各種処理の一部の実行をＯＳに肩代わりさせるものであってもよいし、所定のアプリケーションソフトやＯＳなどを構成する一群のプログラムファイルの一部として含まれるものであってもよい。

このシステム全体の動作を制御するＣＰＵ１０１は、このシステムの主記憶装置として使用されるＨＤＤ１０３に記憶されたプログラムに基づいて各種処理を実行する。

次に、ＰＣ１００のＨＤＤ１０３に記憶されているプログラムがＣＰＵ１０１に実行させる機能のうち、本実施の形態のＰＣ１００が備える特長的な機能について説明する。 次に、図７を用いて、ＰＣ１００が備える特長的な機能の概略について説明する。（１）ＨＤＤ１０３より処理対象となる原画像がＣＰＵ１０１からの命令によってＲＡＭ１０２に読み込まれる。（２）ＣＰＵ１０１は、ＲＡＭ１０２上の原画像を読み込み、ＭＲＣモデルを用いた符号化を行う。（３）ＣＰＵ１０１は、符号化されたデータをＲＡＭ１０２上の別の領域に書き込む。（４）ＣＰＵ１０１からの命令によってその符号化されたデータがＨＤＤ１０３に保存される。
［実施形態１］
次に、実施形態１のＣＰＵ１０１内の機能構成例を図８に示す。また、ＣＰＵ１０１の処理の流れを図９に示す。

図８の例では、実施形態１のＣＰＵ１０１は、生成部２、ＤＣレベルシフト部４、周波数変換部８、量子化部１０、ビットプレーン符号化部１２、パケット生成部１４とを含む。また、原画像を復号化する場合には、図８中の矢印の順番で、処理が行われるが、符号化された原画像を復号化する場合には、矢印と逆向き（つまり、パケット生成部１４）から順番に行われる。また、本実施例ではＪＰＥＧ２０００を使用する例を説明する。

まず、符号化の対象である原画像αが入力部（図示せず）に入力される（ステップＳ２）。入力された原画像αは生成部２に入力される。生成部２により原画像αから生成された画像について、図１０に示す。生成部２は、原画像αから、該原画像の絵柄が表示される絵柄部画像Ｒ（「背景Ｒ」ともいう。）と、該原画像αの非絵柄の色を表す非絵柄部色画像Ｐ'（「前景Ｐ'」ともいう。）と、非絵柄部形状画像（「マスクＱ」ともいう。）とを生成する。更に、生成部２は、第２マスクＶと第２背景Ｗとにを生成する。

次に生成部２の処理の詳細について説明する。生成部２は、ステップＳ２で入力された原画像に対し、画素単位で、文字・線画を構成する画素(以下、「文字画素」という。)であるかどうかが判別する。文字画素は、例えば、図２、図４の文字Ａ１、文字Ａ２を示す。

該判別は公知の像域判別技術によって行われ、例えば、原画像の各画素に対し、エッジ検出オペレータとして周知のＳｏｂｅｌフィルタを作用させる。Ｓｏｂｅｌフィルタは、注目画素を中心とした上下左右の９つの画素に対して、図１１に示す第１の重みマトリクスを乗算して、その和ＨＳを算出し、同様に図１２に示す第２のマトリクスを乗算してその和ＶＳを算する。そして、（ＨＳ^２＋ＶＳ^２）の平方根をフィルタの出力値とする。

該フィルタ出力値が例えば３０以上の場合に、注目画素が文字画素であると判断し、該注目画素位置の値を１にし、それ以外の画素の値を０にすることで、マスクＱ（非絵柄部形状画像Ｑ）を生成する(二値画像の場合、黒＝１、白＝０が通例である)(ステップＳ４)。

また、文字・線画領域に属さない画素(以下、非文字画素)の色を、固定値(１２８、１２８、１２８)で置換し、前景Ｐ（非絵柄部色画像Ｐ）を生成する（ステップＳ６）。本実施例では上述のように、前景Ｐの生成手法に第２の手法を用いるからである。

ここで、上述したように、非絵柄部色画像Ｐは、原画像の非絵柄の色画像（図１０の色Ｓ、Ｔの箇所）および該非絵柄の色画像以外の位置に占める特定画像Ｃにより構成される。

次に、原画像αおける文字・線画領域の画素の色を、当該画素の最も近傍に位置する非文字画素の色で置換し、絵柄部画像Ｒ（背景Ｒ）を生成する(ステップＳ８)。

続いて、原画像と同じサイズの画素値１の画像として第２マスクＶを作成し（ステップＳ１０）する。原画像と同じサイズの白い画像として第２背景画像Ｗを作成する（ステップＳ１２）。

なお、ステップＳ４からステップＳ１２までの処理の流れはこれらに限られない。

このうち、非絵柄部色画像Ｐ'と、絵柄部画像Ｒとは、ＤＣレベルシフト部４に入力される。
＜ＤＣレベルシフト部４の処理＞
次にＤＣレベルシフト部４の処理については説明する。本実施例では、「ＤＣレベルシフト部４により、画像信号に対して、色変換をしない実施形態１」と「ＤＣレベルシフト部４により、画像信号に対して、色変換をする実施形態２」を説明する。段落＜ＤＣレベルシフト部４の処理＞では、色変換の処理についても説明する。また、色変換した後の輝度信号をＹとし、色差信号をＣｂ、Ｃｒとする。

まず、画像は矩形のタイルに分割される（分割数≧１）。次に、タイルは、例えば、ＲＧＢの３コンポーネントで構成されるカラー画像を符号化する場合、ＤＣレベルシフトと輝度・色差のコンポーネントへの色変換が施される。より厳密には、色変換を施す前に、ＤＣレベルシフトを行う。ＤＣレベルシフトは、入力される画像信号がＲＧＢ信号値のような正の数である場合に所定の変換式を用いて各信号値から信号のダイナミックレンジの１／２を減算するレベルシフト処理を行い、色変換ではＲＧＢ画像を輝度信号（画像）Ｙ、色差信号Ｃｒ、Ｃｂ画像に変換することによりカラー画像の圧縮効率を高める処理を行うことができる。

ＤＣレベルシフトは、画像信号がＲＧＢ信号値のような正の数（符号なし整数）である場合には、式（１）に示すように順変換では各信号値から信号のダイナミックレンジの半
分を減算するレベルシフトを、逆変換では各信号値に信号のダイナミックレンジの半分を
加算するレベルシフトを行う。但し、レベルシフトは画像信号がＹＣｂＣｒ信号における
ＣｂやＣｒのような符号付き整数の場合には適用しない。

ＪＰＥＧ２０００のＤＣレベルシフトの順変換および逆変換に用いる式（１）は以下の
通りである。

Ｉ(ｘ，ｙ)←Ｉ(ｘ，ｙ)-２^{Ｓｓｉｚ(ｉ)}・・・順変換
（１）
Ｉ(ｘ，ｙ)←Ｉ(ｘ，ｙ)＋２^{Ｓｓｉｚ(ｉ)} ・・・逆変換
ここで、Ｓｓｉｚ(ｉ)とは画像の各コンポーネントi（ＲＧＢ画像ならｉ＝０，１，２）のビット深さから１を減じたものである。Ｉ(ｘ，ｙ)は座標(ｘ，ｙ)における信号値（画素値）である。

色変換は、カラー画像を効率良く圧縮するために行う。これはＪＰＥＧでもＲＧＢ画像
を輝度画像Ｙ、色差画像Ｃｒ、Ｃｂに変換後に圧縮を行うと圧縮率が向上し、結果的には再生画質が良くなることと目的は同じである。色変換には、可逆と非可逆の２つの方法が定義されている。

可逆変換は、ＲＣＴ（Reversible multiple component transformation）と呼ばれ、変
換式の係数が整数値であることが特徴である。この変換式を式（２）に示す。

Ｙ０(ｘ，ｙ)＝ｆｌｏｏｒ（(Ｉ０(ｘ，ｙ)＋２×(Ｉ１(ｘ，ｙ)＋Ｉ２(ｘ，ｙ))／４)
Ｙ１(ｘ，ｙ)＝Ｉ２(ｘ，ｙ)−Ｉ１(ｘ，ｙ) 順変換
Ｙ２(ｘ，ｙ)＝Ｉ０(ｘ，ｙ)−Ｉ１(ｘ，ｙ)
（２）
Ｉ１(ｘ，ｙ)＝Ｙ０(ｘ，ｙ)−ｆｌｏｏｒ((Ｙ２(ｘ，ｙ)＋Ｙ１(ｘ，ｙ))／４)
Ｉ０(ｘ，ｙ)＝Ｙ２(ｘ，ｙ)＋Ｉ１{ｘ，ｙ) 逆変換
Ｉ２(ｘ，ｙ)＝Ｙ１(ｘ，ｙ)＋Ｉ１[ｘ，ｙ)
なお、Iは原信号を示し、Ｙは変換後の信号を示している。また、ＩやＹに続く０〜２はサフィクスである。具体的には、ＲＧＢ信号を可逆変換する場合、I信号においてはＩ０＝Ｒ，Ｉ１＝Ｇ，Ｉ２＝Ｂと表され、Ｙ信号においてはＹ０＝Ｙ，Ｙ１＝Ｃｂ，Ｙ２＝Ｃｒと表される。さらに、ｆｌｏｏｒ(ｘ)は、ｘのフロア関数（実数ｘを、ｘを越えず、かつｘに最も近い整数に置換する関数）を示している。

非可逆変換はＩＣＴ（Irreversible multiple component transformation）と呼ばれ、変換式の係数がＲＣＴと異なり実数値であることが特徴である。この変換式を式（３）に
示す。

Ｙ０(ｘ，ｙ)＝０．２９９×Ｉ０(ｘ，ｙ)＋０．５８７×Ｉ１(ｘ，ｙ)＋０．１４４×Ｉ２(ｘ，ｙ)
Ｙ１(ｘ，ｙ)＝−０．１６８７５×Ｉ０(ｘ，ｙ)−０．３３１２６×１(ｘ，ｙ)＋０．５＊Ｉ２(ｘ，ｙ) 順変換
Ｙ２(ｘ，ｙ)＝０．５×Ｉ０(ｘ，ｙ)−０．４１８６９×Ｉ１(ｘ，ｙ)−０．０８１３１×Ｉ２(ｘ，ｙ)
（３）
Ｉ０(ｘ，ｙ)＝Ｙ０(ｘ，ｙ)＋１．４０２×Ｙ２(ｘ，ｙ)
Ｉ１(ｘ，ｙ)＝Ｙ０(ｘ，ｙ)−０．３４４１３×Ｙ１(ｘ，ｙ)−０．７１４１４×Ｙ２(ｘ，ｙ) 逆変換
Ｉ２(ｘ，ｙ)＝Ｙ０(ｘ，ｙ)＋１．７７２×Ｙ１(ｘ，ｙ)
なお、Iは原信号を示し、Yは変換後の信号を示している。また、ＩやＹに続く０〜２はサフィクスである。具体的には、ＲＧＢ信号を非可逆変換する場合、I信号においては、Ｉ０＝Ｙ，Ｉ１＝Ｇ，Ｉ２＝Ｂと表され、Ｙ信号においてはＩ０＝Ｙ,Ｉ１＝Ｃｂ,Ｉ２＝Ｃｒと表される。
＜周波数変換部８について＞
次に周波数変換部８の処理について説明する。周波数変換部８は、絵柄部画像Ｒ、非絵柄部色画像Ｐ、特定画像Ｃを周波数変換する。周波数変換後は、絵柄部画像Ｒの周波数成分ｆ_Ｒ、および非絵柄部色画像Ｐの周波数成分ｆ_Ｐが出力される。周波数変換部８の処理の詳細について説明する。

タイル毎に、色変換後のコンポーネント（タイルコンポーネントと呼ばれる）は、周波数変換部８によって周波数変換される。この実施例では、周波数変換の手法としてウェーブレット変換を用いる例を説明する。ウェーブレット変換によって、ＬＬ，ＨＬ，ＬＨ，ＨＨと略称される４つのサブバンドに分割される。そしてＬＬサブバンドに対して再帰的にウェーブレット変換（以下、「デコンポジション」という場合もある。）を繰返すと、最終的に１つのＬＬサブバンドと複数のＨＬ，ＬＨ，ＨＨサブバンドが生成される。ここで、ＪＰＥＧ２０００で採用されている２次元ウェーブレット変換について説明する。

色変換後、施される２次元ウェーブレット変換では、５＊３フィルタを施す５＊３ウェーブレット変換と、９＊７フィルタを施す９＊７ウェーブレット変換を選択することができる。５＊３ウェーブレット変換とは、５画素を用いて１つのローパスフィルタの出力（ローパス係数）が得られ、３画素を用いて１つのハイパスフィルタの出力（ハイパス係数）が得られる変換である。

同様に、９＊７ウェーブレット変換とは、９画素を用いて１つのローパスフィルタの出力（ローパス係数）が得られ、７画素を用いて１つのハイパスフィルタの出力（ハイパス係数）が得られる変換である。主な違いは、フィルタの範囲の違いであり、偶数位置中心にローパスフィルタ、奇数位置中心にハイパスフィルタが施されるのは同様である。９＊７フィルタにも同様に当てはまる。

５＊３ウェーブレット変換の変換式を式（４）に示す。

順変換
Ｃ(２ｉ＋１)＝Ｐ(２ｉ＋１)−ｆｌｏｏｒ((Ｐ(２ｉ)＋Ｐ(２ｉ＋２))／２) [step1]
Ｃ(２ｉ)＝Ｐ(２ｉ)＋ｆｌｏｏｒ((Ｃ(２ｉ−１)＋Ｃ(２ｉ＋１)＋２)／４) [step2]
逆変換 （４）
Ｐ(２ｉ)＝Ｃ(２ｉ)−ｆｌｏｏｒ((Ｃ(２ｉ−１)＋Ｃ(２ｉ＋１)＋２)／４) [step3]
Ｐ(２ｉ＋１)＝Ｃ(２ｉ＋１)＋ｆｌｏｏｒ((Ｐ(２ｉ)＋Ｐ(２ｉ＋２))／２) [step4]
９＊７ウェーブレット変換の変換式を式（５）に示す。

順変換
Ｃ(２ｎ＋１)＝Ｐ(２ｎ＋１)+α×(Ｐ(２ｎ)＋Ｐ(２ｎ＋２)) [step1]
Ｃ(２ｎ)＝Ｐ(２ｎ)＋β×(Ｃ(２ｎ−１)＋Ｃ(２ｎ＋１)) [step2]
Ｃ(２ｎ＋１)＝Ｃ(２ｎ＋１)＋γ×(Ｃ(２ｎ)＋Ｃ(２ｎ＋２)) [step3]
Ｃ(２ｎ)＝Ｃ(２ｎ)＋δ×(Ｃ(２ｎ−１)＋Ｃ(２ｎ＋１)) [step4]
Ｃ(２ｎ＋１)＝Ｋ×C(２n＋１) [step5]
Ｃ(２ｎ)＝(１／Ｋ)×Ｃ(２ｎ) [step6]
逆変換 （５）
Ｐ(２ｎ)＝Ｋ×Ｃ(２ｎ) [step1]
Ｐ(２ｎ＋１)＝(１／Ｋ)×Ｃ(２n＋１) [step2]
Ｐ(２ｎ)＝Ｘ(２ｎ)−δ×(Ｐ(２ｎ−１)＋Ｐ(２ｎ＋１)) [step3]
Ｐ(２ｎ＋１)＝Ｐ(２ｎ＋１)−γ×(Ｐ(２ｎ)＋Ｐ(２ｎ＋２)) [step4]
Ｐ(２ｎ)＝Ｐ(２ｎ)−β×(Ｐ(２ｎ−１)＋Ｐ(２ｎ＋２)) [step5]
Ｐ(２ｎ)＝Ｐ(２ｎ＋１)-α×(Ｐ(２ｎ)＋Ｐ(２ｎ＋２)) [step6]
但し、α=-1.586134342059924
β=-0.052980118572961
γ=0.882911075530934
δ=0.443506852043971
K=1.230174104914001
次に、ウェーブレット変換の手順、並びにデコンポジションレベル、解像度レベル、サ
ブバンドの定義について説明する。

図１３は、１６×１６の画像の輝度コンポ−ネントに対して、ウェーブレット変換（５×３変換）を２次元(垂直方向および水平方向)で施す過程におけるＤＣレベルシフト後の原画像と座標系、ミラーリングを例示したものである。図１４は、上記同過程における垂直方向へのフィルタリング後の係数の配列を例示したものである。図１５は、上記同過程における水平方向へのフィルタリング後の係数の配列を例示したものである。図１６は、上記同過程における並べ替えた係数の配列を例示したものである。

図１３を参照すれば、ｘｙ座標をとり、或るｘについて、ｙ座標がｙである画素の画素値をＰ（ｙ）（０≦ｙ≦１５）と表わす。ＪＰＥＧ２０００では、先ず垂直方向（Ｙ座標方向）にｙ座標が奇数（ｙ＝２ｉ＋１）の画素を中心にハイパスフィルタを施して係数Ｃ（２ｉ＋１）を取得し、次にｙ座標が偶数（ｙ＝２ｉ）の画素を中心にローパスフィルタを施して係数Ｃ（２ｉ）を取得するようにし、こうした処理を全てのｘについて行う。

ここで、ハイパスフィルタ、ローパスフィルタは、順に上述したＳｔｅｐ１、Ｓｔｅｐ２の関係式で表わされる。尚、画像の端部にフィルタを施す場合には、中心となる画素に対して隣接画素が十分に存在しないことがあり、こうした場合はミラーリング（図１３参照）と呼ばれる手法によって適宜画素値を補うことになる。ミラーリングとは、画像端部の外側に仮想的な画素を想定し、画像端部の画素を対称軸として、端部の内側の画素値を、端部の外側の画素に対して線対称にコピーする周知の手法である。ミラーリングは画像(タイル)の上下左右の４端全てで行われる。

説明を簡単にするため、ハイパスフィルタで得られる係数をＨ、ローパスフィルタで得
られる係数をＬと表記すれば、垂直方向の変換によって図１３に示した画像は図１４に示されるようなＬ係数、Ｈ係数（周波数係数）の配列へと変換される。

次に、図１３に示されるような係数配列に対して、先ず水平方向にｘ座標が奇数（ｙ＝２ｉ＋１）の係数を中心にハイパスフィルタを施し、次にｘ座標が偶数（ｘ＝２ｉ）の係数を中心にローパスフィルタを施すようにし、これらの処理を全てのｙについて行う。この場合、第１ステップ、第２ステップのＰ（２ｉ）等は係数値を表わすものと読み替える。

次に、説明を簡単にするため、上述したＬ係数を中心にローパスフィルタを施して得られる係数をＬＬ、Ｌ係数を中心にハイパスフィルタを施して得られる係数をＨＬ、Ｈ係数を中心にローパスフィルタを施して得られる係数をＬＨ、Ｈ係数を中心にハイパスフィルタを施して得られる係数をＨＨと表記すれば、図１３に示される係数配列は、図１４に示されるような係数配列へと変換される。ここで同一の記号を付した係数群は、サブバンドと呼ばれ、図１１に示される形態では４つのサブバンドで構成される。

以上は、垂直・水平の各方向に対して各１回のウェーブレット変換（１回のデコンポジ
ション（分解））が終了し、上述したＬＬ係数だけを集めて図１５に示されるようにサブバンド毎に集め、ＬＬサブバンドだけ取り出すと、丁度原画像の１／２の解像度の"画像"
が得られる。因みに、このようにサブバンド毎に分類することはデインターリーブと呼ば
れ、図１を参照して説明したような処理状態に配置することはインターリーブと呼ばれる
２回目のウェーブレット変換は、ＬＬサブバンドを原画像とみなして、上述した場合と
同様の変換を行えば良い。この場合、並べ替えを行うと、図１７に示されるような形態となる。ここでの係数の接頭の１や２は、水平・垂直に関し各何回のウェーブレット変換で係数が得られたかを示しており、デコンポジションレベルと呼ばれる。

図１８は、デコンポジションレベルと解像度レベルとの関係を例示したものである。ここでは、解像度レベルがデコンポジションレベルとほぼ逆の関係にあることを示している。

以上の説明において、１次元のみのウェーブレット変換を行う場合には、何れかの方向
だけの処理を行えば良く、その何れかの方向に関してウェーブレット変換を行った回数が
デコンポジションレベルとなる。

ウェーブレットフィルタとして９＊７フィルタを選択した場合には、上述した分割の後
、サブバンド毎に係数の線形量子化が成されるが、５＊３フィルタを選択した場合には、
サブバンド毎の線形量子化はしない仕様となっている。

次なる処理として、各サブバンドはプリシンクトとよばれる矩形に分割される。プリシ
ンクトとは、サブバンドを矩形に分割したものをＨＬ、ＬＨ、ＨＨの３つのサブバンドに
ついて集めたもので、大まかな意味では画像中の場所（Ｐｏｓｉｔｉｏｎ）を表わすもの
である。プリシンクトは３つで１纏まりであるが、ＬＬサブバンドを分割した場合には１
つで１纏まりとなる。また、プリシンクトはサブバンドと同じサイズにでき、プリシンク
トをさらに矩形に分割したものがコードブロックである。

図１９は、画像（タイル）、サブバンド、プリシンクト、コードブロックの関係を例示したものである。ここでは、物理的な大きさの序列として、画像≧タイル＞サブバンド≧プリシンクト≧コードブロックとなることを示している。
［量子化部１０について］
量子化部１０の量子化について、本実施例では、周波数ゲインのための正規化のための量子化を除く。量子化部１０の説明の前に、「周波数ゲインのための正規化のための量子化を除く」理由を説明する。

変換符号化における量子化は、周波数変換ゲインの正規化のための量子化と、人の視覚特性や画像特性を反映するための量子化の２つにわかれ、通常以下のように成される。
（Ｉ）周波数変換部８による周波数変換が直交変換である場合
周波数変換が直交変換である場合は、その定義より、各帯域の周波数係数に生じた誤差は、周波数逆変換で算出される画素値に等しい割合で寄与する。このため、前記寄与度を考慮することなく(周波数変換ゲインの正規化のための量子化が必要なく)、人の視覚特性等を考慮して量子化（係数の量子化またはトランケーションまたは両者）を行う。
（ＩＩ）周波数変換が非直交変換（ex.双直交変換）である場合
（ＩＩ−ｉ）各帯域の周波数係数に生じた誤差が、周波数逆変換で算出される画素値に寄与する度合い（いわゆる周波数変換ゲイン）が帯域ごとに異なるため、まずは帯域ごとに前記寄与度を考慮した正規化がなされる。前記正規化は、帯域ごとの係数の線形量子化でなされるのが典型（ex．寄与度の小さい帯域の係数を予め量子化して、誤差を与えておく）であり、これは形態としては量子化であるが、その意図するところは正規化である。

（ＩＩ−ｉｉ）次に、人の視覚特性等を考慮して量子化（係数の量子化またはトランケーションまたは両者）を行う。

ただし、係数の量子化ができず、トランケーションのみを行える符号化においては、（ＩＩ−ｉ）における正規化を（ＩＩ−ｉｉ）でのトランケーション量に含めた形で反映することになる。前記のように、「(ｉｉ)におけるビットプレーンｎ枚分の符号化省略や破棄は、（ｉ）において係数を２のｎ乗で除算することと等価であり、(ｉｉｉ)における量子化は、Ｓ１×（２のｎ乗）で係数を除算するのと等価である」からである。

また、（ＩＩ−ｉ）における正規化ができる方式でも、線形量子化を２度行うのを避けるために、（ＩＩ−ｉ）における量子化と（ＩＩ−ｉｉ）での量子化を一緒にあわせて行うのもの典型である。

尚カラー画像の符号化においては、周波数変換と同時に色変換を行う。本願で用いる色変換の典型例は、ＲＧＢ信号を輝度・色差信号に変換するものであるが、周波数変換での議論と同様、色変換が直交変換でない場合には、該色変換のゲインを反映して、輝度・色差ごとの誤差の正規化が同時に行われる。

以上のように、本実施例での量子化は「周波数ゲインのための正規化のための量子化」または「輝度・色差変換ゲインの正規化のための量子化」を除く。つまり、正規化を除く視覚的量子化を指す。

また、変換符号化がサブバンド変換を用いる方式である場合、サブバンドごとの係数の視覚的な重要度を定義することができる。例えば、ウェーブレットによるサブバンド変換を用いるＪＰＥＧ２０００である場合、本願実施の際の視覚的量子化の量を表す指標として、Ｖｉｓｕａｌ Ｗｅｉｇｈｔという名称の量が存在する。Ｖｉｓｕａｌ Ｗｅｉｇｈｔは、サブバンド(帯域)ごとの視覚的な重要度を示したものであり、値が大きいほど重要度が大きいことを示す指標である。

Ｖｉｓｕａｌ Ｗｅｉｇｈｔは、人の視覚特性(視覚の感度、実験値)を、当該サブバンドの帯域区間において積分した値であるから(簡単にいえば、その周波数帯域における人の視覚の感度を数値化したもの)、ウェーブレット変換に固有の指標ではなく、如何なるサブバンド変換に対しても定義可能な値である。ただし、輝度、色差の両方に対してＶｉｓｕａｌ Ｗｅｉｇｈｔを規定したい場合には、輝度・色差空間を特定し、特定した色差空間における実験値をもとに当該色差成分に対する視覚感度を求め、積分する必要がある。

図２０（Ａ）〜（Ｃ）には、輝度信号Ｙ、色差信号Ｃｂ、ＣｒのＶｉｓｕａｌ ｄｉｓｔａｎｃｅ１０００［ｄｏｔ］のＨＬ（図１５など参照）などのＶｉｓｕａｌ Ｗｅｉｇｈｔのデコンポジションレベルを示す。また、図２１（Ａ）〜（Ｃ）には、輝度信号Ｙ、色差信号Ｃｂ、ＣｒのＶｉｓｕａｌ ｄｉｓｔａｎｃｅ３０００［ｄｏｔ］のＨＬなどのＶｉｓｕａｌ Ｗｅｉｇｈｔのデコンポジションレベルを示す。

ウェーブレット変換のサブバンドの帯域は、画像自体の帯域から算出されるものである。しかし、画像までのＶｉｓｕａｌ ｄｉｓｔａｎｃｅが近いほど高周波の誤差までが目に付き、Ｖｉｓｕａｌ ｄｉｓｔａｎｃｅが遠ければ低周波の誤差しか目に付かないことから、観察者の目にとってのサブバンドの帯域は、画像と観察者のＶｉｓｕａｌ ｄｉｓｔａｎｃｅの関数となる。このためＶｉｓｕａｌ Ｗｅｉｇｈｔは、Ｖｉｓｕａｌ ｄｉｓｔａｎｃｅごとに定められる。そして、Ｖｉｓｕａｌ ｄｉｓｔａｎｃｅが遠いほど、低周波よりも高周波の重要度が小さく、かつ輝度成分よりも色差成分の重要度が小さくなるように設定されている（例えば、図２０、図２１参照）。

ＪＰＥＧ２０００において、このＶｉｓｕａｌ Ｗｅｉｇｈｔを反映して係数を線形量子化する場合には、量子化部１０による量子化処理の除算の分母（量子化ステップ数）を
量子化ステップ数＝（正規化のために除算に用いるサブバンドごとの値/ 当該サブバンドのVisual Weight）×ｎ（ｎは、圧縮率等に応じてユーザが選択する定数） （６）
とするのが一般的である。よってＶｉｓｕａｌ Ｗｅｉｇｈｔが小さい程、すなわち視覚的な重要度が小さいサブバンドほど、大きく量子化されることになる。

そして、式（６）によって量子化ステップ数を算出する場合、本実施例における「周波数変換ゲインの正規化および色変換ゲインの正規化のための量子化を除いた」量子化の程度とは、量子化ステップ数や、サブビットプレーン数などを示す。

（１/当該サブバンドのＶｉｓｕａｌ Ｗｅｉｇｈｔ）×ｎ （７）
となる。以下、式（７）で算出される値を「実質的な量子化ステップ数」と呼ぶ。前景Ｐ'と背景Ｑとでｎを共通にする場合には、「実質的な量子化ステップ数」はＶｉｓｕａｌ Ｗｅｉｇｈｔの逆数となる。

周波数変換部８の処理の説明について戻す。次に、周波数変換部８は、背景Ｒについて周波数変換（ウェーブレット変換）する。図２２に、９×７ウェーブレット変換の周波数ゲインの平方根の一例を示す。

各周波数変換係数に生じた誤差の二乗和は、周波数逆変換時に図２２に示された値についてゲイン倍され、さらに逆色変換時に図２３に示すゲイン倍される。従って、公知の様に、周波数ごとの係数を「周波数変換ゲイン×色変換ゲイン」の平方根の逆数（図２４に示す）で除算しておけば、各係数に生じた量子化誤差の影響を、周波数間かつコンポ−ネント（各輝度信号Ｙ、色差信号Ｃｂ、Ｃｒ）間で均等にすることができる。

前述のように、本実施例では、［量子化部１０において、周波数変換ゲインの正規化のための量子化を除く理由］で述べたように、図２４のような正規化のための量子化を除くため、本実施例においては、前記式（７）（実質的な量子化ステップ数）によって量子化の程度を規定する。

以上より図２５（Ａ）（Ｂ）（Ｃ）は、それぞれ、Ｙ信号、Ｃｂ信号、Ｃｒ信号についての前景Ｐ'のための実質的な量子化ステップ数の一例であり、各周波数・コンポ−ネントごとに全て６４という値をとっている。これは式（７）において、Ｖｉｓｕａｌ Ｗｅｉｇｈｔを各周波数・コンポ−ネントについて１とし、かつｎ＝６４としたものである。図２５（Ａ）〜（Ｃ）では、前景Ｐ'の量子化ステップ数は、高周波から低周波まで全て同じである。

一方、図２６の（Ａ）（Ｂ）（Ｃ）は、それぞれ、本実施例における背景Ｒのための実質的な量子化ステップ数の一例である。これは式（７）において、Ｖｉｓｕａｌ ｄｉｓｔａｎｃｅ１０００のＶｉｓｕａｌ Ｗｅｉｇｈｔを各周波数・コンポ−ネントについて適用し、かつｎ＝６４としたものである。図２６（Ａ）（Ｂ）（Ｃ）は、実質的な量子化ステップ数が、高周波ＨＨの方は低周波よりも大きくなっている。

ここで、本実施形態１では、図２５（前景Ｐ’の量子化ステップ）、図２６（背景Ｒの量子化ステップ）に示すように、非絵柄部色画像（前景Ｐ’）の高周波成分ＨＨの量子化の程度を、絵柄部画像（背景Ｒ）の高周波数成分ＨＨの量子化の程度よりも弱く（小さく）する。ここで、量子化の程度とは、例えば、量子化ステップ、サブビットプレーン数などを意味する。また、量子化部１０は、周波数係数の量子化、または周波数係数の下位ビットの破棄、のうち少なくとも一方を行う。

上述のように、本実施例では、第２の手法（前景Ｐ'に符号量が最も小さい特定画像Ｃ（図４参照）を生成する手法）を用いている。特定画像Ｃは、色Ｓおよび色Ｔと極端に異なる色である場合が多い。従って、第１の問題として、前景Ｐ'の高周波成分を残さない場合には、色Ｓ、色Ｔと色Ｖとが混合してしまい不具合が生じてしまう。

そこで、本実施形態のように、非絵柄部色画像（前景Ｐ'）の高周波成分ＨＨの量子化の程度を弱くする（つまり、高周波成分を残す）ことで、色Ｓ、色Ｔと色Ｖとが混合するという不具合は生じないという効果を奏する。

また第２の問題として、ＭＲＣの前景Ｐ'においては、文字Ａ１、Ａ２の色である色Ｓ、色Ｔの再現性が重要な一方で、特定画像Ｃである色Ｖの再現性は、ほとんど問われないという事情がある。特に、マスクによって前景Ｐ'または背景Ｑの一方が選択されるような形態では、非文字画素Ｃの色Ｖの再現性は全く問われない。

従って、ＭＲＣの前景Ｐ'を量子化する場合、第１の手法、第２の手法に限らず、本来は特定画像Ｃに量子化誤差を集中させ、文字画素には誤差を生じさせないことが好ましい。

しかし、第１の手法による前景Ｐでは、上記「非文字画素に量子化誤差を集中させ、文字画素には誤差を生じさせない」制御が行いにくい。なぜなら第１の手法は、文字Ａ１の色Ｓと、文字Ａ２の色Ｔの間にグラデーション状にぼかして前景Ｐを作成する方法である。従って文字画素、非文字画素は、周波数的には同じ帯域（ほぼ低域）の周波数に属してしまう（正確な表現は、文字画素、非文字画素から算出される周波数は、同じ低域の帯域に属する、となろうが、ここで便宜的に上記のような表現を用いている）。

周波数変換を伴う符号化では、周波数係数の量子化を行うが、同じ帯域の周波数係数に対しては、ほぼ同じ程度の量子化を施すのが通常である。そして、量子化後の係数に、逆量子化と周波数逆変換を施して画素値にもどす場合、周波数係数に生じた量子化誤差は、その周波数係数の算出に用いられた画素値の誤差に反映されるため、同じ帯域に属する係数には、ほぼ同じ程度の誤差が生じることになる。

つまり、あえてエッジを生じさせない第１の手法では、エッジを生じさせないがゆえに、非文字画素に誤差を集中させることができない。

一方、第２の手法による前景Ｐ'においては、エッジに隣接する２画素、すなわち文字画素Ａ１とそれに隣接する非文字画素（特定画像Ｃ）は高周波帯域に属する。しかし、それ以外の非文字画素は低周波帯域に属する。類似した色の文字画素同士が隣接する場合には、それらの文字画素も低周波帯域に属するが、通常、前景Ｐ'に占める文字画素の割合が少ないことを考えれば、低域に属する画素の殆どは非文字画素である。

つまり、第２の手法によれば、非文字画素の殆どを低周数を生じさせる画素にすることができ、かつ低周波を多めに量子化すれば、そうしない場合に比べて非文字画素に誤差を集中させることができるのである。

画像の符号化においては、低周波を多めに量子化することは通常行わない。何故なら、人間は低周波の誤差に敏感だからである。しかし、前景Ｐの生成に第２の手法を用いたＭＲＣ符号化という特殊な条件下においては、低周波こそ多めに量子化すべきであり、かつその量子化誤差は、再構成された状態（背景と前景が合成された状態）での画像においては、何ら観察者に見えることはない。

以上より、「前景は色」というレイヤ自体が持つ機能を考慮する場合でも、前景画像の作成方法（これはアプリケーションによって予め決まっていることが多い）をさらに考慮に入れて、この作成方法を前景の量子化に反映すべきであるということになる。

このようにして、背景Ｒ、前景Ｐについては、量子化処理を行う（ステップＳ１８、ステップＳ２４）。その後、符号化部１２は背景Ｒ、前景Ｐを公知の技術で符号化する（ステップＳ２０、ステップＳ２６）。

また、符号化部１２は、係数のエントロピー符号化（ビットプレーン単位でのＭＱ符号化）が、プリシンクト単位で、コードブロック毎かつビットプレーン順に成される。本願実施例においては、最上位ビットプレーンから、テーブルで予め規定された下位ビットプレーンまでをMQ符号化する。

また、符号化部１２は、前記「最上位ビットプレーンから、量子化テーブルで予め規定された下位ビットプレーンまで」を必要な符号と見なすため、で括弧で記載した不要な符号は存在しない。これら「最上位ビットプレーンから、量子化テーブルで予め規定された下位ビットプレーンまで」の符号に対して、ヘッダをつけたものをパケットと呼ぶ。パケットヘッダには、当該パケットに含まれる符号に関する情報が含まれ、各パケットは独立に扱うことができる。いわばパケットは符号の単位である。

また、マスクＱ、第２マスクＶについては公知の技術であるＭＭＲ（Modified Modified READ）で符号化する（ステップＳ２８）。また、第２背景ＷをＪＰＭで符号化する（ステップＳ３０）。そして、パケット生成部１４が、全ての符号化を結合してパケットを生成する。そして、パケット生成部１４は、パケットを並べて符号を形成する（図３９、図４０参照）。また、パケット生成部１４は、サブバンド毎に上位ビットプレーンから（必要な）下位ビットプレーンまでをビットプレーン符号化してもよい。パケット生成部１４は、必要な符号をまとめ、パケットを生成する。そして、パケット生成部１４は、全てのプリンシクト（全てのコードブロック＝全てのサブバンド）に関してパケットを並べて符号を生成する。

このように、本実施形態１では、非絵柄部色画像の高周波成分の量子化の程度を、絵柄部画像の高周波数成分の量子化の程度よりも弱くすることで、第２の手法を用いたとしても、復号化した場合に、特定画像が、文字画像（文字画素）に混ざらなくなる。
［実施形態２］
実施形態２では、ＤＣレベルシフト部４内の輝度色差変換部が、絵柄部画像Ｒ、非絵柄部色画像Ｐ'を輝度・色差変換して、前記絵柄部画像の輝度Ｙ_Ｒおよび色差Ｃ_Ｒ、および非絵柄部色画像Ｐの輝度Ｙ_Ｐおよび色差Ｃ_Ｐを生成する。

通常符号化においては、輝度・色差変換を行い、輝度毎、色差毎に量子化を行う。通常の自然画においては、色よりも輝度に敏感な人間の視覚特性を反映して、
輝度の量子化の程度 ＜＜ 色差の量子化の程度
とするのが一般的である。

しかし、輝度の量子化の程度 ＜ 色差の量子化の程度
あるいは 輝度の量子化の程度 ≒ 色差の量子化の程度
のように、自然画像ではあっても、ＭＲＣの前景Ｐ'の輝度と色差の量子化の割合（色差の量子化の程度／輝度の量子化の程度）を、背景Ｒのそれとは変えることが望ましい。

従って、実施形態２では、非絵柄部色画像Ｐ’の、色差の量子化の程度／輝度の量子化の程度を、絵柄部画像の、色差の量子化の程度／輝度の量子化の程度よりも小さくする。このようにすることで、実施形態１と同様の効果を得ることができる。

また、図２７の縦軸に、図２５記載の前景Ｐ'の色差Ｃｂの量子化のステップ数／輝度Ｙの量子化のステップ数（実線で示し、以下、「前景Ｐ'の色差Ｃｂの比」という。）と、図２６記載の背景Ｒの色差Ｃｂの量子化のステップ数／輝度Ｙの量子化のステップ数（破線で示し、以下、「背景Ｒの色差Ｃｂの比」という。）とを示す。破線、実線については以下も同様である。また、「色差の量子化の程度（量子化ステップ数）の輝度の量子化の程度（量子化ステップ数）に対する割合」を「色差Ｃｂ（またはＣｒ）の量子化のステップ数／輝度Ｙの量子化のステップ数」と示す。

また、図２８の縦軸に、図２５記載の前景Ｐ'の色差Ｃｒの量子化のステップ数／輝度Ｙの量子化のステップ数（実線で示し、以下、「前景Ｐ'の色差Ｃｒの比」という。）と、図２６記載の背景Ｒの色差Ｃｒの量子化のステップ数／輝度Ｙの量子化のステップ数（破線で示し、「以下、背景Ｒの色差Ｃｒの比」という。））とを示す。なお、図２７、図２８ともに横軸は、周波数帯である。該周波数帯において、２ＬＬは、全ての比は最も低意周波数体であり、２ＨＬと２ＬＨでは同一の周波数帯であり、１ＨＨ最も高い周波数帯である。

このように、実施形態２では、非絵柄部色画像Ｒの、色差の量子化の程度／輝度の量子化の程度を、絵柄部画像の、色差の量子化の程度／輝度の量子化の程度よりも、（２ＬＬを除き、）小さくする。

ここで、「２ＬＬを除き」としたのは、２ＬＬの実質的な量子化ステップ数は、輝度、色差ともに、１とすることが多いからである。つまり、大小関係の比較において、２ＬＬは除外すべきケースが多いということである。
［実施形態３］
本実施形態３の符号化装置では、非絵柄部色画像Ｐ'（前景Ｐ'）の輝度Ｙの高周波成分を最も量子化し、絵柄部画像の色差の高周波成分を最も量子化する。これにより、更に、符号量を少なく符号化できる。また、この実施形態３の符号化装置では、上記第１の手法、第２の手法のうちどちらを用いても良い。

まず、「非絵柄部色画像Ｐ'（前景Ｐ'）の輝度Ｙの高周波成分を最も量子化する」ことについて、理由を説明する。非絵柄部色画像Ｐ'は、「色」を表す画像である。従って、非絵柄部色画像Ｐ'の色差を残すべく、輝度Ｙを最も量子化する。また、輝度Ｙの高周波成分を最も量子化することで、色差が多く残ることは、経験的に知られていることである。

また、「絵柄部画像の色差の高周波成分を最も量子化する」ことについて、理由を説明する。上述のように、人間は、色よりも輝度に敏感である。従って、絵柄部画像の色差の高周波成分を最も量子化する。
［具体例１］
実施形態１、２を実現するための具体例を説明する。具体例１として、図８に示す符号化装置に、重み付け部１６を更に設ける。具体例１では、重み付け係数を用いる。この具体例１ではＶｉｓｕａｌ Ｄｉｓｔａｎｃｅを用いる。Ｖｉｓｕａｌ Ｄｉｓｔａｎｃｅについては後述する。

上述したウェーブレット変換のサブバンドの帯域は、画像自体の帯域から算出されるものである。しかし、画像までのＶｉｓｕａｌ ｄｉｓｔａｎｃｅが近いほど高周波の誤差までが目に付き、Ｖｉｓｕａｌ ｄｉｓｔａｎｃｅが遠ければ低周波の誤差しか目に付かないことから、観察者の目にとってのサブバンドの帯域は、画像と観察者のＶｉｓｕａｌ ｄｉｓｔａｎｃｅの関数（例えば、１次関数）となる。このため重み付け係数は、上述のＶｉｓｕａｌ ｄｉｓｔａｎｃｅごとに示されており、Ｖｉｓｕａｌ ｄｉｓｔａｎｃｅが遠いほど、低周波よりも高周波の重要度が小さく、かつ輝度成分よりも色差成分の重要度が小さくなるように設定されている。

また、本具体例１の周波数変換部８は、入力された信号に対して、周波数変換によりサブバンドごとに分割する。そして、重み付け部１６は、サブバンドごとの前記量子化の程度に対して重み付け係数を算出し、該重み付け係数で重み付けを行う。重み付け係数の算出に際しては、非絵柄部色画像のＶｉｓｕａｌ Ｄｉｓｔａｎｃｅ＜絵柄部画像のＶｉｓｕａｌ Ｄｉｓｔａｎｃｅとする。重み付け係数の算出については、［具体例２］で説明する。

具体的な数値を用いて、具体例１を説明する。図２９に、変形例１の非絵柄部色画像Ｐ'の実質的な量子化ステップ数を示す。また、図２９に示す値は、これは上記式（７）において、Ｖｉｓｕａｌ ｄｉｓｔａｎｃｅ８００のVisual Weightを各周波数・コンポ−ネントについて適用し、かつｎ＝64としたものである。実施形態１で説明したとおり、図２６、図２９に示す値は、非絵柄部色画像の高周波成分の量子化ステップ数を、絵柄部画像の高周波数成分の量子化ステップ数よりも弱くしている。なお、図３０に、輝度について、前景Ｐ'、背景Ｑの実質的な量子化ステップ数を比較したものを示す。なお、図３０では、背景Ｑを破線で示し、前景Ｐを実線で示す。

同様に、図２７、図３０、に示した前景Ｐ'、背景Ｑの実質的な量子化ステップ数を、周波数毎に、色差Ｃｂ/輝度Ｙ、色差Ｃｒ/輝度Ｙの比として表したものが、図３１、３２である。実施形態２で説明したように、図３１から明らかなように、「色差の実質的な量子化ステップ数/輝度の実質的な量子化ステップ数」は、（２ＬＬを除き）前景Ｐ'の方が背景Ｑより小さい。また、図３２においても、１ＨＨを除いて「色差の実質的な量子化ステップ数/輝度の実質的な量子化ステップ数」は、（ＬＬを除き）前景Ｐ'の方が背景Ｑより小さい。図３２においては、前記「１ＨＨを除いて」と記載したが、全ての周波数で比較すれば明らかなように、平均的には「色差の実質的な量子化ステップ数/輝度の実質的な量子化ステップ数」は、（LLを除き）前景２の方が前景１より小さい（実施形態２で説明）。

また、図２６のＶｉｓｕａｌ ｄｉｓｔａｎｃｅは１０００、図２９のＶｉｓｕａｌ ｄｉｓｔａｎｃｅは、８００である。従って、本変形例１の値である。
［具体例２］
この具体例２では、実施形態１、２を実現するために、ＶｉｓｕａｌＷｅｉｇｈｔを用いた具体例２を説明する。ＶｉｓｕａｌＷｅｉｇｈｔ、および具体例１で説明したＶｉｓｕａｌ Ｄｉｓｔａｎｃｅについて説明する。
＜１＞Ｃｏｎｔｒａｓｔ Ｓｅｎｓｉｔｉｖｉｔｙ Ｆｕｎｃｔｉｏｎ(ＣＳＦ)とその式
Ｖｉｓｕａｌ Ｗｅｉｇｈｔの算出に先立ち、まずＣｏｎｔｒａｓｔ Ｓｅｎｓｉｔｉｖｉｔｙ Ｆｕｎｃｔｉｏｎ(ＣＳＦ)とその式について説明する。後述するが、Ｖｉｓｕａｌ Ｗｅｉｇｈｔは、所定帯域におけるＣＳＦの積分値として求められるからである。ＣＳＦとは、所定Ｖｉｓｕａｌ ｄｉｓｔａｎｃｅにおいて所定空間周波数のラインペア（縞）を観察した場合に、観察者が判別できる濃淡の差/和（＝コントラスト）の逆数を示したものであり、実験で求められるものである。そして、一般的に、人間は高周波ほどコントラストを判別しにくい。

コントラストを「原画と圧縮伸張後の画像の差」と考えた場合、ＣＳＦは「各周波数で、原画と圧縮後の画像の濃淡差がこれ以下なら判別できない」という限界を示したものである。そして、ウェーブレット係数が原画像のコントラストを概ね反映することから、ＣＳＦは「各周波数(＝各サブバンド)で、原画と圧縮後の画像のウェーブレット係数の差がこれ以下なら、その係数が反映する原画と伸張後の画像の差も判別できない」という限界を示す指標と解釈されている。したがって、ウェーブレット係数を「ＣＳＦの逆数の２倍以下」で量子化すれば、各係数に生じる量子化誤差はＣＳＦの逆数以下になるので、画質劣化が認識されないはず、というのが一般的である。
＜２＞ＶｉｓｕａｌＷｅｉｇｈｔの算出方法について、
ＣＳＦは「各周波数におけるウェーブレット係数の許容量子化誤差量」であるため、例えば垂直方向に１回デコンポジションして得られる１Ｈサブバンドの許容量子化量を考えるとする。１Ｈサブバンドは、ハイパスのウェーブレットフィルタが通過させた、ある周波数以上の周波数を広く含むが、どの周波数でのＣＳＦの値を採用すればいいかに関しては、簡易に以下のように考える。

まず、原画像の解像度がd [dpi]で、これを距離v [inch]から観察した場合の空間周波数fの近似式は、
ｆ ＝ ｖ・ｄ・ｔａｎ(π／３６０) （８）
であり、これが原画像が含みうる最大の周波数である。

ここで上記式（８）の右辺中のｖ・ｄがＶｉｓｕａｌ Ｄｉｓｔａｎｃｅ(日本語だと、Ｖｉｓｕａｌ ｄｉｓｔａｎｃｅ)である。Ｖｉｓｕａｌ Ｄｉｓｔａｎｃｅは、本来は被験者の実際のＶｉｓｕａｌ ｄｉｓｔａｎｃｅから算出されるもので、後述の通り「そのＶｉｓｕａｌ ｄｉｓｔａｎｃｅにおいて通常の自然画像を観察した場合に、最も画質がよく感じられる量子化パラメータを算出するため」に使用される。

ただし、Ｖｉｓｕａｌ Ｄｉｓｔａｎｃｅとして実際のＶｉｓｕａｌ ｄｉｓｔａｎｃｅ以外の値を用いると、「そのＶｉｓｕａｌ ｄｉｓｔａｎｃｅではない距離において通常の自然画像を観察した場合に、最も画質がよく感じられる量子化パラメータ」や「そのＶｉｓｕａｌ ｄｉｓｔａｎｃｅにおいて通常の自然画像ではない画像(ｅｘ．ＭＲＣの前景)を観察した場合に、最も画質がよく感じられる量子化パラメータ」を得ることが可能となる。本願では、後者のパラメータを算出するために、Ｖｉｓｕａｌ Ｄｉｓｔａｎｃｅとして実際のＶｉｓｕａｌ ｄｉｓｔａｎｃｅ以外の値を用いることがある。

さて、先の通り、原画像が含みうる最大の空間周波数ｆｍａｘは、
ｆ ｍａｘ＝ ｖ・ｄ・ｔａｎ(π／３６０) （９）
であり、通常のウェーブレット変換では1回のデコンポジション毎に１／２にサブサンプリングされるため、デコンポジションレベル毎に空間周波数の最大値は半分になる。

そこで、ウェーブレットフィルタを理想的なハイパスフィルタおよびローパスフィルタであると見なし、０≦ｆ≦ｆｍａｘの帯域が、1回のデコンポジションで０≦ｆ＜ｆｍａｘ／２とｆｍａｘ／２≦ｆ≦ｆｍａｘに二分されると仮定する。つまり、１H係数の帯域はｆｍａｘ／２≦ｆ≦ｆｍａｘ、１L係数の帯域は０≦ｆ＜ｆｍａｘ／２と見なす。

よって、１H係数のｃｓｆとしては、帯域ｆｍａｘ／２≦ｆ≦ｆｍａｘにおけるＣＳＦの平均値を用い、１L係数のＣＳＦとしては、帯域０≦ｆ＜ｆｍａｘ／２におけるＣＳＦの平均値を用いる。そして、シーケンシャルに連結した線形フィルタの特性が個々のフィルタの特性の積で表わされることを根拠に、１ＬＨ係数のＣＳＦとしては、帯域ｆｍａｘ／２≦ｆ≦ｆｍａｘにおける平均値と、帯域０≦ｆ＜ｆｍａｘ／２における平均値の積を用いる。

ここで平均値とは、各帯域内におけるＣＳＦの積分を、積分区間の幅で割ったものである。

よって、各サブバンドに対して適用すべきＣＳＦの値は、次式で算出され、これがＪＰＥＧ２０００においてＶｉｓｕａｌ Ｗｅｉｇｈｔ（あるいはＣＳＦｗｅｉｇｈｔ）と呼ばれるものである。

ｈはｈｏｒｉｚｏｎｔａｌ、ｖはｖｅｒｔｉｃａｌでＷｈは水平方向の区間の積分, Ｗｖは垂直方向の区間の積分である。またＷ(ｆ) は、最大値を1に正規化したＣＳＦであり、Ｙ，Ｃｂ，Ｃｒの各コンポ−ネント毎に１に正規化したものを用いる左辺のｗは、ＶｉｓｕａｌＷｅｉｇｈｔを示す。

そして、非絵柄部色画像に対しては、ＶｉｓｕａｌＷｅｉｇｈｔを適用せず、前記絵柄部画像に対しては、前記絵柄部画像に対しては、ＶｉｓｕａｌＷｅｉｇｈｔを適用する。このように、ＶｉｓｕａｌＷｅｉｇｈｔを用いることで実施形態１、２は実現される。
［変形例１］
変形例１について説明する。図９中のステップＳ１６、ステップＳ２２において、背景Ｒ、前景Ｐ'のウェーブレット変換を９＊７フィルタを用いて、行う場合を説明する。この場合には、図２４と図２６に示す値を用いて、上記式（７）によって、正規化を含めた量子化ステップ数を算出し、周波数係数の量子化を行う。ただし本変形例２の場合は、量子化後の係数の全ビットプレーンを符号化するのではなく、図３３に示した数の下位サブビットプレーンの符号化を行わないようにする。ここで図３３中のｔは任意の整数であり、ｔの大小によって、符号量自体を選択することができる。

上述したように、量子化後の係数は（ビットプレーン１枚あたりの）数学的な誤差が正規化され、かつ視覚的な重みも反映されたものであるから、全ての周波数において、同じ数の枚数だけのサブビットプレーンの符号を省略すれば、バランスがとれた主観画質が得られる。ただし本例においては、あくまでＬＬのサブビットプレーンは全て符号化することにする。
［変形例２］
次に変形例２について説明する。変形例２では、背景Ｒのウェーブレット変換を５＊３フィルタを用いて、行う場合を説明する。下位ビットプレーンの符号化の省略によって量子化を行う例である。
図３４は、５＊３フィルタを用いて、ウェーブレット変換の周波数ゲインの平方根である。また、図３５は、変形例２における、可逆色変換(RCT)のゲインの平方根である。上述したとおり、周波数ごとの係数を「周波数変換ゲイン×色変換ゲイン」の平方根の逆数（図３６に示す）で除算しておけば、各係数に生じた量子化誤差の影響を、周波数間かつコンポ−ネント間で均等にすることができるが、本例では線形量子化を用いずに、下位ビットプレーンの符号化の省略によって量子化を行う。つまり、式（７）を用いて、図３６の定数倍の値に、さらにVisual Weightを反映し、これを２のべき乗に変換した場合の指数（ただし整数に近似した値）として、符号化を省略するビットプレーン数を算出する。

以上より図３７は、変形例２における、前景Ｐ'のため符号化しないビットプレーン数である。これは式（６）において、Ｖｉｓｕａｌ Ｗｅｉｇｈｔを各周波数・コンポ−ネントについて１とし（＝Ｖｉｓｕａｌ Ｗｅｉｇｈｔを適用せずに）、かつｎ＝６４として、２のべき乗に変換した場合の指数として算出したものである。

一方、図３８は、本変形例３における背景Ｑのための実質的な量子化ステップ数である。これは式（６）において、Ｖｉｓｕａｌ ｄｉｓｔａｎｃｅ１０００のＶｉｓｕａｌ Ｗｅｉｇｈｔを各周波数・コンポ−ネントについて適用し、かつｎ＝６４として、２のべき乗に変換した場合の指数として算出したものである。尚、RCT用のＶｉｓｕａｌ Ｗｅｉｇｈｔは規定されていないため、本実施例ではＩＣＴ用のものを流用している。

尚、JPMにおける、背景に対する各レイアウトオブジェクトの配置や大きさの情報であるが、図３９の様に、レイアウトオブジェクトのIDや重ね順、縦横の画素数、背景に対する配置上のオフセットは、Layout Object Header Box に記載する。

また、各レイアウトオブジェクトを構成する前景、背景の配置や大きさの情報であるが、図４０の様に、背景に対する配置上のオフセットは、Object Header Box に記載する。各オブジェクトの画素数は、各オブジェクトの符号中に記載する。

また、以上の実施例ではファイルフォーマットとしてＪＰＭを用いたが、ＭＲＣタイプであれば何でも良く、ＭＲＣタイプのＰＤＦもその範疇である。

また以上の実施例では、周波数変換にウェーブレット変換を用いたが、これに限定されるものではなく、離散コサイン変換に代表される他の周波数変換の適用が可能なことは明らかである。また、本願請求項における「高周波成分」とは、最も周波数の高い帯域(の係数)だけを指す場合と、少なくとも最も周波数の高い帯域（の係数）を含み最も低域の帯域(の係数)は含まない場合、の２通りが考えられる。
［プログラム］
図４１に、本発明による状態通知装置の主要構成を示すハードウェア構成図である。状態通知装置は、主要な構成として、ＣＰＵ１０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）１０２、補助記憶部２０４、外部記憶装置Ｉ／Ｆ部２０５、入力部２０６、表示部２０７、及び通信装置２０８を含む構成である。

ＣＰＵ２０１は、マイクロプロセッサ及びその周辺回路から構成され、状態通知装置全体を制御する回路である。また、ＲＯＭ２０２は、ＣＰＵ２で実行される所定の制御プログラム（ソフトウェア部品）を格納するメモリであり、ＲＡＭ２０３は、ＣＰＵ２０１がＲＯＭ２０２に格納された所定の制御プログラム（ソフトウェア部品）を実行して各種の制御を行うときの作業エリア（ワーク領域）として使用するメモリである。

補助記憶部２０４は、汎用のＯＳ（Operating System）、本発明によるプロジェクト管理プログラム、タスク情報などのプロジェクトに関する情報を含む各種情報を格納する装置であり、不揮発性の記憶装置であるＨＤＤ（Hard Disk Drive）などが用いられる。なお、上記各種情報は、補助記憶装置２０４以外にも、ＣＤ−ＲＯＭ（Compact Disk - ROM）やＤＶＤ（Digital Versatile Disk）などの記憶媒体やその他のメディアを記憶されてもよく、これらの記憶媒体に格納された各種情報は、記憶媒体読取装置２０５などのドライブ装置を介して読み取ることが可能である。よって、必要に応じて記録媒体５１５を記憶媒体読取装置２０５にセットすることで、各種情報が得られる。

入力装置２０６は、ユーザが各種入力操作を行うための装置である。入力装置２０６は、マウス、キーボード、表示装置２０７の表示画面上に重畳するように設けられたタッチパネルスイッチなどを含む。

表示部２０は、プロジェクト管理に係る各種データを表示画面に表示する装置である。例えば、ＬＣＤ(Liquid Crystal Display)、ＣＲＴ(Cathode Ray Tube)などから構成される。

２・・・分解部
４・・・ＤＣレベルシフト部
８・・・周波数変換部
１０・・・量子化部
１２・・・符号化部
１４・・・パケット生成部

Ｈ１１−１７７９７７号公報 ２００７−００５８４４号公報

Claims (8)

1. 原画像から、該原画像の絵柄が表示される絵柄部画像と、該原画像の非絵柄の色画像および該非絵柄の色画像以外の位置に占める特定画像が表示される非絵柄部色画像と、前記非絵柄の形状が表示されるマスク画像と、を生成する生成部と、
   前記絵柄部画像および前記非絵柄部色画像を周波数変換する周波数変換部と、
   前記周波数変換部により得られた前記絵柄部画像の周波数係数および前記非絵柄部色画像の周波数係数を量子化する量子化部と、
   前記量子化された前記絵柄部画像の周波数係数および前記非絵柄部色画像の周波数係数を符号化する符号化部とを、有し、
   前記量子化は、周波数ゲインのための正規化のための量子化を除き、
   前記非絵柄部色画像の高周波帯域の周波数係数の量子化ステップ数を、前記絵柄部画像の高周波帯域の周波数係数の量子化ステップ数よりも小さくすることを特徴とする符号化装置。
2. 原画像から、該原画像の絵柄が表示される絵柄部画像と、該原画像の非絵柄の色画像および該非絵柄の色画像以外の位置に占める特定画像が表示される非絵柄部色画像と、前記非絵柄の形状が表示されるマスク画像と、を生成する生成部と、
   前記絵柄部画像、前記非絵柄部色画像を輝度・色差変換して、前記絵柄部画像の輝度および色差、並びに、前記非絵柄部色画像の輝度および色差を生成する輝度・色差変換部と、
   前記絵柄部画像の輝度および色差、並びに、前記非絵柄部色画像の輝度および色差を周波数変換する周波数変換部と、
   前記周波数変換部により得られた前記絵柄部画像の輝度および色差の周波数係数、並びに、前記非絵柄部色画像の輝度および色差の周波数係数を量子化する量子化部と、
   前記量子化された絵柄部画像の輝度および色差の周波数係数、並びに、前記量子化された非絵柄部色画像の輝度および色差の周波数係数を符号化する符号化部と、を有し、
   前記量子化は、周波数ゲインのための正規化のための量子化および輝度・色差変換ゲインの正規化のための量子化を除き、
   前記非絵柄部色画像の、色差の量子化ステップ数／輝度の量子化ステップ数を、前記絵柄部画像の、色差の量子化ステップ数／輝度の量子化ステップ数よりも小さくすることを特徴とする符号化装置。
3. 原画像から、該原画像の絵柄が表示される絵柄部画像と、該原画像の非絵柄の色画像が表示される非絵柄部色画像と、前記非絵柄の形状が表示されるマスク画像と、を生成する生成部と、
   前記絵柄部画像、前記非絵柄部色画像を輝度・色差変換して、前記絵柄部画像の輝度および色差、並びに、前記非絵柄部色画像の輝度および色差を生成する輝度・色差変換部と、
   前記絵柄部画像の輝度および色差、並びに、前記非絵柄部色画像の輝度および色差を周波数変換する周波数変換部と、
   前記周波数変換部により得られた周波数変換後の前記絵柄部画像の輝度および色差の周波数係数、並びに、前記非絵柄部色画像の輝度および色差の周波数係数を量子化する量子化部と、
   前記量子化された絵柄部画像の輝度および色差の周波数係数、並びに、前記非絵柄部色画像の輝度および色差の周波数係数を符号化する符号化部と、を有し、
   前記量子化は、周波数ゲインのための正規化のための量子化および輝度・色差変換ゲインの正規化のための量子化を除き、
   前記非絵柄部色画像の輝度の高周波帯域の周波数係数を最も量子化し、前記絵柄部画像の色差の高周波帯域の周波数係数を最も量子化することを特徴とする符号化装置。
4. 前記量子化部は、周波数係数の下位ビットの破棄を行うことを特徴とする請求項１〜３何れかに記載の符号化装置。
5. 前記周波数変換部は、周波数変換によりサブバンドごとに分割し、
   前記サブバンドごとの前記量子化に対する重み付け係数を算出し、該重み付け係数で重み付けを行う重み付け部を有し、
   前記重み付け部は、重み付け係数の算出に際して、前記非絵柄部色画像のＶｉｓｕａｌ Ｄｉｓｔａｎｃｅ＜前記絵柄部画像のＶｉｓｕａｌ Ｄｉｓｔａｎｃｅとすることを特徴とする請求項１〜４何れかに記載の符号化装置。
6. 前記符号化部は、ＪＰＥＧ２０００方式を採用しており、
   前記非絵柄部色画像に対しては、ＶｉｓｕａｌＷｅｉｇｈｔを適用せず、前記絵柄部画像に対しては、ＶｉｓｕａｌＷｅｉｇｈｔを適用することを特徴とする請求項１〜５何れかに記載の符号化装置。
7. コンピュータを請求項１〜６何れかに記載の符号化装置として機能させるためのプログラム。
8. 請求項７記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。