JP5267252B2 - 画像符号化装置、画像符号化方法、画像符号化用記録媒体、画像符号化用プログラム - Google Patents

Description

本発明は、ＭＲＣ（ミクストラスターコンテント）モデルにおける前景画像を高速にして最適に符号化する画像符号化装置、画像符号化方法、画像符号化用記録媒体、画像符号化用プログラムに関する。

従来、ＭＲＣモデルに関連する技術としては、例えば高圧縮率時の文字・線画の劣化防止を図るため、画像データを第１の画像データ、第２の画像データ、及び第１の画像データ及び第２の画像データの何れかを選択する選択データの３つのデータに分離し、それぞれ符号化した圧縮データを入力して画像を合成復元する画像処理装置（特許文献１参照）や、ＭＲＣにおいてマスクを分割し、部分画像へのアクセス性を向上させるためのＪＰＭ符号化データを生成する符号化処理装置、符号化処理方法、プログラム及び情報記録媒体（特許文献２参照）等が挙げられる。

上述した特許文献１にはＭＲＣモデルの基本構成が開示され、特許文献２にはＭＲＣにおいてマスクを分割して部分画像へのアクセス性を向上させる技術が開示されており、これらのＭＲＣモデルで符号化する場合には、一般に高圧縮率化のために前景画像や背景画像を高い圧縮率(例えば１／４０)で圧縮するが、こうした高い圧縮率下では量子化の巧拙が画質に大きく影響するため、前景画像や背景画像を圧縮する際に適用する量子化は、最適化されている必要がある。

ここで、ＭＲＣ符号の作成法としては、前景画像を減色し、前景画像を数色（極端な場合には一色）で表現する方法が典型的である。こうした減色を用いれば、前景画像は人工画像的になり、人工画像用の符号化方式を用いて高い圧縮率を得ることができる。

しかしながら、減色を行う方式は、減色のための処理時間を要し、しかも減色のための画質劣化を生じる。この減色による画質劣化を防ぐためには、一色で表現する領域を狭くする必要があるが、そのためには前景画像を多くの部分画像に分割する必要が生じ、何れにしても処理時間が必要となる（そもそもＭＲＣモデルでは、前景画像・背景画像の生成のために多くの処理時間を必要とするため、符号化にかける時間は極力少なくしたいという事情がある）。また、前景画像と背景画像との分離を完全に行うことは困難であり、本来背景画像であるべき部分が前景画像として分離された場合、これが減色されてしまうと、画像欠陥として認識されてしまうという問題もある。

したがって、ＭＲＣ符号を高速に作成しようと思えば、前景画像を余り減色・分割することなく、高速にして高い圧縮率で符号化できる手法が必要である。前景画像の減色を省略する場合には、スキャンによってノイズが重畳された状態の前景画像を圧縮する必要があるため、人工画像用の符号化方式で高い圧縮率を得ることはできない。それ故、減色を省略して高い圧縮率を得るためには、前景画像・背景画像の両方に周波数変換を利用した方式（自然画像用の符号化方式）を適用することになる。

ところが、減色を行わない以上、前景画像の量子化については最適化を行いたいところであるが、減色を行わない理由が高速化処理であるため、最適化に余り処理時間をかけることはできない。例えば画像の特徴量や内容を解析し、それに応じて符号化方式や量子化方式を選択する手法は知られているが、こうした解析は一般に処理量が多く、採用することは困難である。

要するに、上述したＭＲＣモデルに係る特許文献１や特許文献２に開示された技術では、前景画像を高速にして最適に符号化して画質向上できるものでないという問題がある。

本発明は、このような問題点を解決すべくなされたもので、その技術的課題（目的）は、ＭＲＣモデルにおける前景画像を高速にして最適に符号化して画質向上できる画像符号化装置、画像符号化方法、画像符号化用記録媒体、画像符号化用プログラムを提供することにある。

本発明は、上記技術的課題を解決したものであり、請求項１に係る発明は、カラーの入力画像から絵柄部画像である第１の画像、非絵柄部の色を表わす画像である第２の画像、及び当該非絵柄部の形状を表わす画像である第３の画像を生成する画像生成手段と、前記画像生成手段で生成した前記第１の画像乃至前記第３の画像を個別に符号化する画像符号化手段と、を備えた画像符号化装置であって、前記画像符号化手段は、前記第１の画像及び前記第２の画像を周波数変換して符号化する周波数変換符号化手段を有し、前記周波数変換符号化手段は、前記第２の画像における高周波成分の量子化の程度を、前記第１の画像における高周波成分の量子化の程度よりも強くすることを特徴とする。

請求項２に係る発明は、カラーの入力画像から絵柄部画像である第１の画像、非絵柄部の色を表わす画像である第２の画像、及び当該非絵柄部の形状を表わす画像である第３の画像を生成する画像生成手段と、前記画像生成手段で生成した前記第１の画像乃至前記第３の画像を個別に符号化する画像符号化手段と、を備えた画像符号化装置であって、前記画像符号化手段は、前記第１の画像及び前記第２の画像を輝度・色差変換して符号化する輝度・色差変換符号化手段を有し、前記輝度・色差変換符号化手段は、前記第２の画像における輝度の量子化の程度に対する色差成分の量子化の程度を、前記第１の画像における輝度の量子化の程度に対する色差成分の量子化の程度よりも小さくすることを特徴とする。

請求項３に係る発明は、カラーの入力画像から絵柄部画像である第１の画像、非絵柄部の色を表わす画像である第２の画像、及び当該非絵柄部の形状を表わす画像である第３の画像を生成する画像生成手段と、前記画像生成手段で生成した前記第１の画像乃至前記第３の画像を個別に符号化する画像符号化手段と、を備えた画像符号化装置であって、前記画像符号化手段は、前記第１の画像及び前記第２の画像を輝度・色差変換して符号化する輝度・色差変換符号化手段を有し、前記輝度・色差変換符号化手段は、前記第２の画像における輝度の高周波成分を最も量子化すると共に、前記第１の画像における色差の高周波成分を最も量子化することを特徴とする。

請求項４に係る発明は、上記請求項１〜３の何れか１項に記載の画像符号化装置において、前記画像符号化手段は、前記量子化の処理を周波数係数の量子化、周波数係数の下位ビットの破棄、当該量子化及び当該破棄の組合せの何れかにより行うことを特徴とする。請求項４に係る発明によれば、ＭＲＣにおける画像の機能を周波数成分及び輝度・色差成分の両方に反映する場合において、具体的な量子化を実現することができる。

請求項５に係る発明は、カラーの入力画像から絵柄部画像である第１の画像、非絵柄部の色を表わす画像である第２の画像、及び当該非絵柄部の形状を表わす画像である第３の画像を生成する画像生成ステップと、前記画像生成ステップで生成した前記第１の画像乃至前記第３の画像を個別に符号化する画像符号化ステップと、を有する画像符号化方法であって、前記画像符号化ステップは、前記第１の画像及び前記第２の画像を周波数変換して符号化し、当該第２の画像における高周波成分の量子化の程度を、当該第１の画像における高周波成分の量子化の程度よりも強くする周波数変換符号化ステップを有することを特徴とする。

請求項６に係る発明は、カラーの入力画像から絵柄部画像である第１の画像、非絵柄部の色を表わす画像である第２の画像、及び当該非絵柄部の形状を表わす画像である第３の画像を生成する画像生成ステップと、前記画像生成ステップで生成した前記第１の画像乃至前記第３の画像を個別に符号化する画像符号化ステップと、を有する画像符号化方法であって、前記画像符号化ステップは、前記第１の画像及び前記第２の画像を輝度・色差変換して符号化し、当該第２の画像における輝度の量子化の程度に対する色差成分の量子化の程度を、当該第１の画像における輝度の量子化の程度に対する色差成分の量子化の程度よりも小さくする輝度・色差変換符号化ステップを有することを特徴とする。

請求項７に係る発明は、カラーの入力画像から絵柄部画像である第１の画像、非絵柄部の色を表わす画像である第２の画像、及び当該非絵柄部の形状を表わす画像である第３の画像を生成する画像生成ステップと、前記画像生成ステップで生成した前記第１の画像乃至前記第３の画像を個別に符号化する画像符号化ステップと、を有する画像符号化方法であって、前記画像符号化ステップは、前記第１の画像及び前記第２の画像を輝度・色差変換して符号化し、当該第２の画像における輝度の高周波成分を最も量子化すると共に、当該第１の画像における色差の高周波成分を最も量子化する輝度・色差変換符号化ステップを有することを特徴とする。

請求項８に係る発明は、上記請求項５〜７の何れか１項に記載の画像符号化方法において、前記画像符号化ステップは、前記量子化を周波数係数の量子化、周波数係数の下位ビットの破棄、当該量子化及び当該破棄の組合せの何れかにより行うことを特徴とする。

請求項９に係る発明は、カラーの入力画像から絵柄部画像である第１の画像、非絵柄部の色を表わす画像である第２の画像、及び当該非絵柄部の形状を表わす画像である第３の画像を生成する画像生成ステップの処理情報と、前記画像生成ステップで生成した前記第１の画像乃至前記第３の画像を個別に符号化する画像符号化ステップの処理情報と、を記録した画像符号化用記録媒体であって、前記画像符号化ステップの処理情報は、前記第１の画像及び前記第２の画像を周波数変換して符号化し、当該第２の画像における高周波成分の量子化の程度を、当該第１の画像における高周波成分の量子化の程度よりも強くする周波数変換符号化ステップの処理情報と、前記第１の画像及び前記第２の画像を輝度・色差変換して符号化し、当該第２の画像における輝度の量子化の程度に対する色差成分の量子化量の程度を、当該第１の画像における輝度の量子化の程度に対する色差成分の量子化量の程度よりも小さくする第１の輝度・色差変換符号化ステップの処理情報と、前記第１の画像及び前記第２の画像を輝度・色差変換して符号化し、当該第２の画像における輝度の高周波成分を最も量子化すると共に、当該第１の画像における色差の高周波成分を最も量子化する第２の輝度・色差変換符号化ステップの処理情報との少なくとも１つを有することを特徴とする。

請求項１０に係る発明は、上記請求項９記載の画像符号化用記録媒体において、前記画像符号化ステップの処理情報は、前記量子化を周波数係数の量子化、周波数係数の下位ビットの破棄、当該量子化及び当該破棄の組合せの何れかにより行う指示情報を含むことを特徴とする。

請求項１１に係る発明は、カラーの入力画像から絵柄部画像である第１の画像、非絵柄部の色を表わす画像である第２の画像、及び当該非絵柄部の形状を表わす画像である第３の画像を生成する画像生成ステップの処理情報と、前記画像生成ステップで生成した前記第１の画像乃至前記第３の画像を個別に符号化する画像符号化ステップの処理情報と、を有すると共に、情報処理装置に実行させるための画像符号化用プログラムであって、前記画像符号化ステップの処理情報は、前記第１の画像及び前記第２の画像を周波数変換して符号化し、当該第２の画像における高周波成分の量子化の程度を、当該第１の画像における高周波成分の量子化の程度よりも強くする周波数変換符号化ステップの処理情報と、前記第１の画像及び前記第２の画像を輝度・色差変換して符号化し、当該第２の画像における輝度の量子化の程度に対する色差成分の量子化の程度を、当該第１の画像における輝度の量子化の程度に対する色差成分の量子化の程度よりも小さくする第１の輝度・色差変換符号化ステップの処理情報と、前記第１の画像及び前記第２の画像を輝度・色差変換して符号化し、当該第２の画像における輝度の高周波成分を最も量子化すると共に、当該第１の画像における色差の高周波成分を最も量子化する第２の輝度・色差変換符号化ステップの処理情報との少なくとも１つを有することを特徴とする。

請求項１２に係る発明は、上記請求項１１記載の画像符号化用プログラムにおいて、前記画像符号化ステップの処理情報は、前記量子化を周波数係数の量子化、周波数係数の下位ビットの破棄、当該量子化及び当該破棄の組合せの何れかにより行う指示情報を含むことを特徴とする。

請求項１又は５記載の発明の技術的要旨によれば、ＭＲＣにおける画像の機能を周波数成分の量子化に反映して符号化を行うことが可能となる。請求項２又は６記載の発明の技術的要旨によれば、ＭＲＣにおける画像の機能を輝度・色差成分の量子化に反映して符号化を行うことが可能となる。請求項３又は７記載の発明の技術的要旨によれば、ＭＲＣにおける画像の機能を周波数成分及び輝度・色差成分の両方に反映して符号化を行うことが可能となる。請求項４又は８記載の発明の技術的要旨によれば、ＭＲＣにおける画像の機能を周波数成分や輝度・色差成分、或いはそれらの両方に反映する場合の何れにおいても、具体的な量子化を実現することができる。請求項９又は１０記載の発明の技術的要旨によれば、上記効果を網羅した記録媒体を提供することができる。請求項１１又は１２記載の発明の技術的要旨によれば、上記効果を網羅したプログラムを提供することができる。

本発明の実施例１に係る画像符号化装置の基本構成を示したブロック図である。 ＪＰＥＧ２０００の符号化処理を説明するためのフローチャートである。 １６×１６の画像の輝度コンポ−ネントに対して、ウェーブレット変換を２次元で施す過程におけるＤＣレベルシフト後の原画像と座標系、ミラーリングを例示したものである。 図３の過程における垂直方向へのフィルタリング後の係数の配列を例示したものである。 図３の過程における水平方向へのフィルタリング後の係数の配列を例示したものである。 図３の過程における並べ替えた係数の配列を例示したものである。 図３の過程で説明したウェーブレット変換を２回施して並べ替えた係数の配列を例示したものである。 デコンポジションレベルと解像度レベルとの関係を例示したものである。 画像（タイル）、サブバンド、プリシンクト、コードブロックの関係を例示したものである。 本発明の実施例１の画像符号化装置によるＭＲＣモデルの概略構成を示したものである。 本発明の実施例１の画像符号化装置によるＭＲＣモデルの画像符号化の動作処理を示したフローチャートである。 図１１に示す画像符号化の動作処理で用いられるＳｏｂｅｌフィルタのＳｏｂｅｌオペレータとしての第１の重みマトリクスを例示したものである。 図１１に示す画像符号化の動作処理で用いられるＳｏｂｅｌフィルタのＳｏｂｅｌオペレータとしての第２の重みマトリクスを例示したものである。 図１１に示す画像符号化の動作処理で絵柄部画像の前景１を符号化するときのＹＣｂＣｒ信号に対する信号処理に係る符号化しない下位ビットプレーン数を例示したもので、（ａ）はＹ信号に関するもの、（ｂ）はＣｂ信号に関するもの、（ｃ）はＣｒ信号に関するものである。 図１１に示す画像符号化の動作処理で文字（線画）の色画像の前景２を第１の手法により符号化するときのＹＣｂＣｒ信号に対する信号処理に係る符号化しない下位ビットプレーン数を例示したもので、（ａ）はＹ信号に関するもの、（ｂ）はＣｂ信号に関するもの、（ｃ）はＣｒ信号に関するものである。 図１１に示す画像符号化の動作処理で文字（線画）の色画像の前景２を第２の手法により符号化するときのＹＣｂＣｒ信号に対する信号処理に係る符号化しない下位ビットプレーン数を例示したもので、（ａ）はＹ信号に関するもの、（ｂ）はＣｂ信号に関するもの、（ｃ）はＣｒ信号に関するものである。 図１１に示す画像符号化の動作処理で文字（線画）の色画像の前景２を第３の手法により符号化するときのＹＣｂＣｒ信号に対する信号処理に係る符号化しない下位ビットプレーン数を例示したもので、（ａ）はＹ信号に関するもの、（ｂ）はＣｂ信号に関するもの、（ｃ）はＣｒ信号に関するものである。 本発明の実施例２に係る画像符号化装置によるＭＲＣモデルの画像符号化の動作処理を示したフローチャートである。 一般的に適用される色画像を符号化するときのＹＣｂＣｒ信号に対する信号処理に係る視覚特性未考慮の量子化ステップ数（ＪＰＥＧ２０００の９×７フィルタと共に用いられる典型的なもの）を例示したもので、（ａ）はＹ信号に関するもの、（ｂ）はＣｂ信号に関するもの、（ｃ）はＣｒ信号に関するものである。 一般的に適用される色画像を符号化するときのＹＣｂＣｒ信号に対する信号処理に係る視覚感度（ＪＰＥＧ２０００の９×７フィルタと共に用いられる典型的なもの）を例示したもので、（ａ）はＹ信号に関するもの、（ｂ）はＣｂ信号に関するもの、（ｃ）はＣｒ信号に関するものである。 図１８に示す画像符号化の動作処理で絵柄部画像の前景１を符号化するときのＹＣｂＣｒ信号に対する信号処理に係る視覚特性考慮の量子化ステップ数（ＪＰＥＧ２０００の９×７フィルタと共に用いられる典型的なもの）を例示したもので、（ａ）はＹ信号に関するもの、（ｂ）はＣｂ信号に関するもの、（ｃ）はＣｒ信号に関するものである。 図１８に示す係る画像符号化の動作処理で文字（線画）の色画像の前景２を符号化するときのＹＣｂＣｒ信号に対する信号処理に係る視覚特性考慮の量子化ステップ数を例示したもので、（ａ）はＹ信号に関するもの、（ｂ）はＣｂ信号に関するもの、（ｃ）はＣｒ信号に関するものである。 本発明の実施例３に係る画像符号化装置によるＭＲＣモデルの画像符号化の動作処理を示したフローチャートである。

以下に、本発明の画像符号化装置、画像符号化方法、画像符号化用記録媒体、画像符号化用プログラムについて、図面を参照して詳細に説明する。

最初に、本発明の技術的な着眼点を説明する。本出願人は、減色を行わない前景画像を高速にして最適に符号化するに際し、ＭＲＣモデルの持つ構造・機能に着目し、前景画像に対して周波数変換と量子化を用いた符号化とを採用する場合、「前景画像は色」というレイヤ自体が持つ機能を考慮すると、画像の内容を解析することなしに係る機能の差を量子化に反映することができることを見い出した。これまでは、前景画像に対して係る機能を反映した量子化はなされていない。

技術的課題で説明したように、前景画像が持つ情報は色であって形状ではないが、色成分が主に画像の低周波成分であるのに対し、形状成分は画像の高周波成分（エッジ成分）である。即ち、前景画像においては、積極的に高周波、さらに言えば輝度の高周波を量子化すべきと考えられる。これに対して背景画像は、文字・線画を除いた絵柄部分であるから、ほぼ通常の自然画像に対する量子化が適用可能である。

そこで、本発明の画像符号化方法では、カラーの入力画像から絵柄部画像である第１の画像、非絵柄部の色を表わす画像である第２の画像、及び非絵柄部の形状を表わす画像である第３の画像を生成する画像生成ステップと、画像生成ステップで生成した第１の画像乃至第３の画像を個別に符号化する画像符号化ステップと、を有するものであって、画像符号化ステップは、第１の画像及び第２の画像を周波数変換して符号化し、第２の画像における高周波成分の量子化の程度を、第１の画像における高周波成分の量子化の程度よりも強くする周波数変換符号化ステップを有するものとする。この第１の画像符号化方法によれば、ＭＲＣにおける画像の機能を周波数成分の量子化に反映して符号化を行うことができる。

ところで、通常符号化においては、輝度・色差変換を行い、輝度毎、色差毎に量子化を行う。通常の自然画においては、色よりも輝度に敏感な人間の視覚特性を反映して、輝度の量子化の程度＜＜色差の量子化の程度とするのが一般的である。

しかしながら、ＭＲＣの前景画像においては、自然画像ではあっても、輝度の量子化の程度＜色差の量子化の程度、或いは輝度の量子化の程度≒色差の量子化の程度とする要件のように、輝度と色差の量子化の割合を背景画像のそれとは変えることが望ましい。

こうした点を考慮した第２の画像符号化方法は、第１の画像符号化方法の場合と同様な画像生成ステップ、画像符号化ステップを有するものであって、画像符号化ステップは、第１の画像及び第２の画像を輝度・色差変換して符号化し、第２の画像における輝度の量子化の程度に対する色差成分の量子化の程度（色差の量子化の程度／輝度の量子化の程度）を、第１の画像における輝度の量子化の程度に対する色差成分の量子化の程度よりも小さくする輝度・色差変換符号化ステップを有するものとする。この第２の画像符号化方法によれば、ＭＲＣにおける画像の機能を輝度・色差成分の量子化に反映して符号化を行うことができる。

更に、上述した論点により前景画像において最も量子化すべきは輝度の高周波成分であり、背景画像において最も量子化すべきは色差の高周波成分である。

こうした点を考慮した第３の画像符号化方法は、第１の画像符号化方法の場合と同様な画像生成ステップ、画像符号化ステップを有するものであって、画像符号化ステップは、第１の画像及び第２の画像を輝度・色差変換して符号化し、第２の画像における輝度の高周波成分を最も量子化すると共に、第１の画像における色差の高周波成分を最も量子化する輝度・色差変換符号化ステップを有するものとする。この第３の画像符号化方法によれば、ＭＲＣにおける画像の機能を周波数成分および輝度・色差成分の両方に反映して符号化を行うことができる。

ところで、上記各画像符号化方法における量子化は、符号化方式や符号化パラメータの選択によって実現形態が異なり、第１番目として、周波数係数の線形量子化や非線形量子化を行う場合(例えば係数を値Ｓで除算する場合と、第２番目として、周波数係数の下位ビットを符号化しない方式であって、周波数係数の下位ビットを符号化はするものの最終的には破棄する場合と、第３番目として、上記第１番目及び第２番目の両方を同時に適用できる場合との３通りがある。

第２番目の量子化におけるビットプレーンｎ枚分の符号化省略や破棄は、第１番目の量子化において係数を２のｎ乗で除算することと等価であり、第３番目の量子化は、Ｓ×（２のｎ乗）で係数を除算するのと等価である。

こうした点を考慮した画像符号化方法は、上記各画像符号化方法において、画像符号化ステップは、量子化を周波数係数の量子化、周波数係数の下位ビットの破棄、量子化及び破棄の組合せの何れかにより行うものである。この手法を適用すれば、ＭＲＣにおける画像の機能を周波数成分及び輝度・色差成分の両方に反映する場合において、具体的な量子化を実現することができる。

図１は、本発明の実施例１に係る画像符号化装置の基本構成を示したブロック図である。この画像符号化装置は、上述した各画像符号化方法及びそれらに対する量子化手法を適用可能なもので、データバス１を介してＨＤＤ２と、パーソナルコンピュータ（ＰＣ）内のＲＡＭ３及びＣＰＵ４とが接続され、情報処理システムの規格仕様で構成されている。

この画像符号化装置では、原画像（オリジナルカラー画像）の符号化を以下の流れで行う。第１番目として、ＨＤＤ２上に記録された原画像がＣＰＵ４からの命令によってＲＡＭ３上に読み込まれる。第２番目として、ＣＰＵ４はＲＡＭ３上の原画像を読み込み、本願発明の各画像符号化処理及びそれらに対する量子化処理を施してＭＲＣモデルに対する符号化を行う。第３番目として、ＣＰＵ４は符号化後のデータをＲＡＭ３上の別の領域に書き込む。第４番目として、ＣＰＵ４からの命令によりＲＡＭ３から符号化後のデータ（画像）を読み出してＨＤＤ２上に記録する。

ここでのＣＰＵ４は、カラーの入力画像から絵柄部画像である第１の画像、非絵柄部の色を表わす画像である第２の画像、及び非絵柄部の形状を表わす画像である第３の画像を生成する画像生成手段、並びにその画像生成手段で生成した第１の画像乃至第３の画像を個別に符号化する画像符号化手段として働く。画像符号化手段は、第１の画像及び第２の画像を周波数変換して符号化する周波数変換符号化手段を有し、周波数変換符号化手段は、第２の画像における高周波成分の量子化の程度を、第１の画像における高周波成分の量子化の程度よりも強くする機能構成を持つ。

また、画像符号化手段は、第１の画像及び第２の画像を輝度・色差変換して符号化する輝度・色差変換符号化手段を有し、輝度・色差変換符号化手段は、第２の画像における輝度の量子化の程度に対する色差成分の量子化の程度（色差の量子化の程度／輝度の量子化の程度）を、第１の画像における輝度の量子化の程度に対する色差成分の量子化の程度よりも小さくする機能構成を持つものであっても良い。

更に、画像符号化手段は、第１の画像及び第２の画像を輝度・色差変換して符号化する輝度・色差変換符号化手段を有し、輝度・色差変換符号化手段は、第２の画像における輝度の高周波成分を最も量子化すると共に、第１の画像における色差の高周波成分を最も量子化する機能構成を持つものであっても良い。

何れの機能構成の場合にも、画像符号化手段は、量子化の処理を周波数係数の量子化、周波数係数の下位ビットの破棄、量子化及び破棄の組合せの何れかにより行うことが好ましい。

ところで、ＣＰＵ４の機能構成で画像符号化処理を行う構成でなく、上述した各画像符号化方法を適用した画像生成ステップの処理情報と、画像符号化ステップの処理情報と、を記録した画像符号化用記録媒体（ハードディスク等）をＨＤＤ２により読み込ませて同等な処理動作を行わせることも可能である。

この場合、画像符号化用記録媒体における画像符号化ステップの処理情報は、第１の画像及び第２の画像を周波数変換して符号化し、第２の画像における高周波成分の量子化の程度を、第１の画像における高周波成分の量子化の程度よりも強くする周波数変換符号化ステップの処理情報と、第１の画像及び第２の画像を輝度・色差変換して符号化し、第２の画像における輝度の量子化の程度に対する色差成分の量子化の程度（色差の量子化の程度／輝度の量子化の程度）を、第１の画像における輝度の量子化の程度に対する色差成分の量子化の程度よりも小さくする第１の輝度・色差変換符号化ステップの処理情報と、第１の画像及び第２の画像を輝度・色差変換して符号化し、第２の画像における輝度の高周波成分を最も量子化すると共に、第１の画像における色差の高周波成分を最も量子化する第２の輝度・色差変換符号化ステップの処理情報との少なくとも１つを有するものであれば良い。但し、この画像符号化用記録媒体については、画像符号化ステップの処理情報が量子化を周波数係数の量子化、周波数係数の下位ビットの破棄、量子化及び破棄の組合せの何れかにより行う指示情報を含むものであれば良い。

同様に、上述した各画像符号化方法を適用した画像生成ステップの処理情報と、画像符号化ステップの処理情報と、を有する画像符号化用プログラムをＣＰＵ４に実行させて同等な処理動作を行わせることも可能である。

こうした場合、画像符号化用プログラムにおける画像符号化ステップの処理情報は、上述した場合と同様な周波数変換符号化ステップの処理情報と、第１の輝度・色差変換符号化ステップの処理情報と、第２の輝度・色差変換符号化ステップの処理情報との少なくとも１つを有するものであれば良い。但し、この画像符号化用プログラムについても、画像符号化ステップの処理情報が量子化を周波数係数の量子化、周波数係数の下位ビットの破棄、量子化及び破棄の組合せの何れかにより行う指示情報を含むものであれば良い。

以下は実施例１の具体的な説明に先立ち、実施例１中で使用するＪＰＥＧ２０００の符号化方式の概要について説明する。

ＪＰＥＧ２０００とは、２００１年に国際標準になったＪＰＥＧ後継の画像符号化方式であり、その符号化処理は、概ね図２に示すような流れで行われる。

先ず、画像は矩形のタイルに分割(分割数≧１)されると共に、各タイルは例えばＲＧＢの３コンポ−ネントで構成されるカラー画像の圧縮時にＤＣレベルシフトした後、輝度・色差コンポ−ネントへのコンポ−ネント変換（色変換）を行う。

ＤＣレベルシフトおよび色変換の後、ウェーブレット変換がなされ、必要に応じてサブバンド毎に量子化が行われた後、サブバンド毎に上位ビットプレーンから（必要な）下位ビットプレーンまでをビットプレーン符号化（ビットプレーンを単位としたエントロピー符号化）する。更に、（不要な符号を破棄し）必要な符号をまとめて、パケットを生成した後、パケットを並べて符号形成する。

また伸張時には、ビットプレーン復号（ビットプレーン単位でのエントロピー復号）後、逆量子化を経て得られたコンポ−ネント毎のウェーブレット係数に対して、逆ウェーブレット変換が施され、その後に逆色変換がなされてＲＧＢの画素値に戻ることを示している。

ここで、ＪＰＥＧ２０００のＤＣレベルシフトの変換式、逆変換式は、Ｓｓｉｚ（ｉ）を原画像の各コンポーネントｉ（ＲＧＢ画像ならｉ＝０、１、２）のビット深さから１を減じたものとし、２＾Ｓｓｉｚ（ｉ）を２のＳｓｉｚ（ｉ）乗を意味し、Ｉ（ｘ、ｙ）を座標（ｘ、ｙ）における原信号値（画素値）とした場合、順変換については、Ｉ（ｘ、ｙ）←Ｉ（ｘ、ｙ）−２＾Ｓｓｉｚ（ｉ）なる関係で表わされ、逆変換については、Ｉ（ｘ、ｙ）←Ｉ（ｘ、ｙ）＋２＾Ｓｓｉｚ（ｉ）なる関係で表わされる。

このＤＣレベルシフトは、ＲＧＢ信号値のような正の数である場合に、順変換では各信号値から信号のダイナミックレンジの半分を減算するレベルシフトを、逆変換では各信号値に信号のダイナミックレンジの半分を加算するレベルシフトを行うものである。但し、このレベルシフトはＹＣｂＣｒ信号のＣｂ、Ｃｒ信号のような符号付き整数には適用されない。

また、ＪＰＥＧ２０００では、コンポ−ネント変換（色変換）として可逆変換（ＲＣＴ）と非可逆変換（ＩＣＴ）とが定義されている。

可逆変換（ＲＣＴ）についての順変換は、Ｙ０（ｘ、ｙ）＝ｆｌｏｏｒ（（Ｉ０（ｘ、ｙ）＋２＊（Ｉ１（ｘ、ｙ）＋Ｉ２（ｘ、ｙ））／４)、Ｙ１（ｘ、ｙ）＝Ｉ２（ｘ、ｙ）−Ｉ１（ｘ、ｙ）、Ｙ２（ｘ、ｙ）＝Ｉ０（ｘ、ｙ）−Ｉ１（ｘ、ｙ）で表わされ、逆変換は、Ｉ１（ｘ、ｙ）＝Ｙ０（ｘ、ｙ）−ｆｌｏｏｒ((Ｙ２（ｘ、ｙ）＋Ｙ１（ｘ、ｙ））／４)、Ｉ０（ｘ、ｙ）＝Ｙ２（ｘ、ｙ）＋Ｉ１（ｘ、ｙ）、Ｉ２（ｘ、ｙ）＝Ｙ１（ｘ、ｙ）＋Ｉ１（ｘ、ｙ）で表わされる。

各式中のＩは原信号、Ｙは変換後の信号を示し、ＩやＹに続く０〜２はサフィックスである。ＲＧＢ信号ならばＩ信号においてＩ０＝Ｒ、Ｉ１＝Ｇ、Ｉ２＝Ｂ、Ｙ信号においてＹ０＝Ｙ、Ｙ１＝Ｃｂ、Ｙ２＝Ｃｒと表わされる。またｆｌｏｏｒ（Ｘ）は、実数Ｘについて、Ｘを越えず、且つＸに最も近い整数に置換する関数である。

非可逆変換（ＩＣＴ）についての順変換は、Ｙ０（ｘ、ｙ）＝０．２９９＊Ｉ０（ｘ、ｙ）＋０．５８７＊Ｉ１（ｘ、ｙ）＋０．１４４＊Ｉ２（ｘ、ｙ）、Ｙ１（ｘ、ｙ）＝−０．１６７５＊Ｉ０（ｘ、ｙ）−０．３３１２６＊Ｉ１（ｘ、ｙ）＋０．５＊Ｉ２（ｘ、ｙ）、Ｙ２（ｘ、ｙ）＝０．５＊Ｉ０（ｘ、ｙ）−０．４１８６９＊Ｉ１（ｘ、ｙ）−０．０８１３１＊Ｉ２（ｘ、ｙ）で表わされ、逆変換は、Ｉ０（ｘ、ｙ）＝Ｙ０（ｘ、ｙ）＋１．４０２＊Ｙ２（ｘ、ｙ）、Ｉ１（ｘ、ｙ）＝Ｙ０（ｘ、ｙ）−０．３４４１３＊Ｙ１（ｘ、ｙ）−０．７１４１４＊Ｙ２（ｘ、ｙ）、Ｉ２（ｘ、ｙ）＝Ｙ０（ｘ、ｙ）＋１．７７２＊Ｙ１（ｘ、ｙ）で表わされる。

各式中のＩは原信号、Ｙは変換後の信号を示す。ＲＧＢ信号ならばＩ信号においてＩ０＝Ｒ、Ｉ１＝Ｇ、Ｉ２＝Ｂ、Ｙ信号においてＩ０＝Ｙ、Ｉ１＝Ｃｂ、Ｉ２＝Ｃｒと表わされる。

そして、変換後のコンポ−ネント（タイルコンポ−ネントと呼ばれる）は、ウェーブレット変換によって、ＬＬ、ＨＬ、ＬＨ、ＨＨと略称される４つのサブバンドに分割される。因みに、ＬＬサブバンドに対して再帰的にウェーブレット変換（デコンポジション）を繰返すと、最終的に１つのＬＬサブバンドと複数のＨＬ、ＬＨ、ＨＨサブバンドとが生成される。

ここで、ＪＰＥＧ２０００で使用される５×３ウェーブレット変換、及び９×７ウェーブレット変換(いずれか一方を選択して使用する)について説明する。

５×３ウェーブレット変換とは、５画素を用いて１つのローパスフィルタの出力（ローパス係数）が得られ、３画素を用いて１つのハイパスフィルタの出力（ハイパス係数）が得られる変換である。同様に９×７ウェーブレット変換とは、９画素を用いて１つのローパスフィルタの出力（ローパス係数）が得られ、７画素を用いて１つのハイパスフィルタの出力（ハイパス係数）が得られる変換である。これらの主たる相違は、フィルタの範囲の違いであり、偶数位置中心にローパスフィルタ、奇数位置中心にハイパスフィルタが施される点は同様である。

５×３ウェーブレット変換の変換式における順変換は、第１ステップのＣ（２ｉ＋１）＝Ｐ（２ｉ＋１）−ｆｌｏｏｒ（（Ｐ（２ｉ）＋Ｐ（２ｉ＋２））／２)、第２ステップのＣ（２ｉ）＝Ｐ（２ｉ）＋ｆｌｏｏｒ（（Ｃ（２ｉ−１）＋Ｃ（２ｉ＋１）＋２）／４)で表わされ、逆変換は、第１ステップのＰ（２ｉ）＝Ｃ（２ｉ）−ｆｌｏｏｒ（（Ｃ（２ｉ−１）＋Ｃ（２ｉ＋１）＋２）／４)、第２ステップのＰ（２ｉ＋１）＝Ｃ（２ｉ＋１）＋ｆｌｏｏｒ（（Ｐ（２ｉ）＋Ｐ（２ｉ＋２））／２)で表わされる。

９×７ウェーブレット変換の変換式における順変換は、第１ステップのＣ（２ｎ＋１）＝Ｐ（２ｎ＋１）＋α＊（Ｐ（２ｎ）＋Ｐ（２ｎ＋２））、第２ステップのＣ（２ｎ）＝Ｐ（２ｎ）＋β＊（Ｃ（２ｎ−１）＋Ｃ（２ｎ＋１））、第３ステップのＣ（２ｎ＋１）＝Ｐ（２ｎ＋１）＋γ＊（Ｃ（２ｎ）＋Ｃ（２ｎ＋２））、第４ステップのＣ（２ｎ）＝Ｃ（２ｎ）＋δ＊（Ｃ（２ｎ−１）＋Ｃ（２ｎ＋１））、第５ステップのＣ（２ｎ＋１）＝Ｋ＊Ｃ（２ｎ＋１）、第６ステップのＣ（２ｎ）＝（１／Ｋ）＊Ｃ（２ｎ）で表わされ、逆変換は、第１ステップのＰ（２ｎ）＝Ｋ＊Ｃ（２ｎ）、第２ステップのＰ（２ｎ＋１）＝（１／Ｋ）＊Ｃ（２ｎ＋１）、第３ステップのＰ（２ｎ）＝Ｘ（２ｎ）−δ＊（Ｐ（２ｎ−１）＋Ｐ（２ｎ＋１））、第４ステップのＰ（２ｎ＋１）＝Ｐ（２ｎ＋１）−γ＊（Ｐ（２ｎ）＋Ｐ（２ｎ＋２））、第５ステップのＰ（２ｎ）＝Ｐ（２ｎ）−β＊（Ｐ（２ｎ−１）＋Ｐ（２ｎ＋２））、第６ステップのＰ（２ｎ）＝Ｐ（２ｎ＋１）−α＊（Ｐ（２ｎ）＋Ｐ（２ｎ＋２））で表わされる。

但し、ここではα＝−１．５８６１３４３４２０５９９２４、β＝−０．０５２９８０１１８５７２９６１、γ＝０．８８２９１１０７５５３０９３４、δ＝０．４４３５０６８５２０４３９７１、Ｋ＝１．２３０１７４１０４９１４００１とする。

次に、ウェーブレット変換の手順、並びにデコンポジションレベル、解像度レベル、サブバンドの定義について説明する。

図３は、１６×１６の画像の輝度コンポ−ネントに対して、ウェーブレット変換（５×３変換）を２次元(垂直方向および水平方向)で施す過程におけるＤＣレベルシフト後の原画像と座標系、ミラーリングを例示したものである。図４は、上記同過程における垂直方向へのフィルタリング後の係数の配列を例示したものである。図５は、上記同過程における水平方向へのフィルタリング後の係数の配列を例示したものである。図６は、上記同過程における並べ替えた係数の配列を例示したものである。

図３を参照すれば、ｘｙ座標をとり、或るｘについて、ｙ座標がｙである画素の画素値をＰ（ｙ）（０≦ｙ≦１５）と表わす。ＪＰＥＧ２０００では、先ず垂直方向（Ｙ座標方向）にｙ座標が奇数（ｙ＝２ｉ＋１）の画素を中心にハイパスフィルタを施して係数Ｃ（２ｉ＋１）を取得し、次にｙ座標が偶数（ｙ＝２ｉ）の画素を中心にローパスフィルタを施して係数Ｃ（２ｉ）を取得するようにし、こうした処理を全てのｘについて行う。ここで、ハイパスフィルタ、ローパスフィルタは、順に上述した第１ステップ、第２ステップの関係式で表わされる。尚、画像の端部にフィルタを施す場合には、中心となる画素に対して隣接画素が十分に存在しないことがあり、こうした場合はミラーリングと呼ばれる手法によって適宜画素値を補うことになる。ミラーリングとは、画像端部の外側に仮想的な画素を想定し、画像端部の画素を対称軸として、端部の内側の画素値を、端部の外側の画素に対して線対称にコピーする周知の手法である。ミラーリングは画像(タイル)の上下左右の４端全てで行われる。

説明を簡単にするため、ハイパスフィルタで得られる係数をＨ、ローパスフィルタで得られる係数をＬと表記すれば、垂直方向の変換によって図３に示した画像は図４に示されるようなＬ係数、Ｈ係数の配列へと変換される。

引き続き、今度は図４に示されるような係数配列に対して、先ず水平方向にｘ座標が奇数（ｙ＝２ｉ＋１）の係数を中心にハイパスフィルタを施し、次にｘ座標が偶数（ｘ＝２ｉ）の係数を中心にローパスフィルタを施すようにし、これらの処理を全てのｙについて行う。この場合、第１ステップ、第２ステップのＰ（２ｉ）等は係数値を表わすものと読み替える。

更に、今度は図４に示される係数配列に対して、先ず水平方向にｘ座標が奇数（ｙ＝２ｉ＋１）の係数を中心にハイパスフィルタを施し、次にｘ座標が偶数（ｘ＝２ｉ）の係数を中心にローパスフィルタを施すようにし、これらに処理を全てのｙについて行う。この場合、第１ステップ、第２ステップのＰ（２ｉ）等は係数値を表わすものと読み替える。

同様に、説明を簡単にするため、上述したＬ係数を中心にローパスフィルタを施して得られる係数をＬＬ、Ｌ係数を中心にハイパスフィルタを施して得られる係数をＨＬ、Ｈ係数を中心にローパスフィルタを施して得られる係数をＬＨ、Ｈ係数を中心にハイパスフィルタを施して得られる係数をＨＨと表記すれば、図４に示される係数配列は、図５に示されるような係数配列へと変換される。ここで同一の記号を付した係数群は、サブバンドと呼ばれ、図５に示される形態では４つのサブバンドで構成される。

以上は、垂直・水平の各方向に対して各１回のウェーブレット変換（１回のデコンポジション（分解））が終了し、上述したＬＬ係数だけを集めて図６に示されるようにサブバンド毎に集め、ＬＬサブバンドだけ取り出すと、丁度原画像の１／２の解像度の“画像”が得られる。因みに、このようにサブバンド毎に分類することはデインターリーブと呼ばれ、図１を参照して説明したような処理状態に配置することはインターリーブと呼ばれる。

２回目のウェーブレット変換は、ＬＬサブバンドを原画像と見なして、上述した場合と同様の変換を行えば良い。この場合、並べ替えを行うと、図７に示されるような形態となる。ここでの係数の接頭の１や２は、水平・垂直に関し各何回のウェーブレット変換で係数が得られたかを示しており、デコンポジションレベルと呼ばれる。

図８は、デコンポジションレベルと解像度レベルとの関係を例示したものである。ここでは、解像度レベルがデコンポジションレベルとほぼ逆の関係にあることを示している。

以上の説明において、１次元のみのウェーブレット変換を行う場合には、何れかの方向だけの処理を行えば良く、その何れかの方向に関してウェーブレット変換を行った回数がデコンポジションレベルとなる。

ウェーブレットフィルタとして９×７フィルタを選択した場合には、上述した分割の後、サブバンド毎に係数の線形量子化が成されるが、５×３フィルタを選択した場合には、サブバンド毎の線形量子化はしない仕様となっている。

次なる処理として、各サブバンドはプリシンクトとよばれる矩形に分割される。プリシンクトとは、サブバンドを矩形に分割したものをＨＬ、ＬＨ、ＨＨの３つのサブバンドについて集めたもので、大まかな意味では画像中の場所（Ｐｏｓｉｔｉｏｎ）を表わすものである。プリシンクトは３つで１纏まりであるが、ＬＬサブバンドを分割した場合には１つで１纏まりとなる。また、プリシンクトはサブバンドと同じサイズにでき、プリシンクトをさらに矩形に分割したものがコードブロックである。

図９は、画像（タイル）、サブバンド、プリシンクト、コードブロックの関係を例示したものである。ここでは、物理的な大きさの序列として、画像≧タイル＞サブバンド≧プリシンクト≧コードブロックとなることを示している。

以上に説明した分割を行った後、係数のエントロピー符号化（ビットプレーン単位でのビットプレーン符号化）がプリシンクト単位でコードブロック毎であって、ビットプレーン順に成される。実施例１では、図２で説明したように、最上位ビットプレーンからテーブルで予め規定された下位ビットプレーンまでをビットプレーン符号化する。このような条件で必要な符号としてみなすと、不要な符号は存在しない。これらの「最上位ビットプレーンからテーブルで予め規定された下位ビットプレーンまで」の符号に対して、ヘッダをつけたものをパケットと呼ぶ。パケットヘッダには、パケットに含まれる符号に関する情報が含まれ、各パケットは独立に扱うことができる。いわばパケットは符号の単位である。

そして、全てのプリシンクト（＝全てのコードブロック＝全てのサブバンド）に関して、パケットを並べて符号を形成する。

以下は、以上に説明した処理内容を前提として、実施例１の画像符号化装置の技術的概要を説明する。

図１０は、実施例１の画像符号化装置によるＭＲＣモデルの概略構成を示したものである。図１１は、係る画像符号化装置によるＭＲＣモデルの画像符号化の動作処理を示したフローチャートである。

図１０を参照すれば、ここでのＭＲＣモデルは、ベースページとなる白色の背景上に、黒色の第１のマスク１（ＭＭＲ仕様）、淡いモスグリーン色を基調として所定箇所にプリンタの絵柄部を持つ第１の前景１（ＪＰＥＧ２０００仕様）、印字部を保つ無色透明基調の第１のマスク２（ＭＭＲ仕様）、赤紫色及び黄緑色が２色分けされた第２の前景２（ＪＰＥＧ２０００仕様）を順に重ねたイメージ構成のものである。合成画像（画像符号化処理後のものとする）上では、プリンタの絵柄の形状輪郭及び色彩が鮮明となり、印字部分が赤紫色部分と黄緑色部分とに分けられている様子を示している。

図１１に示す画像符号化の動作処理では、先ず原画像を入力すると、原画像に対して画素単位で、文字（線画）を構成する画素(以下、文字画素とする)であるか否かを判別し、第２のマスク２を作成（ステップＳ１)する。

これは公知の像域判別技術によって行われ、本例では原画像の各画素に対し、エッジ検出オペレータとして周知のＳｏｂｅｌフィルタを作用させる。Ｓｏｂｅｌフィルタは、注目画素を中心とした上下左右の９つの画素に対して、図１２に示される第１の重みマトリクスを乗算してその和ＨＳを算出し、同様に図１３に示される第２のマトリクスを乗算してその和ＶＳを算出する。そして、（ＨＳ^２＋ＶＳ^２の）平方根をフィルタの出力値とする。このフィルタの出力値が例えば３０以上の場合に、注目画素が文字画素であると判断し、注目画素位置の値を１にし、それ以外の画素の値を０にすることで、第２のマスク２を生成する。尚、二値画像の場合、黒＝１、白＝０が通例である。

次に、文字（線画）領域に属さない画素(以下、非文字画素とする)の色を、画素の最も近傍に位置する文字画素の色で置換し、第２の前景２を作成（ステップＳ２）する。この処理は、画像内の全ての非文字画素に対して行われるため、図１１で説明したように、画像は文字の色で置換される。原画像の文字の色が一色の場合、画像自体が一色になる。

次に、原画像おける文字（線画）領域の画素の色を、画素の最も近傍に位置する非文字画素の色で置換し、第１の前景１を作成（ステップＳ３）する。尚、ここでの前景１は、背景と呼ばれても良い。

引き続き、原画像と同じサイズの画素値１の画像として第１のマスク１を作成（ステップＳ４）、原画像と同じサイズの白い画像として背景画像を作成（ステップＳ５）する。

そして、第１の前景１を５×３フィルタを用いて２回デコンポジションし、図１４に示される条件でＪＰＥＧ２０００仕様による符号化（ステップＳ６）し、同様に第２の前景２を５×３フィルタを用いて２回デコンポジションし、図１５、図１６、または図１７に示される条件でＪＰＥＧ２０００仕様による符号化（ステップＳ７）した後、第１のマスク１、第２のマスク２(共に２値画像)を、周知のＭＭＲ仕様で符号化（ステップＳ８）する。

最後に、背景をＪＰＭ仕様で符号化(エントロピー符号化は行わず、符号として背景色を指定する：ステップＳ９)し、全ての前景、マスク、背景の符号を結合し、所望のヘッダを付してＪＰＭの符号を取得（ステップＳ１０）する。

上述した図１４は、絵柄部画像である前景１を符号化するときのＹＣｂＣｒ信号に対する信号処理に係る符号化しない下位ビットプレーン数を例示したもので、同図（ａ）はＹ信号に関するもの、同図（ｂ）はＣｂ信号に関するもの、同図（ｃ）はＣｒ信号に関するものである。

ここで、図１４で例示するように絵柄部画像である前景１においては、輝度よりも色差に関して、符号化しない下位ビットプレーン数を多くしており、輝度の量子化の程度を色差の量子化の程度よりも強くしている。尚、ＲＣＴにおいては、輝度のビット数よりも色差のビット数の方が１ビット多くなるが、図１４から明らかであるように、符号化しない下位ビットプレーン数の差はそれ以上である。

図１５は、上述した画像符号化の動作処理で文字（線画）の色画像の前景２を第１の手法により符号化するときのＹＣｂＣｒ信号に対する信号処理に係る符号化しない下位ビットプレーン数を例示したもので、同図（ａ）はＹ信号に関するもの、同図（ｂ）はＣｂ信号に関するもの、同図（ｃ）はＣｒ信号に関するものである。

ここでの第１の手法とは、前述した第１の画像符号化方法に対応するもので、図１５では太枠領域に示されるように、色を表わす画像である前景２においては、高周波成分であるデコンポジションレベル１において、輝度及び色差に関し、前景１よりも符号化しない下位ビットプレーン数を多くしており、高周波成分の量子化の程度を前景１よりも強くしている。

図１６は、上述した画像符号化の動作処理で文字（線画）の色画像の前景２を第２の手法により符号化するときのＹＣｂＣｒ信号に対する信号処理に係る符号化しない下位ビットプレーン数を例示したもので、同図（ａ）はＹ信号に関するもの、同図（ｂ）はＣｂ信号に関するもの、同図（ｃ）はＣｒ信号に関するものである。

ここでの第２の手法とは、前述した第２の画像符号化方法に対応するもので、図１６では図１４との対比で明らかなように、前景１においては、輝度の高周波の量子化の程度＞＞色差の高周波の量子化の程度であるにも拘わらず、前景２においては、輝度の高周波の量子化の程度≒色差の高周波の量子化の程度としており、輝度と色差の量子化の割合を前景１、２で変えている。即ち、第２の画像における輝度の量子化の程度に対する色差成分の量子化の程度(色差の量子化の程度／輝度の量子化の程度)を、第１の画像のそれよりも小さくしている。尚、前景１に関して符号化しない下位ビットプレーン数は図１４と同じものを採用している。

図１７は、上述した画像符号化の動作処理で文字（線画）の色画像の前景２を第３の手法により符号化するときのＹＣｂＣｒ信号に対する信号処理に係る符号化しない下位ビットプレーン数を例示したもので、同図（ａ）はＹ信号に関するもの、同図（ｂ）はＣｂ信号に関するもの、同図（ｃ）はＣｒ信号に関するものである。

ここでの第３の手法とは、前述した第３の画像符号化方法に対応するもので、図１７では図１４との対比で明らかなように、前景１においては色差の高周波を最も量子化しているが、図１７では輝度の高周波を最も量子化している。尚、ここでも前景１に関して符号化しない下位ビットプレーン数は図１４と同じものを採用している。

図１８は、本発明の実施例２に係る画像符号化装置によるＭＲＣモデルの画像符号化の動作処理を示したフローチャートである。ここでの画像符号化の動作処理は、図１１で説明したもの比べれば、前景１及び前景２に対して９×７フィルタを用いて２回デコンポジションし、係数を線形量子化した後、全ビットプレーンを符号化する点が相違している。

具体的に云えば、図１８に示す画像符号化の動作処理では、原画像の入力後、前述した図１１の動作処理の場合と同様に、画素単位で、文字（線画）を構成する文字画素であるか否かを判別し、第２のマスク２を作成（ステップＳ１１)する処理、文字（線画）領域に属さない非文字画素の色を、画素の最も近傍に位置する文字画素の色で置換し、第２の前景２を作成（ステップＳ１２）する処理、原画像おける文字（線画）領域の画素の色を、画素の最も近傍に位置する非文字画素の色で置換し、第１の前景１を作成（ステップＳ１３）する処理、原画像と同じサイズの画素値１の画像として第１のマスク１を作成（ステップＳ１４）する処理、原画像と同じサイズの白い画像として背景画像を作成（ステップＳ１５）する処理を行う。

そして、第１の前景１を９×７フィルタを用いて２回デコンポジションし、図２１に示される条件で量子化した後、全ビットプレーンを符号化（ステップＳ１６）し、同様に第２の前景２を９×７フィルタを用いて２回デコンポジションし、図２２に示される条件で量子化した後、全ビットプレーンを符号化（ステップＳ１７）する。

この後は、図１１の動作処理の場合と同様に、第１のマスク１、第２のマスク２(共に２値画像)を、周知のＭＭＲ仕様で符号化（ステップＳ１８）する処理、背景をＪＰＭ仕様で符号化(エントロピー符号化は行わず、符号として背景色を指定する：ステップＳ１９)する処理、全ての前景、マスク、背景の符号を結合し、所望のヘッダを付してＪＰＭの符号を取得（ステップＳ２０）する処理を行う。

以下、ここでの実施例２における線形量子化について説明する。図１９は、一般的な色画像を符号化するときのＹＣｂＣｒ信号に対する信号処理に係る視覚特性未考慮の量子化ステップ数（ＪＰＥＧ２０００の９×７フィルタと共に用いられる典型的なもの）を例示したもので、同図（ａ）はＹ信号に関するもの、同図（ｂ）はＣｂ信号に関するもの、同図（ｃ）はＣｒ信号に関するものである。量子化ステップ数は、９×７フィルタのサブバンドゲインの平方根の逆数に、定数を乗じた値として求められる。

図２０は、一般的な色画像を符号化するときのＹＣｂＣｒ信号に対する信号処理に係る視覚感度（ＪＰＥＧ２０００の９×７フィルタと共に用いられる典型的なもの）を例示したもので、同図（ａ）はＹ信号に関するもの、同図（ｂ）はＣｂ信号に関するもの、同図（ｃ）はＣｒ信号に関するものである。視覚感度は、その値が大きい程、そのサブバンドに生じる誤差の視覚的な影響が大きいことを示す。

図２１は、係る画像符号化の動作処理で絵柄部画像の前景１を符号化するときのＹＣｂＣｒ信号に対する信号処理に係る視覚特性考慮の量子化ステップ数（ＪＰＥＧ２０００の９×７フィルタと共に用いられる典型的なもの）を例示したもので、同図（ａ）はＹ信号に関するもの、同図（ｂ）はＣｂ信号に関するもの、同図（ｃ）はＣｒ信号に関するものである。上述した視覚特性未考慮の量子化ステップ数では、視覚感度の影響を対策できないため、ＪＰＥＧ２０００では、サブバンドゲインから求めた量子化ステップ数を視覚感度で除算して、図２１に示されるような視覚特性を考慮した量子化ステップ数を算出することが望ましい。

図２２は、係る画像符号化の動作処理で文字（線画）の色画像の前景２を符号化するときのＹＣｂＣｒ信号に対する信号処理に係る視覚特性考慮の量子化ステップ数を例示したもので、同図（ａ）はＹ信号に関するもの、同図（ｂ）はＣｂ信号に関するもの、同図（ｃ）はＣｒ信号に関するものである。

即ち、ここでの実施例２において、前景２に関しては、図２２の量子化ステップ数を適用する。そして、前景１に関しては、図２１の量子化ステップ数を適用する。

図２２から明らかなように、前景２においては、高周波成分であるデコンポジションレベル１において、輝度及び色差に関し、前景１よりも量子化ステップ数が大きく、前景２における色差の量子化ステップ数／輝度の量子化ステップ数値は、前景１におけるそれよりも小さくしている。また、図２１では色差の高周波を最も量子化しているが、図２２では、輝度の高周波を最も量子化している。

図２３は、本発明の実施例３に係る画像符号化装置によるＭＲＣモデルの画像符号化の動作処理を示したフローチャートである。ここでの画像符号化の動作処理は、図１１で説明したもの比べれば、前景１及び前景２に対して９×７フィルタを用いて２回デコンポジションし、且つ所定の下位ビットプレーンの符号化を省略して量子化を実行する点が相違している。

具体的に云えば、図２３に示す画像符号化の動作処理では、原画像の入力後、前述した図１１の動作処理の場合と同様に、画素単位で、文字（線画）を構成する文字画素であるか否かを判別し、第２のマスク２を作成（ステップＳ２１)する処理、文字（線画）領域に属さない非文字画素の色を、画素の最も近傍に位置する文字画素の色で置換し、第２の前景２を作成（ステップＳ２２）する処理、原画像おける文字（線画）領域の画素の色を、画素の最も近傍に位置する非文字画素の色で置換し、第１の前景１を作成（ステップＳ２３）する処理、原画像と同じサイズの画素値１の画像として第１のマスク１を作成（ステップＳ２４）する処理、原画像と同じサイズの白い画像として背景画像を作成（ステップＳ２５）する処理を行う。

そして、第１の前景１を９×７フィルタを用いて２回デコンポジションし、図２１に示される条件で量子化した後、図１４に示される条件で符号化（ステップＳ２６）し、同様に第２の前景２を９×７フィルタを用いて２回デコンポジションし、図２２に示される条件で量子化した後、図１５に示される条件で符号化（ステップＳ２７）する。

この後は、図１１の動作処理の場合と同様に、第１のマスク１、第２のマスク２(共に２値画像)を、周知のＭＭＲ仕様で符号化（ステップＳ２８）する処理、背景をＪＰＭ仕様で符号化(エントロピー符号化は行わず、符号として背景色を指定する：ステップＳ２９)する処理、全ての前景、マスク、背景の符号を結合し、所望のヘッダを付してＪＰＭの符号を取得（ステップＳ３０）する処理を行う。

ここで、ＪＰＭにおける背景に対する各レイアウトオブジェクトの配置や大きさの情報については、レイアウトオブジェクトのＩＤや重ね順、縦横の画素数、背景に対する配置上のオフセットをＬａｙｏｕｔ Ｏｂｊｅｃｔ Ｈｅａｄｅｒ Ｂｏｘに記載する。また、各レイアウトオブジェクトを構成する前景、背景の配置や大きさの情報については、背景に対する配置上のオフセットをＯｂｊｅｃｔ Ｈｅａｄｅｒ Ｂｏｘに記載する。更に、各オブジェクトの画素数は、各オブジェクトの符号中に記載する。

尚、以上に説明した各実施例ではファイルフォーマットとしてＪＰＭを用いたが、ＭＲＣタイプであれば何でも良く、ＭＲＣタイプのＰＤＦもその範疇である。また、各実施例では、周波数変換にウェーブレット変換を用いた場合を例示したが、これに限定されるものではなく、離散コサイン変換に代表される他の周波数変換を適用することも可能である。更に、上述した「高周波成分」とは、最も周波数の高い帯域(の係数)だけを示す場合と、少なくとも最も周波数の高い帯域（の係数）を含み、且つ最も低域の帯域(の係数)は含まない場合との２通りを示すものである。

本発明は、汎用的な画像処理装置や画像形成装置の他、マルチレイヤの画像を符号化する装置全般に応用できる。

１ データバス
２ ＨＤＤ
３ ＲＡＭ
４ ＣＰＵ

特許第３２７５８０７号 特開２００７−５８４４号公報

Claims (12)

1. カラーの入力画像から絵柄部画像である第１の画像、非絵柄部の色を表わす画像である第２の画像、及び当該非絵柄部の形状を表わす画像である第３の画像を生成する画像生成手段と、前記画像生成手段で生成した前記第１の画像乃至前記第３の画像を個別に符号化する画像符号化手段と、を備えた画像符号化装置であって、前記画像符号化手段は、前記第１の画像及び前記第２の画像を周波数変換して符号化する周波数変換符号化手段を有し、前記周波数変換符号化手段は、前記第２の画像における高周波成分の量子化の程度を、前記第１の画像における高周波成分の量子化の程度よりも強くすることを特徴とする画像符号化装置。
2. カラーの入力画像から絵柄部画像である第１の画像、非絵柄部の色を表わす画像である第２の画像、及び当該非絵柄部の形状を表わす画像である第３の画像を生成する画像生成手段と、前記画像生成手段で生成した前記第１の画像乃至前記第３の画像を個別に符号化する画像符号化手段と、を備えた画像符号化装置であって、前記画像符号化手段は、前記第１の画像及び前記第２の画像を輝度・色差変換して符号化する輝度・色差変換符号化手段を有し、前記輝度・色差変換符号化手段は、前記第２の画像における輝度の量子化の程度に対する色差成分の量子化の程度を、前記第１の画像における輝度の量子化の程度に対する色差成分の量子化の程度よりも小さくすることを特徴とする画像符号化装置。
3. カラーの入力画像から絵柄部画像である第１の画像、非絵柄部の色を表わす画像である第２の画像、及び当該非絵柄部の形状を表わす画像である第３の画像を生成する画像生成手段と、前記画像生成手段で生成した前記第１の画像乃至前記第３の画像を個別に符号化する画像符号化手段と、を備えた画像符号化装置であって、前記画像符号化手段は、前記第１の画像及び前記第２の画像を輝度・色差変換して符号化する輝度・色差変換符号化手段を有し、前記輝度・色差変換符号化手段は、前記第２の画像における輝度の高周波成分を最も量子化すると共に、前記第１の画像における色差の高周波成分を最も量子化することを特徴とする画像符号化装置。
4. 請求項１〜３の何れか１項に記載の画像符号化装置において、前記画像符号化手段は、前記量子化の処理を周波数係数の量子化、周波数係数の下位ビットの破棄、当該量子化及び当該破棄の組合せの何れかにより行うことを特徴とする画像符号化装置。
5. カラーの入力画像から絵柄部画像である第１の画像、非絵柄部の色を表わす画像である第２の画像、及び当該非絵柄部の形状を表わす画像である第３の画像を生成する画像生成ステップと、前記画像生成ステップで生成した前記第１の画像乃至前記第３の画像を個別に符号化する画像符号化ステップと、を有する画像符号化方法であって、前記画像符号化ステップは、前記第１の画像及び前記第２の画像を周波数変換して符号化し、当該第２の画像における高周波成分の量子化の程度を、当該第１の画像における高周波成分の量子化の程度よりも強くする周波数変換符号化ステップを有することを特徴とする画像符号化方法。
6. カラーの入力画像から絵柄部画像である第１の画像、非絵柄部の色を表わす画像である第２の画像、及び当該非絵柄部の形状を表わす画像である第３の画像を生成する画像生成ステップと、前記画像生成ステップで生成した前記第１の画像乃至前記第３の画像を個別に符号化する画像符号化ステップと、を有する画像符号化方法であって、前記画像符号化ステップは、前記第１の画像及び前記第２の画像を輝度・色差変換して符号化し、当該第２の画像における輝度の量子化の程度に対する色差成分の量子化の程度を、当該第１の画像における輝度の量子化の程度に対する色差成分の量子化の程度よりも小さくする輝度・色差変換符号化ステップを有することを特徴とする画像符号化方法。
7. カラーの入力画像から絵柄部画像である第１の画像、非絵柄部の色を表わす画像である第２の画像、及び当該非絵柄部の形状を表わす画像である第３の画像を生成する画像生成ステップと、前記画像生成ステップで生成した前記第１の画像乃至前記第３の画像を個別に符号化する画像符号化ステップと、を有する画像符号化方法であって、前記画像符号化ステップは、前記第１の画像及び前記第２の画像を輝度・色差変換して符号化し、当該第２の画像における輝度の高周波成分を最も量子化すると共に、当該第１の画像における色差の高周波成分を最も量子化する輝度・色差変換符号化ステップを有することを特徴とする画像符号化方法。
8. 請求項５〜７の何れか１項に記載の画像符号化方法において、前記画像符号化ステップは、前記量子化を周波数係数の量子化、周波数係数の下位ビットの破棄、当該量子化及び当該破棄の組合せの何れかにより行うことを特徴とする画像符号化方法。
9. カラーの入力画像から絵柄部画像である第１の画像、非絵柄部の色を表わす画像である第２の画像、及び当該非絵柄部の形状を表わす画像である第３の画像を生成する画像生成ステップの処理情報と、前記画像生成ステップで生成した前記第１の画像乃至前記第３の画像を個別に符号化する画像符号化ステップの処理情報と、を記録した画像符号化用記録媒体であって、前記画像符号化ステップの処理情報は、前記第１の画像及び前記第２の画像を周波数変換して符号化し、当該第２の画像における高周波成分の量子化の程度を、当該第１の画像における高周波成分の量子化の程度よりも強くする周波数変換符号化ステップの処理情報と、前記第１の画像及び前記第２の画像を輝度・色差変換して符号化し、当該第２の画像における輝度の量子化の程度に対する色差成分の量子化の程度を、当該第１の画像における輝度の量子化の程度に対する色差成分の量子化の程度よりも小さくする第１の輝度・色差変換符号化ステップの処理情報と、前記第１の画像及び前記第２の画像を輝度・色差変換して符号化し、当該第２の画像における輝度の高周波成分を最も量子化すると共に、当該第１の画像における色差の高周波成分を最も量子化する第２の輝度・色差変換符号化ステップの処理情報との少なくとも１つを有することを特徴とする画像符号化用記録媒体。
10. 請求項９記載の画像符号化用記録媒体において、前記画像符号化ステップの処理情報は、前記量子化を周波数係数の量子化、周波数係数の下位ビットの破棄、当該量子化及び当該破棄の組合せの何れかにより行う指示情報を含むことを特徴とする画像符号化用記録媒体。
11. カラーの入力画像から絵柄部画像である第１の画像、非絵柄部の色を表わす画像である第２の画像、及び当該非絵柄部の形状を表わす画像である第３の画像を生成する画像生成ステップの処理情報と、前記画像生成ステップで生成した前記第１の画像乃至前記第３の画像を個別に符号化する画像符号化ステップの処理情報と、を有すると共に、情報処理装置に実行させるための画像符号化用プログラムであって、前記画像符号化ステップの処理情報は、前記第１の画像及び前記第２の画像を周波数変換して符号化し、当該第２の画像における高周波成分の量子化の程度を、当該第１の画像における高周波成分の量子化の程度よりも強くする周波数変換符号化ステップの処理情報と、前記第１の画像及び前記第２の画像を輝度・色差変換して符号化し、当該第２の画像における輝度の量子化の程度に対する色差成分の量子化の程度を、当該第１の画像における輝度の量子化の程度に対する色差成分の量子化の程度よりも小さくする第１の輝度・色差変換符号化ステップの処理情報と、前記第１の画像及び前記第２の画像を輝度・色差変換して符号化し、当該第２の画像における輝度の高周波成分を最も量子化すると共に、当該第１の画像における色差の高周波成分を最も量子化する第２の輝度・色差変換符号化ステップの処理情報との少なくとも１つを有することを特徴とする画像符号化用プログラム。
12. 請求項１１記載の画像符号化用プログラムにおいて、前記画像符号化ステップの処理情報は、前記量子化を周波数係数の量子化、周波数係数の下位ビットの破棄、当該量子化及び当該破棄の組合せの何れかにより行う指示情報を含むことを特徴とする画像符号化用プログラム。