JP5251758B2 - 圧縮符号化装置、および画像表示制御装置 - Google Patents

Description

本発明は、画像データの非可逆圧縮符号化技術に関し、特に、透明色制御の対象となる画像データの非可逆圧縮符号化技術に関する。

ゲーム機などに用いられる画像処理デバイスの一例としてスプライト方式の画像処理ＬＳＩ（Large Scale Integration）が挙げられる。この種の画像処理ＬＳＩでは、ゲームキャラクタなどのスプライト画像を表す画像データが予め格納されたスプライトパターンメモリから、ゲームの進行に合わせて画像データを読み出し、拡大や縮小、回転などの編集処理を施してバッファに書き込み、バッファの格納内容に応じた画像をＬＣＤ（Liquid Crystal Display）などの表示装置に表示させる、といった処理が行われる。この種の画像処理デバイスでは、背景画像の手前にゲームキャラクタ等のスプライトの画像を重ねて表示させるオーバレイ表示が行われる場合がある。このようなオーバレイ表示は、スプライトにて背景に相当する画素を透明として扱い、背景画像の画素が見えるようにする制御（以下、透明色制御）を行うことで実現される。そして、透明色制御は、透明として扱う画素の色（以下、透明色）を予め設定しておき、透明色に対応する画素値の画素を表示しないようにすることで実現される。

スプライト方式の画像処理デバイスにおいては、スプライトパターンメモリに格納する画像データに何らかの圧縮符号化を施しておくことが多い。この圧縮符号化技術は、可逆圧縮符号化技術と非可逆圧縮符号化技術に大別される。可逆圧縮符号化技術の一例としては、予測符号化と可変長符号化とを併用したものが挙げられる。可逆圧縮符号化技術には、圧縮符号化を施した画像データ（以下、圧縮符号化データ）から圧縮符号化前の画像データ（以下、原画像データ）を完全に復元することができるものの高い圧縮率が得られないといった特徴がある。一方、非可逆圧縮符号化の一例としては直交変換を利用したものが挙げられる。非可逆圧縮符号化技術には、高い圧縮率が得られるものの、圧縮符号化データから原画像データを完全には復元することができないといった特徴がある。したがって、原画像データを忠実に復元する必要がある場合には、可逆圧縮符号化技術が採用され、圧縮符号化データのデータ量を低く抑える必要がある場合には、非可逆圧縮符号化技術が採用されるなど、両技術はニーズに応じて適宜使い分けられる。

透明色制御の対象となる画像データの圧縮符号化を行う場合においても、データ量を低く抑える必要があるか否かなどに応じて可逆圧縮符号化技術と非可逆圧縮符号化技術を使い分けることが望ましい。しかし、透明色制御の対象となる画像データに非可逆圧縮符号化を施すと、本来透明とされるべき画素が透明とされなかったり、逆に、本来透明とされるべきではない画素が透明にされたりするなどの不具合が生じ得る。例えば、図１４（Ａ）には、透明色が０ｘＦＦＦＦＦＦ（すなわち、Ｒ成分、Ｇ成分およびＢ成分の各々が０ｘＦＦ）に設定されている場合において、透明色制御の対象となるべき画素の画素値が非可逆圧縮符号化および復号により、０ｘＦＥＦＥＦＥに変化した結果生じる不具合（すなわち、本来、透明とされるべき画素が透明とされないという不具合）が例示されている。一方、図１４（Ｂ）には、透明色が０ｘ００００００と設定されている場合において、透明色制御の対象ではない画素（図１４（Ｂ）では、画素値が０ｘ０１０１０１０である画素）の画素値が非可逆圧縮符号化および復号により、０ｘ００００００に変化した結果生じる不具合（すなわち、本来、透明とされるべきではない画素が透明とされる不具合）が例示されている。これらの不具合は、何れも非可逆圧縮符号化により得られた圧縮符号化データを復号しても、原画像データを完全に復元することはできないことに起因するものである。

このような不具合を回避するための技術としては、特許文献１や特許文献２に開示された技術が挙げられる。これら特許文献には、透明色制御の対象となる画素であるか否かを示す２値データを画素の配列順に並べたマスクデータを圧縮符号化データとともに用いることが開示されている。また、図１４（Ｃ）および図１４（Ｄ）に示すように、非可逆圧縮符号化後の画素データの各々に透明色制御の対象となる画素であるか否かを示す付加ビット（図１４に示す例では、透明色制御の対象である場合は１、対象ではない場合は０）を付与し、この付加ビットを用いて透明色制御の対象画素か否かを判別することも考えられる。このようなマスクデータや付加ビット等の付加情報を用いることによって、透明色制御となる画像データに非可逆圧縮符号化を施しても、デコード側にて正確に透明色制御を行うことが可能になる。

特開平１１−２０５７８８号公報 特開２００３−８７５７２号公報

しかし、圧縮符号化データの他に付加情報を用いる態様においては、付加情報のデータ量を含めて圧縮率を評価する必要があり、付加情報を用いない態様に比較して圧縮率の低下を招くことは否めない。特に、非圧縮符号化技術は、可逆圧縮符号化技術に比較して高い圧縮率が得られることが利点であったのであるから、上記付加情報を用いる態様では非可逆圧縮符号化技術本来の利点が損なわれる虞がある。
本発明は、上記課題に鑑みて為されたものであり、透明色制御の対象となる画像データに圧縮符号化を施す際に、圧縮率を大幅に低下させることなく、デコード側にて正確に透明色制御を行うことを可能にする技術を提供することを目的とする。

上記課題を解決するために本発明は、画像を構成する複数の画素の各々の色を第１色成分〜第３色成分の強度の組み合わせで表す画像データを取得し、前記複数の画素の各々について透明色制御の対象であるか否かを前記第１色成分〜第３色成分を参照して判定し、対象ではないと判定された画素については、前記第１色成分〜第３色成分の強度の組み合わせを所定の写像規則にしたがって前記第１色成分〜第３色成分とは異なる３種類の新たな成分の組み合わせに写像する一方、対象であると判定された画素については、前記写像規則による写像範囲外の値に写像して新たな画素データに変換するデータ変換手段と、前記データ変換手段により得られる画像データに対して非可逆圧縮符号化処理を施し圧縮符号化データを生成する非可逆圧縮符号化手段とを具備することを特徴とする圧縮符号化装置を提供する。なお、本発明の別の態様においては、コンピュータを上記各手段として機能させることを特徴とするプログラムを提供しても良い。

このような態様の圧縮符号化装置により圧縮符号化された画像データの復号、およびその画像データの示す画像の表示制御を行う画像表示制御装置としては、以下の構成のものが考えられる。すなわち、上記圧縮符号化装置により生成された圧縮符号化データを取得する取得手段と、前記取得手段により取得された圧縮符号化データに、前記非可逆圧縮符号化処理の逆演算に相当する復号処理を施し、画像データを復元する復号手段と、前記復号手段により復元された画像データの表す画像を構成する画素の各々について画素値が前記写像範囲外の値であるか否かを判定し、前記写像範囲外の値である画素については透明色制御を行う一方、その他の画素については前記写像規則にしたがった演算の逆演算により画素値を前記第１色成分〜第３色成分の強度の組み合わせに変換し、その組み合わせに応じた色で表示装置に表示させる表示制御手段とを有することを特徴とする画像表示制御装置である。

より好ましい態様においては、前記圧縮符号化装置の非可逆圧縮符号化手段が実行する非可逆圧縮処理では、前記写像規則による写像範囲外の所定の値については可逆圧縮符号化され、前記写像規則による写像範囲内の値については非可逆圧縮符号化されることを特徴とする。このような態様によれば、前記写像規則による写像範囲外の所定の値については可逆圧縮符号化であるから、復号装置側では、復号された画像データの表す画素毎に画素値が前記写像規則による写像範囲外の所定の値であるか否かを判定することによって透明色制御の対象画素を正確に判定することができる。

また、別の好ましい態様においては、前記圧縮符号化装置の前記データ変換手段は、透明色制御の対象であると判定された画素について、前記写像規則による写像範囲の上限或いは下限から大きく離れた値に写像して新たな画素データを生成することを特徴とする。非可逆圧縮符号化とはいっても、復号装置側で圧縮符号化前とはかけ離れた値が復号される訳ではないと考えられるので、透明色制御の対象画素の画素値は非可逆圧縮符号化および復号化を経ても前記写像規則による写像範囲外に留まると考えられる。したがって、このような態様においては、復号装置側では、復号された画像データの表す画素毎に画素値が前記写像規則による写像範囲外の値であるか否かを判定することによって透明色制御の対象画素を正確に判定することができる。

また、別の好ましい態様においては、前記圧縮符号化装置の非可逆圧縮符号化手段が実行する非可逆圧縮処理では、前記データ変換処理により得られた画像データの３種類の新たな成分のうち少なくとも１つを可逆圧縮符号化され、他の成分については非可逆圧縮符号化されることを特徴とする。このような態様によれば、復号装置側では、復号された画像データの表す画素毎に３つの成分のうちの何れかが前記写像規則による写像範囲外の値であるか否かを判定することによって透明色制御の対象画素を判定することができる。

本発明の第１実施形態である圧縮符号化装置１および画像表示制御装置２を含む画像データの圧縮符号化伝送システムの一例を示す図である。 本発明の第２実施形態である圧縮符号化装置１００および画像表示制御装置２００を含む画像データの圧縮符号化伝送システムの一例を示す図である。 同圧縮符号化装置１００が実行するデータ変換処理１２０の流れを示すフローチャートである。 同圧縮符号化装置１００が生成する透明色制御用データの一例を示す図である。 同圧縮符号化装置１００が実行する縮小処理１３１における画素の間引き、および拡張処理１３２における画素の補間について説明するための図である。 同圧縮符号化装置１００が実行する予測符号化処理１４１の内容を示す図である。 同予測符号化処理１４１にて算出される予測誤差の一例を示す図である。 同圧縮符号化装置１００が実行する予測誤差変換処理１４２の内容を示す図である。 予測誤差の構成ビット数（符号ビットを除く）が６ビットである場合を例に予測誤差変換処理１４２の処理内容を詳細に示す図である。 同圧縮符号化装置１００が実行する可変長符号化処理１４３にて使用される変換テーブルを示す図である。 画像表示制御装置２００が実行する表示制御処理の流れを示すフローチャートである。 本発明の画像表示制御装置の第３実施形態である画像処理ＬＳＩ３００の構成例を示す図である。 同画像処理ＬＳＩ３００の記憶部３０２に格納されている圧縮符号化情報の一例を示す図である。 従来の画像の非可逆圧縮符号化に伴う透明色制御の問題点を説明するための図である。

以下、図面を参照しつつ本発明の実施形態について説明する。
（Ａ：第１実施形態）
図１は、本発明の一実施形態である圧縮符号化装置１と画像表示制御装置２とを含む画像データの圧縮符号化伝送システムの構成例を示す図である。このシステムでは、透明色制御の対象となる画像データの非可逆圧縮符号化伝送、その復号および復号結果に応じた画像の表示制御が行われる。図１の圧縮符号化装置１は画像データの非可逆圧縮符号化処理を行う装置である。図１に示すシステムでは、圧縮符号化装置１による処理結果である圧縮符号化データをＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）などの記録媒体に書き込んで配布したり、インターネットなどの電気通信回線経由のダウンロードで配布したりすることで画像データの非可逆圧縮符号化伝送が実現される。一方、画像表示制御装置２は、圧縮符号化データの復号、および復号結果に応じた画像の表示制御を行う装置である。ここで、画像データとは、画像を構成する複数の画素の各々の色を第１色成分から第３色成分（本実施形態では、Ｒ、ＧおよびＢの３つの色成分）の強度で表す画素データの集合体であり、本実施形態では、各色成分の強度を０から２５５の値（すなわち、８ビットのデータ：したがって、1画素あたり３×８＝２４ビットのデータ）で表現するものが用いられる。

図１の圧縮符号化装置１は、例えばＤＳＰ（Digital Signal Processor）などのコンピュータである。この圧縮符号化装置１には、本実施形態の特徴を顕著に示す非可逆圧縮符号化処理を実現するプログラム（以下、非可逆圧縮符号化プログラム）が予めインストールされている。圧縮符号化装置１は、この非可逆圧縮符号化プログラムにしたがって、本実施形態の特徴を顕著に示す非可逆圧縮符号化処理を実行する。図１に示すように、この非可逆圧縮符号化処理は、透明色判断処理１０、ＲＧＢ→ＹＣｂＣｒ変換処理２０ａ、オールゼロ変換処理２０ｂ、および非可逆圧縮処理３０を含んでいる。

圧縮符号化装置１に対して、圧縮符号化対象の画像データ（ＲＧＢ２４ビット形式の画像データ）の入力と、透明色の指定が為されると、圧縮符号化装置１は、上記画像データの表す画像を構成する画素の各々について、透明色判断処理１０を実行する。この透明色判断処理１０は、判断対象の画素の画素値が透明色に等しいか否かを判断する処理である。例えば、透明色として“０ｘＦＦＦＦＦＦ”（すなわち、Ｒ、ＧおよびＢの各成分の強度が０ｘＦＦ（２５５）である色）が設定されている場合、画素値が“０ｘＦＦＦＦＦＦ”ではない画素については、透明色判断処理１０にて非透明色であると判断され、ＲＧＢ→ＹＣｂＣｒ変換処理２０ａが実行される。このＲＧＢ→ＹＣｂＣｒ変換処理２０ａは、以下の式（１）に示す写像規則にしたがってＲＧＢ表色系からＹＣｂＣｒ表色系への写像を行う処理である。このＲＧＢ→ＹＣｂＣｒ変換処理２０ａの結果得られる画素値のＹ成分、Ｃｂ成分およびＣｒ成分は何れも１６以上の値となる。
Ｙ ＝ ０．２５７×Ｒ＋０．５０４×Ｇ＋０．０９８×Ｂ＋１６
Ｃｂ＝−０．１４８×Ｒ−０．２９１×Ｇ＋０．４３９×Ｂ＋１２８
Ｃｒ＝ ０．４３９×Ｒ−０．３６８×Ｇ−０．０７１×Ｂ＋１２８
・・・（１）

これに対して、画素値が“０ｘＦＦＦＦＦＦ”である画素については透明色判断処理１０にて透明色であると判断され、画素値を０ｘ００００００に変換するオールゼロ変換処理２０ｂが実行される。前述したことから明らかように、０ｘ００００００はＲＧＢ表色系からＹＣｂＣｒ表色系への写像における写像範囲外の値であり、デコード側（本実施形態では、画像表示制御装置２）にてデコード結果に応じた画像の表示を行う際に、透明色制御の対象であるか否かを画素毎に判定する際の手掛かりとなる。よって、以下では、上記０ｘ００００００のことを制御対象明示値と呼ぶ。

非可逆圧縮符号化処理３０は、画素毎にＲＧＢ→ＹＣｂＣｒ変換処理２０ａまたはオールゼロ変換処理２０ｂの何れかが施された画像データに非可逆圧縮符号化を施し、圧縮符号化データを生成する処理である。ただし、本実施形態では、画素値が制御対象明示値である画素については、非可逆圧縮符号化および復号化により制御対象明示値が復号され、かつ、ＹＣｂＣｒ表色系の画素値については非可逆圧縮符号化および復号化により制御対象明示値とは異なる値が復号されるような非可逆圧縮符号化アルゴリズムが採用されている点に特徴がある。これは、デコード側にて、画素値を手掛かりに透明色制御の対象であるか否かを確実に判別することができるようにするためである。本実施形態では、このようにして生成された圧縮符号化データが画像表示制御装置２へ伝送される。なお、本実施形態では、制御対象明示値として０ｘ００００００を用いたが、ＲＧＢ表色系からＹＣｂＣｒ表色系への写像範囲外の値であって、非可逆圧縮符号化および復号化により圧縮符号化前の値が確実に復号される（換言すれば、可逆圧縮符号化される）ような値（或いは、そのような非圧縮符号化アルゴリズム）を選択するようにすれば良い。

次いで、画像表示制御装置２について説明する。画像表示制御装置２も、前述した圧縮符号化装置１と同様にＤＳＰであり、本実施形態の特徴を顕著に示す圧縮符号化データの復号およびその復号結果に応じた画像の表示制御を実現するプログラムが予めインストールされている。図１に示すように、画像表示制御装置２は、上記プログラムにしたがって復号処理４０、透明色判断処理５０、ＹＣｂＣｒ→ＲＧＢ変換処理６０ａ、判断処理６０ｂ、描画処理７０および８０ｂ、透明色制御処理８０ａを実行する。より詳細に説明すると、画像表示制御装置２は、圧縮符号化装置１により生成された圧縮符号データの入力および透明色（圧縮符号化装置１に対して指定されたものと同一の透明色）の指定がなされると、まず、この圧縮符号化データに対して非可逆圧縮符号化処理３０の逆演算に相当する復号処理４０を施す。その結果、画素値としてＹＣｂＣｒ表色系の画素値または制御対象明示値を有する画像データが得られることとなる。

図１の透明色判断処理５０は、復号処理４０により得られた画像データの表す画像を構成する画素毎に透明色制御の対象であるか否かをその画素値に応じて判断する処理である。より詳細に説明すると、判断対象の画素の画素値が制御対象明示値に等しい場合には、透明色判断処理５０の判断結果はＹｅｓになり、逆に、判断対象の画素の画素値が制御対象明示値に等しくない場合には、透明色判断処理５０の判断結果はＮｏになる。前述したように本実施形態では、圧縮符号化前に画素値が制御対象明示値であった画素は、非可逆圧縮符号化および復号化を経ても画素値として制御対象明示値が必ず復号され、また、圧縮符号化前に画素値がＹＣｂＣｒ表色系の画素値であったものが非可逆圧縮符号化および復号化により制御対象明示値に復号されることはない。このため、上記透明色判断処理５０によって、透明色制御の対象画素であるか否かを正確に判別することができるのである。

透明色判断処理５０の判断結果がＮｏである画素に対しては、その画素値（ＹＣｂＣｒ表色系の画素値）を以下の式（２）にしたがってＲＧＢ表色系の画素値に変換するＹＣｂＣｒ→ＲＧＢ変換処理６０ａが実行され、その変換結果に応じた色で表示装置に描画させる描画処理７０が行われる。
Ｒ＝１．１６４×（Ｙ−１６）＋１．５９６×（Ｃｒ−１２８）
Ｇ＝１．１６４×（Ｙ−１６）−０．３９１×（Ｃｂ−１２８）−０．８１３×（Ｃｒ−１２８）
Ｂ＝１．１６４×（Ｙ−１６）＋２．０１８×（Ｃｂ−１２８）
・・・（２）

これに対して、透明色判断処理５０の判断結果がＹｅｓである画素に対しては、透明色制御の実行を指示されているか否かの判断処理６０ｂが行われ、その判断結果がＹｅｓであれば、透明色制御（すなわち、当該画素を描画しない）８０ａが、逆、その判断結果がＮｏであれば、透明色（すなわち、透明とすべき旨を指定された色）で表示装置に表示させる描画処理８０ｂが行われる。
以上が本実施形態の圧縮符号化装置１および画像表示制御装置２の構成および機能である。

以上に説明したように、本実施形態によれば、圧縮符号化前の画素値が制御対象明示値である画素については非可逆圧縮符号化および復号化を経ても画素値として必ず制御対象明示値が復号され、ＹＣｂＣｒ表色系の画素値については必ず制御対象明示値とは異なる値が復号される。このため、本実施形態では、付加ビット等の付加情報を用いることなくデコード側で透明色制御の対象画素であるか否かをデコード後の画素値に基づいて正確に判断することができる。本実施形態では、付加情報を用いないのであるから、非可逆圧縮符号化における圧縮率の低下が生じることはない。つまり、本実施形態によれば、透明色制御の対象となる画像データに非可逆圧縮符号化を施す際に、圧縮率を低下させることなく、デコード側で正確な透明色制御を行うことが可能になる。

（Ｂ：第２実施形態）
図２は、本発明の第２実施形態である圧縮符号化装置１００と画像表示制御装置２００とを含む画像データの圧縮符号化伝送システムの構成例を示す図である。このシステムにおいても、図１に示すシステムと同様に、画像データ（ＲＧＢ２４ビット形式）の圧縮符号化伝送、その復号および復号結果に応じた画像の表示制御が行われる。ただし、図２に示すシステムにおいては、前述した第１実施形態とは異なり、制御対象明示値についても可逆圧縮符号化とはならない非可逆圧縮符号化アルゴリズムが採用されている点に特徴がある。

まず、圧縮符号化装置１００について説明する。
図２の圧縮符号化装置１００も、図１の圧縮符号化装置１と同様にＤＳＰであり、本実施形態の特徴を顕著に示す非可逆圧縮符号化処理を実現する非可逆圧縮符号化プログラムが予めインストールされている。図２に示すように、この非可逆圧縮符号化処理は、データ変換処理１２０、非可逆変換処理１３０、および、可逆圧縮符号化処理１４０を含んでいる。なお、本実施形態では、これら各処理をソフトウェアで実現するが、データ変換処理１２０を実行するデータ変換手段、非可逆変換処理１３０および可逆圧縮符号化処理１４０を実行する非可逆圧縮符号化手段の各々を電子回路で構成し、これら各手段を組み合わせて圧縮符号化装置１００を構成しても勿論良い。

データ変換処理１２０は、非可逆圧縮符号化の対象となる画像データ（ＲＧＢ表色系の画像データ）を後段の各処理に適したものに変換する処理である。このデータ変換処理１２０は、第１実施形態における透明色判断処理１０、ＲＧＢ→ＹＣｂＣｒ変換処理２０ａおよびオールゼロ変換処理２０ｂに対応する処理である。図３は、データ変換処理１２０の流れを示すフローチャートである。このデータ変換処理１２０は、圧縮符号化対象となる画像データに含まれる画素データ毎（すなわち、同画像データの表す画像の構成画素毎）に実行される処理である。例えば、圧縮符号化対象となる画像からラスタスキャン順に変換対象画素が１個ずつ選択され、各変換対象画素に対して図３のフローチャートにしたがった処理が実行される。

図３に示すように、データ変換処理１２０では、まず、変換対象画素が透明色制御の対象となる画素であるか否かの判定（ステップＳＡ１００）が行われる。このステップＳＡ１００の判定処理の処理内容は透明色判断処理１０と同一である。そして、ステップＳＡ１００の判定結果が“Ｎｏ”である場合には、座標変換処理（ステップＳＡ１１０）が実行され、逆に、ステップＳＡ１００の判定結果が“Ｙｅｓ”である場合には、ステップＳＡ１２０およびステップＳＡ１３０の処理が実行される。

ステップＳＡ１１０の座標変換処理は、ＲＧＢ表色系からＹＣｂＣｒ表色系への写像処理であり、その処理内容は前述したＲＧＢ→ＹＣｂＣｒ変換処理２０ａと同様である。一方、ステップＳＡ１００の判定結果が“Ｙｅｓ”である場合に実行されるステップＳＡ１２０の処理は、変換対象画素についてのＹ、ＣｂおよびＣｒ成分の各画素データとして式（１）の示す写像規則にしたがった写像の写像範囲外の値（上記写像規則にしたがった演算により得られる値の範囲の下限よりも小さな値、或いは、同範囲の上限より大きな値）を制御対象明示値として出力する処理である。そして、ステップＳＡ１２０に後続して実行されるステップＳＡ１３０の処理は、透明色と制御対象明示値との対応を示す透明色制御用データ（図４参照）を生成しデコード側へ出力する処理である。この透明色制御用データは、図２に示すように、画像表示制御装置２００に与えられ、透明色制御を行いつつ画像表示を行う際（或いは、透明色制御を行わず画像表示を行う際）に利用される。

本実施形態では、制御対象明示値として第１実施形態と同様に０ｘ００００００（前掲式（１）の示す写像規則による写像範囲の下限（０ｘ１０１０１０）から大きく離れた値）が採用されている点に第１の特徴がある。本実施形態にて、制御対象明示値として写像範囲の下限から大きく離れた値を採用した理由は以下の通りである。データ変換処理１２０を経た画像データに対しては非可逆圧縮符号化（後述するように本実施形態では、非可逆変換処理１３０および可逆圧縮符号化処理１４０からなる非可逆圧縮符号化処理）が施されるが、前述したように、本実施形態では、制御対象明示値に対する非可逆圧縮符号化および復号化により制御対象明示値が復号されるとは限らない。しかし、如何に非可逆圧縮符号化であるとは言っても、圧縮符号化前の値から大きく離れた値が復号されるとは考えられない。透明色制御の対象となる画素の画素値をその他の画素（すなわち、透明制御の対象ではない画素）についての写像範囲の上限或いは下限から大きく離れた値に変換しておけば、仮に、非可逆圧縮符号化による影響があったとしても、復号後の画素値は写像範囲外に留まる可能性が高くなると考えられる。したがって、透明色制御の対象となる画素の画素値を上記写像範囲の上限或いは下限から大きく離れた値に変換しておけば、非可逆圧縮符号化および復号化を経た後も、その復号後の画素値が上記写像範囲外の値であるか否かを判別することによって、透明色制御の対象であるか否かを付加ビット等の付加情報を用いることなくデコード側で正確に判別することができると期待される。これが、制御対象明示値として上記写像範囲の下限から大きく離れた値（０ｘ００００００）を用いた理由である。なお、本実施形態では、透明色制御の対象となる画素について非可逆圧縮符号化および復号化を経た後の画素値が上記写像範囲外の値となることを保証する非可逆圧縮符号化アルゴリズムおよび復号化アルゴリズムが採用されている点に第２の特徴があり、この第２の特徴については後に詳細に説明する。

以上説明したように、本実施形態のデータ変換処理１２０は、ＲＧＢ表色系からＹＣｂＣｒ表色系への色変換処理そのものではないが、以下では説明の便宜上、データ変換処理１２０を経た画像データを「ＹｃＢＣｒ表色系の画像データ」と呼ぶ。なお、本実施形態では、透明色が１種類である場合について説明するが、複数種の透明色を設定しても良いことは勿論である。このように複数種の透明色を設定する態様においては、それら透明色の各々に対して互いに異なる制御対象明示値を割り当てれば良く、また、透明色制御用データとして、複数の透明色の各々と各制御対象明示値との対応関係を示すものを生成するようにすれば良い。
以上がデータ変換処理１２０の内容である。

非可逆変換処理１３０は、可逆圧縮符号化処理１４０における圧縮率を高めるためにその前段で行われる処理である。図２に示すように、非可逆変換処理１３０は、縮小処理１３１、拡張処理１３２、および量子化処理１３３を含んでいる。図２に示すように、縮小処理１３１および拡張処理１３２は、データ変換処理１２０により生成される３種類の新たな画像データのうちＣｂ成分およびＣｒ成分の画像データのみを処理対象とする。縮小処理１３１は、図５（Ａ）に示すように、Ｃｂ成分およびＣｒ成分の画像データを２×２画素のマトリクス状に区分けし、各マトリクスにて左上隅の画素に対応する画素データを除く３つの画素データを削除する処理（すなわち、４画素当たり３画素の割合で画素を間引く処理）である。一方、拡張処理１３２は、図５（Ｂ）に示すように、縮小処理１３１にて間引かれなかった画素データ（上記２×２画素のマトリクスにて左上隅に位置する画素の画素データ）を用いて上記間引いた画素データを補間する処理である。ここで注目すべき点は、画像データの圧縮率を向上させるという観点から言えば、図５（Ａ）に示すＹＣｂＣｒ４１１形式の画像データを圧縮符号化する場合のほうが、図５（Ｂ）に示すＹＣｂＣｒ４４４形式の画像データを圧縮符号化する場合に比較して圧縮率が高くなるにも関わらず拡張処理１３２を行ってＹＣｂＣｒ４１１形式の画像データをＹＣｂＣｒ４４４形式の画像データに変換している点である。このような変換を行う理由については、画像表示制御装置２００における処理の説明にて明らかにする。なお、非可逆変換処理１３０においてＹ成分の画像データに対して縮小処理１３１および拡張処理１３２を施さないのは、Ｙ成分の画像データは各画素の輝度を表すため、画素データの間引きを行ってしまうと画質の劣化が顕著に表れるからである。また、本実施形態にてＲＧＢ表色系の画像データをデータ変換処理１２０によりＹＣｂＣｒ表色系の画像データに変換した後に非可逆変換処理１３０を施すようにしたのも上記縮小処理１３１、拡張処理１３２および量子化処理１３３による画質の劣化を回避するためである。

量子化処理１３３は、Ｙ成分、Ｃｂ成分およびＣｒ成分の画像データの何れか、或いは全てを処理対象とし、処理対象の画像データを構成する各画素データのビット数を削減する処理である。この量子化処理１３３は、量子化モードテーブルを参照して実行され、この量子化モードテーブルの格納内容の一例は以下の表１に示す通りである。この量子化モードテーブルについては、非可逆圧縮符号化プログラムに予め埋め込んでおいても良く、また、非可逆圧縮符号化プログラムとは別個に圧縮符号化装置１００に記憶させておいても良い。表１に示すように量子化モードテーブルには、量子化モードを示すモード値（本実施形態では、０〜６までの６種類の値、なお、モード値＝０は量子化処理１３３を施さないことを示す）に対応付けてそのモード値の示す量子化モードにおける各成分の削減ビット数を規定する量子化係数（表１では、Ｙ成分量子化係数、Ｃｂ成分量子化係数およびＣｒ成分量子化係数）が格納されている。量子化処理１３３では、予め設定されたモード値（或いは、外部から与えられる量子化モード信号の示すモード値）に対応する量子化係数が量子化モードテーブルから読み出され、その量子化係数に応じたビット数分の右論理シフトを該当する成分の画素データに施すことで、そのモード値に応じた量子化が実現される。

例えば、モード値＝１が予め設定されている場合には、Ｙ成分の画像データに対してのみ、画素データのビット数を１ビット削減する処理（１ビットの右論理シフト）が施され、モード値＝２が予め設定されている場合には、Ｙ成分、Ｃｂ成分およびＣｒ成分の各画像データに対して画素データのビット数を１ビット削減する処理が施される。図２に示すように、本実施形態では、非可逆変換処理１３０を経た画像データに対して可逆圧縮符号化処理１４０が施され、その処理結果である圧縮符号化データが画像表示制御装置２００による復号化の対象となる。後述するように可逆圧縮符号化処理１４０は予測符号化と可変長符号化とを併用した典型的な可逆演算であるが、その前段で各々非可逆演算からなる非可逆変換処理１３０が施されるため、圧縮符号化装置１００における圧縮符号化演算は全体として非可逆演算となるのである。また、本実施形態では、図２に示すように、量子化処理１３３における量子化モードのモード値を示す量子化モード信号が圧縮符号化装置１００から画像表示制御装置２００に与えられる。この量子化モード信号は、画像表示制御装置２００にて上記量子化処理の逆演算である逆量子化処理を行う際に利用される。

可逆圧縮符号化処理１４０は、図２に示すように、予測符号化処理１４１、予測誤差変換処理１４２、および、可変長符号化処理１４３を含んでいる。予測符号化処理１４１では、図６に示すように、圧縮符号化対象の画像を構成する各画素の中から対象画素Ｘがラスタスキャン順に選択される。そして、対象画素Ｘの近傍の画素の画素データから対象画素についての画素データの予測値Ｍｘが算出され、この予測値Ｍｘと対象画素の画素データの実際値との差分である予測誤差Ｘ−Ｍｘが算出される。

具体的には、予測符号化処理１４１では、次のアルゴリズムに従って、予測値Ｍｘが算出される。まず、対象画素Ｘの左隣の画素Ｘａの画素データがＸａ、対象画素の直上の画素Ｘｂの画素データがＸｂ、対象画素の左上の画素Ｘｃの画素データがＸｃである場合において、これらの３つの画素データの最大値ｍａｘ（Ｘａ、Ｘｂ、Ｘｃ）を求め、Ｘｃ＝ｍａｘ（Ｘａ、Ｘｂ、Ｘｃ）であるか否かを判断する。この判断結果が肯定的である場合において、Ｘｂ＜Ｘａであれば、予測値ＭｘをＸｂとし、Ｘａ＜Ｘｂであれば予測値ＭｘをＸａとする。一方、Ｘｃ＝ｍａｘ（Ｘａ、Ｘｂ、Ｘｃ）でない場合、３つの画素データの最小値ｍｉｎ（Ｘａ、Ｘｂ、Ｘｃ）を求め、Ｘｃ＝ｍｉｎ（Ｘａ、Ｘｂ、Ｘｃ）であるか否かを判断する。この判断結果が肯定的である場合において、Ｘｂ＞Ｘａであれば、予測値ＭｘをＸｂとし、Ｘａ＞Ｘｂであれば予測値ＭｘをＸａとする。そして、Ｘｃ＝ｍａｘ（Ｘａ、Ｘｂ、Ｘｃ）でもなく、Ｘｃ＝ｍｉｎ（Ｘａ、Ｘｂ、Ｘｃ）でもない場合、すなわち、Ｘｃ＞ｍｉｎ（Ｘａ、Ｘｂ、Ｘｃ）であり、かつ、Ｘｃ＜ｍａｘ（Ｘａ、Ｘｂ、Ｘｃ）である場合、Ｍｘ＝Ｘａ＋Ｘｂ−Ｘｃを予測値Ｍｘとする。そして、このようにして得られる予測値Ｍｘと対象画素Ｘの画素データの実際値との差分である予測誤差Ｘ−Ｍｘを算出するのである。

本実施形態では、前述した非可逆変換処理１３０により、Ｃｂ成分の画像データとＣｒ成分の画像データは同一の値を有する４個の画素データがマトリクス状に並ぶものに変換されており（図７参照）、各マトリクス内で右下隅に位置する画素についての予測誤差は必ずゼロとなる。つまり、Ｃｂ成分の画像データとＣｒ成分の画像データについては、水平方向に並んだ複数の画素の各々についての予測誤差が少なくとも１つおきにゼロになることが保証されている。このため、本実施形態では、Ｃｂ成分およびＣｒ成分の画像データに関して予測符号化処理１４１にて算出される予測誤差が連続してゼロとなりやすくなっているのである。詳細については後述するが、予測誤差がゼロとなる画素が連続して表れるほど圧縮符号化データのデータサイズは小さくなる（換言すれば、圧縮率は高くなる）。

予測誤差変換処理１４２は、予測符号化処理１４１により算出される予測誤差の符号ビットを反転すると当該予測誤差の絶対値が減少する場合に当該予測誤差の符号ビットを反転させる処理である。この予測誤差変換処理１４２が行う変換処理の内容は、予測誤差の構成ビット数、すなわち、圧縮符号化の対象となる画像データを構成する各画素データの構成ビット数により異なったものとなる。図８は、予測誤差の構成ビット数（符号ビットを除く）が８ビット、６ビット、５ビット、４ビットの各場合について、入力データである予測誤差と予測誤差変換処理１４２を経た出力データとの関係を示したものである。なお、図８では、符号を反転した場合に絶対値が小さくなる入力データのみについて入力データと出力データとの関係が示されており、符号を反転した場合に絶対値が小さくならない入力データ（すなわち、符号反転されることなくそのまま出力データとなる入力データ）については、入力データと出力データとの関係の図示は省略されている。

図９は、予測誤差の構成ビット数（符号ビットを除く）が６ビットである場合について、予測誤差変換処理１４２の入力データと出力データとの関係を示している。この図において、矢印は変換の方向を示している。本実施形態において取り扱う各成分の画素データおよび予測誤差等の２進の数値データは、２の補数形式で負の数の表現を行う。この場合において、予測誤差の構成ビット数（符号ビットを除く）が６ビットであるとすると、正の値では絶対値が３２以上の予測誤差は符号ビットを反転したときの絶対値が元の絶対値以下になる。そこで、絶対値が２^６−１＝３２以上の正の予測誤差は符号ビットの反転を行う。また、負の値でも絶対値が３２以上の予測誤差（すなわち、−３２以下の負の値）は符号ビットを反転したときの絶対値が元の絶対値以下となる。そこで、絶対値が３２以上の負の予測誤差は符号ビットの反転を行う。予測誤差の構成ビット数が異なる他の場合についても同様であり、図８に示すように、予測誤差の構成ビット数が８ビットである場合には絶対値が２^８−１＝１２８以上である予測誤差が符号反転の対象となり、予測誤差の構成ビット数が５ビットである場合には絶対値が２^５−１＝１６以上である予測誤差が符号反転の対象となり、予測誤差の構成ビット数が４ビットである場合には絶対値が２^４−１＝８以上である予測誤差が符号反転の対象となる。

可変長符号化処理１４３は、予測誤差変換処理１４２を経た予測誤差を可変長符号に変換する処理である。上述したように、予測符号化処理１４１では、圧縮符号化の対象となる画像を構成する各画素の中からラスタスキャン順に対象画素Ｘが選択され、予測誤差が算出される。本実施形態では、予測符号化処理１４１によりラスタスキャン順に算出される予測誤差に対してそのままの順序で予測誤差変換処理１４２および可変長符号化処理１４３が施され、可変長符号に変換される。このようにして得られる可変長符号の集合体が、圧縮符号化装置１００の出力データたる圧縮符号化データとなるのである。

図１０は、可変長符号化処理１４３において、予測誤差を可変長符号に変換する際に参照される変換テーブルの内容を示す図である。この変換テーブルについても、前述した量子化モードテーブルと同様に非可逆圧縮符号化プログラムに埋め込んでおいても良く、また、非可逆圧縮符号化プログラムとは別個に圧縮符号化装置１００に記憶させておいても良い。図１０において、符号化対象は、予測誤差変換処理１４２を経た予測誤差である。Ｓは符号長が同じである可変長符号に割り当てられた可変長符号のグループ番号である。１つの可変長符号は、符号と付加ビットとにより構成されている。ここで、符号は、その可変長符号が属するグループを他のグループと区別するための識別情報である。また、付加ビットは、ある符号を持った可変長符号のグループ内において、各可変長符号を他の可変長符号と区別するための識別情報である。

図１０に示すように、０以外の絶対値を持った符号化対象は、絶対値が小さいもの程、少ないビット長の符号および付加ビットからなる可変長符号に変換される。例えば絶対値が１である２種類の符号化対象−１、１は、符号０１が割り当てられたグループ番号Ｓ＝１の可変長符号に変換され、２種類の符号化対象−１、１の各々付加ビット０、１により区別される。また、絶対値が２〜３の範囲に属する４種類の符号化対象−３、−２、２、３は、符号１０が割り当てられたグループ番号Ｓ＝２の可変長符号に変換され、４種類の符号化対象−３、−２、２、３は各々付加ビット００、０１、１０、１１により区別される。以下、同様であり、符号化対象は、各々連続した絶対値を持ったグループに分けられ、大きな絶対値を持った符号化対象のグループ程、ビット長の大きな符号が割り当てられる。また、絶対値が２５６である符号化対象のグループを除き、大きな絶対値を持った符号化対象のグループ程、グループを構成する符号化対象の個数は大きくなり、それらを区別するための付加ビットのビット長も長くなる。なお、本実施形態で取り扱う予測誤差の構成ビット数（符号ビットを除く）は最大８ビットであり、−２５６および２５６は、いずれもオーバーフロー状態を表わす。従って、−２５６および２５６は、符号が１１１１１１１１０であり、付加ビットのない同じ可変長符号に変換される。

絶対値が０である符号化対象は、ＺＲＬ（Zero Run Length）、すなわち、０の連続長が可変長符号に変換される。例えばＺＲＬ＝１は、符号０００が割り当てられたグループ番号Ｓ＝９の可変長符号に変換される。また、２〜３の範囲に属する２種類のＺＲＬ＝２、３は、符号００１０が割り当てられたグループ番号Ｓ＝１０の可変長符号に変換され、２種類のＺＲＬ＝２、３は各々付加ビット０、１により区別される。また、４〜７の範囲に属する４種類のＺＲＬ＝４、５、６、７は、符号００１１０が割り当てられたグループ番号Ｓ＝１１の可変長符号に変換され、４種類のＺＲＬ＝４、５、６、７は各々付加ビット００、０１、１０、１１により区別される。以下、同様であり、ＺＲＬは、各々連続したＺＲＬからなるグループに分けられ、大きなＺＲＬのグループ程、ビット長の大きな符号が割り当てられる。また、大きなＺＲＬのグループ程、グループを構成するＺＲＬの個数は大きくなり、それらを区別するための付加ビットのビット長も長くなる。さらに本実施形態では、圧縮率を高めるために、ＡＬＬ０という予測誤差の発生形態が想定されている。このＡＬＬ０は、着目している画素の予測誤差が０であり、かつ、その画素が属するラインのその画素以降の全ての画素の予測誤差が０である状態である。本実施形態においてこのＡＬＬ０は、符号が００１１１０であり、付加ビットのない可変長符号に変換される。前述したように、本実施形態では、Ｃｂ成分画像データおよびＣｒ成分画像データについては縮小処理１３１および拡張処理１３２を施すことによって、水平走査線方向に並んだ複数の画素の予測誤差は、必ず１つおきに０になり、０の連続長が長くなり易くなっている。このため、本実施形態では、ＺＲＬを利用して効率的に可変長符号化を行い、圧縮率を高めることができると期待されるのである。
以上が本実施形態による圧縮符号化装置１００の詳細である。

次に画像表示制御装置２００について説明する。
前掲図２の画像表示制御装置２００は、圧縮符号化装置１００により生成された圧縮符号化データを復号し、その復号結果である画像データを液晶ディスプレイなどの表示装置に与えて画像の表示制御を行う装置である。この画像表示制御装置２００も、圧縮符号化装置１００と同様にＤＳＰなどのコンピュータに本実施形態の復号処理を実現するプログラム（以下、復号プログラム）をインストールしたものである。画像表示制御装置２００は、この復号プログラムにしたがって可逆復号処理２１０、逆量子化処理２２０、および表示制御処理２３０、を実行する。なお、本実施形態では、これら各処理をソフトウェアで実現するが、可逆復号処理２１０および逆量子化処理２２０を実行する復号手段、および、表示制御処理２３０を実行する表示制御手段の各々を電子回路で構成し、これら各手段を組み合わせて画像表示制御装置２００を構成しても勿論良い。

図２の可逆復号処理２１０は、可逆圧縮符号化処理１４０の逆演算に相当し、可変長復号化処理２１１と逆予測符号化処理２１２とを含んでいる。可変長復号化処理２１１は、前述した可変長符号化処理１４３の逆演算であり、可変長符号化処理１４３にて用いているものと同じ変換テーブルを使用し、符号と付加ビットとからなる可変長符号を可変長符号化前の予測誤差に戻す処理である。一方、逆予測符号化処理２１２は、予測符号化処理１４１の逆演算に相当する処理である。この逆予測符号化処理２１２では、可変長復号化処理２１１により得られる予測誤差から、その予測誤差に応じた成分の画像データ（すなわち、Ｙ成分、Ｃｂ成分およびＣｒ成分の各画像データ）への変換が行われる。さらに詳述すると、Ｙ成分、Ｃｂ成分およびＣｒ成分のうちのある成分に関し、図６に示す３個の画素Ｘｃ、Ｘｂ、Ｘａの画素データが既に復号化されている状態において、画素Ｘの予測誤差が可変長復号化処理２１１により得られた場合、この逆予測符号化処理２１２では、予測符号化処理１４１と同様なアルゴリズムに従い、画素Ｘｃ、Ｘｂ、Ｘａの各画素データから画素Ｘの画素データの予測値ＭＸが算出される。そして、この予測値ＭＸに画素Ｘの予測誤差を加算することにより画素Ｘの画素データが算出されるのである。圧縮符号化装置１００から出力される圧縮符号化データに対して可逆復号処理２１０を施すことにより、圧縮符号化装置１００にて可逆圧縮符号化処理１４０が施される前の画像データ（すなわち、原画像データであるＲＧＢ表色系の画像データにデータ変換処理１２０を施して得られるＹＣｂＣｒ表色系の画像データに、さらに非可逆変換処理１３０を施して得られる画像データ）が完全に復元されるのである。

本実施形態では、前掲式（１）にしたがって生成されるＹ成分、Ｃｂ成分およびＣｒ成分の各画素データは正の値（より正確には、１６以上の値）を有し、これら各画素データに量子化処理１３３を施して得られるデータも０以上の値を有する。そこで、逆予測符号化処理２１２では、予測符号化前の各成分の画素データが正の値であることを前提とし、予測値ＭＸと予測誤差の加算結果において符号ビットを除く部分を復号結果たる各成分の画素データとする。従って、本実施形態では、予測誤差における符号ビットを除く部分の内容が同じであれば、予測誤差が符号ビット“０”を有する正の値であるか符号ビット“１”を有する負の値であるかによらず、その予測誤差から同じ画素データが復元される。圧縮符号化装置１００にて予測誤差変換処理１４２を行うのは、予測誤差の符号ビットの“１”／“０”が復号結果に影響を与えないという点を利用し、可変長符号化処理１４３における符号化対象（予測誤差）をより絶対値の小さな値とし、変換後の可変長符号のビット長を短くする（すなわち、圧縮符号化データのデータ量を削減し、圧縮率を高める）ためである。この点に関し、一例を挙げて説明すると、次のようになる。

まず、Ｙ成分、Ｃｂ成分およびＣｒ成分の各画素データおよび予測誤差の構成ビット数（符号ビットを除く）が６ビットであり、図１０における対象画素Ｘの画素データが５９ｄ（ｄは１０進）、予測値が１０ｄ、予測誤差が４９ｄ＝０１１０００１ｂ（ｂは２進。先頭の“０”は符号ビット）であったとする。ここで、仮に予測誤差変換処理１４２を行わなかったとすると、圧縮符号化装置１００および画像表示制御装置２００の処理内容は次のようになる。まず、圧縮符号化装置１００が実行する可変長符号化処理１４３では、図１０に示す変換テーブルに従い、予測誤差４９ｄはグループ番号Ｓ＝６のグループに属する符号１１１１１０および付加ビット１１０００１からなる１２ビットの可変長符号に変換されて出力される。画像表示制御装置２００が実行する可変長復号化処理２１１においては、この可変長符号が予測誤差４９ｄに変換される。そして、逆予測符号化処理２１２では、次式に示すように、予測値である１０ｄ＝０００１０１０ｂと予測誤差である４９ｄ＝０１１０００１ｂの２進加算が行われ、対象画素Ｘの画素データ５９ｄが復元される。
０００１０１０ｂ＋０１１０００１ｂ＝０１１１０１１ｂ
＝５９ｄ
……（３）

これに対し、予測誤差変換処理１４２を含む圧縮符号化を行う場合の圧縮符号化装置１００と画像表示制御装置２００の処理内容は次のようになる。まず、図９に示すように、予測誤差である４９ｄは、２進数に変換すると、０１１０００１ｂ（ｂは２進。先頭の“０”は符号ビット）となる。この２進数の先頭の符号ビットを“０”から“１”に反転すると、図１０に示すように、符号ビットの反転後の２進数１１１０００１ｂに対応した１０進数は−１５ｄとなり、符号ビットの反転前の４９ｄよりも絶対値の小さな値となる。そこで、圧縮符号化装置１００が実行する予測誤差変換処理１４２の出力データは、符号ビットを反転した予測誤差１１１０００１ｂ＝−１５ｄとなる。この予測誤差変換処理１４２に後続する可変長符号化処理１４３は、図１０の変換テーブルに従い、この予測誤差１１１０００１ｂ＝−１５ｄは、グループ番号Ｓ＝４のグループに属する符号１１１０および付加ビット００００からなる８ビットの可変長符号に変換され、出力される。画像表示制御装置２００が実行する可変長復号化処理２１１では、この可変長符号が予測誤差１１１０００１ｂ＝−１５ｄに変換される。そして、この可変長復号化処理２１１に後続する逆予測符号化処理２１２では、次式に示すように、予測値である１０ｄ＝０００１０１０ｂと予測誤差である−１５ｄ＝１１１０００１ｂの２進加算が行われる。
０００１０１０ｂ＋１１１０００１ｂ＝１１１１０１１ｂ ……（４）

そして、逆予測符号化処理２１２では、この加算結果１１１１０１１ｂの先頭の符号ビット“１”が無視され、対象画素Ｘの画素データを、１１１０１１ｂ＝５９ｄとする。このように、復号結果である画素データは予測値と予測誤差の構成ビットのうち符号ビットを除く部分のみにより決定される。そこで、本実施形態における圧縮符号化装置１００では、予測誤差の符号ビットを反転させた場合において予測誤差の絶対値が小さくなる場合には、予測誤差変換処理１４２にて予測誤差の符号反転を行った後に可変長符号化処理１４３を施し、圧縮符号化データを構成する可変長符号のビット長を短縮しているのである。
以上が可逆復号処理２１０の処理内容である。
ここで、注目すべき点は、可逆復号処理２１０は、予測符号化と可変長符号化とを併用した圧縮符号化アルゴリズムにより可逆圧縮符号化された画像データを復号する処理と何ら変わらないという点である。このため、可逆復号処理２１０を実行するデコード回路（図１では図示略）としては、予測符号化と可変長符号化とを併用した圧縮符号化アルゴリズムにより可逆圧縮符号化された画像データのデコードを行う従来のものをそのまま用いることができる。したがって、本実施形態の画像表示制御装置２００によれば、圧縮符号化装置１００により得られた非可逆圧縮符号化データのデコードと上記可逆圧縮符号化データのデコードの両方を行うことができるのである。仮に圧縮符号化装置１００側で拡張処理１３２が行われていないとしたならば、この拡張処理１３２に相当する処理を画像表示制御装置２００側で行う必要があり、従来のデコード回路をそのまま用いることはできず、何らかの変更を加えなければならない。また、ラインバッファ方式の画像処理ＬＳＩに組み込まれる場合のように、ライン単位でデコードを行う必要がある場合には、ラインをまたぐ拡張処理は複雑なものとなるため、デコード回路に加える変更も複雑なものとなってしまう。本実施形態では、圧縮符号化装置１００側で拡張処理１３２を行うようにしたため、予測符号化と可変長符号化とを併用した圧縮符号化アルゴリズムにより可逆圧縮符号化された画像データのデコードを行うデコード回路をそのまま用いて画像表示制御装置２００を構成することができ、これが圧縮符号化装置１００にて拡張処理１３２を行う理由である。

逆量子化処理２２０は、前述した量子化処理１３３の逆演算であり、量子化処理１３３にて構成ビットの削減が行われた画素データについてその構成ビットを補間する処理である。前述したように、圧縮符号化装置１００で行われる量子化処理１３３にて構成ビットの削除が行われる画素データおよび削除されるビット数は、圧縮符号化装置１００から画像表示制御装置２００へ送られる量子化モード信号の信号値で表される。この逆量子化処理２２０では、上記量子化モード信号の信号値に応じて、以下の表２に示す要領で各成分の画像データの補間が行われる。

例えば、モード値＝１の場合、圧縮符号化装置１００が実行する量子化処理１３３では、Ｙ成分の画素データの構成ビット数は、１ビット削減され、７ビットとなっている（表２では、Ｙ[６：０]と表記）。これに対して、画像表示制御装置２００が実行する逆量子化処理２２０では、Ｙ成分の画素データの最上位ビットから上記削除したビット数分のビット（この例では、Ｙ[６]）を、その最下位ビットの後ろに付加することで、Ｙ成分の画素データの構成ビット数は８ビットに復元されるのである。

図２の表示制御処理２３０は、逆量子化処理２２０により得られた画像データの示す画像を構成する画素をラスタスキャン順に１画素ずつ選択し、処理対象として選択した画素に対して図１１（Ａ）または図１１（Ｂ）に示すフローチャートにしたがってＲＧＢ表色系の画素データに変換して出力する処理である。より詳細に説明すると、画像表示制御装置２００の操作部（図２では図示略）に対する操作により透明色制御を行わない旨の指示が入力された場合には、この表示制御処理２３０では図１１（Ａ）に示すフローチャートにしたがった処理が実行される。逆に、透明色制御を行う旨の指示が入力された場合には、表示制御処理２３０では図１１（Ｂ）に示すフローチャートにしたがった処理が実行される。

図１１（Ａ）に示すように、表示制御処理２３０では、まず、処理対象画素が透明色制御の対象であったものか否かが判定される（ステップＳＢ１００）。この判定については種々の態様で行うことが考えられる。例えば、処理対象画素の画素値が、前掲式（１）の示す写像規則にしたがった演算により得られる写像範囲外の値であるか否かにより判定する態様や、処理対象画素のＹ成分の画素値にのみ着目し、当該画素値が上記範囲外（例えば、１６未満）であるか否かにより判定する態様が考えられる。

ここで、ステップＳＢ１００の判定処理にてＹ成分の画素データのみに着目しても良い理由は、以下の通りである。前述したように、Ｃｂ成分およびＣｒ成分の画素データに対しては、図５（Ａ）および図５（Ｂ）に示す要領で縮小処理１３１および拡張処理１３２が施されている。Ｃｂ成分およびＣｒ成分の画像データについては、これら縮小処理１３１および拡張処理１３２の実行過程で制御対象明示値を設定した画素データの削除、或いは、当該画素データによる他の画素データの補間が行われていないとは保証できない。これに対して、Ｙ成分の画像データについては、縮小処理１３１および拡張処理１３２を経ておらず、その圧縮符号化方式は可逆圧縮符号化であると言える。したがって、Ｙ成分に関しては、透明色制御の対象となる画素については、必ずその旨を示す値の画素データが復号され、逆に、透明色制御の対象ではない画素については、本来のＹ成分の強度を示す画素データが必ず復号される。このため、Ｙ成分の画素データが上記写像規則の写像範囲外の値であるか否かを判定することによって、その処理対象画素が透明色制御の対象であるか否かを正確に判別することができるのである。これが、ステップＳＢ１００の判定処理にてＹ成分の画素データのみに着目しても良い理由である。

図１１（Ａ）のステップＳＢ１００の判定結果が“Ｎｏ”である場合に実行される逆座標変換処理（ステップＳＢ１１０）は、前述したＹＣｂＣｒ→ＲＧＢ変換処理６０ａと同一内容の処理である。一方、ステップＳＢ１００の判定結果が“Ｙｅｓ”である場合に実行されるステップＳＢ１２０の処理は、処理対象画素のＲＧＢ表色系の画素データとして透明色制御用データにより指示される透明色を示すものを出力する処理である。前述したように、透明色は透明色制御を施すべき画素のＲＧＢ表色系における色（すなわち、原画像における当該画素の色）を表している。このように、図１１（Ａ）に示す表示制御処理では、逆量子化処理２２０により得られた画像データの表す全ての画素についてＲＧＢ表色系の画素データが表示装置に出力され、その画像データの表す画像の全てが表示装置に表示されることとなる。

これに対して、図１１（Ｂ）は、透明色制御を行う旨の指示が入力された場合に実行される表示制御処理２３０の流れを示すフローチャートである。図１１（Ａ）と図１１（Ｂ）とを対比すれば明らかように、図１１（Ｂ）に示す表示制御処理では、ステップＳＢ１００の判定結果が“Ｙｅｓ”である場合に、前述したステップＳＢ１２０の処理を実行しない点が図１１（Ａ）に示す表示制御処理と異なる。このように、図１１（Ｂ）に示す表示制御処理では、ステップＳＢ１００の判定結果が“Ｙｅｓ”となる画素（すなわち、透明色制御の対象となる画素）についてステップＳＢ１２０の処理が実行されず、表示装置にはこれらの画素に該当する部分が欠落した画像が表示されることとなる。したがって、当該画像が背景画像の手前にオーバレイ表示されるものである場合には、上記欠落部分に関しては背景画像の画素が見えることとなり、透明色制御が実現されるのである。

以上説明したように、本実施形態によれば、透明色制御の対象画素であるか否かを示す付加情報（図１４（Ｃ）および（Ｄ）に示す符号ビット等）に比較して透明色制御用データのデータサイズは充分に小さく、圧縮率の低下を抑えることができる。また、本実施形態にて、非可逆圧縮符号化および復号化を経た画像データにおいて透明色制御の対象画素を正確に弁別することができることは前述した通りである。つまり、本実施形態によっても、透明色制御の対象となる画像データに非可逆圧縮符号化を施す際に、圧縮率が大幅に低下することを避けつつ、デコード側にて透明色制御を正確に行うことが可能になる。

（Ｃ：第３実施形態）
次いで、本発明の画像表示制御装置の第３実施形態について説明する。
図１２は、本発明の画像表示制御装置の他の実施形態であるラインバッファ方式の画像処理ＬＳＩ３００の構成例を示すブロック図である。この画像処理ＬＳＩ３００は、例えばゲーム機などに組み込まれ、そのゲーム機の制御中枢として機能するＣＰＵ（Central Processing Unit）４０２による制御下でゲームキャラクタ等を表すスプライト画像やゲームシーンの背景画像をモニタ４０３にオーバレイ表示させるものである。より詳細に説明すると、図１２のスプライトパターンメモリ４０１には、スプライトの画像データに圧縮符号化装置１００による非可逆圧縮符号化を施して得られる圧縮符号化データが格納されている。画像処理ＬＳＩ３００は、ＣＰＵ４０２による制御の下、圧縮符号化データをスプライトパターンメモリ４０１から読み出して復号し、その復号結果である画像データに応じたスプライト画像をライン（水平走査線）単位でモニタ４０３に表示させるものである。なお、図１２では、画像処理ＬＳＩ３００を構成する要素のうち、圧縮符号化データの復号化および再生に関与している部分のみが図示されており、それ以外の要素の図示は省略されている。

スプライトパターンメモリ４０１は、複数種類のスプライト画像の各々の圧縮符号化データを記憶したメモリであり、例えばＲＯＭ（Read Only Memory）により構成されている。

画像処理ＬＳＩ３００において、ＣＰＵＩ／Ｆ（インタフェース）３０１は、ＣＰＵ４０２から制御情報を受け取る装置である。記憶部３０２は、ＣＰＵＩ／Ｆ３０１を介してＣＰＵ４０２から与えられる制御情報を記憶する装置であり、例えばＲＡＭ（Random Access Memory）により構成されている。ＣＰＵ４０２から記憶部３０２に与えられる制御情報には、復号化および再生の対象であるスプライト画像の圧縮符号化データのスプライトパターンメモリ４０１内の格納先アドレス、モニタ４０３の表示画面におけるスプライト画像の表示位置、スプライト画像の拡大・縮小に関する指示、圧縮符号化情報等が含まれる。図１３に示すように、圧縮符号化情報には、量子化モードを示す量子化モード識別子と前述した透明色制御用データが含まれている。なお、各透明色制御用データの示す透明色は同一であっても良く、また、各々異なっていても良い。同様に、各透明色制御用データの示す制御対象明示値も同一であっても良く、各々異なっていても良い。

制御部３０３は、記憶部３０２に記憶された制御情報に従って画像処理ＬＳＩ３００内の各部の制御を行う制御中枢である。パターンメモリＩ／Ｆ３０４は、制御部３０３による制御の下、記憶部３０２に記憶された制御情報に含まれている格納先アドレスの示す記憶領域に格納されている圧縮符号化データをスプライトパターンメモリ４０１から取得する取得手段の役割を果たす。パターンデータデコーダ３０５は、前述した可逆復号処理２１０を実行する装置である。このパターンデータデコーダ３０５は、制御部３０３による制御の下、スプライトパターンメモリ４０１からパターンメモリＩ／Ｆ３０４を介してスプライト画像の圧縮符号化データを受け取り、可変長復号化処理２１１および逆予測符号化処理２１２を施す。これにより、圧縮符号化前のスプライトの画像データ（ＲＧＢ表色系の画像データ）にデータ変換処理１２０および非可逆変換処理１３０を順次施して得られる画像データが復元されることになる。

パターンデータデコーダ３０５から出力される画像データは、逆量子化部３０６による逆量子化処理（前述した逆量子化処理２２０と同一の処理）および表示制御部３０７による表示制御処理（前述した表示制御処理２３０と同一の処理）を経てＲＧＢ表色系の画像データに変換される。図１２の逆量子化部３０６は、記憶部３０２に記憶された制御情報に含まれている圧縮符号化情報の量子化モード識別子にしたがって前述した逆量子化処理２２０を実行し、表示制御部３０７は、同圧縮符号化情報に含まれている透明色制御用データと制御部３０３から与えられる透明色制御を行うか否かの指示に応じて図１１（Ａ）或いは図１１（Ｂ）に示す表示制御処理を実行する。表示制御部３０７による処理を経た画像データは、スプライトレンダリングプロセッサ３０８によるレンダリングでラインバッファ３０９Ａまたは３０９Ｂに格納される。

より詳細に説明すると、ラインバッファ３０９Ａおよび３０９Ｂは、モニタ４０３の１ライン分の画像データを記憶する容量を各々有している。制御部３０３は、これらのラインバッファ３０９Ａおよび３０９Ｂを交互に使用し、例えばラインバッファ３０９Ａ内の１ライン分の画像データがモニタ４０３に表示される期間には、ラインバッファ３０９Ｂに次の１ライン分の画像データを書き込むレンダリングをスプライトレンダリングプロセッサ３０８に実行させ、ラインバッファ３０９Ｂ内の１ライン分の画像データがモニタ４０３に表示される期間には、ラインバッファ３０９Ａに次の１ライン分の画素データを書き込むレンダリングをスプライトレンダリングプロセッサ３０８に実行させる。また、制御部３０３は、スプライトレンダリングプロセッサ３０８が行うレンダリングに間に合うように、レンダリングの対象となる１ライン分のスプライト画像の画像データをパターンデータデコーダ３０５、逆量子化部３０６および表示制御部３０７に出力させるための制御を行う。ここで、モニタ４０３の１ラインに複数種類のスプライト画像を表示させる場合もある。そのような場合、制御部３０３は、表示対象である全てのスプライト画像の１ライン分の画像データを得るために必要な圧縮符号化データをスプライトパターンメモリ４０１から読み出してパターンデータデコーダ３０５に供給し、その復号化を行わせるための制御を行う。

表示コントローラ３１１、画像データコントローラ３１０およびモニタＩ／Ｆ３１２は、ラインバッファ３０９Ａおよび３０９Ｂから交互に１ライン分の画像データを読み出してモニタ４０３に供給し、モニタ４０３に画像を表示させる手段である。さらに詳述すると、表示コントローラ３１１は、垂直同期信号および水平同期信号をモニタＩ／Ｆ３１２を介してモニタ４０３に供給するとともに、水平同期信号に同期して、画像データコントローラ３１０に画像データの読み出し指令を送る。画像データコントローラ３１０は、画像データの読み出し指令を受け取る毎に、ラインバッファ３０９Ａおよび３０９Ｂを交互に選択し、選択したラインバッファから１ライン分の画像データを読み出し、モニタＩ／Ｆ３１２を介してモニタ４０３に送るのである。
以上が画像処理ＬＳＩ３００の構成である。

以上のような構成としたため、本実施形態によれば、前述した画像表示制御装置２００と同様に非可逆圧縮符号化の利点を損なうことなく、正確な透明色制御を行うことが可能になる。なお、本実施形態では、ラインバッファ方式の画像処理ＬＳＩに本発明を適用したが、フレームバッファ方式の画像処理ＬＳＩに本発明を適用しても勿論良い。ここで、フレームバッファ方式の画像処理ＬＳＩとは、１フレーム（１画面）分の画像データを格納するフレームバッファを備え、フレーム単位でレンダリング等を行うことを特徴とする画像処理デバイスのことである。

（Ｄ：変形）
以上、本発明の一実施形態について説明したが、この実施形態に以下に述べる変形を加えても勿論良い。
（１）上述した第３実施形態では、圧縮符号化情報に量子化モード識別子が含まれていたが、量子化処理１３３における量子化モードが予め固定されている場合には、量子化モード識別子を圧縮符号化情報に含めておく必要はない。また、圧縮符号化データと対応付けて圧縮符号化情報をスプライトパターンメモリ４０１に格納しておいても良く、この場合、ＣＰＵ４０２から制御部３０３に与える制御情報に圧縮符号化情報を含めておく必要はない。

（２）上述した第２実施形態では、量子化処理１３３を施しておくことで、可逆圧縮符号化処理１４０を施す画像データの何れかの成分の構成ビット数を削減したが、このような量子化処理は必ずしも必須ではなく、省略しても勿論良い。なお、量子化処理１３３を省略して得られた圧縮符号化データのデコードにおいては逆量子化処理を行う必要がないことは勿論である。また、上記第２実施形態では、予測符号化処理１４１により得られた予測誤差に予測誤差変換処理１４２を施した後に可変長符号化処理１４３を施したが、予測誤差変換処理１４２を省略しても勿論良い。また、上記第２実施形態では、可逆圧縮符号化処理１４０として予測符号化処理１４１と可変長符号化処理１４３とを併用したものを用いたが、少なくとも予測符号化処理１４１を含むものであれば良い。
上述した第２実施形態では、量子化処理１３３の後に可逆圧縮符号化処理を行っているが、これに限られることはなく、透明色制御の対象となる画素について非可逆圧縮符号化処理および復号化を経た後の画素値が写像範囲外の値となることを保障する非可逆圧縮符号化処理アルゴリズムおよび復号化アルゴリズムであれば、非可逆圧縮符号化処理を行っても良い。
また、上述した第１実施形態では、透明色判断処理１０の判断結果に応じて画素毎にＲＧＢ→ＹＣｂＣｒ変換処理２０ａまたはオールゼロ変換処理２０ｂの何れかが施された画像データに対して非可逆圧縮符号化処理３０を施したが、必ずしもこれに限られるものではなく、透明色制御の対象となる画素について可逆圧縮符号化処理および復号化処理を経た後の画素値が写像範囲外の値となることを保障する可逆圧縮符号化処理アルゴリズムおよび復号化アルゴリズムであれば、可逆圧縮符号化処理を行っても良い。

（３）上述した第２実施形態では、非可逆変換処理１３０（特に、縮小処理１３１および拡張処理１３２）を施すことによる画質の劣化を最小限に抑えるために、その前段においてＲＧＢ表色系からＹＣｂＣｒ表色系への写像を行ったが、ＬＵＶ表色系への写像であっても勿論良い。他にも、ＲＧＢ→ＹＵＶ、ＲＧＢ→ＹＩＱ、ＲＧＢ→Ｌａｂ、ＲＧＢ→ＨＬＳ、ＲＧＢ→ＨＳＶ、ＲＧＢ→ＣＭＹ、ＲＧＢ→ＣＭＹＫなどの各種写像を利用することが考えられる。これらの写像の写像規則は、前掲式（１）を参照すれば明らかなように、一般に、変換前の表色系における第１色成分から第３色成分の各画素データの一次結合で変換後の表色系における各成分を表す演算で表現される。つまり、データ変換処理１２０における演算は、画像を構成する複数の画素の各々について、変換前の表色系における第１色成分から第３色成分の各画素データの一次結合で新たな３種類の画素データを算出するような演算に一般化することができる。

例えば、ＲＧＢの各成分の画素データから、Ｒ成分の画素データ、Ｇ成分とＲ成分の差分（Ｇ−Ｒ）を表す画素データ、およびＢ成分とＲ成分の差分（Ｂ−Ｒ）を表す画素データに変換する演算であっても良く、同様に、Ｇ成分、Ｒ成分とＧ成分の差分（Ｒ−Ｇ）およびＢ成分とＧ成分の差分（Ｂ−Ｇ）の各々を表す画素データに変換する演算や、Ｂ成分、Ｒ成分とＢ成分の差分（Ｒ−Ｂ）、Ｇ成分とＢ成分の差分（Ｇ−Ｂ）の各々を表す画素データに変換する演算であっても良い。そして、データ変換処理１２０のステップＳＡ１１０における演算として画像を構成する複数の画素の各々について変換前の表色系における第１色成分から第３色成分の各画素データの一次結合で新たな３種類の画素データを算出する演算を採用する場合においては、同ステップＳＡ１２０にて使用する制御対象明示値として上記演算の示す写像規則による写像範囲外の値（例えば、上記写像範囲の下限よりも小さな値、または、同写像範囲の上限よりも大きな値）を用いるようにすれば良い。

また、第１色成分から第３色成分の各画素データの一次結合で新たな３種類の画素データを算出する演算の内容によっては、上記新たな画素データが０以上の値になるとは限らず、負の値となることも考えられる。しかし、本実施形態の逆予測符号化処理２１２では、予測符号化前の画素データが０以上の値であることを前提としているため、上記新たな画素データが負の値となることは不都合である。そこで、データ変換処理１２０により得られる新たな画素データが負の値となり得る場合には、上記新たな画素データに対してレベルシフト処理（例えば、一定の正の値の加算）を施し、画素データが必ずゼロ以上の値となるようにすれば良い。また、このようなレベルシフト処理を行う場合には、画質の劣化が顕著となることを避けるため、非可逆変換処理１３０の前段で行っておくことが望ましい。

（４）上述した第２実施形態では、データ変換処理１２０により得られるＹＣｂＣｒ表色系の画像データのうち、Ｃｂ成分およびＣｒ成分に対して縮小処理１３１および拡張処理１３２を施したが何れか一方の成分についてのみ縮小処理１３１および拡張処理１３２を施しても勿論良い。なお、他の表色系への写像の場合も同様に、第１色成分から第３色成分の各画素データの一次結合で得られる新たな３種類の画素データのうちの少なくとも一つに対して縮小処理１３１および拡張処理１３２を施すようにすれば良く、上記新たな３種類の画素データのうちの何れを縮小処理１３１および拡張処理１３２の処理対象とするのかについては、画質の劣化との兼ね合いで決めるようにすれば良い。

（５）上述した第１（或いは第２）実施形態では、本実施形態の特徴を顕著に示す非可逆圧縮処理を実現するためのプログラムが圧縮符号化装置１（或いは、圧縮符号化装置１００）に予めインストールされていたが、例えばＣＤ−ＲＯＭなどのコンピュータ読み取り可能な記録媒体に上記非可逆圧縮プログラムを書き込んで配布しても良く、インターネットなどの電気通信回線経由のダウンロードにより配布しても良い。復号プログラムについても同様に、コンピュータ読み取り可能な記録媒体に書き込んで配布しても良く、また、電気通信回線経由のダウンロードにより配布しても良い。

１，１００…圧縮符号化装置、２，２００…画像表示制御装置、１０…透明色判断処理、２０ａ…ＲＧＢ→ＹＣｂＣｒ変換処理、２０ｂ…変換処理、３０…非可逆圧縮符号化処理、３０…復号処理、５０…透明色判断処理、６０ａ…ＹＣｂＣｒ→ＲＧＢ変換処理、６０ｂ…判断処理、７０，８０ｂ…描画処理、８０ａ…透明色制御処理、１２０…データ変換処理、１３０…非可逆変換処理、１３１…縮小処理、１３２…拡張処理、１３３…量子化処理、１４０…可逆圧縮符号化処理、１４１…予測符号化処理、１４２…予測誤差変換処理、１４３…可変長符号化処理、２１０…可逆復号処理、２１１…可変長復号化処理、２１２…逆予測符号化処理、２２０…逆量子化処理、２３０…表示制御処理、３００…画像処理ＬＳＩ、３０１…ＣＰＵＩ／Ｆ、３０２…記憶部、３０３…制御部、３０４…パターンメモリＩ／Ｆ、３０５…パターンデータデコーダ、３０６…逆量子化部、３０７…表示制御部、３０８…スプライトレンダリングプロセッサ、３０９Ａ，３０９Ｂ…ラインバッファ、３１０…画像データコントローラ、３１１…表示コントローラ、３１２…モニタＩ／Ｆ、４０１…スプライトパターンメモリ、４０２…ＣＰＵ、４０３…モニタ。

Claims (3)

1. 画像を構成する複数の画素の各々の色を第１色成分〜第３色成分の強度の組み合わせで表す画像データを取得し、前記複数の画素の各々について透明色制御の対象であるか否かを前記第１色成分〜第３色成分を参照して判定し、対象ではないと判定された画素については、前記第１色成分〜第３色成分の強度の組み合わせを所定の写像規則にしたがって前記第１色成分〜第３色成分とは異なる３種類の新たな成分の組み合わせに写像する一方、対象であると判定された画素については、前記写像規則による写像範囲外の所定の値に写像して新たな画素データに変換するデータ変換手段と、
   前記データ変換手段により得られる画像データに対して非可逆圧縮符号化処理を施し圧縮符号化データを生成する非可逆圧縮符号化手段と、を備え、
   前記非可逆圧縮符号化処理では、前記写像規則による写像範囲外の所定の値については可逆圧縮符号化され、前記写像規則による写像範囲内の値については非可逆圧縮符号化される
   ことを特徴とする圧縮符号化装置。
2. 前記データ変換手段は、透明色制御の対象であると判定された画素について、前記写像規則による写像範囲の上限或いは下限から大きく離れた値に写像して新たな画素データを生成することを特徴とする請求項１に記載の圧縮符号化装置。
3. 請求項１に記載の圧縮符号化装置により生成された圧縮符号化データを取得する取得手段と、
   前記取得手段により取得された圧縮符号化データに、前記非可逆圧縮符号化処理の逆演算に相当する復号処理を施し、画像データを復元する復号手段と、
   前記復号手段により復元された画像データの表す画像を構成する画素の各々について画素値が前記写像範囲外の値であるか否かを判定し、前記写像範囲外の値である画素については透明色制御を行う一方、その他の画素については前記写像規則にしたがった演算の逆演算により画素値を前記第１色成分〜第３色成分の強度の組み合わせに変換し、その組み合わせに応じた色で表示装置に表示させる表示制御手段と、
   を有することを特徴とする画像表示制御装置。

Images