JP2013085173A - 画像処理装置及びその処理方法 - Google Patents

Abstract

【課題】 特願２００９-２２１４４４提案の技術において、システムのメモリ制約等により、入力データを圧縮処理する際、一旦圧縮した後の圧縮データ総量から、再度圧縮処理をするかの判断を行い、元画像データから再度減色処理をして圧縮を繰り返す必要があり、圧縮時間がかかる。
【解決手段】 タイルブロックに分割された状態で減色処理の要否を判断し、且つ圧縮済みデータを使い減色処理を行うことで、圧縮処理フローにかかる時間を短縮する。
【選択図】 図２

Description

本発明は、画像を所定のブロック単位に圧縮する技術とブロック単位に圧縮された画像の画像処理や復元処理を行う画像処理装置及びその処理方法に関する。

従来、高解像度のカラー画像への需要は高く、それらの高画質化への要望へ応えるべくデジタル複合機では１２００ｄｐｉやそれを超える解像度の画像を扱うことが多くなってきている。画像の高解像度化が進むにつれて、画像処理を必要とする画素数が飛躍的に増え、その処理負荷が増大しているという課題がある。例えば、６００ｄｐｉから１２００ｄｐｉに解像度が倍になることで処理すべき画素数は４倍になる。デジタル複合機に限らず、デジタルカメラやファクシミリ装置などの画像処理装置では、メモリ／ハードディスク量の節約やそれらへの書き込み時間を短縮するために、カラー画像データの圧縮を行い、低コスト化や高速化を実現している。

カラー静止画像の圧縮方式には、離散コサイン変換を利用したＪＰＥＧ方式やＷａｖｅｌｅｔ変換を利用した方式が多く使われている。この種の符号化方式は、一般的に画像を所定のブロック（例えば８×８や１６×１６画素単位）に符号化し、離散コサイン変換、量子化及びエントロピー符号化を行うことで高い圧縮効率を達成している。この種の符号化方式は、可変長符号化方式であるので、符号化対象の画像毎に符号量が変化するものである。

上述した画像圧縮を用いた場合、その画素データを参照し、その画素データを変換するには、圧縮データの復号処理が必要になってくる。つまり、圧縮データのままで画像処理を行うことはできず、必ず復号処理が必要になり、高解像度データ全ての画素に対して画素単位に処理を行う必要が出てしまい、処理時間の増大を招く。

画素データの符号化を行わずに圧縮処理を行う技術としては、画素データとその連続数を記憶する公知のランレングス圧縮方式やブロック単位でエッジを検出し、そのエッジの持つ２色を記憶することで圧縮する技術が開示されている（例えば、特許文献１）。

特開２００８−２７１０４６号公報

特許文献１においては、ブロック内を２色化し、その２色の配置に関する形状情報と２色の色情報を記憶していた。しかし、さらなる高画質化、処理高速化を図るため、本出願人は特願２００９-２２１４４４で以下のような提案をしている。

前記技術は、まず、画像データをブロック毎に分割し、ブロック内の各画素の色データを比較することにより、注目ブロックに含まれる色データの配置パターン情報と、注目ブロックに含まれる色数分の色データ情報とを出力する。そして、出力された色データ情報のうち、ブロックにおける予め決められた位置の画素に対応する第１の色データ情報、それ以外の色データ情報、配置パターン情報をそれぞれ、それぞれ異なるメモリ領域にまとめて格納することを特徴としている。これにより、２色より多い色数を持つブロックの画質を落とさずに高画質化を実現し、特定位置の間引き画像データを連続メモリ領域に置き、復号化することなく低解像度画像を扱えるようにすることで、処理高速化を実現しようとしている。

一方で、前記技術は、ある閾値によって、ブロック内の画素間の色差が大きいか小さいかを判断し、色差が小さい場合に、減色処理をおこなうことで、圧縮率を上げる技術が記載されている。すなわち、一度圧縮処理を実行し、圧縮後データが目標値より小さくなっていなかった場合、減色処理用の閾値を設定し、再び圧縮処理をする必要があり、再圧縮に時間がかかるといった課題があった。

画像データをＭ×Ｎ画素単位のタイルブロックに分割する第一画像分割手段（２０１）と、
前記タイルブロックより小さいＰ×Ｑ画素単位のピースブロックに分割する第二画像分割手段（２０３）と、
前記ピースブロック内の各画素の色データを比較することによりピースブロックの色配置パターンと構成色情報を生成するパターンフラグ生成手段（２０４）と、
前記タイルブロック単位で前記パターンフラグ生成手段の出力をまとめ、付加情報であるヘッダーを付加しパケットデータを生成するパケット生成手段（２０５）と
を備え画像圧縮処理を行う画像処理装置において、
パケットデータのデータ量と閾値との比較手段（２０８）と、パケットデータ修正手段（２０８）を備え、
各パケットデータのデータ量が予め決められた閾値を超えていた場合に、生成済みのパターンフラグと構成色情報を用いて、ピースブロックの色情報の減色処理を行い、パターンフラグと構成色情報を作り直してパケットのデータ量を削減することを特徴とする画像処理装置。

符号化及び減色処理を繰り返すことなく、圧縮後データ量の削減が可能となる。

システム構成図 画像圧縮部構成図 ２×２画素ピースにおける４色の色配置パターンとパターンフラグの関係を示す図 画素値が異なるがその配置を判定する処理を説明するための図 ビットマップ画像データとパケットバッファ内のパケットデータの関係を表した図 パッキングされたパケットデータのデータ構造を示す図 画像伸張部構成図 減色処理のフローチャート 減色処理の判断式を示した図

以下、本発明を実施するための最良の形態について図面を用いて説明する。

本実施形態では、画像処理装置として、スキャン、プリント、コピーなどの複数の機能を有するデジタル複合機（ＭＦＰ）を例に説明する。

［第１の実施形態］
まず、図１に基づいて、デジタル複合機の構成例について説明する。スキャナ１０１は、デジタル複合機の画像入力機器である。プリンタ１０２は、デジタル複合機の画像出力機器である。ＣＰＵ１０３は、後述するＨＤＤ記憶部１０４に格納されたプログラムに従ってデジタル複合機全体を制御するプロセッサである。ＨＤＤ記憶部１０４は、ハードディスクドライブであり、システムソフトウェアやアプリケーションプログラム、画像データなどを格納する。メモリ(RAM)１０５は、ＣＰＵ１０３が動作するためのシステムワークメモリであり、画像データを一時的に記憶するための画像メモリでもある。ネットワーク１０６は、LANや公衆回線（WAN）などを介して、PCや他のデジタル複合機等との端末と接続し、画像情報やデバイス情報の入出力を行う。レンダリング部１０７は、ネットワーク１０６を介して受信したPDLデータのイメージ展開を行う。

画像圧縮部１０８は、画像データの画像圧縮処理を行い、圧縮データの生成を行う。画像伸張部１０９は、圧縮データの画像伸張処理を行い、伸張データの生成を行う。この画像圧縮部１０８と画像伸張部１０９における、内部構成及び処理については後に詳細に述べる。画像処理部１１０は、画像データに対してシェーディング処理やフィルタ処理、色空間変換処理、濃度調整、ガンマ補正等の様々な画像処理を行う。上述したこれらの各部は、システムバス１１１により接続されている。

次に、デジタル複合機がコピー動作及び、プリント動作をする際の一連の画像処理について詳細に説明する。

まず始めに、デジタル複合機がコピー動作をする際の一連の画像処理について説明をする。まず、スキャナ１０１は原稿画像をRGB３色のビットマップの画像データとして読み込みを行う。読み込まれた画像データは一旦HDD１０４に格納される。HDD１０４に格納された前記画像データは、システムバスを介して画像処理部１１０に送られる。画像処理部１１０において、画像データはシェーディング処理やフィルタ処理等のスキャン用画像処理が行われ、HDD１０４に格納される。HDD１０４に格納された画像処理後のスキャン画像データは、画像圧縮部１０８へ送られる。画像圧縮部１０８は、受け取った画像データに対して画像圧縮処理を行い、画像データから圧縮データに変換する。次に、変換された圧縮データは、一旦メモリ１０５に格納され、その後、HDD記憶部１０４に格納される。

HDD記憶部１０４に格納された圧縮データは、再びメモリに格納され、その後、画像伸張部１０９に送られる。画像伸張部１０９は、受け取った圧縮データに対して画像伸張処理を行い、圧縮データから画像データ（非圧縮）に変換する。伸張された画像データは、再びHDD１０４に格納され、その後、画像処理部１１０に転送され、色空間変換処理によりRGB色空間からCMYK色空間へ変換される。その後、変換されたCMYKの各値に対して濃度調整やプリンタガンマ補正などの色処理を行い、更にディザ法や誤差拡散法による面積階調処理を行った後、該画像処理後のデータをプリンタ１０２へ出力する。

次に、デジタル複合機がPCからのプリントジョブに応じて、プリント動作をする際の一連の画像処理について説明する。まず、ネットワーク１０６はLAN等のネットワークインターフェースを介してPCからPDLデータを受信する。受信したPDLデータは、一旦、HDD１０４に格納される。その後、PDLデータは、レンダリング部１０７に転送される。次に、レンダリング部１０７において、解析されRGBのビットマップ画像データへレンダリングされた後、HDD１０４に転送される。RGBビットマップ画像データがHDD記憶部１０４に格納された後の処理については、コピー動作時と同様の処理で実現可能であるため、説明を省略する。

次に、本発明の特徴である画像圧縮処理について詳細に説明する。なお、本実施例においては、画像圧縮部１０８では、コピー動作時にはスキャンされた画像データを圧縮し、プリント動作時にはＰＤＬデータから生成された画像データを圧縮するものとしたが、このような構成に限るものではない。例えば、図１のように共通の画像圧縮部を設けるのではなく、スキャンした画像データ用の画像圧縮部とPDLデータから生成された画像データ用の画像圧縮部を個別に設けるように構成してもよい。

画像圧縮処理の詳細な説明に先立って、以下の本実施例において、32×32画素のブロックを「タイル」、2×2画素のブロックを「ピース」と呼ぶこととする。

まず、本実施例における画像圧縮部１０８の詳細な構成を図２に基づいて説明する。DMAC２０１は、HDD１０４からタイル毎に画像データの読み込みを行う。タイルバッファ２０２は、DMAC２０１に読み込んだ画像データをタイル毎に一時的に記憶するための一時記憶手段である。ピース抽出手段２０３は、タイルバッファ２０２に格納されたタイル単位の画像データからピース毎に画像データを抽出する。パターンフラグ生成手段２０４は、ピース毎に、2×2画素中の色の並びを表す色配置パターンフラグと、2×2画素中の予め定めた位置の色情報を表す第１の色データと、残りの色データを表す第２，３，４色の色データとを生成する。パターンフラグ生成手段２０４における色配置情報となるパターンフラグの生成については、後で詳しく説明する。パケット生成手段２０５は、パターンフラグ生成手段２０４によりピース毎に生成された色配置パターンフラグと第１の色データと第２，３，４色の色データをタイル毎にまとめ、更に所定の固定長のヘッダーデータを付加したパケットデータを生成する。

このヘッダーデータは、ページＩＤ、タイル座標、色空間情報、画素データのビット数、タイルのデータサイズ、属性情報の有無、圧縮フラグ等の情報である。ここで、ページＩＤは、ページ単位に付加されるユニークなＩＤ番号である。タイル座標は、このタイルがページ単位のラスタ画像上のその位置にあるかを示す座標情報である。ここには、Ｘ座標とＹ座標の2次元で座標が記述される。色空間は、このタイルが、ＲＧＢ画像なのかＣＭＹＫ画像なのかＧＲＡＹ−ＳＣＡＬＥ画像なのかを識別するための識別子を示す情報である。画素データのビット数は、タイル内の1画素当たりのビット長を示す情報である。タイルのデータサイズは、このタイルの後述する第１色のデータのデータサイズと後述する第２，３，４色のデータのデータサイズとを示すバイト単位の情報である。属性情報の有無は、画像データに文字や写真といった属性情報が画素単位で付加されているか否かを示す情報である。圧縮フラグは、このタイルが圧縮されたデータか、非圧縮のデータかを示すフラグの情報である。パケットバッファ２０６は、パケット生成手段２０５により生成されたパケットデータを一時的に格納するための一時記憶手段である。パケット修正手段２０８は、パケット生成手段２０５がパケット生成を終了するたびに、生成されたパケットのデータ量と予め決められた閾値とを比較する。データ量が閾値を超えていた場合、パケットバッファ内に格納されたパケットデータを修正し、データ量の削減を行うものである。パケット修正に関する処理の詳細は後に説明する。２１２のＤＭＡＣはパケットバッファ２０５に格納されたパケットデータをメモリ１０５へ書き込む。

次に、図３を用いて前述の色配置パターンフラグの生成処理を詳しく説明する。

ここで３０１は２ｘ２画素から構成されるピースであり、２×２画素内の左上から右上、左下、右下の画素の位置順に、座標１、２、３、４とする。２画素の組み合わせを座標で表すと、１−２、１−３、１−４、２−３、２−４、３−４の全部で６通り（図３の３０２）あるので、前記６通りの組み合わせごとにコンペアを取り、結果を６ビットの出力とする。図３に示すコンペア結果のように、全画素が同色であれば、全てのコンペア結果が１を出力し、逆に４画素が全てバラバラの画素値を持っていれば、全てのコンペア結果が０を出力する。

つまり、４画素で色の一致から出現し得る色配置のパターンの数は１５通りなので、６ビットのコンペア結果に応じて、４ビットのパターンフラグを特定することができる。次に、４画素内で出現した色数及び色データを抽出する。

図３に示したように、４ビットのパターンフラグ（または６ビットのコンペア結果）に対して、ピース内での各色の配置を示す各パターンが対応づけられているので、各ピースにおける色数と色データを特定することができる。なお、本実施例の図３では、全てのパターンにおいて、左上の画素の色（画素値）が第１色（１番目の色データ）となるように定義している。パターンフラグが０の場合は、色数１で、左上の画素の色（画素値）を第１色として抽出する。また、パターンフラグが１〜７の場合は、色数２で、左上の画素の色（画素値）を第１色として抽出し、更に、各パターンフラグに応じて定義されている第２色（２番目の色データ）が存在する位置の画素の色（画素値）を抽出する。例えば、パターンフラグが１の場合は、右上の画素の色を第２色として抽出する。また、パターンフラグが８〜Ｄの場合は、色数３で、左上の画素の色（画素値）を第１色として抽出し、更に各パターンフラグに応じて定義されている第２色（２番目の色データ）及び第３色（３番目の色データ）が存在する位置の画素の色（画素値）を抽出する。例えば、パターンフラグが８の場合は、右上の画素の色（画素値）を第２色として抽出し、右下の画素の色（画素値）を第３色として抽出する。また、パターンフラグがＥの場合は、左上の画素の色を第１色、右上の画素の色を第２色、左下の画素の色を第３色、右下の画素の色を第４色として抽出する。

即ち、パターンフラグ（またはコンペア結果）に基づいて、ピースの色数が特定され、それぞれに応じたパターンフラグと色データとを出力する。この出力されるデータを、図４を用いて説明する。

図４に示すように、例えばパターンフラグが０（即ち４画素内が１色で構成されている）の場合、２色目以降は存在しないので、パターンフラグの４ビットと１色目の画素値（２４ビット分の色データ）とを出力する。また、パターンフラグが１〜７（即ち４画素内が２色で構成されている）の場合、２色目が存在する画素の座標をパターンフラグより算出し、パターンフラグの４ビットと２色分の画素値（４８ビット分の色データ）を出力する。また、パターンフラグが８〜Ｄ（即ち３色）の場合、パターンフラグの４ビットと３色分の画素値（７２ビット分の色データ）とを出力する。そして、パターンフラグがＥ（即ち４色）の場合、パターンフラグの４ビットと４色分の画素値（９６ビット分の色データ）とを出力する。言い換えると、各ピースから出力される色データは、ピース内の座標（左上から右上、左下、右下の順に１、２、３、４）順に走査した場合に、出現していなかった色データが第１色から順に出力されることに相当する。

このように、パターンフラグ生成手段２０４では、ピース内の４色（９６ビット）の入力データから４ビットのパターンフラグと、そこに存在する色数分の画素値を生成し、パケット生成手段２０５へ出力する。

次に図５及び図６を用いてパケット生成手段の処理について詳細に説明する。パケット生成手段２０５は、受け取ったパターンフラグと第１色の色データと第２，３，４色の色データの各々をタイル分のデータが図５で示すデータ構成になるようにパケットバッファ２０６に格納する。全てのピースに対するパターンフラグと第２及び３，４色が格納されると、図６で示す、上述したヘッダーデータを付加してパケットデータを生成する。さらに、パケット修正手段２０８に対して、パケット生成完了を通知する。なお、本実施例におけるパケットデータとは、ヘッダーデータとタイルデータをまとめたデータ（図６参照）であるものとする。

次に、画像伸張部１０９による圧縮データの画像伸張処理について、詳細に説明する。図７は本実施例における画像伸張部１０９の構成を示すブロック図である。DMAC７０１は、ＨＤＤ１０４から圧縮された画像データであるパケットデータを順次読み込む。パケットバッファ７０２は、DMAC７０１により読み込んだパケットデータを一時的に記憶するための一時記憶手段である。パターンフラグ解析手段７０３は、ピース毎に入力される色配置のパターンフラグと第1色の色データ、第２，３，４色の色データに基づいて、ピースデータの伸張（復元）を行う。ピース書込み手段７０４は、伸張されたピースデータを受け取って、タイルバッファ７０５に送信する。ピースの復元については、タイルバッファ７０４は、伸張された、つまり復元された２×２画素のビットマップ画像データを所定位置に格納し、３２×３２画素のビットマップタイル画像データを一時的に記憶するための一時記憶手段である。パケットデータの全てのピースが伸張された後、ＤＭＡＣ７０６は、パケットバッファ７０５に格納されたタイルデータをＨＤＤ１０４に転送する。

以上のような処理をページ分の全パケットデータに対して適応することで画像データの伸張処理を行う。

次に、本特許の特徴であるパケット修正手段２０８におけるパケット修正処理について詳しく説明する。図８はバケット修正手段２０８のパケット修正処理におけるフローチャートである。

パケット生成手段２０５がパケットバッファ２０６にパケットデータを格納した後、パケット修正手段２０８は、パケットバッファ内に格納されたパケットデータのヘッダーを解析し、前記格納されたパケットデータの総データ量を読み取る（Ｓ８０１）。次に、読み取ったパケットデータ量と予め決められた閾値と比較する（Ｓ８０２）。ここで使用する閾値とは、例えば、１ページあたりの圧縮後データの目標データ量を、１ページあたりの総タイル数で割った値である。

パケットデータ量が前記閾値を超えていない場合（Ｓ８０２）、当該パケットに関しては、パケット修正処理としては何もせずに終了する。パケットデータ量が前記閾値を超えていた場合（Ｓ８０２）、次にパケットバッファ２０６からピースのパターンフラグを読み込む（Ｓ８０３）。パターンフラグの値が”０”、つまり２×２画素のピースが１色の色データでのみ構成されていた場合（Ｓ８０４）、現在処理対象のピースに対しては修正を行わない。さらに、現在処理対象のピースがタイル中で最後のピースかの判断を行う（Ｓ８１０）。最後のピースであれば、パケット修正処理を終了する。最後のピースでなければ（Ｓ８１０）次のピースを読み込み（Ｓ８０３）順次処理を進める。Ｓ８０４の判断、つまり処理対象のピースが３色以上で構成されていた場合、パケットバッファ２０６から対象ピースにおける第２、３、４色データを読み込む（Ｓ８０５）。

次に、第２、３、４色データの差分を解析する（Ｓ８０６）。解析の結果から、減色処理が可能であるかを判断する（Ｓ８０７）。前記判断について図９の表を用いて詳細に説明する。Ｓ８０５において読み込まれた第２，３，４色は、2種類の色データか、または3種類の色データである。例えば、今、2種類の色データであった場合、図９中の表の上段にあるように構成色を（Ｒ0，Ｇ0，Ｂ0）と（Ｒ1，Ｇ1，Ｂ1）とする。このとき、表中の条件を満たした場合、構成色を１色に減色可能であると判断し、その構成色は前記２種類の色データの平均色とする。また、表中のＴＨはＣＰＵから予め設定される閾値であり、一つの色として判断しても画質劣化が少なくなることを想定して設定される値である。

本実施例では１０とする。Ｓ８０５において読み込まれた第２，３，４色が3種類の色データであった場合、図９中の表の下段にあるように構成色を（Ｒ0，Ｇ0，Ｂ0）、（Ｒ1，Ｇ1，Ｂ1）、（Ｒ2，Ｇ2，Ｂ2）とする。このとき、表中の下段の条件式（１）及び（２）、（３）のすべてを満たした場合、構成色を１色に減色可能であると判断する、その構成色は前記３種類の色データの平均色とする。また、表中の下段の条件式（１）及び（２）、（３）のうち何れか2つを満たした場合にも、構成色を１色に減色可能であると判断する。例えば条件式（１）及び（２）を満たした場合、構成色は（Ｒ0，Ｇ0，Ｂ0）とする。また、例えば条件式（１）及び（３）を満たした場合、構成色は（Ｒ1，Ｇ1，Ｂ1）とする。さらには、例えば条件式（２）及び（３）を満たした場合、構成色は（Ｒ2，Ｇ2，Ｂ2）とする。

以上説明してきたように減色が可能であるか判断し（Ｓ８０７）、減色が可能である場合、新しいパターンフラグである”４”を対象ピースのパターンフラグとして、パケットバッファ内に上書きする（Ｓ８０８）。さらに、パケットバッファ内の第２，３，４色データに、前述した手法で求めた新しい色データを上書きする（Ｓ８０９）。Ｓ８０３からＳ８０９までの処理を順次繰り返し、タイル内のピース全てに行うことでパケット修正処理は終了する。

以上、説明したとおり、本発明の構成をとることにより、タイル単位で圧縮処理をしながら、圧縮結果に伴って、減色処理をリアルタイムに行うことが出来る。さらには、減色処理を行う際に、再度、元画像データから圧縮データを作ることなく、一回目の圧縮結果を利用することで効率的な圧縮が可能となる。

１０１ スキャナ
１０２ プリンタ
１０３ ＣＰＵ
１０４ ＨＤＤ記憶部

Claims (3)

1. 画像データをＭ×Ｎ画素単位のタイルブロックに分割する第一画像分割手段（２０１）と、
   前記タイルブロックより小さいＰ×Ｑ画素単位のピースブロックに分割する第二画像分割手段（２０３）と、
   前記ピースブロック内の各画素の色データを比較することによりピースブロックの色配置パターンと構成色情報を生成するパターンフラグ生成手段（２０４）と、
   前記タイルブロック単位で前記パターンフラグ生成手段の出力をまとめ、付加情報であるヘッダーを付加しパケットデータを生成するパケット生成手段（２０５）と
   を備え画像圧縮処理を行う画像処理装置において、
   パケットデータのデータ量と閾値との比較手段（２０８）と、パケットデータ修正手段（２０８）を備え、
   各パケットデータのデータ量が予め決められた閾値を超えていた場合に、生成済みのパターンフラグと構成色情報を用いて、ピースブロックの色情報の減色処理を行い、パターンフラグと構成色情報を作り直してパケットのデータ量を削減することを特徴とする画像処理装置。
2. ＭおよびＮが３２画素、ＰおよびＱが２画素であることを特徴とする請求項１に記載の画像処理装置。
3. パケットデータと比較する閾値が、画像データの圧縮後の目標データ量を、タイルブロック数で分割した値であることを特徴とする請求項１に記載の画像処理装置。