JP2004112695A

JP2004112695A - Image processing apparatus and processing method thereof

Info

Publication number: JP2004112695A
Application number: JP2002275827A
Authority: JP
Inventors: Shinichi Kato; 加藤　進一
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2002-09-20
Filing date: 2002-09-20
Publication date: 2004-04-08

Abstract

<P>PROBLEM TO BE SOLVED: To create attribute information indicating the attribute of an input image and to change the attribute information in the middle of various kinds of image processings applied to the input image. <P>SOLUTION: Attribute flag data 1010 indicating an attribute for each pixel of inputted image data are created, flag switching is applied to the attribute flag data 1011 on the pre-stage of compression processing (303-315) for applying image processing to the inputted image data and based upon the switched attribute flag data 1101, image processing is performed. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、入力された画像データに対して所定の画像処理を施して出力する画像処理装置及びその処理方法に関するものである。
【０００２】
【従来の技術】
従来、入力された画像中の画像領域（例えば写真領域、文字領域など）を示す領域情報に従って、所定の画像処理を施す画像処理装置では、その画像中の画像領域を識別する像域分離処理を施した後、分離された像域毎に異なる画像処理を施すことにより、領域毎に最適な画質を提供している。
【０００３】
【発明が解決しようとする課題】
しかしながら、通常、画像中の画像領域を示す領域情報は領域識別装置で識別できる内容に限定され、ここで生成された領域情報に従って、以後、画像処理を行わなくてはならなかった。そのため、像域情報によって、切り分けられる画像領域の数が限定的で少なく、より多くの像域情報を得るためには、領域識別装置の規模を大きくし、なおかつ、領域識別の情報量も大きくしなくてはならないという問題があった。
【０００４】
本発明は、上記課題を解決するためになされたもので、入力画像の属性を示す属性情報を生成し、その属性情報を入力画像に対して施す各種画像処理の途中で変更可能とすることを目的とする。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、本発明は、入力された画像データに対して所定の画像処理を施して出力する画像処理装置において、入力された画像データの画素毎の属性を示す属性情報を生成する属性情報生成手段と、生成された属性情報を前記入力された画像データに対して画像処理を施す複数の画像処理手段のそれぞれで変更可能とする属性情報変更手段と、変更された属性情報に基づいて前記複数の画像処理手段で画像処理された画像データを出力する出力手段とを有することを特徴とする。
【０００６】
また、上記目的を達成するために、本発明は、入力された画像データに対して所定の画像処理を施して出力する画像処理装置の処理方法であって、入力された画像データの画素毎の属性を示す属性情報を生成する属性情報生成工程と、生成された属性情報を前記入力された画像データに対して画像処理を施す複数の画像処理手段のそれぞれで変更可能とする属性情報変更工程と、変更された属性情報に基づいて前記複数の画像処理手段で画像処理された画像データを出力する出力工程とを有することを特徴とする。
【０００７】
【発明の実施の形態】
以下、図面を参照しながら本発明に係る実施の形態を詳細に説明する。
【０００８】
図１３は本実施形態における画像処理装置の構造を示す側断面図である。尚、本実施形態では、画像処理装置としてマルチファンクションデジタル画像入出力機器、ここではカラー機について説明するが、これに限るものではない。
【０００９】
図１３に示す画像処理装置１３００は、原稿画像を読み取るイメージリーダ部１３０１（画像入力部）と、イメージリーダ部１３０１で読み取った画像データを再現するプリンタ部１３０２（画像出力部）とに大きく分けられる。
【００１０】
イメージリーダ部１３０１は、例えば４００ｄｐｉの解像度で原稿を読み取り、デジタル信号処理を行う部分である。プリンタ部１３０２はイメージリーダ部１３０１によって読み取られた原稿画像に対応した画像を指定用紙にフルカラープリント出力する部分である。
【００１１】
イメージリーダ部１３０１において、原稿台ガラス（以下、プラテン）１３０３上の原稿１３０４はランプ１３０５で照射され、その反射光がミラー１３０６、１３０７、１３０８に導かれ、レンズ１３０９によって集光される。そして、集光された光を電気信号に変換する３ラインセンサ（以下、ＣＣＤ）１３１０上に像を結び、フルカラー情報のレツド（Ｒ）、グリーン（Ｇ），ブルー（Ｂ）成分として信号処理部１３１１に送られる。尚、ミラー１３０５、１３０６を固定しているキャリッジは速度ｖで、またミラー１３０７、１３０８は速度１／２ｖで３ラインセンサの電気的走査（主走査）方向に対して垂直方向に機械的に動くことによって原稿全面を走査（副走査）する。
【００１２】
信号処理部１３１１では、読み取られた画像信号を電気的に処理し、後述する図１に示す画像処理が施された後に、マゼンタ（Ｍ），シアン（Ｃ），イエロー（Ｙ），ブラック（Ｂｋ）の各成分に分解される。そして、Ｍ、Ｃ、Ｙ、Ｂｋの各画像信号はレーザドライバ１３１２に送られる。レーザドライバ１３１２は、送られてきた画像信号に応じて半導体レーザ１３１３を変調駆動する。レーザ光は、ポリゴンミラー１３１４，ｆ−θレンズ１３１５、ミラー１３１６を介して感光ドラム１３１７上を走査する。１３１８は回転現像器であり、マゼンタ現像部１３１９、シアン現像部１３２０、イエロー現像部１３２１、ブラック現像部１３２２より構成され、４つの現像部が交互に感光ドラム１３１７に接し、感光ドラム上に形成された潜像現像をトナーで現像する。１３２３は転写ドラムであり、用紙カセツト１３２４又は１３２５より供給される用紙をこの転写ドラム１３２３に巻き付け、感光ドラム上に現像された像を用紙に転写する。
【００１３】
このようにして、Ｍ、Ｃ、Ｙ、Ｂｋの４色が順次転写された後に、用紙は定着ユニツト１３２６を通過し、トナーが用紙に定着された後に排紙される。
【００１４】
図１は、本実施形態におけるデジタル画像機器の構成を示すブロック図である。尚、このデジタル画像機器は、画像の入力、蓄積、出力手段を持ち、図１３に示したマルチファンクションデジタル画像入出力機器に相当する。
【００１５】
図１において、１００は画像入力系を切り替えるセレクタ、２００は後述する所定の画像処理を施す入力画像処理部、３００は後述する画像処理を施す中間画像処理部、４００は後述する画像処理を施す出力画像処理部である。
【００１６】
ここで、画像入力手段からの信号は、上述した図１３に示すイメージリーダ部１３０１に相当するイメージスキャナ１１０や、ページ記述言語（ＰＤＬ）レンダリング部１２０からの信号で、複写機の場合はイメージスキャナ部１１０から、コントローラの場合はページ記述言語レンダリング部１２０からなど、用途に応じてセレクタ１００を切り替えて使われる。５００はプリンタ部であり、上述した図１３に示すプリント部１３０２に相当する。
【００１７】
図２は、図１に示した入力画像処理部２００の構成を示すブロック図である。図２において、２０１は入力画像の副走査方向の色ズレを補正する、例えば画像データの色毎に１×５のマトリクス演算を行う処理から構成される副走査色ズレ補正部である。２０２は入力画像の主走査方向の色ズレを補正する、例えば画像データの色毎に５×１のマトリクス演算を行う処理から構成される主走査色ズレ補正部である。
【００１８】
２０３は入力画像中の画像種類を識別する像域判定部であり、例えば入力画像中の写真部分／文字部分、有彩色部分／無彩色部分など、それぞれの画像種類を構成する画素を識別し、その種別を示す属性フラグデータを画素単位で生成して出力できる。詳細に関しては、図７、図８、図９を参照して後述する。
【００１９】
２０４は入力画像の空間周波数を任意に補正するフィルタ処理部であり、例えば９×９のマトリクス演算を行う処理から構成される。２０５は入力画像中の画像信号データのヒストグラムをサンプリングする処理部であり、入力画像がカラーであるのか、モノクロ画像であるのかを判別したり、入力画像の下地レベルの判定に使用される。２０６は入力画像の色味の補正を行う入力色補正部であり、例えば入力画像の色空間を任意の色空間に変換、又は入力系の色味に関する補正処理を行う部分である。
【００２０】
次に、入力画像処理部２００で処理された画像データと、像域判定部２０３で生成された属性フラグデータは中間画像処理部３００へ転送される。尚、ページ記述言語（ＰＤＬ）レンダリング部１２０で属性フラグデータの生成や入力画像処理部２００の画像処理などが既に施されている場合は、入力画像処理部２００処理をスルーさせても良いし、ここを通さずに直接中間画像処理部３００に画像データと属性フラグデータが入るように構成しても良い。また、入力画像処理部２００内の構成は、上述した構成（２０１、２０２、２０３、２０４、２０５、２０６）だけに限るものではなく、他の画像処理モジュールが追加されても良いし、削除されても良い。更に、入力画像処理部２００内の処理順序に関しても、これに限るものではない。
【００２１】
図３は、図１に示した中間画像処理部３００の構成を示すブロック図である。入力画像処理部２００によって処理を施された画像データは、属性フラグデータと共に、中間画像処理部３００に転送され、以下の処理部で処理が施される。
【００２２】
図３において、３０１は属性フラグデータの付け替えを行う属性フラグ付替部である。尚、詳細は図１０を用いて説明するが、後述するラインバッファ３０３以降の圧縮処理を行う前又は後に、必要に応じて入力画像処理部２００内の像域判定部２０３で生成した属性フラグデータの付替処理を行う処理部である。
【００２３】
３０２は画像データ、属性フラグデータが送られる画像バスである。３０３はラインバッファであり、画像データと属性フラグデータをタイル分割し（タイルの大きさをＭ×Ｎとする）、このタイルＭ×Ｎ画素毎に、カラー情報の符号化である、離散コサイン変換符号化（ＪＰＥＧ）と属性フラグデータ情報の符号化であるランレングス符号化に分けて符号化を行う。但し、Ｍ、Ｎは、離散コサイン変換符号化のためのウィンドウサイズの倍数でなければならない。また、本実施形態ではＪＰＥＧ圧縮方式の場合を例に説明するが、ＪＰＥＧ圧縮方式では圧縮のためのウィンドウサイズは８×８画素であるので、例えばＭ＝Ｎ＝３２とすると、３２×３２画素タイルの中を更に１６個の８×８画素に分割して８×８画素単位でＪＰＥＧ圧縮を行うものである。以後、Ｍ＝Ｎ＝３２として説明するが、もちろんその値に限定されるわけではない。
【００２４】
３０４は画像データ符号化部であり、３２×３２画素のタイル画像に含まれる１６個の８×８画素ウィンドウに対して周知のＤＣＴ変換を施して量子化する。尚、このときに用いる量子化係数（量子化マトリクスと呼ぶ）はタイル毎に切り替えて設定することができる。３０５は判定部であり、所定の画像データ３２×３２画素１タイルに対応した３２×３２画素の属性フラグデータを参照し、上述の量子化マトリクスの切り替えを指示する。３０６は量子化マトリクス選択部であり、判定部３０５での判定結果に従って画像データ符号化部３０４で量子化に用いられる量子化マトリクスを選択し、画像データ符号化３０４に設定する。
【００２５】
例えば、３２×３２画素の属性フラグデータの中に１画素でも文字を示す属性が入っていた場合には、その３２×３２画素から構成される画像データ１タイルは文字タイルとみなし、その画像データ１タイルは文字用の量子化マトリクスを用いて量子化を行い、１画素でも文字を示す属性が入っていなかった場合には、その画像データ１タイルは写真タイルとみなし、その画像データ１タイルは写真用の量子化マトリクスを用いて量子化を行うというようにタイル毎に異なる画像データの符号化を行うことができる。
【００２６】
３０７は属性フラグ符号化部であり、属性フラグデータを符号化する。３０８は圧縮メモリであり、符号化された画像データと属性フラグデータとを一時蓄積する。３０９はハードディスクであり、圧縮メモリ３０８に一時蓄積された圧縮画像データと圧縮属性フラグデータとを記憶する。３１０は圧縮メモリであり、ハードディスク３０９に記憶された圧縮画像データをプリンタ部５００から出力する際に、或いは属性フラグデータの付替処理を属性フラグ付替部３０１で施す際に、ハードディスク３０９に記憶されている圧縮画像データと圧縮属性フラグデータとを読み出し、以下の処理部で復号化されて出力される。尚、圧縮メモリ３１０は圧縮メモリ３０８と同じであってもかまわない。
【００２７】
３１４は属性フラグ復号化部であり、ハードディスク３０９から圧縮され記憶された属性フラグデータと画像データを圧縮メモリ３１０に取り出し、その属性フラグデータのＭ×Ｎ画素分のデータを復号する。３１２は判定部であり、属性フラグデータの復号結果により属性判定処理を行い、即ち、上述したように、各画像データの１タイルが文字タイルなのか写真タイルなのかを属性フラグデータから判定し、復号化係数を後述する量子化マトリクス選択部３１３に指示する。３１３は量子化マトリクス選択部であり、判定部３１２の指示によりタイル毎の圧縮複号化係数を選択し、後述する画像データ復号化部３１１へ送る。３１１は画像データ復号化部であり、量子化マトリクス選択部３１３からの量子化係数によりタイル毎に係数を切り替えて画像データを復号化処理する。３１５はラインバッファであり、復号化された画像データと属性フラグデータが出力される。
【００２８】
尚、判定部３０５、３１２では、全く同じ判定が行われ、属性フラグデータはデータの劣化しないランレングス符号化のような可逆圧縮方式で圧縮されているので、符号化時と復号化時で同一タイルに対応する判定結果は全く等しいものとなる。従って、タイル毎に異なる量子化係数で量子化されていても、復号時にはそれぞれに適した逆量子化係数が設定されるので、正しい復号画像データが得られることになる。
【００２９】
また、画像データ符号化部３０４及び画像データ復号化部３１１に関しては、図５を用いて、属性フラグデータのランレングス符号化を行う属性フラグデータ符号化部３０７に関しては図６を用いて更に詳細に説明する。
【００３０】
ここで、中間画像処理部３００内の構成は、上述した構成だけに限るものではなく、他の画像処理モジュールが追加されても良いし、また削除されても良く、これに限るものではない。
【００３１】
図４は、図１に示した出力画像処理部４００の構成を示すブロック図である。図４において、４０１は下地飛ばし部であり、画像データの地色を飛ばし、不要な下地のカブリ除去を行う。例えば、３×８のマトリクス演算や一次元のＬＵＴ（ルックアップテーブル）によって下地飛ばしを行う。４０２はモノクロ生成部であり、カラー画像データをモノクロデータに変換し、単色としてプリントする際に、カラー画像データ、例えばＲＧＢデータをグレー（Ｇｒａｙ）単色に変換する。例えば、ＲＧＢに任意の定数を掛け合わせ、Ｇｒａｙ信号とする１×３のマトリクス演算から構成される。
【００３２】
４０３は出力色補正部であり、画像データを出力するプリンタ部５００の特性に合わせて色補正を行う。例えば、４×８のマトリクス演算やダイレクトマッピング処理により構成される。４０４はフィルタ処理部であり、画像データの空間周波数を任意に補正する。例えば、９×９のマトリクス演算を行う処理から構成される。
【００３３】
４０５はガンマ補正部であり、出力するプリンタ部５００の特性に合わせて、ガンマ補正を行う処理であり、通常、一次元のＬＵＴから構成される。４０６は中間調処理部であり、出力するプリンタ部５００の階調数に合わせて任意の中間調処理を行う処理部であり、２値化や３２値化など、任意のスクリーン処理や、誤差拡散処理を行う。
【００３４】
ここまで、図２〜図４を用いて入力画像処理部２００、中間画像処理部３００、出力画像処理部４００と各々の画像処理部の説明を行ってきたが、各々の画像処理部には画像データと共に、図２で説明した入力画像中の画像種類を識別する像域判定部２０３で生成された属性フラグデータも、像域判定部２０３以降では一緒に各処理部を流れ、その属性フラグデータに従って各々の画像領域に最適な処理係数による画像処理が施される。
【００３５】
例えば、図４に示す出力画像処理部４００のフィルタ処理部４０４では、文字領域に対して画像の高周波成分を強調して文字の鮮鋭度を強調し、また網点領域に対してはいわゆるローパスフィルタ処理を行い、デジタル画像に特有のモアレ成分を除去する、といった処理を行うことができる。
【００３６】
このようにして各処理モジュールで、属性フラグデータに従って各画像領域に対して最適な処理を行うことで、高画質化を行うことができる。尚、属性フラグデータに関しては、図７を用いて更に詳細に説明を行う。
【００３７】
図５は、図３に示した画像データ符号化部３０４及び画像データ復号化部３１１の構成を示す図である。図５において、５００は入力された画像データであり、カラー画像データの場合、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色の画像データである。５０１は色変換器であり、ＲＧＢを輝度色差信号（ＹＣｂＣｒ）に変換する。５０２は離散コサイン変換（ＤＣＴ）であり、輝度色差信号のそれぞれを８×８画素単位で空間周波数変換（ＤＣＴ変換）を行う。
【００３８】
５０３は量子化器であり、設定された量子化マトリクスを用いてＤＣＴ係数を量子化することにより，データ量を削減する。５０４は可変長符号化器（ＶＬＣ）器であり、量子化値をハフマン符号化処理でデータを更に削減する。５０５は圧縮メモリであり、このようにして圧縮された画像データを記憶する。尚、圧縮メモリ５０５は図３で説明した圧縮メモリ３０８に相当する。圧縮メモリ３０８に記憶された画像データは、大容量記憶装置ＨＤＤ３０９に記憶され、復号化の際には圧縮メモリ３１０内に格納された後、復号化の処理を行う。また、図５に示す圧縮メモリ５０５は圧縮メモリ３１０にも相当する。この圧縮メモリ５０５に記憶されたデータは以下の手順で復号される。
【００３９】
５０６は可変長復号器（ＶＬＤ）であり、ハフマンデコードをする。５０７は逆量子化器であり、設定された逆量子化マトリクスによりＤＣＴ係数値に戻す。５０８はＩＤＣＴであり、ＤＣＴ逆変換を行い、輝度色差信号に戻す。５０９は色変換器であり、輝度色差信号をＲＧＢの画像データに戻す。そして、５１０は以上の圧縮、復号処理の結果、外部に出力されるカラー画像データである。
【００４０】
図６は、図３で説明を行った、属性フラグデータのランレングス符号化を行う属性フラグデータ符号化部３０７の構成を示す図である。
【００４１】
図６において、６００は判定部であり、入力される属性フラグデータの前画素の値と現画素の値とが同じか否かを判定し、同じ場合は６０１のＲＬコード生成部にデータを送り、また違う場合は６０２のＬＴコード生成部にデータを送る。これにより、ＲＬコード生成部６０１では前画素データと同じ場合の回数を違うデータが出てくるまでカウントし、最後に繰返したデータを出力する。またＬＴコード生成部６０２では、データが前画素と異なる場合の数をカウントし、そのカウント数に対応する符号語と、実際データの最小構成ビット数をカウント数分だけ出力する。そして、６０３は合成部であり、ＲＬコード生成部６０１の出力データとＬＴコード生成部６０２の出力データとを合成し、コード６０４として出力する。
【００４２】
ここで、先に説明した入力画像データ中に含まれる各々の画像データの属性を検出し、それを識別するための属性フラグデータを生成する具体的な手順を説明する。
【００４３】
図７は、属性フラグデータを生成する手順を説明するための図である。図７において、７０１は入力された原稿画像データの一例を示すものであり、この原稿画像データ７０１内には、７０２の銀塩写真領域、７０３の黒文字領域、７０４の網点印刷領域、７０５のカラーグラフィック領域が混在している様子を示している。
【００４４】
ここでスキャナ部が、この原稿画像をカラーＣＣＤセンサで走査し、画素毎のカラーデジタル画像データ（Ｒ、Ｇ、Ｂ）として読み取る。読み取られたＲＧＢ信号は画像の領域毎の属性によって決まる特徴を持っている。各領域において、ＣＣＤセンサが読み取った信号値（Ｒ、Ｇ、Ｂ）のうちのＧ信号をＣＣＤの並び方向にプロットしてみると、例えば図８に示すようになる。
【００４５】
図８は、各画像属性をＣＣＤセンサが読み取った際の読み取り信号値の特徴を示す図である。図８において、（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）はそれぞれ図７に示す７０２〜７０５までの領域を読み取った場合に特徴的に現れる特性の一例であり、横軸はＣＣＤの並び方向の画素位置、縦軸は読み取り信号値で上に行くほど白に近い（明るい）画素であることを表している。
【００４６】
図８に示す各領域毎の特徴を説明すると、（Ａ）は銀塩写真領域７０２に相当し、読み取られる画像信号の位置による変化は比較的ゆるやかで、近距離の画素値の差分８２１は小さな値となる。（Ｂ）は黒文字領域７０３に相当し、白地に黒い文字が書かれているので、その信号値のプロットは白地部８３１から文字部８３２にかけて急激に読み取り信号値が変化するような特性となる。
【００４７】
（Ｃ）は網点領域７０４に相当し、網点領域というのは白地８４１とその上に印刷された網点８４２との繰り返しとなるので信号値のプロットしたものは図のように白と黒が高い頻度で繰り返す特性となる。（Ｄ）はグラフ領域のプロット図である。グラフィックのエッジ部８５１では信号値は急激に小さくなり、内部の色塗り部分８５２は一定の中間レベルがつづくような特性となる。
【００４８】
これらの属性を判定するためには、上述したような領域毎の特徴を読み取った信号値から検出して判定するようにすれば良い。そのためには、注目画素近傍での画像データの変化量、或いは変化量の一定区間内の積算値、周辺画素の輝度値（白地か色のついた背景か）、一定区間内の画像データの白から黒への変化の回数、など周知の手法を用いた特徴抽出手法を用いて、それに基づいた周知の属性判別手法を用いることができる。
【００４９】
このようにして図７に示した原稿画像に対して生成された属性フラグの一例を図９に示す。
【００５０】
図９は、図７で説明した入力画像２０１の属性フラグデータの一例を示す図である。尚、図９に示す例では、属性フラグデータとして文字フラグ、図形フラグ、網点フラグの３種類のフラグを生成しているが、もちろん、これに限定されるわけではない。
【００５１】
図９において、９０１は文字フラグであり、図中の黒で表す画素が文字属性を持つ画素であり、文字フラグとして１が生成され、それ以外では０（図では白い部分）となっている。９０２は図形フラグであり、グラフィック領域で１となり、それ以外では０となる領域である。９０３は網点フラグであり、網点領域で１となり、それ以外では０となるような領域である。９０４は写真領域であるが、写真領域は上述の９０１、９０２、９０３の何れにも当てはまらないので、つまり文字以外、グラフィック以外、網点以外の領域になり、すべてのフラグが０となり、図９に示す例では、すべて白ということになる。
【００５２】
これらを３ビットの信号としてまとめると、以下のような関係になる。
【００５３】

以上の像域分離処理によって画像の属性が画素毎に検出されると、先に説明したように、各画像処理部によって画像属性に応じた画像処理が施され、先にも述べたように、文字領域に対して画像の高周波成分を強調して文字の鮮鋭度を強調し、また網点領域に対しては、いわゆるローパスフィルタ処理を行い、デジタル画像に特有のモアレ成分を除去する、といった処理を行うことができる。これらの処理の切り替えを像域判定部２０３で生成した属性フラグデータに応じて画素単位で行うことが可能である。
【００５４】
次に、スキャナ部から入力し、入力画像処理部２００、中間画像処理部３００、出力画像処理部４００で各種の画像処理を施し、プリンタ部から出力する際の入力画像に対する処理の流れについて説明する。まず、属性フラグの付け替えを行わない場合の処理の流れについて説明する。
【００５５】
図１０は、属性フラグの付け替えを行わない場合の処理の流れを示す図である。尚、図１０に示す（Ａ）は画像処理の流れであり、同（Ｂ）はその画像処理に対応する画像データ、属性フラグデータの流れである。
【００５６】
まずスキャナ部により入力された入力画像１０００は、入力画像処理部２００に入り、図２で説明した各種画像処理が施される。図１０では、像域判定部２０３のみを記載している。ここで、像域判定部２０３より前の画像処理部によって画像処理を施された画像データ１０１０は、像域判定部２０３に入力されて像域判定処理を施される。これにより、先に説明したような属性フラグデータ１０１１が生成される。この例では、図９で説明したような３ビットの属性フラグデータとして話しを進める。
【００５７】
その後、入力画像処理部２００内の残りの処理を施された画像データ１０２０は、中間画像処理部３００内に転送され、属性フラグデータ１０２１に従って、画像データ１０２０内の画像領域毎に所定の圧縮係数（符号化係数）により圧縮処理（３０３〜３１５）が施される。
【００５８】
次に、出力画像処理部４００に入力された画像データは各種画像処理が施され、例えば図１０にはフィルタ処理４０４、ガンマ補正４０５を記載しているが、各々３ビットの属性フラグデータ１０３１、１０４１に従って、画像データ１０３０、１０４０内の写真領域、文字領域などの画像領域毎に所定の画像処理係数により、領域毎に最適な処理を行う。そして、全ての処理が終わった画像データ１０５０はプリント部から出力される。
【００５９】
次に、上述した入力画像に対する処理の流れで、属性フラグデータの付け替えを行う場合の処理の流れについて説明する。尚、属性フラグデータの付け替えを行うか否か、また複数の画像処理部のどの画像処理部の前段で付け替えを行うかについては、ユーザが入力画像を処理する際に、操作部から指示しても良いし、予め固定的に設定しておくことも可能である。
【００６０】
図１１は、属性フラグの付け替えを行う場合の処理の流れを示す図である。尚、図１１に示す（Ａ）は画像処理の流れであり、同（Ｂ）はその画像処理に対応する画像データ、属性フラグデータの流れである。
【００６１】
まずスキャナ部により入力された入力画像１０００は、入力画像処理部２００に入り、図２で説明した各種画像処理が施される。図１１では、像域判定部２０３のみ記載している。ここで、像域判定部２０３より前の画像処理部によって画像処理を施された画像データ１０１０は、像域判定部２０３に入力されて像域判定処理を施される。これにより、先に説明したような属性フラグデータ１０１１が生成される。この例では、図９で説明したような３ビットの属性フラグデータとして話しを進める。
【００６２】
ここまでは、図１０と同じ内容であるが、以下の中間画像処理部３００からの内容が、図１０と図１１では異なる。
【００６３】
図１０を用いて説明したように、中間画像処理部３００内に転送された後、属性フラグデータ１０２１に従って、画像データ１０２０内の画像領域毎に所定の圧縮係数により、圧縮処理（３０３〜３１５）が施される。これは、例えば写真領域と文字領域で圧縮係数を可変させ、圧縮を行う場合、通常、写真領域よりも文字領域の方が圧縮による劣化が目立ちやすいため、写真領域をより高い圧縮率が得られる圧縮係数、文字領域に対してはより低い圧縮率が得られる圧縮係数に変えることで高画質化を図るものである。
【００６４】
しかしながら、中間画像処理部３００内の圧縮メモリ３０８、３１０、大容量記憶ＨＤＤ３０９の容量内に圧縮データを収める必要がある。そこで、上述した記憶容量内に圧縮データが入らない場合には、属性フラグ付替部３０１によって属性フラグデータを一時的に付け替える。
【００６５】
具体的には、一度の圧縮で入りきれない場合には、属性フラグ付替部３０１によって属性フラグデータ１１０１の属性フラグを、例えば次のように付け替える。即ち、文字領域とされている画素を写真領域として属性フラグデータを付け替えることで、写真領域の圧縮の方が高圧縮率のため、文字領域を写真領域に付け替えていくことで、画像データ１１００を圧縮した場合の圧縮率は全体で高まることになる。
【００６６】
その後、属性フラグデータの付け替えを施された属性フラグデータ１１１１に従って、圧縮処理（３０３〜３１５）を施すことで、画像データ１１１０を更にデータ容量の少ない画像データとすることができる。
【００６７】
ここで、出力画像処理部４００に出力する際には、上述のように、付け替えた属性フラグデータ１１１１、具体的には、文字領域を写真領域に付け替えた属性フラグデータ１１１１を再度、属性フラグ付替部３０１によって付け替えを行い、元の属性フラグデータに戻しても良いし、属性フラグ付替部３０１を通さず、属性フラグデータを元に戻さなくても良い。
【００６８】
その後、図１０と同様に、出力画像処理部４００によって所定の画像処理が属性フラグデータ１１３１、１１４１に従って、画像データ１１３０、１１４０に施され、プリンタ部より画像データ１１５０が出力される。
【００６９】
以上のように、図１１では圧縮が、所定の圧縮メモリ内に収まらない場合に、属性フラグデータの付け替えを行い、圧縮率を高める例を示したが、属性フラグデータの付け替えは、他の場合で行っても良い。
【００７０】
次に、上述した入力画像に対する処理の流れで、属性フラグの付け替えを行う図１１とは異なる場合の処理の流れについて説明する。
【００７１】
図１２は、属性フラグの付け替えを行う別の場合の処理の流れを示す図である。尚、図１２に示す（Ａ）は画像処理の流れであり、同（Ｂ）はその画像処理に対応する画像データ、属性フラグデータの流れである。
【００７２】
まずスキャナ部により入力された入力画像１０００は、入力画像処理部２００に入り、図２で説明した各種画像処理が施される。図１２では、像域判定部２０３と入力色補正２０６のみ記載している。ここで、像域判定部２０３より前の画像処理部によって画像処理を施された画像データ１０１０は、像域判定部２０３に入力されて像域判定処理を施される。これにより、先に説明したような属性フラグデータ１０１１が生成される。この例では、図９で説明したような３ビットの属性フラグデータとして話しを進める。
【００７３】
ここまでは、図１１と同じ内容である。その後、入力色補正部２０６は、像域判定部２０３で生成された３ビットの属性フラグデータ１２０１に従って、各画像領域毎に最適な係数で処理を施す。即ち、文字領域、グラフィック領域、網点領域、写真領域毎の係数がそれぞれ用意されており、属性フラグデータ１２０１の属性情報に従って、画素毎に処理を施す。その後、中間画像処理部３００内で圧縮処理（３０３〜３１５）が施される。
【００７４】
図１１では、圧縮による影響により属性フラグデータの付け替えを行ったが、図１２では、以下のような理由で属性フラグデータの付け替えを行う。即ち、図１２の例では、入力色補正部２０６では、像域判定２０３で生成される３ビットの属性フラグデータの各像域、文字領域、グラフィック領域、網点領域、写真領域で係数の切り替えを行うが、出力画像処理部４００内の各画像処理、フィルタ処理部４０４、ガンマ補正４０５では、上述の文字領域、グラフィック領域、網点領域、写真領域毎の係数切り替えではなく、例えばコピー時に操作部から指定される原稿タイプモードや、カラーモード／モノクロモードなどに応じて係数を切り替える場合である。
【００７５】
この場合には、属性フラグ切替部３０１において３ビットの属性フラグデータの内容を、例えば以下のように書き換えて出力画像処理部４００へと転送する。
【００７６】

属性フラグ切替部３０１において、上述のように属性フラグデータを書き換えた後、出力画像処理部４００ではフィルタ処理部４０４、ガンマ補正４０５では印画紙写真用の係数、印刷写真用の係数を属性フラグデータによって切り替えて処理を施す。
【００７７】
このように、本実施形態によれば、画像データに対して付加される属性フラグデータを一連の画像処理の途中で任意に付け替えを行うことにより、像域判定部で判定された結果で以後の全ての処理が決まってしまうのではなく、途中、途中の処理で必要な、即ち切り替えを行いたい画像処理に最適な画像領域の定義付けができるため、より自由度の高い画像処理の提供と共に、より高画質の画像処理を提供することが可能となり、更に属性フラグデータの情報量を多くしなくても良いため、属性フラグデータの圧縮の際に、多くの圧縮メモリを使用することもなくなる。
【００７８】
［変形例］
上述した実施形態では、属性フラグデータの付け替えを中間画像処理部３００内に配置したが、入力画像処理部２００内、出力画像処理部４００内の任意の位置に配置しても、もちろん構わない。
【００７９】
また、図１に示した画像処理装置だけでなく、所定のネットワークと接続し、画像処理システムとして構成することも可能である。
【００８０】
図１４は、変形例における画像処理システムの構成を示す図である。図１４において、１４０１はＬＡＮインターフェースであり、ネットワーク網１４０２と接続を可能とするインターフェース部である。
【００８１】
図３に示した中間画像処理装置３００内のハードディスク３０９に記憶された圧縮画像データを、このＬＡＮインターフェース１４０１を介してネットワーク網１４０２上に接続されたホストコンピュータ１４０３、画像サーバー１４０４、画像入出力装置１４０５などにネットワーク送信することが可能である。
【００８２】
また、ネットワーク網１４０２上に接続されたホストコンピュータ１４０３、画像サーバー１４０４、画像入出力装置１４０５などから圧縮画像データをネットワーク受信し、ハードディスク３０９に記憶することも可能である。
【００８３】
更に、ＬＡＮインターフェース１４０１は、画像バス３０２など上述のハードディスク３０９以外の部分と接続することも可能である。また、入力画像処理部２００、出力画像処理部４００でも可能である。
【００８４】
しかし、ネットワーク上の負荷を考慮した場合、圧縮画像の送受信の方が効率が良いため、ハードディスク３０９と接続するのが望ましいと考えられる。
【００８５】
また、ここでは図示しないが、属性フラグデータを必要としない符号化、復号化を行う例えば、ＪＰＥＧ符号化部、ＪＰＥＧ復号化部を設ける構成とし、属性フラグデータを使用しない機器との送受信時に使用する構成としても良い。
【００８６】
更に、電話線を利用したファクシミリのような画像送受信機器に接続し、画像転送を行う構成としても良いし、無線などを利用して他の画像入出力装置、イメージサーバ、ホストコンピュータなどと接続し、画像を送受信できる構成としても良い。
【００８７】
尚、本発明は複数の機器（例えば、ホストコンピュータ，インターフェース機器，リーダ，プリンタなど）から構成されるシステムに適用しても、１つの機器からなる装置（例えば、複写機，ファクシミリ装置など）に適用しても良い。
【００８８】
また、本発明の目的は前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（ＣＰＵ若しくはＭＰＵ）が記録媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００８９】
この場合、記録媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記録媒体は本発明を構成することになる。
【００９０】
このプログラムコードを供給するための記録媒体としては、例えばフロッピー（登録商標）ディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００９１】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９２】
更に、記録媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９３】
【発明の効果】
以上説明したように、本発明によれば、入力画像の属性を示す属性情報を生成し、その属性情報を入力画像に対して施す各種画像処理の途中で変更可能とすることで、より自由度の高い画像処理の提供と共に、より高画質の画像処理を提供することが可能となる。
【図面の簡単な説明】
【図１】本実施形態におけるデジタル画像機器の構成を示すブロック図である。
【図２】図１に示した入力画像処理部２００の構成を示すブロック図である。
【図３】図１に示した中間画像処理部３００の構成を示すブロック図である。
【図４】図１に示した出力画像処理部４００の構成を示すブロック図である。
【図５】図３に示した画像データ符号化部３０４及び画像データ復号化部３１１の構成を示す図である。
【図６】図３で説明を行った、属性フラグデータのランレングス符号化を行う属性フラグデータ符号化部３０７の構成を示す図である。
【図７】属性フラグデータを生成する手順を説明するための図である。
【図８】各画像属性をＣＣＤセンサが読み取った際の読み取り信号値の特徴を示す図である。
【図９】図７で説明した入力画像２０１の属性フラグデータの一例を示す図である。
【図１０】属性フラグの付け替えを行わない場合の処理の流れを示す図である。
【図１１】属性フラグの付け替えを行う場合の処理の流れを示す図である。
【図１２】属性フラグの付け替えを行う別の場合の処理の流れを示す図である。
【図１３】本実施形態における画像処理装置の構造を示す側断面図である。
【図１４】変形例における画像処理システムの構成を示す図である。
【符号の説明】
１００　セレクタ
１１０　イメージスキャナ部
１２０　ページ記述言語レンダリング部
２００　入力画像処理部
３００　中間画像処理部
４００　出力画像処理部
５００　プリンタ部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image processing apparatus that performs predetermined image processing on input image data and outputs the processed image data and a processing method thereof.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, an image processing apparatus that performs predetermined image processing according to area information indicating an image area (for example, a photograph area, a character area, and the like) in an input image performs image area separation processing for identifying the image area in the image. After the application, different image processing is performed for each of the separated image areas, thereby providing an optimum image quality for each area.
[0003]
[Problems to be solved by the invention]
However, usually, the area information indicating the image area in the image is limited to the contents that can be identified by the area identification device, and the image processing must be performed thereafter according to the area information generated here. Therefore, the number of image areas to be separated by the image area information is limited and small, and in order to obtain more image area information, the size of the area identification device is increased and the amount of information for area identification is increased. There was a problem that must be.
[0004]
The present invention has been made to solve the above-described problem, and has an object to generate attribute information indicating an attribute of an input image and change the attribute information during various image processing performed on the input image. Aim.
[0005]
[Means for Solving the Problems]
In order to achieve the above object, according to the present invention, in an image processing apparatus that performs predetermined image processing on input image data and outputs the image data, attribute information indicating an attribute of each pixel of the input image data is generated. Attribute information generating means for performing attribute information changing means for enabling the generated attribute information to be changed by each of a plurality of image processing means for performing image processing on the input image data; Output means for outputting image data which has been subjected to image processing by the plurality of image processing means based on the image data.
[0006]
Further, in order to achieve the above object, the present invention provides a processing method of an image processing apparatus which performs predetermined image processing on input image data and outputs the image data. An attribute information generating step of generating attribute information indicating an attribute; and an attribute information changing step of enabling the generated attribute information to be changed by each of a plurality of image processing units that perform image processing on the input image data. And outputting image data that has been subjected to image processing by the plurality of image processing units based on the changed attribute information.
[0007]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0008]
FIG. 13 is a side sectional view showing the structure of the image processing apparatus according to the present embodiment. In this embodiment, a multi-function digital image input / output device, here, a color device will be described as an image processing device, but the present invention is not limited to this.
[0009]
An image processing apparatus 1300 shown in FIG. 13 is roughly divided into an image reader unit 1301 (image input unit) that reads a document image and a printer unit 1302 (image output unit) that reproduces image data read by the image reader unit 1301. .
[0010]
The image reader unit 1301 reads a document at a resolution of, for example, 400 dpi and performs digital signal processing. A printer unit 1302 is a unit that outputs an image corresponding to the document image read by the image reader unit 1301 on a designated sheet in full color print.
[0011]
In the image reader unit 1301, a document 1304 on a platen glass (hereinafter, platen) 1303 is irradiated by a lamp 1305, and the reflected light is guided to

mirrors

1306, 1307, and 1308, and collected by a lens 1309. Then, an image is formed on a three-line sensor (hereinafter referred to as CCD) 1310 for converting the collected light into an electric signal, and the signal is processed as red (R), green (G), and blue (B) components of full-color information. 1311. The carriage fixing the

mirrors

1305 and 1306 moves at a speed v, and the

mirrors

1307 and 1308 mechanically move at a speed of 1/2 v in a direction perpendicular to the electrical scanning (main scanning) direction of the three-line sensor. This scans (sub-scans) the entire surface of the document.
[0012]
The signal processing unit 1311 electrically processes the read image signal, performs image processing shown in FIG. 1 described later, and then performs magenta (M), cyan (C), yellow (Y), and black (Bk). ) Is decomposed into each component. The M, C, Y, and Bk image signals are sent to the laser driver 1312. The laser driver 1312 modulates and drives the semiconductor laser 1313 according to the sent image signal. The laser beam scans on the photosensitive drum 1317 via the polygon mirror 1314, the f-θ lens 1315, and the mirror 1316. Reference numeral 1318 denotes a rotary developing unit, which includes a magenta developing unit 1319, a cyan developing unit 1320, a yellow developing unit 1321, and a black developing unit 1322. The four developing units alternately contact the photosensitive drum 1317 and are formed on the photosensitive drum. The developed latent image is developed with toner. A transfer drum 1323 wraps a sheet supplied from a

sheet cassette

1324 or 1325 around the transfer drum 1323, and transfers an image developed on the photosensitive drum to the sheet.
[0013]
After the four colors of M, C, Y, and Bk are sequentially transferred in this manner, the sheet passes through the fixing unit 1326, and is discharged after the toner is fixed on the sheet.
[0014]
FIG. 1 is a block diagram illustrating a configuration of a digital imaging device according to the present embodiment. Note that this digital image device has image input, storage, and output means, and corresponds to the multifunction digital image input / output device shown in FIG.
[0015]
In FIG. 1, reference numeral 100 denotes a selector for switching an image input system, 200 denotes an input image processing unit that performs predetermined image processing described later, 300 denotes an intermediate image processing unit that performs image processing described below, and 400 denotes an output that performs image processing described below. An image processing unit.
[0016]
Here, the signal from the image input means is a signal from the image scanner 110 or the page description language (PDL) rendering unit 120 corresponding to the image reader unit 1301 shown in FIG. The selector 100 is switched and used depending on the application, such as from the unit 110 or from the page description language rendering unit 120 in the case of a controller. Reference numeral 500 denotes a printer unit, which corresponds to the print unit 1302 shown in FIG.
[0017]
FIG. 2 is a block diagram showing a configuration of the input image processing unit 200 shown in FIG. In FIG. 2, reference numeral 201 denotes a sub-scanning color shift correcting unit configured to correct a color shift in the sub-scanning direction of an input image, for example, performing a 1 × 5 matrix operation for each color of image data. Reference numeral 202 denotes a main scanning color shift correction unit configured to correct a color shift of the input image in the main scanning direction, for example, performing a 5 × 1 matrix operation for each color of image data.
[0018]
An image area determination unit 203 identifies an image type in the input image. The image area determination unit 203 identifies pixels constituting each image type, such as a photograph part / character part and a chromatic part / achromatic part in the input image. Attribute flag data indicating the type can be generated and output for each pixel. Details will be described later with reference to FIGS. 7, 8, and 9.
[0019]
A filter processing unit 204 arbitrarily corrects the spatial frequency of the input image, and includes, for example, processing for performing a 9 × 9 matrix operation. A processing unit 205 samples the histogram of the image signal data in the input image, and is used to determine whether the input image is a color image or a monochrome image, and to determine the background level of the input image. An input color correction unit 206 corrects the color of the input image. The input color correction unit 206 converts the color space of the input image into an arbitrary color space or performs a correction process related to the color of the input system.
[0020]
Next, the image data processed by the input image processing unit 200 and the attribute flag data generated by the image area determination unit 203 are transferred to the intermediate image processing unit 300. If the generation of attribute flag data and the image processing of the input image processing unit 200 have already been performed by the page description language (PDL) rendering unit 120, the input image processing unit 200 processing may be skipped. The image data and the attribute flag data may be directly input to the intermediate image processing unit 300 without passing through here. The configuration in the input image processing unit 200 is not limited to the above-described configuration (201, 202, 203, 204, 205, 206). Other image processing modules may be added or deleted. May be. Further, the processing order in the input image processing unit 200 is not limited to this.
[0021]
FIG. 3 is a block diagram showing a configuration of the intermediate image processing unit 300 shown in FIG. The image data processed by the input image processing unit 200 is transferred to the intermediate image processing unit 300 together with the attribute flag data, and is processed by the following processing units.
[0022]
In FIG. 3, reference numeral 301 denotes an attribute flag changing unit for changing attribute flag data. Although details will be described with reference to FIG. 10, the attribute flag data generated by the image area determination unit 203 in the input image processing unit 200 as necessary before or after performing the compression processing of the line buffer 303 and later described later. Is a processing unit that performs the replacement process.
[0023]
Reference numeral 302 denotes an image bus to which image data and attribute flag data are sent. Reference numeral 303 denotes a line buffer, which divides image data and attribute flag data into tiles (the size of a tile is M × N), and performs discrete cosine transform, which is encoding of color information, for each M × N pixel of the tile. Encoding is performed separately into encoding (JPEG) and run-length encoding, which is encoding of attribute flag data information. However, M and N must be multiples of the window size for discrete cosine transform coding. In the present embodiment, the case of the JPEG compression method will be described as an example. However, since the window size for compression is 8 × 8 pixels in the JPEG compression method, if M = N = 32, for example, 32 × 32 pixels The tile is further divided into 16 8 × 8 pixels, and JPEG compression is performed in units of 8 × 8 pixels. Hereinafter, the description will be made assuming that M = N = 32, but of course the value is not limited to this.
[0024]
Reference numeral 304 denotes an image data encoding unit which performs a well-known DCT transform on 16 16 × 8 pixel windows included in a 32 × 32 pixel tile image and quantizes them. The quantization coefficient (referred to as a quantization matrix) used at this time can be switched and set for each tile. Reference numeral 305 denotes a determination unit, which refers to attribute flag data of 32 × 32 pixels corresponding to one tile of 32 × 32 pixels of predetermined image data, and instructs switching of the above-described quantization matrix. Reference numeral 306 denotes a quantization matrix selection unit, which selects a quantization matrix used for quantization in the image data encoding unit 304 according to the determination result of the determination unit 305, and sets the selected quantization matrix in the image data encoding 304.
[0025]
For example, when the attribute flag data of 32 × 32 pixels includes an attribute indicating a character even for one pixel, one tile of image data composed of the 32 × 32 pixels is regarded as a character tile, and the image data One tile is quantized using a character quantization matrix. If even one pixel does not include an attribute indicating a character, one tile of the image data is regarded as a photo tile, and one tile of the image data is determined as a tile. Different image data can be encoded for each tile, such as by performing quantization using a photo quantization matrix.
[0026]
An attribute flag encoding unit 307 encodes attribute flag data. Reference numeral 308 denotes a compression memory for temporarily storing encoded image data and attribute flag data. A hard disk 309 stores compressed image data and compression attribute flag data temporarily stored in the compression memory 308. Reference numeral 310 denotes a compression memory which is stored in the hard disk 309 when the compressed image data stored in the hard disk 309 is output from the printer unit 500 or when the attribute flag data is changed by the attribute flag changing unit 301. The compressed image data and the compressed attribute flag data that have been read are read out, decoded by the following processing unit, and output. Note that the compression memory 310 may be the same as the compression memory 308.
[0027]
An attribute flag decoding unit 314 extracts the attribute flag data and image data compressed and stored from the hard disk 309 to the compression memory 310, and decodes the attribute flag data of M × N pixels. A determination unit 312 performs attribute determination processing based on the result of decoding the attribute flag data. That is, as described above, it determines whether one tile of each image data is a character tile or a photo tile from the attribute flag data, The decoding coefficient is instructed to a quantization matrix selection unit 313 to be described later. Reference numeral 313 denotes a quantization matrix selection unit, which selects a compression decoding coefficient for each tile in accordance with an instruction from the determination unit 312, and sends it to an image data decoding unit 311 described later. Reference numeral 311 denotes an image data decoding unit which decodes image data by switching coefficients for each tile based on the quantization coefficient from the quantization matrix selection unit 313. A line buffer 315 outputs decoded image data and attribute flag data.
[0028]
Note that the determination units 305 and 312 perform exactly the same determination, and the attribute flag data is compressed by a lossless compression method such as run-length encoding that does not deteriorate the data. The determination results corresponding to the tiles are completely equal. Therefore, even if quantization is performed with a different quantization coefficient for each tile, an appropriate inverse quantization coefficient is set at the time of decoding, so that correct decoded image data can be obtained.
[0029]
The image data encoding unit 304 and the image data decoding unit 311 will be described in detail with reference to FIG. 5, and the attribute flag data encoding unit 307 for performing run-length encoding of the attribute flag data will be described in further detail with reference to FIG. Will be described.
[0030]
Here, the configuration in the intermediate image processing unit 300 is not limited to the configuration described above, and another image processing module may be added or deleted, and the configuration is not limited to this.
[0031]
FIG. 4 is a block diagram showing a configuration of the output image processing unit 400 shown in FIG. In FIG. 4, reference numeral 401 denotes a background removal unit which removes the background color of image data and removes unnecessary background fog. For example, background removal is performed by a 3 × 8 matrix operation or a one-dimensional LUT (look-up table). Reference numeral 402 denotes a monochrome generation unit which converts color image data into monochrome data and converts color image data, for example, RGB data into a single gray color when printing as a single color. For example, it is composed of a 1 × 3 matrix operation that multiplies RGB by an arbitrary constant to obtain a Gray signal.
[0032]
An output color correction unit 403 performs color correction according to the characteristics of the printer unit 500 that outputs image data. For example, it is configured by a 4 × 8 matrix operation or a direct mapping process. A filter processing unit 404 arbitrarily corrects the spatial frequency of the image data. For example, it is composed of processing for performing a 9 × 9 matrix operation.
[0033]
Reference numeral 405 denotes a gamma correction unit, which performs gamma correction in accordance with the characteristics of the printer unit 500 that outputs the data, and is generally formed of a one-dimensional LUT. A halftone processing unit 406 performs an arbitrary halftone process in accordance with the number of gradations of the printer unit 500 that outputs the image. Perform processing.
[0034]
The input image processing unit 200, the intermediate image processing unit 300, the output image processing unit 400, and each image processing unit have been described with reference to FIGS. Along with the data, the attribute flag data generated by the image area determination unit 203 for identifying the image type in the input image described in FIG. , Image processing is performed on each image area using an optimum processing coefficient.
[0035]
For example, the filter processing unit 404 of the output image processing unit 400 shown in FIG. 4 emphasizes the sharpness of the character by emphasizing the high-frequency components of the image for the character area, and the so-called low-pass filter for the halftone area. Processing can be performed to remove moiré components unique to digital images.
[0036]
In this way, by performing optimal processing on each image area in accordance with the attribute flag data in each processing module, high image quality can be achieved. The attribute flag data will be described in more detail with reference to FIG.
[0037]
FIG. 5 is a diagram showing a configuration of the image data encoding unit 304 and the image data decoding unit 311 shown in FIG. In FIG. 5, reference numeral 500 denotes input image data. In the case of color image data, the image data is three-color image data of red (R), green (G), and blue (B). Reference numeral 501 denotes a color converter, which converts RGB into a luminance / color difference signal (YCbCr). Reference numeral 502 denotes a discrete cosine transform (DCT), which performs a spatial frequency transform (DCT transform) on each of the luminance and chrominance signals in units of 8 × 8 pixels.
[0038]
A quantizer 503 quantizes DCT coefficients using a set quantization matrix, thereby reducing the amount of data. Numeral 504 denotes a variable length coder (VLC) unit, which further reduces data by quantizing the value by Huffman coding. A compression memory 505 stores the image data compressed in this way. Note that the compression memory 505 corresponds to the compression memory 308 described with reference to FIG. The image data stored in the compression memory 308 is stored in the large-capacity storage device HDD309, and is stored in the compression memory 310 at the time of decoding, and then subjected to decoding processing. In addition, the compression memory 505 illustrated in FIG. The data stored in the compression memory 505 is decoded in the following procedure.
[0039]
A variable-length decoder (VLD) 506 performs Huffman decoding. Reference numeral 507 denotes an inverse quantizer, which restores the DCT coefficient value according to the set inverse quantization matrix. Reference numeral 508 denotes an IDCT which performs DCT inverse transform to return to a luminance / color difference signal. A color converter 509 converts the luminance / color difference signal back to RGB image data. Reference numeral 510 denotes color image data output to the outside as a result of the compression and decoding processes.
[0040]
FIG. 6 is a diagram illustrating the configuration of the attribute flag data encoding unit 307 that performs run-length encoding of the attribute flag data described with reference to FIG.
[0041]
In FIG. 6, reference numeral 600 denotes a determination unit which determines whether or not the value of the previous pixel and the value of the current pixel of the input attribute flag data are the same, and sends the data to the RL code generation unit 601 if they are the same. If not, the data is sent to the LT code generation unit 602. As a result, the RL code generation unit 601 counts the number of times of the same case as the previous pixel data until different data comes out, and outputs the last repeated data. The LT code generation unit 602 counts the number of cases where the data is different from the previous pixel, and outputs a code word corresponding to the count and the minimum number of constituent bits of the actual data for the count. A synthesis unit 603 synthesizes output data of the RL code generation unit 601 and output data of the LT code generation unit 602, and outputs the synthesized data as a code 604.
[0042]
Here, a specific procedure for detecting the attribute of each image data included in the input image data described above and generating attribute flag data for identifying the attribute will be described.
[0043]
FIG. 7 is a diagram for explaining a procedure for generating attribute flag data. 7, reference numeral 701 denotes an example of input document image data. The document image data 701 includes a silver halide photograph area 702, a black character area 703, a halftone dot print area 704, and a halftone print area 705. This shows a state in which color graphic areas are mixed.
[0044]
Here, the scanner section scans the original image with a color CCD sensor and reads it as color digital image data (R, G, B) for each pixel. The read RGB signals have characteristics determined by attributes of each area of the image. In each area, when the G signal of the signal values (R, G, B) read by the CCD sensor is plotted in the arrangement direction of the CCD, for example, the result is as shown in FIG.
[0045]
FIG. 8 is a diagram showing characteristics of read signal values when the CCD sensor reads each image attribute. In FIG. 8, (A), (B), (C), and (D) are examples of characteristics that appear characteristically when the area from 702 to 705 shown in FIG. 7 is read. The vertical axis represents the pixel position in the arrangement direction, and the higher the read signal value, the closer to white (brighter) the pixel.
[0046]
Explaining the characteristics of each region shown in FIG. 8, (A) corresponds to the silver halide photographic region 702, the change due to the position of the image signal to be read is relatively gradual, and the difference 821 in the pixel value of the short distance is small. Value. (B) corresponds to the black character area 703, and a black character is written on a white background. Therefore, the plot of the signal value has such a characteristic that the read signal value rapidly changes from the white background portion 831 to the character portion 832.
[0047]
(C) corresponds to a halftone dot region 704, and the halftone dot region is a repetition of a white background 841 and a halftone dot 842 printed thereon. Is a characteristic that repeats at a high frequency. (D) is a plot diagram of a graph area. At the edge portion 851 of the graphic, the signal value sharply decreases, and the inside colored portion 852 has such a characteristic that a constant intermediate level follows.
[0048]
In order to determine these attributes, it is sufficient to detect and determine the above-described feature of each area from the read signal value. For this purpose, the change amount of the image data in the vicinity of the pixel of interest, the integrated value of the change amount in a certain section, the luminance value of a peripheral pixel (white background or colored background), the white of the image data in the certain section Using a feature extraction method using a known method such as the number of times of change from black to black, a known attribute discrimination method based on the feature extraction method can be used.
[0049]
FIG. 9 shows an example of the attribute flag generated for the document image shown in FIG. 7 in this manner.
[0050]
FIG. 9 is a diagram illustrating an example of the attribute flag data of the input image 201 described with reference to FIG. In the example shown in FIG. 9, three types of flags, ie, a character flag, a graphic flag, and a halftone dot flag, are generated as attribute flag data, but the present invention is not limited to this.
[0051]
In FIG. 9, reference numeral 901 denotes a character flag. A pixel represented by black in the figure is a pixel having a character attribute, and 1 is generated as a character flag. Otherwise, it is 0 (white part in the figure). Reference numeral 902 denotes a graphic flag, which is 1 in a graphic area and is 0 in other areas. Reference numeral 903 denotes a halftone dot flag which is 1 in a halftone dot area and 0 in other areas. Reference numeral 904 denotes a photographic area. Since the photographic area does not correspond to any of the above-mentioned 901, 902, and 903, that is, it is an area other than characters, other than graphics, and other than halftone dots, and all flags are set to 0, and FIG. In the example shown in FIG.
[0052]
When these are summarized as a 3-bit signal, the following relationship is obtained.
[0053]

When the attribute of the image is detected for each pixel by the above image area separation processing, as described above, image processing is performed by each image processing unit according to the image attribute, and as described above, Processing such as enhancing the high-frequency components of the image for the character area to enhance the sharpness of the characters, and performing the so-called low-pass filter processing for the halftone dot area to remove moiré components unique to digital images. It can be performed. Switching between these processes can be performed in pixel units according to the attribute flag data generated by the image area determination unit 203.
[0054]
Next, a flow of processing on an input image when inputting from the scanner unit, performing various types of image processing in the input image processing unit 200, the intermediate image processing unit 300, and the output image processing unit 400 and outputting from the printer unit will be described. . First, a description will be given of the flow of processing when the replacement of the attribute flag is not performed.
[0055]
FIG. 10 is a diagram illustrating a flow of a process when the replacement of the attribute flag is not performed. 10A shows the flow of image processing, and FIG. 10B shows the flow of image data and attribute flag data corresponding to the image processing.
[0056]
First, the input image 1000 input by the scanner unit enters the input image processing unit 200, and is subjected to various image processing described with reference to FIG. FIG. 10 illustrates only the image area determination unit 203. Here, the image data 1010 that has been subjected to the image processing by the image processing unit before the image area determination unit 203 is input to the image area determination unit 203 and subjected to the image area determination processing. As a result, the attribute flag data 1011 described above is generated. In this example, we will proceed with the 3-bit attribute flag data as described with reference to FIG.
[0057]
Thereafter, the image data 1020 that has been subjected to the remaining processing in the input image processing unit 200 is transferred to the intermediate image processing unit 300, and a predetermined compression coefficient is set for each image area in the image data 1020 according to the attribute flag data 1021. The compression process (303 to 315) is performed by the (coding coefficient).
[0058]
Next, the image data input to the output image processing unit 400 is subjected to various types of image processing. For example, FIG. 10 illustrates filter processing 404 and gamma correction 405. According to 1041, optimal processing is performed for each image area such as a photograph area and a character area in the

image data

1030 and 1040 by using a predetermined image processing coefficient. Then, the image data 1050 after all the processes are output from the printing unit.
[0059]
Next, a description will be given of a processing flow in the case where the replacement of the attribute flag data is performed in the above-described processing flow for the input image. It should be noted that whether or not the attribute flag data is to be replaced and which of the plurality of image processing units are to be replaced before the image processing unit are instructed from the operation unit when the user processes the input image. Alternatively, it is also possible to fixedly set in advance.
[0060]
FIG. 11 is a diagram illustrating a flow of a process when the replacement of the attribute flag is performed. FIG. 11A shows the flow of image processing, and FIG. 11B shows the flow of image data and attribute flag data corresponding to the image processing.
[0061]
First, an input image 1000 input by the scanner unit enters the input image processing unit 200, and is subjected to various image processing described with reference to FIG. FIG. 11 illustrates only the image area determination unit 203. Here, image data 1010 that has been subjected to image processing by the image processing unit before the image area determination unit 203 is input to the image area determination unit 203 and subjected to image area determination processing. Thereby, the attribute flag data 1011 described above is generated. In this example, we will proceed with the 3-bit attribute flag data as described with reference to FIG.
[0062]
Up to this point, the contents are the same as in FIG. 10, but the contents from the following intermediate image processing unit 300 are different between FIG. 10 and FIG.
[0063]
As described with reference to FIG. 10, after being transferred to the intermediate image processing unit 300, compression processing (303 to 315) is performed using a predetermined compression coefficient for each image region in the image data 1020 according to the attribute flag data 1021. Is applied. This is because, for example, when the compression coefficient is varied between the photographic region and the character region and compression is performed, the deterioration due to compression is usually more noticeable in the character region than in the photographic region, so that a higher compression ratio can be obtained in the photographic region. The image quality is improved by changing the compression coefficient and the compression coefficient for the character area to obtain a lower compression rate.
[0064]
However, it is necessary to store the compressed data within the capacities of the compression memories 308 and 310 and the mass storage HDD 309 in the intermediate image processing unit 300. Therefore, when the compressed data does not fit in the storage capacity described above, the attribute flag changing unit 301 temporarily changes the attribute flag data.
[0065]
More specifically, if the compression cannot be performed by one compression, the attribute flag of the attribute flag data 1101 is changed by the attribute flag changing unit 301 as follows, for example. That is, by replacing the attribute flag data with the pixels which are regarded as the character area as the photograph area, the compression of the photograph area is performed at a higher compression ratio. Therefore, by replacing the character area with the photograph area, the image data 1100 is converted. The compression ratio when compressed is increased as a whole.
[0066]
Thereafter, by performing compression processing (303 to 315) in accordance with the attribute flag data 1111 to which the attribute flag data has been replaced, the image data 1110 can be further reduced to image data.
[0067]
Here, when outputting to the output image processing unit 400, the attribute flag data 1111 that has been replaced, specifically, the attribute flag data 1111 that has been replaced with a character area to a photograph area, is output again as described above. The replacement may be performed by the replacement unit 301 to return to the original attribute flag data, or the attribute flag data may not be returned to the original without passing through the attribute flag replacement unit 301.
[0068]
Thereafter, as in FIG. 10, predetermined image processing is performed on the

image data

1130 and 1140 by the output image processing unit 400 in accordance with the

attribute flag data

1131 and 1141, and the image data 1150 is output from the printer unit.
[0069]
As described above, FIG. 11 illustrates an example in which the attribute flag data is replaced to increase the compression ratio when the compression does not fit in the predetermined compression memory. However, the replacement of the attribute flag data is performed in other cases. You may go in.
[0070]
Next, a description will be given of a process flow for the case where the above-described process flow for the input image is different from that in FIG.
[0071]
FIG. 12 is a diagram illustrating a flow of a process in another case of changing the attribute flag. FIG. 12A shows the flow of image processing, and FIG. 12B shows the flow of image data and attribute flag data corresponding to the image processing.
[0072]
First, an input image 1000 input by the scanner unit enters the input image processing unit 200, and is subjected to various image processing described with reference to FIG. FIG. 12 illustrates only the image area determination unit 203 and the input color correction 206. Here, image data 1010 that has been subjected to image processing by the image processing unit before the image area determination unit 203 is input to the image area determination unit 203 and subjected to image area determination processing. Thereby, the attribute flag data 1011 described above is generated. In this example, we will proceed with the 3-bit attribute flag data as described with reference to FIG.
[0073]
The contents so far are the same as those in FIG. After that, the input color correction unit 206 performs a process using an optimum coefficient for each image area according to the 3-bit attribute flag data 1201 generated by the image area determination unit 203. That is, coefficients for each of a character area, a graphic area, a halftone dot area, and a photograph area are prepared, and processing is performed for each pixel according to the attribute information of the attribute flag data 1201. Thereafter, compression processing (303 to 315) is performed in the intermediate image processing unit 300.
[0074]
In FIG. 11, the replacement of the attribute flag data is performed due to the influence of the compression. In FIG. 12, the replacement of the attribute flag data is performed for the following reason. That is, in the example of FIG. 12, the input color correction unit 206 switches the coefficients in each image area, character area, graphic area, halftone area, and photograph area of the 3-bit attribute flag data generated in the image area determination 203. However, in each of the image processing, the filter processing unit 404, and the gamma correction 405 in the output image processing unit 400, instead of the coefficient switching for each of the character area, graphic area, halftone area, and photograph area, for example, This is a case where coefficients are switched in accordance with a document type mode designated by a copy unit, a color mode / monochrome mode, or the like.
[0075]
In this case, the attribute flag switching unit 301 rewrites the contents of the 3-bit attribute flag data, for example, as follows, and transfers the data to the output image processing unit 400.
[0076]

After the attribute flag data is rewritten in the attribute flag switching unit 301 as described above, the filter processing unit 404 in the output image processing unit 400, the coefficient for photographic paper and the coefficient for print photograph in the gamma correction 405 are attribute flag data. To perform processing.
[0077]
As described above, according to the present embodiment, the attribute flag data added to the image data is arbitrarily replaced in the middle of a series of image processing, whereby the result determined by the image area determination unit is Not all processing is decided, but in the middle, it is necessary for the processing in the middle, that is, because it is possible to define an image area that is optimal for the image processing to be switched, along with providing more flexible image processing, It is possible to provide image processing with higher image quality, and it is not necessary to increase the information amount of the attribute flag data, so that a large amount of compression memory is not used when compressing the attribute flag data.
[0078]
[Modification]
In the above-described embodiment, the replacement of the attribute flag data is arranged in the intermediate image processing unit 300, but may be arranged at an arbitrary position in the input image processing unit 200 or the output image processing unit 400.
[0079]
Further, not only the image processing apparatus shown in FIG. 1 but also a predetermined network can be connected to configure an image processing system.
[0080]
FIG. 14 is a diagram illustrating a configuration of an image processing system according to a modification. In FIG. 14, reference numeral 1401 denotes a LAN interface, which is an interface unit capable of connecting to a network 1402.
[0081]
The compressed image data stored in the hard disk 309 in the intermediate image processing apparatus 300 shown in FIG. 3 is transferred to a host computer 1403, an image server 1404, an image input / output device connected to a network 1402 via the LAN interface 1401. It is possible to perform network transmission to 1405 or the like.
[0082]
It is also possible to receive compressed image data from a host computer 1403, an image server 1404, an image input / output device 1405, or the like connected to the network 1402 via a network and store the compressed image data on the hard disk 309.
[0083]
Further, the LAN interface 1401 can be connected to a portion other than the above-described hard disk 309 such as the image bus 302. In addition, the input image processing unit 200 and the output image processing unit 400 are also possible.
[0084]
However, in consideration of the load on the network, the transmission and reception of the compressed image is more efficient, so it is considered preferable to connect to the hard disk 309.
[0085]
Although not shown here, a configuration is provided in which encoding and decoding are performed without the need for attribute flag data. For example, a JPEG encoding unit and a JPEG decoding unit are provided to be used when transmitting and receiving to and from a device that does not use attribute flag data. It is good also as a structure which performs.
[0086]
Further, it may be configured to connect to an image transmitting / receiving device such as a facsimile using a telephone line and perform image transfer, or may be connected to another image input / output device, an image server, a host computer, or the like using wireless or the like. , An image may be transmitted and received.
[0087]
Even if the present invention is applied to a system including a plurality of devices (for example, a host computer, an interface device, a reader, a printer, etc.), the present invention can be applied to an apparatus (for example, a copying machine, a facsimile device, etc.) including one device. May be applied.
[0088]
Further, an object of the present invention is to supply a recording medium in which a program code of software for realizing the functions of the above-described embodiments is recorded to a system or an apparatus, and a computer (CPU or MPU) of the system or apparatus stores the recording medium in the recording medium. Needless to say, this can also be achieved by reading and executing the program code thus read.
[0089]
In this case, the program code itself read from the recording medium realizes the functions of the above-described embodiment, and the recording medium storing the program code constitutes the present invention.
[0090]
As a recording medium for supplying the program code, for example, a floppy (registered trademark) disk, hard disk, optical disk, magneto-optical disk, CD-ROM, CD-R, magnetic tape, nonvolatile memory card, ROM, or the like is used. be able to.
[0091]
When the computer executes the readout program code, not only the functions of the above-described embodiments are realized, but also an OS (Operating System) running on the computer based on the instruction of the program code. It goes without saying that a case where some or all of the actual processing is performed and the functions of the above-described embodiments are realized by the processing is also included.
[0092]
Further, after the program code read from the recording medium is written into a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer, the function expansion is performed based on the instruction of the program code. It goes without saying that a CPU or the like provided in the board or the function expansion unit performs part or all of the actual processing, and the processing realizes the functions of the above-described embodiments.
[0093]
【The invention's effect】
As described above, according to the present invention, attribute information indicating an attribute of an input image is generated, and the attribute information can be changed during various types of image processing performed on the input image. In addition to providing high-quality image processing, high-quality image processing can be provided.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of a digital imaging device according to an embodiment.
FIG. 2 is a block diagram showing a configuration of an input image processing unit 200 shown in FIG.
FIG. 3 is a block diagram showing a configuration of an intermediate image processing unit 300 shown in FIG.
FIG. 4 is a block diagram illustrating a configuration of an output image processing unit 400 illustrated in FIG.
5 is a diagram illustrating a configuration of an image data encoding unit 304 and an image data decoding unit 311 illustrated in FIG.
6 is a diagram illustrating a configuration of an attribute flag data encoding unit 307 that performs run-length encoding of attribute flag data described with reference to FIG.
FIG. 7 is a diagram for explaining a procedure for generating attribute flag data.
FIG. 8 is a diagram showing characteristics of a read signal value when each image attribute is read by a CCD sensor.
9 is a diagram illustrating an example of attribute flag data of the input image 201 described with reference to FIG.
FIG. 10 is a diagram showing a flow of processing when the replacement of the attribute flag is not performed.
FIG. 11 is a diagram illustrating a flow of a process when replacing an attribute flag.
FIG. 12 is a diagram showing a flow of a process in another case of replacing an attribute flag.
FIG. 13 is a side sectional view illustrating a structure of the image processing apparatus according to the present embodiment.
FIG. 14 is a diagram illustrating a configuration of an image processing system according to a modification.
[Explanation of symbols]
100 selector
110 Image Scanner
120 Page Description Language Rendering Unit
200 input image processing unit
300 Intermediate image processing unit
400 output image processing unit
500 Printer section

Claims

In an image processing device that performs predetermined image processing on input image data and outputs the processed image data,
Attribute information generating means for generating attribute information indicating the attribute of each pixel of the input image data,
Attribute information changing means for enabling the generated attribute information to be changed by each of a plurality of image processing means for performing image processing on the input image data;
An output unit that outputs image data that has been subjected to image processing by the plurality of image processing units based on the changed attribute information.

2. The image processing apparatus according to claim 1, wherein the attribute information generating unit generates, as the attribute information, information indicating at least attributes of a character, a graphic, and a halftone dot.

The plurality of image processing means includes first compression / decompression means for compressing and decompressing the input image data, and second compression / decompression means for compressing and decompressing the attribute information,
2. The image processing apparatus according to claim 1, wherein the attribute information changing unit changes the attribute information at a stage before the first and second compression / decompression units.

4. The image processing apparatus according to claim 3, wherein the attribute information is changed by changing character attribute information to photograph attribute information in order to increase a compression ratio in the first compression / decompression unit.

2. The image processing apparatus according to claim 1, further comprising an interface unit with a predetermined network, for transmitting and receiving image data to and from a device connected to the network.

A processing method of an image processing device that performs predetermined image processing on input image data and outputs the processed image data,
An attribute information generating step of generating attribute information indicating an attribute of each pixel of the input image data;
An attribute information changing step of enabling the generated attribute information to be changed by each of a plurality of image processing units that perform image processing on the input image data;
Outputting an image data image-processed by the plurality of image processing units based on the changed attribute information.

A program for causing a computer to function as the image processing device according to claim 1.

A computer-readable recording medium on which the program according to claim 7 is recorded.