JP5302768B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置及び画像処理方法に関するものである。

近年、情報の電子化が進み、紙文書をそのまま保存するのではなく、スキャナ等によりスキャンして電子化して保存したり、電子データを他の装置に送信したりするシステムが普及してきている。送信コストを削減するため、電子化された文書に対して高い圧縮性が要求されている。一方、電子化データを部分的に編集できる再利用性と、拡大しても縮小しても画質が落ちない高画質性とが要求されている。

ところが、文書画像に文字領域や写真領域が混在する場合は、文字領域に適した圧縮を行うと画質は良いが圧縮率が低くなり、また写真領域に適した圧縮を行うと圧縮率は高いが文字が劣化してしまうという問題がある。そこで、電子化された文書画像を文字領域と写真領域に分離し、文字領域は文字領域に適した圧縮を行い、更に、写真領域は文字の画素を周囲の画素値で埋めた後に写真領域に適した圧縮を行う。そして、圧縮された文字画像と背景画像とを一緒に出力する技術が提案されている（例えば、特許文献１、２参照）。

また、再利用性と高画質性が重視される文字領域をベクトルデータに変換し、それ以外の容易にベクトル化で再現できない写真領域などをＪＰＥＧで圧縮し、各領域の圧縮結果を合成して出力する。これにより、文書画像の高圧縮性、再利用性、高画質性を実現する技術が提案されている（例えば、特許文献３参照）。

更に、ベクトル処理対象を文字や線画以外に拡大し、文書画像の高圧縮性、再利用性、高画質性を向上させる技術も提案されている（例えば、特許文献４参照）。特許文献４では、写真などの自然画に比べ、物体の輪郭（オブジェクトの境界）が明瞭で、出現色も限られているなどの特徴を有している特定画像（例えば、イラスト）をベクトル化する。この特定画像を「クリップアート画像」と称す。

また、特許文献５では、文字領域を含んだ文書画像に対してベクトル化可能な領域をベクトル化し、そのベクトル化結果をベクトル層に置く。また、ベクトル化された領域を周囲の背景画素値で穴埋め（塗り潰し）し、穴埋め後の画像のＪＰＥＧ圧縮結果をＪＰＥＧ層に置く。このようにして、ベクトル層データとＪＰＥＧ層データからなる文書ファイルを作成する。

また、特許文献６では、入力画像から元解像度の二値画像と半分の解像度の多値画像を生成し、分離処理と文字領域の変換処理は前者の二値画像に、背景領域の変換処理は後者の多値画像に対して処理をおこなっている。例えば入力画像がＡ４サイズ、24bit/pixelで約２４ＭＢの場合、入力画像を二値化して得られる二値画像は約１ＭＢ、入力画像の解像度を半分にして得られる画像は約６ＭＢである。従って、これら２つの画像を生成した後に元の入力画像を破棄することで、およそ１／４の画像用メモリで電子化処理を行うことのできる手法が提案されている。

特開平０７−２３６０６２号公報 特開２００５−０１２７６８号公報 特開２００４−２６５３８４号公報 特開２００６−３４４０６９号公報 特開２００７−３０５０３４号公報 特開２００４−１２８８８１号公報

一方、クリップアート領域を矩形領域で定義し、文書画像に対して、クリップアート領域１０１をベクトル化した後に周辺の画素値で塗りつぶす場合、次のような問題が生じると考えられる。

例えば、図１に示すようなクリップアート領域（イラスト領域）１０１を矩形で表したときに、他の領域（写真領域１０２）がクリップアート領域の背景部分に重なることがある。このとき、矩形のクリップアート領域１０１全体を周辺の画素値で塗り潰すと、図２に示すように、クリップアート領域１０１と重なる他の領域２０１が塗り潰しにより消えてしまい、再生時に、写真領域１０２の画像を再現できない。そのため、クリップアート領域１０１の矩形全体を塗り潰すのではなく、クリップアート領域１０１内において、背景領域と背景以外の領域（即ち、前景となるオブジェクト領域（イラスト本体部分））とに切り分ける。そして、その背景以外の領域（オブジェクト領域（前景領域））のみを塗り潰す方法を本出願人は特願2008-120763において提案している。

この方法によれば、圧縮性の高い合成文書ファイルを生成することができ、且つ、周囲に重なる領域が存在する場合でも、元の画像が再現できる。

図１に示す文書画像の例に対しては、図３に示すように、クリップアート領域１０１に含まれるオブジェクト領域（イラストの本体部分）のみに対して穴埋め処理を行う。即ち、クリップアート領域１０１の背景以外の領域（オブジェクト領域）を塗り潰すことにより、重なる写真の部分には何も影響を与えないというものである。

この例では、クリップアート領域１０１を含む文書画像を入力し、入力した文書画像を二値画像データに変換し、この二値画像データを用いて文字、グラフィックス、表などの複数種類の領域に分離する領域分離処理を行ってクリップアート領域を抽出する。更に、このクリップアート領域に対応する文書画像の色に基づいて、色の類似度によりクリップアート領域を複数の領域に領域分割する。この領域分割の結果からクリップアート領域内で背景領域とすべき領域を特定する。そして、文書画像において、背景領域とすべき領域の色情報を背景色とし、クリップアート領域内のオブジェクト領域（背景以外の領域）を背景色で塗り潰す。一方、クリップアート領域内のオブジェクト領域の画像はクリップアートのベクトルデータに変換する。オブジェクト領域（背景以外の領域）を塗りつぶした後の文書画像を下地画像としてＪＰＥＧ圧縮し、当該圧縮した下地画像のＪＰＥＧデータを、クリップアート領域のベクトルデータが下地画像の上に描画されるようにしたファイル形式で出力する。

このように、クリップアート領域と重なる他の領域がある文書画像に対してもクリップアート領域と重なる他の領域が塗り潰しにより消えてしまうことがない。また、元の画像を再現することが可能となり、高圧縮性、再利用性、高画質性を向上させた文書画像処理方法を提案している。

一方、このような処理を画像処理装置に実装する場合、穴埋めされるべき下地画像をそのまま保持すると多くのメモリが必要となり、装置コストを押し上げる要因となる。このため、本発明では、対象とする画像を、スキャナでの三原色に基づく光電走査により得られるＲＧＢ色空間上でのカラー画像形式を変換して処理する。例えば、公知のＹＣｒＣｂ色空間のように、明るさ成分（Ｙ）と色成分（Ｃｒ，Ｃｂ）とに分けたカラー空間上で表現された形式に変換する。そして、システムで許されるメモリ容量制限に比して、より大きなサイズの入力画像にベクトル化処理を施すために、下地画像の解像度を低くする。例えば、入力画像の明るさ成分と色成分との比率が（Ｙ：Ｃｒ：Ｃｂ＝４：４：４）であるとき、下地画像の色成分（Ｃｒ，Ｃｂ）の解像度を半分に落とす。これにより、画素数の比率がＹ：Ｃｒ：Ｃｂ＝４：１：１になるように変換され、下地画像で必要となるデータ量が減る。尚、ベクトル化対象オブジェクト（クリップアート領域のオブジェクト部分など）に関しては、入力画像の解像度で処理を行う。

このようにすることで、カラー画像を三色成分に基づくＲＧＢ形式で解像度を落とすことなく保持する場合に比して、半分のデータ量で下地画像を扱うことができる。言い換えれば、倍のサイズの画像データを処理することが可能となる。尚、明るさ成分Ｙの解像度よりもＣｒＣｂの解像度の方を落とすのは、人間の目の特性が、色成分ＣｒＣｂよりも明るさ成分Ｙに敏感なためである。

しかしながら、このような構成では、矩形境界部分と背景境界部分とで、色成分の解像度の差異と塗り潰しの色とに基づく偽色が発生する場合があり、出力画像の画質を損なう要因となり得る。尚、矩形境界部分とは、ベクトル化対象オブジェクトとその外接矩形領域外との境界であり、例えば、矩形のクリップアート領域内のオブジェクト領域とクリップアート領域外の下地画像との境界である。また、背景境界部分とは、ベクトル化対象オブジェクトとその外接矩形内におけるベクトル化対象オブジェクト以外の背景領域との境界であり、例えば、矩形のクリップアート領域内のオブジェクト領域と背景領域との境界である。

ここで、上述の境界部分で発生する偽色の原因を、図４〜図６を用いて説明する。図４は、カラー画像の明るさ成分（Ｙ成分）の様子を示す図である。図５は、カラー画像の色成分（Ｃｒ成分）の様子を示す図である。図６は、カラー画像の色成分（Ｃｂ成分）の様子を示す図である。図４では、Ｙ：Ｃｒ：Ｃｂ＝４：１：１のように、Ｃｒ，Ｃｂ成分の解像度をＹ成分に比べて低くした際のＹ成分の様子を表している。また同様に、図５と図６はそれぞれＣｒ成分とＣｂ成分の様子を表している。

図４の４０１、図５の５０１、図６の６０１は、ＹＣｒＣｂカラー空間上でのＹ：Ｃｒ：Ｃｂ＝４：１：１の形式の画像データにおける、Ｙ成分の解像度での２×２画素領域に対応するＣｒ成分、Ｃｂ成分を表している。つまり、Ｙ成分での２×２画素領域（Ｙ11,Ｙ12,Ｙ13,Ｙ14）が、Ｃｒ成分、Ｃｂ成分では１画素として対応する。

また、図４の４０２、図５の５０２、図６の６０２は、それぞれ入力されたカラー画像（原画像）のベクトル化対象オブジェクトが存在する位置を示す例である。解像度が原画像と同じく高いＹ成分上では、対象オブジェクトの形状が画素境界に一致している。一方、解像度を原画像の半分にしているＣｒ成分上とＣｂ成分上では、対象オブジェクトの形状が色成分ＣｒＣｂの画素境界には必ずしも一致しない。即ち、対象オブジェクトの境界部分が、色成分Ｃｒ，Ｃｂ上の画素の１／４や１／２の面積で部分的にかかっている状態になっている場合がある。

このような境界部分の色成分（Ｃｒ，Ｃｂ）は、オブジェクト側の色情報に統一するか、下地の色情報に統一するか、或いはオブジェクト側の色情報と下地の色情報を部分的にかかる面積比を考慮した平均色にする、などが考えられる。

このような状況でディスプレイへの表示やプリンタでの印刷のために、各色同一の解像度を持つ三色成分に基づくＲＧＢ形式に変換すると、上述の何れの方法で処理しても境界部分で偽色が生成される原因となる。つまり、画素境界色情報は、境界部で、元々のスキャナでの三原色に基づく光電走査によって得られたＲＧＢ色空間上でのカラー画像とは異なる色（偽色）が生成され、違和感を与えることとなってしまう。

このような偽色は、クリップアート領域内の背景領域とオブジェクト領域（背景領域以外の領域）との境界部分、及びクリップアート領域と下地領域との境界部分の少なくとも何れかで発生する可能性がある。この様子を図７Ａ〜図７Ｇを用いて説明する。

図７Ａ〜図７Ｇは、背景領域とオブジェクト領域との境界部分や、オブジェクト領域と下地領域との境界部分で発生する偽色を説明するための図である。図７Ａは、クリップアート領域を含む文書画像の例を表している。７０１はベクトル化対象としてのクリップアート領域の位置を示すものであり、クリップアート領域の外接矩形からなるオブジェクト外接矩形である。また、図７Ｂは、そのオブジェクト外接矩形７０１内の画像を抽出した状態を表している。７０２はクリップアート領域内（オブジェクト外接矩形内）における背景であり、クリップアート領域を色の類似度により複数の領域に領域分割した結果から、背景領域として特定される。背景領域の特定は、例えば、クリップアート領域内の画像を類似する色に基づいてクラスタリングし、更に、クリップアート領域の外接矩形の境界に接する画素数が最も多いクラスタを背景領域のクラスタとする手法を用いる。そして、図７Ａに示す７０４は下地である。

また、図７Ｃは、背景領域７０３をベクトル化対象から外し、背景以外の領域（ベクトル化対象オブジェクト）のみを表現している。尚、背景領域７０３に対応する背景７０２から背景色が求められる。図７Ｃにおいて、７０５はオブジェクト領域（背景以外の領域）と下地７０４との境界部を示し、７０６はオブジェクト領域（背景以外の領域）と背景７０２との境界部を示している。また、図７Ｄは、下地画像において塗り潰し対象となる背景以外の領域７０７を示している。また、図７Ｅは、境界部７０５と境界部７０６の双方を背景以外の領域７０７と区別することなく、背景７０２から求めた背景色で塗り潰した状態である。

また、図７Ｆは、下地画像において、図７Ｅに示すようにクリップアート領域内のオブジェクト部分を背景色で塗り潰し、更に、クリップアート領域のオブジェクト部分のベクトル結果を重畳表示したものである。この場合、下地画像におけるオブジェクト部分は背景色で塗り潰されているので、７０８に示すように、境界部７０６は問題が無いものの、境界部７０５に該当する部分は塗り潰し色（背景色）と下地画像の色との差異が大きい。そして、ベクトル化されたオブジェクト部分を重畳表示したとき、オブジェクト部分と下地画像との解像度の違いにより、偽色が発生してしまう。

一方、境界部７０５と境界部７０６の両方を背景色ではなく下地色で塗り潰すことにすると、今度は、下地画像との境界部７０５に関しては偽色が発生しないものの、背景領域との境界部７０６に関して偽色が発生することになる。

本発明の目的の１つは、カラー画像に含まれるオブジェクト画像とそのオブジェクト画像との境界で偽色が発生するのを防止することである。

更に、領域解析処理（領域分離処理）や、ベクトル変換処理などに用いる画像は、それぞれの処理の精度を維持するのに十分な解像度、色域等の情報量をもっていなければ、高画質、高再利用性といった特長をもった電子データを生成することは不可能である。一方で、各処理で要求される情報量には差があり、一律に情報量の多い画像をすべての処理に入力すると余分なメモリを消費してしまい、処理も遅くなってしまうという問題がある。

例えば、生成される電子データの文字部分に高い画質が要求される場合、文字領域の変換処理に対してより高い解像度の画像を入力する必要がある。例えば３〜５ポイントの小さな文字の画像から、外見を忠実に再現するベクトルデータを生成するためには６００ｄｐｉ程度の高解像度画像が必要となる。一方、領域解析処理（画像内を文字領域、クリップアート領域、写真領域などに分離）用の画像は３００ｄｐｉあれば十分で、それ以上の高解像度はメモリ量の増加、処理速度の低下を招くだけではなく、ノイズ量の増大による処理精度低下の虞もある。また領域を分離できればいいので、局所的には２値、画像全体でもせいぜいＮ値程度になるように前処理によって量子化されているほうが、処理速度の高速化の観点上好ましい。更に、クリップアート領域をベクトル化する処理に対しては、文字領域の処理ほど高い解像度を必要とせずに３００ｄｐｉ程度の中解像度画像が適している。また、ベクトル結果において視覚上オリジナルと一致する色を再現するためには、入力画像における１画素あたりのビット数は十分に多くなければならない。しかし、上述した説明のように輝度Ｙに対して色差Ｃｂ，Ｃｒが１／２の解像度を持つようにすれば、画像データのサイズを抑えることができる。

本発明は、クリップアート領域や文字領域を含む入力文書画像を、領域解析処理（領域分離処理）、文字のベクトル化処理、クリップアートのベクトル化処理それぞれに適した３つの画像に変換し、各処理を行うことを目的とする。

本発明は、カラー画像における複数の色成分のうちの少なくとも１つ以上の色成分の解像度が他の色成分の解像度より低い第１の画像を生成する画像生成手段と、
前記画像生成手段で生成された第１の画像を下地画像として保持する保持手段と、
オブジェクト画像を含む矩形領域を抽出する領域抽出手段と、
前記領域抽出手段で抽出された矩形領域内において、前記オブジェクト画像の領域と背景画像の領域とを特定する特定手段と、
前記下地画像について、前記特定手段で特定されたオブジェクト画像に対応する領域の穴埋め処理を行う穴埋め処理手段と、
を有し、
前記穴埋め処理手段は、前記オブジェクト画像と前記下地画像との境界を前記下地画像の色で穴埋め処理し、前記オブジェクト画像と前記背景画像との境界を前記背景画像の色で穴埋め処理する
ことを特徴とする。

本発明によれば、カラー画像に含まれるオブジェクト画像とそのオブジェクト画像との境界でカラー画像とは異なる色が発生するのを防止することが可能となる。

また、本発明によれば、クリップアート領域や文字領域を含む入力文書画像を、領域分離処理、文字のベクトル化処理、クリップアートのベクトル化処理それぞれに適した３つの画像に変換し、各画像に対してそれぞれの処理を行う。このようにすることで、メモリの消費を抑えながら、高い処理精度で高画質・高再利用性の電子データを生成することが可能になる。

クリップアート領域を含む文書画像の一例を示す図。 クリップアート領域を全体に下地部分として塗り潰し、ＪＰＥＧで圧縮した場合の問題を示す図。 クリップアート領域の背景以外の領域を塗り潰し、写真領域に影響を与えない場合を示す図。 カラー画像の明るさ成分（Ｙ成分）の様子を示す図。 カラー画像の色成分（Ｃｒ成分）の様子を示す図。 カラー画像の色成分（Ｃｂ成分）の様子を示す図。 、 背景領域と背景領域以外の領域との境界部分やクリップアート領域と下地領域との境界部分に発生する偽色を説明するための図。 本実施形態における画像処理装置の構成の一例を示すブロック図。 本実施形態における画像処理装置を実現するハードウェア構成を示すブロック図。 本実施形態における穴埋め処理を含む画像処理全体を示すフローチャート。 本実施形態における穴埋め処理の詳細を示すフローチャート。 他の実施形態における処理の構成を説明する図。 他の実施形態における処理を示すフローチャート。 領域解析処理と属性判定処理の詳細を示す図。 図画部ベクトル化処理を示す図。 ベクトル化処理Ｓ１５２０の詳細な処理を示す図。 ページ描画情報生成処理で生成されたページ描画情報の一例を示す図。 電子ドキュメントの一例を示す図。

以下、図面を参照しながら発明を実施するための形態について詳細に説明する。本実施形態では、画像処理装置を用いたクリップアート画像の領域における穴埋め処理を詳細に説明する。

図８は、本実施形態における画像処理装置の構成の一例を示すブロック図である。入力部８０１はカラー文書をスキャンし、入力画像データとして入力する。領域抽出部８０２は入力部８０１より入力された入力画像データからクリップアートを含む領域をクリップアート領域として抽出する。例えば、入力画像を二値画像データに変換し、この二値画像データを用いて文字、グラフィックス、表等の複数種類の領域に分離する領域分離処理を行い、クリップアート画像の領域を求める。そして、領域分離処理により求めたクリップアート画像の領域（クリップアート領域）を抽出する。

領域分割部８０３は領域抽出部８０２で抽出されたクリップアート領域における各画素の色特徴に基づき、領域を分割する。背景領域特定部８０４は領域分割部８０３での領域分割の結果に基づき、クリップアート領域の背景画像と背景色とを特定する。背景領域の特定は、例えばクリップアート領域内の画像を類似する色に基づいてクラスタリングし、更にクリップアート領域の外接矩形の境界に接する画素数が最も多いクラスタを背景領域のクラスタとする手法を用いる。

ベクトル化部８０５は背景領域特定部８０４による特定の結果と領域分割部８０３による領域分割の結果とに基づき背景以外の部分（前景となるオブジェクト画像）をベクトル化する。ワークメモリＡ８０６は処理途中の画像データなどを一時的に保持する。ワークメモリＢ８０７は処理途中の各種情報（領域属性情報）を保持する。

低解像度化部８０８は入力部８０１で入力された入力画像データよりも複数の色成分のうちの少なくとも１つ以上の色成分の解像度が粗い画像データ（第１の画像）を生成する。高解像度化部８０９は低解像度化部８０８で生成された第１の画像を、入力部８０１で入力された入力画像データの解像度と等しい解像度の画像データに戻す。

画像メモリ８１０は低解像度化部８０８で生成された第１の画像を下地画像として保持する。穴埋め部８１１は背景領域特定部８０４で特定された背景領域以外の領域（オブジェクト領域）に対応するオブジェクト画像（下地画像又は背景画像との境界を含む）の穴埋め処理を行う。

データ出力部８１２はベクトル化部８０５でベクトル化されたベクトルデータを含むオブジェクト層と、穴埋め部８１１で穴埋め処理された下地画像のオブジェクト層とを含む層構造をもつファイル形式の画像情報を生成して出力する。例えば、ＰＤＦフォーマットにして出力する。

図９は、本実施形態における画像処理装置を実現するハードウェア構成を示すブロック図である。図９において、イメージスキャナ９０１はＩ／Ｏ９０２を介してバス９００に接続され、図１に示す入力部８０１として機能する。ＣＰＵ９１０はＲＯＭ９２０に格納されたプログラムを実行する。これにより、ＣＰＵ９１０は領域抽出部８０２、領域分割部８０３、背景領域特定部８０４、ベクトル化部８０５、低解像度化部８０８、高解像度化部８０９、穴埋め部８１１、データ出力部８１２として機能する。また、ＲＡＭ９３０は、ワークメモリＡ８０６、ワークメモリＢ８０７、画像メモリ８１０として機能する。

外部記憶部９４０には、Ｉ／Ｏ９４１を介してハードディスク（ＨＤＤ）９４２がバス９００に接続されている。外部出力装置９５０にはＩ／Ｏ９５１を介してプリンタ９５２がバス９００に接続されている。外部記憶部９４０、画像出力装置９５０、ネットワークＩ／Ｆ９６０は、データ出力部８１２からのデータ出力先となるものである。また、予め外部記憶部９４０に格納される画像データを入力する場合には、この外部記憶部９４０が事実上の入力部となる。

以上の構成において、背景領域の境界又は矩形境界における穴埋め処理を、図１０及び図１１を用いて説明する。図１０に示すＳ１００１〜Ｓ１００７及び図１１に示すＳ１１０１〜Ｓ１１０９はＣＰＵ９１０によって実行される処理のステップである。

図１０は、本実施形態における穴埋め処理を含む画像処理全体を示すフローチャートである。まず、Ｓ１００１において、入力部８０１よりカラー文書の画像データを入力する。ここでは、必要に応じてワークメモリＡ８０６に、一旦入力中の画像データを部分的にバッファリングしながら順次ＲＧＢデータを図４〜図６を用いて説明したＹ：Ｃｒ：Ｃｂ＝４：１：１の形式に低解像度化し、ＲＡＭ９３０上の既定の領域に保持する。本実施形態では、Ｃｒ成分、Ｃｂ成分の解像度を低解像度化している。

尚、低解像度化部８０８で行われるＲＧＢ色空間上のデータからＹＣｒＣｂ色空間上のデータへデータ形式を変換する方法は、よく知られた公知の変換方法であるので、ここでは詳述しない。

次に、Ｓ１００２において、低解像度化されてＲＡＭ９３０上に保持されている画像データを部分的に順次元のＲＧＢデータに高解像度化しながらワークメモリＡ８０６に保持する。そして、領域抽出部８０２は、再生された画像データからクリップアートを含む領域をクリップアート領域として抽出し、その領域属性情報をＲＡＭ９３０上のワークメモリＢ８０７に出力する。例えば、画像を二値画像データに変換し、この二値画像データを用いて文字、グラフィックス、表等の複数種類の領域に分離する領域分離処理を行って、クリップアート領域を抽出する。

尚、高解像度化部８０９で行われるＹＣｒＣｂ色空間上のデータからＲＧＢ色空間上のデータへデータ形式を変換する方法は、よく知られた公知の変換方法であるので、ここでは詳述しない。

次に、Ｓ１００３では、Ｓ１００２で得られたクリップアート領域の領域属性情報を参照して、領域分割部８０３が、当該クリップアート領域にある各画素の色特徴に基づき、色の類似度により複数の領域に領域分割する。即ち、クリップアート領域内の画像を類似する色に基づいてクラスタリングする。ここで得られたクリップアート領域の領域分割の結果を、ＲＡＭ９３０上のワークメモリＢ８０７の領域に出力する。

次に、Ｓ１００４では、背景領域特定部８０４が、Ｓ１００３で得られたクリップアート領域の領域分割の結果を参照して当該クリップアート領域における背景領域を特定する。例えば、背景領域の特定は、クリップアート領域の外接矩形の境界に接する画素数が最も多いクラスタを背景領域のクラスタとする手法を用いる。ここで特定された背景領域の情報である背景領域情報と、背景領域の色情報である背景色情報をＲＡＭ９３０上のワークメモリＢ８０７に出力する。

次に、Ｓ１００５では、ベクトル化部８０５が、Ｓ１００４で特定された背景領域情報に基づき、当該クリップアート領域内における背景以外の領域を、オブジェクト部としてベクトル化する。ここでベクトル化結果をＲＡＭ９３０上のワークメモリＢ８０７に出力する。

次に、Ｓ１００６では、上述の背景領域情報に基づき、背景領域とそれ以外のオブジェクト領域とが判別できるビットマップ形式の画像（背景マスク画像）を生成する。そして、該ビットマップ形式の背景マスク画像を参照して当該クリップアート領域内におけるオブジェクト領域に対応する部分の穴埋め処理を行う。そして、穴埋め処理された下地画像は、Ｙ：Ｃｒ：Ｃｂ＝４：１：１の形式でＲＡＭ９３０上の既定の領域に穴埋め処理済の背景画像データとして保持される。このＳ１００６における穴埋め処理の詳細は、図１１を用いて更に詳述する。

次に、Ｓ１００７では、上述のオブジェクト部のベクトル化結果と穴埋め処理済の背景画像データから、オブジェクト層と背景画像層とを含む層構造をもつ画像情報を生成して出力する。

次に、図１０に示すＳ１００６におけるオブジェクト部の穴埋め処理の詳細を、図１１を用いて説明する。まず、Ｓ１１０１では、処理対象であるクリップアート領域内の背景領域に基づき、背景領域を判別するための情報を、高解像度化され、且つ１画素１ビットで生成された２値のビットマップ画像（背景識別用画像）として生成する。背景領域とオブジェクト領域とを画素値がそれぞれ１か０かで判別できる形式に生成しながらワークメモリＡ８０６に保持し、当該クリップアート領域の背景色情報をワークメモリＢ８０７より読み出す。その際に、当該クリップアート領域に対応する画像データのラスター走査順での処理の準備として、一連の初期化処理を行う。そして、一連の初期化処理が終了すると、ラスター走査順にクリップアート領域に対応する部分の穴埋め処理を開始する。

次に、Ｓ１１０２では、当該クリップアート領域に対応する部分のＹ：Ｃｒ：Ｃｂ＝４：１：１の形式で低解像度化されてＲＡＭ９３０上に保持されている画像データのＣｒデータ（Ｃｂデータでも良い）をラスター走査する。この時点でのラスター走査順の注目位置における画素が上述した境界部７０５でもなく、かつ境界部７０６でもない背景領域内にある画素か否かを判定する。具体的には、この時点でのラスター走査順の注目位置における画素が上述のビットマップ画像（背景識別用画像）上での対応部分（２×２画素の領域が対応する）の２×２画素の４画素のうち、全てが背景領域の画素であるか否かを調べる。そして、４画素全てが背景画素であれば境界以外の背景領域であると判定する。

判定した結果、注目画素が境界以外の背景領域の画素である場合、Ｓ１１０７へ進み、境界以外の背景領域の画素でない場合、Ｓ１１０３へ進む。Ｓ１１０３では、Ｓ１１０２と同様に、注目画素が境界部７０６に相当する画素（即ち、背景領域とオブジェクト領域（クリップアート領域内における背景以外の領域）との境界）であるか否かを判定する。つまり、その時点でのラスター走査順の注目位置における画素が上述のビットマップ画像（背景識別用画像）上の対応部分の２×２画素の４画素のうちどの画素が背景領域の画素で、４画素中の残る画素が全てオブジェクト領域の画素であるか否かを調べる。この条件を満たす場合、注目画素は境界部７０６に相当する画素（即ち、背景領域とオブジェクト領域との境界）であると判定する。

判定した結果、注目画素が背景領域とオブジェクト領域との境界に相当する場合、Ｓ１１０８へ進み、背景領域とオブジェクト領域との境界に相当しない場合には、Ｓ１１０４へ進む。Ｓ１１０４では、上述した判定処理と同様に、注目画素が境界部７０５に相当する画素（即ち、下地領域とオブジェクト領域との境界）であるか否かを判定する。つまり、注目画素が上述のビットマップ画像（背景識別用画像）上での対応部分（２×２画素の領域が対応する）の２×２画素の４画素のうち、何れかの画素がオブジェクト領域の画素で、かつ４画素中の残る画素の何れかが下地領域の画素であるか否かを調べる。この条件を満たす場合、注目画素は境界部７０５に相当する画素（即ち、下地領域とオブジェクト領域との境界）であると判定する。

判定した結果、注目画素が下地領域とオブジェクト領域との境界に相当する場合、Ｓ１１０９へ進み、下地領域とオブジェクト領域との境界に相当しない場合には、Ｓ１１０５へ進む。Ｓ１１０５では、注目画素が、オブジェクト領域（前景となるオブジェクト本体）の画素の場合となっているので、背景色（Ｙ，Ｃｒ，Ｃｂ）で穴埋めを行う。即ち、低解像度化されてＲＡＭ３０上に保持されている画像データ上で、その時点でのラスター走査順の注目位置における画素のＣｂデータ、Ｃｒデータ、Ｙデータを背景色データから得られる各値に置き換える。ここで背景色データは、ＲＧＢデータで保持しているので、これをＹＣｒＣｂに変換して得られる。

次に、Ｓ１１０６では、当該クリップアート領域に対応する画像データのラスター走査順での処理が当該領域の最終画素まで進んだか否かを判断する。判断した結果、最終画素まで終了したのであれば、この一連の処理を終えて終了し、終了していない場合には、Ｓ１１０７へ進む。Ｓ１１０７では、注目する位置の画素（注目画素）を次の位置の画素に進め、Ｓ１１０２に戻る。

一方、Ｓ１１０８では、注目画素は境界部７０６に相当する画素（即ち、背景領域とオブジェクト領域との境界）であるので、注目画素のＣｂとＣｒのみを、背景色データから得られる各値に置き換える。即ち、図７Ｇに示すように、境界部７０６が背景色データで穴埋め処理される。ここで背景色データは、ＲＧＢデータで保持しているので、これをＹＣｒＣｂに変換して得られる。そしてＳ１１０８の処理を終えると、上述したＳ１１０６へ進む。

一方、Ｓ１１０９では、注目画素は境界部７０５に相当する画素（即ち、下地領域とオブジェクト領域との境界）であるので、注目画素のＹ，Ｃｂ，Ｃｒはそのままの値として残し、背景色のデータに置き換えない。即ち、境界部７０５は、図７Ｇに示すように下地領域の色で穴埋め処理される。そしてＳ１１０９の処理を終えると、上述したＳ１１０６へ進む。

本実施形態によれば、カラー文書のページ内のベクトル化対象オブジェクトと、これを含む外接矩形領域外の背景とが異なる解像度のデータで構成されている場合でも、境界部分に偽色が発生しない。境界部分は、ベクトル化対象オブジェクトとその外接矩形領域外との矩形境界部分や、ベクトル化対象オブジェクトとその外接矩形内におけるベクトル化対象オブジェクト以外の背景領域との境界部分である。

従って、システムの許容メモリ容量に比してより大きなサイズの画像入力に対しても、出力画質を損なうことなくベクトル化処理を施すことが可能となる。

本実施形態では、入力画像をＲＧＢ形式の画像から一旦Ｙ：Ｃｒ：Ｃｂ＝４：１：１の形式に変換するのを、ワークメモリＡ８０６上にバッファリングしながらＣＰＵ９１０によるソフトウェア処理で行った。しかし、公知の技術で構成可能な専用のハードウェアを用いて行うように構成しても良い。このような処理をハードウェアで構成すると、装置のコストが上昇する半面、処理時間の短縮化を図ることができる。

また、本実施形態では、入力画像全体をＲＧＢ形式の画像として保持すること無く、処理するのを前提として説明したが、本発明はこれだけに限らない。入力画像を一旦ＲＧＢ形式の画像としてハードディスクのような外部記憶装置に格納した後、改めて、この外部記憶装置から読み出して同様な処理を行うように構成しても良い。

また、本実施形態では、入力画像をスキャナで読み取った文書画像として処理するのを前提として説明したが、本発明はこれだけに限らない。即ち、デジタルカメラで撮像された画像（静止画）やビデオカメラで撮影された動画像を入力画像として構成しても良い。

これらの入力画像の場合、静止画であればＪＰＥＧ、動画像であれば、ＭＰＥＧなどが用いられる。既にＹ：Ｃｒ：Ｃｂ＝４：１：１のような複数の色成分のうちの少なくとも１つ以上の色成分の解像度が粗い画像として入力されるのが一般的な画像に対して、背景領域とそれ以外の領域（オブジェクト部）とに分ける。このオブジェクト部にベクトル化などの処理を加えて背景領域と再合成するような場合にも、本発明は適用可能であるのは言うまでもない。

［他の実施形態］
次に、図面を参照しながら本発明に係る他の実施形態を詳細に説明する。上述した実施形態では、クリップアート領域の穴埋め処理について詳しく説明したが、他の実施形態では、クリップアート領域と文字領域とに対して処理するときの詳細を示す。他の実施形態は、図９に示すようなハードウェア構成を有する画像処理装置で実現可能である。

図１２は、他の実施形態における処理の構成を説明する図である。ここでＳ１２２１〜Ｓ１２３０は画像やその他のデータを電子的に処理するステップを表す。また、１２０１〜１２１１は各ステップに対して入力されるデータや、各ステップで生成されたデータである。

尚、図１２に示す各処理は、図９に示すＣＰＵ９１０がコンピュータプログラムを実行することによって実現されるものとするが、その一部又は全部を電気回路で構成するようにしても構わない。また、各処理は図１３のフローチャートに示された順番で処理されるものとする。以下に、各処理の詳細を説明する。

図１２に示す各処理は、入力画像の解像度や色空間を変換し、他の処理に適した画像を生成する画像生成処理である。色空間変換及び解像度変換は公知の方法を用いる。

領域解析用画像生成処理Ｓ１２２１は、入力画像１２０１を領域解析処理Ｓ１２２４での処理に適した画像１２０２へ変換する。領域解析処理Ｓ１２２４で処理対象にする画像１２０２は、多値の中解像度の画像が適している。そのため、領域解析用画像生成処理Ｓ１２２１では、入力画像１２０１（例えば、色空間ＲＧＢで解像度６００ｄｐｉの画像）を、色空間ＹＣｒＣｂで解像度３００ｄｐｉの画像に変換する。その後、色の量子化を行い、画素当たりのビット数を削減した領域解析用画像（第２の画像）１２０２を生成する。

文字部ベクトル化処理用画像生成処理Ｓ１２２２は、入力画像１２０１を文字部ベクトル化処理Ｓ１２２５での処理に適した画像（第３の画像）１２０３へ変換する。一般的に、文字の大きさは、ページの大きさよりもかなり小さい。従って、文字部ベクトル化処理Ｓ１２２５で処理対象にする画像１２０３は、高解像度画像が適している。文字部ベクトル化処理用画像生成処理Ｓ１２２２は、入力画像１２０１から輝度情報のＹのみを取り出すことにより、グレースケール（輝度画像）で解像度６００ｄｐｉの文字部ベクトル化処理用画像１２０３を生成する。

図画部ベクトル化処理用画像生成処理Ｓ１２２３は、入力画像１２０１を図画部ベクトル化処理Ｓ１２２７での処理に適した画像へ変換する。図画領域（即ち、クリップアート（イラスト）や写真画像の領域）においては、色の情報が重要である。よって、図画部ベクトル化処理Ｓ１２２７で処理対象にする画像は、カラーで中解像度の画像が適している。図画部ベクトル化処理用画像生成処理Ｓ１２２３は、入力画像１２０１の解像度の比率がＹ：Ｃｒ：Ｃｂ＝４：４：４からＹ：Ｃｒ：Ｃｂ＝４：１：１となるように、色成分の解像度を低く変換することで図画部ベクトル化処理用画像１２０４を生成する。尚、明るさ成分Ｙの解像度よりもＣｒＣｂの解像度の方を落とすのは、人間の目の特性が、色成分ＣｒＣｂよりも明るさ成分Ｙに敏感なためである。画像１２０４は背景の下地画像を生成する際にも用いられることになるが、色差の解像度が輝度の解像度の半分であったとしても視覚上に与える影響は軽微である。

領域解析処理（領域分離処理）Ｓ１２２４は、入力画像中の文字部、図画部などを判別することにより、複数の領域に分離する。ここでは公知のカラー画像を領域分割する技術を用いることができる。例えば、特許文献ＷＯ２００６／０６６３２５の技術を用いることが可能である。

図１４に示す（Ａ）は、領域解析処理Ｓ１２２４が実行する領域解析処理のフローである。Ｓ１４１０では、入力画像を色量子化し、類似する色を持つ領域を統合し易くする。Ｓ１４２０では、色量子化された画像から色情報に基づいて領域を抽出し、当該抽出した領域の属性（即ち、文字、図画部、ページ背景等の属性）を判定する。

図１４に示す（Ｂ）は、Ｓ１４２０における属性判定処理の詳細を示す。Ｓ１４２１では、色量子化後の画像から同色と判断した画素の連結成分を抽出することにより、カラー連結成分の情報に変換する。即ち、連結成分とは、同じ色（または類似色）を有し、且つ連結する（接触する）画素のグループである。

次に、Ｓ１４２２では、カラー連結成分を、カラー連結成分の統計値（当該カレー連結成分の外接矩形、画素数、境界線長さ、平均色など）に基づいて属性の分類を行う。そして、Ｓ１４２３では、カラー連結成分の位置的な包含関係に基づいてグループ化を行い、Ｓ１４２４で、グループ化した連結成分から領域情報１２０５を生成する。領域情報１２０５には、各連結成分の領域についての属性情報（文字、線画、写真、クリップアート（イラスト）、表、枠、ページ背景など）と位置情報とが含まれ、更に、グループ化した連結成分の領域同士の関係が木構造の情報として含まれる。また、以下で実行する領域ごとの処理結果は、領域情報に記録される。

文字部ベクトル化処理Ｓ１２２５で行われる文字部分のベクトル変換処理の詳細を説明する。領域情報１２０５に基づき文字領域の位置を特定し、文字部ベクトル化処理用画像１２０３における文字領域から文字画像の連結成分を取得し、当該連結成分の輪郭をベクトルデータに変換する。文字部ベクトル化処理用画像１２０３は高解像度画像であるので、文字画像の連結成分の輪郭がより正確に得られ、高精度なベクトルデータが得られる。また、文字色（文字画像の色情報）に関しては、領域解析処理Ｓ１２２４で得た当該文字領域の色情報に基づいて特定する。尚、連結成分の輪郭をベクトルデータに変換する技術は公知の技術を用いることが可能であるが、その一例を以下に示す。

まず、文字画像が高解像度グレースケール画像である場合は２値化処理を行い、文字の画素の輪郭追跡処理を行い、文字の連結成分の輪郭を取得する。そして、文字の連結成分の輪郭を直線及び／又は曲線の組み合わせとして表現するために、連結画素の輪郭を構成する画素列を複数の区間（画素列）に区切るための「角」を検出する。ここで、「角」とは曲率が極大となる点であり、角によって分割された各区間の画素列を、直線或いは曲線で近似する。直線への近似は最小二乗法等により実行し、曲線への近似は３次スプライン関数などを用いる。輪郭を構成する画素列を各区間に分割する角の画素は、近似直線や近似曲線における始端又は終端となる。最初は、連結成分の外側の輪郭のベクトル化処理を行い、更にベクトル化された輪郭内部に内輪郭が存在するか否かを判断し、内輪郭が存在するときにはその輪郭を構成する画素列をベクトル化する。例えば、黒画素の連結画素をベクトル化する場合には、最初に黒画素の外側の輪郭をベクトルデータに変換し、更に、その内部に白画素が存在すれば、内部の黒画素と白画素の境界の輪郭をベクトル化する。そして、再帰的に反転画素の内輪郭をベクトル化していく。このように、連結成分の輪郭の区分線近似を用いれば、文字部のアウトラインをベクトルデータに変換することができる。

尚、連結成分の線幅がほぼ一定である区間に関しては、次のようにしてベクトルデータに変換するようにしても良い。即ち、ある注目区間で連結成分の輪郭線同士が近接し、当該輪郭線の間の距離がほぼ一定であると判断した場合、当該２つの輪郭線をひとまとめにし、太さを持った線として表現することができる。例えば、２つの輪郭線の間の中心線を直線又は曲線で近似し、更にその輪郭線間の距離の平均値を当該近似直線又は近似曲線の太さとする。このようにして変換したベクトルデータと連結成分の色情報（文字色情報）とを、文字ベクトル１２０６として領域情報に記録する。

文字部穴埋め処理Ｓ１２２６は、文字領域についての穴埋め処理を行う。本実施形態では、公知の技術である、文字画素部分を文字画素の周囲画素の平均色で塗る方法を使用する。ここでは、領域情報１２０５から文字領域の画素連結成分を取り出し、文字穴埋めメモリに画像として展開する。このメモリに展開した画素位置と図形ベクトル化処理画像の位置を重ね合わせて、図画部ベクトル化処理用画像１２０４上における文字画素部分を特定する。

次に、図画部ベクトル化処理用画像１２０４において特定された文字画素部分の周辺画素の平均色を算出する。最後に、図画部ベクトル化処理用画像１２０４において特定された文字画素部分を、当該算出した平均色で塗りつぶす。これにより、文字ベクトル化された領域が、その周囲の背景色で塗りつぶされ、文字がない図画部ベクトル化処理用の画像が生成されることになる。

図画部ベクトル化処理Ｓ１２２７は、図画領域部分をベクトル変換する。図画部ベクトル化処理について図１５を用いて説明する。Ｓ１５１０では、領域情報１２０５から図画領域（写真、クリップアート（イラスト））の情報を取得し、該当する領域の画像をベクトル処理可能か判定する。例えば、領域情報の属性を参照し、クリップアートであれば、ベクトル化処理可能と判断する。但し、複雑な画像の領域をベクトル化処理対象にすると、計算量が多くなり処理速度も低下するので、ベクトル化処理の対象外にしても良い。例えば、クリップアート領域を色量子化したときに、各色の連結領域の数が非常に多いと判断された場合、当該図画領域のベクトル化処理は不可能と判定しても良い。

ここで、ベクトル化処理可能と判定された場合は（Ｓ１５１０でＹＥＳ）Ｓ１５２０へ遷移し、図画領域のベクトル化処理を行い、図画ベクトルを生成する。一方、ベクトル化処理不可能と判定された場合は（Ｓ１５１０でＮＯ）Ｓ１５３０へ遷移し、ラスター画像切り出し処理を行う。Ｓ１５３０では、図画部ベクトル化処理用画像１２０４から該当する領域を切り出し、矩形写真画像を生成する。Ｓ１５２０で生成される図画ベクトル１２０７やＳ１５３０で生成される矩形写真画像１２０８は、領域情報に記録される。

次に、Ｓ１５２０の詳細を、図１６を用いて説明する。図１６の各処理Ｓ１５２１〜Ｓ１５２４は、図１５で図示したベクトル化処理Ｓ１５２０の詳細な処理を示す。また、画像などの情報１６０１〜１６０４は、図画部ベクトル化及び穴埋め用として確保されたワークメモリに記録される。

高解像度化処理Ｓ１５２１は、複数の色成分のうち少なくとも１つ以上の色成分の解像度が粗い画像を、入力画像の解像度と等しい解像度の画像に戻す処理である。この実施形態では、図画部ベクトル化処理用画像１２０４がＹ：Ｃｂ：Ｃｒ＝４：１：１の画像であり、これを入力画像と等しい解像度を有するＲＧＢ画像へ変換する。即ち、ＲＧＢ画像１６０１は、高解像度化処理Ｓ１５２１で変換された高解像度画像である。

クリップアート領域分割処理Ｓ１５２２は、領域情報１２０５に基づいてＲＧＢ画像１６０１におけるクリップアート領域を特定し、当該クリップアート領域内の各画素の色特徴に基づいて色毎の領域に分割する処理である。即ち、クリップアート領域分割処理Ｓ１５２２は、クリップアート領域内の各画素を色毎にクラスタリングするものであり、前述した実施形態の領域分割部８０３と同等の処理を行う。

クリップアート領域内背景同定処理Ｓ１５２３は、クリップアート領域分割処理Ｓ１５２２で分割された色毎の領域とクリップアート領域の周辺の色とに基づき、クリップアート領域内の背景部分と背景色を同定する処理である。クリップアート領域内背景同定処理Ｓ１５２３は前述した実施形態の背景領域特定部８０４と同等の処理を行う。

クリップアートベクトル化処理Ｓ１５２４は、まず背景領域同定処理Ｓ１５２３の同定結果とクリップアート領域分割処理Ｓ１５２２の領域分割結果とに基づき、クリップアート領域内の背景以外の部分（即ち、前景となるオブジェクト画像の部分）を特定する。そして、当該特定された背景以外の部分をベクトル化することにより図画ベクトル１２０７を生成する。

メモリ１６０４には、処理途中の各種情報が中間情報として保持され、クリップアート領域内背景同定処理Ｓ１５２３の同定結果として得られた背景領域情報１６０３とクリップアート内背景色１６０２とが保持される。尚、その他にもクリップアートベクトル化処理途中で生成される各種の情報が保持される。背景領域情報１６０３及びクリップアート内背景色１６０２は、後述する図画部穴うめ処理Ｓ１２２８の入力情報となる。

図画部穴埋め処理Ｓ１２２８は、文字部穴埋め処理Ｓ１２２６での処理後の図画部ベクトル化処理用画像１２０４において、当該画像内の図画領域（図画部）に対する穴埋め処理を行う。図画部穴埋め処理Ｓ１２２８は、図画部ベクトル化処理Ｓ１２２７における出力結果が図画ベクトルか、矩形写真画像かによって異なる穴埋め処理方法で処理を行う。図画領域が矩形写真画像の場合、該当する矩形写真画像領域の周辺画素の平均値を用いて文字部穴埋め処理Ｓ１２２６での処理後の図画部ベクトル化処理用画像１２０４における当該矩形写真画像に相当する領域の穴埋め処理を行う。

一方、図画部ベクトル化処理Ｓ１２２７により図画ベクトル化された場合（即ち、クリップアート領域であった場合）、図画部穴埋め処理Ｓ１２２８は、前述した実施形態の図１１と同様の処理を行うことにより穴埋め処理を行う。このようにして、図画ベクトル化対象となったクリップアート領域と、これを含む外接矩形領域外の背景とが異なる解像度のデータで構成されている場合でも、境界部分に偽色が発生しない。ここで境界部分とは、ベクトル化対象オブジェクトと下地領域との境界部分やベクトル化対象オブジェクトとその外接矩形内における背景領域との境界部分である。即ち、メモリ消費を抑えるために、図画部ベクトル化処理に入力する画像の色差解像度を輝度に対して低くしても、偽色を発生することなくベクトル化処理と穴埋め処理とを施すことが可能となる。

このようにして、図画部穴埋め処理Ｓ１２２８は、図画領域の穴埋め処理を行った下地画像１２０９を生成する。即ち、下地画像１２０９は、図画部ベクトル化処理用画像１２０４に対して、文字部穴埋め処理Ｓ１２２６による文字部穴埋め処理と図画部穴埋め処理Ｓ１２２８による図画部穴埋め処理とが行われて生成された画像である。

ページ描画情報生成処理Ｓ１２２９は、各処理により生成されたデータ及び領域情報を一つにまとめる。ページ描画情報生成処理で生成されたページ描画情報１２１０の一例を図１７に示す。図１７に示す１７１０はページ描画情報生成処理Ｓ１２２９で生成されたページ描画情報１２１０の全体構成例である。テキストオブジェクト１７１１は、領域解析処理Ｓ１２２４が文字と判断した領域の位置情報と、文字部ベクトル化処理Ｓ１２２５によりベクトル変換された文字ベクトル１２０６とを保持する。写真オブジェクト１７１２は、写真画像１２０８と当該領域の位置情報とが保持される。また、クリップアートオブジェクト１７１３には、クリップアートの図画ベクトル１２０７とその位置情報とが保持される。また、下地オブジェクト１７１４には穴埋めされた下地画像１２０９と位置情報とが保持される。また、プロパティ１７１５には、入力データに関する情報（例えば、ページ数、ページサイズ、入力機器情報、タイムスタンプなど）が保持される。

電子ファイル生成処理Ｓ１２３０は、ページ描画情報１２１０を電子ファイル１２１１に変換する。この実施形態では、ＰＣで再生や編集等が可能な電子ファイルへ変換する。図１８に示す電子ドキュメント２１１０は、この実施形態の説明のために作られた仮想的なＸＭＬフォーマットに従って作られた電子ファイル１２１０の例である。図１８に示す２１１１は図１７の背景オブジェクト１７１４の下地画像データを１ページ全体に描画する記述の例である。また、２１１２は写真オブジェクト１７１２内の写真画像を位置情報により指定された位置に描画する記述である。また、２１１３はクリップアートオブジェクト１７１３内の図画ベクトルをページ内の指定位置に描画する記述である。更に、２１１４は文字オブジェクト１７１１内の文字ベクトルをページ内の指定位置に描画する記述である。

図１８の電子ドキュメントを受信したＰＣでは、２１１１〜２１１４に記述された情報を順に描画することで、背景、写真、図画ベクトル、文字ベクトルを重ね合わせて元の文書と同等の外観を有すページ画像を再生可能である。また、２１１１〜２１１４の記述それぞれをオブジェクトとして編集用途に供することも可能である。

尚、図１８はあくまで一例であり、他のフォーマットを用いて記述しても良い。例えば、ＰＤＦ、ＸＰＳ、ＳＶＧなどのグラフィックページ記述、Office Open XML、Open Document Formatなどのページ編集データ記述などを用いても良い。

以上説明した画像処理装置において必要となるメモリの使用量について説明する。ここでは、Ａ４サイズ、６００ｄｐｉ、２４ｂｉｔ／ｐｉｘｅｌのカラー文書画像を入力した場合の例を説明する。この例では、入力画像１２０１に対して必要なメモリサイズは約１００ＭＢである。領域解析用画像１２０２に対して必要なメモリサイズは、入力画像の色分布などによっても異なるが、ページ全体を２ｂｉｔで表現したとすれば３００ｄｐｉの場合、約２ＭＢである。文字部ベクトル化処理用画像１２０３に対して必要なメモリサイズは、６００ｄｐｉの８ｂｉｔ／ｐｉｘｅｌの場合で約３３ＭＢである。図画部ベクトル化処理用画像１２０４に対して必要なメモリサイズは、輝度３００ｄｐｉ、色差１５０ｄｐｉの場合で約１３ＭＢである。各処理用画像を生成した後に入力画像１２０１を削除することで、１００ＭＢ必要であったメモリサイズが合計４８ＭＢになり、約２分の１のメモリ削減効果がある。

以上説明したように、この実施形態では、クリップアート領域及び文字領域を含む入力文書画像を、領域の分離処理、文字のベクトル化処理、クリップアートのベクトル化処理それぞれに適した３つの画像に変換する。そして、各画像を対応する処理に入力して電子化を行うことで、画像に必要なメモリの消費を抑えながら高い処理精度で高画質・高再利用性の電子データを生成することができる。

加えて、輝度に対して色差の解像度が間引かれた画像に対してクリップアート領域のベクトル化処理を行い、同領域に適切な穴埋め処理を行うようにした。このようにすることにより、偽色が発生せず、画質を損なわない下地画像の生成を可能とし、メモリの消費を抑えながら高画質の電子データを生成することが可能となる。

また、上述した実施形態２では、文字画像とクリップアートとをベクトル化したが、これに加えて、線画（ラインアート）や、表（枠）の罫線をベクトルデータに変換するようにしてもよい。線画（ラインアート）や罫線のベクトル変換処理は、公知の技術を適用することが可能であるが、例えば、上述した文字部ベクトル化処理と同様に、線画や罫線の輪郭に基づいてベクトルデータへ変換するようにすればよい。線画や罫線をベクトルデータへ変換する場合、高精度な変換が望まれるのであれば、文字画像と同様に文字部ベクトル化処理用画像１２０３を用いてベクトルデータへ変換すればよい。このとき、線画や罫線の色情報は、領域解析部Ｓ１２２４で得た色情報に基づいて決定すればよい。

ただし、線画（ラインアート）は複数色で構成される場合もあるので、その場合は図画部ベクトル化処理用画像１２０４を用いて図画部ベクトル化処理Ｓ１２２７と同様の処理でベクトルデータへ変換するようにしても良い。

［変形例］
以上、実施形態例を詳述したが、本発明は、例えばシステム、装置、方法、プログラム若しくは記憶媒体（記録媒体）等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また一つの機器からなる装置に適用しても良い。

尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システム或いは装置に直接或いは遠隔から供給する。そして、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するための記録媒体としては、例えば以下のようなものがある。フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページからハードディスク等の記録媒体にダウンロードすることによっても供給できる。即ち、ホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをダウンロードする。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布する。そして、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他にも、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、コンピュータにより読み取り可能な記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後にも前述した実施形態の機能が実現される。即ち、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行うことによっても前述した実施形態の機能が実現される。

Claims (11)

1. カラー画像における複数の色成分のうちの少なくとも１つ以上の色成分の解像度が他の色成分の解像度より低い第１の画像を生成する画像生成手段と、
   前記画像生成手段で生成された第１の画像を下地画像として保持する保持手段と、
   オブジェクト画像を含む矩形領域を抽出する領域抽出手段と、
   前記領域抽出手段で抽出された矩形領域において、前記オブジェクト画像の領域と背景画像の領域とを特定する特定手段と、
   前記下地画像について、前記特定手段で特定されたオブジェクト画像に対応する領域の穴埋め処理を行う穴埋め処理手段と、
   を有し、
   前記穴埋め処理手段は、前記オブジェクト画像と前記下地画像との境界を前記下地画像の色で穴埋め処理し、前記オブジェクト画像と前記背景画像との境界を前記背景画像の色で穴埋め処理する
   ことを特徴とする画像処理装置。
2. 前記穴埋め処理手段は、前記境界でない前記オブジェクト画像に対応する領域を、前記背景画像の色で穴埋め処理することを特徴とする請求項１に記載の画像処理装置。
3. 前記下地画像を高解像度化する高解像度化手段を更に有し、
   前記特定手段は、前記高解像度化手段で高解像度化された画像の色特徴に基づいて前記矩形領域を複数の領域に分割し、更に当該分割された複数の領域に基づいて前記オブジェクト画像の領域と前記背景画像の領域とを特定することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記特定手段で特定されたオブジェクト画像をベクトル化するベクトル化手段と、
   前記ベクトル化手段でベクトル化されたオブジェクト画像のベクトルデータと、前記穴埋め処理手段で穴埋め処理された下地画像のデータとを含むデータを出力する出力手段とを更に有することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記オブジェクト画像とは、クリップアート画像であり、
   前記領域抽出手段は、前記クリップアート画像を含む矩形領域を抽出することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記画像生成手段は、前記カラー画像に対して、ＹＣｒＣｂ色空間上におけるＣｒ成分及びＣｂ成分の少なくとも何れかの解像度を低下させることにより、前記カラー画像における複数の色成分のうちの少なくとも１つ以上の色成分の解像度が他の色成分の解像度より低い画像を生成することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 前記カラー画像の解像度を低下させ、色の量子化を行い第２の画像を生成する手段と、
   前記カラー画像の輝度情報に基づく第３の画像を生成する手段と、
   前記第２の画像に対して領域解析処理を行う領域解析手段と、
   前記領域解析手段で文字領域と解析された領域に対して、前記第３の画像における文字画像のベクトル化処理を行うことにより文字画像のベクトルデータを生成する文字部ベクトル化手段と、
   前記下地画像について、前記文字画像に対応する領域の穴埋め処理を行う文字穴埋め処理手段と、
   を更に有することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
8. 前記カラー画像は、前記第１の画像と前記第２の画像と前記第３の画像を生成した後に削除されることを特徴とする請求項７に記載の画像処理装置。
9. 画像生成手段が、カラー画像における複数の色成分のうちの少なくとも１つ以上の色成分の解像度が他の色成分の解像度より低い第１の画像を生成する画像生成工程と、
   保持手段が、前記画像生成工程で生成された第１の画像を下地画像として保持する保持工程と、
   領域抽出手段が、オブジェクト画像を含む矩形領域を抽出する領域抽出工程と、
   特定手段が、前記領域抽出工程で抽出された矩形領域において、前記オブジェクト画像の領域と背景画像の領域とを特定する特定工程と、
   穴埋め処理手段が、前記下地画像について、前記特定工程で特定されたオブジェクト画像に対応する領域の穴埋め処理を行う穴埋め処理工程と、
   を有し、
   前記穴埋め処理工程では、前記オブジェクト画像と前記下地画像との境界を前記下地画像の色で穴埋め処理し、前記オブジェクト画像と前記背景画像との境界を前記背景画像の色で穴埋め処理する
   ことを特徴とする画像処理方法。
10. コンピュータを請求項１乃至８の何れか１項に記載の画像処理装置として機能させるためのプログラム。
11. 請求項１０に記載のプログラムを記録した、コンピュータにより読み取り可能な記録媒体。

Images