JP3906723B2

JP3906723B2 - Image processing apparatus, image processing method, image processing program, and computer-readable recording medium on which image processing program is recorded

Info

Publication number: JP3906723B2
Application number: JP2002090035A
Authority: JP
Inventors: 芳則田中; 幸彦市川
Original assignee: Konica Minolta Business Technologies Inc
Current assignee: Konica Minolta Business Technologies Inc
Priority date: 2002-03-27
Filing date: 2002-03-27
Publication date: 2007-04-18
Anticipated expiration: 2022-03-27
Also published as: JP2003289427A

Description

【０００１】
【発明の属する技術分野】
本発明は画像処理装置に関し、特に、文書原稿を読み取って得られた画像データから文字、図形および写真画像領域をそれぞれ抽出して画像処理を施した後、再合成して文書画像ファイルを作成する画像処理装置に関する。
【０００２】
【従来の技術】
スキャナ等で読み取った画像データは容量が大きく、そのままでの保存や送受信には適さないため、画像の種類に応じて適切な圧縮等の画像処理が施される。ところが、文書原稿を読み取って得られた画像データの場合、文字画像領域、図形画像領域および写真画像領域が混在するため、写真画像領域に適した不可逆圧縮を行うと容量は小さくなるが文字が読みにくくなり、文字画像領域に適した圧縮を行うと圧縮率が低くなるという問題がある。そこで、文書原稿にかかる画像データから文字、図形および写真画像領域をそれぞれ分離して抽出し、各領域に適した圧縮を施した後再度合成して文書画像ファイル作成する画像処理装置が知られており、かかる画像処理装置によれば画像品質を保持したまま画像ファイルの容量を小さくすることができる。
【０００３】
しかし、上記画像処理装置においては、例えば入力画像データにおいて図形画像の中に文字画像が存在する場合等は抽出した図形画像領域と文字画像領域とが重なり合うので、これらを合成して画像ファイルを作成する際に、文字画像領域の上に図形画像領域が重ね合わされると、文字画像領域が図形画像領域に隠れてしまい、元の画像を再現できないという問題があった。
【０００４】
【発明が解決しようとする課題】
本発明は上記従来技術の有する問題点に鑑みなされたものであり、その目的とするところは、文書原稿を読み取って得られた画像データの文字、図形および写真領域をそれぞれ抽出して画像処理を施した後再合成して文書画像ファイルを作成する画像処理装置において、抽出領域の重なりによる画像の欠損が生じることなく再現性の高い合成画像ファイルを取得し得る画像処理装置を提供することにある。
【０００５】
【課題を解決するための手段】
本発明の上記目的は、下記の手段によって達成される。
【０００６】
（ａ）画像データから複数の画像領域を抽出する画像領域抽出手段と、前記画像領域の位置情報を認識する位置情報認識手段と、前記位置情報に基づいて前記画像領域を合成して画像ファイルを作成する画像ファイル作成手段と、前記位置情報に基づいて前記画像領域が他の画像領域と重なるか否かを判別する画像領域重複判別手段と、前記画像領域が他の画像領域と重なる場合に前記画像領域の重ね合わせ順序を設定する重ね合わせ順序設定手段とを有し、前記画像領域重複判別手段は、前記画像領域に対し前記画像領域が包含される他の画像領域の数を検出するものであり、前記重ね合わせ順序設定手段は、前記画像領域が包含される他の画像領域の数に従って前記重ね合わせ順序を設定し、前記画像ファイル作成手段は、前記画像領域が他の画像領域と重なる場合に前記重ね合わせ順序に従って前記画像領域を重ね合わせて合成する、ことを特徴とする画像処理装置。
【０００７】
（ｂ）画像データから複数の画像領域を抽出する段階（１）と、前記画像領域の位置情報を認識する段階（２）と、前記位置情報に基づいて前記画像領域を合成して画像ファイルを作成する段階（３）と、前記位置情報に基づいて前記画像領域が他の画像領域と重なるか否かを判別する段階（４）と、前記画像領域が他の画像領域と重なる場合に前記画像領域の重ね合わせ順序を設定する段階（５）とを有し、前記段階（４）は、前記画像領域に対し前記画像領域が包含される他の画像領域の数を検出するものであり、前記段階（５）は、前記画像領域が包含される他の画像領域の数に従って前記重ね合わせ順序を設定するものであり、前記段階（３）は、前記画像領域が他の画像領域と重なる場合に前記重ね合わせ順序に従って前記画像領域を重ね合わせて合成する、ことを特徴とする画像処理方法。
【０００８】
（ｃ）画像データから複数の画像領域を抽出する手順（１）と、前記画像領域の位置情報を認識する手順（２）と、前記位置情報に基づいて前記画像領域を合成して画像ファイルを作成する手順（３）と、前記位置情報に基づいて前記画像領域が他の画像領域と重なるか否かを判別する手順（４）と、前記画像領域が他の画像領域と重なる場合に前記画像領域の重ね合わせ順序を設定する手順（５）とを画像処理装置に実行させることを特徴とする画像処理プログラムであって、前記手順（４）は、前記画像領域に対し前記画像領域が包含される他の画像領域の数を検出するものであり、前記手順（５）は、前記画像領域が包含される他の画像領域の数に従って前記重ね合わせ順序を設定するものであり、前記手順（３）は、前記画像領域が他の画像領域と重なる場合に前記重ね合わせ順序に従って前記画像領域を重ね合わせて合成する、ことを特徴とする画像処理プログラム。
【０００９】
（ｄ）前記（ｃ）に記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
【００１１】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を参照して詳細に説明する。
【００１２】
図１は、本発明の実施形態にかかる画像処理装置を含む画像処理システムの全体構成を示すブロック図である。本画像処理システムは、画像処理装置１と、画像入力装置としてのスキャナ２と、画像ファイルの出力先装置としてのファイルサーバ３とを備え、これらはネットワーク４を介して相互に通信可能に接続されている。なお、ネットワーク４に接続される機器の種類および台数は、図１に示す例に限定されない。
【００１３】
図２は、本実施形態にかかる画像処理装置１の構成を示すブロック図である。図２において、画像処理装置１は、制御部１０１、記憶部１０２、操作部１０３、入力インタフェース部１０４、出力インタフェース部１０５、領域分離部１０６、領域抽出部１０７、画像処理部１０８、画像ファイル作成部１０９およびファイル形式変換部１１０を備えており、これらは信号をやり取りするためのバス１１１を介して相互に接続されている。
【００１４】
制御部１０１はＣＰＵであり、プログラムにしたがって上記各部の制御や各種の演算処理等を行う。
【００１５】
記憶部１０２は、予め各種プログラムやパラメータを格納しておくＲＯＭ、作業領域として一時的にプログラムやデータを記憶するＲＡＭ、各種プログラムやパラメータを格納し、または画像処理により得られた画像データ等を一時的に保存するために使用されるハードディスク等からなる。
【００１６】
操作部１０３は、画像ファイルの送信先や出力ファイル形式等の設定を行ったり、動作開始の指示を行うためのキーや操作パネル等から構成される。ここで、画像ファイルの送信先の設定は、出力先装置のＩＰアドレス、ホスト名、メールアドレス等を入力して行う。また、出力ファイル形式の設定は、出力先装置に送信する画像ファイルのファイル形式を選択することにより行う。
【００１７】
入力インタフェース部１０４は、外部の画像入力装置から画像データの入力を受けるためのインタフェースであり、出力インタフェース部１０５は、外部の出力先装置に画像ファイルを出力するためのインタフェースである。
【００１８】
領域分離部１０６は、入力画像データから文字画像を含む領域、図形画像を含む領域および写真画像を含む領域を判別して分離する処理を行う。
【００１９】
領域抽出部１０７は、入力画像データから文字画像領域、図形画像領域および写真画像領域を抽出するとともに、各画像領域の位置情報を認識する。
【００２０】
画像処理部１０８は、文字画像処理部１０８ａ、図形画像処理部１０８ｂおよび写真画像処理部１０８ｃからなり、それぞれ抽出された文字画像領域、図形画像領域および写真画像領域に適切な画像処理を施す。
【００２１】
画像ファイル作成部１０９は、画像処理後の文字画像領域、図形画像領域および写真画像領域を位置情報に基づいて合成し、内部ファイル形式により文書ファイルを作成する。
【００２２】
ファイル形式変換部１１０は、内部ファイル形式により作成した画像ファイルを設定された出力ファイル形式に変換する。なお、出力ファイル形式としては、各種文書作成ソフトの文書形式や、ポストスクリプト（登録商標）、ＰＤＦ、ＪＰＥＧ、ＴＩＦＦ等の汎用フォーマットが挙げられる。
【００２３】
スキャナ２は、原稿画像を読み取って画像データを生成し、得られた画像データを画像処理装置１に送信する。
【００２４】
ファイルサーバ３はコンピュータであり、ネットワーク４を介して受信したファイルを格納し、また転送要求に応じて格納したファイルをネットワーク４上の他の機器に転送する。
【００２５】
ネットワーク４は、イーサネット（登録商標）、トークンリング、ＦＤＤＩ等の規格によりコンピュータや周辺機器、ネットワーク機器等を接続したＬＡＮや、ＬＡＮ同士を専用線で接続したＷＡＮ等からなる。
【００２６】
つぎに、本実施形態における画像処理システム全体の動作の概要を説明する。図３は、本実施形態における画像処理装置１の画像処理の手順を示すフローチャートである。図３において、画像処理装置１は画像処理の開始命令があるまで待機する（Ｓ１０１のＮＯ）。ユーザから操作部１０３を介して開始命令の入力を受け付けると（Ｓ１０１のＹＥＳ）、入力インタフェース部１０４を介してスキャナ２に原稿画像の読み取り命令を送信し（Ｓ１０２）、スキャナ２から画像データを受信するまで待機する（Ｓ１０３のＮＯ）。スキャナ２は、画像処理装置１から読み取り命令を受信すると、所定の位置にセットされた原稿の画像を読み取って画像データを生成し、得られた画像データを画像処理装置１に送信する。なお、画像処理の開始命令は通信ネットワーク４上の他の機器から、またはスキャナ２から直接入力されてもよく、この場合上記ステップＳ１０１およびＳ１０２は省略される。
【００２７】
画像処理装置１は、入力インタフェース１０４を介してスキャナ２から画像データを受信すると（Ｓ１０３のＹＥＳ）、受信した画像データを記憶部１０２に保存し、ついで、入力画像データから文字画像領域、図形画像領域および写真画像領域をそれぞれ分離して抽出する（Ｓ１０４〜１０６）。
【００２８】
すなわち、まず、領域分離部１０６により入力画像データから文字画像領域を判別して分離し、さらに領域抽出部１０７により分離した文字画像領域を抽出して、その位置情報とともに記憶部１０２に保存する（Ｓ１０４）。文字画像領域の分離方法としては、例えば、画像データから得られたエッジ画像データのエッジ画素の間隔が所定画素数以下であるエッジ画素群の外接矩形内領域を抽出し、文字領域は小エリア内に斜め方向エッジ成分を多く含んでいるという特徴に基づいて、前記外接矩形内領域に含まれる周波数成分のうち斜め方向エッジ成分を特徴量として算出して、斜め方向エッジ成分の含有率により判断する方法等を用いることができる。図４は、本実施形態における入力画像データの一例を示す図であり、図５は、図４の入力画像データから抽出した文字画像領域を示す図である。このように、文字画像領域６０１〜６０６は、入力画像データ５０１から、所定距離内にある一群の文字画像構成画素を１つのブロックとして抽出され、当該ブロックに対し外接矩形領域が割り当てられて当該外接矩形領域の位置情報が認識される。
【００２９】
ついで、抽出した文字画像領域を周辺画素で補完することにより、入力画像データから非文字画像データを作成して記憶部１０２に保存する。そして、領域分離部１０６により非文字画像データから図形画像領域を判別して分離し、領域抽出部１０７により分離した図形画像領域を抽出して、その位置情報とともに記憶部１０２に保存する（Ｓ１０５）。非文字画像データからの図形画像領域の分離方法としては、図形画像領域の明度分布はある程度均一であり、写真画像領域の明度分布は分散しているという特徴に基づいて、明度画像データからえられたエッジ画像データに対し、エッジ画像で分割された領域内の全画素に対し、主走査、副走査２方向でラインごとに明度ヒストグラムを作成して明度分散度を特徴量として算出し、図形画像領域と写真画像領域の別を判別する方法等を用いることができる。図６は、図４の入力画像データから作成した非文字画像データを示す図であり、図７は、図６の非文字画像データから抽出した図形画像領域を示す図である。このように、図形画像領域８０１〜８０４についても、非文字画像データ７０１から、所定距離内にある一群の図形画像構成画素を１つのブロックとして抽出され、当該ブロックに対し外接矩形領域が割り当てられて当該外接矩形領域の位置情報が認識される。
【００３０】
さらに、領域抽出部１０７により、非文字画像データの抽出した図形画像領域を周辺画素で補完して、非文字画像データから写真画像領域を抽出する（Ｓ１０６）。図８は、図６の非文字画像データから抽出した写真画像領域を示す図である。なお、ここでは、説明を簡略化するため、図８に示す画像データ全体を１つの写真画像領域として抽出したものとする。
【００３１】
そして、画像処理部１０８により、得られた文字、図形および写真画像領域ごとの画像処理を行う（Ｓ１０７）。すなわち、文字画像処理部１０８ａにより、得られた文字画像領域データを二値化し、１ビットデータの可逆圧縮処理を施して、色情報、位置情報とともに記憶部１０２に保存する。また、図形画像処理部１０８ｂにより、得られた図形画像領域データにスムージング処理、減色処理等を施した後、カラー画像の可逆圧縮処理を行い、位置情報とともに記憶部１０２に保存する。さらに、写真画像処理部１０８ｃにより、得られた写真画像領域データの解像度変換を行った後、カラー画像の非可逆圧縮処理を行い、位置情報とともに記憶部１０２に保存する。
【００３２】
つぎに、画像ファイル作成部１０９により、上記画像処理により得られた文字画像領域、図形画像領域および写真画像領域の各画像領域についてそれぞれの位置情報に基づいて包含画像領域の有無の検出を行い、包含画像領域の有無に応じて各画像領域の重ね合わせ順位の設定を行う（Ｓ１０８）。
【００３３】
図９は、本実施形態における画像処理装置１の包含画像領域の検出および重ね合わせ順位の設定の手順を示すフローチャートである。ステップＳ１０４〜１０６の画像抽出処理において画像領域１からｎまでのｎ個の画像領域が抽出されたものとすると、図９において、まず注目画像領域番号（ｎ）の値を初期化し（Ｓ２０１；ｎ＝１）、さらに注目画像領域が包含されるか否かを判断する比較画像領域番号（ｍ）および注目画像領域の重ね合わせ順位（Ｃ_n）の値を初期化する（Ｓ２０２；ｍ＝１，Ｃ_n＝１）。ここで、重ね合わせ順位Ｃ_nとは、後述する画像ファイル作成処理において各画像領域を元の位置に配置して合成する際の注目画像領域ｎの配置の順番を示すものであり、重ね合わせ順位の小さい画像領域（Ｃ_n＝１の画像領域）から順次各々の位置情報に基づいて所定の位置に配置して合成するものである。したがって、複数の画像領域が重なり合う部分では、重ね合わせ順位の小さい画像領域ほど背面側に、重ね合わせ順位の大きい画像領域ほど前面側に重ね合わされて合成されるものである。
【００３４】
つぎに、注目画像領域ｎと比較画像領域ｍが同一領域であるか否かを判断し（Ｓ２０３）、同一領域でない場合に（Ｓ２０３のＹＥＳ）、注目画像領域ｎが比較画像領域ｍに包含されるか否かを判断する（Ｓ２０４）。具体的には、注目画像領域の左上および右下頂点座標（Ｘｎ，Ｙｎ）（Ｘ’ｎ，Ｙ’ｎ）と、比較画像領域の左上および右下頂点座標（Ｘｍ，Ｙｍ）（Ｘ’ｍ，Ｙ’ｍ）とが次式を全て満たす場合に、注目画像領域ｎが比較画像領域ｍに包含されると判断する。
【００３５】
【数１】

【００３６】
ステップＳ２０４において、注目画像領域ｎが比較画像領域ｍに包含されると判断された場合には（Ｓ２０４のＹＥＳ）、注目画像領域ｎの上に比較画像領域ｍが重ねられると注目画像領域ｎが隠れてしまうため、注目画像領域ｎが比較画像領域ｍより前面に配置されるように重ね合わせ順位を１つ下げる（Ｓ２０５）。ついで、他の比較画像領域があるか否かを判断し（Ｓ２０６）、他の比較画像領域が存在する場合には（Ｓ２０６のＮＯ）、比較画像領域を変更して（Ｓ２０７）、ステップＳ２０３〜Ｓ２０５の処理を繰り返す。これにより、注目画像領域ｎが包含される比較画像領域の数だけ、注目画像領域ｎの重ね合わせ順位が下げられる（Ｃ_nの値がインクリメントされる）。そして、他の比較画像領域が存在しない場合には（Ｓ２０６のＹＥＳ）、注目画像領域ｎの重ね合わせ順位を確定し、確定した重ね合わせ順位を注目画像領域ｎの属性情報として記憶部１０２に記憶する（Ｓ２０８）。
【００３７】
具体例を挙げれば、図５において、例えば「ＭＥＮＵ」の文字画像からなる文字画像領域６０１が注目画像領域であるとすると、文字画像領域６０１の位置情報は（Ｘｎ，Ｙｎ）（Ｘ’ｎ，Ｙ’ｎ）＝（７０，３０）（１３０，６０）であり、他の画像領域の位置情報と比較すると、図形画像領域８０１の（５０，２５）（１６０，８０）および写真画像領域９０１の（２０，１２）（６８０，４８８）が上記式の関係を満たすので、文字画像領域６０１は図形画像領域８０１および写真画像領域９０１に包含されることになり、文字画像領域６０１の重ね合わせ順位は「３」となる。同様の手順により、文字画像領域６０２〜６０４の重ね合わせ順位は「３」となり、文字画像領域６０５および図形領域８０１〜８０４の重ね合わせ順位は「２」となり、文字画像領域６０６および写真画像領域９０１の重ね合わせ順位は「１」となる。
【００３８】
ついで、他の注目画像領域があるか否かを判断し（Ｓ２０９）、他の注目画像領域が存在する場合には（Ｓ２０９のＮＯ）、注目画像領域を変更して（Ｓ２１０）、ステップＳ２０２〜Ｓ２０８の処理を繰り返す。これにより、すべての画像領域について画像ファイル作成処理における重ね合わせ順位が決定される。そして、他の注目画像領域が存在しな場合には（Ｓ２０９のＹＥＳ）、本フローチャートを抜けて図３のフローチャートに戻る。
【００３９】
図３において、ステップＳ１０８の包含画像領域の検出および重ね合わせ順位の設定処理の終了後、画像ファイル作成部１０９により、各画像領域データを、ステップＳ１０８で設定された重ね合わせ順位に従って、それぞれの位置情報に基づいて所定の位置に配置して合成し、内部ファイル形式により画像ファイルを作成する（Ｓ１０９）。図１０〜１２は、本実施形態の画像ファイル作成処理における画像領域の合成過程の一例を示す図である。まず初めに、図１０において、重ね合わせ順位が「１」である文字画像領域６０６および写真画像領域９０１が、それぞれの位置情報に基づいて配置されて画像データ１００１が得られる。ついで、図１１において、重ね合わせ順位が「２」である文字画像領域６０５および図形領域８０１〜８０４が、それぞれの位置情報に基づいて配置されて画像データ１００２が得られる。最後に、図１２において、重ね合わせ順位が「３」である文字画像領域６０１〜６０４が、それぞれの位置情報に基づいて配置されて画像データ１００３が得られる。これにより、抽出した画像領域同士が重なり合う場合であっても、他の画像領域に包含される画像領域は当該他の画像領域よりも前面に重ね合わせられるので、当該他の画像領域により隠れてしまうことがなく、重複画像領域における画像の欠損がなく再現性の高い画像ファイルを作成すことができるものである。
【００４０】
図３において、ステップＳ１０９の画像ファイル作成処理の終了後、ファイル形式変換部１１０により、得られた文書ファイルを設定された出力ファイル形式に変換し（Ｓ１１０）、得られた出力ファイルを出力インタフェース部１０５およびネットワーク４を介してファイルサーバ３に送信する（Ｓ１１１）。
【００４１】
ファイルサーバ３は、ネットワーク４を介して画像処理装置１から画像ファイルを受信すると、受信した画像ファイルをハードディスク等の記憶装置の所定のディレクトリに格納する。そして、ネットワーク４上の他の機器から当該ファイルの転送要求があると、格納した前記ファイルをネットワーク４を介して前記他の機器に転送する。
【００４２】
本発明の画像処理装置は、上記実施形態で示した態様に限定されるものではなく、上記実施形態以外にも、スキャナ等の画像読取装置、パソコン、ワークステーション、サーバ等のコンピュータ、デジタル複写機、ファクシミリ装置等の多機能周辺機器（ＭＦＰ）等に応用することができる。
【００４３】
本発明による画像処理装置および画像処理方法は、上記各手順を実行するための専用のハードウエア回路によっても、また、上記各手順を記述した所定のプログラムをＣＰＵが実行することによっても実現することができる。後者により本発明を実現する場合、画像処理装置を動作させる上記所定のプログラムは、フレキシブルディスクやＣＤ−ＲＯＭ等のコンピュータ読取可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピュータ読取可能な記録媒体に記録されたプログラムは、通常、ＲＯＭやハードディスク等に転送され記憶される。また、このプログラムは、たとえば、単独のアプリケーションソフトとして提供されてもよいし、画像処理装置の一機能としてその装置のソフトウエアに組み込んでもよい。
【００５３】
【発明の効果】
上述したように、本発明によれば、文書原稿を読み取って得られた画像データの文字、図形および写真領域をそれぞれ抽出して画像処理を施した後再合成して文書画像ファイルを作成する画像処理装置において、抽出した画像領域同士が重なり合う場合であっても、他の画像領域に包含される画像領域は当該他の画像領域よりも前面に重ね合わせて合成するので、当該他の画像領域により隠れてしまうことがなく、重複画像領域における画像の欠損がなく再現性の高い画像ファイルを作成すことができる。
【図面の簡単な説明】
【図１】本発明の実施形態にかかる画像処理装置を含む画像処理システムの全体構成を示すブロック図である。
【図２】図１における画像処理装置１の構成を示すブロック図である。
【図３】画像処理装置１の画像処理の手順を示すフローチャートである。
【図４】画像処理装置１の入力画像データの一例を示す図である。
【図５】図４の入力画像データから抽出した文字画像領域を示す図である。
【図６】図４の入力画像データから作成した非文字画像データを示す図である。
【図７】図６の非文字画像データから抽出した図形画像領域を示す図である。
【図８】図６の非文字画像データから抽出した写真画像領域を示す図である。
【図９】画像処理装置１の包含画像領域の検出および重ね合わせ順位の設定の手順を示すフローチャートである。
【図１０】画像処理装置１の画像ファイル作成処理における画像領域の合成過程の一例を示す図である。
【図１１】画像処理装置１の画像ファイル作成処理における画像領域の合成過程の一例を示す図である。
【図１２】画像処理装置１の画像ファイル作成処理における画像領域の合成過程の一例を示す図である。
【符号の説明】
１…画像処理装置、
１０１…制御部、
１０２…記憶部、
１０３…操作部、
１０４…入力インタフェース部、
１０５…出力インタフェース部、
１０６…領域分離部、
１０７…画像抽出部、
１０８…画像処理部、
１０８ａ…文字画像処理部、
１０８ｂ…図形画像処理部、
１０８ｃ…写真画像処理部、
１０９…画像ファイル作成部、
１１０…ファイル形式変換部、
１１１…バス、
２…スキャナ、
３…ファイルサーバ、
４…ネットワーク。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus, and in particular, extracts character, figure, and photographic image areas from image data obtained by reading a document original, performs image processing, and then re-synthesizes to create a document image file. The present invention relates to an image processing apparatus.
[0002]
[Prior art]
Since image data read by a scanner or the like has a large capacity and is not suitable for storage or transmission / reception as it is, image processing such as appropriate compression is performed according to the type of image. However, in the case of image data obtained by reading a document document, character image areas, graphic image areas, and photographic image areas coexist. Therefore, if irreversible compression suitable for photographic image areas is performed, the capacity is reduced, but characters are read. When compression suitable for a character image area is performed, there is a problem that the compression rate is lowered. Therefore, there is known an image processing apparatus that separates and extracts character, graphic, and photographic image areas from image data on a document original, performs compression suitable for each area, and then combines them again to create a document image file. Therefore, according to such an image processing apparatus, the capacity of the image file can be reduced while maintaining the image quality.
[0003]
However, in the above image processing apparatus, for example, when a character image is present in the graphic image in the input image data, the extracted graphic image region and the character image region overlap. When the graphic image area is superimposed on the character image area, the character image area is hidden in the graphic image area and the original image cannot be reproduced.
[0004]
[Problems to be solved by the invention]
The present invention has been made in view of the above-described problems of the prior art, and the object of the present invention is to perform image processing by extracting characters, figures, and photo areas of image data obtained by reading a document original. To provide an image processing apparatus capable of acquiring a highly reproducible composite image file without causing image loss due to overlapping of extraction areas in an image processing apparatus that creates a document image file by performing recombination after application. .
[0005]
[Means for Solving the Problems]
The above object of the present invention is achieved by the following means.
[0006]
(A) an image area extracting means for extracting a plurality of image areas from image data; a position information recognizing means for recognizing position information of the image area; and an image file obtained by synthesizing the image areas based on the position information. An image file creation means to create, an image area duplication judgment means for judging whether or not the image area overlaps with another image area based on the position information, and when the image area overlaps with another image area, Superimposing order setting means for setting the superimposing order of the image areas , and the image area duplication determining means detects the number of other image areas included in the image area with respect to the image area. The superposition order setting means sets the superposition order according to the number of other image areas in which the image area is included, and the image file creation means includes the image area An image processing apparatus characterized in that when the image area overlaps with another image area, the image areas are superimposed and synthesized in accordance with the overlapping order.
[0007]
(B) extracting a plurality of image areas from the image data (1), recognizing position information of the image areas (2), and combining the image areas based on the position information to generate an image file. Creating (3), determining whether or not the image area overlaps with another image area based on the position information, and when the image area overlaps with another image area, the image A step (5) of setting an overlapping order of the regions, wherein the step (4) detects the number of other image regions that include the image region with respect to the image region, In step (5), the superposition order is set according to the number of other image regions included in the image region. In step (3), the image region overlaps with another image region. The image area according to the overlay sequence. The overlapped synthesized, image processing method, characterized in that.
[0008]
(C) A procedure (1) for extracting a plurality of image areas from image data, a procedure (2) for recognizing position information of the image areas, and combining the image areas based on the position information to generate an image file Step (3) for creating, step (4) for determining whether or not the image area overlaps with another image area based on the position information, and the image when the image area overlaps with another image area An image processing program for causing an image processing apparatus to execute a procedure (5) for setting an overlapping order of regions, wherein the procedure (4) includes the image region with respect to the image region. The number of other image areas is detected, and the step (5) sets the superposition order according to the number of other image areas including the image area, and the procedure (3) ) The image area is Synthesized by superimposing the image area in accordance with the overlay order when overlapping the image region, the image processing program characterized by.
[0009]
(D) A computer-readable recording medium on which the image processing program according to (c) is recorded.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0012]
FIG. 1 is a block diagram showing the overall configuration of an image processing system including an image processing apparatus according to an embodiment of the present invention. This image processing system includes an image processing device 1, a scanner 2 as an image input device, and a file server 3 as an output destination device of an image file, which are connected to each other via a network 4 so as to communicate with each other. ing. Note that the types and number of devices connected to the network 4 are not limited to the example shown in FIG.
[0013]
FIG. 2 is a block diagram illustrating a configuration of the image processing apparatus 1 according to the present embodiment. 2, the image processing apparatus 1 includes a control unit 101, a storage unit 102, an operation unit 103, an input interface unit 104, an output interface unit 105, a region separation unit 106, a region extraction unit 107, an image processing unit 108, and an image file creation. Unit 109 and file format conversion unit 110, which are connected to each other via a bus 111 for exchanging signals.
[0014]
The control unit 101 is a CPU, and controls the above-described units and performs various arithmetic processes according to a program.
[0015]
The storage unit 102 stores a variety of programs and parameters in advance, a ROM that temporarily stores programs and data as a work area, stores various programs and parameters, or stores image data obtained by image processing, and the like. Consists of a hard disk or the like used for temporary storage.
[0016]
The operation unit 103 includes a key, an operation panel, and the like for setting an image file transmission destination, an output file format, and the like, and for instructing an operation start. Here, the transmission destination of the image file is set by inputting the IP address, host name, mail address, etc. of the output destination device. The output file format is set by selecting the file format of the image file to be transmitted to the output destination device.
[0017]
The input interface unit 104 is an interface for receiving image data input from an external image input device, and the output interface unit 105 is an interface for outputting an image file to an external output destination device.
[0018]
The area separation unit 106 performs processing for discriminating and separating an area including a character image, an area including a graphic image, and an area including a photographic image from the input image data.
[0019]
The area extraction unit 107 extracts a character image area, a graphic image area, and a photographic image area from the input image data, and recognizes position information of each image area.
[0020]
The image processing unit 108 includes a character image processing unit 108a, a graphic image processing unit 108b, and a photographic image processing unit 108c, and performs appropriate image processing on the extracted character image region, graphic image region, and photographic image region, respectively.
[0021]
The image file creation unit 109 synthesizes the character image area, graphic image area, and photographic image area after image processing based on the position information, and creates a document file in an internal file format.
[0022]
The file format conversion unit 110 converts an image file created in the internal file format into a set output file format. Examples of the output file format include document formats of various document creation software and general-purpose formats such as Postscript (registered trademark), PDF, JPEG, and TIFF.
[0023]
The scanner 2 reads an original image to generate image data, and transmits the obtained image data to the image processing apparatus 1.
[0024]
The file server 3 is a computer that stores files received via the network 4 and transfers the stored files to other devices on the network 4 in response to a transfer request.
[0025]
The network 4 includes a LAN in which computers, peripheral devices, network devices, and the like are connected according to standards such as Ethernet (registered trademark), token ring, and FDDI, and a WAN in which LANs are connected by a dedicated line.
[0026]
Next, an outline of the operation of the entire image processing system in the present embodiment will be described. FIG. 3 is a flowchart showing a procedure of image processing of the image processing apparatus 1 in the present embodiment. In FIG. 3, the image processing apparatus 1 stands by until there is an image processing start command (NO in S101). When an input of a start command is received from the user via the operation unit 103 (YES in S101), a document image read command is transmitted to the scanner 2 via the input interface unit 104 (S102), and image data is received from the scanner 2 It waits until it does (NO of S103). When the scanner 2 receives a reading command from the image processing apparatus 1, the scanner 2 reads an image of a document set at a predetermined position to generate image data, and transmits the obtained image data to the image processing apparatus 1. Note that the image processing start command may be directly input from another device on the communication network 4 or from the scanner 2, and in this case, steps S101 and S102 are omitted.
[0027]
When the image processing apparatus 1 receives image data from the scanner 2 via the input interface 104 (YES in S103), the image processing apparatus 1 stores the received image data in the storage unit 102, and then, from the input image data, a character image area and a graphic image are stored. A region and a photographic image region are separated and extracted (S104 to 106).
[0028]
That is, first, the character image region is determined and separated from the input image data by the region separation unit 106, and the character image region separated by the region extraction unit 107 is extracted and stored in the storage unit 102 together with the position information ( S104). As a method for separating the character image area, for example, a circumscribed rectangular area of the edge pixel group in which the edge pixel interval of the edge image data obtained from the image data is equal to or less than a predetermined number of pixels is extracted. Is calculated based on the feature that includes a large number of diagonal edge components, and the diagonal edge component of the frequency components included in the circumscribed rectangle is calculated as a feature amount, and is determined based on the content of the diagonal edge component. A method or the like can be used. FIG. 4 is a diagram illustrating an example of input image data in the present embodiment, and FIG. 5 is a diagram illustrating a character image region extracted from the input image data in FIG. In this way, the character image areas 601 to 606 are extracted from the input image data 501 as a group of character image constituent pixels within a predetermined distance as a block, and a circumscribed rectangular area is assigned to the block, and the circumscribed rectangle is assigned. Position information of the rectangular area is recognized.
[0029]
Next, non-character image data is created from the input image data by storing the extracted character image area with surrounding pixels and stored in the storage unit 102. Then, the graphic image area is discriminated and separated from the non-character image data by the area separating unit 106, and the graphic image area separated by the area extracting unit 107 is extracted and stored in the storage unit 102 together with the position information (S105). . As a method for separating a graphic image area from non-character image data, the lightness distribution of the graphic image area is obtained to a certain degree from the lightness image data based on the characteristic that the lightness distribution of the graphic image area is uniform to some extent and the lightness distribution of the photographic image area is dispersed. With respect to the edge image data, a brightness histogram is created for each line in the main scanning and sub-scanning two directions for all the pixels in the region divided by the edge image, and the brightness dispersion is calculated as a feature amount, and the graphic image A method for discriminating between a region and a photographic image region can be used. 6 is a diagram showing non-character image data created from the input image data of FIG. 4, and FIG. 7 is a diagram showing a graphic image region extracted from the non-character image data of FIG. As described above, also for the graphic image areas 801 to 804, a group of graphic image constituent pixels within a predetermined distance are extracted from the non-character image data 701 as one block, and a circumscribed rectangular area is assigned to the block. Position information of the circumscribed rectangular area is recognized.
[0030]
Further, the region extraction unit 107 supplements the graphic image region extracted from the non-character image data with the peripheral pixels, and extracts a photographic image region from the non-character image data (S106). FIG. 8 is a diagram showing a photographic image area extracted from the non-character image data of FIG. Here, in order to simplify the description, it is assumed that the entire image data shown in FIG. 8 is extracted as one photographic image region.
[0031]
Then, the image processing unit 108 performs image processing for each obtained character, figure, and photographic image area (S107). That is, the obtained character image area data is binarized by the character image processing unit 108a, subjected to lossless compression processing of 1-bit data, and stored in the storage unit 102 together with color information and position information. The graphic image processing unit 108 b performs smoothing processing, color reduction processing, and the like on the obtained graphic image region data, and then performs reversible compression processing of the color image, and stores it in the storage unit 102 together with the position information. Further, after the resolution conversion of the obtained photographic image area data is performed by the photographic image processing unit 108c, a color image is irreversibly compressed and stored in the storage unit 102 together with the position information.
[0032]
Next, the image file creation unit 109 detects the presence / absence of an inclusion image region based on the position information of each of the character image region, the graphic image region, and the photographic image region obtained by the image processing, The overlay order of each image area is set according to the presence or absence of the included image area (S108).
[0033]
FIG. 9 is a flowchart showing a procedure for detecting an inclusive image region and setting an overlapping order of the image processing apparatus 1 according to this embodiment. Assuming that n image regions from image regions 1 to n are extracted in the image extraction processing in steps S104 to S106, in FIG. 9, first, the value of the target image region number (n) is initialized (S201; n = 1) Further, the comparison image region number (m) for determining whether or not the target image region is included and the value of the superposition rank (C _n ) of the target image region are initialized (S202; m = 1, C _n = 1). Here, the superposition order C _n indicates the order of arrangement of the target image area n when the image areas are arranged at the original positions in the image file creation process described later, and is combined. Are sequentially arranged from a small image area (image area of C _n = 1) based on the respective position information and synthesized. Therefore, in a portion where a plurality of image areas overlap, an image area having a lower overlapping order is superimposed on the back side, and an image area having a higher overlapping order is superimposed on the front side.
[0034]
Next, it is determined whether or not the attention image area n and the comparison image area m are the same area (S203). If they are not the same area (YES in S203), the attention image area n is included in the comparison image area m. It is determined whether or not (S204). Specifically, the upper left and lower right vertex coordinates (Xn, Yn) (X′n, Y′n) of the target image region, and the upper left and lower right vertex coordinates (Xm, Ym) (X′m) of the comparison image region. , Y′m) satisfy all of the following expressions, it is determined that the target image area n is included in the comparison image area m.
[0035]
[Expression 1]

[0036]
When it is determined in step S204 that the target image area n is included in the comparison image area m (YES in S204), the target image area n is displayed when the comparison image area m is overlaid on the target image area n. Since it is hidden, the superposition order is lowered by one so that the target image area n is arranged in front of the comparative image area m (S205). Next, it is determined whether or not there is another comparison image area (S206). If another comparison image area exists (NO in S206), the comparison image area is changed (S207), and steps S203 to S203 are performed. The process of S205 is repeated. As a result, the overlapping order of the target image region n is lowered by the number of comparison image regions including the target image region n (the value of C _n is incremented). If there is no other comparison image area (YES in S206), the overlay order of the target image area n is determined, and the determined overlay order is stored in the storage unit 102 as attribute information of the target image area n. (S208).
[0037]
As a specific example, in FIG. 5, for example, if a character image region 601 composed of a character image “MENU” is a target image region, the position information of the character image region 601 is (Xn, Yn) (X′n, Y′n) = (70, 30) (130, 60). Compared with the position information of other image areas, (50, 25) (160, 80) of the graphic image area 801 and the photographic image area 901 Since (20, 12) (680, 488) satisfies the relationship of the above formula, the character image region 601 is included in the graphic image region 801 and the photographic image region 901, and the overlay order of the character image region 601 is “3”. By the same procedure, the overlapping order of the character image areas 602 to 604 becomes “3”, the overlapping order of the character image area 605 and the graphic areas 801 to 804 becomes “2”, and the character image area 606 and the photographic image area 901. The superimposing order of “1” is “1”.
[0038]
Next, it is determined whether or not there is another attention image area (S209). If there is another attention image area (NO in S209), the attention image area is changed (S210), and steps S202 to S202 are performed. The process of S208 is repeated. Thereby, the superposition order in the image file creation process is determined for all image regions. If no other image area of interest exists (YES in S209), the process leaves the flowchart and returns to the flowchart of FIG.
[0039]
In FIG. 3, after the detection of the inclusive image area and the setting process of the overlay order in step S108, the image file creation unit 109 sets each image area data according to the overlay order set in step S108. Based on the information, it is arranged and synthesized at a predetermined position, and an image file is created in the internal file format (S109). 10 to 12 are diagrams illustrating an example of the image region synthesis process in the image file creation process of the present embodiment. First, in FIG. 10, a character image area 606 and a photographic image area 901 having a superposition order of “1” are arranged based on the respective position information, and image data 1001 is obtained. Next, in FIG. 11, the character image area 605 and the graphic areas 801 to 804 having the superposition order “2” are arranged based on the respective position information, and the image data 1002 is obtained. Finally, in FIG. 12, character image areas 601 to 604 having an overlay order of “3” are arranged based on the respective position information, and image data 1003 is obtained. As a result, even if the extracted image areas overlap each other, the image area included in the other image area is superimposed on the front of the other image area, and thus is hidden by the other image area. Therefore, it is possible to create an image file with high reproducibility without image loss in the overlapping image region.
[0040]
In FIG. 3, after the image file creation processing in step S109 is completed, the file format conversion unit 110 converts the obtained document file into a set output file format (S110), and the obtained output file is output to the output interface unit. 105 and the file server 3 via the network 4 (S111).
[0041]
When the file server 3 receives the image file from the image processing apparatus 1 via the network 4, the file server 3 stores the received image file in a predetermined directory of a storage device such as a hard disk. When there is a transfer request for the file from another device on the network 4, the stored file is transferred to the other device via the network 4.
[0042]
The image processing apparatus of the present invention is not limited to the aspect shown in the above embodiment, and other than the above embodiment, an image reading apparatus such as a scanner, a computer such as a personal computer, a workstation, and a server, a digital copying machine It can be applied to a multifunction peripheral (MFP) such as a facsimile machine.
[0043]
The image processing apparatus and the image processing method according to the present invention can be realized by a dedicated hardware circuit for executing each of the above procedures, or by a CPU executing a predetermined program describing the above each procedure. Can do. When the present invention is realized by the latter, the predetermined program for operating the image processing apparatus may be provided by a computer-readable recording medium such as a flexible disk or a CD-ROM, or via a network such as the Internet. It may be provided online. In this case, the program recorded on the computer-readable recording medium is usually transferred and stored in a ROM, a hard disk or the like. Further, this program may be provided as, for example, a single application software, or may be incorporated in the software of the apparatus as one function of the image processing apparatus.
[0053]
【The invention's effect】
As described above, according to the present invention, the characters, graphics, and photo areas of the image data obtained by reading the document original are extracted, subjected to image processing, and then recombined to create a document image file. In the processing device, even if the extracted image areas overlap, the image area included in the other image area is combined with the other image area in front of the other image area. An image file having high reproducibility can be created without being hidden and having no image loss in the overlapping image region.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an overall configuration of an image processing system including an image processing apparatus according to an embodiment of the present invention.
FIG. 2 is a block diagram illustrating a configuration of the image processing apparatus 1 in FIG.
FIG. 3 is a flowchart showing a procedure of image processing of the image processing apparatus 1;
4 is a diagram illustrating an example of input image data of the image processing apparatus 1. FIG.
5 is a diagram showing a character image area extracted from the input image data in FIG. 4; FIG.
6 is a diagram showing non-character image data created from the input image data of FIG. 4. FIG.
7 is a diagram showing a graphic image region extracted from the non-character image data of FIG. 6. FIG.
8 is a diagram showing a photographic image region extracted from the non-character image data of FIG. 6. FIG.
FIG. 9 is a flowchart illustrating a procedure for detecting an inclusive image region and setting an overlay order of the image processing apparatus 1;
FIG. 10 is a diagram illustrating an example of an image region synthesis process in the image file creation process of the image processing apparatus 1;
FIG. 11 is a diagram illustrating an example of an image region synthesis process in the image file creation process of the image processing apparatus 1;
FIG. 12 is a diagram showing an example of an image region synthesis process in the image file creation process of the image processing apparatus 1;
[Explanation of symbols]
1 ... Image processing device,
101 ... control unit,
102 ... storage part,
103 ... operation unit,
104 ... input interface part,
105 ... output interface part,
106 ... area separation unit,
107: Image extraction unit,
108: Image processing unit,
108a ... a character image processing unit,
108b ... graphic image processing unit,
108c ... photographic image processing unit,
109 ... Image file creation unit,
110 ... file format conversion unit,
111 ... Bus
2 ... Scanner,
3 ... File server,
4 ... Network.

Claims

Image area extraction means for extracting a plurality of image areas from image data;
Position information recognition means for recognizing position information of the image area;
Image file creation means for creating an image file by combining the image areas based on the position information;
Image area duplication determining means for determining whether or not the image area overlaps with another image area based on the position information;
Superposition order setting means for setting the superposition order of the image areas when the image areas overlap with other image areas;
The image area duplication determination means detects the number of other image areas in which the image area is included with respect to the image area,
The superposition order setting means sets the superposition order according to the number of other image areas in which the image area is included;
The image processing apparatus, wherein the image file creation unit superimposes and synthesizes the image regions according to the superposition order when the image region overlaps with another image region.

The image processing apparatus according to claim 1 , further comprising image processing means for performing image processing according to an image type on the image area.

The image processing apparatus according to claim 1 or 2 further comprising an image reading means for generating image data by reading an original image.

Extracting a plurality of image regions from the image data (1);
Recognizing position information of the image area (2);
(3) creating an image file by combining the image regions based on the position information;
Determining whether the image area overlaps with another image area based on the position information;
(5) setting an overlapping order of the image areas when the image areas overlap with other image areas;
The step (4) is to detect the number of other image regions in which the image region is included with respect to the image region,
In the step (5), the superposition order is set according to the number of other image areas in which the image area is included,
The step (3) is an image processing method characterized in that, when the image area overlaps with another image area, the image areas are overlapped and synthesized in accordance with the overlapping order.

The image processing method according to claim 4 , further comprising a step (6) of performing image processing corresponding to an image type on the image area.

6. The image processing method according to claim 4 , further comprising a step (7) of reading an original image and generating image data.

A procedure (1) for extracting a plurality of image regions from image data, a procedure (2) for recognizing position information of the image regions, and a procedure for creating an image file by combining the image regions based on the position information (3), a procedure (4) for determining whether or not the image area overlaps with another image area based on the position information, and an overlap of the image area when the image area overlaps with another image area An image processing program for causing an image processing apparatus to execute a procedure (5) for setting a matching order,
The procedure (4) is to detect the number of other image areas in which the image area is included with respect to the image area,
The procedure (5) is for setting the superposition order according to the number of other image areas in which the image area is included,
The procedure (3) is an image processing program characterized in that, when the image area overlaps with another image area, the image areas are superimposed and synthesized in accordance with the overlapping order.

The image processing program according to claim 7 , further causing the image processing apparatus to execute a procedure (6) of performing image processing corresponding to an image type on the image area.

The image processing program according to claim 7 or 8 , further causing the image processing apparatus to execute a procedure (7) of reading an original image and generating image data.

A computer-readable recording medium on which the image processing program according to any one of claims 7 to 9 is recorded.