JP4261005B2 - 領域ベースのイメージ２値化システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、混合形式の文書に対して最適な２値イメージ品質を提供する領域ベースの２値化システムに関する。
【０００２】
【従来の技術】
雑誌の頁には、テキスト、線画及びグラフィックスに混じり写真が印刷されていることが多い。斯かる頁がスキャナにより電子的にキャプチャされるとき、キャプチャされたグレースケール・イメージ(grey scale image)を、出力におけるイメージの複調表示(bitonal representation)へと変換する２値化プロセスが必要である。而して、イメージ２値化技術には一般的に２つの種類がある。ひとつは、主としてテキスト及び線画を含む種類の文書に対して良好な、適応スレッショルド化技術(adaptive thresholding technique) と称される。他方は、２値フォーマットの形態でグレーの陰影を再現するディザ(dither)もしくはエラー拡散(error diffusion) 技術である。これは写真イメージを２値化する上で有効である。キャプチャされた文書イメージ中にテキスト及び写真が含まれた混合形式の文書の場合、上記の２つの２値化方法はいずれも、テキスト及び写真の満足なイメージ品質を生成し得ない。この問題に対する公知の解決策は、最適なイメージ品質を得るべく夫々の領域に対して別個の２値化プロセスを適用し得る如く、キャプチャされたデジタル・イメージを写真及びテキストの領域にセグメント化することである。
【０００３】
公知のセグメント化方法は、混合形式の文書を４×４ブロックに分割し、各ブロックをテキストまたはイメージに分類し、ブロックのショートラン(short run) を排除することにより分類を改良するものである( 例えば、Chen et al. に対する米国特許第4,668 ，995 号を参照されたい) 。イメージ・ラインのブロックは分類された後、夫々異った２値化プロセスが適用される。別の公知の方法は、各走査線に対するランレングス(run length)を抽出し、それらのランレングスから矩形(rectangle) を構成し、次に各矩形をテキストまたは非テキストに分類し、最後には関連テキスト・ブロックをテキスト領域へと併合することにより、イメージをセグメント化している( 例えば、Cullenその他に対する米国特許第5,335,290 号を参照されたい) 。
【０００４】
【発明が解決しようとする課題】
上述した２つのセグメント化方法は、情報をピクセル毎にもしくは小さなブロック毎にセグメント化することにより開始し、領域へ展開して行くというボトムアップ式のセグメント化方法に言及している。これらの方法はロバストでなく分類エラーを生じ易い、と言うのも、テキストまたは非テキストの分類が局所的情報のみに基づくからである。
【０００５】
本発明の目的は、全体的ピクセル連結度(global pixel connectivity) に基づいて写真領域を発見するトップダウン式セグメント化方法を提供すると共に、セグメント化した結果を使用して最適な２値イメージ品質を獲得する領域ベース２値化システムを提案するにある。
【０００６】
【課題を解決するための手段】
本発明は領域ベース２値化システムに関するが、該システムは、適応スレッショルド化と、エラー拡散( またはディザ) などのイメージ・レンダリングとを個々に適用し、グレースケール・イメージから２つの２値イメージを生成し、低解像度イメージで写真イメージの位置を検出し、矩形の形状もしくは境界を有する写真イメージを識別し、写真ピクセルを“１”、非写真ピクセルを“０”としてマークする分類ビットマップを生成し、且つ、記憶された２つの２値イメージから分類マップに基づいて最終的２値イメージを組立てるものである。
【０００７】
写真検出プロセスは、全体的スレッショルド化を使用して低解像度グレースケール・イメージを２値イメージへと変換する段階と、細線と、文字の大多数とを除去すべく２値イメージ浸食プロセス(binary image erosion process)を実行する段階と、連結成分分析(connected component analysis)を適用してオブジェクトを発見する段階と、サイズ・フィルタを使用して小寸オブジェクトを排除する段階とを備えている。大寸オブジェクトの位置は、写真の位置と見なされる。
【０００８】
本発明はまた、グレースケール・イメージを第１及び第２の２値イメージに変換する段階と、グレースケール・イメージにおける写真イメージの位置を検出する段階と、検出された写真イメージの内で矩形境界を有する写真イメージを識別する段階と、矩形境界を有する写真イメージ中のピクセルを残りのピクセルから区別する分類マップを生成する段階と、上記分類マップに基づいて上記第１及び第２の２値イメージから最終的２値イメージを形成する段階とを備えた領域ベース２値化プロセスに関している。
【０００９】
本発明は更に、イメージをキャプチャする段階と、キャプチャされたイメージにおける写真イメージの位置を検出する段階と、検出された写真イメージの内で矩形境界を有する写真イメージを識別する段階と、上記写真イメージにおいて矩形境界を有する写真ピクセルを非写真ピクセルから区別する分類マップを生成する段階と、上記分類マップに基づいて最終的２値イメージを形成する段階とを備えた領域ベース２値化プロセスに関している。
【００１０】
本発明は更に、イメージをキャプチャするイメージ・キャプチャ部分と、キャプチャされたイメージを、該キャプチャされたイメージを表すデジタル・イメージ情報に変換する変換部分と、上記デジタル・イメージ情報を処理して上記キャプチャされたイメージにおける写真イメージの位置を検出すると共に、検出された写真イメージの内で矩形境界を有する写真イメージを識別し、且つ、上記矩形境界を有する写真イメージの内のピクセルを残りのピクセルから区別する分類マップを生成する処理部分とを備えたイメージ・キャプチャ・アセンブリに関する。
【００１１】
【発明の実施の形態】
図面を参照すると、各図を通して同一の参照番号は同一のまたは対応部分を示し、図１には領域ベースのイメージ２値化方法のブロック図が示されている。入力としてのデジタル・グレースケール・イメージ・データに対して上記方法は次の様に作用する。適応イメージ・スレッショルド化( 段階１５ａ）が適用されて、グレースケール・イメージ（Ｇ) を、テキスト及び線画の良好なイメージ品質を示す２値イメージ（Ｂ１）へと変換する。エラー拡散またはディザなどのイメージ・レンダリング( 段階１５ｂ）が同一のグレースケール・イメージ（Ｇ) に適用されて、イメージの写真部分における良好なイメージ品質を呈するレンダリング済２値イメージ（Ｂ２）を獲得する。段階１５ｃにては、サブサンプル化イメージ（Ｇｓ）を提供すべくグレースケール・イメージのサブサンプリングが行われる。段階１６にては、サブサンプル化イメージ（Ｇｓ）内における矩形写真イメージの位置が検出される一方、段階１７では矩形の形状または境界を有する写真イメージが検出される。段階１８にては矩形写真イメージを“１”で且つ他のピクセルは“０”でマークする分類マップの生成が行われ、且つ、最終的２値イメージ（Ｂ）は、生成された分類マップに基づく２つの２値イメージＢ１及びＢ２のイメージ合成(image composition) の結果である。即ち、生成された分類マップ中の位置（ｉ，ｊ）におけるピクセルが写真ピクセルを示す“１”によりマークされたとすれば、イメージＢ２中の位置（ｉ，ｊ）におけるピクセルが２値イメージＢへとコピーされる。一方、分類マップ中の位置（ｉ，ｊ）におけるピクセルが、テキストピクセルを示す“０”であれば、上記イメージＢ中の位置（ｉ，ｊ）におけるピクセルは２値イメージ（Ｂ１）のコピーである。
【００１２】
図２は、記述された本発明の特徴に従って、キャプチャされたイメージを処理するイメージ・キャプチャ・アセンブリ３００の概略図である。イメージ・キャプチャ・アセンブリ３００は、イメージをキャプチャする例えば荷電結合素子などの形態のイメージ・キャプチャ部分３０１と、キャプチャされたイメージを、該キャプチャされたイメージを表すデジタル情報へと変換する例えばＡ／Ｄ変換器などの形態の変換部分３０３とを含んでいるスキャーとすることができる。上記デジタル情報は、図１に関して記述されると共に図３及び図４に関して更に記述される手法で上記デジタル情報を処理するイメージ・プロセッサ３０５へと送信される。
【００１３】
図３には、混合形式文書における写真イメージの検出の詳細( 段階１６) が示されている。最初に、サブサンプリング段階( 図１の１５ｃ）において、グレースケール・イメージはＮピクセル毎かつＮ走査線毎にサブサンプリングされて、低解像度のグレースケール・イメージ（Ｇｓ）を獲得する。固定スレッショルド値( 全体的スレッショルド化)(段階２０）が供給され、上記グレースケール・イメージ（Ｇｓ）を２値イメージ（Ｂｓ）へと変換する。２値イメージの全てのピクセルに亙り３×３の２値浸食操作( 段階２１) が適用され、細線と、文字などの他の細かいオブジェクトとを除去する。イメージ浸食操作の後の結果的イメージは、イメージ（Ｅｓ）として保存される。該イメージ（Ｅｓ）に対しては連結成分分析( 段階２２）が適用され、連結ピクセルをグループ化する。連結ピクセルの全てのグループはオブジェクトとして取り込まれる。オブジェクトの境界座標は、該オブジェクトの位置を定義する。サイズ・フィルタに基づき( 段階２３）、その境界サイズがサイズ・スレッショルド値より大きいオブジェクトは写真と見做される。一例として、サイズ・フィルタはスキャン解像度に依存し得る。実例による上記方法の各段階の例証
図５は、テキスト、ライン、矩形写真および非矩形グラフィックス( サングラスのグラフィックス) を含む雑誌の混合形式の文書頁をスキャンして印刷したものである。図５のグレースケール・イメージに対して適応スレッショルド化( 段階１５ａ、図１) を適用すると、２値イメージ（Ｂ１）が生成される。図６の２値イメージ（Ｂ１）は明確で鮮やかな文字およびラインを呈するが、写真の陰影の詳細は消失している。同一のグレースケール・イメージに対してエラー拡散技術( 図１の段階１５ｂ）を適用することにより、図７に示された結果的２値イメージ（Ｂ２）は、写真の領域のイメージ詳細が保持されて実際の写真品質に近くなっていることを示している。但し、テキスト・イメージ品質は霞んでいる。上記の２つの２値イメージ（Ｂ１）および（Ｂ２）を比較すると、混合形式文書において良好な２値イメージを生成する為には、テキスト領域に対する適応スレッショルド化、および、写真領域に対するエラー拡散、の組合せが必要であると結論づけられる。この作業を達成する為には、写真領域の検出が必要とされる。
【００１４】
検出プロセス( 図１の段階１６および図３のフローチャート) においては最初に、図８に示された小寸グレースケール・イメージ（Ｇｓ）を生成すべくグレースケール・イメージのサブサンプリングが実行される。その後、固定スレッショルド値によりグレースケール・イメージ（Ｇｓ）をスレッショルド処理することにより、２値イメージ（Ｂｓ）が生成される。結果的な２値イメージ（Ｂｓ）は図９に示されている。図１０に示された如く、２値イメージ浸食操作( 図３、段階２１) を適用するとイメージＥｓに帰着するが、該イメージにおいては小寸文字および細線が除去されると共に、残りのブラック・ピクセルの殆どは写真領域内に在る。上記イメージ（Ｅｓ）内の各オブジェクトの境界枠は、２値イメージの連結ブラック・ピクセルを個別のオブジェクトとしてグループ化する連結成分( 図３、段階２２）により検出される( 例えば、米国特許出願第08/739,076号を参照されたい) 。小寸オブジェクトを排除する( 図３、段階２３）と、潜在的写真境界枠１００が図１１に示される。境界座標は完全解像度へと変換されて図１２に示されている。４個の境界枠１００は、検出された写真の位置である。検出された境界枠内の写真の全てが矩形状であるとは限らない。
【００１５】
次の段階は、４個の境界枠１００の位置内において矩形の写真オブジェクトを検出することである( 図１、段階１７）。この検出は、図５の２値イメージ（Ｂ１）内で検出された境界枠内の一切の文字を検証することにより行われる。境界枠内に何らかの文字が存在すれば、境界枠内の写真は非矩形と分類される。一方、境界枠内に何らの文字も存在しなければ、該境界枠内の写真は矩形写真として分類される。上記例においては図１３に示された如くサングラスのグラフィックスに対する境界枠１００’内には文字が在る。従って、サングラスのグラフィックスは非矩形写真と見做される。残りの他の３個の境界枠は文字を含まないことから、これらの境界枠が含む写真は矩形として分類される。矩形の形状または境界を有する写真イメージの検出( 図１、段階１７）の詳細は、図４に示されている。図４に示された如く、潜在的な写真イメージ並びに２値イメージ（Ｂ１）の境界座標に関する情報は、連結成分分析に関して考慮される( 段階３０）。段階３０においては、連結成分分析が行われて各境界枠内のオブジェクトが抽出される。最大オブジェクト(largest object)は絵画的イメージ(pictorial image) であると見做され、小寸オブジェクトは文字またはノイズとして分類されることを銘記されたい。段階３３においては、幾何的に最大オブジェクトの境界の外側に配置されていない小寸オブジェクト( 文字) が存在するか否かを認識すべきチェックの判断が為される。もし段階３３に対する答えがＹＥＳであれば、オブジェクトは非矩形境界を有する写真イメージである。段階３３に対する答えがＮＯであれば、オブジェクトは矩形境界を有する写真イメージである。
【００１６】
次に、図１４に示された如く３個の矩形写真の境界領域内をブラック・ピクセルで充填することにより、分類マップ( 図１、段階１８）が生成される。最終的２値イメージ（Ｂ）は、分類マップに基づき２値イメージ（Ｂ１）および（Ｂ２）から組立てられる。イメージ（Ｂ）のピクセルは分類マップのテキスト領域においてはイメージ（Ｂ１）のコピーであり、且つ、写真領域( 分類マップ中のブラック領域) においてイメージ（Ｂ）はイメージ（Ｂ２）のコピーである。結果は図１５に示されている。
【図面の簡単な説明】
【図１】混合形式の文書に対する領域ベース２値化システムの各段階を示すフローチャートである。
【図２】本発明に係る装置の概略図である。
【図３】写真検出プロセスの各段階を概略化したフローチャートである。
【図４】矩形の形状または境界を有する写真イメージを検出する各段階を概略化したフローチャートである。
【図５】デジタル的に印刷されたグレースケール混合文書（Ｇ）の一例である。
【図６】適応スレッショルド化方法を使用した図３のイメージ（Ｇ）のスレッショルド化イメージ（Ｂ１）である。
【図７】エラー拡散方法を使用した図３のイメージ（Ｇ）のスレッショルド化イメージ（Ｂ２）である。
【図８】４：１サイズ縮小を使用した図３のイメージ（Ｇ）のサブサンプル化イメージ（Ｇｓ）である。
【図９】固定スレッショルド化を使用した図６のイメージ（Ｇｓ）のスレッショルド化イメージ（Ｂｓ）である。
【図１０】図９のイメージ（Ｂｓ）に対するイメージ侵食処理の結果的２値イメージ（Ｅｓ）である。
【図１１】図１０の２値イメージ（Ｅ）に対して検出された大寸オブジェクトの境界枠である。
【図１２】図６のイメージ（Ｂ１）において検出された写真の位置である。
【図１３】非矩形写真に対するテキストを含む境界枠の例である。
【図１４】検出された矩形写真の領域を示すビットマップである。
【図１５】本発明の方法を使用した最終的２値イメージである。
【符号の説明】
１００…潜在的写真境界枠
３００…イメージ・キャプチャ・アセンブリ
３０１…イメージ・キャプチャ
３０３…Ａ／Ｄ変換器
３０５…イメージ・プロセッサ

Claims (5)

1. グレースケール・イメージを第１及び第２の２値イメージへと変換する段階であって、前記第１の２値イメージは前記グレースケール・イメージに対して適応スレッショルド化技術を適用して形成され、前記第２の２値イメージは前記グレースケール・イメージに対してイメージ・レンダリング技術を適用して形成される段階、
   低解像度のサブサンプル化イメージを得るために前記グレースケール・イメージをサブサンプルし、前記サブサンプルされたイメージを更なる２値イメージに変換することにより前記サブサンプルされたイメージ中の写真イメージの位置を検出する段階、
   前記更なる２値イメージから細い線および文字を除去する段階、
   前記更なる２値イメージにおける連結ピクセルをグループ化すべく前記更なる２値イメージに対して連結成分分析を実行する段階であって、連結されたピクセルのグループは前記更なる２値イメージにおけるオブジェクトとして識別される、段階、
   前記更なる２値イメージにおいてスレッショルド値より大きなサイズを有するオブジェクトを写真イメージとして指定する段階、
   前記検出された矩形境界を有する写真イメージのデータ座標を識別する段階と、
   前記矩形境界を有する写真イメージ内のピクセルを残りのピクセルから区別する分類マップを生成する段階、
   前記残りのピクセルに対応する領域のピクセルについて前記第１の２値イメージからデータを採用して前記生成された分類マップに基づき最終２値イメージを形成し、前記検出された矩形境界を有する写真イメージに対応する領域のピクセルについて前記第２の２値イメージからデータを採用する段階、
   を備えて成る、領域ベース２値化方法。
2. 前記グレースケール・イメージは、少なくとも写真部分およびテキスト部分を含む文書からキャプチャされたものである、請求項１に記載の方法。
3. 前記イメージ・レンダリング技術はエラー拡散プロセスを有する、請求項１に記載の方法。
4. 前記イメージ・レンダリング技術はディザ・プロセスを有する、請求項１に記載の方法。
5. 前記指定段階は、前記スレッショルド値より大きなオブジェクトをオブジェクトイメージとして指定すると共に前記スレッショルド値より小さなオブジェクトを排除するためにサイズフィルタを用いる段階を有する、請求項１に記載の方法。

Images