Nothing Special   »   [go: up one dir, main page]

JP4568460B2 - 画像処理装置及び記録媒体 - Google Patents

画像処理装置及び記録媒体 Download PDF

Info

Publication number
JP4568460B2
JP4568460B2 JP2001269405A JP2001269405A JP4568460B2 JP 4568460 B2 JP4568460 B2 JP 4568460B2 JP 2001269405 A JP2001269405 A JP 2001269405A JP 2001269405 A JP2001269405 A JP 2001269405A JP 4568460 B2 JP4568460 B2 JP 4568460B2
Authority
JP
Japan
Prior art keywords
image
smoothing
target area
processing target
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001269405A
Other languages
English (en)
Other versions
JP2002135592A (ja
Inventor
義弘 寺田
フィリップスキー アラン
ティー.リング マーヴィン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Publication of JP2002135592A publication Critical patent/JP2002135592A/ja
Application granted granted Critical
Publication of JP4568460B2 publication Critical patent/JP4568460B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10008Still image; Photographic image from scanner, fax or copier
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30176Document

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Color Image Communication Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、画像処理装置及び記録媒体に関し、特に、カラー原稿の読込みや複写等、デジタルカラー画像処理において高画質化処理が可能な画像処理装置及び記録媒体に関する。
【0002】
【従来の技術】
近年、スキャナ・複写機・プリンタなどの分野でデジタルカラー機器の発達・普及が目覚ましい。また、パーソナル・コンピュータやワープロソフト等の文書作成環境の進歩・発達もあり、上記のようなデジタルカラー機器を利用するカラー画像再現の分野においては、人物・風景等の自然画像のみならず、主に文字情報やグラフ・図表などから構成される文書画像も重要な処理対象となってきている。
【0003】
それらの文書画像を自然画像と比較した場合の特徴としては、文書画像の場合は2,3色からせいぜい数十色程度までといった非常に少ない色数で表現されている事、広い面積を有する同一色領域が多く存在する事などがある。このため、元々の原稿の品質、画像の読み込み機器のデバイス特性、階調補正やMTF補正などの画像処理における過強調等に起因して、本来は同一であるべき色領域におけるノイズや色むらが画像再現を行う際に生じる、という問題がある。
【0004】
この問題を解決するため、原画像中の色数を減らす所謂減色処理的な手法を用いて色を均一化する方式が各種提案されている。例えば、特開平8−22532号公報には、原画像中に存在する色の成分比率を限定することによって文書画像中に存在するムラを軽減する技術が記載されている。また、特開平10−243250号公報には、原画像中の色の分布からフラットに再現するべき色領域とそうでない色領域を設定し、色の補正を行うことによって均一な色領域の再現を向上させる技術が記載されている。
【0005】
【発明が解決しようとする課題】
しかしながら、上記従来技術は、何れも各画素単位で色を最も近い色に置き換えたり、或いは補正係数を異ならせたりする処理であり、原画像中に存在する網点成分や微小ノイズの影響を受けやすく、その結果として色数の減少が必ずしも所望領域の均一色化に結びつかない場合があった。また、色の置換に先立って行われる代表色設定も複雑な演算処理が必要とされ、全体として処理規模に対して妥当な処理品質が得られない、という問題があった。
【0006】
本発明は上記事実に鑑みて成されたものであり、カラー文書画像を高品質化することが可能な画像処理装置及び記録媒体を提供することを目的とする。
【0007】
【課題を解決するための手段】
上記目的を達成するために、本発明は、画像を走査読み取りする画像読み取り手段により読み取った入力画像からエッジを検出するエッジ検出手段と、前記入力画像の解像度より低解像度の変換画像を前記入力画像に基づいて複数生成する画像生成手段と、前記入力画像より小さな大きさの処理対象領域、該処理対象領域の移動量、及び前記入力画像内の走査範囲の少なくとも一つが異なる予め定められた複数の平滑化条件から、1つの平滑化条件を選択し、かつ選択した平滑化条件に基づいて、前記走査範囲内について前記移動量ずつ前記処理対象領域を移動して走査しながら前記入力画像の前記エッジが検出されていない前記処理対象領域内を平滑化する平滑化処理を、選択される前記平滑化条件を変えて複数回行うことにより複数の平滑化画像を得る処理を、前記画像生成手段により生成された複数の解像度の変換画像の各々に対して行う平滑化手段と、前記複数の解像度の変換画像の各々に対して得られた前記複数の平滑化画像の論理和を取る処理を前記複数の解像度の変換画像毎に行うことにより、平滑化処理が行われた画像を表わすマップ画像を前記複数の解像度の変換画像毎に生成するマップ画像生成手段と、生成した複数の解像度のマップ画像を前記入力画像と同一解像度のマップ画像に各々変換し、各々変換したマップ画像と前記入力画像とを合成する合成手段と、を有し、前記平滑化手段は、前記処理対象領域内に検出された前記エッジが存在するか否かを判断し、前記エッジが存在しない場合には前記処理対象領域を拡張する処理を前記処理対象領域内に前記エッジが存在すると判断されるまで繰り返し、拡張した前記処理対象領域にエッジが存在する場合には直前の処理対象領域を処理対象領域として再設定することを特徴としている。
【0008】
本発明によれば、エッジ検出手段は、画像を走査読み取りする画像読み取り手段、例えばスキャナなどにより予め定めた解像度で読み取った入力画像からエッジを検出する。このエッジには、例えば文字や線等として認識することができる、周囲の色と異なる色を有する一定の領域が含まれる。
【0009】
ところで、例えば文書画像などの比較的広い面積を有する同一色領域が多い画像を走査読み取りした場合、前記同一色領域において色むらが生じる場合があり、画質が低下する場合がある。このため、同一色領域の色を略均一にすることにより、読み取った画像を元の画像に近づけることが望まれる。
【0010】
そこで、平滑化手段は、まず、前記入力画像より小さな大きさの処理対象領域、該処理対象領域の移動量、及び前記入力画像内の走査範囲の少なくとも一つが異なる予め定められた複数の平滑化条件の中から1つを選択する。この平滑化条件は、入力画像より小さな大きさの処理対象領域、すなわち平滑化を行う領域の大きさ、この領域の1回当たりの移動量、及び入力画像内の走査範囲、すなわち平滑化処理を行う平滑化対象範囲を含む。
【0011】
そして、選択した平滑化条件に基づいて、走査範囲内について移動量つ処理対象領域を移動して走査しながら入力画像のエッジが検出されていない処理対象領域内を平滑化する。すなわち、処理対象領域内にエッジ検出手段により検出されたエッジが存在するか否かを判断し、エッジが存在する場合には平滑化するのは妥当でないと判断し、設定された移動量分処理対象領域を移動させ、同様の処理を行う。一方、エッジが存在しない場合には、その処理対象領域内を平滑化する。
【0012】
このような平滑化処理を、選択される平滑化条件を変えて複数行う。すなわち、選択した平滑化条件で走査範囲内全てについて平滑化が終了した場合には、複数の平滑化条件の中から別の平滑化条件を設定し、上記と同様の処理を行う。すなわち、処理対象領域の大きさ、移動量、走査範囲の少なくとも1つが前回とは異なる平滑化条件で平滑化処理を行う。
このように、選択される平滑化条件を変えて複数回行うことにより複数の平滑化画像を得る処理を、画像生成手段により生成された入力画像の解像度より低解像度の複数の解像度の変換画像の各々に対して行う。
入力画像を該入力画像の解像度よりも低解像度の変換画像に変換するには、例えば入力画像を複数画素を含む領域で分割し、該領域内の画素平均値を算出し、該算出した画素平均値を前記領域の画素値とすることにより行うことができる。
マップ画像生成手段は、前記複数の解像度の変換画像の各々に対して得られた前記複数の平滑化画像の論理和を取る処理を前記複数の解像度の変換画像毎に行うことにより、平滑化処理が行われた画像を表わすマップ画像を前記複数の解像度の変換画像毎に生成する。
合成手段は、生成した複数の解像度のマップ画像を前記入力画像と同一解像度のマップ画像に各々変換し、各々変換したマップ画像と前記入力画像とを合成する。
例えば複数種類の解像度の変換画像に対して種類の異なる平滑化条件で、すなわち高解像度の画像に対しては処理対象領域の大きさを小さくし、低解像度の画像に対しては処理対象領域の大きくして各々独立に平滑化処理を施し、この平滑化処理後の変換平滑化画像と入力画像とを合成することにより、効率よく平滑化処理を行うことができる。
【0013】
平滑化処理は、入力画像に対して直接行っても良く、この場合、平滑化処理の終了により最終的な処理画像が得られる。また、平滑化画像を生成し、生成した平滑化画像と入力画像とを合成することにより最終的な処理画像を得るようにしてもよい。
【0014】
このように、エッジ画素を含まない領域に対してのみ異なる複数の平滑化条件で平滑化処理を施すため、略均一色の領域や緩やかな階調変化を有するグラデーション領域を良好に再現することができる。
また、平滑化手段は、処理対象領域内に検出されたエッジが存在するか否かを判断し、エッジが存在しない場合に、処理対象領域を拡張するようにしてもよい。この際、処理対象領域内にエッジが存在すると判断されるまで処理対象領域を拡張し、拡張した処理対象領域にエッジが存在する場合には直前の処理対象領域を処理対象領域として再設定することが好ましい。これにより、より効率的に平滑化処理を行うことができる。
【0015】
なお、予め定められた複数の平滑化条件は記憶手段に記憶しておいてもよい。
これにより、平滑化条件の変更などが容易となる。
【0016】
また、平滑化手段は、処理対象領域内の画素値の平均値を求め、該求めた平均値で処理対象領域内の画素値を置換することにより処理対象領域内を平滑化してもよいし、処理対象領域内の画素値の中央値を求め、該求めた中央値で処理対象領域内の画素値を置換することにより処理対象領域内を平滑化してもよい。
【0021】
また、入力画像から線分要素を抽出する線分要素抽出手段と、入力画像から線分要素を除外した差分画像を生成する差分画像生成手段と、をさらに備え、平滑化手段は、差分画像に対して平滑化処理を複数行うようにしてもよい。
【0022】
すなわち、画像中に文字や表、罫線などの線分要素が存在する場合には、この線分要素を除外した差分画像に対して平滑化処理を複数行う。これにより、文字などの線分要素を含む画像においても精度よく平滑化処理を行うことができ、高画質化を図ることができる。
【0023】
また、線分要素に含まれる画素の画素値と予め定めた特定色の画素値とを比較し、線分要素に含まれる画素の画素値と予め定めた特定色の画素値との差が所定範囲内の場合に、線分要素に含まれる画素の画素値を特定色の画素値に置換するようにしてもよい。
【0024】
すなわち、例えば線分要素の3次元色空間における色分布を計測し、該計測した色分布に基づいて線分要素に含まれる画素の画素値と特定色の画素値との3次元色空間における距離を求め、該求めた距離が所定閾値以下の場合には、特定色に近い色であると判断し、特定色の画素値で置換する。これにより、線分要素中の色のばらつきを低減することができる。また、特定色を黒色とすることにより文字等の黒色が多い文書画像の画質を良好にすることができる。
【0025】
なお、画像を走査読み取りする画像読み取り手段により読み取った入力画像からエッジを検出するエッジ検出ステップと、前記入力画像の解像度より低解像度の変換画像を前記入力画像に基づいて複数生成する画像生成ステップと、前記入力画像より小さな大きさの処理対象領域、該処理対象領域の移動量、及び前記入力画像内の走査範囲の少なくとも一つが異なる予め定められた複数の平滑化条件から、1つの平滑化条件を選択し、かつ選択した平滑化条件に基づいて、前記走査範囲内について前記移動量ずつ前記処理対象領域を移動して走査しながら前記入力画像の前記エッジが検出されていない前記処理対象領域内を平滑化する平滑化処理を、選択される前記平滑化条件を変えて複数回行うことにより複数の平滑化画像を得る処理を、前記画像生成ステップにより生成された複数の解像度の変換画像の各々に対して行う平滑化ステップと、前記複数の解像度の変換画像の各々に対して得られた前記複数の平滑化画像の論理和を取る処理を前記複数の解像度の変換画像毎に行うことにより、平滑化処理が行われた画像を表わすマップ画像を前記複数の解像度の変換画像毎に生成するマップ画像生成ステップと、生成した複数の解像度のマップ画像を前記入力画像と同一解像度のマップ画像に各々変換し、各々変換したマップ画像と前記入力画像とを合成する合成ステップと、を含み、前記平滑化ステップは、前記処理対象領域内に検出された前記エッジが存在するか否かを判断し、前記エッジが存在しない場合には前記処理対象領域を拡張する処理を前記処理対象領域内に前記エッジが存在すると判断されるまで繰り返し、拡張した前記処理対象領域にエッジが存在する場合には直前の処理対象領域を処理対象領域として再設定する処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体により、コンピュータ上で上記の処理を実行させることができる。
【0026】
また、その他の上記各処理についても、これらの処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体により、コンピュータ上で実行させることができる。
【0027】
【発明の実施の形態】
[第1実施形態]
以下、図面を参照して本発明の第1実施形態について説明する。図1には本発明に係る画像処理装置10の概略ブロック図が示されている。
【0028】
図1に示すように、画像処理装置10は、画像入力手段12、画像処理手段14、画像記憶手段16、画像表示手段18、画像出力手段20、及び通信手段22で構成されている。
【0029】
画像入力手段12は、画像を入力するためのものであり、例えばフラットベッドスキャナ等のカラー画像入力機器である。画像処理手段14は、画像入力手段12で入力した入力画像に対して高画質化のための画像処理を施すためのものである。画像記憶手段16は、画像入力手段12から入力されたカラ一原画像や画像処理手段14によって補正処理されたカラー画像等を蓄積・保持するものである。画像表示手段18は、画像処理手段14で補正処理が行われたカラー画像を表示するためのものである。画像出力手段20は、画像処理手段14で補正処理が行われたカラー画像を印刷するためのものである。通信手段22は、画像処理手段14で補正処理が行われたカラー画像を例えば他の機器へ送信するためのものである。
【0030】
なお、画像入力手段12は本発明の画像読み取り手段に、画像処理手段14は本発明のエッジ検出手段、平滑化手段、画像生成手段、線分要素抽出手段、差分画像生成手段に、画像記憶手段16は本発明の記憶手段に各々対応する。
【0031】
このような画像処理装置10では、処理対象となる例えば用紙上に記録された文書画像は画像入力手段12で読み込まれる。画像入力手段12は、読み込んだ画像を例えば1画素当たりR,G,B各8ビットのフルカラー画像として画像処理手段14へ出力する。
【0032】
画像処理手段14で補正処理が施されたカラー画像は、画像記憶手段16に蓄積・保持されたり、画像表示手段18で表示されたり、画像出力手段20から印刷出力されたり、通信手段22を介して他のデジタルカラー処理機器へ送信されたりする。
【0033】
次に、画像処理手段14において実行されうる画像処理の詳細について説明する。
【0034】
図2には本実施形態における画像処理の概略的な流れを示すフローチャートを示した。図2に示すように、まず、画像入力手段12から入力されたデジタルカラー画像に対してエッジ検出処理が施される(ステップ100)。ここでは、入力されたR(赤),G(緑),B(青)の各画像それぞれに対してSobelオペレーション等の公知のエッジ検知処理を施した後、得られた2値画像の論理和をとってエッジ情報を表す2値画像を生成しエッジ画像24として画像記憶手段16に記憶する。
【0035】
次に、生成されたエッジ画像24を参照しながら、R,G,Bの各画像に対して平滑化処理を行う(ステップ102)。
【0036】
なお、エッジ検出処理は本発明のエッジ検出手段に、平滑化処理は本発明の平滑化手段に各々対応する。
【0037】
この平滑化処理について図3に示すフローチャートを参照して説明する。図3に示すように、まず平滑化条件の設定が行なわれる(ステップ200)。すなわち、本実施形態における平滑化処理は、入力画像に対して複数の平滑化フィルタを繰り返しかけることによって行われるが、この平滑化フィルタのパラメータが設定される。
【0038】
平滑化フィルタは、図4(a)、(b)に示すように、「フィルタサイズ」、「オフセット」、及び「オーバーラップ」の3つのパラメータによって規定されるものである。
【0039】
フィルタサイズは、図4(a)、(b)に示すように、処理対象領域としての注目領域26の大きさ、すなわち縦横のサイズ(画素数)を決定するためのパラメータであり、縦横同一サイズ、すなわち正方形状のフィルタとなるようにしてもよいし、縦横が異なるサイズ、すなわち長方形状のフィルタとなるようにしてもよい。
【0040】
オフセットは、図4(b)に示すように、平滑化処理の開始点、すなわち入力画像28の端部から平滑化フィルタをかける平滑化領域30の端部までの距離を決定するためパラメータであり、原点、例えば原稿端部(図4(b)において左上端部)からの距離を示す画素数で表すことができる。なお、オフセットは、縦横同一のオフセットとしてもよいし、縦のオフセットと横のオフセットが異なっていても良い。
【0041】
オーバーラップは、図4(b)に示すように、平滑化フィルタによる処理を重複させる重複領域32の幅を決定するためのパラメータであり、縦横共に同一幅でオーバーラップされるように設定してもよいし、縦横がそれぞれ異なる幅でオーバーラップされるように設定してもよい。
【0042】
平滑化処理は、前記3つのパラメータによって規定された注目領域26の画素値を代表値に置き換えることによって実現される。すなわち、前記平滑化条件の設定は前記3つのパラメータを設定して平滑化フィルタを設定することである。
【0043】
平滑化処理の画像走査は1画素単位に注目領域26を移動させるものではなく、移動量(=フィルタサイズ−オーバーラップ)で決定される画素幅で注目領域26の移動を行なう。
【0044】
図5には平滑化フィルタで処理される平滑化領域30の一例を示した。図5(a)には、フィルタサイズ=5、オフセット=0、オーバーラップ=0のパラメータで規定される平滑化フィルタにより処理される平滑化領域30が示されている。図5(b)には、フィルタサイズ=9、オフセット=5、オーバーラップ=0のパラメータで規定される平滑化フィルタにより処理される平滑化領域30が示されている。図5(c)には、フィルタサイズ=7、オフセット=4、オーバーラップ=2のパラメータで規定される平滑化フィルタにより処理される平滑化領域30が示されている。図5(d)には、フィルタサイズ=8、オフセット=2、オーバーラップ=3のパラメータで規定される平滑化フィルタにより処理される平滑化領域30が示されている。
【0045】
このように、各パラメータを変更することにより適用する平滑化フィルタの特性を異ならせることによって、平滑化処理に起因して発生するブロック状のノイズや疑似輪郭の発生を防止することが可能となる。
【0046】
画像記憶手段16には、複数種類の平滑化フィルタのパラメータが例えば以下の表1で示すような平滑化フィルタデータとして記憶される。
【0047】
【表1】
Figure 0004568460
【0048】
上記平滑化条件の設定(ステップ200)では、画像記憶手段16に記憶された平滑化フィルタのパラメータを読み出して設定する。例えば上記表1に示した平滑化フィルタのパラメータを用いる場合には、まずフィルタNo1のパラメータ、すなわちフィルタサイズ=52、オフセット=10、オーバーラップ=8で規定される平滑化フィルタが設定される。
【0049】
次に、エッジ検出処理で生成されたエッジ画像24を参照し、注目領域26の中にエッジ画素が存在するか否かの判定が行なわれる(ステップ202)。ここで、注目領域26の中にエッジ画素が存在しない場合には、平滑化処理が行なわれる(ステップ204)。
【0050】
平滑化処理は、注目領域26の全画素を代表色で置き換えることによって実現される。例えば注目領域26内の平均値を求めてこれを代表色値とし、全画素を代表色値で置き換える。
【0051】
一方、注目領域26の中にエッジ画素が存在する場合には、平滑化処理を施すのは不適切と判断し、平滑化処理を行わずに次の処理に移行する。
【0052】
次に、画像走査が終了したか否か、すなわち、平滑化領域30全てに対して平滑化処理が終了したか否かを判断し(ステップ206)、終了していない場合には、上記ステップ202〜206の処理を繰り返す。
【0053】
一方、平滑化領域30全てに対して平滑化処理が終了した場合には、全ての平滑化フィルタについて上記の処理が終了したか否かを判断し(ステップ208)、終了した場合には、本処理を終了する。
【0054】
一方、全ての平滑化フィルタについて上記の処理が終了していない場合には、ステップ200に戻り、次の平滑化パラメータ、すなわち、上記表1のフィルタNo2のパラメータ、すなわちフィルタサイズ=32、オフセット=8、オーバーラップ=10で規定される平滑化フィルタが設定され、上記と同様の処理が行われる。以下同様にして順次平滑化処理が行われ、最後にフィルタNo8のパラメータで規定される平滑化フィルタによる平滑化処理が行われ、本処理が終了する。
【0055】
なお、2回目以降の平滑化処理では、それ以前に施されている平滑化処理によって、注目領域26が既に均一色化されている場合が多い。均一化されている領域に対してさらに平均値の算出や画素値置換処理を施すのは処理速度の観点から好ましくない。従って、平滑フィルタの設定にも依存するが、平滑化処理は例えば上記表1に示すようにフィルタサイズの大きいものから順に行うことが好ましい。さらに、各平滑化フィルタによる平滑化処理の前若しくは平均値算出時に、注目領域26が略均一色となっているか否かの判定を行ない、略均一色となっている場合にはその注目領域26の平滑化処理を行わないようにすることがより好ましい。これらの処理を行うことにより、本処理の簡素化及び高速化を図ることが可能となる。
【0056】
このような処理によって平滑化処理される平滑化領域30の一例について図6に示す。図6(a)にはエッジ検出によって生成されたエッジ画像24が示されている。図6(a)に示すように、エッジ画像24はエッジ画素34を含んだ画像である。このようなエッジ画像24を参照し、例えば図5(a)に示したようなフィルタサイズ=5、オフセット=0、オーバーラップ=0のパラメータで規定される平滑化フィルタによりエッジ画素34が存在しない領域に対してのみ平滑化処理を行なうことにより、図6(b)に示すように、エッジ画素34を除外した領域のみ平滑化領域30(図中斜線で示した領域)となる。
【0057】
また、同様に、例えば図5(c)に示したようなフィルタサイズ=7、オフセット=4、オーバーラップ=2のパラメータで規定される平滑化フィルタによりエッジ画素が存在しない領域に対してのみ平滑化処理を行なうことにより、図6(c)に示すように、エッジ画素34を除外した領域のみが平滑化領域30(図中斜線で示した領域)となる。また、図中網線で示される領域は、重複して平滑化処理が施される領域である。
【0058】
以上のように、エッジ画素を含まない領域に対してのみ条件(パラメータ)の異なる複数の平滑化フィルタにより平滑化処理を施すことにより、良好なスムージング効果を得ることができる。
【0059】
なお、本実施形態では注目領域の画素値を置換する代表値として、注目領域の平均値を用いる例を示したが、本発明はこれに限定されるものではない。例えば領域内の中央値、すなわち注目領域内で最も小さい画素値と最も大きい画素値との中間の値を代表色値として設定してもよい。これにより演算を簡素化することができる。また、平滑化フィルタのパラメータに領域内画素に対する重み係数を追加し畳み込み演算によって代表値を決定するようにしてもよい。
【0060】
[第2実施形態]
次に、本発明の第2実施形態について説明する。第2実施形態では、上記第1実施形態で説明した「フィルタサイズ」、「オフセット」、及び「オーバーラップ」で規定される平滑化フィルタをエッジが検出されるまでそのサイズを拡張する場合について説明する。
【0061】
すなわち、本実施形態では、図7(a)に示すような初期設定で設定された平滑化フィルタによる平滑化領域30を、エッジ画像24を参照しながらエッジ画素34に接するまで拡張していき(以下、このような平滑化フィルタを拡張フィルタと称する)、接した時点で図7(b)に示すような平滑化領域30を確定する。
【0062】
拡張フィルタの場合にも、初期パラメータとして「フィルタサイズ」、「オフセット」、及び「オーバーラップ」の3つのパラメータが設定されるが、上記第1実施形態で説明した平滑化フィルタとは異なり、エッジ画素34の位置によってフィルタサイズが可変となるため、オフセットやオーバーラップのパラメータの重要度は低い。
【0063】
このような処理によって平滑化処理される平滑化領域30の一例について図8に示す。図8(a)にはエッジ検出によって生成されたエッジ画像24が示されている。図6(a)に示すように、エッジ画像24はエッジ画素34を含んだ画像である。このようなエッジ画像24を参照し、例えば図5(a)に示したようなフィルタサイズ=5、オフセット=0、オーバーラップ=0のパラメータを初期設定値とした拡張フィルタにより平滑化処理を行なうことにより、図8(b)に示すように、エッジ画素34を除外した領域のみが平滑化領域30(図中斜線で示した領域)となる。
【0064】
また、同様に、例えば図5(c)に示したようなフィルタサイズ=7、オフセット=4、オーバーラップ=2のパラメータを初期設定値とした拡張フィルタにより平滑化処理を行なうことにより、図8(c)に示すように、エッジ画素34を除外した領域のみが平滑化領域30(図中斜線で示した領域)となる。
【0065】
次に、具体的な処理について図9に示すフローチャートを参照して説明する。
なお、上記第1実施形態で説明した処理と同様の処理については同一符号を付し、その詳細な説明は省略する。
【0066】
まず、図2に示すようにエッジ検出が行われてエッジ画像が生成され(ステップ100)、平滑化処理が行われる(ステップ102)。
【0067】
図9に示すように、平滑化処理では、拡張フィルタの初期条件、すなわち前記3つのパラメータの初期値が設定される(ステップ200)。次に、エッジ検出処理で生成されたエッジ画像24を参照し、初期設定で設定された平滑化フィルタによる注目領域26の中にエッジ画素が存在するか否かの判定が行なわれる(ステップ202)。
【0068】
そして、注目領域26内にエッジ画素が存在する場合には、その注目領域26は平滑化処理の対象外の領域であると判断し、次の処理へ移行する。一方、注目領域26内にエッジ画素が存在しない場合には、エッジ画像24を参照しながら注目領域26の拡張、すなわち平滑化フィルタのサイズの拡張を行なう(ステップ300)。ここで、注目領域26の拡張は、例えば初期設定領域から水平方向及び垂直方向にそれぞれ1画素ずつ領域を拡大することにより行われる。
【0069】
そして、拡張された領域内にエッジ画素があるか否かを判定し(ステップ302)、拡張領域内にエッジ画素が存在しない場合には注目領域26をさらに縦横1画素ずつ拡張して上記と同様の判定を行う(ステップ300、302)。
【0070】
一方、拡張領域内にエッジ画素が存在すると判定された場合には、その時点における注目領域26を平滑化領域として確定する(ステップ304)。そして、確定された平滑化領域の全画素値を注目領域の平均値に置換することによって平滑化処理が行なわれる(ステップ204)。
【0071】
次に、画像走査が終了したか否か、すなわち、平滑化領域30全てに対して平滑化処理が終了したか否かを判断し(ステップ206)、終了していない場合には、上記ステップ202、300、302、204、206の処理を繰り返す。
【0072】
一方、平滑化領域30全てに対して平滑化処理が終了した場合には、全ての平滑化フィルタについて上記の処理が終了したか否かを判断し(ステップ208)、終了した場合には、本処理を終了する。
【0073】
一方、全ての平滑化フィルタについて上記の処理が終了していない場合には、ステップ200に戻り、次の平滑化パラメータが設定され、上記と同様の処理が行われる。以下同様にして順次平滑化処理が行われ、最後の平滑化フィルタによる平滑化処理が行われて本処理が終了する。
【0074】
以上のように、平滑化すべき領域をエッジ画像に基づいて拡張していく平滑化フィルタを用いることにより、広い面積を有する領域を効率的にスムージングする事が可能となる。
【0075】
なお、本実施形態では正方形状の平滑化処理領域を水平方向と垂直方向にそれぞれ等しく拡張していく場合について説明したが、本発明はこれに限定されるものではない。例えば図10(a)に示すような長方形の平滑化領域30を図10(b)に示すように相似形に拡張していっても良いし、また、図10(c)に示すような長方形の平滑化領域30を図10(d)に示すように非相似形の形状に拡張していってもよい。
【0076】
[第3実施形態]
次に、本発明の第3実施形態について説明する。上記第2実施形態で説明した拡張フィルタは、広い面積を持つ非エッジ領域を平滑化する際に非常に効率的であるが、文字や入り組んだエッジ近辺を処理するには上記第1実施形態で説明したような平滑化フィルタのフィルタサイズを小さく設定して処理することが効果的である。従って、本実施形態では、両者を組合わせて平滑化を行なう事によってより効果的な平滑化処理を行う場合について説明する。
【0077】
図11には、上記第1実施形態で示した平滑化フィルタ(以下、通常フィルタと称する)及び上記第2実施形態で説明した拡張フィルタの双方を用いる場合の平滑化処理の流れを示した。なお、第2実施形態で説明した処理と同一処理については同一符号を付し、その詳細な説明は省略する。
【0078】
図11に示すように、まず平滑化条件を設定する(ステップ200)。以下に本実施形態で使用される平滑化フィルタデータを示す。
【0079】
【表2】
Figure 0004568460
【0080】
表2に示すように、フィルタNo1の平滑化フィルタ、すなわち最初に設定される平滑化フィルタは、パラメータがフィルタサイズ=13、オフセット=0、オーバーラップ=0の拡張フィルタであり、それ以降のフィルタNo1〜No6のパラメータは第1実施形態で説明した通常フィルタである。
【0081】
従って、上記平滑化条件の設定(ステップ200)では、まず最初にフィルタNo1の拡張フィルタが設定される。
【0082】
次に、設定されたフィルタが通常フィルタであるか拡張フィルタであるかのフィルタ種類の判定が行なわれる(ステップ306)。そして、通常フィルタが設定されていると判定された場合には、上記第1実施形態で説明したのと同様の通常フィルタによる平滑化処理が行なわれる(ステップ308)。すなわち、図3に示すステップ202〜206の各処理が行われる。
【0083】
一方、拡張フィルタが設定されていると判定された場合には、上記第2実施形態で説明したのと同様の拡張フィルタによる平滑化処理が行なわれる(ステップ310)。すなわち、図9に示すステップ202、300、302、304、204、206の各処理が行われる。
【0084】
次に、全ての平滑化フィルタについて上記の処理が終了したか否かを判断し(ステップ208)、全ての平滑化フィルタについて上記の処理が終了していない場合には、ステップ200に戻り、次の平滑化パラメータが設定され、上記と同様の処理が行われる。以下同様にして順次平滑化処理が行われ、最後の平滑化フィルタによる平滑化処理が行われて本処理が終了する。
【0085】
以上のように平滑化すべき領域をエッジ情報に基づいて拡張していく拡張フィルタ及び通常フィルタを組み合わせて平滑化処理することにより、文字や入り組んだエッジ等を含む画像でも効率的にスムージングする事が可能となる。
【0086】
[第4実施形態]
次に、本発明の第4実施形態について説明する。本実施形態では、入力画像に対して縮小処理を行なって複数の解像度を有する画像を生成し、この複数レベルの画像に対して各々条件の異なる平滑化処理を行う場合について説明する。
【0087】
図12に示すように、本実施形態では、入力画像40に対して縮小処理を行ない、複数の解像度を有する変換画像42A,42B,42C、42D…を生成する。そして、生成された各変換画像を用いて、広い参照領域を必要とする場合は低解像度の変換画像、例えば変換画像42Dに対して平滑化処理を行なって平滑化画像44Dを生成し、文字やエッジ近辺等の狭い参照領域で平滑化処理を行う必要がある場合には高解像度の画像、例えば変換画像42Aに対して平滑化処理を行なって平滑化画像44Aを生成する。そして、これら複数の平滑化画像を統合することにより最終的な処理画像46を得る。
【0088】
次に、図13に示すフローチャートを参照して具体的な画像処理の流れについて説明する。なお、上記実施形態で説明した処理と同様の処理については同一符号を付し、その詳細な説明は省略する。
【0089】
まず、画像入力手段12により入力された入力画像40に対して内部データ構造への解像度変換処理が行なわれる(ステップ400)。図14には、この解像度変換の具体例について示した。なお、図中A〜Iはそれぞれの画素の画素値を示す。図14(a)に示す所定レベルKの画像を例えば50%縮小して図14(b)に示す一つ上位の(解像度が低い)レベル(K+1)の画像を生成するには、図14(a)に示すように、縦横2画素ずつ合計4画素を1つのブロック50とし、このブロック50内の画素値の平均値、すなわち、E=(A+B+C+D)/4を求め、この求めた平均値Eをレベル(K+1)の画像の1画素の画素値とする。これをレベルKの画像全てについて行うことにより、レベルKの画像を50%縮小したレベル(K+1)の画像が生成される。
【0090】
同様に、図14(b)に示すレベル(K+1)の画像を50%縮小して図14(c)に示す一つ上位のレベル(K+2)の画像を生成するには、図14(b)に示すように、縦横2画素ずつ合計4画素を1つのブロック52とし、このブロック52内の画素値の平均値、すなわち、I=(E+F+G+H)/4を求め、この求めた平均値Iをレベル(K+2)の画像の1画素の画素値とする。これをレベル(K+1)の画像全てについて行うことにより、レベル(K+1)の画像を50%縮小したレベル(K+2)の画像が生成される。なお、縮小率は50%に限らず、任意に設定可能である。
【0091】
このような処理を行うことにより、図15に示すような解像度が異なる複数レベルの画像が生成される。なお、図15に示したように、本実施形態では入力画像(原画像)の解像度をレベル0として、入力画像に対して50%縮小処理を施した解像度をレベル1、さらにレベル1の画像に対して50%縮小処理を行なった解像度をレベル2、以後同様にレベル3,レベル4…とする。従って、レベルが高くなる(レベルが上位になる)に従って解像度は低下し、逆にレベルが低くなる(レベルが下位になる)に従って画像の解像度は高くなる。
【0092】
このようにして解像度変換を行った結果生成された内部データ構造60の構成を示した。この内部データ構造60は、ヘッダ情報62及びポインタ情報64で構成されている。
【0093】
ヘッダ情報62は、解像度変換で生成される画像の数、すなわちレベル数N及び画像情報で構成される。画像情報には入力画像の幅、高さ、1画素当たりのビット数等の情報が含まれる。
【0094】
ポインタ情報64は、レベル数N分のポインタ(アドレス)で構成されている。このポインタは、対応するレベルの画像データ66、具体的にはR,G,Bの各画素値が記憶された領域へのアドレスである。このポインタを参照することにより、対応するレベルの画像データ66がどのアドレスに格納されているかを知ることができる。
【0095】
次に、生成した各レベルの画像に対してエッジ検出処理(ステップ100)が行なわれ、エッジ画像24が生成される。そして、生成したエッジ画像を参照して平滑化処理が行われる(ステップ102)。
【0096】
ここで行なわれるエッジ検出処理及び平滑化処理は、上記第1実施形態及び上記第2実施形態で説明したのと同様の処理であるが、処理パラメータ、例えばエッジ検出に用いるエッジ検出オペレーションの計数やエッジ判定に用いられる閾値パラメータ、平滑化処理に用いる平滑化フィルタの設定、すなわち通常の平滑化フィルタや拡張フィルタの「フィルタサイズ」、「オフセット」、及び「オーバーラップ」の各種パラメータとその組合わせはレベル毎に独立に設定される。
【0097】
以下に、平滑化フィルタデータの一例を示す。
【0098】
【表3】
Figure 0004568460
【0099】
この例では、比較的解像度の低いレベル3、レベル2の画像に対しては、拡張フィルタ及び通常フィルタの組み合わせで平滑化処理し、比較的解像度の高いレベル1,レベル0の画像に対しては通常フィルタを用いて平滑化処理するようなデータとなっている。また、高解像度の画像に対しフィルタサイズが大きいフィルタで平滑化処理すると処理時間が長くなり効率的でないため、高解像度の画像に対して用いるフィルタは比較的フィルタサイズが小さく、低解像度の画像に対して用いるフィルタは比較的フィルタサイズが大きくなっている。なお、表3ではレベル数は0〜3までの4つとしているが、これに限らず、さらに多いレベル数又は少ないレベル数でもよい。
【0100】
平滑化処理では、例えば上記表3に示す各フィルタにより対応するレベルの画像に対して平滑化処理し、処理後の各レベルの画像から後述する画像統合処理に必要とされるマップ画像(平滑化画像)44を生成する。マップ画像44は、例えば平滑化処理が行なわれた後の2値画像情報である。
【0101】
図17(f)には所定レベルの画像に対して平滑化処理を施した場合のマップ画像44の一例を示した。図17(a)にはエッジ検出によって生成されたエッジ画像24が示されている。図17(a)に示すように、エッジ画像24はエッジ画素34を含んだ画像である。このようなエッジ画像24を参照し、例えば図5(a)に示したようなフィルタサイズ=5、オフセット=0、オーバーラップ=0のパラメータで規定される通常フィルタにより平滑化処理を行なうことにより、図17(b)に示すように、エッジ画素34を除外した領域のみが平滑化領域30(図中斜線で示した領域)となる。
【0102】
また、例えば図5(c)に示したようなフィルタサイズ=7、オフセット=4、オーバーラップ=2のパラメータで規定される通常フィルタにより平滑化処理を行なうことにより、図17(c)に示すように、エッジ画素34を除外した領域のみが平滑化領域30(図中斜線で示した領域)となる。
【0103】
また、例えば図5(a)に示したようなフィルタサイズ=5、オフセット=0、オーバーラップ=0のパラメータを初期値とした拡張フィルタにより平滑化処理を行なうことにより、図17(d)に示すように、エッジ画素34を除外した領域のみが平滑化領域30(図中斜線で示した領域)となる。
【0104】
また、例えば図5(c)に示したようなフィルタサイズ=7、オフセット=4、オーバーラップ=2のパラメータを初期値とした拡張フィルタにより平滑化処理を行なうことにより、図17(e)に示すように、エッジ画素34を除外した領域のみが平滑化領域30(図中斜線で示した領域)となる。
【0105】
そして、マップ画像44は、図17(f)に示すように、上記4種類のフィルタ処理が行なわれた後の各平滑化領域30の画素の論理和(図中黒く塗りつぶした領域)をとる事によって得られる。
【0106】
次に、生成されたマップ画像44を参照し、各レベルの画像を統合する(ステップ402)。図18(b)〜(e)には各レベルで生成された平滑化処理後のマップ画像44を示した。図18(a)はエッジ画像24であり、図18(b),(c),(d),(e)は、それぞれレベル0,1,2,3の変換画像で平滑化処理が施された後のマップ画像44A,44B,44C、44Dをそれぞれ示す。
【0107】
画像統合処理では、図12に示すように、まず各マップ画像44を拡大する処理が行なわれる。図19(b),(c),(d),(e)には図18(b),(c),(d),(e)に示すマップ画像を拡大した変換平滑化画像としての拡大マップ画像を各々示した。
【0108】
このように、全てのマップ画像44の解像度を同じにした後、各マップ画像44を参照し、平滑化領域30の各画素の画素値を入力画像40に対して書き込んでいくことにより画像統合が完成し、図19(f)に示すような最終的な処理画像46が生成される。
【0109】
このように、入力画像から入力解像度よりも低解像度の変換画像を生成し、複数種類の解像度の変換画像に対して種類の異なるフィルタ、すなわち高解像度の画像に対してはフィルタサイズが小さいフィルタを、低解像度の画像に対してはフィルタサイズが大きいフィルタを用いて各々独立に平滑化処理を施し、この平滑化処理後の画像と入力画像とを合成することにより、効率よく平滑化画像を得ることができる。
【0110】
[第5実施形態]
次に、本発明の第5実施形態について説明する。本発明は、広い面積を有する画素値の変動の少ない領域に対して平滑化処理を施すことによって文書画像を高品質化するものであるが、文書画像には図20(a)に示すように文字70が含まれていたり、図20(b)に示すように表・罫線72などの文書構成要素が平滑化対象となる領域に存在する場合が多い。
【0111】
そこで、本実施形態では、このような平滑化処理対象中に線要素を含む画像をより高品質に再現する処理を行なう場合について説明する。
【0112】
図21に示すように、まず入力画像40から線分要素の抽出を行ない、入力画像40を線分画像74と入力画像から線分要素を除去した差分画像76とに分離する。その後、差分画像76に対してエッジ検出処理を行ってエッジ画像24を生成する。そして、エッジ画像24及び差分画像76に対して解像度変換を行って複数の変換画像を生成し、これらに対してそれぞれ平滑化処理を施して平滑化画像を生成して統合すると共に線分画像74に対して減色処理を施す。そして、減色処理された線分画像と統合された平滑化画像とを統合することによって最終的な処理画像46を得る。
【0113】
次に、図22に示すフローチャートを参照して具体的な画像処理の流れについて説明する。なお、上記実施形態で説明した処理と同様の処理については同一符号を付し、その詳細な説明は省略する。
【0114】
まず、画像入力手段12により入力された入力画像40に対して線分要素抽出処理が行なわれる(ステップ500)。線分要素の抽出処理には多くの公知な手法が存在するが、本実施形態の場合には、浮動2値化処理及び孤立ノイズ除去処理という2つの公知手法を用いる。
【0115】
浮動2値化処理では、注目画素と周辺領域の平均色との差異を所定閾値と比較し、色の差異が所定閾値を越える場合には注目画素を線分要素の候補とする。この時の参照する周辺領域は、抽出したい文字・線分要素の大きさや入力画像の解像度に依存するが、本発明の主たる適用対象である文書画像の場合には、入力解像度は200〜400dpi(dot per inch)、文書中の文字サイズは6〜50ポイント程度が一般的であるため、例えば21×21画素から51×51画素程度が好ましい。また、色の差異を求めるにあたっては例えばRGB色空間における2色の3次元距離を用いる。
【0116】
以上の処理によって抽出された線分要素候補に対して孤立ノイズの除去処理を行なう。これは、文書中の汚れや綱点など、誤って抽出された線分要素候補を除去する為に行なう処理である。孤立ノイズであるか否かの判定は、例えば注目線分要素候補の画素の周辺7×7画素領域において、線分要素候補として抽出された画素の画素数と抽出/非抽出の反転回数をカウントし、画素数が所定閾値に満たないか、或いは反転回数が所定閾値を越える場合には、その画素は誤抽出されたノイズ成分と判断して線分要素候補から除外する。以上のような処理によって入力画像から線分要素が抽出される。
【0117】
次に、抽出された線分要素を参照し、入力画像40を線分画像74と差分画像76とに分離する画像分離処理が行なわれる(ステップ502)。図23には、線分画像74及び差分画像76の一例を示した。図23(a)に示すような入力画像40から線分要素を抽出すると図23(b)に示すような線分画像74が得られる。そして、この線分画像74を入力画像40から除去することにより図23(c)に示すような画像が生成され、除去された画素の画素値を周辺画素から補間した値に置き換える事によって図23(d)に示すような差分画像76が得られる。
【0118】
差分画像76は、データ構造変換処理により複数の解像度を有する内部データ構造へ変換される(ステップ400)。これにより、図21に示すように、変換差分画像76A,76B,76C,76D…が生成される。また、エッジ検出処理(ステップ100)が施されてエッジ画像24が生成される。エッジ検出処理で検出されたエッジ画像24に対しては差分画像76と同様に縮小処理(データ構造変換処理)が施され、図21に示すように、変換差分画像と同じ数の変換エッジ画像24A,24B,24C,24D…が生成される(ステップ504)。
【0119】
図24には、エッジ画像の一例を示した。図24(a)はエッジ画像24が、図24(b)には変換エッジ画像24Bが、図24(c)には変換エッジ画像24Cがそれぞれ示されている。エッジ画像24に対する縮小処理(ステップ504)では、例えば4画素の論理和をとることによって行なわれる。すなわち、図24(a)に示すエッジ画像24の2×2画素の画素値の論理和を求め、この論理和の値を図24(b)に示すエッジ画像24Bの1画素の値とする。これにより、エッジ画像24を50%縮小した、すなわち解像度を1/2にした変換エッジ画像24Bが得られる。同様に、エッジ画像24Bから図24(c)に示すような変換エッジ画像24Cを生成することができる。
【0120】
このような処理によりエッジ画像24のデータ構造変換を行なうことにより、あるレベルの画像ではエッジ検出される画素が異なるレベルの画像ではエッジ検出されなかったり、またはあるレベルの画像ではエッジ検出されない画素が異なるレベルの画像ではエッジ検出されたりすることを防ぐことができる。これにより、平滑化画像を統合する際の不整合を防止することができる。
【0121】
そして、このようにして生成された変換エッジ画像及び変換差分画像に対して平滑化処理を行い(ステップ102)、各レベルのマップ画像44(平滑化画像)を生成する。そして、複数レベルのマップ画像44を画像統合する(ステップ402)。
【0122】
一方、線分画像74に対しては減色処理が施される(ステップ506)。ここでは、例えば線分画像74中の黒画素を検知して純粋な黒色、すなわちR,G,Bの各画素値をR=G=B=0に置換する処理が行なわれる。これは、文書画像中の黒文字や黒線をより良好に表現する為の処理であり、線分画像74の各画素の色と黒とのRGB3次元色空間における距離を所定閾値と比較して、閾値以下すなわち黒に十分近いと判断される場合には、その画素の値をR=G=B=0に置換することによって実現される。
【0123】
なお、この減色処理は黒色のみに対して行う場合に限定されるものではなく、黒の他にも、白・赤・青・緑・黄色・マゼンタ・シアン等の純色について同様の処理を行っても良い。このような純色の画素を正確に再現することは文書画像を高品質にする上で非常に効果的である。また、各種提案されている減色処理の手法をこの線分画像に施すことによって、予め設定された色だけではなく、処理画像に応じて適応的に特定色の文字や線分要素を高品質化する事が可能となる。
【0124】
そして、減色処理された線分画像を統合された平滑化画像に書き込むことにより最終的な処理画像46が生成される(ステップ508)。
【0125】
このように、入力画像を線分画像と差分画像に分離してそれぞれに対して解像度変換及び平滑化処理を施し、処理後の画像を統合することにより、平滑化処理対象となる領域に文字や罫線などの線分要素が存在するような文書であっても良好な画質を得る事が可能となる。
【0126】
【発明の効果】
以上説明したように、本発明によれば、文書画像などの比較的広い面積を有する同一色領域が多い画像を走査読み取りした場合でも、読み取った画像を高画質化することができる、という効果を有する。
【図面の簡単な説明】
【図1】本発明に係る画像処理装置の概略構成図である。
【図2】画像処理の流れを示すフローチャートである。
【図3】平滑化処理の流れを示すフローチャートである。
【図4】平滑化フィルタについて説明するための図である。
【図5】平滑化フィルタについて説明するための図である
【図6】平滑化領域について説明するための図である。
【図7】拡張フィルタについて説明するための図である。
【図8】平滑化領域について説明するための図である。
【図9】平滑化処理の流れを示すフローチャートである。
【図10】拡張フィルタについて説明するための図である。
【図11】平滑化処理の流れを示すフローチャートである。
【図12】平滑化処理の概念について説明するための図である。
【図13】画像処理の流れを示すフローチャートである。
【図14】解像度変換について説明するための図である。
【図15】解像度変換について説明するための図である。
【図16】内部データ構造の構成を示す図である。
【図17】マップ画像について説明するための図である。
【図18】画像統合について説明するための図である。
【図19】画像統合にについて説明するための図である。
【図20】文字や線分要素を含んだ文書画像の一例を示す図である。
【図21】平滑化処理の概念について説明するための図である。
【図22】画像処理の流れを示すフローチャートである。
【図23】差分画像について説明するための図である。
【図24】エッジ画像の縮小処理について説明するための図である。
【符号の説明】
10 画像処理装置
12 画像入力手段
14 画像処理手段
16 画像記憶手段
18 画像表示手段
20 画像出力手段
22 通信手段

Claims (8)

  1. 画像を走査読み取りする画像読み取り手段により読み取った入力画像からエッジを検出するエッジ検出手段と、
    前記入力画像の解像度より低解像度の変換画像を前記入力画像に基づいて複数生成する画像生成手段と、
    前記入力画像より小さな大きさの処理対象領域、該処理対象領域の移動量、及び前記入力画像内の走査範囲の少なくとも一つが異なる予め定められた複数の平滑化条件から、1つの平滑化条件を選択し、かつ選択した平滑化条件に基づいて、前記走査範囲内について前記移動量ずつ前記処理対象領域を移動して走査しながら前記入力画像の前記エッジが検出されていない前記処理対象領域内を平滑化する平滑化処理を、選択される前記平滑化条件を変えて複数回行うことにより複数の平滑化画像を得る処理を、前記画像生成手段により生成された複数の解像度の変換画像の各々に対して行う平滑化手段と、
    前記複数の解像度の変換画像の各々に対して得られた前記複数の平滑化画像の論理和を取る処理を前記複数の解像度の変換画像毎に行うことにより、平滑化処理が行われた画像を表わすマップ画像を前記複数の解像度の変換画像毎に生成するマップ画像生成手段と、
    生成した複数の解像度のマップ画像を前記入力画像と同一解像度のマップ画像に各々変換し、各々変換したマップ画像と前記入力画像とを合成する合成手段と、
    を有し、
    前記平滑化手段は、前記処理対象領域内に検出された前記エッジが存在するか否かを判断し、前記エッジが存在しない場合には前記処理対象領域を拡張する処理を前記処理対象領域内に前記エッジが存在すると判断されるまで繰り返し、拡張した前記処理対象領域にエッジが存在する場合には直前の処理対象領域を処理対象領域として再設定する
    画像処理装置。
  2. 前記予め定められた複数の平滑化条件を記憶する記憶手段をさらに備えたことを特徴とする請求項1記載の画像処理装置。
  3. 前記平滑化手段は、前記処理対象領域内の画素値の平均値を求め、該求めた平均値で前記処理対象領域内の画素値を置換することにより前記処理対象領域内を平滑化することを特徴とする請求項1又は請求項2記載の画像処理装置。
  4. 前記平滑化手段は、前記処理対象領域内の画素値の中央値を求め、該求めた中央値で前記処理対象領域内の画素値を置換することにより前記処理対象領域内を平滑化することを特徴とする請求項1又は請求項2記載の画像処理装置。
  5. 前記入力画像から線分要素を抽出する線分要素抽出手段と、前記入力画像から前記線分要素を除外した差分画像を生成する差分画像生成手段と、をさらに備え、前記平滑化手段は、前記差分画像に対して前記平滑化処理を複数行うことを特徴とする請求項1乃至請求項の何れか1項に記載の画像処理装置。
  6. 前記線分要素に含まれる画素の画素値と予め定めた特定色の画素値とを比較し、前記線分要素に含まれる画素の画素値と予め定めた特定色の画素値との差が所定範囲内の場合に、前記線分要素に含まれる画素の画素値を前記特定色の画素値に置換することを特徴とする請求項記載の画像処理装置。
  7. 前記特定色は黒色であることを特徴とする請求項記載の画像処理装置。
  8. 画像を走査読み取りする画像読み取り手段により読み取った入力画像からエッジを検出するエッジ検出ステップと、
    前記入力画像の解像度より低解像度の変換画像を前記入力画像に基づいて複数生成する画像生成ステップと、
    前記入力画像より小さな大きさの処理対象領域、該処理対象領域の移動量、及び前記入力画像内の走査範囲の少なくとも一つが異なる予め定められた複数の平滑化条件から、1つの平滑化条件を選択し、かつ選択した平滑化条件に基づいて、前記走査範囲内について前記移動量ずつ前記処理対象領域を移動して走査しながら前記入力画像の前記エッジが検出されていない前記処理対象領域内を平滑化する平滑化処理を、選択される前記平滑化条件を変えて複数回行うことにより複数の平滑化画像を得る処理を、前記画像生成ステップにより生成された複数の解像度の変換画像の各々に対して行う平滑化ステップと、
    前記複数の解像度の変換画像の各々に対して得られた前記複数の平滑化画像の論理和を取る処理を前記複数の解像度の変換画像毎に行うことにより、平滑化処理が行われた画像を表わすマップ画像を前記複数の解像度の変換画像毎に生成するマップ画像生成ステップと、
    生成した複数の解像度のマップ画像を前記入力画像と同一解像度のマップ画像に各々変換し、各々変換したマップ画像と前記入力画像とを合成する合成ステップと、
    を含み、
    前記平滑化ステップは、前記処理対象領域内に検出された前記エッジが存在するか否かを判断し、前記エッジが存在しない場合には前記処理対象領域を拡張する処理を前記処理対象領域内に前記エッジが存在すると判断されるまで繰り返し、拡張した前記処理対象領域にエッジが存在する場合には直前の処理対象領域を処理対象領域として再設定する
    処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2001269405A 2000-09-05 2001-09-05 画像処理装置及び記録媒体 Expired - Fee Related JP4568460B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/655,310 US6901170B1 (en) 2000-09-05 2000-09-05 Image processing device and recording medium
US655310 2000-09-05

Publications (2)

Publication Number Publication Date
JP2002135592A JP2002135592A (ja) 2002-05-10
JP4568460B2 true JP4568460B2 (ja) 2010-10-27

Family

ID=24628379

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001269405A Expired - Fee Related JP4568460B2 (ja) 2000-09-05 2001-09-05 画像処理装置及び記録媒体

Country Status (2)

Country Link
US (1) US6901170B1 (ja)
JP (1) JP4568460B2 (ja)

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100675498B1 (ko) * 1999-09-28 2007-02-05 코닌클리케 필립스 일렉트로닉스 엔.브이. 필터링 장치 및 방법
JP4172616B2 (ja) * 2001-09-21 2008-10-29 株式会社リコー 画像処理装置
KR100587143B1 (ko) * 2004-05-06 2006-06-08 매그나칩 반도체 유한회사 영상 신호의 에지 검출 방법
US8576924B2 (en) * 2005-01-25 2013-11-05 Advanced Micro Devices, Inc. Piecewise processing of overlap smoothing and in-loop deblocking
US9137417B2 (en) 2005-03-24 2015-09-15 Kofax, Inc. Systems and methods for processing video data
US8749839B2 (en) 2005-03-24 2014-06-10 Kofax, Inc. Systems and methods of processing scanned data
US9769354B2 (en) 2005-03-24 2017-09-19 Kofax, Inc. Systems and methods of processing scanned data
JP4664778B2 (ja) * 2005-09-08 2011-04-06 ヤンマー株式会社 栗の品質検査方法
US7649649B2 (en) * 2005-11-17 2010-01-19 Xerox Corporation Determining the color match between image data and graphics objects
KR100818988B1 (ko) * 2006-09-05 2008-04-04 삼성전자주식회사 영상신호 처리 방법 및 장치
US9576272B2 (en) 2009-02-10 2017-02-21 Kofax, Inc. Systems, methods and computer program products for determining document validity
US9349046B2 (en) 2009-02-10 2016-05-24 Kofax, Inc. Smart optical input/output (I/O) extension for context-dependent workflows
US9767354B2 (en) 2009-02-10 2017-09-19 Kofax, Inc. Global geographic information retrieval, validation, and normalization
US8958605B2 (en) 2009-02-10 2015-02-17 Kofax, Inc. Systems, methods and computer program products for determining document validity
US8774516B2 (en) 2009-02-10 2014-07-08 Kofax, Inc. Systems, methods and computer program products for determining document validity
JP5241584B2 (ja) * 2009-04-01 2013-07-17 キヤノン株式会社 画像処理装置および画像処理方法、並びにプログラム
US10097843B2 (en) * 2009-11-13 2018-10-09 Koninklijke Philips Electronics N.V. Efficient coding of depth transitions in 3D (video)
US9047531B2 (en) 2010-05-21 2015-06-02 Hand Held Products, Inc. Interactive user interface for capturing a document in an image signal
US8600167B2 (en) 2010-05-21 2013-12-03 Hand Held Products, Inc. System for capturing a document in an image signal
US8873801B2 (en) * 2010-08-03 2014-10-28 Empire Technology Development Llc Identification of objects in a video
JP5965638B2 (ja) * 2011-12-27 2016-08-10 オリンパス株式会社 画像処理システムを備えた顕微鏡システム
JP5777507B2 (ja) * 2011-12-27 2015-09-09 キヤノン株式会社 情報処理装置、情報処理方法、及びそのプログラム
US10146795B2 (en) 2012-01-12 2018-12-04 Kofax, Inc. Systems and methods for mobile image capture and processing
US9058580B1 (en) 2012-01-12 2015-06-16 Kofax, Inc. Systems and methods for identification document processing and business workflow integration
US9483794B2 (en) 2012-01-12 2016-11-01 Kofax, Inc. Systems and methods for identification document processing and business workflow integration
US9514357B2 (en) 2012-01-12 2016-12-06 Kofax, Inc. Systems and methods for mobile image capture and processing
US9058515B1 (en) 2012-01-12 2015-06-16 Kofax, Inc. Systems and methods for identification document processing and business workflow integration
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US10241639B2 (en) 2013-01-15 2019-03-26 Leap Motion, Inc. Dynamic user interactions for display control and manipulation of display objects
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9355312B2 (en) 2013-03-13 2016-05-31 Kofax, Inc. Systems and methods for classifying objects in digital images captured using mobile devices
US9208536B2 (en) 2013-09-27 2015-12-08 Kofax, Inc. Systems and methods for three dimensional geometric reconstruction of captured image data
CN105283884A (zh) 2013-03-13 2016-01-27 柯法克斯公司 对移动设备捕获的数字图像中的对象进行分类
WO2014200589A2 (en) 2013-03-15 2014-12-18 Leap Motion, Inc. Determining positional information for an object in space
US10620709B2 (en) 2013-04-05 2020-04-14 Ultrahaptics IP Two Limited Customized gesture interpretation
US20140316841A1 (en) 2013-04-23 2014-10-23 Kofax, Inc. Location-based workflows and services
JP5854333B2 (ja) * 2013-04-24 2016-02-09 株式会社メイクソフトウェア 画像出力装置
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
WO2014179752A1 (en) 2013-05-03 2014-11-06 Kofax, Inc. Systems and methods for detecting and classifying objects in video captured using mobile devices
US9436288B2 (en) 2013-05-17 2016-09-06 Leap Motion, Inc. Cursor mode switching
US9747696B2 (en) 2013-05-17 2017-08-29 Leap Motion, Inc. Systems and methods for providing normalized parameters of motions of objects in three-dimensional space
US10620775B2 (en) 2013-05-17 2020-04-14 Ultrahaptics IP Two Limited Dynamic interactive objects
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US10846942B1 (en) 2013-08-29 2020-11-24 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US10168873B1 (en) 2013-10-29 2019-01-01 Leap Motion, Inc. Virtual interactions for machine control
US9996797B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Interactions with virtual objects for machine control
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
WO2015073920A1 (en) 2013-11-15 2015-05-21 Kofax, Inc. Systems and methods for generating composite images of long documents using mobile video data
US9741169B1 (en) 2014-05-20 2017-08-22 Leap Motion, Inc. Wearable augmented reality devices with object detection and tracking
DE202014103729U1 (de) 2014-08-08 2014-09-09 Leap Motion, Inc. Augmented-Reality mit Bewegungserfassung
US9760788B2 (en) 2014-10-30 2017-09-12 Kofax, Inc. Mobile document detection and orientation based on reference object characteristics
US10429923B1 (en) 2015-02-13 2019-10-01 Ultrahaptics IP Two Limited Interaction engine for creating a realistic experience in virtual reality/augmented reality environments
US9696795B2 (en) 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
US10242285B2 (en) 2015-07-20 2019-03-26 Kofax, Inc. Iterative recognition-guided thresholding and data extraction
US9779296B1 (en) 2016-04-01 2017-10-03 Kofax, Inc. Content-based detection and three dimensional geometric reconstruction of objects in image and video data
US10803350B2 (en) 2017-11-30 2020-10-13 Kofax, Inc. Object detection and image cropping using a multi-detector approach
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
EP4177845A4 (en) * 2020-07-06 2023-12-20 Shining 3D Tech Co., Ltd. METHOD AND APPARATUS FOR GENERATION OF DIGITAL MODEL

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000013605A (ja) * 1998-06-18 2000-01-14 Minolta Co Ltd 画像処理装置および方法ならびに画像処理プログラムを記録した記録媒体

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3143209B2 (ja) * 1992-05-25 2001-03-07 株式会社リコー 画像変倍装置
JP3452212B2 (ja) 1994-07-07 2003-09-29 富士ゼロックス株式会社 減色処理を行なうカラー画像処理装置
JP3778229B2 (ja) 1996-05-13 2006-05-24 富士ゼロックス株式会社 画像処理装置、画像処理方法、および画像処理システム
US6055340A (en) * 1997-02-28 2000-04-25 Fuji Photo Film Co., Ltd. Method and apparatus for processing digital images to suppress their noise and enhancing their sharpness
US6185334B1 (en) * 1998-01-30 2001-02-06 Compaq Computer Corporation Method for reconstructing a dithered image

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000013605A (ja) * 1998-06-18 2000-01-14 Minolta Co Ltd 画像処理装置および方法ならびに画像処理プログラムを記録した記録媒体

Also Published As

Publication number Publication date
US6901170B1 (en) 2005-05-31
JP2002135592A (ja) 2002-05-10

Similar Documents

Publication Publication Date Title
JP4568460B2 (ja) 画像処理装置及び記録媒体
JP4568459B2 (ja) 画像処理装置及び記録媒体
US7046862B2 (en) Image processing apparatus and program
JP4926568B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP4176114B2 (ja) 画像圧縮装置およびそれを備えた画像読取装置、画像圧縮装置を備えた画像処理装置並びにそれを備えた画像形成装置、画像圧縮処理方法
JP4495745B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム、および記憶媒体
US20070153020A1 (en) Image processing apparatus, image forming apparatus, control method of image processing apparatus, image processing program, and a computer-readable storage medium
US20060274332A1 (en) Image processing system, a method thereof, and a recording medium thereof
US20090284801A1 (en) Image processing apparatus and image processing method
JP2007200170A (ja) 画像処理装置および画像処理プログラム
JPH1084475A (ja) 画像領域判別方法および画像処理装置
JP4140519B2 (ja) 画像処理装置、プログラムおよび記録媒体
US7809199B2 (en) Image processing apparatus
JP4771428B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP4507279B2 (ja) 画像処理装置、画像処理方法及びそのプログラム
JP3073837B2 (ja) 画像領域分離装置及び画像領域分離方法
JP3952188B2 (ja) 画像補間装置、画像補間方法および画像補間プログラム
US20010055426A1 (en) Image processor
JP4453979B2 (ja) 画像再生装置、画像再生方法、プログラム及び記録媒体
JP7413751B2 (ja) 画像処理システムおよびプログラム
JP4135714B2 (ja) 画像処理装置および画像処理プログラム
JP7185451B2 (ja) 画像処理装置と画像処理方法、及びプログラム
JP4648073B2 (ja) 画像処理装置及びこれを備えた画像読取装置並びに画像処理方法
JPH08186706A (ja) 画像処理装置およびその方法
JP4517288B2 (ja) 画像処理装置、画像処理方法及びそのプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080619

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100301

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100611

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100803

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100809

R150 Certificate of patent or registration of utility model

Ref document number: 4568460

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130813

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees