【発明の名称】画像鮮鋭化プログラムを記録した媒体、画像鮮鋭化装置および画像鮮鋭化方法
【特許請求の範囲】
【請求項１】画像をドットマトリクス状の画素で多階調表現した画像データに基づいて画像の鮮鋭領域を検出する鮮鋭領域検出工程と、
非鮮鋭領域の側から鮮鋭領域の側に向かって徐々に鮮鋭度合いを上げていきながらその増加度合いの変化が急激に急峻となるように鮮鋭度合いを設定する鮮鋭度合設定工程と、
この鮮鋭度合設定工程にて設定された鮮鋭度合いに基づいて上記画像データに対して鮮鋭化する画像鮮鋭化工程と、
鮮鋭化された画像データを出力する画像データ出力工程とを具備することを特徴とする画像鮮鋭化方法。
【請求項２】上記鮮鋭領域検出工程では、入力された原画像データと、この画像データに対して平滑化処理をかけた平滑化画像データとの差分が大きい領域を鮮鋭領域として検出することを特徴とする上記請求項１に記載の画像鮮鋭化方法。
【請求項３】上記鮮鋭領域検出工程では、上記原画像データと上記平滑化画像データとの差分値についてトーンカーブ補正して鮮鋭領域の検出範囲を調整することを特徴とする上記請求項２に記載の画像鮮鋭化方法。
【請求項４】上記非鮮鋭領域検出工程では、上記原画像データに対して予めトーンカーブ補正しておいて上記非鮮鋭領域の検出に利用することを特徴とする上記請求項１〜請求項３のいずれかに記載の画像鮮鋭化方法。
【請求項５】上記鮮鋭度合設定工程では、画像の鮮鋭領域と非鮮鋭領域との境界において外側から内側にかけて徐々に鮮鋭度合い高めていくことを特徴とする上記請求項１〜請求項４のいずれかに記載の画像鮮鋭化方法。
【請求項６】上記鮮鋭度合設定工程では、画像の鮮鋭領域の中心をピークとして非鮮鋭領域の側から徐々に鮮鋭度合い高めていくことを特徴とする上記請求項１〜請求項４のいずれかに記載の画像鮮鋭化方法。
【請求項７】上記鮮鋭度合設定工程は、上記鮮鋭領域を平滑化してぼかしをかける平滑化工程と、平滑化させた領域を幅狭にして急峻な変化領域を設定する縮小化工程と、平滑化させた領域と急峻化させた領域とを合成して増加度合いの変化が急激に急峻となるようにする合成工程とを有することを特徴とする上記請求項１〜請求項６のいずれかに記載の画像鮮鋭化方法。
【請求項８】上記合成工程では、平滑化させた領域と急峻化させた領域とを足し合わせて合成することを特徴とする上記請求項７に記載の画像鮮鋭化方法。
【請求項９】上記合成工程では、平滑化させた領域と急峻化させた領域とのうち鮮鋭度合いが大きい方の値を選択して合成することを特徴とする上記請求項７に記載の画像鮮鋭化方法。
【請求項１０】上記画像鮮鋭化工程では、平滑化した画像データと元画像データとの差分に上記設定された鮮鋭度合いを乗算しつつ、同元画像データに加算して鮮鋭化処理することを特徴とする上記請求項１〜請求項９のいずれかに記載の画像鮮鋭化方法。
【請求項１１】画像をドットマトリクス状の画素で多階調表現した画像データに基づいて画像の鮮鋭領域を検出する鮮鋭領域検出手段と、
非鮮鋭領域の側から鮮鋭領域の側に向かって徐々に鮮鋭度合いを上げていきながらその増加度合いの変化が急激に急峻となるように鮮鋭度合いを設定する鮮鋭度合設定手段と、
この鮮鋭度合設定手段にて設定された鮮鋭度合いに基づいて上記画像データに対して鮮鋭化する画像鮮鋭化手段と、
鮮鋭化された画像データを出力する画像データ出力手段とを具備することを特徴とする画像鮮鋭化装置。
【請求項１２】上記鮮鋭領域検出手段では、入力された原画像データと、この画像データに対して平滑化処理をかけた平滑化画像データとの差分が大きい領域を鮮鋭領域として検出することを特徴とする上記請求項１１に記載の画像鮮鋭化装置。
【請求項１３】上記鮮鋭領域検出手段では、上記原画像データと上記平滑化画像データとの差分値についてトーンカーブ補正して鮮鋭領域の検出範囲を調整することを特徴とする上記請求項１２に記載の画像鮮鋭化装置。
【請求項１４】上記非鮮鋭領域検出手段では、上記原画像データに対して予めトーンカーブ補正しておいて上記非鮮鋭領域の検出に利用することを特徴とする上記請求項１１〜請求項１３のいずれかに記載の画像鮮鋭化装置。
【請求項１５】上記鮮鋭度合設定手段では、画像の鮮鋭領域と非鮮鋭領域との境界において外側から内側にかけて徐々に鮮鋭度合い高めていくことを特徴とする上記請求項１１〜請求項１４のいずれかに記載の画像鮮鋭化装置。
【請求項１６】上記鮮鋭度合設定手段では、画像の鮮鋭領域の中心をピークとして非鮮鋭領域の側から徐々に鮮鋭度合い高めていくことを特徴とする上記請求項１１〜請求項１４のいずれかに記載の画像鮮鋭化装置。
【請求項１７】上記鮮鋭度合設定手段は、上記鮮鋭領域を平滑化してぼかしをかける平滑化手段と、平滑化させた領域を幅狭にして急峻な変化領域を設定する縮小化手段と、平滑化させた領域と急峻化させた領域とを合成して増加度合いの変化が急激に急峻となるようにする合成手段とを有することを特徴とする上記請求項１１〜請求項１６のいずれかに記載の画像鮮鋭化装置。
【請求項１８】上記合成手段では、平滑化させた領域と急峻化させた領域とを足し合わせて合成することを特徴とする上記請求項１７に記載の画像鮮鋭化装置。
【請求項１９】上記合成手段では、平滑化させた領域と急峻化させた領域とのうち鮮鋭度合いが大きい方の値を選択して合成することを特徴とする上記請求項１７に記載の画像鮮鋭化装置。
【請求項２０】上記画像鮮鋭化手段では、平滑化した画像データと元画像データとの差分に上記設定された鮮鋭度合いを乗算しつつ、同元画像データに加算して鮮鋭化処理することを特徴とする上記請求項１１〜請求項１９のいずれかに記載の画像鮮鋭化装置。
【請求項２１】画像をドットマトリクス状の画素で多階調表現した画像データに基づいてコンピュータにて画像を鮮鋭化させる画像鮮鋭化処理プログラムを記録した媒体であって、
上記画像データに基づいて画像の鮮鋭領域を検出する鮮鋭領域検出ステップと、
非鮮鋭領域の側から鮮鋭領域の側に向かって徐々に鮮鋭度合いを上げていきながらその増加度合いの変化が急激に急峻となるように鮮鋭度合いを設定する鮮鋭度合設定ステップと、
この鮮鋭度合設定ステップにて設定された鮮鋭度合いに基づいて上記画像データに対して鮮鋭化する画像鮮鋭化ステップと、
鮮鋭化された画像データを出力する画像データ出力ステップとをコンピュータに実行させることを特徴とする画像鮮鋭化プログラムを記録した媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像を鮮鋭化させる画像鮮鋭化プログラムを記録した媒体、画像鮮鋭化装置および画像鮮鋭化方法に関する。
【０００２】
【従来の技術】
コンピュータなどで画像を扱う際には、画像をドットマトリクス状の画素で表現し、各画素を階調値で表している。例えば、コンピュータの画面で水平方向に６４０ドット、垂直方向に４８０ドットの画素で写真を表示することが多い。
【０００３】
また、各画素ごとに色や明るさを表すデータを持つことになるため、このデータを変化させて画像処理することが行われている。この際、ぼけた感じの画像をシャープに見せる鮮鋭化処理も広く行われており、画像全体に対して一律に鮮鋭化処理をかけている。
【０００４】
【発明が解決しようとする課題】
上述した従来の画像鮮鋭化装置においては、画像全体に対して一律に鮮鋭化処理をかけているが、一律に鮮鋭化させてしまうと、本来のエッジ部分は良好となっても部分的には鮮鋭化させることによってざらついた感じが表れて好ましくないことがあるという課題があった。
【０００５】
一方、本願出願人はエッジ画素を検出してその部分にだけエッジ強調処理を施すことも行っているが、エッジ強調処理をかけたところとそうでないところとで、画像のジャンプが生じるとか、エッジの近隣で画素が不安定になるという課題もあった。
本発明は、上記課題にかんがみてなされたもので、より自然な感じで鮮鋭化させることが可能な画像鮮鋭化プログラムを記録した媒体、画像鮮鋭化装置および画像鮮鋭化方法の提供を目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するため、請求項１にかかる発明は、画像をドットマトリクス状の画素で多階調表現した画像データに基づいて画像の鮮鋭領域を検出する鮮鋭領域検出工程と、非鮮鋭領域の側から鮮鋭領域の側に向かって徐々に鮮鋭度合いを上げていきながらその増加度合いの変化が急激に急峻となるように鮮鋭度合いを設定する鮮鋭度合設定工程と、この鮮鋭度合設定工程にて設定された鮮鋭度合いに基づいて上記画像データに対して鮮鋭化する画像鮮鋭化工程と、鮮鋭化された画像データを出力する画像データ出力工程とを具備する構成としてある。
【０００７】
上記のように構成した請求項１にかかる発明においては、画像をドットマトリクス状の画素で多階調表現した画像データに基づいて画像の鮮鋭領域を検出する。そして、鮮鋭度合設定工程で非鮮鋭領域の側から鮮鋭領域の側に向かって徐々に鮮鋭度合いを上げていきながらその増加度合いの変化が急激に急峻となるように鮮鋭度合いを設定するので、画像鮮鋭化工程ではこの鮮鋭度合設定工程にて設定された鮮鋭度合いに基づいて上記画像データに対して鮮鋭化し、鮮鋭化された画像データを画像データ出力工程で出力する。
【０００８】
すなわち、ただ鮮鋭な領域だけを鮮鋭化させるというのではなく、非鮮鋭領域の側から鮮鋭領域の側に向かって徐々に鮮鋭度合いを上げていきながらその増加度合いの変化が急激に急峻となるようにしている。
画像データは、既に記憶領域に保存されている画像データを取得して対象とするものであっても良いし、カメラのように逐次入力されてくる画像データを取得して対象とするものであるなど、適宜変形可能である。
【０００９】
また、画像データ出力工程についても同様であり、出力先が具体的な記録媒体であるほか、メモリなどの一時的な記憶領域であるとか、ネットワークなどの通信回線を介した出力先であっても良い。
さらに、この画像鮮鋭化処理自体が、画像処理における複数の処理のうちの一つであってもよく、その場合には実質的には他の処理が取得した画像データに対して読み書きをすることになる。
【００１０】
すなわち、画像データの入出力は以下の鮮鋭化領域検出工程と鮮鋭度設定工程と画像鮮鋭化工程で処理できるようにするものであればいかなる態様のものであっても構わない。また、画像データについても、画像をドットマトリクス状の画素で多階調表現したものであればよく、モノクロの画像でもカラーの画像でも良いし、カラー画像の場合には表色空間における座標系の取り方であるとか、階調範囲などについても特に限定されるものではない。
【００１１】
鮮鋭領域検出工程では、画像の鮮鋭領域を検出するが、その具体的手法はさまざまであり、その一例として、請求項２にかかる発明は、請求項１に記載の画像鮮鋭化方法において、上記鮮鋭領域検出工程では、入力された原画像データと、この画像データに対して平滑化処理をかけた平滑化画像データとの差分が大きい領域を鮮鋭領域として検出する構成としてある。
上記のように構成した請求項２にかかる発明においては、入力された画像データを原画像データとして残しつつ、この画像データに対して平滑化処理をかけることによって平滑化画像データを生成させ、その上で、上記鮮鋭領域検出工程では、原画像データと平滑化画像データとの差分が大きい領域を鮮鋭領域として検出する。
【００１２】
平滑化処理は対象となる中心画素の周りの画素との平均化した画素を生成することになるが、これは周辺画素から見た場合の当該中心画素における期待値ともいえる。だとすると、この中心画素での具体的な値との差分を求めるのであれば、その期待値との差が大きいほど当該画素での変化具合が大きいといえ、いわゆるエッジ分あるいは周波数の高い鮮鋭な領域を表すことになる。
ただ、以上のようにして鮮鋭な領域が分かるにしてもその差分値自体が以降の処理において利用しやすいとは限らない。このため、請求項３にかかる発明は、請求項２に記載の画像鮮鋭化方法において、上記鮮鋭領域検出工程では、上記原画像データと上記平滑化画像データとの差分値についてトーンカーブ補正して鮮鋭領域の検出範囲を調整する構成としてある。
【００１３】
上記のように構成した請求項３にかかる発明においては、上記原画像データと上記平滑化画像データとの差分値についてトーンカーブ補正する。そのままの差分値を用いた場合は、あるしきい値を境に大きく意味内容が異なる場合が考えられる。こうした場合でもトーンカーブを使用して差分値の意味に軽重を付けることにより、鮮鋭領域の検出範囲を調整できる。
原画像データの値によっては同じ鮮鋭さを備えていても判断が変化してくることがある。例えば、全体的に暗い場合と全体的に明るい場合とでは、明暗の変化度合いが比例していると考えると、暗い方について非鮮鋭な領域が大きいと判断するはずである。しかし、このような結果となるのは妥当ではなく、その対策の好適な一例として、請求項４にかかる発明は、請求項１〜請求項３のいずれかに記載の画像鮮鋭化方法において、上記非鮮鋭領域検出工程では、上記原画像データに対して予めトーンカーブ補正しておいて上記非鮮鋭領域の検出に利用する構成としてある。
【００１４】
上記のように構成した請求項４にかかる発明においては、原画像データに対して予めトーンカーブ補正しておくので、上記鮮鋭領域を検出するにあたって妥当な領域を得られるようになる。また、かかる明暗に対する調整目的に限らず、意識的に調整を加えたいということも当然に可能である。
一方、鮮鋭度合設定工程では、非鮮鋭領域の側から鮮鋭領域の側に向かって徐々に鮮鋭度合いを上げていきながらその増加度合いの変化が急激に急峻となるようにしているが、その具体的態様は種々のパターンが考えられる。
【００１５】
その一例として、請求項５にかかる発明は、請求項１〜請求項４のいずれかに記載の画像鮮鋭化方法において、上記鮮鋭度合設定工程では、画像の鮮鋭領域と非鮮鋭領域との境界において外側から内側にかけて徐々に鮮鋭度合い高めていく構成としてある。
上記のように構成した請求項５にかかる発明においては、画像の鮮鋭領域と非鮮鋭領域との境界において外側から内側にかけて徐々に鮮鋭度合い高めていく。
【００１６】
また、別の一例として、請求項６にかかる発明は、請求項１〜請求項４のいずれかに記載の画像鮮鋭化方法において、上記鮮鋭度合設定工程では、画像の鮮鋭領域の中心をピークとして非鮮鋭領域の側から徐々に鮮鋭度合い高めていく構成としてある。
上記のように構成した請求項６にかかる発明においては、画像の鮮鋭領域の中心をピークとして非鮮鋭領域の側から徐々に鮮鋭度合い高めていく。
【００１７】
請求項６にかかる発明の場合、鮮鋭度合いはある鮮鋭領域において一つのピークを持つ山形となることを想定としており、鮮鋭領域が比較的幅狭なときに有効である。これに対して、請求項５にかかる発明の場合は、鮮鋭領域が幅のある場合に非鮮鋭領域と鮮鋭領域の境目で鮮鋭度合いが所望の変化をなすことになる。 さらに、請求項７にかかる発明は、請求項１〜請求項６のいずれかに記載の画像鮮鋭化方法において、上記鮮鋭度合設定工程は、上記鮮鋭領域を平滑化してぼかしをかける平滑化工程と、平滑化させた領域を幅狭にして急峻な変化領域を設定する縮小化工程と、平滑化させた領域と急峻化させた領域とを合成して増加度合いの変化が急激に急峻となるようにする合成工程とを有する構成としてある。
【００１８】
上記のように構成した請求項７にかかる発明においては、平滑化工程で上記鮮鋭領域を平滑化してぼかしをかけ、縮小化工程で平滑化させた領域を幅狭にして急峻な変化領域を設定する。この後、合成工程では、平滑化させた領域と急峻化させた領域とを合成し、増加度合いの変化が急激に急峻となるようにする。
例えば、鮮鋭度合いがある山形をなしていると、平滑化すると山はなだらかになり、縮小化すると山は急峻となる。従って、両者を合成すると裾野においてなだらかで中腹から急峻な山形となり、所望の変化度合いといえる。
【００１９】
また、合成手法といっても一義的ではなく、一例として、請求項８にかかる発明は、請求項７に記載の画像鮮鋭化方法において、上記合成工程では、平滑化させた領域と急峻化させた領域とを足し合わせて合成する構成としてある。
上記のように構成した請求項８にかかる発明においては、単純に足し合わせることになる。従って、相対的な値は大きくなるものの簡易に合成される。
別の一例として、請求項９にかかる発明は、請求項７に記載の画像鮮鋭化方法において、上記合成工程では、平滑化させた領域と急峻化させた領域とのうち鮮鋭度合いが大きい方の値を選択して合成する構成としてある。
【００２０】
上記のように構成した請求項９にかかる発明においては、上述したような二つの山があるとして、高い方を選ぶのであるから、裾野においてはなだらかな山が選ばれ、中腹から急峻な山が選ばれることになる。
画像鮮鋭化工程は画像データに対して鮮鋭化するものであり、鮮鋭化の手法自体は各種のものを採用可能である。その一例として、請求項１０にかかる発明は、請求項１〜請求項９のいずれかに記載の画像鮮鋭化方法において、上記画像鮮鋭化工程では、平滑化した画像データと元画像データとの差分に上記設定された鮮鋭度合いを乗算しつつ、同元画像データに加算して鮮鋭化処理する構成としてある。
【００２１】
画像データを平滑化するのは、いわばローパスフィルタをかけることと同義であるから、低周波成分が得られることになり、これと元画像データとの差分を取れば高周波成分を得たことになる。従って、上記のように構成した請求項１０にかかる発明において、かかる高周波成分を元画像データに加算するので高周波成分を加えたことになって鮮鋭化し、さらにその加算程度を鮮鋭度合いで調整すると、鮮鋭化処理の強弱を調整したことになる。
【００２２】
このように、ただ鮮鋭な領域だけに鮮鋭化させるというのではなく、非鮮鋭領域の側から鮮鋭領域の側に向かって徐々に鮮鋭度合いを上げていきながらその増加度合いの変化が急激に急峻となるようにする手法は実体のある装置において実現され、その意味で本発明を実体のある装置としても適用可能であることは容易に理解できる。このため、請求項１１にかかる発明は、画像をドットマトリクス状の画素で多階調表現した画像データに基づいて画像の鮮鋭領域を検出する鮮鋭領域検出手段と、非鮮鋭領域の側から鮮鋭領域の側に向かって徐々に鮮鋭度合いを上げていきながらその増加度合いの変化が急激に急峻となるように鮮鋭度合いを設定する鮮鋭度合設定手段と、この鮮鋭度合設定手段にて設定された鮮鋭度合いに基づいて上記画像データに対して鮮鋭化する画像鮮鋭化手段と、鮮鋭化された画像データを出力する画像データ出力手段とを具備する構成としてある。
【００２３】
すなわち、実体のある装置としても有効であることに相違はない。このような画像鮮鋭化装置は単独で実施される場合もあるし、ある機器に組み込まれた状態で他の方法とともに実施されることもあるなど、発明の思想としてはこれに限らず、各種の態様を含むものである。従って、ソフトウェアであったりハードウェアであったりするなど、適宜、変更可能である。
発明の思想の具現化例として画像鮮鋭化方法を実施するソフトウェアとなる場合には、かかるソフトウェアを記録した記録媒体上においても当然に存在し、利用されるといわざるをえない。
【００２４】
その一例として、請求項２１にかかる発明は、画像をドットマトリクス状の画素で多階調表現した画像データに基づいてコンピュータにて画像を鮮鋭化させる画像鮮鋭化処理プログラムを記録した媒体であって、上記画像データに基づいて画像の鮮鋭領域を検出する鮮鋭領域検出ステップと、非鮮鋭領域の側から鮮鋭領域の側に向かって徐々に鮮鋭度合いを上げていきながらその増加度合いの変化が急激に急峻となるように鮮鋭度合いを設定する鮮鋭度合設定ステップと、この鮮鋭度合設定ステップにて設定された鮮鋭度合いに基づいて上記画像データに対して鮮鋭化する画像鮮鋭化ステップと、鮮鋭化された画像データを出力する画像データ出力ステップとをコンピュータに実行させる構成としてある。
【００２５】
むろん、その記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。また、一次複製品、二次複製品などの複製段階については全く問う余地無く同等である。その他、供給方法として通信回線を利用して行なう場合でも本発明が利用されていることにはかわりない。
さらに、一部がソフトウェアであって、一部がハードウェアで実現されている場合においても発明の思想において全く異なるものではなく、一部を記録媒体上に記憶しておいて必要に応じて適宜読み込まれるような形態のものとしてあってもよい。むろん、このプログラム自体に発明の思想が反映されていることはいうまでもない。
【００２６】
【発明の効果】
以上説明したように本発明は、非鮮鋭な領域から鮮鋭な領域に向かっていわば指数関数的に鮮鋭度が上がるため、単に鮮鋭化してしまったときのように非鮮鋭な領域がざらつくことなく、さらに鮮鋭な領域も周りから浮いてしまうようなことがなくなり、良好に鮮鋭化した画像を得ることが可能な画像鮮鋭化方法を提供することができる。
また、請求項２にかかる発明によれば、比較的容易に鮮鋭領域を検出することができる。
【００２７】
さらに、請求項３にかかる発明によれば、鮮鋭領域の検出範囲の調整が容易になる。
さらに、請求項４にかかる発明によれば、鮮鋭領域の検出を良好に行うための調整手法を提供することができる。
さらに、請求項５にかかる発明によれば、鮮鋭領域が幅広の場合に好適な手法を提供できる。
さらに、請求項６にかかる発明によれば、鮮鋭領域が幅狭の場合に好適な手法を提供できる。
さらに、請求項７にかかる発明によれば、比較的簡易に所望の変化度合いを設定できる。
【００２８】
さらに、請求項８にかかる発明によれば、足し合わせるだけなので簡易な演算で実現できる。
さらに、請求項９にかかる発明によれば、一方の値をそのまま使うことになるため、汎用的な利用に耐える。
さらに、請求項１０にかかる発明によれば、一般的な鮮鋭化手法で実現できる。
さらに、請求項１１〜請求項２０にかかる発明によれば、同様の効果を奏する画像鮮鋭化装置を提供でき、請求項２１にかかる発明によれば、画像鮮鋭化プログラムを記録した媒体を提供できる。
【００２９】
【発明の実施の形態】
図１は本発明の一実施形態にかかる画像鮮鋭化装置をクレーム対応図により示しており、図２は同画像鮮鋭化装置を実現するハードウェアの一例としてのコンピュータシステム１０をブロック図により示している。まず、このコンピュータシステム１０について説明する。
本コンピュータシステム１０は、画像データを直接的に入力する画像入力デバイスとして、スキャナ１１ａとデジタルスチルカメラ１１ｂとビデオカメラ１１ｃとを備えており、コンピュータ本体１２に接続されている。それぞれの入力デバイスは画像をドットマトリクス状の画素で表現した画像データを生成してコンピュータ本体１２に出力可能となっており、ここで同画像データはＲＧＢの三原色においてそれぞれ２５６階調表示することにより、約１６７０万色を表現可能となっている。
【００３０】
コンピュータ本体１２には、外部補助記憶装置としてのフロッピーディスクドライブ１３ａとハードディスク１３ｂとＣＤ−ＲＯＭドライブ１３ｃとが接続されており、ハードディスク１３ｂにはシステム関連の主要プログラムが記録されており、フロッピーディスクやＣＤ−ＲＯＭなどから適宜必要なプログラムなどを読み込み可能となっている。
また、コンピュータ本体１２を外部のネットワークなどに接続するための通信デバイスとしてモデム１４ａが接続されており、外部のネットワークに同公衆通信回線を介して接続し、ソフトウェアやデータをダウンロードして導入可能となっている。この例ではモデム１４ａにて電話回線を介して外部にアクセスするようにしているが、ＬＡＮアダプタを介してネットワークに対してアクセスする構成とすることも可能である。この他、コンピュータ本体１２の操作用にキーボード１５ａやポインティングデバイスとしてのマウス１５ｂも接続されている。
【００３１】
さらに、画像出力デバイスとして、ディスプレイ１７ａとカラープリンタ１７ｂとを備えている。ディスプレイ１７ａについては水平方向に８００画素と垂直方向に６００画素の表示エリアを備えており、各画素毎に上述した１６７０万色の表示が可能となっている。むろん、この解像度は一例に過ぎず、６４０×４８０画素であったり、１０２４×７６８画素であるなど、適宜、変更可能である。
【００３２】
また、カラープリンタ１７ｂはインクジェットプリンタであり、ＣＭＹＫの四色の色インクを用いて記録媒体たる印刷用紙上にドットを付して画像を印刷可能となっている。画像密度は３６０×３６０ＤＰＩや７２０×７２０ＤＰＩといった高密度印刷が可能となっているが、階調表限については色インクを付すか否かといった２階調表現となっている。
一方、このような画像入力デバイスを使用して画像を入力しつつ、画像出力デバイスに表示あるいは出力するため、コンピュータ本体１２内では所定のプログラムが実行されることになる。そのうち、基本プログラムとして稼働しているのはオペレーティングシステム（ＯＳ）１２ａであり、このオペレーティングシステム１２ａにはディスプレイ１７ａでの表示を行わせるディスプレイドライバ（ＤＳＰ ＤＲＶ）１２ｂとカラープリンタ１７ｂに印刷出力を行わせるプリンタドライバ（ＰＲＴ ＤＲＶ）１２ｃが組み込まれている。これらのドライバ１２ｂ，１２ｃの類はディスプレイ１７ａやカラープリンタ１７ｂの機種に依存しており、それぞれの機種に応じてオペレーティングシステム１２ａに対して追加変更可能である。また、機種に依存して標準処理以上の付加機能を実現することもできるようになっている。すなわち、オペレーティングシステム１２ａという標準システム上で共通化した処理体系を維持しつつ、許容される範囲内での各種の追加的処理を実現できる。
【００３３】
この基本プログラムとしてのオペレーティングシステム１２ａ上でアプリケーション１２ｄが実行される。アプリケーション１２ｄの処理内容は様々であり、操作デバイスとしてのキーボード１５ａやマウス１５ｂの操作を監視し、操作された場合には各種の外部機器を適切に制御して対応する演算処理などを実行し、さらには、処理結果をディスプレイ１７ａに表示したり、カラープリンタ１７ｂに出力したりすることになる。
【００３４】
ところで、デジタルスチルカメラ１１ｂで撮影した画像は画像データとなり、アプリケーション１２ｄにて各種の画像処理を実行後、ディスプレイ１７ａに表示したり、カラープリンタ１７ｂに出力できる。このような画像処理の一例として強調処理（鮮鋭化処理のことを以後、このように呼ぶことにする）があり、本実施形態においては、アプリケーション１２ｄが最適な結果を得られる強調処理を実行するものとして、以下に説明していく。
【００３５】
以上において、画像入力デバイスなどから画像データを取得する処理が図１に示す画像データ取得手段Ａ１を構成することになり、これに関連するハードウェア及びソフトウェアが実際には該当する。また、鮮鋭領域検出手段Ａ２はこのように取得される画像データのうちで鮮鋭度が高い領域を検出する処理に該当し、アプリケーション１２ｄが具体的に実施する。また、アプリケーション１２ｄはこの検出結果を利用して画像の部位ごとに最適な鮮鋭度合いを設定するとともに、この鮮鋭度合いを利用して上記画像データに鮮鋭化処理をも実施するため、鮮鋭度合い設定手段Ａ３と画像鮮鋭化手段Ａ４も構成する。
【００３６】
本実施形態においては、アプリケーション１２ｄが画像処理を実施しているが、ディスプレイドライバ１２ｂやプリンタドライバ１２ｃが画像出力する際に自動的に鮮鋭化処理を実現するような構成とすることも当然に可能である。
むろん、かかる処理を実行するアプリケーション１２ｄやディスプレイドライバ１２ｂやプリンタドライバ１２ｃは、ハードディスク１３ｂに記憶されており、適宜、コンピュータ本体１２にて読み込まれて稼働する。また、導入時にはＣＤ−ＲＯＭであるとかフロッピーディスクなどの媒体に記録されてインストールされる。従って、これらの媒体は画像鮮鋭化プログラムを記録した媒体を構成する。
【００３７】
アプリケーション１２ｄは画像処理した画像データをファイル形式で以降の処理プロセスに委ねるが、このように画像データをファイル形式で出力する過程が画像データ出力手段Ａ５を構成する。なお、上述したようにディスプレイドライバ１２ｂやプリンタドライバ１２ｃが画像出力する際に鮮鋭化処理を実現する場合にはその出力段が画像データ出力手段Ａ５を構成するといえる。
本実施形態においては、画像鮮鋭化装置をコンピュータシステム１０として実現しているが、必ずしもかかるコンピュータシステムを必要とするわけではなく、同様の画像データに対して補間処理が必要なシステムであればよい。例えば、図３に示すようにデジタルスチルカメラ１１ｂ１内に強調処理する画像鮮鋭化装置を組み込み、強調処理した画像データを用いてディスプレイ１７ａ１に表示させたりカラープリンタ１７ｂ１に印字させるようなシステムであっても良い。また、図４に示すように、コンピュータシステムを介することなく画像データを入力して印刷するカラープリンタ１７ｂ２においては、スキャナ１１ａ２やデジタルスチルカメラ１１ｂ２あるいはモデム１４ａ２等を介して入力される画像データについて自動的に強調処理するように構成することも可能である。このようなカラープリンタ１７ｂ２は、近年、ビデオプリンタとして家庭用テレビやビデオに接続して一場面をハードコピー化するのに使用されることも多く、着脱可能な記録メディアから画像データを取得しつつ解像度変換において最適な強調処理を実行すればよい。
【００３８】
この他、図５に示すようなカラーファクシミリ装置１８ａや図６に示すようなカラーコピー装置１８ｂといった画像データを扱う各種の装置においても当然に適用可能である。
上述した強調処理は、具体的には上記コンピュータ本体１２内にて図７〜図９に示すフローチャートに対応した画像処理プログラムで行っている。また、図１０は画像処理プログラム中での処理対象の変化を概略的に示している。なお、図１０は画像処理プログラムの中でのワークエリアを示しており、ＲＧＢの３要素色のデータからなる各画像データはレイヤと呼ぶ個別のプレーンを想定したワークエリアを使用して処理対象となり、さらに各画像処理を制御するために演算結果などを格納するためにチャンネルというワークエリアを使用している。
【００３９】
図７〜図９に示すフローチャートにおいて、ステップ１００では画像データを入力する。この画像データはオペレーティングシステム１２ａを介してスキャナ１１ａ２やデジタルスチルカメラ１１ｂ２あるいはモデム１４ａ２等から取り込まれ、取り込んだ入力画像データは上述したレイヤにおけるオリジナル画像レイヤに格納される。
次に、オリジナル画像を残して処理を進めるためにオリジナル画像レイヤの画像データを背景レイヤと複製レイヤにコピーする（ステップ１０２、ステップ１０４）。本実施形態においては、この背景レイヤの画像データに対して最終的な強調処理を加えることとし、複製レイヤについてマスクを生成していくための画像処理を実施する。
【００４０】
画像処理の最初に行なうのはトーンカーブ補正であり（ステップ１０６）、図１２に示すトーンカーブを利用して複製レイヤに格納されている画像データのコントラストを上げている。ここでコントラストを上げる処理を行う意義については、後述することにする。
コントラストを上げた画像データについて、ステップ１０８では硬調複製レイヤにコピーしてオリジナルを残しておき、ステップ１１０では硬調複製レイヤの画像データに平滑化処理を実施する。平滑化処理は注目画素を中心とする所定領域について画像データの平均化を行なうものであり、図１３に示すフィルタマスクを利用してフィルタ処理する。このフィルタ処理では、注目画素に隣接する８画素と注目画素の画像データを全て加え、画素数で除算するため、平均値を求めることに他ならない。図示するフィルタマスクは３×３画素の９画素であるが５×５画素というようなサイズの異なるフィルタマスクを使用しても良いし、周辺画素の重み付けを減らすような平滑化を行っても良い。
【００４１】
平滑化した画像データは硬調複製レイヤに格納され、ステップ１１２では、硬調複製レイヤの画像データと複製レイヤの画像データとの差の絶対値を演算し、演算結果をアルファチャンネル１に格納する。
図１４は、この一連の処理の意味するところを説明するための参考図であり、本来、二次元的な画像データを分かりやすく一次元的に並べ直したものである。複製レイヤの画像データが同図（ａ）に示すとおりであるとすると、平滑化することによって同図（ｂ）に示すように段差部分が滑らかになる。次いで、両者の差分を演算すると同図（ｃ）に示すように平滑化して変化した画素において差分値が生じ、かつ、その絶対値（図中一点鎖線で表れたもの）が大きくなるのは複製レイヤの画像データが大きく変化しているところである。この絶対値が大きい部分こそ画像が大きく変化しているところであり、この一連の処理は画像の鮮鋭領域を検出することに他ならない。また、ステップ１０６で複製レイヤの画像データのコントラストを上げたのは、上述した差分値を大きくすることに貢献し、鮮鋭領域の検出を行いやすくしている。この点、最初に鮮鋭領域を検出できれば以降においてその調整は任意に行えるが、鮮鋭領域を検出する段階で対象外となってしまうと調整の余地が小さくなる。従って、このように広めに鮮鋭領域を検出するようにしている。
【００４２】
また、図１５は具体的な画像イメージで上述した処理の意味するところをを説明している。同図（ａ）がオリジナルの画像であるとすると、平滑化処理することによって同図（ｂ）に示すように輪郭部分の画像データに変化が表れ、それ以外の部分は元の色のままとなる。従って、オリジナルの画像との差分値を求めると、同図（ｃ）に示すように元の画像の輪郭を中心とする領域だけが残るのである。
【００４３】
アルファチャンネル１は汎用的なチャンネルであるので、差分値の絶対値を保存するためにアンシャープマスクオリジナルチャンネルとアンシャープマスク硬調化チャンネルとに格納しておき（ステップ１１４とステップ１１６）、以下、具体的な演算結果を良好とするためのアンシャープマスク硬調化チャンネルに対して調整を行っていく。
まず、ステップ１１８では図１６に示すトーンカーブを利用してトーンカーブ補正を行う。図１４（ｃ）に示すようにして画像の鮮鋭化に対応する差分値を得られても、このデータそのものが演算に利用しやすいとは限らない。特に、かかる差分値の絶対値自身は小さな値にしかならないので、より大きな値にする必要もある。図１５に示すものでは、小さな絶対値を比例的に大きくさせることを目的としているが、あるしきい値を設定してそれ以下のものは余り変化させないような急峻なＳ字カーブを採用することも可能である。
【００４４】
次に、ステップ１２０ではアンシャープマスク硬調化チャンネルの縮小化処理を実施する。縮小化処理は実際のイメージとして線の幅を狭めるような処理であり、図１７（ａ）に示す実線から破線へというように台形の山がシャープな山形になる。そして、このようにして縮小化した時点のデータを、ステップ１４０にて、一旦、アンシャープマスク硬調化２チャンネルにコピーして保存しておく。
【００４５】
一方、縮小化したらこれに平滑化処理をかける。図１７（ｂ）には実線にて平滑化前の状態を示し、破線にて平滑化後の状態を示している。平滑化することにより、シャープな山形であったのが、裾野が広がり頂点が低くなる。一方、平滑化の前の状態はアンシャープマスク硬調化２チャンネルに残っており、次のステップ１４２ではこれら二つのチャンネルを合成する。合成した状態を同図（ｃ）に示しており、裾野部分でなだらかであり、中腹から急峻に立ち上がる傾斜面が形成されたことになる。
【００４６】
同図（ｂ）から同図（ｃ）へ示した合成は、二つのチャンネルのうちいずれか大きな値の方を選択する合成であり、二つの山を重ね合わせたときには上の線を選んだことになる。ただ、合成自体はかかる手法に限られるものではなく、両者を足すようにしてもよい。同図（ｄ）はこのような加算結果を示している。加算すると値が大きくなるので最大値で正規化するようにしても良い。
また、縮小化は必ずしも図１７に示したような一つの頂部を持つシャープな山形を形成しなければならないわけではなく、幅狭にするという意味であればよい。従って、図１８（ａ）に示すように元もとの台形形状が幅広の場合に外縁部を内側に寄せる処理を行うものであっても良い。このような場合でも、平滑化処理で同図（ｂ）に示すような処理を経て合成処理を行うと、同図（ｃ）に示すように外縁部においては裾野がなだらかに広がり、中腹から急峻に立ち上がることになる。
【００４７】
なお、このような図１７に示すような鮮鋭度合いの変化が画像の鮮鋭領域の中心をピークとして非鮮鋭領域の側から徐々に鮮鋭度合い高めていく対応に相当し、図１８に示すような鮮鋭度合いの変化が画像の鮮鋭領域と非鮮鋭領域との境界において外側から内側にかけて徐々に鮮鋭度合い高めていく対応に相当する。
傾斜を活かしながら縮小する手法の一例を図１９を参照しながら説明する。画素を縦横にスキャンするものとすると、前の値（Ｄｐ−１）が今回の値Ｄｐよりも小さければ前の値に置き換えるという処理を行う。これを画面上で左から右に注目画素を移動させていって処理すれば右上がりの傾斜位置で１ピクセル分だけ右に縮小化することになる。同様の処理を左から右に、上から下へ、下から上へ処理すれば、左右上下方向に１ピクセル分ずつ縮小化できる。そして、図２０はこのようにして１画素（１ピクセル）分だけ領域を狭める状況を示している。
【００４８】
なお、上述したように、ステップ１１８ではしきい値の設定次第で脱落してしまいかねない画素を拾い上げている関係上、ステップ１２０で縮小化を行なうことにより実質的には適度な範囲に調整し直したことになる。図１５に示す具体的な画像のイメージの変化では、同図（ｃ）から同図（ｄ）への変化が縮小化に対応しており、同（ｄ）から同図（ｅ）への変化が平滑化に対応しており、同図（ｅ）から同図（ｆ）への変化が合成に対応している。
【００４９】
以上によって、鮮鋭領域を中心とする鮮鋭化処理での鮮鋭度合いの設定が終了する。終了したマスクは図１５（ｆ）に示すようになり、周縁部においては低めの鮮鋭度合いであるが、内側において急峻なカーブを経て増加している。なお、図には示していないが、この時点でもう一度だけ平滑化処理を施すとマスク画像での境界部分が滑らかになり、次に実施する強調処理でより画像にジャンプが生じないようにすることを期待できる。
【００５０】
そして、この完成したマスクを完成アンシャープマスク１チャンネルにコピーし（ステップ１２６）、設定された鮮鋭度合いで強調処理を行う（ステップ１３２）。
強調処理では図２１〜図２２に示すアンシャープマスクを使用する。ここで、ステップ１３２で実施する強調処理について輝度を例として説明する。
強調前の各画素の輝度Ｙに対して強調後の輝度Ｙ’は、
Ｙ’＝Ｙ＋Ｅenhance ・（Ｙ−Ｙunsharp ）
として演算される。このＹunsharp は各画素の画像データに対してアンシャープマスク処理を施したものであり、強調係数Ｅenhance は上記完成アンシャープマスク１チャンネルを「２５５」で除算して正規化した値である。
【００５１】
ここでアンシャープマスク処理について説明する。図２１〜図２３は三つの大きさの異なるアンシャープマスク４１〜４３を示している。このアンシャープマスク４１〜４３は、中央の「１００」の値をマトリクス状の画像データにおける処理対象画素Ｙ（ｘ，ｙ）の重み付けとし、その周縁画素に対して同マスクの升目における数値に対応した重み付けをして積算するのに利用される。今、図２２に示すアンシャープマスク４２を利用するのであれば、
【００５２】
【数１】
なる演算式に基づいて積算する。同式において、「６３２」とは重み付け係数の合計値であり、むろんサイズの異なる三つのアンシャープマスク４１〜４３においては、それぞれ「３９６」、「６３２」「２５１６」というような値となる。また、Ｍｉｊはアンシャープマスクの升目に記載されている重み係数であり、Ｙ（ｘ，ｙ）は各画素の画像データである。なお、ｉｊについては異なる縦横サイズの三つのアンシャープマスク４１〜４３に対して横列と縦列の座標値で示している。
【００５３】
このような演算の意味するところは次のようになる。Ｙunsharp （ｘ，ｙ）は注目画素に対して周縁画素の重み付けを低くして加算したものであるから、いわゆる「なまった（アンシャープ）」画像データとしていることになる。このようにしてなまらせたものはいわゆるローパスフィルタをかけたものと同様の意味あいを持つ。従って、「Ｙ（ｘ，ｙ）−Ｙunsharp （ｘ，ｙ）」とは本来の全成分から低周波成分を引いたことになってハイパスフィルタをかけたものと同様の意味あいを持つ。そして、ハイパスフィルタを通過したこの高周波成分に対して強調係数Ｅenhance を乗算して「Ｙ（ｘ，ｙ）」に加えれば同強調係数Ｅenhance に比例して高周波成分を増したことになり、エッジが強調される結果となる。
【００５４】
また、エッジの強調度合いは、アンシャープマスクの大きさによっても変化する。縦横の升目数の異なる三つのアンシャープマスク４１〜４３であれば、大きなマスクほど注目画素の近隣の画素に対する重み付けが大きく、遠くの画素にいたるまでの距離の中で徐々に重み付けが減っていっている。これは言い換えればよりローパスフィルタとしての性格が強くなり、高周波成分を生成しやすくなるからである。
【００５５】
従って、強調係数Ｅenhance による強調度合いの調整に加えて、大きなサイズのアンシャープマスク４３を利用すれば強い強調処理を行うことになり、小さなサイズのアンシャープマスク４１を利用すれば弱い強調処理を行うことになる。むろん、中間的な強さの強調処理を行うのであれば中間サイズのアンシャープマスク４２を利用すればよくなる。例えば、鮮鋭度合いが強調係数Ｅenhance を表すものとして同じサイズのアンシャープマスク４１〜４３を使用しても良いし、強調係数Ｅenhance は一定としておいて鮮鋭度合いに応じてサイズの異なるアンシャープマスク４１〜４３を使い分けるようにしても良い。
【００５６】
なお、アンシャープマスク４１〜４３のフィルタマスクは一例に過ぎず、適宜変更することも可能である。また、図２２を参照すると分かるように、最外周のパラメータは「０」または「１」であり、画素の画像データに乗算しても「６３２」で除算した場合の影響度を考えると殆ど無意味である。このため、最外周のパラメータを無視して５×５画素としたアンシャープマスク４４のフィルタマスクを使用すれば、除算の演算回数「４９（＝７×７）」回から「２５（＝５×５）」回へと半減し、演算処理時間を短縮化させることもできる。
【００５７】
以上のような処理を経ることにより、デジタルスチルカメラ１１ｂ２あるいはモデム１４ａ２等を介して取り込んだディジタルの画像データについては、そのエッジ部分で周縁から徐々に鮮鋭度を高めつつエッジに対して鮮鋭度を高めるため、エッジだけが浮き上がってしまう不具合を防止することができる。
このようにして得られた画像データ自体は背景レイヤに格納されており、この画像データをディスプレイドライバ１２ｂやプリンタドライバ１２ｃを介してディスプレイ１７ａやカラープリンタ１７ｂに出力すると、綺麗な画像となっている。
【００５８】
なお、一般的にはこの強調処理で概ね自然な感じで画像の鮮鋭度が上がるが、人の肌に表れる境界部分を鮮鋭化してざらついた感じに見えることもあり得る。人自体が写真のオブジェクトであるため、特にその部分を注目してしまうためである。同様なことは、写真の中で広い面積を占める空の部分に表れる境界部分についても生じる。このような場合は、各画素が肌色や空色であるか否かを判断し、肌色や空色であったら強調処理を弱めるようにすればよい。ここで、各画素が肌色や空色であるか否かを判断する手法について説明する。
【００５９】
各画素の画像データが（Ｒ，Ｇ，Ｂ）で表されるとすると、色度は、
ｒ＝Ｒ／（Ｒ＋Ｇ＋Ｂ）
ｂ＝Ｂ／（Ｒ＋Ｇ＋Ｂ）
として表される。
図２４は人間の肌を表す画像データのサンプリング結果を示している。すなわち、左側の三つのデータは肌を構成する画素の（Ｒ，Ｇ，Ｂ）の値であり、その右方に（Ｒ＋Ｇ＋Ｂ）の合計（ｓｕｍ＿ｒｇｂ）を示し、その右方に上記計算に基づく色度ｒ，ｂと輝度Ｙとを示している。また、図２５は各画素についてｒｂ空間にプロットした場合のグラフを示している。同図に示すように、ＲＧＢデータとしては統一性を見出しにくいようでも、色度としてグラフにプロットしてみると規則性があることが見出される。すなわち、人の肌であれば暗く写っているときも明るく写っているときもあり得るが、それにもかかわらず、図１１に示すように直線状に分布しているのである。同図に示す直線状の分布は、
０．３３＜ｒ＜０．５１
｜０．７４ｒ＋ｂ−０．５７｜＜０．１
なる関係式が成立しているといえるから、各画素についてこの条件があてはめられれば肌色領域に属するものといえる。
【００６０】
また、図２６は同様にして青空を表す画像データのサンプリング結果を示しているとともに図２７は各画素についてｒｂ空間にプロットした場合のグラフを示しており、この場合は肌色の場合よりも変動幅が大きいことを考慮すると、
０．１７＜ｒ＜０．３０
｜１．１１ｒ＋ｂ−０．７０｜＜０．２
なる関係式が成立しているといえる。
図２８は、ステップ１３２の内部でこのような処理を実行するフローチャートを示しており、ステップ１３２ａにて色度を計算し、ステップ１３２ｂとステップ１３２ｃとで肌色や空色であるかを判断し、いずれにも引っかからなければステップ１３２ｄで本来の強調処理を実行する。しかし、ステップ１３２ｂとステップ１３２ｃのいずれかで肌色や空色であると判断されると、ステップ１３２ｅで弱めに強調処理を実行する。具体的には、小さいサイズのアンシャープマスク４１を使用したりすればよい。
【００６１】
ところで、以上の処理はコンピュータシステム１０を使用しつつ主にソフトウェア的な処理で実現している。しかしながら、本発明は必ずしもソフトウェア的な構成に限るものではなく、ハードウェアによるワイヤロジックで実現することもできる。
図２９は具体的なブロック回路を示しており、入力画像データは平滑化回路５１に入力されてぼかしの処理を経たものと経ていないものとを差分絶対値回路５２に入力し、両者の差分値の絶対値を演算し、トーンカーブ補正回路５３で図１６に示すようなトーンカーブ補正を実施する。次いで、縮小化回路５４では外縁部を狭める処理を実行し、その結果を平滑化回路５５で平滑化させる一方、平滑化の前後のものを合成回路５６で合成する。この後、生成されたマスクデータを使用して強調化回路５７で強調化を施す。
【００６２】
各回路ではロジック回路でディジタル的に処理すればよいが、一部ではアナログ化して処理しても良い。
このように、デジタルスチルカメラ１１ｂ２等を介して取り込んだディジタルの画像データは、平滑化してぼかしたものと元のものとの差を演算し（ステップ１１２）て鮮鋭化領域を検出した後、トーンカーブ補正と縮小化を行い、これを平滑化したものとそうでないものとを合成することによって裾野が広がりつつも中腹から急峻に立ち上がる傾斜の鮮鋭度合いを設定し（ステップ１１８〜１４２）、完成したマスクデータを完成アンシャープマスク１チャンネルに格納するとともに、同マスクデータを使用して元の画像データに強調処理を施すようにした（ステップ１３２）ため、エッジだけが浮き上がってしまうような不具合を避けつつ鮮鋭化させることができる。
【図面の簡単な説明】
【図１】本発明の一実施形態にかかる画像鮮鋭化装置のクレーム対応図である。
【図２】本発明の一実施形態にかかる画像鮮鋭化装置が適用されるコンピュータシステムのブロック図である。
【図３】本発明の画像鮮鋭化装置の他の適用例を示す概略ブロック図である。
【図４】本発明の画像鮮鋭化装置の他の適用例を示す概略ブロック図である。
【図５】本発明の画像鮮鋭化装置の他の適用例を示す概略ブロック図である。
【図６】本発明の画像鮮鋭化装置の他の適用例を示す概略ブロック図である。
【図７】本発明の一実施形態にかかる画像鮮鋭化装置のフローチャートの一部である。
【図８】同フローチャートの一部である。
【図９】同フローチャートの一部である。
【図１０】処理の全体を示す概略ブロック図である。
【図１１】データの格納状態を示す概念図である。
【図１２】トーンカーブの一例を示す図である。
【図１３】平滑化処理に使用するフィルタマスクを示す図である。
【図１４】画像データの変化過程を示す概念図である。
【図１５】画像の変化過程を示す概念図である。
【図１６】トーンカーブの一例を示す図である。
【図１７】鮮鋭度合いの変化過程を示す図である。
【図１８】幅広の領域に対する鮮鋭度合いの変化過程を示す図である。
【図１９】縮小化の手法を示す説明図である。
【図２０】縮小化処理の実例を示す図である。
【図２１】小サイズのアンシャープマスクを示す図である。
【図２２】中サイズのアンシャープマスクを示す図である。
【図２３】大サイズのアンシャープマスクを示す図である。
【図２４】肌色の画素の画像データと色度と輝度を示す図である。
【図２５】肌色の画素を色度のグラフで示す図である。
【図２６】空色の画素の画像データと色度と輝度を示す図である。
【図２７】空色の画素を色度のグラフで示す図である。
【図２８】強調処理の変形例を示すフローチャートの一部である。
【図２９】ハードウェアロジックで実現した画像鮮鋭化装置のブロック図である。
【符号の説明】
１０…コンピュータシステム
１１ａ…スキャナ
１１ａ２…スキャナ
１１ｂ…デジタルスチルカメラ
１１ｂ１…デジタルスチルカメラ
１１ｂ２…デジタルスチルカメラ
１１ｃ…ビデオカメラ
１２…コンピュータ本体
１２ａ…オペレーティングシステム
１２ｂ…ディスプレイドライバ
１２ｂ…ドライバ
１２ｃ…プリンタドライバ
１２ｄ…アプリケーション
１３ａ…フロッピーディスクドライブ
１３ｂ…ハードディスク
１３ｃ…ＣＤ−ＲＯＭドライブ
１４ａ…モデム
１４ａ２…モデム
１５ａ…キーボード
１５ｂ…マウス
１７ａ…ディスプレイ
１７ａ１…ディスプレイ
１７ｂ…カラープリンタ
１７ｂ１…カラープリンタ
１７ｂ２…カラープリンタ
１８ａ…カラーファクシミリ装置
１８ｂ…カラーコピー装置
４１〜４３…アンシャープマスク
５１…平滑化回路
５２…差分絶対値回路
５３…トーンカーブ補正回路
５４…縮小化回路
５５…平滑化回路
５６…合成回路
５７…強調化回路Patent application title: Media recording image sharpening program, image sharpening device and image sharpening method
[Claim of claim]
1. A sharp area detection step of detecting a sharp area of an image based on image data in which the image is expressed in multiple gradations by pixels in a dot matrix form;
A sharpness degree setting step of setting the sharpness degree such that the change in the degree of increase is sharply sharpened while gradually increasing the degree of sharpness from the side of the non-sharp area toward the side of the sharp area;
An image sharpening step of sharpening the image data based on the sharpness degree set in the sharpness degree setting step;
An image data output step of outputting the sharpened image data.
2. In the sharp area detection step, an area having a large difference between input original image data and smoothed image data obtained by applying a smoothing process to the image data is detected as a sharp area. The image sharpening method according to claim 1, characterized in that:
3. The sharp area detection step according to claim 2, wherein the detection range of the sharp area is adjusted by tone curve correcting the difference value between the original image data and the smoothed image data. Image sharpening method as described.
4. The unsharp region detection step according to claim 1, wherein tone curve correction is performed on the original image data in advance and the unsharp region is detected. The image sharpening method according to any one of the above.
5. The sharpening degree setting step according to claim 1, wherein the sharpening degree is gradually increased from the outer side to the inner side at the boundary between the sharp area and the non-sharp area of the image. Image sharpening method described in Sakaide.
6. The sharpening degree setting step according to any one of claims 1 to 4, wherein the sharpening degree is gradually increased from the non-sharpening area side with the center of the sharpening area of the image as a peak. Image sharpening method as described in.
7. The sharpness setting step includes a smoothing step of smoothing and sharpening the sharp region, a reduction step of narrowing the smoothed region and setting a steep change region, and smoothing. 7. The method according to any one of claims 1 to 6, further comprising the step of combining the transformed area and the steeped area to make the change in the degree of increase sharply steep. Image sharpening method as described.
8. The image sharpening method according to claim 7, wherein in the synthesizing step, the smoothed area and the steepened area are added and synthesized.
9. The image according to claim 7, wherein in the combining step, the value having the larger sharpness is selected and combined out of the smoothed region and the sharpened region. Sharpening method.
10. In the image sharpening step, the difference between the smoothed image data and the original image data is multiplied by the set sharpness degree and added to the same-kind image data to perform sharpening processing. The image sharpening method according to any one of claims 1 to 9, which is characterized by the above.
11. A sharp area detection means for detecting a sharp area of an image on the basis of image data in which the image is expressed in multi-tone levels by pixels in a dot matrix form;
Sharpness degree setting means for setting the sharpness degree so that the change in the degree of increase becomes steep sharply while gradually increasing the degree of sharpness from the side of the non-sharp area toward the side of the sharp area;
An image sharpening unit that sharpens the image data based on the sharpness degree set by the sharpness degree setting unit;
An image sharpening device comprising: image data output means for outputting sharpened image data.
12. The sharp region detection means detects a region having a large difference between input original image data and smoothed image data obtained by applying smoothing to the image data as a sharp region. The image sharpening device according to claim 11, characterized in that:
13. The sharp area detection means adjusts the detection range of the sharp area by tone curve correcting the difference value between the original image data and the smoothed image data. Image sharpening device as described.
14. The unsharp region detection means according to claim 11, wherein tone curve correction is performed on the original image data in advance and then used to detect the unsharp region. The image sharpening device according to any one of the above.
15. The image processing apparatus according to any one of claims 11 to 14, wherein said sharpness setting means gradually increases the sharpness from the outside to the inside at the boundary between the sharp area and the non-sharp area of the image. The image sharpening device described in.
16. The image sharpness setting method according to any one of claims 11 to 14, wherein the sharpness of the image is gradually increased from the non-sharp region side with the center of the sharp region of the image as a peak. Image sharpening device according to claim 1.
17. The sharpening degree setting means comprises a smoothing means for smoothing and blurring the sharp area, a reducing means for narrowing the smoothed area and setting a steep change area, and smoothing The method according to any one of claims 11 to 16, further comprising: combining means for combining the converted area and the steeped area so that the change in the degree of increase is sharply sharpened. Image sharpening device as described.
18. The image sharpening apparatus according to claim 17, wherein said combining means combines the smoothed area and the steepened area and adds them together.
19. The image according to claim 17, wherein the combining means selects and combines the value of the larger sharpness among the smoothed area and the sharpened area. Sharpening device.
20. In the image sharpening means, the difference between the smoothed image data and the original image data is multiplied by the set sharpness degree and added to the same original image data for sharpening processing. The image sharpening device according to any one of claims 11 to 19, which is characterized.
21. A medium storing an image sharpening processing program for sharpening an image with a computer based on image data in which the image is expressed in multiple gradations of pixels in dot matrix form,
A sharp area detection step of detecting a sharp area of the image based on the image data;
A sharpness degree setting step of setting the sharpness degree so that the change of the increase degree becomes sharp sharply while gradually increasing the sharpness degree from the non-sharp area side to the sharp area side;
An image sharpening step of sharpening the image data based on the sharpness degree set in the sharpness degree setting step;
A medium on which an image sharpening program is recorded, which causes a computer to execute an image data output step of outputting sharpened image data.
Detailed Description of the Invention
[0001]
Field of the Invention
The present invention relates to a medium storing an image sharpening program for sharpening an image, an image sharpening device, and an image sharpening method.
[0002]
[Prior Art]
When an image is handled by a computer or the like, the image is represented by pixels in a dot matrix, and each pixel is represented by a gradation value. For example, a picture is often displayed with 640 dots in the horizontal direction and 480 dots in the vertical direction on the computer screen.
[0003]
In addition, since each pixel has data representing color and brightness, image processing is performed by changing this data. Under the present circumstances, the sharpening process which makes the image of a feeling of blur look sharp is also widely performed, and the sharpening process is uniformly applied with respect to the whole image.
[0004]
[Problems to be solved by the invention]
In the conventional image sharpening device described above, the sharpening processing is uniformly applied to the entire image, but if it is uniformly sharpened, even if the original edge portion becomes better, it is partially There has been a problem that the sharpening causes a rough feeling to appear, which is not preferable.
[0005]
On the other hand, the applicant of the present application detects an edge pixel and performs edge enhancement processing only on that portion, but an image jump may occur or not depending on whether the edge enhancement processing is applied or not. There is also a problem that the pixel becomes unstable in the vicinity of
The present invention has been made in view of the above problems, and an object thereof is to provide a medium, an image sharpening device and an image sharpening method which record an image sharpening program capable of sharpening with a more natural feeling. .
[0006]
[Means for Solving the Problems]
In order to achieve the above object, according to the first aspect of the present invention, there is provided a sharp area detection step of detecting a sharp area of an image based on image data in which an image is expressed in multiple gradations by pixels in a dot matrix; Sharpness setting step of setting the sharpness degree so that the change of the increase degree becomes sharp sharply while gradually increasing the sharpness degree from the side toward the sharp area side, and setting in the sharpness degree setting process An image sharpening step of sharpening the image data based on the degree of sharpness and an image data output step of outputting the sharpened image data are configured.
[0007]
In the first aspect of the invention configured as described above, the sharp area of the image is detected based on image data in which the image is expressed in multiple gradations by pixels in a dot matrix form. Then, in the sharpness setting step, while the sharpness is gradually increased from the non-sharp area side to the sharp area side, the sharpness is set so that the change in the increase is sharply sharpened. In the sharpening process, the image data is sharpened based on the sharpness degree set in the sharpness degree setting process, and the sharpened image data is output in the image data output process.
[0008]
That is, not only sharpening the sharp area but also gradually increasing the sharpening degree from the non-sharping area side to the sharpening area side so that the change in the increase degree becomes sharp sharply I have to.
The image data may be obtained by acquiring image data already stored in the storage area and may be an object, or may be acquired as image data which is sequentially input like a camera. And so on.
[0009]
The same applies to the image data output process, and the output destination is a specific recording medium, or is a temporary storage area such as a memory or an output destination via a communication line such as a network. good.
Furthermore, the image sharpening process itself may be one of a plurality of processes in the image process, in which case reading and writing on image data acquired by another process is substantially performed. become.
[0010]
That is, the input and output of the image data may be in any form as long as they can be processed in the following sharpening area detection process, sharpness setting process and image sharpening process. Further, as to image data, any image may be used as long as it represents an image in multi-gradation by dot matrix pixels, and may be a monochrome image or a color image, and in the case of a color image, a coordinate system There is no particular limitation on the method of use or the gradation range.
[0011]
In the sharp area detection step, sharp areas of the image are detected, and the specific method is various. For example, the invention according to claim 2 relates to the image sharpening method according to claim 1 according to the present invention. In the area detection step, an area having a large difference between the input original image data and the smoothed image data obtained by applying a smoothing process to the image data is detected as a sharp area.
In the invention as set forth above, smoothed image data is generated by applying smoothing processing to the input image data while leaving the input image data as original image data, and Above, in the sharp area detection step, an area where the difference between the original image data and the smoothed image data is large is detected as a sharp area.
[0012]
The smoothing process produces an averaged pixel with pixels around the target central pixel, which can be said to be an expected value of the central pixel when viewed from the peripheral pixels. In this case, if the difference with the specific value at this central pixel is determined, the larger the difference with the expected value, the larger the degree of change at that pixel. Will represent.
However, even if a sharp area is known as described above, the difference value itself is not necessarily easy to use in the subsequent processing. Therefore, in the invention according to claim 3, in the image sharpening method according to claim 2, in the sharp area detection step, tone curve correction is performed on the difference value between the original image data and the smoothed image data. The configuration is such that the detection range of the sharp area is adjusted.
[0013]
In the invention according to claim 3 configured as described above, tone curve correction is performed on the difference value between the original image data and the smoothed image data. When the difference value is used as it is, there may be a case where the meaning contents are largely different at a certain threshold. Even in such a case, the detection range of the sharp area can be adjusted by using the tone curve to lighten the meaning of the difference value.
Depending on the value of the original image data, the judgment may change even with the same sharpness. For example, if it is considered that the degree of change in light and dark is proportional between the case of overall dark and the case of overall light, it should be judged that the non-sharp region is larger for the darker. However, such a result is not appropriate, and as a preferable example of the countermeasure, the invention according to claim 4 relates to the image sharpening method according to any one of claims 1 to 3. In the unsharp area detection step, tone curve correction is performed on the original image data in advance, and the original image data is used to detect the unsharp area.
[0014]
In the invention according to claim 4 configured as described above, since tone curve correction is performed on the original image data in advance, it is possible to obtain an appropriate area when detecting the sharp area. In addition to the purpose of adjusting the contrast, it is naturally possible to intentionally adjust.
On the other hand, in the sharpness setting step, while the sharpness is gradually increased from the side of the non-sharp region toward the side of the sharp region, the change in the degree of increase is sharply sharpened. The aspect can consider various patterns.
[0015]
As an example, in the invention according to claim 5, in the image sharpening method according to any one of claims 1 to 4, in the sharpness setting step, the boundary between the sharp area and the non-sharp area of the image is Sharpness is gradually increased from the outside to the inside.
According to the fifth aspect of the present invention, the degree of sharpness is gradually increased from the outside to the inside at the boundary between the sharp area and the non-sharp area of the image.
[0016]
Further, as another example, in the invention according to claim 6, in the image sharpening method according to any one of claims 1 to 4, in the sharpness setting step, the center of the sharp region of the image is set as a peak. It is configured to gradually increase the degree of sharpness from the non-sharp area side.
In the invention according to claim 6 configured as described above, the center of the sharp area of the image is used as a peak to gradually increase the degree of sharpness from the side of the non-sharp area.
[0017]
In the case of the invention according to claim 6, the sharpness is assumed to be a mountain shape having one peak in a certain sharp area, which is effective when the sharp area is relatively narrow. On the other hand, in the case of the invention according to claim 5, when the sharpened area has a width, the degree of sharpening is changed as desired at the boundary between the unsharpened area and the sharpened area. Furthermore, according to the invention as claimed in claim 7, in the image sharpening method according to any one of claims 1 to 6, the sharpness setting step comprises smoothing and sharpening the sharp area and a smoothing step. The reduction process for narrowing the smoothed area and setting a steep change area, combining the smoothed area and the steeped area so that the change in the increase degree becomes steep sharply And a synthesis step of
[0018]
In the invention as set forth above, in the smoothing step, the sharp area is smoothed and blurred in the smoothing step, and the sharpened area is set by narrowing the area smoothed in the reduction step. Do. Thereafter, in the combining step, the smoothed area and the steeped area are combined so that the change in the degree of increase becomes steep sharply.
For example, in the case of a mountain shape having a degree of sharpness, the mountain becomes smooth when smoothed, and becomes steep when reduced. Therefore, when the two are combined, the foot has a gentle, middle to steep mountain shape, which can be said to be a desired degree of change.
[0019]
Also, the synthesizing method is not unique. For example, in the image sharpening method according to the seventh aspect of the present invention, in the image sharpening method according to the seventh aspect, the smoothing step is performed with the smoothed region in the above-mentioned synthesizing step. It is configured to be added together with the
In the invention according to claim 8 configured as described above, the addition is simply made. Therefore, although the relative value increases, it is easily synthesized.
As another example, in the invention according to claim 9, in the image sharpening method according to claim 7, in the synthesis step, one having a larger degree of sharpness out of a smoothed area and a sharpened area. It is configured to select and combine values.
[0020]
In the invention according to claim 9 configured as described above, assuming that there are two mountains as described above, the higher one is selected, so a gentle mountain is selected in the foot, and a middle to steep mountain is It will be chosen.
The image sharpening step sharpens the image data, and various sharpening methods can be employed. As an example thereof, in the invention according to claim 10, in the image sharpening method according to any one of claims 1 to 9, in the image sharpening step, a difference between smoothed image data and original image data The image sharpness processing is performed by adding to the same original image data while multiplying the above-set sharpness degree by.
[0021]
Smoothing the image data is equivalent to applying a low-pass filter, so a low frequency component is obtained, and if a difference between this and the original image data is taken, a high frequency component is obtained. . Therefore, in the invention according to claim 10 configured as described above, since the high frequency component is added to the original image data, the high frequency component is added and sharpened, and the addition degree is adjusted by the sharpness degree, The strength of the sharpening process has been adjusted.
[0022]
As described above, the sharpening is not only performed on the sharp area, but the change in the degree of increase is sharply sharpened while gradually increasing the sharpness from the non-sharp area side to the sharp area side. It will be easily understood that the method for achieving the present invention is implemented in a tangible device, and in that sense the present invention is also applicable as a tangible device. Therefore, according to the eleventh aspect of the present invention, there is provided a sharp area detection means for detecting a sharp area of an image based on image data in which an image is expressed in multiple gradations by pixels in a dot matrix, and a sharp area from the unsharp area side. Sharpening degree setting means for setting the sharpness degree so that the change in the increase degree becomes sharp sharply while gradually raising the sharpness degree toward the image side, and the sharpness degree set by the sharpness degree setting means Image sharpening means for sharpening the image data based on the above, and image data output means for outputting the sharpened image data.
[0023]
That is, there is no difference in being effective as a device having a substance. Such an image sharpening device may be implemented alone or may be implemented together with another method in a state of being incorporated into a certain device, and the idea of the invention is not limited to this, and various types of image sharpening devices may be implemented. It includes an aspect. Therefore, it can be changed as appropriate, such as software or hardware.
In the case of software that implements an image sharpening method as an embodiment of the concept of the invention, it naturally can be said to exist and be used on a recording medium on which such software is recorded.
[0024]
As one example thereof, the invention according to claim 21 is a medium storing an image sharpening processing program for sharpening an image with a computer based on image data in which an image is expressed in multiple gradations by pixels in a dot matrix form. And a sharp area detection step of detecting a sharp area of the image based on the image data, and while gradually increasing the degree of sharpness from the side of the non-sharp area toward the side of the sharp area A sharpening degree setting step for setting the sharpness degree so as to be sharp, an image sharpening step for sharpening the image data based on the sharpness degree set in the sharpness degree setting step, and sharpening The computer is configured to execute an image data output step of outputting image data.
[0025]
Of course, the recording medium may be a magnetic recording medium or a magneto-optical recording medium, and any recording medium developed in the future can be considered in the same way. In addition, the replication stages of the primary copy, the secondary copy, etc. are the same without any doubt. In addition, even when the communication method is used as the supply method, the present invention is still used.
Furthermore, even when a part is software and a part is realized by hardware, the concept of the invention is not completely different, and a part is stored on a recording medium and appropriately used as needed. It may be in a form to be read. Of course, it is needless to say that the idea of the invention is reflected in this program itself.
[0026]
【Effect of the invention】
As described above, according to the present invention, the sharpness increases in an exponential manner from the non-sharp area to the sharp area, so that the non-sharp area does not become rough as when the image is simply sharpened. Furthermore, it is possible to provide an image sharpening method capable of obtaining a well-sharpened image without any sharp regions being floating around.
Further, according to the invention of claim 2, it is possible to detect a sharp area relatively easily.
[0027]
Further, according to the third aspect of the present invention, adjustment of the detection range of the sharp area becomes easy.
Furthermore, according to the fourth aspect of the present invention, it is possible to provide an adjustment method for favorably detecting a sharp area.
Further, according to the invention of claim 5, it is possible to provide a suitable method when the sharpened area is wide.
Furthermore, according to the sixth aspect of the present invention, it is possible to provide a suitable method when the sharp area is narrow.
Furthermore, according to the seventh aspect of the present invention, the desired degree of change can be set relatively easily.
[0028]
Furthermore, according to the eighth aspect of the invention, since only addition is performed, it can be realized by a simple calculation.
Furthermore, according to the invention of claim 9, since one value is used as it is, it can withstand general use.
Furthermore, according to the invention concerning Claim 10, it can implement | achieve with a general sharpening method.
Furthermore, according to the invention of claims 11 to 20, an image sharpening device having similar effects can be provided, and according to the invention of claim 21, a medium having an image sharpening program recorded thereon can be provided. .
[0029]
BEST MODE FOR CARRYING OUT THE INVENTION
FIG. 1 shows an image sharpening apparatus according to an embodiment of the present invention in a claim correspondence view, and FIG. 2 shows a computer system 10 as an example of hardware for realizing the image sharpening apparatus in a block diagram. There is. First, the computer system 10 will be described.
The computer system 10 includes a scanner 11a, a digital still camera 11b, and a video camera 11c as image input devices for directly inputting image data, and is connected to the computer main body 12. Each input device is capable of generating image data representing an image in dot matrix form and outputting the image data to the computer main body 12, where the image data is displayed in 256 gradations in each of the three primary colors of RGB. , Has become capable of expressing about 16.7 million colors.
[0030]
A floppy disk drive 13a as an external auxiliary storage device, a hard disk 13b, and a CD-ROM drive 13c are connected to the computer main body 12, and main programs related to the system are recorded in the hard disk 13b. It is possible to read necessary programs etc. from a CD-ROM etc. as appropriate.
In addition, a modem 14a is connected as a communication device for connecting the computer main body 12 to an external network or the like, and is connected to the external network via the same public communication line to download and introduce software and data. It has become. In this example, the modem 14a accesses the outside through the telephone line, but it is also possible to configure to access the network through the LAN adapter. In addition, a keyboard 15a and a mouse 15b as a pointing device are also connected to operate the computer main body 12.
[0031]
Furthermore, a display 17a and a color printer 17b are provided as image output devices. The display 17a has a display area of 800 pixels in the horizontal direction and 600 pixels in the vertical direction, and the display of 16.7 million colors described above is possible for each pixel. Of course, this resolution is merely an example, and can be changed as appropriate, such as 640 × 480 pixels or 1024 × 768 pixels.
[0032]
The color printer 17 b is an ink jet printer, which can print an image by adding dots on a printing sheet as a recording medium using four color inks of CMYK. The image density can be high density printing such as 360 × 360 DPI or 720 × 720 DPI, but with regard to the gradation table limit, it is a two-tone expression such as whether or not to add color ink.
On the other hand, in order to input or display an image using such an image input device and to display or output the image on the image output device, a predetermined program is executed in the computer main body 12. Among them, operating as a basic program is an operating system (OS) 12a, and the operating system 12a performs print output to a display driver (DSP DRV) 12b and a color printer 17b that cause display on the display 17a. A printer driver (PRT DRV) 12 c is incorporated. The types of these drivers 12b and 12c depend on the models of the display 17a and the color printer 17b, and can be additionally changed to the operating system 12a according to the models. In addition, additional functions beyond standard processing can be realized depending on the model. That is, it is possible to realize various additional processes within the allowable range while maintaining a common processing system on the standard system of the operating system 12a.
[0033]
The application 12d is executed on the operating system 12a as the basic program. The processing contents of the application 12d are various, monitor the operation of the keyboard 15a and the mouse 15b as operation devices, and when operated, appropriately control various external devices and execute corresponding arithmetic processing, etc. Furthermore, the processing result is displayed on the display 17a or output to the color printer 17b.
[0034]
By the way, an image captured by the digital still camera 11b becomes image data, and can be displayed on the display 17a or output to the color printer 17b after the application 12d executes various image processing. As an example of such image processing, there is emphasizing processing (sharpening processing is hereinafter referred to as such), and in the present embodiment, the application 12 d executes the emphasizing processing for obtaining an optimum result. I will explain below as things.
[0035]
In the above, the process of acquiring image data from an image input device or the like constitutes the image data acquisition means A1 shown in FIG. 1, and the hardware and software related to this process actually correspond. The sharp area detection unit A2 corresponds to the process of detecting a high sharpness area in the image data acquired as described above, and is specifically performed by the application 12d. Further, the application 12d uses this detection result to set an optimum sharpness degree for each part of the image, and also uses the sharpness degree to carry out a sharpening process on the image data, so that the sharpness degree setting means A3 and the image sharpening means A4 are also configured.
[0036]
In the present embodiment, the application 12 d performs the image processing, but it is naturally possible to realize the sharpening processing automatically when the display driver 12 b or the printer driver 12 c outputs an image. It is.
Of course, the application 12d for executing such processing, the display driver 12b, and the printer driver 12c are stored in the hard disk 13b, and are appropriately read and operated by the computer main body 12. Also, at the time of installation, it is recorded and installed on a medium such as a CD-ROM or floppy disk. Therefore, these media constitute media on which the image sharpening program is recorded.
[0037]
The application 12d entrusts the image data subjected to the image processing to the subsequent processing process in the form of a file, and the process of outputting the image data in the form of a file in this way constitutes the image data output means A5. As described above, when the display driver 12b and the printer driver 12c realize the sharpening process when outputting an image, it can be said that the output stage constitutes the image data output means A5.
In the present embodiment, the image sharpening device is realized as the computer system 10, but such a computer system is not necessarily required, and any system requiring interpolation processing for similar image data may be used. . For example, as shown in FIG. 3, it is a system in which an image sharpening device for emphasizing processing is incorporated in a digital still camera 11b1 and displayed on a display 17a1 or printed on a color printer 17b1 using the image data subjected to emphasizing processing. Also good. Further, as shown in FIG. 4, in the color printer 17b2 which inputs and prints image data without passing through a computer system, image data inputted via the scanner 11a2, digital still camera 11b2, modem 14a2 or the like is automatically processed. It is also possible to configure it to perform emphasis processing. Such a color printer 17b2 is often used as a video printer connected to a home television or video as a video printer to make a hard copy of one scene in recent years, while acquiring image data from a removable recording medium It is sufficient to execute the optimum enhancement process in resolution conversion.
[0038]
In addition to this, the present invention can naturally be applied to various devices handling image data such as a color facsimile machine 18a as shown in FIG. 5 and a color copying machine 18b as shown in FIG.
Specifically, the above-described emphasizing process is performed by an image processing program corresponding to the flowcharts shown in FIGS. 7 to 9 in the computer main body 12. FIG. 10 schematically shows the change of the processing object in the image processing program. FIG. 10 shows a work area in the image processing program, and each image data consisting of RGB three-element data is to be processed using a work area assuming an individual plane called a layer. Further, a work area called a channel is used to store calculation results and the like in order to control each image processing.
[0039]
In the flowcharts shown in FIGS. 7 to 9, in step 100, image data is input. This image data is fetched from the scanner 11a2, the digital still camera 11b2, the modem 14a2 or the like through the operating system 12a, and the captured input image data is stored in the original image layer in the above-mentioned layer.
Next, the image data of the original image layer is copied to the background layer and the duplicate layer to proceed with processing leaving the original image (step 102, step 104). In the present embodiment, final enhancement processing is added to the image data of the background layer, and image processing for generating a mask for the copy layer is performed.
[0040]
The first step of the image processing is tone curve correction (step 106), and the contrast of the image data stored in the duplicate layer is raised using the tone curve shown in FIG. The significance of performing the process of increasing the contrast will be described later.
At step 108, the image data with the increased contrast is copied to the high tone copy layer to leave the original, and at step 110, smoothing processing is performed on the image data of the high tone copy layer. In the smoothing process, image data is averaged for a predetermined area centered on the pixel of interest, and filtering is performed using a filter mask shown in FIG. In this filtering process, all the image data of eight pixels adjacent to the target pixel and the target pixel are added and divided by the number of pixels, so it is nothing other than finding an average value. Although the filter mask shown is 9 pixels of 3 × 3 pixels, filter masks of different sizes such as 5 × 5 pixels may be used, or smoothing may be performed to reduce weighting of peripheral pixels. .
[0041]
The smoothed image data is stored in the high tone copy layer, and in step 112, the absolute value of the difference between the image data of the high tone copy layer and the image data of the copy layer is calculated, and the calculation result is stored in the alpha channel 1.
FIG. 14 is a reference diagram for explaining the meaning of this series of processing, and is originally a two-dimensional image data rearranged in an easy-to-understand one-dimensional manner. Assuming that the image data of the duplicate layer is as shown in FIG. 6A, the smoothing becomes smooth as shown in FIG. 4B by smoothing. Next, as shown in FIG. 6C, the difference between the two is calculated, and a difference value is generated in the smoothed and changed pixel, and the absolute value (represented by a dot-and-dash line in the drawing) increases. The image data of the layer is changing significantly. The portion where the absolute value is large is where the image is greatly changed, and this series of processing is nothing other than detecting a sharp area of the image. Also, raising the contrast of the image data of the duplicate layer in step 106 contributes to increasing the difference value described above, making it easier to detect sharp areas. In this respect, if the sharp area can be detected first, the adjustment can be optionally performed thereafter, but if it becomes out of the object at the stage of detecting the sharp area, the room for the adjustment becomes small. Therefore, the sharp area is detected in this way.
[0042]
Further, FIG. 15 illustrates the meaning of the above-described processing with a specific image. Assuming that (a) in the figure is the original image, the smoothing process causes a change in the image data of the outline portion as shown in (b) in the figure, and the other portion remains in the original color. Become. Therefore, when the difference value with the original image is obtained, only the region centered on the outline of the original image remains as shown in FIG.
[0043]
Since alpha channel 1 is a general purpose channel, it is stored in the unsharp mask original channel and the unsharp mask intensification channel in order to store the absolute value of the difference value (steps 114 and 116). Adjustment is performed on the unsharp mask contrast enhancement channel in order to make specific calculation results better.
First, in step 118, tone curve correction is performed using the tone curve shown in FIG. Even if the difference value corresponding to the sharpening of the image is obtained as shown in FIG. 14C, this data itself is not necessarily easy to use for the calculation. In particular, since the absolute value of such difference value itself is only a small value, it also needs to be a larger value. In the one shown in FIG. 15, the purpose is to increase the small absolute value proportionally, but setting a certain threshold and adopting a steep S-shaped curve such that the one below it does not change much Is also possible.
[0044]
Next, at step 120, reduction processing of the unsharp mask contrast enhancement channel is performed. The reduction process is a process of narrowing the width of a line as an actual image, and the peak of the trapezoid has a sharp mountain shape, such as from a solid line to a broken line shown in FIG. Then, at step 140, the data at the time of reduction in this way is temporarily copied to the unsharp mask hardening 2 channel and stored.
[0045]
On the other hand, when it is reduced, it is subjected to smoothing processing. In FIG. 17 (b), the solid line shows the state before smoothing, and the broken line shows the state after smoothing. By smoothing, although it was a sharp mountain shape, the foot spreads and the top becomes low. On the other hand, the state before smoothing remains in the unsharp mask hardening 2 channel, and the next step 142 synthesizes these two channels. The synthesized state is shown in (c) of the figure, which is gentle at the foot portion, and an inclined surface which rises sharply from the middle is formed.
[0046]
The composition shown in the figure (b) to the figure (c) is a composition which chooses the larger one of the two channels, and when two mountains are overlapped, the upper line is selected become. However, the synthesis itself is not limited to such a method, and both may be added. The same figure (d) has shown such an addition result. Since the value increases when the addition is performed, normalization may be performed with the maximum value.
Further, the reduction does not necessarily have to form a sharp chevron having one top as shown in FIG. 17, but it may have a narrow width. Therefore, as shown in FIG. 18A, when the original trapezoidal shape is wide, processing may be performed to bring the outer edge portion inward. Even in such a case, when the synthesis process is performed through the process shown in FIG. 7B by the smoothing process, the foot gradually spreads in the outer edge portion as shown in FIG. Will stand up.
[0047]
Note that such change in the degree of sharpness as shown in FIG. 17 corresponds to gradually increasing the degree of sharpness from the non-sharp area side with the center of the sharp area of the image as the peak, and as shown in FIG. The change of the degree corresponds to the correspondence of gradually increasing the degree of sharpness from the outside to the inside at the boundary between the sharp area and the non-sharp area of the image.
An example of the method of reducing while utilizing the inclination will be described with reference to FIG. Assuming that pixels are scanned in the vertical and horizontal directions, processing is performed to replace the previous value (Dp-1) with the previous value if the previous value (Dp-1) is smaller than the current value Dp. If this is processed by moving the target pixel from the left to the right on the screen, it is reduced to the right by one pixel at an inclined position rising to the right. If the same processing is performed from left to right, from top to bottom, and from bottom to top, it is possible to reduce the size by 1 pixel in the horizontal and vertical directions. And FIG. 20 shows a situation where the area is narrowed by one pixel (one pixel) in this way.
[0048]
Note that, as described above, since the pixels are picked up at the step 118 depending on the setting of the threshold value, the reduction is performed at the step 120 to adjust to a substantially appropriate range. It will be fixed. In the specific image change shown in FIG. 15, the change from (c) to (d) corresponds to the reduction, and the change from (d) to (e) Corresponds to smoothing, and the change from (e) to (f) in the figure corresponds to composition.
[0049]
Thus, the setting of the degree of sharpness in the sharpening process centered on the sharp area is completed. The finished mask is as shown in FIG. 15 (f), and has a lower degree of sharpness at the peripheral edge, but increases through a sharp curve inside. Although not shown in the figure, if smoothing is performed only once again at this point, the boundary portion in the mask image becomes smooth, so that the image is not jumped more in the emphasizing process to be performed next. Can be expected.
[0050]
Then, the completed mask is copied to the completed unsharp mask 1 channel (step 126), and enhancement processing is performed with the set degree of sharpness (step 132).
In the emphasizing process, unsharp masks shown in FIGS. 21 to 22 are used. Here, the emphasizing process performed in step 132 will be described using luminance as an example.
With respect to the luminance Y of each pixel before emphasis, the luminance Y ′ after emphasis is
Y '= Y + Eenhance ・ (Y-Yunsharp)
Calculated as This Yunsharp is obtained by applying unsharp mask processing to the image data of each pixel, and the emphasis coefficient Eenhance is a value obtained by dividing the above-mentioned completed unsharp mask 1 channel by "255" and normalized.
[0051]
Here, the unsharp mask processing will be described. 21 to 23 show unsharp masks 41 to 43 having three different sizes. In this unsharp mask 41 to 43, the value of "100" at the center is used as a weighting of the processing target pixel Y (x, y) in the image data in matrix form, and corresponding to the numerical value in the grid of the mask with respect to the peripheral pixels. Used for weighting and integration. If the unsharp mask 42 shown in FIG. 22 is used now,
[0052]
[Equation 1]
[0053]
The meaning of such an operation is as follows. Since Yunsharp (x, y) is obtained by reducing the weighting of the peripheral pixels with respect to the target pixel and adding them, so-called "unsharp" image data is obtained. In this way, the ones thus made have the same meaning as the ones to which a so-called low pass filter is applied. Therefore, "Y (x, y) -Yunsharp (x, y)" has the same meaning as the one obtained by subtracting the low frequency component from the original total component and applying the high pass filter. Then, the high frequency component that has passed through the high pass filter is multiplied by the enhancement coefficient Eenhance and added to “Y (x, y)”, which means that the high frequency component is increased in proportion to the enhancement coefficient Eenhance. The result is emphasized.
[0054]
In addition, the degree of emphasis of the edge also changes depending on the size of the unsharp mask. In the case of three unsharp masks 41 to 43 having different numbers of vertical and horizontal grids, the larger the mask is, the larger the weight is on the pixels adjacent to the pixel of interest, and the weight gradually decreases in the distance to the distant pixels. Ru. This is because, in other words, the character as a low pass filter becomes stronger, and it becomes easy to generate a high frequency component.
[0055]
Therefore, in addition to the adjustment of the degree of emphasis by the emphasis coefficient Eenhance, using the unsharp mask 43 of a large size performs strong emphasizing processing, and using the unsharp mask 41 of a small size performs weak emphasizing processing It will be. Of course, if intermediate strength emphasis processing is to be performed, it is sufficient to use an unsharp mask 42 of an intermediate size. For example, the unsharp masks 41 to 43 of the same size may be used as the sharpness representing the enhancement coefficient Eenhance, or the enhancement coefficients Eenhance may be constant and the unsharp masks 41 to 4 different in size depending on the sharpness. You may use 43 separately.
[0056]
In addition, the filter mask of the unsharp masks 41-43 is only an example, and it is also possible to change suitably. Further, as can be seen by referring to FIG. 22, the parameter of the outermost periphery is “0” or “1”, and even if it is multiplied by the image data of the pixel, it is almost nil in consideration of the degree of influence when dividing by “632”. It is a meaning. For this reason, if the unsharp mask 44 filter mask of 5 × 5 pixels is used ignoring the parameter of the outermost circumference, the number of division calculations “49 (= 7 × 7)” to “25 (= 5 ×) 5) The number of operations can be reduced by half to shorten the calculation processing time.
[0057]
Through the processing described above, with regard to digital image data captured via the digital still camera 11b2 or the modem 14a2, etc., the sharpness of the digital image data gradually increases from the periphery at the edge portion while the sharpness with respect to the edge is improved. In order to raise it, it is possible to prevent the problem that only the edge is lifted.
The image data itself obtained in this way is stored in the background layer, and when this image data is output to the display 17a or the color printer 17b via the display driver 12b or the printer driver 12c, the image becomes a beautiful image. .
[0058]
Generally, in this enhancement processing, the sharpness of the image is increased with a generally natural feeling, but the boundary portion appearing on human skin may be sharpened and appear grainy. This is because the person itself is an object of a photograph, and in particular, the part thereof is focused. The same thing happens for the border that appears in the sky that occupies a large area in the picture. In such a case, it may be determined whether each pixel is skin color or sky blue, and if it is skin color or sky blue, the emphasizing process may be weakened. Here, a method of determining whether each pixel is skin color or sky blue will be described.
[0059]
Assuming that the image data of each pixel is represented by (R, G, B), the chromaticity is
r = R / (R + G + B)
b = B / (R + G + B)
It is represented as
FIG. 24 shows sampling results of image data representing human skin. That is, the three data on the left are the (R, G, B) values of the pixels constituting the skin, and the sum (sum_rgb) of (R + G + B) is shown on the right, and the color based on the above calculation is on the right The degrees r and b and the luminance Y are shown. Further, FIG. 25 shows a graph in the case where each pixel is plotted in rb space. As shown in the figure, even if it is difficult to find uniformity as RGB data, it is found that there is regularity when plotted on a graph as chromaticity. That is, if it is human skin, it may be either dark or bright, but nevertheless, it is distributed linearly as shown in FIG. The linear distribution shown in the figure is
0.33 <r <0.51
| 0.74r + b-0.57 | <0.1
It can be said that if this condition is applied to each pixel, it can be said that it belongs to the skin color area.
[0060]
Also, FIG. 26 similarly shows sampling results of image data representing a blue sky, and FIG. 27 shows a graph in the case where each pixel is plotted in rb space, and in this case, the fluctuation range is more than that in the case of skin color. Considering that
0.17 <r <0.30
| 1.11r + b-0.70 | <0.2
It can be said that the following relational expression holds.
FIG. 28 shows a flowchart for executing such a process in step 132. The chromaticity is calculated in step 132a, and it is judged in steps 132b and 132c whether it is a flesh color or a sky blue. If it is not scratched, the original emphasis process is executed in step 132d. However, if it is determined in step 132b or 132c that the skin color or sky color is determined, then in step 132e, emphasis processing is performed to weaken. Specifically, a small size unsharp mask 41 may be used.
[0061]
By the way, the above processing is mainly realized by software processing while using the computer system 10. However, the present invention is not necessarily limited to the software configuration, and can be realized by hardware wire logic.
FIG. 29 shows a specific block circuit, in which input image data is input to the smoothing circuit 51 and is subjected to blurring processing and not passed to the absolute difference circuit 52, and the difference value between the two. The tone curve correction circuit 53 executes tone curve correction as shown in FIG. Next, the reduction circuit 54 executes a process of narrowing the outer edge, and the result is smoothed by the smoothing circuit 55, while those before and after smoothing are synthesized by the synthesis circuit 56. Thereafter, the emphasizing circuit 57 applies emphasis using the generated mask data.
[0062]
In each circuit, processing may be performed digitally by a logic circuit, but in some cases, processing may be performed in analog form.
As described above, the digital image data taken in via the digital still camera 11b 2 or the like calculates the difference between the smoothed and blurred one and the original one (step 112) and detects the sharpened area, and then the tone is obtained. Curve correction and reduction are performed, and the smoothed and non-smoothed ones are combined to set the sharpness of the slope rising sharply from the middle while the foot is broadened (steps 118 to 142). Since the mask data is stored in the complete unsharp mask 1 channel and the original image data is enhanced using the mask data (step 132), the problem that only the edge is lifted is avoided. It can be sharpened.
Brief Description of the Drawings
FIG. 1 is a claim-corresponding view of an image sharpening device according to an embodiment of the present invention.
FIG. 2 is a block diagram of a computer system to which an image sharpening device according to an embodiment of the present invention is applied.
FIG. 3 is a schematic block diagram showing another application example of the image sharpening device of the present invention.
FIG. 4 is a schematic block diagram showing another application example of the image sharpening device of the present invention.
FIG. 5 is a schematic block diagram showing another application example of the image sharpening device of the present invention.
FIG. 6 is a schematic block diagram showing another application example of the image sharpening device of the present invention.
FIG. 7 is a portion of a flowchart of an image sharpening device in accordance with an embodiment of the present invention.
FIG. 8 is a part of the flowchart.
FIG. 9 is a part of the same flow chart.
FIG. 10 is a schematic block diagram showing the entire process.
FIG. 11 is a conceptual diagram showing a storage state of data.
FIG. 12 is a diagram showing an example of a tone curve.
FIG. 13 is a diagram showing a filter mask used for smoothing processing.
FIG. 14 is a conceptual view showing a changing process of image data.
FIG. 15 is a conceptual view showing a changing process of an image.
FIG. 16 is a diagram showing an example of a tone curve.
FIG. 17 is a diagram showing a process of changing the degree of sharpness.
FIG. 18 is a diagram showing the process of changing the degree of sharpness for a wide area;
FIG. 19 is an explanatory view showing a reduction method;
FIG. 20 is a diagram illustrating an example of reduction processing.
FIG. 21 is a diagram showing a small size unsharp mask.
FIG. 22 is a view showing a medium size unsharp mask.
FIG. 23 is a view showing a large size unsharp mask.
FIG. 24 is a diagram showing image data of a flesh-colored pixel, chromaticity, and luminance.
FIG. 25 is a diagram showing a flesh-colored pixel by a graph of chromaticity.
FIG. 26 is a diagram showing image data of a sky blue pixel, chromaticity, and luminance.
FIG. 27 is a diagram showing a sky blue pixel by a graph of chromaticity.
FIG. 28 is a part of a flowchart showing a modification of emphasis processing.
FIG. 29 is a block diagram of an image sharpening device implemented with hardware logic.
[Description of the code]
10: Computer system
11a ... Scanner
11a2 ... scanner
11b ... digital still camera
11b1 ... Digital still camera
11b2 ... Digital still camera
11c ... video camera
12: Computer main unit
12a ... operating system
12b ... display driver
12b ... driver
12c ... Printer driver
12d ... application
13a ... floppy disk drive
13b ... hard disk
13c ... CD-ROM drive
14a ... modem
14a2 ... modem
15a ... keyboard
15b ... mouse
17a ... Display
17a1 ... display
17b ... color printer
17b1 ... color printer
17b2 ... color printer
18a ... color facsimile machine
18b: color copying apparatus
41 to 43 ... Unsharp mask
51 ... smoothing circuit
52 ... absolute difference circuit
53: Tone curve correction circuit
54 ... Reduction circuit
55 ... smoothing circuit
56 ... synthesis circuit
57 ... emphasizing circuit