WO2005125174A1

WO2005125174A1 - 画像処理装置、画像処理プログラム、電子カメラ、および画像処理方法

Info

Publication number: WO2005125174A1
Application number: PCT/JP2005/011034
Authority: WO
Inventors: Hideyasu Kuniba
Original assignee: Nikon Corporation
Priority date: 2004-06-18
Filing date: 2005-06-16
Publication date: 2005-12-29
Also published as: JP2006005699A; EP1768379A1; JP4289225B2; US7733390B2; US20070097228A1; EP1768379A4

Abstract

　本発明の画像処理装置は、下記の画像入力部、変動抽出部、変調信号生成部、レベル圧縮、および階調修正部を備える。画像入力部は入力画像を取り込む。変動抽出部は、入力画像から局所的な変動成分を抽出して、変動成分を含む局所変動画像を生成する。変調信号生成部は、入力画像を局所変動画像へ変調する変調信号を求める。レベル圧縮部は、変調信号をレベル圧縮する。階調修正部は、レベル圧縮後の変調信号により入力画像を変調して、階調修正画像を得る。

Description

明細書

画像処理装置、画像処理プログラム、電子カメラ、および画像処理方法技術分野

[0001] 本発明は、入力画像の階調を修正する画像処理装置、画像処理プログラム、電子カメラ、および画像処理方法に関する。

背景技術

[0002] 従来、画面内に極端な明暗箇所を有する画像は、その階調修正が非常に困難でめつに。

すなわち、画面内の明るい箇所に合わせて階調を修正すると、暗い箇所が黒く潰れてしまう。その結果、黒い箇所ば力りが目立って階調の乏しい画像になってしまう。逆に、画面内の暗い箇所に合わせて階調を修正すると、明るい箇所の色や階調が白く飛んでしまう。その結果、明るい箇所の色や階調が不足して階調の乏しい画像になってしまう。

[0003] 従来、このような明暗差を和らげるために、軟調カーブの階調変換を施す処理がよく知られている。し力しながら、極端な明暗差を劇的に和らげることは難しぐ逆に中間階調域において明暗差が縮小するなどの弊害が生じやすい。

[0004] また従来、階調に偏りがある画像を修正するために、画像の階調ヒストグラムの分布を均等化する処理が知られている。この処理では、階調ヒストグラムの集中域において明暗差を拡大することができる。し力しながら、階調ヒストグラムの過疎域では逆に明暗差が縮小されるため、画面内の所々に階調潰れが目立つおそれがある。

[0005] さらに、上記の階調修正とは異なる従来技術として、下記の特許文献 1も知られている。この特許文献 1では、暗領域を明るくし、かつ暗領域中の小さな階調変化を強調することができる。その結果、暗領域に埋もれてしまう階調変化を明るく浮き上がらせることが可能になる。

特許文献 1 :米国特許第 5, 991, 456号明細書

発明の開示

発明が解決しょうとする課題 [0006] ところで、特許文献 1では、暗領域が明るく浮き上がるため、 B音領域の色バランスが不自然になり、例えば陰影部分の青味が強調されるといった問題がある。

[0007] また、 B音領域が明るく浮き上がり過ぎて、画面全体の陰影が平板な印象になるといつた問題もある。

[0008] そこで、本発明の目的は、画面全体の明暗変化を適度に抑えつつ、視覚的に埋もれやすい局所的な階調変化を良好に強調する技術を提供することである。

また、本発明の別の目的は、画面全体の明暗変化に伴う色バランスの不自然さ、良好に補正する技術を提供することである。

課題を解決するための手段

[0009] 《1》

本発明の画像処理装置は、下記の画像入力部、変動抽出部、変調信号生成部、レベル圧縮、および階調修正部を備える。

画像入力部は、入力画像を取り込む。

変動抽出部は、入力画像から局所的な変動成分を抽出して、変動成分を含む局所変動画像を生成する。

変調信号生成部は、入力画像を局所変動画像へ変調する変調信号を求める。レベル圧縮部は、変調信号をレベル圧縮する。

階調修正部は、レベル圧縮後の変調信号により入力画像を変調して、階調修正画像を得る。

[0010] 《2》

なお好ましくは、入力画像が複数成分から構成されるカラー画像であって、階調修正部は、乗算画像とオフセット補正画像を生成する。この乗算画像は、レベル圧縮後のゲインマップと複数成分とを乗じて生成される。一方のオフセット補正画像は、乗算画像の信号レベルに揃えて、入力画像の複数成分をオフセット補正することによって生成される。この場合、階調修正部は、この乗算画像およびオフセット補正画像を加重加算することにより、階調修正画像を得る。

[0011] 《3》

また好ましくは、階調修正部は、変調信号に対応して、乗算画像およびオフセット補正画像の加重比率を変更することを特徴とする。

[0012] 《4》

なお好ましくは、階調修正部は、下記の調整入力部、および効果調整部を備える。調整入力部は、暗領域用の加重比率 Ws、および明領域用の加重比率 Whのユーザ一調整を受け付ける。

効果調整部は、変調信号が、予め定められた閾値未満の領域において、階調修正画像と入力画像とを加重比率 Whで加重加算する。

一方、この効果調整部は、変調信号が閾値を超える領域において、階調修正画像と入力画像とを加重比率 Wsで加重加算する。

[0013] 《5》

また好ましくは、変調信号生成部は、下記のレンジ調整部、および信号算出部を備える。

レンジ調整部は、局所変動画像の信号レンジを、予め定められたレンジ幅に調整する。

信号算出部は、入力画像を、レンジ調整後の局所変動画像へ変調する変調信号を求める。

[0014] 《6》

なお好ましくは、変動抽出部は、入力画像の画素数を低減した縮小画像について局所変動画像を生成する。さらに、レンジ調整部は、縮小画像の局所変動画像につ V、て信号レンジを求め、信号レンジをレンジ幅に調整するためのレンジ調整パラメ一タを決定する。この場合、レンジ調整部は、決定したレンジ調整パラメータを、入力画像の局所変動画像にも適用して信号レンジの調整を実施する。

[0015] 《7》

また好ましくは、上記の縮小画像に対して、入力画像と同様の階調修正を実施してプレビュー表示する。

[0016] 《8》

なお好ましくは、変動抽出部は、入力画像の輝度成分について局所的な変動成分を抽出することにより、変動成分を含む局所変動画像を生成する。 [0017] 《9》

また好ましくは、上記の輝度成分を、 HSV表色系の V成分とする。

《10》

本発明の画像処理プログラムは、コンピュータを、上記《1》ないし《9》いずれか 1項に記載の画像入力部、変動抽出部、変調信号生成部、レベル圧縮部、および階調修正部として機能させることを特徴とする。

[0018] 《11》

本発明の電子カメラは、上記《1》ないし《9》いずれか 1項の画像処理装置、および撮像部を備える。この撮像部は、被写体を撮像して、画像処理装置に与える入力画像を生成する。

[0019] 《12》

本発明の画像処理方法は、下記の処理ステップを有する。

(1)画像入力ステップ · '入力画像を取り込む。

(2)変動抽出ステップ' '入力画像から局所的な変動成分を抽出して、変動成分を含む局所変動画像を生成する。

(3)変調信号生成ステップ · ·入力画像を局所変動画像へ変調する変調信号を求める。

(4)レベル圧縮ステップ · '変調信号をレベル圧縮する。

(5)階調修正ステップ · ·レベル圧縮後の変調信号により入力画像を変調して、階調修正画像を得る。

[0020] 《13》

なお好ましくは、この画像処理方法において、上記《2》〜《9》の少なくとも一つの動作を実行する。

発明の効果

[0021] 本発明では、入力画像から局所的な変動成分を抽出することで、局所変動画像を生成する。この局所変動画像は、直流変動分 (すなわち大域的な明暗レベル差)が相対的に小さくなり、局所的な階調変動を相対的に多く含む画像となる。

[0022] 続、て、入力画像を局所変動画像へ変調する変調信号を求める。一般に、局所変動画像は大域的な明暗レベル差が狭ぐ暗領域ほど明るく浮き上がつている。そのため、大域的な暗領域ほど大きな変調信号を示すようになる。

[0023] 次に、この変調信号をレベル圧縮する。このレベル圧縮により、大域的な暗領域における過度な変調信号が制限される。

[0024] 続ヽて、レベル圧縮後の変調信号と入力画像との乗算結果から、階調修正画像を生成する。この場合、レベル圧縮した変調信号を乗算するので、暗領域に特有な過度な浮き上がりが抑制される。

[0025] その結果、大域的な暗領域が不自然に明るくなるといった不具合現象を適度に抑えつつ、視覚的に埋もれやすい画像の階調変化を良好に強調することが可能になる

[0026] なお、本発明における上述した目的およびそれ以外の目的は、以下の説明と添付図面とによって容易に確認することができる。

図面の簡単な説明

[0027] [図 1]第 1実施形態における画像処理プログラムの動作を説明する図である。

[図 2]第 2実施形態における画像処理プログラムの動作を説明する図である。

[図 3]第 2実施形態における画像処理プログラムの動作を説明する図である。

[図 4]本実施形態の構成を示すブロック図である。

発明を実施するための最良の形態

[0028] 《第 1実施形態》

図 1は、第 1実施形態における画像処理プログラムの動作を説明する図である。以下、この図 1に示すステップ番号に沿って、コンピュータによる画像処理動作を説明する。

[0029] ステップ S1 :

コンピュータは、 RGB色空間の入力画像 RGB (水平画素数 W,垂直画素数 P)を取り込み、 HSV色空間に変換する。

[0030] ステップ S 2 :

コンピュータは、入力画像の各画素の輝度（明度)成分を示す V面に局所平滑ィ匕処理を施し、平滑化画像 Vfを得る。例えば、コンピュータは、局所平滑化の半径 rを設定した後、次のような初期値と漸化式により、画面水平方向の局所平滑化をまず実施する。

[0031] (初期値）

S(0,y)=rV(0,y)+V(0,y)+V(l,y) + · · · +V(r,y) · · · [1]

Vz(0,y) = S(0,y)/(2r+l) · · · [2]

(漸化式）

S(x,y) = S(x-1 ,y) - V(x-l-r,y) + V(x+r,y) … [3]

Vz(x,y) = S(x,y)/(2r+l) … [4]

[0032] ただし、 x— 1— rく 0の場合は、 V(x— 1— r, y)=V(0, y)と仮定し、 x+r≥Wの場合は、 V(x+r, y)=V(W-l, y)と仮定する。

続いて、コンピュータは、次のような初期値と漸ィ匕式により、画面垂直方向の局所平滑化を実施する。

[0033] (初期値）

S (x, 0) = rVz(x, 0) + Vz(x, 0) + Vz(x, 1) H hVz(x,r) … [5]

Vf(x,0) = S(x,0)/(2r+l) … [6]

(漸化式）

S(x,y) = S(x-1 ,y) - Vz(x,y-l-r) + Vz(x,y+r) · · · [7]

Vf(x,y) = S(x,y)/(2r+l) … [8]

ただし、 y— 1— rく 0の場合は Vz(x, y— 1— r)=Vz(x, 0)と仮定し、 y+r≥Pの場合は、 Vz(x, y+r)=Vz(x, P— 1)と仮定する。

[0034] ステップ S3:

ここでは、コンピュータは、局所平滑化の半径 rを、 r=0.1W, 0.05W, 0.025W の 3通りに変化させて、 3種類の平滑ィ匕画像 Vf , Vf , Vf を得る。

0.1 0.05 0.025

次に、コンピュータは、入力画像 (V面）と 3種類の平滑ィ匕画像との差分を、下式に基づいて算出し、局所変動画像 Q , Q , Q を求める。

0.1 0.05 0.025

[0035] Q (x,y)=log(V(x,y) + δ ) -log(Vf (x,y)+ δ )

0.1 0.1

Q (x,y) = log(V(x,y) + δ ) -log(Vf (x,y)+ δ )

0.05 0.05

Q (x,y) = log (V(x,y) + δ )— log (Vf (x,y) + δ ) •••[9]

なお、上式中の δは、対数演算の発散を防ぐための定数であり、無視できる程度の微少値とする。

なお、入力画像に予め施される Ύ補正の状況などに応じて、 log演算によるレベル圧縮を省、たり、レベル圧縮の強弱を調整することが好ま、。

[0036] ステップ S4 :

続いて、コンピュータは、局所変動画像 Q , Q , Q を加算することにより、半

0.1 0.05 0.025

径 rの異なる局所変動が混在した局所変動画像 Qを生成する。

Q(x,y)= [Q (x,y)+Q (x,y)+Q (x,y)]/3 · ' · [10]

0.1 0.05 0.025

なお、この平均演算では、各半径の視覚感度の違いを考慮した重み係数を付けて、加重加算を行うことが好ましい。

[0037] ステップ S5 :

次に、コンピュータは、局所変動画像 Qの最大値 Qmax,最小値 Qminを求め、その区間 [Qmax, Qmin]を 4096分割して、分割区間を定める。コンピュータは、最小値 Q min側から分割区間の度数を逐次に累積して、累積ヒストグラム c (q)を求める。

そして、コンピュータは、 c (q) =0. 001 XWX Pを満足する qの値を求めて、局所変動画像 Qのレンジ下限 thlする。さらに、コンピュータは、 c (q) =0. 99 XWX Pを満足する qの値を求めて、局所変動画像 Qのレンジ上限 th2する。

次に、コンピュータは、下式を用いて、この局所変動画像 Qの信号レンジ [thl, th2 ]を、所定の信号レンジ [Vmax, Vmin]へレンジ調整する。

V' (x,y)= {Q(x,y)-thl } (Vmax -Vmin) / (th2 - thl) +Vmin

•••[11]

なお、 Vmin≤V' (x,y)≤Vmaxとなるように、局所変動画像の上限下限をクリツプする。

[0038] ステップ S6 :

コンピュータは、下式を用いて、レンジ調整後の局所変動画像を、入力画像 (V 面）で画素単位に除算し、ゲインマップ Mを求める。

M(x,y)=V (x,y)/V(x,y) · ' · [12] ただし、 V(x,y) = 0の箇所は、 M(x,y)= l. 0とする。

[0039] ステップ S 7 :

コンピュータは、例えば下式を用いて、ゲインマップ Mにレベル圧縮をかけ、最大値を制限したゲインマップ Mcを求める。

Mc(x,y) = Mmax - M(x,y)/ { Mmax + M(x,y) } · · · [13]

ただし、 Mmaxは、レベル圧縮後の最大値であり、例えば Mmax= 12にする。

なお、ここでは [13]式に限らず、いわゆるソフトリミッタ処理による最大値制限を実施すればよい。

[0040] ステップ S8 :

コンピュータは、下式を用いて、入力画像の V面にゲインマップ Mcを画素単位に乗じ、乗算画像 Vrを得る。

Vr(x,y) = Mc(x,y)-V(x,y) · ' · [14]

ただし、 Vmin≤Vr(x,y)≤Vmaxとなるように、乗算画像 Vrの上限下限をクリップする

[0041] ステップ S9 :

コンピュータは、乗算画像 Vrと入力画像の HS面とからなる画像 HSVrを、 RGB色空間に変換して、乗算画像 RGBrを得る。

[0042] ステップ S 10 :

コンピュータは、乗算画像 RGBrの信号レベルと揃えるように、入力画像 RGBの色差を保ったまま RGB各成分を画素単位毎にオフセットし、オフセット補正画像 RGBo を得る。

[0043] ステップ S11 :

コンピュータは、乗算画像 RGBrとオフセット補正画像 RGBoとを加重加算することにより、階調修正画像 RGBaを得る。

なお、ここでの加重加算では、ゲインマップ Mcのゲインを参照し、そのゲインに応じて、乗算画像 RGBrの加重比率を増減変更することが好ま、。

このような動作により、画像の局所変動を強調した階調修正画像 RGBrを得ることができる。 [0044] 《第 1実施形態の効果など》

第 1の実施形態では、下記に列挙する効果を得ることができる。

[0045] (1)

第 1実施形態では、まず、局所変動画像を得る。この局所変動画像は、大域的な明暗差が狭ぐ暗領域が明るく浮き上がった画像である。また、この局所変動画像 V' は、明領域についても明るさが抑えられ、画像の内容が分力りやすくなつた画像である。

次に、この局所変動画像の信号レンジを正規化した後、入力画像で除算することにより、ゲインマップ Mを得る。このゲインマップ Mは、局所変動画像の暗部浮き上がりを反映し、大域な暗領域において比較的大きなゲインを示す。一方、このゲインマップ Mは、局所変動画像の明部を抑えたことを反映して、明領域において比較的に小さなゲインを示す。

[0046] 続いて、このゲインマップ Mをレベル圧縮して、ゲインマップ Mcを得る。このゲインマップ Mcは、大域的な暗領域における過度なゲイン力レベル圧縮を経て適度に制限される。

次に、レベル圧縮後のゲインマップ Mcと入力画像とを乗じることにより、乗算画像 V rを得る。この乗算画像 Vrは、局所的な階調変動を強調しつつ、大域的な暗領域の過度な浮き上がりを抑制した画像となる。

[0047] その結果、大域的な暗領域が過度に明るくなつて陰影変化が浅くなるといった不具合がなぐ過度に陰影変化が平坦化されるといった従来技術の問題点を解決することがでさる。

さらに、乗算画像 Vrは、 B音領域の浮き上がりを抑えることで、 B音領域における色バランスの崩れを抑制することもできる。その結果、 B音領域の色バランスが崩れやすいといった従来技術の問題点を解決することができる。

[0048] (2)

また、第 1実施形態では、乗算画像 Vrを RGB色空間に変換して、乗算画像 RGBr を得る。次に、この乗算画像 RGBrの信号レベルに揃えて、入力画像の RGB成分を画素単位にオフセット補正することにより、オフセット補正画像 RGBoを得る。このオフセット補正画像 RGBoは、信号レベルは乗算画像 RGBrとほぼ等しいが、 RGB間の色差が入力画像と等し、ために色バランスの崩れは極めて少な、。

[0049] 第 1実施形態では、この乗算画像 RGBrとオフセット補正画像 RGBoとを加重加算して、階調修正画像 RGBaを生成する。

その結果、階調修正画像 RGBaは、 B音領域における色バランスの変化が抑制される。その結果、暗領域の色バランスが崩れるといった従来技術の問題点を確実に解決することができる。

[0050] (3)

さらに、第 1実施形態では、乗算画像 RGBrとオフセット補正画像 RGBoとを加重カロ算するに際して、ゲインマップのゲインに応じて加重比率を柔軟に増減変更することちでさる。

この場合、色変化に対して視覚的に敏感になるゲインを示す画像領域 (例えば、ゲインマップ上の中間的なゲインを示す画像領域）において、乗算画像 RGBrの加重比率を下げることが好ましい。このような増減変更により、色バランスの崩れをより確実に防ぐことができる。

[0051] (4)

また、第 1実施形態では、 HSV表色系の V成分について、局所変動画像、ゲインマップなどを求めることで、上記の階調修正を実施して、る。

このような V成分などの輝度成分に対して階調修正を行うことにより、色ノイズなどの影響を受けることがなくなり、ノイズ増加の少ない階調修正が実現する。さらに、この輝度成分の階調変化は視覚感度が高いため、階調感の特に豊カな画像を生成することが可能になる。

さらに、この V成分の取りうる範囲内で上記の階調修正を実施した場合、階調修正後に色域をはみ出すおそれがない。すなわち、色域外の信号を色域内に写像変換するといつた面倒な処理を省くことができる。

次に、別の実施形態について説明する。

[0052] 《第 2実施形態》

図 2および図 3は、第 2実施形態における画像処理プログラムの動作を説明する図である。以下、これらの図に示すステップ番号に沿って、コンピュータによる画像処理動作を説明する。

[0053] ステップ S21 :

[0054] ステップ S22 :

コンピュータは、入力画像の V面について解像度変換を施し、縦横画素数を減少した縮小画像 Vsを生成する。

なお、入力画像のファイル内に縮小画像が予め記録されている場合は、このフアイル内の縮小画像を HSV色空間に変換することで、縮小画像 Vsを取得してもよヽ。

[0055] ステップ S23〜S32 :

コンピュータは、縮小画像 Vsに対して、一連の階調修正の処理を施すことにより、レベル圧縮後のゲインマップ Msc、および階調修正画像 RGBsaを得る。なお、ここでの階調修正は、第 1実施形態（図 1)のステップ S2〜S11と同一手順のため、ここでの説明を省略する。

なお、コンピュータは、ステップ S26で求めたレンジ調整パラメータ（thl, th2)を記憶し、入力画像の階調修正時に使用する。

[0056] ステップ S33 :

コンピュータは、ユーザーからの操作入力により、暗領域用の加重比率 Ws、および明領域用の加重比率 Whの調整を受け付ける。

[0057] ステップ S34 :

コンピュータは、ゲインマップ Mscの閾値未満の箇所について、 RGB色空間の縮小画像 RGBsと階調修正画像 RGBsaとを、明領域用の加重比率 Whで加重加算する。

なお、ここでの閾値は、ゲインマップ力大域的な明領域を弁別するための閾値であり、例えば『1倍』に設定される。

[0058] ステップ S35 :

コンピュータは、ゲインマップ Mscの閾値以上の箇所について、 RGB色空間の縮小画像 RGBsと階調修正画像 RGBsaとを、 B音領域用の加重比率 Wsで加重加算する。

なお、ここでの閾値は、ゲインマップ力大域的な暗領域を弁別するための閾値であり、例えば『1倍』に設定される。

[0059] ステップ S36 :

ステップ S34および S35のカロ重力ロ算〖こより、効果調整済みの縮小画像 RGBvが得られる。コンピュータは、この縮小画像 RGBvをモニタ画面にプレビュー表示する。

[0060] ステップ S37 :

ユーザーは、このプレビュー表示を見ながら、加重比率 Ws、 Whを更に調整操作することができる。この調整操作を受け付けると、コンピュータは、ステップ S33に動作を戻す。

このような動作により、ユーザーによる加重比率 Ws, Whの調整がプレビュー表示に即時に反映される。ユーザーは、このプレビュー表示の結果を確認しながら、所望の加重比率 Ws, Whを最終的に決定する。このような最終的な決定の後、ユーザーは、コンピュータに対して調整完了を指示入力する。

コンピュータは、この調整完了の指示入力を受け付けると、ステップ S38に動作を移行する。

[0061] ステップ S38 :

コンピュータは、ステップ S26で記憶したレンジ調整パラメータ、最終決定されたカロ重比率 Ws, Whを用いて、入力画像に階調修正を施し、効果調整済みの出力画像 RGBoutを得る。

なお、ここでの階調修正は、上述したステップ S23〜S35と同一の階調修正を、入力画像に施すものであるため、ここでの説明を省略する。

[0062] 《第 2実施形態の効果など》

以上説明した動作により、第 2実施形態においても、第 1実施形態と同様の効果を得ることができる。

[0063] さらに、第 2実施形態では、ゲインマップのゲインによって画像を暗領域と明領域とに大まかに切り分けて、加重比率 Ws, Whに従って両領域を独立に加重加算する。したがって、暗領域と明領域において、階調の局所変動の強調効果を独立に可変することが可能になる。

[0064] また、第 2実施形態では、縮小画像にっ、て求めたレンジ調整パラメータを、入力画像の階調修正に使用する。したがって、画素数の多い入力画像についてレンジ調整パラメータを新たに求める必要がなぐ入力画像の階調修正をより高速ィ匕することができる。

次に、別の実施形態について説明する。

[0065] 《第 3実施形態》

第 3実施形態は、ゲインマップを画像に反映する際の彩度調整などに特徴を有する。

以下、第 3実施形態の動作について説明する。

まず、コンピュータは、第 1実施形態のステップ S1〜S6の動作を実施して、ゲインマップ Mを得る。

[0066] コンピュータは、下式を用いて、このゲインマップ Mにレベル圧縮を施す。

Mc(x,y) = Mmax · M(x,y)/ { Mmax² + M(x,y)² } ^1/2 … [ 13' ]

ただし、 Mmaxは、レベル圧縮後の最大値である。なお、ゲインマップを画像に反映する際に色バランスを崩さないよう、 Mmax = 6程度に設定することが好ましい。

[0067] 続いて、コンピュータは、下式に従ってレベル圧縮後のゲインマップ Mcを入力画像

RGBに反映することにより、乗算画像 RGBrを得る。

Rr(x,y) = R(x,y)+V(x,y)[Mc(x,y)-l][R(x,y)/V(x,y)]^Psat

Gr(x,y) = G(x,y)+V(x,y)[Mc(x,y)-l][G(x,y)/V(x,y)]^Psat

Br(x,y) = B(x,y)+V(x,y)[Mc(x,y)-l][B(x,y)/V(x,y)]^Psat

•••[14' ]

[0068] ただし、 Psatは、彩度調整パラメータであり、例えば、 Psat = 0. 5程度に設定される。なお、この Psatを増カロさせて 1に近づけることにより、彩度の変動を強調した乗算画像 RGBrを得ることができる。逆に、 Psatを 0に近づけることにより、彩度の変動を抑制した乗算画像 RGBrを得ることができる。

[0069] なお、 [14^ ]式では、ゲインマップ Mcを、 RGB色空間の画像に直接反映させることで、 HSV色空間から RGB色空間への変換処理を省!、て!/、る。

[0070] 次に、コンピュータは、ユーザーに設定されたシャドウパラメータ Ps (0≤Ps≤ 100) と、ハイライトパラメータ Ph (0≤Ph≤ 100)を、ゲインマップ Mに基づいて画素単位に配分して、加重比率 co (x,y)を決定する。

M(x,y)≥l. 0ならば、 co (x,y) = Ps/100

M(x,y)< l. 0ならば、 co (x,y) = PhZlOO

•••[15]

[0071] コンピュータは、この加重比率 co (x,y)に従って、乗算画像 RGBrと入力画像 RGBとを加重加算して、効果調整済みの出力画像 RGBoutを得る。

RGBout(x,y)= coRGBr(x,y)+ (1 - ω )RGB(x,y) · · · [16]

[0072] なお、コンピュータは、乗算画像 RGBrと入力画像 RGBとを作業領域などに保存することが好ましい。この場合、ユーザーによるパラメータ Ps, Phの調整変更に対して、上記の加重変換を即座にやり直すことが可能となる。

次に、別の実施形態について説明する。

[0073] 《第 4実施形態》

第 4実施形態は、電子カメラの実施形態である。

図 4は、本実施形態の構成を示すブロック図である。

図 4において、電子カメラ 11には、撮影レンズ 12が装着される。この撮影レンズ 12 の像空間には、撮像素子 13の受光面が配置される。この撮像素子 13は、タイミングジェネレータ 22bの出力パルスによって動作が制御される。

この撮像素子 13で生成される画像は、 AZD変換部 15および信号処理部 16を介して、ノッファメモリ 17に一時記憶される。

このバッファメモリ 17は、バス 18に接続される。このバス 18には、画像処理部 19、カードインターフェース 20、マイクロプロセッサ 22、圧縮伸張部 23、および画像表示部 24が接続される。この内、カードインターフェース 20は、着脱自在なメモリカード 2 1に対するデータの読み書きを行う。また、マイクロプロセッサ 22には、電子カメラ 11 のスィッチ群 22aからユーザー操作の信号が入力される。さらに、画像表示部 24は、電子カメラ 11の背面に設けられたモニタ画面 25に画像を表示する。 [0074] このような構成の電子カメラ 11は、マイクロプロセッサ 22および画像処理部 19によつて、上述した第 1〜第 3の実施形態の階調修正（図 1〜図 3など)を実行する。このような階調修正は、撮像時の画像データに対して実施してもよいし、メモリカード 21に記録された画像データに対して後から実施してもよい。

[0075] 《実施形態の補足事項》

なお、上述した実施形態では、ユーザーがコンピュータまたは電子カメラを用いて、階調修正を実施する場合について説明した。しかしながら、本発明はこれに限定されるものではない。例えば、インターネット上の画像処理サーバーにおいて、ユーザ一から伝送される画像データに対して、図 1〜図 3に示すような画像処理方法をサービス提供してもよい。

[0076] また、上述した実施形態では、 HSV色空間にお、て階調修正を実施するケースについて説明した。しかしながら、本発明はこれに限定されるものではない。例えば、 L ab色空間その他の色空間上において、同様の階調修正を実施してもよい。なお、この場合は、階調修正後に定められた色域をはみ出さないよう、各信号成分の信号レベルに対して制限処理を行うことが好ま、。

[0077] なお、上述した実施形態では、画面全体に対して階調修正を実施するケースについて説明した。しかしながら、本発明はこれに限定されるものではない。

例えば、画面の一部（主要被写体、陰影部、トリミング範囲、人物や肌色領域を除いた背景部分など）に限って、階調修正を実施してもよい。

[0078] この場合、画面全体の局所変動画像の信号レンジに基づいてレンジ調整パラメ一タを決定することが好ましい。この動作により、画面の一部に施す階調修正を、画面全体の階調変動の幅と調和させることが可能となる。その結果、画面の一部に施した階調修正が不自然に目立つと、う問題を改善できる。

[0079] さらにこの場合には、縮小画像 (画面全体)から局所変動画像を求め、その局所変動画像の信号レンジに基づ、てレンジ調整パラメータを決定することが尚好まし、。この動作では、画素数の少ない縮小画像力レンジ調整パラメータを求めるために、処理コストが少なくなり、階調修正の処理時間を更に短縮することができる。

[0080] また、上述した実施形態では、画素単位に変調信号 (実施形態ではゲイン)を求めることでゲインマップを作成している。しかしながら、本発明の変調信号はこのゲインマップに限定されるものではない。例えば、複数画素からなる画素ブロックの単位に変調信号を求めてもよい。この場合、変調信号から空間周波数の高い成分を取り除いて、空間周波数の中低域成分の階調変化を修正することが可能になる。その結果、空間周波数の高いノイズ成分の増加を抑えつつ、視覚的に目立つ中低域の階調変化を適切に修正することが可能になる。

[0081] なお、本発明は、その精神または主要な特徴力逸脱することなぐ他のいろいろな形で実施することができる。そのため、前述の実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によつて示すものであって、明細書本文には、なんら拘束されない。さら〖こ、特許請求の範囲の均等範囲に属する変形や変更は、すべて本発明の範囲内のものである。産業上の利用可能性

[0082] 以上説明したように、本発明は、画像処理プログラムや電子カメラなどに利用可能な技術である。

Claims

請求の範囲

[1] 入力画像を取り込む画像入力部と、

前記入力画像から局所的な変動成分を抽出して、前記変動成分を含む局所変動画像を生成する変動抽出部と、

前記入力画像を前記局所変動画像へ変調する変調信号を求める変調信号生成部と、

前記変調信号をレベル圧縮するレベル圧縮部と、

レベル圧縮後の前記変調信号により前記入力画像を変調して、階調修正画像を得る階調修正部と

を備えたことを特徴とする画像処理装置。

[2] 請求項 1に記載の画像処理装置において、

前記入力画像は、複数成分から構成されるカラー画像であり、

前記階調修正部は、

レベル圧縮後の前記変調信号と前記複数成分とを乗じた乗算画像と、前記乗算画像の信号レベルに揃えて、前記入力画像の前記複数成分をオフセット補正したオフセット補正画像とを加重加算して、前記階調修正画像を得る

ことを特徴とする画像処理装置。

[3] 請求項 2に記載の画像処理装置において、

前記階調修正部は、

前記変調信号に対応して、前記乗算画像および前記オフセット補正画像の加重比率を変更する

ことを特徴とする画像処理装置。

[4] 請求項 1な!、し請求項 3の、ずれか 1項に記載の画像処理装置にお!/、て、

前記階調修正部は、

暗領域用の加重比率 Ws、および明領域用の加重比率 Whのユーザー調整を受け付ける調整入力部と、

前記変調信号が、予め定められた閾値未満の領域において、前記階調修正画像と前記入力画像とを加重比率 Whで加重加算し、前記変調信号が前記閾値を超える領域におヽて、前記階調修正画像と前記入力画像とを加重比率 Wsで加重加算することにより、出力画像を生成する効果調整部とを備えた

ことを特徴とする画像処理装置。

[5] 請求項 1な!、し請求項 4の、ずれか 1項に記載の画像処理装置にお!/、て、

前記変調信号生成部は、

前記局所変動画像の信号レンジを、予め定められたレンジ幅に調整するレンジ調整部と、

前記入力画像を、レンジ調整後の前記局所変動画像へ変調する変調信号を求める信号算出部とを備えた

ことを特徴とする画像処理装置。

[6] 請求項 5に記載の画像処理装置において、

前記変動抽出部は、前記入力画像の画素数を低減した前記縮小画像について局所変動画像を生成し、

前記レンジ調整部は、前記縮小画像の局所変動画像について信号レンジを求め、前記信号レンジを前記レンジ幅に調整するためのレンジ調整パラメータを決定し、決定した前記レンジ調整パラメータを、前記入力画像の局所変動画像に適用して信号レンジの調整を実施する

ことを特徴とする画像処理装置。

[7] 請求項 6に記載の画像処理装置において、

前記縮小画像に対して、前記入力画像と同様の階調修正を実施してプレビュー表示する

ことを特徴とする画像処理装置。

[8] 請求項 1な!、し請求項 7の、ずれか 1項に記載の画像処理装置にお!/、て、

前記変動抽出部は、前記入力画像の輝度成分について局所的な変動成分を抽出することにより、前記変動成分を含む局所変動画像を生成する

ことを特徴とする画像処理装置。

[9] 請求項 8に記載の画像処理装置において、

前記輝度成分は、 HSV表色系の V成分であることを特徴とする画像処理装置。

[10] コンピュータを、請求項 1ないし請求項 9のいずれ力 1項に記載の前記画像入力部、前記変動抽出部、前記変調信号生成部、前記レベル圧縮部、および前記階調修正部として機能させるための画像処理プログラム。

[11] 請求項 1ないし請求項 9のいずれか 1項に記載の画像処理装置と、

被写体を撮像して、前記画像処理装置に与える前記入力画像を生成する撮像部とを備えたことを特徴とする電子カメラ。

[12] 入力画像を取り込む画像入力ステップと、

前記入力画像から局所的な変動成分を抽出して、前記変動成分を含む局所変動画像を生成する変動抽出ステップと、

前記入力画像を前記局所変動画像へ変調する変調信号を求める変調信号生成ステツプと、

前記変調信号をレベル圧縮するレベル圧縮ステップと、

レベル圧縮後の前記変調信号により前記入力画像を変調して、階調修正画像を得る階調修正ステップと

を備えたことを特徴とする画像処理方法。

[13] 請求項 12に記載の画像処理方法において、

前記階調修正ステップは、

ことを特徴とする画像処理方法。

[14] 請求項 13に記載の画像処理方法において、

前記階調修正ステップは、

ことを特徴とする画像処理方法。

[15] 請求項 12な、し請求項 14の、ずれか 1項に記載の画像処理方法にお!、て、前記階調修正ステップは、

暗領域用の加重比率 Ws、および明領域用の加重比率 Whのユーザー調整を受け付ける調整入力ステップと、

前記変調信号が、予め定められた閾値未満の領域において、前記階調修正画像と前記入力画像とを加重比率 Whで加重加算し、前記変調信号が前記閾値を超える領域におヽて、前記階調修正画像と前記入力画像とを加重比率 Wsで加重加算することにより、出力画像を生成する効果調整ステップとを備えた

ことを特徴とする画像処理方法。

[16] 請求項 1な!、し請求項 15の、ずれか 1項に記載の画像処理方法にお!、て、

前記変調信号生成ステップは、

前記局所変動画像の信号レンジを、予め定められたレンジ幅に調整するレンジ調整ステップと、

前記入力画像を、レンジ調整後の前記局所変動画像へ変調する変調信号を求める信号算出ステップとを備えた

ことを特徴とする画像処理方法。

[17] 請求項 16に記載の画像処理方法において、

前記変動抽出ステップは、前記入力画像の画素数を低減した前記縮小画像につ V、て局所変動画像を生成し、

前記レンジ調整ステップは、前記縮小画像の局所変動画像にっ、て信号レンジを求め、前記信号レンジを前記レンジ幅に調整するためのレンジ調整パラメータを決定し、決定した前記レンジ調整パラメータを、前記入力画像の局所変動画像に適用して信号レンジの調整を実施する

ことを特徴とする画像処理方法。

[18] 請求項 17に記載の画像処理方法において、

ことを特徴とする画像処理方法。

[19] 請求項 12な、し請求項 18の、ずれか 1項に記載の画像処理方法にお!、て、前記変動抽出ステップは、前記入力画像の輝度成分について局所的な変動成分を抽出することにより、前記変動成分を含む局所変動画像を生成する

ことを特徴とする画像処理方法。

[20] 請求項 19に記載の画像処理方法において、

前記輝度成分は、 HSV表色系の V成分である

ことを特徴とする画像処理方法。