JP5911525B2 - 画像処理装置及び方法、画像処理プログラム、撮像装置 - Google Patents
画像処理装置及び方法、画像処理プログラム、撮像装置 Download PDFInfo
- Publication number
- JP5911525B2 JP5911525B2 JP2014078922A JP2014078922A JP5911525B2 JP 5911525 B2 JP5911525 B2 JP 5911525B2 JP 2014078922 A JP2014078922 A JP 2014078922A JP 2014078922 A JP2014078922 A JP 2014078922A JP 5911525 B2 JP5911525 B2 JP 5911525B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- gradation correction
- unit
- correction
- deterioration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 144
- 238000012545 processing Methods 0.000 title claims description 76
- 238000003384 imaging method Methods 0.000 title claims description 14
- 238000012937 correction Methods 0.000 claims description 560
- 230000006866 deterioration Effects 0.000 claims description 100
- 238000004364 calculation method Methods 0.000 claims description 77
- 230000003044 adaptive effect Effects 0.000 claims description 68
- 230000015556 catabolic process Effects 0.000 claims description 22
- 238000006731 degradation reaction Methods 0.000 claims description 22
- 239000000203 mixture Substances 0.000 claims description 20
- 230000007423 decrease Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 8
- 238000003672 processing method Methods 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 230000037303 wrinkles Effects 0.000 description 232
- 235000019557 luminance Nutrition 0.000 description 36
- 238000010586 diagram Methods 0.000 description 27
- 238000007906 compression Methods 0.000 description 23
- 230000006835 compression Effects 0.000 description 22
- 210000000744 eyelid Anatomy 0.000 description 22
- 238000012546 transfer Methods 0.000 description 18
- 238000010606 normalization Methods 0.000 description 16
- 230000015572 biosynthetic process Effects 0.000 description 10
- 230000001186 cumulative effect Effects 0.000 description 10
- 238000003786 synthesis reaction Methods 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 8
- 239000004071 soot Substances 0.000 description 7
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 230000002708 enhancing effect Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000012886 linear function Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 241000220317 Rosa Species 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
- H04N1/4072—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
- H04N1/4074—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original using histograms
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20008—Globally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Description
特許文献2は、画像の局所領域毎に輝度の最大、最小を算出し、これら最大、最小の差が大きくなるように適応的なコントラスト補正を行うことを開示する。この特許文献2であれば、霞のない領域と霞のある領域とが混在する画像においても、十分なコントラスト補正を行うことができる。
以下、本発明の第1の実施の形態について図面を参照して説明する。
図1は画像処理装置を適用した撮像装置のブロック構成図を示す。レンズ系100は、フォーカスレンズや絞り101等を有し、被写体からの光像を結像する。このレンズ系100は、オートフォーカス用モータ(AFモータ)103を備え、このAFモータ103の駆動によりフォーカスレンズを光軸に沿って移動する。このAFモータ103は、レンズ制御部107により駆動制御される。
A/D変換器104は、撮像センサ102から出力されたアナログ映像信号をデジタル映像信号に変換する。
バッファ105は、A/D変換器104から転送されるデジタル映像信号を一時的に保存する。
測光評価部106は、バッファ105に保存されるデジタル映像信号から撮像センサ102に入射する光像を測光してその評価を行い、この測光評価と制御部114からの制御信号とに基づいてレンズ系100の絞り101を制御し、かつ撮像センサ102から出力されるアナログ映像信号の出力レベル等を調整する。
第1霞補正部110は、信号処理部108から転送された映像信号において霞の影響によりコントラストが低下した領域に対応する映像信号に対してコントラストを強調する適応的コントラスト補正を行う。
第2霞補正部111は、信号処理部108から転送された映像信号に対して一意のコントラスト補正、すなわち画像全体に単純な一意のコントラスト補正を行う。
この出力部113は、圧縮処理後の映像信号をメモリカード等の記憶媒体に保存する。
図2は霞分布推定部109の具体的なブロック構成図を示す。この霞分布推定部109は、霞成分推定部200と、霞ヒストグラム生成部201と、補正方式判定部202とから成る。霞成分推定部200の入力側には、信号処理部108が接続されている。この霞成分推定部200の出力側には、霞ヒストグラム生成部201を介して補正方式判定部202が接続されている。この補正方式判定部202の出力側には、第1霞補正部110と第2霞補正部111との双方が接続されている。
この霞成分等の劣化度の推定は、霞成分が高輝度でかつ低彩度であるという特徴に基づいて行われる。これにより、当該霞成分等の劣化度は、高輝度でかつ低彩度である程、劣化が大きいことを示すものとなる。この劣化度の推定は、画像データの各画素における複数のカラーチャンネル同士、すなわちR値,G値,B値同士の大きさを比較し、これらR値,G値,B値のうち最小値となるR値,G値又はB値を算出することにより行われる。
ここで、信号処理部108から転送される映像信号により取得される入力画像I上において、座標(x,y)における霞成分をH(x,y)とし、座標(x,y)におけるR値,G値,B値をそれぞれIr,Ig,Ibとすると、座標(x,y)の各画素における霞成分H(x,y)は、次式(1)により推定される。
H(x,y)=min(Ir,Ig,Ib) …(1)
図3Aは各画素の霞成分H(x,y)の推定を説明するための模式図を示す。霞成分推定部200は、信号処理部108から転送される映像信号により取得される入力画像Iに対して所定サイズのスキャン領域(小領域)Fを設定し、このスキャン領域Fをスキャンする。このスキャン領域Fは、例えばマトリックス状に形成された所定サイズn×m(n,mは自然数)を有し、その中心を注目画素とする。このスキャン領域Fは、例えば5×5画素の領域を有する。このスキャン領域Fは、1画素であってもよい。
より詳細には、霞成分推定部200は、スキャン領域F毎に、当該スキャン領域Fの注目画素を含むn×mのマトリックス内において、スキャン領域F内の各画素の(Ir,Ig,Ib)を算出し、そのうちの最小値を注目画素の霞成分H(x,y)=min(Ir,Ig,Ib)とする。
霞成分推定部200は、注目画素の霞成分H(x,y)を注目画素の劣化度、又はスキャン領域(小領域)Fの劣化度として算出する。この劣化度は、後述するように霞成分H(x,y)が大きい程、大きいものとなる。
図4Aは全体に一様な霞がかかった画像を示す。当該画像は、全体が高輝度かつ低彩度を示す。同図に示すような全体が高輝度かつ低彩度な画像の霞成分H(x,y)のヒストグラムは、比較的高い値の位置に山(頻度の最大値)を持ち、狭い範囲に分布する。このヒストグラムは、霞成分H(x,y)の値のレンジ(分布の範囲)が狭くなる。
従って、これら霞成分H(x,y)のヒストグラムの分布から画像に対する霞の分布を推定することが可能になる。
この霞ヒストグラム生成部201により生成された霞成分H(x,y)のヒストグラムは、補正方式判定部202に転送される。これと共に霞成分H(x,y)のヒストグラムから得られる標準偏差σ、平均値a、又は最大値と最小値との差等の指標も補正方式判定部202に転送される。
基本的に、適応的コントラスト補正は、画像の局所領域毎の輝度及び色信号のヒストグラムを基に補正係数を決定して補正を行う。この補正では、上記輝度及び色信号のヒストグラムの分布に応じて画素毎に適用される補正係数が変化する。ところが、各局所領域間の境界付近の近傍画素間でヒストグラムの分布が変化する場合がある。この場合には、適応的コントラスト補正後の互いに隣接する各画素間の各画素値の差が大きくなる場合があり、この結果、互いに隣接する各画素間において、適応的コントラスト補正後の輝度値に大きな差が生じ、輝度ムラ等を引き起こすことになる。
従って、本装置では、画像全体に対する霞成分H(x,y)の分布に応じてコントラスト補正の方式を切り替える。具体的に、画像全体に対する霞成分H(x,y)の分布が広い場合は、画像内の一部に霞のかかる領域が含まれると判断し、適応的コントラスト補正を適用する。一方、画像全体に対する霞成分H(x,y)の分布が狭い場合は、画像全体に一様に霞がかかっていると判定し、一意のコントラスト補正を適用する。
補正方式の判定は、例えば霞成分H(x,y)のヒストグラムの標準偏差σと閾値(所定値)thとから第1又は第2補正方式のいずれかのコントラストの補正方式を判定したり、又は最大値と最小値との差や比を求め、この差や比と所定の閾値thとの比較結果から第1又は第2補正方式のいずれかのコントラストの補正方式を判定する。
補正方式判定部202は、標準偏差σと閾値thとを比較し、
σ >= th …(2)
であれば、例えば図4Bに示すように霞のかかる領域と霞のない領域が混在し、霞成分H(x,y)の値のレンジが広い画像に対して適応的コントラスト補正を行う第1補正方式(第1霞補正部110)を選択する。適応的コントラスト補正では、霞のかかっている領域のみにコントラスト補正を行う。
σ < th …(3)
であれば、補正方式判定部202は、例えば図4Aに示すように全体に一様な霞がかかり、画像全体に対する霞成分H(x,y)の分布が狭い画像に対して一意のコントラスト補正を行う第2補正方式(第2霞補正部111)を選択する。
従って、画像中に霞のかかっていない領域が含まれる場合でも、輝度ヒストグラムを用いると、ヒストグラムのレンジが狭く、画像全体に一様に霞がかかっていると判定される場合がある。
この結果、霞成分H(x,y)の分布を推定するのに輝度ヒストグラムを用いるのは適さないものとなる。本装置では、霞成分H(x,y)のヒストグラムから当該霞成分H(x,y)の分布を推定することで、その推定精度を向上させている。
適応コントラスト補正部301は、補正係数算出部300から転送される各画素の補正係数を映像信号に乗算することでコントラスト補正を行う。
補正係数算出部300は、図3Aに示すような画像データのスキャン領域(小領域)F毎に階調補正のための補正係数(ゲイン係数)を算出する。この補正係数算出部300は、霞分布推定部109から転送される映像信号により取得される入力画像Iにおいてコントラストが低い領域に対してコントラストを強調する補正を行うための補正係数を算出する。なお、補正係数算出部300では、霞成分を考慮しないで補正係数を算出する。
ここで、注目画素(x,y)のR値,G値,B値の輝度成分をそれぞれI_r(x,y),I_g(x,y),I_b(x,y)とする。また、図6Cに示す累積ヒストグラムに基づき補正後の出力画像(補正画像)に対応して算出されるR値,G値,B値の輝度成分をそれぞれIo_r(x,y),Io_g(x,y),Io_b(x,y)とすると、
補正係数gainR,gainG,gainBは、
gainR=Io_r(x,y)/I_r(x,y) …(4)
gainG=Io_g(x,y)/I_g(x,y) …(5)
gainB=Io_b(x,y)/I_b(x,y) …(6)
により算出される。
この補正係数算出部300は、算出した補正係数(ゲイン係数)gainR,gainG,gainBを適応コントラスト補正部301に転送する。
なお、上記補正係数はR,G,Bのヒストグラムを利用して算出しているが、それに限ることはなく、例えば輝度信号のヒストグラムに基づき算出することも可能である。また、上記階調補正後の出力値を累積ヒストグラムを利用して算出しているが、それに限ることはなく、例えば上記ヒストグラムの情報に基づき生成される線形関数、非線形関数、折れ線近似関数等を基に算出することも可能である。
係数変換部301bは、正規化係数算出部301aにより算出される正規化係数に基づいて補正係数算出部300により算出される補正係数gainR,gainG,gainBを重み付けされた補正係数gainR’,gainG’,gainB’に変換する。
この係数変換部301bは、補正係数算出部300により算出される補正係数gainR,gainG,gainBを、正規化係数算出部301aにより算出される正規化係数が大きい程、補正係数gainR,gainG,gainBの値を保持させるように変換し、かつ正規化係数が小さい程、補正係数gainR,gainG,gainBの値を1.0に近づけるように変換する。
gainR’=1.0+(gainR−1.0)*H(x,y)/255*Strength …(7)
gainG’=1.0+(gainG−1.0)*H(x,y)/255*Strength …(8)
gainB’=1.0+(gainB−1.0)*H(x,y)/255*Strength …(9)
により算出される。
これに対して霞成分H(x,y)が無いと考えられる低輝度または高彩度の領域では、霞成分H(x,y)が小さな値となるので、当該補正係数gainR’,gainG’,gainB’は、1.0に近い値となるように調整される。
すなわち、補正係数gainR’,gainG’,gainB’による調整は、霞が濃い領域に対して補正強度を高くし、霞が薄い領域に対して補正強度を低くする。
I’_r(x,y)=I_r(x,y)*gainR’ …(10)
I’_g(x,y)=I_g(x,y)*gainG’ …(11)
I’_b(x,y)=I_b(x,y)*gainB’ …(12)
により算出される。
補正関数算出部400は、一意コントラスト補正部401と接続されている。この一意コントラスト補正部401は、圧縮部112に接続されている。制御部114は、補正関数算出部400と、一意コントラスト補正部401との双方を制御する。
一意コントラスト補正部401は、補正関数算出部400から転送される補正関数に基づき、映像信号に対するコントラスト補正を行う。すなわち、この一意コントラスト補正部401は、霞分布推定部109から転送される映像信号により得られる入力画像の輝度・色信号からコントラスト補正を行うための補正関数を用いて入力画像の全体に対して一意のコントラスト補正を行う。
出力部113は、圧縮部112から転送された圧縮処理後の映像信号をメモリカード等に記録、保存する。又、出力部113は、圧縮部112から転送された映像信号を別途ディスプレイに表示してもよい。
外部I/F部115に対して操作が行われると、当該外部I/F部115は、ステップS1において、操作入力された撮影に関する各種設定、例えば各種信号、ヘッダ情報等を制御部114に送る。又、外部I/F部115の記録ボタンが押下されると、制御部114は、撮影モードに切り替わる。
信号処理部108は、ステップS2において、バッファ105に保存されているデジタル映像信号に対して公知の補間処理、WB補正処理、ノイズ低減処理などの画像処理を行い、当該画像処理後の映像信号を霞分布推定部109に転送する。
具体的に、霞成分推定部200は、ステップS10において、信号処理部108から転送される映像信号を入力し、この映像信号により得られる座標(x,y)の各画素におけるR値,G値,B値に基づいて当該各画素の霞成分H(x,y)の推定を行う。
この霞成分H(x,y)は、高輝度かつ低彩度な領域において大きな値となる、つまり劣化度が大きいものと見なすことができる。
又、この霞成分H(x,y)は、低輝度や高彩度の領域において小さな値となる。つまり、劣化度が小さいものと見なすことができる。
霞成分推定部200は、霞成分H(x,y)を霞ヒストグラム生成部201に転送する。
図4Bに示す画像は、霞のかかる領域と霞のない領域が混在する。この画像の霞成分H(x,y)のヒストグラムは、低い値から高い値まで広い範囲で分布し、レンジが広くなっている。
この霞ヒストグラム生成部201は、霞成分H(x,y)のヒストグラムを補正方式判定部202に転送すると共に、当該霞成分H(x,y)のヒストグラムから得られる標準偏差σ、平均値a、又は最大値と最小値との差や比等の指標も補正方式判定部202に転送する。
一方、画像全体のヒストグラムのレンジが狭い場合には、画像全体に一意のコントラスト補正をかける方が隣接画素間の画素値の差が小さくなり、当該一意のコントラスト補正をかけることが適している。
上記補正方式の判定の結果、第1補正方式(第1霞補正部110)が選択されると、この第1霞補正部110は、図11に示す適応的コントラスト補正の動作フローチャートに従い、信号処理部108から転送された映像信号を入力し、この映像信号における例えば霞の影響によりコントラストが低下した領域に対してコントラストを強調する補正を行い、この補正した映像信号を圧縮部112に転送する。
より具体的に、補正係数算出部300は、図6Aに示すように、霞分布推定部109から転送される映像信号により取得される入力画像Iに対して局所領域Eの内部をスキャンし、注目画素毎に、図6Bに示すような当該注目画素を中心とする局所領域E内の、例えばR値,G値,B値の局所領域のヒストグラムをそれぞれ生成し、この局所領域のヒストグラムを累積して図6Cに示すような累積ヒストグラムを生成し、この累積ヒストグラムに基づいて注目画素のR値,G値,B値に対する補正係数(ゲイン係数)、すなわち入力画像Iの画素毎に、局所領域のヒストグラムの平坦化のための補正係数gainR,gainG,gainBを上記式(4)乃至(6)により算出する。
この補正係数算出部300は、算出した補正係数(ゲイン係数)gainR,gainG,gainBを適応コントラスト補正部301に転送する。
具体的に、適応コントラスト補正部301は、図7に示すように入力画像Iの画素毎の霞成分H(x,y)に応じて補正係数gainR,gainG,gainBの調節を行い、これら調節後の補正係数gainR,gainG,gainBを各画素の画素値に対して乗算を行い、コントラスト補正の行われた補正画像を得る。
係数変換部301bは、ステップS22において、正規化係数算出部301aにより算出される正規化係数に基づいて補正係数算出部300により算出される補正係数gainR,gainG,gainBを重み付けされた補正係数gainR’,gainG’,gainB’に変換する。
この係数変換部301bは、補正係数算出部300により算出される補正係数gainR,gainG,gainBを、正規化係数算出部301aにより算出される正規化係数が大きい程、補正係数gainR,gainG,gainBの値を保持するように変換し、かつ正規化係数が小さい程、補正係数gainR,gainG,gainBの値を1.0に近づくように変換する。
この第2霞補正部111の補正関数算出部400は、ステップS30において、霞分布推定部109から転送される映像信号に基づき、コントラスト補正のための補正関数、例えば画像全体の輝度ヒストグラムを基に算出されるもので、例えば線形関数、非線形関数、折れ線近似関数等の補正関数を算出する。この補正関数算出部400は、算出した補正関数の情報を一意コントラスト補正部401へ転送する。
この出力部113は、ステップS8において、圧縮部112から転送された圧縮処理後の映像信号をメモリカード等に記録、保存する。又、出力部113は、圧縮部112から転送された映像信号を別途ディスプレイに表示してもよい。
[第1の実施の形態の変形例]
次に、本発明の第1の実施の形態の変形例について図面を参照して説明する。なお、当該変形例は、上記第1の実施の形態における霞分布推定部109の内部構成を変形したもので、上記図2と同一部分には同一符号を付してその詳しい説明は省略する。
図13は霞分布推定部109のブロック構成図を示す。この霞分布推定部109は、上記霞ヒストグラム生成部201に代えて最大最小算出部203を設けている。これにより、霞成分推定部200には、最大最小算出部203を介して補正方式判定部202が接続されたものとなる。又、制御部114は、最大最小算出部203に対して双方向に信号の授受を行い、最大最小算出部203を制御する。
この補正方式判定部202は、最大最小算出部203から転送される最大値と最小値との差や比等の大きさに基づき補正方式を判定、すなわち第1霞補正部110又は第2霞補正部111のうちいずれかにより霞補正を行うのかを判定する。
具体的に、補正方式判定部202は、霞成分H(x,y)の最大値と最小値との差や比を求め、この差や比が大きければ、例えば図4Bに示すように霞のかかる領域と霞のない領域が混在し、霞成分H(x,y)の値のレンジが広い画像であると判断し、当該画像に対して適応的コントラスト補正を行う第1補正方式(第1霞補正部110)を選択する。
なお、霞成分H(x,y)の最大値と最小値との差や比の大小は、例えば、当該差や比と予め設定された閾値(所定値)とを比較して判定するようにすればよい。
[第2の実施の形態]
次に、本発明の第2の実施の形態について図面を参照して説明する。なお、当該第2の実施の形態は、上記図1と同一部分には同一符号を付してその詳しい説明は省略し、相違する部分について説明する。
図14は画像処理装置を適用した撮像装置のブロック構成図を示す。本装置は、信号処理部108の出力側に対して第1霞補正部110と、第2霞補正部111と、霞分布推定部109とが並列接続され、かつこれら第1霞補正部110と、第2霞補正部111と、霞分布推定部109とが画像合成部116に接続されている。この画像合成部116には、圧縮部112が接続されている。
w=a・ΔH+b …(13)
ここで、a,bは重み係数wを算出する関数の係数、ΔHは霞成分H(x,y)のヒストグラム分布の大きさ(0〜255)を示す。図17は重み係数w(=a・ΔH+b)のグラフを示す。
なお、上記式(13)に示す重み係数wの算出式は、線形な式となっているが、これに限らず、非線形関数の式、折れ線近似関数等でも対応可能である。また、ヒストグラム分布の大きさを表す指標としては、ΔHを使用しているが、それに限ることはなく、例えばヒストグラム分布の最大値、最小値の比によりヒストグラム分布の大きさを測ることも可能である。
図18は画像合成部116による画像合成処理の概念図を示す。この画像合成部116は、重み係数算出部204により算出された重み係数wに基づき、第1霞補正部110による適応的コントラスト補正を行った画像に対する重み付け(w=0.75)を行った画像IO1と、第2霞補正部111による一意のコントラスト補正を行った画像に対する重み付け(1−w=0.25)を行った画像IO2との画像合成を行う。この画像合成は、次式(14)を算出して求める。すなわち、画像合成後の出力画像Ioは、
Io=w・IO1 + (1−w)・IO2 ・・・(14)
により得られる。
ここで、IO1は適応的コントラスト補正を行った後の画像を示し、IO2は一意のコントラスト補正を行った後の画像を示す。
次に、上記の通り構成された装置による撮影動作について図19に示す撮影動作フローチャートを参照して説明する。
霞分布推定部109は、ステップS40において、信号処理部108から転送される映像信号に基づき、各画素の霞成分H(x,y)を推定する。また、画像全体の霞成分H(x,y)から当該霞成分の分布を推定し、この推定した霞成分H(x,y)の分布から画像合成部116にて使用する重み係数を算出する。この霞分布推定部109は、推定した各画素の霞成分H(x,y)を第1霞補正部110へ転送すると共に、算出した重み係数を画像合成部116へ転送する。
一方、第1霞補正部110は、ステップS5において、上記図11に示す適応的コントラスト補正の動作フローチャートに従い、霞成分推定部200から転送される霞成分H(x,y)の値に応じて画素毎に、信号処理部108から転送された映像信号において霞の影響によりコントラストが低下した領域に対応する映像信号に適応的コントラスト補正を行う。そして、この第1霞補正部110は、適応的コントラスト補正を行った映像信号を画像合成部116へ転送する。
第2霞補正部111は、ステップS6において、上記図12に示す一意のコントラスト補正の動作フローチャートに従い、信号処理部108から転送される映像信号に対して一意のコントラスト補正を行う。そして、この第2霞補正部111は、一意のコントラスト補正を行った映像信号を画像合成部116へ転送する。
上記各実施の形態における劣化度としての霞成分H(x,y)は、霧成分及び白色成分を含むものである。
上記各実施の形態は、ハードウェアによる処理を前提としているが、これに限定されるものでなく、例えば、信号処理部108から出力される映像信号を別途ソフトウェアにて処理する構成も可能である。
縮小画像に対して霞成分推定、補正係数算出の処理を行う場合は、コントラスト補正時に公知の補間処理(例えばバイリニア補間、バイキュービック補間など)にて霞成分と補正係数を元のサイズに拡大した後にコントラスト補正を行えばよい。
Claims (12)
- 複数のカラーチャンネルを有する画素データから成る画像データの注目画素を含む領域内において、前記複数のカラーチャンネルの強度から前記領域の不鮮明さを示す劣化度を検出する劣化度検出部と、
前記画像データにおける前記劣化度のばらつきを推定する劣化度分布推定部と、
前記劣化度のばらつきに応じて第1の階調補正方式又は第2の階調補正方式のうちいずれか一方を選択する補正方式選択部と、
前記選択された前記第1又は前記第2の階調補正方式に基づいて前記画像データを階調補正する階調補正部と、
を具備し、
前記第1の階調補正方式は、前記画像データの前記領域毎の前記劣化度に基づいて適応的な階調補正を行い、前記第2の階調補正方式は、前記画像データの全体に対して一意の階調補正を行い、
前記補正方式選択部は、前記劣化度のばらつきが所定値以上であれば、前記第1の階調補正方式を選択し、前記劣化度のばらつきが前記所定値よりも小さければ、前記第2の階調補正方式を選択する、
ことを特徴とする画像処理装置。 - 前記劣化度分布推定部は、前記劣化度のヒストグラムを生成する劣化度ヒストグラム生成部を含み、
前記劣化度のばらつきは、前記劣化度のヒストグラムの分布の広がりである、
ことを特徴とする請求項1に記載の画像処理装置。 - 前記劣化度のヒストクラムの分布の広がりは、前記劣化度のヒストグラムの標準偏差値、又は最大値と最小値との差または比の指標のうち少なくとも1つである請求項2に記載の画像処理装置。
- 前記劣化度分布推定部は、前記画像データの全体における前記劣化度の最大値と最小値とを算出する最大最小算出部を含み、
前記劣化度のばらつきは、前記最大値と前記最小値との差または比の大きさである、
ことを特徴とする請求項1に記載の画像処理装置。 - 前記第1の階調補正方式は、前記画像データの前記領域毎に前記階調補正のための補正係数を算出する補正係数算出部と、
前記劣化度に基づいて前記補正係数を調整し、前記適応的な階調補正を行う適応的コントラスト補正部と、
を含むことを特徴とする請求項1に記載の画像処理装置。 - 前記第2の階調補正方式は、前記画像データの輝度信号の分布及び/又は色信号の分布から決定される補正関数に基づいて前記画像データの全体に対して前記一意の階調補正を行うことを特徴とする請求項1に記載の画像処理装置。
- 複数のカラーチャンネルを有する画素データから成る画像データの注目画素を含む領域内において、前記複数のカラーチャンネルの強度から前記領域の不鮮明さを示す劣化度を検出する劣化度検出部と、
前記画像データにおける前記劣化度のばらつきを推定する劣化度分布推定部と、
前記画像データの前記領域毎の前記劣化度に基づいて適応的な階調補正を行う第1の階調補正方式に基づいて階調補正する第1階調補正部と、
前記画像データの全体に対して一意の階調補正を行う第2の階調補正方式に基づいて階調補正する第2階調補正部と、
前記劣化度のばらつきに応じた重み係数を算出する重み係数算出部と、
前記第1階調補正部により生成される第1補正画像データと前記第2階調補正部により生成される第2補正画像データとを前記重み係数に基づいて加算合成する画像合成部と、
を具備し、
前記重み係数算出部は、前記劣化度のばらつきが大きいほど増加する第1の重み係数と、前記劣化度のばらつきが大きいほど減少する第2の重み係数とを決定し、
前記画像合成部は、前記第1補正画像データに対して前記第1の重み係数を乗算し、前記第2補正画像データに対して前記第2の重み係数を乗算し、これら乗算後の前記第1補正画像データと前記第2補正画像データとを画像合成する、
ことを特徴とする画像処理装置。 - 複数のカラーチャンネルを有する画素データから成る画像データの注目画素を含む領域内において、前記複数のカラーチャンネルの強度から前記領域の不鮮明さを示す劣化度を検出し、
前記画像データにおける前記劣化度のばらつきを推定し、
前記劣化度のばらつきに応じて第1の階調補正方式又は第2の階調補正方式のうちいずれか一方を選択し、
前記選択された前記第1又は前記第2の階調補正方式に基づいて前記画像データを階調補正し、
前記第1の階調補正方式は、前記画像データの前記領域毎の前記劣化度に基づいて適応的な階調補正を行い、前記第2の階調補正方式は、前記画像データの全体に対して一意の階調補正を行い、
前記劣化度のばらつきが所定値以上であれば、前記第1の階調補正方式を選択し、前記劣化度のばらつきが前記所定値よりも小さければ、前記第2の階調補正方式を選択する、
ことを特徴とする画像処理方法。 - 複数のカラーチャンネルを有する画素データから成る画像データの注目画素を含む領域内において、前記複数のカラーチャンネルの強度から前記領域の不鮮明さを示す劣化度を検出し、
前記画像データにおける前記劣化度のばらつきを推定し、
前画像データの前記領域毎の前記劣化度に基づいて適応的な階調補正を行う第1の階調補正方式に基づいて階調補正し、
前記画像データの全体に対して一意の階調補正を行う第2の階調補正方式に基づいて階調補正し、
前記劣化度のばらつきに応じた重み係数を算出し、
前記第1の階調補正方式に基づいて生成される第1補正画像データと前記第2の階調補正方式に基づいて生成される第2補正画像データとを前記重み係数に基づいて加算合成し、
前記重み係数として、前記劣化度のばらつきが大きいほど増加する第1の重み係数と、前記劣化度のばらつきが大きいほど減少する第2の重み係数とを決定し、
前記第1補正画像データに対して前記第1の重み係数を乗算し、前記第2補正画像データに対して前記第2の重み係数を乗算し、これら乗算後の前記第1補正画像データと前記第2補正画像データとを画像合成する、
ことを特徴とする画像処理方法。 - コンピュータに、
複数のカラーチャンネルを有する画素データから成る画像データの注目画素を含む領域内において、前記複数のカラーチャンネルの強度から前記領域の不鮮明さを示す劣化度を検出させる劣化度検出機能と、
前記画像データにおける前記劣化度のばらつきを推定させる劣化度分布推定機能と、
前記劣化度のばらつきに応じて第1の階調補正方式又は第2の階調補正方式のうちいずれか一方を選択させる補正方式選択機能と、
前記選択された前記第1又は前記第2の階調補正方式に基づいて前記画像データを階調補正させる階調補正機能と、
を実現させ、
前記第1の階調補正方式は、前記画像データの前記領域毎の前記劣化度に基づいて適応的な階調補正を行い、前記第2の階調補正方式は、前記画像データの全体に対して一意の階調補正を行い、
前記補正方式選択機能は、前記コンピュータに、前記劣化度のばらつきが所定値以上であれば、前記第1の階調補正方式を選択し、前記劣化度のばらつきが前記所定値よりも小さければ、前記第2の階調補正方式を選択させる、
画像処理装置の画像処理プログラム。 - コンピュータに、
複数のカラーチャンネルを有する画素データから成る画像データの注目画素を含む領域内において、前記複数のカラーチャンネルの強度から前記領域の不鮮明さを示す劣化度を検出させる劣化度検出機能と、
前記画像データにおける前記劣化度のばらつきを推定させる劣化度分布推定機能と、
前画像データの前記領域毎の前記劣化度に基づいて適応的な階調補正を行う第1の階調補正方式に基づいて階調補正させる第1階調補正機能と、
前記画像データの全体に対して一意の階調補正を行う第2の階調補正方式に基づいて階調補正させる第2階調補正機能と、
前記劣化度のばらつきに応じた重み係数を算出させる重み係数算出機能と、
前記第1階調補正機能により生成される第1補正画像データと前記第2階調補正機能により生成される第2補正画像データとを前記重み係数に基づいて加算合成させる画像合成機能と、
を実現させ、
前記重み係数算出機能は、前記コンピュータに、前記重み係数として、前記劣化度のばらつきが大きいほど増加する第1の重み係数と、前記劣化度のばらつきが大きいほど減少する減少する第2の重み係数とを決定させ、
前記画像合成機能は、前記コンピュータに、前記第1補正画像データに対して前記第1の重み係数を乗算し、前記第2補正画像データに対して前記第2の重み係数を乗算し、これら乗算後の前記第1補正画像データと前記第2補正画像データとを画像合成させる画像処理装置の画像処理プログラム。 - 被写体からの光像を撮像する撮像素子と、
前記撮像素子の撮像により取得される画像データの画質の劣化度を検出し、この劣化度に応じて前記画像データを補正する請求項1乃至7のうちいずれか1項に記載の画像処理装置と、
前記画像処理装置により画像処理された前記画像データを出力する出力部と、
を具備することを特徴とする撮像装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014078922A JP5911525B2 (ja) | 2014-04-07 | 2014-04-07 | 画像処理装置及び方法、画像処理プログラム、撮像装置 |
CN201580017978.1A CN106134180B (zh) | 2014-04-07 | 2015-02-20 | 图像处理装置和方法、存储能够由计算机临时读取的图像处理程序的记录介质、摄像装置 |
PCT/JP2015/054816 WO2015156041A1 (ja) | 2014-04-07 | 2015-02-20 | 画像処理装置及び方法、一時的にコンピュータにより読み取り可能な画像処理プログラムを記憶する記録媒体、撮像装置 |
EP15776404.4A EP3131281B1 (en) | 2014-04-07 | 2015-02-20 | Image processing apparatus and method, recording medium on which temporarily computer-readable image processing program has been stored, and image pickup apparatus |
US15/284,631 US9978128B2 (en) | 2014-04-07 | 2016-10-04 | Image processing appartatus and method, recording medium storing image processing program readable by computer, and imaging apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014078922A JP5911525B2 (ja) | 2014-04-07 | 2014-04-07 | 画像処理装置及び方法、画像処理プログラム、撮像装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015201731A JP2015201731A (ja) | 2015-11-12 |
JP2015201731A5 JP2015201731A5 (ja) | 2015-12-24 |
JP5911525B2 true JP5911525B2 (ja) | 2016-04-27 |
Family
ID=54287622
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014078922A Active JP5911525B2 (ja) | 2014-04-07 | 2014-04-07 | 画像処理装置及び方法、画像処理プログラム、撮像装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9978128B2 (ja) |
EP (1) | EP3131281B1 (ja) |
JP (1) | JP5911525B2 (ja) |
CN (1) | CN106134180B (ja) |
WO (1) | WO2015156041A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180122056A1 (en) * | 2015-05-22 | 2018-05-03 | Mitsubishi Electric Corporation | Image processing device, image processing method, program, recording medium recording the program, image capture device and image recording/reproduction device |
JP6034529B1 (ja) * | 2016-06-14 | 2016-11-30 | 九州電力株式会社 | 表面状態診断装置 |
US10496876B2 (en) * | 2016-06-30 | 2019-12-03 | Intel Corporation | Specular light shadow removal for image de-noising |
JP6720012B2 (ja) * | 2016-08-01 | 2020-07-08 | オリンパス株式会社 | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム |
CN113556979A (zh) * | 2019-03-19 | 2021-10-26 | 奥林巴斯株式会社 | 超声波观测装置、超声波观测装置的工作方法以及超声波观测装置的工作程序 |
US11301974B2 (en) * | 2019-05-27 | 2022-04-12 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, image capturing apparatus, and storage medium |
KR20210077987A (ko) * | 2019-12-18 | 2021-06-28 | 주식회사 실리콘웍스 | 소스 드라이버 및 이를 포함하는 디스플레이 장치 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002158893A (ja) * | 2000-11-22 | 2002-05-31 | Minolta Co Ltd | 画像補正装置、画像補正方法および記録媒体 |
JP4151225B2 (ja) * | 2001-03-15 | 2008-09-17 | コニカミノルタビジネステクノロジーズ株式会社 | 画像処理のための装置、方法及びプログラム |
US7480075B2 (en) * | 2003-07-15 | 2009-01-20 | Konica Minolta Business Technologies, Inc. | Image processing apparatus, image processing method, and image processing program |
JP5096089B2 (ja) * | 2007-09-18 | 2012-12-12 | オリンパス株式会社 | 画像信号処理装置、画像信号処理方法及び撮像装置 |
JP4982475B2 (ja) * | 2008-12-24 | 2012-07-25 | ローム株式会社 | 画像処理方法及びコンピュータプログラム |
JP2010278724A (ja) * | 2009-05-28 | 2010-12-09 | Olympus Corp | 画像処理装置、画像処理方法及び画像処理プログラム |
JP4795473B2 (ja) * | 2009-06-29 | 2011-10-19 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
JP2012054659A (ja) * | 2010-08-31 | 2012-03-15 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
JP2015156600A (ja) * | 2014-02-21 | 2015-08-27 | 株式会社 日立産業制御ソリューションズ | 画像信号処理装置,画像信号処理方法,および撮像装置 |
-
2014
- 2014-04-07 JP JP2014078922A patent/JP5911525B2/ja active Active
-
2015
- 2015-02-20 WO PCT/JP2015/054816 patent/WO2015156041A1/ja active Application Filing
- 2015-02-20 CN CN201580017978.1A patent/CN106134180B/zh not_active Expired - Fee Related
- 2015-02-20 EP EP15776404.4A patent/EP3131281B1/en active Active
-
2016
- 2016-10-04 US US15/284,631 patent/US9978128B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US9978128B2 (en) | 2018-05-22 |
US20170024865A1 (en) | 2017-01-26 |
EP3131281A1 (en) | 2017-02-15 |
CN106134180A (zh) | 2016-11-16 |
WO2015156041A1 (ja) | 2015-10-15 |
EP3131281A4 (en) | 2018-04-18 |
EP3131281B1 (en) | 2019-07-10 |
CN106134180B (zh) | 2019-06-21 |
JP2015201731A (ja) | 2015-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5911525B2 (ja) | 画像処理装置及び方法、画像処理プログラム、撮像装置 | |
JP5713752B2 (ja) | 画像処理装置、及びその制御方法 | |
JP5901667B2 (ja) | 画像処理装置及び方法、画像処理プログラム、撮像装置 | |
KR100990904B1 (ko) | 다수 영상의 생성 및 합성을 통한 영상 보정 장치 및 그 방법 | |
US10672134B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and storage medium storing image processing program | |
JP5672796B2 (ja) | 画像処理装置、画像処理方法 | |
US20180061029A1 (en) | Image processing apparatus, imaging apparatus, image processing method, and storage medium storing image processing program of image processing apparatus | |
JP5392560B2 (ja) | 画像処理装置および画像処理方法 | |
CN106575434B (zh) | 图像处理装置、摄像装置以及图像处理方法 | |
JP4850281B2 (ja) | 画像信号処理装置、画像信号処理プログラム | |
JP2007329619A (ja) | 映像信号処理装置と映像信号処理方法、および映像信号処理プログラム。 | |
JP2007329620A (ja) | 撮影装置と映像信号処理プログラム | |
JP2011100204A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、撮像装置及び電子機器 | |
JP7199849B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2013179485A (ja) | 画像処理装置及びその制御方法 | |
JP5365881B2 (ja) | 画像処理装置、画像処理方法 | |
JP2009194728A (ja) | 撮像システム及び画像処理方法並びに画像処理プログラム | |
JP4857856B2 (ja) | 彩度調整機能を有する電子カメラ、および画像処理プログラム | |
JP2018181070A (ja) | 画像処理装置および画像処理方法 | |
JP2009004893A (ja) | 画像処理装置およびこれを備える撮像システム | |
JP2022135222A (ja) | 撮像装置、撮像装置の制御方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150903 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150903 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20150903 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20150918 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151027 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151224 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160301 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160329 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |