Nothing Special   »   [go: up one dir, main page]

JP2012114849A - 画像処理装置、及び画像処理方法 - Google Patents

画像処理装置、及び画像処理方法 Download PDF

Info

Publication number
JP2012114849A
JP2012114849A JP2010264217A JP2010264217A JP2012114849A JP 2012114849 A JP2012114849 A JP 2012114849A JP 2010264217 A JP2010264217 A JP 2010264217A JP 2010264217 A JP2010264217 A JP 2010264217A JP 2012114849 A JP2012114849 A JP 2012114849A
Authority
JP
Japan
Prior art keywords
pixel
image
filter
representative
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010264217A
Other languages
English (en)
Other versions
JP5535053B2 (ja
Inventor
Hisato Sekine
寿人 関根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2010264217A priority Critical patent/JP5535053B2/ja
Priority to US13/300,218 priority patent/US8482627B2/en
Publication of JP2012114849A publication Critical patent/JP2012114849A/ja
Priority to US13/913,837 priority patent/US8982234B2/en
Application granted granted Critical
Publication of JP5535053B2 publication Critical patent/JP5535053B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • H04N25/6153Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF] for colour signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

【課題】 フィルタを用いた画像補正において、フィルタにかかるデータ量、及びフィルタ生成の計算負荷を低減する。
【解決手段】 画像中の注目画素の画素位置に基づいて複数の代表フィルタを選択し、注目画素の画素値に対して選択された代表フィルタそれぞれを適用し、適用結果と注目画素の画素位置とに基づいて注目画素の画素値を補正する。
【選択図】 図4

Description

本発明は、フィルタを用いて撮像装置の光学系に起因する暈けを補正する処理に関する。
デジタルカメラなどの撮像装置において、被写体を撮影した場合、レンズなどの光学系に起因する収差の影響によって画質劣化(暈け)が生じることが知られている。従来、この画質劣化を画像処理によって回復する技術として、光学系のPSF(Point Spread Function)を用いる処理が知られている(特許文献1及び特許文献2)。
さて、レンズなどの光学系の収差特性は、画像中における画素位置によって変化する。そのため、回復処理についても画像中における画素位置によって変化させる必要がある。特許文献1には、画像中の全ての画素位置に対してフィルタを作成して画像を回復させる手法が記載されている。また、特許文献2では、レンズなどの光学系の収差特性が光軸中心に対して点対称であることに注目し、同心円上に領域を分割し、領域それぞれに対してフィルタを用いて回復処理を行っている。
特開2001−197354号 特許03532368号
特許文献1では、画像中の全ての画素位置について好適なフィルタが作成される一方、フィルタ作成の際に画像中の全ての画素位置についてフーリエ変換等の計算が必要となるため計算負荷が膨大なものとなってしまう。また、作成されたフィルタを保持するため大規模なメモリが必要となる。
また、特許文献2では、各領域内において共通のフィルタを用いて画像回復処理を行うため、特許文献1のようなフィルタ作成の際の計算負荷の増大やフィルタ保持のためのメモリの大規模化は抑えることができる。しかしながら、特許文献2では、領域内の全ての画像位置に対して最適なフィルタによる画像回復処理を行うことはできない。加えて、領域と領域との境界ではフィルタの切り替えによる疑似輪郭が発生してしまう。
そこで、本発明は、フィルタ作成の際の計算負荷の増大やフィルタ保持のためのメモリの大規模化を抑えると同時に、各画素位置に対して好適なフィルタを提供することを目的とする。
上記の課題を解決するために本願発明の画像処理装置は、撮像装置の光学系に起因する暈けを補正する画像処理装置であって、画像中の注目画素の画素位置に基づいて、複数の代表フィルタを選択する選択手段と、前記注目画素の画素値に対して、前記選択手段により選択された代表フィルタそれぞれを適用するフィルタ処理手段と、前記フィルタ処理手段の処理結果と前記注目画素の画素位置とに基づいて、前記注目画素の画素値を補正する補正手段と、を有する。
本発明によれば、フィルタを用いて撮像装置の光学系に起因する暈けを補正する処理において、フィルタ作成の際の計算負荷の増大やフィルタ保持のためのメモリの大規模化を抑えると同時に、各画素位置に対して好適なフィルタを提供することができる。
実施例1の画像入力装置の構成を示すブロック図である。 実施例1の全体処理を示すフローチャートである。 実施例1の現像処理を示すフローチャートである。 実施例1の回復処理を示すフローチャートである。 回復フィルタDBを説明するための図である。 回復フィルタDBの保持方法を説明するための図である。 代表フィルタの選択方法を説明するための図である。 画素飽和がある場合の回復方法を説明するための図である。 飽和領域率と飽和重み係数との対応を示すグラフである。 実施例2の画像入力装置の構成を示すブロック図である。 実施例3の画像処理アプリケーションの構成を示すブロック図である。 実施例3の全体処理を示すフローチャートである。
[実施例1]
まず、本実施例の概要について説明する。
図1は、本実施例の画像入力装置のブロック図である。本実施例の画像入力装置は、レンズ交換可能なデジタルカメラである。レンズ部101は、主に、レンズ102、絞り103、レンズ制御部104、レンズROM105、及び通信部106から構成される。レンズ制御部104は、レンズ102と絞り103を制御する。レンズROM105は、画像回復処理するための補正フィルタ(以下、回復フィルタと称する)などを保持する。通信部106は、レンズ102や絞り103の制御量や回復フィルタにかかるデータを通信する。
カメラ部107は、光学ファインダ108、ハーフミラー109、シャッター110、CCDやCMOS等の撮像素子111、A/D変換部112、焦点検知センサ113などからなる。更にカメラ部107は、撮像制御部114、AF部115、操作部116、カメラメモリ117、通信部118、CPU119、撮影条件設定部120、現像処理部121、外部メモリ122からなる。
ハーフミラー109は、カメラ部107に入力した被写体像を光学ファインダ108に反射する。撮像制御部114は、シャッター110、撮像素子111、レンズ部101などを制御する。AF部115は、焦点検知センサ113の検知結果に基づき、フォーカス量を算出する。操作部116は、ユーザからの操作指示を入力する。カメラメモリ117は、A/D変換部112により変換された画像データや、カメラ制御に用いるプログラム、各種パラメータ、回復フィルタなどを記憶する。通信部118は、レンズ部101とデータ通信をする。CPU119は、カメラ部107及びレンズ部101内の各処理を実行する。撮影条件設定部120は、各種撮影条件を設定する。現像処理部121は、カメラメモリ117に記憶している画像データに対して、デモザイキング処理、ホワイトバランス処理、回復処理、シャープネス処理、色変換処理、ノイズリダクション処理などの各種現像処理を実行する。外部メモリ122の例として、コンパクトフラッシュ(登録商標)メモリやSDメモリカードなどがある。
図2は、本実施例の画像処理のフローチャートである。まず、ステップS201では、撮影条件設定部120が、画像を撮影する際の撮影条件を設定する。撮影条件には、絞り値、焦点距離、被写体距離、シャッタースピード、絞り、ISO感度などがある。設定される撮影条件は、操作部116から与えられてもよいし、画像入力装置に設置されているセンサ(不図示)で測定される各種データに基づいて与えられてもよい。次に、ステップS202では、焦点検知センサ113の検知結果に基づき、AF部115がフォーカス量を決定する。更に、ステップS203にて、ステップS201において設定した撮影条件に基づき、CPU110がレンズ制御部104、及び、撮像制御部114を動作させて撮影を行う。撮像素子111にて取得された電気信号はA/D変換部112にてデジタル信号に変換され、カメラメモリ117にRAW画像データとして記憶される。このRAW画像データに対して、レンズ種類情報、カメラ種類情報、撮影条件、フォーカス量などを含むタグ情報が関連付けられる。次にステップS204では、ステップS203にて記憶されたRAW画像データに対して、現像処理部121が現像処理を行う(詳細は後述する)。最後にステップS205では、ステップS204にて、現像処理された画像データをタグ情報と共に、カメラメモリ117、又は外部メモリ122に保存する。現像処理された画像データは、メモリに保存せずにネットワーク等を介して外部に送信してもよい。
<現像処理>
図2のステップS204の現像処理について、図3のフローチャートを用いて詳細に説明する。まず、ステップS301では、カメラメモリ117に記憶されているRAW画像に対して、ホワイトバランス処理を行う。次に、ステップS302では、ステップS301にて、ホワイトバランス処理された画像に対して、デモザイキング処理を行う。さらに、ステップS303では、レンズ収差による劣化を回復するための回復処理を行う(詳細は後述する)。ステップS304では、シャープネス処理を行う。ステップS305では、ノイズリダクション処理を行う。さらにステップS306では、色変換処理を行う。最後に、ステップS307では、ガンマ処理を行う。
なお、ステップS301からステップS307までの処理は、上述の順序でなくとも構わない。例えば、ステップS302のデモザイキング処理を、ステップS303の回復処理後に行ってもよい。
<回復処理>
図3のステップS303の回復処理について、図4のフローチャートを用いて詳細に説明する。本実施例の回復処理は、回復フィルタを注目画素及び周辺画素に対して畳み込み積分することにより実現される。本実施例では、デモザイキング処理後の各色成分(例えば、RGBの各成分)に対して回復処理を行うとするが、これに限らないことは言うまでもない。まず、ステップS401では、撮影画像のタグ情報から、レンズ種類、カメラ種類、及び、撮影条件(絞り・焦点距離・被写体距離など)を取得する。ステップS402では、ステップS401にて取得したレンズ種類、カメラ種類、及び、撮影条件の組み合わせに対応する回復フィルタデータベース(以下、回復フィルタDBとする)を設定(選択)する。 図6(a)は、回復フィルタDBを設定するためのテーブルを示している。このテーブルは、(1)レンズ種類、(2)カメラ機種、(3)絞り、(4)焦点距離、(5)被写体距離の組合せに対応した回復フィルタDBアドレスを保持している。このテーブルを用いて、レンズ種類、カメラ種類、及び撮影条件に対応する回復フィルタDBアドレスを取得することができる。図6(a)の例では、撮影条件として絞り値、焦点距離、被写体距離としたがこれらに限らないことは言うまでもない。回復フィルタDBは、レンズ種類やカメラ種類、撮影条件の組み合わせの数に対応する数が存在し、レンズROM105やカメラメモリ117に保持されている。メモリ削減のため、複数の組み合わせに対して一つの回復フィルタDBを対応付けてもよい。
図6(b)は、設定された回復フィルタDBの一例を示している。回復フィルタDBには、複数の代表フィルタがフィルタ位置IDと対応付けられて保持されている。代表フィルタは画素位置によって異なるフィルタであり、フィルタ位置IDにより特定することができる。
図5は、ある撮影条件に対応する代表フィルタについて模式的に示した図である。図中、画像領域501内の各格子は画素を示している。そして、回復フィルタDBに保持されている代表フィルタは、画像領域501内の黒丸印で示されている位置(以下、代表フィルタ位置と称する)のそれぞれに対応付けられている。図5の例では、等間隔に代表フィルタ位置が設定されている。代表フィルタ位置は、図6(b)のテーブルのフィルタ位置IDにより特定することが可能である。
回復処理は畳み込み積分を行うため、計算負荷の面からフィルタのタップ数は小さければ小さいほどよい。一般的に像高が高くなるにつれて、光学系に起因する暈けの範囲は広がっていく。よって、低像高位置での代表フィルタのタップ数を、高像高位置での代表フィルタのタップ数よりも小さくすることにより、畳み込み積分に必要な計算数を削減することが可能となる。また代表フィルタは、水平・垂直タップ数が同一のフィルタに限らず、収差の特性などを考慮して水平・垂直タップ数が異なるフィルタを設定することも可能である。
画像領域501内の全画素位置に対して、回復フィルタを持つ場合には膨大なデータ量となる(例えば、2000万画素のデジタルカメラの場合には、2000万画素分の回復フィルタを保持する必要がある)。そこで、本実施例では、全画素位置に対して回復フィルタを持つのではなく、代表的な画像位置に対してのみ代表フィルタを保持する。図5の例では、等間隔に代表フィルタ位置を設定するとしたが、非均等間隔で代表フィルタ位置を設定してもよい。
次に、ステップS403では、回復処理を行う注目画素の画素位置の初期化を行う。本実施例の画素位置の初期化は、画像の左上位置に注目画素を設定することをいう。ステップS404では、注目画素の位置と前記代表フィルタ位置との位置関係に基づいて3つの代表フィルタを回復フィルタDBから選択する。
図7(a)を用いて、ステップS404の選択処理について詳細に説明する。図7(a)は、画像領域501の一部分を示している。図7に示すように、注目画素位置(x,y)に対して、その近傍の回復フィルタとしては4点(R1,R2、R3,R4)がある。レンズの収差は、光軸中心に対して点対称の特性を持つことが知られている。そこで、点対称の特性を考慮して、画像の光軸中心方向のR1と同心円方向のR2,R3を選択する。一般化した代表フィルタの選択方法は以下の通りである。
(A)注目画素を囲む4つの代表フィルタ位置を候補位置として選択
(B)以下のルールに従い注目画素が属する象限に応じて二つの候補位置を(A)で選択された候補位置から選択
・第一象限の場合、左上と右下の候補位置
・第二象限の場合、右上と左下の候補位置
・第三象限の場合、左上と右下の候補位置
・第四象限の場合、右上と左下の候補位置
(C)(B)で選択された候補位置を結ぶ線よりも注目画素が光軸中心に近い場合は、(A)で選択された候補位置の中で最も光軸に近い候補位置を選択。そうでない場合は、(B)で選択された候補位置の中で最も光軸に遠い候補位置を選択。
(D)(B)で選択された2つの候補位置と(C)で選択された1つの候補位置とに対応する代表フィルタを選択。
以上のように、代表フィルタを選択することにより、レンズ収差の特性を考慮した代表フィルタの設定が可能となる。なお、上記(A)における候補位置の選択は、注目画素の画素位置を示すデータの上位ビットに基づいて決定する。
図7(b)は、選択された代表フィルタ(R1,R2,R3)と、設定された回復フィルタDB中のフィルタ位置IDとの対応関係を示す概念図である。前述の通り、設定された回復フィルタDB中の代表フィルタは、フィルタ位置IDによって特定することができる。図7(b)の例では、フィルタ位置IDが25、35、及び36のフィルタが代表フィルタ(R1、R2、R3)として特定される。
次に、ステップS405では、注目画素(x,y)の画素値と該注目画素の周辺画素の画素値に対して、ステップS404にて選択した3つの代表フィルタを用いて暈け補正処理を行う。図7(c)は、この暈け補正処理の概念図である。かかる暈け補正処理により注目画素における各代表フィルタに対応する代表画素値O,O,Oを算出する。具体的には、以下の式(1)(2)(3)を用いて、画素値と代表フィルタの係数との畳み込み積分を行うことにより代表画素値O,O,Oを取得することができる。
=p(x,y)*R(x,y) (1)
=p(x,y)*R(x,y) (2)
=p(x,y)*R(x,y) (3)
p(x,y)は、注目画素の画素値とその周辺画素の画素値を示している。R(x,y),R(x,y),R(x,y)は、ステップS404にて選択された代表フィルタ、*は畳み込み積分を示す。
ステップS406では、3つの代表フィルタ位置と注目画素の画素位置との位置関係に基づいて、以下の式(4)にように、フィルタ処理結果である代表画素値を重み付き加算処理(補間処理)することによって注目画素の補正された画素値O’を求める。
O’(x、y)=(1−t−s)×O+t×O+s×O (4)
図7(a)示すように、sは注目画素位置(x,y)のR1―R2間の内分比率、及びtは注目画素位置(x,y)のR1―R3間の内分比率を示している。内分比率s、tは、注目画素の画素位置を示すデータの下位ビットに基づいて設定する。
以上の通り、注目画素を囲む代表フィルタ位置に対応する代表フィルタを選択し、選択された代表フィルタに基づいて暈け補正を行い、注目画素値に対応した複数の代表画素値を取得する。そして、注目画素値と代表フィルタ位置との位置関係に基づいて、複数の代表画素値を補間処理することにより、注目画素に対して適切な暈け補正を行うことが可能となる。
そして、ステップS407では、画像中の全ての画素位置に対してステップS404からステップS406の処理を行ったかどうかを判定する。全ての画素位置に対して処理が終了していれば、回復処理を終える。一方で、全ての画素位置に対して処理が終了していなければ、ステップS408に進み、注目画素を更新する。注目画素の更新に際しては、画像の走査線に沿って更新を行ってもよいが、更新方法はこれに限らない。
以上の通り、本実施例によれば、画像中の全ての画素位置における回復フィルタを保持せずとも、好適な画像回復処理を実現することができる。よって、フィルタを用いて撮像装置の光学系に起因する暈けを補正する処理において、フィルタにかかるデータ量、及びフィルタ生成の計算コストを低減することができる。また、式(4)からも明らかなように画像中でフィルタが切り替わることによる疑似輪郭の発生も抑えることができる。
<回復フィルタDBの生成>
以下、点像分布関数(PSF)に基づいて画像の暈けを補正するためのフィルタを生成について説明する。暈けを生じさせない理想的な光学系を用いて撮影した画像をf(x、y)とする。x、yは画素位置を示す変数であり、f(x、y)は画素位置x、yでの画素値を表している。一方で、暈けを生じさせる光学系で撮影した画像をg(x、y)とする。また、暈けを生じさせる光学系のPSFをh(x、y)とする。h(x、y)は、レンズ種類、カメラ種類、絞り、焦点距離、被写体距離の撮影条件などから決定される。f(x、y)、g(x、y)、h(x、y)には次の関係が成り立つ。
g(x、y)=h(x、y)*f(x,y) (5)
実面で表現されている式(5)をフーリエ変換して、空間周波数面での表示形式に変換すると式(6)のようになる。
G(u,v)=H(u,v)・F(u,v) (6)
H(u,v)はh(x、y)をフーリエ変換したものであり、光学伝達関数(OTF:Optical Transfer Function)と呼ばれている。u,vは2次元周波数面での座標、即ち周波数を示す。G(u,v)はg(x、y)のフーリエ変換したもの(フーリエ表示)であり、F(u,v)はf(x、y)のフーリエ変換したものである。暈けのある撮影画像から、暈けのない理想的な画像を得るためには、以下のように両辺をHで除算すればよい。
G(u,v)/H(u,v)=F(u,v) (7)
このF(u,v)を逆フーリエ変換して実面に戻すことで、暈けのない理想的な画像f(x,y)を回復画像として得ることができる。
ここで、式(7)におけるHの逆数(H−1)を逆フーリエ変換したものをRとすると、以下の式(8)のように実面での画像に対するコンボリューションを行うことで同様に暈けのない画像が得られる。
g(x,y)*R(x,y)=f(x,y) (8)
本実施例では、このR(x,y)を代表フィルタとして代表フィルタ位置ごとに求め、代表フィルタDBを生成する。本実施例においては、レンズ種類、カメラ種類、撮影条件の組合せごとに回復フィルタDBを生成する。この代表フィルタは、フィルタ処理の対象となる画像の画素値に依存しないフィルタである。
なお、回復フィルタDB中の代表フィルタの生成方法は、上述の方法に限らず、例えばウィナーフィルター等を用いてもよい。
<飽和領域率に基づく補正>
カメラ部107に入力した被写体像を撮像素子111で結像する際に、輝度が大きすぎるため、信号値(画素値)が飽和する場合がある。飽和した画素においては、飽和値以上の情報が失われてしまう。よって、飽和した画素で得られた飽和値をそのまま式(4)に使用してしまうと、補正後の画素値O’を正しく計算できない。
図8は、ステップS405にて代表画素値を取得する際に代表フィルタを適用する領域内にどれだけ飽和している画素(飽和画素)が存在しているかを模式的に示した図である。代表フィルタRを適用する処理対象領域(画素数25)において、飽和画素の画素数は7となる。本実施例において、飽和領域率を以下のように定義する。
飽和領域率=飽和画素の画素数/処理対象領域の画素数 (9)
飽和領域率は、代表フィルタ毎に計算される。図8における代表フィルタRの飽和領域率は7/25となる。代表フィルタR,R,Rのそれぞれの飽和領域率に対して飽和重み係数をα、β、γを設定する。図9は、飽和重み係数α、β、γと飽和領域率との関係を示した図である。Oを注目画素の画素値とすると、飽和重み係数を考慮した式(4)は以下のようになる。
O‘(x,y)=(1−t−s)・(α・(O−O)+O)
+t・(β・(O−O)+O)
+s・(γ・(O−O)+O) (10)
以上の通り、注目画素及び周辺画素が飽和しているか否かを判定し、判定結果に基づいて注目画素を補正する際の飽和重み係数を調整することにより、飽和による弊害を低減し、より高精度に注目画素の画素値を補正することが可能とする。
[実施例2]
実施例1では、レンズ交換可能なデジタルカメラにおける方法について説明した。本実施例においては、レンズとカメラが一体型(例えば、コンパクトカメラ)の場合について説明する。
図10に実施例2における画像入力装置のブロック図を示す。なお、ブロック図の構成としては、レンズ部101がカメラ部107に組み込まれている。処理フローについては、実施例1と同等のため省略する。
以上説明した処理制御を行うことで、レンズとカメラが一体型のデジタルカメラにおいて、すべての画素位置に対して回復フィルタを保持しなくても、全画像領域について回復処理を行うことが可能となる。
[実施例3]
実施例3では、画像処理装置において実現した場合である。この場合、回復処理対象となる画像としては、画像入力装置において取得された画像となる。本実施例では、RAW画像が入力された場合について説明する。
図11は、本実施例におけるブロック図である。画像処理装置1101は、インターネットやイントラネットのネットワーク1103を介して、回復フィルタDBを保持するサーバに接続されている。通信部1104は、ネットワーク1103を介して回復フィルタDBを保持するサーバとデータ通信をする。RAW画像データ記憶部1105は、RAW画像データを記憶する。回復フィルタ記憶部1106は、回復フィルタDBを保持する。
画像タグデータ抽出部1108は、RAW画像データ記憶部1105に記憶されているRAW画像データの画像タグ情報から焦点距離、絞り、被写体距離などを抽出する。
現像処理部1109は、回復処理、デモザイキング、WB(ホワイトバランス)、ガンマ補正、色変換、ノイズリダクションなどの現像処理を実行する。RAW画像データ取得部1110は、画像入力装置のメモリやハードディスクなどの外部ストレージから画像データを取得する。画像データ書込み部1111は、現像処理部1109にて現像処理を施された画像データをハードディスクや外部メモリなどに書き込む。RAW画像DB1112は、画像入力装置のメモリやハードディスクなどであり、RAW画像データを記憶する。出力画像記憶部1113は、ハードディスクや外部メモリなどの画像を記憶可能な記憶媒体である。尚、これらの処理ブロックは、パーソナルコンピュータなどのCPUとRAMメモリを用いて、ハードディスク、CD−ROM及びDVD−ROMなどに記憶してある処理プログラムを実行することによって実現される。
図12は本実施例における処理フローを示している。まずステップS1201では、RAW画像DB1112にて記憶しているRAW画像をRAW画像データ取得部1110にてRAW画像データ記憶部1105に記憶する。ステップS1202では、ステップS1201にてRAW画像データ記憶部1105に記憶したRAW画像データに対して実施例1において説明した現像処理を行う。最後にステップS1203ではステップS1202において現像処理された画像を画像データ書込み部1111にて、出力画像記憶部1113に記憶する。
以上説明した処理制御を行うことで、パーソナルコンピュータや携帯端末などで回復処理を行うことによって、実施例1と同様の効果を得ることができる。
尚、本実施例では、入力画像としてRAW画像を一例としたがそれに限定はされない。例えば、JPEG画像やTIFF画像に適用しても構わない。
また、回復フィルタデータDBをネットワーク上にあるとしたが、これに限定されることはない。例えば、画像処理装置1101内のメモリにあったとしても構わない。
[実施例4]
実施例1から3の機能(例えば、上記のフローチャートにより示される機能)を実現するソフトウェアのプログラムコードを記録したコンピュータ読み取り可能な記録媒体を、システム或いは装置に供給することによっても実現できる。この場合、そのシステム或いは装置のコンピュータ(又はCPUやMPU)が、コンピュータが読み取り可能に記憶媒体に格納されたプログラムコードを読み出し実行することにより、上述した実施例の機能を実現する。

Claims (11)

  1. 撮像装置の光学系に起因する暈けを補正する画像処理装置であって、
    画像中の複数の画素位置と、該画素位置それぞれに対応する代表フィルタを記憶させる記憶手段と、
    画像中の注目画素の画素位置に基づいて、前記記憶手段により記憶されている代表フィルタの中から複数の代表フィルタを選択する選択手段と、
    前記注目画素の画素値に対して、前記選択手段により選択された代表フィルタそれぞれを適用するフィルタ処理手段と、
    前記フィルタ処理手段の処理結果と前記注目画素の画素位置とに基づいて、前記注目画素の画素値を補正する補正手段と、
    を有することを特徴とする画像処理装置。
  2. 前記フィルタ処理手段は、前記注目画素の画素値及び該注目画素の周辺画素の画素値に対して、前記選択手段により選択された代表フィルタのそれぞれを適用することを特徴とする請求項1に記載の画像処理装置。
  3. 前記フィルタ処理手段は、前記注目画素の画素値に対して、前記選択手段により選択された代表フィルタのそれぞれを適用して複数の代表画素値を取得し、
    前記補正手段は、前記選択手段により選択された複数の代表フィルタそれぞれに対応するフィルタ位置と前記注目画素の画素位置との位置関係に基づいて、前記複数の代表画素値を重み付き加算することを特徴とする請求項1に記載の画像処理装置。
  4. 前記選択手段は、前記画像を撮影する撮像装置の光軸中心に対応する画像中の位置と前記注目画素の画素位置との位置関係に基づいて、前記複数の代表フィルタを選択することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
  5. 前記選択手段は、前記画像中のいずれの象限に前記注目画素が属しているかに基づいて、前記複数の代表フィルタを選択することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
  6. 前記画像を撮影する際の撮影条件を入力する入力手段を更に有し、
    前記選択手段は、前記画像中の注目画素の画素位置と前記撮影条件とに基づいて前記複数の代表フィルタを選択することを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。
  7. 前記注目画素および該注目画素の周辺画素が飽和しているか否かを判定する判定手段を更に有し、
    前記補正手段は、前記フィルタ処理手段の処理結果と前記判定手段の判定結果と前記注目画素の画素位置とに基づいて、前記注目画素の画素値を補正することを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。
  8. 前記代表フィルタは、前記画像の画素値に依存しないフィルタであることを特徴とする請求項1乃至7に記載の画像処理装置。
  9. コンピュータを、請求項1乃至請求項8の何れか1項に記載された画像処理装置の各手段として機能させることを特徴とするプログラム。
  10. 請求項9に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
  11. 撮像装置の光学系に起因する暈けを補正する画像処理方法であって、
    画像中の注目画素の画素位置に基づいて、複数の代表フィルタを選択し、
    前記注目画素の画素値に対して、前記選択された代表フィルタそれぞれを適用し、
    前記代表フィルタの適用結果と前記注目画素の画素位置とに基づいて、前記注目画素の画素値を補正することを特徴とする画像処理方法。
JP2010264217A 2010-11-26 2010-11-26 画像処理装置、及び画像処理方法 Active JP5535053B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010264217A JP5535053B2 (ja) 2010-11-26 2010-11-26 画像処理装置、及び画像処理方法
US13/300,218 US8482627B2 (en) 2010-11-26 2011-11-18 Information processing apparatus and method
US13/913,837 US8982234B2 (en) 2010-11-26 2013-06-10 Information processing apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010264217A JP5535053B2 (ja) 2010-11-26 2010-11-26 画像処理装置、及び画像処理方法

Publications (2)

Publication Number Publication Date
JP2012114849A true JP2012114849A (ja) 2012-06-14
JP5535053B2 JP5535053B2 (ja) 2014-07-02

Family

ID=46126381

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010264217A Active JP5535053B2 (ja) 2010-11-26 2010-11-26 画像処理装置、及び画像処理方法

Country Status (2)

Country Link
US (2) US8482627B2 (ja)
JP (1) JP5535053B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014120000A (ja) * 2012-12-17 2014-06-30 Fujitsu Ltd 画像処理装置、画像処理方法及びプログラム
US20150092080A1 (en) * 2013-09-30 2015-04-02 Go Maruyama Image processing apparatus, imaging apparatus, and image processing method
JP2015091072A (ja) * 2013-11-07 2015-05-11 株式会社リコー 撮像装置及びこの撮像装置を備えた撮像システム及び偽色除去方法
WO2016059887A1 (ja) * 2014-10-14 2016-04-21 シャープ株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
JP2016184888A (ja) * 2015-03-26 2016-10-20 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法及びコンピュータプログラム
JP2019201355A (ja) * 2018-05-17 2019-11-21 オムロン株式会社 画像センサ

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009037817A1 (ja) * 2007-09-19 2009-03-26 Panasonic Corporation 輪郭補正装置、輪郭補正方法、映像表示装置
JP5535053B2 (ja) * 2010-11-26 2014-07-02 キヤノン株式会社 画像処理装置、及び画像処理方法
US9058541B2 (en) 2012-09-21 2015-06-16 Fondation De L'institut De Recherche Idiap Object detection method, object detector and object detection computer program
JP6097524B2 (ja) * 2012-10-29 2017-03-15 キヤノン株式会社 画像処理方法、画像処理装置、およびプログラム
CN105432069B (zh) * 2013-07-25 2018-09-25 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法及程序
WO2015146380A1 (ja) * 2014-03-28 2015-10-01 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5307175A (en) * 1992-03-27 1994-04-26 Xerox Corporation Optical image defocus correction
KR100242636B1 (ko) * 1996-03-23 2000-02-01 윤종용 블록화효과 및 링잉노이즈 감소를 위한 신호적응후처리시스템
JP3532368B2 (ja) 1996-12-10 2004-05-31 富士写真フイルム株式会社 内視鏡
JP2001197354A (ja) 2000-01-13 2001-07-19 Minolta Co Ltd デジタル撮像装置および画像復元方法
JP3754933B2 (ja) * 2001-06-19 2006-03-15 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法、プログラム及び記憶媒体
US7031548B2 (en) * 2001-10-04 2006-04-18 Hewlett-Packard Development Company, L.P. Method and apparatus for filtering noise from a digital image
JP4780374B2 (ja) * 2005-04-21 2011-09-28 Nkワークス株式会社 粒状ノイズ抑制のための画像処理方法及びプログラム及びこの方法を実施する粒状抑制処理モジュール
JP4831067B2 (ja) * 2005-06-20 2011-12-07 株式会社ニコン 画像処理装置、画像処理方法、画像処理プログラム製品、および撮像装置
KR100736356B1 (ko) * 2006-08-25 2007-07-06 엠텍비젼 주식회사 이미지의 에지 검출 장치 및 그 방법, 선명도 강조 장치 및그 방법, 이를 수행하는 프로그램이 기록된 기록 매체
JP5197414B2 (ja) * 2009-02-02 2013-05-15 オリンパス株式会社 画像処理装置及び画像処理方法
JP5595121B2 (ja) * 2010-05-24 2014-09-24 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP5535053B2 (ja) * 2010-11-26 2014-07-02 キヤノン株式会社 画像処理装置、及び画像処理方法
JP5824297B2 (ja) * 2011-08-30 2015-11-25 キヤノン株式会社 画像処理装置及び方法、及び撮像装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014120000A (ja) * 2012-12-17 2014-06-30 Fujitsu Ltd 画像処理装置、画像処理方法及びプログラム
US20150092080A1 (en) * 2013-09-30 2015-04-02 Go Maruyama Image processing apparatus, imaging apparatus, and image processing method
JP2015070529A (ja) * 2013-09-30 2015-04-13 株式会社リコー 画像処理装置、撮像装置および画像処理方法
US9374568B2 (en) * 2013-09-30 2016-06-21 Ricoh Company, Ltd. Image processing apparatus, imaging apparatus, and image processing method
JP2015091072A (ja) * 2013-11-07 2015-05-11 株式会社リコー 撮像装置及びこの撮像装置を備えた撮像システム及び偽色除去方法
WO2016059887A1 (ja) * 2014-10-14 2016-04-21 シャープ株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
JP2016081149A (ja) * 2014-10-14 2016-05-16 シャープ株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
JP2016184888A (ja) * 2015-03-26 2016-10-20 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法及びコンピュータプログラム
JP2019201355A (ja) * 2018-05-17 2019-11-21 オムロン株式会社 画像センサ
JP7052553B2 (ja) 2018-05-17 2022-04-12 オムロン株式会社 画像センサ

Also Published As

Publication number Publication date
US8982234B2 (en) 2015-03-17
US8482627B2 (en) 2013-07-09
US20130342737A1 (en) 2013-12-26
US20120133801A1 (en) 2012-05-31
JP5535053B2 (ja) 2014-07-02

Similar Documents

Publication Publication Date Title
JP5535053B2 (ja) 画像処理装置、及び画像処理方法
JP5709911B2 (ja) 画像処理方法、画像処理装置、画像処理プログラムおよび撮像装置
JP5438579B2 (ja) 画像処理装置及びその制御方法
JP6308748B2 (ja) 画像処理装置、撮像装置及び画像処理方法
JP2022048221A (ja) 画像処理方法、画像処理装置、画像処理システム、学習済みウエイトの製造方法、および、プログラム
JP6362068B2 (ja) 距離計測装置、撮像装置、距離計測方法、およびプログラム
JP2006270918A (ja) 画像補正方法、撮影装置、画像補正装置およびプログラム並びに記録媒体
US11308592B2 (en) Image processing method, image processing apparatus, imaging apparatus, and storage medium, that correct a captured image using a neutral network
JP2013031154A (ja) 画像処理装置、画像処理方法、撮像装置およびプログラム
WO2015174257A1 (ja) 画像処理装置、画像処理方法、撮像装置、電子機器、並びにプログラム
JP5479187B2 (ja) 画像処理装置及びそれを用いた撮像装置
US20150161771A1 (en) Image processing method, image processing apparatus, image capturing apparatus and non-transitory computer-readable storage medium
JP2012146281A (ja) 画像処理装置、画像処理方法、およびプログラム、および画像処理システム
JP5730036B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム。
JP5541750B2 (ja) 画像処理装置、撮像装置、画像処理方法、及び、プログラム
JP5353945B2 (ja) 画像処理装置および画像処理プログラム並びに電子カメラ
JP2020030569A (ja) 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、および、記憶媒体
JP2017173920A (ja) 画像処理装置、画像処理方法、画像処理プログラム、および記録媒体
JP2015109681A (ja) 画像処理方法、画像処理装置、画像処理プログラムおよび撮像装置
JP6491445B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP2012156714A (ja) プログラム、画像処理装置、画像処理方法および撮像装置。
JP6570706B2 (ja) 距離計測装置、撮像装置、距離計測方法、およびプログラム
JP2017123532A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記録媒体
JP2015109562A (ja) 画像処理装置、撮像装置、制御方法、及びプログラム
JP2015138470A (ja) 画像処理装置、撮像装置、画像処理装置の制御方法、及び、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140325

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140422

R151 Written notification of patent or utility model registration

Ref document number: 5535053

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151