Nothing Special   »   [go: up one dir, main page]

JP6312487B2 - 画像処理装置及びその制御方法、並びに、プログラム - Google Patents

画像処理装置及びその制御方法、並びに、プログラム Download PDF

Info

Publication number
JP6312487B2
JP6312487B2 JP2014064116A JP2014064116A JP6312487B2 JP 6312487 B2 JP6312487 B2 JP 6312487B2 JP 2014064116 A JP2014064116 A JP 2014064116A JP 2014064116 A JP2014064116 A JP 2014064116A JP 6312487 B2 JP6312487 B2 JP 6312487B2
Authority
JP
Japan
Prior art keywords
image
pupil
divided
imaging
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014064116A
Other languages
English (en)
Other versions
JP2015186247A (ja
Inventor
松岡 正明
正明 松岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014064116A priority Critical patent/JP6312487B2/ja
Priority to US14/662,781 priority patent/US9699387B2/en
Publication of JP2015186247A publication Critical patent/JP2015186247A/ja
Application granted granted Critical
Publication of JP6312487B2 publication Critical patent/JP6312487B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/581Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Description

本発明は、いわゆる瞳分割画像を処理する画像処理装置及びその制御方法、並びに、当該制御方法をコンピュータに実行させるためのプログラムに関するものである。
従来から、瞳分割画像を用いた撮像素子のダイナミックレンジの拡大手法が提案されている。例えば、下記の特許文献1には、異なる瞳分割画像ごとに蓄積時間或いは読み出しゲインを変えて露出の異なる複数の画像を取得し、それらの画像を合成することでダイナミックレンジを拡大する技術が開示されている。
また、従来から、瞳分割画像ごとに瞳強度分布が異なることが知られており、例えば、下記の特許文献2等にその内容が開示されている。
特開2002−199284号公報 特開2013−125095号公報 特開2009−258868号公報
しかしながら、上述した特許文献1に開示されたダイナミックレンジ拡大加算モードでは、瞳のケラレによるシェーディングの影響でダイナミックレンジ拡大効果が低減してしまう。
本発明は、このような問題点に鑑みてなされたものであり、異なる瞳領域から得られる複数の画像を用いてダイナミックレンジ拡大処理を行う際に、画像の画質の低下を防止する仕組みを提供することを目的とする。
本発明の画像処理装置は、撮像光学系の異なる瞳領域を通過した光束から得られる複数の瞳分割画像を撮像する撮像素子と、前記撮像素子における撮像領域の位置に応じて、前記複数の瞳分割画像からHDR合成処理に用いる画像を選択する選択手段とを有する。
また、本発明は、上述した画像処理装置の制御方法、及び、当該制御方法をコンピュータに実行させるためのプログラムを含む。
本発明によれば、異なる瞳領域から得られる複数の画像を用いてダイナミックレンジ拡大処理を行う際に、画像の画質の低下を防止することができる。
本発明の第1の実施形態に係るデジタルカメラ(画像処理装置)の概略構成の一例を示すブロック図である。 本発明の第1の実施形態を示し、図1に示す画像処理部の内部構成の一例を示す図である。 図6に示すアンダー露出画像に乗算するシェーディング補正係数(アンダー露出画像用シェーディング補正係数)の一例を示す図である。 図6に示す適正露出画像に乗算するシェーディング補正係数(適正露出画像用シェーディング補正係数)の一例を示す図である。 本発明の実施形態を示し、図2及び図7に示す画像合成部の動作を説明するための図である。 本発明の第1の実施形態に係るデジタルカメラ(画像処理装置)において、2つの異なる露出の画像を取得する処理の一例を説明するための図である。 本発明の第2の実施形態を示し、図1に示す画像処理部の内部構成の一例を示す図である。 本発明の第2の実施形態に係るデジタルカメラ(画像処理装置)において、2つの異なる露出の画像を取得する処理の一例を説明するための図である。 撮像装置の瞳面における瞳強度分布と撮像素子の像面における入射角感度特性を説明するための図である。 図9に示す2つの副画素のシェーディング特性を説明するための図である。 従来例を示し、図9に示す2つの副画素で取得された異なる瞳分割画像ごとに、露出の異なる複数の画像を取得する処理の一例を説明するための図である。
以下に、図面を参照しながら、本発明を実施するための形態(実施形態)について説明する。なお、以下に説明する本発明の実施形態では、本発明に係る画像処理装置としてデジタルカメラを適用した例について説明を行うが、本発明においてはこのデジタルカメラに限定されるものではない。
まず、特許文献1にかかる従来技術を図9を用いて説明する。
図9は、撮像装置の瞳面における瞳強度分布と撮像素子の像面における入射角感度特性を説明するための図である。
J107は、撮像装置の瞳面である。J108は、マイクロレンズアレイである。J109は、複数の画素からなる画素アレイである。例えば、マイクロレンズアレイJ108及び画素アレイJ109は、撮像素子を構成する。J111は、1つの画素(主画素)である。この1つの画素(主画素)J111は、上記の特許文献2と同様に、複数の光電変換部(具体的には、J110aに示す副画素とJ110bに示す副画素)を有して構成されている。
瞳強度分布は、上記の特許文献2に示されているように、瞳のケラレにより、副画素J110aの瞳強度分布は、J101aのようになり、副画素J110bの瞳強度分布は、J101bのようになる。
また、瞳強度分布J101a及びJ101bに対応する像面中央での入射角感度特性は、それぞれ、J103a及びJ103bのようになる。この場合、副画素J110aの入射角感度特性は、J103aのようになり、副画素J110bの入射角感度特性は、J103bのようになる。また、J112は、絞りなどで制限される入射光の角度範囲である。このように、像面中央では、副画素J110aと副画素J110bに入射する光量は等しい。
また、瞳強度分布J101a及びJ101bに対応する像面端での入射角感度特性は、それぞれ、J105a及びJ105bのようになる。この場合、副画素J110aの入射角感度特性は、J105aのようになり、副画素J110bの入射角感度特性は、J105bのようになる。像面端では、像面中央と結像位置が異なるので、像面端の入射角感度特性は、像面中央に対して偏心したプロファイルとなる。このため、像面端では、図9に示す場合、副画素J110aに入射する光量よりも副画素J110bに入射する光量のほうが多くなる。
以上のことから、像面上の画素位置(X)と画素値との関係を表すシェーディング特性は、図10のようになる。図10は、図9に示す2つの副画素J110a及びJ110bのシェーディング特性を説明するための図である。
J201aは、図9に示す副画素J110aのシェーディング特性を示す。また、J201bは、図9に示す副画素J110bのシェーディング特性を示す。図9の像面中央はX=0に対応し、像面端はX=500に対応する。
図11は、従来例を示し、図9に示す2つの副画素J110a及びJ110bで取得された異なる瞳分割画像ごとに、露出の異なる複数の画像を取得する処理の一例を説明するための図である。
J303は、図9に示す副画素J110bを適正露出にして撮像した瞳分割画像(適正露出画像)である。また、J302は、図9に示す副画素J110aを1段(1EV)アンダー露出にして撮像した瞳分割画像(アンダー露出画像)である。
上記の特許文献1に記載のダイナミックレンジ拡大加算モードは、例えば、図11に示すアンダー露出画像J302と適正露出画像J303を固体撮像素子のフローティングディフュージョン(FD)領域で加算合成した後に、固体撮像素子から合成画像を読み出すという動作になる。また、上述した例では、分割光電変換部の露出段差は1段差ということになる。
しかしながら、上述した特許文献1に開示されたダイナミックレンジ拡大加算モードでは、瞳のケラレによるシェーディングの影響でダイナミックレンジ拡大効果が低減してしまう。つまり、図11に示すアンダー露出画像J302と適正露出画像J303は、撮像素子の撮像領域のうちの領域2においては1段以上の露出段差を確保することができるが、撮像素子の撮像領域のうちの領域1においては1段未満の露出段差しか確保できない。このように露出段差が確保できない場合に画像合成を行うと、画像合成後の画像の画質が低下するという問題が生じる。
ここで、上述した特許文献1に開示された従来技術でも、通常加算モードを用いれば、瞳のケラレによるシェーディングの影響が図9に示す副画素J110aと副画素J110bとで相殺されるため、無視することができる。つまり、通常加算モードで、アンダー露出画像用のアンダー露出による蓄積と、適正露出画像用の適正露出による蓄積との、2回の蓄積に分けて露出すれば、読み出した後でダイナミックレンジ拡大加算することでダイナミックレンジを拡大することができる。この2回蓄積の場合には、アンダー露出画像と適正露出画像で撮影者の手振れの影響を受けるため、上記の特許文献3に開示されている従来技術のような画像の位置合わせが必要になる。つまり、例えば、アンダー露出画像と適正露出画像の間でブロックマッチングによる動きベクトル検出を行い、位置合わせパラメータを算出するようなことが必要になる。
しかしながら、上述した特許文献1の通常加算モードでは、非加算モードに対して瞳の開口が広がるため、被写界深度が浅くなり、画像中の合焦領域が狭くなる。このため、広がった非合焦面領域でのブロックマッチング性能が低下し、正しく動きベクトルが検出できなくなり、結果として画像の位置合わせ性能が低下する。これにより、得られる画像の画質が低下するという問題が生じる。そこで、本実施形態では、撮像部における撮像領域の位置に応じて複数の瞳分割画像から画像合成処理に用いる画像を選択するようにしたため、ダイナミックレンジ拡大処理を行う際に、画像の画質の低下を防止することができる。
(第1の実施形態)
まず、本発明の第1の実施形態について説明する。
図1は、本発明の第1の実施形態に係るデジタルカメラ(画像処理装置)の概略構成の一例を示すブロック図である。
100は、本実施形態に係るデジタルカメラ(画像処理装置)である。
101は、例えばCPUからなる制御部である。制御部101は、例えば後述のROM102から、デジタルカメラ100が備える各ブロック構成の動作プログラムを読み出して、これを後述のRAM103に展開して実行することにより、デジタルカメラ100が備える各ブロック構成の動作を制御する。
102は、例えば書き換え可能な不揮発性メモリからなるROMである。ROM102は、デジタルカメラ100が備える各ブロック構成の動作プログラムに加えて、各ブロック構成の動作に必要なパラメータ等の情報を記憶する。
103は、例えば書き換え可能な揮発性メモリからなるRAMである。RAM103は、デジタルカメラ100が備える各ブロック構成の動作において出力されたデータ等の一時的な記憶領域として用いられる。
104は、被写体Hからの光学像を撮像部105に結像するための、レンズ等を含む撮像光学系である。
105は、例えばCCDやCMOSセンサ等の撮像素子からなり、撮像光学系104の瞳を通過する被写体Hからの光束を複数に分割して複数の瞳分割画像(撮像光学系104の異なる瞳領域を通過した光束から得られる複数の瞳分割画像)を撮像する撮像部である。この撮像部105は、図9に示すマイクロレンズアレイJ108及び画素アレイJ109を有して構成されている。そして、画素アレイJ109のうちの1つの画素(主画素)J111は、例えばマイクロレンズで瞳分割されて複数の光電変換部(具体的には、図9に示す2つの副画素J110a及びJ110b)が構成されている。本実施形態では、各主画素はR、G、Bいずれかのカラーフィルタで覆われている(1つの主画素に対応する副画素の色は同一)が、本発明の適用できる撮像素子の構成はこの限りではない。また、撮像部105は、撮像用と焦点検出用の両方に利用可能な撮像素子からなるものである。また、撮像部105は、撮像光学系104により結像された被写体Hの光学像を光電変換し、得られたアナログ画像信号を後述のA/D変換部106に出力する。
106は、撮像部105から入力されたアナログ画像信号にA/D変換処理を施してデジタル画像信号に変えるA/D変換部である。そして、A/D変換部106は、得られたデジタル画像信号に基づくデジタル画像データをRAM103に出力して記憶させる。
107は、画像処理部である。画像処理部107は、RAM103に記憶されている画像データに対して、ホワイトバランス処理、ノイズ除去処理、色抑圧処理、マトリクス変換処理、ガンマ変換処理などを施す。また、画像処理部107は、RAM103に記憶されている画像データを上記のように処理する過程で、HDR合成処理によりダイナミックレンジが拡大された画像データを生成する。また、画像処理部107は、HDR合成処理を施した画像や合成を行っていない画像を静止画記録用(JPEGなど)、或いは動画記録用(MPEG、H.264,H.265など)の符号化方式に従って符号化、圧縮処理を行い、出力する。
108は、例えばデジタルカメラ100に着脱可能に構成されたメモリカード等の記録媒体である。記録媒体108には、RAM103に記憶されている、画像処理部107で処理された画像データやA/D変換部106のA/D変換により得られた画像データなどが、記録画像データとして記録される。
109は、バスである。このバス109は、デジタルカメラ100が備える各ブロック構成(101〜103、105〜108)を通信可能に接続する。
次いで、図2〜図6を用いて、第1の実施形態に係るデジタルカメラ100の動作や、第1の実施形態に係る画像処理部107の内部構成等について説明する。
図6は、本発明の第1の実施形態に係るデジタルカメラ(画像処理装置)において、2つの異なる露出の画像を取得する処理の一例を説明するための図である。図6において、横軸は撮像部105の撮像領域における画素位置(X)であり、縦軸は画素値である。
図6において、J201aは、図9に示す副画素J110a(第1の画素)から得られた瞳分割画像(A像:第1の瞳分割画像)である。J201bは、図9に示す副画素J110b(第2の画素)から得られた瞳分割画像(B像:第2の瞳分割画像)である。また、本実施形態では、撮像部105における撮像領域は、図6に示すように、少なくとも、領域1(第1の領域)と領域2(第2の領域)とを含む複数の領域に区分されているものとする。図6において、瞳分割画像J201aは、領域1では瞳分割画像J201bよりも撮像光学系104の瞳のケラレ量が小さくなっている(画素値が大きくなっている)。また、瞳分割画像J201bは、領域2では瞳分割画像J201aよりも撮像光学系104の瞳のケラレ量が小さくなっている(画素値が大きくなっている)。
ダイナミックレンジ拡大モードでは、フローティングディフュージョン(FD)領域に先に読み出される第1変換部の信号が短秒露出信号となり、FD領域に後で読み出される第2変換部の信号が長秒露出信号となる。つまり、本実施形態において、例えば、図9に示す副画素J110aの信号をFD領域に先に読み出して副画素J110bの信号をFD領域に後で読み出せば、A像がアンダー露出画像でB像が適正露出画像となる。逆に、図9に示す副画素J110bの信号をFD領域に先に読み出して副画素J110aの信号をFD領域に後で読み出せば、B像がアンダー露出画像でA像が適正露出画像となる。ここで、アンダー露出画像は、適正露出画像を得た適正露出量(第1の露出量)よりも露出量が少ないアンダー露出量(第2の露出量)で得られた画像である。
本実施形態においては、図6に示す撮像部105の撮像領域のうちの領域1では図9に示す副画素J110bの信号をFD領域に先に読み出し、図6に示す撮像部105の撮像領域のうちの領域2では図9に示す副画素J110aの信号をFD領域に先に読み出す。具体的に、例えば制御部101は、撮像部105を制御して、図6に示す領域1では、後述の画像合成処理に用いる画像であって適正露出画像603としてA像を選択し、後述の画像合成処理に用いる画像であってアンダー露出画像602としてA像ではない他の瞳分割画像であるB像を選択する。また、例えば制御部101は、撮像部105を制御して、図6に示す領域2では、後述の画像合成処理に用いる画像であって適正露出画像603としてB像を選択し、後述の画像合成処理に用いる画像であってアンダー露出画像602としてB像ではない他の瞳分割画像であるA像を選択する。本実施形態においては、画像合成処理に用いる画像を選択する制御部101は、選択手段を構成する。なお、本実施形態においては、制御部101が画像合成処理に用いる画像を選択するものとするが、例えば撮像部105自身で画像合成処理に用いる画像を選択する形態も本発明に含まれる。このように画像選択を行うことで、撮像光学系104の瞳のケラレによるシェーディングの影響がある場合でも、図11に示す従来例よりも大きな露出段差を確保することができる。
また、特許文献1に記載のダイナミックレンジ拡大モードでは、光電変換部の蓄積時間の異なる2つの画像をフローティングディフュージョン(FD)領域で加算合成した後に、固体撮像素子から合成画像が読み出されるとされているが、焦点検出モードと同様に2つの光電変換部を独立に出力するようにすれば、2つの画像を非加算で読み出すことも可能である。
本実施形態においては、上記の方法で蓄積時間の異なる2つの画像を非加算で読み出し、A/D変換部106によるA/D変換後に、例えば画像処理部107にてシェーディングの逆特性となるシェーディング補正係数を乗算することでシェーディング補正を行う。
図3は、図6に示すアンダー露出画像602に乗算するシェーディング補正係数(アンダー露出画像用シェーディング補正係数)の一例を示す図である。また、図4は、図6に示す適正露出画像603に乗算するシェーディング補正係数(適正露出画像用シェーディング補正係数)の一例を示す図である。図3及び図4のいずれも、横軸は撮像部105の撮像領域における画素位置(X)であり、縦軸はシェーディング補正係数である。
図6の604は、シェーディング補正後のアンダー露出画像(補正後アンダー露出画像)であり、図6の605は、シェーディング補正後の適正露出画像(補正後適正露出画像)である。この場合、シェーディング補正後の露出段差は画面内均一で1.5段分あり、本実施形態においては、これらの補正後アンダー露出画像604及び補正後適正露出画像605を画像合成して合成画像であるダイナミックレンジ拡大画像の生成を行う。このようにすることで、画像合成後のダイナミックレンジ拡大画像からシェーディングによる明暗ムラを除去することができる。さらに、本実施形態における図6では、従来例における図11の場合と比べて、アンダー露出画像と適正露出画像のシェーディングによる画面内露出段差が少ないので、シェーディング補正係数を小さくすることができ、係数乗算によるノイズ劣化を小さくすることができる。
図2は、本発明の第1の実施形態を示し、図1に示す画像処理部107の内部構成の一例を示す図である。ここで、図2に示す画像処理部107を「画像処理部107−1」として示す。
201は、アンダー露出画像入力(図6のアンダー露出画像602の入力)を示す。202は、アンダー露出画像用シェーディング補正係数入力(図3のアンダー露出画像用シェーディング補正係数の入力)である。
210は、アンダー露出画像用シェーディング補正部である。アンダー露出画像用シェーディング補正部210は、図6のアンダー露出画像602に対して、図3のアンダー露出画像用シェーディング補正係数301a,301bを乗算することで、シェーディング補正をする。このシェーディング補正により、図6の補正後アンダー露出画像604が生成される。また、図3のアンダー露出画像用シェーディング補正係数301a,301bは、例えば、図1に示すROM102から読み出されてRAM103に展開されたものが、アンダー露出画像用シェーディング補正係数入力202として入力される。
203は、適正露出画像入力(図6の適正露出画像603の入力)を示す。204は、適正露出画像用シェーディング補正係数入力(図4の適正露出画像用シェーディング補正係数の入力)である。
220は、適正露出画像用シェーディング補正部である。適正露出画像用シェーディング補正部220は、図6の適正露出画像603に対して、図4の適正露出画像用シェーディング補正係数401a,401bを乗算することで、シェーディング補正をする。このシェーディング補正により、図6の補正後適正露出画像605が生成される。また、図4の適正露出画像用シェーディング補正係数401a,401bは、例えば、図1に示すROM102から読み出されてRAM103に展開されたものが、適正露出画像用シェーディング補正係数入力204として入力される。
ここで、アンダー露出画像用シェーディング補正部210及び適正露出画像用シェーディング補正部220は、画像合成処理に用いる画像に対して、撮像光学系104の瞳のケラレによる明暗ムラを補正する明暗ムラ補正手段を構成する。
211は、補正後アンダー露出画像入力(図6の補正後アンダー露出画像604の入力)である。221は、補正後適正露出画像入力(図6の補正後適正露出画像605の入力)である。
230は、画像合成部である。画像合成部230は、図6の補正後アンダー露出画像604と補正後適正露出画像605を画像合成して、合成画像としてダイナミックレンジ拡大画像を生成する。231は、ダイナミックレンジ拡大画像出力である。
図5は、本発明の実施形態を示し、図2に示す画像合成部230の動作を説明するための図である。図5において、横軸は被写体Hの明るさであり、縦軸は画素値である。ここで、本実施形態においては、被写体Hの明るさは、例えば補正後アンダー露出画像の画素値を参照すればよい。
本実施形態において、501は、補正後アンダー露出画像である。本実施形態において、503は、補正後適正露出画像である。TH2は、画素の飽和レベルである。明るい被写体Hを適正露出で撮像した場合、画素値は飽和レベルTH2でクリップされる。TH1は、適正露出の飽和レベルに対応する被写体Hの明るさを示す所定の閾値である。本実施形態において、502は、補正後アンダー露出画像501を1.5段ゲインアップしたゲインアップ後アンダー露出画像である。本実施形態では、補正後アンダー露出画像501は、補正後適正露出画像503より1.5段アンダーなので、1.5段ゲインアップすることで補正後適正露出画像503と明るさを合わせることができる。
本実施形態において、画像合成部230は、図5に示す例では、被写体Hの明るさが所定の閾値TH1よりも暗い(TH1未満の値の)画素位置の場合には、露出量の多い方の入力画像である補正後適正露出画像503を選択して出力する。また、画像合成部230は、図5に示す例では、被写体Hの明るさが所定の閾値TH1よりも明るい(TH1よりも大きい値の)画素位置の場合には、露出量の少ない方の入力画像であるゲインアップ後アンダー露出画像502を選択して出力する。これにより、ダイナミックレンジ拡大画像を出力することができる。
本実施形態によれば、撮像用と焦点検出用の両方に利用可能な撮像素子において、瞳分割画像を用いてダイナミックレンジ拡大処理を行う際に、瞳のケラレによるシェーディングの影響がある場合でも、広いダイナミックレンジ拡大効果を得ることができる。より詳細に、本実施形態によれば、撮像部105における撮像領域の位置に応じて複数の瞳分割画像から画像合成処理に用いる画像を選択するようにしたため(図6)、ダイナミックレンジ拡大処理を行う際に、画像の画質の低下を防止することができる。なお、本実施形態におけるダイナミックレンジ拡大のためのHDR合成処理は、各露出画像を明るさを合わせるなどして同じ階調数(bit数)で合成を行うことで見かけ上のダイナミックレンジを拡大したHDR合成画像を生成することを含む。また、明るさの段差を維持したまま合成することで階調数が増加したHDR合成画像を生成するものも含む。
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。
第2の実施形態に係るデジタルカメラ(画像処理装置)は、図1に示す第1の実施形態に係るデジタルカメラの概略構成と同様の構成を採る。
本実施形態においては、図1に示す撮像部105は、特許文献1に記載の非加算モードで、アンダー露出画像用のアンダー露出による蓄積と適正露出画像用の適正露出による蓄積との2回の蓄積に分けて露出される。そして、本実施形態においては、図1に示す撮像部105は、アンダー露出A像、アンダー露出B像、適正露出A像及び適正露出B像の4画像をそれぞれ別々に読み出す。その後、本実施形態においては、図1の画像処理部107は、これらの4画像を用いてダイナミックレンジ拡大加算を行うものとする。
次いで、図7〜図8を用いて、第2の実施形態に係るデジタルカメラ100の動作や、第2の実施形態に係る画像処理部107の内部構成等について説明する。
図8は、本発明の第2の実施形態に係るデジタルカメラ(画像処理装置)において、2つの異なる露出の画像を取得する処理の一例を説明するための図である。図8では、適正露出とアンダー露出の露出段差を1段としている。また、図8において、横軸は撮像部105の撮像領域における画素位置(X)であり、縦軸は画素値である。また、本実施形態では、撮像部105における撮像領域は、図8に示すように、少なくとも、領域1(第1の領域)と領域2(第2の領域)とを含む複数の領域に区分されているものとする。
図8において、J201aは、図9に示す副画素J110aから適正露出量において得られた適正露出瞳分割画像(適正露出A像)である。J201bは、図9に示す副画素J110bから適正露出量において得られた適正露出瞳分割画像(適正露出B像)である。801abは、図9に示す副画素J110aの適正露出瞳分割画像(適正露出A像)J201aと図9に示す副画素J110bの適正露出瞳分割画像(適正露出B像)J201bとを加算した適正露出加算画像(適正露出(A+B)像)である。
また、図8において、802aは、図9に示す副画素J110aからアンダー露出量において得られたアンダー露出瞳分割画像(アンダー露出A像)である。802bは、図9に示す副画素J110bからアンダー露出量において得られたアンダー露出瞳分割画像(アンダー露出B像)である。802abは、図9に示す副画素J110aのアンダー露出瞳分割画像(アンダー露出A像)802aと図9に示す副画素J110bのアンダー露出瞳分割画像(アンダー露出B像)802bとを加算したアンダー露出加算画像(アンダー露出(A+B)像)である。
図7は、本発明の第2の実施形態を示し、図1に示す画像処理部107の内部構成の一例を示す図である。ここで、図7に示す画像処理部107を「画像処理部107−2」として示す。
701aは、アンダー露出A像入力(図8のアンダー露出A像802aの入力)を示す。701bは、アンダー露出B像入力(図8のアンダー露出B像802bの入力)を示す。702aは、適正露出A像入力(図8の適正露出A像J201aの入力)を示す。702bは、適正露出B像入力(図8の適正露出B像J201bの入力)を示す。
710は、画像加算部である。画像加算部710は、図8のアンダー露出A像802aと図8のアンダー露出B像802bとを加算して、アンダー露出加算画像である図8のアンダー露出(A+B)像)802abを生成する。また、画像加算部710は、図8の適正露出A像J201aと図8の適正露出B像J201bとを加算して、適正露出加算画像である図8の適正露出(A+B)像)801abを生成する。ここで、適正露出(A+B)像)801abは第1の加算画像を構成し、アンダー露出(A+B)像)802abは第2の加算画像を構成する。
720は、動きベクトル算出用画像生成部である。動きベクトル算出用画像生成部720は、図8の領域1においては、後述の動きベクトル算出処理に用いる画像としてアンダー露出B像802bと適正露出B像J201bを選択する。また、動きベクトル算出用画像生成部720は、図8の領域2においては、後述の動きベクトル算出処理に用いる画像としてアンダー露出A像802aと適正露出A像J201aを選択する。本実施形態においては、動きベクトル算出処理に用いる画像を選択する動きベクトル算出用画像生成部720は、選択手段を構成する。なお、本実施形態においては、動きベクトル算出用画像生成部720による機能を画像処理部107−2において行うようにしているが、例えば、制御部101の機能として行うようにしてもよい。また、動きベクトル算出用画像生成部720は、選択したアンダー露出A像802aもしくはアンダー露出B像802bについては、適正露出と明るさが合うようにゲインアップしてから出力する。本実施形態では、適正露出とアンダー露出の露出段差が1段であるので、1段分ゲインアップして出力される。
730は、動きベクトル算出部である。動きベクトル算出部730は、例えば特許文献3に記載されている従来技術と同様の構成であり、ターゲットフレーム基準で参照フレームをブロック探索して動きベクトルを検出する。具体的に、本実施形態においては、動きベクトル算出部730は、撮像部105の複数の領域(領域1及び領域2)ごとに、複数の露出量(適正露出量及びアンダー露出量)において撮像部105で撮像された複数の瞳分割画像間で動きベクトルを算出する。
721は、ターゲットフレーム入力である。このターゲットフレーム入力721は、ゲインアップされたアンダー露出A像802aもしくはゲインアップされたアンダー露出B像802bのいずれかが入力される。722は、参照フレーム入力である。この参照フレーム入力722は、適正露出A像J201aもしくは適正露出B像J201bのいずれかが入力される。
740は、動き補償画像生成部である。動き補償画像生成部740は、例えば特許文献3に記載されている従来技術と同様の構成である。具体的に、動き補償画像生成部740は、動きベクトル算出部730で算出された動きベクトルを用いて参照フレーム(具体的には適正露出(A+B)像801ab)を動き補償して動き補償画像を生成する。
731は、動きベクトル入力(動きベクトル算出部730で算出された動きベクトルの入力)である。712は、参照フレーム入力であり、適正露出(A+B)像801abが入力される。
750は、画像合成部である。画像合成部750は、図8のアンダー露出(A+B)像802abと、動き補償された適正露出(A+B)像801abとを画像合成して、合成画像としてダイナミックレンジ拡大画像を生成する。
711は、アンダー露出(A+B)像入力(図8のアンダー露出(A+B)像802abの入力)である。741は、動き補償後適正露出(A+B)像入力(動き補償された適正露出(A+B)像801abの入力)である。751は、ダイナミックレンジ拡大画像出力である。
ここで、図5を用いて、図7に示す画像合成部750の動作を説明する。
図5は、本発明の実施形態を示し、図7に示す画像合成部750の動作を説明するための図である。図5において、横軸は被写体Hの明るさであり、縦軸は画素値である。ここで、本実施形態においては、被写体Hの明るさは、例えばアンダー露出(A+B)像の画素値を参照すればよい。
本実施形態において、501は、アンダー露出(A+B)像である。本実施形態において、503は、動き補償後適正露出(A+B)像である。TH2は、画素の飽和レベルである。明るい被写体Hを適正露出で撮像した場合、画素値は飽和レベルTH2でクリップされる。TH1は、適正露出の飽和レベルに対応する被写体Hの明るさを示す所定の閾値である。本実施形態において、502は、アンダー露出(A+B)像501を1段ゲインアップしたゲインアップ後アンダー露出(A+B)像である。本実施形態では、アンダー露出(A+B)像501は、動き補償後適正露出(A+B)像503より1段アンダーなので、1段ゲインアップすることで動き補償後適正露出(A+B)像503と明るさを合わせることができる。
本実施形態において、画像合成部750は、図5に示す例では、被写体Hの明るさが所定の閾値TH1よりも暗い(TH1未満の値の)画素位置の場合には、露出量の多い方の入力画像である動き補償後適正露出(A+B)像503を選択して出力する。また、画像合成部750は、図5に示す例では、被写体Hの明るさが所定の閾値TH1よりも明るい(TH1よりも大きい値の)画素位置の場合には、露出量の少ない方の入力画像であるゲインアップ後アンダー露出(A+B)像502を選択して出力する。これにより、ダイナミックレンジ拡大画像を出力することができる。
本実施形態においては、ダイナミックレンジ拡大のための画像合成を、瞳分割画像を加算した加算画像で行うので、瞳のケラレによるシェーディングの影響を受けることが無い。一方、動きベクトルの算出は瞳分割画像で行うので、瞳分割画像を加算した加算画像で行う場合と比べて被写界深度が深い画像でブロックマッチングが行え、動きベクトル算出性能を向上させることができる。さらに、2つある瞳分割画像のうち、瞳によるケラレがより大きい画像を選択するので、被写界深度をより深くすることができる。
即ち、本実施形態によれば、撮像用と焦点検出用の両方に利用可能な撮像素子において、アンダー露出画像用のアンダー露出による蓄積と適正露出画像用の適正露出による蓄積の2回の蓄積に分けて露出する場合でも、高精度に画像位置合わせをすることができる。これにより、画像の画質の低下を防止することができる。
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。
即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。
このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体は、本発明に含まれる。
なお、上述した本発明の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
100 デジタルカメラ(画像処理装置)、101 制御部、102 ROM、103 RAM、104 撮像光学系、105 撮像部、106 A/D変換部、107 画像処理部、108 記録媒体、109 バス、H 被写体

Claims (11)

  1. 撮像光学系の異なる瞳領域を通過した光束から得られる複数の瞳分割画像を撮像する撮像素子と、
    前記撮像素子における撮像領域の位置に応じて、前記複数の瞳分割画像からHDR合成処理に用いる画像を選択する選択手段と
    を有することを特徴とする画像処理装置。
  2. 前記複数の瞳分割画像は、少なくとも、前記撮像素子における第1の画素から得られた第1の瞳分割画像と、前記撮像素子における第2の画素から得られた第2の瞳分割画像とを含み、
    前記撮像素子における撮像領域は、少なくとも、第1の領域と第2の領域とを含む複数の領域に区分されており、
    前記選択手段は、
    前記第1の領域については、前記HDR合成処理に用いる画像であって第1の露出量に係る画像として前記第1の瞳分割画像を選択するとともに、前記HDR合成処理に用いる画像であって前記第1の露出量よりも露出量が少ない第2の露出量に係る画像として前記第1の瞳分割画像ではない他の瞳分割画像を選択し、
    前記第2の領域については、前記HDR合成処理に用いる画像であって前記第1の露出量に係る画像として前記第2の瞳分割画像を選択するとともに、前記HDR合成処理に用いる画像であって前記第2に露出量に係る画像として前記第2の瞳分割画像ではない他の瞳分割画像を選択することを特徴とする請求項1に記載の画像処理装置。
  3. 前記選択手段により選択された前記HDR合成処理に用いる画像に対して、前記瞳のケラレによる明暗ムラを補正する明暗ムラ補正手段を更に有することを特徴とする請求項1又は2に記載の画像処理装置。
  4. 前記複数の領域ごとに、前記選択手段により選択された複数の瞳分割画像を合成して合成画像を生成する画像合成手段を更に有することを特徴とする請求項2に記載の画像処理装置。
  5. 前記撮像素子は、前記複数の瞳分割画像を複数の露出量において撮像するものであり、
    前記撮像素子における撮像領域の複数の領域ごとに、前記複数の露出量において前記撮像素子で撮像された複数の瞳分割画像間で動きベクトルを算出する動きベクトル算出手段を更に有することを特徴とする請求項1に記載の画像処理装置。
  6. 前記複数の瞳分割画像は、少なくとも、前記撮像素子における第1の画素から得られた第1の瞳分割画像と、前記撮像素子における第2の画素から得られた第2の瞳分割画像とを含み、
    前記撮像素子における撮像領域は、少なくとも、第1の領域と第2の領域とを含む複数の領域に区分されており、
    前記撮像素子は、少なくとも、第1の露出量と当該第1の露出量よりも露出量が少ない第2の露出量を含む複数の露出量において前記撮像を行い、
    前記動きベクトル算出手段は、前記第1の領域については、前記第1の露出量および前記第2の露出量において前記撮像された、前記第1の瞳分割画像ではない他の瞳分割画像間で前記動きベクトルを算出し、前記第2の領域については、前記第1の露出量および前記第2の露出量において前記撮像された、前記第2の瞳分割画像ではない他の瞳分割画像間で前記動きベクトルを算出することを特徴とする請求項5に記載の画像処理装置。
  7. 少なくとも、前記第1の露出量において前記撮像素子で撮像された複数の瞳分割画像を加算して第1の加算画像を生成するとともに、前記第2の露出量において前記撮像素子で撮像された複数の瞳分割画像を加算して第2の加算画像を生成する画像加算手段と、
    少なくとも、前記動きベクトルを用いて前記第1の加算画像を動き補償して動き補償画像を生成する動き補償手段と、
    少なくとも、前記第2の加算画像と前記動き補償画像とを合成して合成画像を生成する画像合成手段と
    を更に有することを特徴とする請求項6に記載の画像処理装置。
  8. 前記第1の瞳分割画像は、前記第1の領域では前記第2の瞳分割画像よりも前記瞳のケラレ量が小さく、前記第2の瞳分割画像は、前記第2の領域では前記第1の瞳分割画像よりも前記瞳のケラレ量が小さいことを特徴とする請求項2、4、6、7の何れか1項に記載の画像処理装置。
  9. 前記画像合成手段は、被写体の明るさが所定の閾値よりも暗い場合については、露出量の多い方の入力画像を選択して出力し、被写体の明るさが所定の閾値よりも明るい場合については、露出量の少ない方の入力画像を選択して出力することを特徴とする請求項4又は7に記載の画像処理装置。
  10. 撮像光学系の異なる瞳領域を通過した光束から得られる複数の瞳分割画像を撮像する撮像素子を備える画像処理装置の制御方法であって、
    前記撮像素子における撮像領域の位置に応じて、前記複数の瞳分割画像からHDR合成処理に用いる画像を選択する選択工程を有することを特徴とする画像処理装置の制御方法。
  11. 撮像光学系の異なる瞳領域を通過した光束から得られる複数の瞳分割画像を撮像する撮像素子を備える画像処理装置の制御方法をコンピュータに実行させるためのプログラムであって、
    前記撮像素子における撮像領域の位置に応じて、前記複数の瞳分割画像からHDR合成処理に用いる画像を選択する選択工程をコンピュータに実行させるためのプログラム。
JP2014064116A 2014-03-26 2014-03-26 画像処理装置及びその制御方法、並びに、プログラム Active JP6312487B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014064116A JP6312487B2 (ja) 2014-03-26 2014-03-26 画像処理装置及びその制御方法、並びに、プログラム
US14/662,781 US9699387B2 (en) 2014-03-26 2015-03-19 Image processing device for processing pupil-divided images obtained through different pupil regions of an imaging optical system, control method thereof, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014064116A JP6312487B2 (ja) 2014-03-26 2014-03-26 画像処理装置及びその制御方法、並びに、プログラム

Publications (2)

Publication Number Publication Date
JP2015186247A JP2015186247A (ja) 2015-10-22
JP6312487B2 true JP6312487B2 (ja) 2018-04-18

Family

ID=54192162

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014064116A Active JP6312487B2 (ja) 2014-03-26 2014-03-26 画像処理装置及びその制御方法、並びに、プログラム

Country Status (2)

Country Link
US (1) US9699387B2 (ja)
JP (1) JP6312487B2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6071257B2 (ja) * 2012-06-07 2017-02-01 キヤノン株式会社 画像処理装置及びその制御方法、並びにプログラム
JP6587380B2 (ja) * 2014-09-12 2019-10-09 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体
JP6585890B2 (ja) * 2014-09-30 2019-10-02 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム、並びに撮像装置
EP3096512B1 (en) * 2015-05-18 2017-03-22 Axis AB Method and camera for producing an image stabilized video
JP6652294B2 (ja) * 2015-10-29 2020-02-19 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
JP6748454B2 (ja) * 2016-03-10 2020-09-02 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP6873688B2 (ja) * 2016-12-27 2021-05-19 キヤノン株式会社 画像処理装置および画像処理方法、撮像装置、プログラム
JP2018107664A (ja) * 2016-12-27 2018-07-05 キヤノン株式会社 画像処理装置および画像処理方法、撮像装置、プログラム
US10706512B2 (en) * 2017-03-07 2020-07-07 Adobe Inc. Preserving color in image brightness adjustment for exposure fusion
CN108053444B (zh) * 2018-01-02 2021-03-12 京东方科技集团股份有限公司 瞳孔定位方法及装置、设备和存储介质
EP3820138A1 (en) * 2019-11-06 2021-05-12 Koninklijke Philips N.V. A system for performing image motion compensation

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002199284A (ja) 2000-12-25 2002-07-12 Canon Inc 撮像素子
JP4544334B2 (ja) 2008-04-15 2010-09-15 ソニー株式会社 画像処理装置および画像処理方法
JP2011059337A (ja) * 2009-09-09 2011-03-24 Fujifilm Corp 撮像装置
JP5825817B2 (ja) * 2011-04-01 2015-12-02 キヤノン株式会社 固体撮像素子及び撮像装置
JP5898481B2 (ja) 2011-12-13 2016-04-06 キヤノン株式会社 撮像装置及び焦点検出方法
US20130162625A1 (en) * 2011-12-23 2013-06-27 Michael L. Schmit Displayed Image Improvement
JP6053347B2 (ja) * 2012-06-25 2016-12-27 キヤノン株式会社 撮像装置およびその制御方法ならびにプログラム
KR102039464B1 (ko) * 2013-05-21 2019-11-01 삼성전자주식회사 전자 센서와, 그의 제어 방법

Also Published As

Publication number Publication date
US20150281540A1 (en) 2015-10-01
JP2015186247A (ja) 2015-10-22
US9699387B2 (en) 2017-07-04

Similar Documents

Publication Publication Date Title
JP6312487B2 (ja) 画像処理装置及びその制御方法、並びに、プログラム
JP5767485B2 (ja) 画像処理装置及び制御方法
US9838625B2 (en) Image processing apparatus and control method for image processing apparatus for controlling correction of a black level in a combined image signal
US10397473B2 (en) Image processing apparatus having an image synthesis unit that generates synthesized image data depending on an object brightness, and related image-pickup apparatus
KR20110032344A (ko) 고대비 영상 생성 장치 및 방법
US11838649B2 (en) Image capturing device and control method thereof and medium
JP2015144475A (ja) 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体
JP5713643B2 (ja) 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体
JP6305290B2 (ja) 画像処理装置、撮像装置、画像処理方法
JP7479831B2 (ja) 撮像装置およびその制御方法、プログラム
US11431924B2 (en) Image capturing apparatus and control method thereof
JP6449320B2 (ja) 撮像装置
JP2009022044A (ja) 画像処理装置及び画像処理プログラム
JP6990988B2 (ja) 撮像装置及び撮像素子の制御方法
JP2017068513A (ja) 画像処理装置及びその方法、プログラム、記憶媒体
JP2015037222A (ja) 画像処理装置、撮像装置、制御方法、及びプログラム
JP5721552B2 (ja) 撮像装置および画像合成方法
JP5631153B2 (ja) 画像処理装置、制御方法、及びプログラム
US20240354900A1 (en) Image processing apparatus and method, and image capturing apparatus
JP2023090494A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2013115547A (ja) 撮像装置及びその制御方法
JP2018110298A (ja) 画像処理装置および画像処理方法
JP2018151422A (ja) 焦点検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170317

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180320

R151 Written notification of patent or utility model registration

Ref document number: 6312487

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151