Nothing Special   »   [go: up one dir, main page]

JP6218389B2 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP6218389B2
JP6218389B2 JP2013022309A JP2013022309A JP6218389B2 JP 6218389 B2 JP6218389 B2 JP 6218389B2 JP 2013022309 A JP2013022309 A JP 2013022309A JP 2013022309 A JP2013022309 A JP 2013022309A JP 6218389 B2 JP6218389 B2 JP 6218389B2
Authority
JP
Japan
Prior art keywords
image
area
region
exposure
gain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013022309A
Other languages
English (en)
Other versions
JP2014155001A (ja
Inventor
彰太 山口
彰太 山口
木村 直人
直人 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013022309A priority Critical patent/JP6218389B2/ja
Priority to US14/168,646 priority patent/US20140218559A1/en
Publication of JP2014155001A publication Critical patent/JP2014155001A/ja
Application granted granted Critical
Publication of JP6218389B2 publication Critical patent/JP6218389B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

本発明は画像処理装置及び画像処理方法に関し、特に、画像内のオブジェクト領域毎に最適なトーンマッピング処理を行うことにより、見た目に近い画像を得る画像処理技術に関する。
従来から、センサ(固体撮像素子)により被写体を撮影する撮像装置により撮影される画像の一部に、被写体に対するセンサのダイナミックレンジが不足していることにより、白とびや黒潰れが生じることが問題となっている。例えば、屋外の逆光シーンで人物を主要被写体として撮影する場合に、人物に対する空の輝度が非常に大きいと、人物を適正とする露出条件では空は全体的に白とびし、撮影者の見た目とは大きく異なる画像が出力されてしまう。
この問題に対して、ダイナミックレンジの広い画像を得る技術として、入力画像を適正露出よりも露光量の低い条件で撮像し、出力時に適正露出相当となるように階調圧縮を行う技術が提案されている。この技術によれば、アンダー露出で撮像することにより高輝度領域の飽和が抑制できるため、従来よりも階調が豊かな画像を得ることが可能となる。
しかしながら、この従来技術は、アンダー露出の画像を適正相当に出力するような特性を持つ階調変換を画像全体に対して行う。図25は、この従来技術に係る、アンダー露出の画像を適正露出相当に出力する階調変換特性の例を示す図である。図25に示す階調変換を行った場合、特に高輝度側に割り当てられる出力の階調が足りず、出力される画像が眠くなってしまう(概ね、コントラストが低く、明るい部分と暗い部分との差が小さい画像となる)という問題がある。従って、撮影者の見た目とは異なる画像が出力されるという課題は解決されない。
上記課題に対し、主被写体が適正な露出でない場合に、画像を主被写体領域とそれ以外の領域である背景領域に分割し、主被写体領域と背景領域のそれぞれに対して適切な輝度となるように露出を制御して撮影した2枚の画像を重み付け合成する技術が提案されている(特許文献1参照)。また、画像を所定のブロックに分割し、各ブロックに適した階調変換特性から画素補正量をそれぞれ算出し、各画素から各ブロックの中心までの距離で画素補正量を重み付けして出力信号を得る技術が提案されている(特許文献2参照)。
特開2008−048251号公報 特開2008−085634号公報
しかしながら、上記特許文献1に記載された技術では、画像を主被写体領域と背景領域に分けている。そのため、背景領域に空や草木、人工物等の固有の輝度レンジを持った種々の被写体が混在している場合に、これらの被写体を一括の階調変換特性で処理してしまうと、従来のような眠い画像が生成されるという問題がある。
また、上記特許文献2に記載された技術では、画像をブロック分割して階調変換特性をそれぞれ算出し、ブロック毎の距離により重み付けをして画素値を求めている。しかし、この方法では、画角内に存在する人物や空等の各オブジェクトに対し、単純なブロック分割では適切な階調制御が難しい。また、距離による補正量の重み付けを行っているため、出力される合成画像が見た目から離れてしまう可能性がある。
本発明は、画像内に存在する種々のオブジェクト毎に最適な階調処理を施すことにより、人間の見た目に近い自然な広ダイナミックレンジ画像を得ることを目的とする。
本発明に係る画像処理装置は、画像を入力する画像入力手段と、前記画像入力手段により入力された入力画像を複数の被写体領域に分割する画像分割手段と、前記複数の被写体領域のうちで主要被写体に対応する領域を基準領域として設定し、前記基準領域の輝度値に基づいて基準露出を算出するとともに、前記基準領域以外の前記複数の被写体領域のそれぞれについて前記基準領域との輝度値の差分に基づいてゲインを算出するゲイン算出手段と、前記基準露出で基準画像を取得する画像取得手段と、前記基準画像に含まれる前記複数の被写体領域のそれぞれに前記ゲイン算出手段により算出された対応する前記ゲインを乗じる乗算手段と、を備え、前記乗算手段によって処理された画像を出力画像とすることを特徴とする。
本発明によれば、より人間の見た目に近い、自然な広ダイナミックレンジ画像を得ることができる。
本実施形態における撮影シーンを模式的に示す図である。 本発明の第1実施形態に係る画像処理装置の概略構成を示すブロック図である。 図2の画像処理装置が有する領域別輝度算出部が実行する処理のフローチャートである。 図2の画像処理装置が有する領域別輝度算出部の動作を模式的に示す図である。 図3のステップS303〜S305における判定方法を模式的に示す図である。 図2の画像処理装置が有する主要被写体領域決定部が実行する処理のフローチャートである。 図6のステップS603における評価値算出処理を模式的に示す図である。 図2の画像処理装置が備える領域別露出算出部が実行する処理のフローチャートである。 図8に示す各ステップでのBv値算出の一例を模式的に示す図である。 図2の画像処理装置が有する信号処理部の動作を模式的に示す図である。 図2の画像処理装置が有する画像合成部の動作を模式的に示す図である。 本発明の第2実施形態に係る画像処理装置の概略構成を示すブロック図である。 図12の画像処理装置が有する基準露出・領域別ゲイン算出部が実行する処理のフローチャートである。 図13のステップS1303において基準領域を決定する処理のフローチャートである。 図14の基準領域を決定する処理に用いられる階調優先方法の処理内容を模式的に示す図である。 図14の基準領域を決定する処理に用いられるノイズ優先方法の処理内容を模式的に示す図である。 図13のステップS1306における基準露出と領域別ゲインの算出例を模式的に示す図である。 図12の画像処理装置が有するゲイン処理部の動作を模式的に示す図である。 オクルージョン領域の発生を模式的に示す図である。 本発明の第3実施形態に係る画像処理装置の概略構成を示すブロック図である。 図20の画像処理装置が有する人物移動量算出部が実行する処理のフローチャートである。 図20の画像処理装置が有する人物移動量算出部が実行する人物移動量算出処理を模式的に示す図である。 図20の画像処理装置が有する画像生成処理判定部が実行する処理のフローチャートである。 図23のステップS2303における画像生成処理の決定方法を模式的に示す図である。 従来のアンダー露出の画像を適正露出相当に出力する階調変換特性の例を示す図である。
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。
<第1実施形態>
図1は、本実施形態における撮影シーンを模式的に示す図である。本実施形態では、図1(a)に示すように、逆光の下で人物を撮影するシーンを想定する。そして、図1(b)〜(d)に示すように、画像を空領域(b)、背景領域(c)、人物領域(d)の3領域に分割して、各領域に適切な露出を算出し、出力される合成画像において各領域に適切な露出が得られるように処理を行う。なお、通常、図1(a)に示すような逆光シーンでは、空に対して人物及び背景が極端に暗いため、人物と背景はアンダー露出で撮影される。
図2は、第1実施形態に係る画像処理装置の概略構成を示すブロック図である。この画像処理装置は、露出決定部201、領域別露出画像撮像部207、信号処理部208、位置ズレ検出部209、画像位置合わせ部210、画像合成部211、画像表示部212及び画像記憶部213を有する。
露出決定部201は、図1(b)〜(d)の3領域(空領域、背景領域、人物領域)のそれぞれに対して適切な露出を決定する。露出決定部201は、露出算出画像撮像部202、露出算出用画像分割部203、領域別輝度算出部204、主要被写体領域決定部205及び領域別露出算出部206を有する。
露出算出画像撮像部202は、露出を決定する際に用いる画像を撮像し、取得する。以下の説明では、露出算出画像撮像部202が露出を決定する際に用いる画像をAE用画像と称呼する。AE用画像の露出条件は、領域別輝度算出部204の出力する露出条件に従って決定される。但し、初期状態では、領域別輝度算出部204の出力は存在しないため、デフォルトの露出条件により撮像を行う。なお、デフォルトの露出条件は特に限定されないが、例えば、画像内の輝度平均値を算出し、算出した輝度平均値が所定の輝度値になるような露出条件等が挙げられる。
露出算出用画像分割部203は、AE用画像を、空領域、背景領域及び人物領域の3領域に分割する。ここで、分割の方法は特に問わないものとする。画像を所定領域に分割する技術の例としては、画像の特徴量と評価値を求めて、所定の領域に分割する技術がある。また、特開2006−039666号公報に記載されているように、ニューラルネットワークを用いた画像分割の技術がある。
領域別輝度算出部204は、露出算出用画像分割部203により領域分割されたAE画像を用いて、各領域の輝度を算出する。また、領域別輝度算出部204は、各領域の輝度値を検出し、AE用画像の露出が輝度算出に適する露出ではないと判断した場合には、露出算出画像撮像部202に新たなAE用画像の露出値を出力し、これにより露出算出画像撮像部202は再撮像を行う。
図3は、領域別輝度算出部204が実行する処理のフローチャートである。図4は、領域別輝度算出部204の動作を模式的に示す図である。先ず、領域別輝度算出部204は、ステップS301において、着目領域を設定する。本実施形態では、画像を空領域、背景領域及び人物領域の3領域に分割しているが、着目する領域の順序は問わない。次に、領域別輝度算出部204は、ステップS302において、着目領域の抽出結果を読み込む。その際、図4に示すように、抽出結果のうち、特に、人物領域の抽出結果は人物の顔領域のみとする。また、抽出画像のフォーマットは、該当領域である部分を「1」、該当領域以外の部分を「0」とした画像である。例えば、空抽出画像では、空の部分が「1」となり、それ以外の部分は「0」となる。また、人物領域の場合には、人物の顔部分のみが「1」となり、人物の首から下の部分及び空領域と背景領域が「0」となる。
次に、領域別輝度算出部204は、ステップS303〜S305において、現在処理しているAE画像が輝度算出に適する画像か否かを判定する。図5は、ステップS303〜S305における判定方法を模式的に示す図である。領域別輝度算出部204は、ステップS303において、着目領域の輝度ヒストグラムを生成する。次に、領域別輝度算出部204は、ステップS304,S305において、生成した輝度ヒストグラムの分布が低輝度領域又は高輝度領域に偏っているかを判定する。
この判定では、図5に示すように、低輝度領域の区間を0≦Y≦Y1、高輝度領域の区間をY2≦Y≦Y_MAXと定義し、先ず、各領域に含まれる画素数NLOW、NHIをそれぞれ、下記式(1)、式(2)により算出する。
次に、算出したNLOW,NHIがそれぞれ、所定の閾値N1,N2以上であるかを判定する。NLOW≧N1の場合(S304でYES)、領域別輝度算出部204は、画像の輝度分布が低輝度領域に偏っており、AE用画像として適切でないと判定し(図5(b))、処理をステップS310へ進める。一方、NLOW<N1の場合(S304でNO)、領域別輝度算出部204は、処理をステップS305へ進める。NHI≧N2の場合(S305でYES)は、領域別輝度算出部204は、高輝度領域に偏っており、AE用画像として適切でないと判定し(図5(c))、処理をステップS311へ進める。NHI<N2の場合(S305でNO)は、領域別輝度算出部204は、AE用画像として適切であると判定し(図5(a))、処理をステップS306へ進める。
次に、ステップS306において、領域別輝度算出部204は、着目領域の重みをセットする。ここで、「重み」とは、画像内の各画素に対して、「0」から「1」の重みを割り当てた画像であるとする。本実施形態では、図4の「重み画像2」に示すように、空領域及び人物領域に対する重みは、全画素に対して同じ値がセットされ、背景領域に対する重みは、中央部の重みを「1」とし、中央からの距離に応じて値が減衰する特性を持つものとする。
続いて、ステップS307において、領域別輝度算出部204は、加重平均により着目領域の輝度値Yareaを算出する。ステップS307で用いる加重平均の式は、着目領域の抽出画像の座標(i,j)に対する画素値をw1(i,j)、各重み画像の座標(i,j)に対する画素値をw2(i,j)とすると、下記式(3)で表される。
式(3)において、Y(i,j)は、座標(i,j)に対する入力輝度値である。以下、図4に示されるように、ステップS307により得られる空領域、背景領域及び人物領域の各着目領域に対して算出した輝度値Yareaをそれぞれ、Y_SKY、Y_BACK及びY_HUMANとする。
次に、ステップS308において、領域別輝度算出部204は、全領域の輝度を算出したか否かを確認する。全領域の輝度を算出していない場合(S308でNO)、領域別輝度算出部204は、処理をステップS309へ進め、そこで着目領域を更新した後、処理をステップS302へ戻す。一方、全領域の輝度を算出した場合(S308でYES)、領域別輝度算出部204は、処理を終了する。
さて、ステップS304にてAE用画像として適切でないと判定された場合の処理であるステップS310において、領域別輝度算出部204は、AE用画像の撮影回数が所定回数以上であるかを確認する。領域別輝度算出部204は、撮影回数が所定回数以上である場合(S310でYES)、処理をステップS312へ進め、撮影回数が所定回数以上でない場合(S310でNO)、処理をステップS313へ進める。ステップS313において、領域別輝度算出部204は、現在のAE用画像が適正値よりもアンダー露出であると判断し、現在の撮影露出から所定の輝度段差だけオーバー露出で撮影するように露出算出画像撮像部202にフィードバックするという結果を出力し、その後、本処理を終了させる(ステップS313)。
また、ステップS305にてAE用画像として適切でないと判定された場合の処理であるステップS311において、領域別輝度算出部204は、AE用画像の撮影回数が所定回数以上であるかを確認する。領域別輝度算出部204は、撮影回数が所定回数以上である場合(S311でYES)、処理をステップS312へ進め、撮影回数が所定回数以上でない場合(S311でNO)、処理をステップS314へ進める。ステップS314において、領域別輝度算出部204は、現在のAE用画像が適正値よりもオーバー露出であると判断し、現在の撮影露出から所定の輝度段差だけアンダー露出で撮影するように露出算出画像撮像部202にフィードバックするという結果を出力し、その後、本処理を終了させる。
ステップS312において、領域別輝度算出部204は、例外処理を行うという結果を出力し、その後、本処理を終了させる。ここで、例外処理を行うという判定がなされた場合には、以降の処理は行われず、ストロボ撮影が行われる。
以上が領域別輝度算出部204の処理内容であり、領域別輝度算出部204の出力として、空領域、背景領域及び人物領域の各領域における輝度値Y_SKY、Y_BACK及びY_HUMAN、又は、露出算出画像撮像部202において再撮像を行う際の露出条件が生成される。
領域別輝度算出部204において各領域の輝度値が算出されると、主要被写体領域決定部205が、分割した空領域、背景領域及び人物領域の中から主要被写体領域を選択する。図6は、主要被写体領域決定部205が実行する処理のフローチャートである。
主要被写体領域決定部205は、先ず、ステップS601において、着目領域を設定し、ステップS602において、ステップS601で設定した着目領域の抽出結果を読み込む。ステップS601,S602の処理は、図3を参照して説明したステップS301,S302と略同一であるが、人物の抽出結果については、図3とは異なり、人物全体の抽出結果とする。
次に、主要被写体領域決定部205は、ステップS603において、着目領域の評価値を算出する。図7は、ステップS603での評価値算出処理を模式的に示す図である。図7に示すように、評価値VALは、着目領域の面積Sに所定の係数kを乗じた値であり、下記式(4)で表される。
ここで、w1(i,j)は、上記式(3)におけるw1(i,j)と同様に、抽出画像の座標(i,j)における画素値を表す。抽出画像は、座標(i,j)が該当領域ではw1(i,j)=1、該当領域以外ではw1(i,j)=0であるため、画像全域にわたって積分することにより、着目領域の面積を算出することができる。また、所定の係数kは、領域の面積に依らず、該当領域を重視するか否かを示す値であり、図7に示すように、各領域に対して固有の値を持つものとする。なお、所定の係数kは、デフォルトで固定値を設定していてもよいし、所定のシーンに応じて変化させてもよい。
次に、主要被写体領域決定部205は、ステップS604において、全ての領域の評価値を算出したか否かの確認を行う。評価値を未算出の領域がある場合(S604でNO)、主要被写体領域決定部205は、ステップS605において着目領域を更新した後、処理をステップS602へ戻す。一方、全ての領域の評価値を算出し終わった場合(S604でYES)、主要被写体領域決定部205は、ステップS606において、空領域、背景領域及び人物領域のうち、評価値(VAL_SKY、VAL_BACK、VAL_HUMAN)の最も大きい領域を主要被写体領域とする。
以上が主要被写体領域決定部205の処理内容であり、主要被写体領域決定部205からの出力として、空領域、背景領域及び人物領域に分割されたこれらの領域の中から主要被写体領域が決定される。
本実施形態では、分割された領域毎に露出を変化させて、1枚の合成画像を生成する。ここで、分割された領域毎に設定される露出は、各領域に対する適正露出とは異なる。この理由は、各領域を適正露出で撮影した場合、後述の合成処理(各領域に適した露出で撮影されている画像を切り替えて出力)で得られる画像において分割された領域間の輝度の連続性が失われ、嵌め込み合成画像のような不自然な画像となってしまうからである。
従って、領域毎に設定される露出は、各領域の明るさを算出した後、主要被写体領域とそれ以外の着目領域との明るさの関係を考慮して求める必要があり、以降、このような露出を各領域に対する「適切な露出」と称呼する。
領域別露出算出部206は、着目領域毎に適切な露出を算出する。図8は、領域別露出算出部206が実行する露出算出処理のフローチャートである。図9は、図8に示す各ステップでのBv値算出の一例を模式的に示す図である。
先ず、図8に不図示であるが、領域別露出算出部206は、各領域の明るさをBv値で求める。ここで、「Bv値」とは、露出制御の際に被写体の明るさを表す数値であり、Bv値が1だけ増加すると明るさは2倍となるように、明るさに対して対数的な特性を持つ。
領域別露出算出部206は、ステップS801において、領域別輝度算出部204で算出した各領域の輝度値Y_SKY、Y_BACK及びY_HUMANと、予め設定された適正露出相当における各領域の目標輝度値Y_TARGET_SKY、Y_TARGET_BACK及びY_TARHET_HUMANとから、各領域に対する補正Bv値を算出する。
なお、本実施形態において「補正Bv値」という名称を用いるのは以下の理由による。即ち、領域別輝度は領域別輝度算出部204によりAE用画像から算出されたものであり、領域別輝度を目標輝度値にするように露出条件を制御する際には、そのAE用画像の露出条件からの補正量を計算するからである。
また、AE用画像の露出条件と、AE用画像の露出条件において適正に撮影されるBv値とは1対1で対応しており、絞り値、シャッタ速度、撮影感度の露出条件が定まれば、AE用画像の露出条件で適正露出となるBv値は一意に決定する。そして、Bv値に対する適切な露出条件の制御方法は、本実施形態では撮像装置において予め設定されており、特定のBv値を持った被写体を適正露出相当で撮影する露出条件も一意に決定されるものとする。ここで、予め設定された撮像条件の特徴としては、Bv値に応じて、シャッタ速度と感度のみで露出条件を制御するものとする。この理由は、絞り値を変更して複数枚撮影を行うと、撮影画像間でボケ味が変化し或いは像倍率が変わる等の現象が生じ、合成画像の画質劣化を起こす可能性があるので、これを回避するためである。
空領域、背景領域及び人物領域のそれぞれの補正Bv値を、ΔBv_SKY、ΔBv_BACK及びΔBv_HUMANとすると、これらは、上記の定義により図9に示すように、下記式(5)〜(7)から算出することができる。
ここで、ΔBv_SKYとΔBv_BACKは、図9に示すように、AE用画像の露出条件が示すBv値(Bv_CAPTURE)からの補正量である。従って、ステップS802において、領域別露出算出部206は、各領域の明るさBv_SKY、Bv_BACK及びBv_HUMANを下記式(8)〜(10)から算出することができる。
続いて、前述した合成画像における不自然さに対する対策として、ステップS803において、領域別露出算出部206は、ステップS802において算出されたBv_SKY、Bv_BACK及びBv_HUMANに対して下記式(11)〜(14)による処理を行う。
ここで、Bv_MAINは、主要被写体領域のBv値である。そして、Bv_SKY_OUT、Bv_BACK_OUT及びBv_HUMAN_OUTをそれぞれ、空領域、背景領域及び人物領域の「出力Bv値」と称呼する。
本実施形態では、主要被写体領域は背景領域であると仮定する。よって、上記式は、主要被写体領域のBv値を基準として、他の領域(空領域及び人物領域)のBv値をBv_MAINの値に近づける制御を行っていることを意味する。
次に、領域別露出算出部206は、ステップS804において、各領域の出力Bv値から各領域の露出条件を決定する。ステップS804で決定される露出条件は、前述の通り、絞り値、シャッタ速度及び撮影感度で定められ、且つ、前述の予め設定された制御方法により出力Bv値から決定されるものとする。
以上が領域別露出算出部206の処理内容であり、領域別露出算出部206の出力として、各領域に対して適切な露出条件が算出され、決定された露出条件が露出決定部201の出力となる。
領域別露出画像撮像部207は、領域別露出算出部206により決定された露出条件により撮像動作を行う。本実施形態では、空、背景及び人物に適切な露出で、計3枚の画像を撮像する。以下、これら3枚の画像をそれぞれ、「空露出画像」、「背景露出画像」、「人物露出画像」と称呼することとし、これらを総称して「領域別露出画像」と称呼する。
信号処理部208は、領域別露出画像撮像部207において撮像された、空露出画像、背景露出画像、人物露出画像に対して所定の信号処理を行う。図10は、信号処理部208の動作を模式的に示す図である。図10に示すように、信号処理部208が行う信号処理は2通りあり、以下、各信号処理を「信号処理1」、「信号処理2」と称呼する。
信号処理1は、位置ズレ検出の入力画像を生成する処理である。入力される各領域の露出画像は、当然ながら、輝度レベルが異なっている。しかし、後述の位置ズレ検出処理においては、入力画像の輝度レベルが揃っていることが望ましいため、信号処理1では、入力画像の輝度レベルをゲインで合わせる処理を行う。また、信号処理1では、所定の階調変換処理やノイズリダクション処理等も実施される。
以下、図10に示すように、信号処理1で処理された画像をそれぞれ、「位置ズレ検出用空画像」、「位置ズレ検出用背景画像」、「位置ズレ検出用人物画像」と称呼し、総称して「位置ズレ検出用画像」と称呼する。この位置ズレ検出用画像は、位置ズレ検出部209へ出力される。なお、本件では、空露出画像、背景露出画像、人物露出画像のどの露出の画像に対して輝度レベルを合わせるかについては、特に限定されない。
信号処理2は、合成用の画像を生成する処理である。従って、信号処理1のような輝度レベルを合わせる処理は行わず、所定の階調変換処理やノイズリダクション処理等の信号処理を行って画像を出力する。以下、図10に示すように、信号処理2で処理された画像をそれぞれ、「合成用空画像」、「合成用背景画像」、「合成用人物画像」と称呼し、総称して「合成用画像」と称呼する。この合成用画像は、画像位置合わせ部210へ出力される。
位置ズレ検出部209は、位置ズレ検出用画像間の位置ズレを検出する。領域別露出画像撮像部207により撮像される領域別露出画像間には、手振れによる位置ズレが含まれているため、合成処理を行うにあたって位置ズレの補正処理が必要となり、ここでは、位置ズレを表すパラメータとして射影変換係数を用いることとする。
本実施形態では、位置ズレ検出の手法として、画像を複数のブロックに分割し、分割したブロックから基準画像に対する動きベクトルを算出し、算出した動きベクトル群の情報を用いて、最小二乗法で射影変換係数の推定を行う等の既存の技術を使用する。ここで、「基準画像」とは、主要被写体領域に対する露出で撮像された画像である。本実施形態では、前述の通り、主要被写体領域は背景領域であると仮定しているため、基準画像は位置ズレ検出用背景画像となる。よって、位置ズレ検出部209の出力として、位置ズレ検出用背景画像に対して、位置ズレ検出用空画像の位置ズレパラメータH1と、位置ズレ検出用人物画像の位置ズレパラメータH2が算出される。
画像位置合わせ部210は、合成用画像の位置合わせを行う。画像位置合わせ部210は、具体的には、位置ズレパラメータH1,H2を用いて合成用空画像及び合成用人物画像の変形を行う。この変形処理により、画像位置合わせ部210の出力として、合成用背景画像に対して位置合わせされた合成用空画像と合成用人物画像とが得られる。
画像合成部211は、画像位置合わせ部210において位置合わせされた合成用画像を合成し、1枚の合成画像を生成する。図11は、画像合成部211の動作を模式的に示す図である。画像合成部211へは、位置合わせ済みの合成用画像3枚と3値画像1枚の計4枚の画像が入力される。ここで、「3値画像」とは、空領域、背景領域及び人物領域の各領域に対してそれぞれ、別の値を割り当てた画像である。本実施形態では、空領域に「2」、背景領域に「1」、人物領域に「0」の値を割り当てることとする。また、3値画像は、位置合わせ部210において位置合わせの基準となった画像から生成される。そのため、本実施形態では合成用背景画像から3値画像を生成する。さらに、3値画像を生成するために必要となる領域分割方法は、露出算出用画像分割部203についての説明で述べたように、本実施形態において特に限定されない。
図11に示すように、合成画像は、3値画像の値に基づいて、合成用画像を切り替えて出力される。空領域には合成用空画像を、背景領域には合成用背景画像を、人物領域には合成用人物画像をそれぞれ出力し、合成画像を生成する。
以上が画像合成部211の処理内容であり、画像合成部211の出力として、空領域、背景領域及び人物領域の各領域のそれぞれにおいて適切な露出となっている合成画像が生成される。こうして画像合成部211において生成された合成画像は、画像表示部212及び画像記憶部213に送られる。画像表示部212は合成画像を表示し、画像記憶部213は合成画像の画像データを記憶する。
以上の説明の通り、本実施形態によれば、画像を所定の領域に分割し、各領域間の明るさ(輝度)の関係からそれぞれの領域に適切な露出条件を求め、求めた露出条件で撮像した複数枚の画像を合成して、合成画像を得る。そのため、画像全体を所定の階調変換特性で階調圧縮する従来の方法と比較して、より見た目に近い広ダイナミックレンジ画像を得ることができる。
<第2実施形態>
第1実施形態では、画像を分割した各領域に対して適切となる露出条件を求め、求めた露出条件で複数枚の画像を撮像して合成することにより、所望の合成画像を得た。これに対して、第2実施形態では、複数枚撮像を行わず、1枚の画像から所望の画像を生成する。この所望の画像は、各被写体領域に対して露出条件が異なるものであるので、1枚の画像から同様の画像を生成するために、各被写体領域に対して異なるゲインを乗じる処理を行う。
図12は、第2実施形態に係る画像処理装置の概略構成を示すブロック図である。この画像処理装置は、基準露出・ゲイン決定部1201、基準露出画像撮像部1206、ゲイン処理部1207、信号処理部1208、画像表示部1209及び画像記憶部1210を有する。そして、基準露出・ゲイン決定部1201は、露出算出画像撮像部1202、露出算出用画像分割部1203、領域別輝度算出部1204及び基準露出・領域別ゲイン算出部1205を有する。
基準露出・ゲイン決定部1201における、露出算出画像撮像部1202、露出算出用画像分割部1203及び領域別輝度算出部1204の処理は、第1実施形態の露出決定部201における露出算出画像撮像部202、露出算出用画像分割部203及び領域別輝度算出部204の処理と同じである。よって、ここでは、基準露出・領域別ゲイン算出部1205による処理以降の処理について説明することとする。
図13は、基準露出・領域別ゲイン算出部1205が実行する処理のフローチャートである。ステップS1301〜S1302の処理は、図8のステップS801〜S802の処理と同じであるため、その説明を省略し、ステップS1303以降の処理について以下に説明する。
基準露出・領域別ゲイン算出部1205は、ステップS1303において、基準領域を決定する。「基準領域」とは、撮像する1枚の画像の露出条件を決定するための基準となる領域である。図14は、ステップS1303において基準領域を決定する処理のフローチャートである。基準領域を決定する方法としては、本実施形態、(α)面積優先方法、(β)階調優先方法、(γ)ノイズ優先方法を用いることができる。
まず、基準露出・領域別ゲイン算出部1205は、ステップS1401において、決定方法が面積優先方法であるか否かを判定する。「面積優先方法」とは、第1実施形態における主要被写体領域決定部205の処理と同じく、各領域の面積に所定の係数を乗じた値を評価値とし、求めた評価値から主要被写体領域を決定し、決定した主要被写体領域を基準領域とする方法である。従って、決定方法が面積優先方法の場合(S1401でYES)、基準露出・領域別ゲイン算出部1205は、ステップS1402において、主要被写体領域決定部205と同じ処理を行い、主要被写体領域を決定する。その後、基準露出・領域別ゲイン算出部1205は、ステップS1403において、ステップS1402で決定した主要被写体領域を基準領域とし、本処理を抜ける。
決定方法が面積優先方法ではない場合(S1401でNO)、基準露出・領域別ゲイン算出部1205は、ステップS1404において、決定方法が階調優先方法であるか否かを判定する。図15は、階調優先方法の処理内容を模式的に示す図である。階調優先方法では、適正Bv値の最も高い領域を基準領域とする。図15の例では、基準領域は空領域となる。この場合、空領域が白とびを起こさないように撮影を行った場合には、背景領域と人物領域は、適切な明るさよりもアンダー露出で撮影されることが多い。従って、背景領域と人物領域に適切なゲインを乗じることによって、背景領域と人物領域を所望の輝度レベルに制御することができ、階調が保持されるという利点がある。よって、階調優先方法である場合(S1404でYES)、基準露出・領域別ゲイン算出部1205は、ステップS1405において、適正Bv値が最も大きい領域を基準領域とする。
決定方法が階調優先方法でない場合(S1404でNO)、ノイズ優先方法が用いられることとなる。「ノイズ優先方法」とは、画像に乗じるゲイン量の上限値を設定し、ゲイン量がこの上限値を上回らないように基準領域を設定する方法である。ここで、ゲイン量の上限値は、センサの分解能及びノイズレベルと画像として許容できるノイズ量との関係から決定される。ゲイン量は、分割された領域間のBv差から算出されるため、ゲイン量の上限が設定されると、Bv差の許容量を算出することができる。以下、Bv差の許容量を「Bv差閾値」と称呼する。
図16は、ノイズ優先方法の処理内容を模式的に示す図である。基準露出・領域別ゲイン算出部1205は、ノイズ優先方法を用いる場合、先ず、ステップS1406において、適正Bv値が最も大きい領域を着目領域とする。図16の例では、最初の着目領域は空領域となる。次に、基準露出・領域別ゲイン算出部1205は、ステップS1407において、適正Bv値が最も小さい領域を目標領域とする。図16の例では、目標領域は人物領域となる。
次に、基準露出・領域別ゲイン算出部1205は、ステップS1408において、着目領域の適正Bv値と目標領域の適正Bv値との差分を求める。この差分は、着目領域を適切に撮影した画像に乗じるゲイン量の最大値に対応する。そこで、基準露出・領域別ゲイン算出部1205は、同ステップ1408において、求めた差分がBv差閾値以上であるか否かを判定する。
基準露出・領域別ゲイン算出部1205は、差分がBv差閾値よりも小さい場合(S1408でNO)、ゲインの最大値がゲイン量の上限よりも小さいと判断し、処理をステップS1409へ進める。ステップS1409において、基準露出・領域別ゲイン算出部1205は、現在の着目領域を基準領域とする。図16(a)の例では、空領域の適正Bv値(Bv_SKY)と、目標領域である人物領域の適正Bv値(Bv_HUMAN)との差がBv差閾値よりも小さいため、空領域が基準領域となる。
一方、差分がBv差閾値以上である場合(S1408でYES)、基準露出・領域別ゲイン算出部1205は、ゲインの最大値がゲイン量の上限よりも大きいと判断し、処理をステップS1410へ進める。ステップS1410において、基準露出・領域別ゲイン算出部1205は、着目領域を変更する。ここで、変更する着目領域は、現在の着目領域の次に適正Bv値が大きい領域とする。図16の例では、空領域の次の着目領域は背景領域となる。
ステップS1410の後、ステップS1411において、基準露出・領域別ゲイン算出部1205は、着目領域が目標領域と等しいか否かを判定する。着目領域が目標領域と等しくない場合(S1411でNO)、処理はステップS1408へ戻され、変更した着目領域と目標領域に対してステップS1408の判定処理が行われる。図16(b)の例では、空領域と人物領域のBv差はBv差閾値以上であるが、背景領域の適正Bv値(Bv_BACK)と目標領域である人物領域の適正Bv値(Bv_HUMAN)との差がBv差閾値よりも小さいため、基準領域は背景領域となる。
一方、着目領域が目標領域と等しくない場合(S1411でYES)、どの領域に対しても目標領域とのBv差がBv差閾値以上であるため、着目領域は最終的に目標領域に行き着く。この場合、基準露出・領域別ゲイン算出部1205は、ステップS1412において、例外処理としてストロボ発光処理を行う。図16(c)の例では、空領域及び背景領域と人物領域とのBv差がいずれもBv差閾値以上であるため、例外処理となる。
なお、例えば、図16(b)の場合において背景領域を基準領域とした場合、背景領域を適切に撮影した画像では、空領域はオーバー露出で撮影される。従って、空領域を適切な輝度に制御するには、ゲインダウンを行う必要がある。しかし、ベイヤーの入力画像にゲインを乗じる場合にゲインダウンを行うと、飽和部の色バランスが崩れ、画像に予期せぬ色がつく現象が生じる。従って、ゲインダウンは行わず、空部分はオーバー露出のまま出力される。この場合、階調優先方法において空を基準領域にした場合と比較すると、階調性は失われることになる。
上述した基準領域を決定するための3つの方法((α)〜(γ))のうちのどの方法を用いるかは、画像処理装置内で予め1つの方法を選択しておいてもよいし、撮影シーンによって適応的に切り替えてもよく、また、ユーザによって選択されるようにしてもよい。
こうして基準領域が決定されると、基準露出・領域別ゲイン算出部1205は、ステップS1304において、各領域の出力Bv値を算出する。本実施形態では、基準領域の適正Bv値をBv_MAINとし、おいて、上記式(12)〜(14)により、各領域の出力Bv値であるBv_SKY_OUT、Bv_BACK_OUT及びBv_HUMAN_OUTを算出する。
次に、基準露出・領域別ゲイン算出部1205は、ステップS1305において、ステップS1304にて算出した出力Bv値の中で、基準領域の出力Bv値を基準Bv値とし、この基準Bv値に対応する露出条件を基準露出とする。本実施形態では、基準領域は背景領域であると仮定する。従って、基準露出は、背景領域の出力Bv値に対応する露出条件となる。
続くステップS1306において、基準露出・領域別ゲイン算出部1205は、各領域に乗じるゲインを算出する。図17は、ステップS1306における基準露出と領域別ゲインの算出例を模式的に示す図である。図17に示すように、基準領域の出力Bv値をBv_STD_OUTとおくと、各領域に乗じるゲイン量GAIN_SKY,GAIN_BACK,GAIN_HUMANは、下記式(15)〜(21)により算出することができる。
なお、上記式(15)〜(18)は、ゲイン量を算出するための中間式であり、ΔBv_SKY_OUT、ΔBv_BACK_OUT及びΔBv_HUMAN_OUTはそれぞれ、基準Bv値と各領域のBv値との差分である。
図17の例では、ΔBv_SKY_OUT<0、ΔBv_BACK_OUT=0、ΔBv_HUMAN_OUT>0の関係が成立するため、GAIN_SKY<1、GAIN_BACK=1、GAIN_HUMAN>1となる。
背景領域の出力Bv値を適正にするような露出で撮像を行うと、背景領域よりもBv値の大きい(背景よりも明るい)空領域は、適切な露出条件よりもオーバー露出で撮像され、背景よりBv値の小さい(背景よりも暗い)人物領域は、適切な露出条件よりもアンダー露出で撮像される。従って、ゲインの定性的な説明として、空領域及び人物領域を適切な明るさに制御するために乗じるゲインとしては、空領域では1未満、人物領域では1以上の値が適当であり、当然ながら、背景領域に乗じるゲインは1倍が適当である。図17に示すように、ゲインが1倍未満となる場合には、ゲインを等倍にする。その理由は前述の通りである。即ち、本実施形態では、空領域のゲインGAIN_SKYは1になる。
以上が基準露出・領域別ゲイン算出部1205の処理内容であり、基準露出・領域別ゲイン算出部1205の出力として、基準露出と、各領域に乗じるゲイン量が決定される。決定された基準露出とゲイン量は、基準露出・ゲイン決定部1201の出力となる。
基準露出画像撮像部1206は、基準露出・ゲイン決定部1201から出力された基準露出で1枚の基準露出画像を撮像する。図18は、ゲイン処理部1207の動作を模式的に示す図である。ゲイン処理部1207への入力は、3領域(空領域、背景領域、人物領域)のゲインと、基準露出画像及び3値画像である。ここで、3値画像は、第1実施形態における3値画像と同じ画像で、人物領域に「0」、背景領域に「1」、空領域に「2」が割り当てられた画像である。
図18に示すように、ゲイン画像は、3値画像の値に基づいて基準露出画像に乗じるゲインの値を切り替えることによって生成される。ゲイン処理部1207は、基準露出画像に対して、空領域にGAIN_SKYを、背景領域にGAIN_BACKを、人物領域にGAIN_HUMANをそれぞれ乗算し、ゲイン画像を生成する。
以上がゲイン処理部1207の処理内容であり、ゲイン処理部1207の出力として、各領域に適切なゲインが乗算されたゲイン画像が生成される。
信号処理部1208は、ゲイン処理部1207から出力されるゲイン画像に対して、所定の階調変換処理やノイズリダクション処理等の信号処理を行う。信号処理部1208において信号処理が行われた画像が、最終的な画像(出力画像)として画像表示部1209と画像記憶部1210に送られる。画像表示部1209は出力画像を表示し、画像記憶部213は出力画像の画像データを記憶する。
以上説明したように、本実施形態によれば、画像を所定の領域に分割し、各領域間の明るさの関係から基準となる露出条件を求め、基準となる露出条件で撮像した画像に対して各領域に適切なゲイン処理を行うことで、最終的な出力画像を得る。従って、画像全体を所定の階調変換特性で階調圧縮する従来の方法と比較して、より見た目に近い広ダイナミックレンジ画像を得ることができる。
<第3実施形態>
第1実施形態では、露出を変えて複数枚の画像を撮影し、得られた複数の画像を合成して所望の合成画像を得た。以下、この方法を「複数枚処理」と称呼する。また、第2実施では、1枚の画像を撮影し、撮影画像に領域毎に異なるゲインを乗じることで所望の画像を得た。以下、この方法を「1枚処理」と称呼する。
複数枚処理と1枚処理には、最終的に得られる画像の画質に与える影響という観点から、それぞれメリットとデメリットがある。複数枚処理については、感度を変えずにシャッタ速度を変化させて露出制御を行うことで、合成画像の各領域間におけるノイズ量を小さく、且つ、均一にすることができる。しかし、特に人物が動いている場合には、背景領域や空領域の一部に人物が出力されてしまう領域(以下「オクルージョン領域」と称呼する)が発生するという問題がある。図19は、オクルージョン領域の発生を模式的に示す図である。一方、1枚処理の場合、オクルージョン領域は発生しない。しかし、1枚処理では領域毎にゲインを変えて処理するため、領域間のノイズの程度が変わってしまうという問題や、ゲインを強く乗じた領域でノイズ量が大きくなって画質が損なわれるという問題がある。
従って、最終的に得られる画像の画質を向上させるためには、これら2種類の処理を適応的に使い分けることが好ましいと考えられる。そこで、第3実施形態では、複数枚処理(第1の画像生成方法)と1枚処理(第2の画像生成方法)とを被写体の状態に応じて使い分ける。本実施形態では、被写体の状態として、ノイズ量に対応するものとして領域間の輝度差を、オクルージョン領域に対応するものとして人物の移動量を考えることとする。
図20は、第3実施形態に係る画像処理装置の概略構成を示すブロック図である。この画像処理装置は、露出算出画像撮像部2001、露出算出用画像分割部2002、領域別輝度算出部2003、人物移動量算出部2004及び画像生成処理判定部2005を備える。また、この画像処理装置は、複数枚処理部2006、1枚処理部2007、画像表示部2008及び画像記憶部2009を備える。
露出算出画像撮像部2001、露出算出用画像分割部2002及び領域別輝度算出部2003での処理は、第1実施形態の露出決定部201における露出算出画像撮像部202、露出算出用画像分割部203及び領域別輝度算出部204での処理と同じである。よって、ここでは、人物移動量算出部2004による処理以降の処理について説明する。
図21は、人物移動量算出部2004が実行する処理のフローチャートである。また、図22は、人物移動量算出部2004が実行する人物移動量算出処理を模式的に示す図である。
先ず、人物移動量算出部2004は、ステップS2101において、人物の顔が存在するか否かを判定する。この判定は、AE用画像及び前画像において顔検出が成功したか否かで判定する。ここで、「前画像」は、図22に示すように、AE用画像を複数回撮影した場合(図3のS313,S314を経由した場合)は、AE用画像が確定する1つ前のタイミングで撮影されたAE用画像となる。また、「前画像」は、AE用画像を1回しか撮影していない場合は、AE用画像を撮影する直前のタイミングでEVF(電子ビューファインダ)表示用として撮影された画像となる。
次に、人物移動量算出部2004は、人物の顔が存在する場合(S2101でYES)、処理をステップS2102へ進め、人物の顔が存在しない場合(S2101でNO)、処理をステップS2103へ進める。ステップS2102において、人物移動量算出部2004は、顔検出の履歴から人物移動量を求める。本実施形態では、顔検出の結果、少なくとも顔領域の開始座標が出力されるとする。図22に示すように、前画像の顔領域の開始座標とAE用画像の顔領域の開始座標の差分を示すベクトルを「MV_FACE」とすると、人物移動量はMV_FACEの大きさで算出される。
一方、ステップS2103において、人物移動量算出部2004は、人物移動量に「0」をセットする。なお、人物の顔が複数個検出された場合には、主要人物と思われる顔を判定し、こうして判定された顔情報を用いて人物移動量の算出を行う。
以上が人物移動量算出部2004の処理内容であり、人物移動量算出部2004から人物移動量の値が出力される。
図23は、画像生成処理判定部2005が実行する処理のフローチャートである。画像生成処理判定部2005は、先ず、ステップS2301〜S2302において、各領域の適正Bv値を算出する。この処理は、第1実施形態で説明したステップS801〜S802の処理と同じであるため、ここでの説明を省略する。
次に、画像生成処理判定部2005は、ステップS2303において、画像生成処理の決定を行う。ここで、「画像生成処理の決定」とは、複数枚処理又は1枚処理のいずれを用いるかを決定することである。
図24は、画像生成処理の決定方法を模式的に示す図である。画像生成処理の決定には、図24に示すように、人物移動量及び適正Bv値の最大値と最小値の差ΔBvを用いる。例えば、図15の例では、適正Bv値が最大となる領域は空領域であり、最小となる領域は人物領域であるため、ΔBv=Bv_SKY−Bv_HUMANで算出される。
ΔBvが小さいほど画像に乗じるゲイン量が小さくなり、1枚処理においても画質の劣化が小さいと考えられるため、ΔBvが所定の閾値TH_ΔBvよりも小さい場合には、1枚処理を行う。また、複数枚処理のデメリットであるオクルージョン領域については、人物移動量が小さいほど、画質に与える影響は小さくなると考えられる。そのため、ΔBvが所定の閾値TH_ΔBvよりも大きく、人物移動量が所定の閾値TH_MVよりも小さい場合に、複数枚処理を行う。また。ΔBvが所定の閾値TH_ΔBvよりも大きく、人物移動量が所定の閾値TH_MVよりも大きい場合には、第2実施形態において説明したノイズ優先方法を用いて1枚処理を行う。その理由は、1枚処理によってオクルージョン領域の発生を防ぐことができ、さらにノイズ優先方法を用いることによって許容量よりも大きなゲインがかかることを抑制できるからである。
以上が、画像生成処理判定部2005の処理内容であり、画像生成処理判定部2005において、複数枚処理を行うか1枚処理を行うかの決定がなされる。
画像生成処理判定部2005が複数枚処理を行うと判定した場合、複数枚処理部2006が複数枚合成処理を行い、出力画像としての合成画像を生成する。なお、複数枚処理部2006は、第1実施形態に係る画像処理装置の主要被写体領域決定部205から画像合成部211までの処理と同一の処理を行う。一方、画像生成処理判定部2005が1枚処理を行うと判定した場合、1枚処理部2007が1枚処理で出力画像を生成する。なお、1枚処理部2007は、第2実施形態に係る画像処理装置の基準露出・領域別ゲイン算出部1205から信号処理部1208までの処理と同一の処理を行う。
最後に、複数枚処理部2006又は1枚処理部2007において生成された出力画像が、画像表示部2008及び画像記憶部2009に送られる。
以上説明したように、本実施形態によれば、領域毎の基準Bv値の差ΔBvと人物移動量の値とに基づいて複数枚処理を行うか1枚処理を行うかを判定する。従って、複数枚処理と1枚処理のそれぞれのメリットを生かして出力画像を生成することができ、いずれかの処理に固定した場合と比較して、出力画像の画質向上を図ることができる。
<その他の実施形態>
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
本発明は以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
201 露出決定部
202,1202,2001 露出算出画像撮像部
203,1203,2002 露出算出用画像分割部
204,1204,2003 領域別輝度算出部
205 主要被写体領域決定部
206 領域別露出算出部
207 領域別露出画像撮像
208,1208 信号処理部
211 画像合成部
1201 基準露出・ゲイン決定部
1205 基準露出・領域別ゲイン算出部
1206 基準露出画像撮像
1207 ゲイン処理部
2004 人物移動量算出部
2005 画像生成処理判定部
2006 複数枚処理部
2007 1枚処理部

Claims (3)

  1. 像を入力する画像入力手段と、
    前記画像入力手段により入力された入力画像を複数の被写体領域に分割する画像分割手段と、
    前記複数の被写体領域のうちで主要被写体に対応する領域を基準領域として設定し、前記基準領域の輝度値に基づいて基準露出を算出するとともに、前記基準領域以外の前記複数の被写体領域のそれぞれについて前記基準領域との輝度値の差分に基づいてゲインを算出するゲイン算出手段と、
    前記基準露出で基準画像を取得する画像取得手段と、
    前記基準画像に含まれる前記複数の被写体領域のそれぞれに前記ゲイン算出手段により算出された対応する前記ゲインを乗じる乗算手段とを備え、
    前記乗算手段によって処理された画像を出力画像とすることを特徴とする画像処理装置。
  2. 前記画像分割手段は、前記入力画像を、人物領域、背景領域、空領域の3領域に分割することを特徴とする請求項1に記載の画像処理装置。
  3. 画像処理装置による画像処理方法であって
    像を入力する画像入力ステップと、
    前記画像入力ステップにおいて入力された入力画像を複数の被写体領域に分割する画像分割ステップと、
    前記複数の被写体領域のうちで主要被写体に対応する領域を基準領域として設定し、前記基準領域の輝度値に基づいて基準露出を算出するとともに、前記基準領域以外の前記複数の被写体領域のそれぞれについて前記基準領域との輝度値の差分に基づいてゲインを算出するゲイン算出ステップと、
    前記基準露出で基準画像を取得する画像取得ステップと、
    前記基準画像に含まれる前記複数の被写体領域のそれぞれに前記ゲイン算出ステップにより算出された対応する前記ゲインを乗じる乗算ステップとを有し、
    前記乗算ステップによって処理された画像を出力画像とすることを特徴とする画像処理方法。
JP2013022309A 2013-02-07 2013-02-07 画像処理装置及び画像処理方法 Active JP6218389B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013022309A JP6218389B2 (ja) 2013-02-07 2013-02-07 画像処理装置及び画像処理方法
US14/168,646 US20140218559A1 (en) 2013-02-07 2014-01-30 Image pickup apparatus, image processing apparatus, control method for image pickup apparatus, and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013022309A JP6218389B2 (ja) 2013-02-07 2013-02-07 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
JP2014155001A JP2014155001A (ja) 2014-08-25
JP6218389B2 true JP6218389B2 (ja) 2017-10-25

Family

ID=51258934

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013022309A Active JP6218389B2 (ja) 2013-02-07 2013-02-07 画像処理装置及び画像処理方法

Country Status (2)

Country Link
US (1) US20140218559A1 (ja)
JP (1) JP6218389B2 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100843087B1 (ko) * 2006-09-06 2008-07-02 삼성전자주식회사 영상 생성 장치 및 방법
JP6097588B2 (ja) * 2013-02-13 2017-03-15 キヤノン株式会社 画像処理装置及び画像処理方法
JP5889247B2 (ja) * 2013-07-02 2016-03-22 キヤノン株式会社 画像処理装置、画像処理方法及び画像処理プログラム、並びに撮像装置
KR102263537B1 (ko) * 2014-09-30 2021-06-11 삼성전자주식회사 전자 장치와, 그의 제어 방법
US10375317B2 (en) * 2016-07-07 2019-08-06 Qualcomm Incorporated Low complexity auto-exposure control for computer vision and imaging systems
WO2018118597A1 (en) 2016-12-23 2018-06-28 Magic Leap, Inc. Techniques for determining settings for a content capture device
US10158797B2 (en) * 2017-03-31 2018-12-18 Motorola Mobility Llc Combining images when a face is present
EP3389257A1 (en) * 2017-04-13 2018-10-17 Continental Automotive GmbH Method for adapting brightness of image data, image capturing system and advanced driver assistance system
CN107809593B (zh) * 2017-11-13 2019-08-16 Oppo广东移动通信有限公司 拍摄图像的方法、装置、终端和存储介质
JP7298993B2 (ja) * 2018-04-09 2023-06-27 浜松ホトニクス株式会社 試料観察装置及び試料観察方法
CN111742545A (zh) * 2019-07-12 2020-10-02 深圳市大疆创新科技有限公司 曝光控制方法、装置与可移动平台
US11928799B2 (en) 2020-06-29 2024-03-12 Samsung Electronics Co., Ltd. Electronic device and controlling method of electronic device
CN112822426B (zh) * 2020-12-30 2022-08-30 上海掌门科技有限公司 一种用于生成高动态范围图像的方法与设备
CN118474550A (zh) * 2024-05-29 2024-08-09 识光科技(广州)有限责任公司 一种基于直播的摄像感光度调节方法及系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6825884B1 (en) * 1998-12-03 2004-11-30 Olympus Corporation Imaging processing apparatus for generating a wide dynamic range image
JP2001177759A (ja) * 1999-12-16 2001-06-29 Casio Comput Co Ltd 撮像装置及び撮像方法
JP2002051255A (ja) * 2000-07-31 2002-02-15 Olympus Optical Co Ltd 主要被写体検出カメラ
JP4451583B2 (ja) * 2001-12-27 2010-04-14 富士フイルム株式会社 撮像装置、撮像方法、及びプログラム
JP4105933B2 (ja) * 2002-11-08 2008-06-25 ペンタックス株式会社 デジタルカメラおよび画像生成方法
JP3754964B2 (ja) * 2003-02-03 2006-03-15 キヤノン株式会社 撮像装置
JP2006108759A (ja) * 2004-09-30 2006-04-20 Fuji Photo Film Co Ltd 撮像装置
JP2010093679A (ja) * 2008-10-10 2010-04-22 Fujifilm Corp 撮像装置及び撮像制御方法
JP5515795B2 (ja) * 2010-01-28 2014-06-11 株式会社ニコン 撮像装置及び撮像方法
JP5445235B2 (ja) * 2010-03-09 2014-03-19 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP5569359B2 (ja) * 2010-11-26 2014-08-13 富士通セミコンダクター株式会社 撮像制御装置、撮像装置、及び撮像装置の制御方法
JP5747510B2 (ja) * 2011-01-06 2015-07-15 株式会社ニコン 撮像装置
JP5821571B2 (ja) * 2011-11-28 2015-11-24 富士通株式会社 画像合成装置及び画像合成方法
US9363446B2 (en) * 2013-04-15 2016-06-07 Htc Corporation Automatic exposure control for sequential images
JP6193721B2 (ja) * 2013-10-23 2017-09-06 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
KR102149187B1 (ko) * 2014-02-21 2020-08-28 삼성전자주식회사 전자 장치와, 그의 제어 방법

Also Published As

Publication number Publication date
JP2014155001A (ja) 2014-08-25
US20140218559A1 (en) 2014-08-07

Similar Documents

Publication Publication Date Title
JP6218389B2 (ja) 画像処理装置及び画像処理方法
JP5719418B2 (ja) ハイダイナミックレンジ画像の露光時間制御方法
US9646397B2 (en) Image processing apparatus and image processing method
US9148561B2 (en) Image capturing apparatus, executable autoexposure bracketing and control method thereof
JP6193721B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
CN108337447A (zh) 高动态范围图像曝光补偿值获取方法、装置、设备及介质
CN108156369B (zh) 图像处理方法和装置
US9071766B2 (en) Image capturing apparatus and control method thereof
JP2012109900A (ja) 撮影装置、撮影方法、およびプログラム
JP2018006912A (ja) 撮像装置、画像処理装置及びそれらの制御方法、プログラム
JP4948591B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2015144475A (ja) 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体
KR101294735B1 (ko) 이미지 처리 방법 및 이를 이용한 촬영 장치
JP2019047169A (ja) ハイダイナミックレンジ画像を作成する装置、方法、及びプログラム
JP5076650B2 (ja) 撮像装置および画像処理プログラム
JP5713643B2 (ja) 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体
JP2014179920A (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
US8982244B2 (en) Image capturing apparatus for luminance correction, a control method therefor, and a recording medium
JP5569617B2 (ja) 画像処理装置、及び、プログラム
JP6080531B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP5932392B2 (ja) 画像処理装置および画像処理方法
JP5245648B2 (ja) 画像処理装置、及び、プログラム
JP2019047336A (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP5561389B2 (ja) 画像処理プログラム、画像処理装置、電子カメラ、および画像処理方法
JP2017068513A (ja) 画像処理装置及びその方法、プログラム、記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170829

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170926

R151 Written notification of patent or utility model registration

Ref document number: 6218389

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151