JP6080579B2 - 撮像装置およびその制御方法 - Google Patents

Description

本発明は画像から得られる評価値に基づいて撮像制御を行う撮像装置およびその制御方法に関する。

白飛びや黒つぶれを抑制するために、露出を異ならせて同一シーンを撮影した複数の画像のうち、階調情報が記録されている部分を合成することにより、撮影ダイナミックレンジより広いダイナミックレンジを有する画像を得る方法が知られている。本明細書ではこのようなダイナミックレンジ拡大処理をHDR（High Dynamic Range）処理と呼ぶ。

従来、HDR処理は静止画撮影にのみ用いられていたが、HDR処理を適用して各フレームを生成することにより動画撮影にも適用できる。以下、動画フレームに対するHDR処理を動画HDR処理と呼ぶ。動画HDR処理では、各フレームを生成するために異なる露出の複数の画像が必要となるため、露出の異なる画像が順次撮影される。

このような撮影が順次行われる場合に、画像のコントラスト情報より合焦状態を評価してフォーカス制御を行う、コントラスト検出方式のフォーカス制御（以下、コントラストAF制御という）では、被写体に追従したAF制御が精度よく行えない場合がある。

特許文献１では、複数の露出画像より得られた、コントラストAFに用いる評価値（以下、単にAF評価値と呼ぶ。）に対して、露出の差に応じたゲインを重畳することで、露出の差がAF評価値へ与える影響を除去する技術が提案されている。

特開２００２−３２３６４９号公報

しかし、特許文献１では、例えば被写体に動きのある場合に露出の差がAF評価値に与える影響を除去できない場合があるなど、撮影環境に応じた制御について考慮されていなかった。また、この問題はAF評価値に限らず、撮影画像から得られる情報に基づく評価値全般において課題となり得る。

本発明はこのような従来技術の課題に鑑みてなされたものであり、異なる露出量で撮影された画像から得られる評価値を用いた撮像制御の追従性を向上させた撮像装置およびその制御方法の提供を目的とする。

上述の目的は、フレームごとに露光量を異ならせて順次撮像を行う撮像手段と、撮像手段によって得られた複数の画像を合成した合成画像をフレーム画像とする動画を生成する画像処理手段と、画像間の被写体の動き量を検出する検出手段と、撮像手段のフォーカス制御に用いる評価値を生成する生成手段と、生成手段によって生成された評価値に基づいて、撮像手段のフォーカス制御する制御手段と、を有し、制御手段は、複数の画像間の露光量の差が第１閾値より大きい場合は、複数の画像のうちで最も露光量が大きい画像から生成した評価値を用いてフォーカス制御を行い、複数の画像間の露光量の差が第１閾値よりも小さい場合は、被写体の動き量に応じて何れかの画像を選択し、選択された画像から生成した評価値を用いてフォーカス制御を行うことを特徴とする撮像装置によって達成される。

このような構成により、本発明によれば、異なる露出量で撮影された画像から得られるAF評価値を用いたフォーカス制御の追従性を向上させた撮像装置およびその制御方法を提供できる。

実施形態に係る撮像装置の機能構成例を示すブロック図 HDR処理に係る画像とその輝度ヒストグラムの例を模式的に示す図 実施形態における、動画HDR処理時の撮影、合成、AF評価値取得、フォーカス制御のタイミング例を示すタイミングチャート 実施形態における低露出画像の露出段差量の制御を説明するためのフローチャート フォーカスレンズ位置とコントラストAF評価値との関係例を示す図 第１の実施形態におけるフォーカス制御を説明するためのフローチャート 図６のＳ６０８におけるAF評価値選択処理を説明するためのフローチャート 実施形態におけるAF評価値の選択および合成に利用可能な撮影情報の例を示す図 第２の実施形態におけるフォーカス制御を説明するためのフローチャート 図９のＳ９０１におけるAF評価値合成処理を説明するためのフローチャート （ａ）は第２の実施形態における動き量と合成係数との関係例を、（ｂ）は（ａ）は第２の実施形態における露出段差量と合成係数との関係例を示す図 複数のAF評価枠の例を模式的に示す図 第３の実施形態におけるフォーカス制御を説明するためのフローチャート 第１の実施形態におけるAF評価値選択部の機能構成例を示すブロック図 第２の実施形態におけるAF評価値合成部の機能構成例を示すブロック図

以下、添付図面を参照して、本発明の例示的な実施形態について詳細に説明する。
まず、特許文献１の技術では、例えば被写体に動きのある場合に露出の差がAF評価値に与える影響を除去できない場合がある理由について図５を用いて説明する。
図５は、横軸をフォーカスレンズ位置、縦軸をAF評価値として、フォーカスレンズ位置に応じたAF評価値の変化を示している。図に示されるように、フォーカスレンズ位置が合焦位置となると、AF評価値は最大値となる。

図５（ａ）は、同一静止被写体を適正露出で撮影した画像から算出したAF評価値５０１と、露出不足で撮影した画像（低露出画像）から算出したAF評価値５０２を示している。また、図５（ｂ）は、同一動被写体を適正露出で撮影した画像から算出したAF評価値５０１と、低露出画像から算出したAF評価値５０２を示している。

露光時間を変更して露出量に差をつける場合、動被写体の速度が一定であれば、撮影した画像における被写体ブレの量は、露出不足で撮影した画像の方が少なくなる。また、手ぶれの量についても同様の関係がある。コントラストはブレが少ない方が高くなるため、露出不足で撮影した画像から算出したAF評価値５０２の方が適正露出で撮影した画像から算出したAF評価値５０１よりも高く、その差は動被写体を撮影した場合の方が大きい。

このように、露出量を変えながら動被写体を順次撮影した画像が入力される場合には、AF評価値がフレーム毎に変動する量が大きくなり、合焦状態の評価が困難となる場合がある。この場合、動被写体に追従したフォーカスができない。
また、この問題はAF評価値に限らず、被写体検出のための評価値、露出制御のための評価値、ホワイトバランス処理のための評価値など、撮影画像から得られる情報に基づく評価値全般において課題となり得る。

そこで、本実施形態では、異なる露出条件で撮影された複数の画像の各々から得られる評価値のうち、撮像装置や被写体の動き、白飛び・黒つぶれの状況などから信頼度がより高いと判定される評価値を少なくとも１つ選択し用いることを特徴とする。

図１は、本発明の第１の実施形態に係る撮像装置の機能構成例を示すブロック図である。なお、各機能ブロックは、個別のハードウェアで実現されてもよいし、ソフトウェアをプログラマブルプロセッサが実行することによって実現されてもよい。また、図において別個の機能ブロックとして記載されている機能が、１つのハードウェアで実現されてもよいし、１つの機能ブロックが複数のハードウェアで実現されてもよい。

フォーカスレンズを含んだ光学系１０１によって撮像素子１０２に結像された被写体像は、撮像素子１０２によって画像信号に変換される。画像処理部１０３はこの画像信号に対してホワイトバランス処理や、デモザイク処理、色（輝度・色差信号）変換処理、γ補正処理などを適用する。また、画像処理部１０３は、入力される画像信号を用いて公知のマッチング等の手法によって評価値を算出し、被写体の検出処理を行う。例えば顔検出などを行う。得られる被写体検出の検出結果は、本実施形態において各評価値を算出する際に、被写体検出領域に重みをつける、などの制御に利用されたり、画像を表示する際に被写体検出領域をユーザに知らしめるために利用されたりする。このような被写体検出のための評価値もAF評価値と同様に撮影環境によってどの露出画像が評価値取得に適切かという課題が生じ得る。

また、ホワイトバランス処理では、画像信号の画像内の本来白と思われる白領域を抽出し、当該白領域の評価値を算出する。あるいは、画像信号全体を積分して評価値を算出したり、上述した方法で検出された顔領域内の画像信号を肌色領域とする評価値を算出したりする。これらの少なくとも１つの評価値から、ホワイトバランスのためのゲインを算出し、当該ゲインで画像信号を補正する。このようなホワイトバランス処理のための評価値もAF評価値と同様に撮影環境によってどの露出画像が評価値取得に適切かという課題が生じ得る。

画像処理部１０３から出力された画像信号は、システム制御部１１０の指示に従って、フレームメモリ１０５、もしくは画像合成部１０６に入力される。この入力の切り替え制御については、画像合成処理の説明にて詳細を述べる。

画像合成部１０６は、画像処理部１０３から出力される画像と、フレームメモリ１０５に記憶された画像とを、黒つぶれや白飛びを抑制するように合成し、ダイナミックレンジを拡張した１つの画像（HDR画像）として出力する。

撮像素子１０２から出力される画像信号は、AF評価値算出部１０７、動きベクトル検出部１０８、ヒストグラム算出部１０９にも入力される。AF評価値算出部１０７は、システム制御部１１０から指示された領域（AF評価枠）に対応する画像信号のAF評価値を算出し、システム制御部１１０に入力する。

動きベクトル検出部１０８は、撮像素子１０２から入力される、異なるタイミングで撮影された複数の画像信号から、AF評価枠の動きベクトル情報を算出し、システム制御部１１０に入力する。

また、ヒストグラム算出部１０９は、撮像素子１０２からの画像信号の輝度情報として、AF評価枠内の画素の輝度信号についてのヒストグラム情報（以下、輝度ヒストグラム情報と呼ぶ）を算出し、システム制御部１１０に入力する。

システム制御部１１０は例えばＣＰＵやＭＰＵ等のプログラマブルプロセッサと、プログラムを記憶したＲＯＭと、プログラムの実行などに用いるＲＡＭとを有し、プログラムを実行することによって撮像装置全体の動作を制御する。システム制御部１１０は、光学系１０１の焦点距離（画角）、絞り値、フォーカス位置（合焦距離）などの制御、撮像素子１０２の駆動方式の制御、スイッチ１０４の制御、などを行う。これらの制御は、AF評価値算出部１０７からのAF評価値、ヒストグラム算出部１０９からの輝度ヒストグラム情報、動きベクトル検出部１０８からの動きベクトル情報などに基づいて行われる。

また、システム制御部１１０は、AF評価値、輝度ヒストグラム、動きベクトル検出情報を取得する画像領域（AF評価枠）を、AF評価値算出部１０７、ヒストグラム算出部１０９、動きベクトル検出部１０８に対して設定する。設定方法に制限はないが、例えばAF評価枠を特定する座標を用いて設定することができる。

なお、図１および上述の説明は本実施形態の撮像装置が有する構成のうち、本発明の理解に必要な最低限の構成についてのものであり、図示および説明がされていなくても、一般的な撮像装置が有する構成は存在している。

次に、本実施形態の撮像装置におけるHDR処理について説明する。
HDR処理のうち、画像を合成してHDR画像を生成する画像合成部１０６についてまず説明する。画像合成部１０６は、露出を変えて連続撮影された画像群に含まれる複数枚の画像を、１枚の画像を基準として合成することで、ダイナミックレンジが拡大された１フレームのHDR画像を生成する。

HDR画像を合成する手法は既に様々な提案がなされており、公知の任意の方法を用いることができる。一例を挙げれば、特開２０１１−２２１９２４号公報に記載されるような、基準とする画像以外の画像について手ぶれや被写体の動きに伴うズレを補正してから、画像合成処理を行う方法を用いることができる。

HDR処理の例と、HDR処理に用いる画像を撮影するための露出制御について説明する。
HDR処理（合成処理）に用いられる画像の数や各画像を撮影する際の露出条件は様々な設定が可能である。本実施形態では一例として、図２に示すように、基準露出で撮影した基準露出画像２０１と、基準露出より少ない露出量で撮影した低露出画像２０２の２フレームから、１フレームの合成画像（HDR画像）２０３を得るものとする。なお、本実施形態では基準露出を適正露出とするため、以下では基準露出画像を適正露出画像と呼ぶ。適正露出のための露出制御量(露光時間、ＩＳＯ感度、絞り)は、画像から得られる輝度の評価値と、プログラム線図に基づいて決定される。図２では、適正露出画像２０１、低露出画像２０２、および合成画像２０３に対してヒストグラム算出部１０９で求めた輝度ヒストグラム２０４〜２０６を併せて示している。輝度ヒストグラム情報２０４，２０５における輝度ＬｈｉｇｈおよびＬｌｏｗは、白飛びおよび黒つぶれが発生している領域を判定するための閾値である。輝度がＬｌｏｗ以下の画素２０７，２０９は黒つぶれ画素、輝度がＬｈｉｇｈ以上の画素２０８，２１０は白飛び画素と見なす。閾値ＬｈｉｇｈおよびＬｌｏｗは撮像素子のダイナミックレンジなどを考慮して予め定めておく。

また、本実施形態においては、適正露出画像２０１の露出設定に対しN段暗くした露出設定で低露出画像２０２を撮影するものとし、以下、Nを露出段差量と呼ぶ。本実施形態では、撮影された低露出画像の白飛び、黒つぶれの程度に応じて次の撮影時の露出段差量Ｎを動的に変更する。露出段差量Ｎの露出段差をつける手法としては、露光時間、ＩＳＯ感度などがあり、その一方またはどちらも用いて段差量Ｎを達成して良い。

本実施形態における露出段差量Ｎの制御について図４のフローチャートを用いて説明する。
システム制御部１１０は、撮影開始時に、露出段差量Ｎを初期値Ｎ０とする（Ｓ４０１）。システム制御部１１０は、適正露出画像と低露出画像の撮影を行い（Ｓ４０２）、ヒストグラム算出部１０９から低露出画像の所定領域の輝度ヒストグラム情報を取得する（Ｓ４０３）。

そして、システム制御部１１０は、この低露出画像を用いたHDR画像に白飛びが発生するかどうかを輝度ヒストグラム情報に基づいて判定する（Ｓ４０４）。具体的には、白飛び閾値Ｌｈｉｇｈ以上の輝度を有する画素数（図２の領域２１０の頻度の積分値）が所定数以上であれば、この低露出画像を用いたHDR画像に白飛びが発生すると判断する。この場合、システム制御部１１０は現在の露出段差量Ｎが不足していると判断し、次の低露出画像に対する露出段差量Ｎとして、現在の露出段差量Ｎ＋所定段差量N’（例えば１／３段）を設定する（Ｓ４０４）。つまり、次の低露出画像の撮影では、さらに露出段差量を大きくし、露出量を低減する。

一方、白飛び閾値Ｌｈｉｇｈ以上の輝度を有する画素数が所定数未満の場合、システム制御部１１０は、黒つぶれの判定を行う（Ｓ４０６）。具体的には、閾値Ｌｌｏｗ以下の輝度を有する画素数（図２の領域２０９の頻度の積分値）が所定数以上であれば、黒つぶれが生じていると判断する。この場合、白飛びが発生しておらず、黒つぶれが発生しているため、システム制御部１１０は低露出画像の露出量を必要以上に低下させている（露出段差量Ｎが大きすぎる）と判断する。

そして、システム制御部１１０は、次に撮影する低露出画像の露出段差量Ｎとして、現在の露出段差量Ｎ−所定段差量Ｎ’（例えば１／３段）を設定する（Ｓ４０７）。つまり、次の低露出画像の撮影では、露出段差量を小さくし、露出量を増大する。

Ｓ４０６において、閾値Ｌｌｏｗ以下の輝度を有する画素数が所定数未満の場合、システム制御部１１０は現在の露出段差量Ｎを変更せず、露出設定を維持する。以上の動作を継続しながら撮影を行うことで、HDR処理に最適な露出段差量Ｎで低露出画像を撮影することができ、良好なHDR画像を生成することができる。
また、画像処理部１０３により被写体領域が検出されている場合、Ｓ４０３〜Ｓ４０６において上述した方法で被写体領域についても同様に評価を行い、被写体領域の判定結果に重みをつけて全体の結果と合わせて、露出段差量Ｎの制御を行う。

システム制御部１１０は、低露出画像２０２を撮影する際に、適正露出に対して露出段差量Ｎに相当する量だけ露出量が少ない画像が得られるよう、撮像素子１０２の露光時間（電荷蓄積時間）を制御する。適正露出画像の露光時間を１とした場合、１／２^Nの露光時間で撮影するように制御すればよく、例えば露出段差量Ｎ＝２であれば、適正露出画像の露光時間の１／４とすればよい。

次に、図３のタイミングチャートを用いて、動画HDR処理時の撮影、合成、AF評価値取得、フォーカスレンズ制御のタイミングについて説明する。
キャプチャパルス３０１は撮像素子１０２が画像取り込み（電荷読みだし）を開始するトリガである。シャッターパルス３０２は、撮像素子１０２の露光（電荷蓄積）開始タイミングを決定する。図３において、第１フレームはシャッターパルスＳ１からキャプチャパルスＣ１までの時間Ｔｌｏｗで露光が行われ、低露出画像３０４が撮影される。第２フレームはＳ２からＣ２までの時間Ｔｂａｓｅで露光が行われ、適正露出画像３０５が撮影される。以下、同様に第３フレームに低露出画像、第４フレームに適正露出画像、第５フレームに低露出画像、と交互に連続して撮影を行う。３フレーム以上の画像を合成して１フレームのHDR画像を生成する場合も同様に、合成に用いるフレームを連続的に順次撮影する。

本実施形態では、合成に用いる画像群のうち、適正露出画像を最後に撮影しているため、画像合成処理は適正露出画像の撮影後に行われる。従って、システム制御部１１０は、先に撮影が終了している低露出画像３０４がフレームメモリ１０５に記憶されるようにスイッチ１０４の切り替えを制御する。そして、画像合成部１０６は、フレームメモリ１０５に記憶された（１フレーム前の）低露出画像３０４と、撮像された（現フレームの）適正露出画像３０５を合成して、HDR動画の１フレームであるHDR画像３０６を生成する。従って、本実施形態のHDR動画のフレームレートは撮像フレームレートの１／２となる。

AF評価値は、タイミングパルス３０７のタイミングで取得される。キャプチャパルスＶ１で取得された低露出画像３０４のAF評価値は、パルスＡ１、すなわち１フレーム後のタイミングで取得される。なお、AF評価値は合成画像ではなく、撮影画像の各フレームで取得する。

フォーカスレンズは、タイミングパルス３０８のタイミングで駆動される。後述するフォーカス制御によって、HDR動画のフレームレートと同じ頻度でフォーカスレンズの駆動が行われる。システム制御部１１０は、パルスＡ１、Ａ２のタイミングで取得したAF評価値に基づくフォーカス制御を、パルスＬ１のタイミングで実施する。

次に、本実施形態におけるフォーカス制御について説明する。
AF評価値算出部１０７で算出するAF評価値は、画像のコントラストの高低を反映した値であり、公知かつ任意の方法で算出することができる。一例を挙げれば、特開２０１１−１３３２４号公報に記載されるような、画像に所定のバンドパスフィルタを適用してコントラスト成分を抽出し、このコントラスト信号のライン毎のピーク値を積分することで求めることができる。

システム制御部１１０は、AF評価値算出部１０７が算出したAF評価値に基づいて光学系１０１のフォーカス状態（合焦状態）を評価し、AF評価値が最大となるフォーカスレンズの位置を算出する。そして、システム制御部１１０は、フォーカスレンズを算出した位置に移動（シフト）するよう光学系１０１に指示し、フォーカス制御を実現する。

再び図５を参照して、適正露出AF評価値と低露出AF評価値の特徴について説明する。なお、図５に示すAF評価値は、適正露出画像と低露出画像の輝度レベルが揃うように、補正処理が行われている。例えば、適正露出画像の露光時間Ｔｂａｓｅと低露出画像の露光時間Ｔｌｏｗの比Ｔｄを以下の式１のように算出し、低露出画像のAF評価値にＴｄをゲインとして重畳する補正処理であってよい。
Td=Tbase / Tlow （式１）

図５（ａ）に示すように、静止被写体に対しては、低露出画像のAF評価値５０２は、適正露出画像のAF評価値５０１よりもノイズ量が大きい（Ｓ／Ｎが悪い）という特徴がある。
図５（ｂ）に示すように、動被写体に対しては、低露出画像のAF評価値５０２は、適正露出画像のAF評価値５０１よりも被写体の動きによるコントラスト低下が小さく、AF評価値の最大値が大きいという特徴がある。
これらの特徴はいずれも、露光時間が短いことによるものである。

次に、本実施形態におけるフォーカス制御を図６のフローチャートを用いて説明する。
本実施形態のシステム制御部１１０は、図１４に示すようなAF評価値選択部１４０１を有している。AF評価値選択部１４０１は、動きベクトル検出部１０８からの動きベクトル情報Mvと、システム制御部１１０で算出する露出段差量Ｎとから、適正露出画像のAF評価値と低露出画像のAF評価値のうち、信頼度が高いと判定される一方を選択する。選択したAF評価値はシステム制御部１１０内で用いる。

図３のタイミングチャートに示すように、適正露出画像３０５と低露出画像３０４は交互に撮像され、AF評価値算出部１０７は各撮影画像でAF評価値を算出する（Ｓ６０１）。システム制御部１１０内のAF評価値選択部１４０１は、タイミングパルス３０７のタイミングで取得したAF評価値に応じて処理を切り替える（Ｓ６０２）。

低露出AF評価値を取得した場合、適正露出画像と低露出画像の輝度レベルが揃うように、補正部１４０２が低露出AF評価値を補正する（Ｓ６０３）。この補正は上述したＴｄの乗算であってよい。そして、補正部１４０２は、次フレームに行われるAF評価値選択処理のために、この補正したAF評価値を保持部１４０３に保持する。

一方、適正露出AF評価値を取得した場合、選択部１４０５は、動きベクトル検出部１０８から、AF評価枠に関する動きベクトル情報Mvを取得する（Ｓ６０７）。動きベクトル検出部１０８は、適正露出画像と１フレーム前の低露出画像とから、一方の画像内のAF評価枠内の画像をテンプレートとして切り出し、もう一方の画像内で相関の高い領域を探索し、位置の差を動きベクトルとして算出する。動きベクトル検出部１０８は、横方向の動きベクトルMvx、縦方向の動きベクトルMvyから、動きベクトル情報Mvを以下の式２で求めて出力する。
Ｍｖ＝√（Ｍｖｘ²＋Ｍｖｙ²） （式２）
このように、本実施形態では、動きベクトル情報Mvは動き量そのものであるが、他の実施形態では動き量を表す他の形態の情報であってもよい。

Ｓ６０８で選択部１４０５は、上述した露出段差量Ｎを取得する。
そして、選択部１４０５は、低露出AF評価値と適正露出AF評価値の選択処理を実施する（Ｓ６０８）。

図７に示すフローチャートを用いて、Ｓ６０８におけるAF評価値選択処理について説明する。
まず、選択部１４０５は、露出段差量Ｎと閾値ThＮを比較する（７０１）。露出段差量Ｎが閾値ＴｈＮより大きい、すなわち適正露出画像と低露出画像の露出段差が大きい場合、図５で説明したように低露出画像のAF評価値はＳ／Ｎが低下する。そのため、低露出AF評価値の信頼性は低下し、適正露出AF評価値を用いた場合よりも合焦精度が低下する可能性が大きくなる。

従って、露出段差量Ｎが閾値ThＮより大きい場合、選択部１４０５は信頼度が低露出AF評価値より高いと判定される適正露出AF評価値を選択することを決定し、現フレームで得られる適正露出AF評価値を選択するようにＳＷ１４０４を制御する。なお、閾値ThＮは、所定の露出段差量を設定してもよいし、例えば、露出情報（適正露出画像のゲイン設定など）に応じて制御してもよい。

一方、露出段差量Ｎが閾値ThＮ以下の場合、Ｓ７０３で選択部１４０５は、動きベクトル情報Mvを閾値ThMvと比較する。そして、動きベクトル情報Mvが閾値ＴｈＭｖより大きい、すなわちAF評価値を算出する被写体もしくは領域の動きが大きい場合は、図５で説明したように、適正露出画像の方が低露出画像よりも大きくコントラストが低下する。そのため、適正露出AF評価値の信頼度は低露出AF評価値を用いた場合よりも低く、適正露出AF評価値を用いた場合には合焦精度が低下する可能性が大きくなる。

従って、動き量に相当する動きベクトル情報Mvが閾値ThMvより大きい場合、選択部１４０５はより信頼度が高いと判定される低露出AF評価値を選択するよう決定する。そして、選択部１４０５は、保持部１４０３に保存されている１フレーム前の低露出AF評価値を選択するようにＳＷ１４０４を制御する（Ｓ７０４）。一方、動きベクトル情報Mvが閾値ThMv以下の場合には、選択部１４０５は一般的に信頼性が低露出AF評価値より高いと判定される適正露出AF評価値を選択するよう決定する。そして選択部１４０５は、現フレームで得られる適正露出AF評価値を選択するようにＳＷ１４０４を制御する。
なお、閾値ThMvは、所定の動き量を設定しても良いし、例えば、露出情報（適正露出画像のゲイン設定など）に応じて制御してもよい。また、動きベクトル情報Mvが閾値ThMv以下の場合には、どちらも信頼性が基準より高いとしてどちらのＡＦ評価値も用いるように決定しても良い。

なお、本実施形態では、選択するAF評価値の信頼度を、動きベクトル情報Mvの大きさと露出段差量Ｎの大きさに基づいて判定し、信頼度が基準より高いと判定される少なくとも１つを選択する構成について説明した。しかし、信頼度の判定は他の情報に基づくこともできる。例えば、図８に示すような撮影情報を用いてAF評価値の選択を行うことが可能である。

例えば、撮像装置が像ブレ補正機能を有する場合、ジャイロセンサなど装置の動きを検出する手段から既知の手法で求められる装置の動き量（手ブレ量）Hvを、動きベクトル情報Mvと同様に用いてAF評価値の選択を行ってもよい。これは、手ブレ量が大きいということは、動きによる適正露出画像のコントラスト低下が大きく、信頼度が低下すると考えられるためである。従って、選択部１４０５は手ブレ量Hvが所定の閾値ThHvより大きい場合には低露出AF評価値の選択を、閾値ThHv以下の場合には適正露出AF評価値の選択を、それぞれ決定し、ＳＷ１４０４を制御する。

また、例えば、適正露出画像のAF評価枠内の画素について、図２で示したような輝度ヒストグラム２０４を算出しておき、所定の輝度値Ｌｈｉｇｈ以上（Ｌｍａｘまで）の輝度値を有する画素数と、全画素数の比Ｖｈ（以下、白飛び量と呼ぶ）を算出する。白飛び量Ｖｈは、以下の式によって算出できる。なお、図８では、露出量の異なる１群の画像のうち、最も露出量が多い画像という意味において「高露出画像」と記載している。本実施形態では適正露出画像が最も露出量の多い画像であるため、白飛び量は適正露出画像について算出する。

白飛び量Ｖｈが大きいということは、適正露出画像のAF評価枠内に白飛び画素が多く、AF評価値の信頼度は低いと考えられる。そのため、選択部１４０５は白飛び量Vhが閾値ThVhより大きい場合にはより信頼度が高いと判定される低露出AF評価値を選択することを決定する。一方、選択部１４０５は、閾値ThVh以下であれば一般的に低露出AF評価値よりも信頼性が高いと考えられる適正露出AF評価値を選択することを決定する。選択部１４０５は、決定結果に応じてＳＷ１４０４を制御する。

また、例えば、低露出画像のAF評価枠内の画素について、図２で示すような輝度ヒストグラム２０５を算出しておき、所定の輝度値Ｌｌｏｗ以下（０まで）の積分値を有する画素と、全画素数の比Ｖｌ（以下、黒つぶれ量と呼ぶ）に応じて選択してもよい。黒つぶれ量Ｖｌは、以下の式によって算出できる。

黒つぶれ量Ｖｌが大きいということは、低露出画像のAF評価枠内に黒つぶれ画素が多く、低露出AF評価値の信頼度は低いと考えられる。そのため、選択部１４０５は黒つぶれ量Vlが閾値ThVlより大きい場合には適正露出AF評価値を選択することを決定する。選択部１４０５はまた、黒つぶれ量Ｖ1が閾値ThVh以下であれば低露出AF評価値を選択することをそれぞれ決定し、ＳＷ１４０４を制御する。なお、図８における「低露出画像」は、露出量の異なる１群の画像のうち、最も露出量が少ない画像という意味である。

そして、システム制御部１１０は、このようにして選択したAF評価値に基づいて光学系１０１のフォーカス状態（合焦状態）を評価し、AF評価値が最大となるフォーカスレンズ位置を算出する。そして、システム制御部１１０は、フォーカスレンズを、算出した位置に移動（シフト）するよう、光学系１０１に指示する。そして、図３のタイミングパルス３０８が示すように、適正露出AF評価値を取得した次フレームでフォーカスレンズ駆動が行われる。

このように、本実施形態では、異なる露出条件で撮影された複数の画像の各々から得られるAF評価値のうち、撮像装置や被写体の動き、白飛び・黒つぶれの状況などから信頼度がより高いと判定される１つを動的に選択し、光学系のフォーカス制御に用いる。そのため、HDR動画用の撮影時においても被写体への追従性が良好なコントラストAFを実現することができる。

なお、本実施形態におけるフォーカス制御は、撮影時に画像合成を行わず、適正露出画像と低露出画像とを全て記録した後でHDR画像を生成する場合であっても有効である。また、本実施形態におけるフォーカス制御は、適正露出画像と低露出画像の組み合わせ以外の撮影であっても適用可能である。例えば、適正露出よりも露出量の多い高露出画像と、低露出画像とを撮影する場合であっても適用可能である。この場合、高露出画像を上述の適正露出画像に当てはめて処理すればよい。

また、本実施形態では、複数の露出画像から少なくとも１つの画像の評価値を取得する評価値の例として主にＡＦ評価値、当該評価値に基づいて制御する撮影パラメータとしてフォーカスレンズ位置などのフォーカス制御値について説明したが、これに限らない。本実施形態を適用できる評価値としては、上述した被写体検出の評価値、ホワイトバランスの評価値、露出制御のための評価値など、撮像画像から得られる各種評価値について適用できる。被写体検出結果は、ＡＦ、露出制御（撮影パラメータの制御）、ホワイトバランス処理（画像処理パラメータの制御）などに用いられる。ホワイトバランスの評価値は当然ホワイトバランス処理に用いられる。露出制御のための評価値は撮影パラメータとしての露出制御値の制御に用いられる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。本実施形態は、システム制御部１１０がAF評価値選択部の代わりにAF評価値合成部を有する点と、フォーカス制御以外は第１の実施形態と同じであるため、以下では本実施形態に特徴的な部分のみ説明する。

本実施形態のシステム制御部１１０は、AF評価値選択部の代わりに図１５に示すようなAF評価値合成部１５０１を有している。図１５において、図１４と同じ構成については共通の参照数字を用い、重複する説明を省略する。AF評価値合成部１５０１は、動きベクトル検出部１０８が算出する、AF評価枠内の画像の動きベクトル情報Mvと、システム制御部１１０で算出する露出段差量Ｎとに基づいて、合成係数を算出する。そして、AF評価値合成部１５０１は、適正露出AF評価値と低露出AF評価値を合成係数に基づいて合成したAF評価値をシステム制御部１１０に出力する。システム制御部１１０は合成されたAF評価値を光学系１０１の合焦状態の評価およびフォーカス制御に用いる。

図９は、本実施形態におけるフォーカス制御動作を説明するためのフローチャートであり、第１の実施形態と共通する処理については図６と共通する参照数字を用いている。本実施形態のフォーカス制御動作では、Ｓ６０８におけるAF評価値の選択処理に代わってAF評価値の合成処理を行うＳ９０１を有する点が異なる。具体的には、信頼度が高いほど大きな重みを付与して複数のAF評価値を重み付け合成し、１つの（合成）AF評価値を生成することを特徴とする。そのため、Ｓ９０１におけるAF評価値合成処理についてのみ、図１０のフローチャートを用いて説明する。

まず、第１合成係数算出部１５０５により、動きベクトル情報Mvに基づく合成係数Ｃｍを算出する（Ｓ１００１）。
図１１（ａ）は、横軸を動きベクトル情報Mv（動き量）、縦軸を合成係数Ｃｍとして、本実施形態における両者の関係例を示している。なお、本実施形態における合成係数は合成時における低露出AF評価値の重みを％で示した値である。従って、合成係数１００は、低露出AF評価値が合成後のAF評価値としてそのまま使用されることを意味する。本実施形態において、合成係数Ｃｍは、閾値ThMvを用いて、以下の式で求める。なお、閾値ThMvは第１の実施形態と同様に定めることができる。
Ｃｍ＝（Ｍｖ−ＴｈＭｖ）×Ｋｍ （式５）
ただし、Ｃｍ＜０ならＣｍ＝０，
Ｃｍ＞１００ならＣｍ＝１００とする。

ここで、Ｋｍは、図１１（ａ）の合成係数Ｃｍの変化部分の傾きである。特に、動きベクトル情報Mvが閾値ThMvを挟んだ近傍の値でフレームごとに変化した場合に、合成後のAF評価値の変動が大きくならないように、閾値付近では合成係数Ｃｍを滑らかに変化させる値をＫｍに設定する。

また、第２合成係数算出部１５０６が、露出段差量Ｎに基づく合成係数Ｃｅを算出する（Ｓ１００２）。
図１１（ｂ）は、横軸を露出段差量Ｎ、縦軸を合成係数Ｃｅとして、本実施形態における両者の関係例を示している。合成係数の算出式は、閾値ThＮを用いて、以下の式で求める。なお、閾値ThＮは第１の実施形態と同様に定めることができる。
Ｃｅ＝１００−（Ｎ−ＴｈＮ）×Ｋｅ （式６）
ただし、Ｃｅ＜０ならＣｅ＝０，
Ｃｅ＞１００ならＣｅ＝１００とする。

ここで、Ｋｅは、図１１（ｂ）の合成係数Ｃｅの変化部分の傾きである。特に、露出段差量Ｎが閾値ThＮを挟んだ近傍の値でフレームごとに変化した場合に、合成後のAF評価値の変動が大きくならないように、閾値付近では合成係数Ｃｅを滑らかに変化させる値をＫｅに設定する。
なお、合成係数ＣｍとＣｅの算出は、並行して実施してもよい。

次に、係数合成部１５０７で、合成係数ＣｅおよびＣｍを合成して、合成係数Ｃを算出する（Ｓ１００３）。
合成係数Ｃは、例えば以下の式で示されるような単純な乗算により算出することができる。
Ｃ＝（Ｃｅ×Ｃｍ）／１００ （式７）
なお、合成係数Ｃは、露出情報（シャッタースピードやゲイン設定など）を評価した値を重みとして、２つの合成係数を重み付け合成するなど、他の方法でも算出できる。シャッタースピードは速いほどブレが少ないため、合成係数Ｃｍの重みはシャッタースピードが速いほど高くすることができる。また、ゲインは高いほど暗部のノイズが大きくなるため、ゲインが高いほど合成係数Ｃｅの重みを小さくすることができる。

次に、評価値合成部１５０４で、適正露出画像から算出したAF評価値と、低露出画像から算出したAF評価値とを、合成係数Ｃを用いて合成する。適正露出AF評価値をAfb、低露出AF評価値をAfl、合成AF評価値をAfcとした場合、以下の式に従って合成AF評価値を得ることができる。

なお、ここでは、AF評価値の合成係数を動きベクトル情報に基づく合成係数と、露出段差量に基づく合成係数から算出する場合について説明した。しかし、図８に示すような撮影情報を動きベクトル情報や露出段差量の代わりに用い、同様の手法で合成係数を求めてもよい。
例えば、以下の様な撮影情報と合成係数との関係に基づいて合成係数を算出することができる。
手ブレ量Hvが所定の閾値ThHvより大きくなるほど、合成係数を大きくする。
白飛び量Ｖｈが所定の閾値ThVhより大きくなるほど、合成係数を大きくする。
黒つぶれ量Ｖｌが所定の閾値ThVlより大きくなるほど、合成係数を小さくする。

システム制御部１１０は、合成AF評価値を用いて、光学系１０１のフォーカス状態（合焦状態）を評価し、合成AF評価値が最大となる光学系１０１のフォーカス位置を算出する。そして、フォーカスレンズを、算出した位置に移動（シフト）するよう、光学系１０１に指示することで、フォーカス制御が実現される。

なお、第１の実施形態と同様、本実施形態におけるフォーカス制御も、撮影時に画像合成を行わず、適正露出画像と低露出画像とを全て記録した後でHDR画像を生成する場合であっても有効である。また、本実施形態におけるフォーカス制御は、適正露出画像と低露出画像の組み合わせ以外の撮影であっても適用可能である。例えば、適正露出よりも露出量の多い高露出画像と、低露出画像とを撮影する場合であっても適用可能である。この場合、高露出画像を上述の適正露出画像に当てはめて処理すればよい。

本実施形態では、信頼度の度合いに応じた重みで合成したAF評価値を用いるため、所定の閾値の大小関係に応じて一つのAF評価値を選択する第１の実施形態よりも信頼度をきめ細かく反映したAF評価値を用いたフォーカス制御が可能である。そのため、フォーカス制御の精度の一層の向上が期待される。なお、信頼度が高い評価値の重みを信頼度が低い評価値の重みよりも大きくして用いるという観点からは、信頼度の高い評価値を選択して用いる第１の実施形態は本実施形態の一つの形態とも言える。

また、本実施形態では、複数の露出画像から少なくとも１つの画像の評価値を取得する評価値の例として主にＡＦ評価値、当該評価値に基づいて制御する撮影パラメータとしてフォーカスレンズ位置などのフォーカス制御値について説明したが、これに限らない。本実施形態を適用できる評価値としては、上述した被写体検出の評価値、ホワイトバランスの評価値、露出制御のための評価値など、撮像画像から得られる各種評価値について適用できる。被写体検出結果は、ＡＦ、露出制御（撮影パラメータの制御）、ホワイトバランス処理（画像処理パラメータの制御）などに用いられる。ホワイトバランスの評価値は当然ホワイトバランス処理に用いられる。露出制御のための評価値は撮影パラメータとしての露出制御値の制御に用いられる。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。本実施形態は、AF評価枠が複数存在することによるフォーカス制御処理の差異を除き、第１の実施形態と同じであるため、以下では本実施形態に特徴的な部分のみ説明する。

本実施形態におけるAF評価値算出部１０７（図１）は、AF評価値を算出するための機能ブロックを複数有し、各機能ブロックは予め指定された異なるAF評価枠についてのAF評価値を算出する。従って、例えば、図１２に示す複数のAF評価枠１２０１〜１２０５について、AF評価値算出部１０７でAF評価値Af1〜Af5が算出される。

AF評価枠１２０１〜１２０５の位置は固定であっても、ユーザが変更可能であってもよい。また、多くの固定位置の中からユーザが選択可能であってもよいし、任意の位置を指定可能であってもよい。いずれの場合も、設定されているAF評価枠のそれぞれについてAF評価値を算出するよう、AF評価値算出部１０７は内部の機能ブロックを割り当てる。

また、複数のAF評価枠１２０１〜１２０５のそれぞれについて動きベクトル情報Mv1〜Mv5を算出するため、動きベクトル検出部１０８もまた、動きベクトル情報を算出する機能ブロックを複数有する。
なお、AF評価値算出部１０７および動きベクトル検出部１０８が複数のAF評価枠に対応する複数の機能ブロックを有することは必須ではない。処理時間に問題がなければ、AF評価枠の数よりも少ない機能ブロックを用いてAF評価値および動きベクトル情報を算出してもよい。

本実施形態では、複数のAF評価枠１２０１〜１２０５のそれぞれについて、第１の実施形態で説明したAF評価値選択処理を行う。
すなわち、システム制御部１１０は、各AF評価枠について、撮影情報に基づき、適正露出AF評価値と低露出AF評価値のうち、フォーカス制御に最適なAF評価値を選択する。本実施形態における撮影情報とは、露出段差量ＮとAF評価枠に対応した動きベクトル情報Mvである。

図１３は、本実施形態におけるフォーカス制御動作を説明するためのフローチャートであり、第１の実施形態と共通する処理については図６と共通する参照数字を用いている。
図３のタイミングチャートで示したように、AF評価値算出部１０７は、AF評価枠１２０１〜１２０５で、適正露出AF評価値と低露出AF評価値を交互に算出する（Ｓ１３０１）。そして、タイミングパルス３０７のタイミングで、システム制御部１１０内のAF評価値選択部１４０１は、AF評価値算出部１０７から各AF評価枠のAF評価値を取得する。そして、AF評価値選択部１４０１は、低露出AF評価値を取得した場合にはＳ６０３に、適正露出AF評価値を取得した場合にはＳ１３０３に処理を進める。

低露出AF評価値群を取得した場合は、AF評価枠ごとに、補正部１４０２での補正処理（Ｓ６０３）および保持部１４０３への保持（Ｓ６０４）が行われる。

一方、適正露出AF評価値群を取得した場合には、AF評価枠ごとに、第１の実施形態で説明したAF評価値選択処理を行う。
動きベクトル情報Mvの取得（Ｓ６０６）、露出段差量Ｎの取得（Ｓ６０７）、フォーカス制御に用いるAF評価値の選択（Ｓ６０８）は、Ｓ６０６およびＳ６０８がAF評価枠ごとに処理が行われることを除き、第１の実施形態と同じ処理である。

なお、本実施形態においてもAF評価値の選択処理は第１の実施形態と同様であるため、動きベクトル情報Mvと露出段差量Ｎとを用いた選択の代わりに、図８に示したような撮影情報を用いてAF評価値を選択するようにしてもよい。この場合も、AF評価枠ごとに処理を行うこと以外は第１の実施形態で説明したとおりである。

AF評価値選択部１４０１が、全てのAF評価枠について、Ｓ６０６〜Ｓ６０８の処理を適用すると（Ｓ１３０４，ＹＥＳ）、システム制御部１１０は、フォーカス制御に使用するAF評価枠をAF評価枠１２０１〜１２０５から選択する（Ｓ１３０５）。

複数のAF評価枠の中からフォーカス制御に用いるAF評価枠を選択する方法には特に制限はなく、公知かつ任意の方法を用いることができるが、例えば特開２００６−３３０２１１号公報に記載される方法を用いることができる。

システム制御部１１０は、選択したAF評価枠について得られた（選択された）AF評価値に基づいて光学系１０１のフォーカス状態（合焦状態）を評価し、AF評価値が最大となるフォーカスレンズの位置を算出する。そして、システム制御部１１０は、フォーカスレンズを算出した位置に移動（シフト）するよう光学系１０１に指示し、フォーカス制御を実現する。

（変形例）
なお、本実施形態においては、複数のAF評価枠のそれぞれについて第１の実施形態で説明した方法で選択したAF評価値を用いる形態について説明した。しかし、第２実施形態で説明したような、適正露出AF評価値と低露出AF評価値を合成したAF評価値を各AF評価値ついて求めるような形態であってもよい。

また、本実施形態では、複数の露出画像から少なくとも１つの画像の評価値を取得する評価値の例として主にＡＦ評価値、当該評価値に基づいて制御する撮影パラメータとしてフォーカスレンズ位置などのフォーカス制御値について説明したが、これに限らない。本実施形態を適用できる評価値としては、上述した被写体検出の評価値、ホワイトバランスの評価値、露出制御のための評価値など、撮像画像から得られる各種評価値について適用できる。被写体検出結果は、ＡＦ、露出制御（撮影パラメータの制御）、ホワイトバランス処理（画像処理パラメータの制御）などに用いられる。ホワイトバランスの評価値は当然ホワイトバランス処理に用いられる。露出制御のための評価値は撮影パラメータとしての露出制御値の制御に用いられる。

（その他の実施形態）
なお、上述の実施形態では説明および理解を容易にするため、適正露出と低露出（露出アンダー）の２種類の撮影を周期的に行う場合について説明した。しかし、本発明は３種類以上の撮影を周期的に行う場合であっても適用可能である。この場合、基本的には適正露出もしくはそれに最も近い露出量の画像から得られるAF評価値を選択すればよい。また、動き量が多い場合や白飛び量が多い場合には程度に応じた段階の低露出画像のAF評価値を、黒つぶれ量が多い場合には程度に応じた段階の高露出画像のAF評価値を用いるようにすればよい。第２の実施形態のように合成を行う場合には、適正露出からの差が大きい画像のAF評価値ほど、合成係数の最大値小さく設定するようにすればよい。あるいは、３種類以上の画像を撮影する場合であっても、上述の実施形態で説明した２種類の画像から得られるAF評価値を用いるようにしてもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (6)

1. フレームごとに露光量を異ならせて順次撮像を行う撮像手段と、
   前記撮像手段によって得られた複数の画像を合成した合成画像をフレーム画像とする動画を生成する画像処理手段と、
   画像間の被写体の動き量を検出する検出手段と、
   前記撮像手段のフォーカス制御に用いる評価値を生成する生成手段と、
   前記生成手段によって生成された評価値に基づいて、前記撮像手段のフォーカス制御する制御手段と、を有し、
   前記制御手段は、
   前記複数の画像間の露光量の差が第１閾値より大きい場合は、前記複数の画像のうちで最も露光量が大きい画像から生成した評価値を用いてフォーカス制御を行い、
   前記複数の画像間の露光量の差が第１閾値よりも小さい場合は、前記被写体の動き量に応じて何れかの画像を選択し、選択された画像から生成した評価値を用いてフォーカス制御を行うことを特徴とする撮像装置。
2. 前記制御手段は、前記複数の画像間の露光量の差が第１閾値よりも小さい場合、前記被写体の動き量が第２閾値よりも大きい場合には前記複数の画像のうちで最も露出量が小さい画像から生成した評価値を用いてフォーカス制御を行うことを特徴とする請求項１に記載の撮像装置。
3. 前記合成画像は、前記複数の画像に対してダイナミックレンジが拡張された画像であることを特徴とする請求項１または請求項２に記載の撮像装置。
4. 撮像手段により、フレームごとに露光量を異ならせて順次撮像を行う撮像工程と、
   画像処理手段が、前記撮像工程で得られた複数の画像を合成した合成画像をフレーム画像とする動画を生成する画像処理工程と、
   検出手段が、画像間の被写体の動き量を検出する検出工程と、
   生成手段が、前記撮像手段のフォーカス制御に用いる評価値を生成する生成工程と、
   制御手段が、前記生成工程で生成された評価値に基づいて、前記撮像手段のフォーカス制御する制御工程と、を有し、
   前記制御工程において前記制御手段は、
   前記複数の画像間の露光量の差が第１閾値より大きい場合は、前記複数の画像のうちで最も露光量が大きい画像から生成した評価値を用いてフォーカス制御を行い、
   前記複数の画像間の露光量の差が第１閾値よりも小さい場合は、前記被写体の動き量に応じて何れかの画像を選択し、選択された画像から生成した評価値を用いてフォーカス制御を行うことを特徴とする撮像装置の制御方法。
5. 前記制御工程において前記制御手段は、前記複数の画像間の露光量の差が第１閾値よりも小さい場合、前記被写体の動き量が第２閾値よりも大きい場合には前記複数の画像のうちで最も露出量が小さい画像から生成した評価値を用いてフォーカス制御を行うことを特徴とする請求項４に記載の撮像装置の制御方法。
6. 前記合成画像は、前記複数の画像に対してダイナミックレンジが拡張された画像であることを特徴とする請求項４または請求項５に記載の撮像装置の制御方法。