JP2011199860A - 撮像装置及び画像生成プログラム - Google Patents

Abstract

【課題】暗部と明部とを有する被写体を最適露出条件でハイダイナミックレンジ撮影することができる撮像装置及び画像生成プログラムを提供する。
【解決手段】被写体画像の輝度値を検出する輝度値検出ステップＳ１２と、該検出された輝度値に基づき第１露出条件及び第２露出条件を演算する露出条件演算ステップＳ１６と、該演算された第２露出条件の露出段数を、露出連動範囲内に設定された設定閾値よりも低い側における第１露出段数と第２露出段数との段数差が、設定閾値よりも高い側におけるそれらの段数差よりも小さくなるように第２露出段数を調整する露出段数調整ステップＳ１８と、該調整後における露出段数と各々対応する露出条件を第１露出条件及び第２露出条件として設定する露出条件設定ステップＳ１９と、該設定された第１露出条件及び第２露出条件に従って各々撮像された撮像画像を合成して一つの合成画像を生成する合成画像生成ステップとを備えた。
【選択図】図３

Description

本発明は、例えばデジタルスチルカメラ等の撮像装置及び画像生成プログラムに関する。

従来から、暗部と明部を有する同一の被写体を異なる露出条件で撮影して得られた複数の撮像画像を合成することにより、暗部が黒くつぶれたり明部が白く飛んだりしていない一つの合成画像を生成可能とするハイダイナミックレンジ（以下、「ＨＤＲ」という。）撮影技法が知られている（例えば、特許文献１参照）。

すなわち、こうした従来のＨＤＲ撮影技法では、例えば露出条件の異なる２つの撮像画像を得る場合に通常の露出条件から高露出側（短秒側）と低露出側（長秒側）に露出段数を各々異ならせた高露出側の露出条件と低露出側の露出条件で撮影された２つの撮像画像を合成することにより一つの合成画像を生成していた。

特開２００３−３１９２４０号公報

ところで、撮像装置には、通常、露出値（露出条件）の設定範囲を制限するために定められた露出連動範囲（露出条件設定範囲）が設定されている。加えて、被写体の明部と暗部との輝度の差は、一般に、露出連動範囲の上限側（高輝度の環境下）の方が露出連動範囲の下限側（低輝度の環境下）に比べて大きくなる。このため、露出連動範囲の上限側付近のＨＤＲ処理結果が最適となるように高露出側と低露出側との露出段数の差を設定した場合には、露出連動範囲の上限付近以外の部分（中央部や下限付近）で露出オーバーになってしまうおそれがあるという問題があった。

本発明は、このような事情に鑑みてなされたものであり、その目的は、暗部と明部とを有する被写体を最適露出条件でハイダイナミックレンジ撮影することができる撮像装置及び画像生成プログラムを提供することにある。

上記目的を達成するために、本発明の撮像装置は、被写体を測光して輝度値を検出する輝度値検出手段と、該輝度値検出手段により検出された輝度値に基づき、第１露出条件と、該第１露出条件よりも低露出側の第２露出条件とを演算する露出条件演算手段と、設定された閾値よりも低い側の、前記第１露出条件に対応する第１露出値と、前記第２露出条件に対応する第２露出値との差を、設定された閾値よりも高い側の、前記第１露出条件に対応する第１露出値と、前記第２露出条件に対応する第２露出値との差よりも小さくなるように前記第２露出値を調整する露出調整手段と、該露出調整手段の調整後における露出値と対応する露出条件を前記第１露出条件及び前記第２露出条件として設定する露出条件設定手段と、該露出条件設定手段により設定された前記第１露出条件及び前記第２露出条件に従って撮像された撮像画像を合成して一つの合成画像を生成する合成画像生成手段とを備えたことを要旨とする。

また、本発明の撮像装置は、被写体を測光して輝度値を検出する輝度値検出手段と、該輝度値検出手段により検出された輝度値に基づき、第１露出条件と、該第１露出条件よりも低露出側の第２露出条件とを演算する露出条件演算手段と、前記第１露出条件に対応する第１露出値と、前記第２露出条件に対応する第２露出値との差が、相対的に明るいシーンよりも、相対的に暗いシーンの方が小さくなるように、前記第２露出値を調整する露出調整手段と、該露出調整手段の調整後における露出値と対応する露出条件を前記第１露出条件及び前記第２露出条件として設定する露出条件設定手段と、該露出条件設定手段により設定された前記第１露出条件及び前記第２露出条件に従って撮像された撮像画像を合成して一つの合成画像を生成する合成画像生成手段とを備えたことを要旨とする。

また、本発明の撮像装置において、前記閾値は、露出条件の設定範囲を制限するために定められた露出条件設定範囲内における中間値よりも高い側の値を含む少なくとも１つの値に設定されていることを要旨とする。

また、本発明の撮像装置において、前記輝度値検出手段は、前記被写体を複数の分割領域毎に測光して領域毎の輝度値を検出し、前記露出条件演算手段は、前記輝度値検出手段により検出された各輝度値のうちの最大輝度値を含む一群の高輝度値中の一つの輝度値を第１輝度値として、該第１輝度値に基づき前記第１露出条件を演算すると共に、前記各輝度値のうちの最小輝度値を含む一群の低輝度値中の一つの輝度値を第２輝度値として、該第２輝度値に基づき前記第２露出条件を演算することを要旨とする。

また、本発明の撮像装置において、前記第１輝度値は前記一群の高輝度値中の前記最大輝度値であり、前記第２輝度値は前記一群の低輝度値中の前記最小輝度値であることを要旨とする。

また、本発明の画像生成プログラムは、コンピュータに、被写体を測光して輝度値を検出する輝度値検出手順と、該輝度値検出手順により検出された輝度値に基づき、第１露出条件と、該第１露出条件よりも低露出側の第２露出条件とを演算する露出条件演算手順と、設定された閾値よりも低い側の、前記第１露出条件に対応する第１露出値と、前記第２露出条件に対応する第２露出値との差を、設定された閾値よりも高い側の、前記第１露出条件に対応する第１露出値と、前記第２露出条件に対応する第２露出値との差よりも小さくなるように前記第２露出値を調整する露出調整手順と、該露出調整手順の調整後における露出値と対応する露出条件を前記第１露出条件及び前記第２露出条件として設定する露出条件設定手順と、該露出条件設定手順により設定された前記第１露出条件及び前記第２露出条件に従って各々撮像された撮像画像を合成して一つの合成画像を生成する合成画像生成手順とを実行させることを要旨とする。

また、本発明の画像生成プログラムは、コンピュータに、被写体を測光して輝度値を検出する輝度値検出手順と、該輝度値検出手順により検出された輝度値に基づき、第１露出条件と、該第１露出条件よりも低露出側の第２露出条件とを演算する露出条件演算手順と、前記第１露出条件に対応する第１露出値と、前記第２露出条件に対応する第２露出値との差が、相対的に明るいシーンよりも、相対的に暗いシーンの方が小さくなるように、前記第２露出値を調整する露出調整手順と、該露出調整手順の調整後における露出値と対応する露出条件を前記第１露出条件及び前記第２露出条件として設定する露出条件設定手順と、該露出条件設定手順により設定された前記第１露出条件及び前記第２露出条件に従って撮像された撮像画像を合成して一つの合成画像を生成する合成画像生成手順とを実行させることを要旨とする。

本発明によれば、暗部と明部とを有する被写体を最適露出条件でハイダイナミックレンジ撮影することができる。

本実施形態のデジタルスチルカメラの概略構成を示すブロック図。 領域毎測光のために複数領域に分割された被写体画像の画面図。 ＨＤＲ撮影処理ルーチンのフローチャート。 本実施形態のデジタルスチルカメラにおける露出値と輝度値との関係を示すグラフ。

以下、本発明を撮像装置としてのデジタルスチルカメラ（以下、「カメラ」という。）及びこのカメラを用いて被写体をハイダイナミックレンジ（ＨＤＲ）撮影する場合の撮像方法に具体化した実施形態を図１〜図４に基づいて説明する。

図１に示すように、カメラ１１は、ズームレンズなどの複数のレンズからなるレンズ部１２（図１では図面の簡略化のため１つのレンズのみ図示）と、レンズ部１２を通過した被写体光の光量を調整する絞り１３と、その絞り１３を通過した被写体光を撮像面となる入射側の受光面１４aに結像させる撮像素子１４とを有している。そして、撮像素子１４
の出力側には、ＡＦＥ（Analog Front End）１５と画像処理回路１６とが接続されると共に、その画像処理回路１６に対してＭＰＵ（Micro Processing Unit）１７がデータバス
１８を介して接続されている。

また、ＭＰＵ１７には、カメラ１１の制御プログラムを記憶した不揮発性メモリ１９、バッファメモリとして機能するＲＡＭ２０、表示手段として機能する液晶表示のモニタ２１、及び記録媒体であるメモリカード２２を挿脱可能なカードＩ／Ｆ（Inter-Face）２３がデータバス１８を介して接続されている。さらに、カメラ本体（図示略）には、そのカメラ１１の使用者により操作されるモード切り替えボタンやレリーズボタン等からなる操作部材２４が、ＭＰＵ１７に対して各々の操作信号（モード切替信号や半押し操作信号など）をデータ通信可能に設けられている。

撮像素子１４は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ、又はＣＣＤ（Charge Coupled Device）イメージセンサからなり、電子シャッター機能を有すると共に、その受光面１４ａには多数の受光素子（図示略）が二次元的に配列されている。そして、撮像素子１４は、その受光面１４ａに結像した被写体像に対応した信号電荷を蓄積し、その蓄積した信号電荷を画像データの元となる画素信号と呼ばれるアナログ信号でＡＦＥ１５に出力する。

ＡＦＥ１５は、撮像素子１４から入力したアナログ信号の画素信号を所定のタイミングでサンプリング（相関二重サンプリング）し、例えばＩＳＯ感度に基づく所定信号レベルとなるように増幅する信号処理部（図示略）と、その増幅後の画素信号をデジタル信号に変換するＡ／Ｄ変換部（図示略）とを有している。そして、ＡＦＥ１５は、アナログ信号の画素信号をＡ／Ｄ変換部でデジタル化することにより生成した画像データを画像処理回路１６に出力する。

画像処理回路１６は、ＡＦＥ１５から入力した画像データに対して、ＭＰＵ１７からの制御信号に基づき各種の画像処理を施す。そして、画像処理回路１６は、そのように画像処理を施した画像データを、ＲＡＭ２０に一旦記憶させると共に、モニタ２１にスルー画像として表示させる。なお、後述するＨＤＲ撮影モードで合成画像を生成する際には、ＲＡＭ２０に記憶した複数の画像を読み出して合成し、再度ＲＡＭ２０に記憶する。また、レリーズボタンが全押し操作された場合は、そのときの画像データと対応する画像をモニタ２１に確認用画像として表示させる一方、例えばＪＰＥＧ圧縮のためのフォーマット処理等の所定の画像処理を施した後に、メモリカード２２に画像ファイルとして記録させる。

不揮発性メモリ１９には、カメラ１１の制御プログラム、カメラ１１における露出条件である露出値（Exposure Value；ＥＶ値）の設定範囲を制限するために定められた露出連動範囲（露出条件設定範囲）の上限値ＲＪ及び下限値ＲＫと、後述する異常閾値、段数閾値及び設定閾値Ｓとが記憶されている（図４参照）。

ＭＰＵ１７は、不揮発性メモリ１９に記憶された画像生成プログラムなどの制御プログラムに基づきカメラ１１における各種の処理動作（例えばＨＤＲ撮影処理等）を統括的に制御する。そして、データバス１８は、そうしたＭＰＵ１７の制御に伴う各種データの伝送路として機能する。また、操作部材２４におけるモード切り替えボタンは、カメラ１１の動作モードを切り替える場合に操作されるボタンであって、例えば撮影モードを通常撮影モードとＨＤＲ撮影モードとの間で切り替える場合に操作される。一方、レリーズボタンは、カメラ１１の動作モードが撮影モードである場合において被写体を撮影するときに押し下げ操作される。

そして、このカメラ１１では、通常撮影モードにおいて操作部材２４のレリーズボタンが半押し操作された段階で被写体に対する焦点合わせのためのＡＦ（Auto Focus）処理と露出調整のためのＡＥ（Auto Exposure）処理が実行され、その後にレリーズボタンが全押し操作された段階で画像の生成処理が実行されるようになっている。一方、このカメラ１１では、ＨＤＲ撮影モードにおいて操作部材２４のレリーズボタンが半押し操作されたときは、通常撮影モードの場合のＡＥ処理及び合成画像生成処理とは異なるＨＤＲ撮影用のＡＥ処理及び合成画像生成処理が実行されるようになっている。

すなわち、ＨＤＲ撮影モードの場合には、図２に示す画像２５における被写体のように暗部と明部とを有する同一の被写体をＨＤＲ撮影する際に必要な高露出側の第１露出条件と低露出側の第２露出条件を決定するためのＡＥ処理が実行される。因みに、図２の画像２５は、太陽２６が山２７の左側上方に位置しているために山麓にある湖２８の湖面が湖畔の立木２９の日陰になって暗くなった風景を被写体とするものである。そのため、この画像２５では、明るい太陽２６が領域内に位置する領域Ａと領域Ｅは明部になる一方、湖面が日陰の湖２８が領域内に位置する領域Ｐと太陽２６を背にした立木２９が領域内に位置する領域Ｌは暗部となる。

なお、図２に示す画像２５の被写体からの光を領域Ａ〜Ｐ毎に測光して領域Ａ〜Ｐ毎の輝度値を検出した場合は、左上隅の領域Ａ内に太陽２６の大半が位置しているため、この左上隅の領域Ａの輝度値が最大輝度値となる。そして、その領域Ａの直ぐ下の領域Ｅ内には太陽２６の一部分が位置しているため、この領域Ｅの輝度値は最大輝度値に準じる高輝度の輝度値となる。したがって、この画像２５内の被写体では、領域Ａの輝度値と領域Ｅの輝度値により最大輝度値を含む一群の高輝度値が構成されている。

その一方、右下隅の領域Ｐ内には日陰で湖面が暗い湖２８が位置しているため、この右下隅の領域Ｐの輝度値が最小輝度値となる。そして、この領域Ｐの直ぐ上の領域Ｌ内には湖畔の立木２９が太陽２６からの光を背にした（具体的には左側後方から受けた）状態で位置しているため、この領域Ｌの輝度値は最小輝度値に準じる低輝度の輝度値となる。したがって、この画像２５内の被写体では、領域Ｐの輝度値と領域Ｌの輝度値により最小輝度値を含む一群の低輝度値が構成されている。

そして、本実施形態の場合は、暗部と明部とを有する被写体画像における領域Ａ〜Ｐ毎の輝度値に基づき第１露出条件と第２露出条件が決定されると、その暗部（領域Ｐ，Ｌ）と明部（領域Ａ，Ｅ）とを有する同一の被写体が第１露出条件と第２露出条件とで連続撮影されるようになっている。因みに、本実施形態の場合は、撮像素子１４の電子シャッター速度が調整されることによりＨＤＲ撮影用のＡＥ処理が実行される。具体的には、連続撮影のための電子シャッター速度として、第１露出条件となる高速側の第１シャッター速度と、第２露出条件となる低速側の第２シャッター速度が設定されるようになっている。

そして、その後にレリーズボタンが全押し操作されたときには、暗部（領域Ｐ，Ｌ）と明部（領域Ａ，Ｅ）とを有する同一の被写体を第１シャッター速度（第１露出条件）と第２シャッター速度（第２露出条件）とで連続撮影して得た２つの撮像画像を合成することによって一つの合成画像が生成されるようになっている。

そこで次に、このカメラ１１を用いて暗部と明部とを有する被写体をＨＤＲ撮影する際にＭＰＵ１７が実行するＨＤＲ撮影処理ルーチン（画像生成プログラム）の概要について、図３のフローチャートを参照しながら以下説明する。

さて、ＭＰＵ１７は、カメラ１１の動作モードが撮影モードである場合において、操作部材２４のモード切り替えボタンが操作されることにより、撮影モードが通常撮影モードからＨＤＲ撮影モードに切り替えられると、図３のフローチャートに示すＨＤＲ撮影処理ルーチンを開始する。

そして先ず、ステップＳ１１において、ＭＰＵ１７は、操作部材２４のレリーズボタンが半押しされたか否かを判定する。ステップＳ１１の判定結果が否定判定（ステップＳ１１＝ＮＯ）である場合、ＭＰＵ１７は、このステップＳ１１の判定を周期的に繰り返す。そして、このステップＳ１１の判定結果が肯定判定（ステップＳ１１＝ＹＥＳ）になると、ＭＰＵ１７は、その処理を次のステップＳ１２に移行する。

そして、次のステップＳ１２において、ＭＰＵ１７は、その時点でモニタ２１にスルー画像として表示されている被写体画像における領域Ａ〜Ｐ毎の輝度値を検出する。具体的には、撮像素子１４で得られたＲ，Ｇ，Ｂの画像データから輝度信号Ｙと色差信号Ｃｒ，Ｃｂとを分離した上で、その輝度信号Ｙを領域Ａ〜Ｐ毎に積算することにより領域Ａ〜Ｐ毎の輝度値を検出する。この点で、ＭＰＵ１７は、輝度値検出手順を実行する輝度値検出手段として機能する。そして、全ての領域Ａ〜Ｐにおける輝度値を検出すると、ＭＰＵ１７は、検出した各輝度値を領域Ａ〜Ｐ毎に対応させてＲＡＭ２０に一時記憶させた後、その処理を次のステップＳ１３に移行する。

そして、次のステップＳ１３において、ＭＰＵ１７は、先のステップＳ１２で検出した領域Ａ〜Ｐ毎の各輝度値の中に異常値があるか否かを判定する。具体的には、検出された全ての輝度値の平均値を算出すると共に、その平均値との数値差が予め不揮発性メモリ１９に記憶した異常閾値を超える輝度値（異常値）があるか否かを判定する。そして、ステップＳ１３の判定結果が肯定判定（ステップＳ１３＝ＹＥＳ）である場合、ＭＰＵ１７は、その処理を次のステップＳ１４に移行する。

そして、次のステップＳ１４において、ＭＰＵ１７は、先のステップＳ１２で検出した領域Ａ〜Ｐ毎の各輝度値の中からステップＳ１３で異常値と判定された輝度値を除外し、その処理を次のステップＳ１５に移行する。一方、ステップＳ１３の判定結果が否定判定（ステップＳ１３＝ＮＯ）である場合、ＭＰＵ１７は、ステップＳ１４を経由することなく、その処理をステップＳ１５に直接移行する。

そして、次のステップＳ１５において、ＭＰＵ１７は、先のステップＳ１４で除外された後の残りの各輝度値の中から第１露出条件と第２露出条件とを決定するための輝度値となる第１輝度値と第２輝度値とを選択する。本実施形態の場合は、先のステップＳ１４で異常値が除外された後の残りの各輝度値のうち輝度が最大の一つの高輝度値が第１輝度値に選択されると共に、残りの各輝度値のうち輝度が最小の一つの低輝度値が第２輝度値に選択される。その後、ＭＰＵ１７は、これらの第１輝度値及び第２輝度値をＲＡＭ２０に一時記憶させた後、その処理を次のステップＳ１６に移行する。

そして、次のステップＳ１６において、ＭＰＵ１７は、第１輝度値（例えば、領域Ａの最大輝度値）及び第２輝度値（例えば、領域Ｐの最小輝度値）に基づき第１露出条件及び第２露出条件を演算する。この点で、ＭＰＵ１７は、露出条件演算手順を実行する露出条件演算手段として機能する。そして、このステップＳ１６の処理が終了すると、ＭＰＵ１７は、その処理を次のステップＳ１７に移行する。

そして、次のステップＳ１７において、ＭＰＵ１７は、第１輝度値（例えば、領域Ａの最大輝度値）に基づき算出される第１露出条件が対応する第１露出段数と第２輝度値（例えば、領域Ｐの最小輝度値）に基づき算出される第２露出条件が対応する第２露出段数との段数差が、予め不揮発性メモリ１９に記憶した段数閾値（本実施形態では３段）以上であるか否かを判定する。そして、このステップＳ１７の判定結果が肯定判定（ステップＳ１７＝ＹＥＳ）である場合、ＭＰＵ１７は、その処理を次のステップＳ１８に移行する。

そして、次のステップＳ１８において、ＭＰＵ１７は、図４に示すように、露出値が、予め不揮発性メモリ１９に記憶された設定閾値Ｓよりも低い側において第１露出段数と第２露出段数との段数差が段数閾値未満（本実施形態では２段）となるように、第２露出段数を調整する。この点で、ＭＰＵ１７は、露出調整手順を実行する露出調整手段として機能する。

具体的には、第１輝度値に基づいて算出される第１露出条件が対応する第１露出段数はそのままで、第２輝度値に基づき算出される第２露出条件が対応する第２露出段数の方を、設定閾値Ｓと露出連動範囲の下限値ＲＫとの間で第１露出段数に近づける。したがって、露出連動範囲内において、設定閾値Ｓよりも低い側における第１露出条件が対応する第１露出段数と第２露出条件が対応する第２露出段数との段数差（２段）が、設定閾値Ｓよりも高い側における第１露出条件が対応する第１露出段数と第２露出条件が対応する第２露出段数との段数差（３段）よりも小さくなる。なお、設定閾値Ｓは、露出連動範囲内における上限値ＲＪと下限値ＲＫとの中間値よりも高い側の１つの値（本実施形態ではＥＶ値１２）に設定されている。

そして、このように設定閾値Ｓよりも低い側において第１露出段数と第２露出段数との段数差が２段となるように調整された後の第２露出段数をＲＡＭ２０に一時記憶させた後、ＭＰＵ１７は、その処理を次のステップＳ１９に移行する。一方、先のステップＳ１７の判定結果が否定判定（ステップＳ１７＝ＮＯ）である場合、ＭＰＵ１７は、ステップＳ１８を経由することなく、その処理をステップＳ１９に直接移行する。

そして、次のステップＳ１９において、ＭＰＵ１７は、段数差が設定閾値Ｓを境に変化する関係にある第１露出段数と第２露出段数とに基づき第１露出条件となる第１シャッター速度と第２露出条件となる第２シャッター速度とを連続撮影時における撮像素子１４における電子シャッター速度として設定する。この点で、ＭＰＵ１７は、露出条件設定手順を実行する露出条件設定手段として機能する。そして、このステップＳ１９の処理が終了すると、ＭＰＵ１７は、その処理を次のステップＳ２０に移行する。

そして、次のステップＳ２０において、ＭＰＵ１７は、操作部材２４のレリーズボタンが全押しされたか否かを判定する。ステップＳ２０の判定結果が否定判定（ステップＳ２０＝ＮＯ）である場合、ＭＰＵ１７は、このステップＳ２０の判定を周期的に繰り返す。そして、ステップＳ２０の判定結果が肯定判定（ステップＳ２０＝ＹＥＳ）になると、ＭＰＵ１７は、その処理を次のステップＳ２１に移行する。

そして、次のステップＳ２１において、ＭＰＵ１７は、撮像素子１４の電子シャッター機能により被写体を第１シャッター速度と第２シャッター速度で連続撮影して得られた２つの撮像画像の画像データを画像処理回路１６において合成させることにより一つの合成画像を生成する。この点で、ＭＰＵ１７と画像処理回路１６は、合成画像生成手順を実行する合成画像生成手段として機能する。そして、そのような画像処理により生成した合成画像をモニタ２１に確認用画像として表示させた後、その画像の画像データをファイル化してメモリカード２２に記憶させると、ＭＰＵ１７は、以上のＨＤＲ撮影処理ルーチンを終了する。

なお、ＨＤＲ撮影モードで複数の画像の合成を行なう際には、合成する画像間のズレを検出し、被写体像が一致するように少なくとも一枚の画像をシフトさせて合成させる。画像間のズレは、例えば、画像間の動きベクトルを解析して検出してもよく、その他の方法を用いてもよい。

次に、以上のように構成された本実施形態のカメラ１１の作用について、特に、暗部と明部とを有する被写体をＨＤＲ撮影する場合の撮像方法に着目して以下説明する。
なお、説明の前提として、この場合にカメラ１１で撮影する画像は図２に示す風景の画像２５であって、既述したように、その画像２５における被写体画像は暗部と明部を有しているものとする。そして、その被写体画像を１６個の領域Ａ〜Ｐに分割した場合における領域Ａ〜Ｐ毎の輝度値については、領域内に太陽２６の大半が位置する左上隅の領域Ａの輝度値が最大輝度値である一方、領域内に日陰で湖面が暗い湖２８が位置する右下隅の領域Ｐの輝度値が最小輝度値であるものとする。さらに、操作部材２４におけるモード切り替えボタンが操作されたことにより撮影モードは通常撮影モードからＨＤＲ撮影モードに切り替えられているものとする。

さて、以上のような前提の下、カメラ１１のレンズ部１２を被写体となる山２７の方向に向けると、山麓に湖２８と立木２９がある山２７の稜線の左側上方に太陽２６が昇った状態にある風景がスルー画像としてモニタ２１に表示される。そして、その状態で、カメラ１１の使用者により、レリーズボタンが半押しされると、ＡＦ処理が実行されると共に、ＨＤＲ撮影用のＡＥ処理として電子シャッター機能を有する撮像素子１４における連続撮影時のシャッター速度が設定される。

すなわち、被写体画像における各領域Ａ〜Ｐの輝度値のうち領域Ａの輝度値である最大輝度値に基づき高速側の第１シャッター速度（高露出側の第1露出条件）が設定される。また、被写体画像における各領域Ａ〜Ｐの輝度値のうち領域Ｐの輝度値である最小輝度値に基づき低速側の第２シャッター速度（低露出側の第２露出条件）が設定される。

なお、この場合における第１シャッター速度の露出段数と第２シャッター速度の露出段数との段数差が段数閾値（３段）以上であると、その段数差が露出連動範囲内における設定閾値ＳよりもＥＶ値が低い側で段数閾値未満（２段）となるように、第２シャッター速度の露出段数が第１シャッター速度の露出段数に近づけられる。そして、そのような段数差の調整が行なわれた後の露出段数と対応した各シャッター速度が連続撮影用の第１シャッター速度及び第２シャッター速度として設定される。

ここで、例えば、第１シャッター速度の露出段数と第２シャッター速度の露出段数との段数差が露出連動範囲内の全域に亘って３段であった場合には、露出連動範囲における設定閾値Ｓよりも高い側（輝度値が高い側）の領域では適正露出値となるが、設定閾値Ｓよりも低い側（輝度値が中程度〜低い側）の領域では露出オーバーとなる可能性がある。これは、被写体画像の輝度値が高い場合（被写体画像の明るさが明るい場合）における明部と暗部との差に比べて、被写体画像の輝度値が中程度〜低い場合（被写体画像の明るさが通常〜暗い場合）における明部と暗部との差の方が小さいからである。

この点、本実施形態では、上述のように露出連動範囲内における設定閾値ＳよりもＥＶ値が低い側で第２シャッター速度の露出段数を第１シャッター速度の露出段数に近づけることによってこれら両露出段数の段数差の調整が行われるため、被写体画像の輝度値が中〜低い場合でも、露出オーバーになることが効果的に抑制される。

また、シャッター速度（露出条件）の算出基礎となる各領域Ａ〜Ｐの輝度値に関して、全領域の平均輝度値との数値差が異常閾値を超える輝度値を検出したときには、その領域の輝度値はＨＤＲ撮影に用いるシャッター速度の算出基礎には不適な異常値であるとして除外される。そして、こうした異常値を除外した残りの各輝度値に基づき第１シャッター速度及び第２シャッター速度が決定される。

そして、このように第１シャッター速度及び第２シャッター速度が設定された後において、カメラ１１のレリーズボタンが全押しされると、被写体画像が第１シャッター速度と第２シャッター速度で連続撮影される。その際、第１シャッター速度は、その被写体画像では明部となる領域Ａの輝度値（最大輝度値）に適合した露出条件となるシャッター速度であるため、かかる第１シャッター速度で撮影された第１撮像画像には白とびの発生もほとんど無い。同様に、第２シャッター速度は、その被写体画像で暗部となる領域Ｐの輝度値（最小輝度値）に適合した露出条件となるシャッター速度であるため、かかる第２シャッター速度で撮影された第２撮像画像には黒つぶれの発生もほとんど無い。

そして、そのような連続撮影により得られた第１撮像画像と第２撮影画像が合成された一つの合成画像がＭＰＵ１７の制御に基づき画像処理回路１６において生成される。すると、暗部が黒つぶれすることなく、また、明部が白飛びしていない一つの合成画像が生成され、その合成画像がメモリカード２２に記憶保存される。

以上のような本実施形態によれば、以下のような効果を得ることができる。
（１）第１シャッター速度の露出段数と第２シャッター速度の露出段数との段数差は、設定閾値Ｓよりも露出値（ＥＶ値）が低い側の方が、設定閾値Ｓよりも露出値が高い側よりも小さくなるように、第２シャッター速度の露出段数を第１シャッター速度の露出段数に近づけることで調整される。このため、設定閾値Ｓを適宜変更することで、暗部と明部とを有する被写体画像の輝度の高さにかかわらず、その輝度（明るさ）に応じた最適露出条件でＨＤＲ撮影することができる。

（２）設定閾値Ｓが露出連動範囲内における上限値ＲＪと下限値ＲＫとの中間値よりも露出値が高い側に設定された１つの値に設定されているため、被写体画像の輝度値が高い場合だけでなく中程度〜低い場合でも、露出オーバーになることを効果的に抑制することができる。

（３）被写体の画像における実際の輝度値（第１輝度値及び第２輝度値）に基づきＨＤＲ撮影用の各露出条件として高速側の第１シャッター速度及び低速側の第２シャッター速度を設定しているので、暗部と明部とを有する被写体を暗部と明部との明暗比に応じた最適露出条件でＨＤＲ撮影することができる。

（４）暗部（領域Ｐ）と明部（領域Ａ）とを有する被写体の画像における複数の分割領域Ａ〜Ｐ毎の輝度値を検出した上で、明部の輝度値に基づき高露出用の第１露出条件を設定すると共に、暗部の輝度値に基づき低露出用の第２露出条件を設定している。そのため、暗部と明部とを有する被写体を暗部と明部との実際の明暗比に応じた最適露出条件で、より一層好適にＨＤＲ撮影することができる。

（５）高露出側の第１露出条件の算出基礎となる第１輝度値として最も明るい領域Ａの輝度値である最大輝度値を用いると共に、低露出側の第２露出条件の算出基礎となる第２輝度値として最も暗い領域Ｐの輝度値である最小輝度値を用いるようにしている。そのため、明暗比に応じた露出条件の設定を簡便に行なうことができる。

（６）領域Ａ〜Ｐ毎の輝度値を検出した場合において、平均輝度値から大きく乖離した異常値の輝度値がある場合には、そうした異常な輝度値を除外し、残りの各輝度値中から第１及び第２露出条件の算出基礎となる第１及び第２輝度値を選択するようにしている。そのため、異常な露出条件を設定してしまう虞を抑制することができる。

（７）本実施形態では、露出条件である露出値を決定する場合の三要素であるシャッター速度、絞り値及びＩＳＯ感度のうちシャッター速度で露出段数を設定するようにしている。そのため、絞り値やＩＳＯ感度で露出条件を設定する場合との対比において、被写界深度が変わったり色かけが生じたりする虞を抑制しつつ簡単に露出条件を設定することができる。

なお、上記実施形態は以下のような別の実施形態に変更してもよい。
・第１露出条件及び第２露出条件は、被写体画像の平均輝度値に対応する露出段数（露出値）に対して予め設定した露出段数分だけ加算及び減算した各露出段数にそれぞれ対応させて設定するようにしてもよい。すなわち、被写体画像の暗部及び明部のそれぞれの輝度値を実測することなく、被写体画像の平均輝度値に基づいて該被写体画像の暗部及び明部の露出段数をそれぞれ機械的に算出し、その算出した各露出段数に基づき第１露出条件及び第２露出条件をそれぞれ設定するようにしてもよい。

・第１露出条件及び第２露出条件を設定する場合の基礎値となる第１輝度値及び第２輝度値としては、最大輝度値及び最小輝度値以外の高輝度値及び低輝度値を用いてもよい。例えば、第１輝度値としては明部のうちで２番目に明るい領域Ｅの輝度値（高輝度値）を用いると共に、第２輝度値としては暗部のうちで２番目に暗い領域Ｌの輝度値（低輝度値）を用いるようにしてもよい。要は、最大輝度値を含む一群の高輝度値中の一つの輝度値を第１輝度値にすると共に、最小輝度値を含む一群の低輝度値中の一つの輝度値を第２輝度値として、高露出側の第１露出条件及び低露出側の第２露出条件を設定するようにしてもよい。

・被写体画像の領域Ａ〜Ｐ毎に検出された各輝度値のうちに異常な輝度値があるか否かを異常閾値との対比により判別する工程を省略してもよい。すなわち、ＨＤＲ撮影処理ルーチンにおいて、ステップＳ１３及びステップＳ１４を省略してもよい。

・ＨＤＲ撮影処理ルーチンのステップＳ１７において、段数閾値は３段以外の任意の段数（例えば、３段、４段、６段など）に設定されたものであってもよい。この場合、設定閾値Ｓを境に調整する第２露出条件の第２露出段数も、段数閾値に合わせて適宜設定する必要がある。

・ＨＤＲ撮影処理ルーチンのステップＳ１８において、第２露出条件の第２露出段数を設定閾値Ｓから露出連動範囲の下限値ＲＫまでの間で段階的に第１露出条件の第１露出段数に近づけるようにしてもよい。

・ＨＤＲ撮影処理ルーチンのステップＳ１８において、第２露出条件の第２露出段数を設定閾値Ｓから露出連動範囲の下限値ＲＫに向かうに連れて徐々に（リニアに）第１露出条件の第１露出段数に近づけるようにしてもよい。

・露出連動範囲内に設定閾値Ｓを複数設定してもよい。例えば、露出連動範囲内における上限値ＲＪと下限値ＲＫとの中間値よりも低い側の１つの値（例えばＥＶ値５）に更に他の設定閾値を設定し、この更に設定した設定閾値と露出連動範囲の下限値ＲＫとの間で第１露出条件の第１露出段数と第２露出条件の第２露出段数との段数差が１段となるようにしてもよい。

・設定閾値Ｓは、必ずしも露出連動範囲内に設定する必要はない。すなわち、設定閾値Ｓは、露出連動範囲の上限値ＲＪよりも高い値に設定してもよいし、露出連動範囲の下限値ＲＫよりも低い値に設定してもよい。

・被写体画像を任意の数の分割領域に分割し、その分割した分割領域毎に輝度値を検出するようにしてもよい。すなわち、例えば、被写体画像を全く分割することなく輝度値を検出するようにしてもよい。

・露出条件を決定する場合、シャッター速度以外に絞り１３の絞り値やＩＳＯ感度により露出条件を設定するようにしてもよい。すなわち、シャッター速度、絞り値及びＩＳＯ感度のうちの少なくとも一つにより露出条件を設定可能である。

・なお、上記実施の形態では、設定閾値Ｓと露出値（ＥＶ値）とを比較して露出段数の変更を行なったが、比較する値は、明るさを示す値であれば他の値（例えば、外光輝度を示すＢＶ値）でもよい。

・画像生成プログラムを予めメモリカードなどの外部記憶媒体に記憶させておき、該外部記憶媒体をカメラに装着した際に、外部記憶媒体からカメラに画像生成プログラムが取り込まれるようにしてもよい。

・上記実施形態においては、撮像装置の一種であるデジタルスチルカメラに具体化したが、例えばデジタルビデオカメラやカメラ機能付き携帯電話などの他の撮像装置及びそれらを用いた撮像方法に具体化してもよい。

・上記実施の形態においては、撮像素子の受光面に結像した被写体画像を測光して輝度地を検出したが、撮像素子ではなく、他の測光素子を用いて被写体の輝度値を検出することとしてもよい。

・上記実施の形態においては、設定閾値よりもＥＶ値が低い場合には、該ＥＶ値が高い場合よりも露出段数の差を小さくすると説明している。しかしながら、ＭＰＵ１７は、設定閾値よりもＥＶ値が低い場合には、該ＥＶ値が高い場合よりも露出値の差を小さくなるようにしてもよい。このような場合、ＭＰＵ１７は、設定された閾値よりも低い側の、第１露出条件に対応する第１露出値と、第２露出条件に対応する第２露出値との差を、設定された閾値よりも高い側の、第１露出条件に対応する第１露出値と、第２露出条件に対応する第２露出値との差よりも小さくなるように第２露出値を調整する。

・上記実施の形態においては、設定した閾値よりも高い場合と、低い場合とで露出段数（露出値）の差を異ならせることとして説明している。しかしながら、露出段数（露出値）の差を異ならせる条件は他の条件でもいい。例えば、ＭＰＵ１７は、相対的に暗いシーンの場合は、相対的に明るいシーンの場合よりも、露出段数（露出値）の差を小さくしてもよい。この場合、ＭＰＵ１７は、第１露出条件に対応する第１露出値と、第２露出条件に対応する第２露出値との差が、相対的に明るいシーンよりも相対的に暗いシーンの方が小さくなるように、第２露出値を調整する。また、例えば、ＭＰＵ１７は、分割測光により得た各輝度値のうち、最も低い輝度値が所定の閾値よりも低い場合に、最も低い輝度値が所定の閾値より高い場合よりも、露出段数（露出値）の差が小さくなるように第２露出値を調整してもよい。また、ＭＰＵ１７は、分割測光により得た各輝度値の平均値が所定の閾値よりも低い場合に、各輝度値の平均値が所定の閾値より高い場合よりも、露出段数（露出値）の差が小さくなるように第２露出値を調整してもよい。なお、上記所定の閾値は、ユーザにより、あるいは撮影シーン等に応じて適宜変更可能としてもよい。

１１…カメラ（撮像装置）、１４…撮像素子（輝度値検出手段）、１４ａ…受光面、１６…画像処理回路（合成画像生成手段）、１７…ＭＰＵ（輝度値検出手段、露出条件演算手段、露出調整手段、露出条件設定手段、合成画像生成手段、コンピュータ）、Ａ〜Ｐ…領域、Ｓ…設定閾値（閾値）。

Claims (7)

1. 被写体を測光して輝度値を検出する輝度値検出手段と、
   該輝度値検出手段により検出された輝度値に基づき、第１露出条件と、該第１露出条件よりも低露出側の第２露出条件とを演算する露出条件演算手段と、
   設定された閾値よりも低い側の、前記第１露出条件に対応する第１露出値と、前記第２露出条件に対応する第２露出値との差を、設定された閾値よりも高い側の、前記第１露出条件に対応する第１露出値と、前記第２露出条件に対応する第２露出値との差よりも小さくなるように前記第２露出値を調整する露出調整手段と、
   該露出調整手段の調整後における露出値と対応する露出条件を前記第１露出条件及び前記第２露出条件として設定する露出条件設定手段と、
   該露出条件設定手段により設定された前記第１露出条件及び前記第２露出条件に従って撮像された撮像画像を合成して一つの合成画像を生成する合成画像生成手段とを備えたことを特徴とする撮像装置。
2. 被写体を測光して輝度値を検出する輝度値検出手段と、
   該輝度値検出手段により検出された輝度値に基づき、第１露出条件と、該第１露出条件よりも低露出側の第２露出条件とを演算する露出条件演算手段と、
   前記第１露出条件に対応する第１露出値と、前記第２露出条件に対応する第２露出値との差が、相対的に明るいシーンよりも、相対的に暗いシーンの方が小さくなるように、前記第２露出値を調整する露出調整手段と、
   該露出調整手段の調整後における露出値と対応する露出条件を前記第１露出条件及び前記第２露出条件として設定する露出条件設定手段と、
   該露出条件設定手段により設定された前記第１露出条件及び前記第２露出条件に従って撮像された撮像画像を合成して一つの合成画像を生成する合成画像生成手段とを備えたことを特徴とする撮像装置。
3. 前記閾値は、露出条件の設定範囲を制限するために定められた露出条件設定範囲内における中間値よりも高い側の値を含む少なくとも１つの値に設定されていることを特徴とする請求項１に記載の撮像装置。
4. 前記輝度値検出手段は、前記被写体を複数の分割領域毎に測光して領域毎の輝度値を検出し、
   前記露出条件演算手段は、前記輝度値検出手段により検出された各輝度値のうちの最大輝度値を含む一群の高輝度値中の一つの輝度値を第１輝度値として、該第１輝度値に基づき前記第１露出条件を演算すると共に、前記各輝度値のうちの最小輝度値を含む一群の低輝度値中の一つの輝度値を第２輝度値として、該第２輝度値に基づき前記第２露出条件を演算することを特徴とする請求項１〜３のいずれか一つに記載の撮像装置。
5. 前記第１輝度値は前記一群の高輝度値中の前記最大輝度値であり、前記第２輝度値は前記一群の低輝度値中の前記最小輝度値であることを特徴とする請求項４に記載の撮像装置。
6. コンピュータに、
   被写体を測光して輝度値を検出する輝度値検出手順と、
   該輝度値検出手順により検出された輝度値に基づき、第１露出条件と、該第１露出条件よりも低露出側の第２露出条件とを演算する露出条件演算手順と、
   設定された閾値よりも低い側の、前記第１露出条件に対応する第１露出値と、前記第２露出条件に対応する第２露出値との差を、設定された閾値よりも高い側の、前記第１露出条件に対応する第１露出値と、前記第２露出条件に対応する第２露出値との差よりも小さくなるように前記第２露出値を調整する露出調整手順と、
   該露出調整手順の調整後における露出値と対応する露出条件を前記第１露出条件及び前記第２露出条件として設定する露出条件設定手順と、
   該露出条件設定手順により設定された前記第１露出条件及び前記第２露出条件に従って各々撮像された撮像画像を合成して一つの合成画像を生成する合成画像生成手順とを実行させるための画像生成プログラム。
7. コンピュータに、
   被写体を測光して輝度値を検出する輝度値検出手順と、
   該輝度値検出手順により検出された輝度値に基づき、第１露出条件と、該第１露出条件よりも低露出側の第２露出条件とを演算する露出条件演算手順と、
   前記第１露出条件に対応する第１露出値と、前記第２露出条件に対応する第２露出値との差が、相対的に明るいシーンよりも、相対的に暗いシーンの方が小さくなるように、前記第２露出値を調整する露出調整手順と、
   該露出調整手順の調整後における露出値と対応する露出条件を前記第１露出条件及び前記第２露出条件として設定する露出条件設定手順と、
   該露出条件設定手順により設定された前記第１露出条件及び前記第２露出条件に従って撮像された撮像画像を合成して一つの合成画像を生成する合成画像生成手順とを実行させるための画像生成プログラム。

Images