JP4678060B2 - 撮像装置および画像処理プログラム - Google Patents

Description

本発明は、撮像装置および画像処理プログラムに関する。

従来より、撮像装置の露出調節に関する様々な技術が考えられている。例えば、特許文献１の発明では、顔検出の結果に応じて、被写体に含まれる顔領域の輝度を上げるように階調特性を変換することにより、顔領域を重視した露出調節を行っている。

特開２００７−１２４６０４号公報

しかし、特許文献１の発明では、顔領域の輝度を上げるように階調特性を変換するため、ハイライト側のコントラストが低下する。すなわち、顔領域を重視した結果、背景部分に問題が発生してしまう場合があった。

本発明は、上記問題に鑑みてなされたものであり、主要被写体部分および背景部分の両方に関して、最適な露出調節および暗部階調の補正を行うことを目的とする。

本発明の撮像装置は、被写体を撮像して画像データを生成する撮像部と、前記画像データからボケ画像を生成する生成部と、前記画像データに含まれる主要被写体領域を検出する検出部と、前記ボケ画像のうち、前記主要被写体領域の画像に基づいて、明るさに関する評価値を算出し、算出した前記評価値に基づいて、前記撮像部により生成した前記画像データの暗部階調の補正を行う際の明度の向上量を演算する演算部とを備える。
なお、前記被写体を複数の領域に分割して測光する測光部と、前記測光部の測光結果に基づいて、第１の露出制御値を演算する第１測光演算部と、前記測光部の測光結果に基づいて、前記第１の露出制御値と異なる第２の露出制御値を演算する第２測光演算部とをさらに備え、前記撮像部は、前記暗部階調の補正を行う際には、前記第２の露出制御値に従って前記被写体を撮像し、前記演算部は、前記評価値と前記第２の露出制御値とに基づいて、前記明度の向上量を演算しても良い。
また、前記第２測光演算部は、前記第１の露出制御値と、前記複数の領域における測光値の最大値とを比較し、比較結果に応じて、前記第１の露出制御値を補正して前記第２の露出制御値を演算しても良い。
また、予め定められた複数の撮影モードからいずれかの撮影モードを選択するモード選択部をさらに備え、前記第２測光演算部は、前記モード選択部により選択された前記撮影モードの種類に応じた前記第２露出制御値を演算しても良い。
また、前記撮像部による撮像時の撮影感度を設定する設定部をさらに備え、前記第２測光演算部は、前記設定部により設定された前記撮影感度に応じた前記第２露出制御値を演算しても良い。
また、前記検出部は、前記主要被写体領域として、前記画像データに含まれる人物の顔領域を検出しても良い。
また、前記検出部は、複数の前記顔領域を検出し、前記演算部は、複数の前記顔領域のうち、面積が最大の顔領域の画像に基づいて前記評価値を算出しても良い。
また、前記検出部は、複数の前記顔領域を検出し、前記演算部は、複数の前記顔領域のうち、最も暗い顔領域の画像に基づいて前記評価値を算出しても良い。
また、前記検出部は、複数の前記顔領域を検出し、前記演算部は、複数の前記顔領域ごとに前記評価値を算出し、算出した複数の前記評価値を重み付け加重加算した結果に基づいて、前記明度の向上量を演算しても良い。
また、前記演算部により演算された前記明度の向上量に従って、前記撮像部で生成された前記画像データの暗部階調の明度を向上する補正を行う補正部と、前記補正部による補正後の前記画像データを記録する記録部とをさらに備えても良い。
また、前記補正部は、前記生成部により生成した前記ボケ画像を用いて、前記暗部階調の補正を行っても良い。
また、予め定められた複数の撮影モードからいずれかの撮影モードを選択するモード選択部と、前記モード選択部により選択された前記撮影モードの種類に応じて、前記演算部による前記明度の向上量の演算および前記補正部による補正を行うか否かを切り替える制御部とをさらに備えても良い。
また、上記発明に関する構成を、処理対象の画像データに対する画像処理を実現するための画像処理プログラムに変換して表現したものも本発明の具体的態様として有効である。

本発明によれば、主要被写体部分および背景部分の両方に関して、最適な露出調節および暗部階調の補正を行うことができる。

本実施形態の電子カメラ１の構成を示す図である。 測光センサ１２について説明する図である。 本実施形態の電子カメラ１の機能ブロック図である。 本実施形態の電子カメラ１の撮影時の動作を示すフローチャートである。 本実施形態の電子カメラ１の撮影時の動作を示すフローチャートである（続き）。 顔領域の検出について説明する図である。 ローパスフィルタの特性を示す図である。 本実施形態の階調圧縮のゲイン向上関数ｆｇを示す図である。

以下、図面を用いて本発明の実施形態について説明する。実施形態では、本発明の撮像装置の一例として、一眼レフタイプの電子カメラを用いて説明する。

図１は、実施形態の電子カメラ１の構成を示す図である。図１に示すように、電子カメラ１は、撮影レンズ２、絞り３、クイックリターンミラー４、サブミラー５、拡散スクリーン６、コンデンサレンズ７、ペンタプリズム８、ビームスプリッタ９、接眼レンズ１０、結像レンズ１１、測光センサ１２、シャッタ１３、撮像素子１４、焦点検出部１５の各部を備える。

測光センサ１２は、図２Ａに示す２４分割の測光センサである。そして、この測光センサ２４を用いた測光に関しては、「分割測光モード」、「中央重点測光モード」、「スポット測光モード」などの複数の測光モードを有し、何れかの測光モードを選択的に実行する。また、撮像素子１４は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの半導体デバイスである。焦点検出部１５は、例えば、位相差方式の焦点検出を行い、撮影レンズ２の焦点状態を検出する。

また、電子カメラ１は、撮像により生成された画像などを表示する液晶モニタなどのモニタ１６各部を制御する制御部１７をさらに備える。制御部１７は、内部に不図示のメモリを備え、各部を制御するためのプログラムを予め記録する。

非撮影時、すなわち撮影を行わない場合には、クイックリターンミラー４は、図１に示すように、４５°の角度に配置される。そして、撮影レンズ２および絞り３を通過した光束は、クイックリターンミラー４で反射され、拡散スクリーン６、コンデンサレンズ７、ペンタプリズム８、ビームスプリッタ９を介して接眼レンズ１０に導かれる。ユーザは、接眼レンズ１０を介して被写体の像を目視することにより構図確認を行う。一方、ビームスプリッタ９により、上方に分割された光束は、結像レンズ１１を介して測光センサ１２の撮像面上に再結像される。また、クイックリターンミラー４を透過した光束は、サブミラー５を介して焦点検出部１５に導かれる。

一方、撮影時には、クイックリターンミラー４が、破線で示す位置に退避してシャッタ１３が開放し、撮影レンズ２からの光束は撮像素子１４に導かれる。

図３は、実施形態の電子カメラ１の機能ブロック図である。図３に示すように、電子カメラ１は、図１の構成に加えて、タイミングジェネレータ２０、信号処理部２１、Ａ／Ｄ変換部２２、バッファメモリ２３、バス２４、カードインターフェース２５、圧縮伸長部２６、画像表示部２７の各部を備える。タイミングジェネレータ２０は、撮像素子１４に出力パルスを供給する。また、撮像素子１４で生成される画像データは、信号処理部２１（撮像感度に対応するゲイン調整部を含む）およびＡ／Ｄ変換部２２を介して、バッファメモリ２３に一時記憶される。バッファメモリ２３は、バス２４に接続される。このバス２４には、カードインターフェース２５、図１で説明した制御部１７、圧縮伸張部２６、および画像表示部２７が接続される。カードインターフェース２５は、着脱自在なメモリカード２８と接続し、メモリカード２８に画像データを記録する。また、制御部１７には、電子カメラ１のスイッチ群２９（不図示のレリーズ釦などを含む）、タイミングジェネレータ２０、および測光センサ１２が接続される。さらに、画像表示部２７は、電子カメラ１の背面に設けられたモニタ１６に画像などを表示する。

また、電子カメラ１は、予め定められた複数の撮影モードを備える。複数の撮影モードには、例えば、シャッタ速度および絞り値が自動決定されるマルチプログラムオートモード（Ｐモード）、シャッタ速度をユーザが指定可能なシャッタ優先オートモード（Ｓモード）、絞り値をユーザが指定可能な絞り優先オートモード（Ａモード）、マニュアルモード、フルオートモード、人物撮影モード（ポートレートモードなど）、その他のモード（風景モード、クローズアップモード、夜景モードなど）などが含まれる。これらの撮影モードは、ユーザによりスイッチ群２９を介して予め選択される。

また、電子カメラ１は、画像データの暗部階調の補正を行わない階調非圧縮モードと、暗部階調の補正を行う階調圧縮モードとを備える。何れのモードにより撮影を実行するかは、ユーザによりスイッチ群２９を介して予め選択されても良いし、制御部１７により自動で選択されても良い。制御部１７による自動選択は、撮影モードの種類や被写体認識結果などに応じて行われる。

以上説明した構成の電子カメラ１の撮影時の動作について、図４および図５に示すフローチャートを用いて説明する。

ステップＳ１において、制御部１７は、測光センサ１２による測光結果に応じて測光演算を行う。測光演算について、図５に示すフローチャートを用いて説明する。

ステップＳ１１において、制御部１７は、測光センサ１２から２４分割の測光結果を取得する。測光センサ１２は、入射した光を光電変換し、図２Ａに示すように、分割されたそれぞれの領域に対応する２４分割の輝度値Ｂｖ[１，１]からＢｖ[６，４]を出力する。

ステップＳ１２において、制御部１７は、ステップＳ１１で取得した２４分割の測光結果に基づいて、１５分割の測光結果を取得する。制御部１７は、ステップＳ１１で取得した２４分割の輝度値Ｂｖ[１，１]からＢｖ[６，４]を４つずつまとめて、１５分割の輝度値ＲＢｖ[１]からＲＢｖ[１５]を取得する。１５分割の輝度値ＲＢｖ[１]からＲＢｖ[１５]は、以下の式１から式１５により演算される。また、図２Ｂに１５分割の領域の一部（ＲＢｖ[１]，ＲＢｖ[３]，ＲＢｖ[５]，ＲＢｖ[１１]，ＲＢｖ[１３]，ＲＢｖ[１５]）を例示する。

ＲＢｖ[１]＝（Ｂｖ[１，１]＋Ｂｖ[２，１]＋Ｂｖ[１，２]＋Ｂｖ[２，２]）／４…（式１）
ＲＢｖ[２]＝（Ｂｖ[２，１]＋Ｂｖ[３，１]＋Ｂｖ[２，２]＋Ｂｖ[３，２]）／４…（式２）
ＲＢｖ[３]＝（Ｂｖ[３，１]＋Ｂｖ[４，１]＋Ｂｖ[３，２]＋Ｂｖ[４，２]）／４…（式３）
ＲＢｖ[４]＝（Ｂｖ[４，１]＋Ｂｖ[５，１]＋Ｂｖ[４，２]＋Ｂｖ[５，２]）／４…（式４）
ＲＢｖ[５]＝（Ｂｖ[５，１]＋Ｂｖ[６，１]＋Ｂｖ[５，２]＋Ｂｖ[６，２]）／４…（式５）
ＲＢｖ[６]＝（Ｂｖ[１，２]＋Ｂｖ[２，２]＋Ｂｖ[１，３]＋Ｂｖ[２，３]）／４…（式６）
ＲＢｖ[７]＝（Ｂｖ[２，２]＋Ｂｖ[３，２]＋Ｂｖ[２，３]＋Ｂｖ[３，３]）／４…（式７）
ＲＢｖ[８]＝（Ｂｖ[３，２]＋Ｂｖ[４，２]＋Ｂｖ[３，３]＋Ｂｖ[４，３]）／４…（式８）
ＲＢｖ[９]＝（Ｂｖ[４，２]＋Ｂｖ[５，２]＋Ｂｖ[４，３]＋Ｂｖ[５，３]）／４…（式９）
ＲＢｖ[１０]＝（Ｂｖ[５，２]＋Ｂｖ[６，２]＋Ｂｖ[５，３]＋Ｂｖ[６，３]）／４…（式１０）
ＲＢｖ[１１]＝（Ｂｖ[１，３]＋Ｂｖ[２，３]＋Ｂｖ[１，４]＋Ｂｖ[２，４]）／４…（式１１）
ＲＢｖ[１２]＝（Ｂｖ[２，３]＋Ｂｖ[３，３]＋Ｂｖ[２，４]＋Ｂｖ[３，４]）／４…（式１２）
ＲＢｖ[１３]＝（Ｂｖ[３，３]＋Ｂｖ[４，３]＋Ｂｖ[３，４]＋Ｂｖ[４，４]）／４…（式１３）
ＲＢｖ[１４]＝（Ｂｖ[４，３]＋Ｂｖ[５，３]＋Ｂｖ[４，４]＋Ｂｖ[５，４]）／４…（式１４）
ＲＢｖ[１５]＝（Ｂｖ[５，３]＋Ｂｖ[６，３]＋Ｂｖ[５，４]＋Ｂｖ[６，４]）／４…（式１５）
ステップＳ１３において、制御部１７は、ステップＳ１１およびステップＳ１２で取得した測光結果に基づいて、平均輝度値ＢｖＭｅａｎ、１５分割の輝度値ＲＢｖの最大輝度値ＢｖＭａｘ１５、最小輝度値ＢｖＭｉｎ１５、中央部輝度値ＢｖＣ、２４分割の輝度値Ｂｖの最大輝度値ＢｖＭａｘ２４を特徴量として演算する。各値は、以下の各式により求められる。

ＢｖＭａｘ１５＝ＭＡＸ（ＲＢｖ[１]〜ＲＢｖ[１５]）…（式１７）
ＢｖＭｉｎ１５＝ＭＩＮ（ＲＢｖ[１]〜ＲＢｖ[１５]）…（式１８）
ＢｖＣ＝ＲＢｖ[８]…（式１９）
ＢｖＭａｘ２４＝ＭＡＸ（Ｂｖ[１，１]〜Ｂｖ[６，４]）…（式２０）
ステップＳ１４において、制御部１７は、ステップＳ１３で演算した各値に基づいて、露出制御値ＢｖＣｎｔｌ０を演算する。露出制御値ＢｖＣｎｔｌ０は、次式により求められる。

ＢｖＣｎｔｌ０＝ｋ１・ＢｖＭｅａｎ＋ｋ２・ＢｖＭａｘ１５＋ｋ３・ＢｖＭｉｎ１５＋ｋ４・ＢｖＣ＋ｋ５…（式２１）
式２１において、ｋ１からｋ４は、各項の重みを示す係数である。また、ｋ５は、定数項である。ｋ１からｋ５は、平均輝度値ＢｖＭｅａｎに応じた数であり、様々なサンプルシーンでより良い画像となるように予め決定される。ｋ１からｋ５の例を以下の表１に示す。

ステップＳ１５において、制御部１７は、ステップＳ１４で演算した露出制御値ＢｖＣｎｔｌ０と、２４分割の輝度値Ｂｖの最大輝度値ＢｖＭａｘ２４とを比較する。制御部１７は、露出制御値ＢｖＣｎｔｌ０と２４分割の輝度値Ｂｖの最大輝度値ＢｖＭａｘ２４との差が所定値ｔｈＨｉをこえる値ｄＨｉを、次式を用いて求める。

ｄＨｉ＝ＢｖＭａｘ２４−ＢｖＣｎｔｌ０−ｔｈＨｉ…（式２２）
式２２において、所定値ｔｈＨｉは、画像のハイライト部分が飽和を起こすと推定される量で、例えば、２Ｅｖから３Ｅｖ程度である。この所定値ｔｈＨｉは、撮像センサである撮像素子１４の飽和レベルや、測光センサ１２の画素の大きさなどにより最適な値とする。

ステップＳ１６において、制御部１７は、ステップＳ１５における比較結果に基づいて、ハイライト復元量ＨｉＲｃｖを演算する。制御部１７は、ハイライト復元量ＨｉＲｃｖを、次式を用いて求める。

式２３に示すように、制御部１７は、ステップＳ１５で求めた、露出制御値ＢｖＣｎｔｌ０と２４分割の輝度値Ｂｖの最大輝度値ＢｖＭａｘ２４との差が所定値ｔｈＨｉをこえる値ｄＨｉを、０から閾値ｔｈｄＨｉの間へクリップしてハイライト復元量ＨｉＲｃｖとする。

式２３において、閾値ｔｈｄＨｉは撮像センサである撮像素子１４のダイナミックレンジの大きさに依存するハイライト復元可能な量を示す所定の閾値である。制御部１７は、閾値ｔｈｄＨｉを、撮影モードとＩＳＯ感度とに応じて変更する。

制御部１７は、表２に基づいて、撮影モードに応じた閾値ｔｈｄＨｉを求めるとともに、表３に基づいて、ＩＳＯ感度に応じた閾値ｔｈｄＨｉを求める。そして、より大きい方の閾値ｔｈｄＨｉを、上述したハイライト復元量ＨｉＲｃｖの算出に用いる。

主要被写体が人物であると推定可能な人物撮影モードが設定されている場合には、人物の顔部分が不要に暗く撮影されるのを避ける必要がある。そのため、人物撮影モードが設定されている場合には、表２に示すように、閾値ｔｈｄＨｉの値を小さくする。

また、撮像素子１４が高ＩＳＯ感度に設定されている場合には、ノイズが増加してダイナミックレンジが不足するおそれがある。そのため、撮像素子１４が高ＩＳＯ感度に設定されている場合には、表３に示すように、閾値ｔｈｄＨｉの値を小さくする。

さらに、撮像時のノイズ発生予想量を適宜検出し、検出結果に応じて、ハイライト復元量ＨｉＲｃｖに上限を設けたり、上述した閾値ｔｈｄＨｉを小さくする構成としても良い。

ステップＳ１７において、制御部１７は、ステップＳ１６で演算したハイライト復元量ＨｉＲｃｖに基づいて、ステップＳ１４で演算した露出制御値ＢｖＣｎｔｌ０を補正する。露出制御値ＢｖＣｎｔｌ０の補正は、次式により行われる。

補正後の露出制御値ＢｖＣｎｔｌ１＝ＢｖＣｎｔｌ０＋ＨｉＲｃｖ…（式２４）
ただし、測光モードが「分割測光モード」以外の「中央重点測光モード」や「スポット測光モード」である場合には、通常の露出制御値を採用し、ハイライト復元量ＨｉＲｃｖに関しては、固定値ＨｉＲｃｖＣｏｎｓｔを用いるものとする。

以上説明した測光演算を行うと、制御部１７は、図４のステップＳ２に進む。

ステップＳ２において、制御部１７は、ユーザによりスイッチ群２９を介して撮影開始が指示されたか否かを判定する。そして、制御部１７は、撮影開始が指示されたと判定するまで、ステップＳ１で説明した測光演算を繰り返し、撮影開始が指示されたと判定するとステップＳ３に進む。
ステップＳ３において、制御部１７は、各部を制御し、ステップＳ１で行った測光演算の結果に基づいて、撮像素子１４により被写体像を撮像して画像データを生成する。そして、撮像素子１４により生成された画像データは、信号処理部２１およびＡ／Ｄ変換部２２を介して、バッファメモリ２３に一時記憶される。

ステップＳ４において、制御部１７は、バッファメモリ２３から画像データを読み出し、顔検出を行う。顔検出の具体的な方法は公知技術と同様であるため説明を省略する。なお、検出対象の画像データに複数の人物が含まれる場合、制御部１７は、それぞれの人物の顔検出を行う。例えば、図６に示すように、３人の人物が含まれる場合には、それぞれの人物の顔領域（Ａ１〜Ａ３）を検出する。

ステップＳ５において、制御部１７は、ステップＳ４においてバッファメモリ２３から読み出した画像データに対して、通常の画像処理を行う。通常の画像処理とは、ホワイトバランス調整、補間処理、色調補正処理、階調変換処理などである。各処理の具体的な方法は公知技術と同様であるため説明を省略する。

ステップＳ６において、制御部１７は、階調圧縮モードであるか否かを判定する。そして、制御部１７は、階調圧縮モードであると判定するとステップＳ７に進む。一方、階調圧縮モードでない（階調非圧縮モードである）と判定すると、制御部１７は後述するステップＳ１１に進む。

ステップＳ７において、制御部１７は、ステップＳ４においてバッファメモリ２３から読み出した画像データから、ローパス画像を作成する。
制御部１７は、次式を用いて、ステップＳ４においてバッファメモリ２３から読み出した画像データからローパス画像Ｌｙを作成する。

式２５中のＹは、注目画素の輝度値を示す。また、式２５中のｋｒ，ｋｇ，ｋｂは所定の係数である。また、式２６中のＬｐｗは、注目画素周りのローパスフィルタであり、このローパスフィルタは、図７示す特性を有する。このローパスフィルタは、半値幅（図７ｄ）が画像の短辺の１／１００以上の広い幅のローパスフィルタである。

ステップＳ８において、制御部１７は、明るさに関する評価値を算出する。制御部１７は、まず、ステップＳ４で行った顔検出の結果に基づいて、顔領域の中心座標（Ｆｘ，Ｆｙ）を求める。ただし、ステップＳ４において複数の顔を検出した場合には、面積が最大の顔領域の中心座標を求める。図６の例では、顔領域Ａ１の中心座標を求める。

次に、制御部１７は、明るさに関する評価値として、顔の明度Ｙｆを求める。顔の明度Ｙｆは次式により求められる。

Ｙｆ＝Ｌｙ[Ｆｘ，Ｆｙ]…（式２７）
なお、ステップＳ４において複数の顔を検出した場合には、面積が最大の顔領域の中心座標を求める例を示したが、最も暗い顔領域の中心座標を求めても良い。このように、最も暗い顔領域に応じた処理を行うことにより、複数の顔の全てを好ましい明るさに表現することができる。

また、複数の顔のそれぞれについて明度Ｙｆを求め、それぞれの顔領域の面積に応じた重み付けを行っても良い。例えば、図６の例において、顔領域Ａ１が中心座標(Ｆｘ１，Ｆｙ１)、面積Ｗ１であり、顔領域Ａ２が中心座標(Ｆｘ２，Ｆｙ２)、面積Ｗ２であり、顔領域Ａ３が中心座標(Ｆｘ３，Ｆｙ３)、面積Ｗ３である場合には、顔の明度Ｙｆを次式により求めることができる。

Ｙｆ＝(Ｗ１・Ｌｙ[Ｆｘ１，Ｆｙ１]＋Ｗ２・Ｌｙ[Ｆｘ２，Ｆｙ２]＋ Ｗ３・Ｌｙ[Ｆｘ３，Ｆｙ３])÷(Ｗ１＋Ｗ２＋Ｗ３)…（式２８）
ステップＳ９において、制御部１７は、暗部階調を補正する際の明度向上量を決定する。制御部１７は、まず、表４に基づいて、ステップＳ８で求めた顔の明度Ｙｆに応じた明度向上量候補ｆｕｐを求める。

ただし、制御部１７は、ステップＳ３で行った撮像時のＩＳＯ感度に応じて、明度向上量候補ｆｕｐを制限する。すなわち、制御部１７は、表５に基づいて、求めた明度向上量候補ｆｕｐを制限する。

次に、制御部１７は、表６に基づいて、ステップＳ１６で求めたハイライト復元量ＨｉＲｃｖに応じた明度向上量候補Ｈｕｐを求める。

そして、制御部１７は、顔の明度Ｙｆに応じた明度向上量候補ｆｕｐと、ハイライト復元量ＨｉＲｃｖに応じた明度向上量候補Ｈｕｐとを比較し、大きい方の値をハイライト復元量ＨｉＲｃｖに応じた明度向上量Ｇｕｐとする。

ステップＳ１０において、制御部１７は、ステップＳ９で決定した明度向上量Ｇｕｐにしたがって、ステップＳ５で通常の画像処理を施した画像データに対して階調圧縮処理を行う。

制御部１７は、まず、ステップＳ９で決定した明度向上量Ｇｕｐにしたがって、ゲイン向上関数ｆｇを選択する。図８は、明度向上量Ｇｕｐに対応する階調圧縮のゲイン向上関数ｆｇを示す図である。ゲイン向上関数ｆｇは、図８に示すように、画像の輝度Ｙに応じたゲインを有する。そして、輝度Ｙが小さいほど（処理画素を含む近傍範囲が暗いほど）、ゲイン向上関数ｆｇは大きくなる。逆に、輝度Ｙが大きいほど（処理画素を含む近傍範囲が明るいほど）、ゲイン向上関数ｆｇは１に近づく。

制御部１７は、上述した明度向上量Ｇｕｐにしたがって、ゲイン向上関数ｆｇを選択し、注目画素ｘ、ｙ付近の明度に応じて暗部領域を後述する方法でゲインアップする。

なお、図８には、明度向上量Ｇｕｐ＝０，１，２，３のそれぞれに対応するゲイン向上関数ｆｇを例示した。ゲイン向上関数ｆｇは明度向上量Ｇｕｐに応じて予め数本用意しても良いし、ゲインアップ量が最大のゲイン向上関数のみを用意し、ゲインアップ量が最大のゲイン向上関数ｆｇとゲイン１との間を適宜補間して無段階としても良い。

また、ステップＳ６において階調圧縮モードでない（階調非圧縮モードである）と判定した際に、制御部１７内の処理回路の構成上、階調圧縮処理をスキップできない場合には、図８のＧｕｐ＝０に示すゲイン向上関数ｆｇを用いる。

各画素Ｒ［ｘ，ｙ］，Ｇ［ｘ，ｙ］，Ｂ［ｘ，ｙ］における階調圧縮演算は以下の式２９から式３１により行う。

式２９から式３１中のｆｇは、上述したゲイン向上関数ｆｇに対応し、Ｌｙは、ステップＳ７で説明したローパス画像に対応する。

ステップＳ１１において、制御部１７は、ステップＳ１０で階調圧縮処理を施した画像データ、またはステップＳ５で通常の画像処理を施した画像データを、カードインターフェース２５を介してメモリカード２８に記録し、一連の処理を終了する。なお、画像データをメモリカード２８に記録する前に、圧縮伸長部２６を介して、必要に応じて画像圧縮処理（ＪＰＥＧ圧縮処理など）を施しても良い。

以上説明したように、本実施形態によれば、被写体を撮像して画像データを生成する撮像部と、ボケ画像を生成する生成部と、画像データに含まれる主要被写体領域を検出する検出部とを備え、ボケ画像のうち、主要被写体領域の画像に基づいて、明るさに関する評価値を算出し、算出した評価値に基づいて、撮像部により生成した画像データの暗部階調の補正を行う際の明度の向上量を演算する。したがって、単純に階調特性を変換することによる明るさ調節のように、背景部分に悪影響が発生することを抑えることができる。また、主要被写体領域に関する評価値に基づいて、暗部階調の補正を行う際の明度の向上量を演算するため、この向上量にしたがって暗部の階調を補正することにより、ハイライト側およびシャドー側のコントラストを維持したまま、主要被写体領域の明度を向上させることができる。そのため、主要被写体部分および背景部分の両方に関して、最適な暗部階調の補正を行うことができるので、撮像によりユーザの見た目に近い画像を生成することができる。

また、本実施形態によれば、被写体を複数の領域に分割して測光する測光部と、測光部の測光結果に基づいて、第１の露出制御値を演算する第１測光演算部と、測光部の測光結果に基づいて、第１の露出制御値と異なる第２の露出制御値を演算する第２測光演算部とをさらに備え、撮像部は、暗部階調の補正を行う際には、第２の露出制御値に従って被写体を撮像する。そして、評価値と第２の露出制御値とに基づいて、明度の向上量を演算する。したがって、主要被写体部分および背景部分の両方に関して、最適な露出調節および暗部階調の補正を行うことができる。

また、本実施形態によれば、予め定められた複数の撮影モードからいずれかの撮影モードを選択するモード選択部をさらに備え、第２測光演算部は、モード選択部により選択された撮影モードの種類に応じた第２露出制御値を演算する。したがって、撮影前に顔検出機能が使用できないカメラ（一眼レフレックスカメラのように、撮影前には撮像素子に光が当たらない構成のカメラ）など、露出調節による補正を行うことができないカメラであっても、最適な露出調節および暗部階調の補正を行うことができる。

また、本実施形態によれば、撮像部による撮像時の撮影感度を設定する設定部をさらに備え、第２測光演算部は、設定部により設定された撮影感度に応じた第２露出制御値を演算する。したがって、高感度撮影時など、ノイズが増加してダイナミックレンジが不足する場合でも、最適な暗部階調の補正を行うことができる。

また、本実施形態によれば、検出部は、主要被写体領域として、画像データに含まれる人物の顔領域を検出する。したがって、主要被写体が人物である場合に、その顔領域を重視し、最適な露出調節および暗部階調の補正を行うことができる。

また、本実施形態によれば、補正部は、生成部により生成したボケ画像を用いて、暗部階調の補正を行う。したがって、生成したボケ画像を有効に利用して一連の処理を行うことができる。

また、本実施形態によれば、予め定められた複数の撮影モードからいずれかの撮影モードを選択するモード選択部と、モード選択部により選択された撮影モードの種類に応じて、明度の向上量の演算および補正部による補正を行うか否かを切り替える。したがって、暗部階調の補正が有用な場合にのみ、確実に暗部階調の補正を行うことができる。

なお、本実施形態では、撮影後に、生成した画像に対して顔検出を行う（図４ステップＳ４）例を示したが、本発明はこの例に限定されない。例えば、実際の撮影前に、構図確認用のいわゆるスルー画像を撮像するカメラにおいては、このスルー画像に対して顔検出を行い、その結果を測光演算等に利用する構成としても良い。

また、本実施形態では、顔の明度Ｙｆに応じた明度向上量候補ｆｕｐと、ハイライト復元量ＨｉＲｃｖに応じた明度向上量候補Ｈｕｐとを比較し、大きい方の値をハイライト復元量ＨｉＲｃｖに応じた明度向上量Ｇｕｐとする例を示したが、本発明はこの例に限定されない。例えば、顔の明度Ｙｆに応じた明度向上量候補ｆｕｐのみを算出し、この値を明度向上量Ｇｕｐとしても良い。なお、顔の明度Ｙｆに応じた明度向上量候補ｆｕｐを明度向上量Ｇｕｐとする場合には、適宜上限値や下限値を設けることが好ましい。

また、本実施形態では、主要被写体領域として、被写体に含まれる人物の顔領域を利用する例を示したが、本発明はこの例に限定されない。例えば、公知技術と同様に主要被写体抽出を行い、体の部分などを含めた人物全体を主要被写体領域としても良い。また、焦点調節情報に基づいて合焦エリアを検出し、その領域を主要被写体領域としても良い。また、主要被写体領域をユーザが指定する構成としても良い。

また、本実施形態では、測光センサ１２として、図２に示す２４分割の測光センサを例に挙げて説明したが、本発明はこの例に限定されない。例えば、上述した実施形態では、分割数を２４と１５とに切り替える例を示したが、固定の分割数としても良い。また、上述した実施形態では、領域を均等に分割する例を挙げて説明したが、不均等に分割しても良い。例えば、中央近傍を比較的狭い領域に分割し、周辺近傍を比較的広い領域に分割することにより、中央部分に関する感度を上げることができる。

また、本実施形態では、本発明の技術を電子カメラ１において実現する例について説明した。しかしながら、本発明はこれに限定されるものではない。例えば、コンパクトタイプの電子カメラや動画撮影を行うムービーカメラなどにも本発明を同様に適用することができる。

また、コンピュータと画像処理プログラムとにより、本実施形態で説明した画像処理をソフトウェア的に実現しても良い。この場合、実施形態で説明したフローチャートの処理の一部または全部をコンピュータで実現する構成とすれば良い。コンピュータで実現するためには、画像データとともに、階調圧縮モードであるか否かの情報や、撮像時に設定された撮影モードの種類、ＩＳＯ感度、階調圧縮量を示す情報などをコンピュータに供給すれば良い。このような情報は画像データのＥＸＩＦ情報などを利用して供給することができる。このような構成とすることにより、上述した実施形態と同様の処理を実施することが可能になる。

なお、本発明は、その精神または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、前述の実施例はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。

１…電子カメラ，２…撮影レンズ，１４…撮像素子，１７…制御部

Claims (13)

1. 被写体を撮像して画像データを生成する撮像部と、
   前記画像データからボケ画像を生成する生成部と、
   前記画像データに含まれる主要被写体領域を検出する検出部と、
   前記ボケ画像のうち、前記主要被写体領域の画像に基づいて、明るさに関する評価値を算出し、算出した前記評価値に基づいて、前記撮像部により生成した前記画像データの暗部階調の補正を行う際の明度の向上量を演算する演算部と
   を備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記被写体を複数の領域に分割して測光する測光部と、
   前記測光部の測光結果に基づいて、第１の露出制御値を演算する第１測光演算部と、
   前記測光部の測光結果に基づいて、前記第１の露出制御値と異なる第２の露出制御値を演算する第２測光演算部とをさらに備え、
   前記撮像部は、前記暗部階調の補正を行う際には、前記第２の露出制御値に従って前記被写体を撮像し、
   前記演算部は、前記評価値と前記第２の露出制御値とに基づいて、前記明度の向上量を演算する
   ことを特徴とする撮像装置。
3. 請求項２に記載の撮像装置において、
   前記第２測光演算部は、前記第１の露出制御値と、前記複数の領域における測光値の最大値とを比較し、比較結果に応じて、前記第１の露出制御値を補正して前記第２の露出制御値を演算する
   ことを特徴とする撮像装置。
4. 請求項２に記載の撮像装置において、
   予め定められた複数の撮影モードからいずれかの撮影モードを選択するモード選択部をさらに備え、
   前記第２測光演算部は、前記モード選択部により選択された前記撮影モードの種類に応じた前記第２露出制御値を演算する
   ことを特徴とする撮像装置。
5. 請求項２に記載の撮像装置において、
   前記撮像部による撮像時の撮影感度を設定する設定部をさらに備え、
   前記第２測光演算部は、前記設定部により設定された前記撮影感度に応じた前記第２露出制御値を演算する
   ことを特徴とする撮像装置。
6. 請求項１に記載の撮像装置において、
   前記検出部は、前記主要被写体領域として、前記画像データに含まれる人物の顔領域を検出する
   ことを特徴とする撮像装置。
7. 請求項６に記載の撮像装置において、
   前記検出部は、複数の前記顔領域を検出し、
   前記演算部は、複数の前記顔領域のうち、面積が最大の顔領域の画像に基づいて前記評価値を算出する
   ことを特徴とする撮像装置。
8. 請求項６に記載の撮像装置において、
   前記検出部は、複数の前記顔領域を検出し、
   前記演算部は、複数の前記顔領域のうち、最も暗い顔領域の画像に基づいて前記評価値を算出する
   ことを特徴とする撮像装置。
9. 請求項６に記載の撮像装置において、
   前記検出部は、複数の前記顔領域を検出し、
   前記演算部は、複数の前記顔領域ごとに前記評価値を算出し、算出した複数の前記評価値を重み付け加重加算した結果に基づいて、前記明度の向上量を演算する
   ことを特徴とする撮像装置。
10. 請求項１に記載の撮像装置において、
    前記演算部により演算された前記明度の向上量に従って、前記撮像部で生成された前記画像データの暗部階調の明度を向上する補正を行う補正部と、
    前記補正部による補正後の前記画像データを記録する記録部とをさらに備える
    ことを特徴とする撮像装置。
11. 請求項１０に記載の撮像装置において、
    前記補正部は、前記生成部により生成した前記ボケ画像を用いて、前記暗部階調の補正を行う
    ことを特徴とする撮像装置。
12. 請求項１０に記載の撮像装置において、
    予め定められた複数の撮影モードからいずれかの撮影モードを選択するモード選択部と、
    前記モード選択部により選択された前記撮影モードの種類に応じて、前記演算部による前記明度の向上量の演算および前記補正部による補正を行うか否かを切り替える制御部とをさらに備える
    ことを特徴とする撮像装置。
13. 処理対象の画像データに対する画像処理をコンピュータで実現するための画像処理プログラムであって、
    前記画像データを取得する取得ステップと、
    前記画像データからボケ画像を生成する生成ステップと、
    前記画像データに含まれる主要被写体領域を検出する検出ステップと、
    前記ボケ画像のうち、前記主要被写体領域の画像に基づいて、明るさに関する評価値を算出し、算出した前記評価値に基づいて、前記取得ステップにおいて取得した前記画像データの暗部階調の補正を行う際の明度の向上量を演算する演算ステップと
    をコンピュータで実現することを特徴とする画像処理プログラム。

Images