JP5202375B2 - 撮像装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、特定のシーンを判別する撮像装置、画像処理装置、画像処理方法、プログラム及びコンピュータ読み取り可能な記憶媒体に関するものである。

近年、手動でカメラの撮影設定をしなくても自動で撮影シーンを判別することが可能なシーン判別機能を有する撮像装置が普及してきている。シーン判別機能とは、画像内の輝度情報や色情報によって、撮影するシーンが「夜景」、「逆光」、「夕景」などの複数の特定のシーンのうちどのシーンなのかを判別することが可能な機能である。例えば、特定のシーンに対応する輝度情報や色情報の画像内における配置の傾向を考慮し、かつそれらの位置や面積割合の変動をも考慮してシーン判別を行う方法が知られている（特許文献１参照）。

特開２００５−３１０１２３号公報

上記のような従来のシーン判別では、輝度情報や色情報をもとに判別を行っている。しかし、シーンによっては太陽などの高輝度被写体を画角内に入れて撮影することがあり、スミアが発生する可能性がある。そうすると、スミアの影響により、高輝度・無彩色領域が増えることがあり、特定のシーンとしての輝度情報、色情報の条件を満たすことができず、結果としてシーンを判別できなくなることがある。

本発明はこのような問題に鑑みてなされたものであり、スミアの発生を考慮して特定のシーンを判別することで、高精度なシーン判別を行うことが可能な撮像装置などの提供を目的とする。

本発明の撮像装置は、画像を取得する撮像手段と、前記画像の輝度情報を取得する輝度情報取得手段と、前記画像の色情報を取得する色情報取得手段と、前記画像でスミアが発生しているスミア領域を検出するスミア領域検出手段と、複数のブロックに分割した前記画像に対するブロックごとの前記輝度情報および前記色情報を見て、所定の条件を満たすブロックの割合が所定の範囲内である場合に特定のシーンであると判別するシーン判別手段と、を有し、前記シーン判別手段が、前記検出されたスミア領域が大きいほど、前記所定の範囲を小さく設定することを特徴とする。
また、本発明の画像処理装置は、画像を取得する画像取得手段と、前記画像の輝度情報を取得する輝度情報取得手段と、前記画像の色情報を取得する色情報取得手段と、前記画像でスミアが発生しているスミア領域を検出するスミア領域検出手段と、複数のブロックに分割した前記画像に対するブロックごとの前記輝度情報および前記色情報を見て、所定の条件を満たすブロックの割合が所定の範囲内である場合に特定のシーンであると判別するシーン判別手段と、を有し、前記シーン判別手段が、前記検出されたスミア領域が大きいほど、前記所定の範囲を小さく設定することを特徴とする。
また、本発明の画像処理方法は、画像を取得する画像取得ステップと、前記画像の輝度情報を取得する輝度情報取得ステップと、前記画像の色情報を取得する色情報取得ステップと、前記画像でスミアが発生しているスミア領域を検出するスミア領域検出ステップと、複数のブロックに分割した前記画像に対するブロックごとの前記輝度情報および前記色情報を見て、所定の条件を満たすブロックの割合が所定の範囲内である場合に特定のシーンであると判別するシーン判別ステップと、を有し、前記シーン判別ステップにおいて、前記スミア領域検出ステップにより検出されたスミア領域が大きいほど、前記所定の範囲を小さく設定することを特徴とする。
また、本発明のプログラムは、画像を取得する画像取得ステップと、前記画像の輝度情報を取得する輝度情報取得ステップと、前記画像の色情報を取得する色情報取得ステップと、前記画像でスミアが発生しているスミア領域を検出するスミア領域検出ステップと、複数のブロックに分割した前記画像に対するブロックごとの前記輝度情報および前記色情報を見て、所定の条件を満たすブロックの割合が所定の範囲内である場合に特定のシーンであると判別するシーン判別ステップと、をコンピュータに実行させるためのプログラムであって、前記シーン判別ステップにおいて、前記スミア領域検出ステップにより検出されたスミア領域が大きいほど、前記所定の範囲を小さく設定することを特徴とする。
また、本発明のコンピュータ読み取り可能な記憶媒体は、上記に記載のプログラムを記憶したコンピュータ読み取り可能な記憶媒体である。

本発明によれば、スミアの発生している画像であっても、高精度なシーン判別が可能となる。

本発明の実施の形態に係るデジタルカメラの機能構成例を示すブロック図である。 本発明の実施の形態に係るスミア領域を検出する処理の流れを示すフローチャートである。 本発明の実施の形態に係るスミア領域を検出する処理の流れを模式的に示した図である。 本発明の実施の形態に係るシーン判別を行う処理の流れを示すフローチャートである。 本発明の実施の形態に係るシーン判別を行う処理の際に使用する、画像内の各ブロックの関係を示した図である。 本発明の実施の形態に係るシーン判別を行う処理の際に使用する、空領域の重心位置の算出を模式的に説明するための図である。 本発明の実施の形態に係るシーン判別を行う処理の際に使用する、彩度のヒストグラムの一例を示した図である。 本発明の実施の形態に係るシーン判別を行う処理の際に使用する、色相のヒストグラムの一例を示した図である。

＜撮像装置の構成＞
本実施形態では、実施形態に係る撮像装置の一例として、デジタルカメラ（以下、本デジタルカメラと称する）を用いた場合について説明する。図１は、本デジタルカメラの機能構成例を示すブロック図である。

操作部１０１は、本デジタルカメラの操作者が本デジタルカメラに対して各種の指示を入力するために操作するスイッチやボタンなどを含んで構成される。操作部１０１に含まれるものの一つとして、シャッタースイッチがある。このシャッタースイッチが半押しの場合には信号ＳＷ１が操作部１０１から制御部１０２に対して通知される。また、シャッタースイッチが全押しされている場合には信号ＳＷ２が操作部１０１から制御部１０２に対して通知される。

制御部１０２は、同図に示す各部の動作を制御するものであり、操作部１０１などからの指示に応じて各部を制御する。制御部１０２が上述のように操作部１０１から信号ＳＷ１や信号ＳＷ２の通知を受けた場合には、これらに応じた処理を実行するよう各部を制御する。

縦横位置検出部１０３は、本デジタルカメラの向きが縦撮影位置か横撮影位置かを検出するものである。

ＣＣＤ部１０４は、レンズ１０５、露出機構１０６を介して入射される光を受け、その光量に応じた電荷を蓄積し出力するものである。ＣＣＤに代えて、ＣＭＯＳセンサーを用いても構わない。Ａ／Ｄ変換部１０７は、ＣＣＤ部１０４から出力されたアナログ画像信号に対して、サンプリング、ゲイン調整、Ａ／Ｄ変換等を行い、デジタル画像信号として出力する。画像処理部１０８は、Ａ／Ｄ変換部１０７から出力されたデジタル画像信号に対して各種の画像処理を行い、処理済みのデジタル画像信号を出力する。画像処理部１０８は、例えば、Ａ／Ｄ変換部１０７から受けたデジタル画像信号を、ＹＵＶ画像信号に変換して出力する。

シーン判別部１０９は、画像処理部１０８からデジタル画像信号を取得し（画像取得）このデジタル画像信号をもとに、撮影するシーンが「逆光」、「夕景」などの複数の特定のシーンのうちどのシーンなのかを判別する。シーン判別部１０９は、例えば画像処理部１０８から受けたＹＵＶ画像信号をもとにシーンを判別する。

シーン判別部１０９において特定のシーンが判別されたならば、画像処理部１０８は、判別されたシーンを撮影するのに最適となるような画像処理を行う。例えば、「逆光」と判断されたのであれば画面中央付近に位置する被写体を、その周囲の領域よりも優先して輝度が適正値に近付くように露出制御したり、「夕景」と判断されたのであれば撮影した画像の赤味が鮮やかになるよう画像の色信号を調整したりする。また、「スポーツ」と判断されたのであれば、被写体像がブレないよう、他のシーンよりも露光時間が短くなるよう露出制御を行い、一度主被写体と判断した被写体を追尾して焦点調節を行うようにする。

スミア検出部１１０は、画像処理部１０８から受けたデジタル画像信号をもとにスミア発生の有無および発生している領域を検出し、検出結果をシーン判別部１０９に出力する。これに応じて、シーン判別部１０９は、シーン判別処理の態様を切り替えるが、この詳細については後述するものとする。

ＥＦ処理部１１１は、フラッシュ部１１２に対してフラッシュオンの指示をする。ＥＦ処理部１１１は、制御部１０２においてフラッシュが必要と判断された場合に、その指示を受け、フラッシュ部１１２を制御し、フラッシュ部１１２に発光させる。

ＥＶＦ表示部１１３は、小型液晶画面などにより構成されており、画像処理部１０８による処理済みの画像データに従った画像を表示する。フォーマット変換部１１４は、画像処理部１０８から出力されたデジタル画像信号（画像データ）のフォーマットをＪＰＥＧなどのフォーマットに変換し、画像記録部１１５に出力する。画像記録部１１５は、フォーマット変換部１１４から受けたフォーマット変換済みの画像データを、本デジタルカメラ内の不図示のメモリや、本デジタルカメラに挿入されている外部メモリなどに記録する処理を行う。

外部接続部１１６は、本デジタルカメラをＰＣ（パーソナルコンピュータ）やプリンタといった外部装置に接続するためのインターフェースとして機能する。

ＡＦ処理部１１７は、被写体にピントを合わせるべくレンズ１０５を動作させ、ＡＥ処理部１１８は、画面が最適な露出になるように露出機構１０６を制御するものである。

本デジタルカメラは、上述のようにして構成されるが、ここで本デジタルカメラを用いて撮像を行う場合の、本デジタルカメラの動作について説明する。

先ず、本デジタルカメラの操作者が、操作部１０１に含まれている電源スイッチをオンにすると、制御部１０２はこれを検知し、本デジタルカメラを構成する各部に電源を供給する。本デジタルカメラを構成する各部に電源が供給されると不図示のシャッターが開き、ＣＣＤ部１０４に、レンズ１０５、露出機構１０６を介して光が入光することになる。ＣＣＤ部１０４は、光の入光により溜まった電荷を読み出し、Ａ／Ｄ変換部１０７にアナログ画像信号として出力する。

Ａ／Ｄ変換部１０７は、ＣＣＤ部１０４から出力されたアナログ画像信号に対して、サンプリング、ゲイン調整、Ａ／Ｄ変換などを行い、デジタル画像信号として出力する。このデジタル画像信号は画像処理部１０８に出力され、画像処理部１０８は、Ａ／Ｄ変換部１０７から出力されたデジタル画像信号に対して各種画像処理を行い、処理済みのデジタル画像信号を出力する。

シーン判別部１０９は、画像処理部１０８から出力されたデジタル画像信号をもとに、撮影するシーンが「逆光」、「夕景」などの複数の特定のシーンのうちどのシーンなのかを判別する。シーン判別部１０９において特定のシーンが判別されたならば、画像処理部１０８は、そのシーンを撮影するのに最適となるような画像処理を行うのは、上述した通りである。なお、シーン判別部１０９は、画像処理部１０８から出力されたデジタル画像信号から輝度情報および色情報（彩度情報、色相情報を含む）を取得し、これを用いてシーンの判別を行っている。ここで輝度情報および色情報を取得する処理は、本発明でいう輝度情報取得手段および色情報取得手段の処理に対応する。

また、画像処理部１０８は、処理済みの画像データをＥＶＦ表示部１１３に出力するので、ＥＶＦ表示部１１３は、この処理済みの画像データに従った画像を表示する。また、画像処理部１０８によって取得された画像データをもとに、ＡＦ処理部１１７は、被写体にピントを合わせるべくレンズ１０５を動作させ、また、ＡＥ処理部１１８は、画面が最適な露出になるように露出機構１０６を制御する。

ここまでの処理が完了すると、制御部１０２は、操作部１０１に含まれるシャッタースイッチから信号ＳＷ１の通知（即ち、シャッタースイッチの半押しの通知）を受けていない限りは、上記処理を繰り返す。一方、制御部１０２が信号ＳＷ１の通知をシャッタースイッチから受けると、この時点における画像データを用いＡＦ、ＡＥ処理を行い、撮影に最適なピントおよび露出設定条件を取得する。

そして、制御部１０２は、シャッタースイッチから信号ＳＷ２の通知（即ち、シャッタースイッチの全押しの通知）を受けていない限りは、処理を信号ＳＷ１前に戻し、上記処理を繰り返す。

一方、制御部１０２が信号ＳＷ２の通知をシャッタースイッチから受けると、撮影処理に移行し、まずフラッシュを発光するか否かの判断を行う。フラッシュを発光するか否かは、操作部１０１を用いて予め設定しておき、その設定データを読み取ることで判断するようにしても良いし、また周囲の暗さを検知し自動的に判断するようにしても良い。

フラッシュを発光するか否かの判断の結果、フラッシュの発光を行う場合には、制御部１０２はＥＦ処理部１１１を制御し、フラッシュ部１１２にプリ発光を行わせ、発光量の算出、ＥＦ枠の重み付けなどの処理を行う。そして、プリ発光により計算された発光量でフラッシュ部１１２を発光させ、画像撮影が行われる。フラッシュ非発光の場合には上記調光制御無しに以下の処理に移行する。

本撮影にて、外界からの光がレンズ１０５、露出機構１０６を介してＣＣＤ部１０４に入光するので、ＣＣＤ部１０４を構成する光電変換素子には、入光した光の光量に応じた電荷が溜まる。ＣＣＤ部１０４は、溜まった電荷を読み出し、Ａ／Ｄ変換部１０７にアナログ画像信号として出力する。

Ａ／Ｄ変換部１０７は、ＣＣＤ部１０４から出力されたアナログ画像信号に対して、サンプリング、ゲイン調整、Ａ／Ｄ変換等を行い、デジタル画像信号として出力する。そして、画像処理部１０８は、Ａ／Ｄ変換部１０７から出力されたデジタル画像信号に対して各種の画像処理を行い、処理済みのデジタル画像信号を出力する。フォーマット変換部１１４は、デジタル画像信号を出力され、画像処理部１０８から出力されたデジタル画像信号（画像データ）のフォーマットをＪＰＥＧなどのフォーマットに変換し、画像記録部１１５に出力する。画像記録部１１５は、フォーマット変換された画像データを所定のメモリに記録する処理を行う。

以上説明した処理により、本実施形態に係る本デジタルカメラは撮影処理を行う。ここで、本デジタルカメラは、撮影処理の中で、スミア領域も考慮してシーン判別を行うことで、高精度でシーン判別を行うことが可能となっている。以下、そのスミア領域も考慮し、シーン判別を行う処理の詳細を説明する。なお、スミアとは、ＣＣＤ部１０４のある領域に強い光が照射された場合に、電荷が飽和状態となり、他の領域にまで影響を及ぼし、画像において真っ白な色飛び部分が帯状にあらわれてしまうような現象をいう。

＜スミア領域の検出＞
本デジタルカメラで行われる、画像内でスミア領域を検出する方法について説明する。図２は本実施形態に係るスミア領域を検出する処理を示すフローチャート、図３はフローチャートの流れを模式的に示した図である。なお、以下の検出に係る処理は、スミア検出部１１０が実行する。スミア検出部１１０は制御部１０２によって制御され処理を実行する。制御部１０２にはＣＰＵなど含まれており、不図示のＲＯＭなどからプログラムを読出し、不図示のＲＡＭなどを作業領域として処理を実行することで、スミア検出部１１０の処理が実現される。

図２のフローチャートは以下のような流れである。
（ステップＳ２０１）
先ず、スミア検出部１１０は、画像内を複数のブロックに分割する。分割数は、例えば、画像内を横方向に１５分割、縦方向に９分割の、計１３５分割としてもよい。図３は、画像を模式的に示したイメージ（３０１〜３０６）を示した図であるが、ここで示す例では、画像内を横方向に１５分割、縦方向に９分割している。

（ステップＳ２０２）
次にスミア検出部１１０は、画像内の紙面左上のブロックから水平方向に走査していく（図３、３０１における矢印参照）。

（ステップＳ２０３）
次にスミア検出部１１０は、ブロック内の輝度の平均値を算出して、その値が閾値（ＴＨ＿ＳｍｅａｒＹ）以上ならばステップＳ２０４へ、ＴＨ＿ＳｍｅａｒＹ未満ならばステップＳ２０８へ移行する。

（ステップＳ２０４）
ブロックの輝度の平均値がＴＨ＿ＳｍｅａｒＹ以上ならば（ステップＳ２０３）、スミア検出部１１０は、そのブロックから垂直方向に走査する（図３、３０２の矢印参照）。

（ステップＳ２０５）
次にスミア検出部１１０は、ステップＳ２０３と同様に、ブロック内の輝度の平均値を算出して、その値がＴＨ＿ＳｍｅａｒＹ以上ならばステップＳ２０６へ、ＴＨ＿ＳｍｅａｒＹ未満ならばステップＳ２０８へ移行する。

（ステップＳ２０６）
ブロックの輝度の平均値がＴＨ＿ＳｍｅａｒＹ以上ならば（ステップＳ２０５）、スミア検出部１１０は、垂直方向に走査していく。そして、画像内一番下のブロックまで走査していたらステップＳ２０７へ進み、まだ一番下まで走査していない場合はステップＳ２０４へ戻る。

（ステップＳ２０７）
ステップＳ２０６で一つの列の各ブロックの輝度の平均値がすべてＴＨ＿ＳｍｅａｒＹ以上ならば、スミア検出部１１０は、その列をスミア領域とみなす（図３、３０３）。そして、スミア領域と判定した領域を記録し、ステップＳ２０８へ移行する。

（ステップＳ２０８）
そして、スミア検出部１１０は、画像内の紙面左上のブロックから紙面一番右上のブロックまで水平方向に走査したかどうかを判断する。ブロック内の輝度の平均値がＴＨ＿ＳｍｅａｒＹ未満と判断され、画像の紙面一番右のブロックまで走査し終えたらステップＳ２０９へ移行する。または、スミア領域があると判断し、紙面一番右上のブロックまで走査し終えたらステップＳ２０９へ移行する。まだ紙面一番右のブロックまで走査していない場合はステップＳ２０２へ戻り、再び一番上の行を水平方向に走査していく（図３、３０４の矢印参照）。

（ステップＳ２０９）
画像内の紙面一番上の行のブロックをすべて走査したら、スミア検出部１１０は各スミア領域の幅を算出する（図３、３０５の両端矢印参照）。算出を終えたらステップＳ２１０へ移行する。

（ステップＳ２１０）
次に、スミア検出部１１０は、スミア発生位置周辺には偽色が生じている可能性があるため、その周辺領域を偽色領域とみなす。偽色領域は、例えば各スミア領域の左右に設定し、左右の幅はスミア領域と同じ幅であるとしてもよい（図３、３０６、両端矢印Ａ：スミア領域，両端矢印Ｂ，Ｃ：偽色領域）。

以上の処理により、スミアの発生している領域を検出することが可能となる。なお、スミアの検出の方法として、ＣＣＤ部１０４の有効画素領域外の遮光された垂直オプティカルブラック部の出力レベルをスミアのみの出力信号とみなし、スミア領域を検出する、といったものでもよい。また、ここで説明した処理は、本発明でいうスミア領域検出手段の一処理例に対応するものである。

＜シーン判別＞
次に、本デジタルカメラに係る画像から特定のシーンの判別を行う処理を説明する。ここでは、一例として夕景を判別する方法について説明する。図４は、本実施形態に係る夕景を判別する処理を示すフローチャートである。なお、以下の判別に係る処理は、シーン判別部１０９が実行する。シーン判別部１０９は制御部１０２によって制御され処理を実行する。制御部１０２の処理により、シーン判別部１０９の処理が実現されることは、上述したスミア検出部１１０と同様である。

（ステップＳ４０１）
まず、シーン判別部１０９は、画像内の各画素の被写体輝度値（Ｂｖ値）、及び画像の全体の平均輝度値を算出する。また、画像内を複数領域に分割してそれぞれの領域における被写体距離（距離情報）を算出する。そして、これらがすべて夕景判別へと進むための条件を満たすか否かを判定する。ここで条件を満たすか否かについては、予め所定の閾値が設定されているものとする。満たさない場合は夕景判別を中止し、不図示の別のシーンの判別へと処理を進める。

（ステップＳ４０２）
次にシーン判別部１０９は、画像内を複数のブロックに分割する。分割数は、例えば、上述のスミア領域の検出と同様に、画像内を横方向に１５分割、縦方向に９分割の、計１３５分割としてもよい。

（ステップＳ４０３）
次にシーン判別部１０９は、ステップＳ４０２で得られた各ブロックについて、輝度、彩度並びに色相（輝度情報、色情報）の平均値を計算する。本実施形態では、各ブロックの輝度、彩度、色相の情報から「夕日色ブロック」、「空色ブロック」、「中間色ブロック」、「その他の色ブロック」の４つに分ける。例えば、夕日色ブロックは赤色から黄色に属する色相で彩度が一定範囲内のもの、空色ブロックは青色に属する色相で彩度が一定範囲内のもの、中間色ブロックは赤色から黄色に属する色相だが彩度が夕日色ブロックを満たしていないもの、とする。また、その他の色ブロックは、夕日色ブロック、空色ブロック、中間色ブロックのいずれにもあてはまらないものとしてもよい。さらに、輝度値に応じて各ブロックを満たす条件の閾値を決定してもよい。

（ステップＳ４０４）
次にシーン判別部１０９は、スミア領域と偽色領域の判別を行う。スミア領域を検出したか否かについては、図２に示した方法により判別する。

（ステップＳ４０５）
次に、スミアの有無、及び、発生している領域を判別したら、シーン判別部１０９は、画像内を分割した各ブロックについて、その情報を夕景判別で使用するかどうかを判定する。例えば、夕景判別で使用しないブロックは、低輝度ブロック、高輝度ブロック、白色ブロック、スミア領域ブロック、偽色ブロック、顔領域ブロックとしてもよい。低輝度、高輝度、白色ブロックはそれぞれ各ブロックの輝度値や彩度、色相をもとに決定する。また、被写体の一部である顔部分を検出する顔検出機能を備えていて、その機能により顔が検出されたならば、その領域も使用しないことにしてもよい。これら夕景判別で使用しないブロックは、基本的には、ステップＳ４０３において「夕日色ブロック」、「空色ブロック」および「中間色ブロック」のいずれの条件も満たしていないと判断されており、「その他の色ブロック」に分類されていることになる。これにより、スミア領域など夕景判別に影響を与える可能性のある情報を使用せずにシーンの判別を行うことが可能となり、特定のシーンを高精度で判別できることになる。なお、以降では夕景判別で使用するブロックを「サーチ可能ブロック」と呼ぶことにする。

ここで図５は、本実施形態における夕景判別を行う際に使用する、画像内の各ブロックの関係を示した図である。

図５に参照されるように、まず、画像内すべてのブロックを夕日色ブロック、中間色ブロック、空色ブロック、その他の色ブロック、の計４種類に分ける。空色ブロックの中でも彩度に応じて高彩度空色ブロック、低彩度空色ブロックに分ける。そして、その他の色ブロックの中から、低輝度ブロック、高輝度ブロック、白色ブロック、スミア領域ブロック、偽色ブロック、顔領域ブロックを抽出し、それらを「サーチ不可能ブロック」とする。

また、サーチ不可能ブロック以外を「サーチ可能ブロック」とする。さらに、その他のブロックの中で「サーチ不可能ブロック」と判定されないものを彩度に応じて高彩度ブロック、低彩度ブロックに分ける。なお、上記の空色ブロックの高彩度か低彩度かを判定する閾値と、その他のブロックで高彩度か低彩度かを判定する閾値は、異なる値でもよい。上記の夕日色ブロック、中間色ブロック、空色ブロックおよび低彩度ブロックを「有効ブロック」とする（点線で覆われたもの）。本実施形態では、これらのブロックを適宜選択して夕景判別を実行する。

（ステップＳ４０６）
次にシーン判別部１０９は、ステップＳ４０６以降は、画像内の各ブロックの輝度情報、彩度情報、色相情報を使用する。ここでは、すべてのブロックのうち一定割合以上が一様な情報をもつブロックならば夕景判別の条件を満たさないとみなす。一様な情報とは、各ブロックの輝度情報、彩度情報、色相情報がそれぞれ似たものであることを指す。例えば、一面が赤色の壁を撮影した場合などは、各ブロックが夕日色ブロックの条件を満たしていても、一様な情報を持っているブロックが多く存在すれば夕景として判別しづらくなるといったことが起こりうるからである。

（ステップＳ４０７）
次にシーン判別部１０９は、ステップＳ４０７で、白色の領域がどの程度あるかを算出する。この領域はステップＳ４０５で選択された白色ブロックとする。すべてのブロックのうち一定割合以上が白色ブロックの条件を満たすブロックならば夕景判別の条件を満たさないとみなす。ここで、この判定基準となる割合が示す値は、ステップＳ４０４にて判定されたスミア領域および偽色領域が占める幅に応じて変化する。スミア領域および偽色領域を除いた領域では、その領域を占める被写体に応じた輝度情報、彩度情報、色相情報が得られる。これに対して、スミア領域および偽色領域には、スミアの原因となる高輝度被写体が存在する領域だけでなく、その上下の領域も含まれてしまう。すなわち、スミアの原因となる高輝度被写体が存在する上下の領域を占める被写体が、スミアが生じなければ夕日ブロックや空色ブロックの条件を満たすものであったとしても、その列に高輝度被写体が存在したがために、スミア領域または偽色領域となってしまう。このように、スミアが発生することによって、判定対象となるブロック（ここでは白色ブロック）の割合が、スミアが生じない場合に比較して小さくなる可能性があるため、スミア領域の幅が大きくなるほど、上述した判定基準の割合の値を小さくする。勿論、判定対象となるブロックの割合に代えて、判定対象となるブロックの絶対数を判定基準とし、スミア領域の幅が大きくなるほど、判定基準の絶対数の値を小さくするようにしても構わない。このようにすることで、本実施形態では、特定のシーンを一層高精度で判別できるようにしている。

（ステップＳ４０８）
次にシーン判別部１０９は、ステップＳ４０８で、低彩度の領域がどの程度あるかを算出する。この領域はステップＳ４０５で選択されたその他の色ブロックのうち、サーチ不可能ブロックを満たさず、かつ、彩度が低いブロックとする。サーチ可能ブロックのうち一定割合以上が低彩度ブロックの条件を満たすブロックならば夕景判別の条件を満たさないとみなす。

（ステップＳ４０９）
次にシーン判別部１０９は、ステップＳ４０９で、中間色の領域がどの程度あるかを算出する。この領域はステップＳ４０５で選択された中間色ブロックとする。有効ブロックのうち一定割合以上が中間色ブロックの条件を満たすブロックならば夕景判別の条件を満たさないとみなす。

（ステップＳ４１０）
次にシーン判別部１０９は、ステップＳ４１０で、高彩度の空色の領域がどの程度あるかを算出する。この領域はステップＳ４０５で選択された空色ブロックのうち、彩度が高いブロックとする。有効ブロックのうち一定割合以上が高彩度の空色ブロックの条件を満たすブロックならば夕景判別の条件を満たさないとみなす。

（ステップＳ４１１）
次にシーン判別部１０９は、ステップＳ４１１で、一定の条件を満たす高彩度の領域がどの程度あるかを算出する。この領域はステップＳ４０５で選択されたサーチ可能ブロックのうち、有効ブロックを満たさないブロックとする。サーチ可能ブロック内の一定以上の彩度をもつブロックのうち一定割合以上がその他の色ブロックの条件を満たすブロックならば夕景判別の条件を満たさないとみなす。

（ステップＳ４１２）
次にシーン判別部１０９は、ステップＳ４１２で、空領域の重心位置を算出する。本実施形態では空色であるとみなすブロックの数、及び、配置をもとに、重心位置を算出する。図６は、空領域の重心位置の算出を模式的に説明するための図である。ここでは、まず、図６に示すように空色条件を満たすブロックを計算する（図中、色の異なるブロック）。そして、空色条件を満たすブロック数を各行ごとに求める。各行のブロック数に対して行番号を乗算し、すべての行で足し合わせたものが、重心位置の評価値となる。例えば行番号を画像内下から数えることにすると、評価値が高いほど空領域の重心位置は画像内で上の方になる。なお、縦横位置検出部１０３により、縦撮影位置であると判断した場合は、各行ではなく各列ごとに空色条件を満たすブロックを足し合わせて重心位置を算出してもよい。ここでは、もし、計算した重心位置が画像上部から一定割合以内ならば夕景判別の条件を満たし、画像下部に近い場合は夕景判別の条件を満たさないとみなす。なお図６には、評価値の計算方法の一例を記載している。

（ステップＳ４１３）
次にシーン判別部１０９は、ステップＳ４１３で、ステップＳ４０３で算出された夕日色ブロックを満たすブロックについての彩度情報から彩度のヒストグラムを判定する。図７は、彩度のヒストグラムの一例（７０１〜７０５）を示した図である。図７に示す例では、ヒストグラムの横軸が彩度であり、例えば０から１００まで５刻みとしてもよい。ヒストグラムの縦軸は有効ブロックに対する夕日色ブロックを満たすブロック数に対する各彩度のブロック数の割合である。
ここでは、７０２に示すようにヒストグラムの一部が途切れている場合、７０３に示すようにヒストグラムの幅が一定範囲以内に限られる場合、夕景判別を満たさないとする。さらに、７０４に示すようにヒストグラムの最大値が一定値以上である場合、７０５に示すように、ヒストグラムの最大値部分から左右に走査して、単純減少となっていない部分の領域が一定値以上である場合、夕景判別を満たさないとする。つまり、これらの計４つの判定のうち１つでも当てはまれば夕景判別を満たさないとし、例えば７０１のような所定の形状と判断されるものについては夕景判別を満たすものとする。

（ステップＳ４１４）
次にシーン判別部１０９は、ステップＳ４１４で、特定の条件を満たすブロックについての色相情報から色相のヒストグラムを判定する。ここで、この特定の条件とは、例えば、赤色から黄色に属する色相、低輝度、高輝度、白色、の計４種類の条件のうち一つ以上を満たすもの、としてもよい。図８は、色相のヒストグラムの一例（８０１〜８０３）を示した図である。図８に示す例では、ヒストグラムの横軸は色相であり、例えば１００から２００まで５刻みとしてもよい。ヒストグラムの縦軸は特定の条件を満たすブロック数に対する各色相のブロック数の割合である。また、特定の条件については、例えば、サーチ可能ブロック、低輝度ブロック、高輝度ブロック、白色ブロックのうちいずれかを満たすブロックとしてもよい。
ここでは、８０２に示すようにヒストグラムの最大値が一定値以上である場合、８０３に示すように、ヒストグラムの最大値部分から左右に走査して、単純減少となっていない部分の領域が一定値以上ある場合、夕景判別を満たさないとする。つまり、これらの計２つの判定のうち１つでも当てはまれば夕景判別を満たさないとし、例えば８０１のような所定の形状と判断されるものについては夕景判別を満たすものとする。

（ステップＳ４１５）
次にシーン判別部１０９は、ステップＳ４１５で、画像内の各ブロックを水平方向に走査し、各ラインにおいて占める割合の多い明るさや色を判別する。本実施形態では、１ラインごとに、低輝度ライン、高輝度ライン、低彩度ライン、空色ライン、夕日色ライン、中間色ライン、その他の色ライン、対象外ラインの計８種類に分類する。分類方法としては、まず各ラインの中で各ブロックを、輝度情報および色情報から複数の種類に分ける。
各ブロックが属する種類には、ステップＳ４０５で指定した低輝度ブロック、高輝度ブロック、空色ブロック、夕日色ブロック、中間色ブロック、ステップＳ４０８で指定した低彩度ブロック、および、それら以外のその他の色ブロックがある。以上７種類にブロックを分けたら、そこから１ライン内の各分類の割合および一番割合が多い分類を算出し、その結果により各ラインを明るさおよび色に応じて分類する。各ラインの分類方法として、例えば、低輝度ブロックが１ライン内で一定割合以上であり他のどの分類よりも割合が多い場合は、そのラインを低輝度ラインとする。同様に高輝度ライン、低彩度ライン、空色ライン、夕日色ライン、中間色ライン、その他の色ラインでも同様の条件を設定する。条件にある一定割合については、それぞれの分類により異なる閾値にしてもよい。この一定割合についても、ステップＳ４０４にて判定されたスミア領域の幅が大きくなるほど、その値を小さくする。どのラインにも属さないものを対象外ラインと分類する。なお、縦横位置検出部１０３からの位置情報により、本デジタルカメラが縦撮影位置であると判断した場合は、水平方向ではなく垂直方向に変更して画像内の各ブロックを走査し、各ラインを分類するようにする。

（ステップＳ４１６〜ステップＳ４１９）
次にシーン判別部１０９は、ステップＳ４１６〜ステップＳ４１９で、それぞれ画像内の高輝度ライン（Ｓ４１６）、空色ライン（Ｓ４１７）、低彩度ライン（Ｓ４１８）、その他の色ライン（Ｓ４１９）がどの程度あるかを算出する。画像内の水平ラインのうち一定割合以上がそれぞれの条件を満たすラインならば夕景判別の条件を満たさないとみなす。この一定割合については、高輝度ライン、空色ラインなどそれぞれに異なる値を設定してもよい。

（ステップＳ４２０）
次に、ステップＳ４２０では夕日色ブロックの平均彩度および平均色相を算出する。夕日色ブロックを満たすブロックの平均彩度、平均色相を算出し、それらの値が一定範囲内に収まっていなければ夕景判別の条件を満たさないとみなす。

（ステップＳ４２１）
次にシーン判別部１０９は、ステップＳ４２１で、夕日色ブロック数がどの程度あるかを算出する。有効ブロックのうち一定割合以下が夕日色条件を満たすブロックならば夕景判別の条件を満たさないとみなす。

（ステップＳ４２２）
ステップＳ４０１、ステップＳ４０６〜ステップＳ４２１では夕景判別の条件を満たすか否かを計算した。ステップＳ４２２では、シーン判別部１０９は、これまでのすべての夕景判別の条件を満たしたかどうかにより夕景判別結果を決定する。すべての判別条件を満たしていればステップＳ４２３へ、一つでも判別条件を満たしていなければステップＳ４２４へ移行する。

（ステップＳ４２３、ステップＳ４２４）
そしてシーン判別部１０９は、すべての夕景判別条件を満たしている場合にはそのシーンを夕景と判別する。一方、一つでも夕景判別条件を満たしていなければそのシーンは夕景でないと判別する。

以上のように夕景を判別する方法について述べたが、それぞれの判別条件に用いられる閾値は撮影時の状況により決定してもよい。また、判別する条件を指定することで夕景以外にも青空、夜景、逆光などを判別するようにしてもよい。さらに、判別するシーンの種類によっては画像内の輝度情報や色情報に限らなくてもよい。青空などのシーン以外にも、被写体距離に応じて接写用のモードであるマクロモードや、画像内に人物の顔が検出された場合には人物モードを設定し、シーン「青空＋マクロ」、「夜景＋人物」というような複数のシーンの組み合わせとして判別することも可能である。

青空判別の条件としては、例えば、画像内のＢｖ値、被写体と撮像装置の距離、また輝度、彩度、色相情報から算出された青色に属するブロック割合の画像内の分布、加えて色温度を計算した結果を使用しても判別することが可能となる。夜景判別の条件としては、例えば、画像内のＢｖ値、被写体と撮像装置の距離、平均輝度、また輝度、彩度、色相情報から算出された黒色に属するブロック割合の画像内の分布を使用しても判別することが可能となる。さらに、撮像装置の動きや被写体の動きを検出する機能を備えている撮像装置ならば、動き情報をシーン判別条件に加えてもよい。もちろん、青空判別や夜景判別においても高輝度被写体を画角内に入れて撮影することもあるため、スミアの有無に応じて判別方法を切り替えてもよい。

＜シーン判別時の画像処理＞
次に、本デジタルカメラに係るシーン判別時の画像処理の方法について説明する。

本実施形態では、判別されたシーンによって、露出補正、色補正、ガンマ補正、画像内の暗部の補正、のうち、一つ以上を設定する。撮影シーンが夕景であると判別された場合には、露出をややアンダーにし、彩度をやや強くし、ガンマ補正および暗部補正を行う。赤色から黄色に属する領域の彩度をより強調するとともに、露出をややアンダーとすることで、夕日シーンを引き立てることが可能となる。さらに、コントラスト比が低いシーンでは、ガンマ補正により階調を細かく調整することで、コントラストの改善も可能となる。また、露出をややアンダーにすることで発生した画像内の暗い領域についても、暗部補正により改善する効果が期待できる。このように露出や色味などをコントロールした画像処理により、撮像装置での撮影時に、夕景に適した画像処理を行うことが可能となる。

以上のように夕景と判別した場合の画像処理の方法について述べたが、夕景以外にも判別する条件を指定することで、そのシーンに応じた画像処理を行ってもよい。例えば、青空シーンを判別した場合には、青色の彩度を強くするなど、シーンに適した画像処理を行うことも可能である。また、夜景シーンを判別した場合には、暗い部分の階調をより下げることで、黒を引き締めるような画像処理をしてもよい。さらに、撮像装置の動きや被写体の動きの情報が夜景の判別の一つとなっていれば、動きのない夜景シーンではスローシャッターに設定してＩＳＯ感度を低く抑えることで、夜景に適してかつノイズを抑えた画像処理を行うことも可能となる。本実施形態では、露出補正、色補正、ガンマ補正、暗部補正を判別したシーンに応じて行うと記したが、画像処理方法はこれらに限らなくてもよい。

以上のように本実施形態に係るデジタルカメラでは、スミア領域の発生を考慮して、特定のシーンを判別するようにした。より詳しくは、所定の輝度情報および色情報を満たす領域が占める割合が所定の範囲内である場合に、夕日判別の条件を満たすと判断するものであって、発生したスミア領域の大きさに応じて、この所定の範囲の大きさを変更するようにした。このようにすることで、本実施形態に係るデジタルカメラでは、高精度なシーン判別を行うことが可能となる。

なお、本発明についての具体的な構成は、上述した実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

また、この実施形態の処理は、各機能を具現化したソフトウェアのプログラムコードを記憶した記憶媒体をシステム或は装置に提供してもよい。そして、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって、前述した実施形態の機能を実現することができる。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フロッピィ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスクなどを用いることができる。或いは、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることもできる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施形態の機能が実現されるだけではない。そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含まれている。

更に、コンピュータ読み取り可能な記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれてもよい。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含むものである。

１０１ 操作部
１０２ 制御部
１０３ 縦横位置検出部
１０４ ＣＣＤ部
１０５ レンズ
１０６ 露出機構
１０７ Ａ／Ｄ変換部
１０８ 画像処理部
１０９ シーン判別部
１１０ スミア検出部
１１１ ＥＦ処理部
１１２ フラッシュ部
１１３ ＥＶＦ表示部
１１４ フォーマット変換部
１１５ 画像記録部
１１６ 外部接続部
１１７ ＡＦ処理部
１１８ ＡＥ処理部

Claims (11)

1. 画像を取得する撮像手段と、
   前記画像の輝度情報を取得する輝度情報取得手段と、
   前記画像の色情報を取得する色情報取得手段と、
   前記画像でスミアが発生しているスミア領域を検出するスミア領域検出手段と、
   複数のブロックに分割した前記画像に対するブロックごとの前記輝度情報および前記色情報を見て、所定の条件を満たすブロックの割合が所定の範囲内である場合に特定のシーンであると判別するシーン判別手段と、を有し、
   前記シーン判別手段が、前記検出されたスミア領域が大きいほど、前記所定の範囲を小さく設定することを特徴とする撮像装置。
2. 前記色情報には彩度情報が含まれ、
   前記シーン判別手段は、前記所定の条件を満たすブロックの割合が前記所定の範囲内であって、かつ、前記画像に対するブロックごとの彩度についてのヒストグラムが所定の条件を満たす場合に、前記特定のシーンであると判別することを特徴とする請求項１に記載の撮像装置。
3. 前記色情報には色相情報が含まれ、
   前記シーン判別手段は、前記所定の条件を満たすブロックの割合が前記所定の範囲内であって、かつ、前記画像に対するブロックごとの色相についてのヒストグラムが所定の条件を満たす場合に、前記特定のシーンであると判別することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記シーン判別手段は、前記所定の条件を満たすブロックの割合が前記所定の範囲内であって、かつ、前記画像のブロックを水平に走査して、各ラインに占める割合の多い明るさおよび色を前記輝度情報および前記色情報から導き、明るさおよび色について所定の条件を満たすラインの数が所定の範囲内である場合に、前記特定のシーンであると判別することを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
5. 縦撮影位置か横撮影位置かを検出する縦横位置検出部を有し、
   前記シーン判別手段は、前記縦横位置検出部から出力される位置情報をもとに、前記水平に走査する方向を変更することを特徴とする請求項４に記載の撮像装置。
6. 当該撮像装置は、前記シーン判別手段により判別された前記特定のシーンに応じて撮影時の画像処理の方法を切り替えることを特徴とする請求項１〜５のいずれか１項に記載の撮像装置。
7. 前記スミア領域検出手段は、前記画像を複数のブロックに分割しブロックごとの輝度情報、色情報、及びブロックの配置を見て、スミア領域を検出することを特徴とする請求項１〜６のいずれか１項に記載の撮像装置。
8. 画像を取得する画像取得手段と、
   前記画像の輝度情報を取得する輝度情報取得手段と、
   前記画像の色情報を取得する色情報取得手段と、
   前記画像でスミアが発生しているスミア領域を検出するスミア領域検出手段と、
   複数のブロックに分割した前記画像に対するブロックごとの前記輝度情報および前記色情報を見て、所定の条件を満たすブロックの割合が所定の範囲内である場合に特定のシーンであると判別するシーン判別手段と、を有し、
   前記シーン判別手段が、前記検出されたスミア領域が大きいほど、前記所定の範囲を小さく設定することを特徴とする画像処理装置。
9. 画像を取得する画像取得ステップと、
   前記画像の輝度情報を取得する輝度情報取得ステップと、
   前記画像の色情報を取得する色情報取得ステップと、
   前記画像でスミアが発生しているスミア領域を検出するスミア領域検出ステップと、
   複数のブロックに分割した前記画像に対するブロックごとの前記輝度情報および前記色情報を見て、所定の条件を満たすブロックの割合が所定の範囲内である場合に特定のシーンであると判別するシーン判別ステップと、を有し、
   前記シーン判別ステップにおいて、前記スミア領域検出ステップにより検出されたスミア領域が大きいほど、前記所定の範囲を小さく設定することを特徴とする画像処理方法。
10. 画像を取得する画像取得ステップと、
    前記画像の輝度情報を取得する輝度情報取得ステップと、
    前記画像の色情報を取得する色情報取得ステップと、
    前記画像でスミアが発生しているスミア領域を検出するスミア領域検出ステップと、
    複数のブロックに分割した前記画像に対するブロックごとの前記輝度情報および前記色情報を見て、所定の条件を満たすブロックの割合が所定の範囲内である場合に特定のシーンであると判別するシーン判別ステップと、をコンピュータに実行させるためのプログラムであって、
    前記シーン判別ステップにおいて、前記スミア領域検出ステップにより検出されたスミア領域が大きいほど、前記所定の範囲を小さく設定することを特徴とするプログラム。
11. 請求項１０に記載のプログラムを記憶したコンピュータ読み取り可能な記憶媒体。

Images