JP2011030207A - 撮像装置、閃光判定方法およびプログラム - Google Patents

Abstract

【課題】外部閃光の検出精度を高めることができる撮像装置を実現する。
【解決手段】撮像装置１０００は、ＣＭＯＳ型撮像素子を用いて画像を連続して撮像する撮像部１１と、撮像部１１により撮像された画像に基づいて閃光の有無を判定する閃光判定部１２と、を備える。閃光判定部１２は、撮像部１１により撮像された画像の画面下部の所定領域の平均輝度レベルの変化量を監視し、平均輝度レベルの変化量に基づいて閃光の有無を判定する。
【選択図】図１

Description

本発明は、連続画像を撮像するデジタルカメラやビデオカメラなどに活用され、外部閃光があっても帯状のノイズを発生させることなく、かつ、閃光瞬間（外部閃光が発生した時）のフレーム画像も適切に出力することができる撮像装置および閃光判定方法に関するものである。

最近のビデオカメラではＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）撮像素子（ＣＭＯＳイメージセンサ）を用いて画像の撮像を行なっているものが増えている。こういったＣＭＯＳ撮像素子を用いたビデオカメラでは、動画撮像時にフラッシュ発光のような外部閃光があった場合、１フレームの瞬間画面全体が明るくなるのではなく、画面の上部と下部で明るさの異なった不自然な画像が出力される。この問題は、例えば、特許文献１の図３および段落番号［００５９］〜［００６５］の説明にもあるように一般的に知られている。

ＣＭＯＳ撮像素子を用いた撮像装置で、画面の上部と下部で明るさの異なった不自然な画像が出力される原因について図面を用いて説明する。

図７は、フレーム周波数６０Ｈｚ、有効走査線数１０８０本の画像を、ＣＭＯＳ撮像素子を用いた撮像装置で撮像したときの露光タイミングを示した図であり、外部閃光があったとき帯状の高輝度部分が発生していることを示している。ＣＭＯＳ撮像素子では、各ラインの露光タイミングがずれており、画面最上部の１ライン目と最下部の１０８０ライン目ではおよそ１／６０秒の時差がある。ここで、外部閃光があると、その外部閃光の影響は、前のフレーム（２）の画像として露光されるラインと、後のフレーム（３）の画像として露光されるラインに分れて発生する。その結果、撮像装置から出力される画像（映像）において、画面下部が明るくなるフレームが発生し、次のフレームでは画面上部が明るくなるフレームが発生する。また、外部閃光は、撮像装置の動作とは非同期に発生するため、撮像装置により取得される画像（撮像画像）の画面が明るくなる開始点がどこのラインになるか不明である。

こういった撮像画像の画面の上部と下部とで明るさの異なった不自然な画像が出力される課題に対して、特許文献１では、外部閃光を検出して、外部閃光が検出されたときには、当該外部閃光の影響を受けている不自然な画像を除いて記録する方法が提案されている。

また、特許文献１に開示されている撮像装置では、以下のようにして、外部閃光を検出する。すなわち、特許文献１に開示されている撮像装置は、画像の明るさや色の分布を検波する検波部を備え、画像の所定の部分の明るさや色の分布を示す情報や、画像の所定の部分の空間周波数を示す情報を評価値として出力し、当該評価値と比較対象画像の評価値との差分を取って、この差分が基準値以上であれば、外部閃光の影響ありと判定する。

特開２００７−３０６２２５号公報

しかしながら、ニュース取材等で用いられるビデオカメラでは、例えば、夜間の屋外で警察の護送で人物が車で運ばれて来るシーンなど、フラッシュ閃光があった瞬間の画像も記録させたいという要望がある。

すなわち、ＣＭＯＳ撮像素子を使用したビデオカメラで撮像する場合、外部閃光があっても上部と下部で明るさの異なった不自然な画像になるのではなく、閃光瞬間の一様に明るくなった画像を出力させたいという要望がある。

一方、外部閃光の検出にあたっては、検出精度の問題を抱えている。
特許文献１では、所定の部分の明るさ情報を評価値とし、当該評価値と比較対象画像の評価値との差分を取り、その差分が基準値以上であれば、外部閃光の影響ありとする閃光検出処理を行うが、具体的に画面内のどの領域を処理対象として閃光検出処理を行うのかについては示されていない。ここで、（１）監視する領域を画面全体とし、画面全体の平均輝度を評価値として利用する場合と、（２）監視する領域を画面最下部の１ラインのみとして、最下部１ラインの平均輝度を評価値として利用する場合とについて、閃光の検出精度を検証する。

（１）まず、監視する領域を画面全体として、画面全体の平均輝度を評価値として利用する場合について、閃光の検出精度を検証する。閃光がある環境下で撮像装置による撮像を行った場合、撮像装置により取得される撮像画像の画面の平均輝度も上昇するが、この平均輝度の上昇のばらつきが大きい。図７で説明したように、外部閃光は、撮像装置の動作とは非同期であるため、撮像画像の画面が明るくなる開始点がどこのラインになるか不明である。よって、撮像画像の画面の上部から明るくなっている場合もあれば、撮像画像の画面の下の方から明るくなっている場合もある。
図８（ａ）、（ｂ）は、撮像画像の画面が一様に輝度レベル２０％になっているところに外部閃光により画面下部が輝度レベル１００％になっている例を示した図である。図８（ａ）は画面の９割が外部閃光により輝度が上昇している例であり、図８（ｂ）は画面の１割が外部閃光により輝度が上昇している例である。なお、「輝度レベル１００％」とは、ＳＭＰＴＥ（Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ａｎｄ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ）や電波産業界のスタジオ規格でいうところの白ピークレベルに相当するレベルをいう。そして、この白ピークレベルを「１００％」とすることで、「％」により、輝度レベルを含む画像信号のレベル（信号値）を表現する。
図８（ａ）について、画面全体の平均輝度を計算すると９２％になる。一方、図８（ｂ）について画面全体の平均輝度を計算すると２８％になる。すなわち、外部閃光があっても画面全体で平均輝度を計算して評価値とすると、高輝度部分のラインがどこから始まるかによって、評価値（この場合は、画面全体の平均輝度レベル）がレベル２８％からレベル９２％のように大きくばらついてしまう。

ここで、上記閃光検出方法において、閃光を判定する基準値を、1フレーム前のフレーム（フレーム画像）の平均輝度レベルの２倍の値に設定すると、上記の場合、現フレーム画像（処理対象のフレーム画像）の平均輝度レベルが４０％以上である場合、「閃光あり」と判定される。図８（ａ）の場合、評価値が９２％であるので、上記閃光検出方法により、「閃光あり」と判定することができるが、図８（ｂ）の場合、評価値が２８％であるので、上記閃光検出方法では、「閃光あり」と判定されない。

また、高輝度になる開始ラインの影響を小さくするために、閃光を判定する基準値を低めにする、例えば、当該基準値を、１フレーム前のフレーム（フレーム画像）の平均輝度レベルの１．２倍に設定すると、上記閃光検出方法により、フレーム画像の平均輝度レベルが２４％以上で「閃光あり」と判定される。このとき、上記閃光検出方法により、図８（ａ）の場合も、図８（ｂ）の場合も、「閃光あり」と判定することができるが、閃光のない通常撮像時にズーム操作やパン・チルト操作を行ったとき、あるいは、被写体が動いたとき、撮像画像（フレーム画像）の画面の輝度が変化し、「閃光あり」と判定してしまうという誤検出が起こる可能性がある。

以上のように、撮像画像（フレーム画像）の画面全体で平均輝度を評価値として採用し、評価値の変化を監視する手法では、閃光があったにも関わらず「閃光あり」と判定されない無反応や、閃光がないにも関わらず「閃光あり」と判定してしまう誤検出がある。

（２）次に、上記（１）の場合とは逆に、監視する領域を小さくして、監視領域を撮像画像（フレーム画像）の最下部の１ラインのみとし、最下部１ラインの平均輝度を評価値として利用する場合の閃光検出方法の閃光の検出精度について検証する。
この場合、最下部１ラインの平均輝度は、ビデオカメラの動きにより大きく変化してしまう。例えば、ビデオカメラにおいて、チルト操作や手振れが発生したときは、撮像画像（フレーム画像）の画面最下部で撮像していた被写体（物体）が上下方向に動くため、１ラインの平均輝度が大きく変化してしまう。図８（ｃ）は、撮像画像の画面下方から高輝度物体が上方にフレームインしてきた例を示している。図８（ｃ）の場合、撮像画像の最下部ラインの平均輝度は、フレーム間において、レベル２０％からレベル５０％に急上昇してしまう。閃光検出方法において、閃光を判定する基準値を、１フレーム前のフレーム画像のライン平均輝度レベルの２倍の値に設定すると、図８（ｃ）の場合、現フレームの１フレーム前のフレーム画像の評価値がレベル２０％であるので、現フレームのライン平均輝度レベルが４０％以上で「閃光あり」と判定される。つまり、上記閃光検出方法では、図８（ｃ）の場合、外部閃光がないにも関わらず「閃光あり」と判定してしまう誤検出を起こしてしまう。

以上のように、従来技術では、閃光を検出するための輝度変化の監視する領域設定によって誤検出や無反応を起こしてしまうという閃光検出の検出精度の問題がある。

本発明は、上記従来の課題を解決するもので、外部閃光の検出精度を高める撮像装置、閃光検出方法、および、プログラムを実現することを目的とする。

第１の発明は、撮像部と、判定部と、を備える撮像装置である。
撮像部は、ＣＭＯＳ型撮像素子を含み、被写体光を電気信号に変換し、画像を取得する。判定部は、撮像部により取得された画像の画面下部の所定領域を閃光検出用監視領域に設定し、閃光検出用監視領域から評価値を算出し、算出した評価値が所定の値以上変化したとき、画像内に閃光の影響があると判定する。
この撮像装置では、判定部により、画像の画面下部の所定領域を閃光検出用監視領域に設定し、閃光検出用監視領域から評価値を算出し、算出した評価値が所定の値以上変化したとき、画像内に閃光の影響があると判定するので、外部閃光の誤検出や無反応を減らすことができ、閃光の検出精度を高めることができる。
なお、「画像」とは、表示装置において１つの画面を構成することができるものであり、例えば、フレーム画像がこれに該当する。
また、「画面下部」とは、画像の画面の下半分以下の画像領域を含む概念であり、例えば、画像の画面の最下部の１ラインを含む画面の下半分以下の画像領域がこれに該当する。

また、「評価値」とは、閃光検出用監視領域の状態を表す物理量であり、例えば、閃光検出用監視領域における、平均信号レベルや信号レベルの積分値、平均輝度レベルや輝度レベルの積分値、ＲＧＢ成分ごとの信号レベルの平均値や、ＲＧＢ成分信号の全部または一部の信号レベルの平均値や積分値等、である。
また、「変化」とは、画像間における変化、例えば、フレーム画像間の変化を含む概念である。例えば、第Ｎ番目（Ｎは整数）のフレーム画像の評価値と、その次のフレームである第Ｎ＋１番目のフレーム画像の評価値とにおける変化が、「変化」の一例である。
第２の発明は、第１の発明であって、判定部は、画像の画面の最下ラインを含む所定数のラインからなる領域を、閃光検出用監視領域に設定する。
この撮像装置では、外部閃光の影響を最も受けやすい画像の画面の最下ライン（有効画面を構成するラインの最も下に位置するライン）を含む所定数のラインからなる領域を、閃光検出用監視領域に設定するので、外部閃光の影響をより精度よく検出することができる。

なお、この撮像装置では、例えば、閃光検出用監視領域を、最下ラインを含む連続したラインで構成される領域に設定する。例えば、この撮像装置では、画像の画面が１０８０ラインで構成されている場合、閃光検出用監視領域を、第１０１７ライン〜第１０８０ラインの画面下部の６４ライン分の領域に設定する。
第３の発明は、第１または第２の発明であって、判定部は、閃光検出用監視領域をｎ個（ｎは２以上の整数）の領域に分割し、ｎ個に分割した領域ごとに、分割領域評価値を算出し、算出したｎ個の分割領域評価値の全部又は一部の変化量を監視し、監視している分割領域のうちの全ての分割領域における分割領域評価値の変化量に基づいて、画像内の閃光の影響の有無を判定する。
これにより、この撮像装置では、閃光検出用監視領域をｎ個（ｎは２以上の整数）の領域に分割した分割領域から算出した分割領域評価値を用いて、より精度よく、閃光検出を行うことができる。
第４の発明は、第１から第３のいずれかの発明であって、判定部により画像内に閃光の影響が有ると判定された場合、撮像部により取得された画像に対して閃光の影響を補正する処理を行う補正部をさらに備える。

これにより、この撮像装置では、画像内の閃光の影響を補正することができる。
第５の発明は、撮像ステップと、判定ステップと、を備える閃光判定方法である。
撮像ステップでは、ＣＭＯＳ型撮像素子を用いて、被写体光を電気信号に変換し、画像を取得する。判定ステップでは、撮像ステップにより取得された画像の画面下部の所定領域を閃光検出用監視領域に設定し、閃光検出用監視領域から評価値を算出し、算出した評価値が所定の値以上変化したとき、画像内に閃光の影響があると判定する。
これにより、第１の発明と同様の効果を奏する閃光判定方法を実現することができる。
第６の発明は、第５の発明であって、判定ステップでは、画像の画面の最下ラインを含む所定数のラインからなる領域を、閃光検出用監視領域に設定する。
これにより、第２の発明と同様の効果を奏する閃光判定方法を実現することができる。
第７の発明は、第５または第６の発明であって、判定ステップでは、閃光検出用監視領域をｎ個（ｎは２以上の整数）の領域に分割し、ｎ個に分割した領域ごとに、分割領域評価値を算出し、算出したｎ個の分割領域評価値の全部又は一部の変化量を監視し、監視している分割領域のうちの全ての分割領域における分割領域評価値の変化量に基づいて、画像内の閃光の影響の有無を判定する。

これにより、第３の発明と同様の効果を奏する閃光判定方法を実現することができる。
第８の発明は、第５から第７のいずれかの発明であって、判定ステップにより画像内に閃光の影響が有ると判定された場合、撮像部により取得された画像に対して閃光の影響を補正する処理を行う補正ステップをさらに備える。
これにより、第４の発明と同様の効果を奏する閃光判定方法を実現することができる。
第９の発明は、撮像ステップと、判定ステップと、を備える閃光判定方法をコンピュータに実行させるプログラムである。
撮像ステップでは、ＣＭＯＳ型撮像素子を用いて、被写体光を電気信号に変換し、画像を取得する。判定ステップでは、撮像ステップにより取得された画像の画面下部の所定領域を閃光検出用監視領域に設定し、閃光検出用監視領域から評価値を算出し、算出した評価値が所定の値以上変化したとき、画像内に閃光の影響があると判定する。
これにより、第１の発明と同様の効果を奏する閃光判定方法をコンピュータに実行させるプログラムを実現することができる。

本発明によれば、外部閃光の誤検出や無反応を減らすことができ、閃光の検出精度を高めることができる撮像装置、閃光検出方法、および、プログラムを実現することができる。

第１実施形態における撮像装置のブロック図 第１実施形態における撮像部のブロック図 第１実施形態における閃光判定部のブロック図 第１実施形態における補正部のブロック図 第２実施形態における撮像装置のブロック図 第２実施形態における閃光判定部のブロック図 ＣＭＯＳ撮像素子の露光タイミングの説明図 従来例における輝度レベル変化の説明図 第１実施形態における補正部出力画像を説明するタイミング図 第１実施形態における外部閃光時の輝度レベル変化の説明図 第１実施形態における移動する高輝度物体による輝度レベル変化の説明図 第２実施形態における移動する高輝度物体による輝度レベル変化の説明図 第１実施形態における撮像装置の処理を説明するフローチャート 第２実施形態における撮像装置の処理を説明するフローチャート

以下、実施形態について、図面を参照しながら説明する。

［第１実施形態］
＜１．１：撮像装置の構成＞
図１は、第１実施形態における撮像装置１０００のブロック図である。
図１に示すように、撮像装置１０００は、被写体からの光を集光するレンズ部１０と、レンズ部１０により集光した被写体光を電気信号に変換することにより画像信号を取得する撮像部１１と、撮像部１１により取得された画像信号から外部閃光の有無を検出し、検出結果を閃光検出信号として出力する閃光判定部１２と、を備える。また、撮像装置１０００は、閃光検出信号に基づいて、撮像部１１から出力される画像信号に対して補正処理を行う補正部１３と、補正部１３の出力に対して画像処理を行う画像処理部１４と、を備える。また、撮像装置１０００は、画像処理部１４から出力される画像信号を表示する表示部１５と、画像処理部１４から出力される画像信号を記憶する記録部１６と、撮像装置１０００の各機能部を制御する制御部１７と、ユーザからの各種指示を制御部１７に伝える操作部１８と、を備える。
レンズ部１０は、１または複数のレンズから構成され、被写体からの光を集光し、撮像部１１の撮像素子面に被写体の光学像を結像させる。レンズ部１０は、フォーカス調整機能や、ズーム機能、露光調整機能等を有しており、制御部１７からの制御信号により制御される。
撮像部１１は、撮像素子（例えば、ＣＭＯＳイメージセンサ）、およびセンサ駆動部を有し、レンズ部１０により集光された被写体からの光を光電変換により電気信号に変換し、画像信号として、閃光判定部１２および補正部１３に出力する。撮像部１１は、連続画像を撮像して、例えば、垂直有効ラインが１０８０、水平有効画素が１９２０、フレーム周波数６０Ｈｚの順次走査画像信号を出力する。
閃光判定部１２は、撮像部１１から出力される画像信号を入力とし、連続する各フレームの画像（画像信号により形成されるフレーム画像）を比較し、外部閃光の有無を検出する（フレーム画像内に外部閃光の影響を受けている画像信号があるか否かを検出する）。そして、閃光判定部１２は、外光閃光の有無を示す閃光検出信号を補正部１３に出力する。
補正部１３は、撮像部１１から出力される画像信号および閃光判定部１２から出力される閃光検出信号を入力とする。補正部１３は、閃光検出信号に基づいて、画像信号により形成されるフレーム画像に対して、所定の補正処理を行う。そして、補正部１３は、補正処理後の画像信号を画像処理部１４に出力する。
画像処理部１４は、補正部１３から出力される画像信号に対して、所定の画像処理（例えば、カメラ信号処理（例えば、ホワイトバランス処理、ガンマ処理、輝度／色差信号への変換、輪郭強調の処理等））を実行し、画像処理後の画像信号を、表示部１５および記録部１６に出力する。
表示部１５は、画像処理部１４から出力される画像信号を所定の表示形式で表示する。
記録部１６は、画像処理部１４から出力される画像信号を所定の記録形式で記録する。
制御部１７は、撮像装置１０００の各機能部に対して各種制御信号を出力し、撮像装置１０００の各機能部を制御する。
操作部１８は、ユーザからの指示を制御部１７に伝える。

＜１．２：撮像装置の動作＞
以上のように構成された撮像装置１０００について、各部の動作を説明する。

まず、レンズ部１０では、制御部１７からの信号により制御され、ズーム、フォーカス、絞りが調整され、光信号（被写体からの光）が撮像部１１に供給（入力）される。

撮像部１１は、例えば、図２に示したブロック図で実現される。図２に示すように、撮像部１１は、プリズム２０と、ＣＭＯＳ撮像素子２１、２４、２７と、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）部２２、２５、２８と、アナログ／デジタル（Ａ／Ｄ）変換部２３、２６、２９と、駆動部３０と、を備える。

レンズ部１０から入力された光信号は、プリズム２０にて、Ｒ（赤色成分）、Ｇ（緑色成分）、Ｂ（青色成分）の３つに分光され、Ｒ信号はＣＭＯＳ撮像素子２１に、Ｇ信号はＣＭＯＳ撮像素子２４に、Ｂ信号はＣＭＯＳ撮像素子２７に、それぞれ、入力される。

ＣＭＯＳ撮像素子２１、２４、２７は、それぞれ、駆動部３０から供給される信号により制御され、入射した光を受光してＣＭＯＳ撮像素子の各画素で電荷が蓄積される。そして、ＣＭＯＳ撮像素子２１、２４、２７は、それぞれ、光電変換により、電荷に対応した電気信号を画像信号として、ＣＤＳ部２２、２５、２８に出力する。本実施形態では、ＣＭＯＳ撮像素子２１、２４、２７は、水平１９２０画素、垂直１０８０ラインの有効画素に、それぞれフォトダイオードを有しており、１／６０秒毎に全画素分（フレーム画像１枚分）の電気信号（画像信号）を出力する。

ＣＤＳ部（例えば、ＣＤＳ回路）２２、２５、２８は、駆動部３０からの信号によって制御され、ＣＭＯＳ撮像素子２１、２４、２７のそれぞれから供給されたアナログの電気信号のノイズ成分を、相関二重サンプリング処理を施すことによって除去する。そして、ＣＤＳ部２２、２５、２８は、ノイズ成分を除去したアナログの電気信号をアナログ／デジタル変換部２３、２６、２９のそれぞれに供給する。

アナログ／デジタル変換部２３、２６、２９は、駆動部３０からのクロック信号によって制御され、アナログ電気信号をデジタル信号に変換する。そして、アナログ／デジタル変換部２３、２６、２９によりデジタル信号に変換された信号は、それぞれ、Ｒ成分画像信号（Ｒ成分映像信号）、Ｇ成分画像信号（Ｇ成分映像信号）およびＢ成分画像信号（Ｂ成分映像信号）として、アナログ／デジタル変換部２３、２６、２９から出力される。

以上のように、撮像部１１では、入射した光信号をＲ、Ｇ、Ｂの３色のデジタル映像信号に変換し、１／６０秒を１フレームとして水平１９２０画素、垂直１０８０ライン分の画素データを出力している。

次に、閃光判定部１２について説明する。
閃光判定部１２は、例えば、図３で示したブロック図の構成により実現される。図３に示すように、閃光判定部１２は、輝度演算部３１と、ブロック平均演算部３２と、保持部３３と、比較判定部３４と、を備える。

輝度演算部３１は、入力されたＲ、Ｇ、Ｂのデジタル映像信号から各画素（デジタル信号により形成される画像の各画素）の輝度信号を計算し、計算した各画素の輝度信号をブロック平均演算部３２に出力する。

ブロック平均演算部３２は、輝度演算部３１から入力された各画素の輝度信号から、同一フレーム画像の画面の最下部６４ラインを監視対象領域と設定して、この領域内全画素の平均輝度レベルを計算する。そして、ブロック平均演算部３２は、計算結果をブロック平均輝度レベルＹａとしてフレーム毎に保持部３３および比較判定部３４に出力する。

保持部３３は、ブロック平均演算部３２から１フレーム毎に出力されるブロック平均輝度レベルを１フレームの時間（１／６０秒）だけ保持し、Ｙｂとして比較判定部３４に出力する。

比較判定部３４は、ブロック平均演算部３２から入力されるブロック平均輝度レベルＹａと、保持部３３から入力されるＹｂとを比較して、フレーム毎に判定結果を出力する。具体的には、比較判定部３４は、式 Ｙａ≧Ｙｂ×２を満足したとき、判定結果として「１」を出力、それ以外は「０」を出力する。

次に、補正部１３について説明する。
補正部１３は、例えば、図４で示したブロック図の構成により実現される。
図４に示すように、補正部１３は、選択部３５、４０、４５、３９、４４、４９と、各画素の信号を１フレーム分記憶して１フレーム分（１／６０秒）だけ遅延させるメモリ部３６、４１、４６と、加算部３７、４２、４７と、倍率０．５を乗じる乗算部３８、４３、４８と、を備える。

選択部３５、４０、４５、および選択部３９、４４、４９は、閃光判定部１２から入力される信号、すなわち、閃光判定結果が「０」のときは、それぞれ、端子ａが選択され、閃光判定結果が「１」のときは、それぞれ、端子ｂが選択される。

ここで、閃光判定結果が「０」のときは、補正部１３に入力されるＲ、Ｇ、Ｂの映像信号は、それぞれ、選択部３５、４０、４５を介して、メモリ部３６、４１、４６に入力され、１フレーム分の遅延がなされる。この１フレーム遅延したＲ、Ｇ、Ｂそれぞれの映像信号が、それぞれ選択部３９、４４、４９を介して、画像処理部１４へ出力される。

一方、閃光判定結果が「１」のときは、補正部１３に入力されるＲ、Ｇ、Ｂの映像信号は、それぞれ、加算部３７、４２、４７に入力され、１フレーム遅延した信号と加算される。加算結果は、それぞれ、乗算部３８、４３、４８にて、０．５倍される。これは、加算した後に、０．５倍するため、加算平均の演算をしていることになる。この加算平均した結果は、それぞれ、選択部３９、４４、４９を介して、画像処理部１４へ出力される。これと同時に、加算平均した結果である乗算部３８、４３、４８の出力は、それぞれ、選択部３５、４０、４５を介して、メモリ部３６、４１、４６へ入力される。

現フレーム（処理対象フレーム）で閃光判定結果が「１」となり、次のフレームで「０」となる場合は、閃光判定結果が「１」のフレームでは、補正部１３から、加算平均された映像（画像信号）が出力されるが、次のフレームでは、メモリ部３６、４１、４６に記憶された映像（画像信号）が補正部１３から出力されるため、同じフレームの映像（画像）が２フレーム続けて出力されることになる。

この動作について、図９を参照して説明する。
図９は、補正部１３からの出力画像を説明するためのタイミング図である。
図９（ｂ）は撮像部１１出力の画像を示しており、（２）のフレームで画面下部に白帯が発生している。このフレーム（２）で画面最下部６４ラインの領域のブロック平均輝度が上昇し、閃光判定部１２からは閃光判定結果として「１」が出力される。この閃光判定部１２の出力信号は、図９（ｃ）のようになっており、（２）のフレーム直後に閃光判定結果「１」を示す信号が出力されている。補正部１３の出力画像は、図９（ｄ）に示すように、図９（ｂ）に比べ１フレーム分遅延しており、閃光判定部１２から閃光判定結果として「１」が出力されているタイミングとその直後のフレームとの２フレームにわたって加算平均処理した補正画面（補正処理を実行したフレーム画像）が現れる（補正部１３から出力される）。

図９（ｂ）に示すように、外部閃光があったときの撮像部出力画像には、連続する２フレーム、具体的には、フレーム（２）とフレーム（３）にわたって白帯が発生する。このように連続する２フレームにわたって白帯が発生するのは、外部閃光をＣＭＯＳ撮像素子２１、２４、２７で露光されて電荷を蓄積している期間が、フレーム（２）とフレーム（３）に対応する期間に分かれている（またがっている）ためである。よって、撮像装置１０００において、フレーム（２）とフレーム（３）との各画素の信号を加算平均することで、全ての画素に対して同じ外部閃光を露光して電荷を蓄積した信号が生成でき、画面全体が明るくなった補正画面（補正したフレーム画像）を取得することができる。

次に、画像処理部１４の動作について説明する。
画像処理部１４は、入力されたＲ、Ｇ、Ｂの映像信号に対して、ホワイトバランスの調整処理を施し、ガンマ処理、輝度／色差信号への変換処理、輪郭強調の処理等を行ない、輝度／色差の映像信号を出力する。

この画像処理部１４の出力映像信号は、表示部１５と記録部１６へ出力される。
表示部１５は、例えば、液晶パネル上に画像処理部１４から出力される映像信号（画像信号）により形成される画像を表示し、操作者がその表示された画像を確認することができる。
記録部１６は、画像処理部１４から出力される映像信号（画像信号）により形成される画像に対して、例えば、情報圧縮を施した上で半導体メモリ等の記録媒体に、画像データを書き込み、記録する。

操作部１８は、ボタン、スイッチ等が配置されており、ズーム、フォーカス、絞りの制御や、記録の開始／終了など操作者からの操作入力ができるようになっている。これらの操作入力信号は、制御部１７へ送られる。制御部１７は、当該操作入力信号に基づいて、撮像装置１０００の各機能部の制御を行う。

次に、第１実施形態の撮像装置１０００の動作および制御手順についてフローチャートを用いて説明する。

図１３は、第１実施形態の撮像装置１０００の動画撮像の処理を説明するためのフローチャートである。
例えば、操作者が操作部１８の録画ボタンを操作して撮像が要求されたと判断されると、撮像装置１０００において、処理（撮像処理）が開始される。

まず、ステップＳ１００にて、撮像部１１は、１フレーム分の画像を撮像する（１フレーム分の画像信号を取得する）。
次に、ステップＳ１１０では、閃光判定部１２が、撮像画像（フレーム画像）の画面最下部６４ラインのブロック平均輝度を算出し、算出したブロック平均輝度を評価値とする。
ステップＳ１２０では、ステップ１１０で演算された評価値が、保持部３３に書き込まれる。
ステップＳ１３０では、撮像部１１で撮像された画像が、補正部１３内のメモリ部３６、４１、４６に書き込まれる。
ステップＳ１４０では、次の１フレームの画像が撮像される。

ステップＳ１５０では、閃光判定部１２が、新しい画像について、画面最下部６４ラインのブロック平均輝度を算出し、算出したブロック平均輝度を評価値とする。

ステップＳ１６０では、閃光判定部１２により演算（算出）された新しい評価値と、保持部３３に記憶していた評価値とを比較する。

ステップＳ１７０では、ステップＳ１６０で比較した結果、新しい評価値が保持部３３に記憶していた評価値の２倍以上になっていれば、ステップＳ２１０に進み、２倍未満であれば、ステップＳ１８０へ進む。

ステップＳ１８０では、メモリ部３６、４１、４６に蓄えていた画像が出力され、表示部１５で画像表示するとともに、記録部１６で所定のフォーマットで記録する。

次に、ステップＳ１９０では、新しく撮像した画像、すなわち、ステップＳ１４０で撮像した画像をメモリ部３６、４１、４６に上書きする。

そして、ステップＳ２００では、ステップＳ１５０で演算（算出）した評価値を保持部３３に上書きし、ステップＳ２５０に進む。

一方、ステップＳ２１０では、ステップＳ１４０で撮像した画像と、メモリ部３６、４１、４６に格納されていた画像とを画素単位で加算平均の演算をする。

ステップＳ２２０では、Ｓ２１０での加算平均演算された画像を表示部１５に画像表示するとともに、記録部１６で所定のフォーマットで記録する。

そして、ステップＳ２３０では、ステップＳ２１０で演算した画像をメモリ部３６、４１、４６に上書きする。

さらに、ステップＳ２４０では、ステップ１５０で演算した新しい評価値を保持部３３に上書きし、ステップＳ２５０に進む。

ステップＳ２５０では、例えば、操作者が操作部１８の録画停止ボタンを操作して撮像終了を要求したと判断されると処理が終了する。一方、撮像終了が要求されたと判断されない場合はステップＳ１４０に戻り、次のフレームの撮像を行なう。

≪閃光検出の精度について≫
以上のように動作する第１実施形態における撮像装置１０００の閃光検出の精度について検証する。

図１０（ａ）、（ｂ）は、撮像画像（フレーム画像）の画面全体を閃光検出領域として平均輝度を監視し、現フレーム画像の平均輝度が１フレーム前のフレーム画像の平均輝度の２倍になったとき、閃光検出（「閃光あり」と判定）する場合の説明図である。
図１０（ａ）、（ｂ）は、閃光に関係のない画面の部分の輝度がレベル２０％、閃光により明るくなった画面の部分の輝度がレベル１００％になっている例である。図１０（ａ）は撮像画像（フレーム画像）の画面の上部１０８ライン目から閃光による白帯（影響）が始まっている例であり、図１０（ｂ）は撮像画像（フレーム画像）の画面の下部９７２ライン目から閃光による白帯（影響）が始まっている例である。

図１０（ａ）は、撮像画像（フレーム画像）の画面全体の平均輝度がレベル９２％となり、レベル２０％の２倍、すなわちレベル４０％を超えているため、閃光検出（「閃光あり」と判定）される。しかし、図１０（ｂ）では、撮像画像（フレーム画像）の画面全体の平均輝度がレベル２８％となり、レベル４０％より下回っているため、閃光検出（「閃光あり」と判定）されない。すなわち、この場合、閃光を検出できない無反応になってしまう。

次に、図１０（ｃ）、（ｄ）、（ｅ）、は、第１実施形態の撮像装置１０００と同じ画面最下部６４ラインを閃光検出領域として平均輝度を監視し、現フレーム画像の平均輝度が１フレーム前のフレーム画像の平均輝度の２倍になったとき、閃光を検出したと判定する場合の説明図である。図１０（ｃ）、（ｄ）、（ｅ）、は、閃光に関係のない撮像画像（フレーム画像）の画面の部分の輝度がレベル２０％、閃光により明るくなった画面の部分の輝度がレベル１００％になっている例である。
図１０（ｃ）は、撮像画像（フレーム画像）の画面の上部１０８ライン目から閃光による白帯が始まっている例である。図１０（ｄ）は、撮像画像（フレーム画像）の画面の下部９７２ライン目から閃光による白帯が始まっている例である。図１０（ｅ）は、撮像画像（フレーム画像）の画面の下部１０６０ライン目から閃光による白帯が始まっている例である。

図１０（ｃ）は、閃光検出領域の平均輝度がレベル１００％となり、レベル２０％の２倍、すなわちレベル４０％を超えているため、閃光検出（「閃光あり」と判定）される。
図１０（ｄ）についても閃光検出領域の平均輝度がレベル１００％となり、閃光検出（「閃光あり」と判定）される。さらに、もっと画面下方から白帯が始まることを想定し、図１０（ｅ）のように、撮像画像（フレーム画像）の画面下部の１０６０ライン目から閃光による白帯が始まったとしても、閃光検出領域の平均輝度はレベル４５％となり閃光検出（「閃光あり」と判定）される。

以上のように、第１実施形態における撮像装置１０００は、撮像画像（フレーム画像）の画面全体を閃光検出領域として平均輝度を監視する場合に比べ、閃光があるのに閃光が検出されない無反応（閃光検出についての誤判定）が減少する。

図１１（ａ）は、撮像画像（フレーム画像）の画面最下部の１ラインを閃光検出領域としてライン平均輝度を監視し、現フレーム画像の平均輝度が１フレーム前のフレーム画像の平均輝度の２倍になったとき、閃光を検出した（閃光あり）と判定する場合の説明図である。図１１（ａ）は、通常の画面の輝度がレベル２０％のところへ、フレーム画像の画面の水平方向の長さの半分の大きさを持ち、輝度がレベル８０％の物体が画面の下方から上方へ移動し、画面内に３２ライン分入ってくる例である。

図１１（ａ）の場合では、撮像画像（フレーム画像）の画面最下部の１ラインを閃光検出領域としているため、監視しているライン平均輝度はレベル２０％（現フレームの１フレーム前のフレーム画像のライン平均輝度レベル）からレベル５０％（現フレーム画像のライン平均輝度レベル）へ増加する。この場合、現フレーム画像のライン平均輝度レベル（画面最下部の１ラインのライン平均輝度レベル）が、１フレーム前のフレーム画像のライン平均輝度レベル（画面最下部の１ラインのライン平均輝度レベル）の２倍、すなわちレベル４０％を超えているため、閃光があったと判定してしまい誤検出となる。

図１１（ｂ）は、第１実施形態の撮像装置１０００において採用される閃光検出方法の閃光検出精度を説明するための図である。つまり、図１１（ｂ）は、撮像画像（フレーム画像）の画面最下部６４ラインを閃光検出領域として平均輝度を監視し、現フレーム画像の平均輝度が１フレーム前のフレーム画像の平均輝度の２倍になったとき、閃光を検出した（閃光あり）と判定する場合の説明図である。図１１（ｂ）は、図１１（ａ）と同様に、フレーム画像の画面の輝度がレベル２０％のところへ、フレーム画像の画面の水平方向の長さの半分の大きさを持ち、輝度がレベル８０％の物体が画面の下方から上方へ移動し、画面内に３２ライン分入ってくる例である。

図１１（ｂ）では、フレーム画像の画面最下部の６４ラインを閃光検出領域としているため、監視しているブロック平均輝度はレベル２０％（現フレームの１フレーム前のフレーム画像のブロック平均輝度レベル）からレベル３５％（現フレームのブロック平均輝度レベル）へ増加する。この場合、現フレーム画像のブロック平均輝度レベルが、１フレーム前のフレーム画像のブロック平均輝度レベルの２倍、すなわち、レベル４０％を超えていないため、撮像装置１０００では、閃光があったとは判定されず、誤検出は起こらない。

以上説明したように、フレーム画像の画面全体を閃光検出領域とし平均輝度を監視すると閃光があるにも関わらず閃光が検出できない無反応（閃光検出の誤判定）が起こるが、第１実施形態の撮像装置１０００では、無反応（閃光検出の誤判定）を減らすことができる。また、フレーム画像の画面最下部の１ラインのみを閃光検出領域としてライン平均輝度を監視すると被写体の動きに対して敏感に反応し、誤検出を起こしていたが、第１実施形態の撮像装置１０００では、誤検出を減らすことができ、閃光の検出精度を向上させることができる。

以上のように、第１実施形態の撮像装置１０００では、フレーム画像の画面最下部の６４ライン分の閃光検出領域を設け、ブロック平均輝度を監視して、現フレーム画像のブロック平均輝度と１フレーム前のフレームのブロック平均輝度と比べ、現フレーム画像のブロック平均輝度が１フレーム前のフレームのブロック平均輝度の２倍以上になったとき、閃光検出（閃光あり）と判定する。これにより、撮像装置１０００では、閃光検出の誤検出や無反応を減らすことができる。また、撮像装置１０００では、閃光のあった連続２フレーム（閃光の影響がある連続する２つのフレーム）の画像に対して、画素ごとに加算平均することにより、出力画像を生成する。これにより、撮像装置１０００から出力される画像は、画面の上部と下部で明るさの異なった不自然な画像になることはなく、閃光瞬間の一様に明るくなった画像（閃光があったことを認識できる自然な画像）となる。

なお、本実施形態の撮像装置１０００では、フレーム画像の画面最下部の６４ライン分の閃光検出領域を設け、ブロック平均輝度を監視して現フレーム画像のブロック平均輝度と現フレームの１フレーム前のフレームのブロック平均輝度と比べ、現フレーム画像のブロック平均輝度が１フレーム前のフレームのブロック平均輝度の２倍以上になったとき、閃光検出（閃光あり）と判定する場合について説明したが、これに限定されることはなく、例えば、撮像装置１０００において、フレーム画像の画面最下部の３２ラインや１２８ラインのように閃光検出領域の設定を変えてもよい。この場合も、閃光検出領域を最下部１ラインに設定する場合に比べて誤検出は減少する。また、現フレームのブロック平均輝度が現フレームの１フレーム前のフレームのブロック平均輝度と比べ１．５倍以上になったとき、閃光検出（閃光あり）と判定するようにしても、フレーム画像の画面全体の平均輝度を監視して閃光を検出する場合に比べ無反応は減少し、閃光検出精度は改善される。

また、本実施形態の撮像装置１０００では、撮像部１１のＣＭＯＳ撮像素子２１、２４、２７に水平１９２０画素、垂直１０８０ラインの有効画素数を有するものを用いたが、これに限定されることはなく、画素数の異なる撮像素子を用いても構わない。
また、本実施形態では、撮像部１１としてプリズム２０と３個のＣＭＯＳ撮像素子２１、２４、２７を用いたが、これに限定されることはなく、例えば、撮像素子のチップ上にカラーフィルタを配置した単板式のＣＭＯＳ撮像素子を用いてもよい。
さらに、本実施形態では、フレーム周波数６０Ｈｚの順次走査映像を扱い、記録部１６に記録するようにしたが、これに限定されることはなく、例えば、フレーム周波数を５０Ｈｚや２４Ｈｚとしても構わない。また、撮像装置１０００において、順次走査から飛越走査への変換を施し、飛越走査の映像として記録するようにしても構わない。

［第２実施形態］
次に、第２実施形態について、図面を参照しながら説明する。
＜２．１：撮像装置の構成＞
図５は、第２実施形態の撮像装置２０００のブロック図である。
図５に示すように、第２実施形態の撮像装置２０００は、第１実施形態の撮像装置１０００の閃光判定部１２を閃光判定部５０に置換した構成となっている。なお、本実施形態において、第１実施形態と同様の部分については、同一符号を付して詳細な説明は省略する。

＜２．２：撮像装置の動作＞
以上のように構成された撮像装置２０００について、その動作を説明する。

レンズ部１０、撮像部１１、補正部１３、画像処理部１４、表示部１５、記録部１６、制御部１７、操作部１８の動作については、第１実施形態の撮像装置１０００と同じである。本実施形態の撮像装置２０００において、第１実施形態の撮像装置１０００の動作と異なるのは、閃光判定部５０についての動作である。

図６は、閃光判定部５０の詳細を示したブロック図である。
図６に示すように、閃光判定部５０は、輝度演算部５１と、フレーム画像の画面最下部６４ラインの領域を６つの領域に分割するブロック分割部５２と、分割された各ブロックの平均輝度を演算するブロック平均演算部５３〜５８と、各ブロックの平均輝度を１フレーム分遅延させる保持部５９〜６４と、比較部６５〜７０と、閃光の有無を判定する判定部７１と、を備える。
輝度演算部５１は、入力されたＲ、Ｇ、Ｂのデジタル映像信号から各画素の輝度信号を計算し、ブロック分割部５２に出力する。

ブロック分割部５２は、入力された各画素の輝度信号から、フレーム画像の画面の最下部６４ライン、水平１９２０画素の監視対象領域のうち、１ブロックを水平３２０画素分として６つのブロックに分割して、それぞれのブロックに該当している画素の輝度信号のみをブロック平均演算部５３〜５８へ出力する。

ブロック平均演算部５３〜５８は、入力された輝度信号の平均値を計算し、各ブロックの平均輝度レベルをフレーム毎に出力する。

図１２（ａ）は、ブロック分割部５２で分割された領域を示す図であり、フレーム画像の画面内の６つの領域の平均輝度レベルをそれぞれＹ０〜Ｙ５としている。

保持部５９〜６４は、ブロック平均演算部５３〜５８出力のブロック平均輝度レベルそれぞれを１フレームの時間（１／６０秒）だけ保持し、出力する。

比較部６５〜７０は、ブロック平均演算部５３〜５８出力のブロック平均輝度レベルそれぞれと、保持部５９〜６４出力のブロック平均輝度レベルそれぞれを比較し、ブロック平均演算部５３〜５８出力のブロック平均輝度レベルそれぞれが保持部５９〜６４出力のブロック平均輝度レベルそれぞれの２倍以上であれば「１」を出力、２倍未満であれば「０」を出力する。

判定部７１は、比較部６５〜７０出力全てが「１」のとき判定結果として「１」を出力し、それ以外は「０」を出力する。

補正部１３は、判定部７１の出力信号にもとづき補正処理を行う。この補正部１３の動作については、第１実施形態の撮像装置１０００と同じである。

次に、第２実施形態の撮像装置２０００の動作および制御手順についてフローチャートを用いて説明する。

図１４は、第２実施形態の撮像装置２０００の動画撮像の処理を説明するフローチャートである。例えば、操作者が操作部１８の録画ボタンを操作して撮像が要求されたと判断されると処理が開始される。

まず、ステップＳ３００にて、撮像部１１は、１フレームの画像を撮像する。
次に、ステップＳ３１０では、閃光判定部５０において、フレーム画像の画面最下部を６つの領域に分割して各ブロックの平均輝度を評価値として演算（算出）する。
ステップＳ３２０では、ステップＳ３１０で算出された６つの評価値（各ブロックの評価値）が保持部５９〜６４に書き込まれる。
ステップＳ３３０では、ステップＳ３００で撮像された画像を補正部１３内のメモリ部３６、４１、４６が書き込まれる。
ステップＳ３４０では、次の１フレームの画像が撮像される。

ステップＳ３５０では、新しい画像について、フレーム画像の画面最下部を６つの領域に分割して各ブロックの平均輝度を評価値として演算（算出）する。

ステップＳ３６０では、演算した新しい６つの評価値（現フレームの各ブロックの評価値）と、保持部５９〜６４に記憶していた評価値（現フレームの１フレーム前のフレームの各ブロックの評価値）とを比較する。

ステップＳ３７０では、新しい６個の評価値が保持部５９〜６４に記憶していた６個の評価値に対して、６組ともの２倍以上になっていればステップＳ４１０に進み、１組でも２倍未満の組があればステップＳ３８０へ進む。

ステップＳ３８０では、メモリ部３６、４１、４６に蓄えていた画像を出力し、表示部１５に画像表示するとともに、記録部１６でこの画像を記録する。

次にステップＳ３９０で、新しく撮像した画像、すなわち、ステップＳ３４０で撮像した画像をメモリ部３６、４１、４６に上書きする。

そして、ステップＳ４００では、ステップＳ３５０で演算した６つの評価値を保持部５９〜６４に上書きし、ステップＳ４５０に進む。

一方、ステップＳ４１０では、ステップＳ３４０で撮像した画像と、メモリ部３６、４１、４６に格納されていた画像とを画素単位で加算平均の演算をする。

ステップＳ４２０では、この加算平均演算された画像を表示部１５に画像表示するとともに、記録部１６で記録する。

そして、ステップＳ４３０では、ステップＳ４１０で演算した画像をメモリ部３６、４１、４６に上書きする。

さらに、ステップ４４０では、ステップ３５０で演算した新しい６つの評価値を保持部５９〜６４に上書きし、ステップＳ４５０に進む。

ステップＳ４５０では、例えば、操作者が操作部１８の録画停止ボタンを操作して撮像終了を要求したと判断されると処理が終了する。一方、撮像終了が要求されたと判断されない場合はステップＳ３４０に戻り、次のフレームの撮像を行なう。
≪閃光検出の精度について≫
以上のように動作する第２実施形態の撮像装置２０００の閃光検出の精度について検証する。

まず、外部閃光があった場合の閃光検出について検証する。
撮像装置２０００で取得されるフレーム画像の同一ラインに対応する撮像素子面上の同一ラインに属する画素の露光時間は同一、すなわち、同一ラインに属する画素の電荷蓄積時間は、同一であるとみなせるので、図１２（ａ）で示したように閃光を監視する領域を水平方向に６つのブロックに分割しても、外部閃光による影響を受けてフレーム画像上に白帯が発生する場合において、それぞれの分割領域での輝度レベル上昇は同様である。よって、第１実施形態で、図１０（ｃ）、（ｄ）、（ｅ）で説明したのと同様に、図１０（ｃ）に示すように、フレーム画像の１０８ライン目から白帯が始まっているときも、図１０（ｄ）に示すように、フレーム画像の９７２ライン目から白帯が始まっているときも、図１０（ｅ）に示すように、フレーム画像の１０６０ライン目から白帯が始まっているときも、現フレームのブロック平均輝度Ｙ０（Ｎ）〜Ｙ５（Ｎ）の全てが、それぞれ、１フレーム前のブロック平均輝度Ｙ０（Ｎ−１）〜Ｙ５（Ｎ−１）の２倍以上に上昇する。つまり、下式（１）〜（５）のすべての条件が満たされるため、比較部６５〜７０出力全てが「１」となり、判定部７１の出力も「１」となる。
（１）Ｙ０（Ｎ）≧２×Ｙ０（Ｎ−１）
（２）Ｙ１（Ｎ）≧２×Ｙ１（Ｎ−１）
（３）Ｙ２（Ｎ）≧２×Ｙ２（Ｎ−１）
（４）Ｙ３（Ｎ）≧２×Ｙ３（Ｎ−１）
（５）Ｙ４（Ｎ）≧２×Ｙ４（Ｎ−１）
なお、Ｙｋ（Ｎ）（ｋは、０〜４のいずれかの整数、Ｎは自然数）は、Ｎ番目のフレーム画像の分割ブロックＹｋ（Ｙ０〜Ｙ４のいずれかの分割ブロック）の評価値（ブロック平均輝度）であり、Ｙｋ（Ｎ−１）は、Ｎ−１番目のフレーム画像（Ｎ番目のフレームの１フレーム前のフレーム画像）の分割ブロックＹｋ（Ｙ０〜Ｙ４のいずれかの分割ブロック）の評価値（ブロック平均輝度）である。
このようにして、撮像装置２０００では、正常に閃光検出がされる。そして、撮像装置２０００では、閃光検出されたフレーム画像に対して補正処理がなされる。つまり、撮像装置２０００では、フレーム画像の画面全体の平均輝度を検出領域と設定する場合に比べ、閃光の検出ができない無反応（誤判定）を改善することができる。

次に、高輝度物体がフレーム画像の画面下方から上方へ移動し、画面にフレームインするときの誤検出について検証する。

図１２（ｂ）、（ｃ）は、第２実施形態の撮像装置２０００の閃光判定の説明図である。
図１２（ｂ）は、フレーム画像の画面の輝度がレベル２０％のところへ、画面の水平方向の長さの半分の大きさを持ち、輝度がレベル８０％の物体が下方から上方へ移動し、画面内に３２ライン分入ってくる例である。この場合、各ブロックの平均輝度は、Ｙ０＝２０％、Ｙ１＝３５％、Ｙ２＝５０％、Ｙ３＝５０％、Ｙ４＝３５％、Ｙ５＝２０％となる。ここで、Ｙ２とＹ３については、現フレームの平均輝度レベルが１フレーム前のフレームの平均輝度レベルの２倍以上に上昇しているため、比較部６７と６８は「１」を出力するが、他の比較部は「０」を出力する。よって、判定部７１の出力は「０」となり、撮像装置２０００において、閃光検出はされていない結果となる。すなわち、この場合、撮像装置２０００において、閃光の誤検出は起こらない。

次に、図１２（ｃ）のように、さらに高速に高輝度物体が移動したためにフレーム画像の画面最下部の６４ライン以上の部分まで高輝度となった場合、各ブロックの平均輝度レベルは、Ｙ０＝２０％、Ｙ１＝６０％、Ｙ２＝８０％、Ｙ３＝８０％、Ｙ４＝６０％、Ｙ５＝２０％となり、Ｙ１〜Ｙ４については、現フレームの平均輝度レベルが１フレーム前のフレームの平均輝度レベルの２倍以上の上昇を示し、比較部６６〜６９出力は「１」となる。しかし、比較部６５と７０の出力が「０」となるため、判定部７１出力は「０」となる。すなわち、撮像装置２０００において、閃光は検出されていないと判定され、誤検出にはならない。
以上説明したように、フレーム画像の画面全体を閃光検出領域とし平均輝度を監視すると、閃光があるにも関わらず閃光が検出できない無反応が起こるが、第２実施形態の撮像装置２０００では、無反応（閃光検出の誤判定）を減らすことができる。また、フレーム画像の画面最下部の１ラインのみを閃光検出領域としてライン平均輝度を監視すると被写体の動きに対して敏感に反応し、誤検出を起こしていたが、第２実施形態の撮像装置２０００では、誤検出を減らすことができ、高速で高輝度物体が移動する場合においても誤検出を減らすことができる。よって、第２実施形態の撮像装置２０００では、従来の閃光検出方法に比べ、閃光の検出精度が向上している。

以上のように、第２実施形態の撮像装置２０００では、フレーム画像の画面最下部の６４ラインに６つの閃光検出領域（分割ブロック領域）を設け、各ブロック平均輝度を監視して、全てのブロックで、現フレームのブロック平均輝度と１フレーム前のフレームのブロック平均輝度とを比べ、全てのブロックで、現フレームのブロック平均輝度が１フレーム前のフレームのブロック平均輝度の２倍以上になったとき、閃光検出（閃光あり）と判定する。これにより、撮像装置２０００では、閃光検出における誤検出や無反応を減らすことができる。また、撮像装置２０００では、閃光のあった連続２フレームの画像を加算平均することにより、フレーム画像の画面の上部と下部で明るさの異なった不自然な画像になるのではなく、閃光瞬間の一様に明るくなった画像を出力することができる。

なお、本実施形態の撮像装置２０００では、フレーム画像の画面最下部の６４ラインの部分に６つの閃光検出領域（分割ブロック領域）を設け、各ブロック平均輝度を監視して、全てのブロックで、現フレームのブロック平均輝度と１フレーム前のフレームのブロック平均輝度と比べ、現フレームのブロック平均輝度が１フレーム前のフレームのブロック平均輝度の２倍以上になったとき、閃光検出（閃光あり）と判定することとしたが、これに限定されることはなく、例えば、撮像装置２０００において、フレーム画像の画面最下部の３２ラインや１２８ラインのように閃光検出領域の設定を変えてもよい。この場合も、フレーム画像の最下部１ラインを閃光検出領域とする場合に比べて、閃光検出の誤検出は減少する。また、撮像装置２０００において、各ブロックの全てにおいて、現フレームのブロック平均輝度が１フレーム前のフレームのブロック平均輝度の１．５倍以上になったとき、閃光検出（閃光あり）と判定するようにしても、フレーム画像の画面全体の平均輝度を監視して閃光を検出する場合に比べ無反応は減少し、閃光検出精度は改善される。さらに、撮像装置２０００において、閃光検出領域の分割を「６」でなく「８」にしても同様な効果が得られる。また、上記実施形態において、閃光検出領域の分割数を「６」の場合について説明したが、これに限定されることはなく、閃光検出領域の分割数を「６」以外の数としてもよい。
［他の実施形態］
なお、上記実施形態で説明した撮像装置において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施形態に係る撮像装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。

本発明にかかる撮像装置は、外部閃光があった場合、撮像画像（フレーム画像）の画面の上部と下部で明るさの異なった不自然な画像になるのではなく、閃光瞬間の一様に明るくなった画像を出力することができ、かつ、閃光の誤検出や無反応を減らすことができる。これにより、夜間の撮像、特にニュース取材などに効果を発揮し、連続画像を撮像するデジタルカメラやビデオカメラなどに非常に有用である。

１０００、２０００ 撮像装置
１０ レンズ部
１１ 撮像部
１２、５０ 閃光判定部（判定部）
１３ 補正部
１４ 画像処理部
１５ 表示部
１６ 記録部
１７ 制御部
１８ 操作部

Claims (9)

1. ＣＭＯＳ型撮像素子を含み、被写体光を電気信号に変換し、画像を取得する撮像部と、
   前記撮像部により取得された前記画像の画面下部の所定領域を閃光検出用監視領域に設定し、前記閃光検出用監視領域から評価値を算出し、算出した前記評価値が所定の値以上変化したとき、前記画像内に閃光の影響があると判定する判定部と、
   を備える撮像装置。
2. 前記判定部は、前記画像の画面の最下ラインを含む所定数のラインからなる領域を、前記閃光検出用監視領域に設定する、
   請求項１に記載の撮像装置。
3. 前記判定部は、前記閃光検出用監視領域をｎ個（ｎは２以上の整数）の領域に分割し、ｎ個に分割した領域ごとに、分割領域評価値を算出し、算出したｎ個の前記分割領域評価値の全部又は一部の変化量を監視し、監視している分割領域のうちの全ての分割領域における前記分割領域評価値の変化量に基づいて、前記画像内の閃光の影響の有無を判定する、
   請求項１または２に記載の撮像装置。
4. 前記判定部により前記画像内に閃光の影響が有ると判定された場合、前記撮像部により取得された前記画像に対して閃光の影響を補正する処理を行う補正部をさらに備える、
   請求項１から３のいずれかに記載の撮像装置。
5. ＣＭＯＳ型撮像素子を用いて、被写体光を電気信号に変換し、画像を取得する撮像ステップと、
   前記撮像ステップにより取得された前記画像の画面下部の所定領域を閃光検出用監視領域に設定し、前記閃光検出用監視領域から評価値を算出し、算出した前記評価値が所定の値以上変化したとき、前記画像内に閃光の影響があると判定する判定ステップと、
   を備える閃光判定方法。
6. 前記判定ステップでは、前記画像の画面の最下ラインを含む所定数のラインからなる領域を、前記閃光検出用監視領域に設定する、
   請求項５に記載の閃光判定方法。
7. 前記判定ステップでは、前記閃光検出用監視領域をｎ個（ｎは２以上の整数）の領域に分割し、ｎ個に分割した領域ごとに、分割領域評価値を算出し、算出したｎ個の前記分割領域評価値の全部又は一部の変化量を監視し、監視している分割領域のうちの全ての分割領域における前記分割領域評価値の変化量に基づいて、前記画像内の閃光の影響の有無を判定する、
   請求項５または６に記載の閃光判定方法。
8. 前記判定ステップにより前記画像内に閃光の影響が有ると判定された場合、前記撮像部により取得された前記画像に対して閃光の影響を補正する処理を行う補正ステップをさらに備える、
   請求項５から７のいずれかに記載の閃光判定方法。
9. ＣＭＯＳ型撮像素子を用いて、被写体光を電気信号に変換し、画像を取得する撮像ステップと、
   前記撮像ステップにより取得された前記画像の画面下部の所定領域を閃光検出用監視領域に設定し、前記閃光検出用監視領域から評価値を算出し、算出した前記評価値が所定の値以上変化したとき、前記画像内に閃光の影響があると判定する判定ステップと、
   を備える閃光判定方法をコンピュータに実行させるプログラム。

Images