JP6659163B2 - フラッシュバンド判定装置、その制御方法、およびプログラム - Google Patents

Description

本発明は、フラッシュバンド判定装置、その制御方法、およびプログラムに関し、特に、撮像の結果得られた画像に外部閃光に起因するフラッシュバンドが存在するか否かを判定する判定装置に関する。

近年、ビデオカメラなどの撮像装置で用いられる撮像素子として、ＣＭＯＳ型イメージセンサー（以下ＣＭＯＳセンサーという）が用いられている。一般に、ＣＣＤイメージセンサー（以下ＣＣＤセンサーという）と比較して、ＣＭＯＳセンサーは製造が簡単であるばかりでなく、低消費電力などの利点がある。さらには、読出しチャンネルを増やすことによって、１フレームの読出し速度を速くしたＣＭＯＳセンサーがある。

ＣＭＯＳセンサーにおいては、水平ラインを順次露光して、ライン毎に映像信号（画像信号）を順次読み出して１つのフレームを生成する所謂ローリングシャッタ方式が用いられている。ローリングシャッタ方式を用いたＣＭＯＳセンサーにおいては、ライン毎の露光タイミングと読出し時間とがずれる。

このため、フラッシュ又はストロボなどの非常に発光期間の短い外部閃光が存在すると、画面の場所によっては２フレームに亘って明るさが帯状に上下に分割されたような画像が生成されてしまう。このような外部閃光に起因してフレームに生じる帯状の明るさの段差はフラッシュバンドと呼ばれている。

一方、ＣＣＤセンサーを用いれば、上記のフラッシュバンドが発生することはなく、外部閃光が存在しても１フレームにおいて画面が均一に明るくなって、違和感のない画像を得ることができる。このような理由から、ＣＭＯＳセンサーを用いた撮像装置においては、フラッシュバンドを補正するための補正機能が備えられている。

例えば、フラッシュバンドを検出して当該フラッシュバンドを補正するようにした撮像装置がある（特許文献１参照）。ここでは、１フレーム分の高輝度期間が存在するか否かを検出して、高輝度期間が１フレーム分であると、フラッシュバンドが発生したと判定するようにしている。

特開２００９−２５３３６７号公報

ところで、外部閃光によって２フレームに亘って発生したフラッシュバンドを検出するため、画像における水平方向のライン平均輝度の変化を検出して、当該輝度の変化が２フレームに亘って続くか否かを判定する必要がある。ところが、外部閃光の光量が十分でないと、レンズの絞りおよび撮像素子のゲインなどが変化した場合に、２フレーム間においてフラッシュバンドのレベルが変化してしまう。この結果、高輝度を判定するための閾値レベルをフラッシュバンドのレベルが下回ることがあり、フラッシュバンドの検出の精度が低下する。

従って、本発明の目的は、常に精度よくフラッシュバンドを検出して、当該フラッシュバンドを補正することのできるフラッシュバンド判定装置、その制御方法、およびプログラムを提供することにある。

上記の目的を達成するため、本発明によるフラッシュバンド判定装置は、撮像手段による撮像の結果得られた画像にフラッシュバンドが存在するかを判定するフラッシュバンド判定装置であって、連続して得られた複数の画像のそれぞれにおいて、フラッシュバンドの一部が存在するかを判定する判定処理を行う判定手段を有し、前記判定手段は、第１の露出条件で第１の画像及び第２の画像を撮影した場合、前記第２の画像のうち第１の明るさの領域を前記フラッシュバンドの一部と判定せず、第１の露出条件で前記第１の画像を撮影し、前記第１の露出条件よりも低い露出である第２の露出条件で前記第２の画像を撮影した場合、前記第２の画像のうち、前記第１の明るさの領域を前記フラッシュバンドの一部と判定することを特徴とする。

本発明によれば、常に精度よくフラッシュバンドを検出して、当該フラッシュバンドを補正することができる。

本発明の第１の実施形態によるフラッシュバンド判定装置を備える撮像装置の一例についてその構成を示すブロック図である。 図１に示す撮像素子における露光と出力画像との関係を説明するための図である。 フレームにおける水平方向のライン平均輝度と垂直方向ラインとの関係の一例を説明するための図であり、（ａ）および（ｂ）はそれぞれ第１のフレームおよび第２のフレームを示す図である。 フレームにおける水平方向のライン平均輝度と垂直方向ラインとの関係の他の例を説明するための図であり、（ａ）および（ｂ）はそれぞれ第１のフレームおよび第２のフレームを示す図である。 図１に示す撮像素子における露光と出力画像との関係およびフラッシュバンド判定閾値の変更を説明するための図である。 図１に示す光学レンズの絞りが変化した際のフラッシュバンド判定閾値の変更によるフラッシュバンドの検出を説明するための図であり、（ａ）および（ｂ）はそれぞれ第１のフレームおよび第２のフレームを示す図である。 図１の示す撮像素子のゲインが変化した際のフラッシュバンド判定閾値の変更によるフラッシュバンドの検出を説明するための図であり、（ａ）および（ｂ）はそれぞれ第１のフレームおよび第２のフレームを示す図である。 図１に示すカメラで行われるフラッシュバンド判定処理を説明するためのフローチャートである。 本発明の第２の実施形態に係るカメラで行われるフラッシュバンド判定処理を説明するためのフローチャートである。

以下に、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態によるフラッシュバンド判定装置を備える撮像装置の一例についてその構成を示すブロック図である。

図示の撮像装置は、例えば、動画撮影可能なデジタルカメラ（以下単にカメラと呼ぶ）であり、光学レンズユニット（以下単に光学レンズと呼ぶ）１０１を有している。光学レンズ（撮像光学系）１０１はレンズ群を有するとともに、フォーカス機構、絞り機構、およびズーム機構を有している。フォーカス機構はピントを合わせるために用いられ、絞り機構は光量および被写界深度を調節する際に用いられる。また、ズーム機構は焦点距離を変化させる際に用いられる。

光学レンズ１０１を介して撮像素子１０２に被写体像（光学像）が結像する。撮像素子１０２は光学像に応じた電気信号（アナログ信号）を出力する。撮像素子１０２として、例えば、ＣＣＤイメージセンサー（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）およびＣＭＯＳイメージセンサーがある。図示の例では、撮像素子１０２として、１ライン毎に順次画素の読み出しを行うＣＭＯＳイメージセンサーが用いられる。

画像取得部１０３は、撮像素子１０２の出力である画像信号をデジタル信号として取得する。つまり、画像取得部１０３は撮像素子１０２の出力であるアナログ信号をデジタル信号（画像信号）に変換するアナログ・デジタルフロントエンドを有している。

閃光検出部１０４は、画像取得部１０３の出力を受けて、フラッシュ又はストロボなどによる外部閃光がフラッシュバンドとして、撮像の結果得られた画像に現れたか否か（つまり、フラッシュバンドの有無）を検出する。画像補正部１０５は、閃光検出部１０４によってフラッシュバンドが検出されると、後述するように、フラッシュバンドが存在する画像（フラッシュバンド画像）を全画面閃光画像に補正する。

システム制御部１０６は、カメラ全体の制御を司る。この際には、システム制御部１０６はユーザの操作に応じてカメラの動作を決定して、カメラを制御する。撮像素子制御部１０７は、システム制御部１０６の制御下で撮像素子１０２を駆動制御する。例えば、撮像素子制御部１０７は撮像素子１０２のゲインを決定するとともに、垂直同期信号ＶＤを撮像素子１０２に送るなどの制御を行う。

レンズ制御部１０８は、システム制御部１０６の制御下で光学レンズ１０１の絞り、フォーカス、ズーム、およびＮＤ（Ｎｅｕｔｒａｌ Ｄｅｎｓｉｔｙ）などの制御を行う。記録・出力部１０９は、画像補正部１０５の出力である補正後の画像信号を、記憶媒体（図示せず）に記録するとともに、ディスプレイなどの表示装置（図示せず）に出力する。

ここで、撮像素子にＣＭＯＳセンサーを用いた際に、フラッシュバンドが生じたフレームの次のフレームにおいて光学レンズの明るさ又は撮像素子のゲインが変更された場合について説明する。つまり、画像取得部１０３に入力される画像信号のレベルが変化した場合について説明する。

図２は、図１に示す撮像素子における露光と出力画像との関係を説明するための図である。

図２において、横軸は時間（秒）を示し、縦軸は垂直方向ラインを示す。そして、外部閃光（ストロボ発光）の発生タイミングと出力画像との関係が示されている。また、ＶＤは撮像素子１０２に入力される垂直同期信号を示す。

撮像素子制御部１０７は、水平ラインを順次露光して水平ライン毎に画像信号を順次読み出して１つのフレームを生成する所謂ローリングシャッタ方式で撮像素子１０２の読み出し制御を行う。この際、フレーム１とフレーム２との間において１ライン時間よりも短い時間でストロボ発光が発生したとする。つまり、画面の下部側においてはフレーム１の露光が行われ、画面の上部側においては次のフレーム２の露光が行われている状態でストロボ発光があったとする。

これによって、フレーム１の途中から下端までフラッシュバンドが発生し、さらに、フレーム２においては上端からフレーム１における水平ラインと同一の水平ラインまでフラッシュバンド（輝度レベルが所定の閾値レベルを超える領域）が発生する。

図３は、フレームにおける水平方向のライン平均輝度と垂直方向ラインとの関係の一例を説明するための図である。そして、図３（ａ）および図３（ｂ）はそれぞれ第１のフレームおよび第２のフレームを示す図である。

図３において、横軸は画像（フレーム）の水平方向のライン平均輝度（又はライン輝度の積分値）を示し、縦軸は垂直方向のラインを示す。いま、フレーム１とフレーム２とを撮像した際に（つまり、連続して複数の画像を撮像した際に）、光学レンズ１０１および撮像素子１０２の露出条件が変化していないとする。この場合には、システム制御部１０６はフレーム１においてライン平均輝度が所定のフラッシュバンド閾値（閾値レベル）を超えた位置をフラッシュバンド開始位置と判定する。そして、システム制御部１０６は次のフレーム２において、フレーム１におけるフラッシュバンド開始位置と同一の位置を、つまり、フラッシュバンド閾値を跨いだ位置をフラッシュバンド終了位置と判定する。

一方、図２に示すように、例えば、レンズ通信によってフレーム１とフレーム２とにおいて光学レンズ１０１の絞りが変化した場合（Ｆ４．０からＦ５．６に変化した場合）には、フレーム１とフレーム２とにおいてライン平均輝度が変化することになる。

図４は、フレームにおける水平方向のライン平均輝度と垂直方向ラインとの関係の他の例を説明するための図である。そして、図４（ａ）および図４（ｂ）はそれぞれ第１のフレームおよび第２のフレームを示す図である。

図４においては、フラッシュバンドが発生している期間において、露出条件の１つである絞りが変化した場合のライン平均輝度の変化が示されている。例えば、フレーム２において、絞りがＦ４．０からＦ５．６に変化したとする。絞りがＦ４．０からＦ５．６に変化すると、その時点でライン平均輝度は絞りが変化する前の１／２に低下する。そして、ライン平均輝度が低下した場合、フレーム２においてライン平均輝度がフラッシュバンド判定閾値を跨いでしまうことがある。つまり、システム制御部１０６はフラッシュバンド終了位置と判定することになる。

このような事態が生じると、フレーム１におけるフラッシュバンド開始位置からフレーム２におけるフラッシュバンド終了位置までのライン数が１フレーム分のライン数に満たないことになる。その結果、システム制御部１０６はフラッシュバンドが生じたと判定しないことになる。

そこで、図示のカメラにおいては、光学レンズ１０１の絞りを変化させる動作が行われると、絞りが変化した位置から画像の下端まで、又は絞りが変化したフレーム全体についてフラッシュバンド判定閾値を変更する。

図５は、図１に示す撮像素子における露光と出力画像との関係およびフラッシュバンド判定閾値の変更を説明するための図である。

システム制御部１０６はレンズ通信によって光学レンズ１０１の絞りを変化させると、フラッシュバンド判定閾値を変更する。図示の例では、フレーム２の露光期間中にレンズ通信を行って絞りを変化させているので、フレーム２の途中からその明るさ（ライン平均輝度）が変化する。システム制御部１０６はレンズ通信を行うと、そのタイミングによって絞りが変化するラインが分かる。そして、システム制御部１０６は絞りが変化したライン（つまり、フレーム２）からフラッシュバンド判定閾値を変更する。その後、システム制御部１０６は、フレーム３においてフラッシュバンド判定閾値を元のフラッシュバンド判定閾値に戻す。

なお、レンズ通信のタイミングが不定であるか又はレンズ通信を行った後実際に絞りが動作するタイミングが不明である際には、システム制御部１０６は絞りが変更されたフレームの全体についてフラッシュバンド判定閾値を変更する。

図６は、図１に示す光学レンズの絞りが変化した際のフラッシュバンド判定閾値の変更によるフラッシュバンドの検出を説明するための図である。そして、図６（ａ）および図６（ｂ）はそれぞれ第１のフレームおよび第２のフレームを示す図である。

いま、フレーム２において、絞りがＦ４．０からＦ５．６に変化したとする。絞りがＦ４．０からＦ５．６に変化すると、前述のように、その時点でライン平均輝度は絞りが変化する前の１／２に低下する。この際、システム制御部１０６は、低下直後のライン平均輝度よりもフラッシュバンド判定閾値を小さくする。

これによって、フレーム２におけるフラッシュバンド終了位置はフレーム１におけるフラッシュバンド開始位置のラインと対応する同一のラインとなる。よって、フレーム２におけるフラッシュバンド終了位置までのライン数が１フレーム分のライン数となる。その結果、システム制御部１０６はフラッシュバンドが生じたと判定することになる。

図７は、図１の示す撮像素子のゲインが変化した際のフラッシュバンド判定閾値の変更によるフラッシュバンドの検出を説明するための図である。そして、図７（ａ）および図７（ｂ）はそれぞれ第１のフレームおよび第２のフレームを示す図である。

一般に、撮像素子１０２のゲインはフレーム単位で変更される。いま、システム制御部１０６はフレーム１の露光期間中にフレーム２のゲイン設定を変更するため撮像素子のゲイン変更を行ったとする。例えば、フレーム２において撮像素子１０２のゲインが高くされて、画像が明るくなったとする。この場合には、フレーム２においてライン平均輝度が高くなって、フラッシュバンド終了位置においてライン平均輝度がフラッシュバンド判定閾値を跨がないことがある。

同様に、撮像素子１０２のゲインを低くして、画像が暗くなった際においても、フラッシュバンド終了位置においてライン平均輝度がフラッシュバンド判定閾値を跨がないことがある。

図７に示す例では、フレーム２において撮像素子１０２のゲインを高くしており、この場合には、システム制御部１０６は撮像素子１０２のゲインを高くした時点でフラッシュバンド判定閾値を所定の値だけ高くする。この所定の値は、例えば、フラッシュバンド終了位置において、ライン平均輝度がフラッシュバンド判定閾値を跨ぐ値である。

図８は、図１に示すカメラで行われるフラッシュバンド判定処理を説明するためのフローチャートである。

フラッシュバンド（ＦＢ）判定処理を開始すると、システム制御部１０６は、フレームＮ（Ｎは自然数：現画像）に関して露光を行っている際に露出条件の一つである光学レンズ１０１の絞り値を変更したか否かを判定する（ステップＳ１１）。絞り値を変更しないと（ステップＳ１１において、ＮＯ）、システム制御部１０６はＮ＝Ｎ＋１として（ステップＳ１２）、ステップＳ１１の処理に戻る。つまり、システム制御部１０６は次フレーム（Ｎ＋１）についてステップＳ１１の処理を行う。

絞り値を変更すると（ステップＳ１１において、ＹＥＳ）、システム制御部１０６は絞り値の変更による光量の変化量αを算出する（ステップＳ１３）。そして、システム制御部１０６は光量の変化量αに基づいて次フレーム（Ｎ＋１）においてＰＢ判定閾値を変更する（ステップＳ４）。その後、ステップＳ１４において、システム制御部１０６は変更後のＦＢ判定閾値を用いてＰＢが発生したか否かを判定する。続いて、システム制御部１０６は、次のフレーム（Ｎ＋２）においてＰＢ判定閾値を元のＦＢ判定閾値に戻して（ステップＳ１５）、ＦＢ判定処理を終了する。

図８において、露出条件として絞り値を用いたが、ＮＤフィルターの光量の調節量、撮像素子１０２のゲイン、シャッタースピード、Ａ／Ｄ変換の際のデジタルゲイン、又は閃光検出部１０４に入力される画像の輝度レベルを用いるようにしてもよい。なお、上述の例では、ＦＢ判定閾値を変更するようにしたが、露出条件に応じてライン平均輝度値を補正するようにしてもよい。

このように、本発明の第１の実施形態では、フラッシュバンドが発生している際に、露出条件が変更されても、フラッシュバンドを良好に検出することができる。

［第２の実施形態］
次に、本発明の第２の実施形態によるＦＢ判定装置を備えるカメラの一例について説明する。

上述の第１の実施形態においては、露出条件を変更した際には、当該露出条件が変更されたフレームにおいてＦＢ判定閾値を変更するようにした。第２の実施形態では、現フレームでフラッシュバンドが検出されない状態では、次のフレームにおいて露出条件が変更されてもＦＢ判定閾値を変更しない。

図９は、本発明の第２の実施形態に係るカメラで行われるフラッシュバンド判定処理を説明するためのフローチャートである。なお、図９において、図８に示すフローチャートのステップと同一のステップについては同一の参照符号を付して説明を省略する。

ＦＢ判定処理を開始すると、システム制御部１０６はフレーム（現フレーム）Ｎにおいて、ライン平均輝度がＦＢ判定閾値を超えたか否か、つまり、ＦＢが発生したか否かを判定する（ステップＳ２１）。ＦＢが発生しないと（ステップＳ２２において、ＮＯ）、システム制御部１０６は、Ｎ＝Ｎ＋１として（ステップＳ２２）、ステップＳ２１の処理に戻る。

一方、ＦＢが発生すると（ステップＳ２１において、ＹＥＳ）、図８で説明したステップＳ１１の処理を行う。絞り値を変更すると（ステップＳ１１において、ＹＥＳ）、システム制御部１０６は、図８で説明したステップＳ１３の処理を行う。そして、システム制御部１０６は次のフレーム（Ｎ＋１）で用いるＦＢ判定閾値を変更する（ステップＳ２３）。

その後、フレーム（Ｎ＋２）においては、システム制御部１０６は、ステップＳ１５において変更後のＦＢ判定閾値を元のＦＢ判定閾値に戻す。そして、システム制御部１０６はＦＢ判定処理を終了する。

絞り値を変更しないと（ステップＳ１１において、ＮＯ）、システム制御部１０６はＦＢ判定閾値を変更することなく、次のフレーム（Ｎ＋１）においてＦＢの発生を判定する（ステップＳ２４）。つまり、システム制御部１０６は次のフレーム（Ｎ＋１）におけるＦＢの終了位置を判定する。

このように、本発明の第２の実施形態では、現フレームにおいてフラッシュバンドが発生した際において、露出条件が変更された場合にのみフラッシュバンド判定閾値を変更する。これによって、露出条件が変更されたフレームについてはフラッシュバンドの検出の精度を向上させることができる。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法をフラッシュバンド判定装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムをフラッシュバンド判定装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

［その他の実施形態］
上述の実施形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも本発明は実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 光学レンズ
１０２ 撮像素子
１０３ 画像取得部
１０４ 閃光検出部
１０５ 画像補正部
１０６ システム制御部
１０７ 撮像素子制御部
１０８ レンズ制御部
１０９ 記録・出力部

Claims (11)

1. 撮像手段による撮像の結果得られた画像にフラッシュバンドが存在するかを判定するフラッシュバンド判定装置であって、
   連続して得られた複数の画像のそれぞれにおいて、フラッシュバンドの一部が存在するかを判定する判定処理を行う判定手段を有し、
   前記判定手段は、第１の露出条件で第１の画像及び第２の画像を撮影した場合、前記第２の画像のうち第１の明るさの領域を前記フラッシュバンドの一部と判定せず、第１の露出条件で前記第１の画像を撮影し、前記第１の露出条件よりも低い露出である第２の露出条件で前記第２の画像を撮影した場合、前記第２の画像のうち、前記第１の明るさの領域を前記フラッシュバンドの一部と判定することを特徴とするフラッシュバンド判定装置。
2. 撮像手段による撮像の結果得られた画像にフラッシュバンドが存在するかを判定するフラッシュバンド判定装置であって、
   連続して得られた複数の画像のそれぞれにおいて、フラッシュバンドの一部が存在するかを判定する判定処理を行う判定手段を有し、
   前記判定手段は、第１の露出条件で第１の画像及び第２の画像を撮影した場合、前記第２の画像のうち第１の明るさの領域を前記フラッシュバンドの一部と判定し、第１の露出条件で前記第１の画像を撮影し、前記第１の露出条件よりも高い露出である第２の露出条件で前記第２の画像を撮影した場合、前記第２の画像のうち、前記第１の明るさの領域を前記フラッシュバンドの一部と判定しないことを特徴とするフラッシュバンド判定装置。
3. 前記露出条件は、前記撮像手段の撮像光学系の絞り値に基づくことを特徴とする請求項１または２に記載のフラッシュバンド判定装置。
4. 前記露出条件は、前記撮像手段による撮像におけるＮＤフィルタのパラメータ、シャッタースピード、画像の輝度レベルの少なくとも１つに基づくことを特徴とする請求項１乃至３のいずれか１項に記載のフラッシュバンド判定装置。
5. 前記露出条件として、前記撮像手段の撮像素子のゲインを用いることを特徴とする請求項１乃至３のいずれか１項に記載のフラッシュバンド判定装置。
6. 前記撮像手段を有することを特徴とする請求項１乃至５のいずれか１項に記載のフラッシュバンド判定装置。
7. 前記撮像手段は、１ラインごとに順次画素信号の読み出しを行うことを特徴とする請求項６に記載のフラッシュバンド判定装置。
8. 前記撮像手段は、ローリングシャッタ方式で動作することを特徴とする請求項６に記載のフラッシュバンド判定装置。
9. 撮像手段による撮像の結果得られた画像にフラッシュバンドが存在するかを判定するフラッシュバンド判定装置の制御方法であって、
   連続して得られた複数の画像のそれぞれにおいて、フラッシュバンドの一部が存在するかを判定する判定処理を行う判定ステップを有し、
   前記判定ステップでは、第１の露出条件で第１の画像及び第２の画像を撮影した場合、前記第２の画像のうち第１の明るさの領域を前記フラッシュバンドの一部と判定せず、第１の露出条件で前記第１の画像を撮影し、前記第１の露出条件よりも低い露出である第２の露出条件で前記第２の画像を撮影した場合、前記第２の画像のうち、前記第１の明るさの領域を前記フラッシュバンドの一部と判定することを特徴とする制御方法。
10. 撮像手段による撮像の結果得られた画像にフラッシュバンドが存在するかを判定するフラッシュバンド判定装置の制御方法であって、
    連続して得られた複数の画像のそれぞれにおいて、フラッシュバンドの一部が存在するかを判定する判定処理を行う判定ステップを有し、
    前記判定ステップでは、第１の露出条件で第１の画像及び第２の画像を撮影した場合、前記第２の画像のうち第１の明るさの領域を前記フラッシュバンドの一部と判定し、第１の露出条件で前記第１の画像を撮影し、前記第１の露出条件よりも高い露出である第２の露出条件で前記第２の画像を撮影した場合、前記第２の画像のうち、前記第１の明るさの領域を前記フラッシュバンドの一部と判定しないことを特徴とする制御方法。
11. 請求項１乃至８のいずれか１項に記載のフラッシュバンド判定装置の手段をコンピュータに実行させるためのコンピュータに読み取り可能なプログラム。

Images