JP5945395B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関する。

一般にフリッカ光源と呼ばれる、明滅を繰り返す照明に照らされた被写体を撮像素子で撮像した場合、撮像素子によって得られる像は、露光タイミングによって輝度差が生じるという技術的課題がある。

この明滅成分を検出する方法として、以下の特許文献１、特許文献２、特許文献３、等に開示される技術が知られている。これらの特許文献１〜特許文献３の従来技術は、フリッカ周期よりも短い積分時間で撮影したとき、連続する所定数の複数フレームの撮像出力を平均化することでフリッカ成分の影響を弱めた画像データを得ようとする技術である。

また、特許文献４には、複数の異なる積分時間でフリッカを検出してホワイトバランスを補正し、測色センサの制御を行う技術が開示されている。

また、特許文献５には、フリッカ成分の発生しない、フリッカ周期と同じ積分時間で取得した画像と、半分のシャッタ速で取得した画像を比較することでフリッカ成分を抽出する技術が開示されている。

特開２００８−０１１２２６号公報 特開２００７−０６０５８５号公報 特公平０３−０７４５５１号公報 特許第０３１５０９８８号公報 特許第４３３７３５３号公報

図１Ａは、ローリングシャッタ方式の撮像素子を使ったカメラにおけるフリッカの影響と、特許文献１〜特許文献３のような連続フレームを平均して表示する場合の効果を示す概念図である。この図１Ａには、フリッカ成分の輝度と経過時間の関係を示す曲線（図中の上段）と、積分タイミング（図中の中段）と、撮影画像（図中の下段）とが対応して時系列に示されている。

蛍光灯を代表とするフリッカ光源は、商用電源周波数の半分の周期で輝度変動が発生する。図１Ａの中段のように、撮像のＶＤ同期信号と同期したタイミングで撮像の上のラインが積分を開始し、上から順次下のラインへ時間差をもって積分を開始する例である。

１フレーム取得中に被写体の輝度が変化すれば、積分するタイミングにより得られる撮像出力は異なる。フリッカ成分の輝度が一番低いタイミングで積分した場合、そのラインは他のラインに比べ撮像出力が小さく、その結果、図１Ａの下段の撮影画像のように、中央に暗い縞模様が入ることになる。

フリッカ周期とフレームレートが同期していない場合、次の駒（フレーム）では、輝度の一番暗いタイミングで積分するラインが前のフレームと異なり、暗い縞の位置が変化した撮像データが得られる。

フリッカ周期と、画像取得周期（図では垂直同期信号ＶＤで表される信号の周期）の最小公倍数となるフレーム数の撮像出力の平均値は、上下ライン間の撮像出力差が無くなり、結果としてフリッカ成分の影響がほとんど無い撮像データを得られる。よって、ある１フレームの撮像データと、前記複数フレーム分を平均した撮像データの差分をとることで、フリッカ成分を得るものである。

ところが、この図１Ａのように連続フレームを平均して表示する技術では、フリッカ周波数とフレームレートが同期した場合、複数画像を平均化してもフリッカの影響は検出できない、という技術的課題がある。

図１Ｂは、この技術的課題を説明する概念図である。この図１Ｂの表示態様は、上述の図１Ａと同様である。すなわち、フリッカ周波数とフレームレートが同期した場合は、フリッカの輝度とラインの積分タイミングが複数のフレームで同一となるため、複数の撮影画像の平均を取得してもフリッカの影響を取り除いた撮像データを取得できず、フリッカ成分を検出できないという技術的課題がある。

ここで、積分時間を利用してフリッカ検出する方法も考えられる。積分時間が長いほどフリッカの輝度変動は平均化される。逆に積分時間が短いほど、フリッカの輝度変動分、撮像出力も変動しやすくなる。

図２Ａは、積分時間を利用してフリッカ検出する方法の概念図である。暗いタイミングで積分したときのデータと、明るいタイミングで積分したときの撮像出力の差は、積分時間が短いほど差が大きくなる関係を示している。

この現象について、図２Ｂおよび図２Ｃを参照して説明する。図２Ｂおよび図２Ｃは、輝度値を示す棒グラフに実際に輝度の数値を入れて表現した概念図である。

図２Ｂに示されるように、フリッカ成分の輝度が時間の経過と共に変化するところを、数値に置き換えている。説明の簡略化のため単位系は無く、一番明るいタイミングでの撮像素子に入射する光量を１０とおいて、相対的に時間による変化を表したものである。１周期を６等分している。

積分時間ｔｓがフリッカ周期の４／６の場合、一番上のラインは１＋６＋９＋１０＝２６と計算される。同様に他のラインも計算して図示している。

比較のために、短い時間の例を図２Ｃに図示する。フリッカ周期の２／６で積分した場合で、比較のために撮像に入射する光量を２倍にしている。これは図２Ｂに比べてシャッタ速を１段速めた分、レンズの絞りを１段開いて露光量が同一になるようにした制御の例である。

露光時間の長い図２Ｂの例では、最小１９に対し最大でも１．７倍の３３にあるのに対し、露光時間の短い図２Ｃの例では最大と最小の比が３８／１０＝３．８と、明暗差が大きくフリッカの影響を強く受けたことを示している。

このように積分時間ｔｓの長短でフリッカによる輝度変動の影響の大小を利用して、積分時間ｔｓの異なる撮像出力の差分をとることで、フリッカ成分を抜き出す方法がある。このような方法が、上述の特許文献４の技術であり、撮像素子でも異なる積分時間ｔｓで撮影すればフリッカの影響は異なるので検出することができる。

また、上述の特許文献５のように、フリッカ成分の発生しないフリッカ周期と同じ積分時間で取得した画像と、半分のシャッタ速（積分時間）で取得した画像を比較することで輝度変動を求めフリッカ成分を抽出する方法も同様である。

しかしながら、被写体の移動や手ブレによって発生する輝度変動が撮像出力に重畳するので、フリッカ成分が小さい場合にフリッカの影響ありと誤判定してしまうことや、フリッカ成分が大きい場合にフリッカに影響が小さいと誤判定してしまう技術的課題がある。

本発明の目的は、フレームレートとフリッカ光源の周波数（周期）が同期する場合でも、高精度なフリッカ検出を行うことが可能であり、ライブビューの表示画質や動画像の画質を低下させることのない技術を提供することにある。

本発明の第１の観点は、
ローリングシャッタ方式の電子シャッタ機能を有する撮像素子と、
被写体からの光を前記撮像素子に導く光学手段と、
前記撮像素子に所定の周期で撮像動作を行なわせ、前記撮像素子の積分時間を制御する撮像制御手段と、
前記撮像素子の撮像出力に基づいてフリッカ成分を検出するフリッカ検出手段と、
を有し、
前記フリッカ検出手段は、
前記電子シャッタ機能の走査方向に沿って前記撮像素子の撮像領域に複数の検出領域を設け、同一の検出領域にて異なるフレームで同一の積分時間で積分して取得した複数の撮像出力の同一の検出領域に関する輝度差である第１の変動量と、
同一の検出領域にて異なるフレームで異なる積分時間で積分して取得した複数の撮像出力の同一の検出領域に関する輝度の差である第２の変動量を算出し、
前記複数の検出領域に対応する前記第２の変動量のうちの最大値と最小値の差と、前記複数の検出領域に対応する前記第１の変動量のうちの最大値と最小値の差の比に基づいてフリッカ成分が含まれているか否かを検出する。

本発明によれば、フレームレートとフリッカ光源の周波数が同期する場合であっても、ライブビューの表示画質を低下させることなく、フリッカ検出を行うことが可能な技術を提供することができる。

ローリングシャッタ方式の撮像素子を使ったカメラにおけるフリッカの影響と、連続フレームを平均化して表示する場合の効果を示す概念図である。 連続フレーム平均化出力の技術的課題を説明する概念図である。 積分時間を利用してフリッカ検出する方法の概念図である。 輝度値を示す棒グラフに実際に輝度の数値を入れて表現した概念図である。 輝度値を示す棒グラフに実際に輝度の数値を入れて表現した概念図である。 本発明の一実施の形態である撮像装置の構成例を示すブロック図である。 本発明の一実施の形態である撮像装置の基本的な動作の一例を示すフローチャートである。 本発明の一実施の形態である撮像装置のフリッカ検出処理の一例を示すフローチャートである。 本発明の一実施の形態である撮像装置の撮像領域における測光領域の配置の一例を示す図である。 本発明の一実施の形態である撮像装置の撮像素子のローリングシャッタ動作の一例を示す図である。 本発明の一実施の形態である撮像装置のライブビュー表示に現れるフリッカ縞の一例を示す図である。 フリッカ光源下で移動しない被写体の一例を示す図である。 本発明の一実施の形態である撮像装置のフリッカ光源下での積分時間と輝度値の関係の一例を示す図である。 フリッカレス光源下で移動する被写体の一例を示す図である。 本発明の一実施の形態である撮像装置のフリッカレス光源下にて移動する被写体に対する積分時間と輝度値の関係の一例を示す図である。 フリッカ光源下で移動する被写体の一例を示す図である。 本発明の一実施の形態である撮像装置のフリッカ光源下にて移動する被写体に対する積分時間と輝度値の関係の一例を示す図である。 本発明の一実施の形態である撮像装置のフリッカ光源下にて移動する被写体に対する同じ積分時間と異なる積分時間の輝度値の差の時間変化の一例を示す図である。 本発明の一実施の形態である撮像装置のフリッカ光源下で積分時間を変化させた時の輝度値の違いの一例を示す図である。 本発明の一実施の形態である撮像装置の移動する被写体について積分時間を変化させた時の輝度値の違いの一例を示す図である。 本発明の一実施の形態である撮像装置の異なる積分時間の輝度値の差の時間変化の一例を示す図である。 本発明の一実施の形態である撮像装置の撮像領域において測光領域の配置を示す図である。 本発明の一実施の形態である撮像装置の切り替わりポイントとなる測光領域を示す図である。 本発明の一実施の形態である撮像装置のフリッカ判定処理の一例を示すフローチャートである。 本発明の一実施の形態である撮像装置にてフレームを間引いて１駒おきの撮像出力に基づく輝度値によりフリッカを検出する例を示す図である。 本発明の一実施の形態である撮像装置にて１回目と３回目の積分時間を同一とし、２回目の積分時間を異ならせてフリッカを検出する例を示す図である。 撮影画面内の被写体の移動の一例を示す図である。 撮影画面内の被写体の移動の際の移動の前後の対応点の一例を示す図である 本発明の一実施の形態である撮像装置の撮影画面内の被写体の移動に関する動きベクトルの一例を示す図である。 本発明の一実施の形態である撮像装置の撮影画面内の被写体の移動とフリッカ縞の移動に関する動きベクトルの一例を示す図である。 本発明の一実施の形態である撮像装置の積分時間が長い場合の表示画面のフリッカ縞の一例を示す図である。 本発明の一実施の形態である撮像装置の積分時間が短い場合の表示画面のフリッカ縞の一例を示す図である。

以下、図面を参照しながら、本発明の実施の形態について詳細に説明する。

図３は、本発明の一実施の形態である撮像装置を実現するカメラの構成例を示すブロック図である。本実施の形態では、カメラの一例として、デジタル一眼レフカメラに適用した例を説明する。

図３に示されているように、このデジタル一眼カメラ（以下、単に「カメラ」と称する）は、ボディユニット１００と、例えば交換可能なレンズユニット（すなわちレンズ鏡筒）２００と、撮影した画像データを記録しておく記録メディア１３１で構成されている。

ここで、記録メディア１３１は、通信コネクタ１３０を介してボディユニット１００に接続される。

レンズユニット２００は、ボディユニット１００の前面に設けられた、不図示のレンズマウントを介して着脱自在であり、レンズユニット２００はボディユニット１００に対して交換可能である。

このレンズユニット２００は、撮影レンズ２１０ａおよび撮影レンズ２１０ｂ（光学手段）と、絞り２０３と、レンズ駆動機構２０４と、絞り駆動機構２０２と、レンズ制御用マイクロコンピュータ（以下、「Ｌμｃｏｍ」と称する）２０１とから構成されている。

撮影レンズ２１０ａおよび撮影レンズ２１０ｂは、レンズ駆動機構２０４内に備えられている不図示のステッピングモータによって、光軸方向に駆動される。

絞り２０３は、絞り駆動機構２０２内に備えられている不図示のステッピングモータによって駆動される。

また、Ｌμｃｏｍ２０１は、レンズ駆動機構２０４や絞り駆動機構２０２などの、レンズユニット２００内の各部を駆動制御する。

このＬμｃｏｍ２０１は、後述するボディ制御用マイクロコンピュータであるＢμｃｏｍ１０１（制御手段）（撮像制御手段）（フリッカ検出手段）と、通信コネクタ１６０を介して電気的に接続されており、Ｂμｃｏｍ１０１と各種のデータの授受が可能であり、Ｂμｃｏｍ１０１により制御される。

一方、ボディユニット１００は、以下のように構成されている。

レンズユニット２００内の撮影レンズ２１０ａおよび撮影レンズ２１０ｂ、絞り２０３を介して入射される不図示の被写体からの光束の光軸上には、フォーカルプレーン式のシャッタユニット１２０と、光学系を通過した被写体像を光電変換するための撮像素子１１１が配置されている。撮影レンズ２１０ａおよび撮影レンズ２１０ｂを通った光束は、撮像素子１１１に結像される。

撮像素子１１１は、撮像素子駆動ＩＣ１１０（撮像制御手段）により光電変換動作を制御される。撮像素子１１１は、このカメラの結像光学系によりこのようにして結像された被写体像を光電変換して、アナログ電気信号に変換する。

撮像素子１１１から出力される前記電気信号は、撮像素子駆動ＩＣ１１０により、画像処理ＩＣ１０２（フリッカ検出手段）が処理するためのデジタル電気信号に変換され、画像処理ＩＣ１０２により、画像信号に変換される。

また、本実施の形態のボディユニット１００においては、撮像素子１１１、撮像素子駆動ＩＣ１１０と、記憶領域として設けられたＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の半導体メモリ１０４と、液晶モニタ１４０（表示手段）と、画像処理を行うための画像処理ＩＣ１０２に接続されている。また、通信コネクタ１３０を介して記録メディア１３１が画像処理ＩＣ１０２に接続されている。

このように、ボディユニット１００は、本実施の形態のカメラが、電子撮像機能と共に電子記録表示機能を提供できるように構成されている。

記録メディア１３１は、各種の半導体メモリカードや外付けのハードディスクドライブ（ＨＤＤ）等の外部記録媒体であり、通信コネクタ１３０を介してボディユニット１００と通信可能、且つ交換可能に装着される。

また、画像処理ＩＣ１０２は、このボディユニット１００内の各部を制御するためのボディ制御用マイクロコンピュータ（以下、Ｂμｃｏｍと略記する）１０１に接続されている。このＢμｃｏｍ１０１は、カメラの全体の動作を制御する制御手段の他、計数手段、モード設定手段、検出手段、判定手段、演算手段等の機能を有している。

これらの各手段は、例えば、Ｂμｃｏｍ１０１にファームウェアあるいはソフトウェアとして実装された制御プログラム１０３を、当該Ｂμｃｏｍ１０１が実行することによって実現される。あるいは、これらの各手段は、例えば、Ｂμｃｏｍ１０１を構成するハードウェアの論理回路によって実現されるようにしてもよい。

なお、Ｂμｃｏｍ１０１は、通信コネクタ１６０と、シャッタ制御駆動回路１２１等と接続されており、更に、カメラの動作状態を表示出力によって撮影者へ告知するための液晶モニタ１４０と、カメラ操作スイッチ（ＳＷ）１５０と、図示されていない電源が接続されている。

なお、Ｂμｃｏｍ１０１とＬμｃｏｍ２０１とは、レンズユニット２００をボディユニット１００へ装着することにより、通信コネクタ１６０を介して通信可能に電気的接続がなされる。そして、Ｌμｃｏｍ２０１がＢμｃｏｍ１０１に対して従属的に協働しながら、デジタルカメラとして稼動するようになっている。

シャッタ制御駆動回路１２１は、シャッタユニット１２０における不図示の先幕と後幕との動きを制御すると共に、Ｂμｃｏｍ１０１との間で、シャッタの開閉動作を制御する信号と先幕が走行完了時の信号の授受を行う。

液晶モニタ１４０は、カメラの動作状態を表示出力によってユーザ（撮影者）へ告知するためのものである。

カメラ操作スイッチ１５０は、例えば撮影動作の実行を指示するレリーズスイッチ、撮影モードを連写モードや通常撮影モードなどに切り替えるモード変更スイッチ、電源のオン・オフを切り替えるパワースイッチなど、ユーザがカメラを操作するために必要な操作ボタン（操作手段）を含むスイッチ群で構成される。

本実施の形態のボディユニット１００は、図示されない電源回路を備え、この電源回路は、電源としての図示されない電池の電圧を、カメラの各回路ユニットが必要とする電圧に変換して当該各回路ユニットに供給する。

次に、このカメラによる撮影動作について説明する。

まず、Ｂμｃｏｍ１０１により画像処理ＩＣ１０２が制御されて、撮像素子１１１と撮像素子駆動ＩＣ１１０から画像データが画像処理ＩＣ１０２に入力されると、画像処理ＩＣ１０２は、この画像データを、一時保存用メモリである半導体メモリ１０４に保存する。なお、半導体メモリ１０４は、画像処理ＩＣ１０２が画像処理のためにワークエリアとしても使用される。例えば、本実施の形態の場合には、半導体メモリ１０４にはフレーム５００が格納される。

また、画像処理ＩＣ１０２は、この画像データをＪＰＥＧデータに変換する画像処理を行って、記録メディア１３１で保存させることができる。

シャッタ制御駆動回路１２１は、Ｂμｃｏｍ１０１からシャッタを駆動制御するための信号を受け取るとシャッタユニット１２０を制御してシャッタの開閉動作を行わせる。

このときに撮像素子１１１より撮像素子駆動ＩＣ１１０を介して出力された撮像データに対して所定の画像処理を行って画像データを生成し、記録メディア１３１に記録することで撮影動作が完了する。

次に、このカメラによるライブビュー動作について説明する。

撮影レンズ２１０ａおよび撮影レンズ２１０ｂからの光束は撮像素子１１１へと導かれ、撮像素子１１１の出力信号が撮像素子駆動ＩＣ１１０で処理され撮像データが生成される。

例えば１秒当たり３０枚程度の割合で連続的に露光を行い、このときに撮像素子１１１から撮像素子駆動ＩＣ１１０を介して出力される撮像データを、画像処理ＩＣ１０２によりビデオ信号に変換して液晶モニタ１４０に与えることで、被写体の動画像を液晶モニタ１４０に実時間で表示させることができる。

このような表示は「ライブビュー」と呼ばれており、周知である。なお、液晶モニタ１４０での画像データのライブビュー表示をこのカメラで行わせるには、ユーザが上述したカメラ操作スイッチ１５０の中のモード変更スイッチを操作して、ライブビューモードを選択すればよい。以降の説明では、ライブビューを「ＬＶ」と略すこともある。

なお、ＬＶ動作時には、撮影レンズ２１０ａおよび撮影レンズ２１０ｂからの光束は常に撮像素子１１１へと導かれているので、被写体の明るさの測光処理や、被写体に対する周知の測距処理を、撮像素子１１１と撮像素子駆動ＩＣ１１０から出力される画像データに基づいて画像処理ＩＣ１０２に行わせることができる。

図４は、本実施の形態のカメラのＢμｃｏｍ１０１による基本的な動作の一例を示すフローチャートである。

ステップＳ１０１では、ボディユニット１００の電源がオフからオンになったことで行う制御を行う。一般的にイニシャライズ処理と呼ばれているもので、Ｂμｃｏｍ１０１や撮像素子駆動ＩＣ１１０、画像処理ＩＣ１０２などの回路の起動、ボディユニット１００に接続されているレンズユニット２００へ電源供給と通信、などを行う。

ステップＳ１０２では、前述のライブビュー動作を開始する準備として、レンズユニット２００へ通信コネクタ１６０を介して所定の絞り駆動指示、撮像素子駆動ＩＣ１１０へ電子シャッタ速（積分時間）と感度の設定、シャッタ制御駆動回路１２１によりシャッタユニット１２０を開いて撮像素子１１１が受光するようにする、という制御を行う。

ステップＳ１０３では、前述のライブビュー動作を開始する。撮像素子１１１は設定された電子シャッタ速で積分動作を行い、撮像素子駆動ＩＣ１１０を介して画像処理ＩＣ１０２へ撮像出力データが送られる。

画像処理ＩＣ１０２は、図６に例示されるように、撮像出力を画像データに変換して液晶モニタ１４０に表示し、同時に画像処理ＩＣ１０２は、Ｂμｃｏｍ１０１に被写体の輝度算出用のデータを送信する。

この被写体輝度算出用のデータは、例えば、撮像素子１１１に結像した像を所定の領域に分割して平均化したデータなどを含み、Ｂμｃｏｍ１０１で被写体の輝度を計算できるような数値データとして当該Ｂμｃｏｍ１０１に送信される。

このステップＳ１０４では、Ｂμｃｏｍ１０１は被写体を領域分割したデータから、それぞれの分割に応じた輝度値を算出する。

輝度値は撮像素子１１１と、設定した感度、レンズユニット２００に制御させた絞り値、電子シャッタ速（撮像素子１１１の積分時間と同値）によって、撮像素子１１１の各領域にどのくらいの光が照射したかが計算される。

ここで、輝度を測定するエリア（測光領域）を、図６に示す９個の領域とする。図７に示す、画面上（または下）から逐次積分を開始するローリングシャッタ方式の撮像素子において、フリッカ光源下で撮影を行うと、図２Ａ、図２Ｂを使って説明したとおりフリッカ成分が図８に示されるように縞模様で現れる。よって、図６のように縦方向に分割して輝度を測定することで、後述する縞の周期を調べることができる。なお、輝度を測定するエリア（測光領域）の数は９個に限るものではない。

ステップＳ１０５では、後述するステップＳ１１３にてフリッカが検出されたか否かをチェックし、フリッカが検出されていた場合にはステップＳ１１４に移行する。一方、フリッカが検出されていない場合はステップＳ１０６へ移行する。

ステップＳ１０１の電源オンの処理を開始してから最初にステップＳ１０５の処理を行う場合には、フリッカが検出されていないと判定されるのでステップＳ１０６に進む。

ステップＳ１０６では、電源投入直後からの経過時間、または、過去に当該ステップＳ１０６を経過してからフリッカ検出周期ｔｄ（例えば、ｔｄ＝５００ｍｓ）が経過したかの判断を行う。このフリッカ検出周期ｔｄはフリッカ検出を行うタイミングを制御するものである。

フリッカ検出周期ｔｄ以上経過していればステップＳ１０８へ、経過していなければステップＳ１０７へ移行する。

ステップＳ１０７では、ステップＳ１０４で取得した輝度値に基づき露出レベルが適正となるような絞り値、シャッタ速、感度を算出する。これらの算出された値を交換レンズ２００の絞り２０３、撮像素子１１１の電子シャッタ速、感度として設定することにより、適正な露出レベルの撮像出力を得ることができる。

ステップＳ１０７はフリッカが発生していない場合に実行される処理であるので、後述するステップＳ１１４とは異なり、シャッタ速に関する制約はない。この処理を実行した後にステップＳ１１５に進む。

ステップＳ１０８にてフリッカ判定処理を行う。詳細については後述する。

ステップＳ１０９ではステップＳ１０８にてフリッカが検出された場合はステップＳ１１１に進む。一方、フリッカが検出されなかった場合にはステップＳ１１０に進む。

ステップＳ１１０は、ステップＳ１０８でフリッカ光源と判定されない場合に行われる処理であって、５００ｍｓ以上の周期にて何回連続でフリッカ光源と判断されたかをカウントするカウンタをクリアしてステップＳ１１５へ進む
ステップＳ１１１では、５００ｍｓ以上の周期にて何回連続でフリッカ光源と判断されたかをカウントするカウンタを＋１だけカウントして、ステップＳ１１２へ進む。

ステップＳ１１２では、５００ｍｓ以上の周期にて何回連続でフリッカ光源と判断されたかをカウントするカウンタが、「３」であるか否かを確認する。３回連続でフリッカが検出された場合は、ステップＳ１１３に進む。検出されない場合は、ステップＳ１１５へ進む。

ステップＳ１１３では、被写体はフリッカ光源下であると判定する。

ステップＳ１０６、１０８、１０９、１１１、１１２、１１３の一連の処理によって、５００ｍ以上の間隔でフリッカ検出動作を行い、連続して３回フリッカを検出したら、被写体はフリッカ光源下であると判定する処理を行う。一般的に、被写体がフリッカ光源環境下になったり、ならなかったり、ということを数秒レベルで変化することは無いので、１．５秒程度の時間でフリッカの判断を行い、１．５秒間全てフリッカを検出したら、フリッカと判断する。

被写体が一瞬だけフリッカ光源を横切るような場合は、ステップＳ１１４で後述するフリッカ対策した露出制御を行うことはなく、安定してフリッカ光源環境下に被写体があるときにフリッカ対策の露出制御を行う。

ステップＳ１１４では、被写体がフリッカ光源下にある場合に、フリッカの影響を低減したフリッカ対策の露出制御が実行される。フリッカ対策の露出制御は、積分時間がフリッカ周期よりも短くならないようにし、かつ、フリッカ周期の倍数となる積分時間に電子シャッタ速を設定する。

電子シャッタ速をより低速と設定することに対して、交換レンズ２００の絞り２０３を制御することで、撮像素子に到達する光量を制限し、積分時間をフリッカ周期の倍数にしても露出がオーバーにならないようにする。

しかしながら、絞り値を変更するための絞り駆動は、メカニカルな機構を駆動して行われるので、電子シャッタ速変更や感度変更の制御と比較して追従性が遅く、ライブビュー動作中の絞り制御は好ましいものではない。

また、被写体の輝度変化に対応するために、フレーム周期よりも短いシャッタ速を使わず絞りで対応することは、輝度変化の追従のレスポンスを遅らせることになり、一瞬を切り取る静止画撮影の構図確認用としてつかわれるライブビュー表示としては好ましくない。

さらに絞りを絞ることで被写界深度が深くなり、ユーザがピントの合焦状態を確認しにくくなる、オートフォーカス時、合焦精度を確保するべく被写界深度を浅くする必要があるので、オートフォーカスを行うたびに絞りを開放にする必要がありレリーズタイムラグが長くなるというような多くの課題がある。

このような理由により、ライブビュー動作中においては、絞りは開放とし、輝度追従は撮像素子の電子シャッタや感度で行うのが望ましい。よって、本実施例では、上述のフリッカ対策の露出制御は、被写体がフリッカ光源下であると判定されたときに行われる制御としている。

ステップＳ１１５では、カメラ操作スイッチ１５０にあるレリーズがオンされた場合は、ステップＳ１１６のスチル撮影動作を行う。

ステップＳ１１６では、ライブビュー動作を一旦停止し、ステップＳ１０４で得られた輝度値から、静止画撮影として最適な絞り値、電子シャッタ速、感度を算出する。算出された値から、前述の撮影動作を行う。

ステップＳ１１７では、カメラ操作スイッチ１５０にある電源ＳＷがオフされていないか判別する。そして、電源ＳＷがオフされていない場合は、次のフレームの露出動作を行うため、ステップＳ１０４に戻り、輝度値を取得する処理を行う。

電源ＳＷがオフされないかぎり、ステップＳ１０４からステップＳ１１６の処理を繰り返し行う。また、さらにレリーズＳＷがオフの場合は、ステップＳ１０４からステップＳ１１４の処理を繰り返し行う。この処理を繰り返している間、液晶モニタ１４０には連続した画像が表示されるライブビュー動作となる。電源ＳＷがオフされていたら、カメラの電源のオフ制御を行う。

図５は、本実施の形態のカメラにおけるＢμｃｏｍ１０１によるフリッカ検出処理の一例を示すフローチャートである。次に、この図５を参照して、上述のステップＳ１０８のフリッカ検出処理の一例を詳細に説明する。

図４のフローチャートに例示されるように、このステップＳ１０８のフリッカ検出処理は基本的には周期ｔｄの時間間隔で処理される。

図５の制御の概要としては、ステップＳ１０４で得られた輝度値を元に、所定の周期で繰り返される撮像出力のうち、３駒連続した駒の輝度値を取得する制御で、１駒目と２駒目は同じシャッタ速で行う。３駒目は１，２駒目で制御されたシャッタ速を１段分速くし、感度を１段上げて露出レベルを維持してシャッタ速を変更する制御を行う。この３駒の輝度値を用いてフリッカ判定を行う。

ステップＳ２０１では、上述の図４のステップＳ１０４で得られた輝度値に基づいて、露出レベルが適正になるような絞り値、シャッタ速、感度を算出し、算出した各値をレンズの絞り、撮像素子の電子シャッタ、感度に設定して撮像動作を行い、撮像出力を取得する。ステップＳ２０２では、ステップＳ１０４と同様にして、撮像出力に基づいて図６に示される各領域の輝度値を算出する。

ステップＳ２０３では、ステップＳ２０１と同じ絞り値、シャッタ速、感度にて撮像動作を行い、２駒目の撮像出力を取得し、ステップＳ２０４では、２駒目の撮像出力に基づいて、図６に示される各領域の輝度値を算出する。

ステップＳ２０５では、ステップＳ２０２で制御した絞り値、シャッタ速、感度のうち、シャッタ速を１段分速くする。シャッタ速を高速にした分により露出がアンダーにならないように感度を１段増加させる。そして３駒目の撮像動作を行い、撮像出力を取得する。ステップＳ２０６では、３駒目の撮像出力に基づいて、図６に示される各領域の輝度値を算出する。

ステップＳ２０７では、１駒目と２駒目で得られた各領域の輝度値について対応する領域毎に輝度値の差分を算出する。領域Ｎについて２個の駒の輝度値の差分を算出するためには、Ｎ＝１〜９の場合について、それぞれ以下の（１）式の計算を行う。

領域Ｎ差分＝２駒目の領域Ｎの輝度値−１駒目の領域Ｎの輝度値・・・（１）
ここまでの処理によって、フリッカ判定のために必要な撮像出力である、積分時間が同じ２つの駒の撮像出力と、積分時間が異なる２つの駒の撮像出力が得られた。さらに、この撮像出力から、図６に示す領域の輝度を算出し、式（１）の計算により領域ごとに積分時間が同じ２つの駒の輝度変化と積分時間が異なる２つの駒の輝度変化を取得した。

ステップＳ２０９以降で行う、フリッカの判定を行う処理の説明をする前に、ステップＳ２０１からＳ２０８までに得られたデータと、フリッカ光源との関係を、図９〜１５を用いて説明する。

図９は、フリッカを有する照明が、被写体を均一に照射しているケースである。被写体とフリッカ光源の位置関係は固定としている。このような設定における輝度と積分時間の関係を図１０に示す。ここでは、商用電源周波数は６０Ｈｚで、フリッカ明滅周波数が１２０Ｈｚ、また撮像出力のフレームレートは１２０ｆｐｓで、フリッカ明滅周波数と撮像出力のフレームレートが同期している場合を例に説明する。

図１０の一番上のグラフ「Ａ：照射面輝度変動」は被写体の輝度変動を示す。横軸はグラフＡ、Ｂ、Ｃ共通の時間軸である経過時間、縦軸は輝度を示す。１２０Ｈｚのフリッカは、８．３３ｍｓの周期で明滅を繰り返し、特に消灯するタイミングでは輝度の単位時間当たりの変化が大きくなる特徴がある。

次に、ある積分時間「Ｔ」で、積分した場合の、図６で示された９個の領域の積分時間とタイミングについて、図１０の上から２番目のグラフ「Ｂ：積分時間Ｔによる逐次積分」に基づいて説明する。

図７のように、上から逐次積分を開始する撮像素子では、画素ごとに上から逐次積分が開始される。図６で示される領域の中には複数の画素が存在しており、その画素の積分タイミングは領域内部でも画素ごとに異なるが、領域内の画素の出力を平均して「領域の輝度値」とし、領域１から領域９へ逐次積分を開始しているとみなして図示したのが図１０のグラフＢである。

１２０ｆｐｓで領域１から積分開始し、領域９まで逐次積分動作を行い、これを積分１回目とする。グラフＢでは３回繰り返して１２０ｆｐｓで積分動作が行われている様子を示している。

まず、積分１回目に着目すると、グラフＡに示される照射面の輝度が一番高いタイミングに、積分時間の中心が来ている領域は「領域２」である。よって、領域２から算出される輝度値は、他の領域に比べ高くなる。一方、グラフＡで照射面の輝度が一番低くなるのが「領域７」であり、領域７から算出される輝度値は、９つの領域の中で一番低い輝度となる。

フリッカ周期と撮像の周期は同期しているので、明るい領域と暗い領域の関係は、積分２回目、積分３回目でも保たれる。このように、積分時間が同じ場合、すなわち積分１回目、２回目、３回目で得られる各領域の輝度値を比較すると、同じ輝度値が得られることがわかる。

図１０のグラフ「Ｃ：積分時間「ｔ」による逐次積分」は、積分時間をＴとは異なる時間「ｔ」で積分した場合を示す。

積分開始タイミングは、グラフＢと同じだが、積分時間が短いために、積分時間の中心が変わり、結果として積分時間「ｔ」で一番明るい領域は「領域４」、一番暗い領域は「領域９」となる。図１１のグラフＡ，Ｂ,Ｃより、フリッカ照明下では積分時間を変えると、領域ごとに出てくる輝度値が異なるということになる。

そして、積分時間Ｔで取得したグラフＢの領域７と、積分時間ｔで取得したグラフＣの領域９を比較すると、最も暗くなる時刻を積分時間の中心とするものの、積分時間Ｔは比較的明るい時刻も含めて積分しており、一方、積分時間の短い方は、輝度が暗い時間に限って積分しているので、グラフＢの積分時間Ｔの領域７よりも、グラフＣの積分時間ｔの領域９から算出される輝度値の方が、輝度が暗いことが示されている。

図１０のグラフ「Ｄ：積分により得られた輝度値（測光値）」は、横軸の時間軸に９つの領域の積分時間の中心時刻を記載し、縦軸に各領域から得られた輝度値を示す。積分時間Ｔは実線、積分時間ｔは破線で示し、積分時間を変更すると得られる輝度値が変化する関係になる。

図９、図１０に示すように、蛍光灯のフリッカによる明滅以外に照射面の輝度変動要因が無いケースでは、フリッカ成分のみが輝度値として現れるので、積分時間が異なる撮像出力を比較することによりフリッカ光源か否かの判定が可能である。

しかし、実際の撮影シーンでは図１１に示すように、被写体が動く状況があり、光源がフリッカ明滅のないフリッカレス光源であっても取得する輝度値が変化する。

図１２は、図１１の状況における輝度変化等を、図１０と同様の形態で表示したものである。図１２のグラフＡはランダムな輝度変化を繰り返す。このような被写体状況では、シャッタ速の変更に関わらず輝度値の変動は生じる。

図１２では、積分時間が同じ積分１回目、２回目、３回目でも各領域とも輝度変動は発生する。また、積分時間「Ｔ」と積分時間「ｔ」による違いも発生する。

従って、図１２に示すように、フリッカ光源下かつ被写体が動いているという一般的な被写体の照射面輝度は、フリッカ明滅による変動成分と被写体の動きによる変動成分が重畳したものとなる。

そのため、フリッカ成分と被写体の変動成分が重畳した被写体の照射面輝度から、被写体がフリッカ光源か否かを判断することは、積分時間が異なる撮像出力の比較のみで行うのは困難である。

本実施例では、図５のフリッカ検出処理によりこのような問題を解決する。また、本実施例の動作を、図１０、１２と同様の形態にて図１４に示す。

図１４のグラフ「Ａ：照射面輝度変動」は、フリッカ明滅による８．３３ｍｓ周期で輝度変化する成分と、ランダムな被写体の移動により変化する輝度成分が重畳している状態を示す。積分１回目と２回目は同じ積分時間とし、積分３回目について積分時間を短くして取得している。これは図５のステップＳ２０１からＳ２０６までで説明した状態であり、図５の１駒目が積分１回目、２駒目が積分２回目、３駒目が積分３回目に対応するものである。

図１５は、ステップＳ２０７で得られた１、２駒目の変動量と、Ｓ２０８で得られた２、３駒目で得られた変動量の時間変化を示すものである。１、２駒目の変動量である「２駒目−１駒目」は、同じ積分時間で撮像動作を行った２駒目と１駒目の輝度値の差分である。また、２、３駒目の変動量である「３駒目−２駒目」は、異なる積分時間で撮像動作を行った３駒目と２駒目の輝度値の差分である。

さらに、ステップＳ２０８にて、図１５に示す「３駒目−２駒目」の最大値と最小値の差である「３駒目−２駒目の振幅」を算出する。またステップＳ２０７では、同様に「２駒目−１駒目の振幅」を算出する。

後述するステップＳ２０９では、ステップＳ２０８で得られた「３駒目−２駒目の振幅」が、ステップＳ２０７で得られた「２駒目−１駒目の振幅」よりも十分大きいかどうかを比較し、十分大きいと判断された場合にフリッカ判定のうちの一つの条件に該当したと判定するものである。具体的には以下の式（２）を満たす場合にフリッカ判定のうちの一つの条件に該当すると判定する。

（３駒目−２駒目の振幅）／（２駒目−１駒目の振幅）＞ 閾値Ｄ・・・（２）
閾値Ｄは、後述するように１例として２としてもよいし、さまざまな条件に応じて適宜変更してもよい。このように輝度値の差分の振幅を比較することにより、フリッカ光源下か否かの判定を行う原理について説明する。

人の目では視認できないほど早いフリッカ明滅に比べ、視認できるような被写体の移動による輝度変動は比較的緩やかで単位時間当たりの輝度変動は少ない。

図１６に示す１例のように、積分時間を４ｍｓ、感度をＩＳＯ２００で取得した撮像出力と、積分時間を１段分減らした２ｍｓ、その分だけ感度を１段増やしてＩＳＯ４００とした場合を比較すると、輝度変化がなければ同じ輝度値が得られるが、例えば８.３３ｍｓの周期でフリッカ明滅するような輝度が早く変化する状況に対しては、積分時間の違いによる輝度値の違いは大きくなる。

なお、輝度値は、図１６にて積分時間２ｍｓ（ＩＳＯ４００）の場合はＬ（２ｍｓ）（右上がり斜線部の面積）、積分時間４ｍｓ（ＩＳＯ２００）の場合はＬ（４ｍｓ）（右下がり斜線部の面積）にそれぞれ相当し、輝度値に換算して比較する場合は、感度の差を考慮して２×Ｌ（２ｍｓ）とＬ（４ｍｓ）とを比較する。

一方、被写体の移動のようにゆるやかな変化をするものに対しては、図１６と同様な表記により図１７に示す。図１７に示されるように、積分時間を２ｍｓ（ＩＳＯ４００）と４ｍｓ（ＩＳＯ２００）変化させた場合の輝度値の差は、フリッカ明滅の状況における測光値の差よりも小さくなる。

また、フリッカ明滅に匹敵するほどの被写体の変化が激しい場合は、上記判定方法ではフリッカと見分けがつきにくい。しかし、フリッカ成分と被写体の動きが同じ程度で変動しているような被写体においては、フリッカによる縞模様が、被写体の激しい変化にまぎれて目立たないので、フリッカ光源下かどうかを判定する必要性は小さい。

以上に述べた原理に基づき、積分時間が異なる撮像出力の変動と、積分時間が同じ撮像出力の変動との比が所定値（例えば２）よりも大きい場合、フリッカ有りと判定する。

一方、積分時間が異なる撮像出力の変動と積分時間が同じ撮像出力の変動との比が所定値（例えば２）より小さい場合、フリッカ成分があったとしてもフリッカの影響はライブビュー表示で目立つレベルではないと考えられ、フリッカの影響は十分に小さいと判断しフリッカなしと判定する。上記所定値は、さまざまな条件により変更してもよい。

次に、図５に戻って説明する。

ステップＳ２０９にて、ステップＳ２０８で得られた変動量が、ステップＳ２０７で得られた変動量に比べて２倍以上ある場合、被写体はフリッカ光源下であると判断し、ステップＳ２１０へ進む。一方、２倍より小さい場合は、被写体はフリッカ光源下ではない、もしくはフリッカ光源の影響は十分に小さいと判断し、フリッカ判定処理を終了する。

ステップＳ２１０にて、輝度変動の周期を調べ、フリッカ周期に同期したものかどうか調べ、周期性がフリッカ周期に該当するかを判断する。

図１８に示すように、３駒目と２駒目の差分について、正から負に切り替わる切り替わりポイントを調べる。「領域Ｎ」と「領域Ｎ＋１」を比較し、「領域Ｎ」が正、「領域Ｎ＋１」が負または０、となるＮを探す。

被写体がフリッカ光源下の場合、このような複数の切り替わりポイントの間隔である図１８に示す間隔１がフリッカ１周期分の時間に相当しているか判定する。

図１０、１２、１４には示していないが、領域１から領域９の間に１周期分以上かけて画面全体を積分する撮像素子の場合は、フリッカ１周期分、８.３３ｍｓ積分開始時間がずれる領域数分、切り替わりポイントが離れているか否かで判断できる。

同様に、「領域Ｎ」と「領域Ｎ＋１」の比較により、負から正に切り替わる切り替わりポイントも求めると、図１８に示す例では３個の切り替わりポイントが得られ、例えば間隔２がフリッカ周期の概略半分かどうか、という方法で調べることもできる。

１画面分の撮像出力を取得する時間が、フリッカ周期よりも数倍長くライブビュー上に縞が多く発生するような場合では、領域数を９個より多く増やしてフーリエ変換など周波数成分を調べる方法も有効である。

このように、輝度値の変動周期が、フリッカ周期と略一致し、周期性評価としてフリッカ周期に該当すると判定した場合に、ステップＳ２１１へ進む。そして、ステップＳ２１１にてフリッカを検出したという判定をする。

以上で、図５のフリッカ判定処理の動作について説明を終了する。

なお、本実施例における同じ積分時間とは、両方の積分時間の比率が０．７５より大きく、１．２５より小さい範囲内を同じ積分時間とする。また、異なる積分時間とは、両方の積分時間の比率が０．７５以下または１．２５以上を異なる積分時間とする。

次に、第１実施例の変形例を以下に説明する。フリッカが横の縞としてライブビュー表示に影響を与えることを利用して、図１９に示すように測光領域を撮影画面の横方向にもさらに隣接して配置し、ステップＳ２１０にて周期性評価の判定を行う。即ち、図１９にて撮像領域４００の測光領域４０１の横方向に測光領域４０２、４０３を配置する。測光領域４０２、４０３は測光領域４０１と同様にそれぞれ領域１から領域９を有する。

そして、上記ステップＳ２１０で求めた領域１から領域９の中での切り替わりポイントが、図２０に示すように測光領域４０１とその横方向に隣接する測光領域４０２、および測光領域４０３とで一致するかどうかを判別し、これらが一致した場合にステップＳ２１１に進むようにする。

このようにして、周期性評価の確実性をより向上させることが可能である。

なお、撮像のフレームレートが６０ｆｐｓのケースでは、フリッカ２周期分と同期することとなり、３０ｆｐｓはフリッカ４周期分と同期することとなるので、本実施例の１２０ｆｐｓの場合と同じ現象が発生し、撮像のフレームレートが６０ｆｐｓ、３０ｆｐｓであっても本実施例によるフリッカ判定処理は有効である。

以上説明したように、第１実施例においては、同じ積分時間による撮像出力の変動量に基づいて、異なる積分時間による撮像出力の変動量を、フリッカ成分として判定するかどうかを判断することで、被写体の動きによる誤判定を取り除くことが可能となる。

また、被写体がフラットで動きが少ない場合は、微弱なフリッカ縞でもライブビュー表示上で目立つが、同じ積分時間による撮像出力の変化量が小さいので、異なる積分時間による撮像出力の変動量が小さくてもフリッカ成分として判断することができ、フリッカ検出能力を向上させることが可能である。また、被写体の動きによる影響だけでなく、カメラの手ブレの影響についても同様の方法で、フリッカ検出の誤判定を取り除くことが可能となる。

次に、第２実施例について説明する。第２実施例の構成は、第１実施例の構成を示す図１と同様であり、図４のカメラの基本動作の処理も同様である。以下、第１実施例と異なる部分についてのみ説明する。

図５に示す第１実施例のフリッカ判定処理では、積分１回目と積分２回目を、同じ積分時間で撮像出力を取得し、積分３回目を前の２回とは異なる短い積分時間で積分する例を示した。

第２実施例では、積分１回目、積分２回目、積分３回目を同じ時間とし、積分４回目を前の３回とは異なる積分時間とすることで、商用電源周波数６０Ｈｚと５０Ｈｚの両方のフリッカについて判別する能力を有するものである。

撮像出力のフレームレートが３０ｆｐｓの場合、商用電源周波数６０Ｈｚ地域でのフリッカ照明は１２０Ｈｚのフリッカ周期であり、図２Ｂで説明したように撮像出力のフレームレートと同期する。一方、商用電源周波数５０Ｈｚ地域でのフリッカ照明では、図２Ａで記載したように、フレーム間で縞模様が変化する。この変化は、フリッカ周期１０ｍｓと、撮像出力周期３３．３ｍｓ（１/３０ｆｐｓ）の最小公倍数である１００ｍｓで同期する。積分時間が同じである３回分の積分値を平均すると、フリッカ成分の影響を弱めたデータが得られることは、前述した先行技術のように公知である。従って、撮像出力と同期しないフリッカ成分を検出する場合は３駒比較の方が、積分時間変更による検出よりも良好に検出できることから、撮像出力のフレームレートと同期しないフリッカである１００Ｈｚのフリッカと、同期する１２０Ｈｚのフリッカを別々の判断方法で検出するものである。

図２１に、第２実施例のフリッカ判定処理のフローチャートを示す。

ステップＳ３０１にて、図４のステップＳ１０４で得られた輝度値に基づいて、露出レベルが適正になるような絞り値、積分時間、感度を算出して、この算出された値をレンズの絞り、撮像素子の電子シャッタ、感度に設定して撮像動作を実行し撮像出力を得る。

ステップＳ３０２からＳ３０４では、ステップＳ１０４と同様にして、撮像出力に基づいて図６に示す測光領域ごとに輝度値を算出する。

ステップＳ３０２では１駒目の、ステップＳ３０３では２駒目の、ステップＳ３０４では３駒目の輝度値を取得し、ステップＳ３０２、Ｓ３０３、Ｓ３０４では全て同じ積分時間で撮像動作を行う。

ステップＳ３０５では、ステップＳ３０２、Ｓ３０３、Ｓ３０４で制御した絞り値、積分時間、感度のうち、積分時間を１段分速く設定する。そして、シャッタ速を速くした分だけ露出がアンダーにならないように感度を１段増加する。

そして、ステップＳ３０６にて４駒目の撮像動作を行い、撮像出力を取得して、図６で示される領域の輝度値を得る。

ステップＳ３０７にて、同じ積分時間で撮像動作を行った１、２、３駒目の輝度値に基づいて、５０Ｈｚフリッカを検出する。フリッカ検出方法は、すでに公知であり前述した先行技術にも記載しているため簡単に以下に記載する。

上記１〜３駒について算出された各領域の輝度値の平均値を算出する。例えば領域１について下記の式により求める。
[（１駒目の領域１の輝度値）＋（２駒目の領域１の輝度値）＋（３駒目の領域１の輝度値）]/３ ・・・ （３）
式（３）の計算を９個の領域について行う。

この９個の領域の輝度値は、フリッカ成分がかなり軽減されたものとなる。１駒目の領域１〜９について、各領域に輝度値から３駒分の輝度値の平均値を引き算すると、フリッカ環境下の場合、フリッカ成分のみが抽出される。

他の２駒についても同様にして、各領域の輝度値から３駒分の輝度値の平均値の差分をとり、得られた差分はフリッカ成分に相当するので、フリッカ成分の特徴量、例えば周波数成分などを調べることで、５０Ｈｚフリッカと判断するものである。

このように撮像のフレームレートと同期しないフリッカ成分を、１、２、３駒目の撮像出力から判断し、フリッカ成分と判断された場合は、ステップＳ３１３へ進む。一方、フリッカ成分と判断されない場合はステップＳ３０８へ進む。

ステップＳ３０８では、ステップＳ２０８と同様にして、以下の計算を行う。
「領域Ｎ差分」＝「３駒目・領域Ｎの輝度」−「２駒目・領域Ｎの輝度」 ・・・（４）
上記（４）式により、３駒目と２駒目の各領域の輝度値の変動量を算出する。

ステップＳ３０９にて、ステップＳ３０８と同様にして、以下の計算を行う。
「領域Ｎ差分」＝「４駒目・領域Ｎの輝度」−「３駒目・領域Ｎの輝度」 ・・・（５）
上記（５）式により、４駒目と３駒目の各領域の輝度値の変動量を算出する。

ステップＳ３１０、Ｓ３１１にて、ステップＳ２０９、Ｓ２１０と同様のチェックを行う。ステップＳ３１０にて４駒目と３駒目の変動量が所定の閾値を超える場合、かつステップＳ３１１にて周期性評価により６０Ｈｚフリッカ周期に該当すると判定された場合にステップＳ３１２に進み、６０Ｈｚのフリッカが有ると判定する。

ただし、５０Ｈｚのフリッカの環境下にある場合は、ステップＳ３０７の分岐によりステップＳ３１１に進むことはないので、ステップＳ３１２にて判定するのは同期している６０Ｈｚのフリッカである。

ステップＳ３１３にて、５０Ｈｚフリッカと判定する。このように、撮像フレームレートに同期していないフリッカは、同期しているフリッカと比べて縞の挙動が大きく異なるので、５０Ｈzと６０Ｈｚのフリッカを別々に検出する方が良好な検出が可能である。

また、図２１に示すフリッカ判定処理は、撮像フレームレートが３０ｆｐｓに限定されるものではない。撮像フレームレートが６０ｆｐｓ（周期１６．６ｍｓ）の場合は、５０Ｈｚフリッカの周期１００ｍｓとの最小公倍数は６駒分なので、６駒平均のデータを用いてもよい。

また、変形例として図２２に示すように、フレームを間引いて１駒おきの撮像出力に基づく輝度値を用いてもよい。撮像フレームレートが１２０ｆｐｓの場合は、４駒おきの撮像出力も基づく輝度値を用いてもよい。このように撮像フレームレートが増加した場合は、適切に間引いた撮像出力を用いることで、図２１と同様の方法でフリッカ判定が可能である。

さらに他の変形例を図２３に示す。図２３においては、３回の積分動作のうちの１回目と３回目の積分時間をＴとし、２回目の積分時間をｔとする。この場合、積分１回目と積分３回目を同じ積分時間の撮像出力として輝度値を比較し、積分１回目と２回目の撮像出力を、積分時間の異なる撮像出力として輝度値を比較することにより、同様の効果を得ることができる。このように、同じ積分時間と、異なる積分時間の順序は特に限定されるものではない。

次に、第３実施例について説明する。

第１、２実施例では、図６に示す測光領域４０１の撮像出力より求められる輝度値の差に基づきフリッカ判定処理を行っているのに対して、第３実施例では複数の撮像出力に基づいて動きベクトルを求め、さらに動きベクトルに基づいてフリッカ判定処理を行う点が異なる。

画像処理ＩＣ１０２の内部には、不図示の動きベクトル算出部が設けられている。動きベクトル算出部は、撮像素子１１１より撮像素子駆動ＩＣ１１０を介して出力される複数の駒（フレーム）の撮像出力に基づいて動きベクトルを算出する。

図２４で示されるように、撮影画面４００に対して被写体Ａの移動が２つの駒で発生した場合、図２５に示すように、移動前の駒の撮像出力に位置する被写体上の特定の点が、移動後の駒の撮像出力のどこに位置するかを、２つの駒の撮像出力に関するパターンマッチング等の手法を用いて動いた方向を検出する技術が知られている。

第３実施例は、上記公知の技術を利用するとともに、積分時間を変更して撮像動作を行うことにより、ライブビュー表示に発生する縞の濃さや太さが変わることを利用してフリッカを検出するものである。

（フリッカ周期×整数倍）の撮像出力周期である場合、同じ積分時間の場合は前述のように、ライブビュー表示に現れるフリッカによる縞は、複数の駒にわたって移動することなく、一定の位置を保持して表示される。この時の動きベクトル算出部により算出される動きベクトルの例を図２６に示す。図２６に示すように被写体に関する動きベクトル４１０のみが発生し、フリッカによる縞の動きベクトルは発生しない。

一方、同じ条件下で異なる積分時間の場合にはフリッカによる縞が変化するので、図２７に示すように、縞の変化に応じた撮影画面４００の横方向に並んで発生する動きベクトル４１１も動きベクトル算出部により算出される。Ｂμｃｏｍ１０１は、画像処理ＩＣ１０２の動きベクトル算出部より、フレームごとに算出された動きベクトル情報を受信し、図２６と図２７の動きベクトルの違いを検出することにより、フリッカの有無を判定することができる。

次に変形例について説明する。

撮像出力は、ＲＧＢの色情報を持っていることから、ＲＧＢの割合の変化を見ても良い。蛍光灯の明滅時、色の変動が発生するので、ライブビューに表示される縞は、蛍光灯によっては赤色が目立つ縞となることがある。そのため積分時間が長い場合の撮像出力により図２８に示す撮影画面上にフリッカの縞４０５Ａが存在した場合、積分時間をより短くした場合の撮像出力により図２９に示す撮影画面上のフリッカの縞４０５Ｂとなり、より赤さが強くなるという変化が生じる。

例えば、図６に示す領域が、輝度情報ではなく、ＲＧＢそれぞれの積分値を分けてデータとして持たせることで、９個の領域ごとに、積分時間が同じ２つの駒の色の変動量と、積分時間が異なる駒の色の変動量を比較する、というように比較する変動量を置き換えてもよい。いずれも積分時間が同じ撮像出力の比較と積分時間が異なる撮像出力の比較の両方用いて判断するものであり同様な効果が得られる。

以上説明したように、本実施の形態によれば、フリッカ周期とフレームレートが同期する場合、もしくは完全には同期していないが、フレームレートがフリッカ周期と同期する周波数に近い場合に、電子シャッタ速を変更した撮像出力を比較する手法を用いたフリッカ検出を用いても、ユーザの構図確認用として液晶モニタ１４０に表示するライブビューの動画の画質を落とすことなく、適切にフリッカ検出することが可能となる。

すなわち、本実施の形態によれば、フレームレートとフリッカ光源の周波数が同期する場合でも、ライブビューの表示画質を低下させることなく、フリッカ検出を行うことができる。

なお、本発明は、上述の実施の形態に例示した構成に限らず、その趣旨を逸脱しない範囲で種々変更可能であることは言うまでもない。

１００ ボディユニット
１０１ Ｂμｃｏｍ
１０１ａ 制御プログラム
１０２ 画像処理ＩＣ
１０４ 半導体メモリ
１０４ａ 制御テーブル
１１０ 撮像素子駆動ＩＣ
１１１ 撮像素子
１２０ シャッタユニット
１２１ シャッタ制御駆動回路
１３０ 通信コネクタ
１３１ 記録メディア
１４０ 液晶モニタ
１５０ カメラ操作スイッチ（ＳＷ）
１６０ 通信コネクタ
２００ レンズユニット
２０１ Ｌμｃｏｍ
２０２ 絞り駆動機構
２０３ 絞り
２０４ レンズ駆動機構
２１０ａ 撮影レンズ
２１０ｂ 撮影レンズ
４００ フレーム（撮影画面）
４０１ 測光領域
ＶＤ 垂直同期信号
ｔｄ フリッカ検出周期

Claims (8)

1. ローリングシャッタ方式の電子シャッタ機能を有する撮像素子と、
   被写体からの光を前記撮像素子に導く光学手段と、
   前記撮像素子に所定の周期で撮像動作を行なわせ、前記撮像素子の積分時間を制御する撮像制御手段と、
   前記撮像素子の撮像出力に基づいてフリッカ成分を検出するフリッカ検出手段と、
   を有し、
   前記フリッカ検出手段は、
   前記電子シャッタ機能の走査方向に沿って前記撮像素子の撮像領域に複数の検出領域を設け、同一の検出領域にて異なるフレームで同一の積分時間で積分して取得した複数の撮像出力の同一の検出領域に関する輝度差である第１の変動量と、
   同一の検出領域にて異なるフレームで異なる積分時間で積分して取得した複数の撮像出力の同一の検出領域に関する輝度の差である第２の変動量を算出し、
   前記複数の検出領域に対応する前記第２の変動量のうちの最大値と最小値の差と、前記複数の検出領域に対応する前記第１の変動量のうちの最大値と最小値の差の比に基づいてフリッカ成分が含まれているか否かを検出することを特徴とする撮像装置。
2. 前記複数の検出領域の前記第２の変動量のうちの最大値と最小値の差と、前記第１の変動量のうちの最大値と最小値の差の比が所定値を超える場合はフリッカ成分が含まれると検出することを特徴とする請求項１に記載の撮像装置。
3. 前記フリッカ検出手段は、前記第２の変動量がなくなる複数の時刻の時間間隔に基づいてフリッカ成分の周期を算出することを特徴とする請求項２に記載の撮像装置。
4. 前記フリッカ検出手段は、前記走査方向の垂直方向に前記複数の検出領域を複数配列し、配列された複数の検出領域のそれぞれに関する第２の輝度差がなくなる複数の時刻の時間間間隔に基づいてフリッカ成分の周期を算出することを特徴とする請求項３に記載の撮像装置。
5. 前記異なる積分時間は、積分時間の比が０．７５以下または１．２５以上であることを特徴とする請求項１に記載の撮像装置。
6. 前記同一の積分時間は、積分時間の比が０．７５から１．２５の間であることを特徴とする請求項１に記載の撮像装置。
7. 前記撮像制御手段は、前記撮像素子による異なる積分時間で複数の撮像出力を取得する際に、前記積分時間が異なることによる前記撮像素子の露出量の変化量を補うように、前記撮像素子の感度を調節することを特徴とする請求項１に記載の撮像装置。
8. 前記撮像制御手段は、前記撮像素子により同一の積分時間で連続して撮像動作を行った後に異なる積分時間で撮像動作を実行させることを特徴とする請求項１に記載の撮像装置。

Images