JP2009130845A - フリッカ補正装置、フリッカ補正方法並びに撮像装置 - Google Patents

Abstract

【課題】 明るさが周期的に変化する光源下で撮影された画像中に含まれるフリッカ成分を簡便な構成により、かつ被写体や撮像装置の動きがあっても精度良く補正するフリッカ補正装置を提供する。
【解決手段】 画像の垂直方向及び水平方向に設定した複数のフリッカ検出枠のうち、含まれる画像信号の輝度及び色に関する値が予め定めた範囲内であるフリッカ検出枠を抽出する。そして、抽出されたフリッカ検出枠の中から、フリッカ成分の検出に用いるフリッカ検出枠を選択する。選択したフリッカ検出枠内の画像信号の輝度情報を用いてフリッカ成分を検出し、検出したフリッカ成分から、当該フリッカ成分を補正するための補正値を生成する。
【選択図】 図３

Description

本発明はフリッカ補正装置及びフリッカ補正方法に関し、特には、明るさが周期的に変化する光源下で撮影された画像中に含まれるフリッカ成分を補正するフリッカ補正装置及びフリッカ補正方法に関する。

従来、ＣＭＯＳイメージセンサに代表されるＸＹアドレス方式の固体撮像素子を用いた撮像装置が実現されている。このような撮像装置を用い、蛍光灯やタングステン電球など、電源周波数に対応して明るさが変動する照明下で撮影を行う場合、撮像画像に垂直方向に周期的な明暗が現れることがある。この現象はフリッカと呼ばれ、商用電源周波数と撮像装置の垂直同期周波数との違いによるものである。

このようなフリッカを抑制するため、例えば電源周波数が５０Ｈｚの場合、シャッタ速度を１／１００秒に固定することで、露光量が各ライン、各フレームで均一になるように制御する方法が知られている。しかしながら、この方法では、シャッタ速度が固定されるため、露出制御の自由度が低下するという問題がある。

また、特許文献１には、イメージセンサとは別に設けた測光素子を用いて蛍光灯のフリッカ波形を測定し、撮像素子から出力された映像信号の利得をフリッカ波形によって制御することで、フリッカを抑圧する撮像装置が開示されている。

特許文献２には、画像を垂直走査線方向に分割して複数のフリッカ検波枠を設定し、検波枠ごとの輝度を検波し、検波枠ごとに前後の二つのフレームの輝度データの差分を取ることによって、フリッカ成分を抽出、補正する撮像信号処理装置が開示されている。

特開２０００−２３０４０号公報 特許第３８２３３１４号公報

しかしながら、特許文献１記載の撮像装置においては、ＣＭＯＳイメージセンサの他にフリッカ検出用の測光素子を設ける必要がある。また、特許文献２記載のフリッカ検出方法では、被写体あるいはカメラに動きがあると、撮影画像の動き成分とフリッカ成分の判別が困難となり、フリッカ検出精度、ひいてはフリッカ補正精度が低下する。

本発明はこのような従来技術の問題点に鑑みてなされたものである。従って、本発明の目的は、明るさが周期的に変化する光源下で撮影された画像中に含まれるフリッカ成分を簡便な構成により、かつ被写体や撮像装置の動きがあっても精度良く補正するフリッカ補正装置及びフリッカ補正方法を提供することにある。

上述の目的は、撮像素子により得られた画像信号のフリッカ成分を補正するフリッカ補正装置であって、１画面分の画像信号に対し、垂直方向及び水平方向に複数のフリッカ検出枠を設定する設定手段と、複数のフリッカ検出枠のうち、含まれる画像信号の輝度及び色に関する値が予め定めた範囲内であるフリッカ検出枠を抽出する抽出手段と、抽出手段によって抽出されたフリッカ検出枠の中から、フリッカ成分の検出に用いるフリッカ検出枠を選択する選択手段と、選択手段が選択したフリッカ検出枠内の画像信号の輝度情報を用いてフリッカ成分を検出する検出手段と、検出手段が検出したフリッカ成分から、当フリッカ成分を補正するための補正値を生成する生成手段と、生成手段が生成した補正値を１画面分の画像信号に対して適用し、フリッカ成分の補正を行う補正手段とを有することを特徴とするフリッカ補正装置によって達成される。

また、上述の目的は、撮像素子と、撮像素子に被写体像を結像するレンズと、撮像素子から画像信号を読み出し、読み出した画像信号に信号処理を行う信号処理手段と、信号処理手段の出力する画像信号のフリッカ成分を補正する本発明のフリッカ補正装置とを有することを特徴とする撮像装置によっても達成される。

また、上述の目的は、撮像素子により得られた画像信号のフリッカ成分を補正するフリッカ補正方法であって、１画面分の画像信号に対し、垂直方向及び水平方向に複数のフリッカ検出枠を設定する設定ステップと、複数のフリッカ検出枠のうち、含まれる画像信号の輝度及び色に関する値が予め定めた範囲内であるフリッカ検出枠を抽出する抽出ステップと、抽出手段によって抽出されたフリッカ検出枠の中から、フリッカ成分の検出に用いるフリッカ検出枠を選択する選択ステップと、選択手段が選択したフリッカ検出枠内の画像信号の輝度情報を用いてフリッカ成分を検出する検出ステップと、検出手段が検出したフリッカ成分から、当フリッカ成分を補正するための補正値を生成する生成ステップと、生成手段が生成した補正値を１画面分の画像信号に対して適用し、フリッカ成分の補正を行う補正ステップとを有することを特徴とするフリッカ補正方法によっても達成される。

このような構成により、本発明によれば、フリッカ成分を簡便な構成により、かつ被写体やカメラの動きがあっても精度良く補正することができる。

以下、添付図面を参照して、本発明の好適かつ例示的な実施形態について詳細に説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係るフリッカ補正装置の一例としての撮像装置の構成例を示す図である。

１０１はレンズであり、レンズ１０１の後方には絞り１０２が配置されている。レンズ１０１、絞り１０２を介して入射した光は、イメージセンサ１０５の結像面上に被写体像として結像される。イメージセンサ１０５は、ＸＹアドレス方式の撮像素子、例えばＣＭＯＳイメージセンサであり、結像された被写体像を、画素単位の画像信号に変換する。

前置信号処理部１１９は、イメージセンサ１０５が変換した画像信号に対し、欠陥画素補正やＡ／Ｄ変換、色補間処理などの前置信号処理を行い、画像データ（ＣＣＤ−ＲＡＷデータ。以下、単にＲＡＷデータという）を生成する。
フリッカ検出部１０７は、前置信号処理部１１９が出力するＲＡＷデータが、フリッカ成分を含むかどうかを検出する。ＲＡＷデータがフリッカ成分を含んでいる場合、ＲＡＷデータに対し、フリッカ検出部１０７によって得られた検出データに基づくフリッカ補正処理をフリッカ補正部１０８で適用する。フリッカ検出部１０７およびフリッカ補正部１０８における、フリッカ検出、フリッカ補正処理については、後で詳しく述べる。

フリッカ検出部１０７において、フリッカ成分が含まれないと検出されたＲＡＷデータについては、フリッカ補正部１０８ではフリッカ補正処理を適用せずに出力する。
フリッカ補正部１０８の出力するＲＡＷデータには、画像処理部１１２において、ホワイトバランス処理、輪郭強調処理、ガンマ補正処理など、いわゆる現像処理に相当する画像処理が適用され、画像データに変換される。画像処理部１１２はまた、符号化処理など、出力装置に応じた所定の処理を画像データに適用する。そして、画像処理部１１２の出力する画像データは、ディスプレイ１１６に表示されるか、磁気テープ１１５、光ディスク１１７、あるいはメモリカード１１８に記録される。

カメラ制御部１１１は、例えばマイクロコンピュータであり、例えば図示しない内部メモリに記憶された制御プログラムを実行することにより、撮像装置の各部を制御し、撮像装置の各種動作を実現する。

カメラ制御部１１１は、センサ駆動部１０６を通じて、イメージセンサ１０５における電荷蓄積、読み出しなどの制御を行う。また、カメラ制御部１１１は、レンズ制御部１０３を通じて、レンズ１０１のフォーカス、ズームなどの制御を行う。

また、カメラ制御部１１１は、イメージセンサ１０５から得られる画像データから求められる被写体の輝度情報を用い、絞り制御部１０４を通じた絞り１０２の制御と、図示しないシャッタの制御とを行うことで、露出制御を行う。

また、カメラ制御部１１１は、レンズ制御部１０３を通じてレンズ１０１の一部のレンズを駆動するか、センサ駆動部１０６を通じてイメージセンサ１０５を駆動することで、手ぶれ補正処理を行う。
さらに、カメラ制御部１１１は、フリッカ検出部１０７やフリッカ補正部１０８を制御し、上述したフリッカ成分の検出やフリッカ成分の補正処理を制御する。

図２は、本実施形態の撮像装置の外観例を示す斜視図である。
１２０は撮像装置の本体である。本体１２０内部には、光ディスク、磁気テープおよびメモリカードなどの記録媒体が内蔵もしくは着脱可能に装着され、撮影した動画像や静止画像を記録媒体に記録したり、記録媒体から再生したりすることができる。１２１はレンズ部である。１２２はマイクであり、撮影時の音声を記録するために備えられている。１２３は電子ビューファインダ（ＥＶＦ）である。

動画撮影用トリガースイッチ１２４はプッシュボタンであり、動画撮影開始および終了を撮像装置に指示するために使用者が操作する。静止画撮影用トリガースイッチ１２５はプッシュボタンであり、静止画撮影開始および終了を撮像装置に指示するために使用者が操作する。

回転式のスイッチからなるモードダイヤル１２６は、撮像装置の動作モードを設定するために操作者が用いる。本実施形態におけるモードダイヤル１２６は、動作モードを、再生モードに設定する“再生”、カメラモードに設定する“カメラ”およびそのいずれでもない“ＯＦＦ”のいずれかを選択できる。

１２７は操作スイッチ群であり、使用者が撮像装置に対し、ホワイトバランス制御モードや露出制御モードを入力するためのキーや、その他のメニュー操作や再生系の操作などを行うためのキーが配置されている。

表示装置１２８は、本体１２０の側面に、開閉自在に取り付けられたフラットディスプレイパネルであり、ＥＶＦ１２３と同様、カメラモード時には被写体像の確認、再生モード時には再生画像の表示に主に使用される。表示装置１２８は、本体１２０から開いている状態で、本体１２０から垂直方向に延びる軸周りにも回転可能である。
１２９はスピーカであり、動画像の再生時に音声を出力するために設けられている。１３０はバッテリであり、本体１２０と着脱可能である。

（フリッカ検出およびフリッカ補正処理）
次に、本実施形態において、フリッカ検出部１０７およびフリッカ補正部１０８が行うフリッカ検出処理およびフリッカ補正処理について、図３のフローチャートを参照しながら説明する。

図３は、本実施形態の撮像装置におけるフリッカ検出・補正処理の手順を示すフローチャートである。
まず、フリッカ検出部１０７は、信号処理部１１９が生成する１画面分のＲＡＷデータを水平、垂直方向にそれぞれ複数に分割し、フリッカ検出枠を設定する。そして、フリッカ検出部１０７は、設定したフリッカ検出枠ごとに、画像データの輝度成分および色成分の検波を行う（Ｓ１０３）。

図４は、ＣＭＯＳイメージセンサなどのＸＹアドレス方式のイメージセンサを用いた撮像装置において、蛍光灯下で撮影した画像中に生じる横縞状のフリッカ模式的に示す図である。
フリッカ成分が画像データ中に含まれる場合、被写体の輝度値が、画面内の場所によらず均一な場合であっても、垂直方向に見た輝度値は一定にはならず、１４０に示すような横縞状の輝度ムラが生じる。

図５は、フリッカ検出部１０７が設定するフリッカ検出枠の例を示す図である。図５に示す例では、１画面に縦１８列×横１０行のフリッカ検出枠を設定している。なお、フリッカ検出枠は必ずしも全画面に渡って設定しなくてもよい。
１画面のＲＡＷデータを水平、垂直方向に複数に分割し、複数のフリッカ検出枠１４２を設定し、各フリッカ検出枠において輝度および色に関する値を求める。本実施形態では、輝度及び色に関する値の一例としてフリッカ検出枠に含まれる画素の平均輝度値及び平均色差値を求める。これは、信号処理部１１９が生成するＲＡＷデータのうち、フリッカ検出枠に含まれる画素のＲ，Ｇ，Ｂの各色成分について平均値を求め、Ｒ，Ｇ，Ｂの平均値から、周知の変換式を用いて輝度値及び色差値を求めることによって実現できる。

次に、フリッカ検出部１０７は、それぞれのフリッカ検出枠について求めた平均輝度値及び平均色差値が、共に、あらかじめ設定された閾値の範囲内であるかどうかを判断し、条件を満たすフリッカ検出枠を抽出する（Ｓ１０５）。ここで、あらかじめ設定する平均輝度値および平均色差値の閾値の範囲は、適正露出時の白色、即ちホワイトバランス調整後の白色に対応する輝度値及び色差値を含み、かつ、明るすぎる（白トビした）領域や、暗すぎる領域が除かれるように設定する。なお、適正露出時の白色に対応する輝度値及び色差値は、過去の画像データ、例えば１画面前の画像データに基づいて画像処理部１１２で求めた値を用いることができる。

次に、フリッカ検出部１０７は、Ｓ１０５で抽出された、平均輝度値および平均色差値が共にあらかじめ設定された閾値の範囲内であるすべてのフリッカ検出枠の各々に対し、フリッカ検出に関する信頼度を計算する（Ｓ１０６）。ここで、フリッカ検出に関する信頼度は、フリッカ検出枠内の画像の時間的な変化、検出枠における平均輝度値、平均色差値と適正露出時の白色との差分のうち、一つもしくは、重み付けされた複数を評価値として計算する。

フリッカ検出枠内の画像の時間的変化については、例えば前フレーム及び後フレームの少なくとも１つの画像データをフリッカ検出部１０７内の図示しないメモリに記憶しておき、これらフレーム中の対応するフリッカ検出枠内の画像と比較して求められる。フリッカ検出枠内の画像の時間的変化が少ないほど、カメラ又は被写体の動きが少ないと考えられ、フリッカ検出に関する信頼度は高くなる。また、適正露出時の白色との差分が小さい平均輝度値及び平均色差値を有するフリッカ検出枠ほど、輝度値が適正かつ安定していると考えられるため、フリッカ検出に関する信頼度は高くなる。

つづいて、Ｓ１０７において、フリッカ検出部１０７は、フリッカ検出枠の各行（すなわち、各垂直位置）から、最終的にフリッカ検出を行うために用いるフリッカ検出枠を一つずつ選択する。具体的には、フリッカ検出部１０７は、Ｓ１０５において抽出されたフリッカ検出枠のうち、Ｓ１０６で求めた信頼度が最も高いものを選択する。行を構成するフリッカ検出枠のいずれも所定の信頼度に満たない場合、その行についてはフリッカ検出枠の選択を行わない。

画面中に生じるフリッカは、図４に示すように横縞状であるため、水平方向で少なくとも一つのフリッカ検出枠が選択されれば、該当する垂直位置でのフリッカ成分を検出することができる。
信頼度の高いフリッカ検出枠を選択することで、フリッカ成分の検出精度が向上が期待され、結果としてフリッカ補正値の精度向上と、フリッカ成分の除去精度の向上が期待される。

次に、フリッカ検出部１０７は、各行で一つ選択したフリッカ検出枠の平均輝度値と、処理中のフレームと連続する１つ以上のフレームにおける、対応するフリッカ検出枠内の画像の平均輝度値の平均値（経時平均値）との差を求める。そして、フリッカ検出部１０７は、この差の大きさに基づいて、選択されたフリッカ検出枠内の画像にフリッカ成分が存在するかどうかを判断する（Ｓ１１４）。
ここで、選択したフリッカ検出枠の輝度の経時平均値と、現処理フレームにおける輝度値との差が所定値以上であればフリッカ成分が存在するものとする。

Ｓ１０７で選択されたフリッカ検出枠の全てにおいてフリッカ成分が検出されない場合には、フリッカ補正処理を行わない。
一方、１つ以上のフリッカ検出枠においてフリッカ成分が検出された場合、カメラ制御部１１１は、フリッカ補正値を算出する（Ｓ１１５）。ここで、フリッカ成分は垂直方向における輝度変動であり、水平方向には一定であるから、同一の垂直位置に対しては、水平位置によらず、一定のフリッカ補正値を用いる。フリッカ補正値は、検出されたフリッカ成分を打ち消す値として求める。例えば、フリッカ成分の逆数を垂直方向の画素単位に補正値として求めることができる。

また、フリッカ検出枠が選択されていない行（垂直位置）に対するフリッカ補正値は、その上下行で選択されたフリッカ検出枠に対して算出されたフリッカ補正値から補間して求める。つづいて、カメラ制御部１１１は、算出されたフリッカ補正値をフリッカ補正部１０８に供給し、フリッカ補正部１０８はフリッカ検出部１０７の出力する画像データに対して、フリッカ補正処理を施す（Ｓ１１７）。フリッカ補正部１０８は、フリッカ成分の逆数を乗じる乗算器であって良い。

フリッカ補正部１０８の出力は、画像処理部１１２に供給され、上述のように、表示や記録に必要な信号処理がなされる。
以上の処理を行った後、カメラ制御部１１１は、撮影が継続されているかどうかの判定を行い（Ｓ１１９）、撮影が終了するまで、Ｓ１０３からの処理を繰り返す。撮影の終了が検出されると、カメラ制御部１１１はフリッカ検出及び補正処理を終了する（Ｓ１２０）。

以上説明したように、本実施形態によれば、１画面分の画像に対し、垂直及び水平方向に複数のフリッカ検出枠を設定し、含まれる画素の輝度および色に関する値が予め定めた閾値の範囲内であるフリッカ検出枠の輝度情報を用いてフリッカ成分を検出する。そのため、イメージセンサに特殊なフリッカ検出用のセンサを設けることなく、撮像信号の処理だけでフリッカを検出し、除去することができる。

さらに、画像の動きが少ないフリッカ検出枠や、画像の輝度値が適正かつ安定しているフリッカ検出枠など、信頼度の高いフリッカ検出枠をフリッカ検出に用いることで、フリッカ検出精度をより向上させることができる。そのため、結果としてフリッカ補正値の精度及びフリッカ除去精度を向上させることができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。本実施形態においては、フリッカ検出部１０７およびフリッカ補正部１０８における、フリッカ検出、補正処理以外は第１の実施形態と共通である。

そのため、以下では、本実施形態の撮像装置のフリッカ検出部１０７およびフリッカ補正部１０８における、フリッカ検出、補正処理について、図６のフローチャートを参照しながら説明する。
なお、図６において、第１の実施形態と同じ動作を行うステップについては、図３と同じ参照数字を付し、説明を省略する。

図６と図３との比較から明らかなように、本実施形態では、各垂直位置に対するフリッカ検出枠の選択処理が異なる。
Ｓ１０５において、平均輝度値および平均色差値が閾値範囲内であるフリッカ検出枠の抽出を行った後、Ｓ２０６から、フリッカ検出枠の各行（各垂直位置）において、フリッカ検出に用いるフリッカ検出枠の選択処理を行う。

まず、フリッカ検出部１０７は、ある垂直位置（例えば一番上の行）において、Ｓ１０５で抽出されているフリッカ検出枠が存在するかどうかを判別する。この垂直位置において、抽出されているフリッカ検出枠が一つもない場合、フリッカ検出部１０７は、その行を構成するフリッカ検出枠の平均輝度値を算出し、その垂直位置における輝度値とする（Ｓ２０９）。

一方、該当する垂直位置においてフリッカ検出枠が抽出されている場合、フリッカ検出部１０７は、同一垂直位置（同じ行内）において複数のフリッカ検出枠が抽出されているかどうかを判別する（Ｓ２０８）。

同一垂直位置で抽出されているフリッカ検出枠が一つだけの場合、フリッカ検出部１０７は、抽出されたフリッカ検出枠の輝度値を、該当する垂直位置における輝度値とする（Ｓ２１０）。

一方、同一垂直位置で複数のフリッカ検出枠が抽出されている場合、フリッカ検出部１０７は、それら複数のフリッカ検出枠の輝度値の平均値を算出し、該当する垂直位置における輝度値とする（Ｓ２０７）。

そして、Ｓ２１２で、フリッカ検出部１０７は、全ての垂直位置における輝度値を求める処理が終了したかどうかを判定し、全ての垂直位置について輝度値を求める処理が終わるまでＳ２０６〜Ｓ２１０の処理を繰り返し行う。

全ての垂直位置に対する輝度値が求まったら、Ｓ１１４から、第１の実施形態で説明したようにして、フリッカ成分の検出、補正値の生成及び補正処理を、撮影が終了するまで継続する。

なお、本実施形態では、Ｓ１０５でフリッカ検出枠が一つも抽出されなかった場合、Ｓ２０６において、その行内に含まれる全フリッカ検出枠の平均輝度を該当する垂直位置での輝度値として、フリッカ成分を検出するものとした。しかし、該当する垂直位置の上下の垂直位置での輝度値を補間して該当する垂直位置での輝度値を求めても良い。あるいは、フリッカ検出枠が一つも抽出されていない場合は、該当する垂直位置におけるフリッカ補正を行わないようにしても構わない。

また、本実施形態では、同一垂直位置で複数のフリッカ検出枠が抽出されている場合、Ｓ２０７においてそれらフリッカ検出枠の輝度値の平均値を、該当する垂直位置での輝度値としてフリッカ成分を検出するものとした。しかし、第１の実施形態で説明したように、抽出された複数のフリッカ検出枠に対してフリッカ検出を行う上での信頼度を計算し、輝度値の信頼度に応じた加重平均値を該当する垂直位置での輝度値としてもよい。

以上説明したように、本実施形態によれば、画像を水平、垂直方向に分割して複数のフリッカ検出枠を設定し、平均輝度値および平均色差値があらかじめ設定された閾値の範囲内であるフリッカ検出枠の輝度データを用いてフリッカ成分を検出する。そのため、イメージセンサに特殊なフリッカ検出用のセンサを設けることなく、撮像信号の処理だけでフリッカを検出し、除去することができる。

また、あらかじめ設定された閾値の範囲内の平均輝度値および平均色差値を有するフリッカ検出枠が、同一垂直位置においていくつ抽出されたかに応じて、その垂直位置におけるフリッカ成分の検出に用いる輝度値の算出方法を変更する。そのため、複数のフリッカ検出枠が抽出された垂直位置についてはより精度の良い輝度値が求まるほか、フリッカ検出枠が抽出されなかった垂直位置においても、他の垂直位置の輝度値から補間した値を用いることで、信頼性のある輝度値を得ることができる。

従って、抽出されたフリッカ検出枠の数に応じた適切な輝度値をその垂直位置における輝度値として算出することができ、フリッカ検出精度を向上させることができる。従って、撮影画像中に動きのある領域が多い場合においても、フリッカ補正値の精度並びにフリッカ除去精度の精度も向上させることができる。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。本実施形態においては、フリッカ検出部１０７およびフリッカ補正部１０８における、フリッカ検出、補正処理以外は第１の実施形態と共通である。

そのため、以下では、本実施形態の撮像装置のフリッカ検出部１０７およびフリッカ補正部１０８における、フリッカ検出、補正処理について、図７のフローチャートを参照しながら説明する。
なお、図７において、第１の実施形態と同じ動作を行うステップについては、図３と同じ参照数字を付し、説明を省略する。

Ｓ３０３において、フリッカ検出部１０７は、第１の実施形態と同様に、信号処理部１１９が出力する１画面分のＲＡＷデータに対してフリッカ検出枠を設定する。そして、フリッカ検出枠の輝度値として、枠内の全画素ではなく、輝度値および色差値が共に、あらかじめ設定された閾値の範囲内である画素の平均輝度値を算出する。ここでの閾値は、第１の実施形態と同様であって良い。

次に、フリッカ検出部１０７は、すべてのフリッカ検出枠において、フリッカ検出を行う上での信頼度を計算する（Ｓ３０６）。ここでの信頼度は、フリッカ検出枠内の画像の時間的な変化、フリッカ検出枠における輝度値の白色点との差分、閾値の範囲内である画素の数、のうち、一つ、もしくは複数に重み付けした評価値を用いて、計算することができる。

次に、第１の実施形態と同様にして、フリッカ検出枠の各垂直位置に対して、フリッカ検出を行うために用いるフリッカ検出枠を一つ選択する（Ｓ１０７）。そして、やはり第１の実施形態と同様に、Ｓ１１４から、フリッカ成分の検出、補正値の生成及び補正処理を、撮影が終了するまで継続する。ただし、本実施形態では、フリッカ検出枠の輝度値として、枠内の全画素ではなく、輝度及び色差値があらかじめ設定された閾値の範囲内である画素についての平均輝度値を用いる点が異なる。

なお、本実施形態においては、Ｓ１０７で、各垂直位置に対するフリッカ検出枠を選択する際、同一垂直位置（同一行）にあるフリッカ検出枠の中で、最も信頼度の高いフリッカ検出枠を一つ選択し、その検出枠の輝度値をその垂直位置における輝度値とした。しかし、同一垂直位置の複数のフリッカ検出枠における輝度データの平均値を、その垂直位置における輝度値としても良い。
あるいは、同一垂直位置の全フリッカ検出枠の輝度値を各フリッカ検出枠の信頼度に応じて加重平均した輝度値を、その垂直位置における輝度値としてもよい。

また、信頼度が最も高いフリッカ検出枠の信頼度が所定の信頼度よりも低い場合、該当する垂直位置の全フリッカ検出枠の平均輝度を、その垂直位置における輝度値としてもよい。あるいは、その垂直位置の上下の垂直位置で選択されたフリッカ検出枠の輝度値を補間して求めた輝度値を、その垂直位置での輝度値としても良い。あるいは、信頼度が最も高いフリッカ検出枠の信頼度が所定の信頼度よりも低い垂直位置については、フリッカ補正を行わないようにしても構わない。

以上説明したように、本実施形態では、本実施形態によれば、画像を水平、垂直方向に分割して複数のフリッカ検出枠を設定し、輝度値および色差値があらかじめ設定された閾値の範囲内である画素の輝度値を用いてフリッカ成分を検出する。そのため、イメージセンサに特殊なフリッカ検出用のセンサを設けることなく、撮像信号の処理だけでフリッカを検出し、除去することができる。また、フリッカ検出枠内の全画素でなく、輝度値及び色差値が共に、あらかじめ設定された閾値の範囲内である画素のみを用いて、フリッカ検出枠の輝度値を求める。そのため、フリッカ検出枠内で変化の大きい画素を排除することができ、フリッカ補正を精度よく行うことができる。

（他の実施形態）
なお、上述の実施形態においては、フリッカ検出枠又は画素の色データの一例として色差値を用いた例を説明したが、ＲＧＢ値など、他の形式の値であっても良いことは言うまでもない。

また、上述の実施形態においては、フリッカ補正装置の一例としての撮像装置を説明したが、フリッカ検出及び補正処理においては、撮像機能や記録機能が必須でないことが容易に理解されよう。

従って、図１に示した構成のうち、フリッカ検出部１０７、フリッカ補正部１０８及びカメラ制御部１１１以外の構成は、本発明において必須な構成ではない。

本発明の実施形態に係るフリッカ補正装置の一例としての撮像装置の構成例を示す図である。 本発明の実施形態に係る撮像装置の外観例を示す斜視図である。 本発明の第１の実施形態の撮像装置におけるフリッカ検出・補正処理の手順を示すフローチャートである。 ＸＹアドレス方式のイメージセンサを用いた撮像装置において、蛍光灯下で撮影した画像中に生じる横縞状のフリッカ模式的に示す図である。 本発明の実施形態の撮像装置におけるフリッカ検出部が設定するフリッカ検出枠の例を示す図である。 本発明の第２の実施形態の撮像装置におけるフリッカ検出・補正処理の手順を示すフローチャートである。 本発明の第３の実施形態の撮像装置におけるフリッカ検出・補正処理の手順を示すフローチャートである。

Claims (9)

1. 撮像素子により得られた画像信号のフリッカ成分を補正するフリッカ補正装置であって、
   １画面分の前記画像信号に対し、垂直方向及び水平方向に複数のフリッカ検出枠を設定する設定手段と、
   前記複数のフリッカ検出枠のうち、含まれる画像信号の輝度及び色に関する値が予め定めた範囲内であるフリッカ検出枠を抽出する抽出手段と、
   前記抽出手段によって抽出されたフリッカ検出枠の中から、フリッカ成分の検出に用いるフリッカ検出枠を選択する選択手段と、
   前記選択手段が選択したフリッカ検出枠内の画像信号の輝度情報を用いてフリッカ成分を検出する検出手段と、
   前記検出手段が検出したフリッカ成分から、当該フリッカ成分を補正するための補正値を生成する生成手段と、
   前記生成手段が生成した補正値を前記１画面分の画像信号に対して適用し、フリッカ成分の補正を行う補正手段とを有することを特徴とするフリッカ補正装置。
2. 前記予め定めた範囲が、前記１画面分の前記画像信号より前に前記撮像素子により得られた画像信号に基づいて求められた適正露出時の前記輝度及び色に関する値を含む範囲であることを特徴とする請求項１記載のフリッカ補正装置。
3. 前記抽出手段によって抽出されたフリッカ検出枠の各々について、フリッカ検出に関する信頼度を算出する算出手段をさらに有し、
   前記選択手段が、前記算出手段が算出した信頼度が所定の信頼度を満たすフリッカ検出枠を選択することを特徴とする請求項１又は請求項２記載のフリッカ補正装置。
4. 前記選択手段が、前記抽出手段によって抽出されたフリッカ検出枠から、前記垂直方向のフリッカ検出枠の位置ごとに、前記信頼度の最も高いフリッカ検出枠を選択することを特徴とする請求項３記載のフリッカ補正装置。
5. 前記検出手段が、前記垂直方向のフリッカ検出枠の同一の位置に、前記選択手段が選択したフリッカ検出枠が複数ある場合、これら複数のフリッカ検出枠の輝度情報から求めた輝度情報を用いてフリッカ成分を検出することを特徴とする請求項１乃至請求項３のいずれか１項に記載のフリッカ補正装置。
6. 前記検出手段が、前記垂直方向のフリッカ検出枠の位置のうち、前記選択手段が選択したフリッカ検出枠が存在しない位置についてのフリッカ成分を検出するための輝度情報として、前記選択手段が選択したフリッカ検出枠が存在しない位置の上下の位置において前記選択手段が選択したフリッカ検出枠の輝度情報から求めた輝度情報を用いてフリッカ成分を検出することを特徴とする請求項１乃至請求項３のいずれか１項に記載のフリッカ補正装置。
7. 前記検出手段が、前記選択手段が選択したフリッカ検出枠に含まれる画像信号のうち、前記輝度及び色に関する値が前記予め定めた範囲内の画像信号の輝度情報を用いてフリッカ成分を検出することを特徴とする請求項１乃至請求項４のいずれか１項に記載のフリッカ補正装置。
8. 撮像素子と、
   前記撮像素子に被写体像を結像するレンズと、
   前記撮像素子から画像信号を読み出し、読み出した画像信号に信号処理を行う信号処理手段と、
   前記信号処理手段の出力する画像信号のフリッカ成分を補正する請求項１乃至請求項７のいずれか１項に記載のフリッカ補正装置とを有することを特徴とする撮像装置。
9. 撮像素子により得られた画像信号のフリッカ成分を補正するフリッカ補正方法であって、
   １画面分の前記画像信号に対し、垂直方向及び水平方向に複数のフリッカ検出枠を設定する設定ステップと、
   前記複数のフリッカ検出枠のうち、含まれる画像信号の輝度及び色に関する値が予め定めた範囲内であるフリッカ検出枠を抽出する抽出ステップと、
   前記抽出ステップによって抽出されたフリッカ検出枠の中から、フリッカ成分の検出に用いるフリッカ検出枠を選択する選択ステップと、
   前記選択ステップが選択したフリッカ検出枠内の画像信号の輝度情報を用いてフリッカ成分を検出する検出ステップと、
   前記検出ステップが検出したフリッカ成分から、当該フリッカ成分を補正するための補正値を生成する生成ステップと、
   前記生成ステップが生成した補正値を前記１画面分の画像信号に対して適用し、フリッカ成分の補正を行う補正ステップとを有することを特徴とするフリッカ補正方法。

Images