JP2008113237A - 撮像装置におけるフリッカ検出方法と装置 - Google Patents

Abstract

【課題】ＣＭＯＳのようにマトリクス状に配列された各画素への電荷の蓄積及びフレームの読み出しを画素行単位の走査で行う撮像素子を有する撮像装置を用い、どのような撮影条件下においても検出したフリッカ周波数が正しいか否かを判定できるようにし、正確なフリッカ補正ができるようにした、撮像装置におけるフリッカ検出方法と装置を提供することが課題である。
【解決手段】フリッカ補正処理を実施中に新たなフリッカ検出処理を実施し、この新たなフリッカ検出処理によってフリッカが検出された場合、この新たなフリッカ検出処理実施前のフリッカ検出処理時に検出したフリッカ周波数を誤検出と判定し、該誤検出と判定した周波数を変更して前記フリッカ補正処理を続けるようにした。
【選択図】図２

Description

本発明は、撮像装置におけるフリッカ検出方法と装置に関わり、特に、個々の撮像素子における画像データとしての電荷の蓄積と読み出しを画素行単位の走査で行う撮像装置を有し、例えば蛍光灯のように、電源周波数に起因して明るさが変化する光源で照明した被写体を撮像したときに画像に生じるフリッカを検出してフリッカ補正を行うと共に、フリッカ検出結果が正しいか否か判定して正しいフリッカ補正を出来るようにした、撮像装置におけるフリッカ検出方法と装置に関するものである。

ビデオカメラやデジタルカメラの撮像装置を構成する撮像素子には、従来から、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｅｒ）が用いられている。このうちＣＭＯＳを用いた撮像素子は、ＣＣＤを用いた撮像素子に較べてＬＳＩと同様の製造プロセスが使用できるために量産性に優れ、増幅器を始め様々な機能を画素毎に設けることも可能で、回路全体のサイズを小さくできると共にコスト的にも有利になる。また、電源が低電圧の単一電源で済み、ＣＣＤでは問題となるスミアが無視できるほど小さい上に、データの読み出しが高速に行える等の利点がある。

しかしながらＣＭＯＳを用いた撮像素子は、ノイズが多いということと、マトリクス状に配列された各画素を構成する撮像素子からの撮像データを、ＣＣＤとは異なって画素行単位の走査で取り出すため、撮像に際し、電荷露光を行うタイミングがライン毎に異なると共に画像データを時系列に読み出すことになり、走査線ごとに走査に要する時間だけ蓄積時間がずれてしまう、という欠点がある。この欠点のため、ＣＭＯＳを用いた撮像装置では、高速で動いている被写体を撮像した場合に走査方向に曲がった画像が出力されたり、被写体の照明に、例えば蛍光灯のように電源周波数に起因して明るさが変化する光源を用いた場合、図７に誇張して示したようにフリッカと呼ばれる画像に明暗のある縞模様が発生する。

このフリッカは、電源周波数によって蛍光灯が１秒間に１００回（５０Ｈｚの場合）、あるいは１２０回（６０Ｈｚの場合）点滅を繰り返すことにより生じるもので、例えば撮像装置のフレームレートを１５回／秒とすると、１フレーム中にこの点滅が５０Ｈｚの場合で約６．７回、６０Ｈｚの場合は８回起こることになり、各撮像素子における電荷蓄積時間がこの光源の点滅周期の整数倍でない場合、図７に示したような縞模様が画像に発生するわけである。

それに対してＣＣＤでは、光の照射によって同一時刻に蓄積した電荷をそのままの状態で転送機能を用いて増幅器に運ぶため、データ全体の読み出しはＣＭＯＳに較べて遅くなるが画面内に明暗のムラが生じるといったことはなく、また、ＣＣＤ自体の感度がＣＭＯＳに対して高い上にノイズも少ない。

しかしながら、例えば一眼レフ型のデジタルカメラなどにおいてはセンサのサイズを大きくできるため、感度やノイズの改善が容易である。さらにＣＭＯＳを用いた撮像素子は、その高速性によって一眼レフ型のデジタルカメラ等に要求される連写機能を容易に実現することができ、前記したＣＭＯＳを用いた撮像素子の利点と相俟って、最近の一眼レフ型デジタルカメラではこのＣＭＯＳを用いた撮像素子を備えたものが多くなっている。また、前記したフリッカの問題についても、シャッタ時間、すなわちＣＭＯＳにおける個々の撮像素子の電荷蓄積時間を明暗の生じる間隔、すなわち電源周波数による光源の点滅周期の倍数とすることで防ぐことができる。

しかしながら前記したように、フリッカによる縞模様を無くすか目立たないようにするためには、電源周波数に起因する光源の点滅周期を正確に検出する必要がある。こういった技術に関しては例えば特許文献１に、フォトダイオードと１００Ｈｚの帯域通過フィルタ、及び全波整流回路とコンパレータとが直列になった回路と、同じフォトダイオードに１２０Ｈｚの帯域通過フィルタ、及び全波整流回路とコンパレータとが直列になった回路とを用意し、蛍光灯の点滅周期を検知してフリッカを防止するようにした回路が示されている。

また特許文献２には、動画と静止画の両方を撮像できるようにしたＣＣＤを用いた撮像装置において、マイコンを備えたフリッカ検出部に撮像信号を入力し、周期的に変動しているかどうかを見てフリッカが生じているどうかを判定する方法（段落００７７参照）や、照明光の周期的変化を検出するセンサを別に設け、そのセンサからの信号をマイコンに取り込んでフリッカが発生するか否かを判別すること（段落００８２参照）が示されている。

さらに特許文献３には、被写体の動きなどにより映像信号の輝度レベルに変動があった場合でも正確にフリッカを検出するため、映像信号の画素レベルを１ライン毎に積算する積算手段１と、複数フレームまたはフィールドにおける同一の画像位置のラインに対し、積算手段１の出力を平均化する平均化手段３と、積算手段１の出力を用いて画像の静止部分を抽出する静止部分抽出手段４と、静止部分抽出手段４で抽出された静止部分に対し、積算手段１の１ライン毎の積算結果を平均化手段３の１ライン毎の平均化結果で除算する除算手段５と、除算手段５の除算結果を周波数分析してフリッカの有無を判定するフリッカ判定手段６とを備えた、フリッカ検出・補正方法が示されている。

また、特許文献４には、画像を垂直走査方向に分割して複数のフリッカ検波枠を設定すると共に、各フリッカ検波枠毎に輝度データの検波を行ない、さらに各フリッカ検波枠毎に前後の２つのフレームの輝度データとの差分をとってフリッカ成分を抽出することで、フリッカの周波数を算出する方法が示されている。なお、この特許文献４に示されたフリッカ検出方法では、前後のフレームの差分をとった場合にフリッカ成分が消えないよう、撮像信号のフレームレートとフリッカ周波数とを同期させないように調整している。

特開昭６４−８１５８０号公報 特開平９−５１４８１号公報 特開２００１−１１９７０８号公報 特開２００３−１８９１２９号公報

しかしながら、特許文献１示されたフリッカ回路では、フリッカ検出だけのためにフォトダイオードと１００Ｈｚ、１２０Ｈｚの帯域通過フィルタ、及び全波整流回路とコンパレータ等を用意せねばならず、回路が複雑化すると共に不経済である。また特許文献２に示された撮像装置はＣＣＤを使った撮像装置であり、ＣＣＤの場合はＣＭＯＳの場合と異なり、フリッカによって図７に示したような縞模様は現れないから、ここに示された技術をそのまま使うことはできない。

一方、特許文献３や特許文献４に示された方法は、現在のフレーム画像と前フレームの画像との差分をとり、フリッカ成分を抽出した後にバンドパスフィルタ（ＢＰＦ）やフーリエ変換、フリッカ成分の山と谷を数えるなどを行い、フリッカの周波数成分を検出するため、ＣＭＯＳを用いた撮像装置におけるフリッカ周波数検出に有効ではある。

しかしながら、この特許文献３や特許文献４に示された方法でも、例えば動きのある物体が画像データに含まれていたり、手振れなどで前フレームの画像データとの差分が大きかったり、さらに、シャッター速度（露光時間）が長くなってフリッカによる光量変化が小さくなり、検出精度が悪くなったりすると、正しくフリッカ成分を抽出することができず、誤判定を生じることがある。

すなわち、動きのある物体が画像データに含まれていたり、手振れなどで前フレームの画像データとの差分が大きかったりすると、現在のフレーム画像と前フレームの画像の差分を取ったときに画像が動いた分だけ差が大きくなったり小さくなったりし、フリッカによる縞模様が正確に抽出されずに、例えば５０Ｈｚを６０Ｈｚと誤って判定したり、その逆に６０Ｈｚを５０Ｈｚと誤って判定したり、フリッカの有無自体を誤って判定するということが生じる。

そのために特許文献３にあるように、画像の静止部分を抽出する静止部分抽出手段４と、静止部分抽出手段４で抽出された静止部分に対し、積算手段１の１ライン毎の積算結果を平均化手段３の１ライン毎の平均化結果で除算する除算手段５等を設け、それによって検出方法の精度を上げることもできるが、非常に複雑な処理が必要であると共に、手振れのように静止部分が生じない場合には誤判定を完全に無くすことはできない。

そのため本発明においては、ＣＭＯＳのようにマトリクス状に配列された各画素への電荷の蓄積及びフレームの読み出しを画素行単位の走査で行う撮像素子を有する撮像装置を用い、どのような撮影条件下においても検出したフリッカ周波数が正しいか否かを判定できるようにし、正確なフリッカ補正ができるようにした、撮像装置におけるフリッカ検出方法と装置を提供することが課題である。

上記課題を解決するため本発明になる撮像装置におけるフリッカ検出方法は、
点滅する光源下で発生する撮像画像におけるフリッカの有無とフリッカ周波数を検出するフリッカ検出処理を実施し、該検出結果に基づき、フリッカ補正処理を実施する撮像装置におけるフリッカ検出方法であって、
前記フリッカ補正処理を実施中に新たなフリッカ検出処理を実施し、該新たなフリッカ検出処理によってフリッカが検出された場合、前記フリッカ補正処理を前記フリッカ周波数と異なる周波数に対応させることを特徴とする。

また、この方法を実施する撮像装置におけるフリッカ検出装置は、
各画素がマトリクス状に配列され、電荷の蓄積及びフレームの読み出しを画素行単位の走査で行う撮像素子を備えた撮像装置を有し、該撮像装置からの画像データに含まれる点滅する光源下で発生するフリッカの有無と周波数とを検出するフリッカ検出において、時間的に連続する複数フレーム間の蓄積電荷量の差分を取り、フリッカ成分を検出してフリッカ補正処理を実施するフリッカ検出／補正部からなる撮像装置のフリッカ検出装置において、
前記フリッカ検出／補正部は、前記フリッカ補正処理実施状態において新たなフリッカ検出処理を実施し、該新たなフリッカ検出処理実施時にフリッカ発生状態である場合、前記フリッカ補正処理を前記フリッカ周波数と異なる周波数に対応させる機能を有していることを特徴とする。

このように、フリッカ補正処理を実施中に新たなフリッカ検出処理を実施し、それによってフリッカが検出された場合、最初のフリッカ検出処理時に検出したフリッカ周波数は誤りだったことになるから、その場合は単にフリッカ周波数を変更してフリッカ補正を行う、という簡単な処理で、簡単に、正確で正しいフリッカ補正を行わせるようにすることができる。

そして、マトリクス状に配列された各画素への電荷の蓄積及びフレームの読み出しを画素行単位の走査で行う撮像素子を備え、前記フリッカ検出処理は、時間的に連続する複数フレーム間の蓄積電荷量の差分を取って行うことで、光源の点滅によるフリッカを反映したデータが得られ、フリッカを高い精度で検出できる。

また、前記フリッカ検出処理を連続して実施し、検出結果が所定回数変化しなかった場合は前記フリッカ検出処理を停止することで、再度誤った判定をすることなく、正確なフリッカ補正を実施することができる。

さらに、前記フリッカの検出処理を停止した状態において、被写体の明るさが所定量以上変化した場合、前記フリッカ検出処理を再開することで、例えば照明が蛍光灯から白熱灯に変化したり屋外に移ったりした場合、フリッカは生じなくなるからフリッカ補正処理は不要となり、無駄なフリッカ補正をしなくて済む。

さらに、被写体の明るさが予め定められた値を上回った場合は前記フリッカ検出／補正処理を停止することで、例えば明るさ検出手段として撮像装置からの画像データ、若しくは別途設けた測光センサなどを用い、その出力で被写体の明るさ、すなわち照度が一般的な蛍光灯の照度（約３００Ｌｕｘから７００Ｌｕｘ）の場合はフリッカ検出処理を実施し、また、この照度よりも明らかに大きくなったときは、フリッカ補正を実施している場合は停止することで、さらに誤検出を防ぐことができる。

本発明によれば、簡単な構成と方法で、ＣＭＯＳのように各画素への電荷の蓄積及びフレームの読み出しを画素行単位の走査で行う撮像素子を有する撮像装置を用いても、検出したフリッカ周波数を正しいものとすることができ、常に正確なフリッカ補正ができる、撮像装置におけるフリッカ検出方法と装置を提供することができる。

以下、図面を参照して本発明の好適な実施例を例示的に詳しく説明する。但しこの実施例に記載されている構成等は、この発明の範囲をそれに限定する趣旨ではなく、単なる説明例に過ぎない。

図１は、本発明になるフリッカ検出装置を有する撮像装置における一実施形態の概略構成を示すブロック図である。図中１０は、被写体を撮像するための電荷蓄積素子がマトリクス状に配列されて、各画素への電荷の蓄積及びフレームの読み出しを画素行単位の走査で行うＣＭＯＳなどの撮像素子が用いられ、その撮像素子からの出力信号を増幅するゲインアンプや、アナログ画像信号をデジタルの画像信号に変換するＡ／Ｄコンバータなどを有し、撮像した画像の信号を出力する撮像部、１１は画像処理部１２、輝度信号処理部１３、画像メモリ部１４、フリッカ検出／補正部１５などを有するカメラ信号処理部である。

このカメラ信号処理部１１における画像処理部１２では、撮像部１０から送られてくる画像信号に対し、色補間、ノイズ除去、輪郭強調、画像形式変更などの画像処理を行ない、輝度信号処理部１３ではオートフォーカス（ＡＦ）、自動露光（ＡＥ）、ホワイトバランス補正（ＡＷＢ）などに必要な信号処理を行って、処理の済んだ画像データが画像メモリ部１４に保存される。そしてその画像メモリ部１４に保存された画像データから、フリッカ検出／補正部１５でフリッカ成分の抽出、検出、そしてその検出結果が正しいか否かの判定が行なわれ、判定結果によって正しいフリッカ周波数に基づくフリッカ補正が行なわれる。

フリッカ検出／補正部１５では、後記するように、例えば連続する複数フレーム間の蓄積電荷量の差分を取ってフリッカ周波数を判定するため、１フレームの画像信号を垂直方向に複数の枠に分割し、枠毎の平均輝度を算出して連続するフレームにおける対応する枠の平均輝度の差分を取る、平均輝度と差分の算出手段、及び算出結果の記憶装置などを有している。また、フリッカの検出以外に撮像部１０から送られてくる画像信号中の輝度信号を用いたり、別途設けた測光センサなどを用い、被写体の明るさを検出してその明るさ、すなわち照度が一般的な蛍光灯の照度（約３００Ｌｕｘから７００Ｌｕｘ）よりも明らかに大きいと判断されたきは屋外と判断し、フリッカ検出を行われないようにする機能も有している。

本発明になるフリッカ検出／補正部１５を有する撮像装置は、フリッカ検出を行わない通常の状態では、撮像部１０で撮像素子からの画像信号をゲインアンプで増幅した後、このアナログ画像信号をＡ／Ｄコンバータでデジタル画像信号に変換し、カメラ信号処理部１１の画像処理部１２で色補間、ノイズ除去、輪郭強調、画像形式変更などの画像処理を行ない、輝度信号処理部１３でオートフォーカス（ＡＦ）、自動露光（ＡＥ）、ホワイトバランス補正（ＡＷＢ）などに必要な信号処理を行って、処理の済んだ画像データを画像メモリ部１４に保存し、図示していない表示装置に表示したり、図示していないシャッタを開閉して撮像し、これも図示していない外部メモリなどに画像を記録する。

このように構成された撮像装置において、被写体が電源周波数などに起因する光量変化を有する光源で照明されたことで、前記したように被写体の明るさが予め定められた値を下回ってフリッカを生じる可能性があると判断された場合、フリッカの有無、フリッカ周波数の判定が行われる。本発明は、そのフリッカ周波数が正しいか否かを判定するものであるが、本発明の説明に先立ち、通常のフリッカ判定のルーチンを簡単に説明する。

図４は、フリッカ検出／補正部１５におけるフリッカ検出の概略を説明するための図であり、（Ａ）はフリッカ検出を行うときに１フレーム分の画像データを分割した状態を示した図、（Ｂ）は（Ａ）のように分割した各枠内における輝度信号の平均値を示した図、（Ｃ）はフリッカの周波数を検出するためのバンドパスフィルタ（ＢＰＦ）を示した図、図５はＣＭＯＳを用いた撮像素子におけるフリッカ検出に際し、電荷蓄積時間を短くすることで、画像上にフリッカにより生じる縞模様が明確に現れるようにすることを説明するための図である。

まず、図１の撮像部１０から送られ、前記したような処理が加えられて画像メモリ部１４に記憶された１フレーム分の画像データが、フリッカ検出／補正部１５で図４（Ａ）に示したように検出枠［０］、検出枠［１］、……、検出枠［１５］と垂直方向に等分割される。この１フレーム分の画像データの分割数は、それぞれの枠内の走査に要する合計時間が検出対象とすべき光源点滅周期より短くなるようにする。すなわち、例えば撮像部１０のフレームレートを１５回／秒とすると、１フレーム中にこの点滅が５０Ｈｚの場合で約６．７回、６０Ｈｚの場合は８回起こることになるから、最小輝度部と最大輝度部を別々の枠とするためは、少なくとも１６分割以上にする必要がある。枠の分割数はより大きい方が周波数検出精度に対しては有利となるが、演算処理の負荷が増大することになるので、その点を考慮して決める。なお、以下の説明では、一例として１フレーム分の画像データを１６分割した場合を例に説明するが、これは１６分割に限らず、上記した１６分割以上であれば任意の数に分割しても良いことは自明である。

そして次に、撮像部１０を構成するＣＭＯＳを用いた撮像素子の電荷蓄積時間が図５に３３で示したように、フリッカによる明暗が明確に現れるような値に設定され、それによる蓄積電荷量の低下を、撮像部１０が有するアンプのゲインを上げて補う指示が、フリッカ補正に伴う信号として信号線１６を通して撮像部１０に送られる。なお、この図５において３１は垂直同期信号であり、３２は電源周波数による光源の明るさの変化状態を示したもの、３３はそれぞれの黒線がＣＭＯＳを用いた撮像素子の各水平行毎の電荷蓄積時間の長さを示したもの、３４は撮像された画像データによって生じるフリッカによる明暗を表している。

この図５からわかるように、フリッカ検出処理において、撮像部１０を構成するＣＭＯＳを用いた撮像素子の電荷蓄積時間３３を短くする程、各水平素子間の光量積分値の相対比が大きくなる。この場合は、３４で示したようにフリッカによる明るさの変化が顕著に現れたデータが得られるため、フリッカ検出の精度が高くなる。また、電荷蓄積時間３３を短くしたことにより、被写体ブレや手ブレに対しても画像データに対する影響が少なくなり、より効果的にフリッカ検出を行うことができる。

それに反し、図６に示したように撮像部１０を構成するＣＭＯＳを用いた撮像素子の電荷蓄積時間を、光源の明るさの変化周期３２よりも５１のように長くすると、各素子は、被写体におけるフリッカにより変化した明るさを積分して撮像するから、得られる画像データは、被写体を照明する光源の明るさ変化を平均した値が記録されることになり、５２に示したように、フリッカによる画像への影響は比較的小さなものとなる。従って、この場合はフリッカ検出が困難になる。

そして、撮像部１０からカメラ信号処理部１１に送られ、画像メモリ部１４に記憶されたフレーム分の画像データを、図４（Ａ）に示したように検出枠［０］、検出枠［１］、……、検出枠［１５］と垂直方向に等分割し、それぞれの枠内における輝度信号の平均値を図４（Ｂ）に、Ｙ［０］、Ｙ［１］、……、Ｙ［１５］で示したように算出して記憶する。

次にフリッカ検出／補正部１５は、次に画像メモリ部１４に記憶されたフレームを同様に検出枠［０］、検出枠［１］、……、検出枠［１５］に分割すると共に、それぞれの枠内における輝度信号の平均値を図４（Ｂ）に、Ｙ［０］、Ｙ［１］、……、Ｙ［１５］で示したように算出し、さらに、先に記憶した最初のフレームの輝度信号の平均値との差分を算出させる。

この差分算出処理は、画像データに含まれる被写体のデータ分を消去し、フリッカによる明暗の縞模様（フリッカ成分）だけを抽出するためである。またこのとき、フリッカによる明暗だけが残るようにするため、差を取る２つのフレームにおけるフリッカの現れる位置を異ならせおく。そうしないと、フレームレートとフリッカ周波数（蛍光灯の電源周波数）とが同期することにより、フリッカが発生する位置が画面上で固定されてしまうこととなり、差分を取った時にフリッカ成分も消えてしまうからである。

フリッカ周波数と同期してしまうフレームレートは、蛍光灯の電源周波数を正整数で割った値、若しくは正整数倍した値であり、例えば電源周波数が５０Ｈｚの場合、１００フレーム／秒、５０フレーム／秒、２５フレーム／秒、………となり、６０Ｈｚの場合、１２０フレーム／秒、６０フレーム／秒、３０フレーム／秒、………となる。そこで、それを回避するため、フレームレートがこのフリッカ周波数と同期する値より遅くなった値、又は早くなった値となるよう、水平同期周期を長く又は短くとるようにし、フリッカ成分が浮き上がるようにする。

こうしてフリッカ成分が抽出されると、このフリッカ成分を含む図４（Ｂ）にＹ［０］、Ｙ［１］、……、Ｙ［１５］で示した輝度信号平均値を、図４（Ｃ）に示したバンドパスフィルタにおける輝度信号平均値入力端子２１に入力する。バンドパスフィルタ２２、２３は、フリッカの原因となる被写体を照明する光源の点滅周波数を検出するためのもので、光源の明るさは電源周波数の２倍のサイクルで変化するため、２２は１００Ｈｚに対応させ、２３は１２０Ｈｚに対応させて設けられている。

そのため、このバンドパスフィルタ２２、２３からは、入力した輝度信号平均値の周波数に対応した周波数の波が出力されるから、出力端子２４、２５に出た出力により、フリッカの有無、周波数の判定を行う。そして、フリッカが検出されない場合は撮像素子の電荷蓄積時間をフリッカ検出用設定前の値に再設定し、フリッカが有る場合は検出したフリッカ周波数に基づき、撮像部１０におけるＣＭＯＳを用いた撮像素子の電荷蓄積時間（シャッタ時間）を、フリッカ間隔の整数倍とするフリッカ対応蓄積時間に設定するよう、図１におけるフリッカ補正信号１６を撮像部１０に送り、フリッカのない画像が得られるようにする。

なお、このフリッカの有無、周波数の判定は、図４（Ｂ）に示した輝度信号平均値によって行っても良い。すなわち、フリッカは、図４（Ｂ）に示した各枠の輝度信号平均値に差が生じている場合にフリッカがあると判定できるから、１つの枠における輝度をその隣、１つ置いた更に隣、更にその隣……と比較することを全ての枠の輝度信号平均値について行い、明暗の差が一定間隔で生じている場合にフリッカがあると判定し、さらにその間隔により、フリッカ周波数を算出する。つまり前記したように、撮像部のフレームレートを１５回／秒とすると、１フレーム中にこの点滅が５０Ｈｚの場合で約６．７回、６０Ｈｚの場合は８回起こることになるから、分割数を１６とした場合、５０Ｈｚの場合で２つか３つおきに、６０Ｈｚの場合は２つおきに暗部、または明部が来ることになるから、それによって周波数を決定すればよい。

このようにして、フリッカを検出すると共にシャッタ時間を調整することでフリッカのない画像が得られるわけであるが、以上の処理によっても前記したように、動きのある物体が画像データに含まれていたり、手振れなどで前フレームの画像データとの差分が大きかったり、さらに、シャッター速度（露光時間）が長くなってフリッカによる光量変化が小さくなり、検出精度が悪くなったりすると、正しくフリッカ成分を抽出することができず、例えば５０Ｈｚ地域において蛍光灯で照明されている被写体画像から６０Ｈｚのフリッカが生じていると判定したり、逆に、６０Ｈｚ地域において蛍光灯で照明されている被写体画像から５０Ｈｚのフリッカが生じていると判定する、誤判定を生じることがある。そのため本発明においては、図２に示したフロー図に基づくフリッカ検出結果の判定処理を行い、誤検出によってフリッカ周波数を誤判定した場合にその補正ができるようにした。

まず、ステップＳ２０で処理がスタートすると、最初にステップＳ２１でフリッカモードが確定しているか否かが判断される。このフリッカモードの確定状態とは、以下の状態を言う。

すなわち、通常フリッカの検出は、前記したようにフリッカ検出／補正部１５により、撮像部１０から送られてくる画像信号中の輝度信号や別途設けた測光センサなどを用い、被写体の明るさを検出してその明るさ、すなわち照度が、一般的な蛍光灯の照度（約３００Ｌｕｘから７００Ｌｕｘ程度）であると判断されたときに行う（但しこれは一例で、常時行うようにしても良い）。しかし、そのフリッカ検出を行わねばならない照明条件下においても、この図２に示したフロー図に従ってフリッカ検出とその検出結果が正しいか否かの判定処理を複数回（図２のステップＳ２５に示したフリッカ安定連続検出回数ｘだけ）行い、判定処理の結果、フリッカ周波数が連続して複数回正しいと判断された場合、以後のフリッカ検出を照明条件が変化するまで行わず、検出されたフリッカ周波数でフリッカ補正を行い続ける状態を、確定したフリッカモードと称している。

そのため、このステップＳ２１でフリッカモードが確定状態であると判断された場合は、ステップＳ３３に行って処理が終了し、確定していない場合は処理がステップＳ２２に進む。そしてこのステップＳ２２で前記したフリッカ検出処理が行われ、次のステップＳ２３で、フリッカの有り無しが判断され、さらにフリッカがある場合はフリッカ周波数が判断される。フリッカが無しと判断された場合はステップＳ２４に進み、フリッカ検出処理回数カウント値ｎが（ｎ＋１）され、さらにステップＳ２５でこのｎの値がフリッカ安定連続検出回数ｘと等しいか大きくなったかが判定され、Ｙｅｓなら前記したフリッカモード確定となり、Ｎｏの場合はステップＳ３３に進んで終了する。なお、このステップＳ２５からステップＳ３３に進んだ場合、被写体の照度が変化した場合、後記する図３のフロー図によりこの図２のフローに基づく処理を続けるか否かが判断される。

一方、ステップＳ２３でフリッカが検出され、そのフリッカが５０Ｈｚに基づくフリッカと判断された場合は処理がステップＳ２７に、６０Ｈｚと判断された場合は処理がステップＳ２８に進む。そしてどちらの場合もステップＳ２７、またはステップＳ２８において、現在５０Ｈｚ（ステップＳ２７の場合）または６０Ｈｚ（ステップＳ２８の場合）に基づくフリッカの補正中であるかどうかが判断される。

これは、今回以前にフリッカ検出が行われているかどうかを判断するための処理で、前記したステップＳ２２のフリッカ検出処理により、ステップＳ２３でフリッカ有りと判断されたということは、今回初めてフリッカ検出を実施したか、前回検出したフリッカ周波数が間違っていて、フリッカを生じないように補正処理をしたにもかかわらず、フリッカが存在したままになっていることを示している。

従って、ステップＳ２３で例えば５０Ｈｚに基づくフリッカと判断され、ステップＳ２７でさらに５０Ｈｚに基づくフリッカの補正中と判断された場合、過去の５０Ｈｚに基づくフリッカの補正と今回の判断（例えばフリッカ周波数５０Ｈｚという判断）は誤りであるからステップＳ３１に進み、６０Ｈｚに基づくフリッカの補正を実行してステップＳ３２でモードを６０Ｈｚフリッカ補正のモードとする。また、全く同様に、ステップＳ２３で例えば６０Ｈｚに基づくフリッカと判断され、ステップＳ２８でさらに６０Ｈｚに基づくフリッカの補正中と判断された場合、過去の６０Ｈｚに基づくフリッカの補正と今回の判断は誤りであるからステップＳ２９に進み、５０Ｈｚに基づくフリッカの補正を実行してステップＳ３０でモードを５０Ｈｚフリッカ補正のモードとする。

また、ステップＳ２３で例えば５０Ｈｚに基づくフリッカと判断され、ステップＳ２７で現在５０Ｈｚに基づくフリッカの補正中ではない（すなわち６０Ｈｚに基づくフリッカの補正中）と判断された場合、ステップＳ２９に進み、５０Ｈｚに基づくフリッカの補正を実行してステップＳ３０でモードを５０Ｈｚフリッカ補正のモードとする。更に同様に、ステップＳ２３で６０Ｈｚに基づくフリッカと判断され、ステップＳ２８でさらに６０Ｈｚに基づくフリッカの補正中ではない（すなわち５０Ｈｚに基づくフリッカの補正中）と判断された場合、ステップＳ３１に進み、６０Ｈｚに基づくフリッカの補正を実行してステップＳ３２でモードを６０Ｈｚフリッカ補正のモードとする。

このように、前記した何らかの理由によってフリッカ周波数を誤って検出すると、その誤った検出結果によってフリッカ補正するとフリッカは残ったままとなるから、それを検出することで正しいフリッカ補正を行うことができ、撮影した画像にフリッカが生じていた、という問題を解決することができる。

以上が本発明になるフリッカ検出結果の正誤判定方法であるが、前記したようにこの図２に示したフリッカ検出結果の正誤判定は、フリッカが存在すると思われる照明条件下で、また、前記したようにフリッカモード確定まで行われるが、それを判断するのが図３に示したフロー図である。

この図３に示した処理は、基本的に画像取り込み毎に行うが、これは、被写体を照明している光源がフリッカ検出を必要とする光源から必要としない光源へ、また逆にフリッカ検出を必要としない光源から必要とする光源へ変化する可能性があるからであり、また、被写体の明るさを検出してフリッカ検出を実施するか否かを判断するのは、不要なフリッカ検出を実施することで誤検知が行われるのを防止するためである。しかしながら、前記したように、フリッカ検出をこのように被写体の明るさを検出して実施するか否か判断するのではなく、定期的に常時実施するようにしても良い。

まずステップＳ４０で処理がスタートすると、ステップＳ４１で前記図１に１０で示した撮像部が画像を取り込み、画像処理部１２、輝度信号処理部１３で取り込んだ画像に対する処理が行われて画像メモリ部１４に記憶される。そして記憶された画像の輝度（照度）が検出され、ステップＳ４３で測光値が屋外光であることが明白な所定値以下かどうか、または、前記したように被写体照度が、一般的な蛍光灯の照度（約３００Ｌｕｘから７００Ｌｕｘ）程度であるかどうかが判断される。

この判断により、被写体の明るさが所定閾値より大きい場合は処理がステップＳ４４に進み、現在フリッカ補正中か否かが判断され、フリッカ補正中でなければステップＳ５２に行き、フリッカ補正中の場合はステップＳ４５に進んでフリッカ補正を停止して、さらにステップＳ４６でフリッカモード確定中の場合はそれをクリアし、ステップＳ５２に進んで、前回測定した測光値を今回測定した測光値に置き換え、ステップＳ５３に行って処理を終了する。

一方、ステップＳ４３で被写体の明るさが所定閾値より小さいと判断された場合、処理がステップＳ４７に行ってこの測光が初回であるかどうかが判断され、初回の場合はステップＳ５２に行って前記した処理が行われ、初回でなければステップＳ４８に進む。そしてこのステップＳ４８で、今回測光値と前回測光値との差分の絶対値が輝度変化量として算出され、ステップＳ４９でこの輝度変化量が所定閾値以上かどうかが判定される。この判断は、例えば蛍光灯下のフリッカがある光源から白熱灯下のフリッカのない光源に移動したときなどのためであり、判断結果がＮｏの場合はステップＳ５１へ、Ｙｅｓの場合は処理がステップＳ５０に進んでフリッカモード確定中の場合はそれがクリアされる。

そして処理がステップＳ５１に進み、前記図２のフロー図に従ってフリッカ判断が行われ、それが済むとステップＳ５２に行って前記した処理が行われ、ステップＳ５３で終了する。なお、この図３のフロー図においては、例えば蛍光灯下でフリッカモード確定になり、同一照度の白熱灯下、または同一照度の戸外に移動することでフリッカ補正が不要になった場合でも、図２のステップＳ２１でフリッカモード確定と判断されるから、フリッカモード確定は続いたままとなるが、例えばフリッカモード確定を５秒から１０秒の間隔でクリアしてフリッカ検出を行うことで、こういった問題にも対処できる。

このようにすることにより、ＣＭＯＳのようにマトリクス状に配列された各画素への電荷の蓄積及びフレームの読み出しを画素行単位の走査で行う撮像素子を用いた撮像装置でも、どのような撮影条件下であっても検出したフリッカ周波数が正しいか否かを判定でき、正確なフリッカ補正を簡単な構成で実施できる。

本発明によれば、ＣＭＯＳを用いた撮像素子を有する撮像装置であっても、フリッカを常に正しく補正した画像を得ることができ、撮像装置を高精度に構成することができる。

本発明になるフリッカ検出装置を有する撮像装置における一実施形態の概略構成を示すブロック図である。 本発明になるフリッカ検出結果の正誤判定方法のフロー図である。 本発明になるフリッカ検出結果の正誤判定方法における、フリッカ検出処理を行うか否かの判断をするためのフロー図である。 フリッカ検出／補正部１５におけるフリッカ検出の概略を説明するための図であり、（Ａ）はフリッカ検出を行うときに１フレーム分の画像データを分割した状態を示した図、（Ｂ）は（Ａ）のように分割した各枠内における輝度信号の平均値を示した図、（Ｃ）はフリッカの周波数を検出するためのバンドパスフィルタ（ＢＰＦ）を示した図である。 ＣＭＯＳを用いた撮像素子におけるフリッカ検出に際し、電荷蓄積時間を短くすることで、画像上にフリッカにより生じる縞模様が明確に現れるようにすることを説明するための図である。 電荷蓄積時間を短くせず、フレームレートも上げなかった場合のフリッカにより生じる光量変化を表した図である。 ＣＭＯＳを撮像素子として使い、被写体の照明に、電源周波数に起因して明るさが変化する光源を用いたことにより生じるフリッカを誇張して示した図である。

符号の説明

１０ 撮像部
１１ カメラ信号処理部
１２ 画像処理部
１３ 輝度信号処理部
１４ 画像メモリ部
１５ フリッカ検出／補正部
２０ １フレームの画像信号
２１ 輝度信号平均値入力端子
２２ １００Ｈｚに対応したバンドパスフィルタ
２３ １２０Ｈｚに対応したバンドパスフィルタ
２４、２５ 検出出力の出力端子

Claims (7)

1. 点滅する光源下で発生する撮像画像におけるフリッカの有無とフリッカ周波数を検出するフリッカ検出処理を実施し、該検出結果に基づき、フリッカ補正処理を実施する撮像装置におけるフリッカ検出方法であって、
   前記フリッカ補正処理を実施中に新たなフリッカ検出処理を実施し、該新たなフリッカ検出処理によってフリッカが検出された場合、前記フリッカ補正処理を前記フリッカ周波数と異なる周波数に対応させることを特徴とする撮像装置におけるフリッカ検出方法。
2. マトリクス状に配列された各画素への電荷の蓄積及びフレームの読み出しを画素行単位の走査で行う撮像素子を備え、前記フリッカ検出処理は、時間的に連続する複数フレーム間の蓄積電荷量の差分を取ることで行うことを特徴とする請求項１に記載した撮像装置におけるフリッカ検出方法。
3. 前記フリッカ検出処理を連続して実施し、検出結果が所定回数変化しなかった場合は前記フリッカ検出処理を停止することを特徴とする請求項１または２に記載した撮像装置におけるフリッカ検出方法。
4. 前記フリッカの検出処理を停止した状態において、被写体の明るさが所定量以上変化した場合、前記フリッカ検出処理を再開することを特徴とする請求項３に記載した撮像装置におけるフリッカ検出方法。
5. 被写体の明るさが予め定められた値を上回った場合は前記フリッカ検出／補正処理を停止することを特徴とする請求項１乃至４のいずれかに記載した撮像装置におけるフリッカ検出方法。
6. 各画素がマトリクス状に配列され、電荷の蓄積及びフレームの読み出しを画素行単位の走査で行う撮像素子を備えた撮像装置を有し、該撮像装置からの画像データに含まれる点滅する光源下で発生するフリッカの有無と周波数とを検出するフリッカ検出において、時間的に連続する複数フレーム間の蓄積電荷量の差分を取り、フリッカ成分を検出してフリッカ補正処理を実施するフリッカ検出／補正部からなる撮像装置のフリッカ検出装置において、
   前記フリッカ検出／補正部は、前記フリッカ補正処理実施状態において新たなフリッカ検出処理を実施し、該新たなフリッカ検出処理実施時にフリッカ発生状態である場合、前記フリッカ補正処理を前記フリッカ周波数と異なる周波数に対応させる機能を有していることを特徴とする撮像装置におけるフリッカ検出装置。
7. 前記フリッカ検出／補正部は、撮像画像データから被写体の明るさを検出する機能を有し、前記被写体の明るさが予め定められた値を上回った場合は前記フリッカ補正処理を停止する機能を有することを特徴とする請求項６に記載した撮像装置におけるフリッカ検出装置。

Images