JP4850920B2 - フリッカ検出可能な撮像装置 - Google Patents

Description

本発明は，ＸＹアドレス方式の撮像素子を有する撮像装置に関し，特に蛍光灯など商用電源によるフリッカを検出することができる撮像装置に関する。

デジタルスチルカメラなど画像撮影する撮像装置において，近年ＣＭＯＳイメージセンサなどＸＹアドレス方式のＭＯＳ型撮像素子が使用されるようになってきている。ＣＭＯＳイメージセンサは，構造が簡単で低コスト化でき高画質で低消費電力であるが，画素毎に（正確にはライン毎に）光電変換を行うタイミングが異なるため，蛍光灯照明下など明るさが周期的に変化する環境下で撮影すると撮像画像に明暗の横縞が発生する。この撮像画像に含まれる横縞はフリッカと称される。

このようなフリッカを抑制するために，フリッカが発生しているか否かを検出し，発生している場合は，フリッカ周波数に応じた露光時間（シャッタースピード）に制御することが提案されている。そして，フリッカの発生を検出し且つフリッカの周波数（商用電源５０Ｈｚまたは６０Ｈｚ）を判別する方法が種々提案されている。例えば，特許文献１，２，３に記載されるとおりである。

特開２００３−１８９１２９号公報 特開２００２−８４４６６号公報 特開２００１−１１９７０８号公報

上記の特許文献のうち特許文献１には，ＣＭＯＳイメージセンサから得られた画像信号からフリッカ成分を抽出し，そのフリッカ成分の輝度の高い部分と低い部分を「山」，「谷」とそれぞれ判定し，「山」，「谷」の数と間隔からフリッカ周波数を判定することが記載されている。フリッカ成分の抽出は，前後するフレームの画像信号の差分をとることで画像信号に含まれる被写体の画像成分を除去することで行われる。

しかしながら，特許文献１に記載されたフリッカの検出方法及びフリッカ周波数の検出方法は，抽出したフリッカ成分が常に理想的なフリッカ成分波形であることが前提であり，現実の画像信号には適用困難な場合がある。たとえば，第１に，白熱灯など，商用電源の周波数に同期した輝度変化が微弱な場合は，必ずしもフリッカ発生に伴う露光時間の制御を行う必要がない。その輝度変化による横縞はそれほど目立たないからである。しかし，かかる微弱な周期的な輝度変化に対応してフリッカの発生を検出してしまうと，フリッカ周波数に制約された露光時間制御が必要になり画質低下を招く場合がある。第２に，撮像中の被写体の高速移動や撮像範囲の高速移動に伴い，連続するフレームの被写体画像が異なり，一方のフレーム画像にのみ高輝度画像が含まれる場合がある。かかる場合は，連続するフレーム間の差分から抽出されるフリッカ成分の信号波形は理想的な波形とはかけ離れたものとなり，フリッカが存在することの判断とフリッカ周波数の検出が困難になる。

そこで，本発明の目的は，フリッカ検出精度を高めることができる撮像素子を有する撮像装置を提供することにある。

上記の目的を達成するために，本発明の第１の側面によれば，撮像素子を有する撮像装置において，前記撮像素子から供給されるフレーム毎の画像信号から撮像環境下の周期的な輝度変化に対応するフリッカ成分の信号を抽出し，当該フリッカ成分信号から所定の基準低振値以下の信号を除去する補正を行い，当該補正されたフリッカ成分信号の山と谷からフリッカ成分の周波数または周期を検出するフリッカ検出部を有する撮像装置である。

上記の第１の側面によれば，白熱灯などの微少な輝度変化をフリッカ成分信号から除去することができるので，不必要なフリッカ検出を回避することができる。

上記の目的を達成するために，本発明の第２の側面によれば，撮像素子を有する撮像装置において，前記撮像素子から供給されるフレーム毎の画像信号から撮像環境下の周期的な輝度変化に対応するフリッカ成分の信号を抽出し，当該フリッカ成分信号から所定の基準高振値以上の信号を除去する補正を行い，当該補正されたフリッカ成分信号の山と谷からフリッカ成分の周波数または周期を検出するフリッカ検出部を有する撮像装置である。

例えば，連続するフレームの画像信号の差分をとることによりフリッカ成分の信号を抽出する場合などにおいて，連続するフレームの画像信号内の被写体画像が異なり，差分成分であるフリッカ成分信号に一方のフレームの被写体信号が残る場合がある。その残った被写体信号が高輝度の場合，フリッカ成分信号に大きな振幅値が含まれ，フリッカ成分信号の山と谷を適切に検出することができない。上記の第２の側面によれば，かかる高輝度のノイズ成分を除去するので，フリッカ成分信号の山と谷を適切に検出することができる。

上記の目的を達成するために，本発明の第３の側面によれば，撮像素子を有する撮像装置において，前記撮像素子から供給されるフレーム毎の画像信号から撮像環境下の周期的な輝度変化に対応するフリッカ成分の信号を抽出し，当該フリッカ成分信号の各周期での平均値を基準にしてフリッカ成分信号の山と谷を判別し，当該判別された山と谷からフリッカ成分の周波数または周期を検出するフリッカ検出部を有する撮像装置である。

上記の第３の側面によれば，抽出されたフリッカ成分信号が理想的な信号と異なる波形成分を含んでいる場合でも，各周期の平均値を基準にして，それより高い部分を山と判別し低い部分を谷と判別することにより，フリッカ成分による山と谷を適切に判別することができる。

本発明によれば，抽出されたフリッカ成分信号に適切な補正が加えられ，また歪み波形に対してもそれに対応した判断基準値を利用するので，フリッカ成分信号の山と谷を適切に判別してフリッカ成分の有無と周波数を正確に検出することができる。

本実施の形態における撮像装置の構成とフリッカによる横縞を示す図である。 制御部１４による自動露光制御工程のフローチャート図である。 制御部１４によるフリッカ検出工程のフローチャート図である。 図４は，本実施の形態におけるフリッカ周波数判別工程のフローチャート図である。 第１の本実施の形態におけるフリッカ周波数判別工程の低振幅成分除去の補正処理を示す図である。 第２の本実施の形態におけるフリッカ周波数判別工程の高振幅成分除去の補正処理を示す図である。 図６（Ｂ）のフリッカ成分に対する山谷判定後のフリッカ成分を示す図である。 第２の実施の形態における補正処理を示す図である。 第３の実施の形態におけるフリッカ判定工程を説明する図である。

以下，図面にしたがって本発明の実施の形態について説明する。但し，本発明の技術的範囲はこれらの実施の形態に限定されず，特許請求の範囲に記載された事項とその均等物まで及ぶものである。

図１は，本実施の形態における撮像装置の構成とフリッカによる横縞を示す図である。図１（Ａ）に示した撮像装置は，ＭＯＳ型撮像素子であるＣＭＯＳイメージセンサ１０と，そこからの出力画像信号１１に対してＣＤＳ（相関二重サンプリング）によるノイズ除去処理やＡＤ変換処理や平滑化処理など種々の信号処理を行う信号処理部１２と，そこから出力されるデジタル画像信号１３に含まれるフリッカ成分信号を検出しそれに基づいて露光制御を行う制御部１４と，制御部により表示制御される液晶パネルや有機ＥＬパネルなどからなる表示部１６と，シャッターなどの操作手段を有する操作部１８とを有する。制御部１４は，マイクロプロセッサからなり，本実施の形態におけるフリッカ検出部と，フリッカ検出部が検出したフリッカ周波数または周期に基づいて露光時間ＥＴを演算する露光制御部と，表示部１６への表示制御を行う表示制御部などを有する。

ＣＭＯＳイメージセンサは，フォトダイオードなどの光電変換素子とそれにより光電変換された電圧を増幅するトランジスタとを有する画素がマトリクス状に配置され，各画素に設けられた選択トランジスタを介して，画素内で増幅された電圧を垂直方向に延びるデータ線に出力する。選択トランジスタは，水平方向に延びる走査線により順次選択され，画素内の電圧をデータ線に出力する。複数のデータ線に出力された画像信号は，点順次で信号処理部１２に出力される。

このように，ＣＭＯＳイメージセンサは，ＸＹアドレス方式の撮像素子であり，走査線の走査タイミングに対応して画素内の画像信号が出力される。したがって，各行の画像信号の撮像期間は互いにずれている。そのため，商用電源周波数に対応して周期的に輝度が変化する蛍光灯環境下で撮像した場合，各行の画像信号には周期的に変化する蛍光灯の輝度が含まれることになる。しかも，各行の撮像期間は互いにずれているので，蛍光灯の輝度変化の影響が各行で異なることになり，撮像された画像には横縞が存在することになる。

図１（Ｂ）にはフリッカによる横縞が示されている。フレーム期間Ｆｎにおいて４つの横縞と菱形の被写体が画像信号に含まれている。５０Ｈｚの商用電源の場合，電源電圧を正極性と負極性の最大値が１／１００秒間隔で発生するので，蛍光灯の輝度は１／１００秒の周期で変化する。したがって，センサ内の全走査線の走査が４／１００秒で行われると４本の横縞が生じることになる。一方，次のフレーム期間Ｆn+1では横縞は垂直方向に僅かにずれて発生することになる。

ところが，蛍光灯のフリッカ周期が１／１００秒の場合，露光時間（シャッター速度）をフリッカ周期の整数倍であるＮ／１００秒に設定すると，各行の画素に入射される蛍光灯の光量の累積値が全て等しくなるので，たとえフリッカによる周期的に輝度が変化する照明光が存在していても，上記の横縞は生成されない。つまり，露光時間がフリッカ周期の整数倍と異なる場合に，各行の画素の蛍光灯入射光量が異なり横縞の発生を招くのである。商用電源が６０Ｈｚの場合は，蛍光灯の輝度は１／１２０秒の周期で変化する。

図２は，制御部１４による自動露光制御工程のフローチャート図である。制御部１４は，信号処理部１２から信号処理済みのデジタル画像信号１３を入力し，内部のフレームメモリ内にフレーム毎に格納する（Ｓ１）。そして，その画像信号を解析してフリッカの存在とフリッカ周波数（または周期）とを検出する（Ｓ２）。フリッカが存在する場合は（Ｓ３のＹＥＳ），フリッカ周波数に対応する露光時間ＥＴを決定する（Ｓ４）。つまり，前述したとおり，露光時間ＥＴがフリッカ周期の整数倍になるようにする。一方，フリッカが存在しない場合は（Ｓ３のＮＯ），フリッカ周波数に制約されないで露光時間を決定する（Ｓ５）。つまり，画像の明るさに対応した最適露光時間または操作部１８から指定された露光時間（シャッター速度）にすることができる。

このように，フリッカが存在する場合は，フリッカ周期の整数倍という制約の下で画像の明るさに対応した最適露光時間または指定露光時間に最も近い露光時間にする必要がある。したがって，フリッカの検出は必要最小限の範囲で行われることが望ましい。

図３は，制御部１４によるフリッカ検出工程のフローチャート図である。フリッカ検出工程は，特許文献１に記載された方法と同等である。すなわち，最初に１フレームの画像信号について水平ライン毎に変化する輝度を算出する（Ｓ１１）。各水平ライン内の画像信号の累積値がそのラインの輝度になる。また，１フレーム内を複数の水平領域に分割し，各水平領域内の複数のラインの画像信号の累積を算出しても良い。

つぎに，前フレームの水平ライン毎の輝度または水平領域毎の輝度と現フレームの水平ライン毎の輝度または水平領域毎の輝度との差分を求める（Ｓ１２）。図１（Ｂ）に示したとおり，連続するフレーム内の被写体は通常同等であるので，それら前後するフレーム画像信号の輝度の差分を求めると，被写体の輝度成分が除去され横縞のフリッカ成分だけとなる。したがって，この差分データ内にフリッカによる横縞が存在するか否かを検出すればよく，存在する場合はその横縞の個数を検出することでフリッカの周波数（または周期）を検出することができる。

工程Ｓ１３では，差分データを元に周波数分析を行い，フリッカの存在とフリッカ周波数（又は周期）を判別する。このフリッカ周波数の判別は，差分データの時間（フレーム画像の垂直方向）に対して変化する「山」と「谷」を検出し，その数をカウントしまたはその間隔を検出することにより行うことができる。このフリッカ周波数判別工程については更に後で詳述する。最後に，判別するフリッカ周波数を確定するために，複数回にわたり上記のフリッカ周波数判別をし，判別したフリッカ周波数が複数回一致した場合に，その一致したフリッカ周波数を判別フリッカ周波数として確定する（Ｓ１４）。

図４は，本実施の形態におけるフリッカ周波数判別工程のフローチャート図である。このフリッカ周波数判別工程は，図３の工程Ｓ１３を具体的に示している。つまり，前後するフレームの画像信号の差分成分をフリッカ成分として抽出し，そのフリッカ成分信号に対して２つの補正処理Ｓ２１，Ｓ２２を行い，補正されたデータについて「山」と「谷」と「それ以外」の３つの状態を判定し（３値判定，Ｓ２３），「山」と「谷」の個数や間隔からフリッカ周波数を判別する（Ｓ２４）。補正処理は，第１に差分データであるフリッカ成分信号の低振幅成分を除去する処理（Ｓ２１）と，高振幅成分を除去する処理（Ｓ２２）とである。この処理の順番は逆になっても良い。低振幅成分を除去することで，白熱灯などの微弱なフリッカ成分を不必要にフリッカとして検出することを回避することができる。また，高振幅成分を除去することで，差分データに高輝度成分が含まれていてもそれを除去して適切に「山」と「谷」の判定を行うことができる。

また，「山」と「谷」と「それ以外」の判定処理Ｓ２３では，補正されたフリッカ成分信号の周期毎の平均値を算出し，その平均値より大きい極大値ピークを「山」と小さい極小値ピークを「谷」とそれぞれ判定する。これにより，高輝度成分が含まれていてもフリッカ成分を見落とすことなく判定することができる。極大値ピークは微分値が正から負へのゼロクロス点，極小値ピークは微分値が負から正へのゼロクロス点を検出することにより判別可能である。

図２，３，４に示した処理は，制御部１４を構成するプロセッサに内蔵された判定プログラムを実行することにより行われる。

図５は，第１の本実施の形態におけるフリッカ周波数判別工程の低振幅成分除去の補正処理を示す図である。図５（Ａ）には，前後するフレームの画像信号の差分をとることで抽出されたフリッカ成分の信号が示されている。破線が蛍光灯のフリッカ成分Ｆ１であり，実線が白熱灯のフリッカ成分Ｆ２である。蛍光灯のフリッカ成分Ｆ１に比較すると白熱灯のフリッカ成分Ｆ２は微弱であり振幅が非常に小さい。

フリッカ成分の周波数（５０Ｈｚ，６０Ｈｚ）または周期は，その信号の山と谷の位置を検出することにより行われる。信号の山と谷の位置を検出する方法は種々の方法が考えられるが，一般的には横軸の時間（画像の垂直方向）に対する輝度値の微分値がゼロになる位置が信号の山（極大値）または谷（極小値）として検出される。微分値が正から負に変化するゼロクロス点は山（極大値），負から正に変化するゼロクロス点は谷（極小値）として検出できる。または，平均輝度Ｆａより大きい正から負へのゼロクロス点を山，平均輝度より小さい負から正へのゼロクロス点を谷と判別することで，ノイズにより発生した山や谷をフリッカ成分の山，谷の判定結果から除外することができる。この平均輝度Ｆａは，最大輝度と最小輝度の中間値を求めることで求めることができる。

この方法で白熱灯のフリッカ成分Ｆ２を解析した場合，「山」と「谷」と「それ以外」を検出する３値判定の結果は，図５（Ａ）に示されるように山と谷が交互に発生するものとなる。そのため，蛍光灯のフリッカ成分と同等の周波数または周期が検出され，フリッカが存在することとその周波数または周期が所定の値であるという解析結果になる。

しかしながら，白熱灯によるフリッカ成分は蛍光灯に比較すると微弱であり，それによって認識される程度の横縞が画像に生成されることはない。したがって，白熱灯のフリッカ成分は無視して，それに制約されずに露光時間を制御するのが望ましい。フリッカ成分が検出されるとその周期の整数倍になるよう露光時間を制御する必要があり，被写体に最適な露光時間または操作者が望む露光時間にできなくなるからである。

そこで，本実施の形態では，差分信号から白熱灯によるフリッカ成分Ｆ２を除去するための補正処理を行う。図５（Ｂ）に示されるように，フリッカ成分の平均輝度ラインＦａを求め，その平均輝度ラインＦａから基準低振幅Ｙａより小さい信号成分を除去する。または基準低振幅Ｙａより小さい信号成分に対しては山や谷以外の値に設定し，後で行われる３値判定で山と谷が検出されないようにする。その結果，差分信号に白熱灯のフリッカ成分が含まれていても，かかる微弱な信号は低振幅成分を除去する補正処理により除去されるので，不必要にフリッカ有りと判定されることはなくなる。このように，本実施の形態では，補正処理に低振幅ノイズをカットするフィルタ処理を行う。

図６は，第２の実施の形態におけるフリッカ周波数判別工程の高振幅成分除去の補正処理を示す図である。図６（Ａ）には，差分信号として抽出した蛍光灯のフリッカ成分Ｆ３が示される。この例は，前後するフレーム画像のうち一方のみに部分的な高輝度の画像信号が存在する例である。被写体が高速に移動したりカメラの方向が高速に変化した場合などにこのような状況になることが考えられる。そのため，前後するフレーム画像信号の差分信号は部分的に高振幅になる。図６（Ａ）のフリッカ成分Ｆ３は，左から３つめの山の振幅が他の振幅より突出して大きくなっている。その結果，平均輝度ラインＦａは全ての山の振幅より大きくなる。

かかるフリッカ成分Ｆ３に対して，前述の３値判定を行うと，微分値が正から負へのゼロクロス点であっても平均輝度ラインＦａより小さい点は山と判定されず，結局，４つの谷と１つの山が判定されるだけであり，蛍光灯のフリッカ成分を正確に判定することができなくなる。

図６（Ｂ）には，差分信号からなる別の蛍光灯のフリッカ成分Ｆ４が示される。この例も，前後するフレーム画像のうち一方のみに部分的な高輝度の画像信号が存在する例である。図中，部分１００に高輝度の画像信号が存在し，フリッカ成分Ｆ４に高い振幅成分が含まれている。また，部分１００では本来なら谷になるべき部分も平均輝度ラインＦａより高くなっている。さらに，部分１００の波形が乱れている。

かかるフリッカ成分Ｆ４を微分値のゼロクロスによる３値判定をすると，図６（Ｂ）中の判定結果（１）に示されるような「山，谷，山，谷，山，谷，山，谷，山，谷，山，谷」となり，さらに，平均輝度ラインＦａより高い輝度のみを「山」，低い輝度のみを「谷」と判定すると，図６（Ｂ）中の判定結果（２）に示されるように「山，山，谷，山，谷，山，山，山，谷」となる。

図７は，図６（Ｂ）のフリッカ成分に対する山谷判定後のフリッカ成分を示す図である。破線が山谷判定後のフリッカ成分の信号である。図７（Ａ）には，山谷判定後のフリッカ成分Ｆ５（破線）と，差分信号として抽出したフリッカ成分Ｆ４とが示されている。図６（Ｂ）の判定結果（２）において，連続して検出された「山」に対しては，最大輝度を有する点を「山」と判定することで図７（Ａ）のフリッカ成分Ｆ５を抽出することができる。

図７（Ｂ）は，このようにして抽出したフリッカ成分Ｆ５と実際の蛍光灯のフリッカ成分Ｆ１とが対比して示されている。この図から理解できるように，判定されたフリッカ成分Ｆ５に対する３値判定結果は（１）に示すとおりである。それに対して，実際のフリッカ成分Ｆ１の３値判定結果は（２）に示すとおりである。つまり，差分により抽出されたフリッカ成分には部分１００において高い輝度信号が含まれていたため，３値判定されたフリッカ成分Ｆ５はその部分で波形が乱れ検出されるべき谷と山が検出されていない。そのため，フリッカ検出工程では，期待される周波数のフリッカが検出されず，フリッカが存在しないと誤って判定されることが予想される。

そこで，第２の実施の形態では，前後するフレームの画像信号の差分から抽出したフリッカ成分Ｆ４に対して，第１の実施の形態の低振幅成分を除去する補正処理に加えて，高い振幅成分を除去する補正処理を行う。つまり，図４の処理Ｓ２１，Ｓ２２の補正処理である。

図８は，第２の実施の形態における補正処理を示す図である。図８（Ａ）には，図６（Ｂ）と同じ差分信号であるフリッカ成分Ｆ５が示されている。そして，第２の実施の形態では，このフリッカ成分の信号Ｆ５のうち，輝度平均値Ｆａから基準低振幅値Ｙａ以下の成分を除去し，さらに輝度平均値Ｆａから基準高振幅値Ｙｂ以上の成分を除去する。前者が低振幅成分除去の補正処理であり，後者が高振幅成分除去の補正処理である。その結果，図８（Ｂ）の低振幅１１０と高振幅１１２とが除去される。または，フリッカ成分Ｆ５について，低振幅１１０と高振幅１１２とが「山」と「谷」とは別の「その他」に分類される。このように低振幅１１０と高振幅１１２とを除去する補正処理後のフリッカ成分Ｆ６が，図中の破線のようになる。

上記の基準低振幅値Ｙａは，白熱灯に対応させて固定的に設定されるのが望ましいが，基準高振幅値Ｙｂは，その都度高輝度信号の振幅値が異なるので，フレーム毎に変化させてもよい。

図８（Ｂ）に破線で示した補正後のフリッカ成分Ｆ６は，高振幅成分１１２が除去され，山１１４，谷１１６，山１１８が存在している。これらの山と谷の検出は，微分値のゼロクロス点により検出できる。ここで，平均輝度ラインＦａより輝度が大きい点を山，小さい点を谷に分類すると，谷１１６が判別されないことになる。これでは，実際のフリッカ成分の谷１１６が判別されなくなり，適切にフリッカ成分の存在とその周波数（または周期）を検出することができない。

図９は，第３の実施の形態におけるフリッカ判定工程を説明する図である。このフリッカ判定工程は，主に３値判定処理の改良に関する。図９（Ａ）には図８の補正処理後のフリッカ成分Ｆ６が示されている。第３の実施の形態では，補正されたフリッカ成分Ｆ６の微分値のゼロクロス点から「山」と「谷」を検出し，フリッカ成分Ｆ６の周期を仮に検出する。そして，その仮に検出した周期内の平均輝度値Ｆａ１〜Ｆａ４を求める。この平均輝度値は，例えば，各周期内の最大値と最小値の平均により求められる。そして，微分値のゼロクロス点から検出している「山」と「谷」に対して，対応する周期の平均輝度値Ｆａ１〜Ｆａ４より大きい極大点を「山」と，小さい極小点を「谷」とそれぞれ判別する。図９（Ａ）には前述のように行われた３値判定結果が示されている。

図９（Ｂ）は，上記のように判別されたフリッカ成分Ｆ７（破線）と，実際のフリッカ成分Ｆ１（実線）とが重ねて示されている。この図から理解できるとおり，平均輝度ラインＦａより大きい場合でも「谷」と判定されているので，判別フリッカ成分Ｆ７は，その波形は歪んでいるものの，実際のフリッカ成分の周波数（または周期）と同等に「山」「谷」を検出することができている。

図４に戻り，周期毎の輝度平均値に基づいて３値判定Ｓ２３を行った後，判定された「山」と「谷」の間隔や個数からフリッカ成分の周波数（または周期）を判別する（Ｓ２４）。そして，図３の工程Ｓ１４のように，複数回判別したフリッカ周波数を判別値として確定し，図２のフリッカ周波数に対応する露光時間の決定（Ｓ４）を行う。フリッカが検出されない場合は，フリッカ周波数に制約されないで露光時間を決定する（Ｓ５）。

以上説明したとおり，本実施の形態では，前後するフレームの画像信号の差分を求めてフリッカ成分を抽出し，そのフリッカ成分の信号を低振幅除去と高振幅除去を含む補正処理を行い，３値判定において周期毎の平均輝度値とを求めその平均輝度値に基づいて補正された信号の「山」と「谷」を判別する。平均輝度値を基準として「山」と「谷」を判別することで，ノイズによる微分値ゼロの点を「山」「谷」から除外することができる。また，全平均輝度値ではなく周期毎の平均輝度値を使用することで，高輝度画像信号が含まれることによる信号歪みが生じてもフリッカ成分を確実に判別することができる。

また，以上ではＣＭＯＳイメージセンサ等のＭＯＳ型撮像素子を例にとって説明したが、他のＭＯＳ型撮像素子はもとより，ＣＣＤ等の撮像素子であっても，ＸＹアドレス型であれば本発明を適用できることは言うまでもない。

以上の実施の形態をまとめると，次の付記のとおりである。

（付記１）撮像素子を有する撮像装置において，
前記撮像素子から供給されるフレーム毎の画像信号から撮像環境下の周期的な輝度変化に対応するフリッカ成分の信号を抽出し，当該フリッカ成分信号から所定の基準低振値以下の信号を除去する補正処理を行い，当該補正されたフリッカ成分信号の山と谷からフリッカ成分の周波数または周期を検出するフリッカ検出部を有することを特徴とする撮像装置。

（付記２）付記１において，
前記フリッカ検出部は，前記所定の基準低振値以下の信号を除去する補正処理に加えて，前記フリッカ成分信号から所定の基準高振値以上の信号を除去する補正処理を行うことを特徴とする撮像装置。

（付記３）付記１または２において，
前記フリッカ検出部は，前記補正されたフリッカ成分信号の各周期での平均値を基準にして当該フリッカ成分信号の山と谷を判別し，当該判別された山と谷からフリッカ成分の周波数または周期を検出することを特徴とする撮像装置。

（付記４）付記３において，
前記フリッカ検出部は，前記フリッカ成分の信号の抽出を，前後するフレームの画像信号間の差分成分を求めることにより行うことを特徴とする撮像装置。

（付記５）付記１または２において，
前記フリッカ検出部は，前記抽出されたフリッカ成分信号に対して平滑化処理を行い，その後前記補正処理を行うことを特徴とする撮像装置。

（付記６）付記１または２において，
さらに，前記フリッカ検出部により検出されたフリッカ成分の周波数または周期に対応して露光時間を制御する露光時間制御部を有することを特徴とする撮像装置。

（付記７）撮像素子を有する撮像装置において，前記撮像素子から供給されるフレーム毎の画像信号から撮像環境下の周期的な輝度変化に対応するフリッカ成分の信号を抽出し，当該フリッカ成分信号から所定の基準高振値以上の信号を除去する補正を行い，当該補正されたフリッカ成分信号の山と谷からフリッカ成分の周波数または周期を検出するフリッカ検出部を有する撮像装置。

（付記８）付記７において，
前記フリッカ検出部は，前記補正されたフリッカ成分信号の各周期での平均値を基準にして当該フリッカ成分信号の山と谷を判別し，当該判別された山と谷からフリッカ成分の周波数または周期を検出することを特徴とする撮像装置。

（付記９）撮像素子を有する撮像装置において，前記撮像素子から供給されるフレーム毎の画像信号から撮像環境下の周期的な輝度変化に対応するフリッカ成分の信号を抽出し，当該フリッカ成分信号の各周期での平均値を基準にしてフリッカ成分信号の山と谷を判別し，当該判別された山と谷からフリッカ成分の周波数または周期を検出するフリッカ検出部を有する撮像装置。

Ｓ２１：低振幅成分除去の補正処理工程 Ｓ２２：高振幅成分除去の補正処理工程
Ｓ２３：３値判定工程

Claims (1)

1. マトリクス状に配置され，当該マトリクスにおけるラインごとの撮像期間が異なる撮像素子を有する撮像装置において，
   前記撮像素子から供給されるフレーム毎の画像信号から前後する前記フレームにおける前記ラインを含む領域ごとの画像信号間の差分成分を求めることにより撮像環境下の周期的な輝度変化に対応するフリッカ成分の信号を抽出し，当該フリッカ成分信号から所定の基準高振値以上の信号を除去する補正を行い，当該補正されたフリッカ成分信号の各周期での平均値を基準にして当該フリッカ成分信号の山と谷を判別し，当該判別された山と谷からフリッカ成分の周波数または周期を検出するフリッカ検出部を有する撮像装置。

Images