JP2009081684A - Flicker reduction device - Google Patents
Flicker reduction device Download PDFInfo
- Publication number
- JP2009081684A JP2009081684A JP2007249694A JP2007249694A JP2009081684A JP 2009081684 A JP2009081684 A JP 2009081684A JP 2007249694 A JP2007249694 A JP 2007249694A JP 2007249694 A JP2007249694 A JP 2007249694A JP 2009081684 A JP2009081684 A JP 2009081684A
- Authority
- JP
- Japan
- Prior art keywords
- flicker
- output
- average value
- gain
- calculating means
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000009467 reduction Effects 0.000 title claims abstract description 50
- 238000001514 detection method Methods 0.000 claims abstract description 49
- 238000012937 correction Methods 0.000 claims description 119
- 230000008859 change Effects 0.000 claims description 15
- 238000000034 method Methods 0.000 claims description 14
- 238000003384 imaging method Methods 0.000 claims description 13
- 238000009825 accumulation Methods 0.000 claims description 12
- 230000001360 synchronised effect Effects 0.000 claims description 10
- 238000005286 illumination Methods 0.000 claims description 7
- 230000000717 retained effect Effects 0.000 claims 4
- 230000015654 memory Effects 0.000 description 126
- 230000003111 delayed effect Effects 0.000 description 45
- 238000010586 diagram Methods 0.000 description 28
- 238000000605 extraction Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 238000012935 Averaging Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 6
- 230000010354 integration Effects 0.000 description 5
- 230000010363 phase shift Effects 0.000 description 5
- 238000009499 grossing Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000004397 blinking Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
Abstract
Description
本発明は、交流電源による照明等に起因する撮像素子の出力信号における周期的変化(以下、フリッカと称す)を低減するフリッカ低減装置に関するものである。 The present invention relates to a flicker reducing apparatus that reduces a periodic change (hereinafter referred to as flicker) in an output signal of an image sensor caused by illumination by an AC power source.
一般に、放送方式はその画面を形成するフレームあるいはフィールド周波数を商用電源周波数に合わせて設定される。例えば商用電源周波数が60Hzの地域で採用されているNTSC方式はフィールド周波数がほぼ60Hzとなっており、また商用電源周波数が50Hzの地域で採用されているPAL方式はフィールド周波数が50Hzとなっている場合が多い。しかし、東日本地域のような一部の地域では商用電源の周波数(50Hz)とフィールド周波数(60Hz)が異なる場合もある。このような地域において、交流電源で点灯する一般的な蛍光灯は所定の周期で点滅を繰り返すため、入射光を撮像素子で電気信号に変換し読み出す際に、読み出す画素の位置により電荷の蓄積時刻が異なるような撮像素子を用いる場合は同一の画面内(フィールドもしくはフレーム内)においても、各画素の蓄積時間内に入射する光量の総和は異なるため、特定の周期で明るい部分と暗い部分が生じる。このような現象がラインフリッカである。また、同一画面内で各画素の蓄積時刻を同じとする撮像素子を用いる場合は、画面毎に明暗が生じるため、フィールドフリッカ、もしくはフレームフリッカと呼ばれる。 In general, the broadcasting system is set so that the frame or field frequency forming the screen is matched with the commercial power supply frequency. For example, the NTSC system adopted in an area where the commercial power frequency is 60 Hz has a field frequency of approximately 60 Hz, and the PAL system adopted in an area where the commercial power frequency is 50 Hz has a field frequency of 50 Hz. There are many cases. However, in some regions such as the East Japan region, the frequency (50 Hz) of the commercial power supply and the field frequency (60 Hz) may be different. In such an area, a general fluorescent lamp that is lit by an AC power supply repeats blinking at a predetermined cycle. Therefore, when incident light is converted into an electrical signal by an image sensor and read out, the charge accumulation time depends on the position of the pixel to be read. In the case of using image sensors having different values, the sum of the amounts of light incident within the accumulation time of each pixel is different even within the same screen (field or frame), so that a bright portion and a dark portion are generated at a specific cycle. . Such a phenomenon is line flicker. In addition, when using an image sensor in which the accumulation time of each pixel is the same in the same screen, brightness and darkness is generated for each screen, which is called field flicker or frame flicker.
図8を参照してこれを説明する。図8において、(A)は撮像素子出力を表し、破線がフリッカのない場合の出力で、実線はフリッカの影響を受けた出力を表している。(B)は電源周波数50Hzを用いる蛍光灯の発光周期を表している。 This will be described with reference to FIG. In FIG. 8, (A) represents the image sensor output, the broken line is the output when there is no flicker, and the solid line represents the output affected by the flicker. (B) represents the light emission cycle of a fluorescent lamp using a power frequency of 50 Hz.
図8に示すように、50Hzの交流電源で点灯する一般的な蛍光灯は50Hzを整流した100Hzで発光を繰り返すので同一画面内部においても100Hzの周期で明るい部分と暗い部分が生じる。例えばNTSC方式では、水平走査(以下、ラインと記す)周波数は15.75KHzであるので1/100sec=157.5ライン毎に明暗を繰り返す。また、フィールドの周期(1/60sec)と照明の点滅周期(1/100sec)との公倍数は1/20secであるため、1/20sec即ちほぼ3フィールド毎に同じ明暗のパターンとなる。このような現象がフリッカである。ただし、フリッカ周波数はライン周波数に対しては十分遅いため、ライン内でその影響の差異はなく図のように各ライン内では均一に影響が現れる。 As shown in FIG. 8, a general fluorescent lamp that is lit with an AC power supply of 50 Hz repeats light emission at 100 Hz rectified to 50 Hz, and therefore, a bright portion and a dark portion are generated at a cycle of 100 Hz even within the same screen. For example, in the NTSC system, since the horizontal scanning (hereinafter referred to as a line) frequency is 15.75 KHz, light and dark are repeated every 1/100 sec = 157.5 lines. Further, since the common multiple of the field period (1/60 sec) and the lighting blinking period (1/100 sec) is 1/20 sec, the same light / dark pattern is obtained every 1/20 sec, that is, almost every three fields. Such a phenomenon is flicker. However, since the flicker frequency is sufficiently slower than the line frequency, there is no difference in the effect within the line, and the effect appears uniformly within each line as shown in the figure.
このようなフリッカの補正方法については、一般的に3フィールド毎に同じ明暗のパターンがくることに着目し、3フィールドの平均と現出力との除算値を補正ゲインとし、現出力に乗算することでフリッカ成分の補正が行う方法が知られている。 With regard to such a flicker correction method, paying attention to the fact that the same bright and dark pattern is generally obtained every three fields, the division value between the average of the three fields and the current output is used as a correction gain, and the current output is multiplied. A method for correcting flicker components is known.
図9はその説明図であり、撮像素子出力を信号入力とし、これからフリッカを低減する補正方法の一般的概略図を示すものである。 FIG. 9 is an explanatory diagram showing a general schematic diagram of a correction method in which the image pickup device output is a signal input and flicker is reduced therefrom.
信号入力Yはライン平均回路110に入力され、ライン単位で有効信号区間の平均処理を行ってライン平均値y0を算出する。遅延器1200は、1画面分のライン平均値を保持可能な複数個のメモリで構成し、夫々1フィールド期間遅延して出力するもので、メモリ1で1フィールド期間遅延したものをy-1とし、メモリ2でさらに1フィールド期間遅延したものをy−2とする。夫々のライン平均値y0、y-1、y-2は平均値演算回路130で3フィールド分のライン平均値の平均値を算出し、これを除算器140において現在のライン平均値y0で除算することで3フィールド平均値に対する現在のライン平均値y0の差分比率が求まる。これをフリッカ補正信号とし、遅延器200で演算処理期間に相当する遅延を施した信号に乗算器210で乗算することで、フリッカによるレベル変動成分を補正した出力Y’を得るように構成されるものである。
Signal input Y is input to the
しかしながら、図9の構成によるフリッカ補正では、ライン単位でゲインを算出するため、被写体の動きがライン内の一部分であっても動きのない部分までゲイン補正の影響を受けてしまう。 However, in the flicker correction with the configuration of FIG. 9, since the gain is calculated for each line, even if the movement of the subject is a part of the line, it is affected by the gain correction even to a part where there is no movement.
図10は、ゲイン補正の影響を説明するための模式図で、図10(a)は補正入力画面を示し、図10(b)は補正出力画面を示す。例えば、図10(a)の画面内に映っている円形の被写体が、点線で示す位置91から実線で示す位置92へ移動することよって、その影響は算出する補正ゲインに影響するため、被写体の移動範囲のライン、即ち図10(b)で示す斜線部93全体で動きに応答して、ライン単位のレベル変動が発生し、フリッカ補正動作の副作用を生じてしまう。
10A and 10B are schematic diagrams for explaining the influence of gain correction. FIG. 10A shows a correction input screen, and FIG. 10B shows a correction output screen. For example, when a circular object shown in the screen of FIG. 10A moves from a
これを改善するため、動き検出手段を設けて補正ゲインを切替える装置の提案がある(例えば、特許文献1参照)。 In order to improve this, there is a proposal of an apparatus for providing a motion detection means to switch the correction gain (see, for example, Patent Document 1).
(従来例1)
図11は、撮像素子出力を信号入力とし、被写体変化に対する影響を軽減するフリッカ低減装置の概略図である。
(Conventional example 1)
FIG. 11 is a schematic diagram of a flicker reduction apparatus that uses an image sensor output as a signal input and reduces the influence on a subject change.
図11において、撮像手段などから伝送される入力Yは、ライン平均回路110に入力される。ライン平均回路110は、入力される信号Yに基づいて、ライン単位で有効信号区間の平均処理を行ってライン平均値y0を算出する。
In FIG. 11, an input Y transmitted from an imaging unit or the like is input to the
遅延器1200は、1フィールド分のライン平均値を保持可能な複数個のメモリ1200a及び1200bで構成し、夫々1フィールド期間遅延して出力する。メモリ1200aで1フィールド期間遅延したライン平均値をy-1とし、メモリ1200bでさらに1フィールド期間遅延したライン平均値をy-2とする。ライン平均値y0、y-1、y-2は、平均値演算回路130に入力される。
The
平均値演算回路130は、現フィールドから2フィールド前までの3フィールド分のライン平均値の平均値を算出する。平均値演算回路130から出力される平均値は、除算器140に入力される。
The average
除算器140は、平均値演算回路130から出力される平均値を、現在のライン平均値y0で除算することで、3フィールド平均値に対する現在のライン平均値y0の差分比率を求めて、これを現在のフリッカ補正信号z0とする。
The
遅延器1210は、1フィールド分のフリッカ補正信号を保持可能な複数個のメモリ1210a,1210b,および1210cで構成され、夫々1フィールド期間遅延して出力する。メモリ1210aで1フィールド期間遅延したフリッカ補正信号をz-1とし、メモリ1210bでさらに1フィールド期間遅延したフリッカ補正信号をz-2とし、メモリ13でさらに1フィールド期間遅延したフリッカ補正信号をz-3とする。
The
動き検出回路150は、ライン平均値y0とy-1との差分検出を行って、1フィールド前後の動き検出を行い、検出信号を生成する。その検出信号は、被写体が静止している時には、除算器140からの現在のフリッカ補正信号z0を選択し、被写体が動いている場合には、メモリ1210cから動きの影響がなく且つフリッカ位相がほぼ同位相である3フィールド前のフリッカ補正信号z-3を選択するように、スイッチ160を切替制御する。
The
スイッチ160から出力される補正信号は、乗算器210に入力される。乗算器210は、遅延器200から出力される演算処理期間に相当する遅延を施した原信号に、補正信号を乗算し、フリッカによるレベル変動成分を補正した出力Y’を出力する。
The correction signal output from the
(従来例2)
図12は、従来のフリッカ低減装置の他例の構成を示す。図12に示すフリッカ低減装置は、撮像素子出力を信号入力とし、被写体変化に対する影響を軽減するものである。
(Conventional example 2)
FIG. 12 shows a configuration of another example of a conventional flicker reducing apparatus. The flicker reduction apparatus shown in FIG. 12 uses the image sensor output as a signal input to reduce the influence on the subject change.
図12において、撮像手段などから伝送される入力Yは、ライン平均回路110に入力される。ライン平均回路110は、入力される信号Yに基づいて、ライン単位で有効信号区間の平均処理を行って、ライン平均値y0を算出する。算出されたライン平均値y0は、遅延器1200、平均値演算回路130、および除算器140に入力される。
In FIG. 12, an input Y transmitted from an imaging unit or the like is input to the
遅延器1200は、1フィールド分のライン平均値を保持可能な複数個のメモリ1200a及び1200bで構成し、夫々1フィールド期間遅延して出力する。メモリ1200aで1フィールド期間遅延したライン平均値をy-1とし、メモリ1200bでさらに1フィールド期間遅延したライン平均値をy-2とする。ライン平均値y0、y-1、y-2は、平均値演算回路130に入力される。
The
平均値演算回路130は、入力されるライン平均値に基づき、現フィールドから2フィールド前までの3フィールド分のライン平均値の平均値を算出する。
The average
除算器140は、平均値演算回路130から出力される平均値を、現在のライン平均値y0で除算することで、3フィールド平均値に対する現在のライン平均値y0の差分比率が求める。除算器140から出力される信号を、現在のフリッカ補正信号z0とする。
The
遅延器1220は、1フィールド分のフリッカ補正信号を保持可能な複数個のメモリ1220a〜1220fで構成し、夫々1フィールド期間遅延して出力する。メモリ1220aで1フィールド期間遅延したフリッカ補正信号をz-1とし、メモリ1220bでさらに1フィールド期間遅延したフリッカ補正信号をz-2とし、メモリ1220cでさらに1フィールド期間遅延したフリッカ補正信号をz-3とし、メモリ1220dでさらに1フィールド期間遅延したフリッカ補正信号をz-4とし、メモリ1220eでさらに1フィールド期間遅延したフリッカ補正信号をz-5とし、メモリ1220fでさらに1フィールド期間遅延したフリッカ補正信号をz-6とする。
The
平滑回路170は、現在のフリッカ補正信号z0と、フリッカ位相がほぼ同位相である3フィールド前のフリッカ補正信号z-3と、6フィールド前のフリッカ補正信号z-6とに基づいて、過去の複数フィールドの同一領域におけるフリッカ補正ゲインに含まれる誤差成分を除去、或いは大きな変動分を抑圧する。なお、平滑回路170は、例えばメディアンフィルタ等から構成される。
Based on the current flicker correction signal z 0 , the flicker correction signal z −3 before 3 fields whose flicker phase is substantially the same, and the flicker correction signal z −6 before 6 fields, The error component included in the flicker correction gain in the same region of a plurality of fields is removed or a large variation is suppressed. Note that the smoothing
一方、動き検出回路150は、ライン平均値y0及びy-1の差分検出を行って、1フィールド前後の動き検出を行い、検出信号を生成する。その検出信号は、被写体が静止している時には、除算器140からの現在のフリッカ補正信号z0を選択し、被写体に動きがある場合には、平滑回路170からの動きの影響が軽減されたフリッカ補正信号を選択するように、スイッチ160を切替制御する。スイッチ160から出力される信号を、フリッカ補正信号とする。フリッカ補正信号は、乗算器210に入力される。
On the other hand, the
乗算器210は、遅延器200で演算処理期間に相当する遅延を施した原信号に、フリッカ補正信号を乗算し、フリッカによるレベル変動成分を補正した出力Y’を出力する。
The
(従来例3)
図13は、従来のフリッカ低減装置の他例の構成を示す。図13に示すフリッカ低減装置は、撮像素子出力を信号入力とし、被写体変化に対する影響を軽減するものである。
(Conventional example 3)
FIG. 13 shows a configuration of another example of a conventional flicker reducing apparatus. The flicker reduction apparatus shown in FIG. 13 uses the image sensor output as a signal input to reduce the influence on the subject change.
図13において、撮像手段などから伝送される信号Yは、ライン平均回路110に入力される。ライン平均回路110は、ライン単位で有効信号区間の平均処理を行って、ライン平均値y0を算出する。算出されたライン平均値y0は、遅延器1200、平均値演算回路130、および除算器140に入力される。
In FIG. 13, a signal Y transmitted from an imaging unit or the like is input to the
遅延器1200は、1フィールド分のライン平均値を保持可能な複数個のメモリ1200a及び1200bで構成し、夫々1フィールド期間遅延して出力する。メモリ1200aで1フィールド期間遅延したライン平均値をy-1とし、メモリ1200bでさらに1フィールド期間遅延したライン平均値をy-2とする。ライン平均値y0、y-1、y-2は、平均値演算回路130に入力される。
The
平均値演算回路130は、現フィールドから2フィールド前までの3フィールド分のライン平均値の平均値を算出する。算出された平均値は、除算器140に入力される。
The average
除算器140は、平均値演算回路130から出力される平均値を、現在のライン平均値y0で除算することで、3フィールド平均値に対する現在のライン平均値y0の差分比率を求める。除算器140で算出された差分比率を、フリッカ成分信号とする。算出されたフリッカ成分信号は、フリッカ成分抽出回路180に入力される。
The
フリッカ成分抽出回路180は、フリッカ成分信号を周波数変換し、フリッカの成分である周波数帯域だけを抽出する。抽出された周波数帯域の情報は、フリッカゲイン生成回路190に入力される。なお、フリッカ成分抽出回路180は、例えばフーリエ変換回路から構成される。
The flicker
フリッカゲイン生成回路190は、フリッカ成分抽出回路180で抽出されたフリッカ成分(周波数領域)から、三角関数の重畳により正弦波を生成する。生成された正弦波は、フリッカ補正信号として出力される。なお、フリッカゲイン生成回路190は、例えば逆フーリエ変換回路から構成されるものであり、被写体に起因する誤差成分や変動成分を排除したフリッカ補正ゲインを生成する。
The flicker
乗算器210は、遅延器200で演算処理期間に相当する遅延を施した原信号に、フリッカ補正信号を乗算し、フリッカによるレベル変動成分を補正した出力Y’を出力する。
The
(従来例4)
図14は、従来のフリッカ低減装置の他例の構成を示す。図14に示すフリッカ低減装置は、撮像素子出力を信号入力とし、被写体変化に対する影響を軽減するものである(特許文献2参照)。
(Conventional example 4)
FIG. 14 shows a configuration of another example of a conventional flicker reducing apparatus. The flicker reduction apparatus shown in FIG. 14 uses an image sensor output as a signal input, and reduces the influence on a subject change (see Patent Document 2).
図14において、撮像手段などから伝送される信号Yは、ライン積算ブロック111に入力され、ライン単位で有効信号区間の積算処理を行ってライン積算値s0を算出する。算出されたライン積算値s0は、遅延器1200,平均値計算ブロック131、および差分計算ブロック141に入力される。
14, the signal Y transmitted from an imaging unit is input to the
遅延器1200は、1フィールド分のライン積算値を保持可能な複数個のメモリ1200a及び1200bで構成し、夫々1フィールド期間遅延して出力する。メモリ1200aで1フィールド期間遅延したライン積算値をs-1とし、メモリ1200bでさらに1フィールド期間遅延したライン積算値をs-2とする。ライン積算値s-1、s-2は、平均値計算ブロック131に入力されるとともに、ライン積算値s-1はさらに差分計算ブロック141に入力される。
The
平均値計算ブロック131は、ライン積算値s0、s-1、s-2に基づき、現フィールドから2フィールド前までの3フィールド分のライン積算値の平均値を算出する。算出された平均値は、正規化ブロック131に入力される。
The average
差分計算ブロック141は、ライン積算値s0及びs-1の差分を算出し、被写体の変化がないとしてフリッカの影響によるレベル差分を抽出する。抽出されたレベル差分は、正規化ブロック142に入力される。
The
フリッカ成分は、入力信号レベルに影響される。正規化ブロック142は、差分計算ブロック141で抽出されるレベル差分を、平均値計算ブロック131の積算平均値で除算することで、正規化してフリッカ成分信号を生成する。生成されたフリッカ成分信号は、DFTブロック181に入力される。
The flicker component is affected by the input signal level. The
DFT(離散フーリエ変換)ブロック181は、フリッカ成分信号を離散フーリエ変換で周波数変換し、フリッカの成分である周波数帯域だけを抽出する。抽出された周波数帯域の情報は、フリッカゲイン生成ブロック191に入力される。
A DFT (discrete Fourier transform) block 181 performs frequency conversion of the flicker component signal by discrete Fourier transform, and extracts only a frequency band that is a component of flicker. The extracted frequency band information is input to the flicker
フリッカゲイン生成ブロック191は、DFTブロック181で抽出されたフリッカ成分(周波数領域)から、三角関数の重畳により正弦波を生成する。フリッカゲイン生成ブロック191は、その正弦波をフリッカ補正信号として出力する。なお、フリッカゲイン生成ブロック191は、例えば逆フーリエ変換回路から構成されるものであり、被写体に起因する誤差成分や変動成分を排除したフリッカ補正ゲインを生成する。
The flicker
乗算器210は、遅延器200で演算処理期間に相当する遅延を施した原信号に、フリッカ補正信号を乗算し、フリッカによるレベル変動成分を補正した出力Y’を出力する。
しかしながら、上記の従来の構成では、以下の問題が発生し得る。 However, the following problems may occur in the above-described conventional configuration.
(問題点1)
図11の構成は、被写体の動きを検出した際に、現在のフリッカ補正ゲインと3の倍数フィールド前のフリッカ補正ゲインとを切替えてフリッカを補正するものである。このような構成では、動きが連続する場合に対応するには多くのメモリが必要となり、コストアップになってしまうという問題がある。
(Problem 1)
The configuration in FIG. 11 corrects flicker by switching between the current flicker correction gain and the flicker correction gain before a multiple of 3 fields when motion of the subject is detected. In such a configuration, there is a problem that a large amount of memory is required to cope with the case where the movement is continuous, resulting in an increase in cost.
また、3フィールド前のフリッカ位相は、実際にはわずかにズレを持っている。図15は位相ずれの説明図であって、図15(a)はNTSC方式で駆動される撮像素子出力を表し、図15(b)は電源周波数50Hzを用いる蛍光灯の発光周期を表している。一般的にフリッカの位相は3フィールド周期で元に戻るとされているが、実際には図のように3フィールド間で50μsecの位相ズレが残る。従って、過去に溯るに伴いそのズレは大きくなるため、実際の補正効果が失われてしまうという問題点が生じる。 Further, the flicker phase three fields before is actually slightly shifted. 15A and 15B are explanatory diagrams of phase shift, in which FIG. 15A shows an image sensor output driven by the NTSC system, and FIG. 15B shows a light emission cycle of a fluorescent lamp using a power supply frequency of 50 Hz. . In general, it is assumed that the flicker phase returns to the original in a period of three fields, but actually, a phase shift of 50 μsec remains between the three fields as shown in the figure. Accordingly, since the deviation increases with the past, the actual correction effect is lost.
また、動きを検出する際に遅延器1210のメモリの更新を停止し、保持しているフリッカ補正信号を用いればメモリの増加は避けられるが、3フィールド間で50μsecの位相ズレの問題は残ってしまう。
Further, if the update of the memory of the
(問題点2)
図11に示す構成は、被写体の動きを検出した際に、現在のフリッカ補正ゲインと3の倍数フィールド前のフリッカ補正ゲインとを、夫々平滑回路170でゲインの平滑化を図って、フリッカの補正ゲインにする構成である。これも、上記(問題点1)の問題と同じく、3フィールド間で50μsecの位相ズレが残るため、平滑化をすればするほど動きの影響は排除されるが、位相ズレによって出力される補正ゲインも現状のフリッカ位相からのズレが大きくなる。したがって、実際の補正効果が失われてしまうという問題点が生じる。
(Problem 2)
In the configuration shown in FIG. 11, when the movement of the subject is detected, the current flicker correction gain and the flicker correction gain before the multiple field of 3 are smoothed by the smoothing
(問題点3)
図12、図13に示す構成は、影響するフリッカに同期する正弦波を生成してフリッカ補正ゲインとする構成である。このような構成では、正弦波形で補正するため、被写体の変化などによる外乱の影響は受け難いが、実際のフリッカ波形特性と異なる部分が残フリッカとして残ってしまう。
(Problem 3)
The configuration shown in FIGS. 12 and 13 is a configuration in which a sine wave synchronized with the flicker to be affected is generated and used as a flicker correction gain. In such a configuration, since correction is performed with a sine waveform, it is difficult to be affected by disturbance due to changes in the subject, but a portion different from the actual flicker waveform characteristic remains as remaining flicker.
図16は特性差の説明図であって、図16(a)は蛍光灯の発光特性、(b)は生成フリッカ補正ゲイン、(c)は(a)と(b)とを重ねて特性差を表したもの、(d)はその差分を表す。蛍光灯の発光特性は、交流電源の整流性能や蛍光物質の劣化などで、図16(a)に示すように正弦曲線ではなく歪みをもつため、これを正弦特性で一様にキャンセルできず、図16(d)に示すように残フリッカ成分が発生することとなる。この残フリッカ成分は、レベルは小さくなるが、元のフリッカの2倍の周波数となって、画面に影響を残すようになる。 16A and 16B are explanatory diagrams of the characteristic difference. FIG. 16A is a light emission characteristic of the fluorescent lamp, FIG. 16B is a generated flicker correction gain, and FIG. 16C is a characteristic difference obtained by superimposing (a) and (b). (D) represents the difference. The light emission characteristics of fluorescent lamps are not sine curves as shown in FIG. 16 (a) due to the rectification performance of the AC power supply or the deterioration of the fluorescent material. As shown in FIG. 16D, a remaining flicker component is generated. Although the level of the remaining flicker component is small, the frequency becomes twice that of the original flicker, and the screen remains affected.
本発明は、被写体に動きがあっても簡単な回路構成で残フリッカの少ないフリッカ低減装置を提供することを目的とする。 An object of the present invention is to provide a flicker reduction apparatus with a small remaining flicker with a simple circuit configuration even when a subject moves.
本発明の第1のフリッカ低減装置は、画素単位で蓄積時刻の異なる撮像素子の出力におけるフリッカを低減させるフリッカ低減装置であって、水平周期毎に前記撮像素子出力の有効信号区間の平均値を算出する第一の平均値算出手段と、前記第一の平均値算出手段の出力を1フィールド或いは1フレーム単位で保持する、縦続接続された複数の記憶手段と、前記第一の平均値算出手段の出力と、その出力と同一水平周期位置に相当する前記複数の記憶手段の保持値との平均値を算出する第二の平均値算出手段と、前記第一の平均値算出手段の出力と前記第二の平均値算出手段の出力との比率からフリッカに起因する画像レベル変動成分を抽出する第一のフリッカゲイン算出手段と、前記第一のフリッカゲイン算出手段の出力からフリッカ周波数成分を抽出し、そのフリッカ周波数に同期した正弦波形を生成する第二のフリッカゲイン算出手段と、前記第一の平均値算出手段の出力変化から被写体の動きを検出する動き検出手段と、前記動き検出手段の結果から、前記第一のフリッカゲイン算出手段の出力と前記第二のフリッカゲイン算出手段の出力を選択するようにしたゲイン選択手段と、フリッカの影響をキャンセルするように前記ゲイン選択手段の出力を撮像素子出力に乗ずる乗算手段とを備え、前記ゲイン選択手段は、前記撮像素子がNTSC方式で駆動されて、電源周波数が50Hzの照明によるフリッカを受ける場合、前記動き検出手段の結果に基づいて、被写体が静止している時は前記第一のフリッカゲイン算出手段の出力を選択し、被写体が動いている時は前記第二のフリッカゲイン算出手段の出力を選択するものである。 A first flicker reduction apparatus of the present invention is a flicker reduction apparatus that reduces flicker in the output of an image sensor having different accumulation times in units of pixels, and calculates an average value of effective signal sections of the image sensor output for each horizontal period. First average value calculating means for calculating, a plurality of cascaded storage means for holding the output of the first average value calculating means in units of one field or one frame, and the first average value calculating means The second average value calculating means for calculating the average value of the output of the plurality of storage means corresponding to the same horizontal cycle position as the output; the output of the first average value calculating means; First flicker gain calculating means for extracting an image level fluctuation component caused by flicker from a ratio to the output of the second average value calculating means, and flicker frequency from the output of the first flicker gain calculating means. A second flicker gain calculating means for extracting a component and generating a sine waveform synchronized with the flicker frequency; a motion detecting means for detecting a movement of a subject from an output change of the first average value calculating means; Gain selection means for selecting the output of the first flicker gain calculation means and the output of the second flicker gain calculation means from the result of the detection means, and the gain selection means for canceling the influence of flicker Multiplication means for multiplying the output of the image sensor by the output of the image sensor, and the gain selection means, when the image sensor is driven by the NTSC system and receives flicker due to illumination with a power frequency of 50 Hz, Based on this, when the subject is stationary, the output of the first flicker gain calculating means is selected, and when the subject is moving, the second flicker gain calculation means is selected. And selects the output of the flicker gain calculation means.
本発明の第2のフリッカ低減装置は、画素単位で蓄積時刻の異なる撮像素子の出力におけるフリッカを低減させるフリッカ低減装置であって、水平周期毎に前記撮像素子出力の有効信号区間の平均値を算出する第一の平均値算出手段と、前記第一の平均値算出手段の出力を1フィールド或いは1フレーム単位で保持する、縦続接続された複数の記憶手段と、前記第一の平均値算出手段の出力と、その出力と同一水平周期位置に相当する前記複数の記憶手段の保持値との平均値を算出する第二の平均値算出手段と、前記第一の平均値算出手段の出力と前記第二の平均値算出手段の出力との比率からフリッカに起因する画像レベル変動成分を抽出する第一のフリッカゲイン算出手段と、前記第一のフリッカゲイン算出手段の出力からフリッカ周波数成分を抽出し、そのフリッカ周波数に同期した正弦波形を生成する第二のフリッカゲイン算出手段と、前記第一の平均値算出手段の出力変化から被写体の動きを検出する動き検出手段と、前記動き検出手段の結果から、前記第一のフリッカゲイン算出手段の出力と前記第二のフリッカゲイン算出手段の出力を選択するようにしたゲイン選択手段と、フリッカの影響をキャンセルするように前記ゲイン選択手段の出力を撮像素子出力に乗ずる乗算手段とを備え、前記ゲイン選択手段は、前記撮像素子がNTSC方式で駆動されて、電源周波数が60Hzの照明によるフリッカを受ける場合、前記複数の記憶手段の更新は、フィールド周期とフリッカ周期が再度合致するまでの期間を均等に3分割した時刻で更新するようにし、前記動き検出手段の結果に基づいて、被写体が静止している時は前記第二のフリッカゲイン算出手段の出力を選択し、被写体が動いている時は補正ゲインを出力しないよう制御するものである。 A second flicker reduction apparatus of the present invention is a flicker reduction apparatus that reduces flicker in the output of an image sensor having different accumulation times in units of pixels, and calculates an average value of effective signal intervals of the image sensor output for each horizontal period. First average value calculating means for calculating, a plurality of cascaded storage means for holding the output of the first average value calculating means in units of one field or one frame, and the first average value calculating means The second average value calculating means for calculating the average value of the output of the plurality of storage means corresponding to the same horizontal cycle position as the output; the output of the first average value calculating means; First flicker gain calculating means for extracting an image level fluctuation component caused by flicker from a ratio to the output of the second average value calculating means, and flicker frequency from the output of the first flicker gain calculating means. A second flicker gain calculating means for extracting a component and generating a sine waveform synchronized with the flicker frequency; a motion detecting means for detecting a movement of a subject from an output change of the first average value calculating means; Gain selecting means for selecting the output of the first flicker gain calculating means and the output of the second flicker gain calculating means from the result of the detecting means, and the gain selecting means for canceling the influence of flicker The gain selecting means updates the plurality of storage means when the image sensor is driven in the NTSC system and receives flicker due to illumination with a power supply frequency of 60 Hz. Update the time until the field period and flicker period again coincide with each other at the time divided into three parts, Based on the results, but when the subject is stationary selects the output of the second flicker gain calculation unit, when the subject moves to control so as not to output the correction gain.
本発明の第3のフリッカ低減装置は、画素単位で蓄積時刻の異なる撮像素子の出力におけるフリッカを低減させるフリッカ低減装置であって、水平周期毎に前記撮像素子出力の有効信号区間の平均値を算出する第一の平均値算出手段と、前記第一の平均値算出手段の出力を1フィールド或いは1フレーム単位で保持する、縦続接続された複数の記憶手段と、前記第一の平均値算出手段の出力と、その出力と同一水平周期位置に相当する前記複数の記憶手段の保持値との平均値を算出する第二の平均値算出手段と、前記第一の平均値算出手段の出力と前記第二の平均値算出手段の出力との比率からフリッカに起因する画像レベル変動成分を抽出する第一のフリッカゲイン算出手段と、前記第一のフリッカゲイン算出手段の出力からフリッカ周波数成分を抽出し、そのフリッカ周波数に同期した正弦波形を生成する第二のフリッカゲイン算出手段と、前記第一の平均値算出手段の出力変化から被写体の動きを検出する動き検出手段と、前記動き検出手段の結果から、前記第一のフリッカゲイン算出手段の出力と前記第二のフリッカゲイン算出手段の出力を選択するようにしたゲイン選択手段と、フリッカの影響をキャンセルするように前記ゲイン選択手段の出力を撮像素子出力に乗ずる乗算手段とを備え、前記ゲイン選択手段は、前記撮像素子がPAL方式で駆動されて、電源周波数が60Hzの照明によるフリッカを受ける場合、前記動き検出手段の結果に基づいて、被写体が静止している時は前記第一のフリッカゲイン算出手段の出力を選択し、被写体が動いている時には前記第二のフリッカゲイン算出手段の出力を選択するものである。 A third flicker reducing apparatus of the present invention is a flicker reducing apparatus for reducing flicker in an output of an image sensor having different accumulation times in units of pixels, and calculates an average value of effective signal sections of the image sensor output for each horizontal period. First average value calculating means for calculating, a plurality of cascaded storage means for holding the output of the first average value calculating means in units of one field or one frame, and the first average value calculating means The second average value calculating means for calculating the average value of the output of the plurality of storage means corresponding to the same horizontal cycle position as the output; the output of the first average value calculating means; First flicker gain calculating means for extracting an image level fluctuation component caused by flicker from a ratio to the output of the second average value calculating means, and flicker frequency from the output of the first flicker gain calculating means. A second flicker gain calculating means for extracting a component and generating a sine waveform synchronized with the flicker frequency; a motion detecting means for detecting a movement of a subject from an output change of the first average value calculating means; Gain selecting means for selecting the output of the first flicker gain calculating means and the output of the second flicker gain calculating means from the result of the detecting means, and the gain selecting means for canceling the influence of flicker Multiplication means for multiplying the output of the image sensor by the output of the image sensor, and the gain selection means, when the image sensor is driven by the PAL method and receives flicker due to illumination with a power supply frequency of 60 Hz, Based on this, when the subject is stationary, the output of the first flicker gain calculating means is selected, and when the subject is moving, the second flicker gain calculation means is selected. And selects the output of the flicker gain calculation means.
本発明の第4のフリッカ低減装置は、画素単位で蓄積時刻の異なる撮像素子の出力におけるフリッカを低減させるフリッカ低減装置であって、水平周期毎に前記撮像素子出力の有効信号区間の平均値を算出する第一の平均値算出手段と、前記第一の平均値算出手段の出力を1フィールド或いは1フレーム単位で保持する、縦続接続された複数の記憶手段と、前記第一の平均値算出手段の出力と、その出力と同一水平周期位置に相当する前記複数の記憶手段の保持値との平均値を算出する第二の平均値算出手段と、前記第一の平均値算出手段の出力と前記第二の平均値算出手段の出力との比率からフリッカに起因する画像レベル変動成分を抽出する第一のフリッカゲイン算出手段と、前記第一のフリッカゲイン算出手段の出力からフリッカ周波数成分を抽出し、そのフリッカ周波数に同期した正弦波形を生成する第二のフリッカゲイン算出手段と、前記第一の平均値算出手段の出力変化から被写体の動きを検出する動き検出手段と、前記動き検出手段の結果から、前記第一のフリッカゲイン算出手段の出力と前記第二のフリッカゲイン算出手段の出力を選択するようにしたゲイン選択手段と、フリッカの影響をキャンセルするように前記ゲイン選択手段の出力を撮像素子出力に乗ずる乗算手段と、フリッカの周波数を検出する周波数判別手段とを備え、前記ゲイン選択手段は、前記撮像素子がNTSC方式で駆動されているとともに、前記周波数判別手段の判別結果が50Hzである場合、前記動き検出手段の結果に基づいて、被写体が静止している時は前記第一のフリッカゲイン算出手段の出力を選択し、被写体が動いている時は前記第二のフリッカゲイン算出手段の出力を選択するよう制御し、前記撮像素子がNTSC方式で駆動されているとともに、前記周波数判別手段の判別結果が60Hzである場合、前記動き検出手段の結果に基づいて、被写体が静止している時は前記第二のフリッカゲイン算出手段の出力を選択し、被写体が動いている時は補正ゲインを出力しないよう制御するものである。 A fourth flicker reducing apparatus according to the present invention is a flicker reducing apparatus that reduces flicker in the output of an image sensor having different accumulation times in units of pixels, and calculates an average value of effective signal intervals of the image sensor output for each horizontal period. First average value calculating means for calculating, a plurality of cascaded storage means for holding the output of the first average value calculating means in units of one field or one frame, and the first average value calculating means The second average value calculating means for calculating the average value of the output of the plurality of storage means corresponding to the same horizontal cycle position as the output; the output of the first average value calculating means; First flicker gain calculating means for extracting an image level fluctuation component caused by flicker from a ratio to the output of the second average value calculating means, and flicker frequency from the output of the first flicker gain calculating means. A second flicker gain calculating means for extracting a component and generating a sine waveform synchronized with the flicker frequency; a motion detecting means for detecting a movement of a subject from an output change of the first average value calculating means; Gain selecting means for selecting the output of the first flicker gain calculating means and the output of the second flicker gain calculating means from the result of the detecting means, and the gain selecting means for canceling the influence of flicker Multiplication means for multiplying the output of the image sensor by the output of the image sensor, and frequency discrimination means for detecting the frequency of flicker. The gain selection means comprises: When the result is 50 Hz, based on the result of the motion detection means, when the subject is stationary, the first flicker gain calculation is performed. When the subject is moving, control is performed so that the output of the second flicker gain calculating means is selected, and the imaging device is driven by the NTSC system and the frequency discriminating means is discriminated. When the result is 60 Hz, the output of the second flicker gain calculation unit is selected when the subject is stationary based on the result of the motion detection unit, and the correction gain is output when the subject is moving. It controls to not.
本発明によれば、被写体に動きがあっても簡単な回路構成で残フリッカの少ないフリッカ低減装置を提供することが可能である。 According to the present invention, it is possible to provide a flicker reducing device with a small remaining flicker with a simple circuit configuration even when a subject moves.
本発明のフリッカ低減装置は、上記構成を基本として、以下のような態様をとることができる。 The flicker reduction apparatus of the present invention can take the following aspects based on the above configuration.
すなわち、本発明のフリッカ低減装置は、フリッカの周波数を検出する周波数判別手段を、さらに備え、前記ゲイン選択手段は、前記周波数判別手段の判別結果と、前記撮像素子の駆動方式とに基づいて切替え制御される構成とすることができる。 That is, the flicker reducing apparatus of the present invention further includes a frequency discriminating unit that detects a flicker frequency, and the gain selecting unit is switched based on a discrimination result of the frequency discriminating unit and a driving method of the image sensor. It can be configured to be controlled.
(実施の形態1)
図1は、本発明の実施の形態1におけるフリッカ低減装置の構成例を示すブロック図である。本実施の形態では、NTSC方式で駆動する撮像素子において、50Hzの交流電源で点灯する一般的な蛍光灯の影響を受けているものとする。図1に示すように、本実施の形態のフリッカ低減装置は、ライン平均回路11(第一の平均値算出手段)、乗算器14(第一のフリッカゲイン算出手段)、動き検出回路15(動き検出手段)、スイッチ16(ゲイン選択手段)、フリッカ成分抽出回路18(第二のフリッカゲイン算出手段)、フリッカゲイン生成回路19(第二のフリッカゲイン算出手段)、遅延器20、乗算器21(乗算手段)、遅延器120、平均値演算回路130(第二の平均値算出手段)を備えている。
(Embodiment 1)
FIG. 1 is a block diagram showing a configuration example of a flicker reducing apparatus according to
ライン平均回路11は、撮像手段などから伝送される信号Yの1ライン期間の有効信号区間の平均値y0を算出する回路である。
The line
遅延器120は、縦続接続するメモリ120aとメモリ120b(記憶手段)とで構成される遅延器である。メモリ120a及び120bは、1フィールド分のライン平均値を保持可能で、夫々1フィールド期間遅延して出力する。メモリ120aで1フィールド期間遅延したものをy-1とし、メモリ120bでさらに1フィールド期間遅延したものをy-2とする。
The
平均値演算回路130は、ライン平均回路11の出力y0、メモリ120aの出力y-1、メモリ120bの出力y-2の平均値を演算する。すなわち、3フィールド毎の同ライン位置のライン平均値の平均を算出し、フリッカの影響を排除した基準値を作成する。
The average
除算器14は、平均値演算回路130から出力される平均値を現在のライン平均値y0で除算することで、3フィールド分の同ライン位置のライン平均値に対する現在のライン平均値y0の差分比率を求める。求めた差分比率を、第1のフリッカ補正ゲインとする。
動き検出回路15は、ライン平均値y0及びy-1の差分をスレッシュ値と比較して、1フィールド前後の被写体の動きを検出する。
The
フリッカ成分抽出回路18は、除算器14で生成される第1のフリッカ補正ゲインを周波数変換し、フリッカの成分である周波数領域だけを抽出する。
The flicker
フリッカゲイン生成回路19は、フリッカ成分抽出回路18で抽出されたフリッカ成分(周波数領域)に基づいて、三角関数の重畳によりフリッカ周波数に同期する正弦波を生成する。生成した正弦波を、第2のフリッカ補正ゲインとする。
The flicker
スイッチ16は、動き検出回路15の検出結果に基づいて、除算器14から出力される第1のフリッカ補正ゲインと、フリッカゲイン生成回路19から出力される第2のフリッカ補正ゲインとのいずれか一方を選択する。選択したフリッカ補正ゲインを、最終補正ゲイン(補正信号)とする。
The
遅延器20は、入力される信号Yに対して、補正ゲインを生成するまでに相当する遅延分を調整するものである。
The
乗算器21は、遅延器20で時間調整されたY信号に対してフリッカ補正ゲインを乗算することで、フリッカによる変動分を低減した補正出力Y’を出力する。
The
以下、動作について説明する。 The operation will be described below.
CCDイメージセンサーなどの撮像手段から出力される信号Y(画像信号)は、図1に示すフリッカ低減装置に入力されると、ライン平均回路11と遅延器20に入力される。ライン平均回路11では、入力される信号Yの1ライン期間の有効信号区間の平均値y0を算出する。算出された平均値y0は、平均値演算回路130、除算器14、動き検出回路15、および遅延器120におけるメモリ120aに入力される。メモリ120aは、入力される平均値y0を保持し、1フィールド期間後に平均値y-1を出力する。メモリ120aから出力される信号y-1は、平均値演算回路130とメモリ120bに入力される。メモリ120bは、入力される平均値y-1を保持し、1フィールド期間後(つまりy0から2フィールド期間後)に平均値y-2を出力する。メモリ120bから出力される平均値y-2は、平均値演算回路130に入力される。すなわち、平均値演算回路130には、平均値y0,y-1,y-2が入力される。
When the signal Y (image signal) output from the imaging means such as a CCD image sensor is input to the flicker reduction apparatus shown in FIG. 1, it is input to the
平均値演算回路130は、入力される平均値y0,y-1,y-2に基づいて、3フィールド毎の同ライン位置のライン平均値の平均を算出する。平均値演算回路130で算出された平均値は、除算器14に入力される。除算器14は、平均値演算回路130の出力を、ライン平均回路11から出力される平均値y0で除算して、第1のフリッカ補正ゲインを求める。除算器14から出力される第1のフリッカ補正ゲインは、スイッチ16の一方の入力端子と、フリッカ成分抽出回路18に入力される。
The average
フリッカ成分抽出回路18は、除算器14から出力される第1のフリッカ補正ゲインを周波数変換し、フリッカの成分である周波数領域のみ抽出する。フリッカ成分抽出回路18で抽出されたフリッカ成分は、フリッカゲイン生成回路19に入力される。フリッカゲイン生成回路19は、入力されるフリッカ成分(周波数領域)に基づいて、第2のフリッカ補正ゲインを生成する。フリッカゲイン生成回路19で生成された第2のフリッカ補正ゲインは、スイッチ16の他方の入力端子に入力される。
The flicker
一方、動き検出回路15は、入力される平均値y0とy-1との差分と、スレッシュ値とを比較して、1フィールド前後の画像(被写体)の動きを検出する。例えば、被写体が静止している時は平均値y0とy-1との差分が低くなり、被写体が動いている時は平均値y0とy-1との差分は高くなる。動き検出回路15は、差分がスレッシュ値よりも高ければ検出信号として値「1」を出力し、差分がスレッシュ値よりも低ければ検出信号として値「0」を出力する。出力される検出信号は、スイッチ16に入力される。
On the other hand, the
スイッチ16は、値「0」の検出信号が入力される(被写体が静止している時)と、残フリッカ成分の少ない除算器14から出力される第1のフリッカ補正ゲインを選択する。また、値「1」の検出信号が入力される(被写体の動きを検出する時)と、動きによるゲイン変動が補正ゲインに作用しないフリッカゲイン生成回路19から出力される第2のフリッカ補正ゲインを選択する。つまり、スイッチ16からは、第1のフリッカ補正ゲインまたは第2のフリッカ補正ゲインのうちいずれか一方が、最終的な補正信号として出力される。スイッチ16から出力される補正信号は、乗算器21に入力される。
The
乗算器21は、遅延器20で時間調整されたY信号と補正信号とを乗算する。乗算器21からは、遅延器20から出力される信号Yからフリッカによる変動分を低減させた信号Y’が出力される。
以上のように本実施の形態によれば、NTSC方式で50Hzのフリッカを受ける場合、被写体が静止している時は除算器14で生成された第1のフリッカ補正ゲインに基づいてフリッカ補正を行い、被写体が動いている時はフリッカゲイン生成回路19から出力される正弦波の第2のフリッカ補正ゲインに基づいてフリッカ補正を行う構成としたことにより、被写体の動きに影響され難く、且つ残フリッカ成分の少ないフリッカ低減装置を実現することができる。
As described above, according to the present embodiment, when 50 Hz flicker is received in the NTSC system, flicker correction is performed based on the first flicker correction gain generated by the
(実施の形態2)
図2は、PAL方式で駆動する撮像素子出力と60Hzのフリッカとの関係を示す図である。図2(a)は撮像素子の出力波形を表し、破線がフリッカのない場合の出力波形で、実線はフリッカの影響を受けた出力波形を表している。図2(b)は電源周波数60Hzを用いる蛍光灯の発光周期を説明するための波形を表している。
(Embodiment 2)
FIG. 2 is a diagram showing a relationship between an image sensor output driven by the PAL method and 60 Hz flicker. FIG. 2A shows the output waveform of the image sensor, the broken line is the output waveform when there is no flicker, and the solid line shows the output waveform affected by the flicker. FIG. 2B shows a waveform for explaining the light emission period of a fluorescent lamp using a power frequency of 60 Hz.
PAL方式の場合は、図2に示すようにフリッカ位相周期は、撮像素子の出力が5フィールドで合致する。フィールド周波数と電源周波数とが理想的であれば、図15に示すようなNTSC方式で50Hz周期フリッカのようなズレは発生しない。これを踏まえて、実施の形態2の構成について説明する。 In the case of the PAL system, as shown in FIG. 2, the flicker phase period matches when the output of the image sensor is 5 fields. If the field frequency and the power supply frequency are ideal, the NTSC system as shown in FIG. 15 does not cause a shift such as 50 Hz period flicker. Based on this, the configuration of the second embodiment will be described.
図3は、本発明の実施の形態2におけるPAL方式の60Hz周期フリッカ低減装置の構成例のブロック図を示す。図3におけるフリッカ低減装置は、実施の形態1に係るフリッカ低減装置の遅延器120の代わりに遅延器121を備え、平均値演算回路130の代わりに平均値演算回路131を備えた構成である。
FIG. 3 shows a block diagram of a configuration example of a PAL system 60 Hz period flicker reduction apparatus according to
遅延器121は、縦続接続されたメモリ121a、メモリ121b、メモリ121cおよびメモリ121d(記憶手段)を備えている。各メモリ121a〜121dは、1フィールド分のライン平均値を保持可能で、夫々1フィールド期間遅延して出力する。メモリ121aで1フィールド期間遅延した平均値をy-1とし、メモリ121bでさらに1フィールド期間遅延した平均値をy-2とし、メモリ121cで1フィールド期間遅延した平均値をy-3とし、メモリ121dで1フィールド期間遅延した平均値をy-4とする。
The
平均値演算回路131(第二の平均値算出手段)は、ライン平均回路11の出力y0と、メモリ121aの出力y-1と、メモリ121bの出力y-2と、メモリ121cの出力y-3と、メモリ121dの出力y-4との平均値を演算するもので、5フィールド毎の同ライン位置のライン平均値の平均を算出し、フリッカの影響を排除した基準値を作成する。
The average value calculation circuit 131 (second average value calculation means) outputs the output y 0 of the line
その他の構成は実施の形態1に係るフリッカ低減装置と同様のため同一構成部分に同一符号を付して重複した説明は省略する。 Since the other configuration is the same as that of the flicker reduction apparatus according to the first embodiment, the same components are denoted by the same reference numerals, and redundant description is omitted.
以下、動作について説明する。 The operation will be described below.
CCDイメージセンサーなどの撮像手段から出力される信号Y(画像信号)は、図1に示すフリッカ低減装置に入力されると、ライン平均回路11と遅延器20に入力される。ライン平均回路11では、入力される信号Yの1ライン期間の有効信号区間の平均値y0を算出する。算出された平均値y0は、平均値演算回路131、除算器14、動き検出回路15、および遅延器121におけるメモリ121aに入力される。メモリ121aは、入力される平均値y0を保持し、1フィールド期間後に平均値y-1を出力する。メモリ121aから出力される信号y-1は、平均値演算回路131とメモリ121bに入力される。メモリ121bは、入力される平均値y-1を保持し、1フィールド期間後(つまりy0から2フィールド期間後)に平均値y-2を出力する。メモリ121bから出力される平均値y-2は、平均値演算回路131とメモリ121cとに入力される。メモリ121cは、入力される平均値y-2を保持し、1フィールド期間後(つまりy0から3フィールド期間後)に平均値y-3を出力する。メモリ121cから出力される平均値y-3は、平均値演算回路131とメモリ121dとに入力される。メモリ121dは、入力される平均値y-3を保持し、1フィールド期間後(つまりy0から4フィールド期間後)に平均値y-4を出力する。メモリ121dから出力される平均値y-4は、平均値演算回路131に入力される。すなわち、平均値演算回路131には、平均値y0,y-1,y-2,y-3,y-4が入力される。
When the signal Y (image signal) output from the imaging means such as a CCD image sensor is input to the flicker reduction apparatus shown in FIG. 1, it is input to the
平均値演算回路131は、入力される平均値y0,y-1,y-2,y-3,y-4に基づいて、5フィールド毎の同ライン位置のライン平均値の平均を算出する。平均値演算回路131で算出された平均値は、除算器14に入力される。以降の動作は、実施の形態1で説明した動作と同じであるため省略する。
The average
以上のように本実施の形態によれば、PAL方式で60Hzのフリッカを受ける場合、被写体が静止している時は除算器14で生成された第1のフリッカ補正ゲインに基づいてフリッカ補正を行い、被写体が動いている時はフリッカゲイン生成回路19から出力される正弦波の第2のフリッカ補正ゲインに基づいてフリッカ補正を行う構成としたことにより、被写体の動きに影響され難く、且つ残フリッカ成分の少ないフリッカ低減装置を実現することができる。
As described above, according to the present embodiment, when 60 Hz flicker is received by the PAL method, flicker correction is performed based on the first flicker correction gain generated by the
ただし、PAL方式で50Hzフリッカの影響を受ける場合、フィールド周期とフリッカ周期の位相が合致するため、今までの構成では補正できない。 However, when affected by 50 Hz flicker in the PAL system, the phase of the field period and the flicker period coincide with each other and cannot be corrected with the conventional configuration.
(実施の形態3)
図4は、NTSC方式で駆動する撮像素子出力と60Hzのフリッカの関係を示す図である。図4(a)は撮像素子の出力波形を表し、破線がフリッカのない場合の出力波形で、実線はフリッカの影響を受けた場合の出力波形を表している。図4(b)は電源周波数60Hzを用いる蛍光灯の発光周期を説明するための波形を表している。
(Embodiment 3)
FIG. 4 is a diagram showing the relationship between the image sensor output driven by the NTSC system and 60 Hz flicker. FIG. 4A shows the output waveform of the image pickup device, the broken line is the output waveform when there is no flicker, and the solid line shows the output waveform when affected by the flicker. FIG. 4B shows a waveform for explaining the light emission cycle of a fluorescent lamp using a power frequency of 60 Hz.
NTSC方式のフィールド周期(60Hz)と、60Hzのフリッカ位相周期の位相とはほぼ合っているように見えるが、フィールド周波数と電源周波数が理想的であれば、厳密には図4に示すように16.67μsecのズレが生じている。このためフィールド周期とフリッカ周期とが再度合致するまでの周期は、
フリッカ周期8.33ms/ズレ16.67μsec≒500フィールド ・・・(式1)
となり、非常にゆっくり動く明暗として画面上に現れる。これを踏まえて、実施の形態3の構成について説明する。
Although it seems that the NTSC field period (60 Hz) and the phase of the 60 Hz flicker phase period substantially match, if the field frequency and the power supply frequency are ideal, strictly speaking, as shown in FIG. A deviation of .67 μsec has occurred. Therefore, the period until the field period and flicker period again match is
Flicker cycle 8.33 ms / deviation 16.67 μsec≈500 fields (Formula 1)
It appears on the screen as light and darkness that moves very slowly. Based on this, the configuration of the third embodiment will be described.
図5は、本発明の実施の形態3におけるNTSC方式の60Hz周期フリッカ低減装置の構成例のブロック図を示す。図5におけるフリッカ低減装置は、実施の形態1に係るフリッカ低減装置の遅延器120の代わりに、遅延器122を備えている。
FIG. 5 shows a block diagram of a configuration example of an NTSC 60 Hz period flicker reduction apparatus according to
遅延器122は、メモリ122a、メモリ122b、メモリ122c、およびメモリ122d(記憶手段)で構成されている。各メモリ122a〜122dは、1フィールド分のライン平均値を保持可能である。メモリ122aは1フィールド期間周期で更新し、メモリ122b、メモリ122c、およびメモリ122dはフィールド周期とフリッカ周期の位相が再度合致する周期の1/3位相毎に更新するようにする。つまり(式1)の周期の1/3≒167フィールド毎に更新するようにする。
The
メモリ122aで1フィールド期間遅延した平均値をy-1とし、メモリ122bで167フィールド期間遅延した平均値をy-1pとし、メモリ122cで334フィールド期間遅延した平均値をy-2pとし、メモリ122dで500フィールド期間遅延した平均値をy-3pとする。
The average value delayed by one field period in the
平均値演算回路130は、メモリ121bの出力y-1p、メモリ121cの出力y-2p、およびメモリ121dの出力y-3pの平均値を演算するもので、3フィールド分の同ライン位置のライン平均値の平均を算出し、フリッカの影響を排除した基準値を作成する。
Average
除算器14で、平均値演算回路130の出力をメモリ1出力のライン平均値y-1pで除算することで3フィールド分の同ライン位置のライン平均値に対する現在保持中のライン平均値y-1pの差分比率が求めて、これを第1のフリッカ補正ゲインとする。
The
動き検出回路15は、現在のライン平均値y0と1フィールド期間前のライン平均値y-1の差分をスレッシュ値と比較して1フィールド前後の被写体の動きを検出する。
The
その他の構成は実施の形態1に係るフリッカ低減装置と同様のため同一構成部分に同一符号を付して重複した説明は省略する。 Since the other configuration is the same as that of the flicker reduction apparatus according to the first embodiment, the same components are denoted by the same reference numerals, and redundant description is omitted.
NTSC方式で60Hzフリッカを受ける場合は、フリッカによる明暗の動きは非常に遅いため、平均値演算回路130で基準値を算出するメモリの更新期間を167フィールド毎とするが、フィールド周波数もしくは電源周波数が理想的な値からずれていた場合にはフィールド周期とフリッカ周期が再度合致するまでの周期が変わるため、平均値演算回路130で算出される基準値にもズレが生じる。従って、この構成による第1のフリッカ補正ゲインにも、167フィールド毎にしかゲイン値更新が行われないため、そのまま補正ゲインに使うと時間的レベル変化が目につくため使えない。そこで、フリッカ成分抽出回路18において第1のフリッカ補正ゲインに含まれるフリッカ成分のみを抽出し、フリッカゲイン生成回路19で第2のフリッカ補正ゲインを生成し、主としてこれを使用するようにする。
In the case of receiving 60 Hz flicker in the NTSC system, since the light and dark movement due to flicker is very slow, the memory update period for calculating the reference value by the average
また、167フィールド毎にしかゲイン値更新が行われないため、被写体の動きは第1のフリッカ補正ゲインにその期間反映されないか、或いは影響が継続するため、生成する第2のフリッカ補正ゲインにもその影響は及んで、補正ゲインは逆位相でフリッカによる明暗を増大させてしまう可能性もある。 Further, since the gain value is updated only for every 167 fields, the movement of the subject is not reflected in the first flicker correction gain for that period, or the influence continues, so that the second flicker correction gain to be generated is also reflected. As a result, the correction gain has an opposite phase and may increase the brightness due to flicker.
このようなことからスイッチ16の制御は、被写体が静止時には動きによるゲイン変動が直接補正ゲインに作用しない、フリッカゲイン生成回路19から出力される第2のフリッカ補正ゲインを選択し、被写体の動きを検出した場合はゲイン補正しないよう値「1」を選択するようにする。
For this reason, the control of the
以上のように本実施の形態によれば、NTSC方式で60Hzのフリッカを受ける場合、被写体が静止している時にはフリッカゲイン生成回路19から出力される第1のフリッカ補正ゲインに基づいてフリッカ補正処理を行い、被写体に動きが生じている時にはフリッカ補正処理を行わないように処理することで、被写体の動きに影響され難いフリッカ低減装置を実現することができる。
As described above, according to the present embodiment, when 60 Hz flicker is received in the NTSC system, flicker correction processing is performed based on the first flicker correction gain output from the flicker
(実施の形態4)
図6は、本発明の実施の形態4におけるフリッカ低減装置の構成例のブロック図を示す。図6におけるフリッカ低減装置は、実施の形態3に係るフリッカ低減装置に電源周波数判別回路22を付加し、3端子のスイッチ16に代えて4端子のスイッチ23を備えている。
(Embodiment 4)
FIG. 6 shows a block diagram of a configuration example of the flicker reduction apparatus according to
電源周波数判別回路22(周波数判別手段)は、フリッカ成分抽出回路18で抽出されるフリッカ成分が100Hzか120Hzかを判別する。そのどちらでもない場合はフリッカ成分が無いと判断する。電源周波数判別回路22における判別結果は、遅延器123及びスイッチ23に入力される。
The power frequency discriminating circuit 22 (frequency discriminating means) discriminates whether the flicker component extracted by the flicker
遅延器123は、メモリ123a、メモリ123b、メモリ123c、メモリ123d、メモリ123e、およびメモリ123f(記憶手段)を備えている。各メモリ123a〜123fは、1フィールド分のライン平均値を保持可能である。メモリ123aは、1フィールド周期で更新する。メモリ123b、メモリ123c、およびメモリ123dは、50Hzフリッカの場合は1フィールド周期で更新し、60Hzフリッカの場合は167フィールド周期で更新するよう、電源周波数判別回路22の判別結果で切替えられる。メモリ123eとメモリ123fは、PAL方式で60Hzフリッカの場合のみに1フィールド周期での更新し、その他の場合は使用しない。メモリ123aで1フィールド期間遅延した平均値をy-1とし、メモリ123bで遅延した平均値をy-1pとし、メモリ123cで遅延した平均値をy-2pとし、メモリ123dで遅延した平均値をy-3pとし、メモリ123eで遅延した平均値をy-4pとし、メモリ123fで遅延した平均値をy-5pとする。
The
平均値演算回路133(第二の平均値算出手段)は、フリッカの影響を排除した基準値を作成する。NTSC方式で動作する場合は、メモリ123bの出力y-1p、メモリ123cの出力y-2p、およびメモリ123dの出力y-3pの平均値を演算し、3フィールド毎の同ライン位置のライン平均値の平均を算出する。また、PAL方式で動作する場合は、メモリ123bの出力y-1p、メモリ123cの出力y-2p、メモリ123dの出力y-3p、メモリ123eの出力y-4p、およびメモリ123fの出力y-5pの平均値を演算し、5フィールド毎の同ライン位置のライン平均値の平均を算出する。
The average value calculation circuit 133 (second average value calculation means) creates a reference value that eliminates the influence of flicker. When operating in the NTSC system, the average value of the output y -1p of the
スイッチ23は、動き検出回路15の検出結果と電源周波数判別回路22の結果とから、除算器14から出力される第1のフリッカ補正ゲインと、フリッカゲイン生成回路19から出力される第2のフリッカ補正ゲインと、補正しない場合のゲイン(値「1」)とのうちいずれか一つを選択する。選択した補正ゲインを最終的な補正信号とする。
The
その他の構成は実施の形態1及び3に係るフリッカ低減装置と同様のため、同一構成部分に同一符号を付して重複した説明は省略する。
Since other configurations are the same as those of the flicker reduction apparatus according to
スイッチ23の制御は、動き検出回路15の検出結果、および電源周波数判別回路22における判別結果によって、(表1)に示すように切り換えられる。
The control of the
(表1)に示すように、NTSC方式駆動で50Hzフリッカの場合、或いはPAL方式駆動で60Hzフリッカの場合において、被写体が静止時には残フリッカ成分の少ない除算器14の第1のフリッカ補正ゲインを選択する。一方、被写体の動きを検出した場合は、動きによるゲイン変動が補正ゲインに作用しないフリッカゲイン生成回路19の第2のフリッカ補正ゲインを選択するようにする。
As shown in Table 1, the first flicker correction gain of the
また、NTSC方式駆動で60Hzフリッカの場合において、被写体が静止時には動きによるゲイン変動が直接補正ゲインに作用しないフリッカゲイン生成回路19の第2のフリッカ補正ゲインを選択する。一方、被写体の動きを検出した場合は、ゲイン補正しないゲイン(値「1」)を選択し、過補正による副作用が出ないようにする。
Further, in the case of 60 Hz flicker in the NTSC system drive, when the subject is stationary, the second flicker correction gain of the flicker
また、NTSC方式駆動の場合(50Hz、60Hz)は、遅延器123におけるメモリ123a、123b,123c,123dのみを動作させ、平均値演算回路133はメモリ123b,123c,123dから出力される3フィールド分の平均値の平均を算出する。以降の動作は、実施の形態1に記載されているので省略する。また、PAL方式駆動の場合は、遅延器123におけるメモリ123a〜123fを動作させ、平均値演算回路133はメモリ123b,123c,123d,123e,123fの5フィールド分の平均値の平均を算出する。以降の動作は、実施の形態3に記載されているので省略する。
In the case of NTSC drive (50 Hz, 60 Hz), only the
以上のように本実施の形態によれば、被写体の動きを検出するとともに、フリッカ低減装置が搭載される機器の電源周波数を検出し、それらの検出結果に基づいて補正ゲインを選択する構成としたことにより、被写体の動きに影響され難く且つ残フリッカ成分の少ないフリッカ低減装置の提供が可能である。 As described above, according to the present embodiment, the movement of the subject is detected, the power supply frequency of the device on which the flicker reduction device is mounted is detected, and the correction gain is selected based on the detection result. Accordingly, it is possible to provide a flicker reducing apparatus that is hardly affected by the movement of the subject and has a small amount of remaining flicker components.
なお、図6に示す構成にさらにNTSC/PALを自動判別する手段を追加した構成も考えられる。図7は、図6に示す構成に同期周波数検出部24を追加した構成である。同期周波数検出部24は、入力信号Yの同期周波数を検出するもので、1フレーム当たりのライン数をカウントし、信号YがNTSC方式によるものかPAL方式によるものかを判別する。NTSC方式は1フレーム当たりのライン数が525本であるのに対し、PAL方式は1フレーム当たりのライン数が625本である(PAL−Mは除く)。同期周波数検出部24は、水平同期周波数の違いに基づいて、入力される信号YがNTSC方式であるのかPAL方式であるのかを判別する。同期周波数検出部24における検出結果は、遅延器123及びスイッチ23に入力される。
A configuration in which means for automatically discriminating NTSC / PAL is further added to the configuration shown in FIG. FIG. 7 shows a configuration in which a
遅延器123は、同期周波数検出部24における検出結果がNTSC方式である場合は、メモリ123a〜123dを動作させる。また、同期周波数検出部24における検出結果がPAL方式である場合は、メモリ123a〜123fを動作させる。
The
また、スイッチ23は、同期周波数検出部24における検出結果と、動き検出回路15における検出結果とに基づいて、第1のフリッカ補正ゲイン、第2のフリッカ補正ゲイン、補正しない(値「1」)のうちのいずれかを選択する。検出結果と選択内容との組み合わせは(表1)に示す。以降の動作は、実施の形態4の動作と同じであるため省略する。
Further, the
本発明は、フリッカ低減効果が大きいという利点を有し、フリッカ低減装置として撮像装置の分野において利用可能である。 The present invention has an advantage of a large flicker reduction effect, and can be used as a flicker reduction device in the field of imaging devices.
11 ライン平均回路
14 除算器
15 動き検出回路
16、23 スイッチ
18 フリッカ成分抽出回路
19 フリッカゲイン生成回路
20 遅延器
21 乗算器
120 遅延器
120a,120b メモリ
121 遅延器
121a、121b、121c、121d メモリ
122 遅延器
122a、122b、122c、122d メモリ
123 遅延器
123a、123b、123c、123d、123e、123f メモリ
130、131、133 平均値演算回路
11
Claims (5)
水平周期毎に前記撮像素子出力の有効信号区間の平均値を算出する第一の平均値算出手段と、
前記第一の平均値算出手段の出力を1フィールド或いは1フレーム単位で保持する、縦続接続された複数の記憶手段と、
前記第一の平均値算出手段の出力と、その出力と同一水平周期位置に相当する前記複数の記憶手段の保持値との平均値を算出する第二の平均値算出手段と、
前記第一の平均値算出手段の出力と前記第二の平均値算出手段の出力との比率からフリッカに起因する画像レベル変動成分を抽出する第一のフリッカゲイン算出手段と、
前記第一のフリッカゲイン算出手段の出力からフリッカ周波数成分を抽出し、そのフリッカ周波数に同期した正弦波形を生成する第二のフリッカゲイン算出手段と、
前記第一の平均値算出手段の出力変化から被写体の動きを検出する動き検出手段と、
前記動き検出手段の結果から、前記第一のフリッカゲイン算出手段の出力と前記第二のフリッカゲイン算出手段の出力を選択するようにしたゲイン選択手段と、
フリッカの影響をキャンセルするように前記ゲイン選択手段の出力を撮像素子出力に乗ずる乗算手段とを備え、
前記ゲイン選択手段は、
前記撮像素子がNTSC方式で駆動されて、電源周波数が50Hzの照明によるフリッカを受ける場合、
前記動き検出手段の結果に基づいて、被写体が静止している時は前記第一のフリッカゲイン算出手段の出力を選択し、被写体が動いている時は前記第二のフリッカゲイン算出手段の出力を選択する、フリッカ低減装置。 A flicker reduction device that reduces flicker at the output of an image sensor with different accumulation times in units of pixels,
First average value calculating means for calculating an average value of an effective signal section of the image sensor output for each horizontal period;
A plurality of cascaded storage means for holding the output of the first average value calculating means in units of one field or one frame;
A second average value calculating means for calculating an average value of the output of the first average value calculating means and the retained values of the plurality of storage means corresponding to the output and the same horizontal cycle position;
First flicker gain calculating means for extracting an image level variation component caused by flicker from a ratio between an output of the first average value calculating means and an output of the second average value calculating means;
Second flicker gain calculating means for extracting a flicker frequency component from the output of the first flicker gain calculating means and generating a sine waveform synchronized with the flicker frequency;
Movement detecting means for detecting movement of a subject from an output change of the first average value calculating means;
A gain selecting means for selecting an output of the first flicker gain calculating means and an output of the second flicker gain calculating means from the result of the motion detecting means;
Multiplication means for multiplying the output of the gain selection means by the output of the image sensor so as to cancel the influence of flicker,
The gain selection means includes
When the imaging device is driven by the NTSC system and receives flicker due to illumination with a power frequency of 50 Hz,
Based on the result of the motion detection means, the output of the first flicker gain calculation means is selected when the subject is stationary, and the output of the second flicker gain calculation means is selected when the subject is moving. Select a flicker reduction device.
水平周期毎に前記撮像素子出力の有効信号区間の平均値を算出する第一の平均値算出手段と、
前記第一の平均値算出手段の出力を1フィールド或いは1フレーム単位で保持する、縦続接続された複数の記憶手段と、
前記第一の平均値算出手段の出力と、その出力と同一水平周期位置に相当する前記複数の記憶手段の保持値との平均値を算出する第二の平均値算出手段と、
前記第一の平均値算出手段の出力と前記第二の平均値算出手段の出力との比率からフリッカに起因する画像レベル変動成分を抽出する第一のフリッカゲイン算出手段と、
前記第一のフリッカゲイン算出手段の出力からフリッカ周波数成分を抽出し、そのフリッカ周波数に同期した正弦波形を生成する第二のフリッカゲイン算出手段と、
前記第一の平均値算出手段の出力変化から被写体の動きを検出する動き検出手段と、
前記動き検出手段の結果から、前記第一のフリッカゲイン算出手段の出力と前記第二のフリッカゲイン算出手段の出力を選択するようにしたゲイン選択手段と、
フリッカの影響をキャンセルするように前記ゲイン選択手段の出力を撮像素子出力に乗ずる乗算手段とを備え、
前記ゲイン選択手段は、
前記撮像素子がNTSC方式で駆動されて、電源周波数が60Hzの照明によるフリッカを受ける場合、
前記複数の記憶手段の更新は、フィールド周期とフリッカ周期が再度合致するまでの期間を均等に3分割した時刻で更新するようにし、
前記動き検出手段の結果に基づいて、被写体が静止している時は前記第二のフリッカゲイン算出手段の出力を選択し、被写体が動いている時は補正ゲインを出力しないよう制御する、フリッカ低減装置。 A flicker reduction device that reduces flicker at the output of an image sensor with different accumulation times in units of pixels,
First average value calculating means for calculating an average value of an effective signal section of the image sensor output for each horizontal period;
A plurality of cascaded storage means for holding the output of the first average value calculating means in units of one field or one frame;
A second average value calculating means for calculating an average value of the output of the first average value calculating means and the retained values of the plurality of storage means corresponding to the output and the same horizontal cycle position;
First flicker gain calculating means for extracting an image level variation component caused by flicker from a ratio between an output of the first average value calculating means and an output of the second average value calculating means;
Second flicker gain calculating means for extracting a flicker frequency component from the output of the first flicker gain calculating means and generating a sine waveform synchronized with the flicker frequency;
Movement detecting means for detecting movement of a subject from an output change of the first average value calculating means;
A gain selecting means for selecting an output of the first flicker gain calculating means and an output of the second flicker gain calculating means from the result of the motion detecting means;
Multiplication means for multiplying the output of the gain selection means by the output of the image sensor so as to cancel the influence of flicker,
The gain selection means includes
When the image sensor is driven by the NTSC system and receives flicker due to illumination with a power frequency of 60 Hz,
The update of the plurality of storage means is performed at a time obtained by equally dividing the period until the field period and flicker period again coincide with each other into three parts,
Based on the result of the motion detection means, the output of the second flicker gain calculation means is selected when the subject is stationary, and control is performed so as not to output the correction gain when the subject is moving. Flicker reduction apparatus.
水平周期毎に前記撮像素子出力の有効信号区間の平均値を算出する第一の平均値算出手段と、
前記第一の平均値算出手段の出力を1フィールド或いは1フレーム単位で保持する、縦続接続された複数の記憶手段と、
前記第一の平均値算出手段の出力と、その出力と同一水平周期位置に相当する前記複数の記憶手段の保持値との平均値を算出する第二の平均値算出手段と、
前記第一の平均値算出手段の出力と前記第二の平均値算出手段の出力との比率からフリッカに起因する画像レベル変動成分を抽出する第一のフリッカゲイン算出手段と、
前記第一のフリッカゲイン算出手段の出力からフリッカ周波数成分を抽出し、そのフリッカ周波数に同期した正弦波形を生成する第二のフリッカゲイン算出手段と、
前記第一の平均値算出手段の出力変化から被写体の動きを検出する動き検出手段と、
前記動き検出手段の結果から、前記第一のフリッカゲイン算出手段の出力と前記第二のフリッカゲイン算出手段の出力を選択するようにしたゲイン選択手段と、
フリッカの影響をキャンセルするように前記ゲイン選択手段の出力を撮像素子出力に乗ずる乗算手段とを備え、
前記ゲイン選択手段は、
前記撮像素子がPAL方式で駆動されて、電源周波数が60Hzの照明によるフリッカを受ける場合、
前記動き検出手段の結果に基づいて、被写体が静止している時は前記第一のフリッカゲイン算出手段の出力を選択し、被写体が動いている時には前記第二のフリッカゲイン算出手段の出力を選択する、フリッカ低減装置。 A flicker reduction device that reduces flicker at the output of an image sensor with different accumulation times in units of pixels,
First average value calculating means for calculating an average value of an effective signal section of the image sensor output for each horizontal period;
A plurality of cascaded storage means for holding the output of the first average value calculating means in units of one field or one frame;
A second average value calculating means for calculating an average value of the output of the first average value calculating means and the retained values of the plurality of storage means corresponding to the output and the same horizontal cycle position;
First flicker gain calculating means for extracting an image level variation component caused by flicker from a ratio between an output of the first average value calculating means and an output of the second average value calculating means;
Second flicker gain calculating means for extracting a flicker frequency component from the output of the first flicker gain calculating means and generating a sine waveform synchronized with the flicker frequency;
Movement detecting means for detecting movement of a subject from an output change of the first average value calculating means;
A gain selecting means for selecting an output of the first flicker gain calculating means and an output of the second flicker gain calculating means from the result of the motion detecting means;
Multiplication means for multiplying the output of the gain selection means by the output of the image sensor so as to cancel the influence of flicker,
The gain selection means includes
When the image sensor is driven by the PAL method and receives flicker due to illumination with a power supply frequency of 60 Hz,
Based on the result of the motion detection means, the output of the first flicker gain calculation means is selected when the subject is stationary, and the output of the second flicker gain calculation means is selected when the subject is moving. Flicker reduction device.
前記ゲイン選択手段は、前記周波数判別手段の判別結果と、前記撮像素子の駆動方式とに基づいて切替え制御される、請求項1〜3のいずれかに記載のフリッカ低減装置。 A frequency discrimination means for detecting the flicker frequency;
The flicker reduction apparatus according to claim 1, wherein the gain selection unit is controlled to be switched based on a determination result of the frequency determination unit and a driving method of the imaging element.
水平周期毎に前記撮像素子出力の有効信号区間の平均値を算出する第一の平均値算出手段と、
前記第一の平均値算出手段の出力を1フィールド或いは1フレーム単位で保持する、縦続接続された複数の記憶手段と、
前記第一の平均値算出手段の出力と、その出力と同一水平周期位置に相当する前記複数の記憶手段の保持値との平均値を算出する第二の平均値算出手段と、
前記第一の平均値算出手段の出力と前記第二の平均値算出手段の出力との比率からフリッカに起因する画像レベル変動成分を抽出する第一のフリッカゲイン算出手段と、
前記第一のフリッカゲイン算出手段の出力からフリッカ周波数成分を抽出し、そのフリッカ周波数に同期した正弦波形を生成する第二のフリッカゲイン算出手段と、
前記第一の平均値算出手段の出力変化から被写体の動きを検出する動き検出手段と、
前記動き検出手段の結果から、前記第一のフリッカゲイン算出手段の出力と前記第二のフリッカゲイン算出手段の出力を選択するようにしたゲイン選択手段と、
フリッカの影響をキャンセルするように前記ゲイン選択手段の出力を撮像素子出力に乗ずる乗算手段と、
フリッカの周波数を検出する周波数判別手段とを備え、
前記ゲイン選択手段は、
前記撮像素子がNTSC方式で駆動されているとともに、前記周波数判別手段の判別結果が50Hzである場合、前記動き検出手段の結果に基づいて、被写体が静止している時は前記第一のフリッカゲイン算出手段の出力を選択し、被写体が動いている時は前記第二のフリッカゲイン算出手段の出力を選択するよう制御し、
前記撮像素子がNTSC方式で駆動されているとともに、前記周波数判別手段の判別結果が60Hzである場合、前記動き検出手段の結果に基づいて、被写体が静止している時は前記第二のフリッカゲイン算出手段の出力を選択し、被写体が動いている時は補正ゲインを出力しないよう制御する、フリッカ低減装置。 A flicker reduction device that reduces flicker at the output of an image sensor with different accumulation times in units of pixels,
First average value calculating means for calculating an average value of an effective signal section of the image sensor output for each horizontal period;
A plurality of cascaded storage means for holding the output of the first average value calculating means in units of one field or one frame;
A second average value calculating means for calculating an average value of the output of the first average value calculating means and the retained values of the plurality of storage means corresponding to the output and the same horizontal cycle position;
First flicker gain calculating means for extracting an image level variation component caused by flicker from a ratio between an output of the first average value calculating means and an output of the second average value calculating means;
Second flicker gain calculating means for extracting a flicker frequency component from the output of the first flicker gain calculating means and generating a sine waveform synchronized with the flicker frequency;
Movement detecting means for detecting movement of a subject from an output change of the first average value calculating means;
A gain selecting means for selecting an output of the first flicker gain calculating means and an output of the second flicker gain calculating means from the result of the motion detecting means;
Multiplication means for multiplying the output of the gain selection means by the output of the image sensor so as to cancel the influence of flicker;
Frequency discriminating means for detecting flicker frequency,
The gain selection means includes
When the imaging element is driven in the NTSC system and the discrimination result of the frequency discrimination means is 50 Hz, the first flicker gain is obtained when the subject is stationary based on the result of the motion detection means. Select the output of the calculation means, and when the subject is moving, control to select the output of the second flicker gain calculation means,
When the image sensor is driven by the NTSC system and the discrimination result of the frequency discrimination means is 60 Hz, the second flicker gain is obtained when the subject is stationary based on the result of the motion detection means. A flicker reduction device that selects an output of a calculation means and controls not to output a correction gain when the subject is moving.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007249694A JP2009081684A (en) | 2007-09-26 | 2007-09-26 | Flicker reduction device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007249694A JP2009081684A (en) | 2007-09-26 | 2007-09-26 | Flicker reduction device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009081684A true JP2009081684A (en) | 2009-04-16 |
Family
ID=40656115
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007249694A Withdrawn JP2009081684A (en) | 2007-09-26 | 2007-09-26 | Flicker reduction device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009081684A (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012104932A1 (en) | 2011-02-04 | 2012-08-09 | パナソニック株式会社 | Flicker compensation device, flicker compensation method, and flicker compensation program |
JP2012178685A (en) * | 2011-02-25 | 2012-09-13 | Olympus Corp | Flicker correction method and image processor |
JP2012204872A (en) * | 2011-03-23 | 2012-10-22 | Canon Inc | Imaging device and imaging method |
WO2013084605A1 (en) * | 2011-12-08 | 2013-06-13 | ソニー株式会社 | Image processing device, image processing method, and program |
US8542292B2 (en) | 2011-02-04 | 2013-09-24 | Panasonic Corporation | Flicker correction device, flicker correction method and flicker correction program |
US8842195B2 (en) | 2010-12-22 | 2014-09-23 | Canon Kabushiki Kaisha | Image pickup apparatus having image pickup element that includes pixels used as both focus detection pixels and image pickup pixels |
WO2016098155A1 (en) * | 2014-12-15 | 2016-06-23 | オリンパス株式会社 | Image processing apparatus and image processing method |
WO2020026595A1 (en) * | 2018-08-02 | 2020-02-06 | ソニー株式会社 | Signal processing device, imaging device, and signal processing method |
-
2007
- 2007-09-26 JP JP2007249694A patent/JP2009081684A/en not_active Withdrawn
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8842195B2 (en) | 2010-12-22 | 2014-09-23 | Canon Kabushiki Kaisha | Image pickup apparatus having image pickup element that includes pixels used as both focus detection pixels and image pickup pixels |
EP2509301A4 (en) * | 2011-02-04 | 2014-07-02 | Panasonic Corp | Flicker compensation device, flicker compensation method, and flicker compensation program |
JP2012165118A (en) * | 2011-02-04 | 2012-08-30 | Panasonic Corp | Flicker correction device, flicker correction method and flicker correction program |
EP2509301A1 (en) * | 2011-02-04 | 2012-10-10 | Panasonic Corporation | Flicker compensation device, flicker compensation method, and flicker compensation program |
WO2012104932A1 (en) | 2011-02-04 | 2012-08-09 | パナソニック株式会社 | Flicker compensation device, flicker compensation method, and flicker compensation program |
CN102754427A (en) * | 2011-02-04 | 2012-10-24 | 松下电器产业株式会社 | Flicker compensation device, flicker compensation method, and flicker compensation program |
US8542292B2 (en) | 2011-02-04 | 2013-09-24 | Panasonic Corporation | Flicker correction device, flicker correction method and flicker correction program |
JP2012178685A (en) * | 2011-02-25 | 2012-09-13 | Olympus Corp | Flicker correction method and image processor |
JP2012204872A (en) * | 2011-03-23 | 2012-10-22 | Canon Inc | Imaging device and imaging method |
CN103975578A (en) * | 2011-12-08 | 2014-08-06 | 索尼公司 | Image processing device, image processing method, and program |
WO2013084605A1 (en) * | 2011-12-08 | 2013-06-13 | ソニー株式会社 | Image processing device, image processing method, and program |
WO2016098155A1 (en) * | 2014-12-15 | 2016-06-23 | オリンパス株式会社 | Image processing apparatus and image processing method |
JP6013667B1 (en) * | 2014-12-15 | 2016-10-25 | オリンパス株式会社 | Image processing apparatus and image processing method |
CN106063251A (en) * | 2014-12-15 | 2016-10-26 | 奥林巴斯株式会社 | Image processing apparatus and image processing method |
US9681061B2 (en) | 2014-12-15 | 2017-06-13 | Olympus Corporation | Image-processing device and image-processing method |
CN106063251B (en) * | 2014-12-15 | 2017-08-25 | 奥林巴斯株式会社 | Image processing apparatus and image processing method |
WO2020026595A1 (en) * | 2018-08-02 | 2020-02-06 | ソニー株式会社 | Signal processing device, imaging device, and signal processing method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2009081684A (en) | Flicker reduction device | |
JP4904749B2 (en) | Flicker reduction method, flicker reduction circuit, and imaging apparatus | |
KR100515225B1 (en) | Flicker correction apparatus and flicker correction method, and recording medium storing flicker correction program | |
JP2004222228A (en) | Flicker reduction method, image pickup device and flicker reduction circuit | |
JP2009164774A (en) | Image processing apparatus, image processing method, program, and storage medium | |
US8885092B2 (en) | Camera device, exposure control method, and program | |
JPWO2010044301A1 (en) | Lighting control method, clock generation method, clock generation circuit, light source control circuit, and display device | |
JP2000224468A (en) | Video signal processor | |
JP2012194404A (en) | Display control device, image display system and display control method | |
JP5296112B2 (en) | Flicker correction apparatus, flicker correction method, and flicker correction program | |
JP4331026B2 (en) | Flicker noise detection method, flicker noise reduction method, and flicker noise detection circuit | |
JP2012054844A (en) | Imaging apparatus | |
JP4323343B2 (en) | Imaging apparatus and flicker detection method | |
JP2005160012A (en) | Automatic contrast limiting circuit and method thereof | |
US20140043502A1 (en) | Flicker noise detection apparatus, flicker noise detection method, and computer-readable storage device storing flicker noise detection program | |
JP2010050535A (en) | Imaging apparatus | |
US8542292B2 (en) | Flicker correction device, flicker correction method and flicker correction program | |
JP4982257B2 (en) | Image display device | |
KR20220121712A (en) | Image capturing apparatus capable of detecting flicker due to periodic change in light amount of object, flicker detecting method, and non-transitory computer-readable storage medium | |
EP1983502A2 (en) | Backlight control apparatus and backlight control method | |
WO2016098155A1 (en) | Image processing apparatus and image processing method | |
JP2012222739A (en) | Flicker correction device, flicker correction method and flicker correction program | |
JP2012220889A (en) | Dimmer control device and display control device | |
JP2007336329A (en) | Image sensing device | |
JP5331020B2 (en) | Display control apparatus, display system, and display control method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20101207 |