JP5169240B2 - Imaging apparatus and image shake correction apparatus - Google Patents
Imaging apparatus and image shake correction apparatus Download PDFInfo
- Publication number
- JP5169240B2 JP5169240B2 JP2008009357A JP2008009357A JP5169240B2 JP 5169240 B2 JP5169240 B2 JP 5169240B2 JP 2008009357 A JP2008009357 A JP 2008009357A JP 2008009357 A JP2008009357 A JP 2008009357A JP 5169240 B2 JP5169240 B2 JP 5169240B2
- Authority
- JP
- Japan
- Prior art keywords
- time constant
- angular velocity
- pass filter
- value
- absolute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Adjustment Of Camera Lenses (AREA)
- Studio Devices (AREA)
Description
本発明は、角速度センサとハイパスフィルタとを用いて手振れに起因する角速度の検出を行い、像振れを補正する撮像装置及び画像振れ補正装置の改良に関する。 The present invention relates to an improvement in an image pickup apparatus and an image shake correction apparatus that detect an image shake and detect an image shake by using an angular velocity sensor and a high-pass filter.
従来から、撮像装置には、像振れを補正する画像振れ補正装置を有するものが知られている。その画像振れ補正装置は、角速度センサとハイパスフィルタとを用いて手振れに基づく角速度の検出を行っている(例えば、特許文献1参照。)。その角速度センサはカメラの振動によるぶれを検出してぶれ信号を出力する。 2. Description of the Related Art Conventionally, an imaging apparatus having an image shake correction apparatus that corrects image shake is known. The image blur correction apparatus detects angular velocity based on camera shake using an angular velocity sensor and a high-pass filter (see, for example, Patent Document 1). The angular velocity sensor detects a shake due to camera vibration and outputs a shake signal.
ハイパスフィルタは、コンデンサと抵抗器とから構成され、角速度センサのドリフト等に起因するぶれ信号のオフセット(直流成分)を除去するために用いられる。そのハイパスフィルタ通過後のぶれ信号(ぶれに起因する交流成分)は角速度信号として用いられる。この角速度信号に基づき画像振れの補正が行われる。
ところで、手ぶれに起因するぶれ信号の周波数は一般的に1Hz程度〜10数Hz程度である。従って、ハイパスフィルタのカットオフ周波数が1Hzより十分に小さくないと、手振れに起因する画像振れの補正が正確にできない。そこで、ハイパスフィルタのカットオフ周波数は0.1Hz程度に設定されている。 By the way, the frequency of a shake signal caused by camera shake is generally about 1 Hz to about 10 Hz. Therefore, unless the cut-off frequency of the high-pass filter is sufficiently lower than 1 Hz, it is not possible to accurately correct image blur due to camera shake. Therefore, the cutoff frequency of the high pass filter is set to about 0.1 Hz.
従って、そのハイパスフィルタの時定数は、τ=1/(2π×0.1)=1.6秒程度である。しかし、このような時定数に設定すると、角速度信号に大きな変動があったときに、角速度信号が整定するのに6×τ=約10秒程度を要することになる。 Therefore, the time constant of the high-pass filter is about τ = 1 / (2π × 0.1) = 1.6 seconds. However, if such a time constant is set, it takes about 6 × τ = about 10 seconds for the angular velocity signal to settle when there is a large fluctuation in the angular velocity signal.
従って、例えば、図1に示すように、カメラ本体1を左右に移動させながら撮影するパンニング撮影時には、カメラ1の方向変化に伴って以下に説明する現象が生じる。
Therefore, for example, as shown in FIG. 1, during panning shooting in which the
その図1において、符号A1は静止状態のカメラ本体1を素早く被写体に向けるための回動操作開始期間、符号A2はパンニング撮影のためにカメラ本体1を一定角速度で回動させる回動撮影期間、符号A3はパンニング撮影を終了してからカメラ本体1を回動停止させる回動操作終了期間、符号A4はカメラ本体1の回動停止後、カメラ本体1が静止状態に保たれている静止状態期間を示している。
In FIG. 1, reference numeral A1 denotes a rotation operation start period for quickly turning the
そのパンニング撮影の際のカメラ本体1の実際の角速度(真の角速度)の変化曲線Qが図2に実線で示され、角速度信号の変化曲線Q’が破線で示されている。その図2において、横軸の単位は時間であり、縦軸の単位は角速度又は電圧に対応するスケール値である。
A change curve Q of the actual angular velocity (true angular velocity) of the
回動操作開始期間A1では、パンニング撮影準備のためのカメラ本体1の素早い回動操作により、カメラ本体1の実際の角速度は符号Q1で示すようにゼロから上昇する。回動撮影期間A2では、カメラ本体1の実際の角速度は符号Q2で示すように一定となる。回動操作終了期間A3では、カメラ本体1の回動停止のために、カメラ本体1の実際の角速度は符号Q3で示すように下降する。静止状態期間A4では、カメラ本体1の実際の角速度は符号Q4で示すようにゼロとなる。
In the rotation operation start period A1, the actual angular velocity of the
なお、カメラ本体1を被写体に向けるためにカメラ本体1をチルティングさせてチルティング撮影を行う際のカメラ本体1の角速度の変化もパンニング撮影時のカメラ本体1の実際の角速度の変化と同様の変化を示す。
Note that the change in angular velocity of the
これに対して、角速度センサから出力される角速度信号Q’は、回動操作開始期間A1では、カメラ本体1が静止状態から一定方向に加速されて回動されるので、ハイパスフィルタのコンデンサに電荷が充電され、符号Q1’で示すように上昇する。回動撮影期間A2では、ハイパスフィルタのコンデンサに蓄積されている電荷がハイパスフィルタの時定数に従って放電されるために、角速度信号Q’は符号Q2’で示すように減少する。回動操作終了期間A3ではカメラ本体1の角速度Qが減速されるので(カメラ本体1が逆方向に加速されるので)、ハイパスフィルタのコンデンサの電荷が急激に放電され、角速度信号Q’は符号Q3’で示すように急激に減少すると共に、コンデンサは逆方向に充電される。静止状態期間A4では、カメラ本体1の実際の角速度Qは符号Q4で示すようにゼロとなるので、ハイパスフィルタのコンデンサに蓄積されている電荷がハイパスフィルタの時定数に従って放電され、角速度信号Q’は符号Q4’で示すように上昇する。
On the other hand, the angular velocity signal Q ′ output from the angular velocity sensor is charged in the capacitor of the high-pass filter because the
すなわち、回動操作開始期間A1と回動操作終了期間A3とでは、カメラ本体1の実際の角速度Qの変化と角速度信号Q’の変化とが対応しているが、一定角速度であるはずべきの回動撮影期間A2ではハイパスフィルタの時定数τに基づく電荷の放電により角速度信号Q’が減少するために角速度信号Q’が減速しているように観測される。
That is, in the rotation operation start period A1 and the rotation operation end period A3, the actual change in the angular velocity Q of the
その一方、、カメラ本体1が静止しているはずべきの静止状態期間A4では、ハイパスフィルタの時定数τに基づく電荷の放電により角速度信号Q’が整定するまでの間、角速度信号Q’が加速しているように観測される。
On the other hand, in the stationary state period A4 in which the
従って、例えば、静止状態期間A4への移行直後に撮影を行うと、実際はカメラ本体1は静止しているにもかかわらず、角速度信号Q’が整定しきっておらず、カメラ本体1が大きく動いているような角速度信号Q’が得られるため、この角速度信号Q’に基づいて手振れ補正を行うと、大きくぶれた写真になる。
Therefore, for example, if shooting is performed immediately after the transition to the stationary state period A4, the
そこで、従来の撮像装置には、手振れ/パンチルト判別手段が設けられている。この手振れ/パンチルト判別手段によりパン/チルトと判別されたとき、ハイパスフィルタに蓄積されている電荷を急激に放電させて、ハイパスフィルタから出力される角速度信号Q’が時定数により整定するのを待たずに撮影できるようにしている。 Therefore, the conventional image pickup apparatus is provided with a camera shake / pan tilt determination means. When the hand shake / pan tilt discriminating means discriminates the pan / tilt, the electric charge accumulated in the high pass filter is abruptly discharged, and the angular velocity signal Q ′ output from the high pass filter waits for the time constant to settle. So that you can shoot without
この手振れ/パンチルト判別手段では、角速度信号が所定の閾値より大きい値であることが所定時間持続したときにパンニング又はチルティング撮影を行っていると判定している。 This hand shake / pan tilt determination means determines that panning or tilting photography is being performed when the angular velocity signal has a value greater than a predetermined threshold for a predetermined time.
しかしながら、この手振れ/パンチルト判別手段では、カメラ本体1の実際の角速度が加速中または減速中であるかどうかにかかわらず、角速度信号の大きさのみでパンニング撮影(又はチルティング撮影)であると判別するため、カメラ本体1の実際の加速が終わって等速運動に移行するタイミング、カメラ本体1の減速が終って静止状態に移行するタイミングを正しく検出できず、カメラ本体1の等速運動中の撮影(流し撮り)やカメラ本体1の静止直後の撮影時の手振れ補正に支障をきたすことになる。
However, with this camera shake / pan tilt discrimination means, it is discriminated that panning photography (or tilting photography) is performed only by the magnitude of the angular velocity signal, regardless of whether the actual angular velocity of the
本発明は、上記の事情に鑑みて為されたもので、流し撮りやパンニング撮影直後、チルティングの手振れ補正を正確に行うことができる撮像装置及び画像ぶれ補正装置を提供することを目的とする。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide an imaging device and an image blur correction device that can accurately perform tilting shake correction immediately after panning or panning shooting. .
請求項1に記載の撮像装置は、カメラ本体の振動を検出してぶれ信号を出力する角速度センサと、前記ぶれ信号に含まれている直流成分を第1の時定数に基づきカットして基準電圧に対する変動分を角速度信号として出力するハイパスフィルタと、前記ハイパスフィルタに蓄積されている電荷を前記第1の時定数よりも小さい第2の時定数に従って放電させるアナログスイッチと、前記角速度信号が入力されて該角速度信号に基づき画像のぶれを補正するための演算を行う演算部と、前記カメラ本体の角加速度の時間的変化を検出するために前記角速度信号を一定時間毎にサンプリングすると共に該角速度信号のサンプリング値に基づき微分値を求めてその大きさの時間的変化を検出する検出部と、該検出部の検出結果に基づき前記アナログスイッチをオン・オフ制御することにより前記ハイパスフィルタの時定数を前記第1の時定数と前記第2の時定数との間で切り替える切り替え部とを有し、前記検出部には予め定められた第1絶対閾値と第2絶対閾値とが設けられ、前記検出部は前記微分値の大きさの絶対値が前記第1絶対閾値以上になった時点から該第1絶対閾値よりも小さくなった時点までの継続時間を演算して該継続時間が予め定められた閾値時間よりも大きいか否かを判断すると共にハイパスフィルタの出力の絶対値が第2絶対閾値よりも大きいか否かを判断する判断部を有し、前記切り替え部は、前記判断部が前記微分値の大きさの絶対値が前記第1絶対閾値よりも小さくて前記継続時間が前記閾値時間よりも大きいと判断したときでかつハイパスフィルタの出力の絶対値が前記第2絶対閾値よりも大きい場合に前記ハイパスフィルタに蓄積された電荷を第2の時定数に従って放電させるために前記アナログスイッチをオンさせることを特徴とする。
請求項2に記載の撮像装置は、前記切り替え部は、前記ハイパスフィルタの時定数を前記第2の時定数に切り替え後、前記第1の時定数よりも短く前記第2の時定数よりも長い設定期間内に、前記第1の時定数に復帰させることを特徴とする。
請求項3に記載の撮像装置は、前記演算部は、露光中は、前記ハイパスフィルタの時定数の変更を禁止することを特徴とする。
請求項4に記載の撮像装置は、前記演算部は、前記ハイパスフィルタが前記第2の時定数に設定されている前記設定期間中に、露光開始要求を受けたときに、前記設定期間の経過直後に露光を開始させることを特徴とする。
請求項5に記載の画像ぶれ補正装置は、カメラ本体の振動を検出してぶれ信号を出力する角速度センサと、前記ぶれ信号に含まれている直流成分を第1の時定数に基づきカットして基準電圧に対する変動分を角速度信号として出力するハイパスフィルタと、前記ハイパスフィルタに蓄積されている電荷を前記第1の時定数よりも小さい第2の時定数に従って放電させるアナログスイッチと、前記角速度信号が入力されて該角速度信号に基づき画像のぶれを補正するための演算を行う演算部と、前記カメラ本体の角加速度の時間的変化を検出するために前記角速度信号を一定時間毎にサンプリングすると共に該角速度信号のサンプリング値に基づき微分値を求めてその大きさの時間的変化を検出する検出部と、該検出部の検出結果に基づき前記アナログスイッチをオン・オフ制御することにより前記ハイパスフィルタの時定数を前記第1の時定数と前記第2の時定数との間で切り替える切り替え部とを有し、前記検出部には予め定められた第1絶対閾値と第2絶対閾値とが設けられ、該検出部は前記微分値の大きさの絶対値が前記第1絶対閾値以上になった時点から該第1絶対閾値よりも小さくなった時点までの継続時間を演算して該継続時間が予め定められた閾値時間よりも大きいか否かを判断すると共にハイパスフィルタの出力の絶対値が第2絶対閾値よりも大きいか否かを判断する判断部を有し、前記切り替え部は、前記判断部が前記微分値の大きさの絶対値が前記第1絶対閾値よりも小さくて前記継続時間が前記閾値時間よりも大きいと判断したときでかつハイパスフィルタの出力の絶対値が前記第2絶対閾値よりも大きい場合に前記ハイパスフィルタに蓄積された電荷を第2の時定数に従って放電させるために前記アナログスイッチをオンさせることを特徴とする。
The imaging apparatus according to
The imaging apparatus according to
According to a third aspect of the present invention, the calculation unit prohibits a change in the time constant of the high-pass filter during exposure.
The imaging apparatus according to
An image blur correction apparatus according to
請求項1ないし請求項4に記載の撮像装置、請求項5に記載の画像ぶれ補正装置によれば、角速度信号の大きさも考慮に入れて、パンニング撮影又はチルティング撮影の判断を行うようにしたので、カメラ本体の加速終了、減速終了を請求項1ないし請求項9に記載のものよりもより一層正確に検出して、流し撮り撮影やパンニング撮影直後の手ぶれ補正をより一層確実に行うことができる。
According to the imaging device according to any one of
以下に、図面を参照しつつ本発明に係わる撮像装置としてのデジタルカメラの実施例を図面を参照しつつ説明する。 Embodiments of a digital camera as an image pickup apparatus according to the present invention will be described below with reference to the drawings.
(実施例1)
図3は本発明に係わる撮像装置の手振れ補正回路の制御ブロック図である。その図3において、11は角速度センサ、12はハイパスフィルタ回路部、13、13’は増幅回路部、14、14’はA/D変換回路、15はデジタル演算部、16は振れ補正装置、17は撮像部、18は撮像制御部である。角速度センサ11は例えばヨー方向のカメラの振れを検出するジャイロセンサS1、ピッチ方向のカメラの振れを検出するジャイロセンサS2とから構成されている。
Example 1
FIG. 3 is a control block diagram of a camera shake correction circuit of the imaging apparatus according to the present invention. In FIG. 3, 11 is an angular velocity sensor, 12 is a high-pass filter circuit unit, 13 and 13 'are amplification circuit units, 14 and 14' are A / D conversion circuits, 15 is a digital operation unit, 16 is a shake correction device, 17 Is an imaging unit, and 18 is an imaging control unit. The angular velocity sensor 11 includes, for example, a gyro sensor S1 that detects camera shake in the yaw direction and a gyro sensor S2 that detects camera shake in the pitch direction.
ハイパスフィルタ回路部12は、ここでは、オフセット電圧除去用のハイパスフィルタ部HPF1、HPF2とから構成されている。ハイパスフィルタ部HPF1はコンデンサC11と抵抗R11と抵抗R12とアナログスイッチASW1とから構成されている。ハイパスフィルタ部HPF2はコンデンサC21と抵抗R21と抵抗R22とアナログスイッチASW2とから構成されている。
Here, the high-pass
ジャイロセンサS1の第1端子S1aは電源用のコンデンサC13の+側に接続され、コンデンサC13の−側はアースされている。コンデンサC13の+側には所定の電圧が印加されている。ジャイロセンサS2の第2端子S2aは電源用のコンデンサC23の+側に接続され、コンデンサC23の−側はアースされている。コンデンサC23の+側には所定の電圧が印加されている。 The first terminal S1a of the gyro sensor S1 is connected to the + side of the power supply capacitor C13, and the-side of the capacitor C13 is grounded. A predetermined voltage is applied to the + side of the capacitor C13. The second terminal S2a of the gyro sensor S2 is connected to the + side of the power supply capacitor C23, and the-side of the capacitor C23 is grounded. A predetermined voltage is applied to the + side of the capacitor C23.
ジャイロセンサS1の第2端子(出力端子)S1bはコンデンサC11の一側に接続されている。ジャイロセンサS1の第3端子S1cはアースされている。ジャイロセンサS1の第4端子S1dは基準電圧印加線19に接続されている。コンデンサC11の他側は抵抗R11の一側に接続されると共に抵抗R12の一側に接続されている。
The second terminal (output terminal) S1b of the gyro sensor S1 is connected to one side of the capacitor C11. The third terminal S1c of the gyro sensor S1 is grounded. The fourth terminal S 1 d of the
抵抗R11の他側は基準電圧印加線19に接続されている。抵抗R12の他側はASW1スイッチを介して基準電圧印加線19に接続されている。コンデンサC11と抵抗R11とはハイパスフィルタを構成している。抵抗R12とアナログスイッチASW1とは放電回路を構成している。そのアナログスイッチASW1は後述する切り替え信号によってオン・オフされる。その抵抗R12の抵抗値は抵抗R11の抵抗値に較べてはるかに小さい。コンデンサC11と抵抗R11とによりハイパスフィルタHPF1の第1の時定数が設定され、コンデンサC11と抵抗R11と抵抗R12とアナログスイッチASW1とによってハイパスフィルタHPF1の第2の時定数が設定される。
The other side of the resistor R11 is connected to the reference
ジャイロセンサS2の第2端子(出力端子)S2bはコンデンサC21の一側に接続されている。ジャイロセンサS2の第3端子S2cはアースされている。ジャイロセンサS2の第4端子S2dは基準電圧印加線19’に接続されている。コンデンサC21の他側は抵抗R21の一側に接続されると共に、アナログスイッチASW2を介して抵抗R22の一側に接続されている。抵抗R21、抵抗R22の他側は基準電圧印加線19’に接続されている。 The second terminal (output terminal) S2b of the gyro sensor S2 is connected to one side of the capacitor C21. The third terminal S2c of the gyro sensor S2 is grounded. The fourth terminal S2d of the gyro sensor S2 is connected to the reference voltage application line 19 '. The other side of the capacitor C21 is connected to one side of the resistor R21, and is connected to one side of the resistor R22 via the analog switch ASW2. The other sides of the resistors R21 and R22 are connected to a reference voltage application line 19 '.
コンデンサC21と抵抗R21とは、ハイパスフィルタを構成し、抵抗R22とアナログスイッチASW2とは放電回路を構成している。そのアナログスイッチASW2は後述する切り替え信号によってオン・オフされる。その抵抗R21の抵抗値は抵抗R22の抵抗値に較べてはるかに小さい。コンデンサC21と抵抗R21とによりハイパスフィルタHPF2の第1の時定数が設定され、コンデンサC21と抵抗R21と抵抗R22とアナログスイッチASW2とによってハイパスフィルタHPF2の第2の時定数が設定される。ここで、抵抗R12、抵抗R22はアナログスイッチASW1、ASW2の等価抵抗を示している。その等価抵抗の値は数十〜数百Ωである。 The capacitor C21 and the resistor R21 constitute a high pass filter, and the resistor R22 and the analog switch ASW2 constitute a discharge circuit. The analog switch ASW2 is turned on / off by a switching signal described later. The resistance value of the resistor R21 is much smaller than the resistance value of the resistor R22. The capacitor C21 and the resistor R21 set a first time constant of the high-pass filter HPF2, and the capacitor C21, the resistor R21, the resistor R22, and the analog switch ASW2 set a second time constant of the high-pass filter HPF2. Here, the resistors R12 and R22 indicate equivalent resistances of the analog switches ASW1 and ASW2. The value of the equivalent resistance is several tens to several hundreds Ω.
増幅回路部13は、オペレーショナルアンプリファイアOP11と抵抗R13とから構成されている。増幅回路部13’はオペレーショナルアンプリファイアOP21と抵抗R23とから構成されている。オペレーショナルアンプリファイアOP11の+端子は抵抗R12の一側に接続されている。オペレーショナルアンプリファイアOP11の−端子は抵抗R13の一側に接続されている。抵抗R13の他側は基準電圧印加線19に接続されている。オペレーショナルアンプリファイアOP11の出力端子はオペレーショナルアンプリファイアOP11の−端子と抵抗R13の一側とに接続されている。
The
オペレーショナルアンプリファイアOP21の+端子は抵抗R21の一側とアナログスイッチASW2を介して抵抗R22の一側とに接続されている。オペレーショナルアンプリファイアOP21の−端子は抵抗R23の一側に接続されている。抵抗R23の他側は基準電圧印加線19’に接続されている。オペレーショナルアンプリファイアOP21の出力端子はオペレーショナルアンプリファイアOP21の−端子と抵抗R23の一側とに接続されている。 The + terminal of the operational amplifier OP21 is connected to one side of the resistor R21 and one side of the resistor R22 via the analog switch ASW2. The negative terminal of the operational amplifier OP21 is connected to one side of the resistor R23. The other side of the resistor R23 is connected to the reference voltage application line 19 '. The output terminal of the operational amplifier OP21 is connected to the negative terminal of the operational amplifier OP21 and one side of the resistor R23.
オペレーションアンプリファイアOP11から出力された角速度信号とオペレーションアンプリファイアOP21から出力された角速度信号とはA/D変換回路14、14’を介してデジタル演算部15に入力される。デジタル演算部15の詳細構成は後述する。
The angular velocity signal output from the operation amplifier OP11 and the angular velocity signal output from the operation amplifier OP21 are input to the
撮像部17は、例えば、鏡胴ユニットと撮像素子とから大略構成されている。撮像素子には例えばCCDやCMOSセンサが用いられる。鏡胴ユニットは撮像レンズ、シャッター機構、絞り機構、ズーム機構、焦点合わせ機構等から大略構成される。これらの構成は公知であるのでその詳細な説明は省略する。 The imaging unit 17 is generally composed of, for example, a lens barrel unit and an imaging element. For example, a CCD or CMOS sensor is used as the image sensor. The lens barrel unit is generally composed of an imaging lens, a shutter mechanism, a diaphragm mechanism, a zoom mechanism, a focusing mechanism, and the like. Since these configurations are known, detailed description thereof will be omitted.
撮像部制御部18とデジタル演算部15との間では、露光タイミング等の情報の授受が行われる。撮像部制御部18はデジタル演算部15の指令に基づいて鏡胴ユニットを駆動制御し、ズーム動作、焦点合わせ動作、露出調整、露光動作、撮影画像の画像処理部20への転送等の制御が行われる。その撮像部17の撮像データは画像処理部20に入力される。画像処理部20はデジタル演算部15の指令に基づいて画像処理データをメモリ又は表示部に向けて出力する。
Information such as exposure timing is exchanged between the imaging
デジタル演算部15は、積分回路15A、制御部15B、ローパスフィルタ部15C、検出回路部15Dを有する。ローパスフィルタ部15Cは検出回路部15Dの前段に設けられている。デジタル変換された角速度信号は、その変動成分が積分回路15Aに入力されて積分され、角度信号に変換される。その角度信号は制御部15Bに入力される。制御部15Bはその角度信号に基づいて手振れ補正制御信号を生成する。
The
振れ補正装置16は、例えば、撮像素子を支持する載置ステージ、ボイスコイルモータ等のアクチュエータを含む撮像素子保持機構16Bと、そのアクチュエータを駆動する駆動回路16Aとから大略構成されている。駆動回路16Aは制御部15Bからの手振れ補正制御信号に基づいて像振れを補正する方向に載置ステージを駆動制御する。これにより、像ぶれが打ち消される方向に載置ステージが移動される。なお、ここでは、撮像素子を移動させて像振れを補正する構成として説明しているが、撮像素子を固定して、撮像レンズを移動させて像ぶれを打ち消す構成を採用することもできる。
For example, the
検出回路部15Dには、ローパスフィルタ部15Cを介して高周波変動成分が除去された角速度信号が入力される。検出回路部15Dは検出部15D1と切り替え部15D2とからなる。検出部15D1はカメラ本体1の角速度の時間的変化を検出するために角速度信号を一定時間毎にサンプリングすると共に角速度信号のサンプリング値に基づき微分値を求めてその大きさの時間的変化を検出する機能を有する。
An angular velocity signal from which the high-frequency fluctuation component has been removed is input to the
切り替え部15D2は検出部15D1の検出結果に基づきアナログスイッチASW1、ASW2をオン・オフ制御することによりハイパスフィルタHPF1、HPF2の時定数を第1の時定数と第2の時定数との間で切り替える機能を有する。 The switching unit 15D2 switches the time constants of the high-pass filters HPF1 and HPF2 between the first time constant and the second time constant by performing on / off control of the analog switches ASW1 and ASW2 based on the detection result of the detection unit 15D1. It has a function.
検出部15D1は予め定めた絶対閾値L1を有し、微分値の大きさの絶対値が絶対閾値L1以上になった時点から絶対閾値L1よりも小さくなった時点までの継続時間を演算するためのカウンタと、継続時間が予め定められた閾値時間T1よりも大きいか否かを判断する判断部とを有する。絶対閾値L1はカメラ本体1の実際の角加速度の大きさの変化を考慮して定められる。また、ここでは、絶対閾値L1は手ぶれをパンニング撮影、チルティング撮影と判定するのを避けるため、若干大きめに設定されている。閾値時間T1は、カメラ本体1の実際のパンニング撮影時等の角速度の加速、減速曲線を考慮して定められる。
The detection unit 15D1 has a predetermined absolute threshold L1, and calculates a duration from the time when the absolute value of the differential value becomes equal to or greater than the absolute threshold L1 to the time when the absolute value becomes smaller than the absolute threshold L1. The counter includes a determination unit that determines whether or not the duration time is longer than a predetermined threshold time T1. The absolute threshold L1 is determined in consideration of the change in the actual angular acceleration of the
アナログスイッチASW1、ASW2がオンされると、コンデンサC11の他側と基準電圧印加線19との間、コンデンサC21の他側と基準電圧印加線19’との間がアナログスイッチASW1、ASW2を介して短絡され、第1の時定数τから第2の時定数τ’に切り替えられるため、コンデンサC11、C21に蓄積されていた電荷が急速に放電され、HPF1、HPF2の直流成分が除去され、迅速にハイパスフィルタHPF1、HPF2の角速度信号が基準電圧に整定される。ハイパスフィルタHPF1、HPF2は、第1の時定数τから第2の時定数τ’に切り替え後、設定時間T2後に再び第1の時定数τに切り替えられる。
When the analog switches ASW1 and ASW2 are turned on, the other side of the capacitor C11 and the reference
その設定時間T2はハイパスフィルタHPF1、HPF2に充電されている電荷が十分に放電されるに足りる時間であるのが望ましい。その設定時間T2は第1の時定数τよりも短く第2の時定数τ’よりも長く設定される。好ましくは、設定時間T2は第2の時定数τ’の6倍程度である。 The set time T2 is desirably a time that is sufficient to sufficiently discharge the charges charged in the high-pass filters HPF1 and HPF2. The set time T2 is set shorter than the first time constant τ and longer than the second time constant τ '. Preferably, the set time T2 is about 6 times the second time constant τ ′.
ハイパスフィルタHPF1、HPF2の第1の時定数はτ=R11×C11=R21×C21である。アナログスイッチASW1、ASW2の抵抗値R12、R22が抵抗値R11、R21の1/200とすると、抵抗R11と抵抗R12の合成抵抗(抵抗R21と抵抗R22との合成抵抗)はR12<<R11(R22<<R21)のとき、ほぼR12(R22)と等しいので、アナログスイッチASW1、ASW2がオンしたときの第2の時定数τ’は、アナログスイッチASW1、ASW2をオフしたときの第1の時定数τの1/200となる。 The first time constants of the high-pass filters HPF1 and HPF2 are τ = R11 × C11 = R21 × C21. When the resistance values R12 and R22 of the analog switches ASW1 and ASW2 are 1/200 of the resistance values R11 and R21, the combined resistance of the resistors R11 and R12 (the combined resistance of the resistors R21 and R22) is R12 << R11 (R22 << R21) is substantially equal to R12 (R22), so the second time constant τ ′ when the analog switches ASW1 and ASW2 are turned on is the first time constant when the analog switches ASW1 and ASW2 are turned off. 1/200 of τ.
従って、アナログスイッチASW1、ASW2をオフしている時の第1の時定数τが1.55s(カットオフ周波数f=1/(2π*τ)=0.1Hz)のとき、第2の時定数τ’は0.008sとなる。従って、アナログスイッチASW1、ASW2をオンさせる設定時間T2は0.048s以上でかつ閾値時間T1より短いのが望ましい。 Therefore, when the first time constant τ when the analog switches ASW1 and ASW2 are OFF is 1.55 s (cutoff frequency f = 1 / (2π * τ) = 0.1 Hz), the second time constant τ ′ is 0.008 s. Accordingly, it is desirable that the set time T2 for turning on the analog switches ASW1 and ASW2 is 0.048 s or more and shorter than the threshold time T1.
以下に、図4ないし図6を参照しつつ、本発明に係わる撮像装置、画像振れ補正装置の作用の一例を説明する。 Hereinafter, an example of the operation of the imaging apparatus and the image shake correction apparatus according to the present invention will be described with reference to FIGS. 4 to 6.
図4は本発明のカメラ本体1の姿勢変更操作とハイパスフィルタの時定数切り替え動作との関係を説明するフローチャートを示している。ここで、手ぶれ補正スイッチをオンされているものとする。
FIG. 4 is a flowchart for explaining the relationship between the posture changing operation of the
カメラ本体1の向きを変化させて撮影するパンニング撮影(チルティング撮影)の際、角速度センサ11からぶれ信号が出力される。そのぶれ信号はハイパスフィルタ回路部12に入力される。そのぶれ信号に基づく角速度信号は増幅回路部13、13’により増幅された後、A/D変換回路14、14’に入力される。その角速度信号はA/D変換回路14、14’によってA/D変換される(S.1)。そのA/D変換後の角速度データはデジタル演算部15に入力される。
When performing panning photography (tilting photography) in which the orientation of the
その角速度データは積分回路15Aに入力されると共に、ローパスフィルタ15Cに入力される。ローパスフィルタ15Cは高周波ノイズを除去するためローパスフィルタ(LPS)処理を行う(S.2)。その高周波ノイズが除去された角速度データは検出回路部15Dに入力される。
The angular velocity data is input to the
検出部15D1は、前回サンプリング時の角速度データ値と今回サンプリング時の角速度データ値との差、すなわち、角速度信号の微分値(角加速度)を算出する。ついで、その微分値の絶対値が絶対閾値L1より大きいか否かを判断する(S.3)。 The detector 15D1 calculates the difference between the angular velocity data value at the previous sampling and the angular velocity data value at the current sampling, that is, the differential value (angular acceleration) of the angular velocity signal. Next, it is determined whether or not the absolute value of the differential value is larger than the absolute threshold value L1 (S.3).
検出部15D1は微分値の絶対値が絶対閾値L1よりも大きい場合、カウンタをインクリメントする(S.4)。その後、S.5に移行して、所定時間、サンプリング処理待ちを行った後、S.1に戻ってS.1ないしS.3の処理を行う。微分値の絶対値が絶対閾値L1よりも大きい場合、S.1ないしS.5の処理が継続され、カウンタのカウント値が「1」づつインクリメントされる。
When the absolute value of the differential value is larger than the absolute threshold L1, the detection unit 15D1 increments the counter (S.4). Then S. 5 and after waiting for a sampling process for a predetermined time, Returning to S.1. 1 to S.M.
検出部15D1は、微分値の絶対値が絶対閾値L1よりも小さい場合、カウンタのカウント値が閾値時間T1よりも大きいか否か判断する(S.6)。すなわち、微分値の絶対値が絶対閾値L1以上である継続時間が閾値時間T1以上継続した後に微分値の絶対値が絶対閾値L1以下となったか否かを判断する。 When the absolute value of the differential value is smaller than the absolute threshold value L1, the detection unit 15D1 determines whether the count value of the counter is larger than the threshold time T1 (S.6). That is, it is determined whether or not the absolute value of the differential value is equal to or less than the absolute threshold value L1 after the duration time in which the absolute value of the differential value is equal to or greater than the absolute threshold value L1 continues for the threshold time T1 or longer.
S.6において、カウンタのカウント値が閾値時間T1よりも小さい場合、S.11に移行して、カウンタのカウント値をゼロにリセットした後、S.5に移行し、サンプリング処理待ちを行って、S.1に戻り、再度、S.1以降の処理を行う。これは、パンニング撮影(チルティング撮影)以外のカメラ本体1の振動に対応する処理ループである。
S. 6, if the count value of the counter is smaller than the
カウンタのカウント値が閾値時間T1よりも大きい場合、すなわち、微分値の絶対値が絶対閾値L1よりも大きい継続時間が閾値時間T1以上続いた後に微分値の絶対値が絶対閾値L1以下となった場合、図1に示すレリーズボタンRLの操作により露光中であるか否かが判断される(S.7)。露光中であると判断された場合には、後述のS.8ないしS.10、の処理を行わずに、S.11 に移行してカウンタのカウント値をゼロリセットした後、S.5に移行し、サンプリング処理待ちを行ってS.1に戻り、S.1以降の処理を繰り返す。従って、図5に示すようにアナログスイッチASW1、ASW2はオンされず、露光中の場合、ハイパスフィルタHPF1、HPF2の時定数は第1の時定数τから第2の時定数τ’に変更されず、角速度信号が急激に変化することに起因するぶれ撮影画像の発生を回避できる。すなわち、露光中は、ハイパスフィルタ回路部12の時定数の変更が禁止される。
When the count value of the counter is larger than the threshold time T1, that is, the absolute value of the differential value becomes equal to or less than the absolute threshold value L1 after the duration time in which the absolute value of the differential value is greater than the absolute threshold value L1 continues for the threshold time T1 In this case, it is determined whether or not exposure is being performed by operating the release button RL shown in FIG. If it is determined that exposure is in progress, S. 8 to S.M. 10 without performing the processing of 10. 11 and the counter count value is reset to zero. 5 and waits for the sampling process. 1 to return to S.I. 1 and subsequent processes are repeated. Therefore, as shown in FIG. 5, the analog switches ASW1 and ASW2 are not turned on, and the time constant of the high-pass filters HPF1 and HPF2 is not changed from the first time constant τ to the second time constant τ ′ during exposure. Further, it is possible to avoid the occurrence of a blurred photographed image due to a sudden change in the angular velocity signal. That is, during exposure, the change of the time constant of the high-pass
S.7において、露光中でないと判断された場合には、アナログスイッチASW1、ASW2がオンされる(S.8)。このアナログスイッチASW1、ASW2のオンによりハイパスフィルタHPF1、HPF2に蓄積されていた電荷が急速に放電される。 S. If it is determined in step S7 that the exposure is not in progress, the analog switches ASW1 and ASW2 are turned on (S.8). When the analog switches ASW1 and ASW2 are turned on, the charges accumulated in the high-pass filters HPF1 and HPF2 are rapidly discharged.
その後、S.9に移行して、設定時間T2の間、放電処理待ちを行った後、アナログスイッチASW1、ASW2がオフされる(S.10)。ついで、カウンタのカウント値がゼロにリセットされ(S.11)、S.5に移行した後、再び、S.1に戻って、手ぶれ補正処理が続行される。 Then S. 9 and after waiting for the discharge process for the set time T2, the analog switches ASW1 and ASW2 are turned off (S.10). Next, the count value of the counter is reset to zero (S.11). After the transition to S.5, S. Returning to 1, the camera shake correction process is continued.
図6は図4に示す放電処理を行った場合のカメラ本体1のパンニング撮影時の姿勢変更に基づく実際の角速度曲線と角速度信号曲線と微分曲線との関係を示している。この図6において、符号K1はカメラ本体1の実際の角速度曲線又は角速度(実線で示す)であり、符号K2はハイパスフィルタ回路部12から出力される角速度信号曲線又は角速度信号(破線で示す)であり、符号K3はサンプリングに基づく微分処理により求められた微分曲線(一点鎖線で示す)である。その横軸はパンニング撮影開始時点を0秒としてパンニング撮影が終了するまでの時間を示しており、その単位は秒である。
FIG. 6 shows a relationship among an actual angular velocity curve, an angular velocity signal curve, and a differential curve based on a posture change at the time of panning photographing of the
また、縦軸は角速度センサ11の感度に依存する電圧値であり、ゼロは基準電圧Vrefに相当している。この図6では、発明の理解の容易化を図るために、パンニング撮影時の最大電圧値を「1」として表している。また、微分値は角速度データのサンプリング周期を1msとして、各サンプリング値毎の差の100倍の電圧値で表示している。 The vertical axis represents a voltage value depending on the sensitivity of the angular velocity sensor 11, and zero corresponds to the reference voltage Vref. In FIG. 6, in order to facilitate understanding of the invention, the maximum voltage value at the time of panning photographing is represented as “1”. The differential value is displayed as a voltage value that is 100 times the difference of each sampling value, assuming that the sampling period of the angular velocity data is 1 ms.
パンニング撮影開始(角速度の加速終了)であるX1時点で微分値の絶対値が絶対閾値L1以上である継続時間が閾値時間T1以上続いた後に、微分値の絶対値が絶対閾値L1以下となったと判断されると、アナログスイッチASW1、ASW2はオンされる。 When the absolute value of the differential value becomes equal to or less than the absolute threshold value L1 after the duration time that the absolute value of the differential value is equal to or greater than the absolute threshold value L1 continues for the threshold time T1 or more at the time X1 when panning imaging starts (end of acceleration of angular velocity). When judged, the analog switches ASW1 and ASW2 are turned on.
これにより、ハイパスフィルタ回路部12の時定数が第1の時定数τから第2の時定数τ’に切り替えられるため、ハイパスフィルタ回路部12に蓄積されていた電荷が符号K2’で示すように放電され、角速度信号K2は急速に減少してVrefに整定される。角速度信号K2の急激な減少に伴い、その微分値は符号K3’で示すように急速に増加・減少する。なお、設定時間T2は第2の時定数τ’よりも大きく設定されているので、ハイパスフィルタ回路部12に蓄積されていた電荷は十分に放電される。
As a result, the time constant of the high-pass
また、パンニング撮影終了(角速度の減速終了)であるX2時点で再び微分値の絶対値が絶対閾値L1以上である継続時間が閾値時間T1以上続いた後に、微分値の絶対値が絶対閾値L1以下となったと判断されると、アナログスイッチASW1、ASW2が同様にオンされる。 Further, at the time point X2, which is the end of panning imaging (end of angular velocity deceleration), the absolute value of the differential value continues again for the threshold time T1 or more after the absolute value of the differential value is the absolute threshold L1 or more. If it is determined that the analog switches ASW1, ASW2 are turned on in the same manner.
これにより、ハイパスフィルタ回路部12の時定数が第1の時定数τから第2の時定数τ’に切り替えられるため、ハイパスフィルタ回路部12に蓄積されていた電荷が符号K2”で示すように放電され、角速度信号K2は急速に上昇してVrefに整定される。角速度信号K2の急激な上昇に伴い、その微分値は符号K3”で示すように急速に増加・減少する。なお、この場合にも、設定時間T2は第2の時定数よりも大きく設定されているので、ハイパスフィルタ回路部12に蓄積されていた電荷は十分に放電される。
As a result, the time constant of the high-pass
その時点X1がカメラ本体1の変更開始時点に相当し、その時点X2がカメラ本体1の変更終了時点に相当し、検出部15D1はカメラ本体1の角加速度の時間的変化を検出することによりカメラ本体1の方向変更開始と方向変更終了とを検出する検出部として機能し、切り替え部15D2は検出部15D1によりカメラ本体1の方向変更開始又は方向変更終了が検出されたときに、アナログスイッチASW1、ASW2をオン・オフ制御することによりハイパスフィルタ回路部12の時定数を第1の時定数τから第2の時定数τ’に切り替えた後、第1の時定数τに復帰させる切り替え部として機能する。
(実施例2)
図7は本発明に係わる撮像装置の実施例2を説明するためのフローチャートであって、この実施例2では、ハイパスフィルタの時定数が第2の時定数τ’に変更されている設定期間中に、露光開始の要求を受けた場合に、角速度信号が急激に変化することに起因するぶれ撮影画像の発生を回避できる構成としたものである。
The time X1 corresponds to the change start time of the
(Example 2)
FIG. 7 is a flowchart for explaining a second embodiment of the image pickup apparatus according to the present invention. In the second embodiment, the time constant of the high-pass filter is changed to the second time constant τ ′. In addition, when a request to start exposure is received, it is possible to avoid occurrence of a blurred photographed image due to a sudden change in the angular velocity signal.
この実施例2では、検出回路部15DはアナログスイッチASW1、ASW2のオン処理(S.8)後に、S.12に移行して図1に示すレリーズスイッチRLが押されたか否かを判断する。レリーズスイッチRLが押されていない場合には、S.9に移行して、実施例1と同様の処理を行う。レリーズスイッチRLが押されていた場合には、露光要求指令があったと判断して、S.13に移行して、露光禁止信号をデジタル演算部15の他の処理回路部に出力した後、S.9に移行する。
In the second embodiment, the
ついで、設定時間T2の経過後、検出回路部15Dは露光禁止信号を出力したか否かを判断する(S.14)。検出回路部15Dは露光開始信号が出力されていないときには、そのままS.10に移行して実施例1と同様の処理を行う。検出回路部15Dは露光開始信号が出力されていたときには、アナログスイッチASW1、ASW2をオフさせた後(S.15)、露光禁止解除信号をデジタル演算部15の他の処理回路部に出力し(S.16)、S.11に移行して実施例1と同様の処理を行う。
Next, after the set time T2 has elapsed, the
これにより、図8に示すように、アナログスイッチASW1、ASW2のオン期間中、すなわち、設定時間T2内に図1に示すレリーズスイッチRLが押されて、露光要求指令があった場合、露光が禁止され、そのアナログスイッチASW1、ASW2のオフ直後から露光が開始されることになる。 As a result, as shown in FIG. 8, exposure is prohibited when the release switch RL shown in FIG. 1 is pressed during the on period of the analog switches ASW1 and ASW2, that is, within the set time T2, and there is an exposure request command. Then, the exposure is started immediately after the analog switches ASW1 and ASW2 are turned off.
この実施例2によれば、ハイパスフィルタの時定数が第2の時定数τ’に変更されている設定期間中に、露光開始の要求を受けた場合に、設定期間T2の経過直後に露光が開始されることになるので、露光中に角速度信号が急激に変化することに起因するぶれ撮影画像の発生を回避できる。
(実施例3)
図9ないし図12は本発明に係わる撮像装置の実施例3を説明するための説明図である。図9は実施例1に係わる撮像装置の不具合を説明するための拡大図であって、角速度信号曲線K2と微分曲線K3との関係を模式的に示すグラフである。
実施例1では、微分値の絶対閾値L1をカメラ本体1の実際の角加速度Qの大きさの変化を考慮して定めているが、この絶対閾値L1の大きさは手ぶれを誤ってパンニング撮影(チルティング撮影)と判定しないために、実施例1で説明したように若干大きく設定している。
従って、カメラ本体1の真の角速度Qの加速期間Q1又は真の角速度Qの減速期間Q3が終了していない時点で加速又は減速が終了したと判断されることがある。
すなわち、図9に示すように、微分値の絶対閾値L1のみで判断すると、カメラ本体1の真の角速度Qの加速期間が終了するよりもかなり手前の時点Z1(X1)でカメラ本体1の加速が終了したと判断され、この時点Z1(X1)でアナログスイッチASW1、ASW2がオンされ、いったんハイパスフィルタ回路部12のコンデンサに蓄積されている電荷が第2の時定数τ’に従って放電された後も、カメラ本体1が加速されるため、検出タイミングずれΔtが生じ、この検出タイミングずれΔtのずれに伴ってオフセット電圧offsが発生する。また、カメラ本体1の真の加速度Qの減速期間Q3が終了するよりもかなり手前の時点Z2(X2)でカメラ本体1の減速が終了したと判断され、この時点Z2(X2)でアナログスイッチASW1、ASW2がオンされ、いったんハイパスフィルタ回路部12のコンデンサに蓄積されている電荷が第2の時定数τ’に従って放電された後も、カメラ本体1が減速されるため、検出タイミングずれΔtが同様に生じ、この検出タイミングずれΔtのずれに伴ってオフセット電圧offsが発生する。
このため、ハイパスフィルタ回路部12の時定数を実質的に小さくできず、角速度信号K2の整定の迅速化を実施例1に記載した以上には図り難い。
この実施例3では、パンニング撮影開始(カメラ本体1の加速終了)、パンニング撮影終了(カメラ本体1の減速終了)をより一層正確に検出することにより、流し撮り撮影やパンニング撮影直後の手ぶれ補正をより一層確実に行うことができる撮像装置を提供する。
以下、その詳細を図3、図10ないし図12を参照しつつ説明する。
ここでは、検出部15D1は、予め定められた第1絶対閾値L1と第2絶対閾値L2とを有する。ここで、第1絶対閾値L1は、カメラ本体1の真の角速度Qの加速期間が終了直前の時点Z1(X1)、カメラ本体1の真の角速度Qの減速期間が終了直前の時点Z2(X2)を正確に判断するため、かなり小さい値に設定されている。第2絶対閾値L2は角速度信号K2の出力の絶対値と比較するのに用いられる。この第2絶対閾値L2は、パンニング撮影、チルティング撮影であるのか否かを検出するのに用いる。
カメラ本体1の向きを変化させて撮影するパンニング撮影(チルティング撮影)の際、角速度センサ11からぶれ信号が出力される。そのぶれ信号はハイパスフィルタ回路部12に入力される。そのぶれ信号に基づく角速度信号は増幅回路部13、13’により増幅された後、A/D変換回路14、14’に入力される。その角速度信号はA/D変換回路14、14’によってA/D変換される(S.1)。そのA/D変換後の角速度データはデジタル演算部15に入力される。
その角速度データは積分回路15Aに入力されると共に、ローパスフィルタ部15Cに入力される。ローパスフィルタ部15Cは高周波ノイズを除去するためローパスフィルタ(LPS)処理を行う(S.2)。その高周波ノイズが除去された角速度データは検出回路部15Dに入力される。
検出部15D1は、前回サンプリング時の角速度データ値と今回サンプリング時の角速度データ値との差、すなわち、角速度信号の微分値(角加速度)を算出する。ついで、図11、図12に示すように、その微分値の絶対値が第1絶対閾値L1より大きいか否かを判断する(S.3)。検出部15D1は微分値の絶対値が第1絶対閾値L1よりも大きい場合、カウンタをインクリメントする(S.4)。その後、S.5に移行して、所定時間、サンプリング処理待ちを行った後、S.1に戻ってS.1ないしS.3の処理を行う。微分値の絶対値が第1絶対閾値L1よりも大きい場合、S.1ないしS.5の処理が継続され、カウンタのカウント値が「1」づつインクリメントされる。
検出部15D1は、微分値の絶対値が第1絶対閾値L1よりも小さい場合、カウンタのカウント値が閾値時間T1よりも大きいか否か判断する(S.6)。すなわち、微分値の絶対値が第1絶対閾値L1以上である継続時間が閾値時間T1以上継続した後に微分値の絶対値が第1絶対閾値L1以下となったか否かを判断する。
S.6において、カウンタのカウント値が閾値時間T1よりも小さい場合、S.11に移行して、カウンタのカウント値をゼロにリセットした後、S.5に移行し、サンプリング処理待ちを行って、S.1に戻り、再度、S.1以降の処理を行う。これは、パンニング撮影(チルティング撮影)以外のカメラ本体1の振動に対応する処理ループである。
カウンタのカウント値が閾値時間T1よりも大きい場合、すなわち、微分値の絶対値が第1絶対閾値L1よりも大きい継続時間が閾値時間T1以上続いた後に微分値の絶対値が第1絶対閾値L1以下となった場合、検出回路部15D1はハイパスフィルタ回路部12から出力される角速度信号K2の出力の絶対値が第2絶対閾値L2よりも大きいか否かを判断する(S.6’)。
角速度信号K2の出力の絶対値が第2絶対閾値L2よりも小さい場合、S.11に移行して、カウンタのカウント値をゼロにリセットした後、S.5に移行し、サンプリング処理待ちを行って、S.1に戻り、再度、S.1以降の処理を行う。従って、図11に示すように、カウンタのカウント値が閾値時間T1よりも大きい場合であって、かつ、第2絶対閾値L2が角速度信号K2の出力の絶対値よりも大きいときには、アナログスイッチASW1、ASW2はオンされず、その結果、ハイパスフィルタHPF1、HPF2の時定数は第1の時定数τから第2の時定数τ’に変更されず、検出部15D1がパンニング撮影でないのにパンニング撮影であると誤って判定するのを避けることができる。
なお、この図11において、符号K2は図9と同様にハイパスフィルタ回路部12から出力される角速度信号曲線(破線で示す)であり、符号K3はサンプリングに基づく微分処理により求められた微分曲線(一点鎖線で示す)である。その横軸はパンニング撮影開始時点を0秒としてパンニング撮影が終了するまでの時間を示しており、その単位は秒である。
また、縦軸は角速度センサ11の感度に依存する電圧値であり、ゼロは基準電圧Vrefに相当している。
角速度信号K2の出力の絶対値が第2絶対閾値L2よりも大きい場合、検出部15D1は、図1に示すレリーズボタンRLの操作により露光中であるか否かを判断する(S.7)。露光中であると判断された場合には、後述のS.8ないしS.10、の処理を行わずに、S.11 に移行してカウンタのカウント値をゼロリセットした後、S.5に移行し、サンプリング処理待ちを行ってS.1に戻り、S.1以降の処理を繰り返す。従って、実施例1と同様に、アナログスイッチASW1、ASW2はオンされず、露光中の場合、ハイパスフィルタHPF1、HPF2の時定数は第1の時定数τから第2の時定数τ’に変更されず、角速度信号が急激に変化することに起因するぶれ撮影画像の発生を回避できる。
S.7において、露光中でないと判断された場合には、アナログスイッチASW1、ASW2がオンされる(S.8)。このアナログスイッチASW1、ASW2のオンによりハイパスフィルタHPF1、HPF2に蓄積されていた電荷が急速に放電される。
その後、S.9に移行して、設定時間T2の間、放電処理待ちを行った後、アナログスイッチASW1、ASW2がオフされる(S.10)。ついで、カウンタのカウント値がゼロにリセットされ(S.11)、S.5に移行した後、再び、S.1に戻って、手ぶれ補正処理が続行される。
図12は放電処理を行った場合のカメラ本体1のパンニング撮影時の姿勢変更に基づく角速度信号曲線K2と微分曲線K3との関係を示している。
パンニング撮影開始(角速度の加速終了)であるZ1(X1)時点で微分値の絶対値が第1絶対閾値L1以下となり、かつ、微分値の絶対値が第1絶対閾値L1以上である継続時間が閾値時間T1以上続いたと判断され、しかも、角速度信号K2の絶対値が第2絶対閾値L2よりも大きく、露光中でないと判断された場合には、アナログスイッチASW1、ASW2がオンされる。
これにより、ハイパスフィルタ回路部12の時定数が第1の時定数τから第2の時定数τ’に切り替えられるため、ハイパスフィルタ回路部12に蓄積されていた電荷が符号K2’で示すように放電され、角速度信号K2は急速に減少してすばやくVrefに整定される。角速度信号K2の急激な減少に伴い、その微分値は急速に増加・減少する(図示を略す)。なお、設定時間T2は第2の時定数τ’よりも大きく設定されているので、ハイパスフィルタ回路部12に蓄積されていた電荷は十分に放電される。
また、パンニング撮影終了(角速度の減速終了)であるZ2(X2)時点で微分値の絶対値が第1絶対閾値L1以下となり、かつ、微分値の絶対値が第1絶対閾値L1以上である継続時間が閾値時間T1以上続いたと判断され、しかも、角速度信号K2の出力が第2絶対閾値L2よりも大きく、露光中でないと判断された場合には、アナログスイッチASW1、ASW2が同様にオンされる。
これにより、ハイパスフィルタ回路部12の時定数が第1の時定数τから第2の時定数τ’に切り替えられるため、ハイパスフィルタ回路部12に蓄積されていた電荷が符号K2”で示すように放電され、角速度信号K2は急速に上昇してすばやくVrefに整定される。角速度信号K2の急激な上昇に伴い、その微分値は急速に増加・減少する(図示を略す)。なお、この場合にも、設定時間T2は第2の時定数よりも大きく設定されているので、ハイパスフィルタ回路部12に蓄積されていた電荷は十分に放電される。
その図12から明らかなように、絶対閾値L1を小さくすることにより、検出タイミングずれΔtを小さくできることになり、残留オフセット電圧offsを小さくできる。従って、実施例1に較べて、カメラ本体1のパンニング撮影開始、パンニング撮影終了を正確に検出して、流し撮り撮影やパンニング撮影直後の手ぶれ補正をより一層確実に行うことができる。
この実施例3では、露光中であるか否かを判断して、第1の時定数τから第2の時定数τ’に切り替えるか否か判断しているが、これに限るものではない。
また、この実施例3では、露光中は、ハイパスフィルタの時定数の変更を禁止することを特徴とする。また、この実施例3では、ハイパスフィルタが第2の時定数τ’に設定されている設定期間中に、露光開始要求を受けたときに、設定期間の経過直後に露光を開始させる構成とすることもできる。
According to the second embodiment, when the exposure start request is received during the setting period in which the time constant of the high-pass filter is changed to the second time constant τ ′, the exposure is performed immediately after the setting period T2. Therefore, it is possible to avoid the occurrence of a blurred photographed image due to a sudden change in the angular velocity signal during exposure.
(Example 3)
9 to 12 are explanatory views for explaining a third embodiment of the imaging apparatus according to the present invention. FIG. 9 is an enlarged view for explaining the malfunction of the imaging apparatus according to the first embodiment, and is a graph schematically showing the relationship between the angular velocity signal curve K2 and the differential curve K3.
In the first embodiment, the absolute threshold value L1 of the differential value is determined in consideration of a change in the magnitude of the actual angular acceleration Q of the
Accordingly, it may be determined that the acceleration or deceleration has ended when the acceleration period Q1 of the true angular velocity Q or the deceleration period Q3 of the true angular velocity Q of the
That is, as shown in FIG. 9, when only the absolute threshold value L1 of the differential value is determined, the acceleration of the
For this reason, the time constant of the high-pass
In Example 3, camera shake correction immediately after panning shooting or panning shooting is detected by more accurately detecting the start of panning shooting (end of acceleration of camera body 1) and the end of panning shot (end of deceleration of camera body 1). Provided is an imaging device that can be more reliably performed.
The details will be described below with reference to FIGS. 3 and 10 to 12.
Here, the detection unit 15D1 has a first absolute threshold L1 and a second absolute threshold L2 that are determined in advance. Here, the first absolute threshold L1 is set at a time point Z1 (X1) immediately before the end of the acceleration period of the true angular velocity Q of the
When performing panning photography (tilting photography) in which the orientation of the
The angular velocity data is input to the
The detector 15D1 calculates the difference between the angular velocity data value at the previous sampling and the angular velocity data value at the current sampling, that is, the differential value (angular acceleration) of the angular velocity signal. Next, as shown in FIGS. 11 and 12, it is determined whether or not the absolute value of the differential value is larger than the first absolute threshold L1 (S.3). When the absolute value of the differential value is larger than the first absolute threshold L1, the detection unit 15D1 increments the counter (S.4). Then S. 5 and after waiting for a sampling process for a predetermined time, Returning to S.1. 1 to S.M.
When the absolute value of the differential value is smaller than the first absolute threshold L1, the detection unit 15D1 determines whether or not the counter value is larger than the threshold time T1 (S.6). That is, it is determined whether or not the absolute value of the differential value has become equal to or less than the first absolute threshold value L1 after the duration time in which the absolute value of the differential value is equal to or greater than the first absolute threshold value L1 continues for the threshold time T1 or longer.
S. 6, if the count value of the counter is smaller than the
When the count value of the counter is larger than the threshold time T1, that is, the absolute value of the differential value is equal to or greater than the first absolute threshold value L1 after the duration time in which the absolute value of the differential value is greater than the first absolute threshold value L1 continues for the threshold time T1. In the following case, the detection circuit unit 15D1 determines whether or not the absolute value of the output of the angular velocity signal K2 output from the high-pass
When the absolute value of the output of the angular velocity signal K2 is smaller than the second absolute threshold L2, S.I. 11 and reset the count value of the counter to zero. 5 and wait for the sampling process. 1 and again S.I. 1 and subsequent processes are performed. Therefore, as shown in FIG. 11, when the count value of the counter is larger than the threshold time T1, and when the second absolute threshold L2 is larger than the absolute value of the output of the angular velocity signal K2, the analog switch ASW1, The ASW2 is not turned on, and as a result, the time constants of the high-pass filters HPF1 and HPF2 are not changed from the first time constant τ to the second time constant τ ′, and the detection unit 15D1 is not panning shooting but panning shooting. Can be avoided.
In FIG. 11, the symbol K2 is an angular velocity signal curve (shown by a broken line) output from the high-pass
The vertical axis represents a voltage value depending on the sensitivity of the angular velocity sensor 11, and zero corresponds to the reference voltage Vref.
When the absolute value of the output of the angular velocity signal K2 is larger than the second absolute threshold L2, the detection unit 15D1 determines whether exposure is being performed by operating the release button RL shown in FIG. 1 (S.7). If it is determined that exposure is in progress, S. 8 to S.M. 10 without performing the processing of 10. 11 and the counter count value is reset to zero. 5 and waits for the sampling process. 1 to return to S.I. 1 and subsequent processes are repeated. Accordingly, as in the first embodiment, the analog switches ASW1 and ASW2 are not turned on, and the time constant of the high-pass filters HPF1 and HPF2 is changed from the first time constant τ to the second time constant τ ′ during exposure. Therefore, it is possible to avoid the occurrence of a blurred photographed image due to a sudden change in the angular velocity signal.
S. If it is determined in step S7 that the exposure is not in progress, the analog switches ASW1 and ASW2 are turned on (S.8). When the analog switches ASW1 and ASW2 are turned on, the charges accumulated in the high-pass filters HPF1 and HPF2 are rapidly discharged.
Then S. 9 and after waiting for the discharge process for the set time T2, the analog switches ASW1 and ASW2 are turned off (S.10). Next, the count value of the counter is reset to zero (S.11). After the transition to S.5, S. Returning to 1, the camera shake correction process is continued.
FIG. 12 shows the relationship between the angular velocity signal curve K2 and the differential curve K3 based on the posture change at the time of panning photographing of the
At the time of Z1 (X1) when panning imaging is started (end of acceleration of angular velocity), the duration time during which the absolute value of the differential value is less than or equal to the first absolute threshold value L1 and the absolute value of the differential value is greater than or equal to the first absolute threshold value L1 If it is determined that the threshold time T1 or more has continued, and if the absolute value of the angular velocity signal K2 is greater than the second absolute threshold L2 and it is determined that exposure is not in progress, the analog switches ASW1 and ASW2 are turned on.
As a result, the time constant of the high-pass
Further, the absolute value of the differential value is less than or equal to the first absolute threshold L1 at the time of Z2 (X2), which is the end of panning imaging (end of deceleration of the angular velocity), and the absolute value of the differential value is continued beyond the first absolute threshold L1. If it is determined that the time has continued for the threshold time T1 or more and the output of the angular velocity signal K2 is greater than the second absolute threshold L2 and it is determined that the exposure is not being performed, the analog switches ASW1 and ASW2 are similarly turned on. .
As a result, the time constant of the high-pass
As is apparent from FIG. 12, by reducing the absolute threshold L1, the detection timing deviation Δt can be reduced, and the residual offset voltage offs can be reduced. Therefore, compared to the first embodiment, it is possible to accurately detect the start of panning shooting and the end of panning shooting of the
In the third embodiment, it is determined whether or not the exposure is being performed, and it is determined whether or not the first time constant τ is switched to the second time constant τ ′. However, the present invention is not limited to this.
In the third embodiment, the change of the time constant of the high-pass filter is prohibited during exposure. In the third embodiment, when the exposure start request is received during the set period in which the high-pass filter is set to the second time constant τ ′, the exposure is started immediately after the set period has elapsed. You can also
以上、実施例においては、機械的に画像と撮像素子の位置ズレを補正して画像ぶれを補正する構成について説明したが、本発明は、これに限られるものではなく、角速度センサのぶれ情報に基づき画像のぶれを画像処理により補正する構成にも適用できる。 As described above, in the embodiments, the configuration for correcting the image blur by mechanically correcting the positional deviation between the image and the image sensor has been described, but the present invention is not limited to this, and the blur information of the angular velocity sensor is used. The present invention can also be applied to a configuration in which image blur is corrected by image processing.
11…角速度センサ
12…ハイパスフィルタ回路部
15…デジタル演算部
15D…検出回路部
ASW1…アナログスイッチ
DESCRIPTION OF SYMBOLS 11 ...
Claims (5)
前記ぶれ信号に含まれている直流成分を第1の時定数に基づきカットして基準電圧に対する変動分を角速度信号として出力するハイパスフィルタと、
前記ハイパスフィルタに蓄積されている電荷を前記第1の時定数よりも小さい第2の時定数に従って放電させるアナログスイッチと、
前記角速度信号が入力されて該角速度信号に基づき画像のぶれを補正するための演算を行う演算部と、
前記カメラ本体の角加速度の時間的変化を検出するために前記角速度信号を一定時間毎にサンプリングすると共に該角速度信号のサンプリング値に基づき微分値を求めてその大きさの時間的変化を検出する検出部と、
該検出部の検出結果に基づき前記アナログスイッチをオン・オフ制御することにより前記ハイパスフィルタの時定数を前記第1の時定数と前記第2の時定数との間で切り替える切り替え部とを有し、
前記検出部には予め定められた第1絶対閾値と第2絶対閾値とが設けられ、前記検出部は、前記微分値の大きさの絶対値が前記第1絶対閾値以上になった時点から該第1絶対閾値よりも小さくなった時点までの継続時間を演算して該継続時間が予め定められた閾値時間よりも大きいか否かを判断すると共にハイパスフィルタの出力の絶対値が第2絶対閾値よりも大きいか否かを判断する判断部を有し、
前記切り替え部は、前記判断部が前記微分値の大きさの絶対値が前記第1絶対閾値よりも小さくて前記継続時間が前記閾値時間よりも大きいと判断したときでかつハイパスフィルタの出力の絶対値が前記第2絶対閾値よりも大きい場合に前記ハイパスフィルタに蓄積された電荷を第2の時定数に従って放電させるために前記アナログスイッチをオンさせることを特徴とする撮像装置。 An angular velocity sensor that detects vibration of the camera body and outputs a shake signal;
A high-pass filter that cuts a direct current component included in the shake signal based on a first time constant and outputs a variation with respect to a reference voltage as an angular velocity signal;
An analog switch for discharging the electric charge accumulated in the high-pass filter according to a second time constant smaller than the first time constant;
A calculation unit that receives the angular velocity signal and performs a calculation for correcting image blur based on the angular velocity signal;
Detection in which the angular velocity signal is sampled at regular intervals to detect a temporal change in angular acceleration of the camera body, and a differential value is obtained based on a sampling value of the angular velocity signal to detect a temporal change in the magnitude. And
A switching unit that switches a time constant of the high-pass filter between the first time constant and the second time constant by performing on / off control of the analog switch based on a detection result of the detection unit; ,
The detection unit is provided with a first absolute threshold value and a second absolute threshold value that are determined in advance, and the detection unit is configured to perform the detection from the time when the absolute value of the magnitude of the differential value becomes equal to or greater than the first absolute threshold value. The duration until the point when it becomes smaller than the first absolute threshold is calculated to determine whether the duration is greater than a predetermined threshold time, and the absolute value of the output of the high-pass filter is the second absolute threshold A determination unit for determining whether or not the
The switching unit is the absolute value of the output of the high-pass filter when the determination unit determines that the absolute value of the magnitude of the differential value is smaller than the first absolute threshold and the duration is longer than the threshold time. An image pickup apparatus, wherein when the value is larger than the second absolute threshold, the analog switch is turned on in order to discharge the charge accumulated in the high-pass filter according to a second time constant.
前記ぶれ信号に含まれている直流成分を第1の時定数に基づきカットして基準電圧に対する変動分を角速度信号として出力するハイパスフィルタと、
前記ハイパスフィルタに蓄積されている電荷を前記第1の時定数よりも小さい第2の時定数に従って放電させるアナログスイッチと、
前記角速度信号が入力されて該角速度信号に基づき画像のぶれを補正するための演算を行う演算部と、
前記カメラ本体の角加速度の時間的変化を検出するために前記角速度信号を一定時間毎にサンプリングすると共に該角速度信号のサンプリング値に基づき微分値を求めてその大きさの時間的変化を検出する検出部と、
該検出部の検出結果に基づき前記アナログスイッチをオン・オフ制御することにより前記ハイパスフィルタの時定数を前記第1の時定数と前記第2の時定数との間で切り替える切り替え部とを有し、
前記検出部には予め定められた第1絶対閾値と第2絶対閾値とが設けられ、前記検出部は、前記微分値の大きさの絶対値が前記第1絶対閾値以上になった時点から該第1絶対閾値よりも小さくなった時点までの継続時間を演算して該継続時間が予め定められた閾値時間よりも大きいか否かを判断すると共にハイパスフィルタの出力の絶対値が第2絶対閾値よりも大きいか否かを判断する判断部を有し、
前記切り替え部は、前記判断部が前記微分値の大きさの絶対値が前記第1絶対閾値よりも小さくて前記継続時間が前記閾値時間よりも大きいと判断したときでかつハイパスフィルタの出力の絶対値が前記第2絶対閾値よりも大きい場合に前記ハイパスフィルタに蓄積された電荷を第2の時定数に従って放電させるために前記アナログスイッチをオンさせることを特徴とする画像ぶれ補正装置。 An angular velocity sensor that detects vibration of the camera body and outputs a shake signal;
A high-pass filter that cuts a direct current component included in the shake signal based on a first time constant and outputs a variation with respect to a reference voltage as an angular velocity signal;
An analog switch for discharging the electric charge accumulated in the high-pass filter according to a second time constant smaller than the first time constant;
A calculation unit that receives the angular velocity signal and performs a calculation for correcting image blur based on the angular velocity signal;
Detection in which the angular velocity signal is sampled at regular intervals to detect a temporal change in angular acceleration of the camera body, and a differential value is obtained based on a sampling value of the angular velocity signal to detect a temporal change in the magnitude. And
A switching unit that switches a time constant of the high-pass filter between the first time constant and the second time constant by performing on / off control of the analog switch based on a detection result of the detection unit; ,
The detection unit is provided with a first absolute threshold value and a second absolute threshold value that are determined in advance, and the detection unit is configured to perform the detection from the time when the absolute value of the magnitude of the differential value becomes equal to or greater than the first absolute threshold value. The duration until the point when it becomes smaller than the first absolute threshold is calculated to determine whether the duration is greater than a predetermined threshold time, and the absolute value of the output of the high-pass filter is the second absolute threshold A determination unit for determining whether or not the
The switching unit is the absolute value of the output of the high-pass filter when the determination unit determines that the absolute value of the magnitude of the differential value is smaller than the first absolute threshold and the duration is longer than the threshold time. An image blur correction apparatus, wherein when the value is larger than the second absolute threshold, the analog switch is turned on to discharge the charge accumulated in the high-pass filter in accordance with a second time constant.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008009357A JP5169240B2 (en) | 2007-08-24 | 2008-01-18 | Imaging apparatus and image shake correction apparatus |
US12/230,069 US8077211B2 (en) | 2007-08-24 | 2008-08-22 | Image blurring correction device and imaging device using the same with a high pass filter |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007217763 | 2007-08-24 | ||
JP2007217763 | 2007-08-24 | ||
JP2008009357A JP5169240B2 (en) | 2007-08-24 | 2008-01-18 | Imaging apparatus and image shake correction apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009075532A JP2009075532A (en) | 2009-04-09 |
JP5169240B2 true JP5169240B2 (en) | 2013-03-27 |
Family
ID=40610516
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008009357A Expired - Fee Related JP5169240B2 (en) | 2007-08-24 | 2008-01-18 | Imaging apparatus and image shake correction apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5169240B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010288236A (en) | 2009-06-15 | 2010-12-24 | Sanyo Electric Co Ltd | Vibration correction control circuit and imaging apparatus mounted with the same |
JP2013061513A (en) | 2011-09-14 | 2013-04-04 | Ricoh Co Ltd | Lens barrel |
KR102149391B1 (en) * | 2015-02-23 | 2020-08-28 | 삼성전기주식회사 | Optical image stabilizer and camera module including the same |
JP7119905B2 (en) * | 2018-10-29 | 2022-08-17 | 株式会社ニコン | Arithmetic unit, interchangeable lens, camera body and imaging device |
JP7490983B2 (en) | 2020-03-02 | 2024-05-28 | 株式会社リコー | Imaging device and image blur correction method |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2820254B2 (en) * | 1988-05-27 | 1998-11-05 | キヤノン株式会社 | Camera image stabilizer |
JPH09211518A (en) * | 1996-02-02 | 1997-08-15 | Canon Inc | Camera and vibration-proof device |
JPH112851A (en) * | 1997-06-12 | 1999-01-06 | Asahi Optical Co Ltd | Optical machine provided with mechanism for correcting camera shake |
JP4154028B2 (en) * | 1998-03-31 | 2008-09-24 | キヤノン株式会社 | Imaging apparatus, control method therefor, and storage medium |
JP2002049068A (en) * | 2000-08-04 | 2002-02-15 | Canon Inc | Vibration-proof zoom lens device and camera system |
JP4753065B2 (en) * | 2005-02-04 | 2011-08-17 | 富士フイルム株式会社 | Image blur correction device |
-
2008
- 2008-01-18 JP JP2008009357A patent/JP5169240B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009075532A (en) | 2009-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7840126B2 (en) | Vibration detecting device, imaging apparatus, and vibration detecting method | |
JP5409342B2 (en) | Imaging apparatus and control method thereof | |
US20160165139A1 (en) | Image shake correction device, image pickup apparatus, and control method | |
US8508600B2 (en) | Imaging apparatus for stabilizing an image | |
US9749533B2 (en) | Image shake correcting device and control method therefor, optical apparatus, and image pickup apparatus | |
US10623645B2 (en) | Image blur correction device, method of controlling thereof, and imaging apparatus | |
CN108377330B (en) | Image shake correction apparatus, lens apparatus, image pickup apparatus, and control method | |
US20020047906A1 (en) | Photographing apparatus having variable image blur correction control characteristics for still photography and motion picture photography | |
CN107786809B (en) | Image pickup and accessory apparatus, communication control method thereof, image pickup system, and storage medium | |
JP5169240B2 (en) | Imaging apparatus and image shake correction apparatus | |
CN107040711B (en) | Image stabilization apparatus and control method thereof | |
US8077211B2 (en) | Image blurring correction device and imaging device using the same with a high pass filter | |
JP5612917B2 (en) | Optical apparatus and control method thereof | |
JP2016170285A (en) | Image blur correction device, optical equipment, imaging apparatus, and control method | |
JP6824710B2 (en) | Zoom control device and zoom control method, imaging device | |
US8878947B2 (en) | Image capturing apparatus and method of controlling image capturing apparatus | |
US10812715B2 (en) | Imaging apparatus and method of controlling imaging apparatus | |
JP2009008936A (en) | Imaging device | |
JP3218408B2 (en) | Automatic focus detection device | |
JP6611585B2 (en) | Zoom control device, zoom control method, and imaging device | |
JP6703789B2 (en) | Image blur correction apparatus and method, and image pickup apparatus | |
JP7073078B2 (en) | Image pickup device and its control method | |
JP7451152B2 (en) | Imaging device, control method and computer program | |
JP6700931B2 (en) | Image processing device, imaging device, and control method | |
JP2648046B2 (en) | Auto focus camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100702 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120327 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120518 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121217 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5169240 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160111 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |