JP2018180323A - Image blur correction device, imaging apparatus, and control method - Google Patents
Image blur correction device, imaging apparatus, and control method Download PDFInfo
- Publication number
- JP2018180323A JP2018180323A JP2017080343A JP2017080343A JP2018180323A JP 2018180323 A JP2018180323 A JP 2018180323A JP 2017080343 A JP2017080343 A JP 2017080343A JP 2017080343 A JP2017080343 A JP 2017080343A JP 2018180323 A JP2018180323 A JP 2018180323A
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- control
- shake
- angular velocity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Adjustment Of Camera Lenses (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、カメラ等に搭載される像ブレ補正装置およびその制御方法に関し、特に流し撮りを行うための撮影補助技術に関する。 The present invention relates to an image shake correction apparatus mounted on a camera or the like and a control method thereof, and more particularly to a photographing assistance technique for performing a follow shot.
カメラによる流し撮りは、動いている被写体の動きに合わせて、カメラを動かしながら通常よりも遅いシャッター速度で撮影する手法である。流し撮りによれば、背景が流れ、被写体が静止している画像が得られる。撮影者は、流し撮りにより、スピード感あふれる写真を撮影することができる。しかし、長秒撮影が行われるので、露光期間中に被写体のスピードとカメラを振る速度とを合わせることが困難である。 Panning with a camera is a method of shooting at a shutter speed slower than normal while moving the camera according to the movement of a moving subject. According to the panning, an image in which the background flows and the subject is stationary can be obtained. A photographer can shoot a full-speed photograph by panning. However, since long-second shooting is performed, it is difficult to match the speed of the subject with the speed of shaking the camera during the exposure period.
特許文献1は、被写体の速度と、カメラを振る速度との差分を検出し、当該差分に相当するズレ量を、手振れ補正機能を用いて補正する撮像装置を開示している。撮像装置は、撮影直前には、角速度センサにより、被写体の動きに合わせて動いているカメラのパンニングに対する角速度を検出する。また、撮像装置は、撮像面上の主被写体像の移動量に相当する動きベクトルを検出する。撮像装置は、検出したパンニング角速度と主被写体像の動きベクトルから主被写体の角速度を算出する。そして、露光中には、撮像装置は、算出した主被写体の角速度と、角速度センサ出力との差分量に従って像ブレ補正動作を実行する。これにより、主被写体に係る像ブレを補正して、流し撮りを支援(アシスト)することができる。
しかし、特許文献1が開示する撮像装置では、露光前に算出された主被写体の角速度を用いて露光中の補正を行うので、検出時の被写体の動きと補正時の被写体の動きとが違う場合は、間違った方向に補正することになる。例えば、走っている人物は、移動方向以外にも、一歩ごとに上下の反復運動をしている。このような反復運動をする被写体については、主被写体の角速度の算出タイミングによっては、像ブレ補正部の動きが実際に補正すべき方向とは逆の方向となり、像ブレ量が増えてしまう。
However, in the imaging device disclosed in
被写体角速度の信号の符号の反転を検出することで、被写体の反復運動を判定し、被写体が反復運動をしていると判定された場合には、通常の防振制御をすることが考えられる。通常の防振制御は、角速度センサ出力に基づく像ブレ補正(手振れ補正制御)を行うことである。しかし、被写体角速度の信号の符号は、ベクトルの検出誤差、誤判定、また、角速度センサのオフセットなどにより、容易に反転する場合がある。この場合に通常の防振制御に移行すると、流し撮りを効果的にアシストできなくなる。本発明は、被写体の反復運動を精度良く判定して、流し撮りを効果的にアシストすることが可能な像ブレ補正装置の提供を目的とする。 By detecting the inversion of the sign of the signal of the object angular velocity, the repetitive movement of the object is determined, and when it is determined that the object is repetitively moving, normal anti-vibration control may be performed. Normal image stabilization control is to perform image shake correction (camera shake correction control) based on an angular velocity sensor output. However, the sign of the signal of the object angular velocity may be easily inverted due to a vector detection error, an erroneous determination, an offset of the angular velocity sensor, or the like. In this case, if it shifts to normal anti-vibration control, it will not be possible to assist the follow shot effectively. An object of the present invention is to provide an image stabilization apparatus capable of effectively assisting a follow shot by accurately determining repetitive motion of a subject.
本発明の一実施形態の像ブレ補正装置は、撮像光学系を通して撮像手段により撮像される被写体の画像のブレを、像ブレ補正手段により補正する像ブレ補正装置であって、振れ検出手段により検出される振れの検出信号および撮像された画像から被写体の動き量を算出する算出手段と、前記振れの検出信号または前記算出手段の出力に基づいて、前記像ブレ補正手段を制御する制御手段とを備える。前記制御手段は、前記算出手段の出力の符号の反転が検出された場合に、所定期間における前記算出手段の出力の振幅に応じて、前記振れの検出信号に基づいて前記像ブレ補正手段を制御する第1の制御の実行と、前記算出手段の出力に基づいて前記像ブレ補正手段を制御する第2の制御の実行とを切り替える。 An image shake correction apparatus according to an embodiment of the present invention is an image shake correction apparatus that corrects a shake of an image of a subject captured by an imaging unit through an imaging optical system by an image shake correction unit, and is detected by a shake detection unit. Calculating means for calculating the amount of movement of the subject from the detected shake signal and the captured image, and control means for controlling the image shake correction means based on the detection signal of the shake or the output of the calculation means Prepare. The control means controls the image shake correction means on the basis of the detection signal of the shake in accordance with the amplitude of the output of the calculation means in a predetermined period when reverse of the sign of the output of the calculation means is detected. Switching between the execution of the first control to be performed and the execution of the second control for controlling the image blur correction unit based on the output of the calculation unit.
本発明の像ブレ補正装置によれば、被写体の反復運動を精度良く判定して、流し撮りを効果的にアシストすることが可能となる。 According to the image shake correction apparatus of the present invention, it is possible to accurately determine the repetitive movement of the subject and to effectively assist the follow shot.
(実施例1)
図1は、本実施形態の像ブレ補正装置を備える撮像装置の構成例を示す図である。
本実施形態の像ブレ補正装置は、ビデオカメラ、デジタルカメラ及び銀塩スチルカメラ等の撮像装置や、デジタル一眼レフ用の交換レンズ等の光学機器にも搭載可能である。図1に示す撮像装置は、例えば、流し撮りモード機能を搭載したミラーレスカメラ(以下、単に「カメラ」と記述)である。
Example 1
FIG. 1 is a view showing an example of the arrangement of an image pickup apparatus provided with the image shake correction apparatus of this embodiment.
The image shake correction apparatus of the present embodiment can also be mounted on an imaging apparatus such as a video camera, a digital camera, and a silver halide still camera, or an optical apparatus such as an interchangeable lens for a digital single-lens reflex camera. The imaging apparatus shown in FIG. 1 is, for example, a mirrorless camera (hereinafter simply referred to as “camera”) equipped with a follow shot mode function.
像ブレ補正機能を有する交換レンズ100は、カメラ本体部120に装着可能な光学機器である。交換レンズ100は、撮像光学系102、ズームレンズ群103、シフトレンズ群104を有する撮影レンズユニット101を備える。ズームレンズ群103は、撮像光学系102の焦点距離を変更可能である。
The
ズームエンコーダ105は、ズームレンズ103の位置を検出し、検出信号をレンズシステム制御用マイクロコンピュータ(以下、「レンズ制御部」と記述)113に出力する。レンズ制御部113は、ズームエンコーダ105の検出信号により撮像光学系102の焦点距離を得る。また、シフトレンズ群104は、光軸と垂直方向に移動して、被写体からの光の結像位置を変更することにより、カメラに加わる振れにより生じる画像のブレ(像ブレ)を光学的に補正する補正レンズ(シフトレンズ)である。以下では、シフトレンズ群を単に「シフトレンズ」とも記述する。すなわち、本実施形態の像ブレ補正装置は、撮像光学系を通して撮像手段(撮像素子122)により撮像される被写体の画像のブレを、シフトレンズにより補正する。
The
振れ検出手段として機能する角速度センサ(以下、ジャイロ)111は、カメラ全体の振れを検出し、振れ検出信号をアンプ112に出力する。振れ検出信号は、カメラの角速度を示す。アンプ112が、振れ検出信号を増幅してレンズ制御部113に出力する。レンズ制御部113は、アナログ/デジタル変換器(A/D)等によりアンプ112の出力をジャイロデータとして取り込む。また、レンズ制御部113は、手振れ補正制御を行う手振れ補正制御部117と、流し撮りモード用の制御を行う流し撮りモード制御部118を備える。レンズ制御部113はその他にもフォーカスレンズ制御、絞り制御等も行うが、図示の簡略化のため省略する。ドライバ114は、レンズ制御部113からの制御信号にしたがって、像ブレを補正するためにシフトレンズ群104を駆動する。すなわち、ドライバ114は、シフトレンズ群104とその駆動機構部とともに、像ブレ補正部を構成する。アンプ115は、位置センサ106が検出して出力するシフトレンズ群104の位置情報を増幅してレンズ制御部113に出力する。なお、横方向と縦方向などの直交する2軸に関してシフトレンズ群104の位置の検出および像ブレの補正が行われるが、位置の検出と像ブレの補正は2軸について同様の構成により行われるので、以下では1軸分についてのみ説明する。また、交換レンズ100は、カメラ本体部120との通信に用いるマウント接点部116を備える。
An angular velocity sensor (hereinafter referred to as a gyro) 111 functioning as a shake detection unit detects shake of the entire camera and outputs a shake detection signal to the
カメラ本体部120は、露出制御に用いるシャッター121、CMOS(相補型金属酸化膜半導体)センサ等の撮像素子122を備える。撮像素子122が出力する撮像信号は、アナログ信号処理回路(AFE)123で処理された後、カメラ信号処理回路124に送られる。タイミングジェネレータ(TG)125は、撮像素子122、アナログ信号処理回路123の動作タイミングを設定する。操作部131は、電源スイッチ、レリーズスイッチ、流し撮りモードに設定するか否かを切り替える切り替えスイッチ、さらに流し撮りモード時に背景の流し量を選択するスイッチ等を備える。
The
カメラシステム制御用マイクロコンピュータ(以下、「カメラ制御部」と記述)132は、撮像装置全体を制御する。例えば、カメラ制御部132は、シャッター用のドライバ133に制御信号を出力し、シャッター駆動用のモータ134を駆動制御する。ただし、図1では、説明の簡略化のため、カメラ制御部内の流し撮りに関する部分のみを示している。
A camera system control microcomputer (hereinafter referred to as “camera control unit”) 132 controls the entire imaging apparatus. For example, the
メモリカード171は、撮影された画像のデータを記録する記録媒体である。表示部172は、撮影者がカメラで撮影しようとしている画像をモニタし、撮影した画像を表示する液晶パネル(LCD)等の表示デバイスを備える。カメラ本体部120は、交換レンズ100との通信に用いるマウント接点部161を備える。レンズ制御部113とカメラ制御部132は、マウント接点部116および161を介して、所定のタイミングでシリアル通信を行う。
The
カメラ信号処理回路124は、動きベクトル検出部141を備える。動きベクトル検出部141は、複数のフレームの画像データに基づいて撮影画像の動きを検出する。動きベクトル検出部141は、撮影画像の動きの検出信号をカメラ制御部132に出力する。
The camera
カメラ制御部132は、ヒストグラム作成部150、主被写体判定部151、主被写体角速度算出部152を備える。ヒストグラム作成部150は、動きベクトル検出部141が出力する撮影画像の動きの検出信号に基づいて、動き量のヒストグラムを作成する。主被写体判定部151は、作成されたヒストグラムと、レンズ制御部113から受信するカメラの角速度とに基づいて、流し撮り撮影対象となる主被写体が存在する画面上の領域を選択する。主被写体角速度算出部152は、主被写体判定部151で選択された主被写体に関する動きベクトル情報を、焦点距離、フレームレート、センサの画素ピッチ等を用いて角速度に換算する。そして、主被写体角速度算出部152は、主被写体に関する動きベクトル情報が換算された角速度と、カメラの角速度とに基づいて、主被写体角速度を算出する。主被写体角速度は、流し撮り対象である被写体を止めるためのカメラのパンニング角速度であり、被写体の動き量に対応する。すなわち、動きベクトル検出部141およびカメラ制御部132は、角速度センサ111により検出される振れの検出信号(カメラの角速度)および撮像された画像から被写体の動き量を算出する算出手段として機能する。
The
撮影者が、操作部131を用いて撮影者がカメラの電源をON操作すると、電源がONされたことをカメラ制御部132が検出する。カメラ制御部132は、カメラ本体部120の各回路への電源供給および初期設定処理を実行する。交換レンズ100への電源供給が行われ、レンズ制御部113は、交換レンズ100内の初期設定処理を実行する。そして、レンズ制御部113とカメラ制御部132との間で所定のタイミングで通信が始まる。このレンズとカメラ間での通信によって、カメラ本体部120から交換レンズ100に、カメラの状態、撮影設定等が送受信される。また、交換レンズ100からカメラ本体部120に、交換レンズの焦点距離情報、角速度情報等がそれぞれ必要なタイミングで送受信される。さらに、流し撮りモード中には、カメラ本体部120から交換レンズ100に対して、流し撮りモード中であることを示す情報と、被写体角速度算出部152が算出した主被写体角速度のデータが送信される。レンズ制御部113が、流し撮りモード中であることを示す情報を受信すると、シフトレンズの駆動制御を流し撮り制御部118での制御に切り替える。流し撮り制御部118は、主被写体角速度に基づいてシフトレンズ群104を駆動することで、主被写体に係る像ブレを補正し、流し撮りをアシストする。流し撮りモード中でない場合は、レンズ制御部113は、シフトレンズ駆動制御を、手振れ補正制御部117での制御(手振れ補正制御)に切り替える。そして、手振れ補正制御部117が、カメラの角速度に基づいて、通常の防振制御を実行する。
When the photographer turns on the power of the camera using the
図4は、流し撮りモード中のレンズ制御部とカメラ制御部の動作を説明する図である。S401乃至S407は、レンズ制御部113内の動作を示し、S411乃至S416は、カメラ制御部132内の動作を示す。
FIG. 4 is a diagram for explaining the operations of the lens control unit and the camera control unit in the follow shot mode. S401 to S407 show the operation in the
レンズ制御部113は、角速度センサ(ジャイロ)111の出力を、例えば4kHzでサンプリングしている。S401において、レンズ制御部113が、カメラ側でベクトル検出を行うフレーム間と同期した期間のジャイロデータ平均値をカメラ制御部132に送信する。S411において、カメラ制御部132が、ジャイロデータを受信する(破線421)。
The
S412において、カメラ制御部132が、S411で受信したジャイロデータと被写体判定部151で選択した主被写体ベクトルとに基づいて、主被写体角速度を演算する。S413において、カメラ制御部132が、破線422で示すように、演算結果をレンズ制御部113に送信する。S402において、レンズ制御部113が、カメラ制御部132から主被写体角速度を受信する。
In step S412, the
次に、S414において、カメラ制御部132が、S412で算出した主被写体角速度と、別のタイミングでレンズ制御部113からカメラ制御部132へと送信される焦点距離(不図示)とに基づいて、所定の流し量を得るための露光時間を算出する。続いて、S415において、カメラ制御部132が、SW2がONされたか(レリーズ動作が行われたか)を判断する。SW2がONされない場合は、処理がS411に戻る。SW2がONされた場合は、カメラ制御部132が、レンズ制御部113に対して、SW2がONとなったことを示す情報と、S414で算出された露光時間とを送信する(破線423)。
Next, in S414, based on the main subject angular velocity calculated in S412 by the
S403において、レンズ制御部113が、SW2がONされたかを判断する。SW2がONされていない場合は、処理がS401に戻る。SW2がONされた場合は、処理がS404に進む。これにより、レンズ制御部113とカメラ制御部132とが共に露光中の動作に遷移する。
In S403, the
S416において、カメラ制御部132が、露光動作を開始する。S417において、カメラ制御部132が、露光終了タイミングになったかを判断する。露光終了タイミングになっていない場合は、処理がS417に戻る。一方、レンズ制御部113は、S404において、レリーズ動作直前に受信した主被写体角速度から現時点でのジャイロデータを減算して、シフトレンズの駆動目標値を算出する。そしてS405において、レンズ制御部113が、ドライバ114へ駆動信号を出力して、シフトレンズを駆動する。
In step S416, the
S406において、レンズ制御部113が、露光が終了したかを判断する。露光が終了していない場合は、処理がS404に戻る。露光が終了した場合は、レンズ制御部113が、シフトレンズを中心位置に戻す。そして、処理がS401に戻る。以上の動作により、パンニング速度と、被写体の動きのずれが、シフトレンズの動きで補正され、流し撮りのアシストが行われる。
In S406, the
図2は、図4のS412における主被写体角速度の演算処理の一例を説明するフローチャートである。
以下、図2を参照して、本発明の特徴である、被写体の反復運動の検出処理について詳細に説明する。S201において、カメラ制御部132が、フレーム間のジャイロデータを取得する。S202において、カメラ制御部132が、被写体判定部151によって選択された主被写体のベクトルデータを取得する。そして、S203において、主被写体角速度算出部152が、ジャイロデータと主被写体のベクトルデータとに基づいて、主被写体角速度を算出する。S204において、カメラ制御部132が、S204で算出された主被写体角速度を保存する。
FIG. 2 is a flow chart for explaining an example of calculation processing of the main subject angular velocity in S412 of FIG.
Hereinafter, with reference to FIG. 2, a process of detecting repetitive motion of an object, which is a feature of the present invention, will be described in detail. In S201, the
次に、S205において、カメラ制御部132が、反転検出手段として機能し、前回保存した主被写体角速度から今回算出した主被写体角速度が0クロスしたか、つまり主被写体角速度の符号が反転したかを判断する。主被写体角速度が0クロスした(主被写体角速度の符号が反転した)ことが検出された場合は、処理がS206に進む。主被写体角速度が0クロスしていない(主被写体角速度の符号が反転していない)場合は、処理がS211に進む。
Next, in S205, the
次に、S206において、カメラ制御部132が、所定期間(時間)分以上の主被写体角速度が保存されているかを判断する。所定期間分以上の主被写体角速度が保存されていない場合は、処理がS212に進む。そして、S212において、カメラ制御部132が、S203で算出された角速度の値を主被写体角速度として設定する。流し撮り制御部118は、主被写体角速度に基づいて、シフトレンズ群104を駆動する。すなわち、主被写体角速度に基づく流し撮りアシスト制御が行われることになる。所定期間分以上の主被写体角速度が保存されている場合は、処理がS207に進む。
Next, in S206, the
S207において、カメラ制御部132が、振幅検出手段として機能し、主被写体角速度の振幅を検出(確認)する。続いて、S208において、カメラ制御部132が、主被写体角速度の振幅が所定の閾値以上であるかを判断する。主被写体角速度の振幅が、閾値以上でない場合は、処理がS212に進む。主被写体角速度の振幅が、閾値以上である場合は、処理がS209に進む。
In S207, the
S209において、カメラ制御部132が、主被写体反復フラグをセットする。主被写体反復フラグは、主被写体が反復運動していることを示す。続いて、S210において、カメラ制御部132が、主被写体角速度に0を設定する。主被写体角速度が0ということは、被写体が動いていないということを意味する。したがって、レンズ制御部113は、流し撮りアシスト動作は行わず、ジャイロデータに基づいて、シフトレンズを駆動する。つまり、図4のS404において、流し撮り制御部118は、主被写体角速度が0であるので、ジャイロデータに基づいて、シフトレンズの駆動目標値を算出する。この結果、シフトレンズの駆動制御が通常の防振制御(手振れ補正制御)に切り替わり、過補正は行われない。
In S209, the
図3は、縦方向の被写体角速度の変化の例を示す図である。
図3において、横軸は時間を示す。縦軸は被写体角速度の大きさを示す。図3(A)は、撮影者がカメラを正位置で構えて、走っている人に合わせてカメラを動かしている場合の、縦方向の被写体角速度を示している。図3(A)に示すように、振幅は大きく、また、振幅の周波数もほぼ決まっており、2Hz以上である。つまり、振幅の最大値(PP値)が検出できるまでの時間は、0.4秒弱であり、短い時間で大きな振幅を検出することができる。
FIG. 3 is a view showing an example of the change of the object angular velocity in the vertical direction.
In FIG. 3, the horizontal axis indicates time. The vertical axis represents the magnitude of the object angular velocity. FIG. 3A shows the object angular velocity in the vertical direction when the photographer holds the camera at the normal position and moves the camera according to the person who is running. As shown in FIG. 3A, the amplitude is large, and the frequency of the amplitude is almost fixed, and is 2 Hz or more. That is, the time until the maximum value (PP value) of the amplitude can be detected is less than 0.4 seconds, and a large amplitude can be detected in a short time.
図3(B)は、撮影者がカメラを正位置で構えて、車の動きに合わせてカメラを動かしている場合の縦方向の被写体角速度の変化の一例を示す。特に、ベクトルの検出誤差により、被写体角速度が0クロスしているが、角速度の振幅としては小さい値となる。したがって、振幅と閾値とを比較することで、図3(B)に示す被写体の動きは、反復運動ではなく、ベクトル検出エラーであると判断することができる。 FIG. 3B shows an example of the change in the object angular velocity in the vertical direction when the photographer holds the camera at the normal position and moves the camera in accordance with the movement of the car. In particular, although the object angular velocity crosses zero due to a vector detection error, the amplitude of the angular velocity has a small value. Therefore, by comparing the amplitude with the threshold value, it can be determined that the movement of the subject shown in FIG. 3B is not a repetitive motion but a vector detection error.
図3(C)は、車が遠くを走っている状態から、ほぼ真横に近いところまで動いている場合の被写体角速度の変化の一例を示す。この例では、縦方向ではなく、横方向の被写体角速度を示している。本来であれば、角速度の変化は、被写体が遠いと遅く、真横で最大となるので、実線で示すような角速度の軌跡を描く。しかし、ジャイロにオフセットが乗っていると、破線で示すように、軌跡が平行移動し、0クロスする場合がある。ただし、この場合は、角速度変化としては緩やかであるので、角速度の変化量を検出する時間に閾値を設けることにより、小さな振幅しか検出されない。その結果、図3(C)に示す被写体の動きは、反復運動ではないと判断することができる。つまり、図2のS206およびS208の処理を行うことで、被写体の動きが反復運動か否かを確実に検出することができる。 FIG. 3C shows an example of the change in the object angular velocity when the car is moving from a distance to a position almost right beside. In this example, the subject angular velocity is shown not in the vertical direction but in the horizontal direction. Under normal circumstances, the change in angular velocity is slow when the object is far and is maximum immediately beside, so the locus of angular velocity is drawn as shown by a solid line. However, when an offset is mounted on the gyro, as indicated by a broken line, the locus may move in parallel and cross zero. However, in this case, since the change in angular velocity is gradual, only a small amplitude can be detected by providing a threshold in the time of detecting the amount of change in angular velocity. As a result, it can be determined that the movement of the subject shown in FIG. 3C is not a repetitive movement. That is, by performing the processes of S206 and S208 in FIG. 2, it is possible to reliably detect whether or not the movement of the subject is the repetitive movement.
図2の説明に戻る。S211において、カメラ制御部132が、現在主被写体反復フラグがセットされているかを判断する。主被写体反復フラグがセットされていない場合は、処理がS212に進む。主被写体反復フラグがセットされている場合は、現在既に被写体が反復運動していると判断されている。したがって、S213以降の処理に進んで、被写体が反復運動しているという判断を解除するかどうかを決定する処理が実行される。
It returns to the explanation of FIG. In step S211, the
S213において、カメラ制御部132が、カウンタをインクリメントする。カウンタは、主被写体角速度が0クロスしなくなってからの時間を示す。S214において、カメラ制御部132が、カウンタが所定値以上であるかを判断する。カウンタが所定値以上でない場合は、処理を終了する。カウンタが所定値以上である場合は、処理がS215に進む。S215において、カメラ制御部132が、反復運動状態が終わったと判断して、主被写体反復フラグをクリアし、カウンタをクリアする。そして、処理がS212に進む。
In S213, the
なお、焦点距離がよりワイド側にあるレンズを使用することで画角が広くなった場合は、被写体の画面に占める割合が小さくなるので、反復運動を行っていても、テレ側のレンズを使用する時に比べて被写体の振幅量は小さくなる。したがって、カメラ制御部132が、図2のS208の判断処理で用いられる振幅に対応する閾値を、使用しているレンズの焦点距離に応じて変更してもよい。例えば、カメラ制御部132は、焦点距離が短いほど閾値を小さくし、焦点距離が長いほど閾値を大きくする。
When the angle of view becomes wider by using a lens with a focal length on the wider side, the ratio of the subject to the screen decreases, so the lens on the tele side is used even if repetitive motion is performed. The amount of amplitude of the subject is smaller than when it is used. Therefore, the
また、主被写体角速度の符号反転が複数回検出された場合は、反復運動である可能性がより高くなる。したがって、カメラ制御部132が、複数回の符号反転を検出した場合は、符号反転の回数に応じて、振幅に対応する閾値を変更してもよい。カメラ制御部132は、例えば、主被写体角速度の符号反転の回数が複数回検出された場合には、振幅に対応する閾値を小さくする。
In addition, when sign inversion of the main object angular velocity is detected a plurality of times, the possibility of repetitive motion is higher. Therefore, when the
(実施例2)
実施例2の撮像装置は、被写体の反復運動検出に際し、主被写体角速度の符号反転だけでなく、主被写体角速度の差分である角加速度の符号反転も確認する。これにより、ジャイロのオフセットが非常に大きい場合にも、精度良く被写体の反復運動の有無を検出することが可能となる。実施例2の撮像装置の構成は実施例1の撮像装置と同様である。
(Example 2)
The imaging apparatus according to the second embodiment checks not only the sign inversion of the main object angular velocity but also the sign inversion of the angular acceleration that is the difference between the main object angular velocities, when detecting the repetitive motion of the object. As a result, even when the gyro offset is very large, it is possible to accurately detect the presence or absence of repetitive motion of the subject. The configuration of the imaging apparatus of the second embodiment is the same as that of the imaging apparatus of the first embodiment.
図5は、実施例2における主被写体角速度の演算処理を説明するフローチャートである。
S501は、図2のS201乃至S204と同じ動作であり、説明を省略する。S502において、カメラ制御部132が、主被写体角速度のフレーム毎の差分をとることで、角加速度を算出し、保存する。続いて、S503において、カメラ制御部132が、図2のS205と同様に、主被写体角速度を参照して、主被写体角速度の0クロス、すなわち符号反転が検出されたかを判断する。符号反転が検出された場合は、処理がS505に進む。S505乃至S514は、図2のS206乃至215と同様である。符号反転が起こっていない場合は、処理がS504に進む。
FIG. 5 is a flowchart for explaining the calculation process of the main subject angular velocity in the second embodiment.
S501 is the same operation as S201 to S204 in FIG. 2, and the description will be omitted. In step S502, the
S504において、カメラ制御部132が、角加速度の0クロス、すなわち符号反転が検出されたかを判断する。角加速度の符号反転が検出された場合は、処理がS505に進む。角加速度の符号反転が起こっていない場合は、処理がS510に進む。
In step S504, the
図6は、主被写体角速度と角加速度との関係を説明する図である。
図6(A)は、ジャイロデータにオフセットがない場合の主被写体角速度と角加速度を示す。図6(A)に示すように、主被写体角速度と角加速度とは、位相が90度ずれている。したがって、角速度と角加速度の両方のデータを確認することにより、被写体が反復運動を行っている可能性をより速く確認することが可能となる。
FIG. 6 is a diagram for explaining the relationship between the main subject angular velocity and the angular acceleration.
FIG. 6A shows the main object angular velocity and the angular acceleration when there is no offset in the gyro data. As shown in FIG. 6A, the main object angular velocity and the angular acceleration are out of phase by 90 degrees. Therefore, by checking both angular velocity and angular acceleration data, it is possible to quickly confirm that the subject is performing repetitive motion.
図6(B)は、ジャイロデータにオフセットがある場合の主被写体角速度と角加速度を示す。図6(B)に示す例では、主被写体角速度のデータが、反復運動をしているにもかかわらず、0クロス(符号の反転)が発生しない。したがって、角速度のみでは反復運動が検出できないので、過補正による画像のブレが発生する可能性がある。しかし、実施例2では、図5のS504において角加速度の0クロスが起きたかを判断し、角加速度の0クロスが起きた場合には、S505の処理に進むことにより、反復運動の検出をすることが可能となる。 FIG. 6B shows the main object angular velocity and the angular acceleration when there is an offset in the gyro data. In the example shown in FIG. 6B, although the data of the main object angular velocity is repetitively moving, the zero crossing (inversion of the sign) does not occur. Therefore, since the repetitive motion can not be detected only by the angular velocity, the image may be blurred due to overcorrection. However, in the second embodiment, it is determined in S504 of FIG. 5 whether or not the zero cross of the angular acceleration has occurred, and when the zero cross of the angular acceleration occurs, the repetitive motion is detected by proceeding to the processing of S505. It becomes possible.
実施例2の撮像装置によれば、被写体が反復運動しているか否かに関する検出時間を短縮でき、また、ジャイロデータにオフセットがあっても、反復動作を確実に検出することが可能となる。その結果、反復運動の検出がより確実になり、流し撮り時に誤って過補正し、画像がブレてしまうということを回避することができる。以上、本発明の好ましい実施例について説明したが、本発明は、これらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。 According to the imaging apparatus of the second embodiment, it is possible to shorten the detection time regarding whether or not the subject repetitively moves, and it is possible to reliably detect repetitive movement even if there is an offset in the gyro data. As a result, detection of repetitive motions becomes more reliable, and it is possible to prevent the image from being blurred by erroneously overcorrecting during follow-up shooting. Although the preferred embodiments of the present invention have been described above, the present invention is not limited to these embodiments, and various modifications and changes can be made within the scope of the present invention.
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Other embodiments)
The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. Can also be realized. It can also be implemented by a circuit (eg, an ASIC) that implements one or more functions.
113 レンズ制御部
132 カメラ制御部
113
Claims (10)
振れ検出手段により検出される振れの検出信号および撮像された画像から被写体の動き量を算出する算出手段と、
前記振れの検出信号または前記算出手段の出力に基づいて、前記像ブレ補正手段を制御する制御手段とを備え、
前記制御手段は、前記算出手段の出力の符号の反転が検出された場合に、所定期間における前記算出手段の出力の振幅に応じて、前記振れの検出信号に基づいて前記像ブレ補正手段を制御する第1の制御の実行と、前記算出手段の出力に基づいて前記像ブレ補正手段を制御する第2の制御の実行とを切り替える
ことを特徴とする像ブレ補正装置。 An image blur correction apparatus that corrects blur of an image of a subject captured by an imaging unit through an imaging optical system by an image blur correction unit,
Calculation means for calculating the amount of movement of the subject from the shake detection signal detected by the shake detection means and the captured image;
And control means for controlling the image shake correcting means based on the detection signal of the shake or the output of the calculating means.
The control means controls the image shake correction means on the basis of the detection signal of the shake in accordance with the amplitude of the output of the calculation means in a predetermined period when reverse of the sign of the output of the calculation means is detected. An image blur correction apparatus, comprising: switching between execution of a first control to be performed and execution of a second control for controlling the image blur correction means based on an output of the calculation means.
前記所定期間における前記算出手段の出力の振幅を検出する振幅検出手段とを備え、
前記制御手段は、前記検出された振幅が閾値以上である場合に、前記第1の制御を実行する
ことを特徴とする請求項1に記載の像ブレ補正装置。 Inversion detection means for detecting inversion of the sign of the output of the calculation means;
Amplitude detection means for detecting the amplitude of the output of the calculation means during the predetermined period;
The image shake correction apparatus according to claim 1, wherein the control means executes the first control when the detected amplitude is equal to or higher than a threshold.
ことを特徴とする請求項2に記載の像ブレ補正装置。 The image blur correction apparatus according to claim 2, wherein the control unit changes the threshold according to the number of times the sign of the output of the calculation unit is inverted.
ことを特徴とする請求項3に記載の像ブレ補正装置。 The image shake correction apparatus according to claim 3, wherein the control means reduces the threshold value when inversion of the sign of the output of the calculation means is detected a plurality of times.
ことを特徴とする請求項2乃至4のいずれか1項に記載の像ブレ補正装置。 The image blur correction apparatus according to any one of claims 2 to 4, wherein the control unit changes the threshold according to a focal length of the imaging optical system.
ことを特徴とする請求項5に記載の像ブレ補正装置。 The image blur correction apparatus according to claim 5, wherein the control unit increases the threshold as the focal length of the imaging optical system increases.
前記制御手段は、前記被写体の角速度に基づいて検出される前記被写体の角加速度の符号の反転の検出の有無に応じて、前記第1の制御の実行と、前記第2の制御の実行とを切り替える
ことを特徴とする請求項1乃至6のいずれか1項に記載の像ブレ補正装置。 The calculation means outputs the angular velocity of the subject as the movement amount,
The control means performs execution of the first control and execution of the second control in accordance with presence or absence of detection of reversal of sign of angular acceleration of the subject detected based on angular velocity of the subject. The image blurring correction device according to any one of claims 1 to 6, wherein the switching is performed.
ことを特徴とする請求項1乃至7のいずれか1項に記載の像ブレ補正装置。 The image blur correction device according to any one of claims 1 to 7, wherein the image blur correction unit includes a correction lens that corrects an image blur by changing an imaging position of light from the subject. Correction device.
前記撮像手段とを備える
ことを特徴とする撮像装置。 An image shake correction apparatus according to any one of claims 1 to 8.
An imaging apparatus comprising: the imaging unit.
検出手段により検出される振れの検出信号および撮像された画像から被写体の動き量を算出する算出工程と、
前記振れの検出信号または前記算出工程での出力に基づいて、前記像ブレ補正手段を制御する制御工程とを備え、
前記制御工程では、前記算出工程での出力の符号の反転が検出された場合に、所定期間における前記算出工程での出力の振幅に応じて、前記振れの検出信号に基づいて前記像ブレ補正手段を制御する第1の制御の実行と、前記算出手段の出力に基づいて前記像ブレ補正手段を制御する第2の制御の実行とを切り替える
ことを特徴とする像ブレ補正装置の制御方法。 It is a control method executed by an image blur correction apparatus that corrects blur of an image of a subject captured by an imaging unit through an imaging optical system by an image blur correction unit,
Calculating the amount of movement of the subject from the shake detection signal detected by the detection means and the captured image;
And a control step of controlling the image shake correcting means on the basis of the detection signal of the shake or an output in the calculation step.
In the control step, when reversal of the sign of the output in the calculation step is detected, the image blur correction means based on the detection signal of the shake according to the amplitude of the output in the calculation step in a predetermined period A control method of an image shake correction apparatus, comprising: switching between execution of a first control for controlling and execution of a second control for controlling the image shake correction means based on an output of the calculation means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017080343A JP6887858B2 (en) | 2017-04-14 | 2017-04-14 | Image blur correction device, imaging device and control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017080343A JP6887858B2 (en) | 2017-04-14 | 2017-04-14 | Image blur correction device, imaging device and control method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018180323A true JP2018180323A (en) | 2018-11-15 |
JP6887858B2 JP6887858B2 (en) | 2021-06-16 |
Family
ID=64276531
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017080343A Active JP6887858B2 (en) | 2017-04-14 | 2017-04-14 | Image blur correction device, imaging device and control method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6887858B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021047291A (en) * | 2019-09-18 | 2021-03-25 | キヤノン株式会社 | Image processing device, imaging apparatus, and control method |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0846856A (en) * | 1994-07-28 | 1996-02-16 | Fuji Photo Optical Co Ltd | Hand shake correcting device |
JPH08331430A (en) * | 1995-05-30 | 1996-12-13 | Sony Corp | Hand shake correcting device and video camera |
JP2010147857A (en) * | 2008-12-19 | 2010-07-01 | Canon Inc | Imaging apparatus and imaging method, program and medium |
JP2016167798A (en) * | 2015-03-03 | 2016-09-15 | キヤノン株式会社 | Imaging device and control program for the same |
-
2017
- 2017-04-14 JP JP2017080343A patent/JP6887858B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0846856A (en) * | 1994-07-28 | 1996-02-16 | Fuji Photo Optical Co Ltd | Hand shake correcting device |
JPH08331430A (en) * | 1995-05-30 | 1996-12-13 | Sony Corp | Hand shake correcting device and video camera |
JP2010147857A (en) * | 2008-12-19 | 2010-07-01 | Canon Inc | Imaging apparatus and imaging method, program and medium |
JP2016167798A (en) * | 2015-03-03 | 2016-09-15 | キヤノン株式会社 | Imaging device and control program for the same |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021047291A (en) * | 2019-09-18 | 2021-03-25 | キヤノン株式会社 | Image processing device, imaging apparatus, and control method |
JP7443005B2 (en) | 2019-09-18 | 2024-03-05 | キヤノン株式会社 | Image processing device, imaging device and control method |
Also Published As
Publication number | Publication date |
---|---|
JP6887858B2 (en) | 2021-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6246015B2 (en) | Image processing apparatus and control method thereof | |
US9723209B2 (en) | Image shake correction device, image pickup apparatus, and control method | |
JP6700872B2 (en) | Image blur correction apparatus and control method thereof, image pickup apparatus, program, storage medium | |
JP6341691B2 (en) | Image shake correction apparatus, control method therefor, optical apparatus, and imaging apparatus | |
US10218907B2 (en) | Image processing apparatus and control method detection and correction of angular movement due to shaking | |
JP6700826B2 (en) | Image blur correction apparatus, control method thereof, program, and storage medium | |
JP6282152B2 (en) | Imaging apparatus and control method thereof | |
US10419674B2 (en) | Image blur correction device, control method thereof, and imaging device | |
JP2019078843A (en) | Image blur correction apparatus, control method thereof, and imaging apparatus | |
JP6543946B2 (en) | Shake correction device, camera and electronic device | |
JP2018037772A (en) | Imaging apparatus and control method of the same | |
JP6401494B2 (en) | Blur correction apparatus, blur correction method and program, and imaging apparatus | |
JP2018165800A (en) | Image blurring correction device, imaging device, and method for controlling imaging device | |
JP2018010165A (en) | Image blur correction device, method for controlling the same, and imaging apparatus | |
JP6429633B2 (en) | Image blur correction apparatus, control method, optical apparatus, imaging apparatus | |
JP6887858B2 (en) | Image blur correction device, imaging device and control method | |
JP2015145901A (en) | Imaging apparatus | |
JP6268981B2 (en) | Blur correction device, interchangeable lens and camera | |
JP2018082232A (en) | Imaging device and control method | |
JP2019091063A (en) | Shake correction device, electronic apparatus and camera | |
JP7451152B2 (en) | Imaging device, control method and computer program | |
JP6468343B2 (en) | Interchangeable lenses and optical equipment | |
JP7214424B2 (en) | Imaging device and its control method | |
WO2020012960A1 (en) | Imaging device | |
JP2018026607A (en) | Image blur correction device and control method therefor, optical instrument, and imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200402 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210202 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210401 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210420 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210519 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6887858 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |