JP6643095B2 - Image blur correction apparatus and control method thereof, program, storage medium - Google Patents
Image blur correction apparatus and control method thereof, program, storage medium Download PDFInfo
- Publication number
- JP6643095B2 JP6643095B2 JP2016006554A JP2016006554A JP6643095B2 JP 6643095 B2 JP6643095 B2 JP 6643095B2 JP 2016006554 A JP2016006554 A JP 2016006554A JP 2016006554 A JP2016006554 A JP 2016006554A JP 6643095 B2 JP6643095 B2 JP 6643095B2
- Authority
- JP
- Japan
- Prior art keywords
- blur correction
- correction amount
- shift
- image
- shake
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Adjustment Of Camera Lenses (AREA)
- Studio Devices (AREA)
Description
本発明は、撮影者の手ブレ等に起因する像ブレを補正する像ブレ補正装置に関するものである。 The present invention relates to an image blur correction device that corrects image blur caused by camera shake of a photographer or the like.
撮像装置の振れを検出して、この振れに起因する像ブレを、移動可能なレンズまたは撮像素子を用いて補正する機能を備えた撮像装置や交換レンズが知られている。このような方式の像ブレ補正機能を光学式像ブレ補正と呼ぶ。また近年では、動画の各フレームの切り出し位置を変更することにより、画像のブレをキャンセルする像ブレ補正機能も知られており、小型・軽量の撮像装置や撮像装置付き携帯電話などに用いられている。このような方式の像ブレ補正を電子式像ブレ補正と呼ぶ。 2. Description of the Related Art There are known an image pickup apparatus and an interchangeable lens having a function of detecting a shake of an image pickup apparatus and correcting an image blur caused by the shake using a movable lens or an image pickup element. Such an image blur correction function is called optical image blur correction. In recent years, an image blur correction function of canceling image blur by changing a cutout position of each frame of a moving image has also been known, and is used for a small and lightweight imaging device or a mobile phone with an imaging device. I have. This type of image blur correction is called electronic image blur correction.
撮像装置の振れを検出するには、角速度センサ(ジャイロセンサ)を用いるのが一般的であり、検出した角速度に基づいて、画像のブレをキャンセルする方向にレンズまたは撮像素子を駆動する。また加速度センサにより撮像装置のシフト方向の振れを検知するものもある。また近年では、撮像装置のフレームレートの高速化と画像処理の高度化により、フレーム間の画像のブレを解析し、動きベクトルを算出することでブレを検出することも可能となってきている。 In general, an angular velocity sensor (gyro sensor) is used to detect a shake of the imaging apparatus. A lens or an imaging element is driven in a direction to cancel image blur based on the detected angular velocity. There is also one that detects a shake in the shift direction of the imaging device using an acceleration sensor. In recent years, with the increase in the frame rate of the imaging apparatus and the sophistication of image processing, it has become possible to analyze the blur of an image between frames and calculate a motion vector to detect the blur.
像ブレの成分としては、撮像装置の回転振れに起因する通常の角度ブレと、撮像装置のシフト振れに起因するシフトブレの2種類が存在する。近距離撮影でない通常の撮影の場合は、後者のシフトブレは無視できるほど小さいため、角度ブレのみを検知し補正すればよい。しかし、至近距離撮影(撮像倍率が高い撮影条件)においては後者のシフトブレは無視できない。 As the components of the image blur, there are two types of normal angle blur caused by rotational shake of the imaging device and shift blur caused by shift shake of the image capturing device. In the case of normal shooting other than close-up shooting, the latter shift blur is so small as to be negligible, and only the angular blur need be detected and corrected. However, in close-range shooting (imaging conditions with a high imaging magnification), the latter shift blur cannot be ignored.
この問題を解決するために、特許文献1では、角速度と加速度または角速度と動きベクトルの比率をブレ補正の補正値として算出している。この補正値を角度ブレ補正量に乗算することで、シフトブレ補正量を含めたブレ補正量を算出する。これにより、角度ブレ補正とシフトブレ補正の両方を実現している。
In order to solve this problem, in
しかしながら、上記の特許文献1に記載の技術では、角速度と加速度の比率から求めたシフトブレ成分は、角度ブレに基づくシフトブレ成分のみである。これに対し、角速度と動きベクトルから求めたシフトブレ成分は角度ブレに基づくシフトブレ成分と純粋なシフトブレ成分の混合である真のシフトブレ成分である。つまり、上記の2者のシフトブレ成分は、それぞれ性格が異なるため、その信号は厳密には一致しない。また、それらのシフトブレ成分は最終的に角速度に対する比率によって補正値を算出しており、算出過程で分母となる角速度が0に近い微小揺れの場合は、補正値を誤算出してしまう可能性がある。
However, in the technique described in
本発明は上述した課題に鑑みてなされたものであり、その目的は、角度ブレのみならずシフトブレも補正する像ブレ補正装置において、その像ブレの補正精度を向上させることである。 The present invention has been made in view of the above-described problem, and an object of the present invention is to improve the accuracy of image blur correction in an image blur correction device that corrects not only angular blur but also shift blur.
本発明に係わる像ブレ補正装置は、装置の角速度を検出して角速度信号を出力する第1の振れ検出手段により検出された信号を用いて、被写体像の角度ブレの補正量を算出する角度ブレ補正量算出手段と、前記第1の振れ検出手段により検出された信号と、加速度を検出して加速度信号を出力する第2の振れ検出手段により検出された信号とを用いて、被写体像の第1のシフトブレの補正量を算出する第1のシフトブレ補正量算出手段と、被写体像を撮像する撮像手段により撮像された複数のフレームの画像の差分から動きベクトルを算出して画像のブレを検出する第3の振れ検出手段と、被写体像のブレを補正する像ブレ補正手段の位置を検出する位置検出手段により検出された前記像ブレ補正手段の位置信号と前記第1の振れ検出手段により検出された信号と、前記第3の振れ検出手段により検出された信号とを用いて、被写体像の第2のシフトブレの補正量を算出する第2のシフトブレ補正量算出手段と、前記第1のシフトブレの補正量と前記第2のシフトブレの補正量を重み付けして合成することにより第3のシフトブレの補正量を算出する第3のシフトブレ補正量算出手段と、前記角度ブレの補正量と前記第3のシフトブレの補正量とを用いて、前記像ブレ補正手段を駆動する像ブレ補正制御手段と、を備え、前記第3のシフトブレ補正量算出手段は、前記第1のシフトブレの補正量と第2のシフトブレの補正量を重み付けして合成する場合に、その合成比率を、前記第1の振れ検出手段により検出された信号の大きさに基づいて変更することを特徴とする。 An image blur correction apparatus according to the present invention is an image blur correction apparatus that calculates an angular blur correction amount of a subject image using a signal detected by a first shake detection unit that detects an angular velocity of the apparatus and outputs an angular velocity signal. Using a correction amount calculation unit, a signal detected by the first shake detection unit, and a signal detected by a second shake detection unit that detects acceleration and outputs an acceleration signal, a second image of the subject image is obtained. A first shift blur correction amount calculating unit that calculates a shift blur correction amount of one, and a motion vector is calculated from a difference between images of a plurality of frames captured by an image capturing unit that captures a subject image, thereby detecting image blur. A third shake detecting means, a position signal of the image blur correcting means detected by a position detecting means for detecting a position of the image blur correcting means for correcting the shake of the subject image, and the first shake detecting means. A second shift blur correction amount calculating means for calculating a second shift blur correction amount of the subject image using the signal detected by the third shake detecting means and the signal detected by the third shake detecting means; A third shift blur correction amount calculating means for calculating a third shift blur correction amount by weighting and synthesizing the shift blur correction amount and the second shift blur correction amount; An image blur correction control unit that drives the image blur correction unit using the third shift blur correction amount, wherein the third shift blur correction amount calculation unit calculates the first shift blur correction amount and the third shift blur correction amount. When the second shift blur correction amount is weighted and synthesized, the synthesis ratio is changed based on the magnitude of the signal detected by the first shake detection means.
本発明によれば、角度ブレのみならずシフトブレも補正する像ブレ補正装置において、その像ブレの補正精度を向上させることが可能となる。 According to the present invention, in an image blur correction device that corrects not only angular blur but also shift blur, it is possible to improve the correction accuracy of the image blur.
以下、本発明の一実施形態について、添付図面を参照して詳細に説明する。図1は、本発明の像ブレ補正装置を搭載する撮像装置の一実施形態の構成を示すブロック図である。この撮像装置は、主に静止画像と動画像の撮影を行うためのデジタルカメラである。 Hereinafter, an embodiment of the present invention will be described in detail with reference to the accompanying drawings. FIG. 1 is a block diagram showing the configuration of an embodiment of an imaging apparatus equipped with the image blur correction device of the present invention. This imaging device is a digital camera for mainly capturing still images and moving images.
図1において、ズームユニット101は、変倍を行うズームレンズを含む。ズーム駆動制御部102は、ズームユニット101を駆動制御する。絞り・シャッタユニット103は後述する撮像部109に入射する光量を調節する。絞り・シャッタ駆動制御部104は、絞り・シャッタユニット103を駆動制御する。像ブレ補正ユニット105は、撮影光学系の光軸の方向とは異なる方向に移動して像ブレを補正する像ブレ補正レンズを有する。像ブレ補正制御部106は、像ブレ補正ユニットを駆動制御する。フォーカスユニット107は、ピント調節を行うフォーカスレンズを含む。フォーカス駆動制御部108は、フォーカスユニット107を駆動制御する。
In FIG. 1, a
撮像部109は、各レンズ群を通ってきた光像(被写体像)を電気信号に変換する撮像素子を有する。撮像信号処理部110は、撮像部109から出力された電気信号を映像信号に変換処理する。映像信号処理部111は、撮像信号処理部110から出力された映像信号を用途に応じて加工する。表示部112は、映像信号処理部111から出力された信号に基づいて、必要に応じて画像表示を行う。電源部113は、システム全体に用途に応じて電源を供給する。外部入出力端子部114は、外部との間で通信信号及び映像信号を入出力する。操作部115はカメラシステムを操作するための操作部材が配置されて構成されている。記憶部116は、映像情報など様々なデータを記憶する。振れ検出部117は、手ブレなどによるカメラの振れを検出する。カメラシステム制御部118はカメラシステム全体を制御する。動きベクトル検出部119は、映像信号の複数のフレーム間のブレを解析して、動きベクトルを検出する。加速度検出部120はカメラに加わる加速度を検出する加速度センサを有する。
The
次に、上記のように構成される撮像装置の概略動作について説明する。 Next, a schematic operation of the imaging apparatus configured as described above will be described.
操作部115には、像ブレ補正のON/OFFを選択可能にするブレ補正スイッチが含まれる。ブレ補正スイッチにより像ブレ補正がONされると、カメラシステム制御部118が像ブレ補正制御部106に像ブレ補正動作を指示し、これを受けた像ブレ補正制御部106が像ブレ補正OFFの指示がなされるまで像ブレ補正動作を行う。
The
操作部115には、押し込み量に応じて第1スイッチ(SW1)および第2スイッチ(SW2)が順にONするように構成されたシャッタレリーズボタンが含まれる。シャッタレリーズボタンが約半分押し込まれたときに第1スイッチ(SW1)がONし、シャッタレリーズボタンが最後まで押し込まれたときに第2スイッチ(SW2)がONする。第1スイッチ(SW1)がONされると、フォーカス駆動制御部108がフォーカスユニット107を駆動してピント調節を行うとともに、絞り・シャッタ駆動制御部104が絞り・シャッタユニット103を駆動して適正な露光量に設定する。第2スイッチ(SW2)がオンされると、撮像部109から、露光された光像から得られた画像データが出力され、記憶部116に記憶される。
The
また、操作部115には動画記録スイッチが含まれる。動画記録スイッチが押下されると動画撮影が開始され、記録中に再度スイッチが押されると記録が終了する。動画撮影中に第1及び第2スイッチ(SW1及びSW2)が押されると、動画記録中に静止画を撮影することも可能である。また、操作部115には再生モードを選択する再生モード選択スイッチも含まれており、再生モード時には像ブレ補正動作が停止される。
The
また操作部115には、ズーム変倍の指示を行う変倍スイッチが含まれる。変倍スイッチによりズーム変倍の指示があると、カメラシステム制御部118を介して指示を受けたズーム駆動制御部102がズームユニット101を駆動して、指示されたズーム位置にズームユニット101を移動させる。それとともに、撮像部109から出力され撮像信号処理部110、映像信号処理部111で処理された画像情報に基づいて、フォーカス駆動制御部108がフォーカスユニット107を駆動してピント調節を行う。
The
図2は像ブレ補正ユニット105と像ブレ補正制御部106とカメラシステム制御部118の関係をより詳細に示したブロック図である。図2は、本実施形態の構成を説明する前の前提的な構成を示しており、本実施形態の特徴的な構成である動きベクトルを用いて像ブレを検出する部分を持たない構成が示されている。図2を用いて本実施形態の構成の前提的な部分について説明する。また、像ブレの補正には撮影光学系の光軸に対してPitch方向の像ブレの補正およびYaw方向の像ブレの補正があるが、Pitch方向およびYaw方向で同じ構成となるため、片軸のみについて説明する。
FIG. 2 is a block diagram showing the relationship among the image
図2において、振れ検出部117は、主に角速度センサ(ジャイロ)を用いてカメラの角速度データを検出し電圧として出力する。AD変換部201は、振れ検出部117が出力した角速度信号をデジタルデータに変換する。ハイパスフィルタ202は、ジャイロのオフセット成分や、温度ドリフト成分を除去する。ローパスフィルタ203は、角速度データを積分し、角度データに変換する。敏感度乗算部204は、角度データを像ブレ補正レンズのシフト量に変換する(角度ブレ補正量算出)。この敏感度は焦点距離毎に異なった値を持ち、焦点距離が変わるごとに敏感度も変更される。また、角速度センサの感度調整による補正量も反映され、感度バラツキを吸収する。以降、敏感度乗算部204の出力を第1の角度ブレ補正量と呼ぶ。
In FIG. 2, a
オフセット算出部205は、角速度センサの信号からオフセット成分を算出する。ローパスフィルタ206は、減算器205aでオフセット成分が減算された角速度データを積分し、角度データに変換する。敏感度乗算部207は、敏感度乗算部204と同様の動作を行う。以降、敏感度乗算部207の出力を第2の角度ブレ補正量とする。この第2の角度ブレ補正量は第1の角度ブレ補正量に比べハイパスフィルタが存在しないため、第1の角度ブレ補正量よりも低周波帯域の補償が可能となる。
The offset
信号選択部208は、敏感度乗算部204,207の出力のどちらか一方を選択する。静止画露光中はブレ補正の性能を上げるため、敏感度乗算部207の出力信号を選択し、静止画露光中以外では、敏感度乗算部204の出力信号を選択する。リミッタ部209は、像ブレ補正量を光学式の像ブレ補正ユニット105の可動範囲にクランプする。PID制御部210は、像ブレ補正レンズを位置制御するためのコントローラである。ドライバ部211は、像ブレ補正レンズの補正量を電圧に変換し、駆動するための電流を供給する。位置検出部212は、像ブレ補正レンズの位置を検出し、電圧として出力する。AD変換部213は、像ブレ補正レンズの位置であるアナログの電圧をデジタルデータに変換する。
The
以上は、像の回転ブレに起因する角度ブレ成分を補正する制御系の説明である。言い換えれば、図2の上半分は、回転ブレに起因する角度ブレ成分を補正する制御系を示しており、下半分は、シフトブレを補正する制御系を示している。以下では、図2の下半分の、像の回転ブレに起因する像のシフトブレ成分を補正する制御系について説明する。 The above is the description of the control system for correcting the angular shake component caused by the rotational shake of the image. In other words, the upper half of FIG. 2 shows a control system for correcting an angular shake component due to rotational shake, and the lower half of FIG. 2 shows a control system for correcting shift shake. Hereinafter, a control system for correcting a shift blur component of an image caused by rotational blurring of the image in the lower half of FIG. 2 will be described.
加速度検出部120は、撮像装置に加わる加速度を検出し電圧として出力する。AD変換部214は、加速度検出部120の加速度センサが出力した加速度信号をデジタルデータに変換する。ハイパスフィルタ215、ローパスフィルタ216は、それぞれ検出した加速度の帯域を制限している。
The
一方、振れ検出部117の出力に対し、ハイパスフィルタ217、ローパスフィルタ218で加速度検出部120と同じ帯域制限をかける。同じ帯域制限をかけられた振れ検出部117の出力である角速度と加速度検出部120の出力である加速度を回転半径算出部219に入力する。これにより、回転半径算出部219で撮像装置の回転ブレに対する回転半径を求め、撮像倍率情報部220の撮像倍率情報と合わせ、シフト補正量算出部221でブレ補正量のシフトブレ成分を算出する(シフトブレ補正量算出)。以下、シフトブレ成分の演算に関して詳しく説明する。
On the other hand, the same band limitation as the
図3はシフトブレを説明するための、カメラを横から見た図である。図3(a)から説明する。図3(a)は、カメラ301が基準線302の位置から基準線303の位置へシフトした場合の状態を示している。これは単純にカメラ301が下方向にシフトしただけであり、シフト量yはその基準線の差分となり、加速度センサの出力を2回積分するとそのシフト量が得られる。しかし加速度センサはセンサ固有のオフセットを含むため、2回積分でそのノイズが増幅されるために正確なシフト量yを算出するのが難しい。
FIG. 3 is a side view of the camera for explaining shift blur. Description will be made with reference to FIG. FIG. 3A shows a state where the
一方、図3(b)はカメラの角度ブレに起因するシフト成分を表す図である。図3(a)と同様に、カメラ301は、基準線304から回転中心306を中心に角度θだけ下方向に回転し、カメラの水平軸が305へ変化した状態を示している。また、回転中心306から撮像光学系の主点位置までの距離が回転半径であり、その値をLとする。その場合のシフト量yは以下のように表すことができる。
On the other hand, FIG. 3B is a diagram illustrating a shift component caused by the camera shake. 3A, the
y=Lθ …(1)
この両辺を微分すると、以下のようになる。
y = Lθ (1)
Differentiating these two sides gives:
v=Lω …(2)
ただし、vはカメラの角度ブレに起因する回転速度であり、ωはカメラの角速度である。この場合、回転速度vは加速度センサの出力を1回積分すればよく、オフセットノイズの積分による誤差要因は2回積分よりも小さい。この回転速度データvと角速度データωからカメラの回転半径Lを算出し、式(1)に戻ってLをθにかけることで、カメラのシフト量を算出することができる。
v = Lω (2)
Here, v is the rotation speed caused by the camera shake, and ω is the camera angular speed. In this case, the rotational speed v may be obtained by integrating the output of the acceleration sensor once, and the error factor due to the integration of the offset noise is smaller than the integration twice. The camera shift radius L can be calculated by calculating the rotation radius L of the camera from the rotation speed data v and the angular speed data ω, returning to equation (1) and multiplying L by θ.
このとき式(2)を用いて回転半径Lを算出する際、回転速度vと角速度ωのデータをそのまま用いると、それぞれのセンサのノイズにより精度が落ちるため、それぞれの信号に対して帯域制限をかける。その役目をするのがハイパスフィルタ215,217とローパスフィルタ216,218である。ここまでは、回転ブレに起因するシフトブレ量を精度よく算出する方法である。
At this time, when calculating the radius of gyration L using equation (2), if the data of the rotational speed v and the angular velocity ω are used as they are, the accuracy is reduced due to the noise of each sensor. Multiply. The high-
ここで求められた回転ブレに起因するシフトブレ量と、角速度センサのみから算出される角度ブレ補正量でトータルの像面上のブレ量を算出する。以下の式が像面上のブレ量δである。 The total shake amount on the image plane is calculated from the shift shake amount resulting from the rotational shake and the angular shake correction amount calculated from only the angular velocity sensor. The following equation is the blur amount δ on the image plane.
δ=(1+β)fθ+βy …(3)
ただしβは撮像倍率、fは焦点距離、θはブレ角度、yはシフト量である。式(3)に式(1)、式(2)から求めたシフトブレ量を代入すると以下のようになる。
δ = (1 + β) fθ + βy (3)
Where β is the imaging magnification, f is the focal length, θ is the blur angle, and y is the shift amount. Substituting the shift blur amount obtained from Expressions (1) and (2) into Expression (3) gives the following.
δ=(1+β)fθ+βLθ …(4)
δ=(1+β)fθ+β(v/ω)θ …(5)
シフトブレ成分は角度ブレθに対して、βLもしくはβ(v/ω)の係数をかけることで算出することができる。以上により、角度ブレに起因するシフトブレ量を精度よく求めることができる。ただし角度ブレに起因しない純粋なシフトブレは含まれない。
δ = (1 + β) fθ + βLθ (4)
δ = (1 + β) fθ + β (v / ω) θ (5)
The shift blur component can be calculated by multiplying the angle blur θ by a coefficient of βL or β (v / ω). As described above, the shift blur caused by the angle blur can be obtained with high accuracy. However, pure shift blur not caused by angle blur is not included.
次に、図4を用いて、本実施形態における像ブレ補正ユニット105と像ブレ補正制御部106とカメラシステム制御部118の関係について詳しく説明する。この図4では、図2に示した前提的な構成に加え、本実施形態の特徴的な構成である動きベクトルにより像ブレを算出する構成が加えられている。なお、図2と共通する部分については、図2と同じ符号を付して説明を省略する。また、図2と同様に、図4の上半分は、回転ブレに起因する角度ブレ成分を補正する制御系を示しており、下半分は、シフトブレを補正する制御系を示している。
Next, the relationship among the image
撮像部109で得られた信号は、撮像信号処理部110に入力され、一定のフレームレートで撮像された画像信号が順次伝達される。その画像信号について、動きベクトル検出部119において前フレームと現フレームとの差分をとることで、動きベクトルが検出される。
The signal obtained by the
一方、位置検出部212で検出されるブレ補正レンズの位置信号は、微分器425で位置から速度に変換され、位相補償部426によって動きベクトルの信号の遅れに合うように補償される。この信号と動きベクトルの和をとると、この信号は、カメラとしての全体のブレ信号となる。位置信号の微分値はカメラのブレ補正角速度であり、動きベクトルは補正できなかったブレ残り成分であるため、それらの和は回転ブレとシフトブレを合わせた全体のブレ信号となる。その信号は、ハイパスフィルタ422とローパスフィルタ423において帯域が制限される。この帯域の制限は、角速度データの帯域制限と同じで、ハイパスフィルタ217、ローパスフィルタ218と同じである。
On the other hand, the position signal of the shake correction lens detected by the
一方、帯域制限のかかった角速度データは位相補償部424でバッファリング(一時的に蓄積)され調整される。これは動きベクトルの算出が角速度センサよりも一定時間遅れて出力されるためである。動きベクトルをV、像ブレ補正レンズの位置信号の微分値をH、角速度データをGとすると、これらから求められるシフトブレ速度成分εは以下のようになる。
On the other hand, the angular velocity data subjected to the band limitation is buffered (temporarily stored) and adjusted by the
ε=V+H−G …(6)
加速度センサを用いてシフトブレ補正係数を求めた時と同様に、角度ブレに対するシフトブレ成分の割合sを求めると以下のようになる。
ε = V + HG (6)
Similar to when the shift blur correction coefficient is obtained by using the acceleration sensor, the ratio s of the shift blur component to the angle blur is obtained as follows.
s=(V+H−G)/G …(7)
この補正係数は、前述した加速度センサから求めたシフトブレ補正係数と違い、角度ブレに起因しないすべてのシフトブレ成分が含まれた係数となる。以上の計算をシフト補正量算出部427で行う。動きベクトルから求めたシフト補正量は、シフト補正量算出部421において、加速度センサから求めた回転半径と撮像倍率βから求められるシフトブレ補正量と重みづけ合成される。
s = (V + HG) / G (7)
This correction coefficient differs from the shift blur correction coefficient obtained from the above-described acceleration sensor, and is a coefficient including all shift blur components not caused by the angle blur. The above calculation is performed by the shift correction
次に図5、図6を用いて、シフト補正量算出部421の内部構成について説明する。前述したとおり加速度センサから求めた回転半径L(=v/ω)は、回転半径算出部219から出力され、撮像倍率情報部220の撮像倍率情報と乗算されることで第1のシフト補正係数となる。一方動きベクトルからシフト補正量算出部427で算出された第2のシフト補正係数はそのままシフト補正量算出部421に入力される。前者に対して重み付け部502において重みづけ係数Kが乗算され、後者に対して重み付け部503において重み付け係数1−Kが乗算される。そして、それぞれの和をとることで最終的な第3のシフト補正係数となる。ただしKは0〜1の間の値である。
Next, an internal configuration of the shift correction
シフト補正係数は角度ブレに対する補正値であるため、算出過程において振れ角速度で除算される。そのため振れ角速度が0に近い微小振れの場合、シフト補正係数が大きな誤差を持つことが考えられる。一方、第1のシフト補正係数の算出で用いるブレ角速度と、第2のシフト補正係数の算出で用いるブレ角速度は、同時刻において位相ずれが生じている。これは前述したように動きベクトル検出において、映像信号からの演算に遅れがあるため、角速度を遅らせることで動きベクトルと角速度の位相を合わせているためである。この位相遅れを利用し、同時刻における第1のシフト補正係数の算出と第2のシフト補正係数の算出で扱う角速度データの大きさに応じて第3のシフト補正係数の算出で用いる合成割合(K)を変更する。具体的には角速度データが小さい方ほど、第1のシフト補正係数の合成割合を小さく(Kを小さく)する。 Since the shift correction coefficient is a correction value for the angular shake, it is divided by the shake angular velocity in the calculation process. Therefore, when the shake angular velocity is a minute shake close to 0, the shift correction coefficient may have a large error. On the other hand, a phase shift occurs at the same time between the shake angular velocity used for calculating the first shift correction coefficient and the shake angular velocity used for calculating the second shift correction coefficient. This is because the phase of the motion vector and the angular velocity are matched by delaying the angular velocity because there is a delay in the calculation from the video signal in the motion vector detection as described above. Utilizing this phase delay, the combination ratio used in calculating the third shift correction coefficient according to the magnitude of the angular velocity data handled in the calculation of the first shift correction coefficient and the calculation of the second shift correction coefficient at the same time ( K) is changed. Specifically, the smaller the angular velocity data, the smaller the synthesis ratio of the first shift correction coefficient (the smaller the K).
また、第1のシフト補正係数と第2のシフト補正係数の合成割合(K)は、動きベクトルの信頼性も考慮して決定してもよい。具体的には、動きベクトルの信頼性は、静止画露光中における露光開始からの経過時間、低コントラスト映像か否か、被写体が繰り返しパターン模様であるか否かの少なくともいずれかに基づいて判定される
例えば、静止画露光中は動きベクトルが検出できないため、第2のシフト補正係数の信頼性は静止画露光開始からの経過時間が伸びれば伸びるほど低下する。そのため静止画露光開始時点のKから一定割合でKを増加させ、第1のシフト補正係数の割合を増やし、第2のシフト補正係数の割合を減少させていく。
Further, the combination ratio (K) of the first shift correction coefficient and the second shift correction coefficient may be determined in consideration of the reliability of the motion vector. Specifically, the reliability of the motion vector is determined based on at least one of the elapsed time from the start of exposure during still image exposure, whether the image is a low-contrast image, and whether the subject is a repetitive pattern. For example, since a motion vector cannot be detected during still image exposure, the reliability of the second shift correction coefficient decreases as the elapsed time from the start of still image exposure increases. Therefore, K is increased at a fixed rate from K at the start of the still image exposure, the rate of the first shift correction coefficient is increased, and the rate of the second shift correction coefficient is decreased.
図6はその合成割合Kを時系列的に表現したグラフである。静止画露光開始直前までは、動きベクトルは検出できるため、ブレ角速度に応じた合成割合Kがリアルタイムに変動する。静止画露光開始以降は、その直前のKの値から一定割合でKを増加させ、動きベクトルによるシフト補正係数の割合を減少させる。 FIG. 6 is a graph expressing the combination ratio K in a time-series manner. Until immediately before the start of the still image exposure, the motion vector can be detected, so that the synthesis ratio K according to the shake angular velocity changes in real time. After the start of the still image exposure, K is increased at a constant rate from the value of K immediately before, and the rate of the shift correction coefficient by the motion vector is decreased.
以上によりカメラが静止画撮影待機中もしくは動画記録中などは、リアルタイムに合成比率が変動し精度よくシフトブレ補正量を算出することができる。また、静止画露光中は動きベクトルの信頼性を考慮して時間の経過とともに動きベクトルによるシフト補正量の合成比率を減少させることで、誤補正を回避することができる。 As described above, when the camera is in a standby state for capturing a still image or recording a moving image, the combination ratio fluctuates in real time, and the shift blur correction amount can be accurately calculated. Also, during exposure to a still image, erroneous correction can be avoided by reducing the composition ratio of the shift correction amount based on the motion vector over time in consideration of the reliability of the motion vector over time.
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Other embodiments)
The present invention supplies a program for realizing one or more functions of the above-described embodiments to a system or an apparatus via a network or a storage medium, and one or more processors in a computer of the system or the apparatus read and execute the program. This processing can be realized. Further, it can also be realized by a circuit (for example, an ASIC) that realizes one or more functions.
105:像ブレ補正ユニット、106:像ブレ補正制御部、109:撮像部、110:撮像信号処理部、112:表示部、113:電源部、115:操作部、117:振れ検出部、118:カメラシステム制御部、119:動きベクトル検出部
120 加速度検出部
105: image blur correction unit, 106: image blur correction control unit, 109: imaging unit, 110: imaging signal processing unit, 112: display unit, 113: power supply unit, 115: operation unit, 117: shake detection unit, 118: Camera system controller 119:
Claims (10)
前記第1の振れ検出手段により検出された信号と、加速度を検出して加速度信号を出力する第2の振れ検出手段により検出された信号とを用いて、被写体像の第1のシフトブレの補正量を算出する第1のシフトブレ補正量算出手段と、
被写体像を撮像する撮像手段により撮像された複数のフレームの画像の差分から動きベクトルを算出して画像のブレを検出する第3の振れ検出手段と、
被写体像のブレを補正する像ブレ補正手段の位置を検出する位置検出手段により検出された前記像ブレ補正手段の位置信号と前記第1の振れ検出手段により検出された信号と、前記第3の振れ検出手段により検出された信号とを用いて、被写体像の第2のシフトブレの補正量を算出する第2のシフトブレ補正量算出手段と、
前記第1のシフトブレの補正量と前記第2のシフトブレの補正量を重み付けして合成することにより第3のシフトブレの補正量を算出する第3のシフトブレ補正量算出手段と、
前記角度ブレの補正量と前記第3のシフトブレの補正量とを用いて、前記像ブレ補正手段を駆動する像ブレ補正制御手段と、を備え、
前記第3のシフトブレ補正量算出手段は、前記第1のシフトブレの補正量と第2のシフトブレの補正量を重み付けして合成する場合に、その合成比率を、前記第1の振れ検出手段により検出された信号の大きさに基づいて変更することを特徴とする像ブレ補正装置。 An angular blur correction amount calculating unit that calculates an angular blur correction amount of a subject image using a signal detected by the first shake detecting unit that detects an angular speed of the device and outputs an angular speed signal;
Using the signal detected by the first shake detecting means and the signal detected by the second shake detecting means for detecting acceleration and outputting an acceleration signal, a first shift blur correction amount of the subject image First shift blur correction amount calculating means for calculating
A third shake detection unit that calculates a motion vector from a difference between the images of the plurality of frames captured by the imaging unit that captures the subject image and detects blur of the image,
A position signal of the image blur correction unit detected by a position detection unit that detects a position of the image blur correction unit that corrects a blur of a subject image, a signal detected by the first shake detection unit, and a third signal. A second shift blur correction amount calculating unit that calculates a second shift blur correction amount of the subject image using the signal detected by the shake detecting unit;
A third shift blur correction amount calculating means for calculating a third shift blur correction amount by weighting and combining the first shift blur correction amount and the second shift blur correction amount;
An image blur correction control unit that drives the image blur correction unit using the angle blur correction amount and the third shift blur correction amount,
The third shift blur correction amount calculating means detects the synthesis ratio when the first shift blur correction amount and the second shift blur correction amount are combined and weighted by the first shake detecting means. An image blur correction device, wherein the change is made based on the magnitude of a signal obtained.
前記第1の振れ検出手段により検出された信号と、加速度を検出して加速度信号を出力する第2の振れ検出手段により検出された信号とを用いて、被写体像の第1のシフトブレの補正量を算出する第1のシフトブレ補正量算出工程と、
被写体像を撮像する撮像手段により撮像された複数のフレームの画像の差分から動きベクトルを算出して画像のブレを検出する振れ検出工程と、
被写体像のブレを補正する像ブレ補正手段の位置を検出する位置検出手段により検出された前記像ブレ補正手段の位置信号と前記第1の振れ検出手段により検出された信号と、前記振れ検出工程により検出された信号とを用いて、被写体像の第2のシフトブレの補正量を算出する第2のシフトブレ補正量算出工程と、
前記第1のシフトブレの補正量と前記第2のシフトブレの補正量を重み付けして合成することにより第3のシフトブレの補正量を算出する第3のシフトブレ補正量算出工程と、
前記角度ブレの補正量と前記第3のシフトブレの補正量とを用いて、前記像ブレ補正手段を駆動する像ブレ補正制御工程と、を備え、
前記第3のシフトブレ補正量算出工程では、前記第1のシフトブレの補正量と第2のシフトブレの補正量を重み付けして合成する場合に、その合成比率を、前記第1の振れ検出手段により検出された信号の大きさに基づいて変更することを特徴とする像ブレ補正装置の制御方法。 An angular blur correction amount calculating step of calculating an angular blur correction amount of a subject image using a signal detected by a first shake detecting unit that detects an angular velocity of the apparatus and outputs an angular velocity signal;
Using the signal detected by the first shake detecting means and the signal detected by the second shake detecting means for detecting acceleration and outputting an acceleration signal, a first shift blur correction amount of the subject image A first shift blur correction amount calculating step of calculating
A shake detection step of calculating a motion vector from a difference between the images of the plurality of frames captured by the imaging unit that captures the subject image and detecting blur of the image,
A position signal of the image blur correction unit detected by a position detection unit that detects a position of the image blur correction unit that corrects a shake of a subject image, a signal detected by the first shake detection unit, and the shake detection step. A second shift blur correction amount calculating step of calculating a second shift blur correction amount of the subject image using the signal detected by
A third shift blur correction amount calculating step of calculating a third shift blur correction amount by weighting and combining the first shift blur correction amount and the second shift blur correction amount;
An image blur correction control step of driving the image blur correcting unit using the angle blur correction amount and the third shift blur correction amount,
In the third shift shake correction amount calculating step, when the first shift shake correction amount and the second shift shake correction amount are weighted and combined, the combined ratio is detected by the first shake detection unit. A control method of the image blur correction device, wherein the change is performed based on the magnitude of the signal.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016006554A JP6643095B2 (en) | 2016-01-15 | 2016-01-15 | Image blur correction apparatus and control method thereof, program, storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016006554A JP6643095B2 (en) | 2016-01-15 | 2016-01-15 | Image blur correction apparatus and control method thereof, program, storage medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017126040A JP2017126040A (en) | 2017-07-20 |
JP6643095B2 true JP6643095B2 (en) | 2020-02-12 |
Family
ID=59363944
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016006554A Active JP6643095B2 (en) | 2016-01-15 | 2016-01-15 | Image blur correction apparatus and control method thereof, program, storage medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6643095B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6615258B2 (en) * | 2018-04-13 | 2019-12-04 | キヤノン株式会社 | Control device, imaging device, control method, program, and storage medium |
CN115348442B (en) * | 2018-11-30 | 2024-09-24 | 杭州海康威视数字技术股份有限公司 | Motion information determining method, device and equipment thereof |
JP2021026180A (en) * | 2019-08-08 | 2021-02-22 | キヤノン株式会社 | Image shake correction device and imaging apparatus |
JP7449071B2 (en) | 2019-10-30 | 2024-03-13 | キヤノン株式会社 | Anti-vibration device and method, and imaging device |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002016836A (en) * | 2000-06-29 | 2002-01-18 | Toshiba Corp | Apparatus and method for correction of shake of imaging apparatus |
JP5328307B2 (en) * | 2008-11-14 | 2013-10-30 | キヤノン株式会社 | Image capturing apparatus having shake correction function and control method thereof |
JP5121911B2 (en) * | 2010-10-19 | 2013-01-16 | キヤノン株式会社 | Anti-shake control device, imaging device, and anti-shake control method |
JP2014126861A (en) * | 2012-12-27 | 2014-07-07 | Canon Inc | Imaging device and control method of the same, program and storage medium |
-
2016
- 2016-01-15 JP JP2016006554A patent/JP6643095B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017126040A (en) | 2017-07-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107018313B (en) | Image stabilizing apparatus and image stabilizing method | |
US9635258B2 (en) | Image pickup apparatus, method of controlling image pickup apparatus, image processing apparatus, and image processing method | |
CN107026970B (en) | Image stabilizing apparatus and image stabilizing method | |
CN104065868B (en) | Image capture apparatus and control method thereof | |
JP6362556B2 (en) | Control device, imaging device, control method, program, and storage medium | |
US7609950B2 (en) | Image stabilizing apparatus and optical apparatus | |
US10425584B2 (en) | Image pickup system, control method thereof, image pickup apparatus, and lens device | |
JP6727791B2 (en) | Tracking control device, tracking control method, and imaging device | |
JP6472176B2 (en) | Imaging apparatus, image shake correction apparatus, image pickup apparatus control method, and image shake correction method | |
JP4671705B2 (en) | Imaging device | |
JP6478504B2 (en) | Imaging apparatus and control method thereof | |
JP6108940B2 (en) | Image blur correction apparatus, control method therefor, program, and storage medium | |
JP6643095B2 (en) | Image blur correction apparatus and control method thereof, program, storage medium | |
US9811891B2 (en) | Image shake correction device, optical apparatus, imaging apparatus, and control method | |
JP2020076897A (en) | Imaging system, control method of the same, lens unit, imaging apparatus, program, and storage medium | |
JP7071204B2 (en) | Imaging system, lens device, imaging device, and its control method | |
JP6039212B2 (en) | Image blur correction apparatus, imaging apparatus, and image blur correction apparatus control method | |
JP4876550B2 (en) | Imaging apparatus, control method, and control program | |
JP2012098493A (en) | Imaging apparatus | |
JP2020137011A (en) | Imaging apparatus, control method of the same, program, and storage medium | |
JP4905048B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND CONTROL PROGRAM | |
JP2011013555A (en) | Camera-shake correction device and optical instrument | |
JP5318078B2 (en) | Optical apparatus and control method thereof | |
WO2020012960A1 (en) | Imaging device | |
JP4759238B2 (en) | Optical equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181221 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191021 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191202 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200106 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6643095 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |