Nothing Special   »   [go: up one dir, main page]

JP6643095B2 - Image blur correction apparatus and control method thereof, program, storage medium - Google Patents

Image blur correction apparatus and control method thereof, program, storage medium Download PDF

Info

Publication number
JP6643095B2
JP6643095B2 JP2016006554A JP2016006554A JP6643095B2 JP 6643095 B2 JP6643095 B2 JP 6643095B2 JP 2016006554 A JP2016006554 A JP 2016006554A JP 2016006554 A JP2016006554 A JP 2016006554A JP 6643095 B2 JP6643095 B2 JP 6643095B2
Authority
JP
Japan
Prior art keywords
blur correction
correction amount
shift
image
shake
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016006554A
Other languages
Japanese (ja)
Other versions
JP2017126040A (en
Inventor
晋平 宮原
晋平 宮原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016006554A priority Critical patent/JP6643095B2/en
Publication of JP2017126040A publication Critical patent/JP2017126040A/en
Application granted granted Critical
Publication of JP6643095B2 publication Critical patent/JP6643095B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Adjustment Of Camera Lenses (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮影者の手ブレ等に起因する像ブレを補正する像ブレ補正装置に関するものである。   The present invention relates to an image blur correction device that corrects image blur caused by camera shake of a photographer or the like.

撮像装置の振れを検出して、この振れに起因する像ブレを、移動可能なレンズまたは撮像素子を用いて補正する機能を備えた撮像装置や交換レンズが知られている。このような方式の像ブレ補正機能を光学式像ブレ補正と呼ぶ。また近年では、動画の各フレームの切り出し位置を変更することにより、画像のブレをキャンセルする像ブレ補正機能も知られており、小型・軽量の撮像装置や撮像装置付き携帯電話などに用いられている。このような方式の像ブレ補正を電子式像ブレ補正と呼ぶ。   2. Description of the Related Art There are known an image pickup apparatus and an interchangeable lens having a function of detecting a shake of an image pickup apparatus and correcting an image blur caused by the shake using a movable lens or an image pickup element. Such an image blur correction function is called optical image blur correction. In recent years, an image blur correction function of canceling image blur by changing a cutout position of each frame of a moving image has also been known, and is used for a small and lightweight imaging device or a mobile phone with an imaging device. I have. This type of image blur correction is called electronic image blur correction.

撮像装置の振れを検出するには、角速度センサ(ジャイロセンサ)を用いるのが一般的であり、検出した角速度に基づいて、画像のブレをキャンセルする方向にレンズまたは撮像素子を駆動する。また加速度センサにより撮像装置のシフト方向の振れを検知するものもある。また近年では、撮像装置のフレームレートの高速化と画像処理の高度化により、フレーム間の画像のブレを解析し、動きベクトルを算出することでブレを検出することも可能となってきている。   In general, an angular velocity sensor (gyro sensor) is used to detect a shake of the imaging apparatus. A lens or an imaging element is driven in a direction to cancel image blur based on the detected angular velocity. There is also one that detects a shake in the shift direction of the imaging device using an acceleration sensor. In recent years, with the increase in the frame rate of the imaging apparatus and the sophistication of image processing, it has become possible to analyze the blur of an image between frames and calculate a motion vector to detect the blur.

像ブレの成分としては、撮像装置の回転振れに起因する通常の角度ブレと、撮像装置のシフト振れに起因するシフトブレの2種類が存在する。近距離撮影でない通常の撮影の場合は、後者のシフトブレは無視できるほど小さいため、角度ブレのみを検知し補正すればよい。しかし、至近距離撮影(撮像倍率が高い撮影条件)においては後者のシフトブレは無視できない。   As the components of the image blur, there are two types of normal angle blur caused by rotational shake of the imaging device and shift blur caused by shift shake of the image capturing device. In the case of normal shooting other than close-up shooting, the latter shift blur is so small as to be negligible, and only the angular blur need be detected and corrected. However, in close-range shooting (imaging conditions with a high imaging magnification), the latter shift blur cannot be ignored.

この問題を解決するために、特許文献1では、角速度と加速度または角速度と動きベクトルの比率をブレ補正の補正値として算出している。この補正値を角度ブレ補正量に乗算することで、シフトブレ補正量を含めたブレ補正量を算出する。これにより、角度ブレ補正とシフトブレ補正の両方を実現している。   In order to solve this problem, in Patent Literature 1, a ratio between an angular velocity and an acceleration or an angular velocity and a motion vector is calculated as a correction value for blur correction. By multiplying the correction value by the angle blur correction amount, the blur correction amount including the shift blur correction amount is calculated. Thereby, both the angle blur correction and the shift blur correction are realized.

特許第5094606号公報Japanese Patent No. 5094606

しかしながら、上記の特許文献1に記載の技術では、角速度と加速度の比率から求めたシフトブレ成分は、角度ブレに基づくシフトブレ成分のみである。これに対し、角速度と動きベクトルから求めたシフトブレ成分は角度ブレに基づくシフトブレ成分と純粋なシフトブレ成分の混合である真のシフトブレ成分である。つまり、上記の2者のシフトブレ成分は、それぞれ性格が異なるため、その信号は厳密には一致しない。また、それらのシフトブレ成分は最終的に角速度に対する比率によって補正値を算出しており、算出過程で分母となる角速度が0に近い微小揺れの場合は、補正値を誤算出してしまう可能性がある。   However, in the technique described in Patent Document 1, the shift blur component obtained from the ratio between the angular velocity and the acceleration is only the shift blur component based on the angular blur. On the other hand, the shift blur component obtained from the angular velocity and the motion vector is a true shift blur component which is a mixture of a shift blur component based on the angle blur and a pure shift blur component. That is, since the above two shift blur components have different characteristics, their signals do not exactly match. In addition, these shift blur components finally calculate the correction value based on the ratio to the angular velocity, and when the angular velocity serving as the denominator is close to 0 in the calculation process, the correction value may be erroneously calculated. .

本発明は上述した課題に鑑みてなされたものであり、その目的は、角度ブレのみならずシフトブレも補正する像ブレ補正装置において、その像ブレの補正精度を向上させることである。   The present invention has been made in view of the above-described problem, and an object of the present invention is to improve the accuracy of image blur correction in an image blur correction device that corrects not only angular blur but also shift blur.

本発明に係わる像ブレ補正装置は、装置の角速度を検出して角速度信号を出力する第1の振れ検出手段により検出された信号を用いて、被写体像の角度ブレの補正量を算出する角度ブレ補正量算出手段と、前記第1の振れ検出手段により検出された信号と、加速度を検出して加速度信号を出力する第2の振れ検出手段により検出された信号とを用いて、被写体像の第1のシフトブレの補正量を算出する第1のシフトブレ補正量算出手段と、被写体像を撮像する撮像手段により撮像された複数のフレームの画像の差分から動きベクトルを算出して画像のブレを検出する第3の振れ検出手段と、被写体像のブレを補正する像ブレ補正手段の位置を検出する位置検出手段により検出された前記像ブレ補正手段の位置信号と前記第1の振れ検出手段により検出された信号と、前記第3の振れ検出手段により検出された信号とを用いて、被写体像の第2のシフトブレの補正量を算出する第2のシフトブレ補正量算出手段と、前記第1のシフトブレの補正量と前記第2のシフトブレの補正量を重み付けして合成することにより第3のシフトブレの補正量を算出する第3のシフトブレ補正量算出手段と、前記角度ブレの補正量と前記第3のシフトブレの補正量とを用いて、前記像ブレ補正手段を駆動する像ブレ補正制御手段と、を備え、前記第3のシフトブレ補正量算出手段は、前記第1のシフトブレの補正量と第2のシフトブレの補正量を重み付けして合成する場合に、その合成比率を、前記第1の振れ検出手段により検出された信号の大きさに基づいて変更することを特徴とする。   An image blur correction apparatus according to the present invention is an image blur correction apparatus that calculates an angular blur correction amount of a subject image using a signal detected by a first shake detection unit that detects an angular velocity of the apparatus and outputs an angular velocity signal. Using a correction amount calculation unit, a signal detected by the first shake detection unit, and a signal detected by a second shake detection unit that detects acceleration and outputs an acceleration signal, a second image of the subject image is obtained. A first shift blur correction amount calculating unit that calculates a shift blur correction amount of one, and a motion vector is calculated from a difference between images of a plurality of frames captured by an image capturing unit that captures a subject image, thereby detecting image blur. A third shake detecting means, a position signal of the image blur correcting means detected by a position detecting means for detecting a position of the image blur correcting means for correcting the shake of the subject image, and the first shake detecting means. A second shift blur correction amount calculating means for calculating a second shift blur correction amount of the subject image using the signal detected by the third shake detecting means and the signal detected by the third shake detecting means; A third shift blur correction amount calculating means for calculating a third shift blur correction amount by weighting and synthesizing the shift blur correction amount and the second shift blur correction amount; An image blur correction control unit that drives the image blur correction unit using the third shift blur correction amount, wherein the third shift blur correction amount calculation unit calculates the first shift blur correction amount and the third shift blur correction amount. When the second shift blur correction amount is weighted and synthesized, the synthesis ratio is changed based on the magnitude of the signal detected by the first shake detection means.

本発明によれば、角度ブレのみならずシフトブレも補正する像ブレ補正装置において、その像ブレの補正精度を向上させることが可能となる。   According to the present invention, in an image blur correction device that corrects not only angular blur but also shift blur, it is possible to improve the correction accuracy of the image blur.

本発明の像ブレ補正装置を搭載する撮像装置の一実施形態の構成を示すブロック図。FIG. 1 is a block diagram illustrating a configuration of an embodiment of an imaging device equipped with an image blur correction device of the present invention. 像ブレ補正ユニットと像ブレ補正制御部とカメラシステム制御部の関係を示したブロック図。FIG. 3 is a block diagram illustrating a relationship among an image blur correction unit, an image blur correction controller, and a camera system controller. シフトブレを説明するための、カメラを横から見た図。FIG. 2 is a view of a camera viewed from the side for explaining shift blur. 本発明の実施形態における像ブレ補正ユニットと像ブレ補正制御部とカメラシステム制御部の関係を示したブロック図。FIG. 2 is a block diagram illustrating a relationship among an image blur correction unit, an image blur correction control unit, and a camera system control unit according to the embodiment of the present invention. シフト補正量算出部の内部構成を示す図。FIG. 3 is a diagram illustrating an internal configuration of a shift correction amount calculation unit. 合成比率Kの時間変化を示す図。The figure which shows the time change of the synthesis ratio K.

以下、本発明の一実施形態について、添付図面を参照して詳細に説明する。図1は、本発明の像ブレ補正装置を搭載する撮像装置の一実施形態の構成を示すブロック図である。この撮像装置は、主に静止画像と動画像の撮影を行うためのデジタルカメラである。   Hereinafter, an embodiment of the present invention will be described in detail with reference to the accompanying drawings. FIG. 1 is a block diagram showing the configuration of an embodiment of an imaging apparatus equipped with the image blur correction device of the present invention. This imaging device is a digital camera for mainly capturing still images and moving images.

図1において、ズームユニット101は、変倍を行うズームレンズを含む。ズーム駆動制御部102は、ズームユニット101を駆動制御する。絞り・シャッタユニット103は後述する撮像部109に入射する光量を調節する。絞り・シャッタ駆動制御部104は、絞り・シャッタユニット103を駆動制御する。像ブレ補正ユニット105は、撮影光学系の光軸の方向とは異なる方向に移動して像ブレを補正する像ブレ補正レンズを有する。像ブレ補正制御部106は、像ブレ補正ユニットを駆動制御する。フォーカスユニット107は、ピント調節を行うフォーカスレンズを含む。フォーカス駆動制御部108は、フォーカスユニット107を駆動制御する。   In FIG. 1, a zoom unit 101 includes a zoom lens that changes magnification. The zoom drive control unit 102 controls the drive of the zoom unit 101. The aperture / shutter unit 103 adjusts the amount of light incident on an imaging unit 109 described later. The aperture / shutter drive control unit 104 controls the drive of the aperture / shutter unit 103. The image blur correction unit 105 has an image blur correction lens that moves in a direction different from the direction of the optical axis of the photographing optical system to correct image blur. The image blur correction control unit 106 drives and controls the image blur correction unit. The focus unit 107 includes a focus lens that performs focus adjustment. The focus drive control unit 108 controls the drive of the focus unit 107.

撮像部109は、各レンズ群を通ってきた光像(被写体像)を電気信号に変換する撮像素子を有する。撮像信号処理部110は、撮像部109から出力された電気信号を映像信号に変換処理する。映像信号処理部111は、撮像信号処理部110から出力された映像信号を用途に応じて加工する。表示部112は、映像信号処理部111から出力された信号に基づいて、必要に応じて画像表示を行う。電源部113は、システム全体に用途に応じて電源を供給する。外部入出力端子部114は、外部との間で通信信号及び映像信号を入出力する。操作部115はカメラシステムを操作するための操作部材が配置されて構成されている。記憶部116は、映像情報など様々なデータを記憶する。振れ検出部117は、手ブレなどによるカメラの振れを検出する。カメラシステム制御部118はカメラシステム全体を制御する。動きベクトル検出部119は、映像信号の複数のフレーム間のブレを解析して、動きベクトルを検出する。加速度検出部120はカメラに加わる加速度を検出する加速度センサを有する。   The imaging unit 109 has an imaging element that converts a light image (subject image) that has passed through each lens group into an electric signal. The imaging signal processing unit 110 converts an electric signal output from the imaging unit 109 into a video signal. The video signal processing unit 111 processes the video signal output from the imaging signal processing unit 110 according to the application. The display unit 112 displays an image as necessary based on the signal output from the video signal processing unit 111. The power supply unit 113 supplies power to the entire system according to the application. The external input / output terminal unit 114 inputs and outputs a communication signal and a video signal from / to the outside. The operation unit 115 includes an operation member for operating the camera system. The storage unit 116 stores various data such as video information. The shake detection unit 117 detects shake of the camera due to camera shake or the like. The camera system control unit 118 controls the entire camera system. The motion vector detection unit 119 detects a motion vector by analyzing blur between a plurality of frames of the video signal. The acceleration detection unit 120 has an acceleration sensor that detects acceleration applied to the camera.

次に、上記のように構成される撮像装置の概略動作について説明する。   Next, a schematic operation of the imaging apparatus configured as described above will be described.

操作部115には、像ブレ補正のON/OFFを選択可能にするブレ補正スイッチが含まれる。ブレ補正スイッチにより像ブレ補正がONされると、カメラシステム制御部118が像ブレ補正制御部106に像ブレ補正動作を指示し、これを受けた像ブレ補正制御部106が像ブレ補正OFFの指示がなされるまで像ブレ補正動作を行う。   The operation unit 115 includes a shake correction switch that enables selection of ON / OFF of image shake correction. When the image blur correction is turned on by the image blur correction switch, the camera system control unit 118 instructs the image blur correction control unit 106 to perform an image blur correction operation. The image blur correction operation is performed until an instruction is given.

操作部115には、押し込み量に応じて第1スイッチ(SW1)および第2スイッチ(SW2)が順にONするように構成されたシャッタレリーズボタンが含まれる。シャッタレリーズボタンが約半分押し込まれたときに第1スイッチ(SW1)がONし、シャッタレリーズボタンが最後まで押し込まれたときに第2スイッチ(SW2)がONする。第1スイッチ(SW1)がONされると、フォーカス駆動制御部108がフォーカスユニット107を駆動してピント調節を行うとともに、絞り・シャッタ駆動制御部104が絞り・シャッタユニット103を駆動して適正な露光量に設定する。第2スイッチ(SW2)がオンされると、撮像部109から、露光された光像から得られた画像データが出力され、記憶部116に記憶される。   The operation unit 115 includes a shutter release button configured such that the first switch (SW1) and the second switch (SW2) are sequentially turned on according to the amount of pressing. The first switch (SW1) is turned on when the shutter release button is pressed about halfway, and the second switch (SW2) is turned on when the shutter release button is pressed all the way. When the first switch (SW1) is turned on, the focus drive control unit 108 drives the focus unit 107 to perform focus adjustment, and the aperture / shutter drive control unit 104 drives the aperture / shutter unit 103 to perform appropriate adjustment. Set the exposure amount. When the second switch (SW2) is turned on, image data obtained from the exposed light image is output from the imaging unit 109 and stored in the storage unit 116.

また、操作部115には動画記録スイッチが含まれる。動画記録スイッチが押下されると動画撮影が開始され、記録中に再度スイッチが押されると記録が終了する。動画撮影中に第1及び第2スイッチ(SW1及びSW2)が押されると、動画記録中に静止画を撮影することも可能である。また、操作部115には再生モードを選択する再生モード選択スイッチも含まれており、再生モード時には像ブレ補正動作が停止される。   The operation unit 115 includes a moving image recording switch. When the moving image recording switch is pressed, moving image shooting starts, and when the switch is pressed again during recording, recording ends. When the first and second switches (SW1 and SW2) are pressed during shooting of a moving image, a still image can be shot during recording of the moving image. The operation unit 115 also includes a playback mode selection switch for selecting a playback mode. In the playback mode, the image blur correction operation is stopped.

また操作部115には、ズーム変倍の指示を行う変倍スイッチが含まれる。変倍スイッチによりズーム変倍の指示があると、カメラシステム制御部118を介して指示を受けたズーム駆動制御部102がズームユニット101を駆動して、指示されたズーム位置にズームユニット101を移動させる。それとともに、撮像部109から出力され撮像信号処理部110、映像信号処理部111で処理された画像情報に基づいて、フォーカス駆動制御部108がフォーカスユニット107を駆動してピント調節を行う。   The operation unit 115 includes a zoom switch for instructing zoom zoom. When an instruction for zooming is given by the zooming switch, the zoom drive control unit 102 that has received the instruction via the camera system control unit 118 drives the zoom unit 101 and moves the zoom unit 101 to the specified zoom position. Let it. At the same time, based on the image information output from the imaging unit 109 and processed by the imaging signal processing unit 110 and the video signal processing unit 111, the focus drive control unit 108 drives the focus unit 107 to perform focus adjustment.

図2は像ブレ補正ユニット105と像ブレ補正制御部106とカメラシステム制御部118の関係をより詳細に示したブロック図である。図2は、本実施形態の構成を説明する前の前提的な構成を示しており、本実施形態の特徴的な構成である動きベクトルを用いて像ブレを検出する部分を持たない構成が示されている。図2を用いて本実施形態の構成の前提的な部分について説明する。また、像ブレの補正には撮影光学系の光軸に対してPitch方向の像ブレの補正およびYaw方向の像ブレの補正があるが、Pitch方向およびYaw方向で同じ構成となるため、片軸のみについて説明する。   FIG. 2 is a block diagram showing the relationship among the image blur correction unit 105, the image blur correction control unit 106, and the camera system control unit 118 in more detail. FIG. 2 shows a prerequisite configuration before describing the configuration of the present embodiment, and shows a configuration having no part for detecting image blur using a motion vector, which is a characteristic configuration of the present embodiment. Have been. A prerequisite part of the configuration of the present embodiment will be described with reference to FIG. The image blur correction includes the image blur correction in the Pitch direction and the image blur correction in the Yaw direction with respect to the optical axis of the photographing optical system. However, since the configuration is the same in the Pitch direction and the Yaw direction, the uniaxial Only the following will be described.

図2において、振れ検出部117は、主に角速度センサ(ジャイロ)を用いてカメラの角速度データを検出し電圧として出力する。AD変換部201は、振れ検出部117が出力した角速度信号をデジタルデータに変換する。ハイパスフィルタ202は、ジャイロのオフセット成分や、温度ドリフト成分を除去する。ローパスフィルタ203は、角速度データを積分し、角度データに変換する。敏感度乗算部204は、角度データを像ブレ補正レンズのシフト量に変換する(角度ブレ補正量算出)。この敏感度は焦点距離毎に異なった値を持ち、焦点距離が変わるごとに敏感度も変更される。また、角速度センサの感度調整による補正量も反映され、感度バラツキを吸収する。以降、敏感度乗算部204の出力を第1の角度ブレ補正量と呼ぶ。   In FIG. 2, a shake detection unit 117 mainly detects angular velocity data of a camera using an angular velocity sensor (gyro) and outputs the detected data as a voltage. The AD converter 201 converts the angular velocity signal output by the shake detector 117 into digital data. The high-pass filter 202 removes an offset component of the gyro and a temperature drift component. The low-pass filter 203 integrates the angular velocity data and converts it into angle data. The sensitivity multiplication unit 204 converts the angle data into a shift amount of the image blur correction lens (angle blur correction amount calculation). This sensitivity has a different value for each focal length, and the sensitivity changes each time the focal length changes. In addition, the correction amount due to the sensitivity adjustment of the angular velocity sensor is also reflected, thereby absorbing sensitivity variations. Hereinafter, the output of the sensitivity multiplication unit 204 will be referred to as a first angle blur correction amount.

オフセット算出部205は、角速度センサの信号からオフセット成分を算出する。ローパスフィルタ206は、減算器205aでオフセット成分が減算された角速度データを積分し、角度データに変換する。敏感度乗算部207は、敏感度乗算部204と同様の動作を行う。以降、敏感度乗算部207の出力を第2の角度ブレ補正量とする。この第2の角度ブレ補正量は第1の角度ブレ補正量に比べハイパスフィルタが存在しないため、第1の角度ブレ補正量よりも低周波帯域の補償が可能となる。   The offset calculator 205 calculates an offset component from a signal of the angular velocity sensor. The low-pass filter 206 integrates the angular velocity data from which the offset component has been subtracted by the subtractor 205a, and converts it into angle data. The sensitivity multiplication unit 207 performs the same operation as the sensitivity multiplication unit 204. Hereinafter, the output of the sensitivity multiplying unit 207 will be referred to as a second angle blur correction amount. Since the second angular blur correction amount does not include a high-pass filter as compared with the first angular blur correction amount, it is possible to compensate for a lower frequency band than the first angular blur correction amount.

信号選択部208は、敏感度乗算部204,207の出力のどちらか一方を選択する。静止画露光中はブレ補正の性能を上げるため、敏感度乗算部207の出力信号を選択し、静止画露光中以外では、敏感度乗算部204の出力信号を選択する。リミッタ部209は、像ブレ補正量を光学式の像ブレ補正ユニット105の可動範囲にクランプする。PID制御部210は、像ブレ補正レンズを位置制御するためのコントローラである。ドライバ部211は、像ブレ補正レンズの補正量を電圧に変換し、駆動するための電流を供給する。位置検出部212は、像ブレ補正レンズの位置を検出し、電圧として出力する。AD変換部213は、像ブレ補正レンズの位置であるアナログの電圧をデジタルデータに変換する。   The signal selection unit 208 selects one of the outputs of the sensitivity multiplication units 204 and 207. During the still image exposure, the output signal of the sensitivity multiplying unit 207 is selected in order to improve the performance of blur correction, and during the period other than the still image exposure, the output signal of the sensitivity multiplying unit 204 is selected. The limiter unit 209 clamps the image blur correction amount to the movable range of the optical image blur correction unit 105. The PID control unit 210 is a controller for controlling the position of the image blur correction lens. The driver unit 211 converts the correction amount of the image blur correction lens into a voltage and supplies a current for driving. The position detecting section 212 detects the position of the image blur correction lens and outputs it as a voltage. The AD converter 213 converts an analog voltage, which is the position of the image blur correction lens, into digital data.

以上は、像の回転ブレに起因する角度ブレ成分を補正する制御系の説明である。言い換えれば、図2の上半分は、回転ブレに起因する角度ブレ成分を補正する制御系を示しており、下半分は、シフトブレを補正する制御系を示している。以下では、図2の下半分の、像の回転ブレに起因する像のシフトブレ成分を補正する制御系について説明する。   The above is the description of the control system for correcting the angular shake component caused by the rotational shake of the image. In other words, the upper half of FIG. 2 shows a control system for correcting an angular shake component due to rotational shake, and the lower half of FIG. 2 shows a control system for correcting shift shake. Hereinafter, a control system for correcting a shift blur component of an image caused by rotational blurring of the image in the lower half of FIG. 2 will be described.

加速度検出部120は、撮像装置に加わる加速度を検出し電圧として出力する。AD変換部214は、加速度検出部120の加速度センサが出力した加速度信号をデジタルデータに変換する。ハイパスフィルタ215、ローパスフィルタ216は、それぞれ検出した加速度の帯域を制限している。   The acceleration detection unit 120 detects acceleration applied to the imaging device and outputs the detected voltage as a voltage. The AD converter 214 converts the acceleration signal output by the acceleration sensor of the acceleration detector 120 into digital data. The high-pass filter 215 and the low-pass filter 216 each limit the band of the detected acceleration.

一方、振れ検出部117の出力に対し、ハイパスフィルタ217、ローパスフィルタ218で加速度検出部120と同じ帯域制限をかける。同じ帯域制限をかけられた振れ検出部117の出力である角速度と加速度検出部120の出力である加速度を回転半径算出部219に入力する。これにより、回転半径算出部219で撮像装置の回転ブレに対する回転半径を求め、撮像倍率情報部220の撮像倍率情報と合わせ、シフト補正量算出部221でブレ補正量のシフトブレ成分を算出する(シフトブレ補正量算出)。以下、シフトブレ成分の演算に関して詳しく説明する。   On the other hand, the same band limitation as the acceleration detection unit 120 is applied to the output of the shake detection unit 117 by the high-pass filter 217 and the low-pass filter 218. The angular velocity that is the output of the shake detection unit 117 and the acceleration that is the output of the acceleration detection unit 120 subjected to the same band limitation are input to the turning radius calculation unit 219. In this way, the turning radius calculator 219 calculates the turning radius with respect to the rotational shake of the imaging apparatus, and calculates the shift blur component of the blur correction amount by the shift correction amount calculator 221 together with the imaging magnification information of the imaging magnification information unit 220 (shift blur). Correction amount calculation). Hereinafter, the calculation of the shift blur component will be described in detail.

図3はシフトブレを説明するための、カメラを横から見た図である。図3(a)から説明する。図3(a)は、カメラ301が基準線302の位置から基準線303の位置へシフトした場合の状態を示している。これは単純にカメラ301が下方向にシフトしただけであり、シフト量yはその基準線の差分となり、加速度センサの出力を2回積分するとそのシフト量が得られる。しかし加速度センサはセンサ固有のオフセットを含むため、2回積分でそのノイズが増幅されるために正確なシフト量yを算出するのが難しい。   FIG. 3 is a side view of the camera for explaining shift blur. Description will be made with reference to FIG. FIG. 3A shows a state where the camera 301 has shifted from the position of the reference line 302 to the position of the reference line 303. This is simply that the camera 301 has shifted downward, and the shift amount y is the difference between its reference lines. By integrating the output of the acceleration sensor twice, the shift amount can be obtained. However, since the acceleration sensor includes an offset peculiar to the sensor, its noise is amplified by twice integration, so that it is difficult to calculate an accurate shift amount y.

一方、図3(b)はカメラの角度ブレに起因するシフト成分を表す図である。図3(a)と同様に、カメラ301は、基準線304から回転中心306を中心に角度θだけ下方向に回転し、カメラの水平軸が305へ変化した状態を示している。また、回転中心306から撮像光学系の主点位置までの距離が回転半径であり、その値をLとする。その場合のシフト量yは以下のように表すことができる。   On the other hand, FIG. 3B is a diagram illustrating a shift component caused by the camera shake. 3A, the camera 301 rotates downward from the reference line 304 about the rotation center 306 by an angle θ, and the horizontal axis of the camera changes to 305. The distance from the center of rotation 306 to the position of the principal point of the imaging optical system is the radius of rotation, and its value is L. The shift amount y in that case can be expressed as follows.

y=Lθ …(1)
この両辺を微分すると、以下のようになる。
y = Lθ (1)
Differentiating these two sides gives:

v=Lω …(2)
ただし、vはカメラの角度ブレに起因する回転速度であり、ωはカメラの角速度である。この場合、回転速度vは加速度センサの出力を1回積分すればよく、オフセットノイズの積分による誤差要因は2回積分よりも小さい。この回転速度データvと角速度データωからカメラの回転半径Lを算出し、式(1)に戻ってLをθにかけることで、カメラのシフト量を算出することができる。
v = Lω (2)
Here, v is the rotation speed caused by the camera shake, and ω is the camera angular speed. In this case, the rotational speed v may be obtained by integrating the output of the acceleration sensor once, and the error factor due to the integration of the offset noise is smaller than the integration twice. The camera shift radius L can be calculated by calculating the rotation radius L of the camera from the rotation speed data v and the angular speed data ω, returning to equation (1) and multiplying L by θ.

このとき式(2)を用いて回転半径Lを算出する際、回転速度vと角速度ωのデータをそのまま用いると、それぞれのセンサのノイズにより精度が落ちるため、それぞれの信号に対して帯域制限をかける。その役目をするのがハイパスフィルタ215,217とローパスフィルタ216,218である。ここまでは、回転ブレに起因するシフトブレ量を精度よく算出する方法である。   At this time, when calculating the radius of gyration L using equation (2), if the data of the rotational speed v and the angular velocity ω are used as they are, the accuracy is reduced due to the noise of each sensor. Multiply. The high-pass filters 215 and 217 and the low-pass filters 216 and 218 play the role. Up to this point, the method has been described in which the shift blur caused by the rotation blur is accurately calculated.

ここで求められた回転ブレに起因するシフトブレ量と、角速度センサのみから算出される角度ブレ補正量でトータルの像面上のブレ量を算出する。以下の式が像面上のブレ量δである。   The total shake amount on the image plane is calculated from the shift shake amount resulting from the rotational shake and the angular shake correction amount calculated from only the angular velocity sensor. The following equation is the blur amount δ on the image plane.

δ=(1+β)fθ+βy …(3)
ただしβは撮像倍率、fは焦点距離、θはブレ角度、yはシフト量である。式(3)に式(1)、式(2)から求めたシフトブレ量を代入すると以下のようになる。
δ = (1 + β) fθ + βy (3)
Where β is the imaging magnification, f is the focal length, θ is the blur angle, and y is the shift amount. Substituting the shift blur amount obtained from Expressions (1) and (2) into Expression (3) gives the following.

δ=(1+β)fθ+βLθ …(4)
δ=(1+β)fθ+β(v/ω)θ …(5)
シフトブレ成分は角度ブレθに対して、βLもしくはβ(v/ω)の係数をかけることで算出することができる。以上により、角度ブレに起因するシフトブレ量を精度よく求めることができる。ただし角度ブレに起因しない純粋なシフトブレは含まれない。
δ = (1 + β) fθ + βLθ (4)
δ = (1 + β) fθ + β (v / ω) θ (5)
The shift blur component can be calculated by multiplying the angle blur θ by a coefficient of βL or β (v / ω). As described above, the shift blur caused by the angle blur can be obtained with high accuracy. However, pure shift blur not caused by angle blur is not included.

次に、図4を用いて、本実施形態における像ブレ補正ユニット105と像ブレ補正制御部106とカメラシステム制御部118の関係について詳しく説明する。この図4では、図2に示した前提的な構成に加え、本実施形態の特徴的な構成である動きベクトルにより像ブレを算出する構成が加えられている。なお、図2と共通する部分については、図2と同じ符号を付して説明を省略する。また、図2と同様に、図4の上半分は、回転ブレに起因する角度ブレ成分を補正する制御系を示しており、下半分は、シフトブレを補正する制御系を示している。   Next, the relationship among the image blur correction unit 105, the image blur correction control unit 106, and the camera system control unit 118 in this embodiment will be described in detail with reference to FIG. In FIG. 4, in addition to the prerequisite configuration shown in FIG. 2, a configuration that calculates image blur based on a motion vector, which is a characteristic configuration of the present embodiment, is added. 2 are given the same reference numerals as in FIG. 2 and their explanation is omitted. Also, as in FIG. 2, the upper half of FIG. 4 shows a control system for correcting an angular shake component caused by rotational shake, and the lower half of FIG. 4 shows a control system for correcting shift shake.

撮像部109で得られた信号は、撮像信号処理部110に入力され、一定のフレームレートで撮像された画像信号が順次伝達される。その画像信号について、動きベクトル検出部119において前フレームと現フレームとの差分をとることで、動きベクトルが検出される。   The signal obtained by the imaging unit 109 is input to the imaging signal processing unit 110, and image signals captured at a fixed frame rate are sequentially transmitted. A motion vector is detected by calculating the difference between the previous frame and the current frame in the motion vector detection unit 119 for the image signal.

一方、位置検出部212で検出されるブレ補正レンズの位置信号は、微分器425で位置から速度に変換され、位相補償部426によって動きベクトルの信号の遅れに合うように補償される。この信号と動きベクトルの和をとると、この信号は、カメラとしての全体のブレ信号となる。位置信号の微分値はカメラのブレ補正角速度であり、動きベクトルは補正できなかったブレ残り成分であるため、それらの和は回転ブレとシフトブレを合わせた全体のブレ信号となる。その信号は、ハイパスフィルタ422とローパスフィルタ423において帯域が制限される。この帯域の制限は、角速度データの帯域制限と同じで、ハイパスフィルタ217、ローパスフィルタ218と同じである。   On the other hand, the position signal of the shake correction lens detected by the position detection unit 212 is converted from the position to the speed by the differentiator 425, and compensated by the phase compensation unit 426 so as to match the delay of the motion vector signal. When the sum of this signal and the motion vector is obtained, this signal becomes a shake signal of the entire camera. The differential value of the position signal is the camera shake correction angular velocity, and the motion vector is the remaining camera shake component that could not be corrected. Therefore, the sum of them becomes the entire shake signal including the rotational shake and the shift shake. The band of the signal is limited by the high-pass filter 422 and the low-pass filter 423. This band limitation is the same as the band limitation of the angular velocity data, and is the same as that of the high-pass filter 217 and the low-pass filter 218.

一方、帯域制限のかかった角速度データは位相補償部424でバッファリング(一時的に蓄積)され調整される。これは動きベクトルの算出が角速度センサよりも一定時間遅れて出力されるためである。動きベクトルをV、像ブレ補正レンズの位置信号の微分値をH、角速度データをGとすると、これらから求められるシフトブレ速度成分εは以下のようになる。   On the other hand, the angular velocity data subjected to the band limitation is buffered (temporarily stored) and adjusted by the phase compensation unit 424. This is because the calculation of the motion vector is output with a certain time delay from the angular velocity sensor. Assuming that the motion vector is V, the differential value of the position signal of the image blur correction lens is H, and the angular velocity data is G, the shift blur speed component ε obtained from these is as follows.

ε=V+H−G …(6)
加速度センサを用いてシフトブレ補正係数を求めた時と同様に、角度ブレに対するシフトブレ成分の割合sを求めると以下のようになる。
ε = V + HG (6)
Similar to when the shift blur correction coefficient is obtained by using the acceleration sensor, the ratio s of the shift blur component to the angle blur is obtained as follows.

s=(V+H−G)/G …(7)
この補正係数は、前述した加速度センサから求めたシフトブレ補正係数と違い、角度ブレに起因しないすべてのシフトブレ成分が含まれた係数となる。以上の計算をシフト補正量算出部427で行う。動きベクトルから求めたシフト補正量は、シフト補正量算出部421において、加速度センサから求めた回転半径と撮像倍率βから求められるシフトブレ補正量と重みづけ合成される。
s = (V + HG) / G (7)
This correction coefficient differs from the shift blur correction coefficient obtained from the above-described acceleration sensor, and is a coefficient including all shift blur components not caused by the angle blur. The above calculation is performed by the shift correction amount calculation unit 427. The shift correction amount obtained from the motion vector is weighted and synthesized by the shift correction amount calculation unit 421 with the shift blur correction amount obtained from the rotation radius obtained from the acceleration sensor and the imaging magnification β.

次に図5、図6を用いて、シフト補正量算出部421の内部構成について説明する。前述したとおり加速度センサから求めた回転半径L(=v/ω)は、回転半径算出部219から出力され、撮像倍率情報部220の撮像倍率情報と乗算されることで第1のシフト補正係数となる。一方動きベクトルからシフト補正量算出部427で算出された第2のシフト補正係数はそのままシフト補正量算出部421に入力される。前者に対して重み付け部502において重みづけ係数Kが乗算され、後者に対して重み付け部503において重み付け係数1−Kが乗算される。そして、それぞれの和をとることで最終的な第3のシフト補正係数となる。ただしKは0〜1の間の値である。   Next, an internal configuration of the shift correction amount calculation unit 421 will be described with reference to FIGS. As described above, the turning radius L (= v / ω) obtained from the acceleration sensor is output from the turning radius calculation unit 219 and multiplied by the imaging magnification information of the imaging magnification information unit 220 to obtain the first shift correction coefficient and the first shift correction coefficient. Become. On the other hand, the second shift correction coefficient calculated by the shift correction amount calculation unit 427 from the motion vector is directly input to the shift correction amount calculation unit 421. The former is multiplied by weighting coefficient K in weighting section 502, and the latter is multiplied by weighting coefficient 1-K in weighting section 503. Then, the sum of the respective values is used as a final third shift correction coefficient. However, K is a value between 0 and 1.

シフト補正係数は角度ブレに対する補正値であるため、算出過程において振れ角速度で除算される。そのため振れ角速度が0に近い微小振れの場合、シフト補正係数が大きな誤差を持つことが考えられる。一方、第1のシフト補正係数の算出で用いるブレ角速度と、第2のシフト補正係数の算出で用いるブレ角速度は、同時刻において位相ずれが生じている。これは前述したように動きベクトル検出において、映像信号からの演算に遅れがあるため、角速度を遅らせることで動きベクトルと角速度の位相を合わせているためである。この位相遅れを利用し、同時刻における第1のシフト補正係数の算出と第2のシフト補正係数の算出で扱う角速度データの大きさに応じて第3のシフト補正係数の算出で用いる合成割合(K)を変更する。具体的には角速度データが小さい方ほど、第1のシフト補正係数の合成割合を小さく(Kを小さく)する。   Since the shift correction coefficient is a correction value for the angular shake, it is divided by the shake angular velocity in the calculation process. Therefore, when the shake angular velocity is a minute shake close to 0, the shift correction coefficient may have a large error. On the other hand, a phase shift occurs at the same time between the shake angular velocity used for calculating the first shift correction coefficient and the shake angular velocity used for calculating the second shift correction coefficient. This is because the phase of the motion vector and the angular velocity are matched by delaying the angular velocity because there is a delay in the calculation from the video signal in the motion vector detection as described above. Utilizing this phase delay, the combination ratio used in calculating the third shift correction coefficient according to the magnitude of the angular velocity data handled in the calculation of the first shift correction coefficient and the calculation of the second shift correction coefficient at the same time ( K) is changed. Specifically, the smaller the angular velocity data, the smaller the synthesis ratio of the first shift correction coefficient (the smaller the K).

また、第1のシフト補正係数と第2のシフト補正係数の合成割合(K)は、動きベクトルの信頼性も考慮して決定してもよい。具体的には、動きベクトルの信頼性は、静止画露光中における露光開始からの経過時間、低コントラスト映像か否か、被写体が繰り返しパターン模様であるか否かの少なくともいずれかに基づいて判定される
例えば、静止画露光中は動きベクトルが検出できないため、第2のシフト補正係数の信頼性は静止画露光開始からの経過時間が伸びれば伸びるほど低下する。そのため静止画露光開始時点のKから一定割合でKを増加させ、第1のシフト補正係数の割合を増やし、第2のシフト補正係数の割合を減少させていく。
Further, the combination ratio (K) of the first shift correction coefficient and the second shift correction coefficient may be determined in consideration of the reliability of the motion vector. Specifically, the reliability of the motion vector is determined based on at least one of the elapsed time from the start of exposure during still image exposure, whether the image is a low-contrast image, and whether the subject is a repetitive pattern. For example, since a motion vector cannot be detected during still image exposure, the reliability of the second shift correction coefficient decreases as the elapsed time from the start of still image exposure increases. Therefore, K is increased at a fixed rate from K at the start of the still image exposure, the rate of the first shift correction coefficient is increased, and the rate of the second shift correction coefficient is decreased.

図6はその合成割合Kを時系列的に表現したグラフである。静止画露光開始直前までは、動きベクトルは検出できるため、ブレ角速度に応じた合成割合Kがリアルタイムに変動する。静止画露光開始以降は、その直前のKの値から一定割合でKを増加させ、動きベクトルによるシフト補正係数の割合を減少させる。   FIG. 6 is a graph expressing the combination ratio K in a time-series manner. Until immediately before the start of the still image exposure, the motion vector can be detected, so that the synthesis ratio K according to the shake angular velocity changes in real time. After the start of the still image exposure, K is increased at a constant rate from the value of K immediately before, and the rate of the shift correction coefficient by the motion vector is decreased.

以上によりカメラが静止画撮影待機中もしくは動画記録中などは、リアルタイムに合成比率が変動し精度よくシフトブレ補正量を算出することができる。また、静止画露光中は動きベクトルの信頼性を考慮して時間の経過とともに動きベクトルによるシフト補正量の合成比率を減少させることで、誤補正を回避することができる。   As described above, when the camera is in a standby state for capturing a still image or recording a moving image, the combination ratio fluctuates in real time, and the shift blur correction amount can be accurately calculated. Also, during exposure to a still image, erroneous correction can be avoided by reducing the composition ratio of the shift correction amount based on the motion vector over time in consideration of the reliability of the motion vector over time.

(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Other embodiments)
The present invention supplies a program for realizing one or more functions of the above-described embodiments to a system or an apparatus via a network or a storage medium, and one or more processors in a computer of the system or the apparatus read and execute the program. This processing can be realized. Further, it can also be realized by a circuit (for example, an ASIC) that realizes one or more functions.

105:像ブレ補正ユニット、106:像ブレ補正制御部、109:撮像部、110:撮像信号処理部、112:表示部、113:電源部、115:操作部、117:振れ検出部、118:カメラシステム制御部、119:動きベクトル検出部
120 加速度検出部
105: image blur correction unit, 106: image blur correction control unit, 109: imaging unit, 110: imaging signal processing unit, 112: display unit, 113: power supply unit, 115: operation unit, 117: shake detection unit, 118: Camera system controller 119: motion vector detector 120 acceleration detector

Claims (10)

装置の角速度を検出して角速度信号を出力する第1の振れ検出手段により検出された信号を用いて、被写体像の角度ブレの補正量を算出する角度ブレ補正量算出手段と、
前記第1の振れ検出手段により検出された信号と、加速度を検出して加速度信号を出力する第2の振れ検出手段により検出された信号とを用いて、被写体像の第1のシフトブレの補正量を算出する第1のシフトブレ補正量算出手段と、
被写体像を撮像する撮像手段により撮像された複数のフレームの画像の差分から動きベクトルを算出して画像のブレを検出する第3の振れ検出手段と、
被写体像のブレを補正する像ブレ補正手段の位置を検出する位置検出手段により検出された前記像ブレ補正手段の位置信号と前記第1の振れ検出手段により検出された信号と、前記第3の振れ検出手段により検出された信号とを用いて、被写体像の第2のシフトブレの補正量を算出する第2のシフトブレ補正量算出手段と、
前記第1のシフトブレの補正量と前記第2のシフトブレの補正量を重み付けして合成することにより第3のシフトブレの補正量を算出する第3のシフトブレ補正量算出手段と、
前記角度ブレの補正量と前記第3のシフトブレの補正量とを用いて、前記像ブレ補正手段を駆動する像ブレ補正制御手段と、を備え、
前記第3のシフトブレ補正量算出手段は、前記第1のシフトブレの補正量と第2のシフトブレの補正量を重み付けして合成する場合に、その合成比率を、前記第1の振れ検出手段により検出された信号の大きさに基づいて変更することを特徴とする像ブレ補正装置。
An angular blur correction amount calculating unit that calculates an angular blur correction amount of a subject image using a signal detected by the first shake detecting unit that detects an angular speed of the device and outputs an angular speed signal;
Using the signal detected by the first shake detecting means and the signal detected by the second shake detecting means for detecting acceleration and outputting an acceleration signal, a first shift blur correction amount of the subject image First shift blur correction amount calculating means for calculating
A third shake detection unit that calculates a motion vector from a difference between the images of the plurality of frames captured by the imaging unit that captures the subject image and detects blur of the image,
A position signal of the image blur correction unit detected by a position detection unit that detects a position of the image blur correction unit that corrects a blur of a subject image, a signal detected by the first shake detection unit, and a third signal. A second shift blur correction amount calculating unit that calculates a second shift blur correction amount of the subject image using the signal detected by the shake detecting unit;
A third shift blur correction amount calculating means for calculating a third shift blur correction amount by weighting and combining the first shift blur correction amount and the second shift blur correction amount;
An image blur correction control unit that drives the image blur correction unit using the angle blur correction amount and the third shift blur correction amount,
The third shift blur correction amount calculating means detects the synthesis ratio when the first shift blur correction amount and the second shift blur correction amount are combined and weighted by the first shake detecting means. An image blur correction device, wherein the change is made based on the magnitude of a signal obtained.
前記第2のシフトブレ補正量算出手段は、前記像ブレ補正手段の位置信号を一時的に蓄積し、該位置信号と前記第3の振れ検出手段により検出された信号の位相を合わせるための第1の位相補償手段を有することを特徴とする請求項1に記載の像ブレ補正装置。   The second shift blur correction amount calculating means temporarily accumulates the position signal of the image blur correcting means, and adjusts the phase of the position signal and the phase of the signal detected by the third shake detecting means. 2. The image blur correction apparatus according to claim 1, further comprising: a phase compensator. 前記第2のシフトブレ補正量算出手段は、前記第1の振れ検出手段により検出された信号を一時的に蓄積し、該信号と前記第3の振れ検出手段により検出された信号の位相を合わせるための第2の位相補償手段を有することを特徴とする請求項1または2に記載の像ブレ補正装置。   The second shift blur correction amount calculating means temporarily stores the signal detected by the first shake detecting means, and adjusts the phase of the signal and the signal detected by the third shake detecting means. 3. The image blur correction device according to claim 1, further comprising a second phase compensator. 前記第3のシフトブレ補正量算出手段は、前記第1の振れ検出手段により検出された信号が小さいほど、前記第1のシフトブレの補正量の合成比率を下げ、前記第2のシフトブレの補正量の合成比率を上げることを特徴とする請求項1乃至3のいずれか1項に記載の像ブレ補正装置。   The third shift blur correction amount calculation means reduces the composite ratio of the first shift blur correction amount as the signal detected by the first shake detection means decreases, and reduces the second shift blur correction amount. The image blur correction device according to claim 1, wherein a synthesis ratio is increased. 前記第3のシフトブレ補正量算出手段は、前記動きベクトルの信頼性に応じて、前記第1のシフトブレの補正量と前記第2のシフトブレの補正量の合成比率を変更することを特徴とする請求項1に記載の像ブレ補正装置。   The third shift blur correction amount calculating means changes a combined ratio of the first shift blur correction amount and the second shift blur correction amount according to the reliability of the motion vector. Item 2. The image blur correction device according to Item 1. 前記動きベクトルの信頼性は、静止画露光中における露光開始からの経過時間、低コントラスト映像か否か、被写体が繰り返しパターン模様であるか否かの少なくともいずれかに基づいて判定されることを特徴とする請求項5に記載の像ブレ補正装置。   The reliability of the motion vector is determined based on at least one of the elapsed time from the start of exposure during still image exposure, whether or not the image is a low-contrast image, and whether or not the subject has a repetitive pattern. The image blur correction device according to claim 5, wherein 前記第1のシフトブレ補正量算出手段は、前記第1の振れ検出手段により検出された信号と、前記第2の振れ検出手段により検出された信号とを用いて、回転ブレの回転半径を算出し、該回転ブレの回転半径と振れ角度を用いて第1のシフトブレの補正量を算出することを特徴とする請求項1乃至6のいずれか1項に記載の像ブレ補正装置。   The first shift blur correction amount calculating means calculates a turning radius of the rotational blur using a signal detected by the first shake detecting means and a signal detected by the second shake detecting means. 7. The image blur correction apparatus according to claim 1, wherein a first shift blur correction amount is calculated using a rotation radius and a shake angle of the rotation blur. 装置の角速度を検出して角速度信号を出力する第1の振れ検出手段により検出された信号を用いて、被写体像の角度ブレの補正量を算出する角度ブレ補正量算出工程と、
前記第1の振れ検出手段により検出された信号と、加速度を検出して加速度信号を出力する第2の振れ検出手段により検出された信号とを用いて、被写体像の第1のシフトブレの補正量を算出する第1のシフトブレ補正量算出工程と、
被写体像を撮像する撮像手段により撮像された複数のフレームの画像の差分から動きベクトルを算出して画像のブレを検出する振れ検出工程と、
被写体像のブレを補正する像ブレ補正手段の位置を検出する位置検出手段により検出された前記像ブレ補正手段の位置信号と前記第1の振れ検出手段により検出された信号と、前記振れ検出工程により検出された信号とを用いて、被写体像の第2のシフトブレの補正量を算出する第2のシフトブレ補正量算出工程と、
前記第1のシフトブレの補正量と前記第2のシフトブレの補正量を重み付けして合成することにより第3のシフトブレの補正量を算出する第3のシフトブレ補正量算出工程と、
前記角度ブレの補正量と前記第3のシフトブレの補正量とを用いて、前記像ブレ補正手段を駆動する像ブレ補正制御工程と、を備え、
前記第3のシフトブレ補正量算出工程では、前記第1のシフトブレの補正量と第2のシフトブレの補正量を重み付けして合成する場合に、その合成比率を、前記第1の振れ検出手段により検出された信号の大きさに基づいて変更することを特徴とする像ブレ補正装置の制御方法。
An angular blur correction amount calculating step of calculating an angular blur correction amount of a subject image using a signal detected by a first shake detecting unit that detects an angular velocity of the apparatus and outputs an angular velocity signal;
Using the signal detected by the first shake detecting means and the signal detected by the second shake detecting means for detecting acceleration and outputting an acceleration signal, a first shift blur correction amount of the subject image A first shift blur correction amount calculating step of calculating
A shake detection step of calculating a motion vector from a difference between the images of the plurality of frames captured by the imaging unit that captures the subject image and detecting blur of the image,
A position signal of the image blur correction unit detected by a position detection unit that detects a position of the image blur correction unit that corrects a shake of a subject image, a signal detected by the first shake detection unit, and the shake detection step. A second shift blur correction amount calculating step of calculating a second shift blur correction amount of the subject image using the signal detected by
A third shift blur correction amount calculating step of calculating a third shift blur correction amount by weighting and combining the first shift blur correction amount and the second shift blur correction amount;
An image blur correction control step of driving the image blur correcting unit using the angle blur correction amount and the third shift blur correction amount,
In the third shift shake correction amount calculating step, when the first shift shake correction amount and the second shift shake correction amount are weighted and combined, the combined ratio is detected by the first shake detection unit. A control method of the image blur correction device, wherein the change is performed based on the magnitude of the signal.
請求項8に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。   A program for causing a computer to execute each step of the control method according to claim 8. 請求項8に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。   A computer-readable storage medium storing a program for causing a computer to execute each step of the control method according to claim 8.
JP2016006554A 2016-01-15 2016-01-15 Image blur correction apparatus and control method thereof, program, storage medium Active JP6643095B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016006554A JP6643095B2 (en) 2016-01-15 2016-01-15 Image blur correction apparatus and control method thereof, program, storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016006554A JP6643095B2 (en) 2016-01-15 2016-01-15 Image blur correction apparatus and control method thereof, program, storage medium

Publications (2)

Publication Number Publication Date
JP2017126040A JP2017126040A (en) 2017-07-20
JP6643095B2 true JP6643095B2 (en) 2020-02-12

Family

ID=59363944

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016006554A Active JP6643095B2 (en) 2016-01-15 2016-01-15 Image blur correction apparatus and control method thereof, program, storage medium

Country Status (1)

Country Link
JP (1) JP6643095B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6615258B2 (en) * 2018-04-13 2019-12-04 キヤノン株式会社 Control device, imaging device, control method, program, and storage medium
CN115348442B (en) * 2018-11-30 2024-09-24 杭州海康威视数字技术股份有限公司 Motion information determining method, device and equipment thereof
JP2021026180A (en) * 2019-08-08 2021-02-22 キヤノン株式会社 Image shake correction device and imaging apparatus
JP7449071B2 (en) 2019-10-30 2024-03-13 キヤノン株式会社 Anti-vibration device and method, and imaging device

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002016836A (en) * 2000-06-29 2002-01-18 Toshiba Corp Apparatus and method for correction of shake of imaging apparatus
JP5328307B2 (en) * 2008-11-14 2013-10-30 キヤノン株式会社 Image capturing apparatus having shake correction function and control method thereof
JP5121911B2 (en) * 2010-10-19 2013-01-16 キヤノン株式会社 Anti-shake control device, imaging device, and anti-shake control method
JP2014126861A (en) * 2012-12-27 2014-07-07 Canon Inc Imaging device and control method of the same, program and storage medium

Also Published As

Publication number Publication date
JP2017126040A (en) 2017-07-20

Similar Documents

Publication Publication Date Title
CN107018313B (en) Image stabilizing apparatus and image stabilizing method
US9635258B2 (en) Image pickup apparatus, method of controlling image pickup apparatus, image processing apparatus, and image processing method
CN107026970B (en) Image stabilizing apparatus and image stabilizing method
CN104065868B (en) Image capture apparatus and control method thereof
JP6362556B2 (en) Control device, imaging device, control method, program, and storage medium
US7609950B2 (en) Image stabilizing apparatus and optical apparatus
US10425584B2 (en) Image pickup system, control method thereof, image pickup apparatus, and lens device
JP6727791B2 (en) Tracking control device, tracking control method, and imaging device
JP6472176B2 (en) Imaging apparatus, image shake correction apparatus, image pickup apparatus control method, and image shake correction method
JP4671705B2 (en) Imaging device
JP6478504B2 (en) Imaging apparatus and control method thereof
JP6108940B2 (en) Image blur correction apparatus, control method therefor, program, and storage medium
JP6643095B2 (en) Image blur correction apparatus and control method thereof, program, storage medium
US9811891B2 (en) Image shake correction device, optical apparatus, imaging apparatus, and control method
JP2020076897A (en) Imaging system, control method of the same, lens unit, imaging apparatus, program, and storage medium
JP7071204B2 (en) Imaging system, lens device, imaging device, and its control method
JP6039212B2 (en) Image blur correction apparatus, imaging apparatus, and image blur correction apparatus control method
JP4876550B2 (en) Imaging apparatus, control method, and control program
JP2012098493A (en) Imaging apparatus
JP2020137011A (en) Imaging apparatus, control method of the same, program, and storage medium
JP4905048B2 (en) IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND CONTROL PROGRAM
JP2011013555A (en) Camera-shake correction device and optical instrument
JP5318078B2 (en) Optical apparatus and control method thereof
WO2020012960A1 (en) Imaging device
JP4759238B2 (en) Optical equipment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191021

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200106

R151 Written notification of patent or utility model registration

Ref document number: 6643095

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151