JP6108773B2

JP6108773B2 - 画像処理装置、その制御方法、および制御プログラム

Info

Publication number: JP6108773B2
Application number: JP2012244454A
Authority: JP
Inventors: 見寺澤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-11-06
Filing date: 2012-11-06
Publication date: 2017-04-05
Anticipated expiration: 2032-11-06
Also published as: JP2014093714A

Description

本発明は、画像処理装置、その制御方法、および制御プログラムに関し、特に、光学系の特性によって生じる画像の歪みを補正するとともに、手ブレなどによって生じる画像ブレを補正する技術に関する。

近年、デジタルビデオカメラ又はデジタルカメラなどの撮像装置（以下単にカメラと呼ぶ）においては、超多画素の撮像センサを用いることによってより高画質の画像が得られるようになっている。一方、画素の微細化による小型化に対応する小型の光学レンズの設計は難しく、このため、光学レンズなどの光学系で生じる歪曲収差に起因する画質劣化が顕在化している。

また、撮影の際には、カメラに手ブレなどの振動が加わることが多く、カメラが小型化すると、このような振動が大きくなる傾向にある。この結果、光学レンズのズーム位置に拘わらず常に手ブレ補正量を大きくする必要がある。

上述のような問題に対して、手ブレ補正量を考慮して歪曲収差を補正する技術が知られている。

例えば、カメラのブレ量を角度センサ又は加速度センサで検出するか又は画像フレーム間のマッチング演算によって動きベクトルを検出して当該動きベクトルに応じてカメラのブレ量を検出する手法がある。そして、このようにして検出されたブレ量についてその逆ベクトルをとって着目画素の座標移動量、つまり、ブレ補正量とする（特許文献１参照）。

そして、特許文献１においては、光学系の歪曲収差特性に基づいて得られた歪曲収差補正量とブレ補正量とを加算し、手ブレ補正と歪曲収差補正とを同時に行うようにしている。

さらに、歪曲収差補正を行う前にブレ補正を行って、幾何変形に起因して手ブレ方向に生じる歪みを防止するようにしたものがある（特許文献２参照）。

特開２００６−１８６８８４号公報特開２００６−２１１３３４号公報

ところが、特許文献１に記載のように、角度センサ又は加速度センサを用いてカメラのブレ量を検出すると、センサ自体の誤差および積分演算による誤差などが不可避的に生じる結果、精度よくブレ補正量を求めることが難しい。また、動きベクトルを検出してカメラのブレ量を得ようとすると、被写体の動きを分離する際の精度、そして、ノイズの影響による誤差があり、同様に精度よくブレ補正量を求めることが難しい。

また、特許文献２では、ブレ補正量の誤差および歪曲収差補正によって生じる画素間隔の変化を考慮しておらず、ブレ補正および歪曲収差補正の際にそれぞれ求められた補正量に基づいて補正を行っているので、画像に部分的にブレが残留してしまう。その結果、画質が劣化してしまうことになる。

本発明の目的は、ブレ補正および歪曲収差補正を精度よく行って画質が劣化することのない画像処理装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による画像処理装置は、光学系を備える撮像装置で撮像された画像について、前記光学系に起因する歪曲収差と撮像の際に前記撮像装置に生じたブレによる前記画像のブレ歪みとを補正処理する画像処理装置であって、前記歪曲収差を補正するための補正量を算出して、歪曲収差補正量を得る歪曲収差補正量算出手段と、前記ブレ歪みを補正するための補正量を算出して、第１のブレ歪み補正量を得るブレ歪み補正量算出手段と、前記第１のブレ歪み補正量を、前記歪曲収差補正量に応じて変更し第２のブレ歪み補正量を得るブレ歪み補正量変更手段と、前記歪曲収差補正量に応じて前記画像の歪曲収差を補正する歪曲補正手段と、前記第２のブレ歪み補正量に応じて前記画像のブレ歪みを補正するブレ歪み補正手段とを有することを特徴とする。

本発明による制御方法は、光学系を備える撮像装置で撮像された画像について、前記光学系に起因する歪曲収差と撮像の際に前記撮像装置に生じたブレによる前記画像のブレ歪みとを補正処理する画像処理装置の制御方法であって、前記歪曲収差を補正するための補正量を算出して、歪曲収差補正量を得る歪曲収差補正量算出ステップと、前記ブレ歪みを補正するための補正量を算出して、第１のブレ歪み補正量を得るブレ歪み補正量算出ステップと、前記第１のブレ歪み補正量を、前記歪曲収差補正量に応じて変更し第２のブレ歪み補正量を得るブレ歪み補正量変更ステップと、前記歪曲収差補正量に応じて前記画像の歪曲収差を補正する歪曲補正ステップと、前記第２のブレ歪み補正量に応じて前記画像のブレ歪みを補正するブレ歪み補正ステップとを有することを特徴とする。

本発明による制御プログラムは、光学系を備える撮像装置で撮像された画像について、前記光学系に起因する歪曲収差と撮像の際に前記撮像装置に生じたブレによる前記画像のブレ歪みとを補正処理する画像処理装置で用いられる制御プログラムであって、前記画像処理装置が備えるコンピュータに、前記歪曲収差を補正するための補正量を算出して、歪曲収差補正量を得る歪曲収差補正量算出ステップと、前記ブレ歪みを補正するための補正量を算出して、第１のブレ歪み補正量を得るブレ歪み補正量算出ステップと、前記第１のブレ歪み補正量を、前記歪曲収差補正量に応じて変更し第２のブレ歪み補正量を得るブレ歪み補正量変更ステップと、前記歪曲収差補正量に応じて前記画像の歪曲収差を補正する歪曲補正ステップと、前記第２のブレ歪み補正量に応じて前記画像のブレ歪みを補正するブレ歪み補正ステップとを実行させることを特徴とする。

本発明によれば、ブレ補正および歪曲収差補正を精度よく行って画質を良好に維持することができる。

図１は本発明の第１の実施形態による画像処理装置が備えられた撮像装置についてその構成を示すブロック図である。図１に示すＴＧで生成される水平同期信号および垂直同期信号の一例を示す図である。図１に示す画素座標生成部の一例についてその構成を示すブロック図である。図３に示すＨカウンタおよびＶカウンタが出力する水平カウンタ値および垂直カウンタ値を説明するための図である。光学系に起因して生じる歪曲収差を説明するための図であり、（ａ）は歪曲収差補正量と像高との関係の一例を示す図、（ｂ）は歪曲収差補正の際のマイコンの演算処理を示す図、（ｃ）は歪曲収差補正の際の歪曲補正量算出部の演算処理を示す図である。図１に示す歪曲補正量算出部の構成についてその一例を示すブロック図である。図１に示す手ブレ補正量算出部の構成についてその一例を示すブロック図である。図１に示す適用率制御部の構成についてその一例を示すブロック図である。図８に示すゲイン発生器から出力されるゲイン調整値の一例を示す図である。位相ずれの補正を説明するための図であり、（ａ）は着目画素が本来あるべき位相を示す図、（ｂ）は仮想画素の生成を示す図、（ｃ）は歪曲収差の補正を示す図である。図１に示す歪曲補正部の構成についてその一例を示すブロック図である。図１１に示す補間制御回路およびで行われる処理を説明するための図であり、（ａ）〜（ｃ）は補間係数を示す図である。図１１に示すバッファメモリから読み出される参照画素の一例を示す図である。図１１に示す水平補間回路の構成についてその一例を示すブロック図である。図１１に示す垂直補間回路の構成についてその一例を示すブロック図である。本発明の第２の実施形態によるカメラで用いられる適用率制御部の構成についてその一例を示すブロック図である。本発明の第２の実施形態によるカメラで用いられる手ブレ補正量算出部の構成についてその一例を示すブロック図である。図１７に示すカットオフ算出器のカットオフ周波数特性の一例を示す図である。本発明の第３の実施形態による画像処理装置を備える撮像装置の構成についてその一例を示すブロック図である。図１２で説明した補間関数によって得られる周波数特性を説明するための図であり、（ａ）〜（ｃ）はそれぞれ図１２（ａ）〜１２（ｃ）に対応する図である。図１９に示す補正特性制御部の構成についてその一例を示すブロック図である。図２１に示す第１〜第６の係数関数器の入出力特性を説明するための図であり、（ａ）は第１および第４の係数関数器の入出力特性を示す図、（ｂ）は第２および第５の係数関数器の入出力特性を示す図、（ｃ）は第３および第６の係数関数の入出力特性を示す図である。図１９に示す歪曲補正部の構成についてその一例を示すブロック図である。本発明の第４の実施形態による画像処理装置が用いられた撮像装置の構成についてその一例を示すブロック図である。図２４に示す特徴抽出部において勾配検出を行う場合の構成の一例を示すブロック図である。図２４に示す特徴抽出部において高周波成分の検出を行う場合の構成の一例を示すブロック図である。図２４に示す適用率制御部の構成についてその一例を示すブロック図である。図２７に示すゲイン発生器で生成されたゲイン調整値を説明するための図であり、（ａ）は特徴評価値が第１の値である場合のゲイン調整値ｇの生成を示す図、（ｂ）は特徴評価値が第２の値である場合のゲイン調整値の生成を示す図、（ｃ）は特徴評価値が第３の値である場合のゲイン調整値ｇの生成を示す図である。本発明の第５の実施形態によるカメラで用いられる手ブレ補正量算出部の構成についてその一例を示すブロック図である。図２９に示すカットオフ算出器のカットオフ周波数特性を説明するための図であり、（ａ）は特徴評価値が第１の値である場合のカットオフ周波数特性を示す図、（ｂ）は特徴評価値が第２の値である場合のカットオフ周波数特性を示す図、（ｃ）は特徴評価値が第３の値である場合のカットオフ周波数特性を示す図である。

以下、本発明の実施の形態による画像処理装置の一例について図面を参照して説明する。

［第１の実施形態］
図１は本発明の第１の実施形態による画像処理装置が備えられた撮像装置につてその構成を示すブロック図である。

図示の撮像装置（以下単にカメラと呼ぶ）はレンズユニット１を有しており、レンズユニット１は、例えば、ズームレンズ、フォーカスレンズ、およびシフトレンズを備えている。レンズユニット（光学部材：以下単にレンズと呼ぶ）１を介して撮像素子２に光学像が結像する。

撮像素子２は光学像に応じた電気信号（アナログ映像信号）を出力する。そして、アナログ映像信号はアナログフロントエンド（以下ＡＦＥという）３においてデジタル映像信号（カメラ信号）に変換される。

デジタル映像信号はカメラ信号処理部４に入力される。カメラ信号処理部４はデジタル映像信号に対して色分離、ホワイトバランス、輪郭補償、ガンマ処理、および色変換マトリクスなどのカメラ信号処理を行って、メモリ５に輝度色差信号（以下ＹＣＣ信号と呼ぶ）ＹＣｒＣｂを格納する。

メモリ５に格納されたＹＣＣ信号ＹＣｒＣｂはメモリ制御部１３によって読み出され、歪曲補正部６に入力される。

歪曲補正部６は、ＹＣＣ信号ＹＣｒＣｂに対して、後述する座標補正信号ＳｘおよびＳｙを画素毎に順次適用し、レンズユニット１で生じる歪曲収差を補正する。そして、歪曲補正部６は歪曲収差補正が行われたＹＣＣ信号Ｙ’Ｃｒ’Ｃｂ’を出力する。

ここで、歪曲収差補正信号ＤｘおよびＤｙの生成に関与するマイコン７、タイミングジェネレータ（以下ＴＧという）１５、画素座標生成部１６、光学補正データベース１７、および歪曲補正量算出部１８について説明する。

ビデオカメラなどのカメラの光学系における光学パラメータは撮影の際の様々な要因により常に制御され変動している。これら要因には、例えば、ズーミング操作、被写体の移動、撮影対象の変更、周囲の明るさの環境変化、および撮影者の意図する撮影効果などがある。そして、光学パラメータは、例えば、焦点距離およびフォーカス位置に代表される。なお、以下の説明では、光学パラメータとは焦点距離およびフォーカス位置をいうものとする。

マイコン７は焦点距離およびフォーカス位置を制御するための駆動パルス位置ＣＬを出力して、レンズユニット１のアクチュエータ１４を駆動する。ＴＧ１５は、マイコン７の制御下で、撮像素子２の駆動仕様に応じて水平同期信号ＨＤおよび垂直同期信号ＶＤを出力する。また、ＡＦＥ３は駆動波形信号を生成して撮像素子２に入力する。

図２は、図１に示すＴＧ１５で生成される水平同期信号ＨＤおよび垂直同期信号ＶＤの一例を示す図である。

水平同期信号ＨＤは撮像素子２が出力するアナログ映像信号の１ライン期間を示しており、垂直同期信号ＶＤは、アナログ映像信号の１フレーム期間を示している。水平同期信号ＨＤおよび垂直同期信号ＶＤは、マイコン７から出力される光軸中心位置情報ＣｘおよびＣｙとともに画素座標生成部１６に入力される。

図３は、図１に示す画素座標生成部１６の一例についてその構成を示すブロック図である。

画素座標生成部１６は、水平同期（Ｈ）カウンタ１６１、垂直同期（Ｖ）カウンタ１６２、および極座標変換回路１６３を備えている。Ｈカウンタ１６１は水平同期信号ＨＤの立ち下りでリセットされる。Ｖカウンタ１６２は垂直同期信号ＶＤの立ち下がりでリセットされる。そして、Ｈカウンタ１６１およびＶカウンタ１６２はそれぞれ水平カウンタ値Ｘｔおよび垂直カウンタ値Ｙｔを出力する。

図４は、図３に示すＨカウンタ１６１およびＶカウンタ１６２が出力する水平カウンタ値Ｘｔおよび垂直カウンタ値Ｙｔを説明するための図である。

図４に示すように、水平カウンタ値Ｘｔは撮像素子２の走査方向に沿った水平軸を規定し、垂直カウンタ値Ｙｔは走査方向に直交する垂直軸を規定する。つまり、水平カウンタ値Ｘｔおよび垂直カウンタ値Ｙｔによって二次元の直交座標系が規定される。なお、光軸中心位置情報ＣｘおよびＣｙはレンズユニット１の光軸中心位置ｃがこの直交座標系においていずれの位置にあるかを示している。

ここで、撮像素子２における着目画素ｔに係る水平カウンタ値Ｘｔおよび垂直カウンタ値Ｙから、光軸中心位置ｃを原点とする極座標系における極座標（Ｒｔ，θｔ）は、次の式（１）および（２）で示される。

そして、極座標変換回路１６３は上記の式（１）および（２）を用いて極座標（Ｒｔ、θｔ）を出力する。

なお、平方根演算は、二分法又は開平法などの周知の手法を有限語長精度で表現することによってハードウェアにおいても行うことができる。また、ａｔａｎ演算は高次関数近似又はＸＹ比を所定の値域に区間分割した区分低次関数近似によってハードウェアにおいても行うことができる。

ところで、光学系に起因して生じる歪曲収差は、像高に応じて変動することが知られている。

図５は、光学系に起因して生じる歪曲収差を説明するための図である。そして、図５（ａ）は歪曲収差補正量と像高との関係の一例を示す図であり、図５（ｂ）は歪曲収差補正の際のマイコンの演算処理を示す図である。また、図５（ｃ）は歪曲収差補正の際の歪曲補正量算出部の演算処理を示す図である。

図５（ａ）に示すように、歪曲収差補正量は光軸中心からの距離である像高に対する関数で表される。レンズユニット１に駆動パルス位置ＣＬを出力する際、マイコン７は光学補正データベース１７にアクセスして、歪曲補正量算出部１８に補正量プロットデータセットＣｍを出力する。

この光学補正データベース１７は、光学パラメータに対する歪曲補正特性情報を記憶するためのフラッシュメモリなどの記憶装置である。光学補正データベース１７に記憶された歪曲補正特性情報は、例えば、所定の像高における歪曲収差補正量を直接示すプロットデータである。

なお、歪曲補正特性情報として、補正量特性を近似した関数の係数項を光学補正データベース１７に記憶するようにしてもよい。また、光学補正データベース１７の容量については、カメラが許容するメモリ容量および光学系の特性変化量の傾向に応じて情報量を予め決定しておけばよいが、メモリ容量は有限であるため、光学補正データベース１７には歪曲補正特性情報が離散的に保存される。

このため、光学補正データベース１７に歪曲補正特性情報が存在しない光学パラメータおよび像高については補間によって歪曲補正特性情報を生成することになる。

さらに、光学パラメータの制御単位時間はアナログ映像信号の更新を示す垂直同期信号ＶＤの１周期（１フレーム期間）であるので、マイコン７が光学補正処理で用いる処理時間は当然に有限である。従って、マイコン７は、１フレーム期間中にデータ処理可能な有限個の補正量プロットデータを、現在の光学パラメータの近傍で複数セット取得することになる。

例えば、マイコン７は、光学補正データベース１７に格納された光学補正特性情報のうち現在の光学パラメータ近傍の２つ光学パラメータＯａおよびＯｂを選択する。光学補正データベース１７には、光学パラメータＯａに対応する光学補正プロットデータｃｆａ１〜ｃｆａ４と光学パラメータＯｂに対応する光学補正プロットデータｃｆｂ１〜ｃｆｂ４が格納されている。

マイコン７は、像高に対応する２個の補正量プロットデータの補間処理を、現在の光学パラメータと光学パラメータＯａおよびＯｂとの乖離度に応じて重み付けして行って、４個の補正プロットデータｃｍ１〜ｃｍ４を算出する（図５（ｂ）参照）。そして、マイコン７は補正プロットデータｃｍ１〜ｃｍ４を補正量プロットデータセットＣｍとして出力する。

図６は、図１に示す歪曲補正量算出部１８の構成についてその一例を示すブロック図である。

歪曲補正量算出部１８は、関数係数算出回路１８１、補正値算出回路１８２、ＸＹベクトル係数算出回路１８３、および乗算器１８４および１８５を備えている。現在の着目画素の極座標（Ｒｔ，θｔ）および補正プロットデータセットＣｍ１〜Ｃｍ４が関数係数算出回路１８１に入力される。

ここでは、図４に示す着目画素ｔの極座標（Ｒｔ，θｔ）が歪曲補正量算出部１８に入力された場合について説明する。

関数係数算出回路１８１は、現在の着目画素の極座標値Ｒｔが属するプロット区間を求め（図５（ｃ）において黒線区間）、プロット区間に対応する近似関数の係数ａ、ｂ、およびｃを出力する。

上記の処理におけるプロット区間は、式（３）で示す２次関数で近似される。

なお、式（３）に示す２次関数の代わりに、１次関数（折れ線近似）又は３次以上の高次の関数を用いるようにしてもよい。

補正値算出回路１８２は、式（３）を用いて現在の着目画素ｔの極座標値Ｒｔから補正量Ｚｔを算出する。補正量Ｚｔは、極座標系においてθｔ方向にみた場合の補正量を示しているが、後述するように、歪曲補正部６では水平および垂直に従属的に補間処理を行うことになる。

このため、歪曲補正量算出部１８は補正量Ｚｔを水平垂直方向（ＸＹ方向と呼ぶ）にベクトル分解することになる。

ＸＹベクトル係数算出回路１８３は、着目画素ｔの極座標（Ｒｔ，θｔ）から、補正量ＺｔをＸＹ方向にベクトル分解するためのベクトル係数ＶｘおよびＶｙを、次の式（４）および（５）を用いて求める。

なお、ｃｏｓθおよびｓｉｎθに係る演算は、高次関数近似又は極座標値θを所定の値域に区間分割した区分低次関数近似によって、ハードウェアにおいても行うことができる。

ベクトル係数Ｖｘおよびそれぞれ乗算器１８５および１８４に与えられる。そして、乗算器１８５および１８４はそれぞれベクトル係数ＶｘおよびＶｙに補正量Ｚｔを乗算して、ＸＹ方向の補正量ＤｘおよびＤｙを出力する（式（６）および（７））。

上述のようにして求められたＸＹ方向の歪曲補正量ＤｘおよびＤｘは、ＹＣＣ信号ＹＣｒＣｂに共通であり、水平および垂直方向の位相ズレ成分として分離された位相ズレ量である。

なお、図示の例では、光学補正データベース１７には、光学補正量を直接示すプロットデータを記憶するようにしたが、前述のように、補正特性を近似した関数の係数項を記憶するようにしてもよい。この場合には、補正量プロットデータは近似関数の次数に置き換わる。

続いて、手ブレ補正信号ＧｙおよびＧｐの生成に関与するマイコン７、ジャイロセンサ（以下単にジャイロと呼ぶ）８および９、手ブレ補正量算出部１０、適用率制御部１１、およびシフトレンズについて説明する。

図１に示すジャイロ８および９は、たとえば、角速度センサであり、カメラ筺体（図示せず）の内部にＹＡＷ（横）方向およびＰＩＴＣＨ（縦）方向における手ブレが検出できるように配置される。

ジャイロ８および９には水晶振動子（図示せず）などで生成されたクロックが入力され、ジャイロ８および９はクロック周波数でサンプリングされた角速度をそれぞれ電圧値ＶｙおよびＶｐとして出力する。

図７は、図１に示す手ブレ補正量算出部１０の構成についてその一例を示すブロック図である。

手ブレ補正量算出部１０は、Ａ／Ｄ変換器１０１、減算器１０２、ハイパスフィルタ（ＨＰＦ）１０３、積分器１０４、および角度画素変換器１０５を有している。なお、ジャイロ出力ＶｙおよびＶｐに対する処理は同様であるので、ここでは、ジャイロ出力Ｖｙの処理について説明する。

ジャイロ８から出力されたジャイロ出力ＶｙはＡ／Ｄ変換器１０１でデジタル値に変換されて、減算器１０２に入力される。ここでは、オフセット誤差除去のため、マイコン７から減算器１０２にオフセット値ｏｆｓが与えられる。そして、減算器１０２はデジタル値からオフセット値ｏｆｓを減算してオフセット誤差除去信号Ｖｙ’を出力する。

ＨＰＦ１０３には、マイコン７からカットオフ周波数制御値ｆｃが与えられる。ＨＰＦ１０３はカットオフ周波数制御値ｆｃに応じてその通過域を調整し、オフセット誤差除去信号Ｖｙ’から不要な低周波成分を除去してハイパス信号Ｈｙを出力する。

積分器１０４はハイパス信号Ｈｙを逐次積分してジャイロ出力である角速度を角度に変換して、角度信号Ａｙを出力する。角度画素変換器１０５にはマイコン７から現在の焦点距離ＦＬと撮像素子２のセルピッチｐとが与えられる。角度画素変換器１０５は、次の式（８）に応じて手ブレの単位を角度から画素に変換した後、その符号を反転して手ブレ補正信号（第１のブレ歪み補正量）Ｐｙ（Ｐｐ）を出力する。

図８は、図１に示す適用率制御部１１の構成についてその一例を示すブロック図である。

適用率制御部１１は、ゲイン発生器１１０、ゲイン調整器１１１、および遅延素子１１２を有している。なお、手ブレ補正信号Ｐｙおよび歪曲収差補正信号Ｄｘと手ブレ補正信号Ｐｐおよび歪曲収差補正信号Ｄｙに係る処理は同様であるので、ここでは、手ブレ補正信号Ｐｙおよび歪曲収差補正信号Ｄｘに係る処理について説明する。

ゲイン発生器１１０には、マイコン７からゲイン調整値ｆｇおよび歪曲収差補正信号Ｄｘが与えられる。そして、ゲイン発生器１１０はゲイン調整値ｆｇおよび歪曲収差補正信号Ｄｘに応じてゲイン調整値ｇを出力する。

図９は、図８に示すゲイン発生器１１０から出力されるゲイン調整値ｇの一例を示す図である。図９に示すように、ゲイン調整値ｇは、歪曲収差補正信号Ｄｘに応じて変化する。

手ブレ補正信号Ｐｙはゲイン調整器１１１に入力される。ゲイン調整器１１１の出力は遅延素子１１２に与えられ、遅延素子１１２はジャイロ８および９に供給される１クロック分ゲイン調整器１１１の出力を遅延して遅延信号Ｐｙ’をゲイン調整器１１１に与える。

ゲイン調整器１１１は、ゲイン調整値ｇに応じて、式（９）で示すように手ブレ補正信号Ｐｙと遅延信号Ｐｙ’とを混合して、手ブレ補正信号Ｇｙ（Ｇｐ）を出力する。

式（９）から容易に理解できるように、ゲイン調整値ｇが大きい程、現時点算出された手ブレ補正信号ＰｙおよびＰｐの適用率が低下し、手ブレ補正が時間方向に緩やかに適用される。従って、手ブレ補正の効果は相対的に低下することになる。一方、ゲイン調整値ｇが小さい程、手ブレ補正が時間方向に急峻に適用される。よって、手ブレ補正の効果は相対的に向上することになる。

歪曲収差補正信号Ｄｘが正に大きい程、歪みは所謂樽型であり、補正の結果得られる画像は光軸中心からみて外側に引き伸ばされる、このため、手ブレ補正の残留成分が目立ちやすくなる。一方、歪曲収差補正量Ｄｘが負に大きい程、歪みは所謂糸巻き型であり、補正の結果得られる画像は光軸中心からみて内側に押し縮められる。このため、手ブレ補正の残留成分が目立ちにくくなる。

ゲイン発生器１１０は上記の特性に合わせて、歪曲収差補正信号Ｄｘが正に大きい程ゲイン調整値ｇを小さくし、歪曲収差補正量Ｄｘが負に大きい程ゲイン調整値ｇを大きくする。

このように、ゲイン調整値ｇを制御すると、歪曲収差補正よって画像が引き伸ばされる領域では手ブレ補正の効果が相対的に向上し、手ブレ補正の残留成分を抑圧することができる。

シフトレンズを用いて手ブレ補正を行う場合には、手ブレ補正信号ＧｙおよびＧｐはシフトレンズ駆動用アクチュエータ１２に供給される。これによって、結像位置が所定の位置となるようにシフトレンズが駆動され（移動制御されて）、手ブレ補正が行われる。一方、メモリ５を用いて電子防振を行う際には、補正特性制御部１９に手ブレ補正信号ＧｙおよびＧｐが供給される。

ここで、歪曲収差補正に関与する補正特性制御部１９および歪曲補正部６について説明する。

歪曲収差補正を行う場合、歪曲補正値（量）は着目画素の位置における歪み量を、水平および垂直方向の位相ズレ成分として分離した位相ズレ量である。

図１０は位相ずれの補正を説明するための図である。そして、図１０（ａ）は着目画素が本来あるべき位相を示す図であり、図１０（ｂ）は仮想画素の生成を示す図である。また、図１０（ｃ）は歪曲収差の補正を示す図である。なお、以下の説明では、説明の便宜上、補間演算を着目画素の近傍４画素で行う場合について説明する。

図１０（ａ）において、黒画素は着目画素Ｓが本来あるべき位相を示しており、グレー画素は着目画素Ｓが倍率色収差および歪曲収差の影響で、位相ズレして撮像された位置を示す仮想画素Ｓ’を示す。

歪曲収差を補正する際、水平方向にＨｐおよび垂直方向にＶｐ位相がずれた仮想画素Ｓ’を求めて、着目画素Ｓの位置に再配置すればよい。図１０（ｂ）に示すように、仮想画素Ｓ’はその近傍に存在する実際に撮像した画素ｓ１、ｓ２、ｓ３、およびｓ４を用いて、画素ｓ１、ｓ２、ｓ３、およびｓ４と仮想画素Ｓ’との画素間距離ｃ１、ｃ２、ｃ３、およびｃ４で重み付け補間演算することによって生成することができる。図１０（ｃ）に示すように、生成された仮想画素Ｓ’は着目画素Ｓの位置に置き換えられ、これによって、歪曲収差が補正される。

図１１は、図１に示す歪曲補正部６の構成についてその一例を示すブロック図である。なお、図示の例では、図１０で説明した処理について、着目画素の近傍６４画素の補間演算を行う例が示されている。

歪曲補正部６は、補間制御回路６０１および６０２、バッファメモリ６０３、および補間回路６０４〜６１２を有している。歪曲補正部６はＹＣＣ信号に関して独立に構成されるが、いずれも同様の回路構成であるので、図１１ではその１つの回路について説明をする。

座標補正信号ＳｘおよびＳｙはそれぞれ補間制御回路６０１および６０２に入力され、補間制御回路６０１および６０２はそれぞれ座標補正信号ＳｘおよびＳｙに応じて整数の位相ズレ成分ＨｐおよびＶｐとして出力する。

図１２は、図１１に示す補間制御回路６０１および６０２で行われる処理を説明するための図である。そして、図１２（ａ）〜図１２（ｃ）は補間係数を示す図である。

補間制御回路６０１および６０２はそれぞれ座標補正信号ＳｘおよびＳｙの小数の位相ズレ成分を、ｓｉｎｃ関数に窓関数を重畳した有限な補間関数によって定まる補間係数ｃｈ０〜ｃｈ７およびｃｖ０〜ｃｖ７として出力する（図１２（ａ）参照）。

バッファメモリ６０３は、メモリ５から読み出されたＹＣＣ信号を水平および垂直方向に複数画素に亘って記憶している。

図１３は図１１に示すバッファメモリ６０３から読み出される参照画素の一例を示す図である。

図１３において、バッファメモリ６０３では着目画素ＳからＨｐおよびＶｐだけずれたアドレスを中心として、仮想画素Ｓ’近傍の参照画素ｓ００〜ｓ７７が同時に読み出される。

なお、図１３において、左右の画素位置０〜７、上下の画素位置０〜７を組み合わせたものが、仮想画素Ｓ’近傍の６４画素を示す画素番号（ｓ００など）である。

バッファメモリ６０３から出力された参照画素ｓ００〜ｓ７７は、ライン毎に設けられた水平補間回路６０４〜６１１に入力される。さらに、水平補間回路６０４〜６１１には各参照画素に対応した補間係数ｃｈ０〜ｃｈ７が入力される。そして、水平補間回路６０４〜６１１はそれぞれ水平方向に補間処理した参照画素ｓ０’〜ｓ７’を出力する。

水平補間回路６０４〜６１１から出力された参照画素ｓ０’〜ｓ７’は、垂直補間回路６１２に入力される。さらに、垂直補間回路６１２には各参照画素に対応した補間係数ｃｖ０〜ｃｖ７が入力される。そして、垂直補間回路６１２は垂直方向に補間処理した仮想画素Ｓ’を出力する。なお、水平補間回路６０４〜６１１の各々は同一の構成である。

図１４は、図１１に示す水平補間回路６０４〜６１１の構成についてその一例を示すブロック図である。

水平補間回路６０４〜６１１の構成は同一であるので、ここでは水平補間回路６０４に注目して説明する。

水平補間回路６０４は乗算器６０４１〜６０４８と総和回路６０４９とを有している。参照画素ｓ００〜ｓ０７はそれぞれ乗算器６０４１〜６０４８に入力される。乗算器６０４１〜６０４８はそれぞれ参照画素ｓ００〜ｓ０７と補間係数ｃｈ０〜ｃｈ７とを乗算して、第１〜第８の水平乗算値を出力する。総和回路６０４９は第１〜第８の水平乗算値の総和を求めて、水平方向の補間処理を施した参照画素ｓ０’を出力する。

図１５は、図１１に示す垂直補間回路６１２の構成についてその一例を示すブロック図である。

垂直補間回路６１２は乗算器６１２１〜６１２８と総和回路６１２９とを有している。乗算器６１２１〜６１２８にはそれぞれ参照画素ｓ０’〜ｓ７’が入力される。乗算器６１２１〜６１２８はそれぞれ参照画素ｓ０’〜ｓ７’と補間係数ｃｖ０〜ｃｖ７と乗算して第１〜第８の垂直乗算値を出力する。総和回路６１２９は第１〜第８の垂直乗算値の総和を求めて、垂直方向の補間処理を施した仮想画素Ｓ’を出力する。

このようにして水平および垂直方向の補間処理を行った結果、仮想画素Ｓ’は次の式（１０）で表される。

補正特性制御部１９は、手ブレ補正信号ＧｙおよびＧｐと歪曲収差補正信号ＤｘおよびＤｙを加算して、それぞれ式（１１）および式（１２）で示す座標補正信号ＳｘおよびＳｙを求める。

そして、補正特性制御部１９は座標補正信号ＳｘおよびＳｙの整数部ＳｘｉおよびＳｙｉを、メモリ制御部１３に対してメモリ５の読み出し開始アドレスとして指示する。また、補正特性制御部１９はその小数部Ｓｘｄ、Ｓｙｄを歪曲補正部６に補間位相として指示する。

このようにして、歪曲補正量ＤｘおよびＤｙの変化に応じて手ブレ補正信号ＧｙおよびＧｐを制御するようにしたので、歪曲補正による画質変化に応じた手ブレ補正を行うことができる。

［第２の実施形態］
続いて、本発明の第２の実施形態による画像処理装置を備える撮像装置について説明する。なお、第２の実施形態による撮像装置（カメラ）の構成は図１に示すカメラと同様である。

第２の実施形態においては、適用率制御部１１および手ブレ補正量算出部１０における制御および処理が第１の実施形態と異なるので、ここでは、適用率制御部１１および手ブレ補正量算出部１０についてのみ説明する。

図１６は、本発明の第２の実施形態によるカメラで用いられる適用率制御部１１の構成についてその一例を示すブロック図である。なお、手ブレ補正信号ＰｙおよびＰｐに係る処理は同であるので、ここでは手ブレ補正信号Ｐｙの処理について説明する。

適用率制御部１１はゲイン調整器１１１および遅延素子１１２を有している。マイコン７からゲイン調整値ｆｇがゲイン発生器１１０に入力される。さらに、手ブレ補正信号Ｐｙがゲイン調整器１１１に入力される。

ゲイン調整器１１１の出力は遅延素子１１２に与えられ、遅延素子１１２はジャイロ８および９に供給される１クロック分ゲイン調整器１１１の出力を遅延して遅延信号Ｐｙ’をゲイン調整器１１１に与える。

ゲイン調整器１１１は、ゲイン調整値ｆｇに応じて、式（１３）で示すように手ブレ補正信号Ｐｙと遅延信号Ｐｙ’とを混合して、手ブレ補正信号Ｇｙ（Ｇｐ）を出力する。

図１７は、本発明の第２の実施形態によるカメラで用いられる手ブレ補正量算出部１０の構成についてその一例を示すブロック図である。

図示の手ブレ補正量算出部１０は、Ａ／Ｄ変換器１０１、減算器１０２、ＨＰＦ１０３、積分器１０４、および角度画素変換器１０５に加えて、カットオフ算出器１０６を有している。

なお、ジャイロ出力Ｖｙおよび歪曲収差補正信号Ｄｘとジャイロ出力Ｖｐおよび歪曲収差補正信号Ｄｙに係る処理は同一であるので、ここでは、ジャイロ出力Ｖｙおよび歪曲収差補正信号Ｄｘに係る処理について説明する。

図７で説明したように、減算器１０２からオフセット誤差除去信号Ｖｙ’がＨＰＦ１０３に与えられる。

図１８は、図１７に示すカットオフ算出器１０６のカットオフ周波数特性の一例を示す図である。

カットオフ算出器１０６には、マイコン７からカットオフ周波数制御値ｆｃが与えられるとともに、歪曲収差補正信号Ｄｘが入力される。カットオフ算出器１０６は、図１８に示す特性で、カットオフ周波数制御値ｆｃおよび歪曲収差補正信号Ｄｘに応じてカットオフ周波数ｆｃ’を出力する。

ＨＰＦ１０３は、カットオフ算出器１０６から供給されるカットオフ周波数制御値ｆｃ’に応じて、不要な低周波成分を除去したハイパス信号Ｈｙを出力する。その後、図７で説明したようにして、積分器１０４および角度画素変換器１０５によって、式（８）で説明した手ブレ補正信号Ｐｙ（Ｐｐ）が出力される。

ここでは、カットオフ周波数制御値ｆｃ’が高い程、手ブレの周波数帯域が高周波寄りに狭くなる。このため、大きな手ブレ成分が分布する低周波がカットされて、手ブレ補正の効果は相対的に低下する。

一方、カットオフ周波数制御値ｆｃ’が低い場合には、低周波を含む広い手ブレ周波数帯域を検波することができる。よって、手ブレ補正の効果は相対的に向上することになる。

前述したように、歪曲収差補正信号Ｄｘが正に大きいほど歪みは樽型であり、補正の結果得られる画像は光軸中心からみて外側に引き伸ばされる。このため、手ブレ補正の残留成分が目立ちやすくなる。

一方、歪曲収差補正量Ｄｘが負に大きい程歪みは糸巻き型であり、補正の結果得られる画像は光軸中心からみて内側に押し縮められる。このため、手ブレ補正の残留成分が目立ちにくくなる。

カットオフ算出器１０６は、この特性に応じて歪曲収差補正信号Ｄｘが正に大きい程カットオフ周波数制御値ｆｃ’を低くする。一方、歪曲収差補正量Ｄｘが負に大きい程、カットオフ算出器１０６はカットオフ周波数制御値ｆｃ’を高くする。

このように、カットオフ周波数制御値ｆｃ’を制御すると、歪曲収差補正よって画像が引き伸ばされる領域では、手ブレ補正の効果が相対的に向上して、手ブレ補正の残留成分を抑圧することができる。

なお、第１の実施形態で説明した適用率制御部１１による制御と第２の実施形態の手ブレ補正量算出部１０の処理とを併用するようにしてもよい。

歪曲収差補正量ＤｘおよびＤｙに応じた制御を手ブレ補正量算出部１０で行う際には、ＨＰＦ１０３のカットオフ周波数ｆｃを下げすぎると、パン又はチルトのようなカメラワークに対する積分演算が行われてしまい、積分器がオーバーフローすることがある。

このため、例えば、カットオフ周波数ｆｃの下限にリミットを設定して、リミット以降については適用率制御部１１のゲイン調整値ｇを制御するようにする。また、カットオフ周波数ｆｃを下げる特性よりもゲイン調整値ｇを下げる特性を急にするように制御するようにしてもよい。

このように、本発明の第２の実施形態では、カメラワークに対する手ブレ補正制御を損なうことなく、歪曲収差補正よって画像が引き伸ばされる領域では、手ブレ補正の効果を相対的に向上させて、手ブレ補正の残留成分を抑圧することができる。

［第３の実施形態］
次に、本発明の第３の実施形態による画像処理装置を備える撮像装置（カメラ）の一例について説明する。

図１９は、本発明の第３の実施形態による画像処理装置を備える撮像装置の構成についてその一例を示すブロック図である。なお、図１９において、図１に示す構成要素と同一の構成要素については同一の参照番号を付す。

前述の第１の実施形態においては、適用率制御部１１を歪曲補正量に応じて制御したが、第３の実施形態では、適用率制御部１１で求められる手ブレ補正量に応じて補正特性制御部１９を制御する。

その他の処理については第１の実施形態と同様であるので、ここでは、適用率制御部１１、補正特性制御部１９、および歪曲補正部６について説明する。

なお、適用率制御部１１については、図１６の構成同様であるので、ここでは説明を省略する。

後述する歪曲補正部６は、Ｂｉ−Ｃｕｂｉｃ補間のようにｓｉｎｃ関数に窓関数を重畳した有限な補間関数によって定まる補間係数Ｃｊを、原画素（参照画素）Ｐｊに乗算して補間画素位置Ｑを得る（式（１４）参照）。

つまり、歪曲補正部６は、補間画素位置Ｑの近傍ｎ個（ｎは２以上の整数）の画素を参照して、補間関数で決まる補間係数Ｃｊを参照画素Ｐｊに乗ずるフィルタ処理を施すことになる。

前述したように、図１２には８点補間の補間関数の時間特性が示されており、時間０で示される補間位相に対して、前後の画素に対応する補間係数ｃ０〜ｃ７を補間関数に従って得ている。

図２０は、図１２で説明した補間関数によって得られる周波数特性を説明するための図である。そして、図２０（ａ）〜図２０（ｃ）はそれぞれ図１２（ａ）〜１２（ｃ）に対応する図である。

いま、図１２（ａ）に示すように窓関数を広くすると、図２０（ａ）に示すように、カットオフ周波数であるナイキスト周波数近傍の周波数応答特性は急峻となる。そして、図１２（ｂ）〜図１２（ｃ）に示すように窓関数を狭くすると、図２０（ｂ）〜図２０（ｃ）に示すように、ナイキスト周波数近傍の周波数応答特性は徐々に緩やかとなって、通過帯域の応答も低下することになる。

図２１は、図１９に示す補正特性制御部１９の構成についてその一例を示すブロック図である。

補正特性制御部１９は、第１〜第６の係数関数器１９１〜１９６を有している。手ブレ補正信号Ｇｙは係数関数器１９１〜１９３に入力され、係数関数器１９１、１９２、および１９３（周波数特性変更手段）はそれぞれ補間関数の周波数特性を変更するための抑圧係数ＩｔＨａ、ＩｔＨｂ、およびＩｔＨｃを出力する。

抑圧係数ＩｔＨａ、ＩｔＨｂ、およびＩｔＨｃは、対応する補間係数ｃｈｊが式（１５）〜式（１８）で示すように定まっており、図１２に示すように、外側の補間係数が順次ゼロになるように設定される。

補正量Ｇｐは係数関数器１９４〜１９６に入力され、係数関数器１９４、１９５、および１９６は、それぞれ補間関数の周波数特性を変更するための抑圧係数ＩｔＶａ、ＩｔＶｂ、およびＩｔＶｃを出力する。

抑圧係数ＩｔＶａ、ＩｔＶｂ、およびＩｔＶｃは、対応する補間係数ｃｖｊが次の式（１９）〜式（２２）で示すように定まっており、図１２に示すように、外側の補間係数が順次ゼロになるように設定される。

図２２は、図２１に示す係数関数器１９１〜１９６の入出力特性を説明するための図である。そして、図２２（ａ）は係数関数器１９１および１９４の入出力特性を示す図であり、図２２（ｂ）は係数関数器１９２および１９５の入出力特性を示す図である。また、図２２（ｃ）は係数関数器１９３および１９６の入出力特性を示す図である。

図２２（ａ）において、係数関数器１９１および１９４は、それぞれ外部から設定される閾値ｔｈ＿ａおよび傾きｇｒａｄ＿ａに応じて、抑圧係数ＩｔＨａおよびＩｔＶａを決定する。

図２２（ｂ）において、係数関数器１９２および１９５は、それぞれ外部から設定される閾値ｔｈ＿ｂおよび傾きｇｒａｄ＿ｂに応じて、抑圧係数ＩｔＨｂおよびＩｔＶｂを決定する。

図２２（ｃ）において、係数関数器１９３および１９６は、それぞれ外部から設定される閾値ｔｈ＿ｃおよび傾きｇｒａｄ＿ｃに応じて抑圧係数ＩｔＨｃおよびＩｔＶｃを決定する。

図１２に示すような遷移を滑らかに実現するためには、式（２３）を満たし、かつかつ各関数のｘ切片が式（２４）を満たす必要がある。

図２３は、図１９に示す歪曲補正部の構成についてその一例を示すブロック図である。

図２３に示す歪曲補正部６において、第１および第２の実施形態で説明した歪曲補正部６と異なる点は、補間係数ｃｈ０〜ｃｈ７およびｃｖ０〜ｃｖ７に抑圧係数ＩｔＨａ、ＩｔＨｂ、ＩｔＨｃ、ＩｔＶａ、ＩｔＶｂ、およびＩｔＶｃが乗算されることである。

補間制御回路６０１および６０２はそれぞれ図２０（ａ）〜図２０（ｃ）で説明した小数の水平および垂直位相ズレ成分を補間係数ｃｈ０〜ｃｈ７およびｃｖ０〜ｃｖ７として出力する。この際、補間係数ｃｈ０〜ｃｈ７にはそれぞれ抑圧係数ＩｔＨａ、ＩｔＨｂ、およびＩｔＨｃが乗算され、ｃｖ０〜ｃｖ７にはそれぞれ抑圧係数ＩｔＶａ、ＩｔＶｂ、およびＩｔＶｃが乗算される。

バッファメモリ６０３は、メモリ５から読み出されたＹＣＣ信号を水平および垂直方向に複数画素に亘って保持する。そして、前述の図１３で説明したように、着目画素位置ＳからＨｐおよびＶｐだけずれたアドレスを中心に仮想画素Ｓ’の近傍の参照画素ｓ００〜ｓ７７がバッファメモリ６０３から同時に読み出される。

バッファメモリ６０３から出力された参照画素ｓ００〜ｓ７７は、ライン毎に設けられた水平補間回路６０４〜６１１に入力される。また、水平補間回路６０４〜６１１には各参照画素に対応した補間係数ｃｈ０〜ｃｈ７が入力される。そして、水平補間回路６０４〜６１１はそれぞれ水平方向に補間処理した参照画素ｓ０’〜ｓ７’を出力する。

水平補間回路６０４〜６１１から出力された参照画素ｓ０’〜ｓ７’は垂直補間回路６１２に入力される。さらに、垂直補間回路６１２には各参照画素に対応した補間係数ｃｖ０〜ｃｖ７が入力され、垂直補間回路６１２は垂直方向に補間処理した仮想画素Ｓ’を出力する。

なお、水平補間回路６０４〜６１１の各々構成は、前述の図１４に示すとおりである。また、垂直補間回路６１２の構成は、前述の図１５に示すとおりである。

このようにして水平および垂直方向の補間処理を行った結果、仮想画素Ｓ’は前述の式（１０）で表される。

上述の説明から容易に理解できるように、手ブレ補正量が大きい程手ブレ補正量算出誤差は大きくなるので、歪曲収差補正量が大きい画像領域では手ブレ補正の誤差成分が変動する。

従って、抑圧係数ＩｔＨａ、ＩｔＨｂ、ＩｔＨｃ、ＩｔＶａ、ＩｔＶｂ、およびＩｔＶｃは、手ブレ補正量が大きくなるにつれて、前述のように抑制係数ＩｔＨａ、ＩｔＨｂ、およびＩｔＨｃと抑制係数ＩｔＶａ、ＩｔＶｂ、およびＩｔＶｃの順で抑圧係数がゼロになるように制御する。

抑圧係数をＩｔＨａ、ＩｔＨｂ、ＩｔＨｃおよびＩｔＶａ、ＩｔＶｂ、ＩｔＶｃの順に小さくすると、補間フィルタの周波数特性が緩やかになって、画像の高周波成分が減衰する。このため、手ブレ補正量算出誤差が目立ちにくくなる。

その結果、手ブレ補正量の変動によって手ブレ補正量算出誤差に起因する手ブレ補正の安定度が変化してしまうことを防止することができる。

上述の説明では、抑圧係数ＩｔＨａ、ＩｔＨｂ、ＩｔＨｃ、ＩｔＶａ、ＩｔＶｂ、およびＩｔＶｃの制御によって、歪曲収差補正による補正画像の周波数特性を制御したが、例えば、ＬＰＦの通過帯域又は輪郭補償フィルタの補償ゲインによって制御するようにしてもよい。

［第４の実施形態］
続いて、本発明の第４の実施形態による画像処理装置が用いられた撮像装置（カメラ）の一例について説明する。

図２４は、本発明の第４の実施形態による画像処理装置が用いられた撮像装置の構成についてその一例を示すブロック図である。なお、図２４において、図１に示す構成要素と同一の構成要素については同一の参照番号を付す。

前述の第１の実施形態においては、適用率制御部１１を歪曲補正量に応じて制御したが、第４の実施形態では、さらに画像の特徴量を抽出する特徴抽出部２０によって適用率制御部１１を制御する。

その他の処理については第１の実施形態と同様であるので、ここでは、適用率制御部１１および特徴抽出部２０について説明する。

なお、適用率制御部１１については、図１６の構成と同様であるので、ここでは説明を省略する。

図示の特徴抽出部２０は、輝度信号Ｙから勾配の検出を行う機能および高周波成分の検出を行う機能の少なくとも一つを有している。そして、特徴抽出部２０は特徴評価値Ｉｄを出力する。

ここで、特徴抽出部２０が輝度信号Ｙから勾配の検出を行う場合について説明する。

図２５は、図２４に示す特徴抽出部２０において勾配検出を行う場合の構成の一例を示すブロック図である。

特徴抽出部２０は勾配検出回路１５１および平均値回路１５２を有している。勾配検出回路１５１は、例えば、ソーベルフィルタであり、輝度信号Ｙの近傍画素から着目画素位置における勾配量（１次微分値）Ｙｇを出力する。

勾配量Ｙｇは平均値回路１５２に入力され、平均値回路１５２は勾配量Ｙｇを着目画素近傍で平均して画素単位で生じる変動を緩和し、特徴評価値Ｉｄとして出力する。

図２６は、図２４に示す特徴抽出部２０において高周波成分の検出を行う場合の構成の一例を示すブロック図である。

特徴抽出部２０は、高周波成分検出回路１５３および平均値回路１５２を有している。高周波成分検出回路１５３は、例えば、ＢＰＦ（バンドパスフィルタ）であり、輝度信号Ｙの近傍画素から着目画素位置における高周波成分（２次微分値）Ｙｈを出力する。

高周波成分Ｙｈは平均値回路１５２に入力され、平均値回路１５２は高周波成分Ｙｈを着目画素近傍で平均して画素単位で生じる変動を緩和し、特徴評価値Ｉｄとして出力する。

図２７は、図２４に示す適用率制御部１１の構成についてその一例を示すブロック図である。

適用率制御部１１は、ゲイン発生器１１０、ゲイン調整器１１１、および遅延素子１１２を有している。なお、手ブレ補正信号Ｐｙおよび歪曲収差補正信号Ｄｘと手ブレ補正信号Ｐｐおよび歪曲収差補正信号Ｄｙとに関する処理は同様であるので、ここでは、手ブレ補正信号Ｐｙおよび歪曲収差補正信号Ｄｘに関する処理について説明する。

ゲイン発生器１１０には、マイコン７からゲイン調整値ｆｇが与えられるとともに、歪曲収差補正信号Ｄｘが与えられる。さらに、ゲイン発生器１１０には特徴評価値Ｉｄが入力される。

図２８は、図２７に示すゲイン発生器１１０で生成されたゲイン調整値ｇを説明するための図である。そして、図２８（ａ）は特徴評価値Ｉｄが第１の値Ｉｄ０である場合のゲイン調整値ｇの生成を示す図であり、図２８（ｂ）は特徴評価値Ｉｄが第２の値Ｉｄ１である場合のゲイン調整値ｇの生成を示す図である。また、図２８（ｃ）は特徴評価値Ｉｄが第３の値Ｉｄ２である場合のゲイン調整値ｇの生成を示す図である。

ここで、第１の値Ｉｄ０、第２の値Ｉｄ１、および第３の値Ｉｄ２には、式（２５）で示す関係がある。

式（２５）および図２８においては、特徴評価値Ｉｄが大きくなるにつれて被写体にはステップエッジおよびテクスチャが多く含まれることを意味している。

手ブレ補正による残留成分は被写体がステップエッジおよびテクスチャを多く含む場合に顕著に観察されるが、少ない場合には残留成分は目立たない。

従って、特徴評価値Ｉｄが小さい場合には、ゲイン発生器１１０はゲイン調整値ｇを大きくする。一方、特徴評価値Ｉｄが大きい場合には、ゲイン発生器１１０はゲイン調整値ｇを小さくする。

ゲイン調整器１１１は、ゲイン調整値ｇに応じて、前述の式（９）によって手ブレ補正信号Ｐｙと遅延信号Ｐｙ’とを混合して、手ブレ補正信号Ｇｙ（Ｇｐ）を出力する。

前述のように、ゲイン調整値ｇが大きい程、現時点で算出された手ブレ補正量信号ＧｙおよびＧｐの適用率が低下し、手ブレ補正が時間方向に緩やかに適用される。従って、手ブレ補正の効果は相対的に低下する。一方、ゲイン調整値ｇが小さい程、手ブレ補正が時間方向に急峻に適用される。よって、手ブレ補正の効果は相対的に向上する。

歪曲収差補正信号Ｄｘが正に大きい程歪みは樽型であり、補正の結果得られる画像は光軸中心からみて外側に引き伸ばされる、このため、手ブレ補正の残留成分が目立ちやすくなる。一方、歪曲収差補正量Ｄｘが負に大きい程歪みは糸巻き型であり、補正の結果得られる画像は光軸中心からみて内側に押し縮められる。このため、手ブレ補正の残留成分が目立ちにくくなる。

このように、歪曲補正量ＤｘおよびＤｙの変化と被写体のステップエッジおよびテクスチャの量とに合わせて手ブレ補正信号ＧｙおよびＧｐを制御すると、歪曲補正による画質変化に応じた手ブレ補正を行うことができる。

［第５の実施形態］
続いて、本発明の第５の実施形態による画像処理装置が用いられた撮像装置（カメラ）の一例について説明する。

なお、第５の実施形態によるカメラの構成は図２４に示すカメラの構成と同様であるが、第５の実施形態では手ブレ補正量算出部１０の処理が第４の実施形態とは異なる。従って、ここでは、手ブレ補正量算出部１０について説明する。

図２９は、本発明の第５の実施形態によるカメラで用いられる手ブレ補正量算出部１０の構成についてその一例を示すブロック図である。

また、図２９に示す手ブレ補正量算出部１０は、カットオフ算出器１０６が図１７に示す手ブレ補正量算出部１０と異なるだけであるので、ここではカットオフ算出器１０６について説明する。

カットオフ算出器１０６には、マイコン７からカットオフ周波数制御値ｆｃが与えられるとともに、前述の歪曲収差補正信号Ｄｘおよび特徴評価値Ｉｄが与えられる。

図３０は、図２９に示すカットオフ算出器１０６のカットオフ周波数特性を説明するための図である。そして、図３０（ａ）は特徴評価値Ｉｄが第１の値Ｉｄ０である場合のカットオフ周波数特性を示す図であり、図３０（ｂ）は特徴評価値Ｉｄが第２の値Ｉｄ１である場合のカットオフ周波数特性を示す図である。また、図３０（ｃ）は特徴評価値Ｉｄが第３の値Ｉｄ２である場合のカットオフ周波数特性を示す図である。

ここで、第１の値Ｉｄ０、第２の値Ｉｄ１、および第３の値Ｉｄ２には、前述の式（２５）で示す関係がある。

従って、特徴評価値Ｉｄが小さい場合には、カットオフ算出器１０６はカットオフ周波数制御値ｆｃ’を高くする。一方、特徴評価値Ｉｄが大きい場合には、カットオフ算出器１０６はカットオフ周波数制御値ｆｃ’を低くする。そして、カットオフ算出器１０６はカットオフ周波数制御値ｆｃおよび歪曲収差補正信号Ｄｘに応じてカットオフ周波数ｆｃ’を出力する。

このようにして、歪曲補正量ＤｘおよびＤｙの変化と被写体のステップエッジおよびテクスチャの量に応じて手ブレ補正信号ＧｙおよびＧｐを制御すれば、歪曲補正による画質変化に応じて手ブレ補正を行うことができる。

なお、上述の第４の実施形態で説明した適用率制御部１１に係る制御と第２の実施形態で説明した手ブレ補正量算出部１０に係る制御とを併用するようにしてもよい。

歪曲収差補正量ＤｘおよびＤｙに応じた制御を手ブレ補正量算出部１０で行う際には、ＨＰＦ１０３のカットオフ周波数ｆｃを下げすぎると、パンおよびチルトのようなカメラワークに応じた積分演算が行われてしまう。この結果、積分器１０４がオーバーフローしてしまうことがある。

よって、カットオフ周波数ｆｃの下限にリミットを設定して、リミット以降については適用率制御部１１のゲイン調整値ｇを制御するようにすればよい。または、カットオフ周波数ｆｃを下げる特性よりもゲイン調整値ｇを下げる特性が急峻となるように制御すればよい。さらには、上記の制御を特徴評価値Ｉｄに応じて行うようにしてもよい。

このようにして、本発明の第５の実施形態では、カメラワークに応じた手ブレ補正制御を損なうことなく、歪曲収差補正よって画像が引き伸ばされる領域では、手ブレ補正の効果を相対的に向上させて、手ブレ補正の残留成分を抑圧することができる。

以上のように、本発明の実施の形態によれば、手ブレなどのブレ補正と光学系に対する歪曲収差補正を関連づけて制御するようにしたので、補正効果と画質のバランスを良好に維持することができる。

上述の説明から明らかなように、図１に示す例においては、マイコン７、画素座標生成部１６、および歪曲補正量算出部１８が歪曲収差補正量算出手段として機能する。また、マイコン７、ジャイロ８および９、および手ブレ補正量算出部１０がブレ歪み補正量算出手段として機能する。さらに、マイコン７、歪曲補正部６、適用率制御部１１、および補正特性制御部１９が第２のブレ歪み補正量を得るブレ歪み補正量変更手段、歪曲補正手段、およびブレ歪み補正手段として機能する。

図１に示す例では、メモリ５、歪曲補正部６、マイコン７、手ブレ補正量算出部１０、適用率制御部１１、メモリ制御部１３、ＴＧ１５、画素座標生成部１６、光学補正データベース１７、歪曲補正量算出部１８、および補正特性制御部１９などが画像処理装置を構成する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

上記の制御方法および制御プログラムの各々は、少なくとも歪曲収差補正量算出ステップ、ブレ歪み補正量算出ステップ、ブレ歪み補正量変更ステップ、歪曲補正特性制御ステップ、歪曲補正ステップ、およびブレ歪み補正ステップを有している。

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

１レンズユニット
２撮像素子
４カメラ信号処理部
６歪曲補正部
７マイコン
８，９ジャイロ
１０手ブレ補正量算出部
１１適用率制御部
１８歪曲補正量算出部
１９補正特性制御部

Claims

光学系を備える撮像装置で撮像された画像について、前記光学系に起因する歪曲収差と撮像の際に前記撮像装置に生じたブレによる前記画像のブレ歪みとを補正処理する画像処理装置であって、
前記歪曲収差を補正するための補正量を算出して、歪曲収差補正量を得る歪曲収差補正量算出手段と、
前記ブレ歪みを補正するための補正量を算出して、第１のブレ歪み補正量を得るブレ歪み補正量算出手段と、
前記第１のブレ歪み補正量を、前記歪曲収差補正量に応じて変更し第２のブレ歪み補正量を得るブレ歪み補正量変更手段と、
前記歪曲収差補正量に応じて前記画像の歪曲収差を補正する歪曲補正手段と、
前記第２のブレ歪み補正量に応じて前記画像のブレ歪みを補正するブレ歪み補正手段と、
を有することを特徴とする画像処理装置。
さらに、前記画像からその特徴を抽出して特徴評価値を得る特徴抽出手段を備え、
前記ブレ歪み補正手段は、前記第１のブレ歪み補正量を、前記歪曲収差補正量および前記特徴評価値に応じて変更して前記第２のブレ歪み補正量を得ることを特徴とする請求項１に記載の画像処理装置。
前記ブレ歪み補正量変更手段は、現時点の第１のブレ歪み補正量と、当該現時点の前後における第１のブレ歪み補正量又は第２のブレ歪み補正量を保持しており、
前記ブレ歪み補正量変更手段は、前記歪曲収差補正量が大きくなるにつれて現時点における第１のブレ歪み補正量が前後における前記第１のブレ歪み補正量又は前記第２のブレ歪み補正量よりも大きくなるように重みづけ加算を行うことを特徴とする請求項１又は２に記載の画像処理装置。
前記ブレ歪み補正量算出手段は、ハイパスフィルタを備えており、
前記ブレ歪み補正量算出手段は、前記歪曲収差補正量が大きくなるにつれて前記ハイパスフィルタのカットオフ周波数が低くなるように通過域を調整することを特徴とする請求項１又は２に記載の画像処理装置。
前記特徴抽出手段は、画像の勾配および高周波成分の少なくとも１つを検出して前記特徴評価値を得ることを特徴とする請求項２に記載の画像処理装置。
光学系を備える撮像装置で撮像された画像について、前記光学系に起因する歪曲収差と撮像の際に前記撮像装置に生じたブレによる前記画像のブレ歪みとを補正処理する画像処理装置であって、
前記歪曲収差を補正するための補正量を算出して、歪曲収差補正量を得る歪曲収差補正量算出手段と、
前記ブレ歪みを補正するための補正量を算出して、第１のブレ歪み補正量を得るブレ歪み補正量算出手段と、
前記第１のブレ歪み補正量を、所定の適用率で変更して第２のブレ歪み補正量を得るブレ歪み補正量変更手段と、
前記第２のブレ歪み補正量に応じて、歪曲収差補正に係る補間フィルタの周波数特性を変更する周波数特性変更手段と、
前記歪曲収差補正量および前記周波数特性変更手段で変更された周波数特性に応じて前記画像の歪曲収差を補正する歪曲補正手段と、
前記第２のブレ歪み補正量に応じて前記画像のブレ歪みを補正するブレ歪み補正手段と、
を有することを特徴とする画像処理装置。
前記周波数特性変更手段は、前記補間フィルタの周波数特性が前記第２のブレ歪み補正量が大きくなるにつれて緩やかになるように変更することを特徴とする請求項６に記載の画像処理装置。
前記ブレ歪み補正手段は、前記第２のブレ歪み補正量に基づいて前記光学系に備えられた光学部材又は撮像素子を移動制御することを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
前記歪曲補正手段には前記歪曲収差補正量と前記第２のブレ歪み補正量とが加算された補正量が前記歪曲収差補正量の代わりに与えられることを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
光学系を備える撮像装置で撮像された画像について、前記光学系に起因する歪曲収差と撮像の際に前記撮像装置に生じたブレによる前記画像のブレ歪みとを補正処理する画像処理装置の制御方法であって、
前記歪曲収差を補正するための補正量を算出して、歪曲収差補正量を得る歪曲収差補正量算出ステップと、
前記ブレ歪みを補正するための補正量を算出して、第１のブレ歪み補正量を得るブレ歪み補正量算出ステップと、
前記第１のブレ歪み補正量を、前記歪曲収差補正量に応じて変更し第２のブレ歪み補正量を得るブレ歪み補正量変更ステップと、
前記歪曲収差補正量に応じて前記画像の歪曲収差を補正する歪曲補正ステップと、
前記第２のブレ歪み補正量に応じて前記画像のブレ歪みを補正するブレ歪み補正ステップと、
を有することを特徴とする制御方法。
光学系を備える撮像装置で撮像された画像について、前記光学系に起因する歪曲収差と撮像の際に前記撮像装置に生じたブレによる前記画像のブレ歪みとを補正処理する画像処理装置の制御方法であって、
前記歪曲収差を補正するための補正量を算出して、歪曲収差補正量を得る歪曲収差補正量算出ステップと、
前記ブレ歪みを補正するための補正量を算出して、第１のブレ歪み補正量を得るブレ歪み補正量算出ステップと、
前記第１のブレ歪み補正量を、所定の適用率で変更して第２のブレ歪み補正量を得るブレ歪み補正量変更ステップと、
前記第２のブレ歪み補正量に応じて、歪曲収差補正に係る補間フィルタの周波数特性を変更する周波数特性変更ステップと、
前記歪曲収差補正量および前記周波数特性変更ステップで変更された周波数特性に応じて前記画像の歪曲収差を補正する歪曲補正ステップと、
前記第２のブレ歪み補正量に応じて前記画像のブレ歪みを補正するブレ歪み補正ステップと、
を有することを特徴とする制御方法。
光学系を備える撮像装置で撮像された画像について、前記光学系に起因する歪曲収差と撮像の際に前記撮像装置に生じたブレによる前記画像のブレ歪みとを補正処理する画像処理装置で用いられる制御プログラムであって、
前記画像処理装置が備えるコンピュータに、
前記歪曲収差を補正するための補正量を算出して、歪曲収差補正量を得る歪曲収差補正量算出ステップと、
前記ブレ歪みを補正するための補正量を算出して、第１のブレ歪み補正量を得るブレ歪み補正量算出ステップと、
前記第１のブレ歪み補正量を、前記歪曲収差補正量に応じて変更し第２のブレ歪み補正量を得るブレ歪み補正量変更ステップと、
前記歪曲収差補正量に応じて前記画像の歪曲収差を補正する歪曲補正ステップと、
前記第２のブレ歪み補正量に応じて前記画像のブレ歪みを補正するブレ歪み補正ステップと、
を実行させることを特徴とする制御プログラム。
光学系を備える撮像装置で撮像された画像について、前記光学系に起因する歪曲収差と撮像の際に前記撮像装置に生じたブレによる前記画像のブレ歪みとを補正処理する画像処理装置で用いられる制御プログラムであって、
前記画像処理装置が備えるコンピュータに、
前記歪曲収差を補正するための補正量を算出して、歪曲収差補正量を得る歪曲収差補正量算出ステップと、
前記ブレ歪みを補正するための補正量を算出して、第１のブレ歪み補正量を得るブレ歪み補正量算出ステップと、
前記第１のブレ歪み補正量を、所定の適用率で変更して第２のブレ歪み補正量を得るブレ歪み補正量変更ステップと、
前記第２のブレ歪み補正量に応じて、歪曲収差補正に係る補間フィルタの周波数特性を変更する周波数特性変更ステップと、
前記歪曲収差補正量および前記周波数特性変更ステップで変更された周波数特性に応じて前記画像の歪曲収差を補正する歪曲補正ステップと、
前記第２のブレ歪み補正量に応じて前記画像のブレ歪みを補正するブレ歪み補正ステップと、
を実行させることを特徴とする制御プログラム。