JP4236642B2 - 撮像装置 - Google Patents

Description

この発明は、手ぶれ補正手段を備えたデジタルカメラ等の撮像装置に関する。

静止画手ぶれ補正技術は、静止画撮影における手ぶれを軽減する技術であり、手ぶれを検出して、その検出結果に基づいて画像を安定化することで実現される。

手ぶれを検出する方法には、手ぶれセンサ（角速度センサ）を用いる方法と、画像を解析して検出する電子式とがある。画像を安定化させる方法には、レンズや撮像素子を安定化させる光学式と、画像処理により手ぶれによるぼけを除去する電子式とがある。

一方、完全電子式の手ぶれ補正技術、すなわち、撮影された一枚の手ぶれ画像だけを解析・処理することで、手ぶれの除去された画像を生成する技術は、実用レベルに達していない。特に、手ぶれセンサで得られる精度の手ぶれ信号を、一枚の手ぶれ画像を解析することによって求めることは困難である。

したがって、手ぶれセンサを用いて手ぶれを検出し、その手ぶれデータを用いて画像処理により手ぶれぼけを除去することが現実的である。画像処理によるぼけの除去を画像復元と呼ぶ。また、手ぶれセンサと画像復元による手法を、ここでは電子式手ぶれ補正と呼ぶことにする。

ところで、手ぶれやピンボケなどの画像の劣化過程が明確であるならば、ウィーナフィルタや一般逆フィルタと呼ばれる画像復元フィルタを用いることで、その劣化を軽減することが可能である。しかし、その副作用として、画像のエッジ部の周辺部にリンギングと呼ばれる波状の劣化が発生したり、ノイズが強調されるといったことが起こる。

このような副作用を軽減する方法として、画像復元フィルタで復元を行う前または後ろに平滑化フィルタ（メディアンフィルタ、ガウシアンフィルタ等）を挿入したり、画像復元後の画像に対してリンギング除去またはアンシャープマスキングを行ったりする方法がある。しかしながら、夜景、人物、風景、動作等の撮像シーンによって、副作用が大きく変化するため、全ての撮影シーンにおいて副作用を効率よく低減させることは困難であった。
特開平８−２６５５７２号公報 特開２００４−８８５６７号公報 特開平１１−２４１２２号公報 特開２００３−２７４２８０号公報

この発明は、撮影シーンにかかわらず、手ぶれ補正による副作用を効率よく低減させることができる撮像装置を提供することを目的とする。

請求項１に記載の発明は、撮影シーンを自動的に検出する撮影シーン検出手段、入力画像に対して手ぶれ補正処理を行う手ぶれ補正手段、ならびに撮影シーン検出手段によって検出された撮影シーンに基づいて、手ぶれ補正手段による手ぶれ補正の強度を制御する制御手段を備えていることを特徴とする。

手ぶれ補正手段は逆フィルタを用いて手ぶれ補正を行うものであり、制御手段は撮影シーン検出手段によって検出された撮影シーンに基づいて、逆フィルタを生成する際に用いられる正則化係数を制御する。

請求項２に記載の発明は、撮影シーンを自動的に検出する撮影シーン検出手段、入力画像に対して手ぶれ補正処理を行う手ぶれ補正手段、手ぶれ補正手段によって得られた復元画像からリンギングを除去するためのリンギング除去手段、ならびに撮影シーン検出手段によって検出された撮影シーンに基づいて、リンギング除去手段によるリンギング除去の強度を制御する制御手段を備えていることを特徴とする。

リンギング除去手段は、手ぶれ補正前の入力画像の画素毎のエッジ強度を算出するエッジ強度算出手段、エッジ強度算出手段によって算出された画素毎のエッジ強度と、エッジ強度に対する加重加算係数との関係とに基づいて、画素毎に加重加算係数を求める係数算出手段、および画像毎に求められた加重加算係数を用いて、入力画像と、手ぶれ補正手段によって得られた復元画像とを画素毎に加重加算する加重平均手段を備えており、エッジ強度と加重加算係数とは、エッジ強度が閾値以下ではエッジ強度が大きくなるほど復元画像の加重比率が高くなり、エッジ強度が閾値以上になると復元画像の加重比率が１００％となるような関係にあり、制御手段は撮影シーン検出手段によって検出された撮影シーンに基づいて、上記閾値を制御する。

請求項３に記載の発明は、撮影シーンを自動的に検出する撮影シーン検出手段、入力画像に対して手ぶれ補正処理を行う手ぶれ補正手段、手ぶれ補正手段によって得られた第１画像からリンギングを除去するためのリンギング除去手段、リンギング除去手段によって得られた第２画像に対してエッジ強調処理を行うためのアンシャープマスキング処理手段、ならびに撮影シーン検出手段によって検出された撮影シーンに基づいて、アンシャープマスキング処理手段によるエッジ強調幅およびエッジ強調の度合いのうちの少なくとも一方を制御する制御手段を備えていることを特徴とする。

請求項４に記載の発明は、請求項３に記載の撮像装置において、アンシャープマスキング処理手段は、ガウシアンフィルタを用いて第２画像の平滑化画像を生成し、第２画像と第２画像の平滑化画像との差分に補正強度パラメータを乗算することによってエッジ強度画像を生成し、第２画像にエッジ強度画像を足し合わせることによりエッジが強調された画像を得るものであり、制御手段は、撮影シーン検出手段によって検出された撮影シーンに基づいて、平滑化画像を生成するために用いられる二次元ガウス関数中の分散を表すパラメータと、エッジ強調画像を生成するために用いられる上記補正強度パラメータとのうちの少なくとも一方を制御するものであることを特徴とする。

請求項５に記載の発明は、撮影シーンを設定するための撮影シーン設定手段、入力画像に対して手ぶれ補正処理を行う手ぶれ補正手段、ならびに撮影シーン設定手段によって設定された撮影シーンに基づいて、手ぶれ補正手段による手ぶれ補正の強度を制御する制御手段を備えていることを特徴とする。

手ぶれ補正手段は逆フィルタを用いて手ぶれ補正を行うものであり、制御手段は撮影シーン設定手段によって設定された撮影シーンに基づいて、逆フィルタを生成する際に用いられる正則化係数を制御する。

請求項６に記載の発明は、撮影シーンを設定するための撮影シーン設定手段、入力画像に対して手ぶれ補正処理を行う手ぶれ補正手段、手ぶれ補正手段によって得られた復元画像からリンギングを除去するためのリンギング除去手段、ならびに撮影シーン設定手段によって設定された撮影シーンに基づいて、リンギング除去手段によるリンギング除去の強度を制御する制御手段を備えていることを特徴とする。

リンギング除去手段は、手ぶれ補正前の入力画像の画素毎のエッジ強度を算出するエッジ強度算出手段、エッジ強度算出手段によって算出された画素毎のエッジ強度と、エッジ強度に対する加重加算係数との関係とに基づいて、画素毎に加重加算係数を求める係数算出手段、および画像毎に求められた加重加算係数を用いて、入力画像と、手ぶれ補正手段によって得られた復元画像とを画素毎に加重加算する加重平均手段を備えており、エッジ強度と加重加算係数とは、エッジ強度が閾値以下ではエッジ強度が大きくなるほど復元画像の加重比率が高くなり、エッジ強度が閾値以上になると復元画像の加重比率が１００％となるような関係にあり、制御手段は撮影シーン設定手段によって設定された撮影シーンに基づいて、上記閾値を制御する。

請求項７に記載の発明は、撮影シーンを設定するための撮影シーン設定手段、入力画像に対して手ぶれ補正処理を行う手ぶれ補正手段、手ぶれ補正手段によって得られた第１画像からリンギングを除去するためのリンギング除去手段、リンギング除去手段によって得られた第２画像に対してエッジ強調処理を行うためのアンシャープマスキング処理手段、ならびに撮影シーン設定手段によって設定された撮影シーンに基づいて、アンシャープマスキング処理手段によるエッジ強調幅およびエッジ強調の度合いのうちの少なくとも一方を制御する制御手段を備えていることを特徴とする。

請求項８に記載の発明は、請求項７に記載の撮像装置において、アンシャープマスキング処理手段は、ガウシアンフィルタを用いて第２画像の平滑化画像を生成し、第２画像と第２画像の平滑化画像との差分に補正強度パラメータを乗算することによってエッジ強度画像を生成し、第２画像にエッジ強度画像を足し合わせることによりエッジが強調された画像を得るものであり、制御手段は、撮影シーン設定手段によって検出された撮影シーンに基づいて、平滑化画像を生成するために用いられる二次元ガウス関数中の分散を表すパラメータと、エッジ強調画像を生成するために用いられる上記補正強度パラメータとのうちの少なくとも一方を制御するものであることを特徴とする。

この発明によれば、撮影シーンにかかわらず、手ぶれ補正による副作用を効率よく低減させることができるようになる。

以下、図面を参照して、この発明をデジタルカメラに適用した場合の実施例について説明する。

以下、第１実施例について説明する。
〔１〕手ぶれ補正処理回路の構成
図１は、デジタルカメラに設けられた手ぶれ補正処理回路の構成を示している。

１ａ、１ｂは、角速度を検出するための角速度センサである。一方の角速度センサ１ａはカメラのパン方向の角速度を、他方の角速度センサ１ｂはカメラのチルト方向の角速度をそれぞれ検出する。２は、角速度センサ１ａ、１ｂによって検出された２軸の角速度に基づいて、画像復元フィルタの係数を算出する画像復元フィルタ計算部である。３は、画像復元フィルタ計算部２によって算出された係数に基づいて、撮像画像（手ぶれ画像）に対して画像復元処理を行う画像復元処理部である。

４は、撮影シーンを自動的に検出する撮影シーン検出部である。５は、撮影シーン検出部４によって検出された撮影シーンに応じて、画像復元フィルタ計算部２で用いられる補正強度パラメータを変更するための補正強度パラメータ制御部である。

なお、特許請求の範囲に記載された”手ぶれ補正手段”は、この実施例では、各速度センサ１ａ、１ｂ、画像復元フィルタ計算部２および画像復元処理部３内のフィルタ処理部３１、３２から構成されている。つまり、画像復元フィルタ（逆フィルタ）によって復元された復元画像（v ＿fukugen)が”手ぶれ補正手段”によって得られた画像となる。

以下、画像復元フィルタ計算部２、画像復元処理部３、撮影シーン検出部４および補正強度パラメータ制御部５について説明する。

〔２〕画像復元フィルタ計算部２の説明
画像復元フィルタ計算部２は、角速度センサ１ａ，１ｂによって検出された角速度データ（手ぶれ信号）を動きベクトルに変換する手ぶれ信号／動きベクトル変換処理部２１、手ぶれ信号／動きベクトル変換処理部２１によって得られた動きベクトルを、画像のボケを表す手ぶれ関数（ＰＳＦ：Point Spread Function)に変換する動きベクトル／手ぶれ関数変換処理部２２および動きベクトル／手ぶれ関数変換処理部２２によって得られた手ぶれ関数を一般逆フィルタ（画像復元フィルタ）に変換する手ぶれ関数／一般逆フィルタ変換処理部２３を備えている。

〔２−１〕手ぶれ信号／動きベクトル変換処理部２１についての説明
手ぶれの元データは、撮影開始から撮影終了までの間の角速度センサ１ａ、１ｂの出力データである。角速度センサ１ａ、１ｂを用いてカメラの露光時期と同期させることで、撮影開始と共に所定のサンプリング間隔ｄｔ[sec] でパン方向およびチルト方向の角速度を計測し、撮影終了までのデータを得る。サンプリング間隔ｄｔ[sec] は、たとえば、１ｍｓｅｃである。

図２に示すように、例えば、カメラのパン方向の角速度θ’[deg/sec] は、角速度センサ１ａによって電圧Ｖ_g [mV]に変換された後、アンプ１０１によって増幅される。アンプ１０１から出力される電圧Ｖ_a [mV] はＡ／Ｄ変換器１０２によってデジタル値Ｄ_L [step]に変換される。デジタル値として得られたデータを角速度に変換するには、センサ感度Ｓ[mV/deg/sec]、アンプ倍率Ｋ[ 倍] 、Ａ／Ｄ変換係数Ｌ[mV/step] を用いて計算する。なお、アンプおよびＡ／Ｄ変換器は、各角速度センサ１ａ、１ｂ毎に設けられている。これらのアンプおよびＡ／Ｄ変換器は、手ぶれ信号／動きベクトル変換処理部２１内に設けられている。

角速度センサ１ａによって得られる電圧値Ｖ_g [mV]は、角速度θ’[deg/sec] の値と比例する。このときの比例定数はセンサ感度であるので、Ｖ_g [mV]は、次式（１）で表される。

Ｖ_g ＝Ｓθ’…（１）

また、アンプ１０１は電圧値を増幅するだけなので、増幅された電圧Ｖ_a [mV] は、次式（２）で表される。

Ｖ_a ＝ＫＶ_g …（２）

アンプ１０１で増幅された電圧値Ｖ_a [mV] はＡ／Ｄ変換され、ｎ[step]（例えば、−５１２〜５１２）のデジタル値Ｄ_L [step]を使って表現される。Ａ／Ｄ変換係数をＬ[mV/step] とすると、デジタル値Ｄ_L [step]は、次式（３）で表される。

Ｄ_L ＝Ｖ_a ／Ｌ…（３）

上記式（１）〜（３）を用いることで、次式（４）に示すように、センサデータから角速度を求めることができる。

θ’＝（Ｌ／ＫＳ）Ｄ_L …（４）

撮影中の角速度データから、撮影された画像上でどれだけのぶれが生じたかを計算することができる。この画像上でのみかけの動きを動きベクトルと呼ぶ。

角速度データの１つのサンプル値から次のサンプル値までにカメラに生じた回転量をθ[deg] とする。この間、角速度一定でカメラが回転すると仮定し、サンプリング周波数をf ＝１／ｄｔ[Hz]とすると、θ[deg] は次式（５）で表される。

θ＝θ’／ｆ＝（Ｌ／ＫＳｆ）Ｄ_L …（５）

図３に示すように、ｒ[mm]を焦点距離（３５[mm]フィルム換算）とすると、カメラの回転量θ[deg] から画面上の移動量ｄ[mm]が次式（６）により求められる。

ｄ＝ｒｔａｎθ…（６）

ここで求められた移動量ｄ[mm]は、３５[mm]フィルム換算時の手ぶれの大きさで、単位は[mm]である。実際に計算処理するときには、画像の大きさをデジタルカメラの画像の大きさの単位[pixel] で考えなければならない。

３５[mm]フィルム換算の画像と、デジタルカメラで撮影した[pixel] 単位の画像は縦横比も異なるので、次のように計算を行う。図４に示すように、３５[mm]フィルム換算時は画像サイズの横×縦が３６[mm]×２４[mm]と決まっている。デジタルカメラで撮影した画像の大きさをＸ[pixel] ×Ｙ[pixel] とし、水平方向（パン方向）のぶれをｘ[pixel] 、垂直方向（チルト方向）のぶれをｙ[pixel] とすると、変換式は次式（７）、（８）となる。

ｘ＝ｄ_x （Ｘ／３６）＝ｒｔａｎθ_x （Ｘ／３６）…（７）
ｙ＝ｄ_y （Ｙ／２４）＝ｒｔａｎθ_y （Ｙ／２４）…（８）

上記式（７）、（８）には、ｄとθに添字のｘとｙが使用されているが、添字ｘは水平方向の値であることを、添字ｙは垂直方向の値であることを示している。

上記式（１）〜（８）をまとめると、水平方向（パン方向）のぶれｘ[pixel] 、垂直方向（チルト方向）のぶれｙ[pixel] は、次式（９）、（１０）で表される。

ｘ＝ｒｔａｎ｛（Ｌ／ＫＳｆ）Ｄ_Lx｝Ｘ／３６…（９）
ｙ＝ｒｔａｎ｛（Ｌ／ＫＳｆ）Ｄ_Ly｝Ｙ／２４…（１０）

この変換式（９）、（１０）を用いることで、デジタル値として得られたカメラの各軸の角速度データから画像のぶれ量（動きベクトル）を求めることができる。

撮影中の動きベクトルは、センサから得られた角速度のデータの数だけ（サンプル点の数だけ）得ることができ、それらの始点と終点を順番に結んでいくと、画像上での手ぶれの軌跡になる。また、各ベクトルの大きさを見ることで、その時点での手ぶれの速度がわかる。

〔２−２〕動きベクトル／手ぶれ関数変換処理部２２について
手ぶれを空間フィルタを使って表すことができる。図５の左側の図で示される手ぶれの軌跡（カメラがぶれたときに画像上である一点が描いた軌跡、画像のぶれ量）に合わせて、オペレータの要素に重みを加え空間フィルタ処理を行うと、フィルタリング過程において画素の濃淡値が手ぶれの軌跡に応じた近傍画素の濃淡値のみを考慮するようになるので、手ぶれ画像を作成することができる。

この軌跡に合わせて重み付けしたオペレータのことをPoint Spread Function(PSF)と呼び、手ぶれの数学モデルとして使用する。ＰＳＦの各要素の重みは、その要素を手ぶれ軌跡が通過する時間に比例した値であって、各要素の重みの総和が１になるように正規化された値でとなる。すなわち、動きベクトルの大きさの逆数に比例した重みとする。手ぶれが画像に与える影響を考えたとき、遅く動いたところの方が画像に大きな影響を与えているからである。

図５の中央の図は、手ぶれの動きが等速であると仮定した場合のＰＳＦを表し、図５の右側の図は、実際の手ぶれの動きの大きさを考慮した場合のＰＳＦを表している。図５の右側の図においては、ＰＳＦの重みの低い（動きベクトルの大きさが大きい）要素を黒く表示し、重みの高い（動きベクトルの大きさが小さい）要素を白く表示している。

上記〔２−１〕で得られた動きベクトル（画像のぶれ量）は手ぶれの軌跡と、軌跡の速度をデータとして持つ。

ＰＳＦを作成するには、まず、手ぶれの軌跡からＰＳＦの重みをかける要素を決定する。そして、手ぶれの速度からＰＳＦの要素にかける重みを決定する。

上記〔２−１〕で得られた一連の動きベクトルをつなぎ合わせることで折れ線近似された手ぶれの軌跡が得られる。この軌跡は小数点以下の精度を持つが、これを整数化することでＰＳＦにおいて重みをかける要素を決定する。そのために、この実施例では、Bresenham の直線描画アルゴリズムを用いてＰＳＦにおいて重みをかける要素を決定する。Bresenham の直線描画アルゴリズムとは、デジタル画面上で任意の2 点を通る直線を引きたい時に最適なドット位置を選択するアルゴリズムである。

Bresenham の直線描画アルゴリズムを図６の例を用いて説明する。図６において矢印のついた直線は動きベクトルを示している。

（ａ）ドット位置の原点（０，０）から出発し、動きベクトルの水平方向の要素を１つ増やす。
（ｂ）動きベクトルの垂直方向の位置を確認し、この垂直方向位置が前のドットの垂直方向位置に比べて１より大きくなった場合にはドット位置の垂直方向を１つ増やす。
（ｃ）再び動きベクトルの水平方向の要素を１つ増やす。

このような処理を動きベクトルの終点まで繰り返すことにより、動きベクトルが通る直線をドット位置で表現することができる。

ＰＳＦの要素にかける重みは、動きベトクル毎にベクトルの大きさ（速度成分）が異なることを利用して決定する。重みは動きベクトルの大きさの逆数をとり、各動きベクトルに対応する要素に重みを代入する。ただし、各要素の重みの総和が１になるように、各要素の重みを正規化する。図７に図６の動きベクトルにより得られるＰＳＦを示す。速度の速いところ（動きベクトルの長いところ）は重みが小さくなり、速度の遅いところ（動きベクトルの短いところ）は重みが大きくなる。

〔２−３〕手ぶれ関数／一般逆フィルタ変換処理部２３について
画像は水平方向にＮ_x 画素、垂直方向にＮ_y 画素の解像度でデジタル化されているものとする。水平方向にｉ番目、垂直方向にｊ番目の位置にある画素の値をｐ（ｉ，ｊ）で表す。空間フィルタによる画像の変換とは、注目画素の近傍画素の畳み込みによって変換をモデル化するものである。畳み込みの係数をｈ（ｌ，ｍ）とする。ここで、簡単のため、−ｎ＜ｌ，ｍ＜ｎとすると、注目画素の変換は次式（１１）によって表現することができる。また、ｈ（ｌ，ｍ）自身を空間フィルタと呼んだり、フィルタ係数と呼んだりする。変換の性質はｈ（ｌ，ｍ）の係数値によって決まる。

デジタルカメラなどの撮像装置で点光源を観察した場合、画像の形成過程に劣化がないと仮定すれば、画像上に観察される像は、ある一点だけが０以外の画素値を持ち、それ以外の画素値は０となる。実際の撮像装置は劣化過程を含むので、点光源を観察しても、その像は一点にならず、広がった像になる。手ぶれが発生した場合、点光源は手ぶれに応じた軌跡を画面上に生成する。

点光源に対する観察画像の画素値に比例した値を係数として持ち、係数値の総和が１になる空間フィルタをPoint Spread Function(PSF 、点広がり関数 )と呼ぶ。この実施例では、ＰＳＦとして動きベクトル／手ぶれ関数変換処理部２２によって得られたＰＳＦを用いる。

ＰＳＦを縦横（２ｎ＋１）×（２ｎ＋１）の空間フィルタｈ（ｌ，ｍ）、−ｎ＜ｌ，ｍ＜ｎでモデル化するとき、各画素について、ボケの無い画像の画素値ｐ（ｉ，ｊ）とボケのある画像の画素値ｐ’（ｉ，ｊ）とは、上記式（１１）の関係になる。ここで、実際に観察できるのは、ボケた画像の画素値ｐ’（ｉ，ｊ）であり、ボケの無い画像の画素値ｐ（ｉ，ｊ）は何らかの方法で計算する必要がある。

上記式（１１）を全ての画素について書き並べると、次式（１２）に示すようになる。

これらの式をまとめて行列表現することが可能であり、次式（１３）となる。ここで、Ｐは元画像をラスター走査順に一元化したものである。

Ｐ’＝Ｈ×Ｐ …（１３）

Ｈの逆行列Ｈ^-1が存在すれば、Ｐ＝Ｈ^-1×Ｐを計算することによって、劣化した画像Ｐ’から劣化の無い画像Ｐを求めることが可能であるが、一般にはＨの逆行列は存在しない。逆行列が存在しない行列に対して、一般逆行列ないしは擬似逆行列と呼ばれるものが存在する。次式（１４）に一般逆行列の例を示す。

Ｈ^* ＝（Ｈ^t ・Ｈ＋γ・Ｉ）^-1・Ｈ^t …（１４）

ここでＨ^* はＨの一般逆行列、Ｈ^t はＨの転置行列、γはスカラー、ＩはＨ^t ・Ｈと同じサイズの単位行列である。Ｈ^* を用いて次式（１５）を計算することで、観察された手ぶれ画像Ｐ’から手ぶれが補正された画像Ｐを得ることができる。γは補正の強さを調整する正則化係数（補正強度パラメータ）である。γが小さければ強い補正処理となり、γが大きければ弱い補正処理となる。第１実施例では、後述するように、撮像シーンに応じて、補正強度パラメータγの値が決定される。

Ｐ’＝Ｈ^* ×Ｐ …（１５）

画像サイズを６４０×４８０とした場合、上記式（１５）のＰは３０７，２００×１の行列、Ｈ^* は３０７，２００×３０７，２００の行列となる。このような非常に大きな行列となるため、上記式（１４）、（１５）を直接用いることは実用的ではない。そこで、次のような方法で計算に用いる行列のサイズを小さくする。

まず、上記式（１５）において、Ｐの元になる画像のサイズを６３×６３など、比較小さなサイズにする。６３×６３の画像であれば、Ｐは３９６９×１の行列、Ｈ^* は３９６９×３９６９の行列となる。Ｈ^* はボケ画像全体を補正された画像全体に変換する行列であり、Ｈ^* の各行とＰの積は各画素の補正を行う演算に相当する。Ｈ^* の真ん中の行とＰの積は、６３×６３画素の元画像の、真ん中の画素に対する補正に該当する。Ｐは元画像をラスター走査順に一元化したものであったから、逆に、Ｈ^* の真ん中の行を逆ラスター走査により２次元化することで、６３×６３のサイズの空間フィルタを構成することができる。このように構成した空間フィルタを一般逆フィルタ（以下、画像復元フィルタという）と呼ぶ。

このようにして作成した実用的なサイズの空間フィルタを、大きな画像全体の各画素に順次適用することで、ボケ画像を補正することが可能となる。なお、以上の手順で求めたボケ画像の復元フィルタにも、γであらわされる復元の強度を調整するパラメータが存在する。

〔３〕画像復元処理部３について
画像復元処理部３は、図１に示すように、フィルタ処理部３１、フィルタ処理部３２、リンギング除去処理部３３およびアンシャープマスキング処理部３４を備えている。フイルタ処理部３１はメディアンフィルタを用いてフィルタ処理を行う。フイルタ処理部３２は、画像復元フィルタ計算部２によって得られた画像復元フィルタを用いてフィルタ処理を行う。

カメラによって撮影された手ぶれ画像は、フィルタ処理部３１に送られ、メディアンフィルタを用いたフィルタ処理が行われ、ノイズが除去される。フィルタ処理部３１によって得られた画像は、フィルタ処理部３２に送られる。フィルタ処理部３２では、手ぶれ関数／一般逆フィルタ変換処理部２３によって生成された画像復元フィルタを用いたフィルタ処理が行われ、手ぶれ画像から手ぶれのない画像が復元される。フィルタ処理部３２によって得られた画像は、リンギング除去処理部３３に送られ、リンギングが除去される。リンギング除去処理部３３によって得られた画像は、アンシャープマスキング処理部３４に送られ、エッジを強調するための処理が行われる。

〔３−１〕リンギング除去処理部３３についての説明
リンギング除去処理部３３は、図８に示すように、エッジ強度算出部６１、加重平均係数算出部６２および加重平均処理部６３を備えている。

カメラによって撮影された手ぶれ画像（v ＿tebre)は、エッジ強度算出部６１に送られ、各画素毎にエッジ強度が算出される。エッジ強度の求め方について説明する。

図９に示すように、注目画素ｖ２２を中心とする３×３の領域を想定する。注目画素ｖ２２に対して、水平エッジ成分dhと垂直エッジ成分dvを算出する。エッジ成分の算出には、例えば、図１０に示すPrewitt のエッジ抽出オペレータを用いる。図１０（ａ）は水平エッジ抽出オペレータを示し、図１０（ｂ）は垂直エッジ抽出オペレータを示している。

水平エッジ成分dhおよび垂直エッジ成分dvは、次式（１６）、（１７）によって求められる。

dh＝v11 ＋v12 ＋v13 −v31 −v32 −v33 …（１６）
dv＝v11 ＋v21 ＋v31 −v13 −v23 −v33 …（１７）

次に、水平エッジ成分dhおよび垂直エッジ成分dvから、注目画素ｖ２２のエッジ強度v ＿edgeを次式（１８）に基づいて算出する。

v ＿edge＝sqrt(dh ×dh＋dv×dv） …（１８）

なお、注目画素ｖ２２のエッジ強度v ＿edgeとして、abs(dh) ＋abs(dv) を用いてもよい。また、このようにして得られたエッジ強度画像に対してさらに３×３のノイズ除去フィルタをかけてもよい。

エッジ強度算出部６１によって算出された各画素のエッジ強度v ＿edgeは、加重平均係数算出部６２に与えられる。加重平均係数算出部６２は、次式（１９）に基づいて、各画素の加重平均係数ｋを算出する。

If v ＿edge＞ th then k＝1
If v ＿edge≦ th then k＝v ＿edge/th …（１９）

th は十分に強いエッジであることを判定するための閾値である。つまり、v ＿edgeと加重平均係数ｋとの関係は、図１１に示すような関係となる。

加重平均係数算出部６２によって算出された各画素の加重平均係数ｋは、加重平均処理部６３に与えられる。フィルタ処理部３２によって得られた復元画像の画素値をv ＿fukugen とし、カメラによって撮像された手ぶれ画像の画素値をv ＿tebre とすると、加重平均処理部６２は、次式（２０）で表される計算を行うことにより、復元画像の画素値v ＿fukugen と手ぶれ画像の画素値v ＿tebre とを加重平均する。

v ＝k ×v ＿fukugen ＋（１−ｋ）×v ＿tebre …（２０）

つまり、エッジ強度v ＿edgeが閾値ｔｈより大きな画素については、その位置に対応する復元画像のリンギングが目立たないので、画像復元処理部３によって得られた復元画像の画素値v ＿fukugen がそのまま出力される。エッジ強度v ＿edgeが閾値ｔｈ以下の画素については、エッジ強度v ＿edgeが小さいほど、復元画像のリンギングが目立つので、復元画像の度合いを弱くし、手ぶれ画像の度合いを強くする。

〔３−２〕アンシャープマスキング処理部３４についての説明

アンシャープマスキングとは、エッジ強調を行う画像処理手法である。リンギング除去処理部３３からアンシャープマスキング処理部３４に送られてくる画像を元画像と呼ぶことにする。アンシャープマスキング処理部３４は、まず、ガウシアンフィルタを用いて元画像を平滑化することによって平滑化画像を生成し、元画像と平滑化画像の差分をとり、その差分に補正強度パラメータを乗算することによってエッジ強度画像を得る。そして、元画像にエッジ強度画像を足し合わせることにより、エッジが強調された画像を得る。

元画像をＩとし、アンシャープマスキング処理によって得られた画像をＩ’とすると、Ｉ’は次式（２１）で表される。

Ｉ’＝Ｉ＋Ｋ（Ｉ−Ｇ（Ｉ）） …（２１）

上記式（２１）において、Ｇ（Ｉ）は元画像の平滑化画像であり、Ｋは補正強度パラメータである。

アンシャープマスキング処理を行う時に必要なパラメータは２種類ある。その１つは上記式（２１）の補正強度パラメータＫであり、エッジ強調の度合いを調整するためのパラメータである。もう１つは、ガウシアンフィルタを用いて平滑化を行う際に用いられるパラメータである。

ガウシアンフィルタを用いて平滑化を行った画像Ｇ（Ｉ）は、元画像Ｉ（ｘ，ｙ）に対して、平均を０、分散をσ² とする次式（２２）で示される二次元ガウス関数を畳み込むことによって求められる。

つまり、Ｇ（Ｉ）は、次式（２３）で表される。

上記式（２３）において、記号＊は畳み込みを表している。分散を表すパラメータσが調整パラメータとなる。

このパラメータσは、エッジの強調幅を示すものである。図１２は、σが小さい場合と、σが大きい場合のエッジ強調効果の差異を示している。図１２では、わかりやすくするために、１次元の信号を用いている。

Ａは、エッジ信号（元の信号）を示している。Ｂはエッジ信号Ａを平滑化した信号を示している。Ｃは、エッジ信号Ａと平滑化信号Ｂとの差分（Ａ−Ｂ） をとることにより得られたエッジ強度信号を示している。Ｄは、エッジ信号Ａにエッジ強度信号Ｃを足し合わせることにより得られた信号を示している。

σを小さくすると、図１２の信号Ｄに現れるエッジ強調幅ａが狭くなる。エッジ強調幅ａが狭い場合、エッジ幅の狭い急峻なエッジに対しては、満足な強調効果が得られる。しかしながら、エッジ幅の広い緩やかなエッジに対しては、元信号のエッジ幅に対して強調する幅が足りないので、得られる画像は強調効果が弱い画像となる。

σを大きくすると、エッジ強調幅ａが広くなる。エッジ強調幅ａが広い場合には、σが小さい場合とは逆に、エッジ幅の広い緩やかなエッジに対しては、満足な強調効果が得られる。しかしながら、エッジ幅の狭い急峻なエッジに対しては、元信号のエッジ幅に対して強調する幅が広いため、得られる画像は不自然な画像となる。

パラメータＫは、図１２の信号Ｃに現れるエッジ強調部の高さｂを調整するパラメータである。Ｋを大きくすると、よりエッジが強調されるようになるが、画像に含まれるノイズも強調される。Ｋを小さくすると、エッジ強調効果が低くなる。

〔４〕撮影シーン検出部４についての説明
撮影シーン検出部４は、撮影シーンを自動的に検出する。撮影シーンを自動的に検出する方法としては、例えば、特開２００３−２７４２８０号公報に開示された手法を用いることができる。

具体的には、表１に示す判定基準に基づいて、撮影シーンを判別する。

判別される撮影シーンの種類としては、”ポートレート”、”遠景”、”夜景”、”スポーツ”がある。判定パラメータとしては、被写体距離、焦点距離、輝度、光源および動体がある。被写体距離は、被写体との距離を表しており、オートフォーカスの制御値に基づいて求められる。焦点距離は、ズーム倍率のことであり、ズーム倍率値に基づいて求められる。輝度は画像の明るさを表しており、画像の輝度値に基づいて明るいか暗いかが判別される。光源は光源の色を表しており、ホワイトバランスの評価値に基づいて判別される。動体は、被写体が動いているか静止しているかを表し、特徴点や色の変化（動き）に基づいて判別される。

以下、各撮影シーンに対して判定基準が表１のように設定された理由について説明する。

（１）ポートレート
人物を撮影する場合、他の撮影シーンと比較して被写体距離は短く（近く）なる。さらに、近くの被写体をやや望遠することによって大きく写すことが多いので、撮影の際に焦点距離の設定がやや大きくなる。また、撮影は明るい所で行われる確率が高いとともに、光源は昼光色または室内光（自然光に近い照明光）である確率が高い。また、被写体は止まっていることが多い。

（２）遠景
遠景を撮影する場合、被写体距離は大きく（遠く）なる。さらに、全体を撮影するために広角側で撮影することが多いので、撮影の際に焦点距離の設定は小さくなる。また、撮影は明るい屋外で行われ、光源は昼光色である確率が高い。また、被写体は止まっていることが多い。

（３）夜景
夜景を撮影する場合、被写体距離は大きく（遠く）なる。さらに、全体を撮影するために広角側で撮影することが多いので、撮影の際に焦点距離の設定は小さくなる。また、撮影は暗い状態で行われ、光源は蛍光灯、ネオン管、ナトリウム管などの器具による照明光が多くなる。

（４）スポーツ
動いている被写体を撮影する場合、被写体距離は大きく（遠く）なることが多い。さらに、高速で移動している被写体を画面内に収めるために、被写体を遠くから撮影することが多くなるので、撮影の際に焦点距離の設定は大きくなる。また、撮影は明るい所で行われ、光源は昼光色または室内光（自然光に近い照明光）である確率が高い。また、被写体は動いている。

〔５〕補正強度パラメータ制御部５についての説明

補正強度パラメータ制御部５は、撮影シーン検出部４によって検出された撮影シーンに応じて、画像復元フィルタ計算部２内の手ぶれ関数／一般逆フィルタ変換処理部２３で用いられる補正強度パラメータ（正則化係数）γの値を制御する。上述したように、γが小さければ強い手ぶれ補正処理となり、γが大きければ弱い手ぶれ補正処理となる。

表２は、撮影シーン検出部４によって検出された撮影シーンと、補正強度パラメータ制御部５によって決定される補正強度パラメータγの値との関係を示している。

補正強度パラメータ制御部５は、撮影シーン検出部４によって検出された撮影シーンが遠景である場合、γを標準値に設定する。

補正強度パラメータ制御部５は、撮影シーン検出部４によって検出された撮影シーンが夜景である場合、手ぶれ補正を弱くするために、γを標準値より大きな値に設定する。これは、撮影シーンが夜景である場合には、光量が少なくノイズが顕著である画像を撮影する確率が高いため、手ぶれ補正を強くすると副作用が大きくなるので、手ぶれ補正を弱くすることが好ましいからである。

補正強度パラメータ制御部５は、撮影シーン検出部４によって検出された撮影シーンがポートレートである場合、手ぶれ補正効果を高くするために、γを標準値より小さな値に設定する。これは、撮影シーンがポートレートである場合には、エッジ成分の少ない被写体を撮影する確率が高いため、手ぶれ補正の強度を高くしても副作用が小さいので、手ぶれ補正効果を高くすることが好ましいからである。

補正強度パラメータ制御部５は、撮影シーン検出部４によって検出された撮影シーンがスポーツである場合、手ぶれと異なる被写体のぶれが発生する確率が高いため、手ぶれ補正を行わない。この場合には、図１において、入力画像（v ＿tebre)をフィルタ処理部３１でフィルタ処理した後、アンシャープマスキング処理部３４でアンシャープマスキング処理を行い、得られた画像を復元画像として出力する。

以下、第２実施例について説明する。

図１３は、デジタルカメラに設けられた手ぶれ補正処理回路の構成を示している。図１３において、図１と同じものには、同じ符号を付してその説明を省略する。

図１３の手ぶれ補正処理回路では、図１の手ぶれ補正処理回路の補正強度パラメータ制御部５の代わりに、リンギング除去処理部３３内の加重平均係数算出部６２で用いられる閾値ｔｈ（図１１参照）を制御するための閾値制御部５Ａが用いられている。

閾値制御部５Ａは、撮影シーン検出部４によって検出された撮影シーンに応じて、リンギング除去処理部３３内の加重平均係数算出部６２で用いられる閾値ｔｈを制御する。

図１１に示すｋは、復元画像の画素値v ＿fukugen と手ぶれ画像の画素値v ＿tebre との混合比（加重平均係数）を示している。ｋが大きいほど、復元画像の画素値v ＿fukugen の割合が多くなる。ｋは、エッジ強度v ＿edgeが閾値ｔｈ以下である場合には、エッジ強度v ＿edgeに比例して大きくなる。エッジ強度v ＿edgeが閾値ｔｈ以上である場合には、ｋは１となる。

エッジ強度v ＿edgeが閾値ｔｈより大きな画素については、その位置に対応する復元画像のリンギングが目立たないので、画像復元処理部３によって得られた復元画像の画素値v ＿fukugen がそのまま出力される。エッジ強度v ＿edgeが閾値ｔｈ以下の画素については、エッジ強度v ＿edgeが小さいほど、復元画像のリンギングが目立つので、復元画像の度合いを弱くし、手ぶれ画像の度合いを強くする。

閾値ｔｈを大きくすると、手ぶれ画像v ＿tebre の割合が多くなるので、手ぶれ補正効果は低くなるが、リンギング除去効果は高くなる。また、手ぶれ補正によって増幅されるノイズは低くなる。なお、手ぶれが大きい場合には、リンギングが発生しやすくなるので、リンギング除去効果を高めるために、閾値ｔｈを大きくすることが好ましい。

逆に、閾値ｔｈを小さくすると、復元画像v ＿fukugen の割合が多くなるので、手ぶれ補正効果は高くなるが、リンギング除去効果は低くなる。また、手ぶれ補正によって増幅されるノイズは高くなる。

表３は、撮影シーン検出部４によって検出された撮影シーンと、閾値制御部５Ａによって決定される閾値ｔｈの値との関係を示している。

閾値制御部５Ａは、撮影シーン検出部４によって検出された撮影シーンが夜景である場合、閾値ｔｈを標準値より大きな値に設定する。撮影シーンが夜景である場合には、光量が少なくノイズが顕著である画像を撮影する確率が高い。また、光量が少ないため露光時間が長くなるため、手ぶれが大きくなる確率が高い。つまり、手ぶれ補正効果を高めると、リンギングやノイズが発生しやすくなる。そこで、リンギング除去効果とノイズ除去効果を高くするために、閾値ｔｈを標準値より大きな値に設定する。

閾値制御部５Ａは、撮影シーン検出部４によって検出された撮影シーンが遠景である場合、閾値ｔｈを標準値より小さな値に設定する。撮影シーンが遠景である場合には、大きな手ぶれが発生する確率は低いため、リンギングが発生しにくい。また、明るい所で撮影が行われるので、ノイズも少ないと考えられる。つまり、手ぶれ補正効果を高めても、リンギングやノイズが発生しにくいので、閾値ｔｈを標準値より小さな値に設定する。

閾値制御部５Ａは、撮影シーン検出部４によって検出された撮影シーンがポートレートである場合、閾値ｔｈを標準値に設定する。撮影シーンがポートレートである場合には、遠景モードに比べて焦点距離がやや大きくなる（表１参照）。このため、遠景モードに比べて手ぶれが起こりやすくなる。ただし、夜景に比べて手ぶれは発生しにくい。そこで、閾値ｔｈを遠景の場合とより大きくかつ夜景の場合より小さな標準値に設定する。

閾値制御部５Ａは、撮影シーン検出部４によって検出された撮影シーンがスポーツである場合、手ぶれと異なる被写体のぶれが発生する確率が高いため、手ぶれ補正を行わない。このため、リンギング除去処理も行わない。

以下、第３実施例について説明する。

図１４は、デジタルカメラに設けられた手ぶれ補正処理回路の構成を示している。図１４において、図１と同じものには、同じ符号を付してその説明を省略する。

図１４の手ぶれ補正処理回路では、図１の手ぶれ補正処理回路の補正強度パラメータ制御部５の代わりに、アンシャープマスキング処理部３４で用いられるパラメータσ、Ｋを制御するためのパラメータ制御部５Ｂが用いられている。

パラメータ制御部５Ｂは、撮影シーン検出部４によって検出された撮影シーンに応じて、アンシャープマスキング処理部３４で用いられるパラメータσ、Ｋを制御する。

上述したように、エッジ幅の狭い急峻なエッジに対してはσを小さくすることが好ましく、エッジ幅の広い緩やかなエッジに対してはσを大きくすることが好ましい。また、Ｋを大きくすると、よりエッジが強調されるようになるが、画像に含まれるノイズが強調され、Ｋを小さくすると、エッジ強調効果が低くなる。

表４は、撮影シーン検出部４によって検出された撮影シーンと、パラメータ制御部５Ｂによって決定されるパラメータσ、Ｋの値との関係を示している。

パラメータ制御部５Ｂは、撮影シーン検出部４によって検出された撮影シーンがポートレートである場合、σを標準値より大きな値に設定するとともにＫを標準値より大きな値に設定する。撮影シーンがポートレートである場合には、人物を主に撮影するため、エッジの緩やかな画像を撮影する確率が高いので、σを標準値より大きな値に設定する。また、明るい所での撮影が行われるため、ノイズが発生しにくいので、Ｋを標準値より大きな値に設定する。

パラメータ制御部５Ｂは、撮影シーン検出部４によって検出された撮影シーンが遠景である場合、σを標準値より小さな値に設定するとともにＫを標準値より大きな値に設定する。撮影シーンが遠景である場合には、ポートレートに比べて、建物や乗物など比較的エッジが急峻な画像を撮影する確率が高いので、σを標準値より小さな値に設定する。また、明るい所での撮影が行われるため、ノイズが発生しにくいので、Ｋを標準値より大きな値に設定する。

パラメータ制御部５Ｂは、撮影シーン検出部４によって検出された撮影シーンが夜景である場合、σを標準値より小さな値に設定するとともにＫを標準値より小さな値に設定する。撮影シーンが夜景である場合には、ポートレートに比べて、建物や乗物など比較的エッジが急峻な画像を撮影する確率が高いので、σを標準値より小さな値に設定する。また、暗い所での撮影が行われるため、ノイズが発生しやすいので、Ｋを標準値より小さな値に設定する。

パラメータ制御部５Ｂは、撮影シーン検出部４によって検出された撮影シーンがスポーツである場合、σを標準値に設定するとともにＫを標準値より小さな値に設定する。撮影シーンがスポーツである場合には、被写体がぶれて、エッジの急峻なところと、緩やかなところとの両方ができるので、σを標準値に設定する。また、通常、動作している被写体を撮影するため、撮影時にシャッター速度が速い値に設定され、光量が少なくなり、撮影時にノイズが発生しやすくなるので、Ｋを標準値より小さな値に設定する。

なお、σとＫのうちのいずれか一方のみを制御するようにしてもよい。

上記第１〜第３実施例においては、撮影シーンは、撮影シーン検出手段４によって自動的に検出されているが、撮影シーンをユーザに設定させるための設定手段をカメラに設けるようにしてもよい。この場合には、設定手段によって設定された撮影シーンに基づいて、補正強度パラメータγ、閾値ｔｈ、パラメータσ、Ｋが制御される。

第１実施例である手ぶれ補正処理回路の構成を示すブロック図である。 角速度センサ１ａの出力を増幅するアンプおよびアンプ出力をデジタル値に変換するＡ／変換器を示すブロック図である。 カメラの回転量θ[deg] と画面上の移動量ｄ[mm]との関係を示す模式図である。 ３５[mm]フィルム換算の画像サイズと、デジタルカメラの画像サイズとを示す模式図である。 手ぶれを表現する空間フィルタ（ＰＳＦ）を示す模式図である。 Bresenham の直線描画アルゴリズムを説明するための模式図である。 図６の動きベクトルにより得られるＰＳＦを示す模式図である。 図１のリンギング除去処理部３３の構成を示すブロック図である。 注目画素ｖ２２を中心とする３×３の領域を示す模式図である。 Prewitt のエッジ抽出オペレータを示す模式図である。 エッジ強度v ＿edgeと加重平均係数ｋとの関係を示すグラフである。 図１２は、σが小さい場合と、σが大きい場合の効果の差異を示すための波形図である。 第２実施例である手ぶれ補正処理回路の構成を示すブロック図である。 第３実施例である手ぶれ補正処理回路の構成を示すブロック図である。

符号の説明

１ａ、１ｂ 角速度センサ
２ 画像復元フィルタ計算部
３ 画像復元処理部
４ 撮影シーン検出部
５ 補正強度パラメータ制御部
５Ａ 閾値制御部
５Ｂ パラメータ制御部
２１ 手ぶれ信号／動きベクトル変換処理部
２２ 動きベクトル／手ぶれ関数変換処理部
２３ 手ぶれ関数／一般逆フィルタ変換処理部
３１ フィルタ処理部
３２ フィルタ処理部
３３ リンギング除去処理部
３４ アンシャープマスキング処理部
６１ エッジ強度算出部
６２ 加重平均係数算出部
６３ 加重平均処理部

Claims (8)

1. 撮影シーンを自動的に検出する撮影シーン検出手段、
   入力画像に対して手ぶれ補正処理を行う手ぶれ補正手段、ならびに
   撮影シーン検出手段によって検出された撮影シーンに基づいて、手ぶれ補正手段による手ぶれ補正の強度を制御する制御手段、
   を備え、
   手ぶれ補正手段は逆フィルタを用いて手ぶれ補正を行うものであり、制御手段は撮影シーン検出手段によって検出された撮影シーンに基づいて、逆フィルタを生成する際に用いられる正則化係数を制御するものであることを特徴とする撮像装置。
2. 撮影シーンを自動的に検出する撮影シーン検出手段、
   入力画像に対して手ぶれ補正処理を行う手ぶれ補正手段、
   手ぶれ補正手段によって得られた復元画像からリンギングを除去するためのリンギング除去手段、ならびに
   撮影シーン検出手段によって検出された撮影シーンに基づいて、リンギング除去手段によるリンギング除去の強度を制御する制御手段、
   を備え、
   リンギング除去手段は、手ぶれ補正前の入力画像の画素毎のエッジ強度を算出するエッジ強度算出手段、エッジ強度算出手段によって算出された画素毎のエッジ強度と、エッジ強度に対する加重加算係数との関係とに基づいて、画素毎に加重加算係数を求める係数算出手段、および画像毎に求められた加重加算係数を用いて、入力画像と、手ぶれ補正手段によって得られた復元画像とを画素毎に加重加算する加重平均手段を備えており、
   エッジ強度と加重加算係数とは、エッジ強度が閾値以下ではエッジ強度が大きくなるほど復元画像の加重比率が高くなり、エッジ強度が閾値以上になると復元画像の加重比率が１００％となるような関係にあり、
   制御手段は撮影シーン検出手段によって検出された撮影シーンに基づいて、上記閾値を制御するものであることを特徴とする撮像装置。
3. 撮影シーンを自動的に検出する撮影シーン検出手段、
   入力画像に対して手ぶれ補正処理を行う手ぶれ補正手段、
   手ぶれ補正手段によって得られた第１画像からリンギングを除去するためのリンギング除去手段、
   リンギング除去手段によって得られた第２画像に対してエッジ強調処理を行うためのアンシャープマスキング処理手段、ならびに
   撮影シーン検出手段によって検出された撮影シーンに基づいて、アンシャープマスキング処理手段によるエッジ強調幅およびエッジ強調の度合いのうちの少なくとも一方を制御する制御手段、
   を備えていることを特徴とする撮像装置。
4. アンシャープマスキング処理手段は、ガウシアンフィルタを用いて第２画像の平滑化画像を生成し、第２画像と第２画像の平滑化画像との差分に補正強度パラメータを乗算することによってエッジ強度画像を生成し、第２画像にエッジ強度画像を足し合わせることによりエッジが強調された画像を得るものであり、
   制御手段は、撮影シーン検出手段によって検出された撮影シーンに基づいて、平滑化画像を生成するために用いられる二次元ガウス関数中の分散を表すパラメータと、エッジ強調画像を生成するために用いられる上記補正強度パラメータとのうちの少なくとも一方を制御するものであることを特徴とする請求項３に記載の撮像装置。
5. 撮影シーンを設定するための撮影シーン設定手段、
   入力画像に対して手ぶれ補正処理を行う手ぶれ補正手段、ならびに
   撮影シーン設定手段によって設定された撮影シーンに基づいて、手ぶれ補正手段による手ぶれ補正の強度を制御する制御手段、
   を備え、
   手ぶれ補正手段は逆フィルタを用いて手ぶれ補正を行うものであり、制御手段は撮影シーン設定手段によって設定された撮影シーンに基づいて、逆フィルタを生成する際に用いられる正則化係数を制御するものであることを特徴とする撮像装置。
6. 撮影シーンを設定するための撮影シーン設定手段、
   入力画像に対して手ぶれ補正処理を行う手ぶれ補正手段、
   手ぶれ補正手段によって得られた復元画像からリンギングを除去するためのリンギング除去手段、ならびに
   撮影シーン設定手段によって設定された撮影シーンに基づいて、リンギング除去手段によるリンギング除去の強度を制御する制御手段、
   を備え、
   リンギング除去手段は、手ぶれ補正前の入力画像の画素毎のエッジ強度を算出するエッジ強度算出手段、エッジ強度算出手段によって算出された画素毎のエッジ強度と、エッジ強度に対する加重加算係数との関係とに基づいて、画素毎に加重加算係数を求める係数算出手段、および画像毎に求められた加重加算係数を用いて、入力画像と、手ぶれ補正手段によって得られた復元画像とを画素毎に加重加算する加重平均手段を備えており、
   エッジ強度と加重加算係数とは、エッジ強度が閾値以下ではエッジ強度が大きくなるほど復元画像の加重比率が高くなり、エッジ強度が閾値以上になると復元画像の加重比率が１００％となるような関係にあり、
   制御手段は撮影シーン設定手段によって設定された撮影シーンに基づいて、上記閾値を制御するものであることを特徴とする撮像装置。
7. 撮影シーンを設定するための撮影シーン設定手段、
   入力画像に対して手ぶれ補正処理を行う手ぶれ補正手段、
   手ぶれ補正手段によって得られた第１画像からリンギングを除去するためのリンギング除去手段、
   リンギング除去手段によって得られた第２画像に対してエッジ強調処理を行うためのアンシャープマスキング処理手段、ならびに
   撮影シーン設定手段によって設定された撮影シーンに基づいて、アンシャープマスキング処理手段によるエッジ強調幅およびエッジ強調の度合いのうちの少なくとも一方を制御する制御手段、
   を備えていることを特徴とする撮像装置。
8. アンシャープマスキング処理手段は、ガウシアンフィルタを用いて第２画像の平滑化画像を生成し、第２画像と第２画像の平滑化画像との差分に補正強度パラメータを乗算することによってエッジ強度画像を生成し、第２画像にエッジ強度画像を足し合わせることによりエッジが強調された画像を得るものであり、
   制御手段は、撮影シーン設定手段によって検出された撮影シーンに基づいて、平滑化画像を生成するために用いられる二次元ガウス関数中の分散を表すパラメータと、エッジ強調画像を生成するために用いられる上記補正強度パラメータとのうちの少なくとも一方を制御するものであることを特徴とする請求項７に記載の撮像装置。

Images