JP6752685B2 - 撮像装置、撮像方法およびプログラム - Google Patents

Description

本発明は、撮像装置に関するものであり、特にピント位置を変えながら撮像した複数の画像を合成できる撮像装置に関するものである。

カメラからの距離が異なる複数の被写体を撮像する場合、あるいは、奥行き方向に長い被写体を撮像する場合に、撮像光学系における被写界深度が足りないために、被写体の一部にしか合焦できない場合がある。

そこで、ピント位置を変化させて複数の画像を撮像し、各画像から合焦している領域のみを抽出して１枚の画像を合成して撮像領域全体に合焦している合成画像を生成する技術（以下、深度合成という）が知られている（特許文献１を参照）。この深度合成の技術を用いることで、意図する被写体の全体に対してピントを合わせた画像を得ることができる。

特開２００２−８４４４４号公報

しかしながら、深度合成の技術を用いて撮像する場合、手振れなどが発生すると、以下の課題が生じることがある。

図８は、深度合成における手振れを説明するための図である。図８（ａ）は理想的な深度合成を用いる撮像を説明するための図である。図８（ａ）は、ユーザがデジタルカメラを撮像位置８０１に置き、所定の距離８０２ずつピント位置を移動させながら複数回撮像を行う様子を示している。

図８（ｂ）は図８（ａ）での撮像において、３枚目の画像を撮像するとき、手振れが発生してしまった場合を示す。撮像位置８０１が光軸方向で後方にずれたことで、３枚目の画像を撮像するときのピント位置が、本来の位置よりも、２枚目の画像を撮像したときのピント位置に対して近くなってしまう。さらに、図８（ｃ）のように、４枚目の画像を撮像するとき、図８（ｂ）の手振れの方向と反対する方向へ手振れが発生してしまった場合を示す。この場合４枚目の画像を撮像するときのピント位置は、本来の位置よりも、３枚目の画像を撮像したときのピント位置に対して遠くなってしまう。図８（ｃ）で撮像された複数の画像を用いて合成処理を行うと、領域８０３において合焦している画像が存在せず、この領域８０３に含まれる被写体が存在する場合には、合成画像にはぼけた部分が残ってしまう。

また、所定の距離８０２を短くしてピント位置を増やすことにより、多少の手振れが生じた場合であっても、連続して撮像された画像のピント位置が被写界深度内に収まる確率を高めようとする方法も考えられる。しかしながら、常にこのような撮像をしてしまうと、不必要な撮像が増えてしまい、電力や画像を記録するためのメモリ領域の消費量が無駄に増えてしまうことになる。

本発明は、以上の課題を鑑みてなされたもので、ピント位置を変化させて撮像した複数の画像を用いて合成するとき、領域８０３のように、合焦している画像が存在しない領域を防ぐことができる撮像装置を提供することが目的とする。

本発明は、光学系のピント位置を変えながら複数の画像を撮像する撮像手段と、前記複数の画像を撮像するときの複数のピント位置を設定する設定手段と、前記撮像手段の振れを検知する振れ検知手段と、前記複数の画像の少なくとも一部の画像を用いて合成を行う合成手段と、を有し、前記設定手段は、前記振れ検知手段が検知した振れ量に基づいて、前記複数のピント位置の間隔を変更し、前記複数のピント位置の少なくとも一部を等間隔に設定することを特徴とする撮像装置を提供する。

同様に、本発明は、本撮像の際に光学系のピント位置を変えながら複数の画像を撮像する撮像手段と、前記複数の画像を撮像するときの複数のピント位置を設定する設定手段と、前記撮像手段の振れを検知する振れ検知手段と、前記複数の画像の少なくとも一部の画像に対して合成を行う合成手段と、を有し、前記撮像手段は、前記本撮像の前にプレ撮像を行い、前記設定手段は、前記プレ撮像において前記振れ検知手段が検知した振れ量に基づいて、前記複数のピント位置を設定し、前記複数のピント位置の少なくとも一部を等間隔に設定することを特徴とする撮像装置を提供する。

本発明によれば、ピント位置を変化させて撮像した複数の画像を用いて合成するとき、手振れなどによるぼけを低減させる合成画像を生成できる。

本発明の実施形態に係るデジタルカメラの構造を示すブロック図である。 本発明の実施形態における被写体像が結像面に結像する様子を示す図である。 本発明の実施形態における深度合成の撮像を説明するための図である。 本発明の実施形態における撮像部に設けるセンサを説明するための図である。 本発明の実施形態を説明するためのフローチャートである。 本発明の実施形態におけるピント位置の再設定を説明するためのフローチャートである。 本発明の実施形態におけるピント位置の再設定の一例を説明するための図である。 深度合成における手振れを説明するための図である。

以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

（第１の実施形態）
図１は本実施形態に係るデジタルカメラの構造を示すブロック図である。デジタルカメラ１００は、静止画を撮像することができ、かつ、撮像時のピント位置の情報を記録し、コントラスト値の算出および画像の合成が可能なものである。さらに、デジタルカメラ１００は、撮像して保存した画像、または、外部から入力した画像に対して、拡大処理または縮小処理を行うことができる。

制御部１０１は、例えばＣＰＵやＭＰＵなどのシグナルプロセッサであり、予め後述するＲＯＭ１０５に内蔵されたプログラムを読み出しながら、デジタルカメラ１００の各部分を制御する。たとえば、後述するように、制御部１０１が、後述する撮像部１０４に対して撮像の開始と終了について指令を出す。または、後述する画像処理部１０７に対して、ＲＯＭ１０５に内蔵されたプログラムに基づいて、画像処理の指令を出す。ユーザによる指令は、後述する操作部１１０によってデジタルカメラ１００に入力され、制御部１０１を通して、デジタルカメラ１００の各部分に達する。

駆動部１０２は、モーターなどによって構成され、制御部１０１の指令の下で、後述する光学系１０３を機械的に動作させる。たとえば、制御部１０１の指令に基づいて、駆動部１０２が光学系１０３に含まれるフォーカスレンズの位置を移動させ、光学系１０３の焦点距離を調整する。

光学系１０３は、ズームレンズ、フォーカスレンズ、および絞りなどにより構成される。絞りは、透過する光量を調整する機構である。レンズの位置を変えることによって、ピント位置を変えることができる。

撮像部１０４は、光電変換素子であり、入射された光信号を電気信号に変換する光電変換を行うものである。たとえば、撮像部１０４に、ＣＣＤセンサやＣＭＯＳセンサなどを適用することができる。撮像部１０４は、動画撮像モードを設け、時間的に連続する複数の画像を動画の各々のフレームとして、撮像することができる。撮像部１０４に設けるセンサの詳細な構造および信号の読み出し方法は後述する。

ＲＯＭ１０５は、記録媒体としての読み出し専用の不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶している。ＲＡＭ１０６は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。

画像処理部１０７は、撮像部１０４から出力された画像、あるいは後述する内蔵メモリ１０９に記録されている画像信号のデータに対して、ホワイトバランス調整、色補間、フィルタリングなど、様々な画像処理を行う。また、撮像部１０４が撮像した画像信号のデータに対して、ＪＰＥＧなどの規格で、圧縮処理を行う。

画像処理部１０７は、特定の処理を行う回路を集めた集積回路（ＡＳＩＣ）で構成される。あるいは、制御部１０１がＲＯＭ１０５から読み出したプログラムに従って処理することで、制御部１０１が画像処理部１０７の機能の一部または全部を兼用するようにしてもよい。制御部１０１が画像処理部１０７の全ての機能を兼用する場合には、画像処理部１０７をハードウェアとして有する必要はなくなる。

表示部１０８は、ＲＡＭ１０６に一時保存されている画像、または、後述する内蔵メモリ１０９に保存されている画像、あるいは、デジタルカメラ１００の設定画面などを表示するための液晶ディスプレイや有機ＥＬディスプレイなどである。

内蔵メモリ１０９は、撮像部１０４が撮像した画像や画像処理部１０７の処理を得た画像、および、画像撮像時のピント位置の情報などを記録する場所である。内蔵メモリの代わりに、メモリカードなどを用いてもよい。また、内蔵メモリは、容量が限られ、容量以上の画像や動画などを保存することができない。

操作部１１０は、たとえば、デジタルカメラ１００につけるボタンやスイッチ、キー、モードダイアルなど、あるいは、表示部１０８に兼用されるタッチパネルなどである。ユーザによる指令は、操作部１１０を経由して、制御部１０１に達する。

装置動き検出部１１１はジャイロセンサによって構成され、デジタルカメラ１００の動きを検出するデバイスであり、デジタルカメラ１００の単位時間当たりの角度変化、すなわち角速度に基づいてヨー方向とピッチ方向の動きを検出する。

固定装着部１１２は、三脚など固定装置に装着するために設けられるものである。固定装着部１１２は、固定検知の機能も兼ね備え、デジタルカメラ１００が三脚などに装着されると、制御部１０１にデジタルカメラが固定されるという情報を発する。

＜深度合成の概要＞
図２は、被写体像が結像面に結像する様子を示す図である。

図２（ａ）は、被写体２０１が光学レンズ２０２によって面２０３ａ上に像２０４として結像している様子を示している。すなわち、面２０３ａと撮像部１０４の撮像センサ面とが互いに一致すれば、被写体２０１は面２０３ａにて「点」として結像し、合焦画像として記録される。

図２（ｂ）は、像の結像面と撮像センサ面とが一致しない場合を示している。撮像センサ面２０３ｂが図２Ａに示される面２０３ａとは異なる位置にある場合、光学レンズ２０２により結像される被写体２０１は、錯乱円２０５として撮像センサ面２０３ｂ上に写る。このとき、錯乱円２０５が撮像センサの許容錯乱円よりも小さい場合、錯乱円２０５は合焦した場合の「点」と同等とみなすことができ、合焦画像と同等の画像が得られる。一方、錯乱円２０５が許容錯乱円よりも大きい場合、撮像センサ面２０３ｂではぼけた画像が得られる。

図２（ｃ）は、上記の様子を側面から示した図である。ここで、焦点２１０にて被写体が結像し、面２１１ａの位置に撮像センサ面が存在する場合、錯乱円径２１２ａが得られる。このときの錯乱円径２１２ａは、撮像センサの許容錯乱円径２１３よりも小さい。このため、撮像センサにて記録される画像２１７は、ボケの無い合焦画像となる。一方、撮像センサ面が面２１４ａの位置に存在する場合、このときの錯乱円径２１５ａは、許容錯乱円径２１３よりも大きい。このため、撮像センサ面２１４ａ上の画像２１８ａは、ぼけた画像となる。錯乱円径２１２ａが許容錯乱円径２１３よりも小さくなる斜線で示される領域は焦点深度２１６ａであり、これを被写体側に換算して置き換えたものが被写界深度となる。

図２（ｄ）は、図２（ｃ）と比べて、絞りを絞った状態を示す図である。絞りを絞った状態では、入射光の径が奥行きの違いとなるため、面２１１ｂに対しての錯乱円径２１２ｂ、面２１４ｂに対しての錯乱円径２１５ｂのようにそれぞれ変化する。このとき、図２（ｃ）の錯乱円径２１５ａと比較して、図２（ｄ）の錯乱円径２１５ｂは小さい。このため、そのときに得られる画像２１８ｂは、画像２１８ａよりもボケ量の少ない画像となる。また、そのときの焦点深度２１６ｂは、焦点深度２１６ａよりも深い。

図３は、本実施形態における深度合成の撮像を説明するための図である。ここでは、合焦させる被写体として、被写体３１〜３３を想定している。それぞれの被写体３１〜３３は、互いに異なる距離（被写体距離）に存在するものとし、撮像装置１００に近い側から（近距離側から遠距離側に向かう方向に）被写体３１、３２、３３の順に位置している。複数の被写体３１〜３３のすべてに対して合焦した深度合成画像を得るには、フォーカスブラケット撮像を行う焦点範囲３００（ブラケット範囲）を、複数の焦点深度でカバーする必要がある。３１１〜３１６は、それぞれの撮像における焦点深度を示し、焦点範囲３００をカバーするように並んでいる。すなわち、焦点深度３１１〜３１６となるピント位置で撮像（６回の撮像）を行うことにより、焦点範囲３００の範囲内の被写体３１〜３３は、いずれかの画像において合焦した状態となる。また、このようにして撮像された複数の画像から、それぞれの撮像における焦点深度内の領域を画像合成することにより、焦点範囲３００の全域（ブラケット全域）で合焦した画像を得ることができる。

＜撮像部１０４の構造＞
図４は、撮像部１０４に設けるセンサを説明するための図である。図４（ａ）に示した素子では、１つの画素４１０が、２つの光電変換部４１１と４１２とを有する。図４（ｂ）に示した素子では、１つの画素４２０が、４つの光電変換部４２１乃至４２４を有する。図４に示した素子の１つの画素にある光電変換部のそれぞれから独立に信号を読み出すと、被写体の距離情報を算出することができる。こうした独立に読み出したそれぞれの光電変換部の信号を、瞳分割信号という。瞳分割信号を、画像信号とともに記録すると、制御部１０１は、後述する画像処理部１０７での解析で、画像の各々の領域の光軸方向の相対位置を算出することができる。

図４（ｃ）は、図４（ａ）に示した素子において、光信号の画素への入射を示す。図４（ｃ）では、画素アレイ４３１には、マイクロレンズ４３２と、カラーフィルタ４３３と、光電変換部４３４と４３５とがある。光電変換部４３４と４３５とは、同じ画素に属し、マイクロレンズ４３２とカラーフィルタ４３３に対応する。この図４（ｃ）はデジタルカメラを上から見た図であって、１つの画素に対応する２つの光電変換部４３４と４３５が左右に並んで配置されていることを示している。射出瞳４３６から出る光束のうち、光軸４３９を境にして、上側の光束（領域４３７からの光束に相当）は光電変換部４３５に入射し、下側の光束（領域４３８からの光束に相当）は光電変換部４３４に入射する。つまり、光電変換部４３４と４３５とはそれぞれ撮像レンズの射出瞳の異なる領域の光を受光している。ここで光電変換部４３４が受光した信号をＡ像、光電変換部４３５で受光した信号をＢ像とすると、Ａ像とＢ像は前述する１対の瞳分割信号に該当する。Ａ像とＢ像の位相差に基づいて焦点ズレ量を算出でき、距離情報を取得することができる。

図５は、本実施形態を説明するためのフォローチャートである。

ステップＳ５０１で、制御部１０１は、プレ撮像開始の指令を発すると、ステップＳ５０２に進む。一例としては、ユーザが操作部１１０に設けられたボタンを半押しすると、操作部１１０から制御部１０１に信号が送られ、制御部１０１は、プレ撮像開始の指令を発する。一方、操作部１１０に設けられたボタンが押されていなければ、制御部１０１はステップＳ５０１のループを繰り返す。

ステップＳ５０２で、制御部１０１は、ピント位置の設定を行う。一例としては、撮像部１０４が被写体の距離情報を算出し、制御部１０１は、算出した距離情報に基づいて、各々のピント位置を設定する。たとえば、制御部１０１は、図３に示したように、等間隔に各々のピント位置を設定する。または、複数の被写体が存在する場合、撮像部１０４が算出した被写体の距離情報に基づいて、制御部１０１は、被写体が存在する区間では、ピント位置の間隔を小さく設定し、被写体が存在しない区間では、ピント位置の間隔を大きく設定する。

ステップＳ５０３で、撮像部１０４はプレ撮像を行い、同時に、装置動き検出部１１１は、手振れの検出を行う。

ステップＳ５０４で、制御部１０１は、本撮像を開始させるかどうかを判断する。一例としては、ユーザが操作部１１０に設けられたボタンを全押ししたかを判定し、全押ししたと判定した場合には、操作部１１０から制御部１０１に信号を送り、制御部１０１は、本撮像開始の指令を発する。一方、操作部１１０に設けられるボタンが全押しされていなければ、フローはステップＳ５０３に戻る。

ステップＳ５０４で制御部１０１が本撮像を開始すると判断すると、制御部１０１はステップＳ５０５に進み、ステップＳ５０３で装置動き検出部１１１が検出した手振れ情報に基づいて、本撮像中の手振れ量を予測する。以下では、プレ撮像において、原点からデジタルカメラ１００の変位をｆ（ｔ）とする。ただし、ｔは時刻を表し、プレ撮像開始時において、ｔ＝０とする。簡単のために、デジタルカメラの変位ｆ（ｔ）を一次元的なものとする。

本撮像時の手振れをｓとし、ｓは下記の（式１）のように書くことができる。

上記の（式１）でのｓｍｉｎとｓｍａｘは、それぞれ本撮像時の至近側と無限遠側の手振れの最大量を表す。ステップＳ５０５で、制御部１０１は、上記のｓｍｉｎとｓｍａｘを予測する。

一例としては、プレ撮像中の至近側と無限遠側の手振れの最大量を、ｓｍｉｎとｓｍａｘとすることができる。その場合、プレ撮像開始から終了までの時間Ｔに対して、下記の（式２）が成り立つ。

また、別の例としては、プレ撮像中デジタルカメラ１００が至近側と無限遠側とに手振れするときをそれぞれの平均値を、ｓｍｉｎとｓｍａｘとすることができる。その場合下記の（式３）が成り立つ。

また、下記の（式４）のようにｓｍｉｎとｓｍａｘに同じ絶対値を持つ値を与えてもよい。

また、（式４）を、下記の（式５）のように変形することもできる。

ただし、（式４）でのαは、１より大きな値をとる。係数αをつけることにより、制御部１０１は、本撮像の手振れの最大量を多めに見積もることができる。

また、プレ撮像が長時間に及び行われた場合、上記の算式におけるｔの定義域を、ボタンが半押しされた時刻からプレ撮像の全部でなく、代わりに予め定められた一部の時間帯のみとする。たとえば、プレ撮像が６０ｓも行われた場合、最後の３０ｓ〜６０ｓの３０ｓ間のデジタルカメラ１００の変位ｆ（ｔ）のみを用いて本撮像中の手振れを予測してもよい。また、最初の３０ｓ間の変位ｆ（ｔ）のみを用いて本撮像中の手振れを予測してもよい。

ステップＳ５０６で、制御部１０１は、ピント位置の再設定を行うかどうか判断する。たとえば、ステップＳ５０５で予測した本撮像の手振れに基づいて、制御部１０１がピント位置の再設定を判断する。ステップＳ５０５で予測した本撮像の手振れは極めて小さく、予め定められた所定量以下の場合、制御部１０１は、手振れが無視できると判断し、ピント位置の再設定を行わない。また、固定装着部１１２が、デジタルカメラ１００が三脚などに装着されていると検知した場合も、手振れが発生せず、制御部１０１は、ピント位置の再設定を行わない。制御部１０１がピント位置の再設定を行うと判断した場合、ステップＳ５０７に進み、ピント位置の再設定を行わないと判断した場合、ステップＳ５０８に進む。

ステップＳ５０７で、制御部１０１は、ピント位置の再設定を行う。ステップＳ５０７で制御部１０１が再設定したピント位置は、ステップＳ５０２で設定したピント位置を参照したうえで設定するのは好ましい。以下では、例を挙げて、再設定の方法を説明する。

図６は、ステップＳ５０７でのピント位置の再設定を説明するためのフローチャートである。

ステップＳ６０１で、制御部１０１は、ステップＳ５０５予測した本撮像の手振れが予め定められた閾値より大きいかどうかを判断する。予測した本撮像の手振れが予め定められた閾値以下である場合、ステップＳ６０２に進み、下記のようにピント位置の間隔を小さくし、ピント位置の密度が高く変更されるようにピント位置を再設定する。

図７は、ステップＳ６０２でのピント位置の再設定の一例を説明するための図である。図７に示したピント位置は、見やすくするために変形されており、正しいスケールを意味するわけではない。手振れ量７０１と７０２は、ステップＳ５０５で予測した本撮像の手振れの最大量ｓｍａｘとｓｍｉｎを表す。ピント位置７１１乃至７１４は、ステップＳ５０２で制御部１０１が設定したピント位置を表す。ピント位置７２１乃至７２４は、ステップＳ５０７で制御部１０１が再設定したピント位置のうち、ピント位置７１１の近くの一部を表す。ピント位置７２１および７２２のように、ピント位置７１１の至近側に再設定したピント位置は、間隔７３１ごとに再設定される。一方、ピント位置７２３および７２４のように、ピント位置７１１の無限遠側に再設定したピント位置は、間隔７３２ごとに再設定される。ここでの間隔７３１および７３２は、手振れ量７０１と７０２に応じて設定される。一例としては、間隔７３１を手振れ量７０１の１／Ｎとして、そしてピント位置７１１の至近側にＮ個のピント位置を再設定する。ただし、ここで、撮像画像の数を、内蔵メモリ１０９の容量を超えないように、一定の範囲内に収める。

上記のような再設定を行うと、本撮像で手振れが発生してしまう場合でも、再設定したピント位置のいずれかで撮像する場合の実際のピント位置は、設定したピント位置に填まるか、そのごく近くの位置に填まると期待される。

しかし、上記の方法では、手振れ７０２が大きくなると、間隔７３２も大きくなる。間隔７３２が大きくなると、ステップＳ６０２での処理で期待したように、再設定したピント位置のいずれかで撮像する場合の実際のピント位置は、設定したピント位置に填まるようなことが起きにくくなる。したがって、手振れ７０２に応じて間隔７３２を決める必要性がなくなり、代わりに、手振れ７０２を考慮せず、設定したピント位置７１１と７１２とを参照してピント位置を再設定するほうが合理的である。したがって、ステップＳ６０１で制御部１０１は、予測した本撮像の手振れが予め定められた閾値より大きいと判断した場合、ステップＳ６０３に進み、設定したピント位置に応じてピント位置の再設定を行う。その一例としては、内蔵メモリ１０９の容量の限界内で、ピント位置７１１と７１４との間に、等間隔にピント位置を再設定する。制御部１０１は、ステップＳ５０２でピント位置７１１乃至７１４が等間隔に設定していない場合、隣接する設定したピント位置（たとえばピント位置７１１と７１２）の間に再設定したピント位置の間隔を等しくする。この場合では、制御部１０１は、すべての再設定したピント位置の間隔を等しくしなくてもよい。

なお、ステップＳ６０１において制御部１０１の判断に用いられる閾値は、下記の例のように定めることができる。たとえば、ステップＳ５０２で等間隔にピント位置を設定した場合、ステップＳ６０１での閾値はステップＳ５０２設定した間隔の１／２にしてよい。または、至近側と無限遠側との手振れの差を考慮し、至近側における閾値ＴＨ１と無限遠側における閾値ＴＨ２は下記の（式６）と（式７）のように設定する。

ただし、（式６）と（式７）において、ｓｍｉｎとｓｍａｘは（式２）乃至（式５）のｓｍｉｎとｓｍａｘをさし、Ｌは設定したピント位置の間隔を意味する。

ステップＳ５０８で、制御部１０１はステップＳ５０２で設定したピント位置とステップＳ５０６で再設定したピント位置とに光学系１０３のピント位置を動かしながら、撮像部１０４が本撮像を行う動作を、所定回数に達するまで繰り返す。撮像した画像は、いったん内蔵メモリ１０９に保存される。

ステップＳ５０９で、制御部１０１は、ステップＳ５０８で撮像した複数の画像の中から合成に用いる画像を選択する。ステップＳ５０９では、ステップＳ５０２に設定したピント位置で撮像した画像を選択するのは好ましい。ただし、ぴったり設定したピント位置に填まるような画像を全部撮像することが難しく、したがってピント位置で撮像した画像がないときは、制御部１０１が以下にあげられる条件により画像の選択を行う。ｎ番目に設定したピント位置をＰｎとし、ステップＳ５０９で選択した画像の中で、Ｐｎに最も近い撮像時のピント位置を持つ画像のピント位置をＰｎ´とする。選択した画像の数を、予め定め、ステップＳ５０２で設定したピント位置の数と同じく、Ｍとする。

ステップＳ５０９で、以下の条件をすべて満たすような画像を選択する。

条件１：下記の（式８）で、Ｄを最小にする。

条件２：隣接する選択した画像のピント位置の差は、被写体深度以内。

以上の条件を満たすように制御部１０１が画像を選択する。ただし、以上は一例にすぎず、様々な変形が可能である。たとえば、合成に用いる画像の撮像時のピント位置の間隔をなるべく等しくするように、上記の条件１を下記のように置き換えてもよい。ただし、ここで、選択した画像の中で、ｎ番目のものの撮像時のピント位置をＱｎとする。

条件１´：下記の（式９）で、Ｄが最小になる。

ステップＳ５１０で、画像処理部１０７は、ステップＳ５０９で制御部１０１が選択した画像に対して合成を行う。合成の方法は以下で簡単に述べる。画像処理部１０７は選択した各画像に対するコントラスト値を用いて合成ＭＡＰを生成する。具体的には、選択した画像のコントラスト値が最も高くなる画像の合成比率を１００％、それ以外の画像は０％とする。なお、隣接画素間で合成比率が０％から１００％に変化（あるいは１００％から０％に変化）すると、合成境界での不自然さが目立つようになる。そのため、合成ＭＡＰに対して所定の画素数（タップ数）を持つローパスフィルタをかけることで、隣接画素間で合成比率が急激に変化しないようにする。また、選択した各画像のコントラスト分布から、コントラストの高い領域に対する画像の合成比率が高くなるような合成ＭＡＰを作成してもよい。

本実施形態によれば、プレ撮像を通じて、本撮像での手振れを予測し、撮像するためのピント位置を再設定し、本撮像では手振れが発生しても、撮像した画像から一部を選択し
たものに対して合成を行い、合成画像における手振れの影響を低減できる。

（その他の実施形態）
以上の実施形態は、デジタルカメラでの実施をもとに説明したが、デジタルカメラに限定するものではない。たとえば、撮像素子が内蔵した携帯機器などで実施してもよく、画像を撮像することができるネットワークカメラなどでもよい。

なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ デジタルカメラ
１０１ 制御部
１０２ 駆動部
１０３ 光学系
１０４ 撮像部
１０５ ＲＯＭ
１０６ ＲＡＭ
１０７ 画像処理部
１０８ 表示部
１０９ 内蔵メモリ
１１０ 操作部
１１１ 装置動き検出部
１１２ 固定装着部

Claims (25)

1. 光学系のピント位置を変えながら複数の画像を撮像する撮像手段と、
   前記複数の画像を撮像するときの複数のピント位置を設定する設定手段と、
   前記撮像手段の振れを検知する振れ検知手段と、
   前記複数の画像の少なくとも一部の画像を用いて合成を行う合成手段と、を有し、
   前記設定手段は、前記振れ検知手段が検知した振れ量に基づいて、前記複数のピント位置の間隔を変更し、前記複数のピント位置の少なくとも一部を等間隔に設定することを特徴とする撮像装置。
2. 本撮像の際に光学系のピント位置を変えながら複数の画像を撮像する撮像手段と、
   前記複数の画像を撮像するときの複数のピント位置を設定する設定手段と、
   前記撮像手段の振れを検知する振れ検知手段と、
   前記複数の画像の少なくとも一部の画像に対して合成を行う合成手段と、を有し、
   前記撮像手段は、前記本撮像の前にプレ撮像を行い、
   前記設定手段は、前記プレ撮像において前記振れ検知手段が検知した振れ量に基づいて、前記複数のピント位置を設定し、前記複数のピント位置の少なくとも一部を等間隔に設定することを特徴とする撮像装置。
3. 前記設定手段は、前記振れ量が第１の値より大きい場合に、前記振れ量が前記第１の値より大きくない場合よりも、前記複数のピント位置の間隔を狭くすることを特徴とする請求項１に記載の撮像装置。
4. 前記設定手段は、前記振れ量が第１の値より大きい場合に、前記振れ量が前記第１の値より大きくない場合よりも、前記複数のピント位置の密度を高くすることを特徴とする請求項１に記載の撮像装置。
5. 前記撮像手段が撮像した画像を保存する保存手段を有し、
   前記設定手段は、前記保存手段の容量に基づいて、前記複数のピント位置の数を定めることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記設定手段は、前記振れ量が前記第１の値より大きく、かつ、前記第１の値より大きい第２の値よりも小さい場合に、前記振れ量が前記第１の値および前記第２の値よりも大きい場合よりも、前記複数のピント位置の間隔を狭くすることを特徴とする請求項３に記載の撮像装置。
7. 前記設定手段は、前記振れ量が前記第１の値より大きく、かつ、前記第１の値より大きい第２の値よりも小さい場合に、前記振れ量が前記第１の値および前記第２の値よりも大きい場合よりも、前記複数のピント位置の密度を高くすることを特徴とする請求項４に記載の撮像装置。
8. 前記設定手段は、予め設定した複数のピント位置と、前記振れ量に基づいて、前記複数の画像を撮像するときの複数のピント位置を設定するものであることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記設定手段は、前記予め設定した複数のピント位置の間に新たなピント位置が配置されるように、前記複数の画像を撮像するときの複数のピント位置を設定することを特徴とする請求項８に記載の撮像装置。
10. 前記設定手段は、前記予め設定した複数のピント位置の間に新たなピント位置を等間隔に設定することを特徴とする請求項９に記載の撮像装置。
11. 前記設定手段は、前記予め設定した複数のピント位置の至近側と無限遠側に新たなピント位置を設定することを特徴とする請求項８に記載の撮像装置。
12. 前記設定手段は、予め設定した複数のピント位置と前記振れ量に基づいて、前記複数の画像を撮像するときの複数のピント位置を設定するものであって、
    前記第２の値は、前記予め設定した複数のピント位置の間隔に基づいて定められることを特徴とする請求項６または７に記載の撮像装置。
13. 前記第２の値は、前記予め設定した複数のピント位置の間隔の１／２に定められることを特徴とする請求項１２に記載の撮像装置。
14. 前記第２の値は、前記振れ検知手段によって検知された至近側の振れ量と無限遠側の振れ量との比に基づいて、定められることを特徴とする請求項１２に記載の撮像装置。
15. 前記撮像手段は、１つのマイクロレンズに対して複数の光電変換部が対応する構造を有する複数の画素を備え、
    前記予め設定した複数のピント位置は、前記撮像手段にて得られた瞳分割信号に基づいて設定されることを特徴とする請求項８乃至１４のいずれか１項に記載の撮像装置。
16. 前記設定手段は、前記撮像装置が固定装置に装着されていると検知されている場合に、前記予め設定した複数のピント位置を、前記複数の画像を撮像するときの複数のピント位置として設定することを特徴とする請求項８乃至１５のいずれか１項に記載の撮像装置。
17. 前記固定装置は三脚であることを特徴とする請求項１６に記載の撮像装置。
18. 光学系のピント位置を変えながら複数の画像を撮像する撮像手段と、
    前記複数の画像を撮像するときの複数のピント位置を設定する設定手段と、
    前記撮像手段の振れを検知する振れ検知手段と、
    前記複数の画像の少なくとも一部の画像を用いて合成を行う合成手段と、を有し、
    前記設定手段は、前記振れ検知手段が検知した振れ量に基づいて、前記複数のピント位置の間隔を変更し、
    前記設定手段は、前記振れ量が第１の値より大きく、かつ、前記第１の値より大きい第２の値よりも小さい場合に、前記振れ量が前記第１の値および前記第２の値よりも大きい場合よりも、前記複数のピント位置の間隔を狭くすることを特徴とする撮像装置。
19. 光学系のピント位置を変えながら複数の画像を撮像する撮像手段と、
    前記複数の画像を撮像するときの複数のピント位置を設定する設定手段と、
    前記撮像手段の振れを検知する振れ検知手段と、
    前記複数の画像の少なくとも一部の画像を用いて合成を行う合成手段と、を有し、
    前記設定手段は、前記振れ検知手段が検知した振れ量に基づいて、前記複数のピント位置の間隔を変更し、
    前記設定手段は、前記振れ量が第１の値より大きく、かつ、前記第１の値より大きい第２の値よりも小さい場合に、前記振れ量が前記第１の値および前記第２の値よりも大きい場合よりも、前記複数のピント位置の密度を高くすることを特徴とする撮像装置。
20. 光学系のピント位置を変えながら複数の画像を撮像する撮像手段と、
    前記複数の画像を撮像するときの複数のピント位置を設定する設定手段と、
    前記撮像手段の振れを検知する振れ検知手段と、
    前記複数の画像の少なくとも一部の画像を用いて合成を行う合成手段と、を有し、
    前記設定手段は、前記振れ検知手段が検知した振れ量に基づいて、前記複数のピント位置の間隔を変更し、
    前記設定手段は、予め設定した複数のピント位置と、前記振れ量に基づいて、前記予め設定した複数のピント位置の間に新たなピント位置が等間隔に配置されるように、前記複数の画像を撮像するときの複数のピント位置を設定することを特徴とする撮像装置。
21. 本撮像の際に光学系のピント位置を変えながら複数の画像を撮像する撮像手段と、
    前記複数の画像を撮像するときの複数のピント位置を設定する設定手段と、
    前記撮像手段の振れを検知する振れ検知手段と、
    前記複数の画像の少なくとも一部の画像に対して合成を行う合成手段と、を有し、
    前記撮像手段は、前記本撮像の前にプレ撮像を行い、
    前記設定手段は、前記プレ撮像において前記振れ検知手段が検知した振れ量に基づいて、前記複数のピント位置を設定し、
    前記設定手段は、予め設定した複数のピント位置と、前記振れ量に基づいて、前記予め設定した複数のピント位置の間に新たなピント位置が等間隔に配置されるように、前記複数の画像を撮像するときの複数のピント位置を設定することを特徴とする撮像装置。
22. 撮像手段が光学系のピント位置を変えながら複数の画像を撮像する撮像ステップと、
    前記複数の画像を撮像するときの複数のピント位置を設定する設定ステップと、
    前記撮像手段の振れを検知する振れ検知ステップと、
    前記複数の画像の少なくとも一部の画像を用いて合成を行う合成ステップと、を有し、
    前記設定ステップでは、前記振れ検知ステップにおいて検知された振れ量に基づいて、前記複数のピント位置の間隔を変更し、前記複数のピント位置の少なくとも一部を等間隔に設定することを特徴とする撮像方法。
23. プレ撮像を行う第１の撮像ステップと、
    前記第１の撮像ステップの後に、本撮像の際に撮像手段が光学系のピント位置を変えながら複数の画像を撮像する第２の撮像ステップと、
    前記複数の画像を撮像するときの複数のピント位置を設定する設定ステップと、
    前記撮像手段の振れを検知する振れ検知ステップと、
    前記複数の画像の少なくとも一部の画像に対して合成を行う合成ステップと、を有し、
    前記設定ステップでは、前記第１の撮像ステップにおいて前記振れ検知ステップが検知した振れ量に基づいて、前記複数のピント位置を設定し、前記複数のピント位置の少なくとも一部を等間隔に設定することを特徴とする撮像方法。
24. 撮像装置のコンピュータに動作させるプログラムであって、
    撮像手段が光学系のピント位置を変えながら複数の画像を撮像する撮像ステップと、
    前記複数の画像を撮像するときの複数のピント位置を設定する設定ステップと、
    前記撮像手段の振れを検知する振れ検知ステップと、
    前記複数の画像の少なくとも一部の画像を用いて合成を行う合成ステップと、を行わせ、
    前記設定ステップでは、前記振れ検知ステップにおいて検知された振れ量に基づいて、前記複数のピント位置の間隔を変更し、前記複数のピント位置の少なくとも一部を等間隔に設定することを特徴とするプログラム。
25. 撮像装置のコンピュータに動作させるプログラムであって、
    プレ撮像を行う第１の撮像ステップと、
    前記第１の撮像ステップの後に、本撮像の際に撮像手段が光学系のピント位置を変えながら複数の画像を撮像する第２の撮像ステップと、
    前記複数の画像を撮像するときの複数のピント位置を設定する設定ステップと、
    前記撮像手段の振れを検知する振れ検知ステップと、
    前記複数の画像の少なくとも一部の画像に対して合成を行う合成ステップと、を有し、
    前記設定ステップでは、前記第１の撮像ステップにおいて前記振れ検知ステップが検知した振れ量に基づいて、前記複数のピント位置を設定し、前記複数のピント位置の少なくとも一部を等間隔に設定することを特徴とするプログラム。

Images