JP5647739B2 - 撮像方法 - Google Patents

Description

本発明は、多焦点レンズを備える撮像装置で合焦状態の制御を行う技術に関するものである。

近年、複数の焦点を有する多焦点レンズを用いた撮像装置が知られている。例えば特許文献１には、多焦点レンズを備える撮像装置において、コンボリューション処理により被写体の画像を得ることが記載されている。また特許文献２では、多焦点レンズを備える撮像装置において、ポイントスプレッド関数に基づく逆関数により撮像信号を補正することが記載されている。さらに特許文献１及び２では、多焦点レンズを備える撮像装置を用いて焦点距離の異なる画像を取得し、復元処理によりピントの合った画像を得るようにしている。

また特許文献３には、多焦点レンズの中心部分に設けた短焦点領域でバーコードの読み取りを行い、レンズの周辺部分に設けた長焦点領域で通常の撮影を行うことが記載されている。

一方特許文献４に記載されるように、多焦点レンズを用いるのではなく焦点距離の異なる複数のカメラモジュールで同一被写体を撮影して、全体として多焦点の画像を取得することも行われている。

特開２００８−５８５４０号公報 特開２００８−５１６２９９号公報 特開２００３−０９８４２６号公報 特開２００８−１７２５２３号公報

上記特許文献１−２のような従来の技術では、多焦点レンズを用いて取得した画像をコンボリューション処理したり逆関数により補正したりすることで、レンズを固定したままでもある程度ピントのあった画像を得られるようにしている。しかしながらこのような従来の技術では被写体に完全に合焦させることを意図しておらず、被写界深度のほとんどの範囲である程度の（許容錯乱円の範囲内の）ぼけが生じているので、レンズの持つ最高性能まで合焦した画像を得ることは困難である。また、領域によって異なる焦点距離や被写界深度を有するという多焦点レンズの特性を活用しきれていない。

また上記特許文献１−３のような従来の技術では、レンズの焦点深度を深く設定することや取得した画像の復元処理を行うことにより、レンズを固定したままでもある程度ピントのあった画像を広い範囲で得られるようにしている。しかしながらこのような従来の技術では被写体に完全に合焦させることを意図しておらず、被写界深度のほとんどの範囲である程度の（許容錯乱円の範囲内の）ぼけが生じているので、レンズの持つ最高性能まで合焦した画像を得ることは困難である。また移動する被写体に追従して正確にピントを合わせることも困難である。

さらに、特許文献４に記載の技術のように多数のモジュールを用いるとシステムが複雑化・大型化する、という問題もある。

本発明はこのような事情に基づいてなされたもので、多焦点レンズの特性を活かした所望の画像を取得でき、また取得した画像を目的や好みに応じて抽出・選択できる撮像方法及び画像処理方法並びにそれらのプログラム、記録媒体、及び撮像装置を提供することを目的とする。

上記目的を達成するため、本発明の第１の態様に係る撮像方法は、複数の領域を有し当該複数の領域のそれぞれが異なる焦点距離を有する多焦点レンズ、を用いた撮像方法であって、多焦点レンズの合焦状態を制御する合焦状態制御工程と、制御した合焦状態で被写体の画像を取得する撮像工程と、を含む。第１の態様に係る撮像方法では複数の異なる焦点距離を有する多焦点レンズの合焦状態を制御して被写体の画像を取得するので、正確に合焦した画像や高速に合焦した画像等、多焦点レンズの特性を活かした所望の画像を取得することができる。

本発明の第２の態様に係る撮像方法は第１の態様において、合焦状態制御工程では、多焦点レンズの被写界深度と被写体の距離分布の幅との関係に応じて合焦状態を制御する。

第２の態様に係る撮像方法では、多焦点レンズの被写界深度と被写体の距離分布の幅との関係に応じて合焦制御を行うことにより、例えば被写体までの距離に応じて複数の焦点領域のうちいずれかで正確に合焦した画像を取得することや、合焦位置と異なるレンズ位置で撮像して特定の被写体がぼけた画像を取得することなどを、撮影目的に応じて自由に行うことができ、多焦点レンズの特性を活かした所望の画像を取得できる。なお第２の態様において「多焦点レンズの被写界深度」とは、多焦点レンズの各焦点領域の被写界深度、及び多焦点レンズ全体としての被写界深度を含むものとする。

なお第２の態様において、距離分布は種々の方法により検出することができる。例えば位相差情報を利用して算出するようにしてもよいし、異なるレンズ位置で取得された複数の撮像信号のコントラストを比較することにより算出するようにしてもよい。また、第２の態様において取得する画像は静止画に限定されず、被写体の距離分布の変化に応じて連続的に合焦制御を行って動画像を取得するようにしてもよい。また第２の態様において、撮像装置は複数の領域のいずれかを通過した光束を選択的に受光する受光素子を備える撮像素子を有することが好ましい。

本発明の第３の態様に係る撮像方法は第１又は第２の態様において、合焦状態制御工程では、多焦点レンズの全体としての被写界深度が被写体の距離分布の幅以上である場合は、被写体の距離分布の幅が全体としての被写界深度内に収まるように合焦状態を制御する。

多焦点レンズの全体としての被写界深度と被写体の距離分布の幅との関係は、多焦点レンズの設計や実際の撮影状況等に応じて異なり、いずれが広い場合もありうる。第３の態様に係る撮像方法ではこのような事情を考慮し、多焦点レンズの全体としての被写界深度が被写体の距離分布の幅以上である場合は、被写体の距離分布の幅が被写界深度内に収まるように合焦制御を行って画像を取得するので、被写体の距離分布に合わせて適切に合焦した画像を取得することができる。

なお第３の態様において、多焦点レンズの全体としての被写界深度により被写体の距離分布の幅をどのようにカバーするかは、撮影目的に応じて定めることができる。例えば、被写体の距離分布の幅が全体としての被写界深度内に収まるようにした上で、全体としての被写界深度の中心と被写体の距離分布の中心とが一致するように制御してもよいし、全体としての被写界深度を被写体の距離分布の前側または後ろ側に寄せるように制御してもよい。また被写体の距離分布の幅が全体としての被写界深度内に収まるようにした上で、いずれかの焦点領域に関して主要被写体等特定の被写体に対する合焦度がしきい値以上、あるいは最大になるように制御してもよい。

本発明の第４の態様に係る撮像方法は第１又は第２の態様において、合焦状態制御工程では、多焦点レンズの全体としての被写界深度が被写体の距離分布の幅よりも狭い場合は、被写体の距離分布の幅のうち全体としての被写界深度に収まらない範囲が、全体としての被写界深度の前側と後ろ側とで等しくなるように合焦状態を制御する。第４の態様は、多焦点レンズ全体としての被写界深度が被写体の距離分布の幅よりも狭い場合の合焦制御の一態様を規定するものである。

本発明の第５の態様に係る撮像方法は第１又は第２の態様において、合焦状態制御工程では、多焦点レンズの全体としての被写界深度が被写体の距離分布の幅よりも狭い場合は、被写体間の合焦優先順位に基づいて合焦状態を制御する。第５の態様においては例えば、優先順位１位の被写体がいずれかの焦点領域で正確に合焦するようにしたり、あるいは優先順位１位の被写体の合焦度が所定値以上になるようにした上で優先順位２以下の被写体の合焦度が最大になるようにしたりすることができ、これにより被写体の距離分布に合わせて適切に合焦した画像を取得することができる。

本発明の第６の態様に係る撮像方法は第５の態様において、人物の顔検出を行う工程と、検出された顔の人物に対して、合焦優先順位を人物以外の被写体よりも高く設定する工程と、をさらに含み、合焦状態制御工程では、設定した合焦優先順位に基づいて合焦状態を制御する。これにより第６の態様に係る撮像方法では、被写体の距離分布を考慮した上でさらに人物を優先して合焦させた画像を取得することができる。

本発明の第７の態様に係る撮像方法は第５の態様において、合焦優先順位を撮像装置のユーザに指定させる工程をさらに含み、合焦状態制御工程では、指定された合焦優先順位に基づいて合焦状態を制御する。なお第７の態様に係る撮像方法においては、人物の合焦優先順位を高くしてもよいし、人物以外の被写体の合焦優先順位を高くしてもよい。

本発明の第８の態様に係る撮像方法は第１の態様において、合焦状態制御工程では、主要被写体が複数の領域のいずれかで合焦するように合焦状態を制御する。なお被写体が主要被写体であるか否かは、人物の顔であるか否かや、撮影領域に占める比率等に基づいて判断することができる。

本発明の第９の態様に係る撮像方法は第８の態様において、合焦状態制御工程で、主要被写体が複数の領域のうち最も焦点距離が短い領域で合焦するように合焦状態の制御を行うことで、撮像工程で主要被写体よりも手前側の領域をぼかした画像を取得する。これにより第９の態様では、主要被写体よりも手前側（撮像装置に近い側）にある被写体を主要被写体からの距離に応じてぼかした画像を取得することができる。

本発明の第１０の態様に係る撮像方法は第８の態様において、合焦状態制御工程で、主要被写体が複数の領域のうち最も焦点距離が長い領域で合焦するように合焦状態の制御を行うことで、撮像工程で主要被写体よりも奥側の領域をぼかした画像を取得する。これにより第１０の態様では、主要被写体よりも奥側（撮像装置から遠い側）にある被写体を主要被写体からの距離に応じてぼかした画像を取得することができる。

本発明の第１１の態様に係る撮像方法は第１から第１０の態様のいずれかにおいて、合焦状態制御工程では、多焦点レンズの絞り値と多焦点レンズの被写界深度との関係に基づいて合焦状態を制御する。被写界深度はレンズの絞りに依存して変化し、一般に絞り値（Ｆ値）が大きくなると被写界深度が深くなり、絞り値が小さくなると被写界深度が浅くなる。従って第１１の態様のように、多焦点レンズの絞り値と多焦点レンズの被写界深度との関係に基づいて合焦制御を行うことで、被写体の距離分布に合わせて適切に合焦した画像を取得することができる。

本発明の第１２の態様に係る撮像方法は第１から第１１の態様のいずれかにおいて、取得した画像と、取得した画像に含まれる被写体の合焦度を示す情報と、を関連付けて記録する工程をさらに含む。これにより第１２の態様に係る撮像方法では、ユーザは画像取得後に合焦度情報を参照して、合焦度が所定の値以上の画像等、所望の画像を選択・抽出することができる。

上記目的を達成するため、本発明の第１３の態様に係る画像処理方法は、第１２の態様により記録された情報に基づいて、記録した画像に含まれる画像を抽出する工程を含む。また本発明の第１４の態様に係る画像処理方法は第１３の態様において、記録された情報に基づいて、指定された合焦度を有する被写体が含まれる画像を抽出する工程をさらに含む。また本発明の第１５の態様に係る画像処理方法は第１３又は第１４の態様において、抽出した画像を用いて、指定された被写体が指定された合焦度を有する新たな画像を合成する工程をさらに含む。上記の態様の画像処理方法では、ユーザは目的や好みに応じて所望の合焦度の画像を得ることができる。なお第１３から第１５の態様において、合焦度は特定の値を指定してもよいし、上限値のみ、下限値のみ、あるいは上限値及び下限値からなる範囲を指定してもよい。

上記目的を達成するため、本発明の第１６の態様に係る撮像プログラムは、第１から第１２の態様のいずれかに係る撮像方法を撮像装置に実行させる。また上記目的を達成するため、本発明の第１７の態様に係る画像処理プログラムは、第１３から第１５のいずれかに係る画像処理方法を画像処理装置に実行させる。第１６及び第１７の態様に係るプログラムは、デジタルカメラ等の撮像装置に組み込んで使用するほか、パーソナルコンピュータ（ＰＣ）等において画像処理・編集用ソフトウェアとして用いるようにしてもよい。また本発明の第１８，１９の態様に係る記録媒体には、上記第１６，１７の態様に係る撮像プログラムの、コンピュータ読み取り可能なコードがそれぞれ記録されている。第１８，１９の態様に係る記録媒体の例としては、デジタルカメラやＰＣのＲＯＭ・ＲＡＭの他、ＣＤ、ＤＶＤやＢＤ、ＨＤＤやＳＳＤ、各種メモリカード等の非一時的（non-transitory）な半導体記憶媒体や光磁気記録媒体を用いることができる。

上記目的を達成するため、本発明の第２０の態様に係る撮像装置は、複数の領域を有し、当該複数の領域のそれぞれが異なる焦点距離を有する多焦点レンズと、多焦点レンズの合焦状態を制御する合焦状態制御手段と、制御した合焦状態で被写体の画像を取得する撮像手段と、を備えた撮像装置であって、合焦状態制御手段は、多焦点レンズの被写界深度と被写体の距離分布の幅との関係に応じて合焦状態を制御する。

第２０の態様に係る撮像装置では、多焦点レンズの被写界深度と被写体の距離分布の幅との関係に応じて合焦状態の制御を行うことにより、例えば被写体までの距離に応じて複数の焦点領域のうちいずれかで正確に合焦した画像を取得することや、合焦位置と異なるレンズ位置で撮像して特定の被写体がぼけた画像を取得することなどを撮影目的に応じて自由に行うことができ、多焦点レンズの特性を活かした所望の画像を取得できる。なお第２０の態様において「多焦点レンズの被写界深度」とは、第２の態様と同様に、多焦点レンズの各焦点領域の被写界深度、及び多焦点レンズ全体としての被写界深度を含むものとする。

また、第２０の態様において取得する画像は静止画に限定されず、被写体の距離分布の変化に応じて連続的に合焦制御を行って動画像を取得するようにしてもよい。なお第２０の態様に係る撮像装置において、複数の領域のいずれかを通過した光束を選択的に受光する受光素子を備える撮像素子を有することが好ましい。

上記目的を達成するため、本発明の第２１の態様に係る撮像装置は第１の態様において、合焦状態制御工程では、撮影指示に応じて、主要被写体が複数の領域のいずれかを介して合焦するように合焦状態を制御する。

第２１の態様に係る撮像方法では、主要被写体が複数の領域のいずれかを介して合焦するように合焦状態を制御するので、主要被写体が正確に合焦した画像を得ることができる。また複数の領域のいずれかを介して合焦させればよいので、レンズ駆動に要する時間が短くて済み、高速に合焦させることができる。なお前像装置は、複数の領域のいずれかを通過した光束を選択的に受光する受光素子を備える撮像素子を有することが好ましい。

なお本発明の各態様において、「多焦点レンズ」は１枚のレンズに限定されず複数のレンズから構成されるレンズをも含み、「多焦点レンズの制御」とは、多焦点レンズを構成するレンズの少なくとも一部を移動させて被写体に合焦させることをいう。また本発明の各態様において、「撮影指示」とはユーザがシャッタボタンを押下することにより入力されるものでもよいし、動画撮影中の各撮影時刻において撮像装置が発生させたものでもよい。さらに本発明の各態様において、被写体が主要被写体であるか否かは、人物の顔であるか否かや、撮影領域に占める比率等に基づいて判断することができる。

本発明の第２２の態様に係る撮像方法は第２１の態様において、合焦状態制御工程では、主要被写体が複数の領域のうち所要合焦時間が最短の領域を介して合焦するように制御する。第２２の態様に係る撮像方法では、主要被写体が複数の領域のうち所要合焦時間が最短の領域を介して合焦するように制御するので、さらに高速に合焦させることができる。

本発明の第２３の態様に係る撮像方法は第２１または第２２の態様において、合焦状態制御工程では、主要被写体が複数の領域のうち最大の面積を有する主領域を介して合焦するように制御する。多焦点レンズを用いて撮像する場合、画質は各焦点領域の面積に依存するが、第２３の態様に係る撮像方法では、主要被写体が複数の領域のうち最大の面積を有する主領域を介して合焦するように制御して画像を取得するので、正確に合焦した高画質の画像を得ることができ、レンズの持つ最高性能を活かすことができる。

本発明の第２４の態様に係る撮像方法は第２１から第２３の態様のいずれかにおいて、合焦状態制御工程で、主要被写体が複数の領域のうち所要合焦時間が最短の領域を介して合焦するように制御して、撮像工程で被写体の画像を取得し、続いて合焦状態制御工程で、主要被写体が複数の領域のうち最大の面積を有する主領域を介して合焦するように制御して、撮像工程で被写体の画像を取得する。第２４の態様に係る撮像方法では、複数の領域のうち所要合焦時間が最短の領域を介して合焦するように制御して画像を取得し、続いて主要被写体が複数の領域のうち最大の面積を有する主領域を介して合焦するように制御して画像を取得するので、高速に合焦したタイムラグのない画像と、若干タイムラグはあるが高画質でかつ正確に合焦した画像とを得ることができる。ユーザはこれらの画像から、目的や好みに合わせて所望の画像を選択することができる。

本発明の第２５の態様に係る撮像方法は第２１から第２４の態様のいずれかにおいて、撮像工程では、撮影指示の後、合焦状態制御工程を行う前に、撮影指示の時の合焦状態のまま複数の領域の全てに対して画像を取得する。撮像指示の時の合焦状態のまま撮像し、また多焦点レンズを用いるので、複数の領域のいずれかで、ある程度合焦した画像を高速に得ることができる。

本発明の第２６の態様に係る撮像方法は第２１から第２５の態様のいずれかにおいて、撮影指示に応じて、合焦状態制御工程で主要被写体が複数の領域のうち所要合焦時間が最短の領域を介して合焦するように制御して、撮像工程で被写体の画像を取得することと、合焦状態制御工程で主要被写体が複数の領域のうち最大の面積を有する主領域を介して合焦するように制御して、撮像工程で被写体の画像を取得することと、の少なくとも一方を継続的に行って被写体の動画像を取得する。

第２６の態様に係る撮像方法では、撮影指示に応じて、主要被写体が、複数の領域のうち所要合焦時間が最短の領域を介して合焦するように制御しての画像取得と、主要被写体が複数の領域のうち最大の面積を有する主領域を介して合焦するように制御しての画像取得と、の少なくとも一方を継続的に行って被写体の動画像を取得するので、高速に合焦した画像と正確に合焦した高画質の画像との少なくとも一方を継続的に得ることができる。なおいずれの画像を取得するかはユーザが指定するようにしてもよいし、双方の画像を継続的に取得しておいて事後的に選択・編集するようにしてもよく、これによりユーザは目的や好みに合わせた所望の画像を得ることができる。

本発明の第２７の態様に係る撮像方法は第２１から第２６の態様のいずれかにおいて、取得した画像と、撮影指示から画像取得までの時間を示す撮像時間情報と、を関連付けて記録する工程をさらに含む。第２７の態様に係る撮像方法では、取得した画像と、撮影指示から画像取得までの時間を示す撮像時間情報と、を関連付けて記録するので、ユーザは画像取得後に撮像時間情報を参照して、撮像時間が所定の時間以下の画像等、所望の画像を選択・抽出することができる。

本発明の第２８の態様に係る撮像方法は第２１から第２７の態様のいずれかにおいて、取得した画像と、取得した画像の合焦度合を示す合焦度情報と、を関連付けて記録する工程をさらに含む。第２８の態様に係る撮像方法では、取得した画像と、取得した画像の合焦度合を示す合焦度情報と、を関連付けて記録するので、ユーザは画像取得後に合焦度情報を参照して、合焦度が所定の値以上の画像等、所望の画像を選択・抽出することができる。

本発明の第２９の態様に係る撮像方法は第２１から第２８の態様のいずれかにおいて、取得した画像と、取得した画像がいずれの領域により取得されたものであるかを示す撮像領域情報と、を関連付けて記録する工程をさらに含む。第２９の態様に係る撮像方法では、取得した画像と、取得した画像がいずれの領域により取得されたものであるかを示す撮像領域情報と、を関連付けて記録するので、ユーザは目的や好みに応じて特定の領域（例えば、主領域）で撮影した画像を選択・抽出することができる。

上記目的を達成するために、本発明の第３０の態様に係る画像処理方法は、第２７から第２９の態様のいずれかに係る撮像方法で記録された情報に基づいて、記録した画像に含まれる画像を抽出する工程を含む。第３０の態様に係る画像処理方法では、画像と関連付けて記録された撮像時間情報、合焦度情報、撮像領域情報を参照して画像を抽出するので、ユーザは目的や好みに応じて所望の画像を得ることができる。

上記目的を達成するために、本発明の第３１の態様に係る撮像プログラムは、第２１から第３０の態様のいずれかに係る撮像方法を撮像装置に実行させる。

上記目的を達成するために、本発明の第３２の態様に係る撮像プログラムは、第３０の態様に係る撮像方法を撮像装置に実行させる。第３２の態様に係るプログラムは、デジタルカメラ等の撮像装置に組み込んで使用するほか、パーソナルコンピュータ（ＰＣ）等において画像処理・編集用ソフトウェアとして用いるようにしてもよい。また本発明の第３３，３４の態様に係る記録媒体には、上記第３１，３２の態様に係る撮像プログラムの、コンピュータ読み取り可能なコードがそれぞれ記録されている。第３３，３４の態様に係る記録媒体の例としては、デジタルカメラやＰＣのＲＯＭ・ＲＡＭの他、ＣＤ、ＤＶＤやＢＤ、ＨＤＤやＳＳＤ、各種メモリカード等の非一時的（non-transitory）な半導体記憶媒体や光磁気記録媒体を用いることができる。

上記目的を達成するため、本発明の第３５の態様に係る撮像装置は、複数の領域を有し、当該複数の領域のそれぞれが異なる焦点距離を有する多焦点レンズと、多焦点レンズの合焦状態を制御する合焦状態制御手段と、制御した状態で被写体の画像を取得する撮像手段と、を備え、撮像手段は、撮影指示に応じて、主要被写体が複数の領域のいずれかを介して合焦するように制御する。

第３５の態様に係る撮像装置では、主要被写体が複数の領域のいずれかを介して合焦するように多焦点レンズの合焦状態を制御して画像を取得するので、主要被写体に正確に合焦した画像を得ることができる。また複数の領域のいずれかを介して合焦させればよいので、レンズ駆動に要する時間が短くて済み、高速に合焦させることができる。なお撮像装置は、複数の領域のいずれかを通過した光束を選択的に受光する受光素子を備える撮像素子を有することが好ましい。

本発明の第３６の態様に係る撮像装置では、合焦状態制御手段は位相差方式で合焦状態の制御を行う。撮像装置で用いられる合焦制御にはいわゆるコントラスト方式と位相差方式とがあるが、コントラスト方式ではレンズを駆動して合焦状態を検出するのに対し、位相差方式では被写体像の位相差に基づいて合焦状態を検出するためコントラスト方式よりも高速な合焦制御が可能であり、正確かつ高速な合焦という本発明の効果がさらに発揮される。

なお上述した本発明の各態様において、「多焦点レンズ」は１枚のレンズに限定されず複数のレンズから構成されるレンズをも含み、「多焦点レンズの制御」とは、多焦点レンズを構成するレンズの少なくとも一部を移動させて被写体に合焦させることをいう。

上述のように本発明によれば、多焦点レンズの特性を活かした所望の画像を取得でき、また取得した画像を目的や好みに応じて抽出・選択できる。

図１は、撮像装置１０の構成を示すブロック図である。 図２は、撮影レンズ１２を示す模式図である。 図３は、多焦点レンズの他の例を示す模式図である。 図４は、撮影レンズ１２における、被写体距離と合焦度合との関係を示す模式図である。 図５は、撮像素子１６の構成を示す模式図である。 図６は、撮像素子１６における受光素子の配列を示す模式図である。 図７は、本発明の第１の実施形態に係る撮像方法を示すフローチャートである。 図８は、本発明の第１の実施形態に係る撮像方法を示す概念図である。 図９は、本発明の第２の実施形態に係る撮像方法を示すフローチャートである。 図１０は、本発明の第３の実施形態に係る撮像方法を示すフローチャートである。 図１１は、本発明の第３の実施形態に係る撮像方法における被写体間の優先度設定の例を示す図である。 図１２は、本発明の第４の実施形態に係る撮像方法を示すフローチャートである。 図１３は、本発明の第５の実施形態に係る画像処理方法を示すフローチャートである。 図１４は、本発明の第６の実施形態に係る画像処理方法を示すフローチャートである。 図１５は、撮影レンズ１２における、被写体距離と合焦度合との関係を示す模式図である。 図１６は、本発明の第７の実施形態に係る撮像方法を示すフローチャートである。 図１７は、本発明の第７の実施形態に係る撮像方法を示す他のフローチャートである。 図１８は、本発明の第８の実施形態に係る撮像方法を示すフローチャートである。 図１９は、本発明の第８の実施形態に係る撮像方法を示す他のフローチャートである。 図２０は、本発明の第９の実施形態に係る撮像方法を示すフローチャートである。 図２１は、本発明の第９の実施形態に係る撮像方法を示す他のフローチャートである。 図２２は、本発明の第９の実施形態に係る撮像方法を示す概念図である。 図２３は、撮像装置１０における主要被写体指定の例を示す模式図である。 図２４は、本発明における画像抽出処理を示す概念図である。

以下添付図面に従って、本発明に係る撮像方法及び画像処理方法並びにそれらのプログラム、記録媒体、及び撮像装置を実施するための形態について詳細に説明する。

［撮像装置の構成］
図１は本発明の第１の実施の形態に係る撮像装置１０（撮像装置、画像処理装置）の実施の形態を示すブロック図である。撮像装置１０の装置全体の動作は中央処理装置（ＣＰＵ）４０（合焦状態制御手段、撮像手段）によって統括制御され、ＣＰＵ４０の動作に必要なプログラム（本発明に係る、合焦状態の制御や撮像、画像の抽出・合成等の処理に用いるプログラムを含む）やパラメータは、ＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）４６（記録媒体）に記憶されている。なお本発明に係るプログラム（撮像プログラム、画像処理プログラム）は撮像装置１０のＥＥＰＲＯＭ４６の他、ＣＤ、ＤＶＤやＢＤ、ＨＤＤやＳＳＤ、各種メモリカード等の非一時的（non-transitory）な半導体記憶媒体や光磁気記録媒体に記録し、デジタルカメラやパーソナルコンピュータ（ＰＣ）等の画像処理装置で用いることができる。

撮像装置１０には、シャッタボタン、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて、後述するように撮像装置１０の各回路を制御する。

シャッタボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。モードダイヤルは、静止画／動画撮影モード、マニュアル／オート撮影モード、及び撮影シーン等を選択する手段である。

再生ボタンは、撮影記録した画像の静止画又は動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、液晶モニタ３０の画面上にメニューを表示させる指令を行うための機能と、選択内容の確定及び実行などを指令する機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、カーソル移動操作手段やズームスイッチ、再生モード時のコマ送りボタン等として機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。これらのボタンやキーは、画像抽出や合成処理、あるいは後述する被写体間の優先度設定の際に必要な操作にも用いることができる。

撮影モード時において、被写体を示す画像光は、撮影レンズ１２、絞り１４を介して固体撮像素子（以下、「ＣＣＤ」という）１６（撮像手段）の受光面に結像される。撮影レンズ１２は、ＣＰＵ４０によって制御されるレンズ駆動部３６（合焦状態制御手段）によって駆動され、後述する合焦制御等が行われる。レンズ駆動部３６は、ＣＰＵ４０からの指令に従い、撮影レンズ１２を光軸方向に移動させ、焦点位置を可変する。

撮影レンズ１２（多焦点レンズ、撮像手段）は、短い焦点距離を有し近距離撮影を行う領域（以下、近焦点領域という）１２ａと、近焦点領域より長い焦点距離を有し人物等の撮影が可能な領域（以下、中焦点領域という）１２ｂと、中焦点領域よりさらに長い焦点距離を有し風景等の撮影が可能な領域（以下、遠焦点領域という）１２ｃと、を有する多焦点レンズ（３焦点レンズ）である。撮影レンズ１２は、図２に示すように、正面から見て半月型の領域が図２の上下に設けられ、その間にレンズ中心Ｏを含む帯状の領域が設けられており、上部から順に近焦点領域１２ａ、中焦点領域１２ｂ、遠焦点領域１２ｃとなっている。本実施形態では面積最大の中焦点領域１２ｂが主領域である。これらの領域において、焦点距離の具体的な値は撮影目的等に合わせて設定してよい。

なお図２の例では各焦点領域を半月型または帯状に形成しているが、図３に示す撮影レンズ１２’のように、レンズ中心Ｏ’を含む円形の領域１２ａ’（中焦点領域）とその周辺の円環状の領域１２ｂ’，１２ｃ’（いずれかが近焦点領域、他方が遠焦点領域）とで形成するようにしてもよい。また近焦点領域１２ａ、中焦点領域１２ｂ、遠焦点領域１２ｃ面積比は例えば３０：５０：２０とすることができるが、光学系の特性や撮影目的に応じて上記と異なる比率に設定してもよい。また焦点領域の数は３に限らず２焦点でもよいし、４焦点以上でもよい。

図４（撮像方法、撮像プログラム）は、撮影レンズ１２における、被写体距離と合焦度合との関係を示す概念図である。図４中、合焦度曲線Ｃａ，Ｃｂ，Ｃｃは近焦点領域１２ａ、中焦点領域１２ｂ、遠焦点領域１２ｃの距離Ｄにおける合焦度合を示す曲線である。曲線がピークとなる点Ｐａ，Ｐｂ，Ｐｃの距離が撮影レンズ１２の各領域の合焦距離を表し、曲線の高さが合焦度合に対応し、曲線の広がりは被写界深度に対応する。従って被写体距離とＰａ，Ｐｂ，Ｐｃとが一致するように撮影レンズ１２を制御すれば被写体が各焦点領域で正確に合焦し、被写体が各曲線Ｃａ，Ｃｂ，Ｃｃの広がり内（それぞれＷａ，Ｗｂ，Ｗｃ）に存在すれば、Ｐａ，Ｐｂ，Ｐｃからの距離に応じてそれぞれの領域である程度合焦することになる。また被写体が撮影レンズ１２全体としての被写界深度内にあれば、いずれかの領域である程度合焦することになる。

これらの曲線が囲む領域の面積は各焦点領域の面積に対応する。各曲線の形状及び他の曲線との重なり具合、及びこれにより定まる撮影レンズ１２全体としての被写界深度ＤＯＦは、光学系の特性や撮影目的に応じて設定してよい。なおこれらの曲線Ｃａ，Ｃｂ，Ｃｃは各領域のＭＴＦ（Modulation Transfer Function）曲線に対応するものである。

撮影レンズ１２の近焦点領域１２ａ、中焦点領域１２ｂ、遠焦点領域１２ｃを通過した光束は、ＣＣＤ１６の各フォトセンサに入射する。図５に示すようにＣＣＤ１６は、撮影レンズ１２の近焦点領域１２ａを通過した光束を受光する近画像用受光セル１６ａと、中焦点領域１２ｂを通過した光束を受光する中画像用受光セル１６ｂと、遠焦点領域１２ｃを通過した光束を受光する遠画像用受光セル１６ｃとを有する。受光セル１６ａ，１６ｂ，１６ｃは、マイクロレンズＭＬ、及び受光部１７の前面に設けられた遮光膜１８ａ，１８ｂ，１８ｃにより近焦点領域１２ａ、中焦点領域１２ｂ、遠焦点領域１２ｃを通過した光束をそれぞれ選択的に受光するようになっており、そのため遮光膜１８ａ，１８ｂ，１８ｃはそれぞれ異なる形状をしている。なお受光部１７の前面に遮光膜を設ける代わりに、マイクロレンズＭＬの前面に遮光部材を設けるようにしてもよい。

なお図６に示すように、これら受光セルの数は、対応するレンズ領域の面積に応じた比率になっており、本実施形態では中焦点領域１２ｂに対応する中画像用受光セル１６ｂが最も素子数が多くなっている。本実施の形態では、中画像用受光セル１６ｂから得られる画像が主画像であり、撮影レンズの面積比に応じて中画像用受光セル１６ｂを多くすることで高画質の主画像を得ることができる。なお、各受光セルの数は、受光セルに対応する焦点領域の面積比と略等しくなるようにしてもよい。また受光セルは、得られた画像において特定の領域や方向で画質が劣化しないように配置することが好ましく、複数の焦点領域のそれぞれに対応したセルが混在することによる画素データの欠落を、補間等により適宜補うことが好ましい。

またＣＰＵ４０は、絞り駆動部３４を介して絞り１４を制御するとともに、ＣＣＤ制御部３２を介してＣＣＤ１６での電荷蓄積時間（シャッタスピード）や、ＣＣＤ１６からの画像信号の読み出し制御等を行う。ＣＣＤ１６に蓄積された信号電荷は、ＣＣＤ制御部３２から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出され、アナログ信号処理部２０に加えられる。

アナログ信号処理部２０は、ＣＣＤ１６から出力された電圧信号に対して相関二重サンプリング処理により各画素ごとのＲ、Ｇ、Ｂ信号をサンプリングホールドし、増幅した後Ａ／Ｄ変換器２１に加える。Ａ／Ｄ変換器２１は、順次入力するアナログのＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。

デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正及び感度補正を含むゲイン・コントロール処理、ガンマ補正処理、ＹＣ処理等の所定の信号処理を行う。

デジタル信号処理部２４で処理された画像データは、ＶＲＡＭ５０に入力される。ＶＲＡＭ５０には、それぞれが１コマ分の画像を表す画像データを記憶するＡ領域とＢ領域とが含まれており、１コマ分の画像を表す画像データがＡ領域とＢ領域とで交互に書き換えられ、画像データが書き換えられている領域以外の領域から、書き込まれた画像データが読み出される。ＶＲＡＭ５０から読み出された画像データはビデオ・エンコーダ２８においてエンコーディングされて液晶モニタ３０に出力され、これにより被写体像が液晶モニタ３０に表示される。

液晶モニタ３０はタッチパネルを採用しており、取得した画像を表示すると共に、後述するように画面を介したユーザの操作により、後述するように主要被写体及びその他被写体の指定、また被写体間の合焦優先順位の設定、ぼかす領域の指定等の操作が可能になっている。

また、操作部３８のシャッタボタンの第１段階の押下（半押し）があると、ＣＰＵ４０は、ＡＦ動作（合焦状態制御工程）を開始させ、レンズ駆動部３６を介して撮影レンズ１２の合焦状態の制御を行う。また、シャッタボタンの半押し時にＡ／Ｄ変換器２１から出力される画像データは、ＡＥ検出部４４に取り込まれる。

ＣＰＵ４０は、ＡＥ検出部４４から入力するＧ信号の積算値より被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影Ｅｖ値に基づいて絞り１４の絞り値及びＣＣＤ１６の電子シャッタ（シャッタスピード）を決定し、その結果に基づいて絞り１４及びＣＣＤ１６での電荷蓄積時間を制御する。

ＡＦ処理部４２（合焦状態制御手段）は、位相差ＡＦ処理を行う部分であり、画像データのうちの所定のフォーカス領域内の主画素、副画素の画像データの位相差から求めたデフォーカス量が０になるように、撮影レンズ１２内のフォーカスレンズを制御する。

ＡＥ動作及びＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２１から出力される画像データが画像入力コントローラ２２からメモリ(SDRAM) ４８に入力され、一時的に記憶される。

メモリ４８への一時記憶後、デジタル信号処理部２４におけるＹＣ処理等の信号処理や圧縮伸張処理部２６でのJPEG (joint photographic experts group)形式への圧縮処理等を経て画像ファイルが生成され、その画像ファイルは、メディア・コントローラ５２により読み出されてメモリカード５４に記録される。メモリカード５４に記録された画像は、操作部３８の再生ボタンを操作することにより液晶モニタ３０で再生表示することができる。

［本発明における撮像処理］
＜第１の実施形態＞
次に、上記構成の撮像装置１０で行う撮像処理について説明する。図７（撮像方法、撮像プログラム）は、本発明の第１の実施形態に係る撮像処理を示すフローチャートであり、ＥＥＰＲＯＭ４６（記録媒体）に記憶されたプログラム（撮像プログラム）に基づきＣＰＵ４０が実行を制御する。第１の実施形態では、主要被写体が主領域である中焦点領域１２ｂで合焦するように制御して画像を取得する。撮像処理のイメージを図８の(ａ)〜（ｆ）（撮像方法、撮像プログラム）に示す。図８の(ａ)において主要被写体は子供Ｑ１であり、犬Ｑ２，木Ｑ３はそれ以外の被写体である。なお図８の(ａ)では、焦点領域１２ａ，１２ｃ、及びこれらに対応する合焦曲線Ｃａ，Ｃｃの図示は省略している。

撮像処理が開始されると、まずレンズを初期位置に移動する（Ｓ１００）。初期位置は任意に設定してよいが、例えば、主領域である中焦点領域１２ｂが距離２ｍの被写体に合焦するレンズ位置を初期位置とすることができる。撮影レンズ１２を初期位置に移動すると撮影可能となり、ユーザが操作部３８のシャッタボタンを押下して撮影指示が入力されると（Ｓ１０２）、絞り１４の絞り値に基づいて被写体の距離分布を検出（Ｓ１０４）し、検出した距離分布に基づいて、主要被写体である子供Ｑ１を主領域で合焦させる（Ｓ１０６；合焦状態制御工程）。この状態では子供Ｑ１は中焦点領域１２ｂの幅Ｗｂ内にあり（撮影レンズ１２全体としての被写界深度ＤＯＦの範囲内でもある）、子供Ｑ１の位置は曲線ＣｂのピークＰｂの位置と一致している。なおＳ１０６において被写体が主要被写体であるか否かの判断は、人物の顔であるか否か、撮影領域に占める比率、あるいは液晶モニタ３０を介したユーザの指定等により行うことができる。

なお第１の実施形態において、距離分布は種々の方法により検出することができる。例えば、特開２０１１−１２４７１２号に記載されているように位相差情報を利用して算出するようにしてもよいし、異なるレンズ位置で取得された複数の撮像信号のコントラストを比較することにより算出するようにしてもよい。後述する第２〜第４の実施形態についても同様である。

Ｓ１０６の合焦制御後、画像を取得し（Ｓ１０８；撮像工程）、取得した画像を合焦情報（被写体の距離分布の幅、撮影レンズ１２の被写界深度、被写体の合焦度 等）と関連付けてメモリカード５４に記録する（Ｓ１１０）。これにより、後述するように合焦度情報を参照した画像の抽出・合成等が可能になる。

なお第１の実施形態において動画撮影を行う場合は、主要被写体の移動（即ち、距離分布の変化）に応じてＳ１０４〜Ｓ１１０の処理を継続的に行って画像を取得し、記録する。

＜第２の実施形態＞
図９（撮像方法、撮像プログラム）は、本発明の第２の実施形態に係る撮像処理を示すフローチャートであり、ＥＥＰＲＯＭ４６に記憶されたプログラムに基づきＣＰＵ４０が実行を制御する。第２の実施形態では、撮影レンズ１２の被写界深度が被写体の距離分布の幅以上であるか否かに応じた合焦制御を行う。

撮像処理が開始されると、ＣＰＵ４０は撮影レンズ１２を初期位置に移動する（Ｓ２００）。撮影指示が入力されると（Ｓ２０２）、絞り１４の絞り値に基づいて撮影レンズ１２全体としての被写界深度ＤＯＦを算出し（Ｓ２０４）、次いで被写体の距離分布を検出（Ｓ２０６）する。その結果、被写界深度ＤＯＦが被写体の距離分布の幅ＳＤ以上である場合は（Ｓ２０８でＹＥＳ）、Ｓ２１０（合焦状態制御工程）へ進んで図８の(ｂ)に示すように幅ＳＤが被写界深度ＤＯＦ内に収まるように合焦制御をする。

Ｓ２１０の合焦制御の際に多焦点レンズ全体としての被写界深度ＤＯＦにより被写体の距離分布の幅ＳＤをどのようにカバーするかは、ＤＯＦとＳＤの広さの違いの程度や撮影目的に応じて定めることができる。例えば、距離分布の幅ＳＤが被写界深度ＤＯＦ内に収まるようにした上で、ＤＯＦの中心とＳＤの中心とが一致するように制御してもよいし、ＤＯＦをＳＤの前側または後ろ側に寄せるように制御してもよい。またいずれかの焦点領域に関して、主要被写体等特定の被写体に対する合焦度が最大になるように制御してもよい。

Ｓ２１０での合焦制御後、撮像し（Ｓ２１２；撮像工程）、取得した画像と各被写体Ｑ１〜Ｑ３の合焦度情報合焦情報（被写体の距離分布の幅、撮影レンズ１２の被写界深度、被写体の合焦度 等）とを関連付けてメモリカード５４に記録する（Ｓ２１４）。

一方、被写界深度ＤＯＦが被写体の距離分布の幅ＳＤより狭い場合は（Ｓ２０８でＮＯ）、Ｓ２１６（合焦状態制御工程）へ進んで図８の(ｃ)に示すようにＳＤがＤＯＦの前後均等にはみ出すように合焦制御して画像を取得し（Ｓ２１８；撮像工程）、取得した画像と各被写体Ｑ１〜Ｑ３の合焦度情報とを関連付けてメモリカード５４に記録する（Ｓ２２０）。

なお第２の実施形態において動画撮影を行う場合は、Ｓ２０４〜Ｓ２１４またはＳ２０４〜Ｓ２２０の処理を継続的に行う。

このように第２の実施形態では、撮影レンズ１２全体としての被写界深度ＤＯＦが前記被写体の距離分布の幅ＳＤ以上であるか否かに応じた合焦制御を行って画像を取得するので、被写体の距離分布に合わせて適切に合焦した画像を取得することができる。

＜第３の実施形態＞
図１０（撮像方法、撮像プログラム）は、本発明の第３の実施形態に係る撮像処理を示すフローチャートであり、ＥＥＰＲＯＭ４６に記憶されたプログラムに基づきＣＰＵ４０が実行を制御する。第３の実施形態では、第２の実施形態と同様に撮影レンズ１２の被写界深度が被写体の距離分布の幅以上であるか否かに応じた合焦制御を行うが、第２の実施形態と異なり、被写界深度ＤＯＦが被写体の距離分布の幅ＳＤより狭い場合は被写体間の合焦優先順位に基づいて前記合焦制御を行って画像を取得する。

図１０のフローチャートにおいて、Ｓ３００〜Ｓ３１４の処理は図９のフローチャートのＳ２００〜Ｓ２１４と同様である。なお第２の実施形態と同様に、Ｓ２０４では絞り１４の絞り値に基づいて撮影レンズ１２全体としての被写界深度ＤＯＦを算出している。

図１０のフローチャートでは、被写界深度ＤＯＦが被写体の距離分布の幅ＳＤより狭い場合は（Ｓ３０８でＮＯ）、まずＳ３１６へ進んで被写体間の優先度を指定する。優先度の指定は、撮像装置１０側で顔検出を行い検出された顔の人物の優先順位を当該人物以外の被写体よりも高く設定するようにしてもよいし、タッチパネル機能を有する液晶モニタ３０を介してユーザによる指定を受け付けるようにしてもよい。

図１１の（ａ）〜（ｃ）（撮像方法、撮像プログラム）はそのような優先順位設定の例を示す図である。図１１の(ａ)のように被写体として子供Ｑ１と犬Ｑ２と木Ｑ３が存在している場合に、撮像装置１０側で顔検出を行って優先順位付けをした例が図１１の(ｂ)であり、この例では子供Ｑ１が主要被写体で優先順位１位、犬Ｑ２が優先順位２位、木Ｑ３が優先順位３位である。これら被写体Ｑ１〜Ｑ３には、優先順位の順に枠ＦＬ１（太い実線）、枠ＦＬ２（細い実線）、枠ＦＬ３（点線）が付され、ユーザが被写体間の優先順位を確認できるようになっている。なお枠ＦＬ１〜３は、ユーザが液晶モニタ３０上で操作することにより大きさや位置、表示のＯＮ／ＯＦＦ等が変更されるようにしてもよい。

図１１の(ｃ)は、ユーザが被写体間の優先順位を設定する場合の例である。図１１の(ｃ)ではユーザが触れた順（ここでは子供Ｑ１、犬Ｑ２、木Ｑ３の順とする）に優先順位が設定され、図１１の(ｂ)と同様に枠ＦＬ１〜ＦＬ３が表示されている。

このようにしてＳ３１６で優先順位が設定されると、Ｓ３１８（合焦状態制御工程）へ進んで優先順位の高い被写体を撮影レンズ１２の被写界深度ＤＯＦ内に収めるように合焦制御する。なおこの合焦制御において、優先順位の高い被写体を撮影レンズ１２の被写界深度ＤＯＦ内に収めるようにした上でさらにどのように制御するかは、種々の手法を採用することができる。例えば、優先順位１位の被写体Ｑ１が撮影レンズ１２のいずれかの焦点領域で正確に合焦するようにしたり、あるいは図８の(ｄ)のように優先順位１位の被写体Ｑ１の合焦度をできるだけ高くしつつ優先順位２位の被写体Ｑ２を被写界深度ＤＯＦ内に収めたりすることができる。またはできるだけ多くの被写体を被写界深度ＤＯＦ内に収めるようにしてもよい。

合焦制御が終了すると被写体の画像を取得し（Ｓ３２０；撮像工程）、当該取得した画像と合焦情報合焦情報（被写体の距離分布の幅、撮影レンズ１２の被写界深度、被写体の合焦度 等）とを関連付けてメモリカード５４に記録する（Ｓ３２２）。

なお第３の実施形態において動画撮影を行う場合は、Ｓ３０４〜Ｓ３２２の処理を継続して行う。

このようにして第３の実施形態では、被写体の距離分布に合わせて適切に合焦した画像を取得することができる。

＜第４の実施形態＞
図１２（撮像方法、撮像プログラム）は、本発明の第４の実施形態に係る撮像処理を示すフローチャートであり、ＥＥＰＲＯＭ４６に記憶されたプログラムに基づきＣＰＵ４０が実行を制御する。第４の実施形態では、主要被写体の手前側または奥側の領域をぼかした画像を取得する。

図１２のフローチャートにおいて、Ｓ４００〜Ｓ４０６の処理は図９のフローチャートのＳ２００〜Ｓ２０６、図１０のフローチャートのＳ３００〜Ｓ３０６の処理と同様である。なお第２，第３の実施形態と同様に、Ｓ４０４では絞り１４の絞り値に基づいて撮影レンズ１２全体としての被写界深度ＤＯＦを算出している。

図１２のフローチャートでは、Ｓ４０６までの処理が終わると、主要被写体の手前をぼかすか否かを判断する（Ｓ４０８）。操作部３８や液晶モニタ３０を介したユーザの指示入力により主要被写体の手前をぼかすと判断した場合（Ｓ４０８でＹＥＳ）、ＣＰＵ４０は図８の(ｅ)に示すように主要被写体である子供Ｑ１が撮影レンズ１２の近焦点領域１２ａで合焦するように制御し（Ｓ４１０；合焦状態制御工程）、撮像する（Ｓ４１２；撮像工程）。撮像した画像は、合焦情報と関連付けてメモリカード５４に記録する（Ｓ４１４）。上記撮像処理により子供Ｑ１より奥側の被写体（例えば木Ｑ３）は撮影レンズ１２の被写界深度ＤＯＦの範囲内で合焦するが、子供Ｑ１より手前の被写体（例えば犬Ｑ２）は子供Ｑ１からの距離に応じてぼけることとなる。なお図８の(ｅ)では、撮影レンズ１２における中焦点領域１２ｂと、これに対応する合焦度曲線Ｃｂの図示を省略している。

一方主要被写体の奥側をぼかすと判断した場合（Ｓ４０８でＮＯ）、ＣＰＵ４０は図８の(ｆ)に示すように主要被写体である子供Ｑ１が撮影レンズ１２の遠焦点領域１２ｃで合焦するように制御し（Ｓ４１６；合焦状態制御工程）、撮像する（Ｓ４１８；撮像工程）。撮像した画像は、合焦情報と関連付けてメモリカード５４に記録する（Ｓ４２０）。上記撮像処理により、子供Ｑ１より手前の被写体（例えば犬Ｑ２）は撮影レンズ１２の被写界深度ＤＯＦの範囲内で合焦するが、子供Ｑ１より奥側の被写体（例えば木Ｑ３）は子供Ｑ１からの距離に応じてぼけることとなる。なお図８の(ｆ)では、撮影レンズ１２における中焦点領域１２ｂと、これに対応する合焦度曲線Ｃｂの図示を省略している。

このようにして第４の実施形態では、ユーザは撮影目的に合わせて主要被写体の手前側または奥側をぼかした所望の画像を取得することができる。なお液晶モニタ３０を介してユーザにぼかし対象領域を指定させ、その領域がぼけるように合焦制御して撮像するようにしてもよい。

［本発明における画像処理］
次に、上述の手法で取得した画像の抽出・合成について説明する。

＜第５の実施形態＞
図１３（画像処理方法、画像処理プログラム）は、本発明の第５の実施形態に係る画像処理を示すフローチャートであり、ＥＥＰＲＯＭ４６（記録媒体）に記憶されたプログラム（画像処理プログラム）に基づきＣＰＵ４０が実行を制御する。図１３のフローチャートでは、上述した第１〜第４の実施形態に係る手法で取得した画像の中から画像を抽出し、抽出された画像から、全ての被写体がしきい値以上の合焦度を有するような新たな画像を合成する場合について説明する。

まずＳ５００で、メモリカード５４に記録された画像から、対象となる被写体（ここでは、図１１の（ａ）〜（ｃ）の例のように、子供Ｑ１，犬Ｑ２，木Ｑ３が存在している場合について説明する）が含まれている画像を検出する。対象となる被写体、例えば子供Ｑ１を検出したら、その対象被写体の合焦度を検出し、合焦度がしきい値以上であるか否か判断する（Ｓ５０２）。上述した第１〜第４の実施形態で説明したように、メモリカード５４には画像と合焦情報（被写体の距離分布の幅、撮影レンズ１２の被写界深度、被写体の合焦度 等）とが関連付けて記録されているので、この合焦情報を参照することにより対象被写体の合焦度を検出することが可能となる。なおしきい値は撮像装置１０側で設定した値を用いてもよいし、操作部３８を介してユーザに指定させた値を用いてもよい。また被写体ごとにしきい値を設定するようにしてもよい。

検出された対象被写体の合焦度がしきい値以上である場合（Ｓ５０２でＹＥＳ）は５０４へ進んで検出された合焦度が最大であるか否か判断し、最大であると判断された場合（Ｓ５０４でＹＥＳ）は処理対象の画像を対象被写体に関する合成元画像として更新してＳ５０８へ進んで、全画像について処理したか否かを判断する。なおＳ５０２，Ｓ５０４でＮＯの場合は、合成元画像を更新せずにＳ５０８へ進む。Ｓ５０８でＹＥＳの場合はＳ５１０へ進み、ＮＯの場合は全画像について処理が終了するまでＳ５０２〜Ｓ５０６の処理を繰り返す。これにより、メモリカード５４に記録された画像の中で、対象被写体の合焦度がしきい値以上かつ最大の画像が抽出される。

このようにして一つの対象被写体についての画像抽出処理が終了すると、全ての被写体について処理が終了したか否かを判断する（Ｓ５１０）。図１１の（ａ）〜（ｃ）に示す例では、子供Ｑ１についての抽出処理は終了したが犬Ｑ２及び木Ｑ３についての処理が終了するまではＳ５１０の判断がＮＯとなり、Ｓ５００〜Ｓ５０８までの処理がＱ２，Ｑ３についても繰り返される。Ｓ５１０の判断がＹＥＳになると（即ち、全ての被写体について抽出処理が終了すると）、Ｓ５１２で画像合成を行う。この画像合成は、抽出された画像から、対象被写体ごとに、当該対象被写体の部分を抽出し、１枚の画像として合成する処理である。

このように第５の実施形態では、全ての被写体がしきい値以上の合焦度を有するような画像を合成することができる。なお画像の抽出・合成は、処理前の画像及び処理後の画像を液晶モニタ３０に表示して行うようにしてよい。

＜第６の実施形態＞
図１４（画像処理方法、画像処理プログラム）は、本発明の第６の実施形態に係る画像処理を示すフローチャートであり、ＥＥＰＲＯＭ４６に記憶されたプログラム（画像処理プログラム）に基づきＣＰＵ４０が実行を制御する。図１４のフローチャートでは、上述した第１〜第４の実施形態に係る手法で取得した画像の中から画像を抽出し、抽出された画像から、特定の被写体（関心被写体）の合焦度がしきい値以上であり、それ以外の被写体の合焦度がしきい値以下の合焦度を有するような新たな画像を合成する場合（例えば、主要被写体は合焦度が高く、それ以外の被写体については合焦度を低くするような場合）について説明する。

まずＳ６００で、メモリカード５４に記録された画像から、対象となる被写体（ここでは、図１１の（ａ）〜（ｃ）の例のように、子供Ｑ１，犬Ｑ２，木Ｑ３が存在している場合について説明する）が含まれている画像を検出する。対象となる被写体を検出したら、当該検出された被写体が関心被写体であるか否か判断する（Ｓ６０２）。図１１の（ａ）〜（ｃ）の例では、撮像装置１０またはユーザの指定により主要被写体である子供Ｑ１を関心被写体とすることができるが、他の被写体であってもよい。検出された被写体が関心被写体である場合はＳ６０４へ進み、関心被写体でない場合（Ｓ６０２でＮＯ）はＳ６１４へ進む。

Ｓ６０４では関心被写体の合焦度を検出し、合焦度がしきい値以上であるか否か判断する。上述した第１〜第４の実施形態で説明したように、メモリカード５４には画像と合焦情報（被写体の距離分布の幅、撮影レンズ１２の被写界深度、被写体の合焦度 等）とが関連付けて記録されているので、この合焦情報を参照することにより関心被写体の合焦度を検出することが可能となる。なおしきい値は撮像装置１０側で設定した値を用いてもよいし、操作部３８を介してユーザに指定させた値を用いてもよい。また被写体ごとにしきい値を設定するようにしてもよい。

関心被写体の合焦度がしきい値以上である場合（Ｓ６０４でＹＥＳ）は６０６へ進んで検出された合焦度が最大であるか否か判断する。最大であると判断された場合（Ｓ６０６でＹＥＳ）は処理対象の画像を関心被写体に関する合成元画像として更新して（Ｓ６０８）Ｓ６１０へ進み、全画像について処理したか否かを判断する。なおＳ６０４，Ｓ６０６でＮＯの場合は、合成元画像を更新せずにＳ６１０へ進む。Ｓ６１０で判断結果がＹＥＳの場合はＳ６１２へ進み、ＮＯの場合は全画像について処理が終了するまでＳ６００〜Ｓ６０８の処理を繰り返す。これにより、メモリカード５４に記録された画像の中で、関心被写体の合焦度がしきい値以上かつ最大の画像が抽出される。

一方、検出された被写体が関心被写体でなくＳ６１４へ進んだ場合、合焦度がしきい値以下であるか否か判断し、判断結果がＹＥＳの場合はＳ６１６へ進んで合焦度が最小であるか否か判断する。判断結果がＹＥＳの場合はＳ６１８へ進んで処理対象の画像を関心被写体以外の被写体に関する合成元画像として更新し、Ｓ６１０へ進む。なおＳ６１４，Ｓ６１６で判断結果がＮＯの場合は合成元画像の更新をせずにＳ６１０へ進む。

このようにして一つの対象被写体についての画像抽出処理が終了すると、全ての被写体について処理が終了したか否かを判断する（Ｓ６１０）。Ｓ６１０の判断がＹＥＳになると、Ｓ６１２で画像合成を行う。この画像合成は、抽出された画像から、対象被写体ごとに、当該対象被写体の部分を抽出し、１枚の画像として合成する処理である。上述のように関心被写体については合焦度が高い画像が抽出されており、それ以外の被写体については合焦度が低い画像が抽出されているので、合成処理により、関心被写体の合焦度がしきい値以上であり、それ以外の被写体の合焦度がしきい値以下の合焦度を有するような新たな画像が合成される。なお画像の抽出・合成は、処理前の画像及び処理後の画像を液晶モニタ３０に表示して行うようにしてよい。

なお第５及び第６の実施形態において、動画像について画像を抽出・合成する場合、抽出の基準値（合焦度のしきい値）を時刻ごとに変えてもよい。例えば、全ての時刻において固定されたしきい値以上の合焦度を有する画像を抽出するのではなく、初めのうちは合焦度の低い画像を抽出し、時間の経過とともに徐々に合焦度の高い画像を抽出するようにしてもよい。このようにして抽出した画像を動画として再生すると、当初ぼけていた被写体が徐々にはっきり映るようになり、急激に合焦させると違和感がある場合に自然な動画像を得ることができる。またその逆に、合焦していた被写体が徐々にぼけるように画像を抽出してもよい。このような時間変化する基準値（しきい値）は撮像装置で設定するようにしてもよいし、液晶モニタ３０や操作部３８を介してユーザが設定した値を用いてもよい。

上述した実施形態では、撮像処理及び画像処理を行う装置を撮像装置１０として説明していたが、本発明に係る撮像処理及び画像処理は撮像装置での実行に限定されるものではなく、カメラ付携帯電話やパーソナルコンピュータ（ＰＣ）、携帯型ゲーム機等において実行することが可能である。

＜第７の実施形態＞
［撮像装置の構成］
次に、本発明の第７の実施形態について説明する。第７の実施形態に係る撮像装置１０（撮像装置、画像処理装置）の構成は上記第１〜第６の実施形態に係る撮像装置１０と同様（図１〜３，５，６等を参照）であるので詳細な説明を省略し、これら実施形態との相違について説明する。

図１５（撮像方法、撮像プログラム）は、撮影レンズ１２（多焦点レンズ）における、被写体距離と合焦度合との関係を示す模式図である。図１５中、合焦度曲線Ｃａ，Ｃｂ，Ｃｃは近焦点領域１２ａ、中焦点領域１２ｂ、遠焦点領域１２ｃの距離Ｄにおける合焦度合を示す曲線である。曲線がピークとなる点Ｐａ，Ｐｂ，Ｐｃの距離が撮影レンズ１２の各領域の合焦距離を表し、曲線の高さが合焦度合に対応し、曲線の広がりは被写界深度に対応する。従って被写体距離とＰａ，Ｐｂ，Ｐｃとが一致するように撮影レンズを制御すれば被写体が各焦点領域を介して合焦し、被写体が各曲線Ｃａ，Ｃｂ，Ｃｃの広がり内に存在すれば、ある程度合焦することになる。曲線が囲む領域の面積は各焦点領域の面積に対応する。各曲線の形状及び他の曲線との重なり具合は、光学系の特性や撮影目的に応じて設定してよい。本実施形態において合焦度曲線Ｃａ，Ｃｂ，Ｃｃは、１ｍ以下の近距離から遠距離（無限遠）までをカバーするように設定されている。なおこれらの曲線Ｃａ，Ｃｂ，Ｃｃは各領域のＭＴＦ（Modulation Transfer Function）曲線に対応するものである。

［撮像処理］
次に、上記構成の撮像装置１０で行う撮像処理について説明する。図１６（撮像方法、撮像プログラム）は、静止画撮影を行う場合の撮像処理を示すフローチャートであり、ＥＥＰＲＯＭ４６（記録媒体）に記憶されたプログラム（撮像プログラム）に基づきＣＰＵ４０が実行を制御する。撮像処理が開始されると、ＣＰＵ４０は撮影レンズ１２を初期位置に移動し（Ｓ７００）、撮影指示が入力されると（Ｓ７０２）撮影指示時のレンズ位置のまま、全領域で画像を取得し、記録する（Ｓ７０４）。Ｓ７０４で取得した画像を記録する際に、後述する合焦情報を関連付けて記録するようにしてもよい。次にＣＰＵ４０は、撮影レンズ１２の合焦状態を検出し、各焦点領域１２ａ，１２ｂ，１２ｃでの合焦に要する時間を算出する（Ｓ７０６）。合焦時間算出の結果、主領域での合焦時間が最短である場合は（Ｓ７０８でＹＥＳ）、主要被写体の主領域への合焦制御（Ｓ７０９；合焦状態制御工程）を行って画像を取得し（Ｓ７１０；撮像工程）、取得した画像と合焦情報とを関連付けてメモリカード５４に記録する（Ｓ７１２）。一方、主領域が合焦時間最短でない場合は（Ｓ７０８でＮＯ）、Ｓ７１４へ進んで所要合焦時間最短の領域を介して合焦するよう撮影レンズ１２を制御して（Ｓ７１４；合焦状態制御工程）画像を取得し（Ｓ７１６；撮像工程）、取得した画像と合焦情報とを関連付けてメモリカード５４に記録する（Ｓ７１８）。

第７の実施形態において動画撮影を行う場合は、図１７（撮像方法、撮像プログラム）のフローチャートに示すようにＳ７０６〜Ｓ７１６までの処理を動画撮影終了までの間（Ｓ７２０でＮＯ）繰り返す。その他の処理は図１６のフローチャートと同様である。

なお上記撮像処理において、合焦に要する時間は、撮像指示時のレンズ位置と、合焦するレンズ位置と、レンズ移動速度と、から算出することができる。

このような処理により第７の実施形態では、撮影指示に応じて、主要被写体を所要合焦時間最短の領域を介して合焦させて画像を取得するので、合焦した高速に（タイムラグなく）画像を取得することができる。また主要被写体をいずれかの焦点領域を介して合焦させるので、正確に合焦した画像を得ることができる。

＜第８の実施形態＞
次に、本発明に係る撮像処理の第８の実施形態について説明する。図１８（撮像方法、撮像プログラム）は、静止画撮影を行う場合の撮像処理を示すフローチャートであり、ＥＥＰＲＯＭ４６に記憶されたプログラム（撮像プログラム）に基づきＣＰＵ４０が実行を制御する。

撮像処理が開始されると、ＣＰＵ４０は撮影レンズ１２を初期位置に移動し（Ｓ８００）、撮影指示が入力されると（Ｓ８０２）撮影指示時のレンズ位置のまま、全領域で画像を取得し、記録する（Ｓ８０４；撮像工程）。Ｓ８０４で取得した画像を記録する際に、後述する合焦情報を関連付けて記録するようにしてもよい。次にＣＰＵ４０は、撮影レンズ１２の合焦状態を検出し（Ｓ８０６）、主要被写体を主領域を介して合焦させて（Ｓ８０７；合焦状態制御工程）画像を取得し（Ｓ８０８；撮像工程）、取得した画像と合焦情報とを関連付けてメモリカード５４に記録する（Ｓ８１０）。

動画撮影を行う場合は、図１９（撮像方法、撮像プログラム）のフローチャートに示すようにＳ８０６〜Ｓ８１０までの処理を動画撮影終了までの間（Ｓ８１２でＮＯ）繰り返す。その他の処理は図１８のフローチャートと同様である。

このような処理により第８の実施形態では、撮影指示に応じて、主要被写体を主領域で合焦させて画像を取得するので、正確に合焦した高品質の画像を取得することができる。

＜第９の実施形態＞
次に、本発明に係る撮像処理の第９の実施形態について説明する。図２０（撮像方法、撮像プログラム）は、静止画撮影を行う場合の撮像処理を示すフローチャートであり、ＥＥＰＲＯＭ４６に記憶されたプログラム（撮像プログラム）に基づきＣＰＵ４０が実行を制御する。以下に説明するように第９の実施形態では、まず合焦所要時間最短の焦点領域での撮像を行い、合焦所要時間最短の焦点領域が主領域でない場合は、さらに主領域での撮像を行う。

撮像処理が開始されると、ＣＰＵ４０は撮影レンズ１２を初期位置に移動する（Ｓ９００）。この状態を模式的に示すのが図２２の(ａ)である。初期位置は任意に設定してよいが、例えば、主領域に対応する中焦点領域１２ｂが距離２ｍの被写体に合焦するレンズ位置を初期位置とすることができる。撮影レンズ１２を初期位置に移動すると撮影可能となり、撮影指示が入力されると（Ｓ９０２）、撮影指示時のレンズ位置のまま、全領域で（即ち、近焦点領域１２ａ，中焦点領域１２ｂ，遠焦点領域１２ｃの全てで）画像を取得し、記録する（Ｓ９０４；撮像工程）。ここで図１５について説明したように、撮影レンズ１２の各焦点領域は近距離から遠距離までをカバーするように設定されているので、図２２の(ｂ)のように主要被写体Ｑが遠焦点領域のピークＰｃと中焦点領域のピークＰｂの間におりいずれの焦点領域でも完全には合焦していない場合に、撮影指示時のレンズ位置のまま画像を取得しても（即ち、合焦制御を行わずに画像を取得しても）、主要被写体Ｑはいずれかの焦点領域ではある程度合焦している。したがって、所定の画質の画像を高速に取得することができる。なおＳ３０４で取得した画像を記録する際に、後述する合焦情報を関連付けて記録するようにしてもよい。

次にＣＰＵ４０は、撮影レンズ１２の合焦状態を検出し、各焦点領域での合焦に要する時間を算出する（Ｓ９０６）。合焦時間算出の結果、主領域（中焦点領域１２ｂ）での合焦時間が最短である場合は（Ｓ９０８でＹＥＳ）、Ｓ９０９（合焦状態制御工程）へ進んで主領域への合焦制御を行って画像を取得し（Ｓ９１０；撮像工程）、取得した画像と合焦情報とを関連付けてメモリカード５４に記録する（Ｓ９１２）。一方、主領域が合焦時間最短でない場合は（Ｓ９０８でＮＯ）、所要合焦時間最短の領域を介して合焦するよう撮影レンズ１２を制御して（Ｓ９１４；合焦状態制御工程）画像を取得し（Ｓ９１６；撮像工程）、取得した画像と合焦情報とを関連付けてメモリカード５４に記録する（Ｓ９１８）。図２２の（ａ）〜（ｆ）（撮像方法、撮像プログラム）に示す例では、主要被写体ＱはピークＰｃに最も近い距離におり遠焦点領域１２ｃでの合焦時間が最短なので、図２２の(ｃ)のように遠焦点領域１２ｃを介して合焦させて画像を取得し（Ｓ９１４，Ｓ９１６）、その後図２２の(ｄ)のように主領域である中焦点領域１２ｂを介して合焦させて画像を取得する（Ｓ９１０，Ｓ９１２）。上記処理において所要合焦時間最短の領域が主領域である場合は、主領域での画像取得・記録（Ｓ９１０，Ｓ９１２）後、他の領域での画像取得を行わず処理を終了してよい。

なお第９の実施形態において「合焦情報」とは、撮影指示から画像取得までの時間を示す撮像時間情報、取得した画像の合焦度合を示す合焦情報、及び撮影レンズ１２のいずれの領域により取得された画像であるかを示す撮像領域情報を意味する。第７及び第８の実施形態においても同様である。

このように第９の実施形態では、撮影指示に応じてレンズ位置が初期位置のまま全ての焦点領域で画像を取得し、次いで所要合焦時間最短の領域で画像を取得し、さらに所要合焦時間最短の領域が主領域でない場合は主領域でも画像を取得することで、高速に合焦した画像と正確に合焦した高画質の画像を取得できる。また多焦点レンズである撮影レンズ１２の焦点領域のいずれかを介して合焦させて撮像することで、レンズの最高性能まで合焦した画像を取得できる。

なお第９の実施形態において、主要被写体の指定は、人物の顔が検出された場合その人物を主要被写体として認識するようにしてもよいし、面積最大の被写体を主要被写体として認識するようにしてもよい。またユーザがタッチパネルの機能を有する液晶モニタ３０で触れた場所に対応する被写体を主要被写体として認識するようにしてもよい。図２３の（ａ）〜（ｃ）（撮像方法、撮像プログラム）はそのような主要被写体の指定処理を示す図であり、図２３の（ａ)のように手前（近距離）に犬Ｑ２、中距離に子供Ｑ１、遠距離に樹木Ｑ３が存在する例を示している。図２３の(ｂ)は撮像装置１０が顔認識により子供Ｑ１を主要被写体として認識した場合の例であり、主要被写体であることを示す枠ＦＬを子供Ｑ１の顔の周囲に表示している。一方図２３の(ｃ)はユーザが液晶モニタ３０上で子供Ｑ１の顔部分に触れたことにより子供Ｑ１を主要被写体と認識した場合の例であり、ユーザが触れた点を中心として枠ＦＬが表示されている。なおこのような枠ＦＬは液晶モニタ３０を介したユーザの操作により大きさの変更・位置の移動を行ってよい。

次に、第９の実施形態で動画撮影を行う場合について説明する。図２１（撮像方法、撮像プログラム）は第９の実施形態に係る動画撮影の処理を示すフローチャートである。図２０のフローチャートと同様の処理を行うステップについては同一の符号を付し、詳細な説明は省略する。

図２１に示すフローチャートでは、主領域での画像取得・記録（Ｓ９１０，Ｓ９１２）後、動画撮影終了までの間（Ｓ９２０でＮＯ）、Ｓ９０６〜Ｓ９１２の処理を継続して行う。即ち、所要合焦時間最短の領域で画像を取得し、さらに所要合焦時間最短の領域が主領域でない場合は主領域でも画像を取得し、動画撮影終了までこれを繰り返す。図２２の（ａ）〜（ｆ）の例では、図２２の(ｄ)で主要被写体Ｑを主領域で合焦させて画像を取得・記録（Ｓ９１０，Ｓ９１２）した後で主要被写体Ｑが前方（撮像装置１０に近い方）に移動し、近焦点領域１２ａの所要合焦時間が最短になると（Ｓ９０８でＮＯ）、ＣＰＵ４０は図２２の(ｅ)に示すように、主要被写体が近焦点領域１２ａで合焦するように撮影レンズ１２を制御して（Ｓ９１４）画像を取得・記録し（Ｓ９１６，Ｓ９１８）、さらに図２２の(ｆ)に示すように主領域である中焦点領域１２ｂで合焦するように撮影レンズ１２を制御して（Ｓ９０９）画像を取得・記録する（Ｓ９１０，Ｓ９１２）。

図２１に示すローチャートでは、上記処理により、動画撮影の場合に撮影指示に応じて所要合焦時間最短の領域で画像を取得し、さらに所要合焦時間最短の領域が主領域でない場合は主領域でも画像を取得することで、高速に合焦した画像と正確に合焦した高画質の画像を取得できる。また多焦点レンズである撮影レンズ１２の焦点領域のいずれかを介して合焦させて撮像することで、レンズの最高性能まで合焦した画像を取得できる。なお図２１のフローチャートにおいては撮影指示後の全領域での撮影（Ｓ９０４）は省略しているが、必要に応じこのような撮影を行うようにしてもよい。

上述した第７から第９の実施形態では、ＡＦ処理部４２が位相差ＡＦ処理を行う場合について説明したが、ＡＦ処理部４２はコントラストＡＦ処理を行うようにしてもよい。コントラストＡＦ処理を行う場合、ＡＦ処理部４２は所定のフォーカス領域内の画像データの高周波成分を積分して、合焦状態を示すＡＦ評価値を算出し、このＡＦ評価値が極大となるように撮影レンズ１２の合焦状態を制御する。

［本発明における画像処理］
次に、本発明における画像処理について説明する。本発明においては、上述した撮像処理の第７〜第９の実施形態に示すように、取得した画像と合焦情報とを関連付けて記録しているので、この合焦情報を参照して所望の画像を選択・抽出できる。具体的な処理は、ＥＥＰＲＯＭ４６に記憶されたプログラム（画像処理プログラム）に基づきＣＰＵ４０が実行を制御する。

図２４の（ａ）〜（ｃ）（画像処理方法、画像処理プログラム）は本発明における画像抽出処理を示す概念図である。ここでは時刻ｔ_０〜ｔ_ｆの間動画撮影が行われた場合について説明する。本発明に係る撮像方法で動画撮影を行う場合、いずれの焦点領域で画像が取得されるかは、上述した撮像処理の第７から第９の実施形態のいずれを用いるか、及び主要被写体がどのように移動するかに依存するが、ここでは上述した撮像処理の第９の実施形態により、図２４の(ａ)に示すパターンで画像が取得されたものとする。図２４の(ａ)中、各時刻ｔ０〜ｔｆの下に示されたＡ，Ｂ，Ｃはそれぞれ、近焦点領域１２ａ，中焦点領域１２ｂ，遠焦点領域１２ｃで合焦・取得された画像を表す。なお撮像処理の第３の実施形態では、所要合焦時間最短の領域で画像を取得し、さらに所要合焦時間最短の領域が主領域でない場合は主領域でも画像を取得するので、動画撮影の各コマの間隔Δｔ以下の時間間隔で２枚の画像が取得されることがあるが、以下の説明ではこのような２枚の画像を「時刻ｔ_ｉで撮影された画像Ａ，Ｂ」のようにまとめて記載する。

図２４の(ａ)では、時刻ｔ_０，ｔ_１，ｔ_２，・・・ｔ_ｆ−１，ｔ_ｆで図の下側に示す画像が取得されたものとする。例えば時刻ｔ_０では所要合焦時間最短の領域が遠焦点領域１２ｃであったため画像Ｃが取得され、所要合焦時間最短の領域が主領域（中焦点領域１２ｂ）でなかったので主領域で画像Ｂが取得された状況を示している。

上述した撮像処理の第９の実施形態では、図２１のＳ９１２及びＳ９１８について説明したように、画像と合焦情報（撮像時間情報、合焦度情報、撮像領域情報）とが関連付けて記録されている。従って各画像に対して記録された合焦情報を参照することにより、所望の画像を選択・抽出できる。

例えば、撮影指示から画像取得までの時間を示す撮像時間情報を参照することで、タイムラグが短く高速に合焦・撮像された画像を抽出することができる。図２４の(ｂ)は、図２４の(ａ)に示す画像群から撮像時間が最短の画像を抽出した例である。例えば、時刻ｔ_０ではまず画像Ｃが取得されその後画像Ｂが取得されているので、画像Ｃが抽出される。同様にして、図２４の(ｃ)の例に示すように撮像領域情報を参照し主領域で撮像された画像Ｂを抽出することもできる。また、合焦度情報を参照して、合焦度がしきい値以上の画像を抽出するようにしてもよい。この場合合焦度合がしきい値以上の画像が複数ある場合は、最も合焦度の高い画像を抽出するようにしてよい。

なお上述した合焦情報を参照して画像を抽出する場合、参照する情報を時刻ごとに変えてもよく、また抽出の基準値を時刻ごとに変えてもよい。例えば合焦度を参照して画像を抽出する場合、全ての時刻において合焦度がしきい値以上の画像を抽出するのではなく、初めのうちは合焦度の低い画像を抽出し、時間の経過とともに徐々に合焦度の高い画像を抽出するようにしてもよい。このようにして抽出した画像を動画として再生すると、当初ぼけていた被写体が徐々にはっきり映るようになり、急激に合焦させると違和感がある場合に自然な動画像を得ることができる。またその逆に、合焦していた被写体が徐々にぼけるように画像を選択・抽出してもよい。

このような画像の選択・抽出は、処理前の画像及び処理後の画像を液晶モニタ３０に表示して行うようにしてよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０…撮像装置、１２…撮影レンズ、１２ａ…近焦点領域、１２ｂ…中焦点領域、１２ｃ…遠焦点領域、１６…固体撮像素子（ＣＣＤ）、１６ａ…近画像用受光セル、１６ｂ…中画像用受光セル、１６ｃ…遠画像用受光セル、１８ａ，１８ｂ，１８ｃ…遮光膜、３０…液晶モニタ、３８…操作部、４０…ＣＰＵ、４６…ＥＥＰＲＯＭ、４８…メモリ、５４…メモリカード、Ｃａ，Ｃｂ，Ｃｃ…合焦度曲線、ＤＯＦ…被写界深度、ＳＤ…被写体の距離分布の幅

Claims (18)

1. 複数の領域を有し当該複数の領域のそれぞれが異なる焦点距離を有する多焦点レンズ、を用いた撮像方法であって、
   前記多焦点レンズの合焦状態を制御する合焦状態制御工程と、
   前記制御した合焦状態で被写体の画像を取得する撮像工程と、
   を含み、
   前記合焦状態制御工程では、撮影指示に応じて、主要被写体が前記複数の領域のうち所要合焦時間が最短の領域を介して合焦するように制御する撮像方法。
2. 前記合焦状態制御工程では、前記主要被写体が前記複数の領域のうち最大の面積を有する主領域を介して合焦するように制御する、請求項１に記載の撮像方法。
3. 前記撮影指示の後、前記合焦状態制御工程を行う前に、前記撮影指示の時の合焦状態のまま前記複数の領域の全てに対して画像を取得する請求項１又は２に記載の撮像方法。
4. 前記取得した画像と、前記撮影指示から画像取得までの時間を示す撮像時間情報と、を関連付けて記録する工程をさらに含む請求項１から３のいずれか１項に記載の撮像方法。
5. 前記取得した画像と、前記取得した画像の合焦度合を示す合焦度情報と、を関連付けて記録する工程をさらに含む請求項１から４のいずれか１項に記載の撮像方法。
6. 前記取得した画像と、前記取得した画像がいずれの領域により取得されたものであるかを示す撮像領域情報と、を関連付けて記録する工程をさらに含む請求項１から５のいずれか１項に記載の撮像方法。
7. 複数の領域を有し当該複数の領域のそれぞれが異なる焦点距離を有する多焦点レンズ、を用いた撮像方法であって、
   前記多焦点レンズの合焦状態を制御する合焦状態制御工程と、
   前記制御した合焦状態で被写体の画像を取得する撮像工程と、
   を含み、
   撮影指示に応じて、前記合焦状態制御工程で主要被写体が前記複数の領域のうち所要合焦時間が最短の領域を介して合焦するように制御して、前記撮像工程で前記被写体の画像を取得し、続いて
   前記合焦状態制御工程で前記主要被写体が前記複数の領域のうち最大の面積を有する主領域を介して合焦するように制御して、前記撮像工程で前記被写体の画像を取得する、
   撮像方法。
8. 前記撮影指示の後、前記合焦状態制御工程を行う前に、前記撮影指示の時の合焦状態のまま前記複数の領域の全てに対して画像を取得する請求項７に記載の撮像方法。
9. 前記取得した画像と、前記撮影指示から画像取得までの時間を示す撮像時間情報と、を関連付けて記録する工程をさらに含む請求項７又は８に記載の撮像方法。
10. 前記取得した画像と、前記取得した画像の合焦度合を示す合焦度情報と、を関連付けて記録する工程をさらに含む請求項７から９のいずれか１項に記載の撮像方法。
11. 前記取得した画像と、前記取得した画像がいずれの領域により取得されたものであるかを示す撮像領域情報と、を関連付けて記録する工程をさらに含む請求項７から１０のいずれか１項に記載の撮像方法。
12. 複数の領域を有し当該複数の領域のそれぞれが異なる焦点距離を有する多焦点レンズ、を用いた撮像方法であって、
    前記多焦点レンズの合焦状態を制御する合焦状態制御工程と、
    前記制御した合焦状態で被写体の画像を取得する撮像工程と、
    を含み、
    撮影指示に応じて、
    前記合焦状態制御工程で主要被写体が前記複数の領域のうち所要合焦時間が最短の領域を介して合焦するように制御して、前記撮像工程で前記被写体の画像を取得する第１の撮像と、
    前記所要合焦時間が最短の領域が前記複数の領域のうち最大の面積を有する主領域でない場合に、前記第１の撮像に続いて前記合焦状態制御工程で前記主要被写体が前記主領域を介して合焦するように制御して、前記撮像工程で前記被写体の画像を取得する第２の撮像と、
    を継続的に行って被写体の動画像を取得する撮像方法。
13. 前記取得した画像と、前記撮影指示から画像取得までの時間を示す撮像時間情報と、を関連付けて記録する工程をさらに含む請求項１２に記載の撮像方法。
14. 前記取得した画像と、前記取得した画像の合焦度合を示す合焦度情報と、を関連付けて記録する工程をさらに含む請求項１２又は１３に記載の撮像方法。
15. 前記取得した画像と、前記取得した画像がいずれの領域により取得されたものであるかを示す撮像領域情報と、を関連付けて記録する工程をさらに含む請求項１２から１４のいずれか１項に記載の撮像方法。
16. 複数の領域を有し当該複数の領域のそれぞれが異なる焦点距離を有する多焦点レンズ、を用いた撮像方法であって、
    前記多焦点レンズの合焦状態を制御する合焦状態制御工程と、
    前記制御した合焦状態で被写体の画像を取得する撮像工程と、
    前記取得した画像と、撮影指示から画像取得までの時間を示す撮像時間情報とを関連付けて記録する工程と、
    を含み、
    前記合焦状態制御工程では、撮影指示に応じて、主要被写体が前記複数の領域のいずれかを介して合焦するように前記合焦状態を制御する、撮像方法。
17. 前記取得した画像と、前記取得した画像の合焦度合を示す合焦度情報と、を関連付けて記録する工程をさらに含む請求項１６に記載の撮像方法。
18. 前記取得した画像と、前記取得した画像がいずれの領域により取得されたものであるかを示す撮像領域情報と、を関連付けて記録する工程をさらに含む請求項１６又は１７に記載の撮像方法。
    

Images