JP5793210B2 - 撮像装置 - Google Patents

Description

本発明は、撮影画像に含まれる被写体の距離情報に基づいたボケ修復が可能な撮像装置に関する。

従来、光電変換手段の画素群の間に焦点検出用画素を離散的に分布させ、焦点検出用画素からの信号に基づいて被写体距離を算出することが可能な撮像装置が特許文献１に開示されている。特許文献１に開示されている構成をとることで、撮影画像に含まれる被写体について距離分布を取得することが可能である。

また、ボケ画像を復元して、ボケを修復した画像を生成する手法として、例えば、ウィーナーフィルタ、一般逆フィルタ、射影フィルタ等を適用する手法がある。このような手法を用いてボケ修復する技術が、特許文献２に開示されている。特許文献２に開示された技術を用いることで、撮影条件等に基づく物理的解析や、撮像装置内の測定装置からの出力に基づく推定等により劣化関数を求め、一般的にデコンボリューションと呼ばれる画像復元アルゴリズムによって、ボケ画像を復元することが可能となる。

通常、どの被写体距離にピントを合わせるかは、撮影時のフォーカス状態で決まってしまう。そのため、撮影後にピントが合っている被写体距離を変えることはできない。しかし、特許文献１に開示されている技術で撮影画像内の被写体距離分布を取得し、特許文献２に開示されているボケ修復技術でボケ修復を行なえば、どの被写体距離にピントを合わせるかを、撮影後に変えることができる。

特開２０００−１５６８２３号公報 特開２０００−２０６９１号公報

しかしながら、特許文献１と特許文献２に開示されている技術を撮像装置に適応した場合、撮影者が撮影画像の確認を行ないにくいという問題があった。
特許文献１と特許文献２に開示されている技術を用いれば、撮影後に、被写体距離に応じてボケ修復を切り替えることで、ピントが合っている被写体距離を変えられる。しかし、撮影レンズのフォーカスレンズ移動範囲には制限があること、ボケ量が大き過ぎる場合にはボケ画像復元時に極端な変換処理が行われノイズが発生しやすいことなどの理由により、ボケ修復可能な被写体距離の範囲やボケ量は限られている。そのため、ピントが合わせられる被写体距離やボケ量も、所定の範囲に限定される。撮影者は、撮影直後の確認画像表示を見て、ピントが合わせられる被写体距離の範囲を推測することになる。しかしながら、ある被写体距離にピントを合わせた画像から、どの範囲までがピントが合わせられるかを把握することは非常に困難であった。

また、撮影後のボケ修復処理によりピントが合った画像が取得できる領域にも関わらず、撮影後の撮影画像確認表示においてピントが合っていない状態で表示される場合が想定される。この場合、その領域に撮影者が意図しない失敗箇所があったとしても、ボケた状態で表示されるため撮影者は撮影直後の確認では気付かず、撮影後にボケ修復を行ったときに初めてその失敗に気付くことになるという問題があった。

本発明は上記問題点に鑑みなされたものであり、ボケ修復手段を有する撮像装置において、撮影者が撮影画像の確認を行ないやすい撮像装置を実現することを目的とする。

上記目的を達成するために、本発明の画像処理装置は、撮影レンズからの光束を受光する撮像素子で撮影される撮影画像内の被写体距離に対応する距離情報を取得する取得手段と、取得手段で得られた距離情報に基づいて、撮影画像に対してピント状態を変更する画像処理を行う画像処理手段と、画像処理手段によって画像処理された画像を表示手段に表示する表示制御手段とを有し、画像処理手段は、第一距離から第二距離までの被写体距離に対応する距離範囲のピント状態を変更した画像を生成し、前記画像処理は、前記撮影レンズと前記撮像素子の光伝達特性に基づいた画像処理であることを特徴とする。
また、本発明の他の画像処理装置は、撮影レンズからの光束を受光する撮像素子で撮影される撮影画像内の被写体距離に対応する距離情報を取得する取得手段と、前記取得手段で得られた距離情報に基づいて、前記撮影画像に対してピント状態を変更する画像処理を行う画像処理手段と、前記画像処理手段によって画像処理された画像を表示手段に表示する表示制御手段と、を有し、前記画像処理手段は、第一距離から第二距離までの被写体距離に対応する距離範囲のピント状態を変更した画像を生成し、前記画像処理は、デコンボリューション処理であることを特徴とする。

また、本発明の他の画像処理装置は、撮影レンズからの光束を受光する撮像素子で撮影 される撮影画像内の被写体距離の距離情報を取得する取得手段と、取得手段で得られた距 離情報に基づいて、撮影画像に対してピント状態を変更する画像処理を行う画像処理手段 と、画像処理手段によって画像処理された画像を表示手段に表示する表示制御手段とを有 し、表示制御手段は、撮影画像の撮影後に画像処理手段によってピント状態を変更可能な範囲を表示することを特徴とする。

本発明の撮像装置は撮影直後の確認画像として撮影画像内の被写体距離が第一距離から第二距離までの範囲の複数の距離にある被写体をボケ修復した撮影画像を表示することがきる。つまり、撮影画像内の複数の距離にピントがあったボケ修復画像を表示することにより、撮影者がボケ修復可能な被写体距離の範囲を把握しやすい確認画像を表示することできる。また、本件発明のボケ修復された画像によれば、ピントがあった画像が取得できる領域内にある撮影の失敗箇所をより発見しやすくすることができる。また、検出された被写体位置と被写体数をボケ修復した撮影画像に重畳して表示することで、撮影者が検出された被写体の位置と数を容易に把握することができる。このように、本件発明は撮影者が撮影画像の確認を行ないやすい撮像装置を実現することができる。

本発明のカメラの構成図 本発明の撮像素子の回路図 本発明の撮像素子の画素部断面図。 本発明の撮像素子の撮像用画素の平面図と断面図 本発明の撮像素子の焦点検出用画素の平面図と断面図 本発明の撮像素子の他の焦点検出用画素の平面図と断面図 本発明の撮像素子の瞳分割状況を説明する概念図 本発明の距離情報取得手段で得られた距離情報 本発明の被写体距離とボケ修復可能な距離の関係 実施例１の被写体距離結像面位置と撮影レンズ１３７の結像面位置との関係 本発明のボケ修復手段によりボケ修復が行われる前の撮影画像 本発明のボケ修復手段により撮影画像のボケが修復される様子 本発明の撮影直後の確認画像表示 本発明の撮像装置のメインフロー図 被写体距離マップ作成サブルーチンのフロー図 撮影サブルーチンのフロー図 撮影後確認画像表示サブルーチンのフロー図 ボケ修復サブルーチンのフロー図 ボケ関数生成サブルーチンのフロー図 実施例２の被写体距離結像面位置と撮影レンズ１３７の結像面位置との関係

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

［実施例１］
図１〜図１９は本発明の実施例１に係わる図である。以下、図を用いて実施例１の作用を説明する。
図１は本発明の撮像装置の構成図で、撮像素子を有したカメラ本体１３８と、別体の撮影レンズ１３７とで構成されており、カメラ本体１３８に対して撮影レンズ１３７が交換可能な電子カメラを示している。

まず撮影レンズ１３７の構成について説明する。１０１は撮影光学系（結像光学系）の先端に配置された第１レンズ群で、光軸方向に前後に移動可能（進退可能）に保持される。１０２は絞りで、その開口径を調節することで撮影時の光量調節を行なう。１０３は第２レンズ群である。そして前記絞り１０２及び第２レンズ群１０３は一体となって光軸方向に進退し、前記第１レンズ群１０１の移動動作との連動により、変倍作用（ズーム機能）をなす。

１０５は第３レンズ群で、光軸方向の進退により、焦点調節を行なう。１１１はズームアクチュエータで、不図示のカム筒を回動することで、第１レンズ群１１１ないし第２レンズ群１０３を光軸方向に進退駆動し、変倍操作を行なう。１１２は絞りアクチュエータで、絞り１０２の開口径を制御して撮影光量を調節する。１１４はフォーカスアクチュエータで、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行なう。

１３６はカメラ通信回路で、レンズに関する情報をカメラに渡したり、カメラに関する情報を受け取ったりする。レンズに関する情報とは、ズーム状態、絞り状態、フォーカス状態、レンズ枠情報等のことである。カメラ通信回路１３６は、カメラ側に設けられたレンズ通信回路１３５に、これらの情報を渡す。

次にカメラ本体１３８について説明する。１０６は光学的ローパスフィルタで、撮影画像の偽色やモアレを軽減するための光学素子である。１０７はＣ−ＭＯＳセンサとその周辺回路で構成された撮像素子である。該撮像素子としては、横方向にｍ画素、縦方向にｎ画素が配列された受光ピクセル上に、ベイヤー配列の原色カラーモザイクフィルタがオンチップで形成されている２次元単板カラーセンサが用いられる。請求項中の光電変換手段とは、撮像素子１０７に対応する。

１３９はシャッターユニットで、静止画撮影時の露光時間制御を行なう。１４０はシャッター１３９を動かすためにシャッターアクチュエータである。

１１５は撮影時の被写体照明用電子フラッシュで、キセノン管を用いた閃光照明装置が好適だが、連続発光するＬＥＤを備えた照明装置を用いても良い。１１６はＡＦ補助光手段で、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影し、暗い被写体あるいは低コントラスト被写体に対する焦点検出能力を向上させる。

１２１はＣＰＵで、カメラ本体の種々の制御を司るカメラ内ＣＰＵで、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有し、ＲＯＭに記憶された所定のプログラムに基づいて、カメラが有する各種回路を駆動し、ＡＦ、撮影、画像処理と記録等の一連の動作を実行する。

１２２は電子フラッシュ制御回路で、撮影動作に同期して照明手段１１５を点灯制御する。１２３は補助光駆動回路で、焦点検出動作に同期してＡＦ補助光手段１１６を点灯制御する。１２４は撮像素子駆動回路で、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。１２５は画像処理回路で、撮像素子１０７が取得した画像のγ変換、カラー補間、ＪＰＥＧ圧縮等の処理を行なう。

１２６はフォーカス駆動回路で、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御し、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行なう。１２８は絞り駆動回路で、絞りアクチュエータ１１２を駆動制御して絞り１０２の開口を制御する。１２９はズーム駆動回路で、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。１３５はレンズ通信回路、撮影レンズ１３７内のカメラ通信回路１３６と通信を行なう。１４５はシャッター駆動回路で、シャッターアクチュエータ１４０を駆動する。

１３１はＬＣＤ等の表示器で、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。１３２は操作スイッチ群で、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。１３３は着脱可能なフラッシュメモリで、撮影済み画像を記録する。１４４はカメラ内メモリであり、ＣＰＵ１２１で行なう演算に必要な各種データが保存されている。

図２は本発明の撮像素子の概略的回路構成図を示したもので、例えば本出願人による特開平０９−０４６５９６号公報に開示された技術を用いることができる。同図は便宜上２次元Ｃ−ＭＯＳエリアセンサの２列×４行のみの画素配列を示している。しかし、実際の撮像素子では図示されている画素３０−１１ないし３０−４２を多数配置され高解像度画像の取得が可能となっている。本実施形態においては、画素ピッチが２μｍ、有効画素数が横３０００列×縦２０００行＝６００万画素、撮像画面サイズが横６ｍｍ×縦４ｍｍの撮像素子であるとして説明を行なう。

図２において、１はＭＯＳトランジスタゲートとゲート下の空乏層からなる光電変換素子の光電変換部、２はフォトゲート、３は転送スイッチＭＯＳトランジスタ、４はリセット用ＭＯＳトランジスタ、５はソースフォロワアンプＭＯＳトランジスタ、６は水平選択スイッチＭＯＳトランジスタ、７はソースフォロワの負荷ＭＯＳトランジスタ、８は暗出力転送ＭＯＳトランジスタ、９は明出力転送ＭＯＳトランジスタ、１０は暗出力蓄積容量ＣTN、１１は明出力蓄積容量ＣTS、１２は水平転送ＭＯＳトランジスタ、１３は水平出力線リセットＭＯＳトランジスタ、１４は差動出力アンプ、１５は水平走査回路、１６は垂直走査回路である。

図３に画素の断面図を示す。同図において、１７はＰ型ウェル、１８はゲート酸化膜、１９は一層目ポリＳｉ、２０は二層目ポリＳｉ、２１はｎ+ フローティングディフュージョン部（ＦＤ）である。２１のＦＤは別の転送ＭＯＳトランジスタを介して別の光電変換部と接続される。同図において、２つの転送ＭＯＳトランジスタ３のドレインとＦＤ部２１を共通化して微細化とＦＤ部２１の容量低減による感度向上を図っているが、Ａｌ配線でＦＤ部２１を接続しても良い。

図４ないし図５は、撮像用画素と焦点検出用画素の構造を説明する図である。本実施形態においては、２行×２列の４画素のうち、対角２画素にＧ（緑色）の分光感度を有する画素を配置し、他の２画素にＲ（赤色）とＢ（青色）の分光感度を有する画素を各１個配置した、ベイヤー配列が採用されている。そして、該ベイヤー配列の間に、焦点検出用画素が所定の規則にて分散配置される。撮像用画素の間に、焦点検出用画素を離散的に配置する技術は、特許文献１等で開示されていて公知の技術であるため、説明は省略する。

図４に撮像用画素の配置と構造を示す。同図（ａ）は２行×２列の撮像用画素の平面図である。周知のごとく、ベイヤー配列では対角方向にＧ画素が、他の２画素にＲとＢの画素が配置される。そして該２行×２列の構造が繰り返し配置される。

同図（ａ）の断面Ａ−Ａを同図（ｂ）に示す。ＭＬは各画素の最前面に配置されたオンチップマイクロレンズ、ＣＦＲはＲ（Ｒｅｄ）のカラーフィルタ、ＣＦＧはＧ（Ｇｒｅｅｎ）のカラーフィルタである。ＰＤは図３で説明したＣ−ＭＯＳセンサの光電変換部を模式的に示したもの、ＣＬはＣ−ＭＯＳセンサ内の各種信号を伝達する信号線を形成するための配線層である。ＴＬは撮影光学系を模式的に示したものである。

ここで、撮像用画素のオンチップマイクロレンズＭＬと光電変換部ＰＤは、撮影光学系ＭＬを通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮影光学系ＴＬの射出瞳ＥＰと光電変換部ＰＤは、マイクロレンズＭＬにより共役関係にあり、かつ光電変換部の有効面積は大面積に設計される。また、同図（ｂ）ではＲ画素の入射光束について説明したが、Ｇ画素及びＢ（Ｂｌｕｅ）画素も同一の構造となっている。従って、撮像用のＲＧＢ各画素に対応した射出瞳ＥＰは大径となり、被写体からの光束を効率よく取り込んで画像信号のＳ／Ｎを向上させている。

図５は、撮影レンズの水平方向（横方向）に瞳分割を行なうための焦点検出用画素の配置と構造を示す。同図（ａ）は、焦点検出用画素を含む２行×２列の画素の平面図である。撮像信号を得る場合、Ｇ画素は輝度情報の主成分をなす。そして人間の画像認識特性は輝度情報に敏感であるため、Ｇ画素が欠損すると画質劣化として認識されやすい。一方でＲもしくはＢ画素は、色情報を取得する画素であるが、人間は色情報には鈍感であるため、色情報を取得する画素は多少の欠損が生じても画質劣化に気づきにくい。そこで本実施形態においては、２行×２列の画素のうち、Ｇ画素は撮像用画素として残し、ＲとＢの画素を焦点検出用画素としている。これを同図（ａ）においてＳＨＡ及びＳＨＢで示す。

同図（ａ）の断面Ａ−Ａを同図（ｂ）に示す。マイクロレンズＭＬと、光電変換部ＰＤは図４（ｂ）に示した撮像用画素と同一構造である。本実施形態においては、焦点検出用画素の信号は撮影画像の信号として用いられないため、色分離用カラーフィルタの代わりに透明膜ＣＦＷ（Ｗｈｉｔｅ）が配置される。また、撮像素子で瞳分割を行なうため、配線層ＣＬの開口部はマイクロレンズＭＬの中心線に対して一方向に偏っている。具体的には、画素ＳＨＡ及の開口部ＯＰＨＡは右側に偏っているため、撮影レンズＴＬの左側の射出瞳ＥＰＨＡを通過した光束を受光する。同様に、画素ＳＨＢの開口部ＯＰＨＢは左側に偏倚しているため、撮影レンズＴＬの右側の射出瞳ＥＰＨＢを通過した光束を受光する。よって、画素ＳＨＡを水平方向に規則的に配置し、これらの画素で取得した被写体像をＡ像とする。また、画素ＳＨＢも水平方向に規則的に配置し、これらの画素で取得した被写体像をＢ像とすると、Ａ像とＢ像の相対位置を検出することで、撮影レンズ１３７のピントずれ量（デフォーカス量）が検出できる。

ここで、マイクロレンズＭＬは、撮影レンズＴＬの左側の射出瞳ＥＰＨＡを透過した光束からなるＡ像と、撮影レンズＴＬの右側の射出瞳ＥＰＨＢを透過した光束からなるＢ像の、一対の光学像を生成するレンズ要素の機能を果たしている。
なお、上記画素ＳＨＡ及びＳＨＢでは、撮影画面の横方向に輝度分布を有した被写体、例えば縦線に対しては焦点検出可能だが、縦方向に輝度分布を有する横線は焦点検出不能である。そこで本実施形態では、後者についても焦点検出できるよう、撮影画面の垂直方向（縦方向）にも瞳分割を行なう画素も備えている。

図６は、撮影画面の垂直方向に瞳分割を行なうための焦点検出用画素の配置と構造を示す。同図（ａ）は、焦点検出用画素を含む２行×２列の画素の平面図で、図５（ａ）と同様に、Ｇ画素は撮像用画素として残し、ＲとＢの画素を焦点検出用画素としている。これを同図（ａ）においてＳＶＣ及びＳＶＤで示す。

同図（ａ）の断面Ａ−Ａを同図（ｂ）に示すが、図５（ｂ）の画素が横方向に瞳分離する構造であるのに対して、図６（ｂ）の画素は瞳分離方向が縦方向になっているだけで、画素の構造としては変わらない。すなわち、画素ＳＶＣの開口部ＯＰＶＣは下側に偏っているため、撮影レンズＴＬの上側の射出瞳ＥＰＶＣを通過した光束を受光する。同様に、画素ＳＶＤの開口部ＯＰＶＤは上側に偏倚しているため、撮影レンズＴＬの下側の射出瞳ＥＰＶＤを通過した光束を受光する。よって、画素ＳＶＣを垂直方向に規則的に配置し、これらの画素で取得した被写体像をＣ像とする。また、画素ＳＶＤも垂直方向に規則的に配置し、これらの画素で取得した被写体像をＤ像とすると、Ｃ像とＤ像の相対位置を検出することで、垂直方向に輝度分布を有する被写体像のピントずれ量（デフォーカス量）が検出できる。

図７は、本発明の撮像素子の瞳分割状況を概念的に説明する図である。ＴＬは撮影レンズ、１０７は撮影レンズの予定結像面に配置された撮像素子、ＯＢＪは被写体、ＩＭＧは被写体像である。

撮像用画素は図４で説明したように、撮影レンズの射出瞳全域ＥＰを通過した光束を受光する。一方、焦点検出用画素は図５及び図６で説明したように、瞳分割機能を有している。具体的には、図５の焦点検出用画素ＳＨＡは撮像面からレンズ後端を見て左側の瞳を通過した光束、すなわち図７の瞳ＥＰＨＡを通過した光束を受光する。同様に焦点検出用画素ＳＨＢ、ＳＶＣ及びＳＶＤはそれぞれ瞳ＥＰＨＢ、ＥＰＶＣ及びＥＰＶＤを通過した光束を受光する。そして、焦点検出用画素を、撮像素子１０７の全領域に渡って分布するよう配置することで、撮像領域全域で焦点検出を可能とさせている。また、距離情報取得手段を兼ねたＣＰＵ１２１は、焦点検出情報と焦点距離等のレンズ情報に基づいて被写体距離を算出する。

図８は、距離情報取得手段で得られた距離情報を示したものである。本発明の撮像素子１０７では、図５及び６で説明したような焦点検出用画素SHA、SHB、SHC、SHDが、全領域に渡って分布させてあるため、撮影画面の任意位置における被写体距離を取得することが可能となる。得られた被写体距離の分布の中で、被写体距離の近い領域をつなぎ合わせてグルーピングすることで、撮影画面中に含まれる被写体の輪郭を抽出することが可能となる。Target1、Target2、Target3は、抽出された被写体領域を示したものであり、BackGraound1は、背景領域を示したものである。Dist1、Dist2、Dist3、Dist4は被写体距離である。Dist1は被写体領域Target1における被写体距離、Dist2は被写体領域Target2における被写体距離、Dist3は被写体領域Target3における被写体距離、Dist4は背景領域BackGround1における被写体距離である。Dist1が最も近く、Dist2は２番目に近く、Dist3は３番目に近い。そして、Dist4は最も遠く位置する。

CPU１２１は、焦点検出用画素から得られる被写体距離の分布から被写体の抽出を行ない、各被写体の領域及び距離を取得する。

本発明の撮像装置では、この距離情報に基づいて、撮影画像のボケ修復を行なう。ボケの生成過程は、撮像装置特性や撮影レンズ特性から推定することが可能である。このボケの生成過程をモデル化したボケ関数を定義し、ウィーナーフィルタ等の一般にデコンボリューションと呼ばれる画像復元アルゴリズムによってボケ画像を復元処理することで、ボケ修復を行なう（ボケの程度を変更する処理を行う）。ボケ修復方法については、特許文献２に記載されているため、詳細な説明は省略する。

図９は、被写体距離Dist1、Dist2、Dist3、Dist4と、ボケ修復可能な距離の関係を示したものである。軸は、被写体距離Distを表している。

ピントを合わせられる被写体距離は撮影レンズ１３７の繰り出し可能な距離によって決まる。ピントが合わせられないような距離のボケ形状を予測することは困難なため、ボケ修復可能な距離もその距離近傍の範囲に限定される。そこで、CPU１２１は、撮影レンズ１３７の繰り出し可能な距離に応じてボケ修復を行なう距離の範囲を算出する。ボケ修復を行なう至近側の距離端を第一距離Dist11、無限遠側の距離端を第二距離Dist12とする。ボケ修復手段は、第一距離Dist11と第二距離Dist12の範囲の被写体像に対して、ボケ修復が可能となる。第一距離は撮影レンズ１３７の至近側距離端に、第二距離は無限側距離端に基づいて決めるものである。ここで、第一距離及び第二距離は、撮影レンズ１３７の製造誤差、フォーカスレンズ停止精度、ボケ修復のばらつきなどを考慮し、撮影レンズ１３７の至近側距離端及び無限側距離端に対して、多少余裕量を持たせて設定する。

図８で説明した被写体距離Dist1、Dist2、Dist3、Dist4のうち、被写体距離Dist1〜3については、第一距離Dist11と第二距離Dist12の範囲に位置しており、被写体距離Dist4は範囲外に位置しているとする。

図１０は、被写体距離Dist1、Dist2、Dist3、Dist4に対応した結像面の位置と、撮影レンズ１３７の結像面の位置との関係を示したものである。軸は、撮影レンズ１３７の結像面の位置からの焦点ずれ量Defを表している。ここで焦点ずれ量Defのプラス方向は、後ピン方向に対応させている。

「0」は撮影レンズ１３７の結像面の位置を示していて、ずれ量を「0」と表現している。Def1、Def2、Def3、Def4は、被写体距離Dist1、Dist2、Dist3、Dist4の結像面位置における焦点ずれ量である。Def11とDef12は、至近側の第一距離Dist11と無限遠側の第二距離Dist12の結像面の位置における焦点ずれ量である。

これに対し、Def21とDef22は、ボケ修復が可能なボケ量に相当する焦点ずれ量である。ボケ量が大き過ぎる場合にはボケ画像復元時に極端な変換処理が行われノイズが発生しやすい。そのため、ボケ復元する場合には、ボケ量はDef21とDef22の範囲に収まっていることが望ましい。図１０では、ボケ修復が可能なボケ量に相当する焦点ずれ量Def21とDef22は、至近側の第一距離Dist11および無限遠側の第二距離Dist12の結像面の位置における焦点ずれ量Def11とDef12より外側に存在する。そのため、至近側の第一距離Dist11と無限遠側の第二距離Dist12の更新は行わない。

図１１は、ボケ修復手段によるボケ修復が行われる前の撮影画像を示したものである。図１１における撮影画像は、図８の撮影画像と同じ物である。後述の動作フローで説明するように、焦点検出位置は至近優先とし、抽出した被写体の中で最も至近側に位置する被写体の位置を、焦点検出位置として設定する。そのため、ボケ修復手段によるボケ修復が行われる前の撮影画像は、図１１に示すように、最も至近側の被写体領域Target1にピントが合った状態となる。そしてそれ以外の被写体領域Target2、Target3、BackGranoud1にはピントは合わない状態となる。

図１２は、ボケ修復手段により撮影画像のボケが修復される様子を示したものである。図１２における撮像画像は、図８及び図１１の撮像画像と同じものである。図１２（A）は、被写体領域Target2の被写体距離Dist2に基づいて、撮影画像全領域にボケ修復を行った画像を示す。被写体領域Target2における被写体距離Dist2に対応した撮像装置特性情報及び撮影レンズ情報から、ボケ関数を定義する。撮影画像全領域に対して、このボケ関数に基づいた修復処理を行なうことで、被写体領域Target2はボケ修復されて、ピントの合った画像となる。一方、被写体領域Target2以外の領域については、上記画像修復処理を行なうことにより、撮影レンズ１３７の焦点位置が被写体距離Dist2にピントが合った状態で生じるようなボケが再現される。こうすることで、図１２（Ａ）に示すような、被写体領域Target2だけにピントがあった画像を取得することが可能となる。

図１２（Ｂ）は、被写体領域Target3の被写体距離Dist3に基づいて、撮影画像全領域にボケ修復を行った画像を示す。被写体領域Target3における被写体距離Dist3に対応した撮像装置特性情報及び撮影レンズ情報から、ボケ関数を定義する。撮影画像全領域に対して、このボケ関数に基づいた修復処理を行なうことで、被写体領域Target3はボケ修復されて、ピントの合った画像となる。一方、被写体領域Target3以外の領域については、上記画像修復処理を行なうことにより、撮影レンズ１３７の焦点位置が被写体距離Dist3にピントが合った状態で生じるようなボケが再現される。こうすることで、図１２（Ｂ）に示すような、被写体領域Target3だけにピントがあった画像を取得することが可能となる。

以上、図１１及び図１２（Ａ）〜（Ｂ）を用いて説明したように、被写体距離情報に基づいたボケ修復が可能な撮像装置では、各被写体の領域及び距離を含む距離情報に基づいてボケ修復することで、ピントを合わせる被写体を選択することが可能となる。

しかし、図１１及び図１２（Ａ）〜（Ｂ）で示したようにピントを合わせる被写体に自由度があるがゆえに、撮影者が撮影画像の確認を行ないにくいという問題があった。

上述のボケ修復により、撮影後にピントが合っている被写体距離を変えることができるが、ボケ修復可能な被写体距離の範囲は限られている。そのため、ピントが合わせられる被写体距離も、所定の範囲に限定される。撮影者は、撮影直後の確認画像を見て、ピントが合わせられる被写体距離の範囲を推測することになる。しかしながら、ある被写体距離にピントを合わせた画像から、どの範囲までがピントが合わせられるかを把握することは非常に困難であった。

また、撮影後のボケ修復処理によりピントが合った画像が取得できる領域にも関わらず、撮影後の確認画像においてピントが合っていない状態で表示される場合が想定される。この場合、その領域に撮影者が意図しない失敗箇所があったとしても、ボケた状態で表示されるため撮影者は撮影直後の確認では気付かず、撮影後にボケ修復を行ったときに初めてその失敗に気付くことになるという問題があった。

そこで、本発明の撮像装置では、ボケ修復手段によってボケ修復可能な最も至近側距離を第一距離とし、ボケ修復手段によってボケ修復可能な最も無限側距離を第二距離としたとき、撮影直後の確認画像表示では、第一距離から第二距離までの範囲をボケ修復した撮影画像を表示する。つまり、できるだけボケ修復した画像を表示する。

図１３は、本発明の撮影直後の確認画像表示を示したものである。図１３における撮像画像は、図８、図１１、図１２の撮像画像と同じものである。図１３(Ａ)は、被写体領域Target1〜3にピントが合った画像を表示した場合を示している。図１３(Ｂ)は、被写体領域Target1〜3にピントが合うとともに、検出された被写体の位置と、被写体の数を重畳して表示した場合を示している。

図１３（Ａ）において、被写体領域Target1〜3の被写体距離Dist1〜3については、ボケ修復可能な第一距離Dist11と第二Dist12の範囲に位置しているため、ボケ修復が可能である。そこで本発明の撮像装置では、撮影直後の確認画像表示では、被写体領域Target1〜3については、ボケ修復を行なう。

被写体領域Target1における被写体距離Dist1に対応した撮像装置特性情報及び撮影レンズ情報に基づいた修復処理を行なうことで、被写体領域Target1はボケ修復されて、ピントの合った画像となる。また、被写体領域Target2における被写体距離Dist2に対応した撮像装置特性情報及び撮影レンズ情報に基づいた修復処理を行なうことで、被写体領域Target2はボケ修復されて、ピントの合った画像となる。さらに、被写体領域Target3における被写体距離Dist3に対応した撮像装置特性情報及び撮影レンズ情報に基づいた修復処理を行なうことで、被写体領域Target3はボケ修復されて、ピントの合った画像となる。つまり、ボケ修復が可能な距離範囲に位置する被写体領域Target1、被写体領域Target2、そして被写体領域Target3は、全てピントの合った状態で表示する。また言い換えれば、複数の被写体距離Dist1、Dist2、Dist3にピントがあった画像を撮影直後の確認画像表示として表示する。そしてボケ修復が可能な距離範囲より遠くにある背景BackGround1はボケたままの状態で表示する。

図１３(Ｂ)では、検出された被写体位置と被写体数を、ピントの合った被写体領域Target1〜3に重畳して表示している様子を示している。ＳＩ１は、被写体領域Target1の位置を示す被写体位置表示である。被写体領域Target1より一回り大きい輪郭を表示すること、被写体領域Target1の位置を示している。同様に、ＳＩ２は被写体領域Target2の位置を示す被写体位置表示、ＳＩ３は被写体領域Target3の位置を示す被写体位置表示である。そしてＳＩ４は、検出された被写体の数を表す被写体数表示である。これにより撮影者は、検出された被写体の位置と数を、撮影後の確認画像表示の際に、容易に把握することができる。

図１３（Ａ）および（Ｂ）で説明したような画像を撮影後の確認画像として表示することで、撮影者が撮影画像の確認を行ないやすい撮影画像機能を有する撮像装置を実現できる。これにより、撮影者は、ボケ修復可能な範囲を把握しやすくすることできる。また、ボケ修復によりピントがあった画像が取得できる領域における失敗箇所をより発見しやすくすることができる。さらに、検出された被写体位置と被写体数をボケ修復した撮影画像に重畳して表示することで、撮影者は、検出された被写体の位置と数を、撮影後の確認画像表示の際に、容易に把握することができる。

図１４〜図１９は、本発明の撮像装置の動作を説明するためのフローチャートである。

図１４は本発明の撮像装置のメインフローである。メインフロー動作はＣＰＵ１２１が行なう処理である。

撮影者がカメラの電源スイッチをオン操作すると（ステップＳ１０１）、ＣＰＵ１２１はカメラ内の各アクチュエータや撮像素子の動作確認を行ない、メモリ内容や実行プログラムの初期化を行なうと共に、撮影準備動作を実行する（ステップＳ１０２）。ステップＳ１０３では、レンズ通信回路１３５を介して撮影レンズ内のカメラ通信回路とレンズ通信を行なう。レンズ通信によりレンズの動作確認を行い、レンズ内のメモリ内容や実行プログラムの初期化を行なうと共に、準備動作を実行させる。また、焦点検出や撮像に必要なレンズの諸特性データを取得し、カメラ内メモリ１４４に保存する。ステップＳ１０４では撮像素子の撮像動作を開始し、プレビュー用の低解像度の動画像を出力する。ステップＳ１０５では読み出した動画をカメラ背面に設けられた表示手段１３１に表示し、撮影者はこのプレビュー画像を目視して撮影時の構図決定を行なう。

ステップＳ１０６では、プレビュー用動画像に顔が存在するか否かを認識する。そして、プレビュー用動画像から、顔の数、位置、そして大きさを検出し、カメラ内メモリ１４４に記録しておく。顔を認識する技術は、特開2004-317699号公報などに開示されていて公知のため、ここでは説明を省略する。請求項中における撮影画像内の被写体を検出する動作は、このステップに対応しており、被写体検出手段とはＣＰＵ１２１に対応する。

ステップＳ１０７で撮影領域に顔が存在していると認識された場合には、ステップＳ１０８に移行し、焦点調節モードを顔ＡＦモードに設定する。ここで顔ＡＦモードとは、撮影領域の顔の位置とステップＳ２００で作成される被写体距離マップの両方を加味して焦点を合わせるＡＦモードを指す。

一方ステップＳ１０７で撮影領域に顔が存在していないと認識された場合は、ステップＳ１０７からステップＳ１０９に移行し、焦点調節モードを多点ＡＦモードに設定する。ここで多点ＡＦモードとは、撮影領域を例えば３×５＝１５分割し、被写体距離マップから算出される各分割領域での焦点検出結果と、被写体の輝度情報とに基づき、主被写体を類推し、その領域を合焦させるモードを指す。

ステップＳ１０８あるいはステップＳ１０９でＡＦモードを決定したら、ステップＳ１１０で、撮影準備スイッチがオン操作されたか否かを判別し、オン操作されていなければステップＳ１１６に進みメインスイッチがオフされたか否かを判別する。

ステップＳ１１１で撮影準備スイッチがオン操作されるとステップＳ２００に移行し、被写体距離マップ作成サブルーチンを実行する。

ステップＳ１１１では、ステップＳ２００で算出した被写体距離マップに基づき、焦点検出位置を決定する。ここで検出位置決定方法は至近側優先とし、ステップS２００で得られた被写体の中で、最も至近側に位置する被写体の位置を、焦点検出位置として設定する。

ステップＳ１１２では、ステップＳ１１１で決定した焦点検出位置における焦点ずれ量をステップＳ２００で得られる焦点ずれマップから算出し、得られた焦点ずれ量が許容値以下か否かを判断する。そして焦点ずれ量が許容値以上である場合は、非合焦と判断し、ステップＳ１１３でフォーカスレンズを駆動し、その後ステップＳ１１０に戻って撮影準備スイッチが押されたか否かを判別する。そしてステップＳ１１２にて合焦状態に達したと判定されると、ステップＳ１１４にて合焦表示を行ない、ステップＳ１１５に移行する。

ステップＳ１１５では、撮影開始スイッチがオン操作されたか否かを判別し、オン操作されていなければステップＳ１１５にて撮影待機状態を維持する。ステップＳ１１５で撮影開始スイッチがオン操作されるとステップＳ３００に移行し、撮影サブルーチンを実行する。

ステップ３００撮影サブルーチンが終了したら、ステップＳ１１６を進み、メインスイッチがオフされたか否かを判定する。メインスイッチがオフされていない場合には、ステップＳ１０３に戻る。メインスイッチがオフされた場合には、一連の動作を終了する。

図１５は被写体距離マップ作成サブルーチンのフロー図である。被写体距離マップ作成サブルーチンの一連の動作も、ＣＰＵ１２１が行なう。請求項中の距離情報取得手段は、ＣＰＵ１２１に対応する。

メインフローのステップＳ２００から当サブルーチンのステップＳ２００にジャンプすると、ステップＳ２０１において焦点検出領域の設定を行なう。全焦点検出領域の中から焦点検出領域を決め、ステップＳ２０２以降の処理を行なう。ステップＳ２０２では、ステップＳ２０１で設定した焦点検出領域の焦点検出用画素の信号を読み出す。ステップＳ２０３では、相関演算用の二つの像を生成する。ステップＳ２０２にて読み出した各焦点検出画素の信号を並べることで、相関演算用の二つの像ＡおよびＢの信号とする。

ステップＳ２０４では、得られた像信号に基づいて相関演算を行ない、二つの像ＡおよびＢの位相差を算出する。ステップＳ２０５では、相関演算結果の信頼性を判定する。ここで信頼性とは、像ＡおよびＢの一致度を指し、像ＡおよびＢの一致度が良い場合は一般的に焦点検出結果の信頼性が高い。そこで、この一致度が或る閾値を超えているか否かで位相差検出結果の信頼性の判定を行ったり、複数の焦点検出領域が選択されている場合に信頼性の高い情報を優先的に使用することなどが可能である。ステップＳ２０６では、ステップＳ２０４で得られた像ＡおよびＢの位相差に対して、位相差を焦点ずれ量に変換する変換係数をかけることで、焦点ずれ量を演算する。

ステップＳ２０７では、全焦点検出領域について、焦点ずれ量の算出が完了したか否かを判別する。全焦点検出領域について完了していないと判別されたときには、ステップＳ２０１に戻り、残っている焦点検出領域の中から焦点検出領域を選んで設定する。ステップＳ２０７で全焦点検出領域が完了したと判別されたときには、ステップＳ２０８に進む。

ステップＳ２０８では、ステップＳ２０１〜２０７を繰り返すことで得られた全焦点検出領域における焦点ずれ量から、焦点ずれ量マップを作成する。ここで焦点ずれ量マップとは、撮影画面上の位置と焦点ずれ量とを対応させた分布データである。

ステップＳ２０９では、ステップＳ２０８で得られた焦点ずれマップに対して、ステップＳ１０３でのレンズ通信で撮影レンズ１３７から取得したレンズ情報を考慮して、焦点ずれから被写体距離へ変換を行なう。これにより、撮影画面上の位置と被写体距離とを対応させた分布データを得ることが可能となる。

ステップＳ２１０では、被写体距離の分布データに基づき、被写体の抽出を行なう。得られた被写体距離の分布の中で、被写体距離の近い領域をつなぎ合わせてグルーピングし、撮影画面中に含まれる被写体の輪郭を抽出する。これにより、各被写体の領域と被写体距離を対応させた被写体距離マップが得られることになる。請求項中の距離情報とは、この被写体距離マップに対応する。

ステップＳ２１０が終わったら、被写体距離マップ作成サブルーチンを終了し、メインフロー内のステップＳ１１１に進む。

図１６は、撮影サブルーチンのフロー図である。撮影サブルーチンの一連の動作も、ＣＰＵ１２１が行なう。

ステップＳ３０１では、光量調節絞りを駆動し、露光時間を規定するメカニカルシャッタの開口制御を行なう。

ステップＳ３０２では、高解像度の静止画撮影のための画像読み出し、すなわち全画素の読み出しを行なう。

ステップＳ３０３では、読み出した画像信号の欠損画素補間を行なう。すなわち、焦点検出用画素の出力は撮像のためのＲＧＢカラー情報を有しておらず、画像を得る上では欠陥画素に相当するため、周囲の撮像用画素の情報から補間により画像信号を生成する。

ステップＳ３０４では、画像のγ補正、色変換、エッジ強調等の画像処理をおこない、ステップＳ３０５において、フラッシュメモリ１３３に撮影画像を記録する。ステップＳ３０５で記録する撮影画像は、ボケ修復を行わない画像とする。記録画像を再生表示する際に、ボケ修復をして表示する。これにより撮像装置の演算負荷を軽減している。撮影画像を記録するステップＳ３０５は、ＣＰＵ１２１が行なう。つまり、請求項中の記録手段は、ＣＰＵ１２１に対応している。

ステップ３０６では、ステップＳ３０５で記録した撮影画像に対応させて、カメラ本体１３８の特性情報をフラッシュメモリ１３３とカメラ内メモリ１４４に記録する。ここでカメラ本体１３８の特性情報は、撮像素子１０７の撮像用画素及び焦点検出用画素の受光感度分布情報とカメラ本体１３８内での撮影光束のケラレ情報、カメラ本体１３８と撮影レンズ１３７との取り付け面から撮像素子１０７までの距離情報、製造誤差情報などの光学特性を含む。撮像素子１０７の撮像用画素及び焦点検出用画素の受光感度分布情報は、オンチップマイクロレンズＭＬと光電変換部ＰＤによって決まるため、これらの情報を記録しても良い。

ステップＳ３０７では、ステップＳ３０５で記録した撮影画像に対応させて、撮影レンズ１３７の特性情報をフラッシュメモリ１３３とカメラ内メモリ１４４に記録する。ここで撮影レンズ１３７の特性情報は、射出瞳ＥＰの情報、枠情報、撮影時のＦナンバー情報、収差情報、製造誤差情報などの光学特性を含む。

本発明の撮像装置では、ステップＳ３０５〜Ｓ３０７で説明したように、フラッシュメモリ１３３には、ボケ修復を行わない撮影画像と、撮影画像に対応した撮影レンズ特性情報と撮像装置特性情報を記録する。これにより、撮影後に、撮影レンズ特性情報と撮像特性情報に基づいて、撮影画像のボケ修正を行なうことができる。また、撮影画像記録時の演算負荷を軽減することができる。そしてステップＳ３０５〜Ｓ３０７で行われる撮影画像、撮影レンズ特性情報、そして撮像装置特性情報の記録は、ＣＰＵ１２１が行なう。

ステップＳ３０７が終わると、ステップＳ４００撮影後確認画像表示サブルーチンに進む。

ステップＳ４００撮影後確認画像表示サブルーチンが終わると、ステップＳ３００撮影サブルーチンを終了し、メインルーチンのステップＳ１１６に進む。

図１７は、撮影後確認画像表示サブルーチンのフロー図である。撮影後確認画像表示サブルーチンの一連の動作も、ＣＰＵ１２１が行なう。請求項中の画像表示制御手段は、ＣＰＵ１２１に対応する。

ステップＳ４０１では、ステップＳ２００で作成した被写体距離マップを取得する。

ステップＳ４０２では、ボケ修復を行なう被写体領域と被写体距離を設定する。ステップＳ２００被写体距離マップ作成サブルーチンで説明したように、被写体距離マップから被写体領域と被写体距離を対応させた情報が得られる。また、図９で説明したように、ボケ修復可能な距離は撮影レンズ１３７で異なり、ボケ修復可能な最も至近側の距離である第一距離Dist11、最も無限遠側の距離である第二距離Dist12は変わってくる。そこで、被写体距離が撮影レンズ１３７によって決まるボケ修復可能な距離範囲(第一距離Dist11〜第二距離Dist12)内に位置する被写体を、ボケ修復を行なうように設定する。これにより、各被写体領域と、その領域をボケ修復する際に用いる被写体距離を設定することができる。

また、ボケ修復可能な距離範囲を規定する第一距離Dist11と第二距離Dist12は、撮影レンズ１３７の結像面位置からのずれ量が所定量以下になるように、距離を再設定する。これによりボケ量を所定量以下に収めることができ、良好なボケ修復を行なうことができる。

ステップＳ４０２ボケ修復領域・距離設定を終わると、ステップＳ５００ボケ修復サブルーチンに進む。

ステップＳ４０３では、ステップＳ５００でボケ修復された画像を、表示手段１３１に所定時間表示する。このとき表示する画像としては、図１３（Ａ）に示すようなボケ修復された画像だけを表示したものか、図１３（Ｂ）に示すようなボケ修復された画像に被写体の位置と被写体の数を重畳表示したものか、どちらかを表示する。どちらを表示するかは、撮影者が操作スイッチ１３２で入力された設定値に応じて切り替える。

請求項中の撮影画像を表示手段に表示する動作は、このステップに対応する。また、請求項中の被写体検出手段により検出された被写体の位置や数を撮影画像に重畳して表示手段に表示する動作も、このステップに対応する。

ステップＳ４０３が終わったら、撮影後確認画像表示サブルーチンを終了し、撮影サブルーチンに戻る。

図１８は、ボケ修復サブルーチンのフロー図である。ボケ修復サブルーチンの一連の動作も、ＣＰＵ１２１が行なう。請求項中のボケ修復手段とは、ＣＰＵ１２１に対応する。

ステップＳ５０１では、ＣＰＵ１２１は、画像処理回路１２５における変換処理の内容を示す変換情報を取得する。

ステップＳ５０２では、ＣＰＵ１２１は、画像処理回路１２５から供給される画像情報を変換する際の変換方法を決定する。具体的には、ＣＰＵ１２１は、ステップＳ５０１で取得した変換情報（必要に応じて、該変換情報の他、ステップＳ３０６やステップＳ３０７で取得した撮像装置特性や撮影レンズ特性情報）に基づいて、変換方法を決定する。ここで決定される変換方法は、特許文献２に記載されている画像復元処理のアルゴリズムの前提条件である線形性を確保するために、露光値と画素値とか比例関係になるように画像情報を変換する方法である。

例えば、画像処理回路１２５でガンマ補正を実行する場合には、ステップＳ５０２ではガンマ補正による変換の逆変換を実行する。これにより変換前の画像を再生することができ、線形性を有する画像を取得することが可能となる。同様に、画像処理回路１２５で色補正を実行する場合には、ステップＳ５０２では色変換による変換の逆変換を実行する。これにより、線形性を有する画像を取得することが可能となる。以上のように、ステップ５０２では、画像処理回路１２５による変換処理の逆変換に相当する変換方法を決定する。

ステップＳ５０３では、画像処理回路１２５より撮影画像を取得する。そしてステップＳ５０４では、ステップＳ５０２で決定した変換方法に従って、取得した撮影画像を変換する。ステップＳ５０４で変換処理が終わると、ステップＳ６００に進み、ボケ関数の生成を行なう。

ステップＳ５０５では、ステップＳ６００で生成したボケ関数の逆変換を行なうことで、ステップＳ５０４で変換処理した撮影画像に対してボケ修復処理を行なう。ここでは、一般的にデコンボリューション処理と呼ばれる画像復元アルゴリズムによってボケ修復処理を行なう。これにより、所定被写体のボケが修復されたボケ修復画像を得ることができる。ボケ関数の逆変換処理を行なうことによるボケ修復の方法は、特許文献２に開示されているため、説明は省略する。

ステップＳ５０５が終わるとボケ修復サブルーチンを終了し、撮影後確認画像表示サブルーチン内のステップＳ４０３に進む。

図１９は、ボケ関数生成サブルーチンのフロー図である。ボケ関数生成サブルーチンの一連の動作も、ＣＰＵ１２１が行なう。

ステップＳ６０１では、撮影時にステップＳ３０５でカメラ内メモリ１４４に記録されたカメラ本体１３８の特性情報を取得する。

ステップＳ６０２では、撮影時にステップＳ３０６でカメラ内メモリ１４４に記録された撮影レンズ１３７の特性情報を取得する。

ステップＳ６０３では、ボケ関数を定義する際に用いるパラメータを取得する。ボケ関数は、撮影レンズ１３７と撮像素子１０７との間の光伝達特性によって決まる。そしてこの光伝達手段は、カメラ本体１３８の特性情報、撮影レンズ１３７の特性情報、撮影画像における被写体領域の位置、被写体距離などの要因によって変わる。そこで、これらの要因とボケ関数を定義する際に用いるパラメータとを関連付けたテーブルデータを、カメラ内メモリ１４４に記憶しておく。そしてステップＳ６０３が実行されると、ＣＰＵ１２１は、これらの要因に基づいて、カメラ内メモリ１４４からボケ関数定義の際に用いるパラメータを取得する。

ステップＳ６０４では、ステップＳ６０３で取得したボケパラメータに基づいて、ボケ関数を定義する。ボケ関数の例としては、ボケ現象が正規分布法則に沿うものとして考えたガウシアン分布などがある。中心画素からの距離をr、正規分布法則の任意のパラメータをσ2とすると、ボケ関数h(r)は、下記のように与えられる。

ステップＳ６０４が終わったら、ボケ関数生成サブルーチンを終了し、ボケ修復サブルーチン内のステップＳ５０５に進む。

本発明の撮像装置では、撮影レンズが交換可能なカメラで説明したが、撮影レンズがカメラに備わっている所謂レンズくくり付けタイプのカメラに適用してもよい。レンズくくり付けタイプのカメラにおいても、従来の課題は存在する。そして本発明で説明したようにボケ修復した撮影画像を表示することで、同様の効果を得ることができる。

以上のように、本発明の撮像装置によれば、ボケ修復手段を有する撮像装置において、撮影者が撮影画像の確認を行ないやすい撮像装置を実現することができる。

［実施例２］
図２０は本発明の実施例２に係わる図である。以下、図を用いて実施例２の作用を説明する。

実施例１では、ボケ修復が可能なボケ量に相当する焦点ずれ量Def21とDef22は、至近側の第一距離Dist11と無限遠側の第二距離Dist12の結像面位置における焦点ずれ量Def11とDef12より外側に存在した。そのため、至近側の第一距離Dist11と無限遠側の第二距離Dist12の更新は行わなかった。

一方、実施例２では、ボケ修復が可能なボケ量に相当する焦点ずれ量Def21とDef22は、至近側の第一距離Dist11と無限遠側の第二距離Dist12の結像面位置における焦点ずれ量Def11とDef12より内側に存在する。そのため、至近側の第一距離Dist11と無限遠側の第二距離Dist12を、焦点ずれ量Def12とDef22に応じて更新するところが、実施例１と異なるところである。

図２０は、被写体距離Dist1、Dist2、Dist3、Dist4に対応した結像面位置と、撮影レンズ１３７の結像面位置との関係を示したものである。軸は、撮影レンズ１３７の結像面位置からの焦点ずれ量Defを表している。ここで焦点ずれ量Defのプラス方向は、後ピン方向に対応させている。

「0」は撮影レンズ１３７の結像面位置を示していて、ずれ量を「0」と表現している。Def1、Def2、Def3、Def4は、被写体距離Dist1、Dist2、Dist3、Dist4の結像面位置における焦点ずれ量である。Def11とDef12は、至近側の第一距離Dist11と無限遠側の第二距離Dist12の結像面位置における焦点ずれ量である。

これに対し、Def21とDef22は、ボケ修復が可能なボケ量に相当する焦点ずれ量である。ボケ量が大き過ぎる場合にはボケ画像復元時に極端な変換処理が行われノイズが発生しやすい。そのため、ボケ復元する場合には、ボケ量はDef21とDef22の範囲に収まっていることが望ましい。今、Def11とDef12はDef21とDef22の外側に位置するため、うまくボケ復元できない恐れがある。

そこで、至近側の第一距離Dist11における焦点ずれ量Def11が焦点ずれ量Def21に相当する焦点ずれ量になるように、至近側の第一距離Dist11を修正する。同様に、無限側の第二距離Dist12における焦点ずれ量Def12が焦点ずれ量Def22に相当する焦点ずれ量になるように、無限側の第二距離Dist12を修正する。これにより、ボケ量が大き過ぎるためにボケ画像復元時に極端な変換処理が行われてノイズが発生するなどの問題を軽減することができる。つまり良好なボケ修復が可能となる。

前述の至近側の第一距離Dist11と無限遠側の第二距離Dist12を、焦点ずれ量Def12とDef22の応じて更新する動作は、撮影後確認画像表示サブルーチン（図１７）のステップS４０２にて行なう。

図１７のステップＳ４０２では、ボケ修復を行なう被写体領域と被写体距離を設定する。ステップＳ２００被写体距離マップ作成サブルーチンで説明したように、被写体距離マップから被写体領域と被写体距離を対応させた情報が得られる。被写体距離が撮影レンズ１３７によって決まるボケ修復可能な距離範囲(第一距離Dist11〜第二距離Dist12)内に位置する被写体を、ボケ修復を行なうように設定する。さらに、ボケ修復可能な距離範囲である第一距離Dist11と第二距離Dist12が、撮影レンズ１３７の結像面位置からのずれ量が所定量以下になるように、距離を再設定する。これによりボケ量を所定量以下に収めることができ、良好なボケ修復を行なうことができる。

撮像装置、撮像素子の構成、画素の構造は、実施例１と同じであるため、説明は省略する。距離情報取得手段で得られる距離情報、被写体距離と、ボケ修復可能な距離の関係も実施例１と同じであるため、説明は省略する。実施例２の撮像装置の動作フローも、実施例１と同じであるため、説明は省略する。

以上のように、本発明の第２の実施例によっても、ボケ修復手段を有する撮像装置において撮影者が撮影画像の確認を行ないやすい撮像装置を実現することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０１ 第１レンズ群
１０３ 第２レンズ群
１０７ 撮像素子
１２１ ＣＰＵ
１２４ 撮像素子駆動回路
１３１ 表示手段
１３７ 撮影レンズ
１３８ カメラ本体
ＯＢＪ 被写体
ＩＭＧ 被写体像
ＳＨＡ、ＳＨＢ、ＳＶＣ、ＳＶＤ 焦点検出用画素
Dist11 撮影レンズ１３７の至近側距離端に基づいて決まる第一距離
Dist12 撮影レンズ１３７の無限側距離端に基づいて決まる第二距離
Dist1、Dist2、Dist3、Dist4 被写体距離
Target1、Target2、Target3 被写体領域
Def1、Def2、Def3、Def4 被写体距離Dist1〜4の結像面位置における焦点ずれ量
Def11、Def12 第一距離Dist11と第二距離Dist12の結像面位置における焦点ずれ量
Def21、Def22 ボケ修復が可能なボケ量に相当する焦点ずれ量
ＳＩ１、ＳＩ２，ＳＩ３ 被写体領域Target1,Target2,Target3の位置を示す表示
ＳＩ４ 被写体の数を示す表示

Claims (22)

1. 撮影レンズからの光束を受光する撮像素子で撮影される撮影画像内の被写体距離に対応する距離情報を取得する取得手段と、
   前記取得手段で得られた距離情報に基づいて、前記撮影画像に対してピント状態を変更する画像処理を行う画像処理手段と、
   前記画像処理手段によって画像処理された画像を表示手段に表示する表示制御手段と、を有し、
   前記画像処理手段は、第一距離から第二距離までの被写体距離に対応する距離範囲のピント状態を変更した画像を生成し、
   前記画像処理は、前記撮影レンズと前記撮像素子の光伝達特性に基づいた画像処理であることを特徴とする画像処理装置。
2. 撮影レンズからの光束を受光する撮像素子で撮影される撮影画像内の被写体距離に対応する距離情報を取得する取得手段と、
   前記取得手段で得られた距離情報に基づいて、前記撮影画像に対してピント状態を変更する画像処理を行う画像処理手段と、
   前記画像処理手段によって画像処理された画像を表示手段に表示する表示制御手段と、を有し、
   前記画像処理手段は、第一距離から第二距離までの被写体距離に対応する距離範囲のピント状態を変更した画像を生成し、
   前記画像処理は、デコンボリューション処理であることを特徴とする画像処理装置。
3. 撮影レンズからの光束を受光する撮像素子で撮影される撮影画像内の被写体距離に対応する距離情報を取得する取得手段と、
   前記取得手段で得られた距離情報に基づいて、前記撮影画像に対してピント状態を変更する画像処理を行う画像処理手段と、
   前記画像処理手段によって画像処理された画像を表示手段に表示する表示制御手段と、を有し、
   前記画像処理手段は、第一距離から第二距離までの被写体距離に対応する距離範囲のピント状態を変更した画像を生成し、
   前記画像処理手段は、前記第一距離に対応する距離情報を前記撮影レンズの至近側距離端に基づいて決め、前記第二距離に対応する距離情報を前記撮影レンズの無限側距離端に基づいて決めることを特徴とする画像処理装置。
4. 前記第一距離と前記第二距離に対応する結像面位置と、前記撮影レンズの結像面位置とのずれ量が所定量以下になるように、前記第一距離と前記第二距離に対応する距離範囲を設定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 撮影レンズからの光束を受光する撮像素子で撮影される撮影画像内の被写体距離に対応する距離情報を取得する取得手段と、
   前記取得手段で得られた距離情報に基づいて、前記撮影画像に対してピント状態を変更する画像処理を行う画像処理手段と、
   前記画像処理手段によって画像処理された画像を表示手段に表示する表示制御手段と、を有し、
   前記表示制御手段は、前記撮影画像の撮影後に前記画像処理手段によってピント状態を変更可能な範囲を表示することを特徴とする画像処理装置。
6. 前記画像処理手段は、前記撮像素子による撮影の直後に、前記撮影画像がピント状態を変更可能な範囲のピント状態を変更した画像を生成し、
   前記表示制御手段は、当該画像を表示手段に表示することを特徴とする請求項５に記載の画像処理装置。
7. １つのマイクロレンズに第１の光電変換部および第２の光電変換部を含む複数の光電変換部が割り当てられた画素を複数備える前記撮像素子を有することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記取得手段は、前記第１及び第２の光電変換部からの信号の位相差を検出することで前記距離情報を取得することを特徴とする請求項７に記載の画像処理装置。
9. 前記取得手段は、前記第１及び第２の光電変換部からの信号に基づいて、前記距離情報の信頼性を判定することを特徴とする請求項８に記載の画像処理装置。
10. 前記取得手段は、前記第１及び第２の光電変換部からの信号の像の一致度に基づいて前記距離情報の信頼性を判定することを特徴とする請求項９に記載の画像処理装置。
11. 前記撮像素子で撮影された撮影画像と、当該撮影画像の撮影時の特性情報とを記録媒体に記録する記録手段を有することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記特性情報は、Ｆナンバー情報を含むことを特徴とする請求項１１に記載の画像処理装置。
13. 前記特性情報は、収差情報を含むことを特徴とする請求項１１または１２に記載の画像処理装置。
14. 前記画像処理手段は、前記記録媒体に記録された撮影画像に対して、前記記録媒体に記録された特性情報に基づいて前記画像処理を行うことを特徴とする請求項１１乃至１３のいずれか１項に記載の画像処理装置。
15. 前記撮影画像内の被写体を検出する被写体検出手段を有し、
    前記表示制御手段は、前記被写体検出手段により検出された被写体の位置を、前記撮影画像に重畳して前記表示手段に表示することを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理装置。
16. 撮影画像のピント状態を変更する被写体距離に対応する距離情報を設定する設定手段を有し、
    前記画像処理手段は、前記設定手段による設定に基づいて前記撮影画像のピント状態を変更することを特徴とする請求項１乃至１５のいずれか１項に記載の画像処理装置。
17. 撮影レンズからの光束を受光し、１つのマイクロレンズに第１の光電変換部および第２の光電変換部を含む複数の光電変換部が割り当てられた画素を複数備える撮像素子と、
    前記撮像素子で撮影される撮影画像内の被写体距離に対応する距離情報を取得する取得手段と、
    前記取得手段で得られた距離情報に基づいて、前記撮影画像に対してピント状態を変更する画像処理を行う画像処理手段と、
    前記画像処理手段によって画像処理された画像を表示手段に表示する表示制御手段と、を有し、
    前記画像処理手段は、第一距離から第二距離までの被写体距離に対応する距離範囲のピント状態を変更した画像を生成し、
    前記画像処理は、前記撮影レンズと前記撮像素子の光伝達特性に基づいた画像処理であることを特徴とする画像処理装置。
18. 撮影レンズからの光束を受光し、１つのマイクロレンズに第１の光電変換部および第２の光電変換部を含む複数の光電変換部が割り当てられた画素を複数備える撮像素子と、
    前記撮像素子で撮影される撮影画像内の被写体距離に対応する距離情報を取得する取得手段と、
    前記取得手段で得られた距離情報に基づいて、前記撮影画像に対してピント状態を変更する画像処理を行う画像処理手段と、
    前記画像処理手段によって画像処理された画像を表示手段に表示する表示制御手段と、を有し、
    前記画像処理手段は、第一距離から第二距離までの被写体距離に対応する距離範囲のピント状態を変更した画像を生成し、
    前記画像処理は、デコンボリューション処理であることを特徴とする画像処理装置。
19. 撮影レンズからの光束を受光し、１つのマイクロレンズに第１の光電変換部および第２の光電変換部を含む複数の光電変換部が割り当てられた画素を複数備える撮像素子と、
    前記撮像素子で撮影される撮影画像内の被写体距離に対応する距離情報を取得する取得手段と、
    前記取得手段で得られた距離情報に基づいて、前記撮影画像に対してピント状態を変更する画像処理を行う画像処理手段と、
    前記画像処理手段によって画像処理された画像を表示手段に表示する表示制御手段と、を有し、
    前記表示制御手段は、前記撮影画像の撮影後に前記画像処理手段によってピント状態を変更可能な範囲を表示することを特徴とする画像処理装置。
20. 撮影レンズからの光束を受光する撮像素子で撮影される撮影画像内の被写体距離に対応する距離情報を取得する取得工程と、
    前記取得工程で得られた距離情報に基づいて、前記撮影画像に対してピント状態を変更する画像処理を行う画像処理工程と、
    前記画像処理工程にて画像処理された画像を表示手段に表示する表示制御工程と、を有し、
    前記画像処理工程では、第一距離から第二距離までの被写体距離に対応する距離範囲のピント状態を変更した画像を生成し、
    前記画像処理は、前記撮影レンズと前記撮像素子の光伝達特性に基づいた画像処理であることを特徴とする画像処理装置の制御方法。
21. 撮影レンズからの光束を受光する撮像素子で撮影される撮影画像内の被写体距離に対応する距離情報を取得する取得工程と、
    前記取得工程で得られた距離情報に基づいて、前記撮影画像に対してピント状態を変更する画像処理を行う画像処理工程と、
    前記画像処理工程にて画像処理された画像を表示手段に表示する表示制御工程と、を有し、
    前記画像処理工程では、第一距離から第二距離までの被写体距離に対応する距離範囲のピント状態を変更した画像を生成し、
    前記画像処理は、デコンボリューション処理であることを特徴とする画像処理装置の制御方法。
22. 撮影レンズからの光束を受光する撮像素子で撮影される撮影画像内の被写体距離に対応する距離情報を取得する取得工程と、
    前記取得工程で得られた距離情報に基づいて、前記撮影画像に対してピント状態を変更する画像処理を行う画像処理工程と、
    前記画像処理工程にて画像処理された画像を表示手段に表示する表示制御工程と、を有し、
    前記表示制御工程では、前記撮影画像の撮影後に前記画像処理工程にてピント状態を変更可能な範囲を表示することを特徴とする画像処理装置の制御方法。

Images