JP6684168B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、画像処理装置および画像処理方法に関し、特に、ユーザが所望する領域にピントが合った画像を得ることができる画像処理装置および画像処理方法に関する。

従来、ピント位置を変化させながら連続して撮影を行うフォーカスブラケット撮影が知られている。フォーカスブラケット撮影を行うことにより、被写体に対し異なる領域にピントが合った複数の画像を取得することができる。

特許文献１では、フォーカスブラケット撮影を行う撮像装置が開示されている。特許文献１の撮像装置は、フォーカスブラケット撮影で得られた複数の画像の中から、ユーザにより指示された領域に対し最もピントの合った画像を選択する。

特開２００９−１１１６３５号公報

しかしながら、特許文献１に開示された技術では、ユーザが所望する画像を必ずしも取得できないという問題がある。例えば、被写界深度が異なる複数の画像が取得された場合、ユーザの指示領域に対しピントの合った画像が複数該当することがある。このような場合、該当した画像のうちのいずれの被写界深度の画像をユーザが望んでいるかを判断することは困難である。

本発明は上述の問題に鑑み、ユーザの好みに合った被写界深度を有する画像を得ることが可能な画像処理装置および画像制御方法を提供することを目的とする。

本発明に係る画像処理装置は、被写体に対し、被写界深度が異なる複数の画像を取得する画像取得部と、前記被写体の任意の領域をユーザが指示するための指示部と、前記被写界深度および前記領域の被写体距離に基づき、前記複数の画像の中から少なくとも２つの候補画像を選択する第１選択部と、前記候補画像を表示器に表示するよう制御する表示制御部と、前記候補画像の中から前記ユーザが画像を選択するための第２選択部とを備えることを特徴とする。

本発明に係る画像処理方法は、被写体に対し、被写界深度が異なる複数の画像を取得するステップと、前記被写体の任意の領域をユーザが指示するための画像を決定するステップと、前記被写界深度および前記領域の被写体距離に基づき、前記複数の画像の中から少なくとも２つの候補画像を選択するステップと、前記候補画像を表示器に表示するよう制御するステップと、前記候補画像の中から前記ユーザが選択した画像を決定するステップとを備えることを特徴とする。

本発明によれば、ユーザの好みに合った被写界深度を有する画像を取得することができる。

第１実施形態に係る撮像装置のブロック図である。 第１実施形態に係る撮像素子の模式図である。 第１実施形態に係る画像処理方法の概要を表すフローチャートである。 第１実施形態に係る複数画像撮影処理のフローチャートである。 第１実施形態に係る被写体領域および距離分布の一例を示す図である。 第１実施形態に係る距離情報の取得方法を説明するための図である。 第１実施形態に係る撮影方法を説明するための図である。 第１実施形態に係る深度合成処理のフローチャートである。 第１実施形態に係る深度合成時の合成比率の一例を示すグラフである。 第１実施形態に係る画像の深度情報の表である。 第１実施形態に係る候補画像表示処理のフローチャートである。 第１実施形態に係るタッチ箇所と候補画像の関係を示す模式図である。 第１実施形態に係る候補画像の表示の一例を示す図である。 第１実施形態に係る指示受付用の画像の一例である。 第２実施形態に係る候補画像表示処理のフローチャートである。 第２実施形態に係るタッチ操作の種類とユーザの好みの関係を表す図である。 第２実施形態に係る候補画像の表示の一例を示す図である。

以下、図面を参照しながら本発明の好適な実施の形態について説明する。

［第１実施形態］
第１実施形態の画像処理装置は、被写界深度が異なる複数の画像の中から、ユーザが指示した位置に対してピントが合った画像を提示し、記録することができる。以下の説明において、本実施形態の画像処理における撮影モードを、ピント位置指定モードと称する。

図１は、本実施形態に係る画像処理装置のブロック図である。画像処理装置は、光学系１０１、撮像素子１０２、信号処理部１０３、内部メモリ１０４、光学系制御部１０５、制御部１０６、操作部１０７、表示部１０８、記録部１０９を備えている。

光学系１０１は、ズームレンズ１０１ａ、フォーカスレンズ１０１ｂ、絞りシャッタ１０１ｃを備えている。光学系１０１は、被写体からの光を撮像素子１０２の撮像面に結像させ、被写体像を形成する。ズームレンズ１０１ａ、フォーカスレンズ１０１ｂ、絞りシャッタ１０１ｃは、光学系制御部１０５により制御され、撮像素子１０２に到達する被写体像の倍率、ピント位置、光量をそれぞれ調整する。

撮像素子１０２は、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary MOS）センサなどの光電変換素子である。撮像素子１０２は、光学系１０１を通過した被写体の光束を光電変換し、アナログ画像信号として信号処理部１０３に入力する。

信号処理部１０３は、入力されたアナログ画像信号をデジタル画像信号に変換するアナログ・デジタル変換回路を備えている。さらに、信号処理部１０３は、デジタル画像信号に対し、ホワイトバランス調整、補間、輪郭強調、ガンマ補正、階調変換などの所定の画像処理を施す。なお、アナログ・デジタル変換回路は撮像素子１０２に設けられてもよい。

内部メモリ１０４は、ＤＲＡＭ（Dynamic Random Access Memory）などから構成され、信号処理部１０３からの画像を一時的に記憶する。また、内部メモリ１０４は、制御プログラムが読み出されるロード領域、各種処理を行う際のワーク領域として、制御部１０６により使用される。

光学系制御部１０５は、ズーム駆動部１０５ａ、フォーカス駆動部１０５ｂ、絞りシャッタ駆動部１０５ｃを備えている。光学系制御部１０５は、制御部１０６からの撮影条件に基づいて、ズーム駆動部１０５ａ、フォーカス駆動部１０５ｂ、絞りシャッタ駆動部１０５ｃの駆動量、駆動タイミングなどを制御する。ズーム駆動部１０５ａ、フォーカス駆動部１０５ｂは、ズームレンズ１０１ａ、フォーカスレンズ１０１ｂをそれぞれ光軸に沿って移動させる。絞りシャッタ駆動部１０５ｃは、絞りシャッタ１０１ｃの開口径を変化させる。

制御部１０６は、ＣＰＵ（Central Processing Unit）などから構成され、操作部１０７からの指示に基づいて、撮像素子１０２、信号処理部１０３、光学系制御部１０５などの画像処理装置の各部に制御信号を送信する。制御部１０６は、被写体検出部１１１、距離取得部１１２、条件設定部１１３、深度合成部１１４、画像提示部１１５の機能を備えており、画像取得部、指示部、提示部、選択部を構成する。

被写体検出部１１１は、取得した画像の被写体領域を検出する。距離取得部１１２は、被写体領域の距離情報、例えば被写体距離を取得する。条件設定部１１３は、距離情報に基づき被写体を撮影する際の撮影条件を設定する。深度合成部１１４は、深度合成処理を行う。深度合成処理とは、被写界深度の浅い複数の画像を合成することにより、被写界深度の深い１つの画像を生成する処理である。画像提示部１１５は、操作部１０７または表示部１０８からの入力信号に基づき、ユーザが指示した被写体領域を特定する。画像提示部１１５は、特定した被写体領域の距離情報に基づき、被写界深度が異なる複数の画像の中から画像を選択し、ユーザに提示する。

操作部１０７は、撮影ボタン１０７ａ、モード切替ボタン１０７ｂ、カーソルキー１０７ｃなどの各種操作デバイスを備えている。操作部１０７は、ユーザが画像処理装置に対し指示を行うためのものであり、ユーザの操作に応じた信号を制御部１０６に入力する。ユーザは、例えばカーソルキー１０７ｃを操作することにより、表示部１０８に表示された画像の任意の領域を指示することができる。なお、表示部１０８のタッチセンサ１０８ａも操作部１０７に含まれ得る。モード切替ボタン１０７ｂは、撮影条件に関する撮影モードの切り替えの他、撮影された画像の選択に関する画像選択モードの切り替えの機能を有する。本実施形態においては、画像選択モードには、被写界深度および指定したピント位置に基づき候補画像を提示させることにより、所望の画像を選択するためのモード（ピント位置指定モード）が含まれ得る。

表示部１０８は、タッチセンサ１０８ａ、ディスプレイ１０８ｂなどから構成されている。タッチセンサ１０８ａは、ディスプレイ１０８ｂ上に設けられ、マトリクス状に並べられた透明な電極を備えている。ユーザのタッチ操作、すなわちユーザの指がタッチセンサ１０８ａに触れることにより、電極における静電容量が変化する。これにより、タッチセンサ１０８ａは、指の接触位置およびその軌跡を検出することができる。タッチセンサ１０８ａは、このようなタッチ操作に応じた信号を制御部１０６に入力する。ディスプレイ１０８ｂは、例えば液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイで構成され、信号処理部１０３で生成された画像、内部メモリ１０４、記録部１０９から読み出した画像、各種設定情報などを表示する。

記録部１０９は、半導体メモリ、光磁気ディスクなどの情報記録媒体であり、制御部１０６から出力された画像などを記録する。記録部１０９は、着脱可能に構成されてもよく、また、外部の装置で生成された画像を記録してもよい。さらに、画像処理装置は、ネットワークに接続する通信部を備えてもよく、通信部を介してネットワーク上のサーバと画像を送受信することも可能である。

図２は、本実施形態に係る撮像素子１０２の模式図である。図２は、光学系１０１と撮像素子１０２を光軸に対して垂直な方向から示している。図示の便宜上、光学系１０１の射出瞳１０１ｄと撮像素子１０２の１つの画素のみが示されている。撮像素子１０２の各画素は、等分割された副画素２０１、２０２を有している。副画素２０１、２０２は、それぞれ１つのフォトダイオードで構成される。撮像素子１０２の各画素には、受光面側にマイクロレンズ２０３が形成されている。射出瞳１０１ｄの異なる瞳領域２１１、２１２を通過した被写体からの光は、マイクロレンズ２０３を介して、対応する副画素２０１、２０２にそれぞれ入射する。

図３は、本実施形態に係る画像処理方法の概要を表すフローチャートである。まず、ユーザがモード切替ボタン１０７ｂを操作し、ピント位置指定モードを選択する。続いて、ユーザが撮影ボタン１０７ａを押下すると、ステップＳ３０１において、制御部１０６は、ピント位置を変えながら複数の画像を撮影する。すなわち、制御部１０６は、被写体として検出した被写体領域の距離情報を取得し、該距離情報に基づいて、ピント位置を変化させながらブラケット撮影を行う。撮影された複数の画像は、内部メモリ１０４に一時的に保持される。

ステップＳ３０２において、制御部１０６は、撮影された複数の画像を深度合成し、被写界深度の深い画像を生成する。制御部１０６は、ピント位置の異なる複数の画像を合成し、被写界深度の深い画像を生成する。生成された画像は内部メモリ１０４に一時的に保持される。

ステップＳ３０３において、制御部１０６は、候補画像を表示する。制御部１０６は、これまでの処理で得られた画像の中から、ユーザの意図に近いと推定された少なくとも２つの候補画像を選択し、表示部１０８に表示する。例えば、ユーザが表示部１０８において画像の任意の領域を指定すると、制御部１０６は、被写界深度および指示された領域の被写体距離に基づき、撮像された複数の画像から少なくとも２つの画像を表示する。ユーザは、表示部１０８に表示された画像の中から、所望の１つの画像を選択する。

ステップＳ３０４において、制御部１０６は、ユーザによって選択された画像を決定し、記録部１０９に記録する。制御部１０６は、選択された画像以外の画像を内部メモリ１０４から消去する。

図４は、図３の画像撮影処理（Ｓ３０１）の詳細なフローチャートである。まず、ステップＳ４０１において、制御部１０６の被写体検出部１１１は、取得した画像において被写体領域の検出を行う。被写体領域の一例を図５（ａ）に示す。被写体検出部１１１は、画像５０１を複数のブロック５０１ａに分割し、各ブロックの輝度および色情報を取得する。次に、被写体検出部１１１は、画像５０１の中央部に属するブロックの情報と類似する情報を有するブロックの集合を、被写体領域５０２として検出する。なお、被写体領域の検出方法は限定されるものではなく、例えば、画像から輝度、色、コントラスト分布などに関する特徴量を抽出し、事前にモデル化した特徴量と比較することにより、被写体領域を検出する方法でもよい。

次に、ステップＳ４０２において、制御部１０６の距離取得部１１２は、被写体領域５０２の距離情報を取得する。距離情報には、撮影時における光学系１０１から被写体までの距離、すなわち被写体距離が含まれる。図６、図５（ｂ）を用いて、ステップＳ４０２の処理を詳述する。

図６は、本実施形態に係る距離情報の取得方法を説明するための図である。図６は、被写体が位置６０１、６０２に存在する場合において、光学系１０１の射出瞳１０１ｄと、撮像素子１０２の撮像面１０２ａとの間の光学的な位置関係を示している。位置６０１にある被写体はピントが合った状態であり、異なる瞳領域２１１、２１２を通過した被写体からの光束は、撮像面１０２ａ上の同じ位置６１３で結像する。一方、位置６０２にある被写体はピントが合っていない状態である。この場合、異なる瞳領域２１１、２１２を通過した光束はそれぞれ、撮像面１０２ａ上で幅６１１、６１２の範囲に広がり、ボケた被写体像となる。距離取得部１１２は、これらの被写体像のずれ量ｐをデフォーカス量ｄに変換し、光学系１０１のレンズ情報に基づいて被写体距離を算出する。なお、被写体距離の取得方法は限定されるものではなく、例えば赤外線などを利用した測距センサにより被写体距離を測定する方法でもよい。

図５（ｂ）は、本実施形態に係る被写体領域５０２の距離分布の一例である。グラフの横軸は各画素の被写体距離を示し、縦軸は画素数を示している。距離取得部１１２は、被写体領域５０２に対して、図５（ｂ）に示す距離分布を作成する。距離取得部１１２は、度数のピークが含まれる分布５０４を被写体５０３の距離情報と判断し、最小の距離Ｚｍｉｎおよび最大の距離Ｚｍａｘを取得する。ピークから離れた位置にある分布５０５は、被写体領域５０２に混入した背景領域の距離情報を示すものであり、除外される。

次に、ステップＳ４０３、Ｓ４０４において、制御部１０６の条件設定部１１３は、撮影条件を設定し、複数の画像を撮影する。撮影条件には、フォーカスレンズ１０１ｂの位置、絞りシャッタ１０１ｃの絞り値などが含まれる。図７を用いて、ステップＳ４０３、ステップＳ４０４の処理を詳述する。

図７は、本実施形態に係る撮影方法を説明するための図である。ステップＳ４０２において取得されたように、被写体５０３の被写体距離は、距離Ｚｍｉｎから距離Ｚｍａｘまでの範囲にある。まず、条件設定部１１３は、フォーカスブラケット撮影を行うための撮影条件を設定する。例えば、条件設定部１１３は、被写体５０３を距離の順で４つの領域に分割し、各領域が１回の撮影で被写界深度内に収まるように、絞りシャッタ１０１ｃの絞り値を設定する。そして、条件設定部１１３は、被写界深度に応じて、ブラケット幅、すなわちフォーカスレンズ１０１ｂの撮影毎の位置を設定する。

さらに、条件設定部１１３は、被写界深度の深い画像を撮影するための撮影条件を設定する。例えば、条件設定部１１３は、被写体５０３の全体が１回の撮影で被写界深度内に収まるように、絞りシャッタ１０１ｃの絞り値、フォーカスレンズ１０１ｂの位置を設定する。すなわち、条件設定部１１３は、フォーカスブラケット撮影の撮影条件よりも絞り値を大きく設定する。

続いて、制御部１０６は、撮影条件を光学系制御部１０５に送信する。光学系制御部１０５は、撮影条件に基づいてフォーカス駆動部１０５ｂを駆動し、フォーカスレンズ１０１ｂの位置を光軸に沿って４段階ブラケットさせる。制御部１０６は、撮像素子１０２、信号処理部１０３を制御し、各ブラケット位置において順次撮影を行う。これにより、距離Ｚｍｉｎ〜距離Ｚ１までの被写界深度を有する画像１から、距離Ｚ３〜距離Ｚｍａｘまでの被写界深度を有する画像４までの４つの画像が取得される。

さらに、光学系制御部１０５は、撮影条件に基づいてフォーカス駆動部１０５ｂ、絞りシャッタ駆動部１０５ｃを駆動し、フォーカスレンズ１０１ｂの位置、絞りシャッタ１０１ｃの絞り値を調節する。制御部１０６は、撮像素子１０２、信号処理部１０３を制御し、画像を１つ撮影する。これにより、距離Ｚｍｉｎ〜距離Ｚｍａｘまでの被写界深度を有する画像５が取得される。

図８は、図３の深度合成処理（Ｓ３０２）の詳細なフローチャートである。深度合成処理では、複数の画像撮影により取得された画像１〜４が合成され、画像６が生成される。まず、ステップＳ８０１において、制御部１０６の深度合成部１１４は、処理対象となる画素を１つ選択する。画素の選択順は、例えば画像の端から順に行えばよく、特に限定されない。

ステップＳ８０２において、深度合成部１１４は、画像１〜４の中から、画像を１つ選択する。画像の選択順は、例えば画像１から番号順に行えばよく、特に限定されない。ステップＳ８０３において、深度合成部１１４は、選択した画像における対象画素の被写体距離を距離取得部１１２から取得する。

ステップＳ８０４において、深度合成部１１４は、被写体距離に応じて対象画素の合成比率を決定する。図９に示されるように、深度合成部１１４は、被写界深度内に含まれる画素に対して合成比率を高く設定する。例えば、画像２が選択されている場合、画像２の被写界深度内（Ｚ１〜Ｚ２）に含まれる画素の合成比率が高く設定される。

ステップＳ８０５において、深度合成部１１４は、元の画素値に合成比率を乗算することにより、合成画素値を算出する。ステップＳ８０６において、深度合成部１１４は、全画像（画像１〜４）に対して合成画素値の算出が完了したか否かを判定する。合成画素値が算出されていない画像がある場合、深度合成部１１４は、ステップＳ８０２に戻り、次の画像を選択する。

ステップＳ８０７において、深度合成部１１４は、画像１〜４の合成画素値を合算し、画像６の画素値とする。ステップＳ８０８において、深度合成部１１４は、全画素に対して画像６の画素値が得られたか否かを判定する。画素値が得られていない画素がある場合、深度合成部１１４は、ステップＳ８０１に戻り、次の画素を選択する。

ステップＳ８０９において、深度合成部１１４は、画像６を内部メモリ１０４に記憶させる。さらに、深度合成部１１４は、これまでの処理で得られた画像１から画像６までの６つの画像の深度情報を内部メモリ１０４に記憶させる。深度合成部１１４は、各画像とその深度情報とを記録部１０９に記憶させてもよい。

図１０は、本実施形態に係る画像の深度情報の表である。深度情報には、各画像の被写界深度内の被写体距離の最大値および最小値が含まれる。本実施形態では、画像５と画像６は、同等の被写界深度を有している。画像５は絞りを絞って撮影されているため、画像５の手振れ量とＳＮ比は画像６よりも悪化しており、画像５の背景ボケの程度は小さい。一方、画像６の画質は、合成処理により劣化している可能性がある。

図１１は、図３の候補画像表示処理（Ｓ３０３）のフローチャートである。まず、ステップＳ１１０１において、制御部１０６の画像提示部１１５は、図１２（ａ）に示すような指示受付用の画像を表示部１０８に表示させる。ピント位置指定モードでは、ピントを合わせたい位置をユーザにタッチしてもらうため、指示受付用の画像は画像全体にわたって視認性が高い画像であることが好ましい。よって、画像提示部１１５は、被写界深度の深い画像５または画像６を指示受付用の画像とする。

ステップＳ１１０２において、画像提示部１１５は、ユーザからの指示を受け付ける。例えば、画像提示部１１５は、図１２（ａ）に示すように、自動車１２００のフロント部分がユーザによりタッチされた場合、タッチセンサ１０８ａからタッチ箇所１２０１の座標を受け取る。

ステップＳ１１０３において、画像提示部１１５は、タッチ箇所１２０１の距離情報を取得する。具体的には、画像提示部１１５は、タッチ箇所１２０１の画素の被写体距離を距離取得部１１２から取得する。また、タッチ箇所１２０１が複数画素にまたがる場合、画像提示部１１５は、複数画素の被写体距離の平均値をとる。

ステップＳ１１０４において、画像提示部１１５は、距離情報に基づき、候補画像の選択を行う。タッチ箇所１２０１の被写体距離をＺｔで表すと、図１２（ｂ）の例では、距離Ｚｔは、距離Ｚｍｉｎと距離Ｚ１の間にある（Ｚｍｉｎ≦Ｚｔ≦Ｚ１）。したがって、画像提示部１１５は、画像１〜６の中から、距離Ｚｔを被写界深度内に含む画像をすべて選択する。すなわち、画像提示部１１５は、図１２の例では、画像１、画像５、画像６を候補画像として選択する。なお、距離Ｚｔが距離Ｚｍｉｎ未満、または距離Ｚｍａｘよりも大きい場合、画像提示部１１５は、ユーザに対する警告表示を表示部１０８に表示させてもよい。また、警告表示の代わりに、あるいは警告表示に加えて、画像提示部１１５は、画像１〜６の中で相対的に最も背景ボケの少ない画像５を選択してもよい。

ステップＳ１１０５において、画像提示部１１５は、選択した候補画像を表示部１０８に表示させる。画像提示部１１５は、候補画像として画像１、画像５、画像６を選択した場合、図１３に示すように、選択した３つの画像を表示部１０８に並べて表示させる。また、画像提示部１１５は、候補画像とともに、好みの画像を選択することをユーザに促す表示を表示部１０８に表示する。

このように、本実施形態によれば、ピント位置が異なる複数の画像とこれらの画像を深度合成することで得られた画像とを、それぞれの被写界深度とともに記憶する。そして、ユーザが指示した領域の被写体距離と各画像の被写界深度を基に、被写界深度の異なる少なくとも２つの画像をユーザに提示する。これにより、ユーザが所望の画像を選択することができるため、ユーザの好みを反映した被写界深度を有する画像を記録することができる。

図１４（ａ）は、本実施形態に係る指示受付用の画像の一例である。ユーザのタッチ操作により自動車のフロント部分１４０１が指示されたと仮定する。その場合、図１４（ｂ）に示すように、自動車のフロント部分の近傍１４０２のみにピントが合った画像Ａが所望であると考えられる一方で、図１４（ｃ）に示すように、自動車全体１４０３にピントが合った画像Ｂが所望であるとも考えられる。一般に、画像Ａ、Ｂのうちどちらの画像をユーザが望んでいるかを判断することは困難であるが、本実施形態によれば、最終的な判断をユーザに委ねることにより、真にユーザの意図を反映した画像を取得することができる。

［第２実施形態］
第１実施形態では、ユーザが指示受付用の画像上の１点を指示することを想定していたが、本実施形態では、ユーザの指示が必ずしも１点のみではない場合を想定する。以下、第１実施形態と異なる点を中心に説明を行う。

図１５は、本実施形態に係る候補画像表示処理のフローチャートである。まず、ステップＳ１５０１において、画像提示部１１５は、図１６に示すような指示受付用の画像を表示部１０８に表示させる。

ステップＳ１５０２において、画像提示部１１５は、ユーザからの指示を受け付ける。画像提示部１１５は、図１６（ａ）に示すように、自動車のフロント部分がユーザによりタッチされた場合、タッチセンサ１０８ａからタッチ箇所１６０１の座標を受け取る。また、画像提示部１１５は、図１６（ｂ）に示すように、被写体である自動車全体を囲むようにユーザがタッチ操作を行った場合、タッチセンサ１０８ａからタッチ箇所のすべての座標、すなわちタッチ箇所の軌跡１６０２を受け取る。

ステップＳ１５０３およびＳ１５０４において、画像提示部１１５は、候補画像を選択し、候補画像の優先度を設定する。画像提示部１１５は、ユーザのタッチ操作の種類に基づき、優先度を設定する。例えば、図１６（ａ）に示すように、被写体上の１点が指示された場合（ピンポイント指定時）、画像提示部１１５は、指示された位置の近傍のみピントが合った画像がユーザの所望である可能性が高いと判断する。一方、図１６（ｂ）に示すように、被写体全体を囲むように指示された場合（囲み指定時）、画像提示部１１５は、被写体全体にピントが合った画像がユーザの所望である可能性が高いと判断する。

画像提示部１１５は、このような可能性の高低を、候補画像の提示の優先度として反映する。例えば、図１２（ｂ）、図１６（ａ）のように、被写体のある１点のみを指示された場合、画像提示部１１５は、画像１、画像５、画像６を候補画像として選択し、画像１の提示の優先度を最も高く設定する。逆に、図１６（ｂ）のように、被写体全体を囲むように指定された場合、画像提示部１１５は、画像５、画像６の提示の優先度を高く設定する。すなわち、候補画像の提示の優先度は、ユーザの指示の仕方に応じて設定される。

ステップＳ１５０５において、画像提示部１１５は、表示部１０８に候補画像を表示させる。画像提示部１１５は、提示の優先度に従って候補画像の表示を行う。

図１７は、本実施形態に係る候補画像の表示の一例を示す図である。図１７（ａ）は、ピンポイント指定時に、被写界深度の浅い画像１が高優先度に設定された場合の表示例である。一方、図１７（ｂ）は、囲み指定時に、被写界深度の深い画像５、画像６が高優先度に設定された場合の表示例である。図１７に示すように、画像提示部１１５は、提示の優先度が高い画像を最も大きく表示させる。

このように、本実施形態によれば、ユーザによるタッチ操作の種類により、ユーザの好みを推定し、候補画像に提示の優先度を設けることができる。提示の優先度を表示方法に反映させることで、ユーザが好みに合った画像をより容易に選択することができる。

［変形実施形態］
本発明は、上述の実施形態に限らず種々の変形が可能である。例えば、上述の実施形態では、フォーカスブラケット撮影により得られた４つの画像（画像１〜４）を深度合成することにより、１つの合成画像（画像６）を生成していた。合成方法は、これに限定されることはなく、任意の個数および組み合わせの画像を深度合成することにより、被写界深度が異なる複数の合成画像を得てもよいものとする。

また、ユーザからの指示は、タッチ操作による場合に限定されることはなく、例えばカーソルで指示するなど、その他の種々の手法を用いてもよいものとする。

また、第２実施形態では、画像の優先度を表示に反映する方法として、画像の大きさに差をつける方式を説明したが、例えば表示順に反映させるなど、その他の種々の手法を用いてもよいものとする。

１０６ 制御部
１０７ 操作部
１０８ 表示部
１０９ 記録部
１１１ 被写体検出部
１１２ 距離取得部
１１３ 条件設定部
１１４ 深度合成部
１１５ 画像提示部

Claims (10)

1. 被写体に対し、被写界深度が異なる複数の画像を取得する画像取得部と、
   前記被写体の任意の領域をユーザが指示するための指示部と、
   前記被写界深度および前記領域の被写体距離に基づき、前記複数の画像の中から少なくとも２つの候補画像を選択する第１選択部と、
   前記候補画像を表示器に表示するよう制御する表示制御部と、
   前記候補画像の中から前記ユーザが画像を選択するための第２選択部とを備えることを特徴とする画像処理装置。
2. 前記複数の画像のうちの少なくとも１つは、ピント位置が異なる複数の画像を深度合成することで生成されることを特徴とする請求項１に記載の画像処理装置。
3. 前記複数の画像のうちの少なくとも１つは、前記複数の画像のうちの他の画像とは異なる絞り値で撮影されることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記指示部は、前記ユーザのタッチ操作を検出することにより、前記領域を特定することを特徴とする請求項１ないし３のいずれか１項に記載の画像処理装置。
5. 前記表示制御部は、前記被写体距離を被写界深度内に含む画像を前記表示器に表示することを特徴とする請求項１ないし４のいずれか１項に記載の画像処理装置。
6. 前記表示制御部は、前記被写体距離を被写界深度内に含む画像が無い場合、警告表示を行うことを特徴とする請求項１ないし４のいずれか１項に記載の画像処理装置。
7. 前記表示制御部は、前記被写体距離を被写界深度内に含む画像が無い場合、前記複数の画像の中から最も被写界深度が深い画像を前記表示器に表示することを特徴とする請求項１ないし４のいずれか１項に記載の画像処理装置。
8. 前記第２選択部により前記候補画像の中から選択された画像を記録媒体に記録するよう制御する記録制御部をさらに備えることを特徴とする請求項１ないし７のいずれか１項に記載の画像処理装置。
9. 被写体に対し、被写界深度が異なる複数の画像を取得するステップと、
   前記被写体の任意の領域をユーザが指示するための画像を決定するステップと、
   前記被写界深度および前記領域の被写体距離に基づき、前記複数の画像の中から少なくとも２つの候補画像を選択するステップと、
   前記候補画像を表示器に表示するよう制御するステップと、
   前記候補画像の中から前記ユーザが選択した画像を決定するステップとを備えることを特徴とする画像処理方法。
10. コンピュータを請求項１ないし８のいずれか１項に記載の画像処理装置の各手段として機能させるプログラム。

Images