JPWO2015166675A1 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

処理対象の画像である対象画像における画素単位での合焦度合いの判定結果である第１の判定結果と、対象画像における領域単位での合焦度合いの判定結果である第２の判定結果とに基づいて、対象画像における合焦度合いの提示を制御する提示制御部を備える、画像処理装置が提供される。【選択図】図２

Description

本開示は、画像処理装置、画像処理方法、およびプログラムに関する。

例えば、撮像デバイスにより撮像された撮像画像の記録画素数や、撮像画像を表示時の画素数の増加などに伴い、撮像デバイスにより撮像が行われる場合において焦点があった画像を得ることが、難しくなってきている。

このような中、合焦の精度の向上を図るための技術が開発されている。画像から抽出された高周波成分に基づき生成したインジゲータを当該画像に合成して、画像において合焦している箇所を、当該画像をみるユーザに把握させる技術としては、例えば下記の特許文献１に記載の技術が挙げられる。また、画像から高周波成分を検出し、被写体のエッジを強調表示する技術としては、例えば下記の特許文献２に記載の技術が挙げられる。

特開２００９−１１１４８７号公報 特開２０１０−１１４５５６号公報

例えば特許文献１に記載の技術のように、画像の高周波成分に基づくインジゲータを当該画像に合成することによって、ユーザは、合焦している箇所を視覚的に把握することができる。しかしながら、例えば特許文献１に記載の技術のような、特定の領域（縦方向や横方向）の高周波成分を積算したインジゲータでは、例えば、ユーザは、画像における細部の焦点を確認することができない恐れがある。

また、例えば特許文献２に記載の技術のように、被写体のエッジを強調表示することによって、ユーザは、実際に焦点を合わせたい箇所の細部を確認することができる。しかしながら、例えば特許文献２に記載の技術を用いたとしても、画像において高周波成分を有さない箇所についてはエッジが表示されないので、ユーザは、合焦している領域を確認することができない恐れがある。

本開示では、画像における合焦の度合いをユーザに把握させることが可能な、新規かつ改良された画像処理装置、画像処理方法、およびプログラムを提案する。

本開示によれば、処理対象の画像である対象画像における画素単位での合焦度合いの判定結果である第１の判定結果と、上記対象画像における領域単位での合焦度合いの判定結果である第２の判定結果とに基づいて、上記対象画像における合焦度合いの提示を制御する提示制御部を備える、画像処理装置が提供される。

また、本開示によれば、処理対象の画像である対象画像から画素単位での合焦度合いを判定する第１判定処理部と、上記対象画像から領域単位での合焦度合いを判定する第２判定処理部と、を備える、画像処理装置が提供される。

また、本開示によれば、処理対象の画像である対象画像における画素単位での合焦度合いの判定結果である第１の判定結果と、上記対象画像における領域単位での合焦度合いの判定結果である第２の判定結果とに基づいて、上記対象画像における合焦度合いの提示を制御するステップを有する、画像処理装置により実行される画像処理方法が提供される。

また、本開示によれば、処理対象の画像である対象画像における画素単位での合焦度合いの判定結果である第１の判定結果と、上記対象画像における領域単位での合焦度合いの判定結果である第２の判定結果とに基づいて、上記対象画像における合焦度合いの提示を制御するステップをコンピュータに実行させるためのプログラムが提供される。

本開示によれば、画像における合焦の度合いをユーザに把握させることができる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。

本実施形態に係る提示画像の一例を示す説明図である。 本実施形態に係る画像処理装置の構成の一例を示すブロック図である。 本実施形態に係る画像処理装置における処理に係る画像の一例を示す説明図である。 本実施形態に係る画像処理装置における処理に係る画像の一例を示す説明図である。 本実施形態に係る画像処理装置における処理に係る画像の一例を示す説明図である。 本実施形態に係る画像処理装置における処理に係る画像の一例を示す説明図である。 本実施形態に係る画像処理装置における処理に係る画像の一例を示す説明図である。 本実施形態に係る画像処理装置における処理に係る画像の一例を示す説明図である。 本実施形態に係る画像処理装置のハードウェア構成の一例を示す説明図である。 本実施形態に係る表示画面に対応する提示の仕方によって合焦度合いが表された提示画像の一例を示す説明図である。 本実施形態に係る画像処理装置が備える第２判定処理部における処理の一例を説明するための説明図である。 本実施形態に係る画像処理装置が備える合焦領域提示制御部における処理の第１の例を示す説明図である。 本実施形態に係る画像処理装置が備える合焦領域提示制御部における処理の一例を説明するための説明図である。 本実施形態に係る画像処理装置が備える合焦領域提示制御部における処理の第２の例を示す説明図である。 本実施形態に係る画像処理装置が備える合焦領域提示制御部における処理の第３の例を示す説明図である。 本実施形態に係る画像処理装置が備える合焦領域提示制御部における処理の一例を説明するための説明図である。 本実施形態に係る画像処理装置が備える合焦領域提示制御部における処理の一例を説明するための説明図である。 本実施形態に係る画像処理装置が備える合焦箇所提示制御部における処理の第１の例を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下では、下記に示す順序で説明を行う。
１．本実施形態に係る画像処理方法
２．本実施形態に係る画像処理装置
３．本実施形態に係るプログラム

（本実施形態に係る画像処理方法）
本実施形態に係る画像処理装置の構成について説明する前に、まず、本実施形態に係る画像処理方法について説明する。以下では、本実施形態に係る画像処理方法に係る処理を、本実施形態に係る画像処理装置が行う場合を例に挙げて、本実施形態に係る画像処理方法について説明する。

本実施形態に係る画像処理装置は、処理対象の画像（以下、「対象画像」と示す。）における合焦度合いの提示を制御する（提示制御処理）。

本実施形態に係る画像処理装置は、対象画像における画素単位での合焦度合いの判定結果（以下、「第１の判定結果」と示す場合がある。）と、対象画像における領域単位での合焦度合いの判定結果（以下、「第２の判定結果」と示す場合がある。）とに基づいて、対象画像における合焦度合いの提示を制御する。

ここで、本実施形態に係る対象画像とは、例えば、複数の撮像素子を有する撮像デバイスにより生成された撮像画像である。本実施形態に係る撮像画像としては、例えば、スルー画像（撮像デバイスにより生成された画像が、記録媒体に記録されずに表示画面に表示される画像。いわゆるライブビューなどで利用される画像。）や、記録媒体から読み出された撮像デバイスにより生成された画像が挙げられる。以下では、本実施形態に係る対象画像が、スルー画像である場合を例に挙げる。

また、本実施形態に係る“対象画像における合焦度合いの提示の制御”としては、例えば、対象画像に基づく画像（以下、「提示画像」と示す。）を生成させる生成制御が挙げられる。

本実施形態に係る提示画像とは、第１の判定結果と第２の判定結果との一方または双方に基づく提示の仕方によって合焦度合いが表された画像である。本実施形態に係る提示画像としては、例えば下記に示す画像が挙げられる。
・第１の判定結果に基づく画素単位での合焦度合いが表された提示画像
・第２の判定結果に基づく領域単位での合焦度合いが表された提示画像
・第１の判定結果に基づく画素単位での合焦度合い、および第２の判定結果に基づく領域単位での合焦度合いが表された提示画像

本実施形態に係る画像処理装置は、本実施形態に係る生成制御に係る処理として、例えば、提示画像を生成する。また、本実施形態に係る画像処理装置は、本実施形態に係る生成制御に係る処理として、例えば、本実施形態に係る画像処理装置の外部装置（または外部デバイス）に提示画像を生成させる。

本実施形態に係る提示画像の具体例、および本実施形態に係る提示画像の生成に係る処理については、後述する。

本実施形態に係る画像処理装置が、本実施形態に係る提示制御処理として生成制御に係る処理を行うことによって、ユーザは、例えば生成された提示画像を見ることにより、対象画像における合焦度合いを把握することが可能となる。よって、本実施形態に係る画像処理装置が、本実施形態に係る提示制御処理として生成制御に係る処理を行うことによって、画像における合焦の度合いをユーザに把握させることができる。

なお、本実施形態に係る“対象画像における合焦度合いの提示の制御”は、上記に限られない。

例えば、本実施形態に係る“対象画像における合焦度合いの提示の制御”には、生成された提示画像を表示画面に表示させる表示制御がさらに含まれていてもよい。ここで、本実施形態に係る“対象画像における合焦度合いの提示の制御”に表示制御が含まれる場合、本実施形態に係る提示制御処理は、例えば、提示画像を表示させる表示画面が表示可能な状態であるとき（例えば、電源がオンのとき）に行われる。なお、上記の場合における本実施形態に係る提示制御処理は、上記に限られない。例えば、本実施形態に係る提示制御処理は、提示画像を表示させる表示画面が表示可能な状態でないとき（例えば、電源がオフのとき）であっても、表示画面を表示可能な状態とさせた上で提示画像を表示画面に表示させることが可能である。

本実施形態に係る画像処理装置は、本実施形態に係る表示制御に係る処理として、例えば、生成された提示画像を、本実施形態に係る画像処理装置が備える表示部（後述する）の表示画面に表示する。また、本実施形態に係る画像処理装置は、本実施形態に係る表示制御に係る処理として、例えば、本実施形態に係る画像処理装置の外部の表示装置に、生成された提示画像を表示させる。本実施形態に係る画像処理装置は、例えば、本実施形態に係る画像処理装置が備える通信部（後述する）、または本実施形態に係る画像処理装置に接続された通信デバイスに、提示画像を示すデータと表示命令とを、上記表示装置に対して送信させることによって、上記表示装置に提示画像を表示させる。

なお、本実施形態に係る表示制御に係る処理は、上記に限られない。例えば、本実施形態に係る画像処理装置は、生成された提示画像の一部（例えば、提示画像における合焦されている部分）を拡大して表示させてもよい（いわゆる、拡大フォーカスによる提示画像の表示）。また、本実施形態に係る画像処理装置は、例えば、ＰｉｎＰ（Picture in Picture）のように、対象画像の一部分に提示画像を表示させるなど、様々な方式で提示画像を表示画面に表示させることが可能である。

以下では、本実施形態に係る画像処理装置が、本実施形態に係る提示制御処理として、提示画像の生成に係る処理および表示制御に係る処理を行う場合、すなわち、本実施形態に係る画像処理装置が、提示画像を表示画面に表示させる場合を例に挙げる。

なお、本実施形態に係る画像処理装置が、本実施形態に係る提示制御処理として、提示画像の生成に係る処理を行う場合であっても、例えば、ユーザが操作を行うことにより手動で提示画像が表示画面に表示されることによって、後述する本実施形態に係る画像処理装置が提示画像を表示画面に表示させる場合における効果と、同様の効果が奏される。

本実施形態に係る第１の判定結果とは、対象画像に対して画素単位で合焦度合いを判定した結果であり、本実施形態に係る第１の判定結果は、対象画像において合焦されている箇所を示す。本実施形態に係る第１の判定結果としては、例えば、対象画像から検出されたエッジが表されたエッジ画像が挙げられる。

対象画像から画素単位での合焦度合いを判定する処理は、本実施形態に係る画像処理装置が行ってもよいし、本実施形態に係る画像処理装置の外部装置において行われてもよい。本実施形態に係る第１の判定結果の一例、および本実施形態に係る画素単位での合焦度合いを判定する処理の一例については、後述する。

また、本実施形態に係る第２の判定結果とは、対象画像に対して、対象画像を分割した領域単位で合焦度合いを判定した結果であり、本実施形態に係る第２の判定結果は、対象画像において合焦されている領域を示す。

本実施形態に係る領域としては、例えば、対象画像を水平方向と垂直方向に分割した矩形の領域が挙げられる。なお、本実施形態に係る領域は、上記に限られず、対象画像を分割する任意の形状の領域であってもよい。以下では、本実施形態に係る領域が、対象画像が水平方向と垂直方向に等分割された矩形の領域である場合を例に挙げる。

また、本実施形態に係る第２の判定結果としては、例えば、領域ごとに合焦の度合いが数値化されたスコアマップに基づき生成される判定画像が挙げられる。本実施形態に係る判定画像は、例えば、スコアマップを構成する各領域のうち、所定の閾値以上の値（または当該閾値よりも大きい値）を有する領域のみを表すことにより生成される。また、本実施形態に係る第２の判定結果には、例えばスコアマップが含まれていてもよい。また、例えば、本実施形態に係る提示制御処理の一環として判定画像を生成する処理が行われる場合には、本実施形態に係る第２の判定結果は、スコアマップであってもよい。

対象画像から領域単位での合焦度合いを判定する処理は、本実施形態に係る画像処理装置が行ってもよいし、本実施形態に係る画像処理装置の外部装置において行われてもよい。本実施形態に係る第２の判定結果の一例、および本実施形態に係る領域単位での合焦度合いを判定する処理の一例については、後述する。

本実施形態に係る画像処理装置は、本実施形態に係る提示制御処理として、例えば下記の（Ａ）〜（Ｃ）に示す処理を行って、提示画像を表示画面に表示させる。

（Ａ）画素単位での合焦度合いが表された提示画像を表示させる場合の処理の一例
第１の判定結果に基づく画素単位での合焦度合いが表された提示画像を表示させる場合、本実施形態に係る画像処理装置は、例えば、エッジ画像（第１の判定結果）またはエッジ画像に基づく画像が、対象画像に重畳された画像を、画素単位での合焦度合いが表された提示画像として生成させる。本実施形態に係るエッジ画像に基づく画像としては、例えば、エッジ画像の色彩や色濃度、輝度などを変更した画像など、エッジ画像が示すエッジが変更されないようにエッジ画像が加工された画像が、挙げられる。

本実施形態に係る画素単位での合焦度合いが表された提示画像は、対象画像とエッジ画像（または、エッジ画像に基づく画像。以下、同様とする。）とが合成された画像であってもよいし、対象画像とエッジ画像とが別レイヤで重ねられた画像であってもよい。

そして、本実施形態に係る画像処理装置は、例えば、画素単位での合焦度合いが表された提示画像、すなわち、エッジ画像が対象画像に重畳された提示画像を、表示画面に表示させる。

よって、表示画面に表示された画素単位での合焦度合いが表された提示画像をみたユーザは、対象画像に重畳されたエッジ画像によって、対象画像の細部における合焦度合いを把握することができる。

（Ｂ）領域単位での合焦度合いが表された提示画像を表示させる場合の処理の一例
第２の判定結果に基づく領域単位での合焦度合いが表された提示画像を表示させる場合、本実施形態に係る画像処理装置は、例えば、判定画像（第２の判定結果）または判定画像に基づく画像が、対象画像に重畳された画像を、領域単位での合焦度合いが表された提示画像として生成させる。本実施形態に係る判定画像に基づく画像としては、例えば、判定画像の色彩や色濃度、輝度などを変更した画像など、判定画像が加工された画像が挙げられる。

本実施形態に係る領域単位での合焦度合いが表された提示画像は、対象画像と判定画像（または、判定画像に基づく画像。以下、同様とする。）とが合成された画像であってもよいし、対象画像と判定画像とが別レイヤで重ねられた画像であってもよい。

そして、本実施形態に係る画像処理装置は、例えば、領域単位での合焦度合いが表された提示画像、すなわち、判定画像が対象画像に重畳された提示画像を、表示画面に表示させる。

よって、表示画面に表示された領域単位での合焦度合いが表された提示画像をみたユーザは、対象画像に重畳された判定画像によって、合焦されている領域を把握することができる。また、合焦されている領域は、例えば被写界深度（Depth of field）の範囲に対応するので、ユーザは、対象画像に重畳された判定画像によって、被写界深度の範囲を把握することができる。

（Ｃ）画素単位での合焦度合い、および領域単位での合焦度合いが表された提示画像を表示させる場合の処理の一例
画素単位での合焦度合いおよび領域単位での合焦度合いが表された提示画像を表示させる場合、本実施形態に係る画像処理装置は、例えば、エッジ画像および判定画像が対象画像に重畳された画像を、提示画像として生成させる。

そして、本実施形態に係る画像処理装置は、例えば、画素単位での合焦度合い、および領域単位での合焦度合いが表された提示画像、すなわち、エッジ画像および判定画像が対象画像に重畳された提示画像を、表示画面に表示させる。

図１は、本実施形態に係る提示画像の一例を示す説明図である。図１は、画素単位での合焦度合い、および領域単位での合焦度合いが表された提示画像の一例を示している。図１に示すＡは、対象画像に重畳されたエッジ画像が示すエッジの一例を示している。また、図１に示すＢは、対象画像に重畳された判定画像の一例を示している。

例えば表示画面に表示された図１に示す提示画像をみたユーザは、対象画像に重畳されたエッジ画像が示すエッジ（図１のＡ）によって、対象画像の細部における合焦度合いを把握することができる。よって、提示画像をみたユーザは、対象画像に重畳されたエッジ画像が示すエッジ（図１のＡ）によって、対象画像において合焦している箇所の細部を視認することができるので、フォーカスの追い込みをより容易に行うことが可能となる。

また、例えば図１に示す提示画像をみたユーザは、対象画像に重畳された判定画像（図１のＢ）によって、対象画像において合焦している箇所を面で視認することができるので、合焦されている領域（被写界深度の範囲）を把握することができる。また、提示画像をみたユーザは、対象画像に重畳された判定画像（図１のＢ）によって、対象画像において合焦している箇所を面で視認することができるので、合焦されている領域を、より素早く把握することが可能である。

よって、表示画面に表示された提示画像をみたユーザは、象画像に重畳されたエッジ画像および判定画像によって、対象画像の細部における合焦度合いと、合焦されている領域（被写界深度の範囲）との双方を把握することができる。また、対象画像の細部における合焦度合いと、合焦されている領域（被写界深度の範囲）との双方を把握することが可能となることによって、ユーザは、例えば、より容易に、かつ、より直感的に、対象画像における合焦の度合いを把握することができる。

また、本実施形態に係る提示画像が、エッジ画像および判定画像が対象画像に重畳された提示画像である場合には、対象画像に重畳された判定画像によって、対象画像におけるエッジが存在しない箇所における合焦の度合いを把握することができる。

本実施形態に係る画像処理装置は、本実施形態に係る提示制御処理として、例えば上記の（Ａ）〜（Ｃ）に示す処理を行うことによって、提示画像を生成させ、生成された提示画像を表示画面に表示させる。

ここで、本実施形態に係る提示画像は、上述したように、画素単位での合焦度合いと領域単位での合焦度合いとのうちの、一方または双方が表された画像である。

したがって、本実施形態に係る画像処理装置は、本実施形態に係る提示制御処理として、例えば上記の（Ａ）〜（Ｃ）に示す処理を行うことによって、画像における合焦の度合いをユーザに把握させることができる。

また、本実施形態に係る提示画像を見るユーザは、画像における合焦の度合いを把握することができるので、例えば、対象画像の全画角を確認しながら、撮像デバイスにおけるフォーカス合わせ操作を行うことが可能となる。よって、本実施形態に係る画像処理装置は、本実施形態に係る提示制御処理として、例えば上記の（Ａ）〜（Ｃ）に示す処理を行うことによって、撮像デバイスの操作性をより向上させることができる。

本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理として、例えば上記提示制御処理を行うことによって、画像における合焦の度合いをユーザに把握させることができる。

なお、上記提示制御処理は、便宜上、本実施形態に係る画像処理方法に係る処理を表したものである。よって、本実施形態に係る画像処理方法に係る処理は、上記提示制御処理を、（任意の切り分け方によって）２以上の処理と捉えることも可能である。

また、本実施形態に係る画像処理方法に係る処理は、上記に限られない。

例えば、本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理として、対象画像から画素単位での合焦度合いを判定する処理と、対象画像から領域単位での合焦度合いを判定する処理とのうちの、一方または双方を行うことも可能である。

本実施形態に係る画像処理装置が、対象画像から画素単位での合焦度合いを判定する処理と、対象画像から領域単位での合焦度合いを判定する処理とのうちの、一方または双方を行う場合には、本実施形態に係る画像処理装置は、行われた処理の結果（第１の判定結果および／または第２の判定結果）を用いて、上記提示制御処理を行う。

以下、本実施形態に係る画像処理装置の構成の一例を説明しつつ、本実施形態に係る画像処理方法に係る処理について説明する。

（本実施形態に係る画像処理装置）
図２は、本実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。

また、図３〜図８は、本実施形態に係る画像処理装置１００における処理に係る画像の一例を示す説明図である。図３〜図８に示すＡは、対象画像の一例を示している。図３〜図８に示すＢは、図３〜図８のＡに示す対象画像から得られたエッジ画像（第１の判定結果の一例）の一例を示しており、図３〜図８に示すＣは、当該エッジ画像（第１の判定結果の一例）の他の例を示している。図３〜図８に示すＢと図３〜図８に示すＣとは、対象画像からエッジ画像を得るためのフィルタのフィルタ係数やフィルタの種類を変えた場合に得られるエッジ画像であり、図３〜図８に示すＣは、図３〜図８のＡに示す対象画像において合焦している箇所であると判定された箇所のみが表されたエッジ画像であるといえる。また、図３〜図８に示すＤは、判定画像の一例を示しており、図３〜図８に示すＥは、提示画像の一例を示している。

以下では、図３〜図８に示す各画像を適宜参照しつつ、本実施形態に係る画像処理装置の構成の一例について説明する。

画像処理装置１００は、例えば、第１判定処理部１０２と、第２判定処理部１０４と、提示制御部１０６とを備える。

また、画像処理装置１００は、例えば、画像処理装置１００全体を制御する制御部（図示せず）や、ＲＯＭ（Read Only Memory。図示せず）、ＲＡＭ（Random Access Memory。図示せず）、外部の表示装置などの外部装置と通信を行うための通信部（図示せず）、記憶部（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）などを備えていてもよい。

制御部（図示せず）は、例えば、ＭＰＵなどの演算回路で構成されるプロセッサや、各種回路などで構成され、画像処理装置１００全体を制御する。また、制御部（図示せず）は、例えば、画像処理装置１００において、第１判定処理部１０２、第２判定処理部１０４、および提示制御部１０６のうちの１または２以上の役目を果たしてもよい。なお、第１判定処理部１０２、第２判定処理部１０４、および提示制御部１０６のうちの１または２以上が、各部の処理を実現可能な専用の（または汎用の）回路で構成されていてもよいことは、言うまでもない。

ＲＯＭ（図示せず）は、例えば制御部（図示せず）が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、例えば制御部（図示せず）により実行されるプログラムなどを一時的に記憶する。

通信部（図示せず）は、画像処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、外部装置と無線または有線で通信を行う役目を果たす。また、通信部（図示せず）は、例えば制御部（図示せず）により通信が制御される。通信部（図示せず）としては、後述する通信インタフェースが挙げられる。

記憶部（図示せず）は、画像処理装置１００が備える記憶手段であり、例えばアプリケーションなど様々なデータを記憶する。また、記憶部（図示せず）には、例えば、撮像画像を示す画像データなど、本実施形態に係る画像処理方法に係る処理に係るデータが記憶されていてもよい。記憶部（図示せず）としては、例えば、後述する記録媒体が挙げられる。

操作部（図示せず）としては、後述する操作入力デバイスが挙げられる。また、表示部（図示せず）としては、後述する表示デバイスが挙げられる。

［画像処理装置１００のハードウェア構成例］
図９は、本実施形態に係る画像処理装置１００のハードウェア構成の一例を示す説明図である。画像処理装置１００は、例えば、ＭＰＵ１５０と、ＲＯＭ１５２と、ＲＡＭ１５４と、記録媒体１５６と、入出力インタフェース１５８と、操作入力デバイス１６０と、表示デバイス１６２と、通信インタフェース１６４と、撮像デバイス１６６と、センサ１６８とを備える。また、画像処理装置１００は、例えば、データの伝送路としてのバス１７０で各構成要素間を接続する。

ＭＰＵ１５０は、例えば、ＭＰＵなどの演算回路などで構成されるプロセッサや各種処理回路などで構成され、画像処理装置１００全体を制御する制御部（図示せず）として機能する。また、ＭＰＵ１５０は、画像処理装置１００において、例えば、第１判定処理部１０２、第２判定処理部１０４、および提示制御部１０６のうちの１または２以上の役目を果たす。なお、第１判定処理部１０２、第２判定処理部１０４、および提示制御部１０６のうちの１または２以上は、各部の処理を実現可能な専用の（または汎用の）回路で構成されていてもよい。

ＲＯＭ１５２は、ＭＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。ＲＡＭ１５４は、例えば、ＭＰＵ１５０により実行されるプログラムなどを一時的に記憶する。

記録媒体１５６は、記憶部（図示せず）として機能し、例えば、例えばアプリケーションなど様々なデータを記憶する。また、記録媒体１５６には、例えば、撮像画像を示す画像データなど、本実施形態に係る画像処理方法に係る処理に係るデータが記憶されていてもよい。

記録媒体１５６としては、例えば、ハードディスク（Hard Disk）などの磁気記録媒体や、フラッシュメモリ（flash memory）などの不揮発性メモリ（nonvolatile memory）などが挙げられる。また、記憶部（図示せず）は、画像処理装置１００から着脱可能であってもよい。

入出力インタフェース１５８は、例えば、操作入力デバイス１６０や、表示デバイス１６２を接続する。操作入力デバイス１６０は、操作部（図示せず）として機能し、また、表示デバイス１６２は、表示部（図示せず）として機能する。ここで、入出力インタフェース１５８としては、例えば、ＵＳＢ端子や、ＤＶＩ（Digital Visual Interface）端子、ＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）端子、各種処理回路などが挙げられる。

操作入力デバイス１６０は、例えば、画像処理装置１００上に備えられ、画像処理装置１００の内部で入出力インタフェース１５８と接続される。操作入力デバイス１６０としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。

表示デバイス１６２は、例えば、画像処理装置１００上に備えられ、画像処理装置１００の内部で入出力インタフェース１５８と接続される。表示デバイス１６２としては、例えば、液晶ディスプレイ（Liquid Crystal Display）や有機ＥＬディスプレイ（Organic Electro-Luminescence Display。または、ＯＬＥＤディスプレイ（Organic Light Emitting Diode Display）ともよばれる。）などが挙げられる。

なお、入出力インタフェース１５８が、画像処理装置１００の外部装置としての操作入力デバイス（例えば、キーボードやマウスなど）や表示デバイス、撮像デバイスなどの、外部デバイスと接続することも可能であることは、言うまでもない。また、表示デバイス１６２は、例えばタッチデバイスなど、表示とユーザ操作とが可能なデバイスであってもよい。

通信インタフェース１６４は、画像処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、外部の撮像装置や外部の表示装置などの外部装置（または、外部デバイス）と、無線または有線で通信を行うための通信部（図示せず）として機能する。通信インタフェース１６４としては、例えば、通信アンテナおよびＲＦ（Radio Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local Area Network）端子および送受信回路（有線通信）などが挙げられる。また、通信部（図示せず）は、ＵＳＢ（Universal Serial Bus）端子および送受信回路など通信を行うことが可能な任意の規格に対応する構成や、ネットワークを介して外部装置と通信可能な任意の構成であってもよい。

また、本実施形態に係るネットワークとしては、例えば、ＬＡＮやＷＡＮ（Wide Area Network）などの有線ネットワーク、無線ＬＡＮ（ＷＬＡＮ：Wireless Local Area Network）や基地局を介した無線ＷＡＮ（ＷＷＡＮ：Wireless Wide Area Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。

撮像デバイス１６６は、画像処理装置１００が備える撮像手段であり、撮像により画像（撮像画像）を生成する。撮像デバイス１６６を備える場合には、画像処理装置１００では、例えば、撮像デバイス１６６において撮像により生成された撮像画像を対象画像として、本実施形態に係る画像処理方法に係る処理を行うことが可能となる。

撮像デバイス１６６は、例えば、レンズ／撮像素子と信号処理回路とを含んで構成される。レンズ／撮像素子は、例えば、光学系のレンズと、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を複数用いたイメージセンサとで構成される。信号処理回路は、例えば、ＡＧＣ（Automatic Gain Control）回路やＡＤＣ（Analog to Digital Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換する。また、信号処理回路は、例えばＲＡＷ現像に係る各種処理を行う。さらに、信号処理回路は、例えば、Ｗｈｉｔｅ Ｂａｌａｎｃｅ補正処理や、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理など各種信号処理を行ってもよい。

センサ１６８は、例えば照度センサなどで構成され、表示画面における外光を検出する。センサ１６８は、例えば、表示デバイス１６２の表示画面における外光を検出可能な位置や、外部の表示装置の表示画面における外光を検出可能な位置に配置される。表示画面における外光の検出結果を用いる処理の一例については、後述する。

画像処理装置１００は、例えば図９に示す構成によって、本実施形態に係る画像処理方法に係る処理を行う。なお、本実施形態に係る画像処理装置１００のハードウェア構成は、図９に示す構成に限られない。

例えば、外部の撮像デバイスにより生成された撮像画像を処理する場合などには、画像処理装置１００は、撮像デバイス１６６を備えない構成をとることが可能である。

また、例えば、後述する表示画面における外光の検出結果を用いる処理が行われない場合や、外部のセンサの検出結果を用いて述する表示画面における外光の検出結果を用いる処理が行われる場合には、画像処理装置１００は、センサ１６８を備えない構成をとることが可能である。

また、画像処理装置１００は、例えば、スタンドアロンで処理を行う構成である場合には、通信インタフェース１６４を備えていなくてもよい。また、画像処理装置１００は、記録媒体１５６や、表示デバイス１６２を備えない構成をとることも可能である。

再度、図２を参照して、本実施形態に係る画像処理装置１００の構成の一例について説明する。第１判定処理部１０２は、対象画像から画素単位での合焦度合いを判定する。そして、第１判定処理部１０２は、第１の判定結果を提示制御部１０６へ伝達する。第１判定処理部１０２は、本実施形態に係る対象画像から画素単位での合焦度合いを判定する処理を主導的に行う役目を果たす。

第１判定処理部１０２は、例えば、アナログフィルタ回路やデジタルフィルタ回路などにより実現される、１または２以上のフィルタを用いたフィルタ処理によって、対象画像からエッジを検出する。そして、第１判定処理部１０２は、検出されたエッジを示すエッジ画像を、第１の判定結果として提示制御部１０６へ伝達する。

ここで、本実施形態に係るフィルタとしては、例えば、ハイパスフィルタや、バンドパスフィルタ、１次微分フィルタ、２次微分フィルタ、３次微分フィルタ、ソーベルフィルタ、４方向ラプラシアンフィルタ、８方向ラプラシアンフィルタ、ＤｏＧフィルタ（Difference of Gaussian filter）、自己商フィルタが挙げられる。また、本実施形態に係るフィルタは、上記に示す例に限られず、画像からエッジを検出することが可能な、任意のフィルタであってもよい。

第１判定処理部１０２は、例えば、予め設定されたフィルタを用いてエッジ画像（第１の判定結果）を得る。

なお、第１判定処理部１０２における処理は、上記に限られない。

例えば、第１判定処理部１０２は、提示画像が表示される表示画面に対応するフィルタを用いることも可能である。

第１判定処理部１０２は、例えば、提示制御部１０６や制御部（図示せず）などから伝達される提示画像が表示される表示画面に関する情報（例えば、表示デバイスを示すＩＤや、表示デバイスの解像度を示すデータ、表示画面のサイズを示すデータなど）を用いて、表示画面に対応するフィルタを特定する。第１判定処理部１０２は、例えば、表示画面に関する情報と１または２以上のフィルタとが対応付けられたテーブル（またはデータベース。以下、同様とする。）を用いて、提示画像が表示される表示画面に関する情報に対応するフィルタを特定する。上記テーブルは、例えば、記憶部（図示せず）や、画像処理装置１００に接続されている外部記録媒体などに記憶される。

そして、第１判定処理部１０２は、対象画像に対して特定されたフィルタを用いたフィルタ処理を行うことによって、エッジ画像を得る。

また、第１判定処理部１０２は、例えば、上記フィルタ処理によってエッジが抽出されたエッジ画像に対して、太線化のフィルタを用いたフィルタ処理をさらに行ってもよい。

例えば、第１判定処理部１０２が、提示画像が表示される表示画面に対応するフィルタを用いた処理を行うことによって、後述する提示制御部１０６は、表示画面に対応する提示の仕方によって合焦度合いが表された提示画像を生成し、生成された提示画像を表示画面に表示させることができる。

ここで、例えば、提示画像が表示される表示画面が、撮像装置が備えるビューファインダの表示画面である場合や、撮像装置が備えるモニタの表示画面である場合など、提示画像が表示される表示画面によって、表示画面の画面サイズや解像度、ユーザの視聴距離などが異なる可能性がある。提示制御部１０６が表示画面に対応する提示の仕方によって合焦度合いが表された提示画像を表示画面に表示させることによって、画像処理装置１００は、表示画面により適した提示の仕方によって合焦度合いが表された提示画像を、表示画面に表示させることが可能となる。

よって、第１判定処理部１０２が、提示画像が表示される表示画面に対応するフィルタを用いた処理を行うことによって、画像処理装置１００は、画像における合焦の度合いをユーザにより容易に把握させることができる。

第１判定処理部１０２が、例えば上記のような処理を行うことによって、例えば図３〜図８のＢや図３〜図８のＣに示すエッジ画像が得られる。

第２判定処理部１０４は、対象画像から領域単位での合焦度合いを判定する。そして、第２判定処理部１０４は、第２の判定結果を提示制御部１０６へ伝達する。第２判定処理部１０４は、本実施形態に係る対象画像から領域単位での合焦度合いを判定する処理を主導的に行う役目を果たす。

第２判定処理部１０４は、例えば下記の（ａ）〜（ｃ）に示す処理を行うことによって、対象画像から領域単位での合焦度合いを判定し、第２の判定結果を得る。

以下では、第２判定処理部１０４が、対象画像を、対象画像が水平方向と垂直方向に等分割された矩形の領域に分割して、領域単位での合焦度合いを判定する場合を例に挙げ、各領域を「領域ｗ（ｎ）」（ｎは、対象画像の分割数）と示す。なお、上述したように、本実施形態に係る領域は、上記矩形の領域に限られない。

ここで、第２判定処理部１０４は、対象画像を予め設定された大きさの領域に分割するが、第２判定処理部１０４における領域の設定方法は、上記に限られない。

例えば、第２判定処理部１０４は、提示画像が表示される表示画面に対応する領域を、設定することも可能である。

第２判定処理部１０４は、例えば、提示制御部１０６や制御部（図示せず）などから伝達される提示画像が表示される表示画面に関する情報を用いて、表示画面に対応する、領域単位での合焦度合いを判定する領域の大きさを特定する。領域単位での合焦度合いを判定する領域の大きさは、領域単位での合焦度合いを判定する判定サイズに相当する。

第２判定処理部１０４は、例えば、表示画面に関する情報と、領域の設定に関する情報（例えば、領域の大きさを示すデータや、分割数を示すデータなど、分割される領域を規定するデータ）とが対応付けられたテーブルを用いて、提示画像が表示される表示画面に関する情報に対応する領域の設定に関する情報を特定する。上記テーブルは、例えば、記憶部（図示せず）や、画像処理装置１００に接続されている外部記録媒体などに記憶される。

そして、第２判定処理部１０４は、特定された領域の設定に関する情報に基づいて対象画像を分割することによって、提示画像が表示される表示画面に対応する領域を、設定する。

例えば、第２判定処理部１０４が、提示画像が表示される表示画面に対応する領域を設定して、下記の（ａ）〜（ｃ）に示す処理を行うことによって、後述する提示制御部１０６は、表示画面に対応する提示の仕方によって合焦度合いが表された提示画像を生成し、生成された提示画像を表示画面に表示させることができる。

図１０は、本実施形態に係る表示画面に対応する提示の仕方によって合焦度合いが表された提示画像の一例を示す説明図である。図１０に示すＡは、提示画像が表示される表示画面が撮像装置が備えるモニタの表示画面である場合において、表示画面に表示される提示画像の一例を示している。また、図１０に示すＢは、提示画像が表示される表示画面が撮像装置が備えるビューファインダの表示画面である場合において、表示画面に表示される提示画像の一例を示している。

提示画像が表示される表示画面がモニタである場合には、提示画像が表示される表示画面がビューファインダである場合よりも視聴距離が長くなるので、第２判定処理部１０４は、図１０のＡに示すように、図１０のＢに示す場合よりも領域を大きくする。第２判定処理部１０４が、提示画像が表示される表示画面がモニタである場合に、提示画像が表示される表示画面がビューファインダである場合よりも、領域を大きくすることによって、例えば、表示画面に表示される提示画像の視認性を向上させることができる。また、第２判定処理部１０４が、提示画像が表示される表示画面がモニタである場合に、提示画像が表示される表示画面がビューファインダである場合よりも領域を大きくすることによって、例えば、表示画面に表示された提示画像からユーザが受ける印象を調整することが可能となる。

提示制御部１０６が表示画面に対応する提示の仕方によって合焦度合いが表された提示画像を表示画面に表示させることによって、画像処理装置１００は、表示画面により適した提示の仕方によって合焦度合いが表された提示画像が、表示画面に表示される。よって、第２判定処理部１０４が、提示画像が表示される表示画面に対応する領域を設定して、下記の（ａ）〜（ｃ）に示す処理を行うことによって、画像処理装置１００は、画像における合焦の度合いをユーザにより容易に把握させることができる。

（ａ）第２判定処理部１０４における処理の第１の例
第２判定処理部１０４は、例えば、フィルタを用いて領域ごとの評価値を取得し、取得した評価値に基づいて対象画像における領域単位での合焦度合いを判定して、第２の判定結果を得る。

第２判定処理部１０４は、各領域ｗ（ｎ）に対して、例えば下記に示す処理を行うことによって、各領域ｗ（ｎ）の評価値を得る。
・輝度信号を生成する。
・生成された輝度信号に対してハイパスフィルタなどのフィルタを用いて高周波成分を抽出する。
・抽出された高周波成分の絶対値をとる。
・得られた高周波成分の絶対値からノイズを除去する。得られた高周波成分の絶対値に対して上限値を設けてもよい。
・ノイズが除去された値に対して積分処理を行う。

各領域ｗ（ｎ）に対して上記の処理が行われる場合、領域ｗ（ｎ）それぞれでは、領域ｗ（ｎ）を構成する画素データの高周波成分が積算されることにより、評価値が得られる。

図１１は、本実施形態に係る画像処理装置１００が備える第２判定処理部１０４における処理の一例を説明するための説明図であり、領域ｗ（ｎ）ごとに合焦の度合いが数値化されたスコアマップの一例を示している。

第２判定処理部１０４が領域ｗ（ｎ）ごとに評価値を得ることによって、例えば図１１に示すようなスコアマップが得られる。図１１では、対象画像が２４つの領域に分割された場合におけるスコアマップの一例を示しているが、本実施形態に係るスコアマップが図１１に示す例に限られないことは、言うまでもない。

ここで、合焦されている領域では、エッジ成分が大きく表れ、また、評価値が高いほどエッジを示している可能性が高い。

よって、第２判定処理部１０４は、領域ｗ（ｎ）それぞれの評価値と所定の閾値とを用いた閾値処理を行い、例えば、評価値が当該閾値以上である領域（または、評価値が当該閾値以より大きい領域。以下、同様とする。）を、合焦されている領域と判定する。

ここで、本実施形態に係る所定の閾値としては、例えば、予め設定された固定値や、ユーザ操作などに基づき変更可能な可変値が挙げられる。例えば図１１に示す例では、第２判定処理部１０４は、所定の閾値を“１２８”とするが、本実施形態に係る所定の閾値が“１２８”に限られないことは、言うまでもない。

第２判定処理部１０４は、例えば合焦されている領域と判定された領域のみが表された画像を、判定画像として生成する。そして、第１判定処理部１０２は、判定画像を、第２の判定結果として提示制御部１０６へ伝達する。

なお、上述したように、第２判定処理部１０４は、例えば、判定画像およびスコアマップを、第２の判定結果として提示制御部１０６へ伝達してもよく、また、スコアマップを第２の判定結果として提示制御部１０６へ伝達することも可能である。スコアマップを第２の判定結果として提示制御部１０６へ伝達する場合には、判定画像の生成に係る処理は、例えば提示制御部１０６において行われる。

（ｂ）第２判定処理部１０４における処理の第２の例
第２判定処理部１０４は、例えば、ピントが合っている学習画像とピントが合っていない学習画像とを用いた機械学習により得られた判定器を用いて領域単位での合焦度合いを判定して、第２の判定結果を得る。ここで、本実施形態に係る判定器は、学習により求められる画像の統計的性質を基に、ブレやボケの度合いを数値化する処理である。

第２判定処理部１０４は、例えば上記第１の例に係る処理と同様に、領域ｗ（ｎ）ごとに評価値を取得する。第２判定処理部１０４は、取得された各領域ｗ（ｎ）の評価値を、判定器に代入して演算を行い、その結果得られた値を、各領域ｗ（ｎ）の合焦の度合いを示す新たな評価値とする。

領域ｗ（ｎ）ごとに評価値を得ることによって、第２判定処理部１０４では、例えば上記第１の例に係る処理が行われる場合と同様に、図１１に示すようなスコアマップが得られる。

また、第２判定処理部１０４は、例えば上記第１の例に係る処理が行われる場合と同様に、合焦されている領域を判定し、判定結果に応じた判定画像を、第２の判定結果として提示制御部１０６へ伝達する。

なお、上述したように、第２判定処理部１０４は、例えば、判定画像およびスコアマップを、第２の判定結果として提示制御部１０６へ伝達してもよく、また、スコアマップを第２の判定結果として提示制御部１０６へ伝達することも可能である。

（ｃ）第２判定処理部１０４における処理の第３の例
上記（ａ）に示す第１の例に係る処理および上記（ｂ）に示す第２の例に係る処理では、各領域ｗ（ｎ）の評価値に対して所定の閾値を用いた閾値処理を行うことによって、合焦されている領域を判定する例を示した。しかしながら、本実施形態に係る第２判定処理部１０４における処理は、取得された評価値に対して各領域ｗ（ｎ）に共通の閾値を用いた閾値処理を行うことによって、合焦されている領域を判定する処理に限られない。

例えば、第２判定処理部１０４は、対象画像におけるオブジェクトが含まれない領域に対して、判定の基準となる第１の判定基準で合焦度合いを判定し、また、対象画像におけるオブジェクトが含まれる領域に対しては、オブジェクトに対応する第２の判定基準で合焦度合いを判定してもよい。

ここで、本実施形態に係る第１の判定基準による合焦度合いの判定としては、例えば、上記（ａ）に示す第１の例に係る処理および上記（ｂ）に示す第２の例に係る処理に示すような、上記所定の閾値を用いた閾値処理による合焦されている領域の判定が挙げられる。

また、本実施形態に係る第２の判定基準による合焦度合いの判定としては、例えば、対象画像から検出されたオブジェクトに対応する閾値を用いた閾値処理による合焦されている領域の判定が挙げられる。

本実施形態に係るオブジェクトの検出処理は、例えば、画像処理装置１００が備えるオブジェクト検出部（図示せず）において行われてもよいし、画像処理装置１００の外部装置において行われてもよい。本実施形態に係るオブジェクトの検出処理としては、例えば顔検出処理などの、対象画像から顔や植物などの被写体をオブジェクトとして検出することが可能な任意の検出処理が挙げられる。

第２判定処理部１０４は、例えば、オブジェクトの検出結果と、オブジェクトと閾値とが対応付けられたテーブルなどとを用いて、検出されたオブジェクトに対応する閾値を特定する。そして、第２判定処理部１０４は、オブジェクトの検出結果に対応する領域ｗ（ｎ）に対して特定された閾値を用いた閾値処理を行うことによって、合焦されている領域を判定する。本実施形態に係るオブジェクトの検出結果としては、例えば、検出されたオブジェクトの種類を示すデータと、検出されたオブジェクトが含まれる領域を示すデータとが挙げられる。

また、第２判定処理部１０４は、例えば、オブジェクトが含まれる領域の明るさや、ダイナミックレンジ、高周波成分の量と、閾値とが対応付けられたテーブルなどを用いて、検出されたオブジェクトに対応する閾値を特定し、特定された閾値を用いた閾値処理による合焦されている領域を判定することも可能である。

例えば上記のように、領域ｗ（ｎ）ごとの判定基準で各領域ｗ（ｎ）の合焦度合いが判定されることによって、領域ｗ（ｎ）に対応する合焦度合いが表された提示画像を、ユーザに対して提示することが可能となる。したがって、第２判定処理部１０４が、領域ｗ（ｎ）ごとの判定基準で各領域ｗ（ｎ）の合焦度合いを判定することによって、より精度が高められた提示画像を、ユーザに対して提示することができる。

ここで、本実施形態に係る“精度を高める”とは、例えば、合焦していない箇所や領域が強調して表示されることや、合焦している箇所や領域が強調して表示されない状況を改善することなどが挙げられる。

なお、第２判定処理部１０４は、例えば、オブジェクトが検出された場合であっても、検出されたオブジェクトのサイズによって、第２の判定基準による合焦度合いの判定を選択的に行ってもよい。例えば、第２判定処理部１０４は、検出されたオブジェクトのサイズが、設定されている閾値以下の場合（または、オブジェクトのサイズが当該閾値より小さい場合）には、第１の判定基準による合焦度合いの判定により合焦度合いを判定する。また、第２判定処理部１０４は、例えば、検出されたオブジェクトのサイズが、上記設定されている閾値より大きい場合（または、オブジェクトのサイズが当該閾値以上である場合）には、第２の判定基準による合焦度合いの判定により合焦度合いを判定する。

本実施形態に係る“精度を高める”ことが実現される場合の具体例を挙げる。

例えば、対象画像から顔（オブジェクトの一例）が検出される場合、顔が含まれる顔領域では、低周波成分が多い。そのため、上記（ａ）に示す第１の例に係る処理などが行われたとしても、顔領域に対応する領域ｗ（ｎ）では、評価値が低くなる傾向がある。

そこで、第２判定処理部１０４は、顔領域に対応する領域ｗ（ｎ）に対しては、基準となる閾値よりも低い閾値を用いて合焦されている領域であるかを判定する。
上記のように、顔領域に対応する領域ｗ（ｎ）に対して、顔領域に対応する閾値により合焦されている領域が判定されることによって、例えば、合焦している箇所や領域に強調表示が行われた提示画像を生成して、生成された提示画像を表示画面に表示させることが可能となる。

また、例えば、対象画像から任意の被写体（オブジェクトの一例）が検出される場合には、被写体の位置やサイズが特定されることによって、被写体が含まれる領域の明るさや、ダイナミックレンジ、高周波成分の量を求めることができる。第２判定処理部１０４は、被写体が含まれる領域に対応する領域ｗ（ｎ）に対しては、基準となる閾値ではなく、求められた上記量に対応する閾値を用いて合焦されている領域であるかを判定する。求められた上記量に対応する閾値としては、例えば、高周波成分が多い場合における基準となる閾値よりも高い閾値や、高周波成分が少ない場合における基準となる閾値よりも低い閾値が挙げられる。

上記のように、被写体に対応する領域ｗ（ｎ）に対して、被写体に対応する閾値により合焦されている領域が判定されることによって、例えば、ユーザが撮像したいと考える被写体に対する合焦の度合いが表された提示画像を生成して、生成された提示画像を表示画面に表示させることが可能となる。

また、第２判定処理部１０４が、オブジェクトの検出結果に基づいて合焦されている領域を判定することによって、後述する提示制御部１０６は、対象画像に含まれるオブジェクトに対応する提示の仕方によって合焦度合いが表された提示画像を生成し、生成された提示画像を表示画面に表示させることができる。

（ｄ）第２判定処理部１０４における処理の第４の例
第２判定処理部１０４における処理は、上記（ａ）に示す第１の例に係る処理、上記（ｂ）に示す第２の例に係る処理、および上記（ｃ）に示す第３の例に係る処理に限られず、第２判定処理部１０４は、位相差センサを用いた合焦判定など、各領域ｗ（ｎ）の合焦の度合いを判定することが可能な、任意の処理を行うことが可能である。

第２判定処理部１０４が、例えば上記のような処理を行うことによって、例えば図３〜図８のＤに示す判定画像が、第２の判定結果として得られる。

なお、上述したように第２の判定結果は、判定画像に限られず、判定画像およびスコアマップや、スコアマップであってもよい。以下では、第２の判定結果が、判定画像およびスコアマップである場合を例に挙げる。

提示制御部１０６は、本実施形態に係る提示制御処理を主導的に行う役目を果たす。提示制御部１０６は、第１判定処理部１０２から伝達される第１の判定結果と、第２判定処理部１０４から伝達される第２の判定結果とに基づいて、対象画像における合焦度合いの提示を制御する。

提示制御部１０６は、例えば、上記（Ａ）に示す処理〜上記（Ｃ）に示す処理のいずれかの処理を行うことによって、第１の判定結果と第２の判定結果との一方または双方に基づく提示の仕方によって合焦度合いが表された提示画像を、表示画面に表示させる。

ここで、提示制御部１０６は、例えば、上記（Ｃ）に示す処理、すなわち、“第１の判定結果と第２の判定結果との双方に基づく提示の仕方によって合焦度合いが表された提示画像を、表示画面に表示させる処理”を、基準となる処理とする。

また、提示制御部１０６は、例えば、上記（Ａ）に示す処理または上記（Ｂ）に示す処理、すなわち、“第１の判定結果と第２の判定結果との一方に基づく提示の仕方によって合焦度合いが表された提示画像を、表示画面に表示させる処理”を、基準となる処理とすることも可能である。

“第１の判定結果と第２の判定結果との一方に基づく提示の仕方によって合焦度合いが表された提示画像を、表示画面に表示させる処理”を行う場合、提示制御部１０６は、例えば、上記（Ａ）に示す処理または上記（Ｂ）に示す処理のうち、予め設定された処理を行う。

なお、“第１の判定結果と第２の判定結果との一方に基づく提示の仕方によって合焦度合いが表された提示画像を、表示画面に表示させる処理”を行う場合に提示制御部１０６が行う処理は、予め設定された処理に限られない。

例えば、提示制御部１０６は、第１の判定結果に対応する合焦度合いの精度の情報と、第２の判定結果に対応する合焦度合いの精度の情報とに基づいて、上記（Ａ）に示す処理または上記（Ｂ）に示す処理を行うことも可能である。

本実施形態に係る第１の判定結果に対応する合焦度合いの精度の情報としては、例えば、対象画像に含まれる高周波成分の量を示すデータや、対象画像に含まれる高周波成分の量に基づく対象画像から検出されるエッジの量を示すデータなど、エッジ画像（第１の判定結果）における合焦度合いの程度を示すデータが挙げられる。本実施形態に係る第１の判定結果に対応する合焦度合いの精度の情報は、例えば、第１判定処理部１０２、または提示制御部１０６において対象画像に基づき生成される。

また、本実施形態に係る第２の判定結果に対応する合焦度合いの精度の情報としては、例えば、対象画像における合焦されている領域の対象画像全体に対する割合を示すデータなど、合焦度合いの程度を示すデータが挙げられる。本実施形態に係る第２の判定結果に対応する合焦度合いの精度の情報は、例えば、第２判定処理部１０４、または提示制御部１０６において対象画像に基づき生成される。

提示制御部１０６は、例えば、第１の判定結果に対応する合焦度合いの精度の情報と、第２の判定結果に対応する合焦度合いの精度の情報とに基づいて、合焦度合いの精度がよりよい判定結果を判定する。そして、提示制御部１０６は、第１の判定結果と第２の判定結果のうちの合焦度合いの精度がよりよい判定結果に基づく提示の仕方によって合焦度合いが表された提示画像を、表示画面に表示させる。ここで、本実施形態に係る“合焦度合いの精度がよりよい判定結果を判定する処理”としては、例えば、“各合焦度合いの精度の情報が示す合焦度合いの程度に係る値に対する閾値処理の結果を利用した処理”や、“各合焦度合いの精度の情報が示す合焦度合いの程度に係る値を（直接的、または間接的に）比較する処理”など、合焦度合いの精度がよりよい判定結果を判定することが可能な、任意の処理が挙げられる。

また、提示制御部１０６は、例えば、提示の仕方の切り換えに係る所定のユーザ操作に基づいて、上記（Ａ）に示す処理〜上記（Ｃ）に示す処理のいずれかの処理を切り換えてもよい。上記ユーザ操作に基づいて上記（Ａ）に示す処理〜上記（Ｃ）に示す処理のいずれかの処理を切り換える場合、提示制御部１０６は、上記ユーザ操作に対応する提示の仕方によって合焦度合いが表された提示画像を、表示画面に表示させる。

ここで、上記所定のユーザ操作は、上記（Ａ）に示す処理〜上記（Ｃ）に示す処理のいずれかの処理を、提示制御部１０６に行わせるためのユーザの操作である。本実施形態に係る所定のユーザ操作としては、例えば、操作部（図示せず）に対する操作や、リモート・コントローラなどの外部の操作装置に対する操作が挙げられる。提示制御部１０６は、操作部（図示せず）などから伝達される操作信号に基づいて、行う処理を切り換える。

提示制御部１０６は、例えば上記のような処理を行うことによって、第１の判定結果と第２の判定結果との一方または双方に基づく提示の仕方によって合焦度合いが表された提示画像を、表示画面に表示させる。

以下、提示制御部１０６の構成と、提示制御部１０６における処理について説明する。

提示制御部１０６は、例えば図２に示すように、合焦領域提示制御部１１０と、合焦箇所提示制御部１１２とを備える。

合焦領域提示制御部１１０は、第２の判定結果に基づいて、対象画像に対して領域単位での合焦度合いが表された画像を生成させる。

また、合焦箇所提示制御部１１２は、第１の判定結果に基づいて、対象画像に対して画素単位での合焦度合いが表された画像を生成させる。

ここで、提示制御部１０６が、上記（Ａ）に示す処理または上記（Ｂ）に示す処理、すなわち、“第１の判定結果と第２の判定結果との一方に基づく提示の仕方によって合焦度合いが表された提示画像を、表示画面に表示させる処理”を行う場合には、合焦領域提示制御部１１０、または合焦箇所提示制御部１１２の一方が処理を行う。そして、合焦領域提示制御部１１０、または合焦箇所提示制御部１１２の一方により生成された画像が、例えば提示画像として表示画面に表示される。

また、提示制御部１０６が、上記（Ｃ）に示す処理、すなわち、“第１の判定結果と第２の判定結果との双方に基づく提示の仕方によって合焦度合いが表された提示画像を、表示画面に表示させる処理”を行う場合には、合焦領域提示制御部１１０および合焦箇所提示制御部１１２の双方が処理を行う。合焦領域提示制御部１１０および合焦箇所提示制御部１１２の双方が処理を行う場合には、合焦領域提示制御部１１０および合焦箇所提示制御部１１２のうちの一方が対象画像に対して処理を行った後に、一方により生成された画像に対して他方が処理を行う。

提示制御部１０６では、合焦領域提示制御部１１０が処理を行った後に、合焦箇所提示制御部１１２が処理を行ってもよいし、合焦箇所提示制御部１１２が処理を行った後に、合焦領域提示制御部１１０が処理を行ってもよい。また、提示制御部１０６における処理の順番は、ユーザ操作に基づいて切り換えが可能であってもよい。

以下、提示制御部１０６が、上記（Ｃ）に示す処理、すなわち、“第１の判定結果と第２の判定結果との双方に基づく提示の仕方によって合焦度合いが表された提示画像を、表示画面に表示させる処理”を行う場合を例に挙げて、提示制御部１０６の構成と、提示制御部１０６における処理について説明する。

また、以下では、提示制御部１０６が、合焦領域提示制御部１１０が処理を行った後に、合焦箇所提示制御部１１２が処理を行う場合、すなわち、合焦領域提示制御部１１０が対象画像を処理し、合焦箇所提示制御部１１２が、対象画像に対して合焦領域提示制御部１１０が処理を行った画像を処理する場合を、例に挙げる。

（１）合焦領域提示制御部１１０における処理の一例
（１−１）合焦領域提示制御部１１０における処理の第１の例
図１２は、本実施形態に係る画像処理装置１００が備える合焦領域提示制御部１１０における処理の第１の例を示す説明図である。

第１の例に係る合焦領域提示制御部１１０は、例えば、背景加工処理部１２０と、描画色決定部１２２と、混合部１２４とを備える。

背景加工処理部１２０には対象画像が入力され、背景加工処理部１２０は、対象画像の色彩を調整する。背景加工処理部１２０における対象画像の色彩の調整に係る処理としては、例えば、対象画像をモノクロ画像に変換する処理など、対象画像の色彩を変更することが可能な任意の処理が挙げられる。

合焦領域提示制御部１１０が背景加工処理部１２０において対象画像の色彩を調整することによって、提示制御部１０６は、対象画像の色彩を調整し、色彩が調整された対象画像に基づく提示画像を生成して、生成された提示画像を表示画面に表示させることができる。

なお、提示制御部１０６において、合焦箇所提示制御部１１２が処理を行った後に、合焦領域提示制御部１１０が処理を行う場合、すなわち、合焦領域提示制御部１１０が、合焦箇所提示制御部１１２において処理された画像を処理する場合には、合焦領域提示制御部１１０が備える背景加工処理部１２０は、処理を行わない。また、上記の場合には、第１の例に係る合焦領域提示制御部１１０は、背景加工処理部１２０を備えていなくてもよい。

描画色決定部１２２は、判定画像（第２の判定結果の一例）において合焦されている領域を表すオブジェクトの色（以下、「第１の描画色」と示す場合がある。）を決定する。

本実施形態に係る判定画像において合焦されている領域を表すオブジェクトとしては、例えば、図１のＢや、図３〜図８のＤに示すオブジェクト（例えば、矩形や円形などの任意の形状で合焦されている領域ｗ（ｎ）を示すオブジェクト）が挙げられる。

描画色決定部１２２は、例えば、記憶部（図示せず）などに記憶されている、第１の描画色を示す第１の色設定情報に基づいて、第１の描画色を決定する。第１の色設定情報が示す第１の描画色は、予め設定された固定の色であってもよいし、ユーザ操作などによって変更可能な可変の色であってもよい。

また、描画色決定部１２２は、例えば、第２の判定結果に基づいて、第１の色設定情報が示す色を合焦されている領域ごとに調整し、調整された色を第１の描画色としてもよい。第２の判定結果に基づく合焦されている領域ごとの色の調整としては、例えば、スコアマップ（第２の判定結果の一例）が示す合焦されている領域に対応する値（以下、「評価値」と示す。）に基づいて、輝度や色相などを変えることが挙げられる。

描画色決定部１２２が決定する第１の描画色としては、単色が挙げられる。また、本実施形態に係る第１の描画色は、複数色であってもよい。

図１３は、本実施形態に係る画像処理装置１００が備える合焦領域提示制御部１１０における処理の一例を説明するための説明図であり、合焦領域提示制御部１１０を構成する描画色決定部１２２が決定する第１の描画色の一例を示している。

例えば図１３では、合焦されている領域を表すオブジェクトが矩形であり、第１の描画色が、当該矩形を図１３のａ、ｂに示す２つの色で表している例を示している。例えば図１３に示すように、複数の色によって合焦されている領域を表すオブジェクトが表されることによって、例えば、当該合焦されている領域と、当該領域の周辺とのコントラストが維持される。よって、例えば図１３に示すように、複数の色によって合焦されている領域を表すオブジェクトが表されることによって、提示画像の視認性を向上させることが可能となる。

再度図１２を参照して、第１の例に係る合焦領域提示制御部１１０における処理について説明する。混合部１２４は、背景加工処理部１２０から伝達される画像と、第２の判定結果が示す判定画像とを混合する。また、混合部１２４は、判定画像（第２の判定結果の一例）が示す合焦されている領域を表すオブジェクトの色を、描画色決定部１２２において決定された第１の描画色とした上で、背景加工処理部１２０から伝達される画像と、判定画像とを混合する。

混合部１２４は、例えば、背景加工処理部１２０から伝達される画像と判定画像とを合成することや、背景加工処理部１２０から伝達される画像と判定画像とを別レイヤで重ねることなどによって、背景加工処理部１２０から伝達される画像と判定画像とを混合する。

また、第２の判定結果にスコアマップが含まれる場合には、混合部１２４は、例えば、スコアマップ（第２の判定結果の一例）が示す合焦されている領域の評価値に基づいて、背景加工処理部１２０から伝達される画像と、判定画像との混合率を変えてもよい。混合部１２４は、例えば、評価値が高い合焦されている領域程、合焦されている領域を表すオブジェクトの混合率を高くする。ここで、本実施形態に係る混合率としては、例えば、アルファブレンドにおけるアルファ値が挙げられる。

混合部１２４が、スコアマップ（第２の判定結果の一例）が示す合焦されている領域の評価値に基づいて、背景加工処理部１２０から伝達される画像と、判定画像との混合率を変えることによって、提示制御部１０６は、第２の判定結果に対応する提示の仕方によって合焦度合いが表された提示画像を生成し、生成された提示画像を表示画面に表示させることができる。

第１の例に係る合焦領域提示制御部１１０は、例えば図１２に示す構成によって、第２の判定結果に基づく領域単位での合焦度合いが表された画像を、生成することができる。

また、提示制御部１０６において、合焦箇所提示制御部１１２において処理が行われた後に、合焦領域提示制御部１１０において処理が行われる場合には、第１の例に係る合焦領域提示制御部１１０において生成される画像は、画素単位での合焦度合いと領域単位での合焦度合いとの双方が表された画像となる。

なお、第１の例に係る合焦領域提示制御部１１０の構成は、上記に示す例に限られない。例えば、上記のように、提示制御部１０６において、合焦箇所提示制御部１１２が処理を行った後に、合焦領域提示制御部１１０が処理を行う場合には、第１の例に係る合焦領域提示制御部１１０は、背景加工処理部１２０を備えていなくてもよい。

（１−２）合焦領域提示制御部１１０における処理の第２の例
図１４は、本実施形態に係る画像処理装置１００が備える合焦領域提示制御部１１０における処理の第２の例を示す説明図である。

第２の例に係る合焦領域提示制御部１１０は、例えば、背景加工処理部１２０と、描画色決定部１２６と、混合部１２４とを備える。

背景加工処理部１２０は、図１２に示す第１の例に係る合焦領域提示制御部１１０が備える背景加工処理部１２０と同様の機能を有する。背景加工処理部１２０は、例えば対象画像の色彩を調整する。

描画色決定部１２６は、第１の描画色を決定する。

描画色決定部１２６は、例えば、図１２に示す第１の例に係る合焦領域提示制御部１１０が備える描画色決定部１２２が有する機能に加え、さらに、背景加工処理部１２０から伝達される画像（対象画像、または、対象画像が加工された画像）に基づいて、第１の描画色を決定する。

背景加工処理部１２０から伝達される画像に基づく第１の描画色の決定に係る処理の具体例を挙げると、描画色決定部１２６は、図１２に示す描画色決定部１２２と同様に決定された色に対してさらに下記の処理のうちの１の処理、または組み合わせ可能な２以上の処理を行う。
・描画色決定部１２６は、背景加工処理部１２０から伝達される画像における、合焦されている領域の周囲の画素の平均輝度に応じて、図１２に示す描画色決定部１２２と同様に決定された色の輝度を調整して、第１の描画色を決定する。
・描画色決定部１２６は、背景加工処理部１２０から伝達される画像における、合焦されている領域の周囲の画素の平均色に応じて、図１２に示す描画色決定部１２２と同様に決定された色を反転、色相回転などさせて、第１の描画色を決定する。
・描画色決定部１２６は、背景加工処理部１２０から伝達される画像における、合焦されている領域の周囲の画素の平均色に応じて、背景加工処理部１２０から伝達される画像と判定画像との混合率（または混合率を調整するための調整値）を決定する。
・描画色決定部１２６は、背景加工処理部１２０から伝達される画像がモノクロ画像である場合には、対象画像（または、合焦箇所提示制御部１１２において処理が行われた後に、合焦領域提示制御部１１０において処理が行われるときには、合焦領域提示制御部１１０において処理された画像）から抽出される色に基づく色を、第１の描画色として決定する。第１の描画色の決定に係る対象画像から抽出される色に基づく色としては、例えば、対象画像における合焦されている領域それぞれから抽出される当該領域ごとの色や、合焦されている領域それぞれから抽出される色の代表的な色（例えば、最も多く存在する色など）、合焦されている領域それぞれから抽出される色の平均色などが挙げられる。

合焦領域提示制御部１１０が描画色決定部１２６において背景加工処理部１２０から伝達される画像に基づいて、第１の描画色などを決定することによって、提示制御部１０６は、対象画像に対応する提示の仕方によって合焦度合いが表された提示画像を生成して、生成された提示画像を表示画面に表示させることができる。

混合部１２４は、図１２に示す第１の例に係る合焦領域提示制御部１１０が備える混合部１２４と同様の機能を有し、背景加工処理部１２０から伝達される画像と判定画像とを混合する。

第２の例に係る合焦領域提示制御部１１０は、例えば図１４に示す構成によって、第２の判定結果に基づく領域単位での合焦度合いが表された画像を、生成することができる。

なお、第２の例に係る合焦領域提示制御部１１０の構成は、上記に示す例に限られない。例えば、第２の例に係る合焦領域提示制御部１１０は、第１の例に係る合焦領域提示制御部１１０と同様に、背景加工処理部１２０を備えない構成をとることが可能である。

（１−３）合焦領域提示制御部１１０における処理の第３の例
図１５は、本実施形態に係る画像処理装置１００が備える合焦領域提示制御部１１０における処理の第３の例を示す説明図である。

第３の例に係る合焦領域提示制御部１１０は、例えば、背景加工処理部１２０と、描画色決定部１２８と、混合部１２４とを備える。

背景加工処理部１２０は、図１２に示す第１の例に係る合焦領域提示制御部１１０が備える背景加工処理部１２０と同様の機能を有する。背景加工処理部１２０は、例えば対象画像の色彩を調整する。

描画色決定部１２８は、第１の描画色を決定する。

描画色決定部１２８は、図１２に示す第１の例に係る合焦領域提示制御部１１０が備える描画色決定部１２２が有する機能に加え、さらに、センサ１６８などにおいて検出された照度値（表示画面における外光の検出結果の一例）を用いて、第１の描画色を決定する。描画色決定部１２８は、例えば、照度値に応じて、図１２に示す描画色決定部１２２と同様に決定された色の輝度を調整して、第１の描画色を決定する。

図１６は、本実施形態に係る画像処理装置１００が備える合焦領域提示制御部１１０における処理の一例を説明するための説明図であり、合焦領域提示制御部１１０を構成する描画色決定部１２８における輝度の調整に用いる第１の輝度調整情報の一例を示している。

描画色決定部１２８は、例えば図１６に示すように照度値と輝度とが対応付けられた第１の輝度調整情報を用いて、検出された照度値に対応する輝度値を特定する。そして、描画色決定部１２８は、例えば、特定された輝度値を示すように、図１２に示す描画色決定部１２２と同様に決定された色の輝度を調整して、第１の描画色を決定する。

本実施形態に係る第１の輝度調整情報としては、例えば、照度値によって輝度値が一意に算出される関数を示すデータが挙げられる。また、本実施形態に係る第１の輝度調整情報は、照度値と輝度値とが対応付けられたテーブルであってもよい。

例えば図１６に示す第１の輝度調整情報が用いられる場合には、描画色決定部１２８は、上限値と下限値との範囲内において、照度値が高い程、合焦されている領域を表すオブジェクトの輝度が高くなるような第１の描画色を決定する。なお、本実施形態に係る第１の輝度調整情報が示す照度値と輝度値との対応関係が、図１６に示す例に限られないことは、言うまでもない。

合焦領域提示制御部１１０が描画色決定部１２８において、検出された照度値を用いて第１の描画色を決定することによって、提示制御部１０６は、表示画面における外光の検出結果に対応する提示の仕方によって合焦度合いが表された提示画像を生成して、生成された提示画像を表示画面に表示させることができる。

混合部１２４は、図１２に示す第１の例に係る合焦領域提示制御部１１０が備える混合部１２４と同様の機能を有し、背景加工処理部１２０から伝達される画像と判定画像とを混合する。

第３の例に係る合焦領域提示制御部１１０は、例えば図１５に示す構成によって、第２の判定結果に基づく領域単位での合焦度合いが表された画像を、生成することができる。

なお、第３の例に係る合焦領域提示制御部１１０の構成は、上記に示す例に限られない。

例えば、第３の例に係る合焦領域提示制御部１１０は、第１の例に係る合焦領域提示制御部１１０と同様に、背景加工処理部１２０を備えない構成をとることが可能である。

また、第３の例に係る合焦領域提示制御部１１０は、センサ１６８などにおいて検出された照度値を用いて、背景加工処理部１２０から伝達される画像（対象画像、または、対象画像が加工された画像）の輝度を、さらに調整することも可能である。

図１７は、本実施形態に係る画像処理装置１００が備える合焦領域提示制御部１１０における処理の一例を説明するための説明図であり、合焦領域提示制御部１１０における背景加工処理部１２０から伝達される画像の輝度の調整に用いる第２の輝度調整情報の一例を示している。

合焦領域提示制御部１１０は、例えば図１７に示すように照度値と輝度とが対応付けられた第２の輝度調整情報を用いて、検出された照度値に対応する輝度値を特定する。そして、合焦領域提示制御部１１０は、例えば、特定された輝度値を示すように、背景加工処理部１２０から伝達される画像の輝度を調整する。

本実施形態に係る第２の輝度調整情報としては、例えば、照度値によって輝度値が一意に算出される関数を示すデータが挙げられる。また、本実施形態に係る第２の輝度調整情報は、照度値と輝度値とが対応付けられたテーブルであってもよい。

例えば図１７に示す第２の輝度調整情報が用いられる場合には、合焦領域提示制御部１１０は、上限値と下限値との範囲内において、照度値が高い程、背景加工処理部１２０から伝達される画像の輝度が高くなりように、背景加工処理部１２０から伝達される画像の輝度を調整する。

ここで、図１７に示す第２の輝度調整情報が示す上限値と下限値との範囲、すなわち、背景加工処理部１２０から伝達される画像の輝度が調整される範囲は、図１６に示す第１の輝度調整情報が示す上限値と下限値との範囲よりも、小さい。上記のように、第２の輝度調整情報が示す上限値と下限値との範囲を第１の輝度調整情報が示す上限値と下限値との範囲よりも小さくすることによって、例えば、提示画像において表される領域単位での合焦度合いを、より強調することが可能となる。

なお、本実施形態に係る第２の輝度調整情報が示す照度値と輝度値との対応関係が、図１７に示す例に限られないことは、言うまでもない。

合焦領域提示制御部１１０が、センサ１６８などにおいて検出された照度値を用いて、背景加工処理部１２０から伝達される画像の輝度をさらに調整することによって、合焦されている領域を表すオブジェクトの第１の描画色と共に、背景加工処理部１２０から伝達される画像の輝度が連動して変更される。よって、合焦領域提示制御部１１０が、検出された照度値を用いて、背景加工処理部１２０から伝達される画像の輝度を、さらに調整することによって、例えば、合焦されている領域を表すオブジェクトの第１の描画色と、背景加工処理部１２０から伝達される画像の背景色とのコントラストを、一定以上に保つことが可能となる。

ここで、検出された照度値を用いて背景加工処理部１２０から伝達される画像の輝度を調整する処理は、例えば、合焦領域提示制御部１１０が備える背景加工処理部が行ってもよいし、混合部が行ってもよい。

合焦領域提示制御部１１０は、例えば、上記（１−１）に示す第１の例に係る構成、上記（１−２）に示す第２の例に係る構成、または、上記（１−３）に示す第３の例に係る構成によって、第２の判定結果に基づいて、対象画像に対して領域単位での合焦度合いが表された画像を生成する。なお、合焦領域提示制御部１１０の構成は、上記（１−１）に示す第１の例に係る構成〜上記（１−３）に示す第３の例に係る構成に限られない。例えば、合焦領域提示制御部１１０は、上記（１−２）に示す第２の例に係る構成と上記（１−３）に示す第３の例に係る構成とを組み合わせた構成をとることも可能である。

（２）合焦箇所提示制御部１１２における処理の一例
（２−１）合焦箇所提示制御部１１２における処理の第１の例
図１８は、本実施形態に係る画像処理装置１００が備える合焦箇所提示制御部１１２における処理の第１の例を示す説明図である。

第１の例に係る合焦箇所提示制御部１１２は、例えば、描画色決定部１３０と、混合部１３２とを備える。

描画色決定部１３０は、エッジ画像（第１の判定結果の一例）におけるエッジの色（以下、「第２の描画色」と示す場合がある。）を決定する。

描画色決定部１３０は、例えば、記憶部（図示せず）などに記憶されている、第２の描画色を示す第２の色設定情報に基づいて、第２の描画色を決定する。第２の色設定情報が示す第２の描画色は、予め設定された固定の色であってもよいし、ユーザ操作などによって変更可能な可変の色であってもよい。

混合部１３２は、入力される画像と、第１の判定結果が示すエッジ画像とを混合する。また、混合部１２４は、エッジ画像におけるエッジの色を、描画色決定部１３０において決定された第２の描画色とした上で、入力される画像とエッジ画像とを混合する。

ここで、提示制御部１０６において、合焦領域提示制御部１１０において処理が行われた後に、合焦箇所提示制御部１１２において処理が行われる場合、混合部１３２に入力される画像としては、例えば、合焦領域提示制御部１１０において生成された、対象画像に対して領域単位での合焦度合いが表された画像が挙げられる。また、合焦箇所提示制御部１１２において処理が行われた後に、合焦領域提示制御部１１０において処理が行われる場合、混合部１３２に入力される画像としては、例えば、対象画像が挙げられる。

混合部１３２は、例えば、入力される画像とエッジ画像とを合成することや、入力される画像とエッジ画像とを別レイヤで重ねることなどによって、入力される画像とエッジ画像とを混合する。

第１の例に係る合焦箇所提示制御部１１２は、例えば図１８に示す構成によって、第１の判定結果に基づく画素単位での合焦度合いが表された画像を生成する。

また、提示制御部１０６において、合焦領域提示制御部１１０において処理が行われた後に、合焦箇所提示制御部１１２において処理が行われる場合には、第１の例に係る合焦箇所提示制御部１１２において生成される画像は、画素単位での合焦度合いと領域単位での合焦度合いとの双方が表された画像となる。

なお、第１の例に係る合焦箇所提示制御部１１２の構成は、上記に示す例に限られない。

例えば、第１の例に係る合焦箇所提示制御部１１２は、上述した合焦領域提示制御部１１０が備える背景加工処理部１２０と同様の機能を有する背景加工処理部を、さらに備えていてもよい。第１の例に係る合焦箇所提示制御部１１２が背景加工処理部をさらに備える場合、背景加工処理部は、合焦箇所提示制御部１１２において処理が行われた後に、合焦領域提示制御部１１０において処理が行われる場合、すなわち、対象画像を処理する場合に、対象画像の色彩を調整する。

例えば合焦箇所提示制御部１１２において処理が行われた後に、合焦領域提示制御部１１０において処理が行われる場合において、合焦箇所提示制御部１１２が背景加工処理部において対象画像の色彩を調整することによって、提示制御部１０６は、対象画像の色彩を調整し、色彩が調整された対象画像に基づく提示画像を生成して、生成された提示画像を表示画面に表示させることができる。

（２−２）合焦箇所提示制御部１１２における処理の第２の例
合焦箇所提示制御部１１２の構成は、上記（２−１）に示す第１の例に係る構成に限られない。例えば、合焦箇所提示制御部１１２が備える描画色決定部は、図１８に示す第１の例に係る合焦箇所提示制御部１１２が備える描画色決定部１３０が有する機能に加え、さらに、入力される画像に基づいて、第２の描画色などを決定することも可能である。

入力される画像に基づく第２の描画色の決定に係る処理の具体例を挙げると、第２の例に係る合焦箇所提示制御部１１２が備える描画色決定部は、図１８に示す描画色決定部１３０と同様に決定された色に対してさらに下記の処理のうちの１の処理、または組み合わせ可能な２以上の処理を行う。
・第２の例に係る合焦箇所提示制御部１１２が備える描画色決定部は、入力される画像における、エッジを示す画素の周囲の画素の平均輝度に応じて、図１８に示す描画色決定部１３０と同様に決定された色の輝度を調整して、第２の描画色を決定する。
・第２の例に係る合焦箇所提示制御部１１２が備える描画色決定部は、入力される画像における、エッジを示す画素の周囲の画素の平均色に応じて、図１８に示す描画色決定部１３０と同様に決定された色を反転、色相回転などさせて、第２の描画色を決定する。
・第２の例に係る合焦箇所提示制御部１１２が備える描画色決定部は、入力される画像における、エッジを示す画素の周囲の画素の平均色に応じて、入力される画像とエッジ画像との混合率（または混合率を調整するための調整値）を決定する。
・第２の例に係る合焦箇所提示制御部１１２が備える描画色決定部は、入力される画像がモノクロ画像である場合には、例えば、対象画像（または入力される画像）から抽出される色に基づく色を、第２の描画色として決定する。第２の描画色の決定に係る対象画像などから抽出される色に基づく色としては、例えば、対象画像におけるエッジを示す画素ごとの色や、エッジを示す画素の代表的な色（例えば、最も多く存在する色など）、エッジを示す画素の色の平均色などが挙げられる。

第２の例に係る合焦箇所提示制御部１１２が描画色決定部において入力される画像に基づいて、第２の描画色などを決定することによって、提示制御部１０６は、対象画像に対応する提示の仕方によって合焦度合いが表された提示画像を生成して、生成された提示画像を表示画面に表示させることができる。

また、第２の例に係る合焦箇所提示制御部１１２は、図１８に示す第１の例に係る合焦箇所提示制御部１１２が備える混合部１３２と同様の機能を有する混合部を備え、入力される画像と、第１の判定結果が示すエッジ画像とを混合する。

よって、第２の例に係る合焦箇所提示制御部１１２は、図１８に示す第１の例に係る合焦箇所提示制御部１１２と同様に、第１の判定結果に基づく画素単位での合焦度合いが表された画像を、生成することができる。

なお、第２の例に係る合焦箇所提示制御部１１２の構成は、上記に示す例に限られない。例えば、第２の例に係る合焦箇所提示制御部１１２は、図１８に示す第１の例に係る合焦箇所提示制御部１１２と同様に、背景加工処理部をさらに備えていてもよい。

（２−３）合焦箇所提示制御部１１２における処理の第３の例
合焦箇所提示制御部１１２の構成は、上記（２−１）に示す第１の例に係る構成や、上記（２−２）に示す第２の例に係る構成に限られない。例えば、合焦箇所提示制御部１１２が備える描画色決定部は、図１８に示す第１の例に係る合焦箇所提示制御部１１２が備える描画色決定部１３０が有する機能に加え、さらに、センサ１６８などにおいて検出された照度値（表示画面における外光の検出結果の一例）を用いて、第２の描画色を決定することも可能である。

第３の例に係る合焦箇所提示制御部１１２が備える描画色決定部は、例えば、照度値に応じて図１８に示す描画色決定部１３０と同様に決定された色の輝度を調整して、第２の描画色を決定する。第３の例に係る合焦箇所提示制御部１１２が備える描画色決定部は、例えば図１５に示す合焦領域提示制御部１１０を構成する描画色決定部１２８と同様に、例えば図１６に示すような第１の輝度調整情報を用いて第２の描画色を決定する。

第３の例に係る合焦箇所提示制御部１１２が描画色決定部において、検出された照度値を用いて第２の描画色を決定することによって、提示制御部１０６は、表示画面における外光の検出結果に対応する提示の仕方によって合焦度合いが表された提示画像を生成して、生成された提示画像を表示画面に表示させることができる。

また、第３の例に係る合焦箇所提示制御部１１２は、図１８に示す第１の例に係る合焦箇所提示制御部１１２が備える混合部１３２と同様の機能を有する混合部を備え、入力される画像と、第１の判定結果が示すエッジ画像とを混合する。

よって、第３の例に係る合焦箇所提示制御部１１２は、図１８に示す第１の例に係る合焦箇所提示制御部１１２と同様に、第１の判定結果に基づく画素単位での合焦度合いが表された画像を、生成することができる。

なお、第３の例に係る合焦箇所提示制御部１１２の構成は、上記に示す例に限られない。

例えば、第３の例に係る合焦箇所提示制御部１１２は、図１８に示す第１の例に係る合焦箇所提示制御部１１２と同様に、背景加工処理部をさらに備えていてもよい。

また、第３の例に係る合焦箇所提示制御部１１２は、センサ１６８などにおいて検出された照度値を用いて、入力される画像の輝度を、さらに調整することも可能である。第３の例に係る合焦箇所提示制御部１１２は、例えば図１５に示す合焦領域提示制御部１１０と同様に、図１７に示すような第２の輝度調整情報を用いて入力される画像の輝度を調整する。

第３の例に係る合焦箇所提示制御部１１２が、検出された照度値を用いて入力される画像の輝度をさらに調整することによって、エッジ画像におけるエッジを示す第２の描画色と共に、入力される画像の輝度が連動して変更される。よって、第３の例に係る合焦箇所提示制御部１１２が、検出された照度値を用いて入力される画像の輝度をさらに調整することによって、例えば、エッジ画像におけるエッジを示す第２の描画色と、入力される画像の背景色とのコントラストを、一定以上に保つことが可能となる。

ここで、センサ１６８などにおいて検出された照度値を用いて、入力される画像の輝度を調整する処理は、例えば、第３の例に係る合焦箇所提示制御部１１２が備える混合部により行われる。

合焦箇所提示制御部１１２は、例えば、上記（２−１）に示す第１の例に係る構成、上記（２−２）に示す第２の例に係る構成、または、上記（２−３）に示す第３の例に係る構成によって、第１の判定結果に基づいて、対象画像に対して画素単位での合焦度合いが表された画像を生成する。なお、合焦箇所提示制御部１１２の構成は、上記（２−１）に示す第１の例に係る構成〜上記（２−３）に示す第３の例に係る構成に限られない。例えば、合焦箇所提示制御部１１２は、上記（２−２）に示す第２の例に係る構成と上記（２−３）に示す第３の例に係る構成とを組み合わせた構成をとることも可能である。

提示制御部１０６は、例えば、上記のような合焦領域提示制御部１１０と合焦箇所提示制御部１１２とを備えることによって、第１判定処理部１０２から伝達される第１の判定結果と、第２判定処理部１０４から伝達される第２の判定結果とに基づいて、対象画像における合焦度合いの提示を制御する。提示制御部１０６が、例えば上記のような処理を行うことによって、例えば図３〜図８のＥに示す提示画像が得られる。

なお、本実施形態に係る提示制御部１０６における処理は、上記に示す処理に限られない。

例えば、提示制御部１０６は、対象画像に対するオブジェクトの検出処理の結果に基づいて、対象画像に含まれるオブジェクトに対応する提示の仕方によって合焦度合いが表された提示画像を生成して、生成された提示画像を表示画面に表示させてもよい。対象画像に含まれるオブジェクトに対応する提示の仕方によって合焦度合いが表されることによって、提示制御部１０６は、例えばより視認性が高められた提示画像を表示画面に表示させることが可能となる。オブジェクトの検出処理は、画像処理装置１００が備えるオブジェクト検出部（図示せず）において行われてもよいし、画像処理装置１００の外部装置において行われてもよい。また、画像処理装置１００がオブジェクト検出部（図示せず）を備える場合、オブジェクト検出部（図示せず）は、提示制御部１０６を構成していてもよいし、提示制御部１０６とは別体の処理回路などで実現されていてもよい。

ここで、本実施形態に係る“視認性を高める”とは、例えば、表される合焦度合いがより見やすいように、明るさや色を変更して表示されることや、表される合焦度合いが多すぎたり、少なすぎる状況を改善することなどにより、合焦の度合いをより見やすくすることをいう。

なお、提示制御部１０６は、例えば、オブジェクトが検出された場合であっても、検出されたオブジェクトのサイズによって、視認性を高めるための処理を選択的に行ってもよい。例えば、提示制御部１０６は、検出されたオブジェクトのサイズが、設定されている閾値以下の場合（または、オブジェクトのサイズが当該閾値より小さい場合）には、視認性を高めるための処理を行わない。また、提示制御部１０６は、例えば、検出されたオブジェクトのサイズが、上記設定されている閾値より大きい場合（または、オブジェクトのサイズが当該閾値以上である場合）には、視認性を高めるための処理を行う。

本実施形態に係る“視認性を高める”ことが実現される場合の具体例を挙げる。

例えば、対象画像から顔（オブジェクトの一例）が検出される場合、顔が含まれる顔領域では、低周波成分が多い。そのため、顔領域では、例えばエッジが描画され難く、画素単位での合焦度合いが表され難い。そこで、提示制御部１０６は、検出された顔領域に含まれる線のみ太くすることや、顔領域に対応する領域ｗ（ｎ）を強調して表示させることなどにより、視認性を維持する。

また、例えば、対象画像から任意の被写体（オブジェクトの一例）が検出される場合には、提示制御部１０６は、検出された被写体の特徴に応じて例えば下記のように描画を変更する。
・提示制御部１０６は、検出された被写体を含む領域における高周波成分が多い部分に対しては、エッジ表示の描画量を減少させる（輪郭が描画されすぎて、細部の確認が行いにくくなる状況の改善）。
・提示制御部１０６は、検出された被写体を含む領域における高周波成分が少ない部分に対しては、合焦されている領域をより強調して表示させる（高周波成分が少ない場合にはエッジが表示され難いので、領域単位での合焦度合いをより強調する）。
・提示制御部１０６は、検出された被写体を含む領域における暗部に対しては、第１の描画色や第２の描画色として、より明るい色を決定する。
・提示制御部１０６は、検出された被写体を含む領域における明部に対しては、第１の描画色や第２の描画色として、より暗い色を決定する。
・提示制御部１０６は、検出された被写体を含む領域における代表的な色（例えば、最も多く存在する色など）に応じて、第１の描画色や第２の描画色を決定する。
・提示制御部１０６は、検出された被写体を含む領域では、混合率を下げる。

提示制御部１０６が、例えば上記のように、検出された被写体の特徴に応じて描画を変更する場合には、例えば、よりユーザが撮像したいと考えている可能性が高い領域に応じて、描画を変更することが可能である。よって、提示制御部１０６が、例えば上記のように、検出された被写体の特徴に応じて描画を変更することによって、画像全体で描画を調整する場合よりもより視認性を高めることができる。

なお、本実施形態に係る“視認性を高める”ことが実現される場合の具体例は、上記に限られない。例えば、対象画像が、動画像である場合には、提示制御部１０６は、対象画像から検出されたオブジェクトの移動量に応じて描画を変更することも、可能である。

画像処理装置１００は、例えば図２に示す構成によって、本実施形態に係る画像処理方法に係る処理（例えば、対象画像から画素単位での合焦度合いを判定する処理、対象画像から領域単位での合焦度合いを判定する処理、および提示制御処理）を行う。

したがって、画像処理装置１００は、例えば図２に示す構成によって、画像における合焦の度合いをユーザに把握させることができる。

また、例えば図２に示す構成によって、画像処理装置１００は、例えば上述したような、本実施形態に係る画像処理方法に係る処理が行われることにより奏される効果を、奏することができる。

なお、本実施形態に係る画像処理装置の構成は、図２に示す構成に限られない。

例えば、第１判定処理部１０２および第２判定処理部１０４と同様の機能、構成を有する判定処理装置から、第１の判定結果と第２の判定結果が取得される場合には、本実施形態に係る画像処理装置は、図２に示す第１判定処理部１０２および第２判定処理部１０４を備えない構成をとることが可能である。

本実施形態に係る判定処理装置は、本実施形態に係る画像処理装置の外部装置であり、他の画像処理装置である。本実施形態に係る判定処理装置は、例えば図９に示す画像処理装置１００のハードウェア構成と同様のハードウェア構成（変形例も含む。）を有することによって、第１判定処理部１０２および第２判定処理部１０４と同様の機能を実現する。

また、第１判定処理部１０２と同様の機能、構成を有する第１の外部装置と、第２判定処理部１０４と同様の機能、構成を有する第２の外部装置とから、第１の判定結果と第２の判定結果とのうちの一方または双方が取得される場合には、本実施形態に係る画像処理装置は、取得される判定結果の判定に係る判定処理部を備えない構成であってもよい。

ここで、本実施形態に係る画像処理装置が、図２に示す第１判定処理部１０２および第２判定処理部１０４のうちの一方または双方を備えない構成をとる場合であっても、本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理として提示制御処理を行うことが可能である。

よって、図２に示す第１判定処理部１０２および第２判定処理部１０４のうちの一方または双方を備えない構成をとる場合であっても、本実施形態に係る画像処理装置は、画像における合焦の度合いをユーザに把握させることができる。

また、本実施形態に係る画像処理装置が、第１の判定結果と第２の判定結果を本実施形態に係る判定処理装置から取得する場合には、本実施形態に係る判定処理装置と、本実施形態に係る画像処理装置とによって、図２に示す画像処理装置１００と同様の処理が行われる画像処理システムが実現される。

よって、本実施形態に係る判定処理装置によって、画像における合焦の度合いをユーザに把握させることが可能な、画像処理システムを実現することができる。

以上、本実施形態として、画像処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、デジタルスチルカメラやデジタルビデオカメラなどの撮像装置や、携帯電話やスマートフォンなどの通信装置、タブレット型の装置、ＰＣ（Personal Computer）やサーバなどのコンピュータ、表示装置、映像／音楽再生装置（または映像／音楽記録再生装置）、ゲーム機など、様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理ＩＣ（Integrated Circuit）に適用することもできる。

また、本実施形態に係る画像処理装置は、例えばクラウドコンピューティングなどのように、ネットワークへの接続（または各装置間の通信）を前提とした、複数の装置からなるシステムにより実現されてもよい。つまり、上述した本実施形態に係る画像処理装置は、例えば、複数の装置からなるシステムとして実現することも可能である。

また、本実施形態として、判定処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、デジタルスチルカメラやデジタルビデオカメラなどの撮像装置や、携帯電話やスマートフォンなどの通信装置、タブレット型の装置、ＰＣやサーバなどのコンピュータ、表示装置、映像／音楽再生装置（または映像／音楽記録再生装置）、ゲーム機など、様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理ＩＣに適用することもできる。

（本実施形態に係るプログラム）
［Ｉ］本実施形態に係る画像処理装置として機能させるためのプログラム
コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラム（例えば、“提示制御処理”や、“対象画像から画素単位での合焦度合いを判定する処理、および提示制御処理”、“対象画像から領域単位での合焦度合いを判定する処理、および提示制御処理”、“対象画像から画素単位での合焦度合いを判定する処理、対象画像から領域単位での合焦度合いを判定する処理、および提示制御処理”など、本実施形態に係る画像処理方法に係る処理を実行することが可能なプログラム）が、コンピュータにおいてプロセッサなどにより実行されることによって、画像における合焦の度合いをユーザに把握させることができる。

また、コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラムが、コンピュータにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る画像処理方法に係る処理によって奏される効果を、奏することができる。

［ＩＩ］本実施形態に係る判定処理装置として機能させるためのプログラム
コンピュータを、本実施形態に係る判定処理装置として機能させるためのプログラム（例えば、“対象画像から画素単位での合焦度合いを判定する処理、および対象画像から領域単位での合焦度合いを判定する処理”）が、コンピュータにおいてプロセッサなどにより実行されることによって、画像における合焦の度合いをユーザに把握させることが可能な画像処理システムを、実現することができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記では、コンピュータを、本実施形態に係る画像処理装置、または、本実施形態に係る判定処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムをそれぞれ記憶させた記録媒体、または、上記プログラムを共に記憶させた記録媒体も併せて提供することができる。

上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
処理対象の画像である対象画像における画素単位での合焦度合いの判定結果である第１の判定結果と、前記対象画像における領域単位での合焦度合いの判定結果である第２の判定結果とに基づいて、前記対象画像における合焦度合いの提示を制御する提示制御部を備える、画像処理装置。
（２）
前記提示制御部は、前記第１の判定結果と前記第２の判定結果との一方または双方に基づく提示の仕方によって前記合焦度合いが表された、前記対象画像に基づく提示画像を、表示画面に表示させる、（１）に記載の画像処理装置。
（３）
前記提示制御部は、前記第１の判定結果に基づく前記画素単位での合焦度合いと、前記第２の判定結果に基づく前記領域単位での合焦度合いとの双方が表された前記提示画像を表示させる、（２）に記載の画像処理装置。
（４）
前記提示制御部は、前記第１の判定結果に基づく前記画素単位での合焦度合いと、前記第２の判定結果に基づく前記領域単位での合焦度合いとの一方が表された前記提示画像を表示させる、（２）に記載の画像処理装置。
（５）
前記提示制御部は、ユーザ操作に基づいて、前記第１の判定結果に基づく前記画素単位での合焦度合いと、前記第２の判定結果に基づく前記領域単位での合焦度合いとの一方が表された前記提示画像、または、前記画素単位での合焦度合いと前記領域単位での合焦度合いとの双方が表された前記提示画像を、切り換えて表示させる、（２）〜（４）のいずれか１つに記載の画像処理装置。
（６）
前記提示制御部は、前記第１の判定結果に対応する合焦度合いの精度の情報と、前記第２の判定結果に対応する合焦度合いの精度の情報とに基づいて、前記画素単位での合焦度合い、または前記領域単位での合焦度合いの一方が表された前記提示画像を表示させる、（４）に記載の画像処理装置。
（７）
前記提示制御部は、前記対象画像に含まれるオブジェクトに対応する提示の仕方によって前記合焦度合いが表された前記提示画像を、表示させる、（２）〜（６）のいずれか１つに記載の画像処理装置。
（８）
前記提示制御部は、
前記対象画像の色彩を調整し、
色彩が調整された前記対象画像に基づく前記提示画像を表示させる、（２）〜（７）のいずれか１つに記載の画像処理装置。
（９）
前記提示制御部は、前記対象画像に対応する提示の仕方によって前記合焦度合いが表された前記提示画像を、表示させる、（２）〜（８）のいずれか１つに記載の画像処理装置。
（１０）
前記提示制御部は、前記表示画面に対応する提示の仕方によって前記合焦度合いが表された前記提示画像を、表示させる、（２）〜（９）のいずれか１つに記載の画像処理装置。
（１１）
前記提示制御部は、前記表示画面における外光の検出結果に対応する提示の仕方によって前記合焦度合いが表された前記提示画像を、表示させる、（２）〜（１０）のいずれか１つに記載の画像処理装置。
（１２）
前記提示制御部は、前記第２の判定結果に対応する提示の仕方によって前記合焦度合いが表された前記提示画像を、表示させる、（２）〜（１１）のいずれか１つに記載の画像処理装置。
（１３）
前記対象画像から前記画素単位での合焦度合いを判定する第１判定処理部をさらに備え、
前記提示制御部は、前記第１判定処理部における前記第１の判定結果に基づいて、前記対象画像における合焦度合いの提示を制御する、（１）〜（１２）のいずれか１つに記載の画像処理装置。
（１４）
前記第１判定処理部は、前記第１の判定結果と前記第２の判定結果との一方または双方に基づく提示の仕方によって前記合焦度合いが表された前記対象画像に基づく提示画像が表示される、表示画面に対応するフィルタによって、前記画素単位での合焦度合いを判定する、（１３）に記載の画像処理装置。
（１５）
前記対象画像から前記領域単位での合焦度合いを判定する第２判定処理部をさらに備え、
前記提示制御部は、前記第２判定処理部における前記第２の判定結果に基づいて、前記対象画像における合焦度合いの提示を制御する、（１）〜（１４）のいずれか１つ
（１６）
前記第２判定処理部は、
前記対象画像におけるオブジェクトが含まれない領域に対して、判定の基準となる第１の判定基準で前記合焦度合いを判定し、
前記対象画像におけるオブジェクトが含まれる領域に対しては、前記オブジェクトに対応する第２の判定基準で前記合焦度合いを判定する、（１５）に記載の画像処理装置。
（１７）
処理対象の画像である対象画像から画素単位での合焦度合いを判定する第１判定処理部と、
前記対象画像から領域単位での合焦度合いを判定する第２判定処理部と、
を備える、画像処理装置。
（１８）
前記第２判定処理部は、ピントが合っている学習画像とピントが合っていない学習画像とを用いた機械学習により得られた判定器を用いて前記領域単位での合焦度合いを判定する、（１７）に記載の画像処理装置。
（１９）
処理対象の画像である対象画像における画素単位での合焦度合いの判定結果である第１の判定結果と、前記対象画像における領域単位での合焦度合いの判定結果である第２の判定結果とに基づいて、前記対象画像における合焦度合いの提示を制御するステップを有する、画像処理装置により実行される画像処理方法。
（２０）
処理対象の画像である対象画像における画素単位での合焦度合いの判定結果である第１の判定結果と、前記対象画像における領域単位での合焦度合いの判定結果である第２の判定結果とに基づいて、前記対象画像における合焦度合いの提示を制御するステップをコンピュータに実行させるためのプログラム。

１００ 画像処理装置
１０２ 第１判定処理部
１０４ 第２判定処理部
１０６ 提示制御部
１１０ 合焦領域提示制御部
１１２ 合焦箇所提示制御部
１２０ 背景加工処理部
１２２、１２６、１２８、１３０ 描画色決定部
１２４、１３２ 混合部

Claims (20)

1. 処理対象の画像である対象画像における画素単位での合焦度合いの判定結果である第１の判定結果と、前記対象画像における領域単位での合焦度合いの判定結果である第２の判定結果とに基づいて、前記対象画像における合焦度合いの提示を制御する提示制御部を備える、画像処理装置。
2. 前記提示制御部は、前記第１の判定結果と前記第２の判定結果との一方または双方に基づく提示の仕方によって前記合焦度合いが表された、前記対象画像に基づく提示画像を、表示画面に表示させる、請求項１に記載の画像処理装置。
3. 前記提示制御部は、前記第１の判定結果に基づく前記画素単位での合焦度合いと、前記第２の判定結果に基づく前記領域単位での合焦度合いとの双方が表された前記提示画像を表示させる、請求項２に記載の画像処理装置。
4. 前記提示制御部は、前記第１の判定結果に基づく前記画素単位での合焦度合いと、前記第２の判定結果に基づく前記領域単位での合焦度合いとの一方が表された前記提示画像を表示させる、請求項２に記載の画像処理装置。
5. 前記提示制御部は、ユーザ操作に基づいて、前記第１の判定結果に基づく前記画素単位での合焦度合いと、前記第２の判定結果に基づく前記領域単位での合焦度合いとの一方が表された前記提示画像、または、前記画素単位での合焦度合いと前記領域単位での合焦度合いとの双方が表された前記提示画像を、切り換えて表示させる、請求項２に記載の画像処理装置。
6. 前記提示制御部は、前記第１の判定結果に対応する合焦度合いの精度の情報と、前記第２の判定結果に対応する合焦度合いの精度の情報とに基づいて、前記画素単位での合焦度合い、または前記領域単位での合焦度合いの一方が表された前記提示画像を表示させる、請求項４に記載の画像処理装置。
7. 前記提示制御部は、前記対象画像に含まれるオブジェクトに対応する提示の仕方によって前記合焦度合いが表された前記提示画像を、表示させる、請求項２に記載の画像処理装置。
8. 前記提示制御部は、
   前記対象画像の色彩を調整し、
   色彩が調整された前記対象画像に基づく前記提示画像を表示させる、請求項２に記載の画像処理装置。
9. 前記提示制御部は、前記対象画像に対応する提示の仕方によって前記合焦度合いが表された前記提示画像を、表示させる、請求項２に記載の画像処理装置。
10. 前記提示制御部は、前記表示画面に対応する提示の仕方によって前記合焦度合いが表された前記提示画像を、表示させる、請求項２に記載の画像処理装置。
11. 前記提示制御部は、前記表示画面における外光の検出結果に対応する提示の仕方によって前記合焦度合いが表された前記提示画像を、表示させる、請求項２に記載の画像処理装置。
12. 前記提示制御部は、前記第２の判定結果に対応する提示の仕方によって前記合焦度合いが表された前記提示画像を、表示させる、請求項２に記載の画像処理装置。
13. 前記対象画像から前記画素単位での合焦度合いを判定する第１判定処理部をさらに備え、
    前記提示制御部は、前記第１判定処理部における前記第１の判定結果に基づいて、前記対象画像における合焦度合いの提示を制御する、請求項１に記載の画像処理装置。
14. 前記第１判定処理部は、前記第１の判定結果と前記第２の判定結果との一方または双方に基づく提示の仕方によって前記合焦度合いが表された前記対象画像に基づく提示画像が表示される、表示画面に対応するフィルタによって、前記画素単位での合焦度合いを判定する、請求項１３に記載の画像処理装置。
15. 前記対象画像から前記領域単位での合焦度合いを判定する第２判定処理部をさらに備え、
    前記提示制御部は、前記第２判定処理部における前記第２の判定結果に基づいて、前記対象画像における合焦度合いの提示を制御する、請求項１に記載の画像処理装置。
16. 前記第２判定処理部は、
    前記対象画像におけるオブジェクトが含まれない領域に対して、判定の基準となる第１の判定基準で前記合焦度合いを判定し、
    前記対象画像におけるオブジェクトが含まれる領域に対しては、前記オブジェクトに対応する第２の判定基準で前記合焦度合いを判定する、請求項１５に記載の画像処理装置。
17. 処理対象の画像である対象画像から画素単位での合焦度合いを判定する第１判定処理部と、
    前記対象画像から領域単位での合焦度合いを判定する第２判定処理部と、
    を備える、画像処理装置。
18. 前記第２判定処理部は、ピントが合っている学習画像とピントが合っていない学習画像とを用いた機械学習により得られた判定器を用いて前記領域単位での合焦度合いを判定する、請求項１７に記載の画像処理装置。
19. 処理対象の画像である対象画像における画素単位での合焦度合いの判定結果である第１の判定結果と、前記対象画像における領域単位での合焦度合いの判定結果である第２の判定結果とに基づいて、前記対象画像における合焦度合いの提示を制御するステップを有する、画像処理装置により実行される画像処理方法。
20. 処理対象の画像である対象画像における画素単位での合焦度合いの判定結果である第１の判定結果と、前記対象画像における領域単位での合焦度合いの判定結果である第２の判定結果とに基づいて、前記対象画像における合焦度合いの提示を制御するステップをコンピュータに実行させるためのプログラム。