JP7527129B2 - 焦点調節装置、撮像装置、焦点調節方法、及びプログラム - Google Patents

Description

本発明は、焦点調節装置、撮像装置、焦点調節方法、及びプログラムに関する。

画像から特定の被写体パターン（例えば、人の顔領域）を自動的に検出する画像処理手法が知られている。デジタルカメラなどの撮像装置は、撮影画像から特定の被写体領域を検出し、その領域を制御対象としてＡＦ及びＡＥ（焦点及び露出）を最適化している。そのため、ＡＦ及びＡＥの制御を行う対象としてふさわしい被写体（主被写体）をユーザの意図に沿って適切に選択できることが、撮影画像の画質を決める非常に重要な要素となっている。

特許文献１は、検出された被写体の位置やサイズや直近での優先度に基づいて各被写体の優先度を算出し、主被写体を決定するという手法を提案している。それによって、特許文献１は、ユーザの意図に沿ったより適切な主被写体選択を実現している。

特開２０１０－１４１６１６号公報

ユーザは、意図する主被写体にＡＦ追従しやすいようにＡＦ制御を実施する際の設定（以下、ＡＦ設定）を切り替えることができる。ＡＦ設定の例としては、画面内でＡＦ制御を行う範囲であるＡＦ範囲設定、被写体の瞳を対象としたＡＦ制御を実施する瞳ＡＦ設定、撮影時に継続的なＡＦ制御を実施するサーボＡＦ設定、ＡＦ対象として優先する被写体の種類を指定する優先被写体設定などがある。

しかしながら、特許文献１の技術では、ＡＦ設定が変更された場合にユーザの意図に沿った主被写体を適切に選択できない可能性がある。

一例として、図１を参照して、ＡＦ範囲が拡大するようにＡＦ設定が変更された場合について説明する。図１は、撮影画面内に人物１０１及び人物１０２が含まれ、ユーザが人物１０１を主被写体としたい状況を示している。図１（Ａ）に示すように、ユーザが実線で示す狭いＡＦ範囲１０３を設定した場合は、ＡＦ範囲１０３内に人物１０１を収めるようにフレーミングすることによって、点線で示す人物１０１の全身部分１０４を主被写体として選択することができる。これにより、ユーザの意思にあった被写体に対するＡＦ制御が可能である。ここで、図１（Ｂ）に示すように、人物１０１が近づいてきて被写体が大きくなり顔へのピント精度が要求されるようになる場合がある。この場合、図１（Ｃ）に示すように、実線で示す広いＡＦ範囲１０５に切り替えることで、顔を主被写体として選択できるようになる。但し、ＡＦ範囲を広げることによりＡＦ範囲１０５内に人物１０２が含まれるようになるため、点線で示す人物１０２の顔１０６が主被写体として選択されてしまい、ユーザの意思と合わない可能性もある。一方で、ＡＦ設定の変更内容によっては、ユーザが人物１０２の顔１０６を新たな主被写体として選択することを望む可能性がある。

本発明はこのような状況に鑑みてなされたものであり、ＡＦ設定の変更内容に応じて、前回の主被写体に基づいて今回の主被写体を選択するか前回の主被写体と無関係に今回の主被写体を選択するかを決定する技術を提供することを目的とする。

上記課題を解決するために、本発明は、撮影範囲に含まれる１以上の被写体のうちの主被写体をＡＦ設定に基づいて決定する決定処理を繰り返し実行する決定手段と、前記決定された主被写体に基づいて決定される対象位置に対する焦点調節を行う焦点調節手段と、前記ＡＦ設定を変更する変更手段と、を備え、前回の決定処理の実行後に前記ＡＦ設定が変更された場合、前記決定手段は、前記ＡＦ設定の変更内容に応じて、前回の主被写体に基づいて今回の決定処理を実行するか前記前回の主被写体と無関係に前記今回の決定処理を実行するかを決定することを特徴とする焦点調節装置を提供する。

本発明によれば、ＡＦ設定の変更内容に応じて、前回の主被写体に基づいて今回の主被写体を選択するか前回の主被写体と無関係に今回の主被写体を選択するかを決定することが可能となる。

なお、本発明のその他の特徴及び利点は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

ＡＦ設定が変更された場合にユーザの意図に沿った主被写体を適切に選択できない場合の例を示す図。 焦点調節装置を含む撮像装置１００の構成を示すブロック図。 撮像装置１００の全体動作のフローチャート。 基本の主被写体選択処理の概念図。 第１の実施形態に係る、ＡＦ設定変更時の主被写体選択処理（図３のＳ３０５）の詳細を示すフローチャート。 （Ａ）（Ｂ）ＡＦ範囲が縮小された場合の主被写体選択処理の具体例を説明する図、（Ｃ）優先被写体設定の変更により優先被写体種類が変更された場合の主被写体選択処理の具体例を説明する図。 （Ａ）瞳ＡＦ設定が有効化又は無効化された場合の主被写体選択処理の具体例を説明する図、（Ｂ）サーボＡＦ設定が有効化された場合の主被写体選択処理について説明する図。 図５のＳ５０４における前回のＡＦ位置に基づく主被写体選択処理の詳細を示すフローチャート。 前回のＡＦ位置に基づく主被写体選択処理の具体例を示す図。 図８のＳ８０１における処理の具体例を示す図。 図８のＳ８０２における選択範囲の決定処理の具体例を示す図。 第２の実施形態に係る、ＡＦ設定変更時の主被写体選択処理（図３のＳ３０５）の詳細を示すフローチャート。 第２の実施形態に係る、ＡＦ設定変更時の主被写体選択処理の具体例を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
図２は、焦点調節装置を含む撮像装置１００の構成を示すブロック図である。図２において、１０１は、ズーム機構を含む撮影レンズである。１０２は、入射光量の制御及び被写界深度の調節のための絞りである。１０４は、後述する撮像素子１０８上に焦点を合わせるためのフォーカスレンズである。１０５は、フォーカスレンズ１０４の駆動機構を含むＡＦ処理部（オートフォーカス処理部）である。１０８は、被写体からの反射光を電気信号に変換する光電変換部を含む撮像素子である。１０９は、撮像素子１０８の出力ノイズを除去するＣＤＳ（相関二重サンプリング処理）回路やＡ／Ｄ変換前に処理を行う非線形増幅回路を含むＡ／Ｄ変換部である。

１１０は、Ａ／Ｄ変換部１０９の出力信号に基づいて被写体の輝度を算出する輝度算出部と輝度算出部の出力信号から特定周波数帯域の信号成分を抽出する抽出部とを含む画像処理部である。１１１はＡＥ処理部（露出処理部）である。１１２はフォーマット変換部である。１１３は、高速な内蔵メモリ（ＤＲＡＭ）である。ＤＲＡＭ１１３は、一時的な画像記憶のための高速バッファとして使用される。また、ＤＲＡＭ１１３は、画像の圧縮・伸張における作業用メモリなどに使用される。１１４は、メモリカードなどの記録媒体とそのインタフェースとを含む画像記録部である。

１１５は、撮像装置１００全体の動作を制御するシステム制御部（ＣＰＵ）である。１１６は、画像表示用メモリ（ＶＲＡＭ）である。１１７は、画像の表示、操作補助のための表示、カメラ状態の表示などを行う表示部である。表示部１１７は、撮影時には撮影画像とＡＦ範囲とを表示する。システム制御部１１５は、ユーザによるＡＦ設定の切り替えを可能にするために、表示部１１７にＡＦ設定切り替えのための画面を表示することができる。

１１８は、撮像装置１００を外部から操作するための操作部である。操作部１１８は、例えば、撮像装置１００の撮影機能や画像再生時の設定などの各種設定を行うメニュースイッチ、撮影レンズ１０１のズーム動作を指示するズームレバー、及び、撮影モードと再生モードとを切り替える動作モード切替スイッチなどを含む。ユーザは、ＡＦ設定の切り替えを行う際に、表示部１１７に撮影画像とＡＦ範囲を表示したまま、操作部１１８の操作によってＡＦ設定を切り替える場合もある。

１２１は、撮像装置１００に対してＡＦやＡＥ等の撮影スタンバイ動作を行うように指示するための撮影スタンバイスイッチ（ＳＷ１）である。ＳＷ１ １２１が操作されると、フォーカスレンズ１０４の撮影のための合焦位置を確定されるための制御が行われる。

１２３は被写体検出モジュールである。被写体検出モジュール１２３は、画像処理部１１０で処理された画像信号を用いて、様々な種類の被写体の検出を行い、検出した１以上の被写体それぞれの被写体情報（種類、位置、大きさ、信頼度、距離など）を取得する。また、被写体検出モジュール１２３は、ＡＦ処理部１０５及びＡＥ処理部１１１での処理対象となる主被写体を決定（選択）する。被写体検出モジュール１２３は、被写体情報（種類、位置、大きさ、信頼度、距離など）に基づき、検出した１以上の被写体の中から主被写体を決定（選択）する。

次に、図３を参照して、撮像装置１００の全体動作について説明する。本フローチャートの処理は、所定の周期で繰り返し実行される。

Ｓ３０１で、被写体検出モジュール１２３は、画像処理部１１０から画像信号を取得する。Ｓ３０２で、被写体検出モジュール１２３は、Ｓ３０１において取得した画像信号を用いて被写体検出処理を行う。検出対象の被写体は、例えば、人物、動物、及び、色輝度の顕著な被写体などである。色輝度の顕著な被写体を対象とする被写体検出を、「モノ検出」と呼ぶ。被写体検出モジュール１２３は、検出された１以上の被写体それぞれの被写体情報（種類、位置、大きさ、信頼度、距離など）を取得する。

Ｓ３０３で、システム制御部１１５は、前回の主被写体選択処理（Ｓ３０４又はＳ３０５）の実行後にＡＦ設定が変更されたか否かを判定する。ＡＦ設定が変更されていない場合、処理ステップはＳ３０４に進み、ＡＦ設定が変更された場合、処理ステップはＳ３０５に進む。変更可能なＡＦ設定の設定項目としては、例えば、撮影範囲のうちの主被写体選択処理の対象範囲（ＡＦ範囲）を規定する設定項目（ＡＦ範囲設定）や、被写体の瞳を対象としたＡＦ制御に関する設定項目（瞳ＡＦ設定）などが挙げられる。他の例として、撮影時の継続的なＡＦ制御に関する設定項目（サーボＡＦ設定）、主被写体として優先的に選択する被写体の種類（優先被写体種類）を設定する設定項目（優先被写体設定）なども挙げられる。

Ｓ３０４で、被写体検出モジュール１２３は、基本の主被写体選択処理を実行する。図４は、基本の主被写体選択処理の概念図である。基本の主被写体選択処理において、被写体検出モジュール１２３は、被写体情報に基づいて被写体の優先度を算出して主被写体を選択する。

例えば、図４（Ａ）に示すように、被写体のサイズがより大きい場合に主被写体としての優先度が高いとする場合、被写体検出モジュール１２３は、人物４０１と人物４０２とを比較し、より顔サイズの大きい人物４０１の優先度を上げる。また、図４（Ｂ）に示すように、被写体がより画面中心に近い場合に主被写体としての優先度が高いとする場合、被写体検出モジュール１２３は、人物４０１と人物４０２とを比較し、より画面中心に近い人物４０１の優先度を上げる。また、図４（Ｃ）に示すように、被写体が前回の主被写体選択時に主被写体として選択されていた場合に主被写体としての優先度が高いとする場合を考える。この場合、前回主被写体として選択されていたのが人物４０１であれば、被写体検出モジュール１２３は、人物４０１の優先度を上げる。また、ＡＦ設定の中に主被写体として優先的に選択する被写体の種類（優先被写体種類）を設定する設定項目（優先被写体設定）がある場合は、被写体検出モジュール１２３は、ユーザが設定した優先被写体種類に対応する被写体の主被写体としての優先度を上げる。図４（Ｄ）の左側に示すように、優先被写体種類として人物が設定された場合は、被写体検出モジュール１２３は、人物４０１と動物４０３とのうち、優先被写体種類に対応する人物４０１の優先度を上げる。同様に、図４（Ｄ）の右側示すように、優先被写体種類として動物が設定された場合は、被写体検出モジュール１２３は、人物４０１と動物４０３とのうち、優先被写体種類に対応する動物４０３の優先度を上げる。

以上のようにして、被写体検出モジュール１２３は、被写体のサイズ及び位置、前回の主被写体、被写体の種類などに応じて各種優先度を算出する。そして、被写体検出モジュール１２３は、算出した各種優先度の数値の重み平均をとるなどして各被写体の最終的な優先度を算出して、最も優先度の高い被写体を主被写体として選択する。それによって、被写体のサイズ及び位置、前回の主被写体、被写体の種類などの様々な観点を加味して撮影対象としてよりふさわしい被写体を主被写体として選択することができる。

また、上記の他にも、被写体情報として得られている、信頼度や被写体距離に応じて優先度を算出してもよい。

図３に戻り、Ｓ３０５で、被写体検出モジュール１２３は、ＡＦ設定変更時の主被写体選択処理を行う。ＡＦ設定変更時の主被写体選択処理の詳細については、図５を参照して後述する。

Ｓ３０６で、システム制御部１１５は、Ｓ３０４又はＳ３０５において主被写体が選択されたか否かを判定する。主被写体が選択された場合、処理ステップはＳ３０８に進む。主被写体が選択されなかった場合（例えば、被写体の検出に失敗した場合など）、処理ステップはＳ３０７に進む。

Ｓ３０７で、ＡＦ処理部１０５は、ＡＦ制御領域を決定する。例えば、ＡＦ処理部１０５は、カメラ設定やシーン判断結果に応じて、ＡＦ範囲の中心付近かつ至近の位置付近の領域や、前回のＡＦ位置（焦点調節の対象位置）との連続性の高い領域などを、ＡＦ制御領域として決定する。

Ｓ３０８で、ＡＦ処理部１０５は、Ｓ３０４又はＳ３０５で決定した主被写体、若しくはＳ３０７で決定したＡＦ制御領域に基づいて決定される、ＡＦ位置（焦点調節の対象位置）に対して焦点調節を行う。また、ＡＥ処理部１１１は、Ｓ３０４又はＳ３０５で決定した主被写体、若しくはＳ３０７で決定したＡＦ制御領域に基づいてＡＥ処理を行う。なお、ワンショットＡＦ（詳細は後述）により既にＡＦがロックされている場合には、Ｓ３０８におけるＡＦ処理は省略可能である。

次に、図５を参照して、ＡＦ設定変更時の主被写体選択処理（図３のＳ３０５）の詳細について説明する。ＡＦ設定変更時の主被写体選択処理は、ＡＦ設定の変更内容（変更された設定項目の変更前後の設定内容の関係など）に応じて行われる。なお、システム制御部１１５は、撮影画面（撮影範囲の画像）を表示部１１７に表示するか否かを制御する表示制御を行うことができる。

Ｓ５０１で、被写体検出モジュール１２３は、ＡＦ設定の切り替え（変更）が表示部１１７に撮影画面（撮影範囲の画像）が表示されている状態で行われたか否かを判定する。ＡＦ設定の切り替えが表示部１１７に撮影画面が表示されている状態で行われた場合、処理ステップはＳ５０２に進み、そうでない場合、処理ステップはＳ５０３に進む。

ＡＦ設定の切り替えが表示部１１７に撮影画面が表示されている状態で行われた場合とは、例えば、ユーザが撮影シーンを確認しながら操作部１１８を操作することにより予め登録しておいたＡＦ設定の設定内容に切り替えた場合である。ＡＦ設定の切り替えが表示部１１７に撮影画面が表示されていない状態で行われた場合とは、例えば、ユーザが表示部１１７にＡＦ設定切り替えのメニューを表示してＡＦ設定を切り替えた場合である。

Ｓ５０２で、被写体検出モジュール１２３は、ＡＦ設定の変更内容に応じて、主被写体の選択方式を切り替える。例えば、ＡＦ範囲（撮影範囲のうちの主被写体選択処理の対象範囲）を縮小するようにＡＦ設定が変更された場合や、優先被写体設定の変更により優先被写体種類が変更された場合には、処理ステップはＳ５０３へ進む。また、ＡＦ範囲（撮影範囲のうちの主被写体選択処理の対象範囲）を拡大するようにＡＦ設定が変更された場合には、処理ステップはＳ５０４に進む。また、瞳ＡＦ設定が有効化又は無効化された場合や、サーボＡＦ設定が有効化された場合には、処理ステップはＳ５０５に進む。その他の変更内容の場合も、変更内容の性質に応じて、処理ステップはＳ５０３～Ｓ５０５のいずれかに進む。

なお、優先被写体設定が変更された場合、優先被写体種類が変更される。また、瞳ＡＦ設定が有効化された場合、優先被写体種類が瞳に変更され、瞳ＡＦ設定が無効化された場合、優先被写体種類が瞳ＡＦ設定の有効化前の状態に戻る。従って、Ｓ５０２の条件分岐は、優先被写体種類が変更された場合は原則として処理ステップがＳ５０２からＳ５０３に遷移するが、変更前又は変更後の優先被写体種類が瞳である場合には処理ステップがＳ５０２からＳ５０５に遷移することを意味する。

次に、Ｓ５０３の処理について説明する。上述の通り、Ｓ５０３の処理は、ＡＦ範囲が縮小された場合や、優先被写体設定の変更により優先被写体種類が変更された場合などに実行される。これらの場合、前回の主被写体がユーザの意図に沿っていない可能性が高い。そこで、Ｓ５０３で、被写体検出モジュール１２３は、前回の主被写体と無関係に今回の主被写体を選択する。ここでの選択処理は、例えば、図３のＳ３０４で説明した基本の主被写体選択処理と概ね同様であるが、図４（Ｃ）を参照して説明した、前回の主被写体に基づく優先度の設定は行われない。

図６（Ａ）及び図６（Ｂ）を参照して、ＡＦ範囲が縮小された場合の主被写体選択処理の具体例を説明する。ＡＦ範囲が縮小された場合のユーザの意図としては、広いＡＦ範囲内で撮像装置１００が選択した主被写体では適切に焦点が合わせられないため、狭いＡＦ範囲に限定することで焦点を適切に合わせ直したい、という状況が想定される。

例えば、図６（Ａ）に示すように、破線で示す全域のＡＦ範囲６１０を設定した場合に、人物の動きが激しいことや帽子やゴーグル等が存在することなどが原因で被写体検出が安定しない場合がある。このような状況においてＡＦ制御を行うとかえって焦点が合わせづらい場合がある。そのため、ユーザが人物の体付近の狭いＡＦ範囲６１１に切り替えて焦点を合わせ直そうとする場合がある。

また、図６（Ｂ）の左側に示すように、広いＡＦ範囲６２０を設定していた状況において画面内に複数の被写体が存在する場合に、主被写体選択結果がユーザの意図通りでなかったため、ＡＦ範囲を狭い範囲に切り替えるというユーザ意図も想定される。図６（Ｂ）の左側は、破線で示すＡＦ範囲６２０を設定して、走行中のランナーを順次撮影する意図がある場合を示している。しかし、ユーザが人物６２２を主被写体として想定しているのにも関わらず、画面中心にわずかに近い人物６２３が主被写体として選択されている。そこで、図６（Ｂ）の右側に示すように、二重線で示す狭いＡＦ範囲６２１に切り替えることによって、ユーザの狙っている人物６２２の体の一部を主被写体として選択することができる。

次に、図６（Ｃ）を参照して、優先被写体設定の変更により優先被写体種類が変更された場合の主被写体選択処理の具体例を説明する。この場合のユーザ意図は、ＡＦ設定切り替え前とは異なる種類の被写体を優先したい状況が想定される。そのため、この場合もＡＦ設定切り替え前の主被写体は考慮せずに主被写体選択を行う。

図６（Ｃ）は、優先被写体種類を人物から動物に切り替えたシーンを示している。図６（Ｃ）の左側では優先被写体種類が人物であり、実線で囲まれた人物６３２が主被写体として優先的に選ばれる。それに対し、図６（Ｃ）の右側に示すように、ユーザが優先被写体種類を動物に切り替えた場合は、ユーザが撮影対象を人物から動物に切り替えたい意思があると想定される。そのため、前回のＡＦ設定での主被写体であった人物６３２は考慮せずに、実線で囲まれた動物６３３が主被写体として選択される。

更に、Ｓ５０３の処理は、ＡＦ設定の切り替えが表示部１１７に撮影画面が表示されていない状態で行われた場合にも実行される。この場合、ＡＦ設定を切り替えている間の被写体の変化をユーザが確認できないため、ユーザとしては被写体を追っておらずにシーンの切り替えに伴いＡＦ設定を切り替えているという想定である。そのため、切り替え前の主被写体の状況は考慮していないという思想があると想定される。従って、この場合には、ＡＦ設定の変更内容に関わらず、前回の主被写体とは無関係に今回の主被写体が選択される。

次に、Ｓ５０４の処理について説明する。上述の通り、Ｓ５０４の処理は、ＡＦ範囲を拡大するようにＡＦ設定が変更された場合などに実行される。Ｓ５０４で、被写体検出モジュール１２３は、前回の主被写体に基づいて今回の主被写体を選択する。例えば、被写体検出モジュール１２３は、前回の主被写体に基づいて決定された前回のＡＦ位置（焦点調節の対象位置）に基づいて今回の主被写体として選択する。Ｓ５０４における主被写体選択処理の詳細については、図８乃至図１１を参照して後述する。

次に、Ｓ５０５の処理について説明する。上述の通り、Ｓ５０５の処理は、瞳ＡＦ設定が有効化又は無効化された場合や、サーボＡＦ設定が有効化された場合などに実行される。これらの場合、ＡＦ設定の変更前後でユーザは同じ被写体を対象として追い続けることを意図している可能性が高い。そこで、Ｓ５０５で、被写体検出モジュール１２３は、前回の主被写体に基づいて今回の主被写体を選択する。例えば、被写体検出モジュール１２３は、前回の主被写体と関連する被写体を優先的に今回の主被写体として選択する。

図７（Ａ）を参照して、瞳ＡＦ設定が有効化又は無効化された場合の主被写体選択処理の具体例を説明する。瞳ＡＦ設定が有効化された場合、前回の主被写体と同じ被写体の瞳に焦点を合わせたいというユーザニーズがある。図７（Ａ）の左側では、瞳ＡＦ設定は無効であり、実線の矩形枠で示す人物７１１の顔が主被写体である。図７（Ａ）の右側では、瞳ＡＦ設定が有効化されているが、画面中心の人物７１２の瞳ではなく、ＡＦ設定切り替わり前の主被写体である人物７１１の瞳が主被写体として選択されている。これにより、ユーザの意図にあった主被写体選択が実現している。その後、瞳ＡＦ設定が無効化された場合、図７（Ａ）の左側に示すように、再び人物７１１（図７（Ｂ）において主被写体として選択されている被写体である瞳に関連する被写体）が選択される。

次に、図７（Ｂ）を参照して、サーボＡＦ設定が有効化された場合の主被写体選択処理について説明する。同じ被写体を主被写体としながら、被写体の動きに応じてサーボＡＦ設定を有効化したいというユーザニーズがある。図７（Ｂ）の左側では、実線の矩形枠で示す動物７２１が静止しているため、サーボＡＦ設定は無効化されており、ワンショットＡＦ（ユーザによる１回の焦点調節指示に応じて焦点調節を１回だけ行うＡＦ）が行われる。一方、図７（Ｂ）の右側では、実線の矩形枠で示す動物７２１が動き出したため、ユーザによりサーボＡＦ設定が有効化され、サーボＡＦ（ユーザによる１回の焦点調節指示に応じて焦点調節を継続的に繰り返すＡＦ）が行われる。このようにサーボＡＦ設定が有効化される場合、同じ被写体を引き続き主被写体として選択することがユーザの意図にあっていると想定される。そのため、より画面中心に近くて大きい動物７２２ではなく、ＡＦ設定切り替え前に主被写体であった動物７２１が主被写体として選択される。

次に、図８乃至図１１を参照して、図５のＳ５０４における前回のＡＦ位置に基づく主被写体選択処理の詳細について説明する。前回のＡＦ位置に基づく主被写体選択処理は、ＡＦ範囲を拡大するようにＡＦ設定が変更された場合などに実行される。この場合、前回のＡＦ位置の近傍に、ユーザが意図する主被写体が存在する可能性が高いと考えられる。そこで、被写体検出モジュール１２３は、前回のＡＦ位置の近傍で主被写体を選択することによって、ユーザが意図に沿う主被写体を対象としてＡＦ制御を実施できるようにする。

図９は、前回のＡＦ位置に基づく主被写体選択処理の具体例を示す図である。図９は、破線で示すＡＦ範囲９０３（ＡＦ設定の変更前のＡＦ範囲）から、二重線で示すＡＦ範囲９０４にＡＦ範囲が切り替わるようにＡＦ設定の変更が行われた場合を示している。ＡＦ範囲９０３内の人物９０１の体の一部を主被写体としてＡＦ制御している状況から、人物９０１の顔に主被写体を切り替えてＡＦ制御を実施することがユーザの狙いである。この場合に、前回のＡＦ位置の近傍で主被写体を選択することにより、画面中心付近でより顔サイズの大きい人物９０２ではなく人物９０１を主被写体として適切に選択することが可能となる。

図８は、図５のＳ５０４における前回のＡＦ位置に基づく主被写体選択処理の詳細を示すフローチャートである。Ｓ８０１で、被写体検出モジュール１２３は、ＡＦ設定変更前のＡＦ位置の近傍内での主被写体選択の対象となる被写体の種類を決定する。例えば、被写体検出モジュール１２３は、優先被写体設定に基づく優先被写体種類（人物、動物など）のみを対象として決定してもよい。また、被写体検出モジュール１２３は、ＡＦ設定変更前の主被写体の種類と同じ種類の被写体を対象として決定してもよい。また、ＡＦ設定変更前は被写体の一部をモノ検出により追っていた場合に関しては、被写体検出モジュール１２３は、優先被写体種類を対象として決定してもよい。

図１０は、Ｓ８０１における処理の具体例を示す。例えば、図１０のシーンは、人物１００１と動物１００２とが寄り添うシーンである。このシーンにおいて、人物１００１及び動物１００２の体の一部に重なるＡＦ範囲１００３から二重線で示す全域のＡＦ範囲１００４にＡＦ範囲が変更された場合を考える。この場合において、優先被写体種類が人物であれば、図１０（Ａ）に示すように実線の矩形で示す人物１００１の顔に焦点を合わせたいシーンであることが想定されるため、人物が主被写体の選択対象として決定される。また、優先被写体種類が動物であれば、図１０（Ｂ）に示すように実線の矩形で示す動物１００２に焦点を合わせたいシーンと想定されるため、動物が主被写体の選択対象として決定される。このように、ユーザがＡＦ設定変更前にピントを合わせていた被写体を引き続き追い続けられるように、前回の（ＡＦ設定変更前の）ＡＦ位置の近傍内での主被写体選択対象となる被写体の種類が決定される。

Ｓ８０２で、被写体検出モジュール１２３は、ＡＦ設定切り替わり前（変更前）のＡＦ位置の近傍内での主被写体選択処理の対象範囲（以下、選択範囲）を決定する。なお、ＡＦ範囲も選択範囲と同様に主被写体選択処理の対象範囲を規定するが、前回のＡＦ位置に基づく主被写体選択処理においては、選択範囲がＡＦ範囲よりも優先的に使用される。但し、選択範囲の決定は、ＡＦ範囲に基づいて行われてもよい。例えば、ＡＦ設定切り替え後（変更後）のＡＦ範囲のサイズに応じて選択範囲を決定することで、ＡＦ範囲のサイズに応じて適切なサイズの選択範囲を設定することができる。これにより、選択範囲が広すぎて無関係な被写体が主被写体となる可能性や、選択範囲が狭すぎて狙っている被写体を選択できない可能性を軽減できる。

図１１は、Ｓ８０２における選択範囲の決定処理の具体例を示す図である。図１１に示すように、二重線の矩形で示すＡＦ設定切り替え後のＡＦ範囲１１０１の長辺１１０４に対して、予め決められた所定の係数Ｎを乗算した長さを、実線の円形で示す選択範囲１１０３の直径１１０５の長さとしてもよい。選択範囲１１０３の中心は、前回のＡＦ位置１１０２である。また、選択範囲は円形ではなく楕円形や矩形などでもよい。また、選択範囲の設定は画面内での範囲だけでなく、ＡＦ設定切り替え前のＡＦ位置を中心とした奥行き方向の範囲を設定してもよい。

Ｓ８０３で、被写体検出モジュール１２３は、選択範囲内で検出された被写体の中から主被写体を選択する。ここで、選択範囲内に複数の被写体が検出された場合は、被写体検出モジュール１２３は、ＡＦ設定切り替え前のＡＦ位置に最も近い被写体を主被写体として選択する。また、被写体検出モジュール１２３は、Ｓ８０１で決められた種類以外の被写体については、主被写体の選択対象とはしない。

図９の例では、ＡＦ設定切り替わり前のＡＦ位置９０５を中心とした実線の円形範囲が選択範囲９０６として設定されている。ここでは、人物９０１及び９０２は選択範囲９０６に含まれているが、人物９０７は選択範囲９０６に含まれていないため、人物９０７は主被写体選択の対象外となる。そして、選択範囲９０６に含まれてかつＡＦ設定切り替わり前のＡＦ位置９０５から最も近い人物９０１が主被写体として選択される。

Ｓ８０４で、被写体検出モジュール１２３は、Ｓ８０３において主被写体が選択されたか否かを判定する。主被写体が選択された場合、処理ステップはＳ８０６に進む。主被写体が選択されなかった場合、処理ステップはＳ８０５に進む。

Ｓ８０５の処理は、選択範囲内で主被写体が選択できなかった場合に実行される。この場合、ＡＦ設定切り替え前の主被写体とは関係なく新たに主被写体を決め直したいシーンであると考えられる。そのため、システム制御部１１５は、図３のＳ３０４と同様に基本の主被写体選択処理を行う。

なお、Ｓ８０５においても主被写体が選択されなかった場合は、図３において処理ステップがＳ３０６からＳ３０７へと遷移するため、Ｓ３０７においてＡＦ制御領域を決定する処理が行われる。その際に、ＡＦ設定切り替え前後でサーボＡＦ設定が有効化されていた場合は、ユーザはＡＦ設定切り替え前の被写体を追従したい意思が強いと考えられる。そこで、ＡＦ処理部１０５は、前回のＡＦ位置との連続性の高い位置をＡＦ制御領域として選択する。それによって、被写体の動きが激しい等により被写体検出が難しいシーンや、検出対象外の被写体にＡＦ追従したいシーンなどの、被写体検出ができないシーンにおいてもＡＦ設定切り替え前の被写体を追い続けたいというユーザの意図に沿うＡＦ制御が実現する。

Ｓ８０６で、被写体検出モジュール１２３は、主被写体が他の被写体に乗り移らないように設定する（以下、ロック設定）。ロック設定をすることによって、ＡＦ設定切り替わり後に決定した主被写体よりも優先度が高い被写体が検出されたとしても、主被写体を切り替えずに狙った被写体を追い続けたいというユーザの意図に沿うＡＦ制御を実現することができる。それによって、図９において人物９０１が主被写体として選択された後も、主被写体がより顔サイズの大きい人物９０２に乗り移ることなく、人物９０１を主被写体として維持することができる。また、ロック設定が継続する時間を、ユーザがフレーミングし直すなどして安定した構図に設定できるまでの有限時間に設定してもよい。それによって、図９で人物９０１を主被写体として選択した後に、ユーザがフレーミングし直して、人物９０１の顔を画面中心に配置しかつ人物９０２及び人物９０７を画面端に配置する構図に切り替えるまでロック設定を継続できる。人物９０１が主被写体としてふさわしい構図に切り替われば主被写体としての優先度も上がるため、ロック設定によって主被写体を維持する必要性もなくなる。更に、有限時間でロック設定が解除された後は、ユーザが意図的に構図を切り替えることで人物９０１から他の被写体に主被写体を切り替えることも可能となる。

以上説明したように、第１の実施形態によれば、撮像装置１００は、前回の主被写体選択処理の実行後にＡＦ設定が変更された場合、ＡＦ設定の変更内容に応じて、前回の主被写体に基づいて今回の主被写体選択処理を実行するか前回の主被写体と無関係に今回の主被写体選択処理を実行するかを決定する。これにより、ユーザの意図に沿う主被写体が選択される可能性が向上する。

［第２の実施形態］
第１の実施形態では、図５に示すＡＦ設定変更時の主被写体選択処理（図３のＳ３０５）について説明した。第２の実施形態では、ＡＦ設定変更時の主被写体選択処理の他の例について説明する。第２の実施形態において、撮像装置１００の基本的な構成は第１の実施形態と同様である。以下、主に第１の実施形態と異なる点について説明する。

撮像装置１００の操作部１１８は、ＡＦ設定変更用の１以上の操作部材（例えば、ボタン）を備える。１以上の操作部材の個別の操作部材には、ＡＦ設定の個別の設定内容が関連付けられている。例えば、第１の操作部材には、サーボ設定の有効化が関連付けられており、第２の操作部材には、瞳ＡＦ設定の有効化が関連付けられている。システム制御部１１５は、個別の操作部材が作動状態に切り替わったこと（例えば、ボタンが押下された状態になったこと）に応じて、この操作部材に関連付けられた設定内容を反映するようにＡＦ設定を変更する。また、システム制御部１１５は、個別の操作部材が非作動状態に切り替わったこと（例えば、ボタンが押下されていない状態になったこと）に応じて、この操作部材に関連付けられた設定内容の反映を取り消すようにＡＦ設定を変更する。例えば、特定のボタンにサーボ設定の有効化が関連付けられている場合、このボタンが押下された状態になると、システム制御部１１５は、サーボ設定を有効化するようにＡＦ設定を変更する。その後、このボタンが押下されていない状態になると、システム制御部１１５は、サーボ設定の有効化を取り消す（サーボ設定を無効化する）ようにＡＦ設定を変更する。更に、ユーザは複数の操作部材を同時に作動状態にすることが可能であり、この場合、各操作部材に関連付けられた設定内容がＡＦ設定に反映される。

図１２は、第２の実施形態に係る、ＡＦ設定変更時の主被写体選択処理（図３のＳ３０５）の詳細を示すフローチャートである。図１２のフローチャートにおいて、図５と同一又は同様の処理が行われるステップには図５と同一の符号を付す。

Ｓ１２０１で、被写体検出モジュール１２３は、ＡＦ設定の変更がＡＦ設定変更用の操作部材の作動状態解除（非作動状態への切り替わり）に起因するか否かを反映する。ＡＦ設定の変更が作動状態解除に起因する場合、処理ステップはＳ１２０２に進み、ＡＦ設定の変更が作動状態解除に起因しない場合、処理ステップはＳ５０２に進む。

Ｓ１２０２で、被写体検出モジュール１２３は、ＡＦ設定が初期状態に戻ったか否か（１以上の操作部材の全てが非作動状態であるか否か）を判定する。ＡＦ設定が初期状態に戻った場合、処理ステップはＳ５０３に進み、そうでない場合、処理ステップはＳ５０２に進む。従って、個別の操作部材が非作動状態に切り替わったことに応じてＡＦ設定が変更され、かつ１以上の操作部材の全てが非作動状態である場合には、ＡＦ設定の変更内容に関わらず、前回の主被写体と無関係に今回の主被写体選択処理が実行される。

ここで、操作部１１８のＡＦ設定変更用の操作部材によってＡＦ設定に反映された設定内容の中でまだ有効な設定内容が残っている場合は、ユーザが表示部１１７を見ながら操作部１１８の操作を継続している状態である。従って、ユーザが被写体を追い続ける意思が残っていると考えられるため、ＡＦ設定の変更内容に応じた主被写体選択処理が行われる（Ｓ５０２）。一方、操作部１１８のＡＦ設定変更用の操作部材によって反映された全ての設定内容が解除された場合は、ユーザが被写体を追い続ける意思がなくなったと考えられる。従って、ＡＦ設定の変更内容に関わらず、前回の主被写体と無関係に今回の主被写体選択処理が実行される（Ｓ５０３）。

図１３は、第２の実施形態に係る、ＡＦ設定変更時の主被写体選択処理の具体例を示す図である。図１３の例では、操作部１１８に含まれる物理ボタンＡにサーボＡＦ設定が登録されており、物理ボタンＢに瞳ＡＦ設定が登録されているものとする。そして、ユーザが物理ボタンＡ及びＢを押下するとサーボＡＦ設定及び瞳ＡＦ設定がそれぞれ有効化され、ユーザが物理ボタンＡ及びＢを離すとサーボＡＦ設定及び瞳ＡＦ設定がそれぞれ無効化されるものとする。

図１３（Ａ）は、物理ボタンＡ及びＢが共に押されていない状態を示す。この状態において、ワンショット設定が有効化されており、実線の矩形で示す静止している動物１３０１が主被写体として選択されている。図１３（Ｂ）では、動物１３０１が動き出したためユーザは物理ボタンＡを押下して、サーボ設定を有効化する。この場合、ＡＦ設定切り替え前の主被写体に基づき、動物１３０１が主被写体として引き続き選択される。続いて、図１３（Ｃ）では、ユーザは物理ボタンＢを押下して瞳ＡＦ設定を有効化する。この場合も、画面中心に存在する動物１３０２ではなく、ＡＦ設定切り替え前の主被写体である動物１３０１の瞳が今回の主被写体として選択される。図１３（Ｄ）では、ユーザは物理ボタンＢを離すことによって瞳ＡＦ設定を解除（無効化）するが、物理ボタンＡはまだ押下されているため、サーボＡＦにより元の主被写体を追い続けたい意思が残っている。そのため、前回の主被写体である瞳に対応する動物１３０１が主被写体として選択される。図１３（Ｅ）では、ユーザが物理ボタンＡを離すことによって、ＡＦ設定変更用の操作部材による全ての設定内容が解除されて、ＡＦ設定が初期状態に戻る。そのため、ユーザとしてはＡＦ設定をリセットして主被写体選択をやり直す意思があると想定される。従って、前回の主被写体と無関係に今回の主被写体選択処理が行われ、画面中心の動物１３０２が主被写体として選択される。

以上説明したように、第１の実施形態によれば、撮像装置１００は、個別の操作部材が非作動状態に切り替わったことに応じてＡＦ設定が変更され、かつ１以上の操作部材の全てが非作動状態である場合には、ＡＦ設定の変更内容に関わらず、前回の主被写体と無関係に今回の主被写体選択処理を実行する。これにより、ユーザの意図に沿う主被写体が選択される可能性が向上する。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００…撮像装置、１０４…フォーカスレンズ、１０５…ＡＦ処理部、１０８…撮像素子、１１０…画像処理部、１１５…システム制御部、１１７…表示部、１１８…操作部、１２３…被写体検出モジュール

Claims (14)

1. 撮影範囲に含まれる１以上の被写体のうちの主被写体をＡＦ設定に基づいて決定する決定処理を繰り返し実行する決定手段と、
   前記決定された主被写体に基づいて決定される対象位置に対する焦点調節を行う焦点調節手段と、
   前記ＡＦ設定を変更する変更手段と、
   を備え、
   前回の決定処理の実行後に前記ＡＦ設定が変更された場合、前記決定手段は、前記ＡＦ設定の変更内容に応じて、前回の主被写体に基づいて今回の決定処理を実行するか前記前回の主被写体と無関係に前記今回の決定処理を実行するかを決定する
   ことを特徴とする焦点調節装置。
2. 前記ＡＦ設定は、前記決定処理において優先的に決定する被写体の種類を示す優先被写体種類を規定する設定項目を含み、
   前記優先被写体種類を変更するように前記ＡＦ設定が変更された場合、前記決定手段は、前記前回の主被写体と無関係に前記今回の決定処理を実行する
   ことを特徴とする請求項１に記載の焦点調節装置。
3. 前記優先被写体種類を変更するように前記ＡＦ設定が変更された場合であっても、変更前又は変更後の前記優先被写体種類が瞳である場合には、前記決定手段は、前記前回の主被写体に基づいて前記今回の決定処理を実行する
   ことを特徴とする請求項２に記載の焦点調節装置。
4. 前記ＡＦ設定は、ユーザによる１回の焦点調節指示に応じて前記焦点調節手段による前記焦点調節を１回だけ行うか継続的に繰り返すかを規定する設定項目を含み、
   前記１回の焦点調節指示に応じて前記焦点調節手段による前記焦点調節を継続的に繰り返すように前記ＡＦ設定が変更された場合、前記決定手段は、前記前回の主被写体に基づいて前記今回の決定処理を実行する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の焦点調節装置。
5. 前記ＡＦ設定は、前記撮影範囲のうちの前記決定処理の対象範囲を規定する設定項目を含み、
   前記対象範囲を縮小するように前記ＡＦ設定が変更された場合、前記決定手段は、前記前回の主被写体と無関係に前記今回の決定処理を実行する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の焦点調節装置。
6. 前記対象範囲を拡大するように前記ＡＦ設定が変更された場合、前記決定手段は、前記前回の主被写体に基づいて決定された前記対象位置に基づいて前記今回の決定処理を実行する
   ことを特徴とする請求項５に記載の焦点調節装置。
7. 前記ＡＦ設定は、前記撮影範囲のうちの前記決定処理の対象範囲を規定する設定項目を含み、
   前記対象範囲を拡大するように前記ＡＦ設定が変更された場合、前記決定手段は、前記前回の主被写体に基づいて決定された前記対象位置に基づいて前記今回の決定処理を実行する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の焦点調節装置。
8. 前記前回の主被写体に基づいて決定された前記対象位置に基づいて前記今回の決定処理を実行することは、前記今回の決定処理の対象範囲を当該対象位置から所定の範囲内に制限することを含む
   ことを特徴とする請求項６又は７に記載の焦点調節装置。
9. 前記所定の範囲は、前記ＡＦ設定により規定される前記対象範囲の大きさに基づいて決定される
   ことを特徴とする請求項８に記載の焦点調節装置。
10. １以上の操作部材を更に備え、
    前記１以上の操作部材の個別の操作部材には前記ＡＦ設定の個別の設定内容が関連付けられており、
    前記変更手段は、前記１以上の操作部材の個別の操作部材が作動状態に切り替わったことに応じて、当該個別の操作部材に関連付けられた設定内容を反映するように前記ＡＦ設定を変更し、当該個別の操作部材が非作動状態に切り替わったことに応じて、当該個別の操作部材に関連付けられた設定内容の反映を取り消すように前記ＡＦ設定を変更するように構成され、
    前記１以上の操作部材の個別の操作部材が非作動状態に切り替わったことに応じて前記ＡＦ設定が変更され、かつ前記１以上の操作部材の全てが非作動状態である場合には、前記決定手段は、前記ＡＦ設定の変更内容に関わらず、前記前回の主被写体と無関係に前記今回の決定処理を実行する
    ことを特徴とする請求項１乃至９のいずれか１項に記載の焦点調節装置。
11. 前記撮影範囲の画像を表示手段に表示するか否かを制御する表示制御手段を更に備え、
    前記撮影範囲の画像が前記表示手段に表示されていない状態において前記ＡＦ設定が変更された場合には、前記決定手段は、前記ＡＦ設定の変更内容に関わらず、前記前回の主被写体と無関係に前記今回の決定処理を実行する
    ことを特徴とする請求項１乃至１０のいずれか１項に記載の焦点調節装置。
12. 請求項１乃至１１のいずれか１項に記載の焦点調節装置と、
    撮像手段と、
    を備えることを特徴とする撮像装置。
13. 焦点調節装置が実行する焦点調節方法であって、
    撮影範囲に含まれる１以上の被写体のうちの主被写体をＡＦ設定に基づいて決定する決定処理を繰り返し実行する決定工程と、
    前記決定された主被写体に基づいて決定される対象位置に対する焦点調節を行う焦点調節工程と、
    前記ＡＦ設定を変更する変更工程と、
    を備え、
    前回の決定処理の実行後に前記ＡＦ設定が変更された場合、前記決定工程では、前記ＡＦ設定の変更内容に応じて、前回の主被写体に基づいて今回の決定処理を実行するか前記前回の主被写体と無関係に前記今回の決定処理を実行するかを決定する
    ことを特徴とする焦点調節方法。
14. コンピュータを、請求項１乃至１１のいずれか１項に記載の焦点調節装置の各手段として機能させるためのプログラム。

Images