JP7293039B2 - 撮像装置およびその制御方法 - Google Patents

Description

本発明は撮像装置およびその制御方法に関し、特に視線検出機能を有する撮像装置およびその制御方法に関する。

視線検出機能を有し、視線入力によって焦点検出領域が選択可能なカメラが知られている（特許文献１）。

特開２００２－３０３７８１号公報

撮影者の眼球像を用いて視線を検出する場合、眼球像から得られる虹彩パターンによって撮影者を認識することが可能である。しかし、従来技術ではせいぜい個人差に起因する視線検出精度の補正において撮影者の認識結果を利用するに過ぎなかった。

本発明はこのような従来技術の課題に鑑みてなされたものであり、視線検出機能を利用した撮影者の認識結果を用いて主被写体の選択を支援することが可能な撮像装置およびその制御方法を提供することを目的とする。

上述の目的は、撮影された画像に対して被写体検出処理を行う被写体検出手段と、撮影者の眼球像を取得する取得手段と、眼球像に基づいて撮影者を認識する認識手段と、撮影者に関連づけて記憶された、過去に撮影された被写体に関する情報のうち、認識手段が認識した撮影者に関連づけて記憶された情報に基づいて、被写体検出手段が検出した被写体領域から主被写体の領域を選択する選択手段と、を有することを特徴とする撮像装置によって達成される。

本発明によれば、視線検出機能を利用した撮影者の認識結果を用いて主被写体の選択を支援することが可能な撮像装置およびその制御方法を提供することができる。

本発明を実施可能な撮像装置の構成例に関する図 本発明を実施可能な撮像装置の構成例に関する図 実施形態におけるファインダ内視野の例を示す模式図 実施形態における視線検出方法に関する図 実施形態において得られる眼球像に関する図 実施形態における視線検出動作に関するフローチャート 発明の効果を説明するための図 実施形態における関連付けデータの構成例を示す図 実施形態における被写体選択動作を説明するための図 実施形態における主被写体領域の選択処理に関するフローチャート 実施形態の変形例における主被写体領域の選択処理に関するフローチャート 実施形態における関連づけデータの更新処理に関するフローチャート

●（第１実施形態）
以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

なお、以下の実施形態では、本発明をレンズ交換式のデジタルカメラで実施する場合に関して説明する。しかし、本発明は視線検出機能ならびに撮像機能を搭載可能な任意の電子機器に対して適用可能である。このような電子機器には、ビデオカメラ、コンピュータ機器（パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、ＰＤＡなど）、携帯電話機、スマートフォン、ゲーム機、ロボット、ドローン、ドライブレコーダなどが含まれる。これらは例示であり、本発明は他の電子機器にも適用可能である。また、視線検出機能と撮像機能とを互いに通信可能な別個の機器（例えば本体とリモートコントローラ）に設ける構成にも本発明は適用可能である。

＜構成の説明＞
図１は実施形態に係るデジタルスチルカメラ（以下、単にカメラという）の構成例について、主に光学系について模式的に示した垂直断面図である。カメラは、本体２０と、本体２０に着脱可能な撮影レンズ１とを有している。なお、レンズ交換式であることは本発明に必須でない。撮影レンズ１が本体２０に装着されると撮影レンズ１と本体２０とはマウント接点１１７を通じて電気的に接続される。撮影レンズ１にはマウント接点１１７を通じて本体２０から電源が供給される。また、撮影レンズ１内の回路と本体２０のＣＰＵ３とはマウント接点１１７を通じて通信可能である。

撮影レンズ１は可動レンズ１ａと固定レンズ１ｂとを有している。図ではそれぞれ１枚のレンズとして記載しているが、実際には複数のレンズから構成される。ここでは可動レンズ１ａがフォーカスレンズであるものとするが、変倍レンズやぶれ補正レンズなど、他の可動レンズが含まれていてもよい。可動レンズ１ａはレンズ駆動部材１１４で支持され、レンズ駆動用モータ１１３によって光軸方向（図面左右方向）に駆動される。レンズ駆動部材１１４と連動するパルス板１１６の回転をフォトカプラ１１５によって検知して、レンズ焦点調節回路１１８に出力している。レンズ焦点調節回路１１８はフォトカプラ１１５の出力に基づいて可動レンズ１ａの駆動量および駆動方向を検出することができる。レンズ焦点調節回路１１８は、本体２０のＣＰＵ３から可動レンズ１ａの駆動量と駆動方向を指示されると、フォトカプラ１１５の出力に基づいてレンズ駆動用モータ１１３の動作を制御する。

カメラ本体２０において、撮像素子２はＣＣＤイメージセンサやＣＭＯＳイメージセンサである。撮像素子２には複数の画素が２次元配置され、各画素には１つのマイクロレンズ、１つのカラーフィルタ、および１つ以上の光電変換部が設けられている。本実施形態においては、各画素に複数の光電変換部が設けられ、光電変換部ごとに信号を読み出し可能に構成されている。画素をこのような構成にすることにより、撮像素子２２から読み出した信号から撮像画像、視差画像対、および位相差ＡＦ用の像信号を生成することができる。撮像素子２は撮影レンズ１が形成する光学像を複数の画素による光電変換によって画素信号群（アナログ画像信号）に変換する。また、本実施形態では撮像素子２はＡ／Ｄ変換機能を有し、アナログ画像信号をデジタル画像データに変換して出力する。

メモリ部４は不揮発性メモリ（ＲＯＭ）と揮発性メモリ（ＲＡＭ）とを有する。ＣＰＵ３はＲＯＭに記憶されたプログラムをＲＡＭに読み込んで実行することにより、本体２０および撮影レンズ１の動作を制御し、カメラの機能を実現する。また、メモリ部４には、撮影で得られた画像データや音声データを記録するための記録媒体（メモリカードなど）も含まれる。ＣＰＵ３はマウント接点１１７通じてレンズ焦点調節回路１１８および絞り駆動部１１２の動作を制御する。

メモリ部４の不揮発性メモリは書き換え可能であってよい。不揮発性メモリは、ＣＰＵ３が実行するプログラム、各種の設定値、ＧＵＩ（Graphical User Interface）の画像データ、視線の個人差を補正する視線補正データなどを記憶する。また、不揮発性メモリには、虹彩パターンと個人情報とが関連づけられて記憶されている。

表示素子１０はＬＣＤや有機ＥＬディスプレイパネルであり、ライブビュー画像など撮影された画像、メニュー画面、各種の情報などを表示する。表示素子駆動回路１１は、ＣＰＵ３の制御に従って表示素子１０を駆動する。表示素子１０は本体２０の内部に設けられているため、本体２０の外部から表示素子１０を観察するための接眼部が設けられている。接眼部には接眼レンズ１２や視線検出用の照明光源１３ａ～１３ｆが設けられている。また、眼球の画像を撮影するための光分割器１５および眼球用撮像素子１７も接眼部に設けられている。

照明光源１３ａ～１３ｆは接眼レンズ１２の周囲に設けられた複数の赤外線ＬＥＤであり、接眼部を覗く撮影者の眼球１４を赤外光で照明する。照明光源１３ａ～１３ｆの赤外光が眼球１４に反射して得られる眼球像は、光分割器１５で反射され、上方に設けられた受光レンズ１６を介して眼球用撮像素子１７で撮影される。受光レンズ１６は撮影者の眼球１４の瞳孔と眼球用撮像素子１７を共役な結像関係に位置付けている。眼球用撮像素子１７は２次元配列された複数の画素を有し、赤外光による像を撮影するように構成されている。眼球用撮像素子１７の画素数は撮像素子２の画素数より少なくてよい。眼球用撮像素子１７で得られる眼球像における角膜反射と瞳孔との位置関係に基づいて、眼球１４の視線方向を検出することができる。

照明光源１３ａ～１３ｆ、光分割器１５、受光レンズ１６、眼球用撮像素子１７、ＣＰＵ３、および後述する視線検出回路２０１が視線検出装置を構成する。ＣＰＵ３はさらに、眼球像における虹彩パターンと、記憶されている虹彩パターンとに基づいて、撮影者を特定する撮影者の認識手段としても機能する。

図２は本実施形態のカメラの構成例を電気回路に着目して記載したブロック図である。図１に示した構成については図１と同一の参照数字を付してある。ＣＰＵ３には視線検出回路２０１、測光回路２０２、自動焦点検出回路２０３、操作部２０４、表示素子駆動回路１１、照明光源駆動回路２０５が接続されている。また、撮影レンズ１に設けられた焦点調節回路１１８および絞り制御回路２０６（絞り駆動部１１２に含まれる）は、マウント接点１１７を通じてＣＰＵ３と電気的に接続されている。

視線検出回路２０１は、眼球用撮像素子１７（ＣＣＤ-ＥＹＥ）から得られる眼球像のアナログ画像信号をＡ／Ｄ変換し、デジタル画像データとしてＣＰＵ３に送信する。ＣＰＵ３は眼球像のデジタル画像データから、視線検出に必要な特徴点を公知のアルゴリズムに従って検出し、各特徴点の位置から撮影者の視線方向を検出する。

測光回路２０２は、撮像素子２から得られる画像データに基づいて予め定められた露出制御用の評価値としての輝度情報を生成し、ＣＰＵ３に出力する。ＣＰＵ３は輝度情報に基づいて自動露出制御（ＡＥ）処理を行い、撮影条件を決定する。撮影条件は例えば静止画撮影であればシャッター速度、絞り値、感度である。ＣＰＵ３は決定した撮影条件に基づいて撮影レンズ１の絞り１１１の絞り値（開口量）を制御する。また、ＣＰＵ３は本体２０内のメカニカルシャッタの動作も制御する。

自動焦点検出回路２０３は、撮像素子２から得られる画像データに基づいて位相差ＡＦ用の像信号を生成し、ＣＰＵ３に出力する。ＣＰＵ３は位相差ＡＦ用の像信号の位相差に基づいてデフォーカス量を算出する。これは撮像面位相差ＡＦとして知られる公知の技術である。本実施形態では、一例として、図３のファインダ内視野像（後述）で示した箇所に対応する撮像面上の位置に１８０か所の焦点検出ポイントがあるものとするが、これに限定されない。

操作部２０４はユーザが操作可能な複数の入力デバイス（ボタン、スイッチ、ダイヤルなど）を有する。操作部２０４が有する入力デバイスの一部は、割り当てられた機能に応じた名称を有し、代表例としてシャッターボタン、電源スイッチ、メニューボタン、方向キー、決定ボタンなどがある。操作部２０４に含まれる入力デバイスの操作はＣＰＵ３が監視している。ＣＰＵ３は、入力デバイスの操作を検出すると、検出した操作に応じた処理を実行する。

シャッターボタンは半押し状態でＯＮする第１シャッタースイッチ（ＳＷ１）と、全押し状態でＯＮする第２シャッタースイッチ（ＳＷ２）とを有する。ＣＰＵ３は、ＳＷ１のＯＮを検出すると、静止画撮影の準備動作を実行する。準備動作には、ＡＥ処理やＡＦ処理などが含まれる。また、ＣＰＵ３は、ＳＷ２のＯＮを検出すると、ＡＥ処理で決定した撮影条件に従った静止画の撮影および記録動作を実行する。

照明光源駆動回路２０５は、ＣＰＵ３の制御に従って照明光源１３ａ～１３ｆの発光動作を制御する。

図３は、接眼レンズ１２を通じて観察される視野（ファインダ視野）の例を示す図であり。ここでは表示素子１０に各種の指標が重畳されたライブビュー画像が表示されている状態を示している。
図３において、３００は視野マスク、４００は焦点検出が可能な範囲を示す指標、４００１～４１８０は焦点検出が可能な点（焦点検出点）に対応する位置に表示された１８０個の指標を示す。また、焦点検出点の指標のうち、現在の焦点検出領域に対応する指標については、図３（ａ）に合焦ポイントＡとして示すように強調表示される。

＜視線検出動作の説明＞
図４～図６を用いて、視線検出動作について説明する。
図４は視線検出の原理に関する図であり、図１と同じ構成については同じ参照数字を付してある。照明光源１３ａ～１３ｆは受光レンズ１６の光軸に対して略対称に配置され、撮影者の眼球１４に赤外光を照射する。図４では照明光源１３ａ，１３ｂのみが示されている。受光レンズ１６は眼球１４で反射した赤外光による眼球像を、眼球用撮像素子１７の撮像面に形成する。

図５（ａ）は受光レンズが形成する眼球像の模式図、図５（ｂ）は図５（ａ）の領域αにおける輝度分布の模式図である。

図６は、視点検出動作に関するフローチャートである。視点検出動作は例えば接眼レンズ１２に物体が近接していることが検知されている際に実行することができる。接眼レンズ１２に物体が近接していることは、例えば接眼レンズ１２の近傍に設けた近接センサを用いるなど、公知の任意の方法を用いて検知することができる。操作部２０４を通じた撮影者の指示に応じて視点検出動作を開始してもよい。

Ｓ１においてＣＰＵ３は、照明光源駆動回路２０５を通じて照明光源１３ａ～１３ｆの１つ以上を点灯させる。ここでは便宜上、図４に示した照明光源１３ａ，１３ｂを点灯させるものとする。これにより、照明光源１３ａ，１３ｂから本体２０の外部に向けて赤外光が照射される。赤外光は接眼レンズ１２を覗いている撮影者の眼球で反射され、光分割器１５でさらに反射されて受光レンズ１６に入射する。

Ｓ２においてＣＰＵ３は眼球用撮像素子１７により撮影を行う。受光レンズ１６が形成する眼球像が、眼球用撮像素子１７によって画像信号に変換される。画像信号は視点検出回路２０１でＡ／Ｄ変換され、眼球像データとしてＣＰＵ３に入力される。

Ｓ３でＣＰＵ３は、Ｓ２で取得した眼球像データから、照明光源１３ａ，１３ｂの角膜反射像Ｐｄ’，Ｐｅ’の座標および瞳孔中心ｃに対応する点の座標を求める。眼球用撮像素子１７で得られる眼球像には、角膜１４２に写った照明光源１３ａ，１３ｂの像Ｐｄ，Ｐｅに対応する反射像Ｐｄ’，Ｐｅ’が含まれている（図５（ａ））。

図５（ａ）に示すように、水平方向をＸ軸、垂直方向をＹ軸とする。このとき、眼球像に含まれる、照明光源１３ａ，１３ｂの反射像Ｐｄ’，Ｐｅ’の中心のＸ軸座標をＸｄ，Ｘｅとする。また、瞳孔１４ｂの端部である瞳孔端ａ，ｂの像ａ’，ｂ’のＸ軸座標をＸａ、Ｘｂとする。

図５（ｂ）に示すように、照明光源１３ａ，１３ｂの反射像Ｐｄ’，Ｐｅ’に相当する座標Ｘｄ，Ｘｅの輝度は、他の位置の輝度に対して非常に高くなる。一方、瞳孔１４１の領域に相当する、座標ＸａからＸｂの範囲の輝度は、座標Ｘｄ，Ｘｅを除いて非常に低くなる。また、瞳孔１４１の外側の虹彩１４３の領域に相当する、座標がＸａより小さい範囲およびＸｂより大きい範囲では、照明光源の反射像の輝度と、瞳孔の輝度との中間的な輝度となる。

このようなＸ軸方向における輝度レベルの特性に基づいて、ＣＰＵ３は、眼球像から照明光源１３ａ，１３ｂの反射像Ｐｄ’，Ｐｅ’のＸ軸座標Ｘｄ，Ｘｅと、瞳孔端ａ，ｂの像ａ’，ｂ’のＸ軸座標Ｘａ、Ｘｂを検出することができる。また、本実施形態のような用途においては、受光レンズ１６の光軸に対する眼球１４の光軸の回転角θｘは比較的小さい。このような場合、眼球像における瞳孔中心ｃの像ｃ’のＸ軸座標Ｘｃは、Ｘｃ≒（Ｘａ＋Ｘｂ）／２と表すことができる。このようにして、ＣＰＵ３は、眼球像から、照明光源１３ａ，１３ｂの角膜反射像Ｐｄ’，Ｐｅ’の座標および瞳孔中心ｃの像ｃ’のＸ軸座標を求めることができる。

次にＳ４においてＣＰＵ３は、眼球像の結像倍率βを算出する。βは受光レンズ１６に対する眼球１４の位置により決まる倍率で、照明光源の反射像Ｐｄ’，Ｐｅ’の間隔（Ｘｄ－Ｘｅ）の関数として求めることができる。

また、Ｓ５においてＣＰＵ３は、眼球の回転角度を算出する。角膜１４２上の照明光源の像Ｐｄ，Ｐｅの中点のＸ軸座標と、角膜１４２の曲率中心ＯのＸ軸座標とはほぼ一致する。そのため、角膜１４２の曲率中心Ｏと瞳孔１４１の中心ｃまでの標準的な距離をＯｃとすると、眼球１４の光軸のＺ－Ｘ平面内の回転角θｘは、
β*Ｏｃ*ＳＩＮθｘ≒｛（Ｘｄ+Ｘｅ）／２｝－Ｘｃ
の関係式から求めることができる。図４および図５においては、Ｙ軸に垂直な平面内における回転角θｘを算出する例を示しているが、Ｘ軸に垂直な平面内における回転角θｙについても同様に算出することができる。このようにして、ＣＰＵ３は、眼球の回転角θｘ，θｙを求める。眼球の回転角から視線方向が特定できる。

Ｓ６でＣＰＵ３は、メモリ部４から視線補正係数を取得する。視線補正係数は、撮影者の視線の個人差を補正する係数である。視線補正係数は後述するキャリブレーション動作によって生成され、視線検出動作を開始する前にメモリ部４に記憶される。本実施形態においてＣＰＵ３は、眼球像から虹彩パターンを示すコードを生成し、コードに基づいてメモリ部４から撮影者用の視線補正係数を取得することができる。虹彩パターンに基づく撮影者の認識に関しては後述する。

Ｓ７でＣＰＵ３は、Ｓ５で求めた眼球の回転角θｘ，θｙを用いて、撮影者が表示素子１０上で注視している点の位置（撮影者が注視している画像中の位置とも言える）を求める。なお、実際には視線は微動しており、１点を厳密に特定することが容易でないため、以下では注視点に代えて注視領域という。また、注視領域の座標は、中心座標など、領域を代表する座標とする。注視領域の座標は、表示素子１０上での瞳孔１４１の中心ｃに対応する座標（Ｈｘ，Ｈｙ）であるとして、
Ｈｘ＝ｍ×（ Ａｘ×θｘ + Ｂｘ ）
Ｈｙ＝ｍ×（ Ａｙ×θｙ + Ｂｙ ）
と算出することができる。

ここで、係数ｍは回転角θｘ、θｙを表示素子１０上での瞳孔１４１の中心ｃに対応する位置座標に変換する変換係数であり、カメラのファインダ光学系の構成によって定まる。係数ｍは予めメモリ部４に記憶しておくことができる。また、Ａｘ，Ｂｘ，Ａｙ，ＢｙはＳ６で取得した視線補正係数である。

Ｓ８でＣＰＵ３は、Ｓ７で算出した注視領域座標（Ｈｘ，Ｈｙ）をメモリ部４に記憶して、視線検出動作を終了する。なお、視線検出動作は繰り返し実行され、注視領域座標を順次更新する。直近の一定時間分の注視領域座標の時系列データをメモリ部４に保持してもよい。

ここでは、注視領域座標を照明光源１３ａ，１３ｂの反射像の位置と瞳孔像の位置とに基づいて検出する例について説明した。しかし、注視領域座標は撮像された眼球画像から眼球回転角度を取得する任意の公知の手法を用いて検出することができる。

＜キャリブレーション動作＞
眼球の回転角から注視領域の座標を精度良く得るためには、個人差を補正する必要がある。個人差の補正を行わない場合、撮影者が実際に注視している位置と検出された注視領域座標とにずれが生じ、撮影者の意図と異なる位置がカメラに認識されてしまう。例えば図３（ｂ）に示す例では撮影者の注視領域Ｂに対し、カメラは別の注視領域Ｃを算出（推定）している。

そのため、キャリブレーション動作を行い、撮影者ごとの視線補正係数を生成してメモリ部４に記憶しておく。キャリブレーション動作では、図３（ｃ）に示すように位置の異なる複数の指標を強調表示し、撮影者に強調表示した指標を１つずつ注視させながら視線検出動作を実行し、各指標について注視領域座標を取得する。得られた注視領域座標と実際の指標の位置の差に基づいて視線補正係数を求める。このような視線入力のキャリブレーション動作は公知であるため、これ以上の詳細については説明を省略する。

本実施形態のカメラは、視線検出のために取得する眼球像から得られる虹彩パターンを用いて撮影者を識別する機能を有する。眼球用撮像素子１７からは図５（ａ）のような眼球像が得られる。図５（ｃ）は、図５（ａ）に示した眼球像について、虹彩１４３に着目して記載したものである。虹彩１４３には瞳孔１４１の大きさを変化させるための筋肉があり、眼球形成の段階で皺が形成される。図５（ｃ）ではこの皺を放射状に延びる線で示している。この皺は個人によって異なるため、指紋などと同様に、個人を識別可能な生体情報として用いられている。

ＣＰＵ３は眼球像から得られる虹彩パターンを例えば特表平８－５０４９７９号公報に記載されるような公知の技術を用いてコード化し、視線補正係数と関連づけてメモリ部４に記憶することができる。メモリ部４に記憶されたコードと、視線検出動作で得られた眼球像から得られるコードとを比較することで、ＣＰＵ３は撮影者を特定することができる。眼球像から得られたコードがメモリ部４に記憶されていない場合、ＣＰＵ３はコードをメモリ部４に追加することができる。視線検出のための構成を用いて虹彩パターンによる撮影者を特定することで、ＣＰＵ３は撮影者の操作を必要とせずに撮影者に適切な視線補正係数をメモリ部４から取得することができる。また、後述するように、撮影者ごとに被写体情報を関連付けて記憶しておくことにより、撮影者の意図に沿った可能性の高い主被写体をカメラが選択できる可能性を高めることができる。

図７を用いて本発明が有効なシーンの一例について説明する。図７は徒競争のゴール付近の撮影シーンを模式的に示しており、手前の選手５０１と奥の選手５０２が存在し、その境界付近に注視領域５０３がある場合を示している。

ＣＰＵ３は撮像素子２から読み出した画像に対して様々な画像処理を適用するが、その１つとして被写体検出処理が含まれる。被写体検出処理は、エッジ検出、パターンマッチング、学習済みのニューラルネットワークなどを用いて、予め定められた種類の被写体（例えば花、人物、鉄道など）が写っていると思われる領域を検出する処理である。また、顔の特徴などに基づいて特定の人物を認識する個人識別処理も被写体検出処理に含まれる。このような被写体検出処理に用いるデータ（被写体の種類に応じた特徴を示すデータ、テンプレート画像、個人を特定するための特徴データなど）は、メモリ部４に記憶しておくことができる。ここでは、ＣＰＵ３が、被写体検出処理により、図７に示すシーンの画像の被写体として２人の人物（選手５０１と選手５０２）を検出し、また検出した人物をそれぞれ人物Ｃ、人物Ａと特定したものとする。

図７に示すような、距離の異なる被写体が混在するシーンにおいては、全ての被写体に合焦させることが難しいため、ユーザが意図した被写体が合焦するように焦点検出することが重要になる。また、図７では注視領域５０３が被写体の境界付近に存在するため、注視領域５０３のみからユーザが意図する被写体を特定することが難しい。近くの被写体を優先して合焦制御を行うことも考えられるが、ユーザの意図と一致しているとは限らない。

本発明では、撮影者が撮影した画像に対して実施した被写体検出処理の結果を用い、撮影者ごとに、撮影者に関連する被写体情報をカメラが自動的に関連づけて保持する。そして、注視領域に基づいて焦点検出領域を設定する際、虹彩パターンによって認識された特定の撮影者に関連づけられた被写体情報を考慮することにより、その撮影者が意図している主被写体に対して焦点検出が行われる確率を高める。

図８を用いて、被写体情報の例と、撮影者情報と被写体情報との関連づけの一例について説明する。ＣＰＵ３は、キャリブレーション動作時など、虹彩パターンを取得した際に虹彩バターンのコードを撮影者情報としてメモリ部４に登録することができる。その後、撮影時における視線検出動作を通じて、ＣＰＵ３は撮影者を特定することができる。そして、ＣＰＵ３は、撮影された画像の被写体検出処理の結果を、その画像の撮影者の撮影者情報と関連づけてメモリ部４に記憶する。

ここでは、被写体検出処理の結果を、被写体の種類（クラスまたはカテゴリ）と、各種類に属する特定の被写体という階層的な構造の被写体情報として管理するものとする。図８において、情報の項目間を接続する線の太さは項目の関連付けの強さを示し、線が太いほど項目の関連付けが強いことを示している。

撮影者情報が登録された時点においては、その撮影者情報に関連づけられた被写体情報は存在しない。その後、撮影者情報が登録されたユーザが撮影を行うと、撮影された画像に対する被写体検出処理の結果に基づいて被写体情報が、そのユーザの撮影者情報に関連づけられる。また、ＣＰＵ３は、新たな被写体が撮影された場合には、その被写体を認識するための特徴情報を生成してメモリ部４に登録する。

ＣＰＵ３は、被写体検出処理の結果を被写体情報と比較し、以前撮影された被写体と同じ種類の被写体や同一の被写体が撮影されたと判定された場合には、その種類や被写体の項目について、撮影者情報との関連付けを強くする。ＣＰＵ３は、被写体情報の各項目について、各被写体情報との関連付けの強さ（重み）を表す値をメモリ部４に記憶することにより、撮影者情報と個々の被写体情報との関連付けを管理することができる。なお、項目間の関連付けは他の方法で管理してもよい。

図８に示す例では、２人の撮影者Ａ，Ｂについて撮影者情報が登録されている。ここでは一方が母、他方が父であるものとするが、カメラは単に２人の撮影者Ａ，Ｂとして撮影者情報を登録している。また、撮影者Ａは花と人物を同様の頻度で撮影しており、人物では人物Ａおよび人物Ｂについて人物Ｃよりも高い頻度で撮影していることが分かる。このように、関連づけ情報において、撮影頻度が高い被写体に対応するする被写体情報ほど関連付けが強く（重みが大きく）なる。なお、図８では図の簡単さのため、個別の被写体の関連づけを１本の線で示しているが、実際には撮影者ごとに関連付けの強さを管理している。例えば、人物Ａは撮影者Ａ，Ｂの両方に撮影されているが、撮影者Ａに対する関連付けの強さと、撮影者Ｂに対する関連付けの強さとは別個に管理されている。

例えば図７に示したシーンにおいて、撮影者Ａが撮影しており、被写体検出処理において選手５０１が人物Ｃ（他人）、選手５０２が人物Ａ（息子）であることが認識されたとする。この場合、ＣＰＵ３は、被写体情報における人物Ａおよび人物Ｃの項目のうち、撮影者Ａとの関連付けが強い人物（ここでは人物Ａ）を、撮影者Ａが意図した被写体であると見なす。このように、撮影者が過去に撮影した被写体に関する情報を用いることにより、個々の撮影者が意図している可能性の高い被写体を正しく選択できる可能性を高めることができる。

図９に別の撮影シーンの例を示す。このようにシーンに含まれる人物の領域が小さい場合、手前の花５１１と奥の人物５１２のどちらに合焦させるかは撮影者の意図によるところが大きい。このような場合でも、撮影者情報と関連付けが強い被写体情報を参照することにより、撮影者の意図に沿った被写体を選択できる可能性を高めることができる。

例えば、撮影者が花よりも人物をよく撮影していたり、人物５１２が良く撮影している被写体（家族等）であったりすれば、「花」よりも「人物」や「人物５１２」の被写体情報が撮影者情報に強く関連付けされている。そのため、人物５１２を被写体として選択することが撮影者の意図に沿う可能性が高い。一方で、撮影者が人物よりも花を良く撮影していたり、人物５１２は撮影したことがない人物（たまたま花畑にいた他人）であったりすれば、「人物」や「人物５１２」よりも「花」の被写体情報が撮影者情報に強く関連付けされている。そのため、花５１１を被写体として選択することが撮影者の意図に沿う可能性が高い。図９には注視領域座標を示していないが、注視領域座標をさらに考慮して最終的に選択する被写体を決定してもよい。このように、撮影者固有の被写体情報を利用した被写体選択の支援は、注視領域座標の利用を必須としない。ただし、撮影者を特定するために眼球像は撮影する必要がある。

本実施形態によれば、撮影者は例えば本体２０の内部に配置された表示素子１０を覗くだけで、撮影者の認識が行われ、過去に撮影者が撮影した主被写体の情報に基づいて自動的に主被写体が選択された状態になる。ＣＰＵ３は例えば、選択した主被写体の領域に対応する焦点検出点の指標（図３）を強調表示することにより、自動選択された主被写体の領域を撮影者に報知することができる。

図１０に示すフローチャートを用いて、本実施形態に係る、被写体情報を用いた被写体選択動作について説明する。この動作は例えば撮影スタンバイ状態において開始することができる。

Ｓ１００２でＣＰＵ３は、メモリ部４のＲＯＭから、図８に示した撮影者ごとの関連づけデータを読み出してＲＡＭに記憶する。なお、関連づけデータは撮影者が特定できた後に、かつ特定した撮影者に関するものだけを読み出してもよい。

Ｓ１００４でＣＰＵ３はライブビュー（ＬＶ）表示のための動作を開始する。具体的にはＣＰＵ３は動画撮影動作と、ライブビュー画像の生成動作、ライブビュー画像の表示動作を開始し、Ｓ１００５以降の処理と並行して継続的に実行する。これにより、表示素子１０にはライブビュー画像が表示され、ユーザは接眼レンズ１２を通じて表示素子１０を観察することによってカメラの撮影範囲を確認することができる。

Ｓ１００５でＣＰＵ３は、シャッターボタンのＳＷ１がＯＮになるのを待機し、ＳＷ１がＯＮしていると判定されるとＳ１００６に処理を進める。

Ｓ１００６でＣＰＵ３は、眼球像から虹彩パターンのコードを生成し、Ｓ１００２で読み出した関連づけデータもしくはメモリ部４を参照して、撮影者が登録済みユーザであるか否か確認する（虹彩認証）。なお、眼球像はＳ１００６の実行時に取得してもよいし、Ｓ１００４～Ｓ１００５の実行中に取得してもよい。

Ｓ１００７でＣＰＵ３は、ライブビュー画像に対して被写体検出処理を適用し、被写体情報を取得する。ここでは被写体検出処理として、予め定められた１つ以上の種類の被写体（図８における「花」、「人物」、「鉄道」）の領域の検出処理と、検出された被写体領域に対する認識（図８の例における「菜の花」、「人物Ａ」、「新幹線」などの特定）処理を行う。

Ｓ１００８でＣＰＵ３は被写体検出処理によって被写体領域が１つ以上検出できたか否かを判定し、検出できたと判定されればＳ１００９へ、判定されなければＳ１０１０へ、処理を進める。

Ｓ１０１０に進むのは被写体領域が検出できなかった場合である。この場合、ＣＰＵ３はライブビュー画像のコントラスト情報などに基づいて、最も被写体らしい領域を主被写体の領域として選択し、処理をＳ１０１３に進める。

Ｓ１００９でＣＰＵ３は、Ｓ１００６において、撮影者が登録済みユーザであると確認できていればＳ１０１１へ、確認できていなければＳ１０１２へ、処理を進める。
Ｓ１０１１でＣＰＵ３は、撮影者についての関連づけデータを参照し、被写体検出処理で得られた被写体情報（被写体の種類および／または認識されている被写体）のうち、関連づけた最も強い被写体情報に該当する被写体領域を主被写体の領域として選択する。そして、ＣＰＵ３は処理をＳ１０１３に進める。

Ｓ１０１２に進むのは、被写体検出には成功しているが、撮影者が登録済みユーザと確認できなかった場合である。この場合、ＣＰＵ３は、被写体検出処理で得られた被写体情報に基づいて主被写体の存在する領域を選択する。ＣＰＵ３は、例えば画面の中心に最も近い被写体領域、最も大きな被写体領域、最も距離が近い被写体領域、または特定の種類の被写体領域（例えば人物）を選択することができるが、これらに限定されない。そして、ＣＰＵ３は処理をＳ１０１３に進める。

Ｓ１０１３でＣＰＵ３は、Ｓ１０１０～Ｓ１０１２で選択した主被写体の領域が適切に撮影されるような設定を実行する。例えばＣＰＵ３は、主被写体の領域が適正露出になるように露出条件を決定する自動露出制御を行ったり、主被写体の領域が合焦するように可動レンズ１ａの位置を調節する自動焦点検出を行ったりすることができる。また、ＣＰＵ３は、主被写体の領域を基準としてホワイトバランスを調整してもよい。また、主被写体の種類を考慮して現像処理などの画像処理のパラメータを調整してもよい。例えば主被写体が花であれば、花の色域の再現性がよくなるように画像処理のパラメータを調整することができる。なお、これらは単なる例示であり、主被写体の領域もしくはそこから得られる情報を他の動作に利用することができる。

以降、ＣＰＵ３は、ＳＷ２がＯＮすればＳ１０１３で設定した内容に基づいて記録用の撮影処理、記録用画像データの生成処理、生成した画像データの記録処理などを実行する。

（変形例）
図１０で説明した動作では、注視領域座標を利用せずに主被写体の領域を選択した。しかし、注視領域座標を考慮してもよい。図１１は、注視領域座標を利用して主被写体の選択を行う動作に関するフローチャートである。図１１において、注視領域座標を利用しない場合と同じ動作を行うステップには図１０と同じ参照数字を付し、重複する説明を省略する。

Ｓ１００２～Ｓ１００７においてＣＰＵ３は図１０と同じ動作を実行する。
Ｓ１１０１でＣＰＵ３は、視線検出処理を実行し、注視領域座標を検出する。眼球像から注視領域座標を得る方法は先に説明した通りである。ＣＰＵ３は、注視領域座標をメモリ部４のＲＡＭに記憶する。

Ｓ１００８においてＣＰＵ３は、被写体検出処理によって被写体領域が１つ以上検出できたか否かを判定し、検出できたと判定されればＳ１１０４へ、判定されなければＳ１１０２へ、処理を進める。

Ｓ１１０２でＣＰＵ３は、Ｓ１１０１において注視領域座標が得られたか否かを判定し、得られていると判定されればＳ１１０３へ、判定されなければＳ１０１０へ、処理を進める。
Ｓ１１０３に進むのは、被写体領域は検出できなかったが、注視領域座標は取得できた場合である。この場合ＣＰＵ３は、注視領域座標を含む所定の大きさの領域内で、Ｓ１０１０と同様にして主被写体の存在する領域を選択し、処理をＳ１０１３に進める。

Ｓ１１０４でＣＰＵ３は、Ｓ１１０１において注視領域座標が得られたか否かを判定し、得られていると判定されればＳ１１０５へ、判定されなければＳ１１０６へ、処理を進める。
Ｓ１１０５でＣＰＵ３は、Ｓ１００６において撮影者が登録済みユーザであると確認できていればＳ１１０７へ、確認できていなければＳ１１０８へ、処理を進める。

Ｓ１１０７でＣＰＵ３は、注視領域座標と、撮影者についての関連づけデータとに基づいて、主被写体の領域を選択する。例えばＣＰＵ３は、注視領域座標に近い（閾値未満の距離に存在する）被写体領域の中から、関連づけ情報において関連づけが最も強い被写体情報に該当する被写体領域を主被写体の領域として選択する。あるいは、ＣＰＵ３は、撮影者についての関連づけデータに含まれる被写体情報に該当する被写体領域のうち、注視領域座標を含む（あるいは注視領域座標に最も近い）被写体領域を主被写体の領域として選択する。そして、ＣＰＵ３は処理をＳ１０１３に進める。注視領域座標を利用することにより、撮影者が意図している主被写体の領域を選択できる可能性（精度）の向上が見込めるとともに、領域を限定できることから演算速度の向上も見込める。

Ｓ１１０８に進むのは、被写体領域が検出でき、また注視領域座標も得られたが、撮影者が登録ユーザと確認できなかった（虹彩認証ができなかった）場合である。この場合ＣＰＵ３は、注視領域座標を含む所定範囲内に存在する被写体領域を主被写体が存在する領域として選択する。

Ｓ１１０６でＣＰＵ３は、Ｓ１００６において撮影者が登録済みユーザであると確認できていればＳ１０１１へ、確認できていなければＳ１０１２へ、処理を進める。

＜関連づけ情報の更新処理＞
上述したように、ＣＰＵ３は、撮影者の指示によって撮影された画像について被写体検出処理を行い、その結果に基づいて撮影者についての関連づけデータを更新する。関連づけ情報の更新処理について、図１２に示すフローチャートを用いて説明する。更新処理は記録用の撮影処理から画像データの記録が完了した直後に行ってもよいし、記録後の任意のタイミングで行ってもよい。なお、関連づけデータの更新処理は、撮影者が登録済みユーザであることが確認され（虹彩認証に成功し）、かつ被写体検出処理において被写体領域が検出されている場合に実行する。

Ｓ２０１でＣＰＵ３は、図１０または図１１のＳ１００７で行った被写体検出処理によって検出された被写体領域の全てに関して関連づけデータを更新したか否か判定する。ＣＰＵ３は、更新したと判定されれば処理を終了し、判定されなければ処理をＳ２０３に進める。

Ｓ２０３でＣＰＵ３は、更新対象の被写体領域が、撮影者についての関連づけデータに未登録の種類の被写体に関する領域であるか否かを判定する。ＣＰＵ３は、未登録の種類の被写体と判定されればＳ２０７へ、判定されなければＳ２０５へ、処理を進める。

Ｓ２０５でＣＰＵ３は、撮影者についての関連づけデータに登録されている被写体情報のうち、更新対象の被写体領域の種類に対応する被写体情報についての関連付けを所定量だけ強めたのち、処理をＳ２０９に進める。

Ｓ２０７でＣＰＵ３は、撮影者についての関連づけデータに、更新対象の被写体領域の種類に対応する被写体情報を追加したのち、処理をＳ２０９に進める。

Ｓ２０９でＣＰＵ３は、更新対象の被写体領域が、撮影者についての関連づけデータに未登録の被写体に関する領域であるか否かを判定する。ＣＰＵ３は、未登録の被写体と判定されればＳ２１３へ、判定されなければＳ２１１へ、処理を進める。

Ｓ２１１でＣＰＵ３は、撮影者についての関連づけデータに登録されている被写体情報のうち、更新対象の被写体領域で認識された被写体に対応する被写体情報についての関連付けを所定量だけ強めたのち、処理をＳ２０１に戻す。

Ｓ２１３でＣＰＵ３は、撮影者についての関連づけデータに、更新対象の被写体領域で認識された被写体に対応する被写体情報を追加したのち、処理をＳ２０１に戻す。なお、この被写体をこれ以降撮影される画像で認識できるよう、ＣＰＵ３は被写体領域から特徴情報を生成し、併せて登録する。

以上説明したように、本実施形態によれば、過去に撮影した画像に対する被写体検出結果を撮影者に関連づけて記憶しておき、主被写体の領域を選択する際に利用するようにした。そのため、視線検出機能を利用して認識した撮影者が意図している可能性の高い主被写体を選択する可能性を高めることができる。このように、視線検出機能を利用した撮影者の認識結果を用いて主被写体の選択を支援することが可能な撮像装置およびその制御方法を提供することができる。

（その他の実施形態）
上述の実施形態ではカメラの本体内部に設けられた表示素子１０を接眼レンズ１２越しに覗く構成を利用して眼球像を撮影した。しかし、カメラ本体の表面に設けられた表示素子を見る撮影者の眼球像を撮影する構成についても本発明は適用可能である。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本発明は上述した実施形態の内容に制限されず、発明の精神および範囲から離脱することなく様々な変更及び変形が可能である。したがって、発明の範囲を公にするために請求項を添付する。

１…撮影レンズ、２…撮像素子、３…ＣＰＵ、４…メモリ部、１０…表示素子、１２…接眼レンズ、１３ａ～１３ｆ…照明光源、１４…眼球、１５…光分割器、１６…受光レンズ、１７…眼球用撮像素子

Claims (13)

1. 撮影された画像に対して被写体検出処理を行う被写体検出手段と、
   撮影者の眼球像を取得する取得手段と、
   前記眼球像に基づいて撮影者を認識する認識手段と、
   撮影者に関連づけて記憶された、過去に撮影された被写体に関する情報のうち、前記認識手段が認識した撮影者に関連づけて記憶された情報に基づいて、前記被写体検出手段が検出した被写体領域から主被写体の領域を選択する選択手段と、
   を有することを特徴とする撮像装置。
2. 前記選択手段は、前記被写体検出手段が検出した被写体領域のうち、前記過去に撮影された被写体に関する情報に対応する被写体領域から前記主被写体の領域を選択することを特徴とする請求項１に記載の撮像装置。
3. 前記眼球像に基づいて、撮影者の注視している前記画像中の位置を検出する視線検出手段をさらに有することを特徴とする請求項１または２に記載の撮像装置。
4. 前記選択手段は、前記過去に撮影された被写体に関する情報に加え、前記視線検出手段が検出した位置を考慮して前記主被写体の領域を選択することを特徴とする請求項３に記載の撮像装置。
5. 前記選択手段は、前記被写体検出手段が検出した被写体領域のうち、前記画像中の位置から閾値未満の距離に存在する被写体領域から、前記過去に撮影された被写体に関する情報に基づいて前記主被写体の領域を選択することを特徴とする請求項３または４に記載の撮像装置。
6. 前記選択手段は、前記被写体検出手段が検出した被写体領域のうち、前記過去に撮影された被写体に関する情報に対応する被写体領域から、前記画像中の位置に基づいて前記主被写体の領域を選択することを特徴とする請求項３または４に記載の撮像装置。
7. 前記過去に撮影された被写体に関する情報は、撮影頻度が高い被写体ほど大きな重み付けがなされていることを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
8. 前記被写体検出手段は、前記撮影者の指示によって撮影された画像に対して前記被写体検出処理を行い、該被写体検出処理の結果に基づいて、前記撮影者に関連づけて記憶された前記過去に撮影された被写体に関する情報を更新することを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
9. 前記選択手段が選択した被写体領域に基づいて、焦点検出、露出制御、および撮影された画像に対する画像処理の設定、の少なくとも１つを行う制御手段をさらに有することを特徴とする請求項１から８のいずれか１項に記載の撮像装置。
10. 前記認識手段は、前記眼球像から得られる虹彩パターンに基づいて撮影者を認識することを特徴とする請求項１から９のいずれか１項に記載の撮像装置。
11. 画像を表示する表示手段を覗いている撮影者の眼球像を取得する取得手段と、
    前記眼球像から撮影者を認識する認識手段と、
    前記画像に対する被写体検出処理の結果と、前記認識した撮影者に関連づけて記憶された、該撮影者が過去に撮影した被写体に関する情報とに基づいて前記画像から主被写体の領域を選択する選択手段と、
    前記主被写体の領域を前記表示手段を通じて前記撮影者に報知する報知手段と、
    を有することを特徴とする撮像装置。
12. 被写体検出手段が、撮影された画像に対して被写体検出処理を行う被写体検出工程と、
    取得手段が、撮影者の眼球像を取得する取得工程と、
    認識手段が、前記眼球像に基づいて撮影者を認識する認識工程と、
    選択手段が、撮影者に関連づけて記憶された、過去に撮影された被写体に関する情報のうち、前記認識手段が認識した撮影者に関連づけて記憶された情報に基づいて、前記被写体検出工程で検出された被写体領域から主被写体の領域を選択する選択工程と、
    を有することを特徴とする撮像装置の制御方法。
13. 撮像装置が有するコンピュータを、請求項１から１１のいずれか１項に記載の撮像装置が有する各手段として機能させるためのプログラム。

Images