JP2003000544A - 視線検出装置 - Google Patents
視線検出装置Info
- Publication number
- JP2003000544A JP2003000544A JP2001185759A JP2001185759A JP2003000544A JP 2003000544 A JP2003000544 A JP 2003000544A JP 2001185759 A JP2001185759 A JP 2001185759A JP 2001185759 A JP2001185759 A JP 2001185759A JP 2003000544 A JP2003000544 A JP 2003000544A
- Authority
- JP
- Japan
- Prior art keywords
- image
- eye
- purkinje
- images
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Eye Examination Apparatus (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
(57)【要約】
【課題】 複数の眼画像をもとに行う眼画像の合成を高
速かつ高精度に行い、精度の良い視線検出を行えるよう
にする。 【解決手段】 ファインダ光学系を通して観察者の眼の
複数の眼画像を形成する結像光学系と、プルキニエ像を
形成するための複数の光源と、前記複数の眼画像それぞ
れに含まれる前記プルキニエ像を抽出し、該複数のプル
キニエ像を基に前記複数の眼画像を合成し、該合成した
眼画像から観察者の注視点を算出する演算手段(#30
1〜#317)とを有し、前記光源の並び方向と直交す
る方向の座標が略等しいものを、前記複数のプルキニエ
像として、前記複数の眼画像より抽出する。
速かつ高精度に行い、精度の良い視線検出を行えるよう
にする。 【解決手段】 ファインダ光学系を通して観察者の眼の
複数の眼画像を形成する結像光学系と、プルキニエ像を
形成するための複数の光源と、前記複数の眼画像それぞ
れに含まれる前記プルキニエ像を抽出し、該複数のプル
キニエ像を基に前記複数の眼画像を合成し、該合成した
眼画像から観察者の注視点を算出する演算手段(#30
1〜#317)とを有し、前記光源の並び方向と直交す
る方向の座標が略等しいものを、前記複数のプルキニエ
像として、前記複数の眼画像より抽出する。
Description
【0001】
【発明の属する技術分野】本発明は、カメラ等に用いら
れる視線検出装置の改良に関するものである。
れる視線検出装置の改良に関するものである。
【0002】
【従来の技術】従来より、ファインダを観察する観察者
の視線方向を検出して、この結果をカメラの焦点検出点
(もしくは測距点)選択等に用いる技術が知られてい
る。ここに用いられる視線検出装置は、例えば、特開平
06−018772号に開示されているものであって、
赤外光を観察者の眼部に照射し、戻ってきた反射光から
眼画像を形成し、この眼画像データに基づいて視線検出
を行う。
の視線方向を検出して、この結果をカメラの焦点検出点
(もしくは測距点)選択等に用いる技術が知られてい
る。ここに用いられる視線検出装置は、例えば、特開平
06−018772号に開示されているものであって、
赤外光を観察者の眼部に照射し、戻ってきた反射光から
眼画像を形成し、この眼画像データに基づいて視線検出
を行う。
【0003】通常、眼画像には瞼や瞳孔の他に角膜での
光源の反射像であるプルキニエ像が認められる。瞳孔と
プルキニエ像との位置関係は眼球の回転に応じて変化す
るので、眼画像から瞳孔とプルキニエ像の情報を抽出す
ることによって、注視点を検出することが可能である。
光源の反射像であるプルキニエ像が認められる。瞳孔と
プルキニエ像との位置関係は眼球の回転に応じて変化す
るので、眼画像から瞳孔とプルキニエ像の情報を抽出す
ることによって、注視点を検出することが可能である。
【0004】さらには、より検出精度を向上させるため
に、視差を持った複数の眼画像を用いる技術が知られて
いる。特開平2−134130号や特開平8−1409
37号はこの例であって、2方向からファインダ観察者
の眼部を撮像し、この一対の眼画像の情報から、プルキ
ニエ像の実空間座標と瞳孔中心の実空間座標を求め、さ
らに、角膜曲率中心の実空間座標の算出を経て、注視点
座標を導くものである。
に、視差を持った複数の眼画像を用いる技術が知られて
いる。特開平2−134130号や特開平8−1409
37号はこの例であって、2方向からファインダ観察者
の眼部を撮像し、この一対の眼画像の情報から、プルキ
ニエ像の実空間座標と瞳孔中心の実空間座標を求め、さ
らに、角膜曲率中心の実空間座標の算出を経て、注視点
座標を導くものである。
【0005】
【発明が解決しようとする課題】ところが、従来型の視
線検出装置では、眼画像として瞳孔とプルキニエ像を同
時に、しかも良好に捉えられるとは限らず、この結果、
検出誤差が大きくなることもあって、しばしば実際の注
視点とは異なる位置を誤って出力していた。
線検出装置では、眼画像として瞳孔とプルキニエ像を同
時に、しかも良好に捉えられるとは限らず、この結果、
検出誤差が大きくなることもあって、しばしば実際の注
視点とは異なる位置を誤って出力していた。
【0006】この原因は、まつげによって瞳孔が部分的
に隠れてしまうことである場合が多い。また、観察者が
ファインダを斜めに覗くことを原因として、プルキニエ
像が検出できない場合もある。さらには、ファインダ光
学系や眼鏡で生じるゴーストによって瞳孔の輪郭が歪ん
で見えたり、プルキニエ像の位置がシフトして見えたり
もする。
に隠れてしまうことである場合が多い。また、観察者が
ファインダを斜めに覗くことを原因として、プルキニエ
像が検出できない場合もある。さらには、ファインダ光
学系や眼鏡で生じるゴーストによって瞳孔の輪郭が歪ん
で見えたり、プルキニエ像の位置がシフトして見えたり
もする。
【0007】このような不具合は、特開平8−1409
37号に示される眼部を二方向から撮像する視線検出装
置であっても、一対の画像のそれぞれで瞳孔とプルキニ
エ像が捉えられなければその後の処理で誤差を生じるこ
とから、同じように発生する。
37号に示される眼部を二方向から撮像する視線検出装
置であっても、一対の画像のそれぞれで瞳孔とプルキニ
エ像が捉えられなければその後の処理で誤差を生じるこ
とから、同じように発生する。
【0008】(発明の目的)本発明の目的は、複数の眼
画像をもとに行う眼画像の合成を高速かつ高精度に行
い、精度の良い視線検出を行うことのできる視線検出装
置を提供しようとするものである。
画像をもとに行う眼画像の合成を高速かつ高精度に行
い、精度の良い視線検出を行うことのできる視線検出装
置を提供しようとするものである。
【0009】
【課題を解決するための手段】上記目的を達成するため
に、本発明は、ファインダ光学系を通して観察者の眼の
複数の眼画像を形成する結像光学系と、プルキニエ像を
形成するための複数の光源と、前記複数の眼画像それぞ
れに含まれる前記プルキニエ像を抽出し、該複数のプル
キニエ像を基に前記複数の眼画像を合成し、該合成した
眼画像から観察者の注視点を算出する演算手段とを有す
る視線検出装置であって、前記光源の並び方向と直交す
る方向の座標が略等しいものを、前記複数のプルキニエ
像として、前記複数の眼画像より抽出する視線検出装置
とするものである。
に、本発明は、ファインダ光学系を通して観察者の眼の
複数の眼画像を形成する結像光学系と、プルキニエ像を
形成するための複数の光源と、前記複数の眼画像それぞ
れに含まれる前記プルキニエ像を抽出し、該複数のプル
キニエ像を基に前記複数の眼画像を合成し、該合成した
眼画像から観察者の注視点を算出する演算手段とを有す
る視線検出装置であって、前記光源の並び方向と直交す
る方向の座標が略等しいものを、前記複数のプルキニエ
像として、前記複数の眼画像より抽出する視線検出装置
とするものである。
【0010】詳しくは、前記光源の並び方向と直交する
方向の座標が略等しいものを、前記複数のプルキニエ像
として前記複数の眼画像より抽出すると共に、前記複数
の眼画像から抽出された複数のプルキニエ像から求まる
前記複数の眼画像の第1のずれ量と、前記複数のプルキ
ニエ像の各プルキニエ像ペアの間隔から求まる該視線検
出装置と観察者の眼までの距離と光学部材(観察者の眼
での反射光を視線センサに眼画像として結像する複眼レ
ンズ)の光学的配置から算出される複数の眼画像の第2
のずれ量とを比較し、これら前記第1のずれ量と前記第
2のずれ量が略等しいときに、その値を前記複数の眼画
像のずれ量として該ずれ量を用いて前記複数の眼画像を
合成し、該合成した眼画像から観察者の注視点を算出す
るようにしている。
方向の座標が略等しいものを、前記複数のプルキニエ像
として前記複数の眼画像より抽出すると共に、前記複数
の眼画像から抽出された複数のプルキニエ像から求まる
前記複数の眼画像の第1のずれ量と、前記複数のプルキ
ニエ像の各プルキニエ像ペアの間隔から求まる該視線検
出装置と観察者の眼までの距離と光学部材(観察者の眼
での反射光を視線センサに眼画像として結像する複眼レ
ンズ)の光学的配置から算出される複数の眼画像の第2
のずれ量とを比較し、これら前記第1のずれ量と前記第
2のずれ量が略等しいときに、その値を前記複数の眼画
像のずれ量として該ずれ量を用いて前記複数の眼画像を
合成し、該合成した眼画像から観察者の注視点を算出す
るようにしている。
【0011】更に詳しくは、プルキニエ像ペアの間隔を
ΔP、光源の配置からなどから決まる定数をA1,A2
とすると、前記視線検出装置と観察者の眼までの距離L
を、 L=A1/ΔP+A2 により求める。また、前記複眼レンズの焦点距離をf、
前記複眼レンズの基線長をdとすると、前記第2のずれ
量SB2を、 SB2=(f×d)/L により求めるようにしている。
ΔP、光源の配置からなどから決まる定数をA1,A2
とすると、前記視線検出装置と観察者の眼までの距離L
を、 L=A1/ΔP+A2 により求める。また、前記複眼レンズの焦点距離をf、
前記複眼レンズの基線長をdとすると、前記第2のずれ
量SB2を、 SB2=(f×d)/L により求めるようにしている。
【0012】
【発明の実施の形態】以下、本発明を図示の実施の形態
に基づいて詳細に説明する。
に基づいて詳細に説明する。
【0013】図1は本発明の実施の第1の形態に係る視
線検出装置を搭載したデジタルカラーカメラの概略構成
を示す図である。
線検出装置を搭載したデジタルカラーカメラの概略構成
を示す図である。
【0014】このカメラは、CCDあるいはCMOSセ
ンサなどの固体撮像素子を用いた単板式のデジタルカラ
ーカメラであり、固体撮像素子を連続的または単発的に
駆動して動画像または静止画像を表わす画像信号を得
る。ここで、固体撮像素子とは、露光した光を各画素毎
に電気信号に変換してその光量に応じた電荷をそれぞれ
蓄積し、その電荷を読み出すタイプの撮像デバイスであ
る。
ンサなどの固体撮像素子を用いた単板式のデジタルカラ
ーカメラであり、固体撮像素子を連続的または単発的に
駆動して動画像または静止画像を表わす画像信号を得
る。ここで、固体撮像素子とは、露光した光を各画素毎
に電気信号に変換してその光量に応じた電荷をそれぞれ
蓄積し、その電荷を読み出すタイプの撮像デバイスであ
る。
【0015】同図において、1はカメラ本体、2は内部
に結像光学系3を有した撮像レンズである。この撮像レ
ンズ2は、公知のマウントを介してカメラ本体1に電気
的、機械的に接続されている。焦点距離の異なる撮像レ
ンズに交換することによって、様々な画角の撮影画面を
得ることが可能である。また、結像光学系3の一部の要
素であるフォーカシングレンズを不図示の駆動機構によ
って光軸L1方向に移動させることによって、物体のピ
ント合わせを行う。
に結像光学系3を有した撮像レンズである。この撮像レ
ンズ2は、公知のマウントを介してカメラ本体1に電気
的、機械的に接続されている。焦点距離の異なる撮像レ
ンズに交換することによって、様々な画角の撮影画面を
得ることが可能である。また、結像光学系3の一部の要
素であるフォーカシングレンズを不図示の駆動機構によ
って光軸L1方向に移動させることによって、物体のピ
ント合わせを行う。
【0016】4は光学ローパスフィルタ、5はメカニカ
ルシャッタ、6は固体撮像素子である。前記光学ローパ
スフィルタ4は、固体撮像素子6上に必要以上に高い空
間周波数の物体像が形成されないように結像光学系3の
カットオフ周波数を制限するものである。また、該光学
ローパスフィルタ4上には赤外線カットフィルタも形成
されている。前記固体撮像素子6で捉えられた物体像は
液晶ディスプレー7上に表示される。なお、該固体撮像
素子6は、増幅型固体撮像装置の1つであるCMOSプ
ロセスコンパチブルのセンサ(以降CMOSセンサと略
す)である。CMOSセンサの特長の一つに、エリアセ
ンサ部のMOSトランジスタと周辺回路のMOSトラン
ジスタを同一工程で形成できるため、マスク枚数、プロ
セス工程がCCDと比較して大幅に削減できるというこ
とが挙げられる。この特徴を利用すると、二つの光電変
換部の電荷を同時、または、別々にフローティングディ
フュージョン領域(FD領域)へ転送でき、FD領域に
接続した転送MOSトランジスタのタイミングだけで、
二つの光電変換部の信号電荷の加算、非加算を簡単に行
うことができる。
ルシャッタ、6は固体撮像素子である。前記光学ローパ
スフィルタ4は、固体撮像素子6上に必要以上に高い空
間周波数の物体像が形成されないように結像光学系3の
カットオフ周波数を制限するものである。また、該光学
ローパスフィルタ4上には赤外線カットフィルタも形成
されている。前記固体撮像素子6で捉えられた物体像は
液晶ディスプレー7上に表示される。なお、該固体撮像
素子6は、増幅型固体撮像装置の1つであるCMOSプ
ロセスコンパチブルのセンサ(以降CMOSセンサと略
す)である。CMOSセンサの特長の一つに、エリアセ
ンサ部のMOSトランジスタと周辺回路のMOSトラン
ジスタを同一工程で形成できるため、マスク枚数、プロ
セス工程がCCDと比較して大幅に削減できるというこ
とが挙げられる。この特徴を利用すると、二つの光電変
換部の電荷を同時、または、別々にフローティングディ
フュージョン領域(FD領域)へ転送でき、FD領域に
接続した転送MOSトランジスタのタイミングだけで、
二つの光電変換部の信号電荷の加算、非加算を簡単に行
うことができる。
【0017】上記固体撮像素子6は、前述したような構
造を利用して、撮像レンズの射出瞳全体からの光束を受
光する第1の出力モードと、撮像レンズの射出瞳の一部
からの光束を受光する第2の出力モードとを切り替え可
能としている。第1の出力モードでの出力は、撮像とフ
ァインダ出力に、第2の出力モードでの出力は、焦点検
出とファインダ出力に用いられる。画素レベルで信号の
加算を行う第1の出力モードにおいては、信号を読み出
した後で加算する方式に比べてノイズの少ない信号を得
ることができる。
造を利用して、撮像レンズの射出瞳全体からの光束を受
光する第1の出力モードと、撮像レンズの射出瞳の一部
からの光束を受光する第2の出力モードとを切り替え可
能としている。第1の出力モードでの出力は、撮像とフ
ァインダ出力に、第2の出力モードでの出力は、焦点検
出とファインダ出力に用いられる。画素レベルで信号の
加算を行う第1の出力モードにおいては、信号を読み出
した後で加算する方式に比べてノイズの少ない信号を得
ることができる。
【0018】8,9は液晶ディスプレー7を観察するた
めの凹レンズと凸レンズであって、総合的に正のパワー
を有し、10はファインダ光学系の保護を兼ねた眼球照
明プリズムであって、ファインダ光路部分は平行平板で
構成され、ファインダ光学系の窓部材となっている。こ
れらはファインダ光学系を構成している。前記凸レンズ
9をファインダ光軸L2に沿って移動させることによ
り、視度を調節し、観察者に適切な液晶ディスプレー7
の見え具合を得ることができる。また、12および13
は射出光を特定方向に拡散する光拡散手段であるところ
の拡散板である。
めの凹レンズと凸レンズであって、総合的に正のパワー
を有し、10はファインダ光学系の保護を兼ねた眼球照
明プリズムであって、ファインダ光路部分は平行平板で
構成され、ファインダ光学系の窓部材となっている。こ
れらはファインダ光学系を構成している。前記凸レンズ
9をファインダ光軸L2に沿って移動させることによ
り、視度を調節し、観察者に適切な液晶ディスプレー7
の見え具合を得ることができる。また、12および13
は射出光を特定方向に拡散する光拡散手段であるところ
の拡散板である。
【0019】前記眼球照明プリズム10の側方には、図
2に示す発光特性の赤色光を発する発光部であるところ
のLED11等が取り付けられており、該LED11よ
り発せられた光は眼球照明プリズム10の内部を透過
し、さらに、拡散板12あるいは13を透過してカメラ
の外部に射出される。これらは観察者の眼部を照明する
眼球照明系である。
2に示す発光特性の赤色光を発する発光部であるところ
のLED11等が取り付けられており、該LED11よ
り発せられた光は眼球照明プリズム10の内部を透過
し、さらに、拡散板12あるいは13を透過してカメラ
の外部に射出される。これらは観察者の眼部を照明する
眼球照明系である。
【0020】前記LED11の発光中心波長は720nm
であって(図2参照)、この波長における比視感度はか
なり低い。しかし、発光強度の裾が短波長側に延びてい
ることもあって十分に視認可能である。したがって、観
察者が意識すれば、LED11の発光を通して視線検出
装置の作動状態を知ることができる。
であって(図2参照)、この波長における比視感度はか
なり低い。しかし、発光強度の裾が短波長側に延びてい
ることもあって十分に視認可能である。したがって、観
察者が意識すれば、LED11の発光を通して視線検出
装置の作動状態を知ることができる。
【0021】凹レンズ8,凸レンズ9,眼球照明プリズ
ム10のファインダ光路の有効部には、LED11の発
光波長を含むように可視域から760nm程度の波長に対
して増透コートが施されている。これは、眼部の照明が
ファインダ光学系で反射して再び眼に戻り、赤いゴース
トとして見えてしまうのを防ぐことと、次に述べる眼画
像撮像系にゴーストが重畳するのを可能な限り防ぐため
である。
ム10のファインダ光路の有効部には、LED11の発
光波長を含むように可視域から760nm程度の波長に対
して増透コートが施されている。これは、眼部の照明が
ファインダ光学系で反射して再び眼に戻り、赤いゴース
トとして見えてしまうのを防ぐことと、次に述べる眼画
像撮像系にゴーストが重畳するのを可能な限り防ぐため
である。
【0022】ファインダ光学系の光路中、液晶ディスプ
レー7と凹レンズ8の間には、ダイクロイックミラー1
4が配置され、ファインダから逆に入ってくる光を上方
に分割している。図3はダイクロイックミラー14の分
光反射率特性であり、670nmを半値としたシャープカ
ット特性を示す。したがって、図2に示したLED11
の発光波長域の光は反射し、該LED11で照らされた
観察者の眼部からの反射光は、眼球照明プリズム10,
凸レンズ9,凹レンズ8を逆に通った後、ダイクロイッ
クミラー14で上方に反射する。
レー7と凹レンズ8の間には、ダイクロイックミラー1
4が配置され、ファインダから逆に入ってくる光を上方
に分割している。図3はダイクロイックミラー14の分
光反射率特性であり、670nmを半値としたシャープカ
ット特性を示す。したがって、図2に示したLED11
の発光波長域の光は反射し、該LED11で照らされた
観察者の眼部からの反射光は、眼球照明プリズム10,
凸レンズ9,凹レンズ8を逆に通った後、ダイクロイッ
クミラー14で上方に反射する。
【0023】また、液晶ディスプレー7に表示された画
像の670nmよりも短波長の成分はダイクロイックミラ
ー14を透過し、凹レンズ8,凸レンズ9,ファインダ
光学系の窓部材である眼球照明プリズム10を経て射出
される。このとき、厳密には670nmよりも長波長の成
分がカットされている訳であるが、この波長域は比視感
度が低いためにファインダ画像に不自然さを生じること
はない。
像の670nmよりも短波長の成分はダイクロイックミラ
ー14を透過し、凹レンズ8,凸レンズ9,ファインダ
光学系の窓部材である眼球照明プリズム10を経て射出
される。このとき、厳密には670nmよりも長波長の成
分がカットされている訳であるが、この波長域は比視感
度が低いためにファインダ画像に不自然さを生じること
はない。
【0024】ダイクロイックミラー14の上方に位置す
る15はミラー、16は光路変更プリズム、17は複眼
レンズ、18は視線センサである。観察者の眼部からの
反射光はミラー15で光路を直角に曲げた後、光路変更
プリズム16,複眼レンズ17を通って視線センサ18
上に観察者の眼部の画像を形成する。後述するように、
視差を持った一対の眼部の画像を得ることによって、ま
つげの態様やファインダの覗き方等の個人差について寛
容で、しかも、高精度な視線検出を実現している。
る15はミラー、16は光路変更プリズム、17は複眼
レンズ、18は視線センサである。観察者の眼部からの
反射光はミラー15で光路を直角に曲げた後、光路変更
プリズム16,複眼レンズ17を通って視線センサ18
上に観察者の眼部の画像を形成する。後述するように、
視差を持った一対の眼部の画像を得ることによって、ま
つげの態様やファインダの覗き方等の個人差について寛
容で、しかも、高精度な視線検出を実現している。
【0025】19はメインスイッチ、20はレリーズボ
タンである。
タンである。
【0026】図4は、上記デジタルカラーカメラの電気
的構成を示すブロック図である。
的構成を示すブロック図である。
【0027】まず、カメラの撮像,記録に関する部分か
ら説明する。カメラは、撮像系,画像処理系,記録再生
系,制御系を有する。
ら説明する。カメラは、撮像系,画像処理系,記録再生
系,制御系を有する。
【0028】前記撮像系は、結像光学系3,メカニカル
シャッタ5および固体撮像素子6を含み、前記画像処理
系は、A/D変換器30,RGB画像処理回路31およ
びYC処理回路32を含む。また、前記記録再生系は、
記録処理回路33および再生処理回路34を含み、前記
制御系は、カメラシステム制御回路35,操作検出回路
36および固体撮像素子駆動回路37を含む。38は外
部のコンピュータ等に接続して、データの送受信をする
ための規格化された接続端子である。
シャッタ5および固体撮像素子6を含み、前記画像処理
系は、A/D変換器30,RGB画像処理回路31およ
びYC処理回路32を含む。また、前記記録再生系は、
記録処理回路33および再生処理回路34を含み、前記
制御系は、カメラシステム制御回路35,操作検出回路
36および固体撮像素子駆動回路37を含む。38は外
部のコンピュータ等に接続して、データの送受信をする
ための規格化された接続端子である。
【0029】前記撮像系は、物体からの光を結像光学系
3を介して固体撮像素子6の撮像面に結像する光学処理
系であり、撮像レンズ2の不図示の絞りと、必要に応じ
てさらにメカニカルシャッタ5を調節することで、適切
な光量の被写体像を固体撮像素子6に露光できる。固体
撮像素子6は、長辺方向に3700画素、短辺方向に2
800画素の合計約1000万の画素数を有する撮像デ
バイスが適用されて、画素の前面には赤色(R),緑色
(G),青色(B)の3原色の光学フィルタがモザイク
状に配置されている。
3を介して固体撮像素子6の撮像面に結像する光学処理
系であり、撮像レンズ2の不図示の絞りと、必要に応じ
てさらにメカニカルシャッタ5を調節することで、適切
な光量の被写体像を固体撮像素子6に露光できる。固体
撮像素子6は、長辺方向に3700画素、短辺方向に2
800画素の合計約1000万の画素数を有する撮像デ
バイスが適用されて、画素の前面には赤色(R),緑色
(G),青色(B)の3原色の光学フィルタがモザイク
状に配置されている。
【0030】固体撮像素子6から読み出された画像信号
は、それぞれA/D変換器30を介して画像処理系に供
給される。A/D変換器30は、露光した各画素の信号
の振幅に応じた、たとえば10ビットのデジタル信号に
変換して出力する信号変換回路であり、以降の画像信号
処理はデジタル処理にて実行される。
は、それぞれA/D変換器30を介して画像処理系に供
給される。A/D変換器30は、露光した各画素の信号
の振幅に応じた、たとえば10ビットのデジタル信号に
変換して出力する信号変換回路であり、以降の画像信号
処理はデジタル処理にて実行される。
【0031】前記画像処理系は、R,G,Bのデジタル
信号から所望の形式の画像信号を得る信号処理回路であ
り、R,G,Bの色信号を輝度信号Yおよび色差信号
(R−Y),(B−Y)にて表わされるYC信号などに
変換する。RGB画像処理回路31は、A/D変換器3
0を介して固体撮像素子6から受けた「3700×28
00」画素の画像信号を処理する信号処理回路であり、
ホワイトバランス回路,ガンマ補正回路,補間演算によ
る高解像度化を行う補間演算回路を有する。YC処理回
路32は、輝度信号Yおよび色差信号R−Y,B−Yを
生成する信号処理回路であり、高域輝度信号YHを生成
する高域輝度信号発生回路,低域輝度信号YLを生成す
る低域輝度信号発生回路、および、色差信号R−Y,B
−Yを生成する色差信号発生回路で構成されている。輝
度信号Yは高域輝度信号YHと低域輝度信号YLを合成
することによって形成される。
信号から所望の形式の画像信号を得る信号処理回路であ
り、R,G,Bの色信号を輝度信号Yおよび色差信号
(R−Y),(B−Y)にて表わされるYC信号などに
変換する。RGB画像処理回路31は、A/D変換器3
0を介して固体撮像素子6から受けた「3700×28
00」画素の画像信号を処理する信号処理回路であり、
ホワイトバランス回路,ガンマ補正回路,補間演算によ
る高解像度化を行う補間演算回路を有する。YC処理回
路32は、輝度信号Yおよび色差信号R−Y,B−Yを
生成する信号処理回路であり、高域輝度信号YHを生成
する高域輝度信号発生回路,低域輝度信号YLを生成す
る低域輝度信号発生回路、および、色差信号R−Y,B
−Yを生成する色差信号発生回路で構成されている。輝
度信号Yは高域輝度信号YHと低域輝度信号YLを合成
することによって形成される。
【0032】前記記録再生系は、メモリへの画像信号の
出力と、液晶ディスプレー7への画像信号の出力とを行
う処理系であり、記録処理回路33はメモリへの画像信
号の書き込み処理および読み出し処理を行ない、再生処
理回路34はメモリから読み出した画像信号を再生し
て、液晶ディスプレー7に出力する。また、記録処理回
路33は、静止画像および動画像を表わすYC信号を所
定の圧縮形式にて圧縮し、また、圧縮データを読み出し
た際に伸張する圧縮伸張回路を内部に有する。圧縮伸張
回路は、信号処理のためのフレームメモリなどを含み、
このフレームメモリに画像処理系からのYC信号をフレ
ーム毎に蓄積して、それぞれ複数のブロック毎に読み出
して圧縮符号化する。圧縮符号化は、たとえば、ブロッ
ク毎の画像信号を二次元直交変換,正規化およびハフマ
ン符号化することにより行なわれる。再生処理回路34
は、輝度信号Yおよび色差信号R−Y,B−Yをマトリ
ックス変換して、例えばRGB信号に変換する回路であ
る。再生処理回路34によって変換された信号は液晶デ
ィスプレー7に出力され、可視画像が表示再生される。
出力と、液晶ディスプレー7への画像信号の出力とを行
う処理系であり、記録処理回路33はメモリへの画像信
号の書き込み処理および読み出し処理を行ない、再生処
理回路34はメモリから読み出した画像信号を再生し
て、液晶ディスプレー7に出力する。また、記録処理回
路33は、静止画像および動画像を表わすYC信号を所
定の圧縮形式にて圧縮し、また、圧縮データを読み出し
た際に伸張する圧縮伸張回路を内部に有する。圧縮伸張
回路は、信号処理のためのフレームメモリなどを含み、
このフレームメモリに画像処理系からのYC信号をフレ
ーム毎に蓄積して、それぞれ複数のブロック毎に読み出
して圧縮符号化する。圧縮符号化は、たとえば、ブロッ
ク毎の画像信号を二次元直交変換,正規化およびハフマ
ン符号化することにより行なわれる。再生処理回路34
は、輝度信号Yおよび色差信号R−Y,B−Yをマトリ
ックス変換して、例えばRGB信号に変換する回路であ
る。再生処理回路34によって変換された信号は液晶デ
ィスプレー7に出力され、可視画像が表示再生される。
【0033】一方、前記制御系は、レリーズボタン20
等の操作を検出する操作検出回路36と、その検出信号
に応動して各部を制御し、撮像の際のタイミング信号な
どを生成して出力するカメラシステム制御回路35と、
このカメラシステム制御回路35の制御の下に固体撮像
素子6を駆動する駆動信号を生成する固体撮像素子駆動
回路37とを含む。
等の操作を検出する操作検出回路36と、その検出信号
に応動して各部を制御し、撮像の際のタイミング信号な
どを生成して出力するカメラシステム制御回路35と、
このカメラシステム制御回路35の制御の下に固体撮像
素子6を駆動する駆動信号を生成する固体撮像素子駆動
回路37とを含む。
【0034】この制御系は、外部操作に応動して前記撮
像系,画像処理系,記録再生系をそれぞれ制御し、例え
ば、レリーズボタン20の押下を検出して、固体撮像素
子6の駆動、RGB画像処理回路31の動作、記録処理
回路33の圧縮処理などを制御する。
像系,画像処理系,記録再生系をそれぞれ制御し、例え
ば、レリーズボタン20の押下を検出して、固体撮像素
子6の駆動、RGB画像処理回路31の動作、記録処理
回路33の圧縮処理などを制御する。
【0035】次に、視線検出と焦点調節に関する部分に
ついて説明する。
ついて説明する。
【0036】カメラシステム制御回路35には、さらに
視線検出・AF制御回路40とレンズシステム制御回路
41が接続されている。これらはカメラシステム制御回
路35を中心にして各々の処理に必要とするデータを相
互に通信している。
視線検出・AF制御回路40とレンズシステム制御回路
41が接続されている。これらはカメラシステム制御回
路35を中心にして各々の処理に必要とするデータを相
互に通信している。
【0037】視線検出・AF制御回路40は、ファイン
ダ光学系42を通して視線センサ18に投影されたファ
インダ観察者の眼画像からファインダ視野上の観察者の
注視点を検出する。ファインダ光学系42は、前述した
ように図1に示した凹レンズ8,凸レンズ9および眼球
照明プリズム10で構成されている。
ダ光学系42を通して視線センサ18に投影されたファ
インダ観察者の眼画像からファインダ視野上の観察者の
注視点を検出する。ファインダ光学系42は、前述した
ように図1に示した凹レンズ8,凸レンズ9および眼球
照明プリズム10で構成されている。
【0038】ファインダ視野上の注視点情報からはさら
に注視位置の物体像に結像光学系3のピントを合わせる
べく、注視点上に焦点検出点を設定し、この点の結像状
態を検出する。デフォーカスが検出されると、これを結
像光学系3の一部の要素であるフォーカシングレンズの
駆動量に変換し、カメラシステム制御回路35を中継し
てレンズシステム制御回路41に送信する。レンズシス
テム制御回路41はフォーカシングレンズの駆動量を受
信すると、不図示の駆動機構によってフォーカシングレ
ンズを光軸L1方向に移動させることによって、注視点
上の物体にピントを合わせる。
に注視位置の物体像に結像光学系3のピントを合わせる
べく、注視点上に焦点検出点を設定し、この点の結像状
態を検出する。デフォーカスが検出されると、これを結
像光学系3の一部の要素であるフォーカシングレンズの
駆動量に変換し、カメラシステム制御回路35を中継し
てレンズシステム制御回路41に送信する。レンズシス
テム制御回路41はフォーカシングレンズの駆動量を受
信すると、不図示の駆動機構によってフォーカシングレ
ンズを光軸L1方向に移動させることによって、注視点
上の物体にピントを合わせる。
【0039】また、視線検出・AF制御回路40によっ
て、注視点上の物体にピントが合っていることが検出さ
れると、この情報はカメラシステム制御回路35に伝え
られ、カメラシステム制御回路35による撮像が許可さ
れる。このとき、レリーズボタン20が押下されれば、
前述のごとく上記の撮像系、画像処理系、記録再生系に
よる撮像制御が成される。
て、注視点上の物体にピントが合っていることが検出さ
れると、この情報はカメラシステム制御回路35に伝え
られ、カメラシステム制御回路35による撮像が許可さ
れる。このとき、レリーズボタン20が押下されれば、
前述のごとく上記の撮像系、画像処理系、記録再生系に
よる撮像制御が成される。
【0040】さて、固体撮像素子6の構成について説明
する。
する。
【0041】図5は、固体撮像素子6内のエリアセンサ
部の回路構成図である。同図は、2列×2行画素の二次
元エリアセンサを示したものであるが、実際は、280
0列×3700行等と画素数を多くし、実用的な解像度
を得る。
部の回路構成図である。同図は、2列×2行画素の二次
元エリアセンサを示したものであるが、実際は、280
0列×3700行等と画素数を多くし、実用的な解像度
を得る。
【0042】図5において、301および351はpn
フォトダイオードから成る第1,第2光電変換部、30
3および353は転送スイッチMOSトランジスタ、3
04はリセット用MOSトランジスタ、305はソース
フォロワアンプMOSトランジスタ、306は垂直選択
スイッチMOSトランジスタ、307はソースフォロワ
の負荷MOSトランジスタ、308は暗出力転送MOS
トランジスタ、309は明出力転送MOSトランジス
タ、310は暗出力蓄積容量CTN、311は明出力蓄積
容量CTS、312および354は垂直転送MOSトラン
ジスタ、313および355は垂直出力線リセットMO
Sトランジスタ、314は差動出力アンプ、315は垂
直走査部、316は水平走査部である。
フォトダイオードから成る第1,第2光電変換部、30
3および353は転送スイッチMOSトランジスタ、3
04はリセット用MOSトランジスタ、305はソース
フォロワアンプMOSトランジスタ、306は垂直選択
スイッチMOSトランジスタ、307はソースフォロワ
の負荷MOSトランジスタ、308は暗出力転送MOS
トランジスタ、309は明出力転送MOSトランジス
タ、310は暗出力蓄積容量CTN、311は明出力蓄積
容量CTS、312および354は垂直転送MOSトラン
ジスタ、313および355は垂直出力線リセットMO
Sトランジスタ、314は差動出力アンプ、315は垂
直走査部、316は水平走査部である。
【0043】図6に、受光部(例えば330−11)の
断面図を示す。なお、受光部330−21,330−1
2,330−22等も同一の構造である。
断面図を示す。なお、受光部330−21,330−1
2,330−22等も同一の構造である。
【0044】同図において、317はP型ウェル、31
8,358はゲート酸化膜、320,350はポリS
i、321はn+ フローティングディフュージョン(F
D)領域である。340と390はn層であり、完全空
乏化できる濃度である。FD領域321は転送MOSト
ランジスタ303,353を介して第1光電変換部30
1および第2光電変換部351と接続される。制御パル
スφTXe により発生した電荷をFD部321へ完全転
送させ、制御パルスφTX0 により信号の加算、非加算
が可能である。なお、この図6では、第1光電変換部3
01と第2光電変換部351を離して描いたが、実際に
はその境界部は極めて小さく、実用上は第1光電変換部
301と第2光電変換部351は接しているとみなして
良い。以降、隣接した第1光電変換部と第2光電変換部
をひとまとめにして「受光部」と呼ぶことにする。ま
た、受光部とMOSトランジスタを含む各画素はほぼ正
方形にレイアウトされ、格子状に隣接して配置されてい
る。
8,358はゲート酸化膜、320,350はポリS
i、321はn+ フローティングディフュージョン(F
D)領域である。340と390はn層であり、完全空
乏化できる濃度である。FD領域321は転送MOSト
ランジスタ303,353を介して第1光電変換部30
1および第2光電変換部351と接続される。制御パル
スφTXe により発生した電荷をFD部321へ完全転
送させ、制御パルスφTX0 により信号の加算、非加算
が可能である。なお、この図6では、第1光電変換部3
01と第2光電変換部351を離して描いたが、実際に
はその境界部は極めて小さく、実用上は第1光電変換部
301と第2光電変換部351は接しているとみなして
良い。以降、隣接した第1光電変換部と第2光電変換部
をひとまとめにして「受光部」と呼ぶことにする。ま
た、受光部とMOSトランジスタを含む各画素はほぼ正
方形にレイアウトされ、格子状に隣接して配置されてい
る。
【0045】322は特定の波長の光を透過するカラー
フィルタ、323は撮像光学系3からの光束を効率的に
第1,第2光電変換部に導くためのマイクロレンズであ
る。各画素において受光部の占める割合はおおよそ数1
0%程度であって、結像光学系3から射出された光束を
有効に利用するためには、各受光部毎に集光用のマイク
ロレンズを設けて、受光部以外に到達しようとする光を
受光部に偏向ことが必要となる。
フィルタ、323は撮像光学系3からの光束を効率的に
第1,第2光電変換部に導くためのマイクロレンズであ
る。各画素において受光部の占める割合はおおよそ数1
0%程度であって、結像光学系3から射出された光束を
有効に利用するためには、各受光部毎に集光用のマイク
ロレンズを設けて、受光部以外に到達しようとする光を
受光部に偏向ことが必要となる。
【0046】図7は、固体撮像素子6の前面に設けたマ
イクロレンズと受光部との位置関係を示す平面図であ
る。
イクロレンズと受光部との位置関係を示す平面図であ
る。
【0047】同図において、301を用いて先に説明し
た受光部330−21,330−22,330−11,
330−12は、この図7では、72−11,72−2
1,72−12,72−22として表している。マイク
ロレンズ71−11から71−44(図6の323に相
当)は受光部の中心と光軸とがおおよそ一致した軸対称
型の球面レンズあるいは非球面レンズであって、各々矩
形の有効部を持ち、光入射側を凸形状として格子状に密
に並べられている。
た受光部330−21,330−22,330−11,
330−12は、この図7では、72−11,72−2
1,72−12,72−22として表している。マイク
ロレンズ71−11から71−44(図6の323に相
当)は受光部の中心と光軸とがおおよそ一致した軸対称
型の球面レンズあるいは非球面レンズであって、各々矩
形の有効部を持ち、光入射側を凸形状として格子状に密
に並べられている。
【0048】前述したように1画素はそれぞれ二つの光
電変換部を有している。図に付した、R,G,Bは赤
色,緑色,青色のカラーフィルタを備えた光電変換部で
あることを、R,G,Bに続く1あるいは2は、第1光
電変換部か第2光電変換部かの区別を表している。例え
ば、R1は赤色カラーフィルタを備えた第1光電変換部
であり、G2は緑色カラーフィルタを備えた第2光電変
換部を意味する。
電変換部を有している。図に付した、R,G,Bは赤
色,緑色,青色のカラーフィルタを備えた光電変換部で
あることを、R,G,Bに続く1あるいは2は、第1光
電変換部か第2光電変換部かの区別を表している。例え
ば、R1は赤色カラーフィルタを備えた第1光電変換部
であり、G2は緑色カラーフィルタを備えた第2光電変
換部を意味する。
【0049】このエリアセンサ部は、各画素にR(赤
色)G(緑色)B(青色)のカラーフィルタを交互に配
して、4画素が一組となる所謂ベイヤー配列を形成して
いる。ベイヤー配列では、観察者が画像を見たときに強
く感じやすいGの画素をRやBの画素よりも多く配置す
る事で、総合的な像性能を上げている。一般に、この方
式の撮像素子では、輝度信号は主にGから生成し、色信
号はR,G,Bから生成する。
色)G(緑色)B(青色)のカラーフィルタを交互に配
して、4画素が一組となる所謂ベイヤー配列を形成して
いる。ベイヤー配列では、観察者が画像を見たときに強
く感じやすいGの画素をRやBの画素よりも多く配置す
る事で、総合的な像性能を上げている。一般に、この方
式の撮像素子では、輝度信号は主にGから生成し、色信
号はR,G,Bから生成する。
【0050】次に、上記のマイクロレンズの作用につい
て述べる。
て述べる。
【0051】図8は、エリアセンサ部の断面図である。
不図示の結像光学系3は図の左側に位置し、該結像光学
系3より射出された光束は、光学ローパスフィルタ4を
通って、先ずマイクロレンズ71−11,71−21,
71−31,71−41に入射する。各マイクロレンズ
の後方にはカラーフィルタが配置され、ここで所望の波
長域のみが選択されて72−11から72−41の各受
光部に到達する。カラーフィルタは図7を用いて説明し
たようにベイヤー配列を構成しており、R,G,Bの3
種がある。また、ベイヤー配列であることから、断面に
現れるのはこのうちの2種であって、22Gが緑色透過
カラーフィルタ、22Rが赤色透過カラーフィルタであ
る。
不図示の結像光学系3は図の左側に位置し、該結像光学
系3より射出された光束は、光学ローパスフィルタ4を
通って、先ずマイクロレンズ71−11,71−21,
71−31,71−41に入射する。各マイクロレンズ
の後方にはカラーフィルタが配置され、ここで所望の波
長域のみが選択されて72−11から72−41の各受
光部に到達する。カラーフィルタは図7を用いて説明し
たようにベイヤー配列を構成しており、R,G,Bの3
種がある。また、ベイヤー配列であることから、断面に
現れるのはこのうちの2種であって、22Gが緑色透過
カラーフィルタ、22Rが赤色透過カラーフィルタであ
る。
【0052】各マイクロレンズのパワーは、固体撮像素
子6の各受光部を結像光学系3の射出瞳に投影するよう
に設定されている。このとき、各受光部の投影像が結像
光学系3の絞り開放時の射出瞳よりも大きくなるように
投影倍率を設定し、受光部に入射する光量と結像光学系
3の絞りSTの開度との関係をおおよそ線形にすると良
い。このマイクロレンズの作用によって、固体撮像素子
全体で、第2光電変換部に入射する光束は、エリアセン
サ部のいずれの位置に入射する光束も結像光学系3の射
出瞳の上半分を通過する光束となる。一方、固体撮像素
子全体の第1光電変換部に入射する光束は結像光学系3
の光軸L1を対称軸として上下を反転したものとして考
えればよい。
子6の各受光部を結像光学系3の射出瞳に投影するよう
に設定されている。このとき、各受光部の投影像が結像
光学系3の絞り開放時の射出瞳よりも大きくなるように
投影倍率を設定し、受光部に入射する光量と結像光学系
3の絞りSTの開度との関係をおおよそ線形にすると良
い。このマイクロレンズの作用によって、固体撮像素子
全体で、第2光電変換部に入射する光束は、エリアセン
サ部のいずれの位置に入射する光束も結像光学系3の射
出瞳の上半分を通過する光束となる。一方、固体撮像素
子全体の第1光電変換部に入射する光束は結像光学系3
の光軸L1を対称軸として上下を反転したものとして考
えればよい。
【0053】以上のような光学系にあっては、例えば固
体撮像素子6よりも手前に物体像が形成されていると
き、射出瞳の上側を通る半光束は図8の固体撮像素子6
上で下側にシフトし、射出瞳の下側を通る半光束は上側
にシフトする。つまり、結像光学系3の瞳の半分ずつを
通った光束で形成される一対の画像信号は物体像の結像
状態に応じて図8の上下方向に位相がシフトしたものと
なる。エリアセンサ部上に焦点検出点を設定し、この点
の周囲について一対の画像信号の位相シフトを調べれ
ば、この焦点検出点における結像光学系3の結像状態を
知ることができる。この構成によれば、撮影画面内のど
こにでも焦点検出点を置くことが可能である。
体撮像素子6よりも手前に物体像が形成されていると
き、射出瞳の上側を通る半光束は図8の固体撮像素子6
上で下側にシフトし、射出瞳の下側を通る半光束は上側
にシフトする。つまり、結像光学系3の瞳の半分ずつを
通った光束で形成される一対の画像信号は物体像の結像
状態に応じて図8の上下方向に位相がシフトしたものと
なる。エリアセンサ部上に焦点検出点を設定し、この点
の周囲について一対の画像信号の位相シフトを調べれ
ば、この焦点検出点における結像光学系3の結像状態を
知ることができる。この構成によれば、撮影画面内のど
こにでも焦点検出点を置くことが可能である。
【0054】次に、上記の固体撮像素子6の電荷蓄積動
作について述べる。
作について述べる。
【0055】先ず、FD部321は蓄積中、ブルーミン
グ防止(強い光が当たった時に電荷がまわりに漏れ出す
ことの防止)のため制御パルスφR0 をハイレベルにし
て電源VDDに固定しておく。光子hνが照射されると、
pnフォトダイオード301,351に電子が蓄積され
ていき、正孔はP型ウェル317を通して排出される。
グ防止(強い光が当たった時に電荷がまわりに漏れ出す
ことの防止)のため制御パルスφR0 をハイレベルにし
て電源VDDに固定しておく。光子hνが照射されると、
pnフォトダイオード301,351に電子が蓄積され
ていき、正孔はP型ウェル317を通して排出される。
【0056】光電変換部301とFD部321の間には
転送MOSトランジスタ303によるエネルギー障壁
が、光電変換部51とFD部21の間には転送MOSト
ランジスタ53によるエネルギー障壁がそれぞれ形成さ
れている。このため、光電荷蓄積中は電子はpnフォト
ダイオード301,351に存在する。この後、水平走
査部を走査させ、同様に電荷蓄積動作を行えば全光電変
換部について電荷の蓄積が成される。
転送MOSトランジスタ303によるエネルギー障壁
が、光電変換部51とFD部21の間には転送MOSト
ランジスタ53によるエネルギー障壁がそれぞれ形成さ
れている。このため、光電荷蓄積中は電子はpnフォト
ダイオード301,351に存在する。この後、水平走
査部を走査させ、同様に電荷蓄積動作を行えば全光電変
換部について電荷の蓄積が成される。
【0057】読み出し状態になると転送MOSトランジ
スタ303と353下の障壁をなくし、pnフォトダイ
オード301,351の電子をFD部321へ完全に転
送させる様に制御パルスφTX00,φTXe0を設定す
る。
スタ303と353下の障壁をなくし、pnフォトダイ
オード301,351の電子をFD部321へ完全に転
送させる様に制御パルスφTX00,φTXe0を設定す
る。
【0058】第2の出力モードによる、焦点検出用画像
の読み出しは次のようなものである。
の読み出しは次のようなものである。
【0059】まず、制御パルスφR0 をハイレベルとし
てFD部321を電源VDDにリセットし、制御パルスφ
S0 をハイレベルとして暗出力を蓄積容量310に蓄積
し、次に制御パルスφTX00をハイレベルとして、pn
フォトダイオード301に蓄積された光電荷をソースフ
ォロワMOSトランジスタ305,選択スイッチMOS
トランジスタ306を介して蓄積容量311に転送し
て、ノイズ成分を差動増幅器314によってキャンセル
し、第1光電変換部の画像信号VOUT を出力する。
てFD部321を電源VDDにリセットし、制御パルスφ
S0 をハイレベルとして暗出力を蓄積容量310に蓄積
し、次に制御パルスφTX00をハイレベルとして、pn
フォトダイオード301に蓄積された光電荷をソースフ
ォロワMOSトランジスタ305,選択スイッチMOS
トランジスタ306を介して蓄積容量311に転送し
て、ノイズ成分を差動増幅器314によってキャンセル
し、第1光電変換部の画像信号VOUT を出力する。
【0060】さらに、制御パルスφR0 をハイレベルと
してFD部321を電源VDDにリセットし、次に制御パ
ルスφTXe0をハイレベルとして、pnフォトダイオー
ド351に蓄積された光電荷をソースフォロワMOSト
ランジスタ305,選択スイッチMOSトランジスタ3
06を介して蓄積容量311に転送して、ノイズ成分を
差動増幅器314によってキャンセルし、第2光電変換
部画像信号VOUT を出力する。
してFD部321を電源VDDにリセットし、次に制御パ
ルスφTXe0をハイレベルとして、pnフォトダイオー
ド351に蓄積された光電荷をソースフォロワMOSト
ランジスタ305,選択スイッチMOSトランジスタ3
06を介して蓄積容量311に転送して、ノイズ成分を
差動増幅器314によってキャンセルし、第2光電変換
部画像信号VOUT を出力する。
【0061】また、同時に転送MOSトランジスタ30
3と353下の障壁をなくして、2つのpnフォトダイ
オード301と351の電荷をFD部321へ完全に転
送させる様に制御パルスφTX00,φTXe0を設定すれ
ば、第1光電変換部の電荷と第2光電変換部の電荷を加
算した第1の出力モードによる画像信号の読み出しを行
うことができる。
3と353下の障壁をなくして、2つのpnフォトダイ
オード301と351の電荷をFD部321へ完全に転
送させる様に制御パルスφTX00,φTXe0を設定すれ
ば、第1光電変換部の電荷と第2光電変換部の電荷を加
算した第1の出力モードによる画像信号の読み出しを行
うことができる。
【0062】さて、視線検出装置について説明する。
【0063】図9から図11は、眼球照明系の詳細図で
ある。詳しくは、図9はその側面図、図10は眼球照明
プリズム10を図9の矢印Aの方向から見たときの正面
図、図11は照明光路の展開図である。ここで、展開し
た要素には展開前の対応する要素に附した番号の後
に、’を加えて示す。
ある。詳しくは、図9はその側面図、図10は眼球照明
プリズム10を図9の矢印Aの方向から見たときの正面
図、図11は照明光路の展開図である。ここで、展開し
た要素には展開前の対応する要素に附した番号の後
に、’を加えて示す。
【0064】眼球照明プリズム10の側方(物体像視野
の外側)には、発光部であるところのLED11,LE
D50,LED51,LED52が取り付けられてい
る。LED11,LED50,LED51,LED52
は、図2に示す発光特性の赤色光を発する。これらのL
EDとその光路は光軸L2を含む水平面と垂直面につい
て面対称であるので、ここではLED11に注目して説
明を加えることとする。
の外側)には、発光部であるところのLED11,LE
D50,LED51,LED52が取り付けられてい
る。LED11,LED50,LED51,LED52
は、図2に示す発光特性の赤色光を発する。これらのL
EDとその光路は光軸L2を含む水平面と垂直面につい
て面対称であるので、ここではLED11に注目して説
明を加えることとする。
【0065】眼球照明プリズム10は、ファインダ光束
の通過面である面10e,10m、LED光の入射面で
ある面10i,10j,10k,10l、アルミニウム
を蒸着した反射面である面10g,10h、LED光の
射出面である凸面10a,10b,10c,10dで構
成されている。ファインダ系の光束が通過する窓部は図
10に示した波線10fの内側(これが物体像視野に相
当する)であり、これ以外の面は眼球照明系のために最
適な形状とすることができる。
の通過面である面10e,10m、LED光の入射面で
ある面10i,10j,10k,10l、アルミニウム
を蒸着した反射面である面10g,10h、LED光の
射出面である凸面10a,10b,10c,10dで構
成されている。ファインダ系の光束が通過する窓部は図
10に示した波線10fの内側(これが物体像視野に相
当する)であり、これ以外の面は眼球照明系のために最
適な形状とすることができる。
【0066】LED11から発せられた光は眼球照明プ
リズム10の面10iから眼球照明プリズム10の内部
に入射し、面10eで全反射し、さらに、面10gで金
属面反射して、凸面10aから射出される。
リズム10の面10iから眼球照明プリズム10の内部
に入射し、面10eで全反射し、さらに、面10gで金
属面反射して、凸面10aから射出される。
【0067】LED11,LED50,LED51,L
ED52の発光波長は可視域の長波長側端部に位置し、
視認可能である。凸面10aのパワーはLED11が見
かけ上1m前方に位置するよう、LED光が僅かに発散
する光として凸面10aから射出するように設定されて
いる。すなわち、凸面10aはLED11の観察光学系
である。観察光学系はファインダ光学系を構成する窓部
材である眼球照明プリズム10に一体に形成されている
ので、極めて簡単な構成となり、しかも、眼球照明プリ
ズム10の内部を照明光路としているので小型化でき
る。
ED52の発光波長は可視域の長波長側端部に位置し、
視認可能である。凸面10aのパワーはLED11が見
かけ上1m前方に位置するよう、LED光が僅かに発散
する光として凸面10aから射出するように設定されて
いる。すなわち、凸面10aはLED11の観察光学系
である。観察光学系はファインダ光学系を構成する窓部
材である眼球照明プリズム10に一体に形成されている
ので、極めて簡単な構成となり、しかも、眼球照明プリ
ズム10の内部を照明光路としているので小型化でき
る。
【0068】仮に、凸面10aからの射出光で直接眼部
を照明しようとすると、射出光が僅かにしか発散しない
ために、凸面10aの大きさとほぼ同じ範囲しか照明す
ることができず、眼部の一部分にしかLED光が当たら
ないことになる。眼部の一部分にしかLED光が当たっ
ていないと、瞳孔を完全に捉えることが難しく、視線検
出精度の低下が避けられない。拡散板12はこのような
問題を解消するための部材で、光の拡散によって観察者
の眼部を広く均一に照明する役割を持っている。
を照明しようとすると、射出光が僅かにしか発散しない
ために、凸面10aの大きさとほぼ同じ範囲しか照明す
ることができず、眼部の一部分にしかLED光が当たら
ないことになる。眼部の一部分にしかLED光が当たっ
ていないと、瞳孔を完全に捉えることが難しく、視線検
出精度の低下が避けられない。拡散板12はこのような
問題を解消するための部材で、光の拡散によって観察者
の眼部を広く均一に照明する役割を持っている。
【0069】図12(a),(b),(c)は、拡散板
12の説明図である。詳しくは、図12(a)は拡散面
12aの正面図、図12(b)は図108(a)の矢印
B方向から見た側面図、図11(c)は図12(a)の
矢印C方向から見た側面図である。
12の説明図である。詳しくは、図12(a)は拡散面
12aの正面図、図12(b)は図108(a)の矢印
B方向から見た側面図、図11(c)は図12(a)の
矢印C方向から見た側面図である。
【0070】図に示すように、拡散面12aには微細な
凹凸が形成されており、ここで眼球照明プリズム10か
ら射出した光は拡散する。この際、微細な凹凸は格子状
に形成されているため、光が図12(a)の上下方向と
左右方向に拡散し、観察者からは十字型形状に拡がった
LEDが1m先に見えることになる。もし、眼球照明系
の拡散板12a上に雨,雪,埃等が付着していれば、L
EDは通常通りの十字型には見えなくなるので、この観
点から観察者は正常に視線検出動作が成されているのか
を知ることができる。
凹凸が形成されており、ここで眼球照明プリズム10か
ら射出した光は拡散する。この際、微細な凹凸は格子状
に形成されているため、光が図12(a)の上下方向と
左右方向に拡散し、観察者からは十字型形状に拡がった
LEDが1m先に見えることになる。もし、眼球照明系
の拡散板12a上に雨,雪,埃等が付着していれば、L
EDは通常通りの十字型には見えなくなるので、この観
点から観察者は正常に視線検出動作が成されているのか
を知ることができる。
【0071】以上はLED11からの光路について説明
してきたが、LED50,LED51,LED52につ
いては、 ・LED50→面10j→面10e→面10g→凸面1
0b→拡散板12 ・LED51→面10k→面10e→面10h→凸面1
0c→拡散板13 ・LED52→面10l→面10e→面10h→凸面1
0d→拡散板13 となる。なお、凸面10bはLED50の観察光学系、
凸面10cはLED51の観察光学系、凸面10dはL
ED52の観察光学系である。
してきたが、LED50,LED51,LED52につ
いては、 ・LED50→面10j→面10e→面10g→凸面1
0b→拡散板12 ・LED51→面10k→面10e→面10h→凸面1
0c→拡散板13 ・LED52→面10l→面10e→面10h→凸面1
0d→拡散板13 となる。なお、凸面10bはLED50の観察光学系、
凸面10cはLED51の観察光学系、凸面10dはL
ED52の観察光学系である。
【0072】後述するように、注視点の検出は、瞳孔の
位置と角膜での光源の反射像であるプルキニエ像の位置
に基づいて行う。人の瞼は上から閉じるため、眼部を下
側から照明すれば、プルキニエ像がまつげの陰になり難
い。そこで、カメラを正位置に構えたときはLED11
とLED50を、縦位置に構えたときはカメラの向きに
応じてLED11とLED51、あるいは、LED50
とLED52を、それぞれ使い分けることとする。
位置と角膜での光源の反射像であるプルキニエ像の位置
に基づいて行う。人の瞼は上から閉じるため、眼部を下
側から照明すれば、プルキニエ像がまつげの陰になり難
い。そこで、カメラを正位置に構えたときはLED11
とLED50を、縦位置に構えたときはカメラの向きに
応じてLED11とLED51、あるいは、LED50
とLED52を、それぞれ使い分けることとする。
【0073】例えば、LED11とLED50を点灯さ
せたとき、正面から見た眼部は図13のようになる。
せたとき、正面から見た眼部は図13のようになる。
【0074】図13において、60と61がLED11
およびLED50によるプルキニエ像であり、拡散板1
2の作用によって二つのプルキニエ像は十字型となって
いる。特開平6−230271号には、十字型のプルキ
ニエ像を形成するために、光源自体を十字型にしたり、
複数のLEDを並べたりした構成が示されているが、こ
のように観察光学系と拡散板の作用を利用することによ
り、より簡単に十字型のプルキニエ像を作ることができ
る。
およびLED50によるプルキニエ像であり、拡散板1
2の作用によって二つのプルキニエ像は十字型となって
いる。特開平6−230271号には、十字型のプルキ
ニエ像を形成するために、光源自体を十字型にしたり、
複数のLEDを並べたりした構成が示されているが、こ
のように観察光学系と拡散板の作用を利用することによ
り、より簡単に十字型のプルキニエ像を作ることができ
る。
【0075】LED11,LED50,LED51,L
ED52は、それぞれ凸面10a,凸面10b,凸面1
0c,凸面10dより成る観察光学系によって見かけ上
観察者より1m前方に位置するようにしている。前述の
ように、これらのLEDが発する光は視認可能である
が、ファインダ観察の妨げにならないようにしなければ
ならない。
ED52は、それぞれ凸面10a,凸面10b,凸面1
0c,凸面10dより成る観察光学系によって見かけ上
観察者より1m前方に位置するようにしている。前述の
ように、これらのLEDが発する光は視認可能である
が、ファインダ観察の妨げにならないようにしなければ
ならない。
【0076】図14は、視覚特性の最も優れた視野位置
を原点としたときの視野角度と、視細胞数の関係を示し
た図である。視細胞の分布は視覚の特徴をよく表してい
ると考えて良い。
を原点としたときの視野角度と、視細胞数の関係を示し
た図である。視細胞の分布は視覚の特徴をよく表してい
ると考えて良い。
【0077】視細胞には明るさと色の違いを感じ取るこ
とのできる錐体と、高感度であるが明るさのみを感じる
杆体とがある。この杆体は赤色に対する感度が極めて低
い。図14に示すように、錐体の数は視覚特性の中心に
鋭いピークがあり、おおよそ±8°の範囲の外側はかな
り少ない。一方、杆体の数は逆に視覚特性の中心で少な
く、周辺にピークがある。人は、錐体で物体の詳細を検
知し、杆体で周辺視野の情報を補っている。
とのできる錐体と、高感度であるが明るさのみを感じる
杆体とがある。この杆体は赤色に対する感度が極めて低
い。図14に示すように、錐体の数は視覚特性の中心に
鋭いピークがあり、おおよそ±8°の範囲の外側はかな
り少ない。一方、杆体の数は逆に視覚特性の中心で少な
く、周辺にピークがある。人は、錐体で物体の詳細を検
知し、杆体で周辺視野の情報を補っている。
【0078】ここで、眼球照明系との関係について考え
てみると、先ず、その光源であるLEDは図2に示した
発光特性を持っているため、杆体では照明光を検知する
ことができない。また、錐体は周辺視野の感度が低いと
いう特徴があるので、ファインダ視野を見たときに照明
光が8°以上の角度を持って眼に投射されていれば、ほ
とんど気にならないと言うことになる。
てみると、先ず、その光源であるLEDは図2に示した
発光特性を持っているため、杆体では照明光を検知する
ことができない。また、錐体は周辺視野の感度が低いと
いう特徴があるので、ファインダ視野を見たときに照明
光が8°以上の角度を持って眼に投射されていれば、ほ
とんど気にならないと言うことになる。
【0079】図15(a),(b)は、ファインダ視野
と照明系との関係を示す説明図である。
と照明系との関係を示す説明図である。
【0080】同図において、60は観察者の眼球であ
る。眼球60はファインダ系のアイポイントに位置して
いるものとする。アイポイントは瞳孔が無限に絞られた
ときにファインダ視野全体を見渡すことのできる位置で
ある。61は物体像が表示される範囲、62は絞り表
示、63はシャッタスピード表示、64は固体撮像素子
6の設定感度、65は35mm写真フィルムを用いるカメ
ラでの値に換算したときの結像光学系3の焦点距離であ
る。
る。眼球60はファインダ系のアイポイントに位置して
いるものとする。アイポイントは瞳孔が無限に絞られた
ときにファインダ視野全体を見渡すことのできる位置で
ある。61は物体像が表示される範囲、62は絞り表
示、63はシャッタスピード表示、64は固体撮像素子
6の設定感度、65は35mm写真フィルムを用いるカメ
ラでの値に換算したときの結像光学系3の焦点距離であ
る。
【0081】レンズ交換式のデジタルカラーカメラにお
いては、撮像レンズ2とカメラ本体1の組み合わせによ
って、結像光学系の焦点距離と固体撮像素子が捉えるイ
メージサイズの両方が変化する。そこで、組み合わせ毎
の撮影画角を分かりやすく表すために35mm写真フィル
ムを用いるカメラでの焦点距離値に換算して表示してい
る。
いては、撮像レンズ2とカメラ本体1の組み合わせによ
って、結像光学系の焦点距離と固体撮像素子が捉えるイ
メージサイズの両方が変化する。そこで、組み合わせ毎
の撮影画角を分かりやすく表すために35mm写真フィル
ムを用いるカメラでの焦点距離値に換算して表示してい
る。
【0082】さて、LED11を光源とする眼球照明系
との関係を考える。
との関係を考える。
【0083】61から65で表したファインダ表示の下
端を注視するときの光線が図15(a)のL3、また、
上端を注視するときの光線がL4である。すなわち、観
察者からは光線L3の方向に絞り表示62の下端やシャ
ッタスピード表示63の下端が見えることになる。ここ
では、光線L3と光線L4の間が物体像視野とする。ま
た、眼球照明プリズム10に形成された観察光学系であ
る凸面10aから射出して、瞳に到達する光線の内、フ
ァインダ表示の光路との成す角が最も小さくなる光線が
L5である。
端を注視するときの光線が図15(a)のL3、また、
上端を注視するときの光線がL4である。すなわち、観
察者からは光線L3の方向に絞り表示62の下端やシャ
ッタスピード表示63の下端が見えることになる。ここ
では、光線L3と光線L4の間が物体像視野とする。ま
た、眼球照明プリズム10に形成された観察光学系であ
る凸面10aから射出して、瞳に到達する光線の内、フ
ァインダ表示の光路との成す角が最も小さくなる光線が
L5である。
【0084】光線L3と光線L5の成す角、すなわち、
物体像視野との成す角θが8°以上であれば、ファイン
ダ表示の下端を見たときにも眼球照明光は視細胞のうち
錐体の少ない周辺視野に入射することになり、ほとんど
視認されない。一方、視線を下に移動させて、眼球照明
光の光線L5の方向に向ければ錐体によって捉えられ、
1m前方にLEDが赤く光って見えることになる。も
し、拡散板12上に水滴,雪,埃等が付着して眼球照明
が適切に成されていないときには、観察者からはLED
が通常通りの十字型に見えないので、視線検出が正常に
動作していないことを容易に知ることができる。したが
って、誤った視線検出結果に基づいて焦点調節を行って
しまうといったことが未然に防止される。
物体像視野との成す角θが8°以上であれば、ファイン
ダ表示の下端を見たときにも眼球照明光は視細胞のうち
錐体の少ない周辺視野に入射することになり、ほとんど
視認されない。一方、視線を下に移動させて、眼球照明
光の光線L5の方向に向ければ錐体によって捉えられ、
1m前方にLEDが赤く光って見えることになる。も
し、拡散板12上に水滴,雪,埃等が付着して眼球照明
が適切に成されていないときには、観察者からはLED
が通常通りの十字型に見えないので、視線検出が正常に
動作していないことを容易に知ることができる。したが
って、誤った視線検出結果に基づいて焦点調節を行って
しまうといったことが未然に防止される。
【0085】さらに、可視光で眼球照明を行うことによ
り、観察者が眼鏡を使用した際にも利点がある。
り、観察者が眼鏡を使用した際にも利点がある。
【0086】図16は、レンズ面に増透コートを施した
眼鏡の分光反射率特性の例である。増透コートがあると
物体がクリアに見えるため、日常生活のためにはたいへ
ん好ましい。これは図16の分光反射率特性のように、
およそ400nmから700nmの可視域で反射率を低い値
に抑えることで実現できる。
眼鏡の分光反射率特性の例である。増透コートがあると
物体がクリアに見えるため、日常生活のためにはたいへ
ん好ましい。これは図16の分光反射率特性のように、
およそ400nmから700nmの可視域で反射率を低い値
に抑えることで実現できる。
【0087】ところが、一般にこういった眼鏡では70
0nmよりも長波長の領域ではむしろ高い反射率となり、
この値は増透コートがない眼鏡よりもむしろ高い。した
がって、眼球照明を赤外光で行うと眼鏡からの反射光に
妨げられて瞳孔やプルキニエ像をうまく捉えることがで
きない場合も生じる。こういった事態を完全に防ぐため
には眼球照明を400nmから700nmの範囲の波長で行
えばよい。しかしながら、比視感度の高い波長域で眼球
照明を行うと今度は視細胞の杆体の感度域に入り、ファ
インダ観察の妨げになり易い。
0nmよりも長波長の領域ではむしろ高い反射率となり、
この値は増透コートがない眼鏡よりもむしろ高い。した
がって、眼球照明を赤外光で行うと眼鏡からの反射光に
妨げられて瞳孔やプルキニエ像をうまく捉えることがで
きない場合も生じる。こういった事態を完全に防ぐため
には眼球照明を400nmから700nmの範囲の波長で行
えばよい。しかしながら、比視感度の高い波長域で眼球
照明を行うと今度は視細胞の杆体の感度域に入り、ファ
インダ観察の妨げになり易い。
【0088】そこで、図2に示したように、ピーク波長
が700nm付近にあり、400nmから700nmの可視域
にも強度分布の裾が含まれるような光で照明すること
で、眼鏡からの反射光を低く抑えつつ、しかも、ファイ
ンダ観察の妨げにもならない眼球照明系を実現すること
ができる。
が700nm付近にあり、400nmから700nmの可視域
にも強度分布の裾が含まれるような光で照明すること
で、眼鏡からの反射光を低く抑えつつ、しかも、ファイ
ンダ観察の妨げにもならない眼球照明系を実現すること
ができる。
【0089】図17は、眼球撮像系の光路展開図であ
る。
る。
【0090】図1に示したダイクロイックミラー14,
ミラー15での反射を展開し、上方から見た状態を示し
ている。また、図17の矢印D方向から見た図として、
絞り71,複眼レンズ17,視線センサ18の平面図
を、それぞれ図18,図19,図20に示した。
ミラー15での反射を展開し、上方から見た状態を示し
ている。また、図17の矢印D方向から見た図として、
絞り71,複眼レンズ17,視線センサ18の平面図
を、それぞれ図18,図19,図20に示した。
【0091】各図において、70は眼球、71は絞りで
ある。光路変更プリズム16には光入射面である二つの
凸面16a,16eがあり、ファインダ光学系42を通
して二つの方向から捉えた眼球70の画像を得る。眼球
70は眼球照明系によって照明され、光路変更プリズム
16の凸面16aから入射したその反射光は、次に、面
16bと面16cで反射し、面16d上の光軸L16に
近い位置から射出する。光路変更プリズム16の背後に
は、絞り71が位置する。図20に示すように、絞り7
1には、二つの開口71a,71bがあり、光路変更プ
リズム16の凸面16aから入射した光束はこのうち開
口71aによって絞られる。絞りを射出した光束は複眼
レンズ17のレンズ面17aから入射し、レンズ面17
cから射出して、後述する図21に示すように視線セン
サ18のエリアセンサ部18a上に撮像領域Eaの眼画
像を形成する。
ある。光路変更プリズム16には光入射面である二つの
凸面16a,16eがあり、ファインダ光学系42を通
して二つの方向から捉えた眼球70の画像を得る。眼球
70は眼球照明系によって照明され、光路変更プリズム
16の凸面16aから入射したその反射光は、次に、面
16bと面16cで反射し、面16d上の光軸L16に
近い位置から射出する。光路変更プリズム16の背後に
は、絞り71が位置する。図20に示すように、絞り7
1には、二つの開口71a,71bがあり、光路変更プ
リズム16の凸面16aから入射した光束はこのうち開
口71aによって絞られる。絞りを射出した光束は複眼
レンズ17のレンズ面17aから入射し、レンズ面17
cから射出して、後述する図21に示すように視線セン
サ18のエリアセンサ部18a上に撮像領域Eaの眼画
像を形成する。
【0092】また、光路変更プリズム16の凸面16e
から入射した反射光は、次に、面16fと面16gで反
射し、面16d上の光軸L6に近い位置から射出する。
次の絞り71では開口71bで絞られ、絞りを射出した
光束は複眼レンズ17のレンズ面17bから入射し、レ
ンズ面17dから射出して、後述する図21に示すよう
に視線センサ18のエリアセンサ部18b上に撮像領域
Ebの眼画像を形成する。なお、この際、絞り71の前
後に凸レンズを配置することにより、ディストーション
の少ない眼画像を得ている。これは、後述する眼画像の
合成を精度良く行う為に有効である。
から入射した反射光は、次に、面16fと面16gで反
射し、面16d上の光軸L6に近い位置から射出する。
次の絞り71では開口71bで絞られ、絞りを射出した
光束は複眼レンズ17のレンズ面17bから入射し、レ
ンズ面17dから射出して、後述する図21に示すよう
に視線センサ18のエリアセンサ部18b上に撮像領域
Ebの眼画像を形成する。なお、この際、絞り71の前
後に凸レンズを配置することにより、ディストーション
の少ない眼画像を得ている。これは、後述する眼画像の
合成を精度良く行う為に有効である。
【0093】図21は、視線センサ18のエリアセンサ
部と眼画像との関係を示す図である。
部と眼画像との関係を示す図である。
【0094】同図において、80aはエリアセンサ部1
8aから得られる眼画像、80bはエリアセンサ部18
bから得られる眼画像である。眼画像80aと眼画像8
0bは視差を持った一対の眼画像となる。
8aから得られる眼画像、80bはエリアセンサ部18
bから得られる眼画像である。眼画像80aと眼画像8
0bは視差を持った一対の眼画像となる。
【0095】撮像領域Eaと撮像領域Ebは眼の左右方
向にずれているので、眼画像80aと眼画像80bでは
映っている目の位置が異なる。眼画像80aと眼画像8
0bで共通の画像となるのは、エリアセンサ部18a,
18bのハッチングをかけて示した部分であり、眼画像
80a,80bの下に示した撮像領域FaとFbであ
る。観察者がファインダを極端に斜めから覗いた場合で
あっても、撮像領域Eaと撮像領域Ebを左右方向にず
らしているために、少なくともどちらかの撮像領域には
眼部を捉えることができる。なお、演算処理の説明で
は、眼画像80aをA画像、眼画像80bをB画像と呼
ぶことにする。
向にずれているので、眼画像80aと眼画像80bでは
映っている目の位置が異なる。眼画像80aと眼画像8
0bで共通の画像となるのは、エリアセンサ部18a,
18bのハッチングをかけて示した部分であり、眼画像
80a,80bの下に示した撮像領域FaとFbであ
る。観察者がファインダを極端に斜めから覗いた場合で
あっても、撮像領域Eaと撮像領域Ebを左右方向にず
らしているために、少なくともどちらかの撮像領域には
眼部を捉えることができる。なお、演算処理の説明で
は、眼画像80aをA画像、眼画像80bをB画像と呼
ぶことにする。
【0096】眼画像には拡散板12の作用による十字型
のプルキニエ像の他、涙滴での反射輝点81やまつげで
の反射輝点82が見える。しかし、反射輝点の原因とな
る涙滴やまつげが、角膜のように大きな面積を持たない
ため、そこでの反射像は十字型にならずプルキニエ像と
の区別が容易に付く。したがって、涙滴での反射輝点8
1やまつげでの反射輝点82を真のプルキニエ像と取り
違えることがなく、高精度な視線検出ができる。
のプルキニエ像の他、涙滴での反射輝点81やまつげで
の反射輝点82が見える。しかし、反射輝点の原因とな
る涙滴やまつげが、角膜のように大きな面積を持たない
ため、そこでの反射像は十字型にならずプルキニエ像と
の区別が容易に付く。したがって、涙滴での反射輝点8
1やまつげでの反射輝点82を真のプルキニエ像と取り
違えることがなく、高精度な視線検出ができる。
【0097】なお、ここでは複数の眼画像の視差を眼に
対して横方向に設定したが、縦方向であっても良い。さ
らには、横方向と縦方向の両方であっても良い。この場
合には、四つの眼画像が得られるので、さらに、まつげ
の態様やファインダの覗き方等の個人差について寛容
で、しかも、高精度な検出を行うことができる。
対して横方向に設定したが、縦方向であっても良い。さ
らには、横方向と縦方向の両方であっても良い。この場
合には、四つの眼画像が得られるので、さらに、まつげ
の態様やファインダの覗き方等の個人差について寛容
で、しかも、高精度な検出を行うことができる。
【0098】次に、図22,図23及び図26に示すフ
ローチャート等を用いて、カメラの動作を説明する。
ローチャート等を用いて、カメラの動作を説明する。
【0099】図22のフローチャートは、カメラシステ
ム制御回路35内のROMに書き込まれている制御プロ
グラムである。
ム制御回路35内のROMに書き込まれている制御プロ
グラムである。
【0100】まず、図22において、制御プログラムが
スタートすると、先ず、ステップ#201において、操
作検出回路36を介してメインスイッチ19がONかど
うかを調べる。OFFであれば再びステップ#201を
繰り返し、ONであれば次のステップ#202に移行す
る。ステップ#202においては、固体撮像素子駆動回
路37を介して固体撮像素子6を駆動し、連続的な表示
用画像の取り込みを開始する。次のステップ#203に
おいては、固体撮像素子6により撮像した画像を再生処
理回路34を介して液晶ディスプレー7上に動画像とし
て表示するファインダ表示処理を開始する。続くステッ
プ#204においては、視線検出の成否を示すフラグF
LGeをリセットする。そして、ステップ#205にお
いて、視線検出・AF制御回路40に対して、視線検出
サブルーチンを起動するように指示する。
スタートすると、先ず、ステップ#201において、操
作検出回路36を介してメインスイッチ19がONかど
うかを調べる。OFFであれば再びステップ#201を
繰り返し、ONであれば次のステップ#202に移行す
る。ステップ#202においては、固体撮像素子駆動回
路37を介して固体撮像素子6を駆動し、連続的な表示
用画像の取り込みを開始する。次のステップ#203に
おいては、固体撮像素子6により撮像した画像を再生処
理回路34を介して液晶ディスプレー7上に動画像とし
て表示するファインダ表示処理を開始する。続くステッ
プ#204においては、視線検出の成否を示すフラグF
LGeをリセットする。そして、ステップ#205にお
いて、視線検出・AF制御回路40に対して、視線検出
サブルーチンを起動するように指示する。
【0101】ステップ#206においては、フラグFL
Geがセットされたかどうかを調べる。セットされてい
なければ先のステップ#204に戻り、セットされてい
れば、次のステップ#207に移行する。ステップ#2
07へ移行すると、ここでは視線検出・AF制御回路4
0に対して、AF制御サブルーチンを起動するように指
示する。そして、次のステップ#208において、操作
検出回路36を介してレリーズボタン20がONかどう
かを調べる。OFFであれば先のステップ#204に戻
り、ONであれば次のステップ#209に移行する。
Geがセットされたかどうかを調べる。セットされてい
なければ先のステップ#204に戻り、セットされてい
れば、次のステップ#207に移行する。ステップ#2
07へ移行すると、ここでは視線検出・AF制御回路4
0に対して、AF制御サブルーチンを起動するように指
示する。そして、次のステップ#208において、操作
検出回路36を介してレリーズボタン20がONかどう
かを調べる。OFFであれば先のステップ#204に戻
り、ONであれば次のステップ#209に移行する。
【0102】ステップ#209においては、レリーズボ
タン20が押下されたので、固体撮像素子駆動回路37
を介して固体撮像素子6を第1の出力モードで駆動し、
高精細な画像の取り込みを行う。そして、次のステップ
#210においては、RGB画像処理,YC処理の施さ
れたデータを記録処理回路33を介して内部のメモリに
記録し、一連の制御を終了する。
タン20が押下されたので、固体撮像素子駆動回路37
を介して固体撮像素子6を第1の出力モードで駆動し、
高精細な画像の取り込みを行う。そして、次のステップ
#210においては、RGB画像処理,YC処理の施さ
れたデータを記録処理回路33を介して内部のメモリに
記録し、一連の制御を終了する。
【0103】図23のフローチャートは、視線検出・A
F制御回路40内のROMに書き込まれている制御プロ
グラムであって、視線検出のための演算手段に相当す
る。複数の眼画像をもとに合成した眼画像を用いて注視
点を算出する第一の演算モードと、一つの眼画像を用い
て注視点を算出する第二の演算モードとを備えている。
F制御回路40内のROMに書き込まれている制御プロ
グラムであって、視線検出のための演算手段に相当す
る。複数の眼画像をもとに合成した眼画像を用いて注視
点を算出する第一の演算モードと、一つの眼画像を用い
て注視点を算出する第二の演算モードとを備えている。
【0104】図23において、視線検出サブルーチンが
スタートすると、ステップ#301において、カメラの
姿勢に基づいてLEDを選択点灯するとともに、視線セ
ンサ18からA画像すなわち眼画像80aと、B画像す
なわち眼画像80bを読み出す。次のステップ#302
においては、A画像の中から最低輝度を示す領域を検出
し、続くステップ#303において、B画像の中から最
低輝度を示す領域を検出する。上記ステップ#302と
ステップ#303の処理は、眼画像の中で瞳孔が最低輝
度を示す特性を利用し、後のステップにおいて、プルキ
ニエ像をこの最低輝度領域を手がかりとして検出するた
めの準備である。
スタートすると、ステップ#301において、カメラの
姿勢に基づいてLEDを選択点灯するとともに、視線セ
ンサ18からA画像すなわち眼画像80aと、B画像す
なわち眼画像80bを読み出す。次のステップ#302
においては、A画像の中から最低輝度を示す領域を検出
し、続くステップ#303において、B画像の中から最
低輝度を示す領域を検出する。上記ステップ#302と
ステップ#303の処理は、眼画像の中で瞳孔が最低輝
度を示す特性を利用し、後のステップにおいて、プルキ
ニエ像をこの最低輝度領域を手がかりとして検出するた
めの準備である。
【0105】次のステップ#304においては、A画像
に現れたプルキニエ像の、次のステップ#305におい
ては、B画像に現れたプルキニエ像の、それぞれ重心座
標を検出する。
に現れたプルキニエ像の、次のステップ#305におい
ては、B画像に現れたプルキニエ像の、それぞれ重心座
標を検出する。
【0106】もし検出の環境等が理想の状態であれば、
A画像、B画像とも二つのプルキニエ像が検出される
が、実際はそうではない。三つ以上のプルキニエ像候補
が検出されることはよく起きる。そこで、二つ以上のプ
ルキニエ像候補が検出された場合はプルキニエ像の検出
に成功していると判別する。そして各々のプルキニエ像
候補の重心座標を検出し記録する。
A画像、B画像とも二つのプルキニエ像が検出される
が、実際はそうではない。三つ以上のプルキニエ像候補
が検出されることはよく起きる。そこで、二つ以上のプ
ルキニエ像候補が検出された場合はプルキニエ像の検出
に成功していると判別する。そして各々のプルキニエ像
候補の重心座標を検出し記録する。
【0107】上記プルキニエ像は十字型をしているが、
縦線と横線が重なった領域の重心座標をデータとして格
納する。プルキニエ像の検出にはパターンマッチング等
の手法を用いると良い。十字型であるために、涙滴での
反射輝点81やまつげでの反射輝点82を真のプルキニ
エ像と取り違えることがなく、高精度な視線検出ができ
る。
縦線と横線が重なった領域の重心座標をデータとして格
納する。プルキニエ像の検出にはパターンマッチング等
の手法を用いると良い。十字型であるために、涙滴での
反射輝点81やまつげでの反射輝点82を真のプルキニ
エ像と取り違えることがなく、高精度な視線検出ができ
る。
【0108】ステップ#306においては、先のステッ
プ#304にてA画像のプルキニエ像の検出が成功した
かどうかを判定する。稀に、眼鏡からのゴーストに妨げ
られたり、太陽光が直接入り込んだりして、プルキニエ
像の検出が失敗することがあるが、この場合にはステッ
プ#312に分岐する。また、プルキニエ像の検出に成
功していれば、ステップ#307に移行し、ここでは先
のステップ#305にてB画像のプルキニエ像の検出が
成功したかどうかを判定し、失敗の場合にはステップ#
315に分岐し、成功していれば、次のステップ#30
8に移行する。
プ#304にてA画像のプルキニエ像の検出が成功した
かどうかを判定する。稀に、眼鏡からのゴーストに妨げ
られたり、太陽光が直接入り込んだりして、プルキニエ
像の検出が失敗することがあるが、この場合にはステッ
プ#312に分岐する。また、プルキニエ像の検出に成
功していれば、ステップ#307に移行し、ここでは先
のステップ#305にてB画像のプルキニエ像の検出が
成功したかどうかを判定し、失敗の場合にはステップ#
315に分岐し、成功していれば、次のステップ#30
8に移行する。
【0109】ステップ#308は、先のステップ#30
6,#307の判定を経て、A画像、B画像ともにプル
キニエ像の検出が成功している場合の処理である。A画
像とB画像を合成して、両方の情報を用いることによ
り、不要情報の排除と欠落情報の補完を行う。この際、
画像の合成にはプルキニエ像が瞳孔とほぼ同じ深さに生
じるという性質を利用する。
6,#307の判定を経て、A画像、B画像ともにプル
キニエ像の検出が成功している場合の処理である。A画
像とB画像を合成して、両方の情報を用いることによ
り、不要情報の排除と欠落情報の補完を行う。この際、
画像の合成にはプルキニエ像が瞳孔とほぼ同じ深さに生
じるという性質を利用する。
【0110】ここで、図24はプルキニエ像と瞳孔との
関係を示す説明図であり、同図において、90は観察者
の眼球、91は瞳孔を形成する虹彩、92は角膜、ま
た、P1は角膜92の曲率中心である。眼球90はファ
インダ光軸L2上に位置し、ファインダ光軸L2に対し
てφだけ傾いた方向から眼球照明93が成されているも
のとする。
関係を示す説明図であり、同図において、90は観察者
の眼球、91は瞳孔を形成する虹彩、92は角膜、ま
た、P1は角膜92の曲率中心である。眼球90はファ
インダ光軸L2上に位置し、ファインダ光軸L2に対し
てφだけ傾いた方向から眼球照明93が成されているも
のとする。
【0111】このとき、光源の角膜92による反射像で
あるプルキニエ像P2は、光源と角膜の曲率中心P1と
を結ぶ線上に形成される。プルキニエ像P2は虚像であ
り、角膜92の半径をRとしたときに、ファインダ光軸
L2の方向から見たプルキニエ像P2の深さHは式
(1)で与えられる。
あるプルキニエ像P2は、光源と角膜の曲率中心P1と
を結ぶ線上に形成される。プルキニエ像P2は虚像であ
り、角膜92の半径をRとしたときに、ファインダ光軸
L2の方向から見たプルキニエ像P2の深さHは式
(1)で与えられる。
【0112】
H=(1− cosφ)×R+Gcos φ ・・・・・・・・・(1)
ここで、Gは眼球照明の方向から見たときの、プルキニ
エ像の深さである。光源が1000mm前方にあるとした
とき、Gは式(2)となる。
エ像の深さである。光源が1000mm前方にあるとした
とき、Gは式(2)となる。
【0113】
G=B/2−(R/2)2 /1000 ・・・・・・・・・(2)
したがって、式(2)を式(1)に代入することによっ
て、HはRとφで表すことができる。
て、HはRとφで表すことができる。
【0114】さらに、
φ=25° R=7.7mm
を用いて、Hを求めると、H=4.2mm となる。
【0115】一方、虹彩の深さKは、K=3.6mm であ
り、プルキニエ像の深さに極めて近い。この結果、図1
7を用いて説明した、複眼レンズ17で視差を持った一
対の眼画像を捉えたとき、瞳孔とプルキニエ像との位置
関係は画像間でほとんど変化しない。これに対して、ま
つげの位置とか、涙滴の位置は画像間で異なることにな
る。また、眼鏡からの反射光によるゴーストある場合に
も、このゴーストも虹彩やプルキニエ像とはかなり異な
る深さに生じるので、その位置は画像間で異なる。
り、プルキニエ像の深さに極めて近い。この結果、図1
7を用いて説明した、複眼レンズ17で視差を持った一
対の眼画像を捉えたとき、瞳孔とプルキニエ像との位置
関係は画像間でほとんど変化しない。これに対して、ま
つげの位置とか、涙滴の位置は画像間で異なることにな
る。また、眼鏡からの反射光によるゴーストある場合に
も、このゴーストも虹彩やプルキニエ像とはかなり異な
る深さに生じるので、その位置は画像間で異なる。
【0116】図23のフローチャートに戻って、ステッ
プ#308においては、シフト量SBを求める。
プ#308においては、シフト量SBを求める。
【0117】ここで、その詳細を、図25及び図26に
示すフローチャートを用いて説明する。
示すフローチャートを用いて説明する。
【0118】図25(a)〜(c)は、ステップ#30
8での処理を判り易くする為の図であり、視線検出光学
系の構成を簡略化すると共に、本来は前述したようにプ
ルキニエ像は十字型であるが、便宜上円形状として示し
ている。
8での処理を判り易くする為の図であり、視線検出光学
系の構成を簡略化すると共に、本来は前述したようにプ
ルキニエ像は十字型であるが、便宜上円形状として示し
ている。
【0119】図25(a)は視線検出光学系の上面図、
図25(b)は眼球側から見た正面図である。
図25(b)は眼球側から見た正面図である。
【0120】本実施の形態では、図25(a)に示すよ
うに、撮影者の眼球を間隔dで配置された二つの視線検
出光学系で観察することで、まつげの陰になる部分など
を観察し易くすることが可能であり、二つの光学系で観
察された画像におけるプルキニエ像のずれ量を正確に求
める処理を行うのが、このステップ#308である。
うに、撮影者の眼球を間隔dで配置された二つの視線検
出光学系で観察することで、まつげの陰になる部分など
を観察し易くすることが可能であり、二つの光学系で観
察された画像におけるプルキニエ像のずれ量を正確に求
める処理を行うのが、このステップ#308である。
【0121】本実施の形態では、図25(a)に示すよ
うに、撮影者の眼球を間隔dで配置された二つの視線検
出光学系で観察している。また、プルキニエ像を発生さ
せるための二つの光源(LED)は受光レンズ(図19
の複眼レンズ17に相当)の下部に配置されている。二
つの光源から照射された光束は眼球の角膜で反射して二
つのプルキニエを発生する。そのプルキニエ像と瞳孔は
受光レンズによって、左右一対のセンサ(図19等の視
線検出センサ18に相当)にそれぞれ結像する。
うに、撮影者の眼球を間隔dで配置された二つの視線検
出光学系で観察している。また、プルキニエ像を発生さ
せるための二つの光源(LED)は受光レンズ(図19
の複眼レンズ17に相当)の下部に配置されている。二
つの光源から照射された光束は眼球の角膜で反射して二
つのプルキニエを発生する。そのプルキニエ像と瞳孔は
受光レンズによって、左右一対のセンサ(図19等の視
線検出センサ18に相当)にそれぞれ結像する。
【0122】図25(c)に、左右のセンサの画像の概
略を示す。同図(c)の横方向がLEDの並び方向、縦
方向がLEDの並び方向に垂直な方向である。また、縦
軸横軸の交点を原点とする。
略を示す。同図(c)の横方向がLEDの並び方向、縦
方向がLEDの並び方向に垂直な方向である。また、縦
軸横軸の交点を原点とする。
【0123】図25(c)に示すように左側のセンサの
画像(A画像)は、右側のセンサの画像(B画像)に比
べて、プルキニエ像、瞳孔が左側のよっている。このず
れ量を求める方法が本発明の特徴的部分である。
画像(A画像)は、右側のセンサの画像(B画像)に比
べて、プルキニエ像、瞳孔が左側のよっている。このず
れ量を求める方法が本発明の特徴的部分である。
【0124】まず、図23のステップ#305,#30
6で求められたA画像、B画像のプルキニエ像候補から
検出に適したものを選択する。これはまずA画像とB画
像で検出されたプルキニエ像のLEDの並び方向に垂直
な方向(以下、LEDの並び方向を水平方向、それに垂
直な方向を垂直方向と記す)の位置が略等しいものを選
択する。理想的にLEDとセンサの位置が調整されてい
れば、LEDの反射像であるプルキニエ像は垂直方向の
座標がセンサ上で等しい。A画像とB画像でそれぞれ二
つのプルキニエ像が生じるので、4つの垂直方向の座標
が略等しいプルキニエ像が存在するはずである。涙など
他の要因で生じた明るい像はプルキニエ像と性質が似て
いるのでプルキニエ像候補として検出されるが、これら
はその垂直方向の座標が異なる。
6で求められたA画像、B画像のプルキニエ像候補から
検出に適したものを選択する。これはまずA画像とB画
像で検出されたプルキニエ像のLEDの並び方向に垂直
な方向(以下、LEDの並び方向を水平方向、それに垂
直な方向を垂直方向と記す)の位置が略等しいものを選
択する。理想的にLEDとセンサの位置が調整されてい
れば、LEDの反射像であるプルキニエ像は垂直方向の
座標がセンサ上で等しい。A画像とB画像でそれぞれ二
つのプルキニエ像が生じるので、4つの垂直方向の座標
が略等しいプルキニエ像が存在するはずである。涙など
他の要因で生じた明るい像はプルキニエ像と性質が似て
いるのでプルキニエ像候補として検出されるが、これら
はその垂直方向の座標が異なる。
【0125】そこで、まずA画像で垂直方向の座標の略
等しい二つのプルキニエ像ペアを見つける。同様にB画
像でも垂直方向の座標の略等しい二つのプルキニエ像ペ
アを見つける(図26の#351)。A画像のプルキニ
エ像ペアとB画像のプルキニエ像ペアの垂直方向の座標
が略等しければ、これを真のプルキニエ像ペアとみなす
(#352)。このペアの水平方向の位置の差を第一の
シフト量SB1となる(図25(c)参照)。そして、
カメラから眼球までの距離がわかれば、視線検出装置の
各光学部材の位置から第二のシフト量SB2を計算する
ことができる。またペアとなったプルキニエ像の間隔
は、カメラから眼球までの距離によるので、二つのプル
キニエ像の間隔から眼球までの距離を求めることができ
る。
等しい二つのプルキニエ像ペアを見つける。同様にB画
像でも垂直方向の座標の略等しい二つのプルキニエ像ペ
アを見つける(図26の#351)。A画像のプルキニ
エ像ペアとB画像のプルキニエ像ペアの垂直方向の座標
が略等しければ、これを真のプルキニエ像ペアとみなす
(#352)。このペアの水平方向の位置の差を第一の
シフト量SB1となる(図25(c)参照)。そして、
カメラから眼球までの距離がわかれば、視線検出装置の
各光学部材の位置から第二のシフト量SB2を計算する
ことができる。またペアとなったプルキニエ像の間隔
は、カメラから眼球までの距離によるので、二つのプル
キニエ像の間隔から眼球までの距離を求めることができ
る。
【0126】そこで、上記ステップ#351で求まった
真のプルキニエ像ペアみなしたプルキニエ像ペアの間隔
から眼球までの距離を求める(#353)。眼球までの
距離Lは L=A1/ΔP+A2 但し、ΔPはプルキニエ像ペアの間隔、A1、A2はL
EDの配置などから決まる定数 である。
真のプルキニエ像ペアみなしたプルキニエ像ペアの間隔
から眼球までの距離を求める(#353)。眼球までの
距離Lは L=A1/ΔP+A2 但し、ΔPはプルキニエ像ペアの間隔、A1、A2はL
EDの配置などから決まる定数 である。
【0127】今、A画像、B画像でそれぞれ真のプルキ
ニエ像ペアみなしたプルキニエ像ペアが存在するので、
眼球までの距離も二つ求まる。そこで二つの求められた
距離を比較し、それが略等しければ(#354のE
q)、その距離を眼球までの距離として採用する。略等
しいとみなせない場合は、ステップ#352に戻り、二
つの眼球までの距離が略等しくなるまで、プルキニエ像
ペアの選択をやり直す。但し、全てのプルキニエ像ペア
を選択してしまった場合は(#358のY)、シフト量
決定失敗(#359)として、ステップ#308のルー
チンを抜けて、次の処理に進む。
ニエ像ペアみなしたプルキニエ像ペアが存在するので、
眼球までの距離も二つ求まる。そこで二つの求められた
距離を比較し、それが略等しければ(#354のE
q)、その距離を眼球までの距離として採用する。略等
しいとみなせない場合は、ステップ#352に戻り、二
つの眼球までの距離が略等しくなるまで、プルキニエ像
ペアの選択をやり直す。但し、全てのプルキニエ像ペア
を選択してしまった場合は(#358のY)、シフト量
決定失敗(#359)として、ステップ#308のルー
チンを抜けて、次の処理に進む。
【0128】次いで、シフト量の算出を行う。
【0129】まず、A画像、B画像でそれぞれ真のプル
キニエ像ペアみなしたプルキニエ像ペアの水平方向の位
置の差を求め、これを第一のシフト量SB1とする。そ
して、プルキニエ像ペアの間隔から求めた眼球までの距
離を用いて次式より、第二のシフト量SB2を求める。
キニエ像ペアみなしたプルキニエ像ペアの水平方向の位
置の差を求め、これを第一のシフト量SB1とする。そ
して、プルキニエ像ペアの間隔から求めた眼球までの距
離を用いて次式より、第二のシフト量SB2を求める。
【0130】SB2=(f×d)/L
但し、fは視線検出装置の受光レンズの焦点距離、dは
受光(複眼)レンズの基線長、Lは眼球までの距離であ
る。
受光(複眼)レンズの基線長、Lは眼球までの距離であ
る。
【0131】二つのシフト量SB1,SB2が求まった
ならばそれを比較し、略等しかったならば(#356の
Eq)、その平均値をシフト量SBとし次のステップに進
み、シフト量決定成功フラグをセットする(#35
7)。略等しいとみなせない場合は(#356のNE
q)、ステップ#352に戻り、二つのシフト量が略等
しくなるまで、プルキニエ像ペアの選択をやり直す。但
し、全てのプルキニエ像ペアを選択してしまった場合
は、シフト量決定失敗(#359)として、ステップ#
308のルーチンを抜けて、次の処理に進む。
ならばそれを比較し、略等しかったならば(#356の
Eq)、その平均値をシフト量SBとし次のステップに進
み、シフト量決定成功フラグをセットする(#35
7)。略等しいとみなせない場合は(#356のNE
q)、ステップ#352に戻り、二つのシフト量が略等
しくなるまで、プルキニエ像ペアの選択をやり直す。但
し、全てのプルキニエ像ペアを選択してしまった場合
は、シフト量決定失敗(#359)として、ステップ#
308のルーチンを抜けて、次の処理に進む。
【0132】上記のようにプルキニエ像ペアの組み合わ
せにおいても、二つの距離もしくは二つのシフト量が略
等しくならない場合はシフト量決定失敗フラグをセット
する(#359)。
せにおいても、二つの距離もしくは二つのシフト量が略
等しくならない場合はシフト量決定失敗フラグをセット
する(#359)。
【0133】図23に戻り、次のステップ#309で
は、シフト量決定が成功したか失敗したかを判別し、成
功していればステップ#310へ進み、A画像とB画像
を合成を行う。失敗していた場合は、以下のステップ#
316での処理の対象にA画像とB画像を指定する(ス
テップ#319)。
は、シフト量決定が成功したか失敗したかを判別し、成
功していればステップ#310へ進み、A画像とB画像
を合成を行う。失敗していた場合は、以下のステップ#
316での処理の対象にA画像とB画像を指定する(ス
テップ#319)。
【0134】このように第一のシフト量SB1と第二の
シフト量SB2を比較することで、正しいプルキニエ像
が選択された否かを判定することができるので、正確な
プルキニエ像、正確なシフト量を求めることができる
(理想的な状態では、二つのシフト量は等しくなる)。
シフト量SB2を比較することで、正しいプルキニエ像
が選択された否かを判定することができるので、正確な
プルキニエ像、正確なシフト量を求めることができる
(理想的な状態では、二つのシフト量は等しくなる)。
【0135】次に、ステップ#310へ進むと、次に示
すアルゴリズムにしたがって、A画像とB画像を合成し
て、図27に示すようなC画像を生成する。
すアルゴリズムにしたがって、A画像とB画像を合成し
て、図27に示すようなC画像を生成する。
【0136】画像合成アルゴリズムは次の通りである。
【0137】先ず、シフト量SBの整数部をe、小数部
をfとし、さらに、視線センサ18のエリアセンサ部1
8aとエリアセンサ部18bの各画素に図29に示すよ
うな番地を割り当てる。視差の方向が行の方向であるた
め各行の処理は同一であり、以下の処理をすべての行に
ついて行うことによって、C画像を生成する。
をfとし、さらに、視線センサ18のエリアセンサ部1
8aとエリアセンサ部18bの各画素に図29に示すよ
うな番地を割り当てる。視差の方向が行の方向であるた
め各行の処理は同一であり、以下の処理をすべての行に
ついて行うことによって、C画像を生成する。
【0138】ある行のA画像のX列データをAX 、B画
像のX列データをBX 、C画像のX列データをCX とす
る。
像のX列データをBX 、C画像のX列データをCX とす
る。
【0139】1)X<n または X<eのとき
Cx =Ax
2)n≦X<p+1 かつ e≦X<e+m のとき
Cx =MIN(AX 、(1−f)×BX-e +f×B
X-e+1 )) 3)p+1 ≦X または e+m≦X のとき Cx =(1−f)×BX-e +f×BX-e+1 C画像は、1)の範囲ではA画像だけから、2)の範囲
ではA画像とB画像の両方から、3)の範囲ではB画像
だけから作られる。
X-e+1 )) 3)p+1 ≦X または e+m≦X のとき Cx =(1−f)×BX-e +f×BX-e+1 C画像は、1)の範囲ではA画像だけから、2)の範囲
ではA画像とB画像の両方から、3)の範囲ではB画像
だけから作られる。
【0140】また、MIN(u、v)は、uとvのうち
小なる値を選択する演算子である。A画像とB画像を重
ね合わせて比較した際、同一要素を捉えているにもかか
わらず、より明るいことを示すデータには、まつげやゴ
ーストが重畳していると推定できる。瞳孔の輝度に対し
てまつげの輝度は常に高く、また、ゴーストが重畳した
ところは常に明るくなることから、小なる値を選択する
演算子MIN(u,v)を用いるとこのような外乱を排
除したC画像を生成することが可能である。
小なる値を選択する演算子である。A画像とB画像を重
ね合わせて比較した際、同一要素を捉えているにもかか
わらず、より明るいことを示すデータには、まつげやゴ
ーストが重畳していると推定できる。瞳孔の輝度に対し
てまつげの輝度は常に高く、また、ゴーストが重畳した
ところは常に明るくなることから、小なる値を選択する
演算子MIN(u,v)を用いるとこのような外乱を排
除したC画像を生成することが可能である。
【0141】図28の、眼画像80a(A画像)に見ら
れるゴースト94と眼画像80b(B画像)に見られる
ゴースト95は同一位置にないため、C画像では不要情
報であるゴーストが排除され、必要情報である瞳孔が補
完されている。
れるゴースト94と眼画像80b(B画像)に見られる
ゴースト95は同一位置にないため、C画像では不要情
報であるゴーストが排除され、必要情報である瞳孔が補
完されている。
【0142】このようなゴーストは、ファインダ光学
系,眼鏡,角膜での複数回反射で生じるが、特に眼鏡を
使用したときに多くなる。観察者が眼鏡を使用している
ときに、このMIN(u、v)演算子は特に有効であ
る。そこで、画像合成アルゴリズムを複数用意してお
き、公知の眼鏡判定手段によって眼鏡を使用していると
判定されたときはMIN(u、v)演算子を選択するよ
うにすると良い。
系,眼鏡,角膜での複数回反射で生じるが、特に眼鏡を
使用したときに多くなる。観察者が眼鏡を使用している
ときに、このMIN(u、v)演算子は特に有効であ
る。そこで、画像合成アルゴリズムを複数用意してお
き、公知の眼鏡判定手段によって眼鏡を使用していると
判定されたときはMIN(u、v)演算子を選択するよ
うにすると良い。
【0143】再び図23のフローチャートに戻って、ス
テップ#311においては、続くステップ#316での
処理の対象に先に合成した、図27のようなC画像を指
定する。
テップ#311においては、続くステップ#316での
処理の対象に先に合成した、図27のようなC画像を指
定する。
【0144】次に、ステップ#306よりステップ#3
12へ分岐した場合についてを説明する。
12へ分岐した場合についてを説明する。
【0145】ステップ#312においては、先のステッ
プ#305にてB画像のプルキニエ像の検出が成功した
かどうかを判定する。失敗の場合にはステップ#313
に分岐し、成功していれば、次のステップ#314に移
行する。ステップ#313においては、上記ステップ#
306とステップ#312の判定が何れもN(NOを意
味する)であって、A画像,B画像ともにプルキニエ像
の検出に失敗していることから、これ以上の視線検出処
理を行わず、FLGeをリセットしてサブルーチンをリ
ターンする。
プ#305にてB画像のプルキニエ像の検出が成功した
かどうかを判定する。失敗の場合にはステップ#313
に分岐し、成功していれば、次のステップ#314に移
行する。ステップ#313においては、上記ステップ#
306とステップ#312の判定が何れもN(NOを意
味する)であって、A画像,B画像ともにプルキニエ像
の検出に失敗していることから、これ以上の視線検出処
理を行わず、FLGeをリセットしてサブルーチンをリ
ターンする。
【0146】一方、ステップ#314は、先のステップ
#306,#312の判定を経て、B画像のみでプルキ
ニエ像の検出が成功している場合の処理である。
#306,#312の判定を経て、B画像のみでプルキ
ニエ像の検出が成功している場合の処理である。
【0147】視線センサの受光部間にある不感帯が影響
して本来光学的には存在するプルキニエ像を画像として
捉えることができなかったり、プルキニエ像に眼鏡の反
射光によるゴーストや太陽光が重畳して、一方の画像の
みしかプルキニエ像が検出されないことがある。また、
ファインダ光学系をかなり斜めから覗いたときには、プ
ルキニエ像を形成する光束の反射面が角膜から外れてし
まうために像が消失し、一方の画像のみにプルキニエ像
が現れることもある。このような場合、続くステップ#
316での処理の対象にプルキニエ像を捉えることがで
きたB画像を指定する。
して本来光学的には存在するプルキニエ像を画像として
捉えることができなかったり、プルキニエ像に眼鏡の反
射光によるゴーストや太陽光が重畳して、一方の画像の
みしかプルキニエ像が検出されないことがある。また、
ファインダ光学系をかなり斜めから覗いたときには、プ
ルキニエ像を形成する光束の反射面が角膜から外れてし
まうために像が消失し、一方の画像のみにプルキニエ像
が現れることもある。このような場合、続くステップ#
316での処理の対象にプルキニエ像を捉えることがで
きたB画像を指定する。
【0148】次に、上記ステップ#307よりステップ
#315へ分岐した場合について説明する。
#315へ分岐した場合について説明する。
【0149】ステップ#315は、ステップ#306と
ステップ#307の判定を経て、A画像のみでプルキニ
エ像の検出が成功している場合の処理であって、ステッ
プ#314と類似の現象が生じている。この場合、続く
ステップ#316での処理の対象にプルキニエ像を捉え
ることができたA画像を指定する。
ステップ#307の判定を経て、A画像のみでプルキニ
エ像の検出が成功している場合の処理であって、ステッ
プ#314と類似の現象が生じている。この場合、続く
ステップ#316での処理の対象にプルキニエ像を捉え
ることができたA画像を指定する。
【0150】A画像,B画像の両方でプルキニエ像を捉
えることができた場合の処理を第一の演算モード、A画
像とB画像のどちらかで捉えることができた場合の処理
を第二の演算モードとすれば、第一の演算モードと第二
の演算モードとが自動的に切り替わるので、ほとんどの
場合でステップ#316以降の処理に基づく注視点出力
を得ることが可能である。
えることができた場合の処理を第一の演算モード、A画
像とB画像のどちらかで捉えることができた場合の処理
を第二の演算モードとすれば、第一の演算モードと第二
の演算モードとが自動的に切り替わるので、ほとんどの
場合でステップ#316以降の処理に基づく注視点出力
を得ることが可能である。
【0151】例えば、より斜めからファインダを覗いた
場合には一方の画像ではプルキニエ像が捉えられなくな
るが、第二の演算モードによる視線検出を行うことで、
検出不能状態になり難い視線検出装置を実現することが
でき、また、ゴーストのために瞳孔の検出やプルキニエ
像の検出が一方の眼画像についてできない場合であって
も、第二の演算モードによって検出不能状態にならない
視線検出装置を実現することができる。
場合には一方の画像ではプルキニエ像が捉えられなくな
るが、第二の演算モードによる視線検出を行うことで、
検出不能状態になり難い視線検出装置を実現することが
でき、また、ゴーストのために瞳孔の検出やプルキニエ
像の検出が一方の眼画像についてできない場合であって
も、第二の演算モードによって検出不能状態にならない
視線検出装置を実現することができる。
【0152】ステップ#316へ移行すると、ここでは
指定された画像について、プルキニエ像の重心と瞳孔像
重心の相対ズレ量を算出する。そして、次のステップ#
317において、上記ステップ#316で求めたプルキ
ニエ像の重心と瞳孔像重心の相対ズレ量をファインダ上
の注視点情報に変換する。なお、ステップ#316,#
317の処理については、特開平6−158772号に
詳述されている。
指定された画像について、プルキニエ像の重心と瞳孔像
重心の相対ズレ量を算出する。そして、次のステップ#
317において、上記ステップ#316で求めたプルキ
ニエ像の重心と瞳孔像重心の相対ズレ量をファインダ上
の注視点情報に変換する。なお、ステップ#316,#
317の処理については、特開平6−158772号に
詳述されている。
【0153】ここで、シフト量決定に失敗し、上記ステ
ップ#316での処理の対象にA画像とB画像の二つが
指定されている(#319にて)場合の注視点の求め方
について説明する。
ップ#316での処理の対象にA画像とB画像の二つが
指定されている(#319にて)場合の注視点の求め方
について説明する。
【0154】この場合は、指定された画像についてのプ
ルキニエ像の重心と瞳孔像重心の相対ズレ量を算出する
演算、画像についてのプルキニエ像の重心と瞳孔像重心
の相対ずれ量をファインダ上の注視点情報に変換する演
算が二度行われ、二つのファインダ上の注視点情報が求
められる。
ルキニエ像の重心と瞳孔像重心の相対ズレ量を算出する
演算、画像についてのプルキニエ像の重心と瞳孔像重心
の相対ずれ量をファインダ上の注視点情報に変換する演
算が二度行われ、二つのファインダ上の注視点情報が求
められる。
【0155】そこで、求められた二つのファインダ上の
注視点情報の平均をとり、最終的なファインダ上の注視
点情報とする。
注視点情報の平均をとり、最終的なファインダ上の注視
点情報とする。
【0156】最後に、ステップ#318において、視線
検出が成功したので、FLGeをセットしてサブルーチ
ンをリターンする。
検出が成功したので、FLGeをセットしてサブルーチ
ンをリターンする。
【0157】図30のフローチャートは、視線検出・A
F制御回路40内のROMに書き込まれている制御プロ
グラムである。
F制御回路40内のROMに書き込まれている制御プロ
グラムである。
【0158】同図において、AF制御サブルーチンがス
タートすると、ステップ#401において、視線検出結
果に基づき、注視点上に焦点検出点を指定し、固体撮像
素子6上の焦点検出点を取り囲む矩形領域を焦点検出用
の画像データを取得すべき領域、および、焦点検出演算
の対照領域とする。次のステップ#402においては、
固体撮像素子6を第2の出力モードで駆動し、焦点検出
用の画像データを取得する。続くステップ#403にお
いては、上記ステップ#402で取得した画像データを
用いて、焦点検出演算を行う。得られたデフォーカス量
はフォーカシングレンズの駆動量に変換する。最後にス
テップ#404において、カメラシステム制御回路35
を介して、レンズシステム制御回路41にフォーカシン
グレンズの駆動量を伝達する。これを受けて、レンズシ
ステム制御回路41はフォーカシングレンズを結像レン
ズの光軸L1方向に移動させ、焦点調節が成される。
タートすると、ステップ#401において、視線検出結
果に基づき、注視点上に焦点検出点を指定し、固体撮像
素子6上の焦点検出点を取り囲む矩形領域を焦点検出用
の画像データを取得すべき領域、および、焦点検出演算
の対照領域とする。次のステップ#402においては、
固体撮像素子6を第2の出力モードで駆動し、焦点検出
用の画像データを取得する。続くステップ#403にお
いては、上記ステップ#402で取得した画像データを
用いて、焦点検出演算を行う。得られたデフォーカス量
はフォーカシングレンズの駆動量に変換する。最後にス
テップ#404において、カメラシステム制御回路35
を介して、レンズシステム制御回路41にフォーカシン
グレンズの駆動量を伝達する。これを受けて、レンズシ
ステム制御回路41はフォーカシングレンズを結像レン
ズの光軸L1方向に移動させ、焦点調節が成される。
【0159】(実施の第2の形態)次に、シフト量決定
に失敗した場合の他の注視点の求め方を、本発明の実施
の第2の形態として、以下に説明する。なお、カメラの
構成は上記実施の第1の形態と同様であるので、その説
明は省略する。
に失敗した場合の他の注視点の求め方を、本発明の実施
の第2の形態として、以下に説明する。なお、カメラの
構成は上記実施の第1の形態と同様であるので、その説
明は省略する。
【0160】本発明の実施の第2の形態では、求められ
た二つのファインダ上の注視点情報の信頼性を用いて、
最終的なファインダ上の注視点情報を求める。
た二つのファインダ上の注視点情報の信頼性を用いて、
最終的なファインダ上の注視点情報を求める。
【0161】上記ステップ#316で求められた二つの
ファインダ上の注視点情報のうち、その信頼性の高い方
を最終的なファインダ上の注視点情報とする。もしく
は、その信頼性によって重み付けされた加重平均を求め
て最終的なファインダ上の注視点情報とする。
ファインダ上の注視点情報のうち、その信頼性の高い方
を最終的なファインダ上の注視点情報とする。もしく
は、その信頼性によって重み付けされた加重平均を求め
て最終的なファインダ上の注視点情報とする。
【0162】信頼性によって重み付けされた加重平均
は、以下の式で求められる。
は、以下の式で求められる。
【0163】加重平均=(RA×PA+RB×PB)/
(RA+RB) 但し、 RA:A画像より求めた注視点情報の信頼性 PA:A画像より求めた注視点情報 RB:B画像より求めた注視点情報の信頼性 PB:B画像より求めた注視点情報 である。もちろんこの計算は水平方向、垂直方向につい
て各々行われる。
(RA+RB) 但し、 RA:A画像より求めた注視点情報の信頼性 PA:A画像より求めた注視点情報 RB:B画像より求めた注視点情報の信頼性 PB:B画像より求めた注視点情報 である。もちろんこの計算は水平方向、垂直方向につい
て各々行われる。
【0164】なお、信頼性は、ステップ#316でファ
インダ上の注視点を求める際に算出されるが、その算出
方法は特開平6−018772号などと同様の方法を用
いれば良いので、その詳細は省略する。
インダ上の注視点を求める際に算出されるが、その算出
方法は特開平6−018772号などと同様の方法を用
いれば良いので、その詳細は省略する。
【0165】以上の実施の各形態によれば、結像光学系
により複数の眼画像を形成するとともに、前記演算手段
により前記複数の眼画像をもとに合成した眼画像を用い
て注視点を算出することにより、まつげの態様やファイ
ンダの覗き方等の個人差について寛容で、しかも、高精
度な視線検出装置を実現するものである。
により複数の眼画像を形成するとともに、前記演算手段
により前記複数の眼画像をもとに合成した眼画像を用い
て注視点を算出することにより、まつげの態様やファイ
ンダの覗き方等の個人差について寛容で、しかも、高精
度な視線検出装置を実現するものである。
【0166】特に、複数のプルキニエ像の間隔から視線
検出装置(詳しくは図25の様に、受光レンズから)か
ら観察者の眼球までの距離を求め、その距離と光学部材
(詳しくは図25の受光レンズ)の光学的配置(詳しく
は、受光レンズの焦点距離や基線長)から求めた複数の
眼画像を合成する際のずらし量SB2と、形成された各
々の眼画像から求められたプルキニエ像の位置の差によ
って求められるずらし量SB1が略等しいときに、その
値によって複数の眼画像を合成するようにしているの
で、複数の眼画像をもとに行う眼画像の合成を高速かつ
高精度に行うことが可能となる。
検出装置(詳しくは図25の様に、受光レンズから)か
ら観察者の眼球までの距離を求め、その距離と光学部材
(詳しくは図25の受光レンズ)の光学的配置(詳しく
は、受光レンズの焦点距離や基線長)から求めた複数の
眼画像を合成する際のずらし量SB2と、形成された各
々の眼画像から求められたプルキニエ像の位置の差によ
って求められるずらし量SB1が略等しいときに、その
値によって複数の眼画像を合成するようにしているの
で、複数の眼画像をもとに行う眼画像の合成を高速かつ
高精度に行うことが可能となる。
【0167】
【発明の効果】以上説明したように、本発明によれば、
複数の眼画像をもとに行う眼画像の合成を高速かつ高精
度に行い、精度の良い視線検出を行うことができる視線
検出装置を提供できるものである。
複数の眼画像をもとに行う眼画像の合成を高速かつ高精
度に行い、精度の良い視線検出を行うことができる視線
検出装置を提供できるものである。
【図1】本発明の実施の第1の形態に係る視線検出装置
を搭載したデジタルカラーカメラの構成図である。
を搭載したデジタルカラーカメラの構成図である。
【図2】本発明の実施の第1の形態に係るLEDの発光
特性を示す図である。
特性を示す図である。
【図3】本発明の実施の第1の形態に係るダイクロイッ
クミラーの分光反射率特性を示す図である。
クミラーの分光反射率特性を示す図である。
【図4】本発明の実施の第1の形態に係るデジタルカラ
ーカメラの電気的構成を示すブロック図である。
ーカメラの電気的構成を示すブロック図である。
【図5】本発明の実施の第1の形態に係る固体撮像素子
内のエリアセンサ部の回路構成図である。
内のエリアセンサ部の回路構成図である。
【図6】本発明の実施の第1の形態に係る受光部の断面
図である。
図である。
【図7】本発明の実施の第1の形態においてマイクロレ
ンズと受光部との位置関係を示す平面図である。
ンズと受光部との位置関係を示す平面図である。
【図8】本発明の実施の第1の形態に係るエリアセンサ
部の断面図である。
部の断面図である。
【図9】本発明の実施の第1の形態に係る眼球照明系の
側面図である。
側面図である。
【図10】本発明の実施の第1の形態に係る眼球照明系
の正面図である。
の正面図である。
【図11】本発明の実施の第1の形態に係る照明光路の
展開図である。
展開図である。
【図12】本発明の実施の第1の形態に係る拡散板の説
明図である。
明図である。
【図13】本発明の実施の第1の形態において正面から
見た眼部を表す図である。
見た眼部を表す図である。
【図14】本発明の実施の第1の形態において視野角度
と視細胞数の関係を示した図である。
と視細胞数の関係を示した図である。
【図15】本発明の実施の第1の形態においてファイン
ダ視野と照明系との関係を示す説明図である。
ダ視野と照明系との関係を示す説明図である。
【図16】本発明の実施の第1の形態においてレンズ面
に増透コートを施した眼鏡の分光反射率特性の例であ
る。
に増透コートを施した眼鏡の分光反射率特性の例であ
る。
【図17】本発明の実施の第1の形態に係る眼球撮像系
の光路展開図である。
の光路展開図である。
【図18】本発明の実施の第1の形態に係る絞りの平面
図である。
図である。
【図19】本発明の実施の第1の形態に係る複眼レンズ
の平面図である。
の平面図である。
【図20】本発明の実施の第1の形態に係る視線センサ
の平面図である。
の平面図である。
【図21】本発明の実施の第1の形態に係る視線センサ
のエリアセンサ部と眼画像との関係を示す図である。
のエリアセンサ部と眼画像との関係を示す図である。
【図22】本発明の実施の第1の形態に係るカメラの動
作を示すフローチャートである。
作を示すフローチャートである。
【図23】同じく本発明の実施の第1の形態に係るカメ
ラの動作を示すフローチャートである。
ラの動作を示すフローチャートである。
【図24】本発明の実施の第1の形態においてプルキニ
エ像と瞳孔との関係を示す説明図である。
エ像と瞳孔との関係を示す説明図である。
【図25】図23のステップ#308での動作説明を助
ける為の図である。
ける為の図である。
【図26】図23のステップ#308にて実行される動
作の詳細を示すフローチャートである。
作の詳細を示すフローチャートである。
【図27】本発明の実施の第1の形態において合成画像
であるC画像の説明図である。
であるC画像の説明図である。
【図28】本発明の実施の第1の形態においてA画像と
B画像のプルキニエ像の座標の差を示す説明図である。
B画像のプルキニエ像の座標の差を示す説明図である。
【図29】本発明の実施の第1の形態においてA画像と
B画像のプルキニエ像の座標の差を示す説明図である。
B画像のプルキニエ像の座標の差を示す説明図である。
【図30】本発明の実施の第1の形態においてAF制御
を示すフローチャートである。
を示すフローチャートである。
6 固体撮像素子
10 眼球照明プリズム
11 LED
12,13 拡散板
14 ダイクロイックミラー
16 光路変更プリズム
17 複眼レンズ
18 視線センサ
30 A/D変換器
31 RGB画像処理回路
32 YC処理回路
33 記録処理回路
24 再生処理回路
35 カメラシステム制御回路
36 操作検出回路
37 固体撮像素子用の駆動回路
Claims (2)
- 【請求項1】 ファインダ光学系を通して観察者の眼の
複数の眼画像を形成する結像光学系と、プルキニエ像を
形成するための複数の光源と、前記複数の眼画像それぞ
れに含まれる前記プルキニエ像を抽出し、該複数のプル
キニエ像を基に前記複数の眼画像を合成し、該合成した
眼画像から観察者の注視点を算出する演算手段とを有す
る視線検出装置であって、 前記光源の並び方向と直交する方向の座標が略等しいも
のを、前記複数のプルキニエ像として、前記複数の眼画
像より抽出することを特徴とする視線検出装置。 - 【請求項2】 前記複数の眼画像から抽出された複数の
プルキニエ像から求まる前記複数の眼画像の第1のずれ
量と、前記複数のプルキニエ像の各プルキニエ像ペアの
間隔から求まる観察者の眼までの距離と光学部材の光学
的配置とから算出される複数の眼画像の第2のずれ量と
を比較し、前記第1のずれ量と前記第2のずれ量が略等
しいときに、その値を前記複数の眼画像のずれ量とし、
該ずれ量を用いて前記複数の眼画像を合成することを特
徴とする請求項1に記載の視線検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001185759A JP2003000544A (ja) | 2001-06-20 | 2001-06-20 | 視線検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001185759A JP2003000544A (ja) | 2001-06-20 | 2001-06-20 | 視線検出装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2003000544A true JP2003000544A (ja) | 2003-01-07 |
Family
ID=19025291
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001185759A Pending JP2003000544A (ja) | 2001-06-20 | 2001-06-20 | 視線検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2003000544A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0489058A (ja) * | 1990-07-31 | 1992-03-23 | Ya Man Ltd | 接触温度を可変できる超音波美容装置 |
JP2007029712A (ja) * | 2005-06-23 | 2007-02-08 | Honda Motor Co Ltd | 視線検出装置 |
JP2008032828A (ja) * | 2006-07-26 | 2008-02-14 | Fujifilm Corp | 撮像装置、及びカメラ付き携帯電話機 |
JP2012115505A (ja) * | 2010-12-01 | 2012-06-21 | Fujitsu Ltd | 視線検出装置及び視線検出方法 |
JP2015013031A (ja) * | 2013-07-05 | 2015-01-22 | ソニー株式会社 | 視線検出装置及び視線検出方法 |
CN112914822A (zh) * | 2019-12-06 | 2021-06-08 | 施温德眼科技术解决方式有限公司 | 基于浦肯野图像确定眼外科手术激光器的患者接口当前位置的方法 |
WO2022196047A1 (ja) * | 2021-03-17 | 2022-09-22 | ソニーグループ株式会社 | ファインダー及び撮像装置 |
-
2001
- 2001-06-20 JP JP2001185759A patent/JP2003000544A/ja active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0489058A (ja) * | 1990-07-31 | 1992-03-23 | Ya Man Ltd | 接触温度を可変できる超音波美容装置 |
JP2007029712A (ja) * | 2005-06-23 | 2007-02-08 | Honda Motor Co Ltd | 視線検出装置 |
JP2008032828A (ja) * | 2006-07-26 | 2008-02-14 | Fujifilm Corp | 撮像装置、及びカメラ付き携帯電話機 |
JP2012115505A (ja) * | 2010-12-01 | 2012-06-21 | Fujitsu Ltd | 視線検出装置及び視線検出方法 |
JP2015013031A (ja) * | 2013-07-05 | 2015-01-22 | ソニー株式会社 | 視線検出装置及び視線検出方法 |
CN112914822A (zh) * | 2019-12-06 | 2021-06-08 | 施温德眼科技术解决方式有限公司 | 基于浦肯野图像确定眼外科手术激光器的患者接口当前位置的方法 |
WO2022196047A1 (ja) * | 2021-03-17 | 2022-09-22 | ソニーグループ株式会社 | ファインダー及び撮像装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4908668B2 (ja) | 焦点検出装置 | |
TWI419551B (zh) | 固態全景影像擷取裝置 | |
CN102203655B (zh) | 摄像设备 | |
JP5066851B2 (ja) | 撮像装置 | |
JPH07128579A (ja) | 視線検知方法、視線検知手段及び該視線検知手段を有する映像機器 | |
JP5207797B2 (ja) | 撮像装置およびその制御方法 | |
JP5133533B2 (ja) | 撮像装置 | |
US7794084B2 (en) | Eye fundus camera | |
CN107534747B (zh) | 拍摄元件以及拍摄装置 | |
JP4983271B2 (ja) | 撮像装置 | |
JP2008152012A (ja) | 撮像素子、焦点検出装置および撮像装置 | |
JP2008072470A (ja) | 光電変換素子および撮像装置 | |
JPH07174536A (ja) | 3次元形状測定装置 | |
JP2003250080A (ja) | 撮影装置および撮影システム | |
JP2014056014A (ja) | 撮像素子および撮像装置 | |
JP4858179B2 (ja) | 焦点検出装置および撮像装置 | |
JP5251323B2 (ja) | 撮像装置 | |
JP5348258B2 (ja) | 撮像装置 | |
JP2003000544A (ja) | 視線検出装置 | |
JP7091053B2 (ja) | 撮像装置および焦点検出方法 | |
JP2002191060A (ja) | 3次元撮像装量 | |
JP2000201289A (ja) | 映像入出力装置及び映像取得方法 | |
JP2001258844A (ja) | 視線検出装置 | |
JP2001258845A (ja) | 視線検出装置 | |
JP2010014950A (ja) | 撮像装置 |