JP2001258844A

JP2001258844A - 視線検出装置

Info

Publication number: JP2001258844A
Application number: JP2000071980A
Authority: JP
Inventors: Yasuo Suda; 康夫須田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2000-03-15
Filing date: 2000-03-15
Publication date: 2001-09-25

Abstract

(57)【要約】【課題】観察者が正常な視線検出動作をしているのか
を認識できるようにし、眼球照明系への雨，雪，埃等の
付着に起因する視線検出の不具合を未然に防ぐようにす
る。【解決手段】観察者の眼を照明する眼球照明系１０，
１１と、光学系１０を通して観察者の眼の画像を形成す
る結像光学系とを有し、前記眼球照明系は、前記光学系
を通して観察される物体視野より外側から観察者の眼に
向かって可視光を投光する発光部１１と、該発光部より
の可視光を視認可能とする観察光学系１０ａとを有す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、カメラ等に用いら
れる視線検出装置の改良に関するものである。

【０００２】

【従来の技術】従来より、ファインダを観察する観察者
の視線方向を検出して、この結果をカメラの焦点検出点
や測距点選択等に用いる技術が知られている。ここに用
いられる視線検出装置は、例えば、特開平６−１８７７
２号に開示されているものであって、赤外光を観察者の
眼部に照射し、戻ってきた反射光から眼画像を形成し
て、この眼画像データに基づいて視線検出を行う。

【０００３】通常、眼画像には瞼や瞳孔の他に、角膜で
の光源の反射像である第一プルキンエ像が認められる。
瞳孔と第一プルキンエ像との位置関係は眼球の回転に応
じて変化するので、眼画像から瞳孔と第一プルキンエ像
の情報を抽出することによって、注視点を検出すること
が可能である。

【０００４】

【発明が解決しようとする課題】前述のように、特開平
６−１８７７２号に開示される従来型の視線検出装置で
は、観察者の眼部に赤外光を照射している。人の視細胞
には赤外光に感度がないことに起因して、眼球照明系に
雨，雪，埃等が付着して正常に眼球の照明が行われてい
なくても、この不具合を認識することはできない。元
々、ファインダ観察者はどこから照明光が射出している
のかを意識していないので、照明光の射出部に雨，雪，
埃等が付着するのを防ぐこともない。本当に正常な動作
をしているのかを知ることができない赤外光を用いた検
出動作は、ファインダ観察者に不安感を与えることにも
なっている。

【０００５】このように、眼球の照明が正しく行われな
いと、第一プルキンエ像が形成されず、視線検出ができ
ないか、あるいは、極めて大きい誤差を含んだ検出結果
を出力することとなる。

【０００６】なお、特開平８−９８８０７号等に開示さ
れているように、眼科装置の分野では、赤外光ではなく
可視光を用いて眼底に指標を投影する技術が知られてい
るが、これは被検者が指標を固視して視軸を固定できる
ようにするためのものであって、ファインダ観察を妨げ
ることなく眼球を照明しなければならない、本発明の眼
球照明系には応用することはできない。

【０００７】また、ファインダ観察者が眼鏡を使用して
いる場合、眼鏡の赤外反射光が原因して、不具合を生じ
ることがある。眼鏡の増透コートは可視光域に於いて反
射率を低減することを目的としており、赤外光がどんな
反射特性を持つかは眼鏡の使用者にとって全く関係がな
い。

【０００８】使用者が眼鏡を通してよりクリアな視界を
得るためには可視光域の反射率をできるだけ下げる必要
があるが、これは誘電体膜の多層コートを施すことで実
現できる。ところが、多層コートを行うと、赤外光域で
の反射率が逆に大きくなるという特性がある。この現象
は、可視域の反射率を抑えるほど顕著となり、時には赤
外反射光が視線検出動作を妨げるほどに増加する。眼画
像上で眼鏡からの反射光によるゴーストが瞳孔や第一プ
ルキンエ像に重畳すると、視線検出ができないか、ある
いは、極めて大きい誤差を含んだ検出結果を出力するこ
ととなる。

【０００９】（発明の目的）本発明の第１の目的は、観
察者が正常な視線検出動作をしているのかを認識できる
ようにし、眼球照明系への雨，雪，埃等の付着に起因す
る視線検出の不具合を未然に防ぐことのできる視線検出
装置を提供しようとするものである。

【００１０】本発明の第２の目的は、眼鏡の増透コート
に起因するゴーストの影響を受けにくくすることのでき
る視線検出装置を提供しようとするものである。

【００１１】本発明の第３の目的は、観察の妨げになら
ない視線検出装置を提供しようとするものである。

【００１２】本発明の第４の目的は、より高精度な視線
検出装置を提供しようとするものである。

【００１３】本発明の第５の目的は、より簡単な構成と
し、小型化することのできる視線検出装置を提供しよう
とするものである。

【００１４】

【課題を解決するための手段】上記第１の目的を達成す
るために、請求項１及び２に記載の発明は、観察者の眼
を照明する眼球照明系と、光学系を通して観察者の眼の
画像を形成する結像光学系とを有した視線検出装置にお
いて、前記眼球照明系は、前記光学系を通して観察され
る物体視野より外側から観察者の眼に向かって可視光を
投光する発光部と、該発光部よりの可視光を視認可能と
する観察光学系とを有する視線検出装置とするものであ
る。

【００１５】上記構成においては、光学系を通して観察
される物体像視野より外側から、発光部より観察者の眼
に向かって可視光を投光して、観察者の眼を照明するよ
うにしている。

【００１６】また、上記第２の目的を達成するために、
請求項２に記載の発明は、発光部より投光される可視光
を、そのピーク波長が７００nm付近にあり、４００nmか
ら７００nmの可視域にも強度分布の裾が含まれるものと
する請求項１に記載の視線検出装置とするものである。

【００１７】また、上記第３の目的を達成するために、
請求項３に記載の発明は、発光部の観察者の眼への投光
角を、観察者の眼が光学系のアイポイントにある際に、
前記物体像視野より外側へ８°以上とし、かつ、前記発
光部の可視光を赤色光とする請求項１又は２に記載の視
線検出装置とするものである。

【００１８】また、上記第４の目的を達成するために、
請求項４に記載の発明は、発光部より投光される可視光
を特定方向に拡散する光拡散手段を有する請求項１〜３
の何れかに記載の視線検出装置とするものである。

【００１９】また、上記第５の目的を達成するために、
請求項５に記載の発明は、発光部を、光学系の物体視野
を形成する窓部材と一体に構成した請求項１〜４の何れ
かに記載の視線検出装置とするものである。

【００２０】

【発明の実施の形態】以下、本発明を図示の実施の形態
に基づいて詳細に説明する。

【００２１】図１は本発明の実施の第１の形態に係る視
線検出装置を搭載したデジタルカラーカメラの概略構成
を示す図である。

【００２２】このカメラは、ＣＣＤあるいはＣＭＯＳセ
ンサなどの固体撮像素子を用いた単板式のデジタルカラ
ーカメラであり、固体撮像素子を連続的または単発的に
駆動して動画像または静止画像を表わす画像信号を得
る。ここで、固体撮像素子とは、露光した光を各画素毎
に電気信号に変換してその光量に応じた電荷をそれぞれ
蓄積し、その電荷を読み出すタイプの撮像デバイスであ
る。

【００２３】同図において、１はカメラ本体、２は内部
に結像光学系３を有した撮像レンズである。この撮像レ
ンズ２は、公知のマウントを介してカメラ本体１に電気
的、機械的に接続されている。焦点距離の異なる撮像レ
ンズに交換することによって、様々な画角の撮影画面を
得ることが可能である。また、結像光学系３の一部の要
素であるフォーカシングレンズを不図示の駆動機構によ
って光軸Ｌ１方向に移動させることによって、物体のピ
ント合わせを行う。

【００２４】４は光学ローパスフィルタ、５はメカニカ
ルシャッタ、６は固体撮像素子である。前記光学ローパ
スフィルタ４は、固体撮像素子６上に必要以上に高い空
間周波数の物体像が形成されないように結像光学系３の
カットオフ周波数を制限するものである。また、該光学
ローパスフィルタ４上には赤外線カットフィルタも形成
されている。前記固体撮像素子６で捉えられた物体像は
液晶ディスプレー７上に表示される。なお、該固体撮像
素子６は、増幅型固体撮像装置の１つであるＣＭＯＳプ
ロセスコンパチブルのセンサ（以降ＣＭＯＳセンサと略
す）である。ＣＭＯＳセンサの特長の一つに、エリアセ
ンサ部のＭＯＳトランジスタと周辺回路のＭＯＳトラン
ジスタを同一工程で形成できるため、マスク枚数、プロ
セス工程がＣＣＤと比較して大幅に削減できるというこ
とが挙げられる。この特徴を利用すると、二つの光電変
換部の電荷を同時、または、別々にフローティングディ
フュージョン領域（ＦＤ領域）へ転送でき、ＦＤ領域に
接続した転送ＭＯＳトランジスタのタイミングだけで、
二つの光電変換部の信号電荷の加算、非加算を簡単に行
うことができる。

【００２５】上記固体撮像素子６は、前述したような構
造を利用して、撮像レンズの射出瞳全体からの光束を受
光する第１の出力モードと、撮像レンズの射出瞳の一部
からの光束を受光する第２の出力モードとを切り替え可
能としている。第１の出力モードでの出力は、撮像とフ
ァインダ出力に、第２の出力モードでの出力は、焦点検
出とファインダ出力に用いられる。画素レベルで信号の
加算を行う第１の出力モードにおいては、信号を読み出
した後で加算する方式に比べてノイズの少ない信号を得
ることができる。

【００２６】８，９は液晶ディスプレー７を観察するた
めの凹レンズと凸レンズであって、総合的に正のパワー
を有し、１０はファインダ光学系の保護を兼ねた眼球照
明プリズムであって、ファインダ光路部分は平行平板で
構成され、ファインダ光学系の窓部材となっている。こ
れらはファインダ光学系を構成している。前記凸レンズ
９をファインダ光軸Ｌ２に沿って移動させることによ
り、視度を調節し、観察者に適切な液晶ディスプレー７
の見え具合を得ることができる。また、１２および１３
は射出光を特定方向に拡散する光拡散手段であるところ
の拡散板である。

【００２７】前記眼球照明プリズム１０の側方には、図
２に示す発光特性の赤色光を発する発光部であるところ
のＬＥＤ１１等が取り付けられており、該ＬＥＤ１１よ
り発せられた光は眼球照明プリズム１０の内部を透過
し、さらに、拡散板１２あるいは１３を透過してカメラ
の外部に射出される。これらは観察者の眼部を照明する
眼球照明系である。

【００２８】前記ＬＥＤ１１の発光中心波長は７２０nm
であって（図２参照）、この波長における比視感度はか
なり低い。しかし、発光強度の裾が短波長側に延びてい
ることもあって十分に視認可能である。したがって、観
察者が意識すれば、ＬＥＤ１１の発光を通して視線検出
装置の作動状態を知ることができる。

【００２９】凹レンズ８，凸レンズ９，眼球照明プリズ
ム１０のファインダ光路の有効部には、ＬＥＤ１１の発
光波長を含むように可視域から７６０nm程度の波長に対
して増透コートが施されている。これは、眼部の照明が
ファインダ光学系で反射して再び眼に戻り、赤いゴース
トとして見えてしまうのを防ぐことと、次に述べる眼画
像撮像系にゴーストが重畳するのを可能な限り防ぐため
である。

【００３０】ファインダ光学系の光路中、液晶ディスプ
レー７と凹レンズ８の間には、ダイクロイックミラー１
４が配置され、ファインダから逆に入ってくる光を上方
に分割している。図３はダイクロイックミラー１４の分
光反射率特性であり、６７０nmを半値としたシャープカ
ット特性を示す。したがって、図２に示したＬＥＤ１１
の発光波長域の光は反射し、該ＬＥＤ１１で照らされた
観察者の眼部からの反射光は、眼球照明プリズム１０，
凸レンズ９，凹レンズ８を逆に通った後、ダイクロイッ
クミラー１４で上方に反射する。

【００３１】また、液晶ディスプレー７に表示された画
像の６７０nmよりも短波長の成分はダイクロイックミラ
ー１４を透過し、凹レンズ８，凸レンズ９，ファインダ
光学系の窓部材である眼球照明プリズム１０を経て射出
される。このとき、厳密には６７０nmよりも長波長の成
分がカットされている訳であるが、この波長域は比視感
度が低いためにファインダ画像に不自然さを生じること
はない。

【００３２】ダイクロイックミラー１４の上方に位置す
る１５はミラー、１６は光路変更プリズム、１７は複眼
レンズ、１８は視線センサである。観察者の眼部からの
反射光はミラー１５で光路を直角に曲げた後、光路変更
プリズム１６，複眼レンズ１７を通って視線センサ１８
上に観察者の眼部の画像を形成する。後述するように、
視差を持った一対の眼部の画像を得ることによって、ま
つげの態様やファインダの覗き方等の個人差について寛
容で、しかも、高精度な視線検出を実現している。

【００３３】１９はメインスイッチ、２０はレリーズボ
タンである。

【００３４】図４は、上記デジタルカラーカメラの電気
的構成を示すブロック図である。

【００３５】まず、カメラの撮像，記録に関する部分か
ら説明する。カメラは、撮像系，画像処理系，記録再生
系，制御系を有する。

【００３６】前記撮像系は、結像光学系３，メカニカル
シャッタ５および固体撮像素子６を含み、前記画像処理
系は、Ａ／Ｄ変換器３０，ＲＧＢ画像処理回路３１およ
びＹＣ処理回路３２を含む。また、前記記録再生系は、
記録処理回路３３および再生処理回路３４を含み、前記
制御系は、カメラシステム制御回路３５，操作検出回路
３６および固体撮像素子駆動回路３７を含む。３８は外
部のコンピュータ等に接続して、データの送受信をする
ための規格化された接続端子である。

【００３７】前記撮像系は、物体からの光を結像光学系
３を介して固体撮像素子６の撮像面に結像する光学処理
系であり、撮像レンズ２の不図示の絞りと、必要に応じ
てさらにメカニカルシャッタ５を調節することで、適切
な光量の被写体像を固体撮像素子６に露光できる。固体
撮像素子６は、長辺方向に３７００画素、短辺方向に２
８００画素の合計約１０００万の画素数を有する撮像デ
バイスが適用されて、画素の前面には赤色（Ｒ），緑色
（Ｇ），青色（Ｂ）の３原色の光学フィルタがモザイク
状に配置されている。

【００３８】固体撮像素子６から読み出された画像信号
は、それぞれＡ／Ｄ変換器３０を介して画像処理系に供
給される。Ａ／Ｄ変換器３０は、露光した各画素の信号
の振幅に応じた、たとえば１０ビットのデジタル信号に
変換して出力する信号変換回路であり、以降の画像信号
処理はデジタル処理にて実行される。

【００３９】前記画像処理系は、Ｒ，Ｇ，Ｂのデジタル
信号から所望の形式の画像信号を得る信号処理回路であ
り、Ｒ，Ｇ，Ｂの色信号を輝度信号Ｙおよび色差信号
（Ｒ−Ｙ），（Ｂ−Ｙ）にて表わされるＹＣ信号などに
変換する。ＲＧＢ画像処理回路３１は、Ａ／Ｄ変換器３
０を介して固体撮像素子６から受けた「３７００×２８
００」画素の画像信号を処理する信号処理回路であり、
ホワイトバランス回路，ガンマ補正回路，補間演算によ
る高解像度化を行う補間演算回路を有する。ＹＣ処理回
路３２は、輝度信号Ｙおよび色差信号Ｒ−Ｙ，Ｂ−Ｙを
生成する信号処理回路であり、高域輝度信号ＹＨを生成
する高域輝度信号発生回路，低域輝度信号ＹＬを生成す
る低域輝度信号発生回路、および、色差信号Ｒ−Ｙ，Ｂ
−Ｙを生成する色差信号発生回路で構成されている。輝
度信号Ｙは高域輝度信号ＹＨと低域輝度信号ＹＬを合成
することによって形成される。

【００４０】前記記録再生系は、メモリへの画像信号の
出力と、液晶ディスプレー７への画像信号の出力とを行
う処理系であり、記録処理回路３３はメモリへの画像信
号の書き込み処理および読み出し処理を行ない、再生処
理回路３４はメモリから読み出した画像信号を再生し
て、液晶ディスプレー７に出力する。また、記録処理回
路３３は、静止画像および動画像を表わすＹＣ信号を所
定の圧縮形式にて圧縮し、また、圧縮データを読み出し
た際に伸張する圧縮伸張回路を内部に有する。圧縮伸張
回路は、信号処理のためのフレームメモリなどを含み、
このフレームメモリに画像処理系からのＹＣ信号をフレ
ーム毎に蓄積して、それぞれ複数のブロック毎に読み出
して圧縮符号化する。圧縮符号化は、たとえば、ブロッ
ク毎の画像信号を二次元直交変換，正規化およびハフマ
ン符号化することにより行なわれる。再生処理回路３４
は、輝度信号Ｙおよび色差信号Ｒ−Ｙ，Ｂ−Ｙをマトリ
ックス変換して、例えばＲＧＢ信号に変換する回路であ
る。再生処理回路３４によって変換された信号は液晶デ
ィスプレー７に出力され、可視画像が表示再生される。

【００４１】一方、前記制御系は、レリーズボタン２０
等の操作を検出する操作検出回路３６と、その検出信号
に応動して各部を制御し、撮像の際のタイミング信号な
どを生成して出力するカメラシステム制御回路３５と、
このカメラシステム制御回路３５の制御の下に固体撮像
素子６を駆動する駆動信号を生成する固体撮像素子駆動
回路３７とを含む。

【００４２】この制御系は、外部操作に応動して前記撮
像系，画像処理系，記録再生系をそれぞれ制御し、例え
ば、レリーズボタン２０の押下を検出して、固体撮像素
子６の駆動、ＲＧＢ画像処理回路３１の動作、記録処理
回路３３の圧縮処理などを制御する。

【００４３】次に、視線検出と焦点調節に関する部分に
ついて説明する。

【００４４】カメラシステム制御回路３５には、さらに
視線検出・ＡＦ制御回路４０とレンズシステム制御回路
４１が接続されている。これらはカメラシステム制御回
路３５を中心にして各々の処理に必要とするデータを相
互に通信している。

【００４５】視線検出・ＡＦ制御回路４０は、ファイン
ダ光学系４２を通して視線センサ１８に投影されたファ
インダ観察者の眼画像からファインダ視野上の観察者の
注視点を検出する。ファインダ光学系４２は、前述した
ように図１に示した凹レンズ８，凸レンズ９および眼球
照明プリズム１０で構成されている。

【００４６】ファインダ視野上の注視点情報からはさら
に注視位置の物体像に結像光学系３のピントを合わせる
べく、注視点上に焦点検出点を設定し、この点の結像状
態を検出する。デフォーカスが検出されると、これを結
像光学系３の一部の要素であるフォーカシングレンズの
駆動量に変換し、カメラシステム制御回路３５を中継し
てレンズシステム制御回路４１に送信する。レンズシス
テム制御回路４１はフォーカシングレンズの駆動量を受
信すると、不図示の駆動機構によってフォーカシングレ
ンズを光軸Ｌ１方向に移動させることによって、注視点
上の物体にピントを合わせる。

【００４７】また、視線検出・ＡＦ制御回路４０によっ
て、注視点上の物体にピントが合っていることが検出さ
れると、この情報はカメラシステム制御回路３５に伝え
られ、カメラシステム制御回路３５による撮像が許可さ
れる。このとき、レリーズボタン２０が押下されれば、
前述のごとく上記の撮像系、画像処理系、記録再生系に
よる撮像制御が成される。

【００４８】さて、固体撮像素子６の構成について説明
する。

【００４９】図５は、固体撮像素子６内のエリアセンサ
部の回路構成図である。同図は、２列×２行画素の二次
元エリアセンサを示したものであるが、実際は、２８０
０列×３７００行等と画素数を多くし、実用的な解像度
を得る。

【００５０】図５において、３０１および３５１はｐｎ
フォトダイオードから成る第１，第２光電変換部、３０
３および３５３は転送スイッチＭＯＳトランジスタ、３
０４はリセット用ＭＯＳトランジスタ、３０５はソース
フォロワアンプＭＯＳトランジスタ、３０６は垂直選択
スイッチＭＯＳトランジスタ、３０７はソースフォロワ
の負荷ＭＯＳトランジスタ、３０８は暗出力転送ＭＯＳ
トランジスタ、３０９は明出力転送ＭＯＳトランジス
タ、３１０は暗出力蓄積容量Ｃ_TN、３１１は明出力蓄積
容量Ｃ_TS、３１２および３５４は垂直転送ＭＯＳトラン
ジスタ、３１３および３５５は垂直出力線リセットＭＯ
Ｓトランジスタ、３１４は差動出力アンプ、３１５は垂
直走査部、３１６は水平走査部である。

【００５１】図６に、受光部（例えば３３０−１１）の
断面図を示す。なお、受光部３３０−２１，３３０−１
２，３３０−２２等も同一の構造である。

【００５２】同図において、３１７はＰ型ウェル、３１
８，３５８はゲート酸化膜、３２０，３５０はポリＳ
ｉ、３２１はｎ+ フローティングディフュージョン（Ｆ
Ｄ）領域である。３４０と３９０はｎ層であり、完全空
乏化できる濃度である。ＦＤ領域３２１は転送ＭＯＳト
ランジスタ３０３，３５３を介して第１光電変換部３０
１および第２光電変換部３５１と接続される。制御パル
スφＴＸ_e により発生した電荷をＦＤ部３２１へ完全転
送させ、制御パルスφＴＸ₀ により信号の加算、非加算
が可能である。なお、この図６では、第１光電変換部３
０１と第２光電変換部３５１を離して描いたが、実際に
はその境界部は極めて小さく、実用上は第１光電変換部
３０１と第２光電変換部３５１は接しているとみなして
良い。以降、隣接した第１光電変換部と第２光電変換部
をひとまとめにして「受光部」と呼ぶことにする。ま
た、受光部とＭＯＳトランジスタを含む各画素はほぼ正
方形にレイアウトされ、格子状に隣接して配置されてい
る。

【００５３】３２２は特定の波長の光を透過するカラー
フィルタ、３２３は撮像光学系３からの光束を効率的に
第１，第２光電変換部に導くためのマイクロレンズであ
る。各画素において受光部の占める割合はおおよそ数１
０％程度であって、結像光学系３から射出された光束を
有効に利用するためには、各受光部毎に集光用のマイク
ロレンズを設けて、受光部以外に到達しようとする光を
受光部に偏向ことが必要となる。

【００５４】図７は、固体撮像素子６の前面に設けたマ
イクロレンズと受光部との位置関係を示す平面図であ
る。

【００５５】同図において、３０１を用いて先に説明し
た受光部３３０−２１，３３０−２２，３３０−１１，
３３０−１２は、この図７では、７２−１１，７２−２
１，７２−１２，７２−２２として表している。マイク
ロレンズ７１−１１から７１−４４（図６の３２３に相
当）は受光部の中心と光軸とがおおよそ一致した軸対称
型の球面レンズあるいは非球面レンズであって、各々矩
形の有効部を持ち、光入射側を凸形状として格子状に密
に並べられている。

【００５６】前述したように１画素はそれぞれ二つの光
電変換部を有している。図に付した、Ｒ，Ｇ，Ｂは赤
色，緑色，青色のカラーフィルタを備えた光電変換部で
あることを、Ｒ，Ｇ，Ｂに続く１あるいは２は、第１光
電変換部か第２光電変換部かの区別を表している。例え
ば、Ｒ１は赤色カラーフィルタを備えた第１光電変換部
であり、Ｇ２は緑色カラーフィルタを備えた第２光電変
換部を意味する。

【００５７】このエリアセンサ部は、各画素にＲ（赤
色）Ｇ（緑色）Ｂ（青色）のカラーフィルタを交互に配
して、４画素が一組となる所謂ベイヤー配列を形成して
いる。ベイヤー配列では、観察者が画像を見たときに強
く感じやすいＧの画素をＲやＢの画素よりも多く配置す
る事で、総合的な像性能を上げている。一般に、この方
式の撮像素子では、輝度信号は主にＧから生成し、色信
号はＲ，Ｇ，Ｂから生成する。

【００５８】次に、上記のマイクロレンズの作用につい
て述べる。

【００５９】図８は、エリアセンサ部の断面図である。
不図示の結像光学系３は図の左側に位置し、該結像光学
系３より射出された光束は、光学ローパスフィルタ４を
通って、先ずマイクロレンズ７１−１１，７１−２１，
７１−３１，７１−４１に入射する。各マイクロレンズ
の後方にはカラーフィルタが配置され、ここで所望の波
長域のみが選択されて７２−１１から７２−４１の各受
光部に到達する。カラーフィルタは図７を用いて説明し
たようにベイヤー配列を構成しており、Ｒ，Ｇ，Ｂの３
種がある。また、ベイヤー配列であることから、断面に
現れるのはこのうちの２種であって、２２Ｇが緑色透過
カラーフィルタ、２２Ｒが赤色透過カラーフィルタであ
る。

【００６０】各マイクロレンズのパワーは、固体撮像素
子６の各受光部を結像光学系３の射出瞳に投影するよう
に設定されている。このとき、各受光部の投影像が結像
光学系３の絞り開放時の射出瞳よりも大きくなるように
投影倍率を設定し、受光部に入射する光量と結像光学系
３の絞りＳＴの開度との関係をおおよそ線形にすると良
い。このマイクロレンズの作用によって、固体撮像素子
全体で、第２光電変換部に入射する光束は、エリアセン
サ部のいずれの位置に入射する光束も結像光学系３の射
出瞳の上半分を通過する光束となる。一方、固体撮像素
子全体の第１光電変換部に入射する光束は結像光学系３
の光軸Ｌ１を対称軸として上下を反転したものとして考
えればよい。

【００６１】以上のような光学系にあっては、例えば固
体撮像素子６よりも手前に物体像が形成されていると
き、射出瞳の上側を通る半光束は図８の固体撮像素子６
上で下側にシフトし、射出瞳の下側を通る半光束は上側
にシフトする。つまり、結像光学系３の瞳の半分ずつを
通った光束で形成される一対の画像信号は物体像の結像
状態に応じて図８の上下方向に位相がシフトしたものと
なる。エリアセンサ部上に焦点検出点を設定し、この点
の周囲について一対の画像信号の位相シフトを調べれ
ば、この焦点検出点における結像光学系３の結像状態を
知ることができる。この構成によれば、撮影画面内のど
こにでも焦点検出点を置くことが可能である。

【００６２】次に、上記の固体撮像素子６の電荷蓄積動
作について述べる。

【００６３】先ず、ＦＤ部３２１は蓄積中、ブルーミン
グ防止（強い光が当たった時に電荷がまわりに漏れ出す
ことの防止）のため制御パルスφＲ₀ をハイレベルにし
て電源Ｖ_DDに固定しておく。光子ｈνが照射されると、
ｐｎフォトダイオード３０１，３５１に電子が蓄積され
ていき、正孔はＰ型ウェル３１７を通して排出される。

【００６４】光電変換部３０１とＦＤ部３２１の間には
転送ＭＯＳトランジスタ３０３によるエネルギー障壁
が、光電変換部５１とＦＤ部２１の間には転送ＭＯＳト
ランジスタ５３によるエネルギー障壁がそれぞれ形成さ
れている。このため、光電荷蓄積中は電子はｐｎフォト
ダイオード３０１，３５１に存在する。この後、水平走
査部を走査させ、同様に電荷蓄積動作を行えば全光電変
換部について電荷の蓄積が成される。

【００６５】読み出し状態になると転送ＭＯＳトランジ
スタ３０３と３５３下の障壁をなくし、ｐｎフォトダイ
オード３０１，３５１の電子をＦＤ部３２１へ完全に転
送させる様に制御パルスφＴＸ₀₀，φＴＸ_e0を設定す
る。

【００６６】第２の出力モードによる、焦点検出用画像
の読み出しは次のようなものである。

【００６７】まず、制御パルスφＲ₀ をハイレベルとし
てＦＤ部３２１を電源Ｖ_DDにリセットし、制御パルスφ
Ｓ₀ をハイレベルとして暗出力を蓄積容量３１０に蓄積
し、次に制御パルスφＴＸ₀₀をハイレベルとして、ｐｎ
フォトダイオード３０１に蓄積された光電荷をソースフ
ォロワＭＯＳトランジスタ３０５，選択スイッチＭＯＳ
トランジスタ３０６を介して蓄積容量３１１に転送し
て、ノイズ成分を差動増幅器３１４によってキャンセル
し、第１光電変換部の画像信号Ｖ_OUT を出力する。

【００６８】さらに、制御パルスφＲ₀ をハイレベルと
してＦＤ部３２１を電源Ｖ_DDにリセットし、次に制御パ
ルスφＴＸ_e0をハイレベルとして、ｐｎフォトダイオー
ド３５１に蓄積された光電荷をソースフォロワＭＯＳト
ランジスタ３０５，選択スイッチＭＯＳトランジスタ３
０６を介して蓄積容量３１１に転送して、ノイズ成分を
差動増幅器３１４によってキャンセルし、第２光電変換
部画像信号Ｖ_OUT を出力する。

【００６９】また、同時に転送ＭＯＳトランジスタ３０
３と３５３下の障壁をなくして、２つのｐｎフォトダイ
オード３０１と３５１の電荷をＦＤ部３２１へ完全に転
送させる様に制御パルスφＴＸ₀₀，φＴＸ_e0を設定すれ
ば、第１光電変換部の電荷と第２光電変換部の電荷を加
算した第１の出力モードによる画像信号の読み出しを行
うことができる。

【００７０】さて、視線検出装置について説明する。

【００７１】図９から図１１は、眼球照明系の詳細図で
ある。詳しくは、図９はその側面図、図１０は眼球照明
プリズム１０を図９の矢印Ａの方向から見たときの正面
図、図１１は照明光路の展開図である。ここで、展開し
た要素には展開前の対応する要素に附した番号の後
に、’を加えて示す。

【００７２】眼球照明プリズム１０の側方（物体像視野
の外側）には、発光部であるところのＬＥＤ１１，ＬＥ
Ｄ５０，ＬＥＤ５１，ＬＥＤ５２が取り付けられてい
る。ＬＥＤ１１，ＬＥＤ５０，ＬＥＤ５１，ＬＥＤ５２
は、図２に示す発光特性の赤色光を発する。これらのＬ
ＥＤとその光路は光軸Ｌ２を含む水平面と垂直面につい
て面対称であるので、ここではＬＥＤ１１に注目して説
明を加えることとする。

【００７３】眼球照明プリズム１０は、ファインダ光束
の通過面である面１０ｅ，１０ｍ、ＬＥＤ光の入射面で
ある面１０ｉ，１０ｊ，１０ｋ，１０ｌ、アルミニウム
を蒸着した反射面である面１０ｇ，１０ｈ、ＬＥＤ光の
射出面である凸面１０ａ，１０ｂ，１０ｃ，１０ｄで構
成されている。ファインダ系の光束が通過する窓部は図
１０に示した波線１０ｆの内側（これが物体像視野に相
当する）であり、これ以外の面は眼球照明系のために最
適な形状とすることができる。

【００７４】ＬＥＤ１１から発せられた光は眼球照明プ
リズム１０の面１０ｉから眼球照明プリズム１０の内部
に入射し、面１０ｅで全反射し、さらに、面１０ｇで金
属面反射して、凸面１０ａから射出される。

【００７５】ＬＥＤ１１，ＬＥＤ５０，ＬＥＤ５１，Ｌ
ＥＤ５２の発光波長は可視域の長波長側端部に位置し、
視認可能である。凸面１０ａのパワーはＬＥＤ１１が見
かけ上１ｍ前方に位置するよう、ＬＥＤ光が僅かに発散
する光として凸面１０ａから射出するように設定されて
いる。すなわち、凸面１０ａはＬＥＤ１１の観察光学系
である。観察光学系はファインダ光学系を構成する窓部
材である眼球照明プリズム１０に一体に形成されている
ので、極めて簡単な構成となり、しかも、眼球照明プリ
ズム１０の内部を照明光路としているので小型化でき
る。

【００７６】仮に、凸面１０ａからの射出光で直接眼部
を照明しようとすると、射出光が僅かにしか発散しない
ために、凸面１０ａの大きさとほぼ同じ範囲しか照明す
ることができず、眼部の一部分にしかＬＥＤ光が当たら
ないことになる。眼部の一部分にしかＬＥＤ光が当たっ
ていないと、瞳孔を完全に捉えることが難しく、視線検
出精度の低下が避けられない。拡散板１２はこのような
問題を解消するための部材で、光の拡散によって観察者
の眼部を広く均一に照明する役割を持っている。

【００７７】図１２（ａ），（ｂ），（ｃ）は、拡散板
１２の説明図である。詳しくは、図１２（ａ）は拡散面
１２ａの正面図、図１２（ｂ）は図１０８（ａ）の矢印
Ｂ方向から見た側面図、図１１（ｃ）は図１２（ａ）の
矢印Ｃ方向から見た側面図である。

【００７８】図に示すように、拡散面１２ａには微細な
凹凸が形成されており、ここで眼球照明プリズム１０か
ら射出した光は拡散する。この際、微細な凹凸は格子状
に形成されているため、光が図１２（ａ）の上下方向と
左右方向に拡散し、観察者からは十字型形状に拡がった
ＬＥＤが１ｍ先に見えることになる。もし、眼球照明系
の拡散板１２ａ上に雨，雪，埃等が付着していれば、Ｌ
ＥＤは通常通りの十字型には見えなくなるので、この観
点から観察者は正常に視線検出動作が成されているのか
を知ることができる。

【００７９】以上はＬＥＤ１１からの光路について説明
してきたが、ＬＥＤ５０，ＬＥＤ５１，ＬＥＤ５２につ
いては、・ＬＥＤ５０→面１０ｊ→面１０ｅ→面１０ｇ→凸面１
０ｂ→拡散板１２・ＬＥＤ５１→面１０ｋ→面１０ｅ→面１０ｈ→凸面１
０ｃ→拡散板１３・ＬＥＤ５２→面１０ｌ→面１０ｅ→面１０ｈ→凸面１
０ｄ→拡散板１３となる。なお、凸面１０ｂはＬＥＤ５０の観察光学系、
凸面１０ｃはＬＥＤ５１の観察光学系、凸面１０ｄはＬ
ＥＤ５２の観察光学系である。

【００８０】後述するように、注視点の検出は、瞳孔の
位置と角膜での光源の反射像である第一プルキンエ像の
位置に基づいて行う。人の瞼は上から閉じるため、眼部
を下側から照明すれば、第一プルキンエ像がまつげの陰
になり難い。そこで、カメラを正位置に構えたときはＬ
ＥＤ１１とＬＥＤ５０を、縦位置に構えたときはカメラ
の向きに応じてＬＥＤ１１とＬＥＤ５１、あるいは、Ｌ
ＥＤ５０とＬＥＤ５２を、それぞれ使い分けることとす
る。

【００８１】例えば、ＬＥＤ１１とＬＥＤ５０を点灯さ
せたとき、正面から見た眼部は図１３のようになる。

【００８２】図１３において、６０と６１がＬＥＤ１１
およびＬＥＤ５０による第一プルキンエ像であり、拡散
板１２の作用によって二つの第一プルキンエ像は十字型
となっている。特開平６−２３０２７１号には、十字型
の第一プルキンエ像を形成するために、光源自体を十字
型にしたり、複数のＬＥＤを並べたりした構成が示され
ているが、このように観察光学系と拡散板の作用を利用
することにより、より簡単に十字型の第一プルキンエ像
を作ることができる。

【００８３】ＬＥＤ１１，ＬＥＤ５０，ＬＥＤ５１，Ｌ
ＥＤ５２は、それぞれ凸面１０ａ，凸面１０ｂ，凸面１
０ｃ，凸面１０ｄより成る観察光学系によって見かけ上
観察者より１ｍ前方に位置するようにしている。前述の
ように、これらのＬＥＤが発する光は視認可能である
が、ファインダ観察の妨げにならないようにしなければ
ならない。

【００８４】図１４は、視覚特性の最も優れた視野位置
を原点としたときの視野角度と、視細胞数の関係を示し
た図である。視細胞の分布は視覚の特徴をよく表してい
ると考えて良い。

【００８５】視細胞には明るさと色の違いを感じ取るこ
とのできる錐体と、高感度であるが明るさのみを感じる
杆体とがある。この杆体は赤色に対する感度が極めて低
い。図１４に示すように、錐体の数は視覚特性の中心に
鋭いピークがあり、おおよそ±８°の範囲の外側はかな
り少ない。一方、杆体の数は逆に視覚特性の中心で少な
く、周辺にピークがある。人は、錐体で物体の詳細を検
知し、杆体で周辺視野の情報を補っている。

【００８６】ここで、眼球照明系との関係について考え
てみると、先ず、その光源であるＬＥＤは図２に示した
発光特性を持っているため、杆体では照明光を検知する
ことができない。また、錐体は周辺視野の感度が低いと
いう特徴があるので、ファインダ視野を見たときに照明
光が８°以上の角度を持って眼に投射されていれば、ほ
とんど気にならないと言うことになる。

【００８７】図１５（ａ），（ｂ）は、ファインダ視野
と照明系との関係を示す説明図である。

【００８８】同図において、６０は観察者の眼球であ
る。眼球６０はファインダ系のアイポイントに位置して
いるものとする。アイポイントは瞳孔が無限に絞られた
ときにファインダ視野全体を見渡すことのできる位置で
ある。６１は物体像が表示される範囲、６２は絞り表
示、６３はシャッタスピード表示、６４は固体撮像素子
６の設定感度、６５は３５mm写真フィルムを用いるカメ
ラでの値に換算したときの結像光学系３の焦点距離であ
る。

【００８９】レンズ交換式のデジタルカラーカメラにお
いては、撮像レンズ２とカメラ本体１の組み合わせによ
って、結像光学系の焦点距離と固体撮像素子が捉えるイ
メージサイズの両方が変化する。そこで、組み合わせ毎
の撮影画角を分かりやすく表すために３５mm写真フィル
ムを用いるカメラでの焦点距離値に換算して表示してい
る。

【００９０】さて、ＬＥＤ１１を光源とする眼球照明系
との関係を考える。

【００９１】６１から６５で表したファインダ表示の下
端を注視するときの光線が図１５（ａ）のＬ３、また、
上端を注視するときの光線がＬ４である。すなわち、観
察者からは光線Ｌ３の方向に絞り表示６２の下端やシャ
ッタスピード表示６３の下端が見えることになる。ここ
では、光線Ｌ３と光線Ｌ４の間が物体像視野とする。ま
た、眼球照明プリズム１０に形成された観察光学系であ
る凸面１０ａから射出して、瞳に到達する光線の内、フ
ァインダ表示の光路との成す角が最も小さくなる光線が
Ｌ５である。

【００９２】光線Ｌ３と光線Ｌ５の成す角、すなわち、
物体像視野との成す角θが８°以上であれば、ファイン
ダ表示の下端を見たときにも眼球照明光は視細胞のうち
錐体の少ない周辺視野に入射することになり、ほとんど
視認されない。一方、視線を下に移動させて、眼球照明
光の光線Ｌ５の方向に向ければ錐体によって捉えられ、
１ｍ前方にＬＥＤが赤く光って見えることになる。も
し、拡散板１２上に水滴，雪，埃等が付着して眼球照明
が適切に成されていないときには、観察者からはＬＥＤ
が通常通りの十字型に見えないので、視線検出が正常に
動作していないことを容易に知ることができる。したが
って、誤った視線検出結果に基づいて焦点調節を行って
しまうといったことが未然に防止される。

【００９３】さらに、可視光で眼球照明を行うことによ
り、観察者が眼鏡を使用した際にも利点がある。

【００９４】図１６は、レンズ面に増透コートを施した
眼鏡の分光反射率特性の例である。増透コートがあると
物体がクリアに見えるため、日常生活のためにはたいへ
ん好ましい。これは図１６の分光反射率特性のように、
およそ４００nmから７００nmの可視域で反射率を低い値
に抑えることで実現できる。

【００９５】ところが、一般にこういった眼鏡では７０
０nmよりも長波長の領域ではむしろ高い反射率となり、
この値は増透コートがない眼鏡よりもむしろ高い。した
がって、眼球照明を赤外光で行うと眼鏡からの反射光に
妨げられて瞳孔や第一プルキンエ像をうまく捉えること
ができない場合も生じる。こういった事態を完全に防ぐ
ためには眼球照明を４００nmから７００nmの範囲の波長
で行えばよい。しかしながら、比視感度の高い波長域で
眼球照明を行うと今度は視細胞の杆体の感度域に入り、
ファインダ観察の妨げになり易い。

【００９６】そこで、図２に示したように、ピーク波長
が７００nm付近にあり、４００nmから７００nmの可視域
にも強度分布の裾が含まれるような光で照明すること
で、眼鏡からの反射光を低く抑えつつ、しかも、ファイ
ンダ観察の妨げにもならない眼球照明系を実現すること
ができる。

【００９７】図１７は、眼球撮像系の光路展開図であ
る。

【００９８】図１に示したダイクロイックミラー１４，
ミラー１５での反射を展開し、上方から見た状態を示し
ている。また、図１７の矢印Ｄ方向から見た図として、
絞り７１，複眼レンズ１７，視線センサ１８の平面図
を、それぞれ図１８，図１９，図２０に示した。

【００９９】各図において、７０は眼球、７１は絞りで
ある。光路変更プリズム１６には光入射面である二つの
凸面１６ａ，１６ｅがあり、ファインダ光学系４２を通
して二つの方向から捉えた眼球７０の画像を得る。眼球
７０は眼球照明系によって照明され、光路変更プリズム
１６の凸面１６ａから入射したその反射光は、次に、面
１６ｂと面１６ｃで反射し、面１６ｄ上の光軸Ｌ１６に
近い位置から射出する。光路変更プリズム１６の背後に
は、絞り７１が位置する。図２０に示すように、絞り７
１には、二つの開口７１ａ，７１ｂがあり、光路変更プ
リズム１６の凸面１６ａから入射した光束はこのうち開
口７１ａによって絞られる。絞りを射出した光束は複眼
レンズ１７のレンズ面１７ａから入射し、レンズ面１７
ｃから射出して、後述する図２１に示すように視線セン
サ１８のエリアセンサ部１８ａ上に撮像領域Ｅａの眼画
像を形成する。

【０１００】また、光路変更プリズム１６の凸面１６ｅ
から入射した反射光は、次に、面１６ｆと面１６ｇで反
射し、面１６ｄ上の光軸Ｌ６に近い位置から射出する。
次の絞り７１では開口７１ｂで絞られ、絞りを射出した
光束は複眼レンズ１７のレンズ面１７ｂから入射し、レ
ンズ面１７ｄから射出して、後述する図２１に示すよう
に視線センサ１８のエリアセンサ部１８ｂ上に撮像領域
Ｅｂの眼画像を形成する。なお、この際、絞り７１の前
後に凸レンズを配置することにより、ディストーション
の少ない眼画像を得ている。これは、後述する眼画像の
合成を精度良く行う為に有効である。

【０１０１】図２１は、視線センサ１８のエリアセンサ
部と眼画像との関係を示す図である。

【０１０２】同図において、８０ａはエリアセンサ部１
８ａから得られる眼画像、８０ｂはエリアセンサ部１８
ｂから得られる眼画像である。眼画像８０ａと眼画像８
０ｂは視差を持った一対の眼画像となる。

【０１０３】撮像領域Ｅａと撮像領域Ｅｂは眼の左右方
向にずれているので、眼画像８０ａと眼画像８０ｂでは
映っている目の位置が異なる。眼画像８０ａと眼画像８
０ｂで共通の画像となるのは、エリアセンサ部１８ａ，
１８ｂのハッチングをかけて示した部分であり、眼画像
８０ａ，８０ｂの下に示した撮像領域ＦａとＦｂであ
る。観察者がファインダを極端に斜めから覗いた場合で
あっても、撮像領域Ｅａと撮像領域Ｅｂを左右方向にず
らしているために、少なくともどちらかの撮像領域には
眼部を捉えることができる。なお、演算処理の説明で
は、眼画像８０ａをＡ画像、眼画像８０ｂをＢ画像と呼
ぶことにする。

【０１０４】眼画像には拡散板１２の作用による十字型
の第一プルキンエ像の他、涙滴での反射輝点８１やまつ
げでの反射輝点８２が見える。しかし、反射輝点の原因
となる涙滴やまつげが、角膜のように大きな面積を持た
ないため、そこでの反射像は十字型にならず第一プルキ
ンエ像との区別が容易に付く。したがって、涙滴での反
射輝点８１やまつげでの反射輝点８２を真の第一プルキ
ンエ像と取り違えることがなく、高精度な視線検出がで
きる。

【０１０５】なお、ここでは複数の眼画像の視差を眼に
対して横方向に設定したが、縦方向であっても良い。さ
らには、横方向と縦方向の両方であっても良い。この場
合には、四つの眼画像が得られるので、さらに、まつげ
の態様やファインダの覗き方等の個人差について寛容
で、しかも、高精度な検出を行うことができる。

【０１０６】次に、図２２，図２３及び図２８に示すフ
ローチャートを用いて、カメラの動作を説明する。

【０１０７】図２２のフローチャートは、カメラシステ
ム制御回路３５内のＲＯＭに書き込まれている制御プロ
グラムである。

【０１０８】まず、図２２において、制御プログラムが
スタートすると、先ず、ステップ＃２０１において、操
作検出回路３６を介してメインスイッチ１９がＯＮかど
うかを調べる。ＯＦＦであれば再びステップ＃２０１を
繰り返し、ＯＮであれば次のステップ＃２０２に移行す
る。ステップ＃２０２においては、固体撮像素子駆動回
路３７を介して固体撮像素子６を駆動し、連続的な表示
用画像の取り込みを開始する。次のステップ＃２０３に
おいては、固体撮像素子６により撮像した画像を再生処
理回路３４を介して液晶ディスプレー７上に動画像とし
て表示するファインダ表示処理を開始する。続くステッ
プ＃２０４においては、視線検出の成否を示すフラグＦ
ＬＧｅをリセットする。そして、ステップ＃２０５にお
いて、視線検出・ＡＦ制御回路４０に対して、視線検出
サブルーチンを起動するように指示する。

【０１０９】ステップ＃２０６においては、フラグＦＬ
Ｇｅがセットされたかどうかを調べる。セットされてい
なければ先のステップ＃２０４に戻り、セットされてい
れば、次のステップ＃２０７に移行する。ステップ＃２
０７へ移行すると、ここでは視線検出・ＡＦ制御回路４
０に対して、ＡＦ制御サブルーチンを起動するように指
示する。そして、次のステップ＃２０８において、操作
検出回路３６を介してレリーズボタン２０がＯＮかどう
かを調べる。ＯＦＦであれば先のステップ＃２０４に戻
り、ＯＮであれば次のステップ＃２０９に移行する。

【０１１０】ステップ＃２０９においては、レリーズボ
タン２０が押下されたので、固体撮像素子駆動回路３７
を介して固体撮像素子６を第１の出力モードで駆動し、
高精細な画像の取り込みを行う。そして、次のステップ
＃２１０においては、ＲＧＢ画像処理，ＹＣ処理の施さ
れたデータを記録処理回路３３を介して内部のメモリに
記録し、一連の制御を終了する。

【０１１１】図２３のフローチャートは、視線検出・Ａ
Ｆ制御回路４０内のＲＯＭに書き込まれている制御プロ
グラムであって、視線検出のための演算手段に相当す
る。複数の眼画像をもとに合成した眼画像を用いて注視
点を算出する第一の演算モードと、一つの眼画像を用い
て注視点を算出する第二の演算モードとを備えている。

【０１１２】図２３において、視線検出サブルーチンが
スタートすると、ステップ＃３０１において、カメラの
姿勢に基づいてＬＥＤを選択点灯するとともに、視線セ
ンサ１８からＡ画像すなわち眼画像８０ａと、Ｂ画像す
なわち眼画像８０ｂを読み出す。次のステップ＃３０２
においては、Ａ画像の中から最低輝度を示す領域を検出
し、続くステップ＃３０３において、Ｂ画像の中から最
低輝度を示す領域を検出する。上記ステップ＃３０２と
ステップ＃３０３の処理は、眼画像の中で瞳孔が最低輝
度を示す特性を利用し、後のステップにおいて、第一プ
ルキンエ像をこの最低輝度領域を手がかりとして検出す
るための準備である。

【０１１３】次のステップ＃３０４においては、Ａ画像
に現れた第一プルキンエ像の、次のステップ＃３０５に
おいては、Ｂ画像に現れた第一プルキンエ像の、それぞ
れ重心座標を検出する。

【０１１４】上記第一プルキンエ像は十字型をしている
が、縦線と横線が重なった領域の重心座標をデータとし
て格納する。第一プルキンエ像の検出にはパターンマッ
チング等の手法を用いると良い。十字型であるために、
涙滴での反射輝点８１やまつげでの反射輝点８２を真の
第一プルキンエ像と取り違えることがなく、高精度な視
線検出ができる。

【０１１５】ステップ＃３０６においては、先のステッ
プ＃３０４にてＡ画像の第一プルキンエ像の検出が成功
したかどうかを判定する。稀に、眼鏡からのゴーストに
妨げられたり、太陽光が直接入り込んだりして、第一プ
ルキンエ像の検出が失敗することがあるが、この場合に
はステップ＃３１２に分岐する。また、第一プルキンエ
像の検出に成功していれば、ステップ＃３０７に移行
し、ここでは先のステップ＃３０５にてＢ画像の第一プ
ルキンエ像の検出が成功したかどうかを判定し、失敗の
場合にはステップ＃３１５に分岐し、成功していれば、
次のステップ＃３０８に移行する。

【０１１６】ステップ＃３０８は、先のステップ＃３０
６，＃３０７の判定を経て、Ａ画像、Ｂ画像ともに第一
プルキンエ像の検出が成功している場合の処理である。
Ａ画像とＢ画像を合成して、両方の情報を用いることに
より、不要情報の排除と欠落情報の補完を行う。この
際、画像の合成には第一プルキンエ像が瞳孔とほぼ同じ
深さに生じるという性質を利用する。

【０１１７】ここで、図２４は第一プルキンエ像と瞳孔
との関係を示す説明図であり、同図において、９０は観
察者の眼球、９１は瞳孔を形成する虹彩、９２は角膜、
また、Ｐ１は角膜９２の曲率中心である。眼球９０はフ
ァインダ光軸Ｌ２上に位置し、ファインダ光軸Ｌ２に対
してφだけ傾いた方向から眼球照明９３が成されている
ものとする。

【０１１８】このとき、光源の角膜９２による反射像で
ある第一プルキンエ像Ｐ２は、光源と角膜の曲率中心Ｐ
１とを結ぶ線上に形成される。第一プルキンエ像Ｐ２は
虚像であり、角膜９２の半径をＲとしたときに、ファイ
ンダ光軸Ｌ２の方向から見た第一プルキンエ像Ｐ２の深
さＨは式（１）で与えられる。

【０１１９】Ｈ＝（１− cosφ）×Ｒ＋Ｇcos φ ・・・・・・・・・（１）ここで、Ｇは眼球照明の方向から見たときの、第一プル
キンエ像の深さである。光源が１０００mm前方にあると
したとき、Ｇは式（２）となる。

【０１２０】Ｇ＝Ｂ／２−（Ｒ／２）² ／１０００・・・・・・・・・（２）したがって、式（２）を式（１）に代入することによっ
て、ＨはＲとφで表すことができる。

【０１２１】さらに、 φ＝２５° Ｒ＝7.7mm を用いて、Ｈを求めると、Ｈ＝4.2mm となる。

【０１２２】一方、虹彩の深さＫは、Ｋ＝3.6mm であ
り、第一プルキンエ像の深さに極めて近い。この結果、
図１７を用いて説明した、複眼レンズ１７で視差を持っ
た一対の眼画像を捉えたとき、瞳孔と第一プルキンエ像
との位置関係は画像間でほとんど変化しない。これに対
して、まつげの位置とか、涙滴の位置は画像間で異なる
ことになる。また、眼鏡からの反射光によるゴーストあ
る場合にも、このゴーストも虹彩や第一プルキンエ像と
はかなり異なる深さに生じるので、その位置は画像間で
異なる。

【０１２３】図２３のフローチャートに戻って、ステッ
プ＃３０８においては、図２５に示すように、Ａ画像
（８０ａ）とＢ画像（８０ｂ）の第一プルキンエ像の座
標の差を算出する。そして、次のステップ＃３０９にお
いて、Ａ画像とＢ画像を合成する準備として、Ｂ画像の
シフト量ＳＢを先に求めたＡ画像とＢ画像の第一プルキ
ンエ像の座標の差に設定する。続くステップ＃３１０に
おいては、次に示すアルゴリズムにしたがって、Ａ画像
とＢ画像を合成して、図２６に示すようなＣ画像を生成
する。

【０１２４】画像合成アルゴリズムは次の通りである。

【０１２５】先ず、シフト量ＳＢの整数部をｅ、小数部
をｆとし、さらに、視線センサ１８のエリアセンサ部１
８ａとエリアセンサ部１８ｂの各画素に図２７に示すよ
うな番地を割り当てる。視差の方向が行の方向であるた
め各行の処理は同一であり、以下の処理をすべての行に
ついて行うことによって、Ｃ画像を生成する。

【０１２６】ある行のＡ画像のＸ列データをＡ_X 、Ｂ画
像のＸ列データをＢ_X 、Ｃ画像のＸ列データをＣ_X とす
る。

【０１２７】１）Ｘ＜ｎまたはＸ＜ｅのときＣ_x ＝Ａ_x ２）ｎ≦Ｘ＜ｐ＋1 かつｅ≦Ｘ＜ｅ＋ｍのときＣ_x ＝ＭＩＮ（Ａ_X 、（１−ｆ）×Ｂ_X-e ＋ｆ×Ｂ
_X-e+1 ））３）ｐ＋1 ≦Ｘまたはｅ＋ｍ≦ＸのときＣ_x ＝（１−ｆ）×Ｂ_X-e ＋ｆ×Ｂ_X-e+1 Ｃ画像は、１）の範囲ではＡ画像だけから、２）の範囲
ではＡ画像とＢ画像の両方から、３）の範囲ではＢ画像
だけから作られる。

【０１２８】また、ＭＩＮ（ｕ、ｖ）は、ｕとｖのうち
小なる値を選択する演算子である。Ａ画像とＢ画像を重
ね合わせて比較した際、同一要素を捉えているにもかか
わらず、より明るいことを示すデータには、まつげやゴ
ーストが重畳していると推定できる。瞳孔の輝度に対し
てまつげの輝度は常に高く、また、ゴーストが重畳した
ところは常に明るくなることから、小なる値を選択する
演算子ＭＩＮ（ｕ，ｖ）を用いるとこのような外乱を排
除したＣ画像を生成することが可能である。

【０１２９】図２５の、眼画像８０ａ（Ａ画像）に見ら
れるゴースト９４と眼画像８０ｂ（Ｂ画像）に見られる
ゴースト９５は同一位置にないため、Ｃ画像では不要情
報であるゴーストが排除され、必要情報である瞳孔が補
完されている。

【０１３０】このようなゴーストは、ファインダ光学
系，眼鏡，角膜での複数回反射で生じるが、特に眼鏡を
使用したときに多くなる。観察者が眼鏡を使用している
ときに、このＭＩＮ（ｕ、ｖ）演算子は特に有効であ
る。そこで、画像合成アルゴリズムを複数用意してお
き、公知の眼鏡判定手段によって眼鏡を使用していると
判定されたときはＭＩＮ（ｕ、ｖ）演算子を選択するよ
うにすると良い。

【０１３１】再び図２３のフローチャートに戻って、ス
テップ＃３１１においては、続くステップ＃３１６での
処理の対象に先に合成した、図２６のようなＣ画像を指
定する。

【０１３２】次に、ステップ＃３０６よりステップ＃３
１２へ分岐した場合についてを説明する。

【０１３３】ステップ＃３１２においては、先のステッ
プ＃３０５にてＢ画像の第一プルキンエ像の検出が成功
したかどうかを判定する。失敗の場合にはステップ＃３
１３に分岐し、成功していれば、次のステップ＃３１４
に移行する。ステップ＃３１３においては、上記ステッ
プ＃３０６とステップ＃３１２の判定が何れもＮ（ＮＯ
を意味する）であって、Ａ画像，Ｂ画像ともに第一プル
キンエ像の検出に失敗していることから、これ以上の視
線検出処理を行わず、ＦＬＧｅをリセットしてサブルー
チンをリターンする。

【０１３４】一方、ステップ＃３１４は、先のステップ
＃３０６，＃３１２の判定を経て、Ｂ画像のみで第一プ
ルキンエ像の検出が成功している場合の処理である。

【０１３５】視線センサの受光部間にある不感帯が影響
して本来光学的には存在する第一プルキンエ像を画像と
して捉えることができなかったり、第一プルキンエ像に
眼鏡の反射光によるゴーストや太陽光が重畳して、一方
の画像のみしか第一プルキンエ像が検出されないことが
ある。また、ファインダ光学系をかなり斜めから覗いた
ときには、第一プルキンエ像を形成する光束の反射面が
角膜から外れてしまうために像が消失し、一方の画像の
みに第一プルキンエ像が現れることもある。このような
場合、続くステップ＃３１６での処理の対象に第一プル
キンエ像を捉えることができたＢ画像を指定する。

【０１３６】次に、上記ステップ＃３０７よりステップ
＃３１５へ分岐した場合について説明する。

【０１３７】ステップ＃３１５は、ステップ＃３０６と
ステップ＃３０７の判定を経て、Ａ画像のみで第一プル
キンエ像の検出が成功している場合の処理であって、ス
テップ＃３１４と類似の現象が生じている。この場合、
続くステップ＃３１６での処理の対象に第一プルキンエ
像を捉えることができたＡ画像を指定する。

【０１３８】Ａ画像，Ｂ画像の両方で第一プルキンエ像
を捉えることができた場合の処理を第一の演算モード、
Ａ画像とＢ画像のどちらかで捉えることができた場合の
処理を第二の演算モードとすれば、第一の演算モードと
第二の演算モードとが自動的に切り替わるので、ほとん
どの場合でステップ＃３１６以降の処理に基づく注視点
出力を得ることが可能である。

【０１３９】例えば、より斜めからファインダを覗いた
場合には一方の画像では第一プルキンエ像が捉えられな
くなるが、第二の演算モードによる視線検出を行うこと
で、検出不能状態になり難い視線検出装置を実現するこ
とができ、また、ゴーストのために瞳孔の検出や第一プ
ルキンエ像の検出が一方の眼画像についてできない場合
であっても、第二の演算モードによって検出不能状態に
ならない視線検出装置を実現することができる。

【０１４０】ステップ＃３１６へ移行すると、ここでは
指定された画像について、第一プルキンエ像の重心と瞳
孔像重心の相対ズレ量を算出する。そして、次のステッ
プ＃３１７において、上記ステップ＃３１６で求めた第
一プルキンエ像の重心と瞳孔像重心の相対ズレ量をファ
インダ上の注視点情報に変換する。なお、ステップ＃３
１６，＃３１７の処理については、特開平６−１５８７
７２号に詳述されている。最後に、ステップ＃３１８に
おいて、視線検出が成功したので、ＦＬＧｅをセットし
てサブルーチンをリターンする。

【０１４１】図２８のフローチャートは、視線検出・Ａ
Ｆ制御回路４０内のＲＯＭに書き込まれている制御プロ
グラムである。

【０１４２】同図において、ＡＦ制御サブルーチンがス
タートすると、ステップ＃４０１において、視線検出結
果に基づき、注視点上に焦点検出点を指定し、固体撮像
素子６上の焦点検出点を取り囲む矩形領域を焦点検出用
の画像データを取得すべき領域、および、焦点検出演算
の対照領域とする。次のステップ＃４０２においては、
固体撮像素子６を第２の出力モードで駆動し、焦点検出
用の画像データを取得する。続くステップ＃４０３にお
いては、上記ステップ＃４０２で取得した画像データを
用いて、焦点検出演算を行う。得られたデフォーカス量
はフォーカシングレンズの駆動量に変換する。最後にス
テップ＃４０４において、カメラシステム制御回路３５
を介して、レンズシステム制御回路４１にフォーカシン
グレンズの駆動量を伝達する。これを受けて、レンズシ
ステム制御回路４１はフォーカシングレンズを結像レン
ズの光軸Ｌ１方向に移動させ、焦点調節が成される。

【０１４３】（実施の第２の形態）以下、本発明の実施
の第２の形態に係る眼球照明系について説明する。

【０１４４】図２９は本発明の実施の第２の形態に係る
眼球照明系の側面図であり、同図において、１１０はフ
ァインダ光学系の保護を兼ねた眼球照明プリズムであっ
て、ファインダ光路部分は平行平板で構成され、ファイ
ンダ光学系の窓部材となっている。また、射出光を特定
方向に拡散する光拡散手段であるところの拡散面１１０
ａ，１１０ｃを有している。１１２および１１３は観察
光学系であるところの凸レンズである。

【０１４５】眼球照明プリズム１１０の側方には、図２
に示す発光特性の赤色光を発する発光部であるところの
ＬＥＤ１１１等が取り付けられており、ＬＥＤ１１１を
発した光は眼球照明プリズム１１０の内部を透過し、さ
らに、凸レンズ１１２あるいは凸レンズ１１３を透過し
てカメラの外部に射出する。

【０１４６】前記ＬＥＤ１１１の発光中心波長は７２０
nmであって、この波長における比視感度はかなり低い。
しかし、発光強度の裾が短波長側に延びていることもあ
って十分に視認可能である。したがって、観察者が意識
すれば、ＬＥＤの発光を通して視線検出装置の作動状態
を知ることができる。

【０１４７】眼球照明プリズム１１０のファインダ光路
の有効部にはＬＥＤ１１１の発光波長を含むように可視
域から７６０nm程度の波長に対して増透コートが施され
ている。これは、眼部の照明がファインダ光学系で反射
して再び眼に戻り、赤いゴーストとして見えてしまうの
を防ぐことと、眼画像撮像系にゴーストが重畳するのを
可能な限り防ぐためである。

【０１４８】眼球照明系は上下左右に対称であるので、
上記実施の第１の形態と同様に一つのＬＥＤに注目して
眼球照明系の動作を説明する。

【０１４９】ＬＥＤ１１１から発せられた光は、眼球照
明プリズム１１０の面１１０ｉから眼球照明プリズム１
１０の内部に入射し、面１１０ｅで全反射し、さらに、
面１１０ｇで金属面反射して、拡散面１１０ａから射出
する。

【０１５０】眼球照明プリズム１１０を射出すると、次
に、凸レンズ１１２に入射する。凸レンズ１１２のパワ
ーはＬＥＤ１１１が見かけ上1m前方に位置するよう、拡
散面１１０ａでの直進成分が僅かに発散する光として凸
レンズ１１２から射出するように設定されている。ＬＥ
Ｄ１１１の発光波長は可視域の長波長側端部に位置し
て、視認可能であり、凸レンズ１１２はＬＥＤ１１１の
観察光学系である。

【０１５１】仮に、拡散面１１０ａでの直進成分のみで
眼部を照明しようとすると、凸レンズ１１２からの射出
光が僅かにしか発散しないために、凸レンズ１１２の大
きさとほぼ同じ範囲しか照明することができず、眼部の
一部分にしかＬＥＤ光が当たらないことになる。眼部の
一部分にしかＬＥＤ光が当たっていないと、瞳孔を完全
に捉えることが難しく、視線検出精度の低下は避けられ
ない。眼球照明プリズム１１０の拡散面１１０ａはこの
ような問題を解消するための面で、上記実施の第１の形
態の拡散板１２と同様の構造を持ち、光の拡散によって
観察者の眼部を広く均一に照明する役割を持っている。

【０１５２】拡散面１１０ａ上の微細な凹凸は格子状に
形成されているため、光が上下方向と左右方向に拡散
し、観察者からは十字型形状に拡がったＬＥＤが１ｍ先
に見えることになる。もし、眼球照明系の拡散板１２ａ
上に雨，雪，埃等が付着していれば、ＬＥＤは通常通り
の十字型には見えなくなるので、この観点から観察者は
正常に視線検出動作が成されているのかを知ることがで
きる。

【０１５３】また、拡散面はファインダ光学系を構成す
る窓部材である眼球照明プリズム１１０に一体に形成さ
れているので、極めて簡単な構成となり、しかも、眼球
照明系は眼球照明プリズム１０の内部を照明光路として
いるので極めて小型にできる。

【０１５４】以上の実施の各形態によれば、物体像視野
より外側から観察者の眼に向かって可視光を投光するＬ
ＥＤ１，５０，１１１と、眼球照明プリズム１０，１１
０とにより眼球照明系を構成すると共に、前記眼球照明
プリズムに、前記ＬＥＤよりの可視光を視認可能とする
ための観察光学系である凸面１０ａ〜１０ｄ，凸レンズ
１１２，１１３（前記ＬＥＤが見かけ上１ｍ前方に位置
するような投光パワーを有している）を備え、ファイン
ダ光学系を通して観察される物体像視野より外側から、
前記ＬＥＤ光を観察者の眼に向かって投光するようにし
ているため、観察者は前記可視光を見ることができるか
否かで視線検出動作が正常であるかどうかを知ることが
でき、眼球照明系への雨，雪，埃等の付着に起因する視
線検出の不具合を未然に防ぐことができる。

【０１５５】また、図２に示す様に、ピーク波長が７０
０nm付近にあり、４００nmから７００nmの可視域にも強
度分布の裾が含まれるようなＬＥＤ光で観察者の眼を照
明するようにしているので、眼鏡からの反射光を低く抑
えることができる。つまり、眼鏡の増透コートに起因す
るゴーストの影響を受けにくい装置を実現することが可
能となる。

【０１５６】また、観察者の眼がアイポイント（瞳孔が
無限に絞られたときにファインダ視野全体を見渡すこと
のできる位置）にある際に、前記ＬＥＤの観察者の眼へ
の投光角を物体像視野より外側へ８°以上とし、かつ、
前記ＬＥＤ光を赤色光としているので、通常のファイン
ダ観察の妨げにならない装置とすることができる。

【０１５７】また、前記凸面１０ａ〜１０ｄより射出さ
れる照明光を特定方向に拡散する光拡散手段である拡散
板１２，１３、拡散面１１０ａを設けているので、観察
者の眼部を広く均一に照明することができ、より高精度
な視線検出を行うことが可能となる。

【０１５８】さらに、前記凸面１０ａ〜１０ｄをファイ
ンダ光学系を構成する窓部材（眼球照明プリズム１０）
に一体に形成しているため、極めて簡単な構成であっ
て、眼球照明プリズムの内部を照明光路としているの
で、小型の眼球照明系とすることができる。

【０１５９】

【発明の効果】以上説明したように、請求項１に記載の
発明によれば、観察者が正常な視線検出動作をしている
のかを認識できるようにし、眼球照明系への雨，雪，埃
等の付着に起因する視線検出の不具合を未然に防ぐこと
ができる視線検出装置を提供できるものである。

【０１６０】また、請求項２に記載の発明によれば、眼
鏡の増透コートに起因するゴーストの影響を受けにくく
することができる視線検出装置を提供できるものであ
る。

【０１６１】また、請求項３に記載の発明によれば、観
察の妨げにならない視線検出装置を提供できるものであ
る。

【０１６２】また、請求項４に記載の発明によれば、よ
り高精度な視線検出装置を提供できるものである。

【０１６３】また、請求項５に記載の発明によれば、よ
り簡単な構成とし、小型化することができる視線検出装
置を提供できるものである。

【図面の簡単な説明】

【図１】本発明の実施の第１の形態に係る視線検出装置
を搭載したデジタルカラーカメラの構成図である。

【図２】本発明の実施の第１の形態に係るＬＥＤの発光
特性を示す図である。

【図３】本発明の実施の第１の形態に係るダイクロイッ
クミラーの分光反射率特性を示す図である。

【図４】本発明の実施の第１の形態に係るデジタルカラ
ーカメラの電気的構成を示すブロック図である。

【図５】本発明の実施の第１の形態に係る固体撮像素子
内のエリアセンサ部の回路構成図である。

【図６】本発明の実施の第１の形態に係る受光部の断面
図である。

【図７】本発明の実施の第１の形態においてマイクロレ
ンズと受光部との位置関係を示す平面図である。

【図８】本発明の実施の第１の形態に係るエリアセンサ
部の断面図である。

【図９】本発明の実施の第１の形態に係る眼球照明系の
側面図である。

【図１０】本発明の実施の第１の形態に係る眼球照明系
の正面図である。

【図１１】本発明の実施の第１の形態に係る照明光路の
展開図である。

【図１２】本発明の実施の第１の形態に係る拡散板の説
明図である。

【図１３】本発明の実施の第１の形態において正面から
見た眼部を表す図である。

【図１４】本発明の実施の第１の形態において視野角度
と視細胞数の関係を示した図である。

【図１５】本発明の実施の第１の形態においてファイン
ダ視野と照明系との関係を示す説明図である。

【図１６】本発明の実施の第１の形態においてレンズ面
に増透コートを施した眼鏡の分光反射率特性の例であ
る。

【図１７】本発明の実施の第１の形態に係る眼球撮像系
の光路展開図である。

【図１８】本発明の実施の第１の形態に係る絞りの平面
図である。

【図１９】本発明の実施の第１の形態に係る複眼レンズ
の平面図である。

【図２０】本発明の実施の第１の形態に係る視線センサ
の平面図である。

【図２１】本発明の実施の第１の形態に係る視線センサ
のエリアセンサ部と眼画像との関係を示す図である。

【図２２】本発明の実施の第１の形態に係るカメラの動
作を示すフローチャートである。

【図２３】同じく本発明の実施の第１の形態に係るカメ
ラの動作を示すフローチャートである。

【図２４】本発明の実施の第１の形態において第一プル
キンエ像と瞳孔との関係を示す説明図である。

【図２５】本発明の実施の第１の形態においてＡ画像と
Ｂ画像の第一プルキンエ像の座標の差を示す説明図であ
る。

【図２６】本発明の実施の第１の形態において合成画像
であるＣ画像の説明図である。

【図２７】本発明の実施の第１の形態に係る視線センサ
のエリアセンサ部の各画素に割り当てた番地の説明図で
ある。

【図２８】本発明の実施の第１の形態においてカメラの
動作を示すフローチャートである。

【図２９】本発明の実施の第２の形態に係る眼球照明系
の側面図である。

【符号の説明】

６固体撮像素子１０眼球照明プリズム１０ａ〜１０ｄ凸面１１ＬＥＤ１２，１３拡散板５０〜５２ＬＥＤ１１０眼球照明プリズム１１０ａ拡散面１１１ＬＥＤ１１２，１１３凸レンズ

Claims

【特許請求の範囲】

【請求項１】観察者の眼を照明する眼球照明系と、光
学系を通して観察者の眼の画像を形成する結像光学系と
を有する視線検出装置において、前記眼球照明系は、前
記光学系を通して観察される物体視野より外側から観察
者の眼に向かって可視光を投光する発光部と、該発光部
よりの可視光を視認可能とする観察光学系とを有するこ
とを特徴とする視線検出装置。
【請求項２】前記発光部より投光される可視光は、そ
のピーク波長が７００nm付近にあり、４００nmから７０
０nmの可視域にも強度分布の裾が含まれることを特徴と
する請求項１に記載の視線検出装置。
【請求項３】前記発光部の観察者の眼への投光角を、
観察者の眼が前記光学系のアイポイントにある際に、前
記物体像視野より外側へ８°以上とし、かつ、前記発光
部よりの光を赤色光とすることを特徴とする請求項１又
は２に記載の視線検出装置。
【請求項４】前記発光部より投光される可視光を特定
方向に拡散する光拡散手段を有することを特徴とする請
求項１〜３の何れかに記載の視線検出装置。
【請求項５】前記発光部を、前記光学系の物体視野を
形成する窓部材と一体に構成したことを特徴とする請求
項１〜４の何れかに記載の視線検出装置。