JP4593942B2 - 瞳孔検知装置及び方法 - Google Patents

Description

本発明による実施態様は、一般に、画像診断の分野に関するものであり、とりわけ、本発明による実施態様は、被検者の目についての検知装置及び方法に関するものである。

人間の目が開いているかまたは閉じているかの判定、並びに、目の開いている／閉じている時間量の測定が問題となるいくつかの用途がある。こうした用途の１つが、制限するわけではないが、自動車等（例えば、トラック等、ただし、航空機、列車等も含む）のドライバのような、自動車運転者の眠気の検知である。

人間の目についての検知及びモニタを行う、先行技術による技法が開発されている。これらの技法の中には、被検者の目から反射される光の検知に依存するものがある。しかし、これらの技法には、一般に、自動車におけるその利用を制限する１つ以上の欠点がある。こうした欠点の１つは、信頼できるデータを提供できないという点である。もう１つの欠点は、一般に、被検者を不快感が襲い、その気を散らせることである。例えば、それらの技法では、運転中に被検者の気を散らす可能性があったり、あるいは、被検者が特殊な装置を装着したりしなければならない可能性がある。先行技術による技法は、また、そのセットアップ及び操作が比較的複雑で、おそらく、複数の特殊検出器及び／またはビーム・スプリッタが必要になり、また、おそらく、これらの部品のそれぞれの精密なアライメントが必要になる。従って、先行技術によるシステムのコストは、比較的高くつく可能性がある。メーカ及び一般の人々が眠気検出器を受け入れることになる場合、検出器は、比較的人目につかず、安価であることが望ましい。

先行技術の技法によるもう１つの欠点は、日中、うまく実施されないという点である。明るい周囲光の下では、被検者の目から反射する光は、比較的薄暗く、従って、検出がより困難になる。従って、先行技術による技法では、日中の効率の良いまたは信頼できる動作が不可能である。さらに、夜間は、他の光源（ヘッドライト、街灯等）が、被検者の目から反射される光の検出を妨げる可能性がある。従って、先行技術による技法は、日中だけでなく、夜間も問題になる可能性がある。

先行技術によるもう１つの眠気検知技法は、一般に、車線変更検出器と呼ばれる場合もあるものである。この技法では、道路の表面（すなわち、車線標識のような道路の特徴）を観察して、自動車がドリフトして、別の車線に進入しようとしていないか、あるいは、道路から外れようとしていないかを判定する。このタイプの技法に関する問題の１つは、全ての道路が、頼りにする特徴を備えているとは限らないという点にある（例えば、車線標識が存在しない可能性がある）。もう１つの問題は、車線変更を検知すると、おそらく、補正行動を即座に行う必要があるために生じる。換言すれば、車線変更検出器は、問題（例えば、不適切な車線変更）が生じつつあることを予測することはできず、代わりに、問題が生じて初めて注意を喚起することになる。車線変更検出器が、自動車がドリフトしてその車線から外れたと推断するまでに、運転者が、既に眠っている可能性があり、従って、即座に適正な補正行動をとるのに必要な能力をなくしている可能性がある。

本発明によれば、さまざまな実施態様において、瞳孔検知装置及び方法が得られる。被検者に物理的に接触することなく、不快感に襲われないやり方で、瞳孔の位置、並びに、目が開いている／閉じている／ほぼ閉じている時間量を測定することが可能である。瞳孔／眠気は、暗闇の中でも、明るい光を含む、さまざまなレベルの背景光が存在する状態でも、検知することが可能である。瞳孔／眠気は、被検者が静止している場合、並びに、被検者及び背景が移動している場合にも検知することが可能である。この装置は、そのさまざまな実施態様において、被検者に対してさまざまな位置に配置可能である。実施態様によっては、赤外線を利用することによって、被検者の夜間視界の妨げにならず、ほとんどの人には見えないというものもある。セットアップ及び操作が簡単で、コストが低い。

眠気の検知以外に、本発明による実施態様を利用すれば、睡眠の開始及び終了をモニタし、自動車以外の場所における眠気を検知し、被検者の注意深さのレベル、被検者の存在、被検者の位置を検知し、虹彩識別技法のために瞳孔の位置を確認し、瞳孔サイズを測定することも可能になる。他の用途には、嘘発見及び眼科用途が含まれる。用途には、網膜及び虹彩の検出を含む目または顔に基づく識別用途のような、目に基づく及び顔に基づく生体測定用途、または、本物の被検者と被検者の画像を見分ける用途も含まれる。用途には、動物の被検体に関するものを含むことも可能である。

本明細書に組み込まれ、その一部をなす添付の図面は、本発明の実施態様を例示しており、その説明と共に、本発明の原理を明らかにするのに役立つ。この説明において言及される図面は、特に注記されている場合を除いて、一定の比率で描かれていると理解すべきではない。

次に、実施例が添付の図面に示されている、本発明によるさまざまな実施態様について、詳細に言及することにする。本発明は、これらの実施態様に関連して解説されるが、もちろん、本発明をこれらの実施態様に制限するつもりはない。それどころか、本発明は、付属の請求項によって定義される、本発明の精神及び範囲内に含むことが可能な、代替、変形、及び、同等実施態様を網羅することを意図したものである。さらに、本発明の下記詳細な説明において、本発明の完全な理解が得られるように、数多くの特定の細部が明らかにされる。他の事例では、本発明の態様を不必要に曖昧にすることがないように、周知の方法、手順、コンポーネント、及び、回路の説明は行わなかった。

照射角間の差計算
本発明による実施態様は、被検者の目が開いているか、または、閉じているかを検知するための装置及び方法に関するものである。この情報を利用すれば、例えば、自動車の運転者が、眠りに落ちようとしているか否かを判定し、運転者が眠りそうであると思える場合には、警報を鳴らすことが可能になる。一般に、本発明による実施態様の１つによれば、何らかのタイプの検出器または画像化装置（imager）を利用して、被検者の顔から２つの画像が作成される（とりわけ、被検者の目が画像化される）。画像の一方は、検出器の軸に近いか、軸上にある照明を利用して作成され（「軸上」）、もう一方は、検出器に対してより大きい角度をなす照明を利用して作成される（「軸外」）。被検者の目が開いている場合、網膜からの若干の拡散反射が軸上画像においてのみ検出されるので、画像間の差によって、目の瞳孔が強調される（軸上の場合の強い瞳孔信号は、従来のストロボ写真において「赤目」として既知のところである）。他の顔及び環境特徴は、大部分が消去され、差分画像における顕著な特徴として瞳孔が残される。瞳孔が差分画像において検出できない場合、被検者の目は閉じているものと推論される。被検者の目が開いているか、または、閉じている時間量は、例えば、しきい値と対照してモニタすることが可能である。しきい値が満たされなければ（例えば、目が開いている時間の割合がしきい値未満であれば）、被検者の注意を喚起するため、警報または他の何らかの処置をとることが可能である。瞬きの頻度といった、他の測定基準を利用することも可能である。

以上の論考は、被検者の目が開いているか、または、閉じている時間量を測定するために行われる、網膜反射のモニタについて解説されている。しかし、網膜から反射される光量は、被検者のまぶたが閉じている程度の関数でもある。例えば、被検者のまぶたがたれているか、被検者が目を細めている場合、反射を検出することはできない。これら両方の要素、すなわち、目が開いている／閉じている時間量、及び、目がほとんど閉じている時間量は、疲労または眠気と相関させられてきた。本明細書において解説の技法は、これらの要素、すなわち、被検者の目が閉じている時間量、及び、被検者の目がほとんど閉じている時間量のどちらについても査定することが可能である。

また、本発明による特徴は、主として、眠気検知に関連して解説される。しかし、さまざまな実施態様において、本発明を利用可能な用途が他にもあるのは明らかである。

図１は、本発明による瞳孔検知装置の実施態様の１つのブロック図である。この実施態様の場合、この装置には、検出器１０１（例えば、画像化（imaging）検出器）、第１の光源１０３、及び、第２の光源１０５が含まれている。この検知装置は、オプションにより、コントローラまたはプロセッサ（例えば、画像プロセッサ）を組み込むこともできるし、あるいは、外部コントローラまたはプロセッサに結合することも可能である。この解説において言及される図面は、一定の比率で描かれたものではないものと理解されたい。

図解を分りやすくするため、第１の光源１０３及び第２の光源１０５は、検出器１０１の両側に示されているが、代わりに、検出器１０１の同じ側でもかまわないのは明白である。網膜からの反射率差を求める上での重要な原理は、網膜の反射率が光源と検出器との角度（この角度は照射角と呼ばれる場合もある）によって決まるという点にあることは明らかである。画像センサに対する光源の位置は、さらなる条件による制約を受ける。反射網膜に対応するスポットを生じることになる、画像間の差の計算がうまくいくためには、視界の残りの部分（被検者の顔、衣服、及び、自動車のインテリアを含む）が、２つの異なる照射角の下においてほぼ同様の照射プロフィールを示すことが望ましい。例えば、片側の軸上光源からの照射は、もう１つの軸外光源によって生じる影とは大幅に異なる影を生じる。上記情報に留意すると、第１及び第２の光源１０３及び１０５を検出器１０１の同じ側に配置するほうが、これらの光源を検出器の両側に配置するより有利であることが分る。

本実施態様の場合、第１の光源１０３は、検出器１０１の軸１０７から第１の角度１１０をなすように配置され、第２の光源１０５は、軸１０７から第２の角度１１２をなすように配置される（これらの角度は、一定の比率に合わせて描かれていない）。角度１１０及び１１２は、照射角と呼ぶことも可能である。一般に、小さいほうの第１の角度１１０によって、網膜からのリターンが増大する。本明細書において用いられる限りにおいて、「レチナール・リターン」は、被検者の目から反射されて、検出器に戻される強度（実際の光子数または同等物）を表わしている。用語「レチナール・リターン」は、眼底に位置する他の組織等（網膜以外の、または、網膜に加えて）を含むようにも利用される。従って、第１の角度１１０は、第１の光源１０３が、軸１０７上にくるように、または、軸１０７に近接するように選択される。実施態様の１つでは、第１の角度１１０は、約０〜３度の範囲内である。

一般に、第２の角度１１２の大きさは、検出器１０１において、第２の光源１０５からの低レチナール・リターンだけが検出されるように選択される。虹彩（瞳孔を取り巻く）によって、この信号は阻止され、従って、第２の角度の大きさ１１２を選択する場合には、異なる照明条件下における瞳孔サイズを考慮することが重要である。第２の角度１１２は、第１の角度１１０より大きいが、瞳孔を除いて、第２の光源１０５を用いて捕捉される画像が、第１の光源１０３を用いて捕捉される画像と同様になるように、第２の角度１１２は、第１の角度１１０よりもかなり大きくしすぎるべきではない。従って、実施態様の１つでは、第２の角度１１２は、約３〜１５度の範囲内である。角度１１０及び１１２（または、同等に、光源１０３及び１０５の位置）は、例えば、特定の被検者の特性に合わせて調整することが可能である。

第１の光源１０３は、軸上にあると称することが可能であり、第２の光源１０５は、軸外にあると称することが可能である。実施態様の１つでは、光源１０３及び１０５は、発光ダイオード（ＬＥＤ）であるが、本発明は、そうした制限を受けるものではない。もう１つの実施態様では、検出器１０１、第１の光源１０３、第２の光源１０５は、及び、軸１０７は、同じ平面内（または、ほぼ同じ平面内）に配置されているが、本発明は、そうした制限を受けるものではない。実際、解説の各光源（例えば、第１の光源１０３）は、２つ以上の発光素子とすることが可能であり、この場合、こうした各発光素子は、ほぼ同じ照射角をなすように配置される。さらに、光源の一部または全ては、垂直共振器面発光レーザ（ＶＣＳＥＬ）とし、照射角を広げる必要があれば、適合する拡散体を設けることが可能である。

実施態様の１つでは、第１の光源１０３及び第２の光源１０５は、網膜からの分は別にすると、ほぼ等しい強度（明るさ）を生じる光を放出する。光源１０３及び１０５は、異なる波長、または、ほぼ同じ波長の光を放出することが可能である。これについては、さらに、図３、図６、及び、図７Ａ〜図７Ｄに関連して後述する。光源１０３及び１０５によって放出される光の波長及び／または照度は、光が被検者の気を散らすことにならないように、また、被検者の虹彩が、その光に反応して収縮しないように選択されるが、選択波長は、検出器１０１が応答するのに十分なほど短いのが望ましい（画像化装置の吸収領域が厚くなると、長波長応答が良好になる傾向があるという点に留意されたい）。実施態様の１つでは、光源１０３及び１０５によって、赤外または近赤外波長が用いられる。

図２Ａには、本発明に基づく実施態様の１つによる軸上光源（例えば、図１の第１の光源１０３）を利用して生成された画像（すなわち、開いた目）が例示されている。図２Ａには、強いレチナール・リターンのために明るい瞳孔が例示されている。目を閉じていたら（あるいは、おそらく、ほぼ閉じていたら）、明るい瞳孔が検出され、画像化されることはなかったであろう。

図２Ｂには、本発明に基づく実施態様の１つによる軸外光源（例えば、図１の第２の光源１０５）を利用して生成された画像（すなわち、開いた目）が例示されている。図２Ｂの画像は、図２Ａの画像と同時に作成することもできるし、あるいは、図２Ａの画像にすぐ隣接したフレーム（例えば、図２Ａの画像より１／３０秒前か、または、後の）で作成することも可能である。図２Ｂの画像には、暗い（すなわち、通常の）瞳孔が例示されている。目を閉じていたら、あるいは、ほぼ閉じていたら、図２Ａの画像と時間的に近接しているので、図２Ｂの画像が明るい瞳孔を示すという可能性はやはりないであろう。

図２Ｃには、本発明による実施態様の１つに従って、軸上と軸外の光源を用いて生成された画像（それぞれ、図２Ａ及び図２Ｂの画像）間の差から生じる画像が例示されている。目を開いている場合、図２Ａと図２Ｂの画像間の差を取り入れると、比較的明るいスポット３１０が、比較的暗い背景３２０と対照をなして残ることになる。背景３２０に残る目の他の特徴の痕跡が存在する可能性があるが、一般に、明るいスポット３１０は、背景３２０に比べて一目瞭然である。目を閉じるか、または、ほとんど閉じている場合、差分画像に明るいスポットは生じない。

図２Ａ、図２Ｂ、及び、図２Ｃは、被検者の片方の目を中心に取り扱ったものである。両目のモニタが可能であることは明らかである。画像に、被検者の他の特徴（例えば、顔の他の特徴）、並びに、被検者の環境の特徴（例えば、自動車運転者のまわりの環境、自動車の諸部分等）が含まれる場合に、同様の効果が得られるのも明らかである。これらの特徴は、目が開いている場合には、明るいスポット（または、それぞれの目毎に１つずつの、２つの明るいスポット）を残して、あるいは、目が閉じているか、または、ほとんど閉じている場合には、こうしたスポットを残さずに、説明したばかりのものと同様のやり方で、大部分が消去される。

実施態様の１つでは、検出器１０１は、電荷結合素子（ＣＣＤ）画像化装置を利用し、もう１つの実施態様では、相補型金属酸化膜半導体（ＣＭＯＳ）画像化装置を利用するが、本発明はそうした制限を受けるものではない。一般に、ＣＭＯＳ画像化装置のほうが、ＣＣＤ画像化装置よりも安価であり、場合によっては、ＣＭＯＳ画像化装置のほうが、赤外／近赤外波長において、ＣＣＤ画像化装置よりも優れた感度が得られることがあるという点には留意する価値がある。

図１において、被検者１２０は、検出器１０１と直接向かい合っているように例示されている。しかし、被検者１２０は、検出器１０１に対して別の方向を向くこともあり得る。被検者１２０が見ている方向と軸１０７との間で形成される角度は、注視角と呼ぶものとする。あらかじめ定められた角度１１０及び１１２が、注視角によって変化することはない。注視角に対するレチナール・リターンの感度は、比較的弱い。従って、被検者１２０の頭及び目は、眠気検知装置の効率及び信頼性にほとんど影響を及ぼすことなく、検出器１０１及び光源１０３及び１０５に対して頻繁に動かすことが可能である。

検出器１０１及び光源１０３及び１０５は、自動車内において、被検者１２０からほぼ任意の距離をあけて配置することが可能である。検出器１０１及び光源１０３及び１０５は、被検者１２０が一般に着座する自動車内の領域を十分にカバーする。もちろん、被検者１２０が眠気検知装置から顔をそらせている場合には、レチナール・リターンは検出されない。前述の開いた目のしきい値が満たされない場合、警報が出される（例えば、鳴らされる）。

図３は、本発明による実施態様の１つに従って動作している、図１の実施態様を示すブロック図である。第１の光１０４が第１の光源１０３から放出され、被検者１２０から反射されて、第１の光源１０３に戻される。第２の光１０６が第２の光源１０５から放出され、被検者１２０から反射されて、第２の光源１０５に戻される。

本実施態様の場合、明らかに、光は被検者１２０の顔（並びに、周囲環境の一部）に対して「拡散放出」される。図解を分りやすくするため、光源１０３及び１０５から放出される、単一の光ビームが示されているが、本実施態様の場合、実際には、光は拡散する。もう１つの実施態様では、光が自動車の運転者の気を散らさないことが重要であるという点を認識して、レーザによって放出される光ビームのように、比較的指向性の高い光ビームを利用することが可能である。レーザと共に、拡散体を利用することによって、自動車運転者を照射することが可能である。

本実施態様によれば、強いレチナール・リターンが、第１の反射光１０４によって検出器１０１に供給されるが、第２の反射光１０６によって供給されることはない。目が十分に開いている場合には、第１の反射光１０４と第２の反射光１０６との差（または、そうして生成されるフレーム間の差）によって、被検者１２０の目の瞳孔が示される。

引き続き図３を参照すると、本実施態様の場合、光源１０３及び１０５からの光は、一般に、検出器１０１のフレーム・レートと同期するパルスとして放出される。例えば、検出器１０１が、秒当たりフレーム数（ｆｐｓ）が３０のフレーム・レートで動作する場合、毎秒３０パルスのレートで、光が放出されることになる。ある実施態様の場合、光源１０３及び１０５から放出される光パルスは、連続放射されるのではなく、代わりに、バースト状に放出され（例えば、パルス化され）、バーストよりも長い期間を伴う。例えば、フレーム・レートが３０ｆｐｓの場合、４／３０秒の間に、４つの光パルスを放出することができるが、残りの２６／３０秒については、光パルスの放出はない。こうして、十分な情報を収集して、被検者の目が開いているか、閉じているか（または、ほぼ閉じているか）の判定が行われるが、目を露光させ、運転者の気を散らす可能性は低下する。

３０ｆｐｓを超えるフレーム・レートを利用することも可能であるのは明らかであり、例えば、フレーム・レートを高くすると、被検者１２０（例えば、自動車運転者）の動き、または、背景の移動によって生じる人為的影響の低減が予測される。

順次画像化
光源１０３及び１０５からの光は、ほぼ同じ波長であっても、なくてもかまわない。光源１０３及び１０５から放出される光の波長がほぼ同じ実施態様の場合、異なる時間に光を放出することが可能である。すなわち、例えば、バースト長にわたって、パルスが光源１０３から放出され、光源１０５からのパルスが後続し、．．．といった動作が繰り返される（上述のように）。一般に、光源１０３と１０５は、連続した軸上フレーム及び軸外フレームを生成するため、１回につき１パルスずつ、光パルスを交互に放出するのが望ましい。例えば、偶数番号のフレームと第１の光源１０３を対応付け、奇数番号のフレームと第２の光源１０５を対応付けることが可能である。連続フレームは、互いに、極めて近接した時間に（例えば、約１／３０秒以内に）生成されることになる。従って、フレームは、極めてよく似ており、動きによる人為的影響が軽減されるので、任意の２つの連続フレーム間における差を見つけるプロセスが容易になる。

順次画像化のタイミング
順次捕捉される画像に関して、図４Ａ及び図４Ｂには、本発明による実施態様の１つに従って、軸上及び軸外光源（例えば、それぞれ、図１の第１の光源１０３及び第２の光源１０５）によって放出されるパルスのタイミングとフレーム・レートとの関係が例示されている。本明細書において用いられる限りにおいて、「フレーム・レート」は、「フレーム・サイクル」の逆数に相当し、フレーム・サイクルは、データ出力シーケンスにおける同じポイントに復帰する時間に相当する。フレーム・サイクルの間に、データは捕捉され、そのサイクルの一部の間でのみ読み取ることが可能である。

図４Ａの場合、パルスは、フレーム毎に１パルスずつ、軸上及び軸外光源によって交互に放出される。図４Ｂの場合、１フレームにつき１パルスで、１つのパルスが、軸上光源によって放出され、次に１つのパルスが軸外光源によって放出され（または、その逆）、次に、数フレームにわたって、光がオフになり（パルスが放出されず）、さらに、プロセスが繰り返される。

フレーム・レートに対して光源のタイミングをとるのに利用可能なオプションが他にも存在するのは明らかである。これらのオプションには、常に動作状態にある１つ以上の光源、フレーム毎に単一パルス（単一光源から）、複数フレームにわたる単一パルス（単一光源から）、何分の１フレームかだけ持続する単一パルス（単一光源から）、フレームからオフセットしたパルス、パルス・パターンが繰り返される前に、フレームをスキップするパルス（例えば、変調のため）、上記の組合せ、及び、当業者から得られる上記に対する変形が含まれる。

同時画像化
動きによる人為的影響を排除するため、波長または偏光といった何らかの光学特性によって識別可能な場合には、２つの画像を同時に集めることが可能である。例えば、第１の光源１０３から放出される光が、第２の光源１０５から放出される光と異なる波長の場合、それらの光はほぼ同時に放出することが可能である。こうした実施態様の１つにおいて、最強のレチナール・リターンを生じる波長は、第１の光源１０３（検出器１０１に最も近い光源）によって利用され、２つの波長のもう一方は、第２の光源１０５（検出器１０１から最も遠い光源）によって利用される。従来のシリコン・ベースの検出器で測定すると、レチナール・リターン信号は、一般に、９５０ｎｍ（ナノメートル）の波長に比べて、８００ｎｍのほうが強くなり、従って、この場合、短いほうの波長と軸上光源を関連づけるのが望ましい。

光源１０３と１０５の両方からほぼ同時に光が放出されると、検出器１０１によって、軸上及び軸外フレームがほぼ同時に取得される。軸上及び軸外フレームをほぼ同時に取得することによって、動きによる人為的影響を排除し、検出器１０１に課せられるタイミング制約条件を緩和することが可能になる。さらに、連続測定サイクル間のタイミングがそれほどクリティカルでなくなる。従って、連続測定サイクル間の時間を十分に短縮して、それでも、十分なデータが得られるようにする（要するに、自動車運転者を連続してモニタする）のは重要なことであるが、連続測定サイクル間の時間を延長することが可能になる（例えば、１／３０秒を超えることが可能になる）。例えば、毎秒４回ではなく、毎秒１回ずつ画像を捕捉することが可能である。この利点には、捕捉画像に対する感度の向上、画像処理容量の減少、コストの低下、及び／または、被検者の露光の低減が含まれる。

光源１０３及び１０５に異なる波長を利用すると、さまざまなやり方で、軸上及び軸外フレームを得ることが可能になる。これらの方法の中には、バルク光学素子を用いるものもあれば、ピクセル・ベースのフィルタを備えたセンサを用いるものもある。

同時画像化のためのバルク法
２つの画像を同時に集めるためには、２つの光源からの光を何とかして識別しなければならない。２つの分類手段が、波長と偏光である。軸上光源と軸外光源に相当するように、２タイプの光源を選択することが可能であり、光源の一方のタイプは、軸上位置で用いられ、相補タイプの光源は、軸外位置で用いられる。実施態様の１つでは、被検者から集められる光は、ビーム・スプリッタを通過する。例えば、ビーム・スプリッタは、入射光の半分を透過し、もう半分を反射することが可能である。反射部分は、一方の検出器に送られ、透過部分は、もう一方の検出器に送られる。実際には、他の分割比を利用することも可能である。２つの画像化チャネル間における感度差を補償する比率は、５０／５０以外の分割比とすることが可能である。波長分類の場合、波長選択フィルタを２つの検出器の前に配置して、軸上の光が透過されて、一方の検出器に送られるが、もう一方の検出器には送られないようにすることが可能である。軸外の光は、透過されて、もう一方の検出器に送られる。あるいはまた、ビーム・スプリッタに波長フィルタリング機能を組み込むことも可能である。こうしたダイクロイック・ビーム・スプリッタは、一方の波長を透過し、もう一方の波長を反射する。

代替幾何学構成によれば、それぞれ、適合する波長選択フィルタによって形成される、２つの隣接画像化装置が用いられる。この場合、画像化装置を同じ支持体にまとめて取り付け、できるだけ離れないようにするのが望ましい。各画像化装置の上に、適合するバルク・フィルタを配置することが可能である。

図５に示すもう１つの実施態様の場合、ビーム・スプリッタを用いずに、第２の検出器２０１が用いられる。第２の検出器２０１の機能は、上述の図１及び図３の論考において第１の検出器１０１について解説したのと同様である。検出器１０１と２０１を利用することによって、第１の光源１０３だけを用いて、軸上及び軸外の照射検分が可能になる。さらに、周知の技法を用いて、検出器１０１及び２０１を同期させることによって、同時に画像を捕捉し、差分画像における動きによる人為的影響を低減することが可能になる。

２つの信号を分類するための代替基準が偏光である。実施態様の１つでは、一方のタイプの光源は、ある方向に偏光させられ、もう一方のタイプの光源は、直交方向に偏光させられる。適合する偏光子を画像化装置の前に配置することもできるし、あるいは、ビーム・スプリッタ実施態様が利用される場合には、偏光ビーム・スプリッタを利用することも可能である。適切な偏光において検出すると、屋外環境からの散乱する太陽光線が偏光させられるので、さらに、信号対混信比が向上することになる。もう１つの実施態様では、単一偏光源を利用することが可能であり、例えば、特徴からの散乱時における光の無偏光化程度を示すといった差分応答を通じて、顔の異なる特徴を検出することが可能になる。

同時画像化のためのピクセル・ベース法
できるだけコストを抑えるため、１つの画像化装置の表面上においてフィルタリング機能をインターリーブすることが望ましい。さらに、このアプローチによれば、２つの出力画像化チャネルと時間同期との間の相対的な目的に関連した利点が得られる。画像化装置の表面上においてフィルタリング機能をインターリーブするため、画像化装置の表面にマイクロフィルタまたは偏光子を市松模様をなすようにパターン化することが可能である。

図６の実施態様では、市松模様のパターンは、光源１０３及び１０５（図３）によって用いられる波長に基づいて２タイプのフィルタを利用して、センサ２００上に形成される。すなわち、例えば、センサ２００には、第１の波長にフィルタリングを施すためのフィルタ材料を含む領域（１で識別される）と、第２の波長にフィルタリングを施すためのフィルタ材料を含む他の領域（２で識別される）が含まれている。本実施態様の場合、センサ２００は、検出器１０１（図１）に組み込むことが可能である。さまざまなフィルタ材料を市松模様以外のパターンをなすように配列することができるのは明らかである。フィルタ材料は、従来の被着プロセス及びフォトリソグラフィ・プロセスを用いて、センサ２００の独立した層として、なおかつ、ウェーハ形状で、被着（例えば、層化）させ（例えば、下層の上に）、製造コストを抑えることが可能である。さらに、または、それらに代わるものとして、センサ２００と入射光の間に、独立した素子として、フィルタ材料を取り付け、光がセンサ２００の表面に達する前に、バルク・フィルタリングまたは均一なフィルタリングを施すことが可能である。

もう１つの実施態様では、２つのフィルタ材料の一方は、ウェーハ形状で、画像化装置上にパターン形成することが可能であり、同時に、相補性の大領域のフィルタ材料によって、画像化装置全体が覆われる。小さいフィルタと大きいフィルタのために、顔料または染料をドープした高分子、及び、半導体、他の無機材料、または、有機材料から造られた干渉フィルタ、反射フィルタ、及び、吸収フィルタを含む、さまざまなタイプのフィルタを利用することが可能である。さらにもう１つの実施態様では、例えば、市松模様のパターンをなすシリコン・ピクセル自体内において、波長及び／または利得感度を変化させることが可能である。

同様に、偏光感知性検出を利用して、２つの異なる照射角からの信号を識別することも可能である。同時捕捉のための偏光子は、センサ上の平行な薄い金属ストリップとして製作することが可能である。ある特定のピクセル上のストリップに隣接ピクセル上のストリップに対して直交する配向を施すと、隣接ピクセルによって、直交偏光が検出されるようになる。これらの金属ストリップは、例えば、インジウム・スズ酸化物のような半透明材料を用いて製作することが可能である。

波長クロストーク考慮事項
波長クロストークを回避するため、軸外波長を選択するために用いられる着色高分子は、軸上波長の放射線を透過しないのが望ましい。逆方向のクロストークは、軸上波長の軸上レチナール・リターンの強度のために、それほど有害ではない。レチナール・リターンの角度依存性は、波長依存性よりも強いので、光源１０３及び１０５に、それぞれ、強いレチナール・リターンを生じる、異なる波長を利用することが可能である。このアプローチには、フィルタ要件を単純化する利点がある。例えば、長波長通過フィルタを利用して、全てのピクセルから可視光を遮断することが可能である。このフィルタは、画像化チップの前のバルク・フィルタとすることもできるし、あるいは、画像化チップを覆うフィルムとすることも可能である。例えば、市松模様のパターンをなすように、ピクセルの半分には、別のフィルタを被着させることが可能である。このフィルタは、短い波長は阻止するが、長い波長は通過させる長波長通過フィルタとすることが可能である。

図７Ａ及び図７Ｂは、本発明によるさまざまな実施態様に従って利用することが可能なセンサ２００の実施態様を例示した断面図である。これらの図には、センサ２００の一部だけしか例示されていない。まず図７Ａを参照すると、検知領域Ｓ１は、第１の波長（λ₁）の光を検出するためのものであり、検知領域Ｓ２は、第２の波長（λ₂）の光を検出するためのものである。フィルタＰ１及びＰ２は、無機フィルム、高分子フィルム、蒸着フィルム等とすることが可能である。フィルタＰ１及びＰ２は、それぞれ、第２及び第１の波長（それぞれ、λ₂及びλ₁）の光をフィルタリングで除去するため、透過特性が異なっている。例えば、高分子フィルムは、異なる顔料または染料を利用することが可能であり、無機フィルムは、薄い金属層、半導体材料、または、誘電体材料を利用することが可能である。

図７Ｂを参照すると、１組の検知領域（例えば、Ｓ２）上にフィルタ（例えば、Ｐ２）が配置されていて、第１の波長（λ₁）の光は、検知領域Ｓ１及びＳ２の両方で検知することができるが、第２の波長（λ₂）の光については、検知領域Ｓ２では検知できるが、検知領域Ｓ１では検知できないようになっている。

図７Ｃ及び図７Ｄには、検知領域Ｓ１及びＳ２から可視光（λ_VIS）を遮断するため、フィルタＰ１及びＰ２の上に広領域フィルタ２８０が取り付けられているセンサ２００の他の実施態様が示されている。

代替幾何学構成
図８は、本発明による瞳孔検知装置のもう１つの実施態様に関するブロック図である。この実施態様の場合、第１の光源１０３は、ある波長を利用し、第２の光源１０５は、もう１つの波長（異なる波長）を利用し、第２の検出器（例えば、画像化検出器）は、ビーム・スプリッタ２０３と共に用いられる。ビーム・スプリッタ２０３（例えば、ダイクロイック・ビーム・スプリッタ）は、波長選択フィルタ素子と連係して、一方の波長の反射光を第１の検出器１０１に送り、もう一方の波長の反射光を第２の検出器２０１に送る。

図９は、本発明による瞳孔検知装置のさらにもう１つの実施態様に関するブロック図である。この実施態様の場合、第１の光源１０３からの光の一部は、ビーム・スプリッタ２０５（例えば、５０／５０ビーム・スプリッタ）によって反射され、軸１０７に沿って被検者１２０に送られる（第１の光源１０３からの残りの光は、ビーム・スプリッタ２０５を通過する）。被検者１２０から反射した光は、軸１０７に沿って進み、軸１０７に沿った光の一部は、ビーム・スプリッタ２０５を通過して、検出器１０１に達する。従って、この実施態様の場合、第１の光源１０３は、動作中、ほぼ軸上（検出器の軸上）にある。

図１０には、機能が１０１及び２０１と同様の第３の検出器３０１がさらに軸から外れて配置された、瞳孔検知装置のもう１つの実施態様が例示されている。追加光源１０５及び１０９を設けることも可能である。一般に、各追加光源は、それぞれの光源／検出器対に軸上照射を施すため、そのそれぞれの検出器に近接して配置するのが望ましい。これは、図５に示すように、複数の光検出器を単一光源と共に利用することによって緩和することが可能である。特定の組をなす光源及び検出器（例えば、最良の結果を生じる光源及び検出器）を選択することによって、初期セットアップに柔軟性を付与することが可能である。

複数の光源及び検出器によって、瞳孔検知のための注視角の範囲を拡大し、瞳孔がさえぎられる事例（例えば、鼻によって、眼鏡からのグレアによって、または、眼鏡のフレームによって）を減らし、検出器と光源の位置を直すことなく、広範囲にわたる個々の人間と個々の頭部位置に適応し、ハードウェアの冗長性をもたらすことが可能になる。一例として、上述の、検出器１０１と光源１０３及び１０５の組合せの利用がある。代わりに、検出器３０１と光源１０５及び１０９を一緒に用いることもできるし、検出器１０１と光源１０３及び１０９を一緒に用いることもできるし、あるいは、検出器２０１及び３０１と光源１０５を一緒に用いることも可能である。これらは、可能性のある組合せのほんの数例にすぎない。用いられる特定の組合せは、周囲照明及び被検者の頭の位置またはアイウェアが変化するので、経時変化する可能性がある。さらに、云うまでもなく、複数の検出器及び光源の利用は、本明細書に解説の特定の構成に制限されるものではない。４つ以上の検出器または光源は、上述の概念を敷衍したものである。検出器または光源には、ある波長のものもあれば、別の波長のものもあるようにすることも可能である。

他の実施態様には、単一検出器と３つの光源を一緒に用いることが可能なものもある。こうした実施態様の１つでは、第１の光源が検出器の軸上にあり、第２と第３の光源は検出器に対し２つの異なる軸外角度位置にある。この実施態様の場合、第１と第２の光源を順次利用して、１つの差分画像を得ることが可能であり、第１と第３の光源を利用して、別個の差分画像を得ることが可能である。これら個別の差分画像を用いることによって、レチナール・リターンとグレアの弁別が容易になる。一般に、レチナール・リターンは、個別差分画像においてほぼ同じになるが、第２の光源による照射の下でのグレアは、第３の光源による照射の下でのグレアと必ずしも同じではないので、グレアは、必ずしも同じにはならない。

単一検出器と３つの光源を一緒に利用するもう１つの実施態様では、第１の光源が検出器の軸上にあり、第２と第３の光源は検出器に対して２つの異なる軸外角度位置にある。この実施態様では、第１の光源の波長はλ₁であり、第２と第３の光源の波長は、それぞれ、かなり異なるλ₂及びλ₃である。この実施態様の場合、３つの「カラー」波長弁別センサを用いて、単一画像を得ることが可能である。２つの異なる差分画像（一方は、波長λ₁とλ₂の間におけるものであり、もう一方は、波長λ₁とλ₃の間におけるものである）は、ディジタル処理を施すことが可能である。これら２つの別個の画像は、上述のように、レチナール・リターンとグレアの弁別を容易にするために用いることが可能である。この実施態様によれば、差分画像を処理するために捕捉されるのが単一画像だけであり、従って、動きによる人為的影響がほぼ排除されるので、単一波長の実施態様に対して有利になる。

単一検出器と３つの光源を一緒に利用するさらにもう１つの実施態様では、第１の光源が検出器の軸上にあり、第２と第３の光源は検出器に対して２つの異なる軸外角度位置にある。この実施態様では、３つの光源のうち２つの光源の波長が同じである。この実施態様の場合、２つの画像が得られる。一方の画像は、波長がλ₁の単一光源を用いて得られる。もう一方の画像は、他の２つの光源、すなわち、波長がλ₁の光源と波長がλ₂の光源で同時に照射して得られる。２つの画像にディジタル処理を施して、上述のように、レチナール・リターンとグレアの弁別を容易にするために用いることが可能な、２つの異なる差分画像を得ることも可能である。この実施態様は、上述の３波長実施態様に比べて、製作が容易かつ低コストになるものと予測される。

照射差による画像化を利用した目に基づく生体測定用途
同時に画像を得るためのもう１つの方法は、第２の検出器２０１を、または従来の可視カラー画像化装置のような単一画像化装置のモザイク・カラー・フィルタ部分を利用することである。本明細書に解説の目検知技法では、目の３次元開口特性を利用するので、この技法を利用して、本物の人間の目とその写真を識別することが可能である。この能力によって、侵入者に対する目に基づく及び顔に基づく識別システムの安全性が向上する。角度差による画像化技法を利用して、視界内の瞳孔を見つけ、次に、可視及び／または近赤外波長における虹彩検知または網膜検知のような、目に基づく識別技法を利用して、瞳孔を識別することも可能である。

実施態様の１つでは、画像化検出器の１つを利用して、生体測定による識別を施すことが可能であり、同時に、本明細書に記載のようなもう１つの画像化システムによって、本物の人間の目の３次元特性が検証される。本明細書において用いられる限りにおいて、「生体測定」対象は、ある個人が本人であることを確認するために利用可能な、例えば、網膜、虹彩、声の音響スペクトル（例えば、声紋）、指紋、筆跡、指の長さのパターン等のような、特定の及び一意的に識別可能な人間の身体的な特性を表わしている。従って、本発明の特徴を利用して、本物の被検者と被検者の画像（例えば、写真）を識別することが可能である。あるいはまた、上述の角度差を利用して瞳孔の位置を確認し、その後、虹彩テクスチャの高速ビデオ解析を利用する技法（例えば、Ｊｏｈｎ Ｄａｕｇｍａｎの虹彩識別技法）のような虹彩識別技法を適用する、信頼できる虹彩検知のための画像化装置では、個々のピクセルに適用される赤外フィルタ、及び、おそらくは、可視域フィルタと共に、モザイクを利用することも可能である。実施態様の１つでは、低解像度の画像化装置による広い視界内における瞳孔の位置確認が済んだ後、高解像度の画像化装置を瞳孔に向けることが可能である。例えば、もう一度、図６を参照すると、センサ２００は、赤、緑、及び、青フィルタに関連した追加領域を含むように構成することが可能である。既知の画像処理技法を利用すると、目は、瞳孔が虹彩によって包囲され、虹彩が白目によって包囲され、白目が皮膚の色調によって包囲されたものとして識別することができる。光源１０３及び１０５が赤外光源である実施態様の場合、可視光を用いて得られた結果と、赤外光による角度差のある照射を利用して得られた結果を比較することによって、画像化情報の正確度に関してさらに高レベルの信頼が得られることになる。

照射角度差による技法は、生体測定対象検出の目的のために、さまざまなやり方で適用可能である。用途によっては、特徴認識が、被検者の配向の認識によって左右されるものもある。瞳孔に強い光を当てると、照射差によって、顔の水平軸の判定が可能になる。例えば、この情報を利用して、生体測定対象の識別に関するデータベースと比較するため、虹彩及び顔のような特徴の画像に配向を施すことが可能である。

実施態様の１つでは、まず、上述の方法の１つを利用して、目の位置を検出することが可能である。次に、目のあたりで、画像化装置の部分領域を識別することが可能である。この部分領域だけから後続画像を得ることによって、画像処理速度及びフレーム・レートを速めることが可能になる。あるいはまた、この位置情報を利用して、第２の（高解像度の）検出器（画像化装置）を向けることも可能である。例えば、上述のように、第１の（低解像度の）検出器を利用して、目の位置を確認し、次に、第２の（高解像度の）検出器を利用して、目に焦点をあわせ、モニタすることが可能である。この位置指示概念は、ただ単に虹彩検知だけではなく、広範囲にわたる用途に適用可能である。

結果の蓄積による眠気の判定
従って、本発明のさまざまな実施態様によれば、自動車運転者の眠気（または、逆に、覚醒）に関する判定が可能になる。例えば、目が開いている時間量を測定して、所定のしきい値と比較することが可能である。しきい値を満たすことができなければ、ある長期間にわたって、目が閉じていた（または、ほぼ閉じていた）ことを表わしており、運転者が眠りに落ちようとしていて、おそらく、警報をトリガすると、驚いて、覚醒状態になることを示唆している。

画像の取り扱い
図１の検出器１０１には、いくつかの特徴のうち１つ以上を組み込むことが可能である。検出器１０１によって捕捉される画像は、一般に、例えば、ディスプレイ・スクリーン上に表示されたり、あるいは、プリントされた画像として表示されたりすることはない。従って、図２Ａ〜図２Ｃに関連した論考は、画像生成を推論しているが、実際には、これらの画像は、必ずしも見るのに適した形ではなく、上述の処理（差計算）に適した形で、検出器１０１のメモリのある部分、または、センサ２００（図６）に納められる。また、画像は、処理に十分な期間だけ、メモリまたはセンサ２００に納めておき、処理が済むと、廃棄するか、上書きすることが可能である。例えば、順次画像形成の場合、１つまたは２つの連続した画像、または、バースト状に捕捉される画像（上述のように）だけしか同時に記憶しないことが可能である。従って、検出器１０１に関するメモリ要件は、軽減することが可能である。同時画像化の場合、検出器は、ビデオ・モードではなく、１つの画像だけしか得られないシングル・ショット・モードで動作させることが可能である。このアプローチには、比較的低速のバスで画像を伝送する能力を保持したまま（必要があれば）、生ピクセル・データに簡単にアクセスして、ピクセル・ベースの画像処理を行うことが可能になるというさらなる利点がある。

さらに、上述の実施態様によれば、２つの画像の差を求めることによって、瞳孔の位置が確認され、この差計算プロセスが繰り返される。この処理は、一般に、差分画像における明るいスポットの有無を判定することと要約することが可能である。画像解析のためのかなり高度な処理技法が利用可能であるが、これらの処理を利用する必要がない。従って、検出器１０１の処理要件を緩和することが可能になる。さらに、処理が反復性のため、検出器１０１によって、カスタム化されたプロセッサ（専用集積回路等）を利用することが可能になる。あるいはまた、ＣＭＯＳ検出器の場合、センサと同じチップ上で、画像処理を実施することが可能である。これらのケースのいずれにおいても、画像処理は迅速かつ低コストで実施可能である。

対称照射による陰影の低減
図１１は、本発明による瞳孔検知装置のもう１つの実施態様に関するブロック図である。この実施態様の場合、先行実施態様に対して、第３の光源４０３と第４の光源４０５が追加されている。他のさまざまな実施態様において、図１１の装置は、上述の特徴の一部または全てを取り入れることが可能である。追加光源を利用すると、陰影（shadowing）及び付随する影響を低減するのを助けることが可能である。

実施態様の１つでは、第３の光源４０３は、第１の光源１０３と同じ波長を利用し、第４の光源４０５は、第２の光源１０５と同じ波長を利用する。実施態様の１つでは、第１の光源１０３、第２の光源１０５、第３の光源４０３、及び、第４の光源４０５は、強度（明るさ）がほぼ等しい光を放出する。実施態様の１つでは、第１及び第３の光源１０３及び４０３は、軸１０７から等距離で、軸１０７に対して垂直な同じ平面内にある、すなわち、それらは、軸１０７に関して対称である。もう１つの実施態様では、第２及び第４の光源１０５及び４０５は、軸１０７から等距離である（軸１０７に関して対称である）。実施態様の１つでは、第１の光源１０３及び第３の光源４０３は、同じ（第１の）照射角度位置にあり、第２の光源１０５及び第４の光源４０５は、同じ（第２の）照射角度位置（第１の照射角度位置とは異なる）にある。

瞳孔直径の検知
図１２は、本発明による瞳孔直径を検知するための装置の実施態様に関するブロック図である。瞳孔は、網膜によって入射光を反射し、光の送られてきた方向に戻すので、瞳孔の直径が大きければ、光源に対して大きい角度で反射を捕捉できるはずである。図１２の実施態様の場合、一連の光源５０２が、図示のように、検出器１０１のそれぞれの側に配置されている。光源５０２の順次照射によって、レチナール・リターンが検出器１０１において認知できなくなるか、または、大幅に弱まる照射角を求めることが可能である。次に、計測可能なレチナール・リターンを生じたのが、光源５０２のうちのどれであるかに基づいて、瞳孔のサイズを導き出すことが可能である。例えば、無視することのできないレチナール・リターンを検出器１０１に供給した、検出器１０１から最も遠い光源を識別することによって、瞳孔のサイズを推測することが可能である。

あるいはまた、レチナール・リターン信号（図１の検出器１０１によって発生した信号）の強度対照射角のプロフィールを利用して、瞳孔サイズを推定することが可能である。さまざまな瞳孔直径に関して、信号強度対照射角のプロフィールを導き出すことが可能である。光源５０２の順次照射によって得られるレチナール・リターン信号とさまざまなプロフィールを比較して、瞳孔の直径を推定することが可能である。差分画像において捕捉される明るいスポットの直径を測定することによって（例えば、図２Ｃの明るいスポット３１０の直径を測定することによって）、直径を推定することも可能である。

図１２を参照すると、検出器１０１によって時間経過につれて捕捉された画像を利用して、瞳孔直径の測定を無効にするほど、頭も目も動かなかったかを確認することが可能である。急速な走査速度及びフレーム・レートを利用して、短時間の瞳孔の収縮を捕捉することができる。一部の研究では、瞳孔の短時間の収縮を利用して、ある人物が正直であるか否かを判定できることが示されている。すなわち、瞳孔の直径を測定することによって、本発明による実施態様は、嘘発見器として利用することが可能になる。

単一光源による目の検知
図１３は、本発明による瞳孔検知装置のさらにもう１つの実施態様に関するブロック図である。この実施態様の場合、単一検出器１０１と単一軸上光源１０３が利用される。

図１４には、本発明による図１３の装置を利用して、被検者の目の瞳孔を検知する技法の実施態様の１つが例示されている。軸上照射を受けて、被検者の目は、背景からはっきりと識別され、暗い領域７１０及び７２０によって包囲された明るいスポット７３０のように見える。こうして、軸外画像を捕捉せずに、また、後続の軸上画像と軸外画像との差を計算せずに、瞳孔（明るいスポット７３０に対応する）を検知することが可能になる。

もう１つの実施態様の場合、画像センサには、単一（軸上）光源からの光と周囲の背景光を弁別するように設計された、例えば、市松模様のパターンをなすフィルタが含まれる。このアプローチによれば、同時に、ほぼ背景除去が可能になる。

技法の組合せ
被検者の目の瞳孔を検知するために用いられる眠気検知装置に関する、いくつかの異なる実施態様について述べてきた。それぞれに異なる実施態様のさまざまな特徴は、単独で利用することも、あるいは、組み合わせて利用することも可能である。

眠気を催した運転手検出器の配置
瞳孔が検知されるか否かに基づいて、例えば、被検者が眠りに落ちようとしているか否かを推測することが可能である。本発明によるさまざまな実施態様によれば、被検者に物理的に接触することなく、ある距離及び角度範囲にわたって、これが実現する。従って、装置のパッケージング及び自動車内における装置の配置に関して、柔軟性が得られる。実際、装置の配置は、太陽光及びグレアによる干渉を最小限に抑えるように選択することが可能である。例えば、自動車の場合、装置は下記の位置に配置することが可能である：
速度計及び他のこうした計器類が配置されたダッシュボード上、
標準機器の代わりに顧客が選択可能な他のオーディオ機器が実装されるステレオ・パネル内−これによって、古い自動車に対して装置を最新のものにすることが可能になり、センサは、オーディオ機器に既存の送信または受信装置に接続することが可能であり、オーディオ機器を利用して、運転者に可聴警報を出すことが可能になる、
ステアリング・ホイールの上部、
バック・ミラー上、
バック・ミラー内またはその背面（例えば、光が、可視光を反射し、赤外光を透過するフィルタの働きをするミラーを介して放出されるので、網膜から反射される光は、ミラーを通過して、検出器に達することが可能である）、
フロント・ガラスからの反射を利用して、ダッシュボードの上部、
窓枠のモールディング内、
フロント・ガラス自体内、
空調コントロール・パネルのような、調整つまみ及び機器を配置することが可能な、センター・コンソールまたは他の場所に取り付けられた独立したモジュール内、
フロント・ガラスの上部、または、屋根の前方部分、
車載ナビゲーション・システムとの一体化。

目検知結果の向上
眠気検知装置に追加特徴を組み込むことによって、画像解析の正確度をさらに向上させることが可能である。例えば、軸上画像と軸外画像の相関関係に基づく画像処理技法を利用して、画像が異なる時間に捕捉される実施態様における相対的な動きを求めることが可能である。動きの大きさが、計測可能なしきい値に基づいて、大きすぎる場合には、関連情報を無視（廃棄）して、エラー・メッセージをプロセッサに送ることが可能である。

利用することが可能なもう１つの特徴は、自動車が移動または加速中であるか否かを判定するために用いることが可能な、加速度計または他の何らかのタイプの装置（例えば、自動車の外側を調べる赤外線またはレーダ画像化装置）を眠気検知装置に結合するか、または、眠気検知装置内に組み込むことである。眠気検知装置に自動車の速度計を結合することも可能である。自動車が動いていない場合に、運転者警報機構を動作不能にすることが可能である。加速度計または同様の装置を利用して、急加速によって、過剰な動きが予測されるか否かを判定することも可能である。

ヒストグラムのような、または、感光デバイスを用いる画像処理技法を利用して、総合的な（周囲）光レベルが高すぎるか、低すぎて、信頼できないのではないか否かを判定することが可能である。この情報を利用して、検出器または光源の頑強性を高めるべきか否かを判定することが可能であり、これについては、図１５のステップ８４０に関連して後述する。画像処理技法を利用して、明るいスポットのサイズ、形状、または、位置が正しいか否かを確認することにより、差分画像における明るいスポットが瞳孔であるか否かを検証することも可能である。

瞳孔検知方法
図１５は、本発明による実施態様の１つに基づく瞳孔検知方法のフローチャートである。フローチャート８００において、特定のステップが開示されるが、こうしたステップは、例証のためのものである。すなわち、本発明による実施態様は、他のさまざまなステップ、または、フローチャート８００に記載のステップの変形の実施にもうまく適合する。フローチャート８００のステップを提示されているのと異なる順序で実施することが可能であり、また、フローチャート８００におけるステップの全てを実施できるとは限らないのは明らかである。

本実施態様では、ステップ８１０において、第１の光が、検出器の軸に対して第１の照射角で、第１の光源から放出される。実施態様の１つでは、第１の光が、軸に関して対称に（軸から等距離に）配置された複数光源によって放出される。反射した第１の光が、検出器によって受光される。

本実施態様では、ステップ８２０において、第２の光が、検出器の軸に対して第２の照射角で、第２の光源から放出される。第２の照射角は、第１の照射角より大きい。実施態様の１つでは、第２の光が、ほぼ同様の照射角で複数光源によって放出される。反射した第２の光が、検出器によって受光される。

本出願の目的からして、「ほぼ同様の照射角」は、次に定義の通りである。複数の軸外光源はほぼ３〜１５度の範囲内にあるのが望ましい（図１に関する論考を参照されたい）。下限は、かなりのレチナール・リターン（赤目）が捕捉されないほど軸から外れている。上限は、軸上及び軸外のビューが、陰影のような、同様の照射パターンを持つように選択される。上述のように、軸上ビューから軸外ビューを有効に除去して、網膜から遠い領域における情景の細部を削除するには、２つの情景のビューが名目上同一に見えるのが望ましい。軸外角の上限を制限する総合的なデバイス・サイズの制約条件が存在する可能性もある。

実施態様の１つでは、第１と第２の光は、波長がほぼ等しい。こうした実施態様の場合、第１と第２の光源は、交互に起動させられる（照射させられる）。本出願の目的からして、「ほぼ等しい波長」は、次のように定義される。きちんとした画像削除のためには、装置の軸上及び軸外の明るさが、網膜を除いてほぼ同じであることが望ましい。見掛けの明るさは、検出器の感度及び／または情景反射率における波長依存性によって変化する可能性がある。さらに、街灯のような干渉照射源が、異なるスペクトルを有する可能性がある。この影響は、一方または両方の画像にディジタル・スケーリングを施して補正することができない。従って、波長は、検出器の感度または情景反射率に大幅な差が生じないほどに似ている必要がある。

もう１つの実施態様の場合、第１と第２の光は、波長が異なっている。異なる波長を利用する場合には、（ａ）光源照射及び／または（ｂ）総合検出器感度（フィルタリングを含む）における波長の重なりを最小限に抑えるため、それらの波長は十分に離れていることが望ましい。こうした実施態様の場合、第１と第２の光源は、ほぼ同時に起動される（照射させられる）。

本出願の目的からして、「ほぼ同時」は、次のように定義される。差分画像の順次捕捉において、動きによる人為的影響を最小限に抑えるためには、情景の２つのビューを時間的に近接して捕捉するのが望ましい。２つのビューを同時に捕捉して、この動きによる人為的影響の原因を除去するのが理想である。許容可能な遅延についての明確な境界はなく、「同時」に近いほど、望ましい。実際の制限には、有効フレーム・レートと、同期エラーが含まれる。同時捕捉の場合、動きによる人為的影響は、両波長に同じ露光時間を利用することによって制限することが可能である。

さらにもう１つの実施態様の場合、第１の光と第２の光は、強度（明るさ）がほぼ等しい。本出願の目的からして、「ほぼ等しい強度」は、次のように定義される。軸外照射画像は、軸上照射画像から差し引かれる。網膜を除いて画像細部の残りの部分は、名目上、相殺すべきである。これには、２つの画像のピクセル・レベルが、網膜を除いて、同様であることが必要とされる。露光時間によって、あるいは、一方または両方の画像にディジタル・スケーリングを施すことによって、２つの画像のピクセル・レベルのバランスをとることは、最終的にはノイズ及び飽和の影響によって制約されるので、網膜以外の領域（例えば、頬）からのピクセル信号レベルのバランスを光学的にとるのが有利である。

第１と第２の光源が交互に起動される実施態様の場合、反射した第１の光及び反射した第２の光は、検出器によって、連続フレームで捕捉される。第１と第２の光源が、ほぼ同時に起動される実施態様の場合、反射した第１の光及び反射した第２の光は、フィルタリングされ、両方のサブフレームを捕捉するように構成されたセンサ（上述の図６に関する論考を参照されたい）を利用する検出器によって捕捉される。この検出器によって、反射した第１の光に対応する第１のサブフレームと、反射した第２の光に対応する第２のサブフレームが同時に捕捉され、これらのサブフレームから差が求められる。上述のように、他の実施態様には、冗長的なやり方で、複数検出器を利用することが可能なものもある。他の特徴及び改良については、上述のところであり、ここでは繰り返さない。

実施態様の１つでは、図１５のステップ８３０において、さまざまな技法を用いて、本明細書に解説のアプローチの頑強性を高めることが可能である。例えば、日中は、光（放出または反射される）の強度が太陽光に比べて薄暗くなる可能性がある。夜間でも、他の光源（例えば、ヘッドライト、街灯等）によって、反射光の捕捉がいっそう困難になる可能性がある。存在し得るさまざまな照明条件下においてこの装置をより頑強にするため、さまざまメカニズムを単独または組み合わせて利用することが可能である。これらのメカニズムは、「常に動作状態」にすることが可能であるか、または、周囲光の条件に応じて機能させる（自動または手動で）ことが可能である。例えば、周囲光条件をモニタすることが可能であり、周囲光の量（明るさ）が、しきい値を超えると、それに応じて、後述するメカニズムの１つ以上を機能させることが可能である。

変調。実施態様の１つにおいて、混信及びノイズと区別するため、問題となる信号（例えば、レチナール・リターン信号）には変調を施すことが可能である。こうした実施態様の１つにおいて、同期（ロック・インまたは位相弁別）検出アプローチを用いて、信号チャネル信号が増強される。一般に、同期検出アプローチの場合、光源（例えば、レーザ）が、選択周波数において光を変調する、一般に、チョッパと呼ばれるものに通される。半導体発光ダイオードを含む特定の光源の直接電気変調も可能である。選択周波数で変調されたチョッパの同期出力は、ロック・イン増幅器に入力される。検出器が受信する信号（例えば、レチナール・リターン信号）は、ロック・イン増幅器にも入力される。ロック・イン増幅器は、チョッパの同期出力と光学的に検出された信号を混合する。狭帯域フィルタ（選択周波数を中心とした）が適用され、ほぼ選択周波数の信号が生じる。結果として、別様であれば、ノイズとの区別が困難であるかもしれない信号が、はるかに区別のつくものになる。この場合、当該信号がなければ、データの収集を回避するのが望ましい（ノイズ測定の場合を除いて）。これは、検出器の感度を変調することによって、検出器の適正な刻時によって、シャッタを用いることによって、あるいは、他の手段によって実施可能である。例証に役立つ例として、軸上画像をＬＥＤをオンにして撮り（ｌ₁₁）、次に、ＬＥＤをオフにして撮ることが可能である（ｌ₁₀）。軸外画像をＬＥＤをオンにして撮り（ｌ₀₁）、次に、ＬＥＤをオフにして撮ることが可能である（ｌ₀₀）。最終的な差分画像は、（ｌ₁₁−ｌ₁₀）−（ｌ₀₁−ｌ₀₀）になり、この差は、変調に起因するものである。

単一チャネル信号を増強するための代替アプローチは、単一プローブ・パルスではなく、時間符号化シーケンスを放出し、このパターンと戻り信号を相関させることである。例えば、ゴレイ・コードを利用して、信号対混信比を向上させ、これによって、ある測定の積分時間を短縮することが可能である。要するに、検出器の感度は、変調可能である。あるいはまた、パターン符号化は、例えば、センサとの同期がとられる走査レーザ・ポイントまたは線によって被検者の照射領域を変調することによって実施可能である。こうして、高い空間解像度で、照射領域からの信号と被検者の背景照射とを比較することが可能になる。

照度の増強。もう１つの実施態様では、第１と第２の光の強度を増して（おそらく、明るい周囲条件下においてのみ）、目の安全にとって最大限度までテスト信号を強めることが可能である。

スペクトル範囲を狭めた検出。もう１つの実施態様では、スパイク・フィルタを用いて、検出器が受信するスペクトル範囲を光源に関連した波長にまで狭め、周囲光及び他の干渉信号をより有効にフィルタリングで除去することが可能である。

さらにもう１つの実施態様では、光源として、共振空洞ＬＥＤまたはＶＣＳＥＬのようなレーザを利用して、光源のスペクトル範囲を狭めることが可能である。整合するスパイク・フィルタを用いると、検出器によって捕捉される信号が、集められるスペクトル帯域内の周囲光に比べて強くなる。原理的には、太陽からの赤外線露光レベルは、最大許容露光限界未満であるため、波長帯域幅が十分に狭ければ、戻り信号を太陽放射線より強くすることが可能になる。目の安全のためには空間的にあまりに狭すぎるビームを、帯域幅の狭い光源が投射する場合、例えば、回折レンズまたは拡散体を用いて、ビームを拡散させることが可能である。ＶＣＳＥＬ光源の利用には、さらに、スペクトル範囲が狭くなり、典型的なＬＥＤに比べて、温度による波長シフトがかなり小さくなるという利点がある。

角度範囲を狭めた軸上照射。もう１つの実施態様の場合、ビーム・スプリッタを用いて軸上光源の照射角を狭めることによって、検出器に対する垂線と同一線上にある光源の照射が可能になる。あるいはまた、検出器のサイズを実用範囲で縮小し、かつ、検出器を被検者からできるだけ遠くに配置するか、あるいは、そのいずれかを実施することが可能である。もう１つの代替実施態様として、軸上光源と検出器の間に、遮光板を配置することも可能である。さらにもう１つの代替実施態様では、例えば、ハンダを用いるといった、さまざまなボンディング技法を利用して、光源と検出器を同じ基板上に組み込むことも可能である。さらに高度な集積化を利用することも可能である。例えば、発光体が画像化装置と同じ平面内にないレイアウトを含めて、他の数多くの物理的レイアウトが可能である。

角度範囲を狭めた検出。実施態様の１つでは、照射障壁（collimating barriers）、光学素子、及び／または、ピンホールを用いて、検出器の集光角を狭め、別様であれば、検出器が捕捉する可能性のある他の光源からの光を阻止することが可能である。検出器の視界は、ある範囲の状況下における両方の瞳孔を検分し、なおかつ、干渉光源からの一部（大部分）の信号を阻止できるようにするのに十分な広さに保つことが可能である。集光角は、センサ素子上のピクセルのサブセットだけを利用して狭めることも可能であり、この場合、瞳孔の識別後、瞳孔及び近接領域を検分するピクセルだけが利用される。あるいはまた、２つのセンサ、すなわち、瞳孔の位置を識別するためのセンサと、第１のセンサより集光角の小さいもう１つのセンサを組み込むことも可能である。第２のセンサは、第１のセンサから得られる情報の利用を目的としたものである。第２のセンサは、従って、より高い空間解像度を得ることが可能である。この第２のセンサは、被検者の目に向けるため、小形アクチュエータを利用して位置決めすることが可能である。

被写界深度。もう１つの実施態様では、瞳孔は焦点が合うが、より遠い干渉光源は焦点が合わないように、検出器の被写界深度を浅くすることが可能である。より遠くの光源がぼけると、差を求めるために用いられる画像に含まれる特徴がはっきりしなくなり、レチナール・リターンとの識別がより容易になる。

動作波長の選択による太陽光干渉の低減。もう１つの実施態様では、より波長の短い光源を利用することが可能である。自動車用途では、フロント・ガラス及びフロント・ガラスに被着したコーティングによる固有の短波長（とりわけ紫外）吸収によって、運転者に当たる可能性のある太陽からの紫外線量が大幅に低減する。従って、この領域での動作によって、信号対混信比性能を向上させることが可能である。さらに、網膜には青から紫外領域まで吸収するさまざまな色素が存在するため、目の検知は、光源の吸収特性に基づいて実施することが可能である。あるいはまた、フロント・ガラスにコーティングを施して、とりわけ、赤外範囲の外部光源の遮断を助けることが可能である。

高レベルの顔認識の利用。もう１つの実施態様では、夜間、または、周囲光が十分に低レベルの他の条件下において、本明細書に解説のように、瞳孔の位置を確認することができるが、周囲光が高レベルの場合には、より一般的な顔認識技法を用いて、目の位置を突き止め、目が開いているか、閉じているか（または、ほぼ閉じているか）を判定することが可能である。

故意の飽和。さらにもう１つの実施態様では、検出器の露光時間を調整して、さらに暗い照明条件においてより長時間の露光を可能にすることができるが、明るい照明条件の場合に、露光が短縮されることはない。結果として、明るい照明条件下において、画像は飽和する（露光過多になる）が、目下の関心事は、画像の質ではなく、画像内の瞳孔の検知能力である。画像が飽和した場合でも、フレアまたはブルーミングが過剰にならない限り、瞳孔に関連した明るいスポットは、やはり検出可能である。光学系に遮光板を用いて、フレアを抑えることもできるし、ブルーミング防止シリコン画像化機構を利用することも可能である。

本実施態様では、図１５のステップ８４０において、検出器が受光する第１と第２の反射光の差が求められる。目が開いている場合、この差には、明るいスポットが含まれ、目が閉じている場合には、明るいスポットはない。実施態様の１つでは、差計算は、検出器に結合された画像プロセッサによって実施される。もう１つの実施態様では、差計算は、眠気検知装置に組み込まれた画像プロセッサによって実施される。こうした実施態様の場合、差計算は、検出器に利用されるセンサ装置を用いて実施される。

本実施態様では、ステップ８５０、８６０、及び、８７０において、目の閉じている（または、ほぼ閉じているか、または、頻繁に瞬きする）、または、開いている時間量を測定することによって、さらに、オプションにより、瞳孔の領域と比較した反射信号の領域を測定することによって、眠気のある、または、目覚めた状態（すなわち、逆の、覚醒状態）を判定することが可能である。実施態様の１つでは、ステップ８５０において、目が閉じている（またはほぼ閉じている）時間量の移動平均が累算される。ステップ８６０において、ステップ８５０からの移動平均は、あらかじめ指定されたしきい値と比較され、過剰な時間量にわたって目が閉じているか（またはほぼ閉じているか）否かを示すために用いられる。

しきい値に合致しなければ、被検者（例えば、自動車運転者）に注意を喚起することが可能である（ステップ８７０）。実施態様の１つでは、これは、眠気検知装置に組み込むか、または、それに結合することが可能な制御システムを利用して実施される。指定のしきい値（例えば、上述のような）、または、同様のタイプの技法に基づいて、制御システムは警報を起動することが可能である。警報は、可聴性にすることもできるし、あるいは、被検者に注意を喚起する意図で設計された他の形態をとることも可能である。しきい値に合致しなければ、フローチャート８００をステップ８１０まで戻ることが可能である。

あるいはまた、さらに、別のタイプの測定を用いることが可能であり、この他の測定の結果は、さらに、ステップ８７０において用いることが可能である。例えば、警報または他の何らかの形態による保護措置が適切であるという確信の度合いを高めるため、車線変更検出器からの測定結果を眠気検知装置に関連して利用するか、あるいは、眠気検知装置からの測定結果を車線変更検出器に関連して利用することが可能である。

要約
要するに、本発明によれば、さまざまな実施態様において、瞳孔検知装置及び方法が得られる。瞳孔の位置、並びに、目が開いている／閉じている／ほぼ閉じている時間量は、被検者に物理的に接触することなく、不快感に襲われないやり方で、求めることが可能である。瞳孔／眠気は、暗闇の中でも、明るい光を含む、さまざまなレベルの背景光が存在する状態でも、検知することが可能である。瞳孔／眠気は、被検者が静止している場合、並びに、被検者及び背景が移動している場合にも検知することが可能である。この装置は、そのさまざまな実施態様において、被検者に対してさまざまな位置に配置可能である。実施態様によっては、赤外線を利用することによって、被検者の夜間視界の妨げにならず、ほとんどの人には見えないというものもある。セットアップ及び操作が簡単で、コストが低い。

眠気の検知以外に、本発明による実施態様を利用すれば、睡眠の開始及び終了をモニタし、自動車以外の場所における眠気を検知し、被検者の注意深さのレベル、被検者の存在、被検者の位置を検知し、虹彩識別技法のために瞳孔の位置を確認し、瞳孔サイズを測定することも可能になる。他の用途には、嘘発見及び眼科用途が含まれる。用途には、網膜及び虹彩の検出を含む目または顔に基づく識別用途のような、目に基づく及び顔に基づく生体測定用途、または、本物の被検者と被検者の画像を見分ける用途も含まれる。用途には、動物の被検体に関するものを含むことも可能である。

本発明の説明は、こうして、さまざまな実施態様に関して行われた。本発明は、特定の実施態様に関して解説したが、もちろん、本発明は、こうした実施態様によって制限されるものとみなすべきではなく、付属の請求項に従って解釈すべきである。

本発明による瞳孔検知装置の実施態様の１つに関するブロック図である。 本発明による実施態様の１つに従って軸上光源で生成された画像を例示した図である。 本発明による実施態様の１つに従って軸外光源で生成された画像を例示した図である。 本発明による実施態様の１つに基づく、軸上及び軸外光源からの画像間の差によって生じる画像を例示した図である。 本発明の実施態様の１つに従って動作している図１の実施態様を示すブロック図である。 本発明によるさまざまな実施態様に基づく光源と検出器との間におけるさまざまなタイミング・オプションを例示した図である。 本発明によるさまざまな実施態様に基づく光源と検出器との間におけるさまざまなタイミング・オプションを例示した図である。 本発明による瞳孔検知装置の実施態様の１つに関するブロック図である。 本発明に従って用いられる画像化装置の実施態様の１つを例示した図である。 本発明によるさまざまな実施態様に基づく図６の画像化装置のさらなる細部を例示した図である。 本発明によるさまざまな実施態様に基づく図６の画像化装置のさらなる細部を例示した図である。 本発明によるさまざまな実施態様に基づく図６の画像化装置のさらなる細部を例示した図である。 本発明によるさまざまな実施態様に基づく図６の画像化装置のさらなる細部を例示した図である。 本発明による瞳孔検知装置の実施態様の１つに関するブロック図である。 本発明による瞳孔検知装置の実施態様の１つに関するブロック図である。 本発明による瞳孔検知装置の実施態様の１つに関するブロック図である。 本発明による瞳孔検知装置のもう１つの実施態様に関するブロック図である。 本発明による瞳孔の直径を検知する装置の実施態様の１つに関するブロック図である。 本発明による瞳孔検知装置のさらにもう１つの実施態様に関するブロック図である。 本発明による図６の装置を利用して、被検者の目の瞳孔を検知するための技法の実施態様の１つを例示した図である。 本発明による実施態様の１つに従って、瞳孔を検知するための方法のフローチャートである。

符号の説明

１０１：第１の検出器
１０３：第１の光源
１０５：第２の光源
１０７：第１の検出器の軸
１１０：第１の照射角
１１２：第２の照射角

Claims (9)

1. 反射光を受光する第１の検出器と、
   前記第１の検出器の軸に対して第１の照射角で第１の光を放出する第１の光源と、
   前記軸に対して、前記第１の照射角より大きい第２の照射角で、前記第１の光とほぼ等しい強度の第２の光を放出するための第２の光源と、
   を備え、
   被検者の目の瞳孔は、前記第１の検出器で受光する、反射された第１の光と反射された第２の光との差を利用して検知可能であり、
   さらに、
   順次照射することによって瞳孔の直径を測定する複数の追加光源を備えている、瞳孔検知装置。
2. 前記軸に関して前記第１の光源と対称に配置され、前記第１の光とほぼ同じ波長を有する第３の光を放出する第３の光源と、
   前記軸に関して前記第２の光源と対称に配置され、前記第２の光とほぼ同じ波長を有する第４の光を放出する第４の光源と、
   をさらに備えている、請求項１に記載の装置。
3. 前記第１の光および前記第２の光の波長がほぼ等しく、前記第１および第２の光源が交互に起動される、請求項１に記載の装置。
4. 前記第１の光および前記第２の光の波長が異なり、前記第１および第２の光源がほぼ同時に起動される、請求項１に記載の装置。
5. 前記第１の光がある方向に偏光され、前記第２の光が異なる方向に偏光される、請求項１に記載の装置。
6. 第２の検出器をさらに備えている、請求項１に記載の装置。
7. ビーム・スプリッタをさらに備えている、請求項１に記載の装置。
8. 前記第１および第２の光が、時限バースト状に放出され、前記バーストが、該バーストより長い時間間隔によって分離されている、請求項１に記載の装置。
9. 反射光を受光する第１の検出器と、
   前記第１の検出器の軸に対して第１の照射角で第１の光を放出する第１の光源と、
   前記軸に対して、前記第１の照射角より大きい第２の照射角で、前記第１の光とほぼ等しい強度の第２の光を放出するための第２の光源と、
   を備え、
   被検者の目の瞳孔は、前記第１の検出器で受光する、反射された第１の光と反射された第２の光との差を利用して検知可能であり、
   さらに、
   異なる照射角で配置され、順次照射することによって瞳孔の直径を測定する一連の隣接する追加光源を備え、
   前記瞳孔の直径を測定することは、前記一連の隣接する追加光源のそれぞれの照射角に対するレチナール・リターンを比較することを含む、瞳孔検知装置。

Images