JP6651911B2 - 顔画像処理装置 - Google Patents

Description

本発明は、顔画像処理装置に関し、特に、人の顔を撮像した顔画像に基づいて眼の位置や状態を検出する顔画像処理装置に関する。

従来から、人の顔を撮像した顔画像に基づいて、眼の位置や状態を検出する技術が知られている。例えば、特許文献１は、鼻孔および目の特徴を表した２次元テンプレートを用いることにより、付属情報に左右されることなく精度よく、高速に鼻孔および目を抽出する顔画像処理装置を開示する。この顔画像処理装置は、２次元テンプレートを用いて顔画像から目候補が存在する領域を推定し、その領域内で目候補を複数の輝度値を有するデータに変換して目候補を抽出する。そして、この顔画像処理装置は、抽出された候補内で、目候補画素の２次元の重心位置を目位置とすることにより、目およびその位置を確定する。

また、特許文献２は、撮影された運転者の顔画像を処理することにより種々の走行環境により輝度変化が生じても、確実に運転者の運転状態を検出する運転状態検出装置を開示する。この運転状態検出装置は、撮影された運転者の画像を濃淡正規化し、正規化された画像に対して予め顔及び目領域を特定した標準テンプレートを用いて相関演算することにより、運転者用の対象顔テンプレート及び対象目テンプレートを作成する。そして、この運転状態検出装置は、正規化された画像に対して対象テンプレートを用いて相関演算を行い、相関値の変化に基づき運転者の運転状態を検出する。正規化を行うことにより周囲の輝度によらず、また相関演算を行うことにより確実に運転者の居眠りやわき見などの異常状態を検出できる。

また、特許文献３は、誤認識を減らして、個人差に柔軟に対応することのできる眼位置認識装置を開示する。この眼位置認識装置は、顔画像におけるエッジを検出してエッジ画像を取得し、例えば上瞼を模擬した上に凸の半円弧形状をテンプレートとエッジ画像内における所定画像領域との一致度合いを算出し、一致度合いが閾値以上となる画像領域を眼候補位置として決定する。そして、２つの眼候補位置のエッジが同時に上下移動したことを瞬きであると見なして、これらの眼候補位置を眼位置として確定する。

また、特許文献４は、偏光を利用して被検眼に表れる縞視標を観察して被検眼の面形状を定性的に求めることを目的とした眼科用実体顕微鏡装置を開示する。この眼科用実体顕微鏡装置では、光源からの光は、偏光子として作用する偏光板などを通って照明した被検眼を観察すると、角膜の状態によって様々な縞模様が観察でき、この縞模様により角膜形状を判断する。

特開２００１−０２２９３３号公報 特開平０６−２５５３８８号公報 特開２０１１−０８６０５１号公報 特開平０９−２７６３１９号公報

本発明は、顔画像に基づいて眼の位置や状態をより正確に検出する顔画像処理装置を提供するものである。

上記課題を解決するために、第１方向に偏光する第１偏光子と、第１偏光子を通して赤外線を発光する発光器とを有する照明部と、第１方向と直交する第２方向に偏光する第２偏光子と、第２偏光子を通して撮像する撮像器とを有する撮像部と、照明部が赤外線を発光した時に撮像部が撮像した第１画像と、照明部が赤外線を発光しない時に撮像部が撮像した第２画像とを用いて眼の候補を検出する画像処理部と、を備え、画像処理部は、第２画像には存在せず第１画像に存在する双曲線状あるいは十字状の模様を有する眼の候補を眼であると確定する顔画像処理装置が提供される。または、第１方向に偏光する第１偏光子と、第１偏光子を通して赤外線を発光する第１発光器とを有する第１照明部と、赤外線を発光する第２発光器を有する第２照明部と、第１方向と直交する第２方向に偏光する第２偏光子と、第２偏光子を通して撮像する撮像器とを有する撮像部と、第１照明部が赤外線を発光した時に撮像部が撮像した第１画像と、第２照明部が赤外線を発光した時に撮像部が撮像した第２画像とに基づいて、第２画像には存在せず第１画像に存在する双曲線状あるいは十字状の模様を眼として検出する画像処理部と、を備える顔画像処理装置が提供される。
これによれば、顔画像において眼にのみ表れる特徴的な模様を検出することで、眼の位置や状態を正確に検出することができる。

さらに、画像処理部は、第１画像と第２画像との差分である差分画像を生成し、差分画像に基づいて模様を検出することを特徴としてもよい。
これによれば、差分画像では外光の影響を相殺できるので、より正確に眼の位置を検出することができる。

さらに、車両を運転する運転者の前方からその運転者の顔に向けて発光器が照射するように設けられた上記の顔画像処理装置であって、画像処理部は、模様が検出された場合には、運転者は前方を見ていると判断することを特徴としてもよい。
これによれば、運転者が正常に運転していることを正確に検出することができる。

本発明によれば、顔画像に基づいて眼の位置や状態をより正確に検出する顔画像処理装置を提供できる。

本発明に係る第一実施例の顔画像処理装置の外観図。 本発明に係る第一実施例の顔画像処理装置を車両に設けた場合の、（Ａ）上方から見た場合の説明図、（Ｂ）側方からみた場合の説明図。 本発明に係る第一実施例の顔画像処理装置のブロック図。 本発明に係る第一実施例の顔画像処理装置における撮像のタイミングチャート。 本発明に係る第一実施例の顔画像処理装置における全体的な動作を示すフローチャート。 本発明に係る第一実施例の顔画像処理装置における模様を検出する方法を示すフローチャート。 本発明に係る第一実施例の顔画像処理装置で撮像した、（Ａ）第１画像、（Ｂ）第２画像。 本発明に係る第一実施例の顔画像処理装置で撮像した、（Ａ）第１画像と第２画像の差分画像、（Ｂ）差分画像における眼の候補を示す説明図。 本発明に係る第一実施例の顔画像処理装置で撮像した第１画像と第２画像の差分画像から眼を確定する説明図。 本発明に係る第一実施例の顔画像処理装置における模様を検出する方法の説明図（全画素のうち、ある一つの眼の候補近傍の画素を抜粋）。 本発明に係る第二実施例の顔画像処理装置の外観図。 本発明に係る第二実施例の顔画像処理装置を車両に設けた場合の、（Ａ）上方から見た場合の説明図、（Ｂ）側方からみた場合の説明図。 本発明に係る第二実施例の顔画像処理装置のブロック図。 本発明に係る第二実施例の顔画像処理装置における撮像のタイミングチャート。 本発明に係る第二実施例の顔画像処理装置における全体的な動作を示すフローチャート。

以下では、図面を参照しながら、本発明に係る各実施例について説明する。
＜第一実施例＞
図１〜図３を参照し、本実施例における顔画像処理装置１００を説明する。顔画像処理装置１００は、車両を運転する運転者ＤＲの顔を撮像して運転者ＤＲの運転状態を検出するために、運転者ＤＲの前方正面から顔に向けて光を照射し、撮像するように設けられている。顔画像処理装置１００は、ほぼ立方体の同じ面に照明部１０と撮像部２０を備えて、その面を運転者ＤＲに向けるようにして、ハンドルＷＬの奥のたとえばハンドル軸部や、インパネ部分やバックミラーなどに配置され、運転者ＤＲが運転中の顔に光を照射し、撮像する。

顔画像処理装置１００は、顔を撮像する撮像部２０と、その撮像部２０の周りを囲むように円環状に配置された複数の発光器１２から構成された照明部１０とを備える。顔画像処理装置１００の照明部１０は、発光器１２として赤外線を発光する発光ダイオードが、撮像部２０は、撮像器２２として可視光および赤外線を撮像できるＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラが用いられるが、無論、これに限定されるものではない。赤外線が用いられるのは、昼間だけでなく夜間の暗い時であっても暗視できるからである。

照明部１０は、発光器１２に加え、第１方向に偏光する第１偏光子１１を有し、発光器１２は、赤外線を発光する際第１偏光子１１を通して外部へ赤外線を照射する。偏光子は、自然光の中から所定の方向に偏光面を有し、透過光を偏光させる、典型的には偏光板である。本実施例では、後述する撮像部２０が有する第２偏光子２１の第２方向との対比において、第１方向に偏光を行う第１偏光子１１は、垂直方向に偏光面を有するものとする。

撮像部２０は、撮像器２２に加え、第１方向と直交する第２方向に偏光する第２偏光子２１、すなわち水平方向に偏光面を有する第２偏光子２１を有し、撮像器２２は、受光して撮像する際第２偏光子２１を通して外部から受光する。したがって、撮像器２２は、発光器１２が偏光して照射した赤外線の反射光を偏光して受光すると共に、自然光の反射光を偏光して受光する。

顔画像処理装置１００は、さらに、撮像部２０が撮像した画像を記憶する記憶部５０と、記憶部５０が記憶した画像に基づいて眼など検出するために画像処理する画像処理部３０と、画像処理部３０が処理した結果を使用する外部機構に出力するための外部出力部６０と、これら全体を制御する制御部４０を備える。記憶部５０は、たとえば半導体メモリであり、外部出力部６０および制御部４０はマイコンおよびそのマイコンで処理される制御ロジックである。

図４に示すように、顔画像処理装置１００の制御部４０は、照明部１０の発光器１２に赤外線を発光させ、運転手ＤＲの顔に照射している間に、撮像部２０に運転手ＤＲの顔を撮像させて第１画像を取得し、記憶部５０に記憶させる。そして、制御部４０は、引き続いて、照明部１０の発光器１２の発光を止めた後に、撮像部２０に運転手ＤＲの顔を自然光のみで撮像させて第２画像を取得し、記憶部５０に記憶させる。第１画像と第２画像を記憶部５０に記憶した後、画像処理部３０は、２つの画像を処理して、後述する方法により眼などを検出する。

図５および図６を参照して、顔画像処理装置１００における動作を説明する。なお、フローチャートにおけるＳはステップを意味する。顔画像処理装置１００の制御部４０は、Ｓ１００において、発光器１２を点灯させて赤外線を運転者の顔に照射する。制御部４０は、Ｓ１０２において、発光器１２を発光させている間に撮像部２０に運転者の顔を撮像させる。制御部４０は、Ｓ１０４において、撮像部２０が撮像した画像を第１画像として記憶部５０に記憶させる。

ここで図７（Ａ）を参照して、運転者の顔の第１画像について説明する。従来技術で述べたように、生体の角膜に対して偏光子によって作られた偏光を照射し、その偏光に直交する偏光フィルタを通して撮影した角膜を観察した場合、角膜の異方性によって、角膜中心部に双曲線状や十字状の縞模様が観察されることが知られている。そうすると、第１画像には、本図に示すような運転者の眼の角膜には、本図では４５度傾いた双曲線状または十字状の模様が存在する。この双曲線状または十字状の模様の傾きは、運転者の顔（眼）の傾きによって変化することはなく、偏光する方向（第１方向と第２方向）によって一定である。したがって、運転者が顔を傾けたり横を向いたりしても、たとえば第１方向を垂直方向、第２方向を水平方向と固定して撮像する限り、双曲線状または十字状の模様の傾きは一定であり、不変である。なお、模様が双曲線状であるか十字状であるかは、曲面を有する角膜を観察する角度により、模様の見え方が多少変化するものであり、本質的な違いではない。

制御部４０は、Ｓ１０６において、発光器１２を消灯する。制御部４０は、Ｓ１０８において、自然光のみで撮像部２０に運転者の顔を撮像させる。制御部４０は、Ｓ１１０において、撮像部２０が撮像した画像を第２画像として記憶部５０に記憶させる。図７（Ｂ）は、運転者の顔の第２画像を示すが、第２画像では、自然光でのみ撮像しているので、偏光子２１を通して撮像しても、運転者の眼の角膜には特徴的な双曲線状または十字状の模様は存在しない。

２つの画像が記憶部５０に記憶されたら、画像処理部３０は、Ｓ１１２において、第１画像と第２画像の差分の画像を生成する。差分の画像を得るのは、第１画像および第２画像に共通する光すなわち赤外線を照射している際にも存する自然光による反射光によって得られた画像部分を相殺でき精細な画像が得られる点で好ましい。したがって、本ステップの差分画像を生成するのは選択的なものであり、第１画像または第２画像のみから次ステップを行ってもよい。図８（Ａ）は差分画像を示すが、その中から、たとえば、所定値以上の大きさで暗い画素が丸くかたまっているものを眼の候補とすることができる。画像処理部３０は、Ｓ１１４において、得られた差分画像、または第１画像／第２画像から眼の候補となる画像部分を抽出する。

画像処理部３０は、Ｓ１１６において、眼の候補となる画像部分があるかどうか検査し、眼の候補となる画像部分がある場合には、Ｓ１１８において、眼の候補となる画像部分において図６のフローチャートで示すような模様を抽出する処理を行う。図８（Ｂ）では、所定値以上大きさで暗い画素が丸くかたまっているものとして、眼、鼻の孔、および口が、眼の候補として抽出されたものとして示す。これらの眼の候補となる画像部分それぞれに対して、以下のようにして本当に眼であるか否かの判定を行う。

画像処理部３０は、Ｓ２００において、眼の候補となる画像部分の中心の画素から５画素上にある画素の輝度値Ａを求める。なお、本実施例では５画素で統一して記載するが、画素の密度により人の角膜を写す画像の画素数は適宜定められる。画像処理部３０は、Ｓ２０２において、眼の候補となる画像部分の中心の画素から５画素下にある画素の輝度値Ｂを求める。画像処理部３０は、Ｓ２０４において、眼の候補となる画像部分の中心の画素から５画素左にある画素の輝度値Ｃを求める。画像処理部３０は、Ｓ２０６において、眼の候補となる画像部分の中心の画素から５画素右にある画素の輝度値Ｄを求める。図１０に示すように、眼の候補となる画像部分の中心の画素から５画素上下左右すなわち垂直方向および水平方向離れた画素は、暗い画素として共通する。これは、上述したように、偏光する方向を第１方向および第２方向に固定して撮像する限り、一定しているからである。

画像処理部３０は、Ｓ２０８において、眼の候補となる画像部分の中心の画素から５画素斜め右上にある画素の輝度値Ｅを求める。画像処理部３０は、Ｓ２１０において、眼の候補となる画像部分の中心の画素から５画素斜め左上にある画素の輝度値Ｆを求める。画像処理部３０は、Ｓ２１２において、眼の候補となる画像部分の中心の画素から５画素斜め右下にある画素の輝度値Ｇを求める。画像処理部３０は、Ｓ２１４において、眼の候補となる画像部分の中心の画素から５画素斜め左下にある画素の輝度値Ｈを求める。図１０に示すように、眼の候補となる画像部分の中心の画素から５画素斜め右上、右下、左上、左下の画素は、明るい画素として共通する。同様に、偏光する方向を第１方向および第２方向に固定して撮像する限り、一定しているからである。

画像処理部３０は、Ｓ２１６において、輝度値Ａ、Ｂ、Ｃ、ＤのばらつきＩを算出する。画像処理部３０は、Ｓ２１８において、輝度値Ａ、Ｂ、Ｃ、Ｄの平均値Ｊを算出する。画像処理部３０は、Ｓ２２０において、輝度値Ｅ、Ｆ、Ｇ、ＨのばらつきＫを算出する。画像処理部３０は、Ｓ２２２において、輝度値Ｅ、Ｆ、Ｇ、Ｈの平均値Ｌを算出する。

画像処理部３０は、Ｓ２２４において、ばらつきＩが所定の閾値内に収まっているか否かを検査する。双曲線状または十字状の模様は上述したように必ず一定の角度で表れるので、９０度をなす画素の輝度のばらつきが大きいと双曲線状または十字状の模様が表れていない（または異常値）と考えられるからである。画像処理部３０は、Ｓ２２６において、同様にばらつきＫが所定の閾値内に収まっているか否かを検査する。画像処理部３０は、Ｓ２２８において、平均値Ｊと平均値Ｋの差を算出する。そして、画像処理部３０は、Ｓ２３０において、平均値Ｊと平均値Ｋの差が所定の閾値以上であるか否かを検査する。双曲線状または十字状の模様が表れていれば、暗い画素の平均と明るい画素の平均の差として表れるので、所定の閾値以上の差があることになるからである。

したがって、画像処理部３０は、ばらつきＩおよびＫが所定の閾値内であって、平均値ＪとＬの差が所定の閾値以上である場合には、Ｓ２３２において、眼の候補となった画像部分には双曲線状または十字状の模様があると判定する。一方、画像処理部３０は、ばらつきＩまたはＫが所定の閾値内でないか、平均値ＪとＬの差が所定の閾値以上でない場合、Ｓ２３４において、眼の候補となった画像部分には双曲線状または十字状の模様がないと判定する。

画像処理部３０は、Ｓ１２０において、眼の候補となった画像部分には双曲線状または十字状の模様があるか否かを検査し、あると判定した場合には、Ｓ１２２において、かかる特徴的な模様は眼以外では表れないので、その眼の候補となった画像部分は眼の画像であると確定する。この場合の、顔画像を差分画像により示すと、図９に示すように、角膜に表れる双曲線状または十字状の模様のみが差分として示される。このように、差分画像に基づいて双曲線状または十字状の模様を検出することにより、差分画像では外光の影響を相殺できるので、より正確に眼の位置を検出することができる。また、眼の候補となった画像部分には双曲線状または十字状の模様がないと判定した場合には、画像処理部３０は、Ｓ１２８において、その眼の候補は眼ではないと判定する。

顔画像処理装置１００は、運転者ＤＲの前方正面から撮像するように設けられており、そこから角膜の存在を確認できたことは、運転者ＤＲが前方を見ている状態であると判断し、外部出力部６０は、Ｓ１２４において、運転者ＤＲは正常に前方を見て運転しているという結果を出力する。そして、所定の休止期間Ｔ１をおいて、上述したステップを繰り返す（Ｓ１２６）。なお、これらのステップを繰り返す中で眼の候補を眼と確定していたにも拘わらず、Ｓ１１６で眼の候補を検出しなかった場合またはＳ１２０で角膜の模様を検出できなかった場合、顔画像処理装置１００は、運転者ＤＲが前方を見ていない状態、たとえば、居眠りや脇見をしている状態であると判断し、外部出力部６０は、Ｓ１３０において、運転者ＤＲは正常に前方を見て運転していないという結果を出力する。

上述したように、顔画像処理装置１００は、照明部１０が赤外線を発光した時に撮像部２０が撮像した第１画像と、照明部１０が赤外線を発光しない時に撮像部２０が撮像した第２画像とを用いて眼の候補を検出し、第２画像には存在せず第１画像に存在する双曲線状あるいは十字状の模様を有する眼の候補を眼であると確定する。このように、顔画像において眼にのみ表れる特徴的な模様を検出することで、眼の位置や状態を正確に検出することができる。

＜第二実施例＞
図１１〜図１３を参照し、本実施例における顔画像処理装置１００Ａを説明する。なお、重複記載を避けるために、上記実施例と同じ構成要素には同じ符号を付し、異なる部分を中心に説明する。顔画像処理装置１００Ａは、車両を運転する運転者ＤＲの顔を撮像して運転者ＤＲの運転状態を検出するために、運転者ＤＲの前方正面から顔に向けて光を照射し、撮像するように設けられている。顔画像処理装置１００Ａは、ほぼ立方体の同じ面に第１照明部１０および第２照明部１０’と撮像部２０とを備えて、その面を運転者ＤＲに向けるようにして、ハンドルＷＬの奥のたとえばハンドル軸部などに配置され、運転者ＤＲが運転中の顔に光を照射し、撮像する。なお、本実施例では、撮像部２０の左右両側に２つの照明部として設けられているが、これに限定されず、たとえば上記実施例と同様に撮像部２０の周囲に円環状に設けられ、第１照明部１０に属する第１発光器１２と第２照明部１０’に属する第２発光器１２’とが交互に配置されてもよい。

第１発光器１２および第２発光器１２’は、赤外線を発光する発光ダイオードである。第１照明部１０は、第１発光器１２および第１方向に偏光する第１偏光子１１を有し、第１発光器１２は、赤外線を発光する際第１偏光子１１を通して外部へ赤外線を照射する。一方、第２照明部１０’は、第２発光器１２’のみを有し、第１発光器１２は、赤外線を偏光せずに直接外部へ赤外線を照射する。

撮像部２０は、撮像器２２と、第１方向と直交する第２方向に偏光する第２偏光子２１を有し、撮像器２２は、受光して撮像する際第２偏光子２１を通して外部から受光する。したがって、撮像器２２は、第１発光器１２が偏光して照射した赤外線の反射光を偏光して受光すると共に、第２発光器１２’が直接照射した赤外線および自然光の反射光を偏光して受光する。

図１４に示すように、顔画像処理装置１００Ａの制御部４０Ａは、第１照明部１０の第１発光器１２に赤外線を発光させ、運転手ＤＲの顔に照射している間に、撮像部２０に運転手ＤＲの顔を撮像させて第１画像を取得し、記憶部５０に記憶させる。そして、制御部４０Ａは、引き続いて、第１照明部１０の第１発光器１２の発光を止めた後に、第２照明部１０’の第２発光器１２’に赤外線を発光させ、運転手ＤＲの顔に照射している間に、撮像部２０に運転手ＤＲの顔を撮像させて第２画像を取得し、記憶部５０に記憶させる。第１画像と第２画像を記憶部５０に記憶した後、画像処理部３０Ａは、２つの画像を処理して、眼を検出する。

図１５を参照して、顔画像処理装置１００Ａにおける動作を説明する。顔画像処理装置１００Ａの制御部４０Ａは、Ｓ３００において、第１発光器１２を点灯させて赤外線を運転者の顔に照射する。制御部４０Ａは、Ｓ３０２において、第１発光器１２を発光させている間に撮像部２０に運転者の顔を撮像させる。制御部４０Ａは、Ｓ３０４において、撮像部２０が撮像した画像を第１画像として記憶部５０に記憶させる。記憶部５０に記憶された第１画像には、上記実施例における第１画像と同様、双曲線状または十字状の模様が存在する。

制御部４０Ａは、Ｓ３０６において、第１発光器１２を消灯する。制御部４０Ａは、Ｓ３０８において、第２発光器１２’を点灯させて赤外線を運転者の顔に照射する。制御部４０Ａは、Ｓ３１０において、第２発光器１２’を発光させている間に撮像部２０に運転者の顔を撮像させる。制御部４０Ａは、Ｓ３１２において、撮像部２０が撮像した画像を第２画像として記憶部５０に記憶させる。記憶部５０に記憶された第２画像には、上記実施例における第２画像と同様、運転者の眼の角膜には特徴的な双曲線状または十字状の模様が存在しない。制御部４０Ａは、Ｓ３１４において、第２発光器１２’を消灯する。

２つの画像が記憶部５０に記憶されたら、画像処理部３０Ａは、Ｓ３１６において、第１画像と第２画像の差分の画像を生成する。この差分画像には、上述した図９に示すような角膜に表れる双曲線状または十字状の模様のみが差分として示される。そこで、画像処理部３０Ａは、Ｓ３１８において、かかる特徴的な模様をパターンマッチングなどの方法により抽出する。画像処理部３０Ａは、Ｓ３２０において、差分画像において双曲線状または十字状の模様があるか否かを検査し、あると判定した場合には、Ｓ３２２において、かかる特徴的な模様は眼以外では表れないので、その模様がある箇所を眼であると判定する。また、差分画像には双曲線状または十字状の模様がないと判定した場合には、画像処理部３０Ａは、Ｓ３２８において、眼が検出できないと判定する。

顔画像処理装置１００Ａは、運転者ＤＲの前方正面から撮像するように設けられており、そこから角膜の存在を確認できたことは、運転者ＤＲが前方を見ている状態であると判断し、外部出力部６０は、Ｓ３２４において、運転者ＤＲは正常に前方を見て運転しているという結果を出力する。そして、所定の休止期間Ｔ１をおいて、上述したステップを繰り返す（Ｓ３２６）。なお、これらのステップを繰り返す中で模様が存在すると判定していたにも拘わらず、Ｓ３２０で角膜の模様を検出できなかった場合、顔画像処理装置１００Ａは、運転者ＤＲが前方を見ていない状態、たとえば、居眠りや脇見をしている状態であると判断し、外部出力部６０は、Ｓ３３０において、運転者ＤＲは正常に前方を見て運転していないという結果を出力する。

上述したように、顔画像処理装置１００Ａは、第１照明部１０が赤外線を発光した時に偏光した赤外線の反射光で撮像部２０が撮像した第１画像と、第２照明部１０’が赤外線を発光した時に偏光しない赤外線の反射光で撮像部２０が撮像した第２画像とに基づいて、第２画像には存在せず第１画像に存在する双曲線状あるいは十字状の模様を眼として検出する。このように、顔画像において眼にのみ表れる特徴的な模様を検出することで、眼の位置や状態を正確に検出することができる。

なお、本発明は、例示した実施例に限定するものではなく、特許請求の範囲の各項に記載された内容から逸脱しない範囲の構成による実施が可能である。すなわち、本発明は、主に特定の実施形態に関して特に図示され、かつ説明されているが、本発明の技術的思想および目的の範囲から逸脱することなく、以上述べた実施形態に対し、数量、その他の詳細な構成において、当業者が様々な変形を加えることができるものである。

たとえば、上記実施例では、車両の運転者の顔画像を取得したが、重要な機器を操作するオペレータの顔画像など、他の職業に就く人の顔画像を取得してもよい。

１００ 顔画像処理装置
１０ 第１照明部
１０’ 第２照明部
１１ 第１偏光子
１２ 第１発光器
１２’ 第２発光器
２０ 撮像部
２１ 第２偏光子
２２ 撮像器
３０ 画像処理部
４０ 制御部
５０ 記憶部
６０ 外部出力部
ＤＲ 運転者
ＷＬ ハンドル

Claims (4)

1. 第１方向に偏光する第１偏光子と、前記第１偏光子を通して赤外線を発光する発光器とを有する照明部と、
   前記第１方向と直交する第２方向に偏光する第２偏光子と、前記第２偏光子を通して撮像する撮像器とを有する撮像部と、
   前記照明部が赤外線を発光した時に前記撮像部が撮像した第１画像と、前記照明部が赤外線を発光しない時に前記撮像部が撮像した第２画像とを用いて眼の候補を検出する画像処理部と、
   を備え、
   前記画像処理部は、前記第２画像には存在せず前記第１画像に存在する双曲線状あるいは十字状の模様を有する前記眼の候補を眼であると確定する、
   顔画像処理装置。
2. 第１方向に偏光する第１偏光子と、前記第１偏光子を通して赤外線を発光する第１発光器とを有する第１照明部と、
   赤外線を発光する第２発光器を有する第２照明部と、
   前記第１方向と直交する第２方向に偏光する第２偏光子と、前記第２偏光子を通して撮像する撮像器とを有する撮像部と、
   前記第１照明部が赤外線を発光した時に前記撮像部が撮像した第１画像と、前記第２照明部が赤外線を発光した時に前記撮像部が撮像した第２画像とに基づいて、前記第２画像には存在せず前記第１画像に存在する双曲線状あるいは十字状の模様を眼として検出する画像処理部と、
   を備える顔画像処理装置。
3. 前記画像処理部は、前記第１画像と前記第２画像との差分である差分画像を生成し、前記差分画像に基づいて前記模様を検出することを特徴とする請求項１または２に記載の顔画像処理装置。
4. 車両を運転する運転者の前方から前記運転者の顔に向けて前記発光器が照射するように設けられた請求項１乃至３のいずれかに記載の顔画像処理装置であって、
   前記画像処理部は、前記模様が検出された場合には、前記運転者は前方を見ていると判断することを特徴とする顔画像処理装置。