JP2009294781A - 物体存在判定装置 - Google Patents

Abstract

【課題】撮像対象物との間の物体の存在を判定することができ、撮像対象物の誤検出を防止することができるようにする。
【解決手段】運転者の顔が存在する特定位置に合焦された撮像装置１２によって顔画像を撮像し、特徴量算出部２２によって、撮像装置１２によって撮像された顔画像から、エッジ強度の分布に関する特徴量を算出する。そして、近接物判定部２４によって、算出されたエッジ強度の分布に関する特徴量と、運転者の顔を撮像した顔画像から予め求められたエッジ強度の分布に関する特徴量とを比較して、運転者の顔と撮像装置１２との間に近接物が存在するか否かを判定する。運転者の顔と撮像装置１２との間に近接物が存在しないと判定された場合、顔向き検出部２６によって、運転者の顔向きを検出する。
【選択図】図１

Description

本発明は、物体存在判定装置に係り、特に、撮像対象物と撮像手段との間に物体が存在するか否かを判定する物体存在判定装置に関する。

従来より、ドライバが存在可能な領域を撮影して得られた画像を取り込み、取り込んだ画像から、顔の中心線である確からしさを表す値を算出して、顔の有無を判定する顔有無判定装置が知られている（特許文献１）。

また、運転者の顔を撮影するためのカメラの撮像画像に基づいて運転者の視線方向を検出し、運転者の視線方向自体が検出されない場合に、適切に警報制御を実行する車載警報装置が知られている（特許文献２）。
特開２００５−１１０９７号公報 特開２００７−７２６３１７号公報

しかしながら、上記特許文献１に記載の技術では、運転者の顔との間に腕などの物体が存在する場合、カメラが腕に覆われるため運転者の顔を撮像できないが、腕の両端を顔の両端として誤検出する可能性がある、という問題がある。

また、上記特許文献２に記載の技術では、顔や視線の方向が検出されない場合には対応できるが、運転者の顔との間に物体が存在する場合に、誤って顔や視線の方向を検出することを防止することができない、という問題がある。

本発明は、上記の問題点を解決するためになされたもので、撮像対象物との間の物体の存在を判定することができ、撮像対象物の誤検出を防止することができる物体存在判定装置を提供することを目的とする。

上記の目的を達成するために第１の発明に係る物体存在判定装置は、特定位置に合焦され、かつ、前記特定位置に存在する撮像対象物及び前記特定位置との間に存在する物体を撮像するための撮像手段と、前記撮像手段によって撮像された画像から、エッジに関する特徴量及び空間周波数に関する特徴量の何れか一方を算出する特徴量算出手段と、前記特徴量算出手段によって算出された前記エッジに関する特徴量及び空間周波数に関する特徴量の何れか一方と、前記撮像対象物を撮像した画像から予め求められた前記エッジに関する特徴量及び空間周波数に関する特徴量の何れか一方とを比較して、前記撮像対象物と前記撮像手段との間に物体が存在するか否かを判定する存在判定手段とを含んで構成されている。

第１の発明に係る物体存在判定装置によれば、撮像対象物が存在する特定位置に合焦された撮像手段によって撮像し、特徴量算出手段によって、撮像手段によって撮像された画像から、エッジに関する特徴量及び空間周波数に関する特徴量の何れか一方を算出する。

そして、存在判定手段によって、特徴量算出手段によって算出されたエッジに関する特徴量及び空間周波数に関する特徴量の何れか一方と、撮像対象物を撮像した画像から予め求められたエッジに関する特徴量及び空間周波数に関する特徴量の何れか一方とを比較して、撮像対象物と撮像手段との間に物体が存在するか否かを判定する。

このように、撮像対象物が存在する特定位置に合焦された撮像手段によって撮像された画像から、エッジに関する特徴量又は空間周波数に関する特徴量を算出し、予め求められた特徴量と比較することにより、撮像対象物との間に物体が存在するか否かを判定することができ、撮像対象物の誤検出を防止することができる。

第２の発明に係る物体存在判定装置は、特定位置に存在する撮像対象物及び前記特定位置との間に存在する物体を撮像するための撮像手段と、前記特定位置に対して光を照射する照射手段と、各々照射する光の明るさが異なるように前記照射手段を制御すると共に、各々照射する光の明るさが異なる場合に複数の画像を撮像するように前記撮像手段を制御する制御手段と、前記撮像手段によって撮像された前記複数の画像から差分画像を生成する差分画像生成手段と、前記差分画像の画素値が所定値以上となる領域を抽出する抽出手段と、前記抽出手段によって抽出された領域の少なくとも一部が、前記撮像対象物が存在する予め定められた領域の範囲に位置する場合に、前記撮像対象物と前記撮像手段との間に物体が存在すると判定する存在判定手段とを含んで構成されている。

第２の発明に係る物体存在判定装置によれば、制御手段によって、各々照射する光の明るさが異なるように照射手段を制御すると共に、各々照射する光の明るさが異なる場合に複数の画像を撮像するように撮像手段を制御する。差分画像生成手段によって、撮像手段によって撮像された複数の画像から差分画像を生成し、抽出手段によって、差分画像の画素値が所定値以上となる領域を抽出する。

そして、存在判定手段によって、抽出手段によって抽出された領域の少なくとも一部が、撮像対象物が存在する予め定められた領域の範囲に位置する場合に、撮像対象物と撮像手段との間に物体が存在すると判定する。

このように、各々照射する光の明るさが異なる場合に撮像された複数の画像から差分画像を生成し、画素値が所定値以上となる領域の少なくとも一部が、撮像対象物が存在する領域の範囲に位置するか否かにより、撮像対象物との間に物体が存在するか否かを判定することができ、撮像対象物の誤検出を防止することができる。

第３の発明に係る物体存在判定装置は、特定位置に存在する撮像対象物及び前記特定位置との間に存在する物体を撮像するための撮像手段と、前記特定位置に対して光を照射する照射手段と、前記照射手段によって光が照射された前記特定位置との間に存在する物体を撮像した画像について予め求められた前記特定位置との間に存在する物体を表わす領域の輝度値に基づいて、前記撮像手段によって撮像された画像の輝度値が、前記予め求められた輝度値以上となる領域を抽出する抽出手段と、前記抽出手段によって抽出された領域の少なくとも一部が、前記撮像対象物が存在する予め定められた領域の範囲に位置する場合に、前記撮像対象物と前記撮像手段との間に物体が存在すると判定する存在判定手段とを含んで構成されている。

第３の発明に係る物体存在判定装置によれば、照射手段によって、撮像対象物が存在する特定位置に対して光を照射し、撮像手段によって撮像する。抽出手段によって、照射手段によって光が照射された特定位置との間に存在する物体を撮像した画像について予め求められた特定位置との間に存在する物体を表わす領域の輝度値に基づいて、撮像手段によって撮像された画像の輝度値が、予め求められた輝度値以上となる領域を抽出する。

そして、存在判定手段によって、抽出手段によって抽出された領域の少なくとも一部が、撮像対象物が存在する予め定められた領域の範囲に位置する場合に、撮像対象物と撮像手段との間に物体が存在すると判定する。

このように、撮像された画像において、輝度値が、特定位置との間に存在する物体を表わす領域の輝度値以上となる領域の少なくとも一部が、撮像対象物が存在する領域の範囲に位置するか否かにより、撮像対象物との間に物体が存在するか否かを判定することができ、撮像対象物の誤検出を防止することができる。

上記の物体存在判定装置は、存在判定手段の判定結果を出力する出力手段を更に含むことができる。これによって、ユーザが、撮像対象物との間に物体が存在していることを知ることができる。

また、上記の物体存在判定装置は、存在判定手段によって撮像対象物と撮像手段との間に物体が存在すると判定されなかった場合に、撮像手段によって撮像された画像から、撮像対象物を検出する検出手段を更に含むことができる。これによって、撮像対象物との間に存在する物体によって誤検出することなく、撮像対象物を検出することができる。

上記の撮像対象物を、運転者の顔とすることができる。

本発明は、コンピュータを以下のように機能させるプログラムで構成することができる。

第１のプログラムは、コンピュータを、特定位置に合焦され、かつ、前記特定位置に存在する撮像対象物及び前記特定位置との間に存在する物体を撮像するための撮像手段によって撮像された画像から、エッジに関する特徴量及び空間周波数に関する特徴量の何れか一方を算出する特徴量算出手段、及び前記特徴量算出手段によって算出された前記エッジに関する特徴量及び空間周波数に関する特徴量の何れか一方と、前記撮像対象物を撮像した画像から予め求められた前記エッジに関する特徴量及び空間周波数に関する特徴量の何れか一方とを比較して、前記撮像対象物と前記撮像手段との間に物体が存在するか否かを判定する存在判定手段として機能させるためのプログラムである。

第２のプログラムは、コンピュータを、各々照射する光の明るさが異なるように特定位置に対して光を照射する照射手段を制御すると共に、各々照射する光の明るさが異なる場合に複数の画像を撮像するように、特定位置に存在する撮像対象物及び前記特定位置との間に存在する物体を撮像するための撮像手段を制御する制御手段、前記撮像手段によって撮像された前記複数の画像から差分画像を生成する差分画像生成手段、前記差分画像の画素値が所定値以上となる領域を抽出する抽出手段、及び前記抽出手段によって抽出された領域の少なくとも一部が、前記撮像対象物が存在する予め定められた領域の範囲に位置する場合に、前記撮像対象物と前記撮像手段との間に物体が存在すると判定する存在判定手段として機能させるためのプログラムである。

第３のプログラムは、コンピュータを、前記特定位置に対して光を照射する照射手段段によって光が照射された前記特定位置との間に存在する物体を撮像した画像から予め求められた前記特定位置との間に存在する物体を表わす領域の輝度値に基づいて、特定位置に存在する撮像対象物及び前記特定位置との間に存在する物体を撮像するための撮像手段によって撮像された画像の輝度値が、前記予め求められた輝度値以上となる領域を抽出する抽出手段、及び前記抽出手段によって抽出された領域の少なくとも一部が、前記撮像対象物が存在する予め定められた領域の範囲に位置する場合に、前記撮像対象物と前記撮像手段との間に物体が存在すると判定する存在判定手段として機能させるためのプログラムである。

以上説明したように、本発明の物体存在判定装置によれば、撮像対象物との間に物体が存在するか否かを判定することができ、撮像対象物の誤検出を防止することができる、という効果が得られる。

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、車両に搭載され、撮像された顔画像から、運転者の顔向きを検出して警報を出力する顔検出装置に本発明を適用した場合を例に説明する。

図１に示すように、第１の実施の形態に係る顔検出装置１０は、運転者の顔を含む画像を撮像するＣＣＤカメラ等からなる撮像装置１２と、画像処理を行うコンピュータ１４と、ＣＲＴ等で構成された表示装置１６とを備えている。

撮像装置１２は、自車両のステアリングのコラム上部に取り付けられ、かつ、特定位置に存在する運転者の顔を撮像するように設けられ、特定位置と撮像装置１２の間に物体が存在する場合には、特定位置と撮像装置１２の間に存在する物体も撮像する。また、撮像装置１２は、固定焦点カメラで構成され、運転者の顔が存在する特定位置に焦点が合わされている。

コンピュータ１４は、ＣＰＵ、後述する顔検出処理ルーチンのプログラムを記憶したＲＯＭ、データ等を記憶するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このコンピュータ１４をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、コンピュータ１４は、撮像装置１２から出力される濃淡画像である顔画像を入力する画像入力部２０と、画像入力部２０の出力である顔画像の各画素について、エッジ強度を算出し、エッジ強度の分布に関する特徴量を算出する特徴量算出部２２と、算出されたエッジ強度の分布に関する特徴量に基づいて、運転者の顔が存在する特定位置と撮像装置１２の間に近接物が存在するか否かを判定する近接物判定部２４と、近接物が存在しない場合に、画像入力部２０の出力である顔画像から運転者の顔を検出すると共に、運転者の顔向きを検出する顔向き検出部２６と、近接物判定部２４の判定結果を表示装置１６に表示させると共に、検出された顔向きが脇見である場合に、警報メッセージを表示装置１６に表示させる表示制御部２８とを備えている。

画像入力部２０は、例えば、Ａ／Ｄコンバータや１画面の画像データを記憶する画像メモリ等で構成される。

特徴量算出部２２は、顔画像の各画素についてエッジ強度（微分値）を算出し、顔画像全体のエッジ強度の分布に関する特徴量として、エッジ強度が閾値以下となる画素の全画素に占める割合を算出する。なお、閾値は、統計的又は実験的に、焦点が合っている画像の各画素に対するエッジ強度の分散と、焦点がぼけている画像の各画素に対するエッジ強度の分散とを求め、これらのエッジ強度の分散から、焦点が合っている画像と焦点がぼけている画像とを区別することができるエッジ強度を求めて、閾値として設定しておけばよい。

ここで、本実施の形態の原理について説明する。撮像装置１２によって、想定どおり運転者の顔が撮像されていれば、撮像された顔画像の焦点は合っているため、エッジ強度は大きくなる。一方、運転者の顔と撮像装置１２との間に近接物が存在し、運転者の顔と共に、近接物を撮像している場合には、撮像された顔画像にボケが生じるため、エッジ強度は小さくなる。従って、顔画像にボケが生じているか否かを判定することによって、近接物の存在の有無を判定することができる。

そこで、本実施の形態では、近接物判定部２４で、算出された、エッジ強度が閾値以下となる画素の全画素に占める割合と、予め定められた割合に関する閾値とを比較して、エッジ強度が閾値以下となる画素の全画素に占める割合が、予め定められた割合に関する閾値以上である場合には、撮像装置１２と運転者の顔との間に近接物が存在すると判定する。なお、上記の割合に関する閾値については、実験的又は統計的に、運転者の顔が撮像され、焦点が合っている顔画像から、エッジ強度が閾値以下となる画素の全画素に占める割合を求めておき、求められた割合に基づいて、上記の割合に関する閾値を設定しておけばよい。

顔向き検出部２６は、近接物判定部２４によって近接物が存在しないと判定された場合、運転者の顔を隠蔽する障害物がないため、以下のように、顔向き検出を行なう。まず、撮像された顔画像から、パターンマッチング処理により、運転者の顔を検出する。そして、検出された運転者の顔に基づいて、複数の異なる顔向きの顔画像に基づいて学習されたパターンマッチング処理により、運転者の顔向きを検出する。

また、顔向き検出部２６は、近接物判定部２４によって近接物が存在すると判定された場合には、顔を隠蔽する障害物が存在するため、顔向き検出を行なわない。

表示制御部２８は、近接物判定部２４によって近接物が存在すると判定された場合、近接物が存在することを示すメッセージを表示装置１６に表示させて、運転者に通知する。また、表示制御部２８は、近接物判定部２４によって近接物が存在しないと判定された場合、顔向き検出部２６によって検出された顔向きに基づいて、運転者の顔が正面方向を向いていないと判断されると、警報メッセージを表示装置１６に表示させて、運転者に対して警報を行う。

次に、第１の実施の形態に係る顔検出装置１０の作用について説明する。まず、撮像装置１２によって、運転者が存在する特定位置を含む領域が撮像されると、コンピュータ１４において、図２に示す顔検出処理ルーチンが実行される。

まず、ステップ１００において、撮像装置１２より撮像された顔画像を取得し、ステップ１０２において、上記ステップ１００で取得した顔画像の各画素について、エッジ強度を算出する。

そして、ステップ１０４で、上記ステップ１０２で算出された各画素のエッジ強度に基づいて、エッジ強度が閾値以下となる画素の割合を算出する。次のステップ１０６では、上記ステップ１０４で算出された画素の割合が、予め定められた閾値以上であるか否かを判定する。算出された画素の割合が、予め定められた閾値以上であると判定されると、画像がぼけていると判断されるため、顔向き検出処理を行わずに、ステップ１０８において、近接物が存在することを示すメッセージを表示装置１６によって表示させて、顔検出処理ルーチンを終了する。

上記ステップ１０６において、算出された画素の割合が、予め定められた閾値未満であると判定されると、画像の焦点が合っており、ボケが生じていないと判断されるため、ステップ１１０において、顔画像に対して顔向き検出処理を行って、運転者の顔向きを検出する。そして、ステップ１１２において、上記ステップ１１０で検出された顔向きに基づいて、運転者が脇見しているか否かを判定する。検出された顔向きが正面方向である場合には、脇見していないと判断されるため、警報を出力せずに、顔検出処理ルーチンを終了する。一方、上記ステップ１１２において、検出された顔向きが正面方向でない場合には、脇見していると判断されるため、ステップ１１４において、警報メッセージを表示装置１６によって表示させて、顔検出処理ルーチンを終了する。

以上説明したように、第１の実施の形態に係る顔検出装置によれば、運転者の顔が存在する特定位置に合焦された撮像装置によって撮像された画像から、エッジ強度の分布に関する特徴量を算出し、予め求められたエッジ強度の分布に関する特徴量と比較することにより、顔画像の被写体の焦点ずれを判断して、運転者の顔との間に近接物が存在するか否かを判定することができ、運転者の顔の誤検出を防止することができる。また、運転者の顔との間に近接物が存在する場合には、運転者に告知すると共に、運転者の顔検出を中止することにより、近接物によって誤検出することをことなく、運転者の顔を検出することができるため、顔検出システムの信頼性が向上する。

なお、上記の実施の形態では、エッジ強度の分布に関する特徴量として、エッジ強度が閾値以下となる画素の割合を算出する場合を例に説明したが、これに限定されるものではなく、エッジ強度の分布に関する特徴量であれば、他の指標を用いてもよい。例えば、エッジ強度に関する特徴量として、エッジ強度の分布の分散値を用いてもよい。

また、顔画像全体からエッジ強度を算出して、エッジ強度の分布に関する特徴量を算出する場合を例に説明したが、これに限定されるものではなく、顔画像の中央付近の所定領域（運転者の顔が存在可能な領域）についてエッジ強度を算出し、エッジ強度の分布に関する特徴量を算出するようにしてもよい。

次に、第２の実施の形態について説明する。なお、第２の実施の形態に係る顔検出装置は、第１の実施の形態と同様の構成であるため、同一符号を付して説明を省略する。

第２の実施の形態では、顔画像から、特徴量として、空間周波数の分布を算出している点と、空間周波数の分布を用いて、顔画像にボケが生じているか否かを判断している点とが第１の実施の形態と異なっている。

第２の実施の形態に係る顔検出装置のコンピュータ１４では、特徴量算出部２２によって、顔画像の空間周波数成分の分布を算出し、空間周波数成分の分布から、所定周波数より低い低周波数成分が分布全体に占める割合を算出する。なお、上記の所定周波数は、統計的又は実験的に、焦点が合っている画像に対する空間周波数成分の分布と、焦点がぼけている画像に対する空間周波数成分の分布とを求め、これらの空間周波数成分の分布から、焦点が合っている画像と焦点がぼけている画像とを区別するための周波数を求めて、閾値として設定しておけばよい。また、顔画像に対する空間周波数の分布は、顔画像をフーリエ変換することにより得られ、焦点が合っている顔画像には、濃度値が急激に変化している部分が存在するため、焦点が合っている顔画像から得られる空間周波数成分の分布では、高周波成分が多くなる。一方、焦点がぼけている画像には、濃度値が急激に変化している部分が存在しないため、焦点がぼけている顔画像から得られる空間周波数成分の分布では、低周波成分が多くなる。

また、近接物判定部２４は、算出された、所定周波数より低い低周波数成分が分布全体に占める割合と、予め定められた閾値とを比較して、所定周波数より低い低周波数成分の割合が予め定められた閾値以上である場合には、顔画像にボケが生じていると判断して、撮像装置１２と運転者の顔との間に近接物が存在すると判定する。なお、上記の閾値については、実験的又は統計的に、運転者の顔が撮像され、焦点が合っている顔画像から、所定周波数より低い低周波数成分の分布全体に占める割合を求めておき、求められた割合に基づいて、上記の割合に関する閾値を設定しておけばよい。

なお、顔検出装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。

このように、運転者の顔が存在する特定位置に合焦された撮像装置によって撮像された画像から、空間周波数に関する特徴量を算出し、予め求められた空間周波数に関する特徴量と比較することにより、顔画像の被写体の焦点ずれを判断して、運転者の顔との間に近接物が存在するか否かを判定することができ、運転者の顔の誤検出を防止することができる。

次に、第３の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。

第３の実施の形態では、照明装置を備えている点と、照明装置の点灯時の顔画像と消灯時の顔画像との差分画像を用いて、近接物の存在の有無を判定している点とが第１の実施の形態と主に異なっている。

図３に示すように、第３の実施の形態に係る顔検出装置３１０は、撮像装置１２と、ＬＥＤから構成され、運転者の顔に近赤外光を照射する照明装置３１２と、画像処理を行うコンピュータ３１４と、表示装置１６とを備えている。撮像装置１２は、近赤外カメラで構成されることが好ましいが、通常の可視光に感度を有するカメラで構成してもよい。

コンピュータ３１４は、撮像装置１２によって２枚の顔画像を連続して撮像させると共に、撮像装置１２の撮像タイミング（シャッタータイミング）に合わせて、照明装置３１２のオンオフを切り替える撮像照明制御部３１８と、撮像装置１２から出力される照明装置３１２の点灯時の顔画像及び消灯時の顔画像を入力する画像入力部３２０と、画像入力部３２０の出力である２枚の顔画像から差分画像を生成する差分画像生成部３２２と、差分画像から、輝度値が所定値以上となる領域を抽出する領域抽出部３２３と、抽出された領域に基づいて、運転者の顔が存在する特定位置と撮像装置１２の間に近接物が存在するか否かを判定する近接物判定部３２４と、顔向き検出部２６と、表示制御部２８とを備えている。

撮像照明制御部３１８は、撮像装置１２によって連続して２枚の顔画像を撮像するように制御すると共に、撮像装置１２の撮像タイミングに合わせて、一方の顔画像の撮像時に、照明装置３１２を点灯させ、他方の顔画像の撮像時に、照明装置３１２を消灯させるように照明装置３１２を制御する。これによって、撮像装置１２から、照明点灯時に撮影された顔画像と照明消灯時で撮影された顔画像が交互に出力される。

差分画像生成部３２２は、照明装置３１２の点灯時の顔画像及び消灯時の顔画像を用いて、差分画像を生成する。

領域抽出部３２３は、生成された差分画像の各画素について、画素値（差分値）が所定値以上であるか否かを判定して、画素値が所定値以上となる領域を抽出する。なお、運転者の顔が存在する特定位置と撮像装置１２の間に近接物が存在する場合に撮像された点灯時の顔画像及び消灯時の顔画像から、差分画像を生成し、差分画像の近接物を表わす領域の画素値に基づいて、上記の所定値を予め設定しておけばよい。

ここで、本実施の形態の原理について説明する。上記の差分画像の画素値（差分値）は、照射装置３１２の光による明るさを示しており、撮像装置１２からの距離に依存する。つまり、差分画像において、撮像装置１２に近い物体を表わす領域は明るく、撮像装置１２から遠い物体を表わす領域は暗くなる。このように、差分画像の画素値が、撮像装置１２との距離の概算値を示している。

そこで、本実施の形態では、近接物判定部３２４で、抽出された画素値が所定値以上となる領域と、予め求められた運転者の顔が存在する領域の範囲とを比較して、運転者の顔が存在する領域の範囲内に、抽出した領域の少なくとも一部が位置する場合には、撮像装置１２と運転者の顔との間に近接物が存在すると判定する。

次に、第３の実施の形態に係る顔検出装置３１０の作用について説明する。なお、第１の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。

コンピュータ３１４によって、図４に示す顔検出処理ルーチンが実行される。まず、ステップ３４８において、照明装置３１２がオンオフするように制御すると共に、照明装置３１２の点灯時及び消灯時に、撮像装置１２によって、運転者が存在する特定位置を含む領域を連続して撮像するように制御する。

そして、ステップ３５０において、撮像装置１２より撮像された照明点灯時の顔画像及び照明消灯時の顔画像を取得し、ステップ３５２において、上記ステップ３５０で取得した２枚の顔画像から差分画像を生成する。

そして、ステップ３５４において、上記ステップ３５２で生成された差分画像から、画素値が所定値以上となる領域を抽出する。次のステップ３５６では、上記ステップ３５４で抽出された領域の少なくとも一部が、予め求められた運転者の顔が存在する領域の範囲内に位置するか否かを判定する。抽出された領域の少なくとも一部が、予め求められた顔が存在する領域の範囲内に位置すると判定されると、近接物が顔を隠蔽していると判断し、顔向き検出処理を行わずに、ステップ１０８において、近接物が存在することを示すメッセージを表示装置１６によって表示させて、顔検出処理ルーチンを終了する。

上記ステップ３５６において、予め求められた顔が存在する領域の範囲内に、抽出された領域の一部も位置していないと判定されると、近接物が顔を隠蔽していないと判断し、ステップ３５８において、上記ステップ３５０で取得した照明点灯時の顔画像に対して顔向き検出処理を行って、運転者の顔向きを検出する。そして、ステップ１１２において、運転者が脇見しているか否かを判定する。検出された顔向きが正面方向である場合には、脇見していないと判断されるため、警報を出力せずに、顔検出処理ルーチンを終了する。一方、上記ステップ１１２において、検出された顔向きが正面方向でない場合には、脇見していると判断されるため、ステップ１１４において、警報メッセージを表示装置１６によって表示させて、顔検出処理ルーチンを終了する。

以上説明したように、第３の実施の形態に係る顔検出装置によれば、照明装置の点灯時及び消灯時の各々で撮像された２枚の顔画像から差分画像を生成し、差分画像における画素値が所定値以上となる領域の少なくとも一部が、顔領域の範囲に位置するか否かにより、運転者の顔との間に近接物が存在するか否かを判定することができ、運転者の顔の誤検出を防止することができる。

また、照明装置によって運転者の顔に対して近赤外光を照射するように構成することにより、照明装置の光による運転者への幻惑を防止することができる。

また、照明装置を用いることにより、夜間であっても、運転者の顔との間に近接物が存在するか否かを判定することができる。

なお、上記の実施の形態では、２枚の顔画像を撮像するときに、照明装置をオンオフさせる場合を例に説明したが、これに限定されるものではなく、照明装置からの光の明るさを異ならせて、２枚の顔画像を撮像するようにしてもよい。この場合には、２枚の顔画像の各々の撮像時で、照明装置への電流量を変化させて、照明装置からの光の明るさを変化させるようにすればよい。

また、２枚の顔画像を撮像して、差分画像を生成する場合を例に説明したが、これに限定されるものではなく、３枚以上の顔画像を撮像して、顔画像の複数組の各々から、複数の差分画像を生成するようにしてもよい。例えば、照明装置の点灯時、半分の明るさで点灯した時、及び消灯時の各々に顔画像を撮像して３枚の顔画像を撮像し、照明点灯時の顔画像及び照明消灯時の顔画像から差分画像を生成すると共に、半分の明るさで点灯した時の顔画像及び照明消灯時の顔画像から差分画像を生成するようにしてもよい。この場合には、一方の差分画像を用いて、近接物が顔を隠蔽しているか否かを判定すると共に、他方の差分画像を用いて、近接物が顔を隠蔽しているか否かを判定し、何れの判定においても、近接物が顔を隠蔽していないと判定された場合に、運転者の顔向きを検出するようにすればよい。これによって、近接物が顔を隠蔽しているか否かを精度よく判定することができる。

次に、第４の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。

第４の実施の形態では、照明装置を備えている点と、顔画像の輝度値が所定値以上となる領域に基づいて、近接物の存在の有無を判定している点とが、第１の実施の形態と主に異なっている。

図５に示すように、第４の実施の形態に係る顔検出装置４１０は、撮像装置１２と、ＬＥＤから構成され、かつ、撮像装置１２の撮像タイミング（シャッタータイミング）に合わせて運転者の顔に近赤外光を照射する照明装置４１２と、画像処理を行うコンピュータ４１４と、表示装置１６とを備えている。

コンピュータ４１４は、画像入力部２０と、予め求められた、近接物を表わす領域の輝度値に相当する閾値を記憶した閾値記憶部４２１と、画像入力部２０から出力された顔画像から、輝度値が閾値記憶部４２１に記憶された閾値以上となる領域を抽出する領域抽出部４２２と、抽出された領域に基づいて、運転者の顔が存在する特定位置と撮像装置１２の間に近接物が存在するか否かを判定する近接物判定部４２４と、顔向き検出部２６と、表示制御部２８とを備えている。

ここで、本実施の形態の原理について説明する。上記の第２の実施の形態で説明したように、照明装置４１２が点灯している場合、顔画像中の被写体を表わす領域の明るさは、撮像装置１２からその被写体までの距離に概ね比例する。例えば、撮像装置１２に近い被写体を表わす領域の輝度値は非常に高いため、白とび状態で撮像されることが多い。したがって、照明の明るさを示す照明制御量（電流量など）と撮像状態を示す撮像制御量（シャッター速度やゲイン量など）とに基づいて、撮像装置１２の近くに存在する近接物を表わす白とび領域もしくは高輝度領域の輝度値を推定しておけば、近接物の存在の有無を判定することができる。

そこで、本実施の形態では、照明装置４１２から得られる、照明の明るさを示す照明制御量（電流量など）と、撮像装置１２から得られる、撮像状態を示す撮像制御量（シャッター速度やゲイン量など）とに基づいて、照明装置４１２による照明時に撮像装置１２によって撮像した顔画像の、近接物とみなされる距離に存在する物体を表わす領域の輝度値を推定しておき、推定した輝度値を閾値として、閾値記憶部４２１に記憶しておく。なお、上記の輝度値を推定するときの近接物までの距離は、運転者の顔と近接物とを区別できる距離であればよく、任意に設定すればよい。

また、領域抽出部４２２は、画像入力部２０から出力された顔画像の各画素について、輝度値が閾値以上であるか否かを判定して、輝度値が閾値以上となる領域を抽出する。

近接物判定部４２４は、抽出された輝度値が閾値以上となる領域と、予め求められた運転者の顔が存在する領域の範囲とを比較して、運転者の顔が存在する領域の範囲内に、抽出した領域の少なくとも一部が位置する場合には、撮像装置１２と運転者の顔との間に近接物が存在すると判定する。

次に、第４の実施の形態に係る顔検出装置４１０の作用について説明する。まず、照明装置４１２が点灯している時に、撮像装置１２によって、運転者が存在する特定位置を含む領域が撮像されると、コンピュータ４１４において、図６に示す顔検出処理ルーチンが実行される。

まず、ステップ１００において、撮像装置１２より撮像された顔画像を取得し、ステップ４５０において、上記ステップ１００で取得した顔画像から、輝度値が、記憶された閾値以上となる領域を抽出する。

次のステップ４５２では、上記ステップ４５０で抽出された領域の少なくとも一部が、予め求められた運転者の顔が存在する領域の範囲内に位置するか否かを判定する。抽出された領域の少なくとも一部が、予め求められた顔が存在する領域の範囲内に位置すると判定されると、近接物が顔を隠蔽していると判断し、顔向き検出処理を行わずに、ステップ１０８において、近接物が存在することを示すメッセージを表示装置１６によって表示させて、顔検出処理ルーチンを終了する。

上記ステップ４５２において、予め求められた顔が存在する領域の範囲内に、抽出された領域の一部も位置していないと判定されると、近接物が顔を隠蔽していないと判断し、ステップ１１０において、上記ステップ１００で取得した顔画像に対して顔向き検出処理を行って、運転者の顔向きを検出する。そして、ステップ１１２において、運転者が脇見しているか否かを判定する。脇見していないと判定された場合には、警報を出力せずに、顔検出処理ルーチンを終了する。一方、上記ステップ１１２において、脇見していると判定された場合には、ステップ１１４において、警報メッセージを表示装置１６によって表示させて、顔検出処理ルーチンを終了する。

以上説明したように、第４の実施の形態に係る顔検出装置によれば、照明装置が点灯している場合、撮像装置に近い近接物を表わす領域の輝度値が非常に高く撮像されることから、撮像された顔画像において、輝度値が、光が照射された近接物を表わす領域の輝度値以上となる領域の少なくとも一部が、運転者の顔が存在する領域の範囲に位置するか否かにより、運転者の顔との間に近接物が存在するか否かを判定することができ、運転者の顔の誤検出を防止することができる。

また、照明装置によって運転者の顔に対して近赤外光を照射するように構成することにより、照明装置の光による運転者への幻惑を防止することができる。

また、照明装置を用いることにより、夜間であっても、運転者の顔との間に近接物が存在するか否かを判定することができる。

なお、上記の第３の実施の形態及び第４の実施の形態では、照明装置から近赤外光を照射する場合を例に説明したが、これに限定されるものではなく、通常の可視光を照射するように照明装置を構成してもよい。

また、上記の第１の実施の形態〜第４の実施の形態では、撮像装置から濃淡画像が出力される場合を例に説明したが、これに限定されるものではなく、撮像装置からカラー画像が出力されるようにしてもよい。

また、判定結果や警報メッセージを表示装置によって表示する場合を例に説明したが、これに限定されるものではなく、判定結果や警報メッセージをスピーカによって音声出力してもよいし、ランプ等の光によって、判定結果や警報メッセージを出力するようにしてもよい。

本発明の第１の実施の形態に係る顔検出装置の構成を示すブロック図である。 本発明の第１の実施の形態に係る顔検出装置における顔検出処理ルーチンの内容を示すフローチャートである。 本発明の第３の実施の形態に係る顔検出装置の構成を示すブロック図である。 本発明の第３の実施の形態に係る顔検出装置における顔検出処理ルーチンの内容を示すフローチャートである。 本発明の第４の実施の形態に係る顔検出装置の構成を示すブロック図である。 本発明の第４の実施の形態に係る顔検出装置における顔検出処理ルーチンの内容を示すフローチャートである。

符号の説明

１０、３１０、４１０ 顔検出装置
１２ 撮像装置
１４、３１４、４１４ コンピュータ
１６ 表示装置
２２ 特徴量算出部
２４、３２４、４２４ 近接物判定部
２６ 顔向き検出部
３１２、４１２照明装置
３１８ 撮像照明制御部
３２２ 差分画像生成部
３２３、４２２領域抽出部
４２１ 閾値記憶部

Claims (6)

1. 特定位置に合焦され、かつ、前記特定位置に存在する撮像対象物及び前記特定位置との間に存在する物体を撮像するための撮像手段と、
   前記撮像手段によって撮像された画像から、エッジに関する特徴量及び空間周波数に関する特徴量の何れか一方を算出する特徴量算出手段と、
   前記特徴量算出手段によって算出された前記エッジに関する特徴量及び空間周波数に関する特徴量の何れか一方と、前記撮像対象物を撮像した画像から予め求められた前記エッジに関する特徴量及び空間周波数に関する特徴量の何れか一方とを比較して、前記撮像対象物と前記撮像手段との間に物体が存在するか否かを判定する存在判定手段と、
   を含む物体存在判定装置。
2. 特定位置に存在する撮像対象物及び前記特定位置との間に存在する物体を撮像するための撮像手段と、
   前記特定位置に対して光を照射する照射手段と、
   各々照射する光の明るさが異なるように前記照射手段を制御すると共に、各々照射する光の明るさが異なる場合に複数の画像を撮像するように前記撮像手段を制御する制御手段と、
   前記撮像手段によって撮像された前記複数の画像から差分画像を生成する差分画像生成手段と、
   前記差分画像の画素値が所定値以上となる領域を抽出する抽出手段と、
   前記抽出手段によって抽出された領域の少なくとも一部が、前記撮像対象物が存在する予め定められた領域の範囲に位置する場合に、前記撮像対象物と前記撮像手段との間に物体が存在すると判定する存在判定手段と、
   を含む物体存在判定装置。
3. 特定位置に存在する撮像対象物及び前記特定位置との間に存在する物体を撮像するための撮像手段と、
   前記特定位置に対して光を照射する照射手段と、
   前記照射手段によって光が照射された前記特定位置との間に存在する物体を撮像した画像について予め求められた前記特定位置との間に存在する物体を表わす領域の輝度値に基づいて、前記撮像手段によって撮像された画像の輝度値が、前記予め求められた輝度値以上となる領域を抽出する抽出手段と、
   前記抽出手段によって抽出された領域の少なくとも一部が、前記撮像対象物が存在する予め定められた領域の範囲に位置する場合に、前記撮像対象物と前記撮像手段との間に物体が存在すると判定する存在判定手段と、
   を含む物体存在判定装置。
4. 前記存在判定手段の判定結果を出力する出力手段を更に含む請求項１〜請求項３の何れか１項記載の物体存在判定装置。
5. 前記存在判定手段によって前記撮像対象物と前記撮像手段との間に物体が存在すると判定されなかった場合に、前記撮像手段によって撮像された画像から、前記撮像対象物を検出する検出手段を更に含む請求項１〜請求項４の何れか１項記載の物体存在判定装置。
6. 前記撮像対象物を、運転者の顔とした請求項１〜請求項５の何れか１項記載の物体存在判定装置。

Images