JP2005084815A - 顔認識装置、顔認識方法および通行制御装置 - Google Patents

Abstract

【課題】人物の顔の特徴情報そのもの以外の要素で照合が正しく行なわれなくなることを検知することにより誤った状態で試行が続くことを防止することができる顔認識装置を提供する。
【解決手段】顔を含む人物の画像を利用して本人を特定する顔認識装置において、顔の特徴情報を著しく損なう照明環境となっていることを検知し、人物の認識結果と別に照明環境が認識を行なうのに適切な状態であるかどうかの結果も出力する。
【選択図】 図１

Description

本発明は、たとえば、セキュリティ管理などにおいて、人物の顔画像を用いて当該人物を認識する顔認識装置および顔認識方法に関する。
また、本発明は、上記顔認識装置を用いて通行者の通行（たとえば、重要施設の入退場など）を制御する通行制御装置に関する。

一般に、この種の顔認識装置は、あらかじめ認識対象となる人物の顔画像をカメラやセンサなどを用いて取得し、この取得した顔画像から得られる顔の特徴情報を辞書情報として辞書情報保持手段に保持しておく。

そして、照合時には、認識対象となる人物の顔画像をカメラやセンサなどを用いて再度取得し、この取得した顔画像から得られる顔の特徴情報が辞書情報保持手段にあらかじめ保持されている辞書情報と類似しているかどうかを評価し、類似性が高い場合には当該人物は登録者（本人）であると判定し、類似性が低い場合には未登録者（本人ではない）と判定するようになっている。

しかしながら、顔の特徴情報を利用した顔認識手法における特有の問題として、カメラに対する顔の存在位置や角度によって顔の見える領域や見え方が変動する、人物の周辺の照明環境が変動した場合に顔から抽出した特徴量が変動しやすい、顔の経年変化が大きい、顔には色々な装飾品（眼鏡やマスクなど）が付けられる可能性がある、などといった問題があり、顔認識装置として性能低下を引き起こす要因が多く存在する。

このような顔認識に関連する技術として、アイリス認識において、照合に不適切なアイリスの特徴が得られた場合に改善方法をガイダンスする技術が知られている（たとえば、特許文献１参照）。
特開２０００−６０８２５号公報

しかしながら、従来の顔認識装置にあっては、前述した性能低下要因のために正しく認識ができなかった場合、顔そのものの特徴情報が変化したのか、顔に付属する隠蔽物のために正しく特徴情報を取得できなかったのか、照明環境変動といった外的要因が照合に影響を与えるため失敗しているのか、の識別ができず、利用者は原因がわからないまま試行を繰り返す必要があった。

そこで、本発明は、人物の顔の特徴情報そのもの以外の要素で照合が正しく行なわれなくなることを検知することにより誤った状態で試行が続くことを防止することができる顔認識装置、顔認識方法および通行制御装置を提供することを目的とする。

本発明の顔認識装置は、認識対象となる人物の顔画像を入力する画像入力手段と、この画像入力手段により入力された画像から前記人物の顔領域を検出する顔検出手段と、この顔検出手段の検出結果に基づき前記人物の顔の特徴情報を抽出する顔特徴抽出手段と、あらかじめ認識対象となる人物の顔の特徴情報を辞書情報として保持する辞書情報保持手段と、前記顔特徴抽出手段により抽出された特徴情報と前記辞書情報保持手段に保持されている辞書情報とを照合することにより当該人物は特定の人物であるかどうかを認識する認識手段と、前記顔検出手段により検出された顔領域の画像情報から認識に適切な照明環境であるかどうかを判定する照明環境判定手段と、この照明環境判定手段の判定結果を出力する出力手段とを具備している。

本発明の顔認識方法は、認識対象となる人物の顔画像を入力する画像入力ステップと、この画像入力ステップにより入力された画像から前記人物の顔領域を検出する顔検出ステップと、この顔検出ステップの検出結果に基づき前記人物の顔の特徴情報を抽出する顔特徴抽出ステップと、この顔特徴抽出ステップにより抽出された特徴情報と、あらかじめ認識対象となる人物の顔の特徴情報を辞書情報として保持する辞書情報保持手段に保持されている辞書情報とを照合することにより当該人物は特定の人物であるかどうかを認識する認識ステップと、前記顔検出ステップにより検出された顔領域の画像情報から認識に適切な照明環境であるかどうかを判定する照明環境判定ステップと、この照明環境判定手段の判定結果を出力する出力ステップとを具備している。

本発明の通行制御装置は、認識対象となる通行者の顔画像を入力する画像入力手段と、この画像入力手段により入力された画像から前記通行者の顔領域を検出する顔検出手段と、この顔検出手段の検出結果に基づき前記通行者の顔の特徴情報を抽出する顔特徴抽出手段と、あらかじめ認識対象となる通行者の顔の特徴情報を辞書情報として保持する辞書情報保持手段と、前記顔特徴抽出手段により抽出された特徴情報と前記辞書情報保持手段に保持されている辞書情報とを照合することにより当該通行者は特定の通行者であるかどうかを認識する認識手段と、この認識手段の認識結果に応じて前記通行者の通行を制御する通行制御手段と、前記顔検出手段により検出された顔領域の画像情報から認識に適切な照明環境であるかどうかを判定する照明環境判定手段と、この照明環境判定手段の判定結果を出力する出力手段とを具備している。

本発明によれば、人物の顔の特徴情報そのもの以外の要素で照合が正しく行なわれなくなることを検知することにより誤った状態で試行が続くことを防止することができる顔認識装置、顔認識方法および通行制御装置を提供できる。

以下、本発明の実施の形態について図面を参照して説明する。
まず、第１の実施の形態について説明する。
図１は、第１の実施の形態に係る顔認識装置の構成を概略的に示すものである。この顔認識装置は、認識対象となる人物（以下、認識対象者ともいう）Ｍの顔画像（少なくとも顔を含んでいる画像）を撮像して入力する画像入力手段としてのカメラ１００、カメラ１００からの顔画像を入力する画像入力手段としての画像入力部１０１、画像入力部１０１から得られた人物の顔画像を用いて、あらかじめ準備されたパターン辞書との照合で顔および目、鼻などの顔部位の位置を検出する顔検出手段としての顔検出部１０２、顔検出部１０２の出力に基づき濃淡情報あるいは部分空間情報などの顔の特徴量（特徴情報）を抽出する顔特徴抽出手段としての顔特徴抽出部１０３、辞書登録時には、顔特徴抽出部１０３で抽出された顔の特徴情報を辞書情報として保持する辞書情報保持手段としての辞書情報保持部１０４、照合（顔認識）時には、顔特徴抽出部１０３で抽出された顔の特徴情報と辞書情報保持部１０４に保持されている辞書情報とを照合することにより認識対象者Ｍが本人であるか否かを認識する認識手段としての認識部１０５、顔検出部１０２により検出された顔領域の画像情報から認識に適切な照明環境であるかどうかを判定する照明環境判定手段としての照明環境判定部１０６、カメラ１００により撮影されている人物Ｍの顔画像や顔検出部１０２により検出された顔の検出結果、認識部１０５の認識結果に応じた出力などを行なう出力手段としての出力部１０７によって構成されている。

なお、図示は省略しているが、必要に応じて、認識対象者Ｍが本人であることを確認する際に用いる暗証番号などを入力したり、多数登録されている辞書情報の中のどの辞書情報であるかを特定する識別情報などを入力する入力手段をカメラ１００の近傍に併設しても構わない。具体的には、たとえば、テンキーやタッチパネル、あるいは、ＩＣカードや磁気カードあるいは無線カードを読取るカードリーダなどによって実現可能である。

また、図示は省略しているが、必要に応じて、カメラ１００の近傍（たとえば、右上方あるいは左上方）から認識対象者Ｍの少なくとも顔に向けて一定の照度で光を照射する照明手段が設けられる。

さらに、以下の説明では、画像入力データ、抽出した特徴量、部分空間、部分空間を構成するための固有ベクトル、相関行列、登録の際の時刻、日時、場所などの状況情報、暗証番号、ＩＤコードなどの個人情報の各情報が登場してくる。そして、認識データと言うときは、部分空間、または、部分空間を構成するための固有ベクトルを含み、辞書情報（登録情報）と言うときは、画像入力データ、抽出した特徴量、部分空間、部分空間を構成するための固有ベクトル、相関行列、状況情報、個人情報を含んでいる。したがって、認識データは辞書情報に含まれる。

カメラ１００は、認識対象者Ｍの顔画像を下方から所定角度で撮像して入力するものであり、たとえば、ＣＣＤセンサなどの撮像素子を用いたテレビジョンカメラから構成されている。
画像入力部１０１は、カメラ１００からの顔画像を入力し、Ａ／Ｄ変換してデジタル化した後、顔検出部１０２へ送る。
顔検出部１０２は、まず、画像入力部１０１で入力された顔画像から認識対象者Ｍの顔領域を検出する。たとえば、入力画像内において、あらかじめ用意されたテンプレートを、画像中を移動させながら相関値を求めることにより、最も高い相関値を与える位置を顔領域とする。なお、その他に、固有空間法や部分空間法を利用した顔領域抽出法などの顔検出手段でもよい。

顔検出部１０２は、次に、検出された顔領域の部分の中から、目、鼻、口といった顔部位の位置を検出する。その検出方法は、たとえば、文献（福井和広、山口修：「形状抽出とパターン照合の組合せによる顔特徴点抽出」、電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ８０−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ２１７０−２１７７（１９９７））に開示されている方法などを用いてよい。

顔特徴抽出部１０３は、顔検出部１０２で検出された顔部位の位置を基に、顔領域を一定の大きさ、形状に切り出し、その濃淡情報を顔の特徴量（特徴情報）として用いる。ここでは、たとえば、ｍピクセル×ｎピクセルの領域の濃淡値をそのまま情報として用い、ｍ×ｎ次元の情報を特徴ベクトルとして用いる。これらのデータに対し特徴ベクトルの相関行列を求め、周知のＫ−Ｌ展開による正規直交ベクトルを求めることにより、部分空間を計算する。部分空間の計算方法は、特徴ベクトルの相関行列（または共分散行列）を求め、そのＫ−Ｌ展開による正規直交ベクトル（固有ベクトル）を求めることにより、部分空間を計算する。部分空間は、固有値に対応する固有ベクトルを、固有値の大きな順にｋ個選び、その固有ベクトル集合を用いて表現する。

本実施の形態では、相関行列Ｃｄを特徴ベクトルから求め、相関行列

と対角化して、固有ベクトルのΦを求める。この部分空間は、人物の同定を行なうための認識辞書として利用する。この情報をあらかじめ登録しておいて、それを辞書情報として登録しておけばよい。

また、後で述べるように、認識を行なうための入力特徴情報として部分空間自身を利用してもよい。したがって、部分空間を算出した結果は、辞書情報保持部１０４または認識部１０５に送られる。この際、新規に辞書情報を作成する場合には、ここで作成した部分空間の情報そのものを登録することで実現可能であり、他にも既でに登録されている情報を更新する処理の場合には、登録された部分空間を作成する相関行列を保存しておいて、新たに入力された顔の特徴情報を追加した上でＫ−Ｌ展開を再度計算して出力された部分空間を辞書情報として置き換えることで実現が可能である。この際、以前から登録されていた情報を一切消して情報を全て書換える方法でもよいし、全く別の部分空間として新規に登録するようにしても構わない。

辞書情報保持部１０４は、人物を同定するために利用する部分空間（または、相関行列など）、および、人物を特定するＩＤ番号などの識別情報を対応させて蓄積する。また、辞書登録の際の時刻、日時、場所などの状況情報なども蓄積できる。なお、部分空間に限らず、入力された画像入力データや抽出された顔の特徴情報そのものを蓄積してもよい。ここで保持する辞書情報は１名あたり１つでもよいし、状況によって切換えたり同時に認識に利用できるように複数の辞書情報を保持していてもかまわない。

認識部１０５は、辞書情報保持部１０４に蓄えられた辞書情報（部分空間）と顔特徴抽出部１０３で得られた特徴情報（濃淡情報あるいは部分空間情報）とを照合（比較）することにより、カメラ１００で撮影されている認識対象者Ｍが誰であるかを認識、あるいは、該当人物であるかどうかを同定する。人物を認識するためには、どの人物のデータに最も類似しているかを求めればよく、最大類似度をとるデータに対応する人物を認識結果とすればよい。

また、ＩＤ番号、暗証番号、鍵などの個人の識別情報を用いて、顔画像による認識を行なう場合には、それぞれの人物の識別情報に対応する辞書情報との類似度を計算して、設定した認証閾値と照合し、その認証閾値を越えた場合に、その人物と同定する。この場合、ＩＤ番号、暗証番号、鍵など個人の識別情報を入力する手段が必要であるが、たとえば、ＩＣカード、ＩＤカード、無線カード、キーボードなどを用いることで実現できる。いずれにしても必要な入力手段を追加して設置すればよいのは明らかである。

認識の方法としては、顔特徴抽出部１０３の情報を用いる場合は、部分空間法や複合類似度法などの方法を用いてよい。本実施の形態での認識方法は、たとえば、文献（前田賢一、渡辺貞一：「局所的構造を導入したパターン・マッチング法」、電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ６８−Ｄ，Ｎｏ．３，ｐｐ３４５−３５２（１９８５））に記載されている公知の認識方法である相互部分空間法を用いる。

この方法では、あらかじめ蓄えられた登録情報の中の認識データも、入力されるデータも部分空間として表現され、２つの部分空間のなす「角度」を類似度として定義する。ここで入力される部分空間を入力部分空間という。入力データ列に対して同様に相関行列Ｃｉｎを求め、

と対角化し、固有ベクトルΦｉｎを求める。２つのΦｉｎ，Φｄで表わされる部分空間の部分空間類似度（０．０〜１．０）を求め、それを認識するための類似度とする。

なお、本実施の形態においては、登録された辞書情報との一致性は「類似度」を用いた例を用いているが、相関値やユークリッド距離といったものを利用してもかまわない。

相互部分空間法においては、照合を行なう際にも複数の特徴情報を入力し、その特徴情報から得られる部分空間情報を認識に利用するため、登録や更新といった処理のみならず、照合をする際にも複数の画像の入力が必要となる。本実施の形態では、繰り返して照合を行なっていくうちに所定の閾値を上回る類似度と判定された時点で照合を打ち切って登録された人物であると判定することとし、所定の時間、または、所定の繰り返し回数以内に所定の閾値に到達しない場合には登録された人物ではないと判定することとする。

認識部１０５において、人物を認識する場合には、辞書情報保持部１０４に蓄えられた全ての部分空間情報（辞書情報）との類似度を求め、最も高い類似度となる人物の類似度があらかじめ定められた閾値以上となった場合に、その人物が本人であると認識する。最高となる類似度が閾値よりも低い場合には、あらかじめ登録を行なっている人物ではないと判定できる。この認識方法を本発明では「１：Ｎ照合」として定義する。

一方、ＩＤ番号など、どの人物であるかの識別情報が図示しない入力手段から入力された場合には、その識別情報に対応する部分空間との類似度のみを計算し、その類似度があらかじめ定められた閾値以上となった場合に、その人物が本人であると認識する。この認識方法を本発明では「１：１照合」として定義する。

また、「１：１照合」と「１：Ｎ照合」との中間に位置する「１：ｎ照合」については、登録者全体の中の複数の人物に共通する識別情報が入力された場合を想定し、この識別情報が入力された場合には、その識別情報に対応する１名または複数名の登録者の辞書情報との類似度を計算し、最高となる類似度が閾値よりも高い場合に、その識別情報に相当する登録者がきたこととする。

たとえば、複数の人物に共通するグループ番号を識別情報として入力し、そのグループに属する人物であるかどうかを判定する場合などに用いる。基本的に、登録者全員との類似度を計算するのではなく、その中の１名または複数名の人物との照合を行なうということであって、全体的な動作は「１：Ｎ照合」の動作と共通であるため、本実施の形態においては「１：Ｎ照合」の説明に包含して説明する。

照明環境判定部１０６は、顔検出部１０２で検出された顔領域、または、目や鼻の座標を用いて顔の大きさや顔の向きによらず必ず同じｍ×ｎピクセルの領域の輝度値を求める。具体的には、両目を結ぶベクトルをＸ軸方向の単位ベクトル、両目の中心と鼻の中心をＹ軸方向の単位ベクトルと考えて、両目と鼻の中心の中点を中央にしてＸ軸方向、Ｙ軸方向それぞれ定数倍の位置に存在する画素の輝度値を抽出することで求められる。

このｍ×ｎピクセルの画像に対し、本実施の形態においては、図２（ａ）に示すようにｍ×ｎの全体領域Ａ、図２（ｂ）に示すようにＸ軸方向にｍを３等分（ｍ／３）して３つの領域に分割したときの一番左の領域Ｂ、図２（ｃ）に示すように同様に分割して一番右側の領域Ｃ、の３つの領域についてそれぞれ評価を行なうこととする。

なお、本実施の形態においては、この領域Ａ，Ｂ，Ｃを用いるが、分割する方向をＹ軸方向にしたり、分割する数を「３」以外の数にしても同様の処理をできることは明らかであるが、ここでは省略することとする。

ここで、それぞれの領域Ａ，Ｂ，Ｃ内で輝度分布のヒストグラムを求める。通常の照明環境に対して明るすぎる場合や暗い場合、または、極端に偏った照明で顔の特定部分が明るく特定部分が暗いといった照明環境が入力された場合、ヒストグラムは図３に示すような傾向が現れる。

通常の照明状態であれば、顔は左右対称に近いこともあって、図３（ａ）に示すように左右領域（領域Ｂ、領域Ｃ）はほぼ同じような輝度の分布となる。ただし、左右方向で偏りのある照明の場合には、図３（ｂ）に示すように領域Ｂと領域Ｃで輝度の分布が異なり、ヒストグラム上でも輝度の明るい領域に山ができる領域と暗い領域に山ができるようになる。なお、図３（ｃ）は照明が明るすぎる場合、図３（ｄ）は照明が暗すぎる場合、をそれぞれ示している。

このように、照明の方向が正面ではなく、極端に偏った状態を検知するために、以下のような評価式を決めて照明の偏りを検知することとする。

上記３つの指標ア，イ，ウは、領域Ｂと領域Ｃの輝度の分布の差がほぼ同じであれば零に近づく値であり、この値が所定の閾値よりも小さい場合が認識に適した照明条件と判定することが可能である。また、上記指標は領域Ｂと領域Ｃとの差の符号によってどちらの領域のほうが明るいかといった照明の方向を類推することも可能となっている。ここでは、輝度の分離度、標準偏差、平均輝度を用いたが、他にも中間値、最頻値、分散などといった統計量を用いることも可能である。

また、入力画像が明るすぎた場合には、デジタル化された輝度階調の範囲の最大値で飽和してしまい、その領域での顔の特徴による濃淡値が失われてしまうことになり、いわゆる「白飛び」という状況になってしまう。一方で、入力画像が暗すぎた場合には、輝度階調の最小値で飽和してしまい、同様に「黒つぶれ」という状況で顔の特徴情報が失われてしまうこととなる。これらの状態は以下の指標で示すことが可能になる。

指標エ 領域Ａ〜Ｃそれぞれの領域において白飛び画素の存在割合
指標オ 領域Ａ〜Ｃそれぞれの領域において黒つぶれ画素の存在割合
これらの指標も同様に所定の閾値を定めておいて、その閾値よりもこの指標が大きくなった場合には照合に不適切であると判定することが可能になる。

以上説明した処理の流れを図４に示す。以下、図４について簡単に説明する。まず、画像が入力され（ステップＳ１）、顔検出部１０２により顔領域が検出され（ステップＳ２）、目鼻座標基準でｍ×ｎピクセルの顔画像が切り出される（ステップＳ３）。

次に、切り出されたｍ×ｎピクセルの顔画像に対し、３つの領域Ａ，Ｂ，Ｃ内でそれぞれ輝度分布のヒストグラムを計算する（ステップＳ４）。次に、［指標ア＞ＴＨ−ア（閾値）］の条件が成立するか否かを判定し（ステップＳ５）、［指標ア＞ＴＨ−ア］の条件が成立しない場合は、［指標イ＞ＴＨ−イ（閾値）］の条件が成立するか否かを判定し（ステップＳ６）、［指標イ＞ＴＨ−イ］の条件が成立しない場合は、［指標ウ＞ＴＨ−ウ（閾値）］の条件が成立するか否かを判定する（ステップＳ７）。

ステップＳ５，Ｓ６，Ｓ７の判定の結果、上記条件が成立した場合は、偏った照明環境であると判定し（ステップＳ８）、顔の認識には不適切な照明環境であると判定する（ステップＳ９）。

ステップＳ７の判定の結果、［指標ウ＞ＴＨ−ウ］の条件が成立しない場合は、［指標エ＞ＴＨ−エ（閾値）］の条件が成立するか否かを判定し（ステップＳ１０）、［指標エ＞ＴＨ−エ］の条件が成立した場合は、明るすぎる照明環境であると判定し（ステップＳ１１）、顔の認識には不適切な照明環境であると判定する（ステップＳ９）。

ステップＳ１０の判定の結果、［指標エ＞ＴＨ−エ］の条件が成立しない場合は、［指標オ＞ＴＨ−オ（閾値）］の条件が成立するか否かを判定し（ステップＳ１２）、［指標オ＞ＴＨ−オ］の条件が成立した場合は、暗すぎる照明環境であると判定し（ステップＳ１３）、顔の認識には不適切な照明環境であると判定する（ステップＳ９）。
ステップＳ１２の判定の結果、［指標オ＞ＴＨ−オ］の条件が成立しない場合は、顔の認識には適切な照明環境であると判定する（ステップＳ１４）。

なお、照明環境判定部１０６で各指標に対して定められる閾値については、図５に示すように指標の絶対的な値として決めた閾値を利用し、常にこの閾値を上回るかどうかで判定する方法と、図６に示すように過去一定期間Ｔにおける指標の変動範囲を逸脱したかどうかを示す目安を閾値とする方法のどちらを用いてもかまわない。後者は具体的に過去一定期間内の指標値の平均値と標準偏差を求め、
閾値上限＝平均値＋標準偏差×Ｎ１
閾値下限＝平均値−標準偏差×Ｎ２
として定めた閾値を利用することで実現が可能となる。

出力手段１０７は、入力手段１０１で入力される入力画像、特徴抽出手段１０３から得られる顔の特徴情報といったものを表示したり、認識手段１０５で得られた認識結果にあわせたメッセージを表示する。同様に音声出力が行える機器を接続して音声メッセージなどを出力してもよい。また、照合に利用された生体特徴情報を履歴として記録しておき後から画面に表示することで確認することを可能とすることもできる。また、認識手段１０５で得られた認識結果にあわせて接続された機器を制御する信号を出力するといったことも行えるようにすることができることは明らかである。たとえばゲート装置などを接続してあらかじめ登録されている人物と認識された場合にのみゲートの通行を許可するといったことなどが実現できることは自明である。

出力部１０７は、たとえば、液晶表示パネルなどで構成されていて、カメラ１００で撮影されている認識対象者Ｍの顔画像や各種ガイダンス、顔特徴抽出部１０３から得られる顔の特徴情報といったものを表示したり、認識部１０５の認識結果に応じたメッセージなどを表示する。同様に、音声出力が行なえる機器を接続して音声メッセージなどを出力してもよい。また、照合に利用された顔の特徴情報を履歴として記憶しておき、必要に応じて画面に表示することで確認することを可能とすることもできる。さらに、認識部１０５の認識結果に応じて、接続された機器を制御する信号を出力するといったことも行なえるようにすることができることは明らかである。たとえば、ゲート装置などを接続して、あらかじめ登録されている人物と認識された場合にのみ、ゲートの通行を許可するといったことなどが実現できることは自明である。

以上説明したように上記第１の実施の形態によれば、照合を行なっている人物の顔の状態や姿勢や動作などが原因でなく、周辺の照明環境の変動が認識を行なうのに不適切であることを自動的に検知し、その結果を登録時や認識時に認識結果と同時に出力することで、認識対象者本人が正しく認識を行なえない原因が分からないまま運用を続けることを防ぐことが可能である。

次に、第２の実施の形態について説明する。
図７は、第２の実施の形態に係る顔認識装置の構成を概略的に示すものである。この顔認識装置は、認識対象者Ｍの顔画像（少なくとも顔を含んでいる画像）を撮像して入力する画像入力手段としてのカメラ２００、カメラ２００からの顔画像を入力する画像入力手段としての画像入力部２０１、画像入力部２０１から得られた人物の顔画像を用いて、あらかじめ準備されたパターン辞書との照合で顔および目、鼻などの顔部位の位置を検出する顔検出手段としての顔検出部２０２、顔検出部２０２の出力に基づき濃淡情報あるいは部分空間情報などの顔の特徴量（特徴情報）を抽出する顔特徴抽出手段としての顔特徴抽出部２０３、辞書登録時には、顔特徴抽出部２０３で抽出された顔の特徴情報を辞書情報として保持する辞書情報保持手段としての辞書情報保持部２０４、照合（顔認識）時には、顔特徴抽出部２０３で抽出された顔の特徴情報と辞書情報保持部２０４に保持されている辞書情報とを照合することにより認識対象者Ｍが本人であるか否かを認識する認識手段としての認識部２０５、顔検出部２０２により検出された顔領域の画像情報から顔の特徴情報を損なうような隠蔽物が顔領域に存在しているかどうかを判定する隠蔽物検知手段としての隠蔽物検知部２０６、カメラ２００により撮影されている人物Ｍの顔画像や顔検出部２０２により検出された顔の検出結果、認識部２０５の認識結果に応じた出力などを行なう出力手段としての出力部２０７によって構成されている。

なお、カメラ２００、画像入力部２０１、顔検出部２０２、顔特徴抽出部２０３、辞書情報保持部２０４、認識部２０５、出力部２０７は、前述した第１の実施の形態におけるそれと同一であるため説明を省略し、第１の実施の形態と異なる隠蔽物検知部２０６について説明する。

隠蔽物検知部２０６は、主に目や鼻や口の顔部位領域と、顔部位領域以外の領域とを分けて考えることとする。顔検出部２０２では顔部位の中で認識に必要な部位を検出するが、本実施の形態では目と鼻を検出することとして話を進める。外に眉毛や口といった部位を利用しても同様の処理ができることは明らかであるが、ここでは説明を省略することとする。

ここで、まずは顔部位が正しく検出できるかどうかが第１の判定条件となる。顔の部位が検出されない例と顔の部位が検出されたが隠蔽物が存在する状態の例を図８に示す。図８（ａ）は大きな眼鏡（サングラス）８１や口部分を覆うマスク８２の着用により、顔部位が検出できない状態の例、図８（ｂ）は目や口を除いた顔全体を覆うマスク８３の着用により、顔部位が検出できるが隠蔽物が付着した状態の例、をそれぞれ示している。

顔部位が検出できなくなった時点で既に顔に隠蔽物がある可能性があるため、隠蔽物検知部２０６はここで異常と判定して処理を終わる。
また、顔部位が正しく検出できた場合には、顔部位以外の領域を処理対象として、通常の顔の画像として得られるであろう特徴情報と、そうでなかった場合に現れる特徴情報との差異を検出し、その差異があらかじめ定められた閾値を上回る場合に異常として判断することとする。具体的には、目や鼻や口の領域をマスクして残った領域の平均的な特徴情報を数多く集めて部分空間を作成し、入力された画像とこの部分空間との差異が大きい場合に異常と判定する方法である。

この外にも、色情報を利用して肌色や顔部位の色（眉毛の黒色など）以外の色成分が多く現れた場合を異常と検知する方法、エッジ画像を作成して通常の顔画像から作成した場合のエッジ画素の存在確率分布を作成しておき、通常の顔画像では現れない可能性が高いエッジ画素が一定の閾値以上存在した場合に異常と判定する方法でも実現は可能である。

以上説明した処理の流れを図９に示す。以下、図９について簡単に説明する。まず、画像が入力され（ステップＳ２１）、顔検出部２０２により顔領域が検出される（ステップＳ２２）。ここで、顔部位が検出されなかった場合（ステップＳ２３）、顔部位を隠す遮蔽物ありと判定し（ステップＳ２４）、顔部位が検出された場合（ステップＳ２３）、顔部位以外が通常の顔と異なるか否かをチェックし（ステップＳ２５）、顔部位以外が通常の顔と異なる場合は顔部位以外を隠す隠蔽物ありと判定し（ステップＳ２６）、顔部位以外が通常の顔と同じ場合は顔の認識には適切な環境であると判定する（ステップＳ２７）。

以上説明したように上記第２の実施の形態によれば、照合を行なっている人物の顔に隠蔽物などが付いていて認識を行なうには不適切であることを自動的に検知し、その結果を登録時や認識時に認識結果と同時に出力することで、認識対象者本人が正しく認識を行なえない原因が分からないまま運用を続けることを防ぐことが可能である。

次に、第３の実施の形態について説明する。
図１０は、第３の実施の形態に係る顔認識装置の構成を概略的に示すものである。この顔認識装置は、認識対象者Ｍの顔画像（少なくとも顔を含んでいる画像）を撮像して入力する画像入力手段としてのカメラ３００、カメラ３００からの顔画像を入力する画像入力手段としての画像入力部３０１、画像入力部３０１から得られた人物の顔画像を用いて、あらかじめ準備されたパターン辞書との照合で顔および目、鼻などの顔部位の位置を検出する顔検出手段としての顔検出部３０２、顔検出部３０２の出力に基づき濃淡情報あるいは部分空間情報などの顔の特徴量（特徴情報）を抽出する顔特徴抽出手段としての顔特徴抽出部３０３、辞書登録時には、顔特徴抽出部３０３で抽出された顔の特徴情報を辞書情報として保持する辞書情報保持手段としての辞書情報保持部３０４、照合（顔認識）時には、顔特徴抽出部３０３で抽出された顔の特徴情報と辞書情報保持部３０４に保持されている辞書情報とを照合することにより認識対象者Ｍが本人であるか否かを認識する認識手段としての認識部３０５、顔検出部３０２により検出された顔領域の画像情報から認識に適切な照明環境であるかどうかを判定する照明環境判定手段としての照明環境判定部３０６、顔検出部３０２により検出された顔領域の画像情報から顔の特徴情報を損なうような隠蔽物が顔領域に存在しているかどうかを判定する隠蔽物検知手段としての隠蔽物検知部３０７、照明環境判定部３０６と隠蔽物検知部３０７の判定結果から最適な出力方法を選択する出力制御手段としての出力制御部３０８、カメラ３００により撮影されている人物Ｍの顔画像や顔検出部３０２により検出された顔の検出結果、認識部３０５の認識結果に応じた出力などを行なう出力手段としての出力部３０９によって構成されている。

なお、カメラ３００、画像入力部３０１、顔検出部３０２、顔特徴抽出部３０３、辞書情報保持部３０４、認識部３０５、照明環境判定部３０６、隠蔽物検知部３０７、出力部２０９は、前述した第１、第２の実施の形態におけるそれと同一であるため説明を省略し、第１、第２の実施の形態と異なる出力制御部３０８について説明する。

出力制御部３０８は、照明環境判定部３０６および隠蔽物検知部３０７から得られる判定結果に対してどのような出力方法にするかを自動的に切換える制御を行なう。出力する内容としては、
・端末ガイダンス…出力部２０９の画面にメッセージを表示したり、警告音を 出して認識対象者Ｍに通知する。

・履歴保存…日付や時刻、場所に加え、入力画像や照明環境の判定結果、隠蔽 物検知の結果、認識結果を履歴保存する、
・動作停止…辞書情報の登録や照合、辞書情報の学習に加え、制御しているゲ ートなどの動作を停止する、
・管理者通知…出力部２０９でアラームを鳴らしたり、遠隔地にいる管理者に 通知を送る、
といった例が挙げられる。その場で通知を行なう方法以外にも、不適切な状態で動作した場合の履歴を残しておくことによって、後から内容を確認できるように各種情報を残しておくことで管理をしやすくことができる。もちろん、他にも決められた動作をあらかじめ設定しておけば、任意の出力方法を追加できるのは容易に類推できる。

ここで、出力制御部３０８が照明環境判定部３０６および隠蔽物検知部３０７から得られた判定結果によって出力部２０９を制御する方法について述べる。具体的には、図１１に示すように、あらかじめ発生した異常状態とそれに対応させて出力する内容とをテーブルデータとして持つことによって容易に実現可能である。たとえば、顔の部位以外の隠蔽物があると判定された状態で照合を繰り返しているような状況がある場合、毎回、出力部２０９の画面上で「顔の隠蔽物が検知されました。取り外して再度照合を行なってください」と表示すると同時に、入力画像や照合結果を履歴情報として保存する。この場合には、認識が正しく行なわれない可能性があるため照合動作も途中で中断することとする。

なお、この異常状態が何度も繰り返された場合には、警告をしているにもかかわらず継続して試行をしていることから、悪意を持った人物がアタックをかけているか、あるいは、検知方法が不充分で正しい状態であっても照合できていないという状況であることが考えられる。この場合には、このまま継続していると管理上ふさわしくない状態になるため、管理者に通知してこの原因を排除するよう促すこととする。
この外にも、検知した異常状態にあわせて動作を選択できることとし、管理者が任意の設定に変更できるようにしておくことも可能とする。

また、上記異常検知による出力を履歴情報として保存しておき、同じ異常検知による出力があまりに多い場合に備えて、特定の異常検知が繰り返された場合には出力方法を切り替えるといったことも実現が可能である。たとえば、照明が明るすぎて警報が鳴るといったことが頻繁に起こる場合には、所定回数の繰り返し後は検知した時点で直ぐに認識対象者Ｍに対して表示するように切換えるといったことができる。また、表示する内容も「照明環境が明るいことが多いようですので管理者に通知してください」と、環境を変更することを促すような出力にすることも可能である。

出力部３０９については、認識結果を出力するだけでなく、たとえば、ゲート装置への開錠信号を制御することも含めることとする。出力制御部３０８によって異常状態を検知した場合、仮に認識部３０５で登録されている人物であると認識判定されたとしても、正しい状態で認識が行なわれていない可能性があると判断した場合には、開錠信号を送らないという制御も行なえるようにしておく。

以上説明したように上記第３の実施の形態によれば、顔の特徴情報が得られないような環境で辞書情報の登録や照合を行なっている場合に、間違った認識結果が出て正しく運用ができなくなることを防ぐことが可能になる。

次に、第４の実施の形態について説明する。
図１２は、第４の実施の形態に係る顔認識装置の構成を概略的に示すものである。この顔認識装置は、認識対象者Ｍの顔画像（少なくとも顔を含んでいる画像）を撮像して入力する少なくとも１つ以上の画像入力手段としてのカメラ４００、カメラ４００により認識対象者Ｍの顔画像を入力する際に当該認識対象者Ｍの顔部分を照明する少なくとも１つ以上の照明手段としての照明装置４０１、カメラ４００からの顔画像を入力する画像入力手段としての画像入力部４０２、照明装置４０１を制御する照明手段としての照明制御部４０３、画像入力部４０２から得られた人物の顔画像を用いて、あらかじめ準備されたパターン辞書との照合で顔および目、鼻などの顔部位の位置を検出する顔検出手段としての顔検出部４０４、顔検出部４０４の出力に基づき濃淡情報あるいは部分空間情報などの顔の特徴量（特徴情報）を抽出する顔特徴抽出手段としての顔特徴抽出部４０５、辞書登録時には、顔特徴抽出部４０５で抽出された顔の特徴情報を辞書情報として保持する辞書情報保持手段としての辞書情報保持部４０６、照合（顔認識）時には、顔特徴抽出部４０５で抽出された顔の特徴情報と辞書情報保持部４０６に保持されている辞書情報とを照合することにより認識対象者Ｍが本人であるか否かを認識する認識手段としての認識部４０７、顔検出部４０４により検出された顔領域の画像情報から認識に適切な照明環境であるかどうかを判定する照明環境判定手段としての照明環境判定部４０８、顔検出部４０４により検出された顔領域の画像情報から顔の特徴情報を損なうような隠蔽物が顔領域に存在しているかどうかを判定する隠蔽物検知手段としての隠蔽物検知部４０９、照明環境判定部４０８と隠蔽物検知部４０９の判定結果から最適な入力画像となるように画像入力部４０２あるいは照明制御部４０３を制御する入力制御手段としての入力制御部４１０、カメラ４００により撮影されている人物Ｍの顔画像や顔検出部４０４により検出された顔の検出結果、認識部４０７の認識結果に応じた出力などを行なう出力手段としての出力部４１１によって構成されている。

なお、顔検出部４０４、顔特徴抽出部４０５、辞書情報保持部４０６、認識部４０７、照明環境判定部４０８、隠蔽物検知部４０９、出力部４１１は、前述した第１〜第３の実施の形態におけるそれと同一であるため説明を省略し、第１〜第２の実施の形態と異なるカメラ４００、照明装置４０１、画像入力部４０２、照明制御部４０３、入力制御部４１０について説明する。

カメラ４００は、たとえば、ゲインや絞りの各値、シャッタ速度などを制御して明るい画像や暗い画像にあわせて調整することが可能であることとし、さらに、複数設置する場合には、それぞれが明るい画像を撮影したり暗い画像を撮影したりできるよう別の設定がされていることとする。これらは可視光を撮像するカメラどうしでも赤外に対応するカメラを含めても実現は可能である。

照明装置４０１は、たとえば、認識対象者Ｍの顔の正面および左右にそれぞれ設置して、顔領域の明るさの偏りをキャンセルできるように照明装置を配置しているものとする。

図１３に、複数のカメラ４００ａ，４００ｂ，４００ｃ、複数の照明装置４０１ａ，４０１ｂ，４０１ｃを配設した例を示す。ここに、カメラ４００ａは画像を暗く撮影し、カメラ４００ｂは画像を普通に撮影し、カメラ４００ｃは画像を明るく撮影するように設定されているものとする。照明装置４０１ａは顔の右側を明るく照明し、照明装置４０１ｂは顔の中央部を明るく照明し、照明装置４０１ａは顔の左側を明るく照明するように設定されているものとする。

入力制御部４１０は、照明環境判定部４０８と隠蔽物検知部４０９の判定結果にあわせて画像入力部４０２あるいは照明制御部４０３を制御できることとする。たとえば、照明環境判定部４０８により照明が明るすぎると判定された場合には、カメラ４００の絞り、ゲイン、シャッタ速度を調整したり、照明が極端に偏った状態であると判定された場合には、設置してある複数の照明装置４０１ａ，４０１ｂ，４０１ｃの中から偏った照明の方向をキャンセルする向きに照明の点灯を行なうように制御を行なう。たとえば、図１３の例で説明すると、照明環境判定部４０８にて顔の右側が明るいと判定された場合には、顔の右側を明るくする照明装置４０１ａを光量を弱め、顔の左側を明るくする照明装置４０１ｃの光量を強くするといった制御が考えられる。
他にも、複数のカメラを設置しておいて認識に適した入力状態となるカメラを選択して認識を行うといったことも実現可能である。

具体的な処理の流れを図１４に示す。以下、図１４について簡単に説明する。まず、画像が入力され（ステップＳ３１）、顔検出部４０４により顔領域が検出される（ステップＳ３２）。次に、検出された顔領域に対し、照明環境判定部４０８により照明環境が明るすぎるか否かの判定が行なわれ（ステップＳ３３）、照明環境が明るすぎると判定された場合、カメラ４００の絞りを絞る（ステップＳ３４）。

ステップＳ３３で照明環境が明るすぎると判定されなかった場合、照明環境が暗すぎるか否かの判定が行なわれ（ステップＳ３５）、照明環境が暗すぎると判定された場合、カメラ４００の絞りを開く（ステップＳ３６）。

ステップＳ３５で照明環境が暗すぎると判定されなかった場合、照明環境が偏った状態であるか否かの判定が行なわれ（ステップＳ３７）、照明環境が偏った状態であると判定された場合、設置してある複数の照明装置４０１ａ，４０１ｂ，４０１ｃの中から偏った照明の方向をキャンセルする向きに照明の点灯を行なうように制御を行なう（ステップＳ３８）。

ステップＳ３７で照明環境が偏った状態であると判定されなかった場合、カメラ４００および照明装置４０１ａ，４０１ｂ，４０１ｃの制御を行なわずにそのまま認識動作に移行する（ステップＳ３９）。

また、図１３に示したように、複数のカメラ４００ａ，４００ｂ，４００ｃを別々の明るさの画像が撮影できるように設定しておいて、照明環境にあわせて切換えて利用することも考えられる。その場合、カメラの組合わせはどのような組合わせでも可能であり、通常の可視光カメラを３つそろえてゲインをそれぞれ違った値にして設置しても構わないし、照明環境が暗すぎる場合に備えてカメラ４００ｃのみ赤外線カメラにしておくといったことでも構わない。

具体的な処理の流れを図１５に示す。以下、図１５について簡単に説明する。まず、画像を普通に撮影するカメラ４００ｂにより画像を入力し（ステップＳ４１）、顔検出部４０４により顔領域が検出される（ステップＳ４２）。次に、検出された顔領域に対し、照明環境判定部４０８により照明環境が明るすぎるか否かの判定が行なわれ（ステップＳ４３）、照明環境が明るすぎると判定されなかった場合、照明環境が暗すぎるか否かの判定が行なわれ（ステップＳ４４）、照明環境が暗すぎると判定されなかった場合、ステップＳ４５に進む。

ステップＳ４３で照明環境が明るすぎると判定された場合、画像を暗く撮影するカメラ４００ａに切換えて画像を撮影し（ステップＳ４６）、ステップＳ４４で照明環境が暗すぎると判定された場合、画像を明るく撮影するカメラ４００ｃに切換えて画像を撮影し（ステップＳ４７）、その後、再び顔領域の検出を行ない、ステップＳ４５に進む。

ステップＳ４５では、照明環境が偏った状態であるか否かの判定が行なわれ、照明環境が偏った状態であると判定された場合、設置してある複数の照明装置４０１ａ，４０１ｂ，４０１ｃの中から偏った照明の方向をキャンセルする向きに照明の点灯を行なうように制御を行なう（ステップＳ４９）。

ステップＳ４５で照明環境が偏った状態であると判定されなかった場合、カメラ４００および照明装置４０１ａ，４０１ｂ，４０１ｃの制御を行なわずにそのまま認識動作に移行する（ステップＳ５０）。

以上説明したように上記第４の実施の形態によれば、照明環境が異常な状態になったことで認識対象者Ｍ本人は正常な状態で試行をしていても正しく認識することができない状態で運用が続くことを防止することが可能になる。

次に、第５の実施の形態について説明する。
図１６は、第５の実施の形態に係る顔認識装置の構成を概略的に示すものである。この顔認識装置は、認識対象者Ｍの顔画像（少なくとも顔を含んでいる画像）を撮像して入力する画像入力手段としてのカメラ５００、カメラ５００からの顔画像を入力する画像入力手段としての画像入力部５０１、画像入力部５０１から得られた人物の顔画像を用いて、あらかじめ準備されたパターン辞書との照合で顔および目、鼻などの顔部位の位置を検出する顔検出手段としての顔検出部５０２、顔検出部５０２の出力に基づき濃淡情報あるいは部分空間情報などの顔の特徴量（特徴情報）を抽出する顔特徴抽出手段としての顔特徴抽出部５０３、辞書登録時には、顔特徴抽出部５０３で抽出された顔の特徴情報を辞書情報として保持する辞書情報保持手段としての辞書情報保持部５０４、照合（顔認識）時には、顔特徴抽出部５０３で抽出された顔の特徴情報と辞書情報保持部５０４に保持されている辞書情報とを照合することにより認識対象者Ｍが本人であるか否かを認識する認識手段としての認識部５０５、顔検出部５０２により検出された顔領域の画像情報から認識に適切な照明環境であるかどうかを判定する照明環境判定手段としての照明環境判定部５０６、顔検出部５０２により検出された顔領域の画像情報から顔の特徴情報を損なうような隠蔽物が顔領域に存在しているかどうかを判定する隠蔽物検知手段としての隠蔽物検知部５０７、照明環境判定部５０６と隠蔽物検知部５０７の判定結果に基づき認識部５０５の認識方法を切換え制御する認識制御手段としての認識制御部５０８、カメラ５００により撮影されている人物Ｍの顔画像や顔検出部５０２により検出された顔の検出結果、認識部５０５の認識結果に応じた出力などを行なう出力手段としての出力部５０９によって構成されている。

なお、カメラ５００、画像入力部５０１、顔検出部５０２、顔特徴抽出部５０３、辞書情報保持部５０４、照明環境判定部５０６、隠蔽物検知部５０７、出力部５０９は、前述した第１〜第４の実施の形態におけるそれと同一であるため説明を省略し、第１〜第４の実施の形態と異なる認識部５０５および辞書制御部５０８について説明する。

認識制御部５０８は、照明環境判定部５０８と隠蔽物検知部５０９の判定結果から認識に利用する顔領域を選択したり比率を変更して動作させる。本実施の形態においては、顔部位の検出結果から顔の大きさや向きによらず一定のｍ×ｎの領域を切出して認識を行なうこととしているが、このｍ×ｎの領域の中のどの領域を用いるかを自動的に切換えることとする。たとえば、照明環境判定部５０８において、輝度値の白飛びが発生している場合は照明環境が明るすぎると判定すると同時に、認識部５０５では白飛びが発生している画素付近の情報は認識処理から除外することにする。同様に、隠蔽物検知部５０９で隠蔽物が検知された場合には、検知された隠蔽物の領域は認識から除外するといったことも容易に実現できる。その外にも、検知された領域は認識結果として求める類似度計算において比率を低くして影響を軽減することや、検知された隠蔽物を除去するような画像処理を行なうことを追加するなど、アルゴリズムを切換えることで実現できる。

以上説明したように上記第５の実施の形態によれば、照明環境が異常な状態になったり顔に隠蔽物がついていることで正しく認識することができない状態で運用が続くことを防止することが可能になる。

次に、第６の実施の形態について説明する。
図１７は、第６の実施の形態に係る顔認識装置の構成を概略的に示すものである。この顔認識装置は、認識対象者Ｍの顔画像（少なくとも顔を含んでいる画像）を撮像して入力する画像入力手段としてのカメラ６００、カメラ６００からの顔画像を入力する画像入力手段としての画像入力部６０１、画像入力部６０１から得られた人物の顔画像を用いて、あらかじめ準備されたパターン辞書との照合で顔および目、鼻などの顔部位の位置を検出する顔検出手段としての顔検出部６０２、顔検出部６０２の出力に基づき濃淡情報あるいは部分空間情報などの顔の特徴量（特徴情報）を抽出する顔特徴抽出手段としての顔特徴抽出部６０３、辞書登録時には、顔特徴抽出部６０３で抽出された顔の特徴情報を辞書情報として、当該特徴情報を取得した際の環境や状況を示す属性情報を付加して保持する辞書情報保持手段としての辞書情報保持部６０４、照合（顔認識）時には、顔特徴抽出部６０３で抽出された顔の特徴情報と辞書情報保持部６０４に保持されている辞書情報とを照合することにより認識対象者Ｍが本人であるか否かを認識する認識手段としての認識部６０５、顔検出部６０２により検出された顔領域の画像情報から認識に適切な照明環境であるかどうかを判定する照明環境判定手段としての照明環境判定部６０６、顔検出部６０２により検出された顔領域の画像情報から顔の特徴情報を損なうような隠蔽物が顔領域に存在しているかどうかを判定する隠蔽物検知手段としての隠蔽物検知部６０７、照明環境判定部６０６と隠蔽物検知部６０７の判定結果に基づき認識部６０５において認識に利用する辞書情報を自動的に選択して切換える辞書切換手段としての辞書切換部６０８、カメラ６００により撮影されている人物Ｍの顔画像や顔検出部６０２により検出された顔の検出結果、認識部６０５の認識結果に応じた出力などを行なう出力手段としての出力部６０９によって構成されている。

なお、カメラ６００、画像入力部６０１、顔検出部６０２、顔特徴抽出部６０３、認識部６０５、照明環境判定部６０６、隠蔽物検知部６０７、出力部６０９は、前述した第１〜第５の実施の形態におけるそれと同一であるため説明を省略し、第１〜第５の実施の形態と異なる辞書情報保持部６０４および辞書切換部６０８について説明する。

辞書情報保持部６０４は、１つのみならず１名あたり複数の辞書情報を保持することも可能であるが、本実施の形態では、保持する辞書情報対して、当該辞書情報を取得した際の登録時における照明環境判定部６０６と隠蔽物検知部６０７の各判定結果を属性情報として付加して保持することとする。

辞書切換部６０８は、照明環境判定部６０６と隠蔽物検知部６０７の判定結果にあわせて、辞書情報保持部６０４に保持されている登録時の隠蔽物検知結果や照明環境判定結果で最も類似した状況の属性情報が付加された辞書情報を検索して、認識部６０５へ送る。これにより、認識部６０５で利用する辞書情報を最適なものとなるように選択することが可能である。

具体的な処理の流れを図１８に示す。以下、図１８について簡単に説明する。まず、画像が入力され（ステップＳ６１）、顔検出部６０２により顔領域が検出される（ステップＳ６２）。次に、検出された顔領域に対し、照明環境判定部６０６により照明環境が異常状態か否かの判定が行なわれ（ステップＳ６３）、照明環境が異常状態であると判定された場合、その異常状態に対応した辞書情報を選択する（ステップＳ６４）。

ステップＳ６３で照明環境が異常状態であると判定されなかった場合、顔検出部６０２において顔部位が検出できないか否かの判定が行なわれ（ステップＳ６５）、顔部位が検出できないと判定された場合、たとえば、照合不可能というメッセージを出力部６０９の画面に出力する（ステップＳ６５６。

ステップＳ６５で顔部位が検出できないと判定されなかった場合、隠蔽物検知部６０６において顔部位以外の隠蔽物が検知されたか否かの判定が行なわれ（ステップＳ６７）、顔部位以外の隠蔽物が検知された場合、隠蔽物が存在した状態に対応した辞書情報を選択する（ステップＳ６８）。
ステップＳ６７で顔部位以外の隠蔽物が検知されなかった場合、辞書切換制御を行なわずにそのまま認識動作に移行する（ステップＳ６９）。

以上説明したように上記第６の実施の形態によれば、照明環境が異常な状態になったり顔に隠蔽物がついていることで正しく認識することができない状態で運用が続くことを防止することが可能になる。

次に、第７の実施の形態について説明する。
第７の実施の形態は、たとえば、第１の実施の形態で説明した顔認識装置を、通行者の顔を認識して通行者の通行を制御する通行制御装置に適用した場合の例である。

図１９は、第７の実施の形態に係る通行制御装置の構成を概略的に示すものである。この通行制御装置は、たとえば、重要施設（セキュリティ重視の部屋など）への入退室管理を行なうもので、利用者（通行者）の顔を認識して、その認識結果に基づき重要施設の入退室用ドアの開閉制御を行なうものであり、カメラ１００、画像入力部１０１、顔検出部１０２、顔特徴抽出部１０３、辞書情報保持部１０４、認識部１０５、出力部１０７および、認識部１０５の認識結果に応じて重要施設１１６の入退室用ドア１１７の開閉制御を行なう通行制御手段としてのドア制御部１１５から構成されている。
なお、図１９において、ドア制御部１１５以外は図１の顔認識装置と同じ構成であるので、同一符号を付して、その説明は省略する。

認識部１０５は、たとえば、求めた類似度が閾値以上の場合、ドア制御部１１５に「ドア開」の信号を出力し、求めた類似度が閾値よりも小さかった場合、ドア制御部１１５に「ドア閉」の信号を出力する。ドア制御部１１５は、認識部１０５から「ドア開」の信号を受取ると、入退室用ドア１１７を開状態に制御して認識対象者（この場合は通行者）Ｍの入室を許可し、「ドア閉」の信号を受取ると、入退室用ドア１１７を閉状態に保持して通行者Ｍの入室を拒否する。
このように、第７の実施の形態によれば、第１の実施の形態で説明した顔認識装置を用いて通行者の通行を制御することができる。

次に、第８の実施の形態について説明する。
第８の実施の形態は、たとえば、第２の実施の形態で説明した顔認識装置を、通行者の顔を認識して通行者の通行を制御する通行制御装置に適用した場合の例であり、図２０に本実施の形態に係る通行制御装置の構成を示す。第８の実施の形態も第７の実施の形態と同様な考えのもとで構成されており、よって同一部分には同一符号を付して説明は省略する。

なお、第７、第８の実施の形態では、代表として、第１、第２の実施の形態で説明した顔認識装置を適用した場合について説明したが、第３〜第６の実施の形態で説明した顔認識装置を適用することも可能であることは説明するまでもないことである。

以上説明したように上記実施の形態によれば、本装置周辺の照明変動や、認識対象者の顔に認識するのに不適切な隠蔽物がついている状況など、認識対象者の顔そのものが変化したこと以外の要素で認識が正しく行なわれない状況を検知し、検知した内容にあわせて適切な相手に適切な方法で出力を行なったり画像入力や認識方法を切換えることで認識を正しく行なうことができる。したがって、照合に不適切な状態で試行が続くことを防止することができる。

第１の実施の形態に係る顔認識装置の構成を概略的に示すブロック図。 第１の実施の形態に係る照明環境判定部における処理対象領域の処理を説明する図。 第１の実施の形態に係る照明環境判定部における輝度ヒストグラム計算の処理を説明する図。 第１の実施の形態に係る照明環境判定部における処理の流れを説明するフローチャート。 第１の実施の形態に係る照明環境判定部における絶対指標閾値の設定を説明する図。 第１の実施の形態に係る照明環境判定部における相対指標閾値の設定を説明する図。 第２の実施の形態に係る顔認識装置の構成を概略的に示すブロック図。 第２の実施の形態における隠蔽物の例を説明する図。 第２の実施の形態における処理の流れを説明するフローチャート。 第３の実施の形態に係る顔認識装置の構成を概略的に示すブロック図。 第３の実施の形態における出力切換テーブルの一例を示す図。 第４の実施の形態に係る顔認識装置の構成を概略的に示すブロック図。 第４の実施の形態において複数のカメラおよび照明装置を設置した場合の説明図。 第４の実施の形態に係る入力制御部における処理の流れの第１の例を説明するフローチャート。 第４の実施の形態に係る入力制御部における処理の流れの第２の例を説明するフローチャート。 第５の実施の形態に係る顔認識装置の構成を概略的に示すブロック図。 第６の実施の形態に係る顔認識装置の構成を概略的に示すブロック図。 第６の実施の形態における処理の流れを説明するフローチャート。 第７の実施の形態に係る通行制御装置の構成を概略的に示すブロック図。 第８の実施の形態に係る通行制御装置の構成を概略的に示すブロック図。

符号の説明

Ｍ…認識対象者(人物、通行者)、１００，２００，３００，４００，４００ａ，４００ｂ，４００ｃ，５００，６００…カメラ（画像入力手段）、１０１，２０１，３０１，４０２，５０１，６０１…画像入力部（画像入力手段）、１０２，２０２，３０２，４０４，５０２，６０２…顔検出部（顔検出手段）、１０３，２０３，３０３，４０５，５０３，６０３…顔特徴抽出部（顔特徴抽出手段）、１０４，２０４，３０４，４０６，５０４，６０４…辞書情報保持部（辞書情報保持手段）、１０５，２０５，３０５，４０７，５０５，６０５…認識部（認識手段）、１０６，３０６，４０８，５０６，６０６…照明環境判定部（照明環境判定手段）、２０６，３０７，４０９，５０７，６０７…隠蔽物検知部（隠蔽物検知手段）、３０８…出力制御部（出力制御手段）、１０７，２０７，３０９，４１１，５０９，６０９…出力部（出力手段）、４０１，４０１ａ，４０１ｂ，４０１ｃ…照明装置（照明手段）、４０３…照明制御部（照明手段）、４１０…入力制御部（入力制御手段）、５０８…認識制御部（認識制御手段）、６０８…辞書切換部（辞書切換手段）、１１５…ドア制御部（通行制御手段）、１１６…重要施設、１１７…入退室用ドア。

Claims (17)

1. 認識対象となる人物の顔画像を入力する画像入力手段と、
   この画像入力手段により入力された画像から前記人物の顔領域を検出する顔検出手段と、
   この顔検出手段の検出結果に基づき前記人物の顔の特徴情報を抽出する顔特徴抽出手段と、
   あらかじめ認識対象となる人物の顔の特徴情報を辞書情報として保持する辞書情報保持手段と、
   前記顔特徴抽出手段により抽出された特徴情報と前記辞書情報保持手段に保持されている辞書情報とを照合することにより当該人物は特定の人物であるかどうかを認識する認識手段と、
   前記顔検出手段により検出された顔領域の画像情報から認識に適切な照明環境であるかどうかを判定する照明環境判定手段と、
   この照明環境判定手段の判定結果を出力する出力手段と、
   を具備したことを特徴とする顔認識装置。
2. 前記照明環境判定手段は、前記顔検出手段により顔領域として検出された顔領域全体または小領域に分割した各領域内において、そのうち少なくとも１つの領域において輝度階調で上限または下限で飽和した値となっている画素の存在比率が所定の閾値を上回った場合に照明環境が明るすぎたり暗すぎる照明条件のために顔領域内の顔の特徴情報が損なわれた状態となっていると判定することを特徴とする請求項１記載の顔認識装置。
3. 前記照明環境判定手段は、前記顔検出手段により顔領域として検出された顔領域全体および小領域に分割した各領域内において平均輝度や標準偏差、分散、中間値、最頻値といった統計量を求め、これらのうち１つまたは複数の統計量の特定の領域間の大小の比率が所定の閾値を上回った場合に、顔にあたる照明が均一でなく偏った状態のために顔領域内の顔の特徴情報が損なわれた状態となっているかどうかを判定することを特徴とする請求項１記載の顔認識装置。
4. 認識対象となる人物の顔画像を入力する画像入力手段と、
   この画像入力手段により入力された画像から前記人物の顔領域を検出する顔検出手段と、
   この顔検出手段の検出結果に基づき前記人物の顔の特徴情報を抽出する顔特徴抽出手段と、
   あらかじめ認識対象となる人物の顔の特徴情報を辞書情報として保持する辞書情報保持手段と、
   前記顔特徴抽出手段により抽出された特徴情報と前記辞書情報保持手段に保持されている辞書情報とを照合することにより当該人物は特定の人物であるかどうかを認識する認識手段と、
   前記顔検出手段により検出された顔領域の画像情報から顔の特徴情報を損なうような隠蔽物が顔領域に存在しているかどうかを判定する隠蔽物検知手段と、
   この隠蔽物検知手段の判定結果を出力する出力手段と、
   を具備したことを特徴とする顔認識装置。
5. 前記隠蔽物検知手段は、前記顔検出手段により検出された顔領域内の目や鼻や口といった顔の部位の検出結果で認識の際に必要となる１つまたは複数の特定の部位の検出ができなかった場合に、顔領域内の顔の特徴情報が損なわれた状態となっているかどうかを判定することを特徴とする請求項４記載の顔認識装置。
6. 前記隠蔽物検知手段は、前記顔検出手段により検出された顔領域内の目や鼻や口といった顔の部位の以外の領域で、顔に隠蔽物を何も付けていない状態では存在しないはずの物体が存在するかどうかを検出し、もし検出した場合には顔領域内の顔の特徴情報が損なわれた状態となっているかどうかを判定することを特徴とする請求項４記載の顔認識装置。
7. 認識対象となる人物の顔画像を入力する画像入力手段と、
   この画像入力手段により入力された画像から前記人物の顔領域を検出する顔検出手段と、
   この顔検出手段の検出結果に基づき前記人物の顔の特徴情報を抽出する顔特徴抽出手段と、
   あらかじめ認識対象となる人物の顔の特徴情報を辞書情報として保持する辞書情報保持手段と、
   前記顔特徴抽出手段により抽出された特徴情報と前記辞書情報保持手段に保持されている辞書情報とを照合することにより当該人物は特定の人物であるかどうかを認識する認識手段と、
   前記顔検出手段により検出された顔領域の画像情報から認識に適切な照明環境であるかどうかを判定する照明環境判定手段と、
   前記顔検出手段により検出された顔領域の画像情報から顔の特徴情報を損なうような隠蔽物が顔領域に存在しているかどうかを判定する隠蔽物検知手段と、
   前記照明環境判定手段および前記隠蔽物検知手段の判定結果に基づき、その判定結果に対してどのような出力方法にするかを選択する出力制御手段と、
   この出力制御手段により選択された出力方法に基づきあらかじめ定められた所定の出力を行なう出力手段と、
   を具備したことを特徴とする顔認識装置。
8. 前記出力制御手段は、当該顔認識装置を利用している人物または当該顔認識装置の管理者またはその他の人物の誰に通知すべき内容であるか、および出力する方法、および前記照明環境判定手段あるいは前記隠蔽物検知手段から判定結果が得られた時点で出力するのか所定回数繰り返して同じ判定結果が得られた場合に出力するのか、をそれぞれ前記照明環境判定手段および前記隠蔽物検知手段の判定結果に応じて選択することを特徴とする請求項７記載の顔認識装置。
9. 認識対象となる人物の顔画像を入力する画像入力手段と、
   この画像入力手段により人物の顔画像を入力する際に当該人物の顔部分を照明する照明手段と、
   前記画像入力手段により入力された画像から前記人物の顔領域を検出する顔検出手段と、
   この顔検出手段の検出結果に基づき前記人物の顔の特徴情報を抽出する顔特徴抽出手段と、
   あらかじめ認識対象となる人物の顔の特徴情報を辞書情報として保持する辞書情報保持手段と、
   前記顔特徴抽出手段により抽出された特徴情報と前記辞書情報保持手段に保持されている辞書情報とを照合することにより当該人物は特定の人物であるかどうかを認識する認識手段と、
   前記顔検出手段により検出された顔領域の画像情報から認識に適切な照明環境であるかどうかを判定する照明環境判定手段と、
   前記顔検出手段により検出された顔領域の画像情報から顔の特徴情報を損なうような隠蔽物が顔領域に存在しているかどうかを判定する隠蔽物検知手段と、
   前記照明環境判定手段および前記隠蔽物検知手段の判定結果に基づき、前記画像入力手段および前記照明手段のうち少なくともいずれか一方を制御する入力制御手段と、
   を具備したことを特徴とする顔認識装置。
10. 前記入力制御手段は、前記照明環境判定手段により入力画像が明るすぎたり暗すぎたりしていると判定された場合に、前記画像入力手段を制御することにより入力される画像を認識するに適切な状態にすることを特徴とする請求項９記載の顔認識装置。
11. 前記画像入力手段は複数の撮像手段を備えており、
    前記入力制御手段は、前記照明環境判定手段により入力画像が明るすぎたり暗すぎたりしていると判定された場合に、前記複数の撮像手段の中から最適な画像を獲得するのに適した撮像手段を選択することにより、入力される画像を認識するのに適切な状態にすることを特徴とする請求項９記載の顔認識装置。
12. 前記照明手段は複数有しており、
    前記入力制御手段は、前記照明環境判定手段により入力画像が明るすぎたり暗すぎたりしていると判定された場合、および照明の方向が偏っていると判定された場合に、前記複数の照明手段を制御することにより、入力される画像を認識するのに適切な照明状態にすることを特徴とする請求項９記載の顔認識装置。
13. 認識対象となる人物の顔画像を入力する画像入力手段と、
    この画像入力手段により入力された画像から前記人物の顔領域を検出する顔検出手段と、
    この顔検出手段の検出結果に基づき前記人物の顔の特徴情報を抽出する顔特徴抽出手段と、
    あらかじめ認識対象となる人物の顔の特徴情報を辞書情報として、当該特徴情報を取得した際の環境や状況を示す属性情報を付加して保持する辞書情報保持手段と、
    前記顔検出手段により検出された顔領域の画像情報から認識に適切な照明環境であるかどうかを判定する照明環境判定手段と、
    前記顔検出手段により検出された顔領域の画像情報から顔の特徴情報を損なうような隠蔽物が顔領域に存在しているかどうかを判定する隠蔽物検知手段と、
    前記照明環境判定手段および前記隠蔽物検知手段の判定結果に基づき、当該判定結果に対応する属性情報が付加された辞書情報を前記辞書情報保持手段から選択する辞書切換手段と、
    この辞書切換手段により選択された辞書情報と前記顔特徴抽出手段により抽出された特徴情報とを照合することにより当該人物は特定の人物であるかどうかを認識する認識手段と、
    を具備したことを特徴とする顔認識装置。
14. 認識対象となる人物の顔画像を入力する画像入力ステップと、
    この画像入力ステップにより入力された画像から前記人物の顔領域を検出する顔検出ステップと、
    この顔検出ステップの検出結果に基づき前記人物の顔の特徴情報を抽出する顔特徴抽出ステップと、
    この顔特徴抽出ステップにより抽出された特徴情報と、あらかじめ認識対象となる人物の顔の特徴情報を辞書情報として保持する辞書情報保持手段に保持されている辞書情報とを照合することにより当該人物は特定の人物であるかどうかを認識する認識ステップと、
    前記顔検出ステップにより検出された顔領域の画像情報から認識に適切な照明環境であるかどうかを判定する照明環境判定ステップと、
    この照明環境判定手段の判定結果を出力する出力ステップと、
    を具備したことを特徴とする顔認識方法。
15. 認識対象となる人物の顔画像を入力する画像入力ステップと、
    この画像入力ステップにより入力された画像から前記人物の顔領域を検出する顔検出ステップと、
    この顔検出ステップの検出結果に基づき前記人物の顔の特徴情報を抽出する顔特徴抽出ステップと、
    この顔特徴抽出ステップにより抽出された特徴情報と、あらかじめ認識対象となる人物の顔の特徴情報を辞書情報として保持する辞書情報保持手段に保持されている辞書情報とを照合することにより当該人物は特定の人物であるかどうかを認識する認識ステップと、
    前記顔検出ステップにより検出された顔領域の画像情報から顔の特徴情報を損なうような隠蔽物が顔領域に存在しているかどうかを判定する隠蔽物検知ステップと、
    この隠蔽物検知ステップの判定結果を出力する出力ステップと、
    を具備したことを特徴とする顔認識方法。
16. 認識対象となる通行者の顔画像を入力する画像入力手段と、
    この画像入力手段により入力された画像から前記通行者の顔領域を検出する顔検出手段と、
    この顔検出手段の検出結果に基づき前記通行者の顔の特徴情報を抽出する顔特徴抽出手段と、
    あらかじめ認識対象となる通行者の顔の特徴情報を辞書情報として保持する辞書情報保持手段と、
    前記顔特徴抽出手段により抽出された特徴情報と前記辞書情報保持手段に保持されている辞書情報とを照合することにより当該通行者は特定の通行者であるかどうかを認識する認識手段と、
    この認識手段の認識結果に応じて前記通行者の通行を制御する通行制御手段と、
    前記顔検出手段により検出された顔領域の画像情報から認識に適切な照明環境であるかどうかを判定する照明環境判定手段と、
    この照明環境判定手段の判定結果を出力する出力手段と、
    を具備したことを特徴とする通行制御装置。
17. 認識対象となる通行者の顔画像を入力する画像入力手段と、
    この画像入力手段により入力された画像から前記通行者の顔領域を検出する顔検出手段と、
    この顔検出手段の検出結果に基づき前記通行者の顔の特徴情報を抽出する顔特徴抽出手段と、
    あらかじめ認識対象となる通行者の顔の特徴情報を辞書情報として保持する辞書情報保持手段と、
    前記顔特徴抽出手段により抽出された特徴情報と前記辞書情報保持手段に保持されている辞書情報とを照合することにより当該通行者は特定の通行者であるかどうかを認識する認識手段と、
    この認識手段の認識結果に応じて前記通行者の通行を制御する通行制御手段と、
    前記顔検出手段により検出された顔領域の画像情報から顔の特徴情報を損なうような隠蔽物が顔領域に存在しているかどうかを判定する隠蔽物検知手段と、
    この隠蔽物検知手段の判定結果を出力する出力手段と、
    を具備したことを特徴とする通行制御装置。

Images