JP2007179569A - 人物認識装置、人物認識方法および通行制御装置 - Google Patents

Abstract

【課題】認識時の姿勢や立つ位置、顔の向きなどに拘束されずに安定した高精度の認識を行なうことが可能となり、人物認識率の向上が図れる人物認識装置、人物認識方法および通行制御装置を提供する。
【解決手段】認識対象者１００の顔画像をカメラ１０１により入力し、この入力された顔画像から顔を検出して認識を行なう人物認識装置において、登録時に入力された顔画像における顔の大きさ、向き、位置といった顔に関する情報、および、認識時に入力された顔画像における顔の大きさ、向き、位置といった顔に関する情報を表示部１０４に同時に表示することにより、姿勢や立つ位置、顔の向きなどに拘束されずに安定した高精度の認識を可能とする。
【選択図】 図１

Description

本発明は、たとえば、セキュリティ管理などにおいて人物の顔画像を認識する人物認識装置、人物認識方法、および、この人物認識装置、人物認識方法を用いて通行者の通行を制御する通行制御装置に関する。

この種の人物認識装置においては、たとえば、人物の立ち位置や姿勢といった状態が登録時と認識時（照合時）で異なる場合に人物認識率が低下していた。これら人物認識率の低下を軽減させるために、認識時の人物の向きがあらかじめ登録されている人物の向きと異なる場合は、撮影カメラの向きを変えたり（たとえば、特許文献１参照）、装置の上に視線を誘導させる視線誘導装置を設ける方法（たとえば、特許文献２参照）が採用されていた。

また、所定の操作を行なうことによって認識動作を開始させるのでなく、人物の顔を検出するだけで自動的に認識動作を開始させるといった、非接触照合といった方法も採用されていた。
特開平１１−３１６８３６号公報 特開平１１−１９１８５６号公報

このような生体照合を用いた人物認識装置において、登録時と認識時とで入力情報がばらつくことで認識精度の低下を引き起こす問題がある。そのため、できる限り登録時と同じ状態を再現させることが大切である。そこで、特許文献１に開示されているように、認識時の人物の向きがあらかじめ登録されている人物の向きと異なる場合に、撮影カメラの向きを変えたり、特許文献２に開示されているように、装置の上に視線を誘導させる視線誘導装置を設ける方法が提案されているが、撮影カメラの向きを制御するための制御回路や視線誘導装置を新たに設ける必要がある。

また、登録時において、適切なガイダンスが存在せず、所定時間の間にどのような動作をすればよいのかが分からないため、色々な状態を学習させることで辞書の有効性を増すことができるのに対してほとんどワンパターンの画像のみから辞書を作成してしまうという問題がある。

また、顔を検出すると同時に自動的に認識動作を開始させる機能を利用していた場合、画像入力部の視野範囲に人物の顔写真が写った印刷物などがあった場合などに、誤検出により無意味な認識動作が行なわれてしまうといった問題がある。

そこで、本発明は、認識時の姿勢や立つ位置、顔の向きなどに拘束されずに安定した高精度の認識を行なうことも可能となり、人物認識率の向上が図れる人物認識装置、人物認識方法および通行制御装置を提供することを目的とする。

本発明の人物認識装置は、認識対象となる人物の少なくとも顔画像を入力する画像入力手段と、この画像入力手段により入力された画像から前記人物の顔領域を検出する顔検出手段と、この顔検出手段の検出結果に基づき前記人物の顔の特徴量を抽出する特徴量抽出手段と、登録時、前記特徴量抽出手段により抽出された特徴量を登録情報として保持する登録情報保持手段と、認識時、前記特徴量抽出手段により抽出された特徴量と前記登録情報保持手段に保持されている登録情報とを照合することにより前記人物を認識する認識手段と、登録時、所定形状の案内パターンを移動表示させることで、入力すべき顔画像の向きを指示する表示手段とを具備している。

また、本発明の人物認識装置は、認識対象となる人物の少なくとも顔画像を入力する画像入力手段と、この画像入力手段により入力された画像から前記人物の顔領域を検出する顔検出手段と、この顔検出手段の検出結果に基づき前記人物の顔の特徴量を抽出する特徴量抽出手段と、登録時、前記特徴量抽出手段により抽出された特徴量を登録情報として保持する登録情報保持手段と、認識時、前記特徴量抽出手段により抽出された特徴量と前記登録情報保持手段に保持されている登録情報とを照合することにより前記人物を認識する認識手段と、登録時、顔画像をどのような状態で入力すればよいかを示す案内情報として、入力すべき顔画像の位置や前記画像入力手段から顔までの距離などを示す第１の円パターンで表示するとともに、登録時における顔検出手段の検出結果を第２の円パターンで表示する表示手段とを具備している。

また、本発明の人物認識装置は、認識対象となる人物の少なくとも顔画像を入力する画像入力手段と、この画像入力手段により入力された画像から前記人物の顔領域を検出する顔検出手段と、この顔検出手段の検出結果に基づき前記人物の顔の特徴量を抽出する特徴量抽出手段と、登録時、前記特徴量抽出手段により抽出された特徴量を登録情報として保持する登録情報保持手段と、認識時、前記特徴量抽出手段により抽出された特徴量と前記登録情報保持手段に保持されている登録情報とを照合することにより前記人物を認識する認識手段と、登録時、顔画像をどのような状態で入力すればよいかを示す案内情報として、入力すべき顔画像の位置や前記画像入力手段から顔までの距離などを示す第１の多角形パターンで表示するとともに、登録時における顔検出手段の検出結果を第２の多角形パターンで表示する表示手段とを具備している。

また、本発明の人物認識装置は、認識対象となる人物の少なくとも顔画像を入力する画像入力手段と、この画像入力手段により入力された画像から前記人物の顔領域を検出する顔検出手段と、この顔検出手段の検出結果に基づき前記人物の顔の特徴量を抽出する特徴量抽出手段と、登録時、前記特徴量抽出手段により抽出された特徴量を登録情報として保持する登録情報保持手段と、認識時、前記特徴量抽出手段により抽出された特徴量と前記登録情報保持手段に保持されている登録情報とを照合することにより前記人物を認識する認識手段と、登録時、顔画像をどのような状態で入力すればよいかを示す案内情報として、入力すべき顔画像の位置や前記画像入力手段から顔までの距離などを示す第１の少なくとも１つ以上の直線で表示するとともに、登録時における顔検出手段の検出結果を第２の少なくとも１つ以上の直線で表示する表示手段とを具備している。

また、本発明の人物認識装置は、認識対象となる人物の少なくとも顔画像を入力する画像入力手段と、この画像入力手段により入力された画像から前記人物の顔領域を検出する顔検出手段と、この顔検出手段の検出結果に基づき前記人物の顔の特徴量を抽出する特徴量抽出手段と、登録時、前記特徴量抽出手段により抽出された特徴量を登録情報として保持する登録情報保持手段と、認識時、前記特徴量抽出手段により抽出された特徴量と前記登録情報保持手段に保持されている登録情報とを照合することにより前記人物を認識する認識手段と、登録時、入力すべき顔画像の向きを矢印パターンで描画することで表示する、あるいは、当該入力画像内に描画した円パターンの位置で表示する表示手段とを具備している。

また、本発明の人物認識方法は、認識対象となる人物の少なくとも顔画像を入力する画像入力工程と、この画像入力工程により入力された画像から前記人物の顔領域を検出する顔検出工程と、この顔検出工程の検出結果に基づき前記人物の顔の特徴量を抽出する特徴量抽出工程と、登録時、前記特徴量抽出工程により抽出された特徴量を登録情報として登録情報保持手段に保持する登録情報保持工程と、認識時、前記特徴量抽出工程により抽出された特徴量と前記登録情報保持手段に保持されている登録情報とを照合することにより前記人物を認識する認識工程と、登録時、所定形状の案内パターンを移動表示させることで、入力すべき顔画像の向きを指示する表示工程とを具備している。

さらに、本発明の通行制御装置は、通行者を認識して前記通行者の通行を制御する通行制御装置において、前記通行者の少なくとも顔画像を入力する画像入力手段と、この画像入力手段により入力された画像から前記通行者の顔領域を検出する顔検出手段と、この顔検出手段の検出結果に基づき前記通行者の顔の特徴量を抽出する特徴量抽出手段と、登録時、前記特徴量抽出手段により抽出された特徴量を登録情報として保持する登録情報保持手段と、認識時、前記特徴量抽出手段により抽出された特徴量と前記登録情報保持手段に保持されている登録情報とを照合することにより前記通行者を認識する認識手段と、この認識手段の認識結果に応じて前記通行者の通行を制御する通行制御手段と、登録時、所定形状の案内パターンを移動表示させることで、入力すべき顔画像の向きを指示する表示手段とを具備している。

本発明によれば、認識時の姿勢や立つ位置、顔の向きなどに拘束されずに安定した高精度の認識を行なうことが可能となり、人物認識率の向上が図れる人物認識装置、人物認識方法および通行制御装置を提供できる。

以下、本発明の実施の形態について図面を参照して説明する。
まず、第１の実施の形態について説明する。
図１は、第１の実施の形態に係る人物認識装置の構成を概略的に示すものである。この人物認識装置は、認識対象者（以下、人物ともいう）１００の顔画像（少なくとも顔を含んでいる画像）を撮像して入力する画像入力手段としてのカメラ１０１、カメラ１０１の近傍（たとえば、右上方あるいは左上方）から認識対象者１００の少なくとも顔に向けて一定の照度で光を照射する照明手段としての照明部１０２、認識対象者１００に対して入力された顔画像や各種案内を表示する表示手段としての表示部１０４、および、カメラ１０１から入力された顔画像を処理して顔画像の認識処理などを行なう処理部１０５から構成されている。

なお、以下の説明では、画像入力データ、抽出した特徴量、部分空間、部分空間を構成するための固有ベクトル、相関行列、登録の時刻、日時、場所などの状況情報、暗証番号、ＩＤコードなどの個人情報の各情報が登場してくる。そして、認識データと言うときは、部分空間、または、部分空間を構成するための固有ベクトルを含み、登録情報と言うときは、画像入力データ、抽出した特徴量、部分空間、部分空間を構成するための固有ベクトル、相関行列、状況情報、個人情報を含んでいる。したがって、認識データは登録情報に含まれる。

カメラ１０１は、認識対象者１００の顔画像を撮像して入力するものであり、たとえば、ＣＣＤセンサなどの撮像素子を用いたテレビジョンカメラから構成されている。

照明部１０２は、カメラ１０１の近傍（たとえば、右上方あるいは左上方）から認識対象者１００の顔に向けて一定の照度で光を照射する蛍光灯などの照明器具である。

表示部１０４は、カメラ１０１で撮影されている認識対象者１００の顔画像や各種ガイダンス、処理結果などを表示するモニタである。

処理部１０５は、画像入力手段としての画像入力部１０６、画像入力部１０１から得られた人物の顔画像を用いて、あらかじめ準備されたパターン辞書との照合で顔および目、鼻などの顔部品の位置を検出する顔検出手段としての顔検出部１０７、顔検出部１０７の出力に基づき濃淡情報あるいは部分空間情報などの特徴量を抽出する特徴量抽出手段としての特徴量抽出部１０８、人物情報登録時には、特徴量抽出部１０８で抽出された特徴量を認識データ（登録情報）として保持する登録情報保持手段としての登録情報保持部１０９、人物認識時には、特徴量抽出部１０８で抽出された特徴量と登録情報保持部１０９に登録されている認識データとを照合することにより認識対象者１００の顔を認識する認識手段としての認識部１１０、および、表示部１０４を制御する表示手段としての表示制御部１１１から構成されている。

画像入力部１０６は、カメラ１０１からの顔画像を入力し、Ａ／Ｄ変換してデジタル化した後、顔検出部１０７へ送る。

顔検出部１０７は、まず、画像入力部１０６で入力された顔画像から認識対象者１００の顔の領域を検出する。たとえば、あらかじめ用意されたテンプレートと画像中を移動させながら相関値を求めることにより、最も高い相関値を持った場所を顔領域とする。なお、その他に、固有空間法や部分空間法を利用した顔領域抽出法などの顔検出手段でもよい。

顔検出部１０７は、次に、検出された顔領域の部分の中から、目、鼻、口といった顔部品の位置を検出する。その検出方法は、たとえば、文献（福井和広、山口修：「形状抽出とパターン照合の組合せによる顔特徴点抽出」、電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ８０−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ２１７０−２１７７（１９９７））などの方法を用いてよい。

ここで、顔のテンプレートによる顔検出と、目、鼻などの顔部品の検出座標の相対位置によって顔の方向を調べることも可能になる。たとえば、図２に示すように、顔検出結果の中心座標を顔の中心座標（ｆｘ，ｆｙ）、顔の大きさを（ｆｗ，ｆｈ）とし、左右の目と鼻の検出結果をそれぞれ（ＥｙｅＬｘ，ＥｙｅＬｙ）、（ＥｙｅＲｘ，ＥｙｅＲｙ）、（ＮｏｓｅＬｘ，ＮｏｓｅＬｙ）、（ＮｏｓｅＲｘ，ＮｏｓｅＲｙ）とすれば、以下の方法で顔の方法を示す指標が得られる。

顔の方向（Ｘ方向）＝（（ＥｙｅＲｘ＋ＥｙｅＬｘ）／２−ｆｘ）／ｆｗ
顔の方向（Ｙ方向）＝（（ＥｙｅＲｙ＋ＥｙｅＬｙ）／２−ｆｙ）／ｆｈ
これらの座標の原点が画面左上だとした場合、数値は顔が右下に向くほど大きくなる値となる。

特徴量抽出部１０８は、顔検出部１０７で検出された顔部品の位置を基に、顔領域を一定の大きさ、形状に切り出し、その濃淡情報を特徴量として用いる。ここでは、たとえば、ｍピクセル×ｎピクセルの領域の濃淡値をそのまま情報として用い、ｍ×ｎ次元の情報を特徴ベクトルとして用いる。

図３は、入力画像を特徴量抽出部１０８により処理して得られた顔画像データであり、時系列的に得られたものである。これらのデータに対し特徴ベクトルの相関行列を求め、周知のＫ−Ｌ展開による正規直交ベクトルを求めることにより、部分空間を計算する。部分空間の計算方法は、特徴ベクトルの相関行列（または共分散行列）を求め、そのＫ−Ｌ展開による正規直交ベクトル（固有ベクトル）を求めることにより、部分空間を計算する。部分空間は、固有値に対応する固有ベクトルを、固有値の大きな順にｋ個選び、その固有ベクトル集合を用いて表現する。

本実施の形態では、相関行列Ｃｄを特徴ベクトルから求め、相関行列

と対角化して、固有ベクトルのΦを求める。この部分空間は、人物の同定を行なうための認識辞書として利用する。この情報をあらかじめ登録しておいて、それを辞書として登録しておけばよい。

また、後で述べるように、認識を行なうための入力データとして部分空間自身を利用してもよい。したがって、部分空間を算出した結果は、認識部１１０および登録情報保持部１０９に送られる。

認識部１１０は、登録情報保持部１０９に蓄えられた認識データ（部分空間）と特徴量抽出部１０８で得られた特徴量（濃淡情報あるいは部分空間情報）とを照合（比較）することにより、カメラ１０１に写っている認識対象者１００が誰であるかを認識、あるいは、該当人物であるかどうかを同定する。人物を認識するためには、どの人物のデータに最も類似しているかを求めればよく、最大類似度をとるデータに対応する人物を認識結果とすればよい。

また、カードや登録番号、暗証番号、鍵などを用いて、顔画像による認識を行なう場合には、それぞれの人物のカードや番号などの個人情報に対応する認識データとの類似度を計算して、設定した閾値と照合し、その閾値を越えた場合に、その人物と同定する。

これらカードや登録番号、暗証番号、鍵など入力する手段が必要であるが、たとえば、カードならＩＣカード、ＩＤカード、無線カードなどを用いることで実現できる。登録番号や暗証番号を用いる場合は、キー入力手段を設ければよい。

認識の方法としては、特徴量抽出部１０８の情報を用いる場合は、部分空間法や複合類似度法などの方法を用いてよい。本実施の形態での認識方法は、たとえば、文献（前田賢一、渡辺貞一：「局所的構造を導入したパターン・マッチング法」、電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ６８−Ｄ，Ｎｏ．３，ｐｐ３４５−３５２（１９８５））に記載されている公知の認識方法である相互部分空間法を用いる。

この方法では、あらかじめ蓄えられた登録情報の中の認識データも、入力されるデータも部分空間として表現され、２つの部分空間のなす「角度」を類似度として定義する。ここで入力される部分空間を入力部分空間という。入力データ列に対して同様に相関行列Ｃｉｎを求め、

と対角化し、固有ベクトルΦｉｎを求める。２つのΦｉｎ、Φｄで表わされる部分空間の部分空間類似度（０．０〜１．０）を求め、それを認識するための類似度とする。

認識部１１０は、図４に示すフローチャートのように動作する。まず、認識部１１０は、認識作業を行なうか、同定作業を行なうかによって動作が異なる（ステップＳＴ１）。同定動作を行なう場合は、まず対象とする認識対象者のＩＤコードを読込む（ステップＳＴ２）。次に、対象とするＩＤコードに対応した登録情報（部分空間）を登録情報保持部１０９から読出す（ステップＳＴ３）。

次に、上述したように、部分空間法などにより認識を行なうため、各登録情報の部分空間と、入力ベクトル（特徴量抽出部１０８からの固有ベクトル）、または、入力部分空間との類似度を計算する（ステップＳＴ４）。次に、その類似度をあらかじめ設定されている閾値と比較し（ステップＳＴ５，ＳＴ６）、同定結果を出力する（ステップＳＴ７）。

認識作業を行なう場合、認識対象となるデータを全て登録情報保持部１０９から読出す（ステップＳＴ８）。そして、それぞれの登録情報との類似度を計算する（ステップＳＴ９）。次に、計算された類似度の中から最大のものを選択し（ステップＳＴ１０）、それを認識結果として出力する（ステップＳＴ１２）。

なお、図４の破線で囲んだステップＳＴ１１のように、最大類似度を閾値判定することによって、認識結果が正しいかどうかを検証することもできる（ステップＳＴ１３）。たとえば、類似度があまりに低い場合には、どの認識対象でもないと判断することもできる。

登録情報保持部１０９は、認識対象者を同定するために利用する部分空間（または、相関行列など）や、登録の際の時刻、日時、場所などの状況情報などを蓄積できる。なお、画像入力データや抽出した特徴量などでもよい。

以上までの処理で基本的な人物認識の動作を行なうことが可能となるが、図５に示すように、人間の立ち位置や姿勢の経年変化、経時変化により認識率の低下を引き起こしてしまう。図５において、破線で示す枠ａが登録時の顔の大きさ（顔サイズ）を示している。

たとえば、図５（ａ）に示すように、登録時と同じ状態で認識時（照合時）も顔が画像内に存在している場合には、登録時と近い状態で特徴情報が抽出できるために登録辞書との類似度が高くなりやすいが、図５（ｂ）、（ｃ）に示すように、登録時よりも顔が大きかったり小さかったりした場合や、図には示されていないが顔の向きなどが異なる場合に類似度が低下しやすくなる。

こういった問題点を抑制するために、本実施の形態では、表示制御部１１１および表示部１０４により、たとえば、図６に示すように、撮影されている人物の顔の動画像を表示するだけでなく、撮影された画像で検出した顔の位置、大きさ、方向といった検出結果ｃと、登録時に顔がどの位置、どの大きさ、どのサイズで存在したかといった検出結果ｂを同時に表示することによって、認識対象者１００がどの状態にすれば本人と確認されやすいかを分かりやすく表示するようにする。これにより、正しく顔が写っていない状態が分からないまま認識処理が終了してしまうことを防ぐことができる。

すなわち、登録情報保持部１０９には、登録時に入力された顔画像の大きさ、位置、方向といった情報も保持されている。それぞれの値は、登録に利用された全画像における平均値でも構わないし、最大値、最小値といった値でもよいし、あるいは、これらを組合わせて幅を持たせた数値の組合わせであっても構わない。

表示部１０４における表示方法の例であるが、たとえば、目および鼻の４点の重心を中心座標とし、その中心座標から目および鼻の４点までの平均距離を半径とする円によって顔の位置と大きさを表現することができる。この方法を登録時の平均的な顔の位置、大きさ、および、入力画像において顔を検出したときの位置、大きさを基に太さや色、線の種類を変えて同時に描画させることで、現在の状態が登録時に比べてどれだけ状態が違っているかを示すことが可能となる。

これを表示した結果の例を図７に示す。図７において、破線で示す円パターンｂは登録時に顔が存在した平均的な位置、大きさを示し、実線で示す円パターンｃは認識時の入力画像で検出された顔領域を示している。なお、ここでは実際の入力画像が、この円パターンｂ、ｃの背景に存在していることになるが、図形がわかりやすいように省略している。

また、図７の例に加えて、顔の方向を曲線で示すといった内容を追加した例が図８である。上下方向と左右方向ともに正面であれば、曲線ではなく直線で表示されることになり、上下または左右に顔の向きが動けば動くほど、その方向側が凸となるように曲率を上げていく。図８において、破線で示す曲線（中心線を示す）ｄは登録時の顔の方向を示し、実線で示す曲線（中心線を示す）ｅは認識時の顔の方向を示し、これらは図示のように円パターンｂ、ｃ内に描画される。

また、単純にＸ方向、Ｙ方向のクロス点を十字印で示した例が図９である。図９において、破線で示す十字印ｆは登録時の顔の方向を示し、実線で示す十字印ｇは認識時の顔の方向を示し、これらは図示のように円パターンｂ、ｃ内に描画される。

さらに、単純に矢印で表示した例が図１０である。図１０において、破線で示す矢印ｈは登録時の顔の方向を示し、実線で示す矢印ｉは認識時の顔の方向を示し、これらは図示のように円パターンｂ、ｃ内に描画される。

また、既に説明した例は、登録時の顔の大きさ、位置、方向の平均的な値を利用しており、１つの円または楕円で表示しているものであるが、各値の最大値と最小値を利用して幅を持たせることも可能である。たとえば、図７の例において、大きさ、位置、方向に対して最大値、最小値の概念を入れた場合の例をそれぞれ図１１、図１２、図１３に示す。大きさに関しては最大の大きさと最小の大きさを二重で示した円、位置に関しては移動範囲内で円を移動させたときの外接閉曲線、方向に関しても同様に顔の方向の移動した最大幅を示す領域を各方向それぞれ２つの曲線で表示する。

なお、図１１は、登録時に検出した顔の最大と最小の大きさを示す二重の円パターンｂ１，ｂ２を描画した例を示す。図１２は、登録時に顔の中心座標がＡからＢの間で上下方向に移動した例であり、登録時に検出した顔の平均の大きさを示す円を移動させた際の概説領域ｊを描画した例を示す。図１３は、登録時の顔の向きの最大値と最小値を示す曲線（中心線を示す）ｄ１，ｄ２を描画した例を示す。
また、上述した方法に限らず、登録時の顔の位置、大きさ、方向の範囲を示すことのできる図形であれば、どのような表示方法でも構わないのは明らかである。

また、前述の例では、顔の情報を円や楕円パターンで表示する例を説明したが、円パターンに限らず、たとえば、図１４に示すような矩形パターン（多角形パターン）であったり、図１５に示すような十字の線パターンであったりしてもよい。なお、図１４は、登録時に顔が存在した平均的な位置、大きさを示す矩形パターンｋを描画した例を示す。図１５は、登録時に顔が存在していた領域（上下方向と左右方向）を示す十字の線パターンｌを描画した例を示す。

さらには、線の描画でなく、図１６に示すように、登録時に存在した顔領域ｍ以外の領域ｎには入力画像を表示せず、存在した顔領域ｍのみ入力画像を描画する方法でも有効である。
ここでは、以上の例のみを説明をしているが、顔の存在を示すことのできる図形であれば、前述の図形にこだわる必要がないことも明らかである。

このように、登録時の顔に関する情報と認識時の入力された顔に関する情報とを同時に表示することによって、認識対象者がどのようにすれば本人と確認されやすいかの指標を示すことができ、認識失敗で再試行といった負担を減らすことが可能となる。

また、音声によって、たとえば、「もう少し顔をカメラから遠ざけて下さい。」とか「もう少し顔をカメラに近づけて下さい。」というようにガイダンスすることや、類似の内容を画面に表示するといったことをすることで、さらに有効性を増すこともできる。

なお、本実施の形態では、部分空間を保持するだけでなく、部分空間を計算するための前段階の相関行列も保持する形態での説明を行なう。登録情報保持部１０９は、１人の人物、または、あるＩＤコードに対応して、１つまたは複数の認識データを保持する。部分空間は、その取得された時間などの付帯情報とともに記憶される。複数を保持する理由として、ある１人の人物に対応した複数の部分空間を同時に、認識部１１０に渡して認識を行なうことが挙げられる。

以上説明したように、第１の実施の形態によれば、登録時の人物の顔画像の大きさを取得し、その大きさと認識時の顔画像の大きさを一定範囲内に保つように誘導させる顔画像の表示手段を備えることで、人物の顔に照射する照明の角度や人物の顔画像の大きさの違いによる人物認識率の低下を軽減することができ、高精度な人物の認識が可能となる。

次に、第２の実施の形態について説明する。
第２の実施の形態の構成や基本的な動作、実施方法に関しては前述した第１の実施の形態と同様であるため、ここでは説明を省略する。

第２の実施の形態では、顔の登録時に顔の位置、カメラからの近さ、顔の向きをどのようにすべきかを表示部１０４にガイダンス表示することによって、ある特定の状態だけの顔画像だけでなく、バリエーション豊かな顔画像を収集することができ、認識精度向上につながる有効な辞書を作成することを目的としている。

登録時には、顔検出部１０７で検出された顔の位置、大きさ、向きといった情報を表示部１０４に表示する。その表示方法に関しては、第１の実施の形態と同様に円パターン、矩形パターン、十字印で表示することが可能である。

また、その情報に加えてこの状態にしてほしい、というガイダンスも同時に表示する。その表示方法に関しても、第１の実施の形態で「登録時の情報」としている情報に代えて、「この位置に顔をもってきてください」という情報にすりかえて表示することで実現が可能である。たとえば、円パターン、矩形パターン、十字印、そして要望する場所以外はカメラ画像を表示しないクリッピングといった方法で実現できる。円パターンで表示した場合の表示部１０４の表示例を図１７に示す。図１７において、破線で示す円パターンｐは収集（入力）すべき顔の位置と大きさを示し、実線で示す円パターンｑは検出された顔の位置と大きさを示している。

これにより、要望する位置と場所に比べて現在検出された顔の位置が異なる場合には、メッセージ表示として「もっと右に寄ってください」などと表示部１０４に表示し、要望する顔の大きさに比べて検出結果が異なる場合には、「もっとカメラに近づいてください」、「もっとカメラから離れてください」といったメッセージを表示部１０４に表示する。なお、画面への表示のみならず、音声メッセージなどを同時に出力してもよい。

また、顔の位置や大きさと同様に顔の向きも指示するために、表示部１０４では、「顔を少し上向きにしてください」、「顔を少し下向きにしてください」といった内容を示すために矢印や円の移動によって指示を行なう。たとえば、矢印パターンｒの表示で指示する例が図１８であり、左から順に「正面」、「右」、「左」、「上」、「下」に顔を向かせるためのガイダンスの例である。同様に、カメラの画像内の円パターンｓの位置によって顔の向きを変更させる例が図１９である。

このように、顔の向きを変更させやすいガイダンス表示方法であれば、これらの例に限らず、他の図形やメッセージ、あるいは、音声を利用しても同様に実現することは可能である。

以上説明したように、第２の実施の形態によれば、登録時にできる限り色々な方向を向いた顔画像、カメラからの距離が変化した顔画像、画面内で写る顔の位置が異なる顔画像を収集（入力）し、その顔画像から学習された顔画像の登録辞書を作成することによって、認識時にカメラの前に立つ位置や顔の向き、姿勢などが拘束されずに精度のよい認識を行なうことが可能となる。

次に、第３の実施の形態について説明する。
図２０は、第３の実施の形態に係る人物認識装置の構成を概略的に示すものである。第３の実施の形態は、前述した第１の実施の形態に対し、カメラ１０１の前に認識対象者１００の顔が存在することを検出して自動的に認識動作を開始させるように制御を行なう認識開始判定手段としての自動認識開始判定部１１２が追加された点が異なり、その他は第１の実施の形態と同様であるため、説明は省略する。

自動認識開始判定部１１２は、顔検出部１０７の顔検出結果で「顔が検出された」と判定されたことを利用して自動的に認識を開始させることを行なうが、仮にカメラ１０１の視野範囲に人物の顔が印刷されたポスタなどが存在した場合、人物が存在しなくても誤って動作してしまう可能性がある。

そのため、自動認識開始判定部１１２では、１フレームの顔検出結果のみを利用するのではなく、それより前の顔検出結果との変化も考慮し、本当の人物の顔が現れた場合には必ず動きがあるという条件を付けることで、たとえば、顔写真入りポスタといったものがあった場合でも誤検出して誤動作することがなくなる。

顔検出部１０７では、図２で示したような顔のサイズ、顔の中心座標、左右の目、鼻の検出座標といった情報が得られるため、自動認識開始判定部１１２では、図２１に示すフローチャートのような処理の流れによって、「所定のフレーム数連続して顔が検出され、かつ、顔の動きによる変動量が検出された場合」にのみ自動的に認識動作の開始を行なう。

以下、図２１に示すフローチャートに基づく処理の流れについて説明する。まず、顔検出カウンタ（図示せず、自動認識開始判定部１１２内に設けられている）を「０」に設定し（ステップＳＴ２１）、顔検出部１０７の検出結果に基づき顔検出処理を行なう（ステップＳＴ２２）。この顔検出処理において、現在のフレームで顔を検出しているか否かを判定し（ステップＳＴ２３）、現在のフレームで顔を検出していない場合は顔検出カウンタを「０」に設定して（ステップＳＴ２４）、ステップＳＴ２２に戻る。

ステップＳＴ２３において、現在のフレームで顔を検出している場合、前のフレームでも顔を検出しているか否かを判定し（ステップＳＴ２５）、前のフレームでも顔を検出していない場合は顔検出カウンタを「０」に設定して（ステップＳＴ２４）、ステップＳＴ２２に戻る。

ステップＳＴ２５において、前のフレームでも顔を検出している場合、前のフレームとの変動量が所定閾値以上であるか否かを判定し（ステップＳＴ２６）、変動量が所定閾値以上でない場合は顔検出カウンタを「０」に設定して（ステップＳＴ２４）、ステップＳＴ２２に戻る。

ステップＳＴ２６において、変動量が所定閾値以上である場合、顔検出カウンタの値が所定閾値以上であるか否かを判定し（ステップＳＴ２７）、顔検出カウンタの値が所定閾値以上でない場合は顔検出カウンタを「＋１」して（ステップＳＴ２８）、ステップＳＴ２２に戻る。

ステップＳＴ２７において、顔検出カウンタの値が所定閾値以上である場合、カメラ１０１の前に認識対象者１００の顔が存在するものと判断して、認識部１１０の認識処理を開始させる。

ここで、顔の動きを示す変動量の評価方法について、顔検出座標の中心値の変位量を例にとって説明する。図２で示す（ｆｘ，ｆｙ）が検出された顔の中心座標とした場合、その１フレーム前に検出された顔の中心座標を（ｐｆｘ，ｐｆｙ）とし、以下のような変動量を用いることで顔の動きを検出することが可能である。
変動量Ｄｉｆｆ＝｜ｆｘ−ｐｆｘ｜＋｜ｆｙ−ｐｆｙ｜
変動量は、前のフレーム、および、現在のフレームのどちらか一方でも顔が検出されない場合には零とし、連続して顔が検出された場合にのみ零以上の値を持つ値とする。この変動量Ｄｉｆｆが所定の閾値Ｔｈよりも大きい場合にのみ、「動いている顔が存在している」ということを判断するための顔検出カウンタの値を増やし、この条件を満たさない場合には全て顔検出カウンタを「０」に戻す。この顔検出カウンタが所定の閾値ＴｈＣｏｕｎｔ以上になった場合は、「連続したフレームにおいて動作している顔が存在している」と判定することができ、自動的に認識処理を開始させてもよいと判定する。

また、これに限らず、目、鼻などの顔部品の検出座標の変位量の絶対値の合計値や、顔のサイズの差分の絶対値、あるいは、顔検出座標（ｆｘ，ｆｙ）を中心として横幅±ｆｗ／２、縦幅±ｆｈ／２で表わされる矩形領域内の前フレームとの差分量、相関値といった評価量を用いても、用いた数値に最適な閾値を決めることで問題なく動作することは明らかである。

以上説明したように、第３の実施の形態によれば、カメラ１０１の視野範囲に人物の顔が印刷されたポスタなどのような顔として誤検出されやすい物体があったとしても、誤動作する心配がなく、所定の操作をすることなく自動的に認識動作を開始させることができる。

次に、第４の実施の形態について説明する。
第４の実施の形態は、第１の実施の形態（あるいは、第２の実施の形態）で説明した人物認識装置を、通行者の顔画像を認識して通行者の通行を制御する通行制御装置に適用した場合の例である。

図２２は、第４の実施の形態に係る通行制御装置の構成を概略的に示すものである。この通行制御装置は、たとえば、重要施設（セキュリティ重視の部屋など）への入退室管理を行なうもので、利用者（通行者）の顔画像を認識して、その認識結果に基づき重要施設の入退室用ドアの開閉制御を行なうものであり、カメラ１０１、照明部１０２、表示部１０４、処理部１０５、および、認識部１１０の認識結果に応じて重要施設２０１の入退室用ドア２０２の開閉制御を行なう通行制御手段としてのドア制御部１１３から構成されている。
なお、図２２において、ドア制御部１１３以外は図１の人物認識装置と同じ構成であるので、同一符号を付して、その説明は省略する。

認識部１１０は、たとえば、図４のステップＳＴ６において、求めた類似度が閾値よりも大きかった場合、あるいは、ステップＳＴ１１において、求めた類似度が閾値よりも大きかった場合、ドア制御部１１３に「ドア開」の信号を出力し、求めた類似度が閾値よりも小さかった場合、ドア制御部１１３に「ドア閉」の信号を出力する。

ドア制御部１１３は、認識部１１０から「ドア開」の信号を受取ると、入退室用ドア２０２を開状態に制御して、認識対象者（この場合は通行者）１００の入室を許可し、「ドア閉」の信号を受取ると、入退室用ドア２０２を閉状態に保持して、通行者１００の入室を拒否する。
このように、第４の実施の形態によれば、第１の実施の形態（あるいは、第２の実施の形態）で説明した人物認識装置を用いて通行者の通行を制御することができる。

なお、上記第４の実施の形態では、代表として、第１の実施の形態（あるいは、第２の実施の形態）で説明した人物認識装置を適用した場合について説明したが、第３の実施の形態で説明した人物認識装置を適用することも可能である。第３の実施の形態で説明した人物認識装置を適用した場合を第５の実施の形態としてその構成を図２３に示す。

本発明の第１の実施の形態に係る人物認識装置の構成を概略的に示すブロック図。 顔検出部の処理を説明するための図。 特徴量抽出部の処理を説明するための図。 認識部の認識処理の流れを説明するためのフローチャート。 登録時との状態変化を説明するための図。 表示部の説明図。 登録情報と検出情報の同時描画を説明するための図。 登録情報と検出情報の同時描画を説明するための図。 登録情報と検出情報の同時描画を説明するための図。 登録情報と検出情報の同時描画を説明するための図。 登録情報と検出情報の同時描画を説明するための図。 登録情報と検出情報の同時描画を説明するための図。 登録情報と検出情報の同時描画を説明するための図。 登録情報と検出情報の同時描画を説明するための図。 登録情報と検出情報の同時描画を説明するための図。 登録情報と検出情報の同時描画を説明するための図。 本発明の第２の実施の形態に係る登録時に収集すべき顔の位置と大きさを示すガイダンスの説明図。 登録時ガイダンスの説明図。 登録時ガイダンスの説明図。 本発明の第３の実施の形態に係る人物認識装置の構成を概略的に示すブロック図。 自動認識開始判定部の処理の流れを説明するためのフローチャート。 本発明の第４の実施の形態に係る通行制御装置の構成を概略的に示すブロック図。 本発明の第５の実施の形態に係る通行制御装置の構成を概略的に示すブロック図。

符号の説明

１００…認識対象者（人物、通行者）、１０１…カメラ（画像入力手段）、１０２…照明部（照明手段）、１０４…表示部（表示手段）、１０５…処理部、１０６…画像入力部（画像入力手段）、１０７…顔検出部（顔検出手段）、１０８…特徴量抽出部（特徴量抽出手段）、１０９…登録情報保持部（登録情報保持手段）、１１０…認識部（認識手段）１１１…表示制御部（表示手段）、１１２…自動認識開始判定部（認識開始判定手段）、１１３…ドア制御部（通行制御手段）、２０１…重要施設、２０２…入退室用ドア。

Claims (9)

1. 認識対象となる人物の少なくとも顔画像を入力する画像入力手段と、
   この画像入力手段により入力された画像から前記人物の顔領域を検出する顔検出手段と、
   この顔検出手段の検出結果に基づき前記人物の顔の特徴量を抽出する特徴量抽出手段と、
   登録時、前記特徴量抽出手段により抽出された特徴量を登録情報として保持する登録情報保持手段と、
   認識時、前記特徴量抽出手段により抽出された特徴量と前記登録情報保持手段に保持されている登録情報とを照合することにより前記人物を認識する認識手段と、
   登録時、所定形状の案内パターンを移動表示させることで、入力すべき顔画像の向きを指示する表示手段と、
   を具備したことを特徴とする人物認識装置。
2. 認識対象となる人物の少なくとも顔画像を入力する画像入力手段と、
   この画像入力手段により入力された画像から前記人物の顔領域を検出する顔検出手段と、
   この顔検出手段の検出結果に基づき前記人物の顔の特徴量を抽出する特徴量抽出手段と、
   登録時、前記特徴量抽出手段により抽出された特徴量を登録情報として保持する登録情報保持手段と、
   認識時、前記特徴量抽出手段により抽出された特徴量と前記登録情報保持手段に保持されている登録情報とを照合することにより前記人物を認識する認識手段と、
   登録時、顔画像をどのような状態で入力すればよいかを示す案内情報として、入力すべき顔画像の位置や前記画像入力手段から顔までの距離などを示す第１の円パターンで表示するとともに、登録時における顔検出手段の検出結果を第２の円パターンで表示する表示手段と、
   を具備したことを特徴とする人物認識装置。
3. 認識対象となる人物の少なくとも顔画像を入力する画像入力手段と、
   この画像入力手段により入力された画像から前記人物の顔領域を検出する顔検出手段と、
   この顔検出手段の検出結果に基づき前記人物の顔の特徴量を抽出する特徴量抽出手段と、
   登録時、前記特徴量抽出手段により抽出された特徴量を登録情報として保持する登録情報保持手段と、
   認識時、前記特徴量抽出手段により抽出された特徴量と前記登録情報保持手段に保持されている登録情報とを照合することにより前記人物を認識する認識手段と、
   登録時、顔画像をどのような状態で入力すればよいかを示す案内情報として、入力すべき顔画像の位置や前記画像入力手段から顔までの距離などを示す第１の多角形パターンで表示するとともに、登録時における顔検出手段の検出結果を第２の多角形パターンで表示する表示手段と、
   を具備したことを特徴とする人物認識装置。
4. 認識対象となる人物の少なくとも顔画像を入力する画像入力手段と、
   この画像入力手段により入力された画像から前記人物の顔領域を検出する顔検出手段と、
   この顔検出手段の検出結果に基づき前記人物の顔の特徴量を抽出する特徴量抽出手段と、
   登録時、前記特徴量抽出手段により抽出された特徴量を登録情報として保持する登録情報保持手段と、
   認識時、前記特徴量抽出手段により抽出された特徴量と前記登録情報保持手段に保持されている登録情報とを照合することにより前記人物を認識する認識手段と、
   登録時、顔画像をどのような状態で入力すればよいかを示す案内情報として、入力すべき顔画像の位置や前記画像入力手段から顔までの距離などを示す第１の少なくとも１つ以上の直線で表示するとともに、登録時における顔検出手段の検出結果を第２の少なくとも１つ以上の直線で表示する表示手段と、
   を具備したことを特徴とする人物認識装置。
5. 認識対象となる人物の少なくとも顔画像を入力する画像入力手段と、
   この画像入力手段により入力された画像から前記人物の顔領域を検出する顔検出手段と、
   この顔検出手段の検出結果に基づき前記人物の顔の特徴量を抽出する特徴量抽出手段と、
   登録時、前記特徴量抽出手段により抽出された特徴量を登録情報として保持する登録情報保持手段と、
   認識時、前記特徴量抽出手段により抽出された特徴量と前記登録情報保持手段に保持されている登録情報とを照合することにより前記人物を認識する認識手段と、
   登録時、入力すべき顔画像の向きを矢印パターンで描画することで表示する、あるいは、当該入力画像内に描画した円パターンの位置で表示する表示手段と、
   を具備したことを特徴とする人物認識装置。
6. 前記人物に向けて光を照射する照明手段をさらに具備したことを特徴とする請求項１ないし請求項５のいずれか１つに記載の人物認識装置。
7. 認識対象となる人物の少なくとも顔画像を入力する画像入力工程と、
   この画像入力工程により入力された画像から前記人物の顔領域を検出する顔検出工程と、
   この顔検出工程の検出結果に基づき前記人物の顔の特徴量を抽出する特徴量抽出工程と、
   登録時、前記特徴量抽出工程により抽出された特徴量を登録情報として登録情報保持手段に保持する登録情報保持工程と、
   認識時、前記特徴量抽出工程により抽出された特徴量と前記登録情報保持手段に保持されている登録情報とを照合することにより前記人物を認識する認識工程と、
   登録時、所定形状の案内パターンを移動表示させることで、入力すべき顔画像の向きを指示する表示工程と、
   を具備したことを特徴とする人物認識方法。
8. 通行者を認識して前記通行者の通行を制御する通行制御装置において、
   前記通行者の少なくとも顔画像を入力する画像入力手段と、
   この画像入力手段により入力された画像から前記通行者の顔領域を検出する顔検出手段と、
   この顔検出手段の検出結果に基づき前記通行者の顔の特徴量を抽出する特徴量抽出手段と、
   登録時、前記特徴量抽出手段により抽出された特徴量を登録情報として保持する登録情報保持手段と、
   認識時、前記特徴量抽出手段により抽出された特徴量と前記登録情報保持手段に保持されている登録情報とを照合することにより前記通行者を認識する認識手段と、
   この認識手段の認識結果に応じて前記通行者の通行を制御する通行制御手段と、
   登録時、所定形状の案内パターンを移動表示させることで、入力すべき顔画像の向きを指示する表示手段と、
   を具備したことを特徴とする通行制御装置。
9. 前記通行者に向けて光を照射する照明手段をさらに具備したことを特徴とする請求項８記載の通行制御装置。

Images