JP4526639B2

JP4526639B2 - 顔認識装置およびその方法

Info

Publication number: JP4526639B2
Application number: JP2000057835A
Authority: JP
Inventors: 孝明永井; 孝裕大橋
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2000-03-02
Filing date: 2000-03-02
Publication date: 2010-08-18
Anticipated expiration: 2020-03-02
Also published as: US7155037B2; US20010019620A1; JP2001243466A

Description

【０００１】
【発明の属する技術分野】
この発明は、人を識別したり顔の表情や状態を読み取ったりすることなどを目的として顔を認識する顔認識装置およびその方法に関する。特に、顔の正面画像を取得することにより認識の精度を上げる顔認識装置およびその方法に関する。
【０００２】
【従来の技術】
情報化の進展に伴い、利用者にとってより使い易いマンマシンインタフェースが求められてきている。また、それに伴いマンマシンインタフェースにおける利用者識別および認証の技術の重要性もますます高まってきている。大別すると、このような認証の方式として、本人しか持っていない情報媒体（例えば、磁気カードやＩＣカードなど）を用いる方法、本人しか知り得ない情報（例えば、パスワードなど）の符合による方法、本人の身体の特徴（例えば、指紋、眼底の模様、顔つきなど）による方法などがあげられる。身体特徴を利用する方法のひとつとして、顔のデジタル画像を基に人を識別する方法の研究は従来より行われている。
また、認証目的に限らず、マンマシンインタフェースとして利用者の表情を認識することで、利用者の感情等をも判断することも考えられ、顔認識の技術の重要度は高まっている。例えば、表情を基に、笑っている、怒っている、疲れているといった状態を判断したり、大人か子供かを判断したりするという利用方法が考えられている。
【０００３】
デジタル画像に写された顔の分析による人の顔認識において、横顔を撮像した場合、あるいは上下左右いずれかの斜め方向から顔を撮像した場合は、真正面からの写した画像を用いる場合と比較して、顔の検出や顔の構成要素の検出や顔の特徴の抽出が難しいことが知られている。また、真後ろあるいは斜め後ろの方向から撮像した場合には、後頭部の像しか得られず、顔の認識は著しく困難あるいは不可能である。
【０００４】
【発明が解決しようとする課題】
従って、従来技術による顔認識装置では、認識精度を上げるために、人に撮像部に対して真正面に対向することを要求している。しかしながら、人にとっての利便性および機械に対する親和性を高めて技術の応用範囲を今後より一層広めるためには、人にわざわざ上記のような動作をとることを求めることは得策ではない。
【０００５】
本発明は、上記のような事情を考慮してなされたものであって、顔の認識処理を行うにあたって、人がわざわざ移動したり向きを変えたり姿勢を正したりする手間をかけることや、そのような動作を行うことによって機械と向かい合うという違和感を感じさせたりすることなく、精度の高い顔認識を行うことを可能とする顔認識装置およびその方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記の課題を解決するために、請求項１に記載の発明は、画像入力部を備え、この画像入力部より入力される画像データを基に顔の認識処理を行う顔認識装置において、所定の円周に沿って前記画像入力部の空間に対する位置および向きを移動させるための駆動部と、前記画像データを基にこの画像に写された顔の方向を検出する顔方向検出部と、前記顔方向検出部が検出した顔方向に基づいて前記駆動部を制御する移動制御部と、を備え、前記移動制御部は、設定されている移動方向に前記画像入力部を所定量だけ移動させて前記画像データの頭部領域における所定の色の割合が前回より増えたか否かを判断することにより前記所定の色の割合が多くなる方向に前記画像入力部が移動するように前記駆動部を制御し、前記顔方向検出部は、移動に伴って前記割合のピークを検出し、このピークが検出されたときの画像データを基に顔の認識処理を行うことを特徴とする顔認識装置を要旨とする。
【０００７】
この発明のこのような構成により、駆動部は、移動制御部の制御によりながら、画像入力部の位置または向きを移動させる。駆動部による移動手段によって、顔認識装置全体が移動しても良いし、顔認識装置自体は移動せずに画像入力部だけが移動しても良い。画像入力部が移動することにより、様々な方向から顔画像を撮像することが可能となる。それら様々な方向から撮像された顔画像のうち、正面から撮像された顔画像を用いて認識処理を行うことにより、高精度な顔認識処理が可能となる。
【０００９】
また、この発明のこのような構成により、駆動部は、移動制御部の制御によりながら、撮像された画像における顔の肌の色の領域が大きくなるように画像入力部の位置または向きを移動させる。顔方向検出部は、頭部領域における肌の色の領域の面積の割合がピークとなる位置を検出する。肌の色の領域面積の割合がピークとなる画像が顔正面の画像であると判断できる。
【００１０】
また参考実施例においては、前記移動制御部は、前記画像入力部が所定の範囲の位置および方向を網羅的に移動するように前記駆動部を制御し、前記顔方向検出部は、移動に伴って前記画像入力部より入力される複数の画像データのうち頭部領域における所定の色の割合が最大となる画像データを検出し、前記割合が最大となった当該画像データを基に顔の認識処理を行うことを特徴とする。
【００１１】
この参考実施例のこのような構成により、駆動部は、移動制御部の制御によりながら、所定の範囲を網羅するように画像入力部を移動させる。それらの移動に伴って画像入力部から入力された画像を基に、顔方向検出部は、肌の色の領域面積の割合が最大となる位置の画像を特定する。この肌の色の領域面積の割合が最大である画像が顔正面の画像であると判断できる。
【００１２】
また参考実施例においては、前記顔方向検出部は、前記画像データにおける顔の構成要素の重心の位置を基に顔の方向を検出することを特徴とする。
【００１３】
ここで、顔の構成要素とは、画像上で認識可能な顔の形態要素であり、例えば目、鼻、口、眉毛、耳などである。この参考実施例のこのような構成により、顔方向検出部は、顔の構成要素の重心と顔輪郭との位置関係により、顔の方向を検出できる。よって、頭髪の状態などによって色情報だけから顔方向を検出することが困難な場合にも正確に顔方向を検出することができる。
【００１４】
また参考実施例においては、様々な方向から見た顔の画像をテンプレート画像として記憶するテンプレート画像記憶部を備え、前記顔方向検出部は、前記画像データと前記テンプレート画像との相関度を基に顔の方向を検出することを特徴とする。
【００１５】
ここで、個々のテンプレート画像における顔方向は既知である。よって、顔方向検出部が入力画像と複数のテンプレート画像との相関度を算出し、最も相関度の高いテンプレート画像を特定することにより、顔方向を求めることができる。
【００１６】
また参考実施例に記載の発明においては、前記顔方向検出部は、顔方向の検出状態に応じて複数の検出手段を切り替えて使用することを特徴とする。
【００１７】
この参考実施例のこのような構成により、顔方向検出部は、入力された画像の状態に応じて、それ適した顔方向検出手段を用いることが可能となる。画像の状態とは、例えば、人の頭部の認識状態や、画像入力部の移動に伴う肌の色の領域面積の変化の様子や、画像内での明度の分布などである。
【００１８】
また請求項２に記載の発明は、画像入力手段から入力された画像データを基にこの画像に写された顔の方向を検出する第１のステップと、検出された顔の方向に基づいて所定の円周に沿って前記画像入力手段の空間に対する位置および向きを移動させる第２のステップと、顔方向が正面である画像データを特定する第３のステップと、この第３のステップにおいて特定された画像データを基に顔の認識処理を行う第４のステップとを有し、前記第１のステップにおいては、前記画像データの頭部領域における所定の色の割合によって顔の方向を検出し、前記第２のステップにおいては、設定されている移動方向に前記画像入力部を所定量だけ移動させて前記割合が前回より増えたか否かを判断することにより前記所定の色の割合が大きくなる方向に移動の制御を行い、前記第３のステップにおいては、前記割合のピークを検出することによって顔方向が正面であることを特定することを特徴とする顔認識方法を要旨とする。
【００２０】
また参考実施例は、画像入力手段が所定の移動範囲の位置および方向を網羅するように移動させる第１のステップと、この第１のステップの移動に伴って、前記画像入力手段から入力された複数の画像データそれぞれの頭部領域における所定の色の割合を算出する第２のステップと、この第２のステップにおける算出結果を基に、当該移動範囲において入力された複数の画像データのうち前記割合が最大となる画像データを特定する第３のステップと、この第３のステップにおいて特定された画像データを基に顔の認識処理を行う第４のステップとを有することを特徴とする顔認識方法を要旨とする。
【００２１】
また参考実施例では、前記第１のステップにおいては、前記画像データにおける顔の構成要素の重心の位置を基に顔の方向を検出することを特徴とする。
【００２２】
また参考実施例では、様々な方向から見た顔の画像をテンプレート画像として予め記憶しておき、前記第１のステップにおいては、前記画像データと前記テンプレート画像との相関度を基に顔の方向を検出することを特徴とする。
【００２３】
また参考実施例では、前記第１のステップにおいては、顔方向の検出状態に応じて複数の検出手段を切り替えて使用することを特徴とする。
【００２４】
【発明の実施の形態】
以下、図面を参照しこの発明の一実施形態について説明する。図１は、同実施形態による顔認識装置の機能構成を示すブロック図である。図１において、顔認識装置１は、画像入力部１１、画像取込部１２、画像記憶部１３、顔認識部１４、顔方向検出部１５、移動制御部１６、位置検出部１７、駆動部２０とにより構成される。
【００２５】
画像入力部１１は、レンズ等の集光手段を介して得られる光による像を電気信号に変換する。画像取込部１２は、画像入力部１１が出力する電気信号を基に量子化や情報圧縮などの処理を行い、デジタル処理可能な画像データに変換する。画像記憶部１３は、画像取込部１２によって変換された画像データを蓄積する。この画像記憶部１３に蓄積された画像データは必要に応じて読み出せるようになっている。顔方向検出部１５は、画像記憶部１３に蓄積された画像データを読み出し、その画像の中から顔を検出し分析することにより、撮像面に対する顔の方向を検出する。この顔方向検出部１５による方向検出の詳細事項については後述する。
【００２６】
位置検出部１７は、空間における顔認識装置１の位置および向き、あるいは顔認識装置１に設けられている画像入力部１１の位置および向きを検出する。位置検出部１７による位置検出の原理としては様々なものが採用可能であるが、例えば、前後進モータ２１や操舵モータ２２に設けられたエンコーダによってこれらのモータの作動量を検出することによる方法や、空間内の固定物（床、柱、天井、その他）にマークされた情報を物理的方法または電気的方法または光学的方法またはその他の方法によって読み取ることによる方式や、発信された電波や光や音波などを受信しその発信源の方向を基に位置検出する方式や、電波などによる信号を受信した時刻と基準となる時刻との差を基に位置検出する方式や、ジャイロを用いる方法などがある。電波を受信する方法の具体例としては、ＧＰＳ（Global Positioning System ）を用いる方法などがある。
【００２７】
移動制御部１６は、顔方向検出部１５によって検出された顔方向および位置検出部１７によって検出された位置情報を基に、また独自の移動戦略に基づき、画像入力部１１の位置あるいは向きもしくはその両方を変えるべく、駆動部２０を制御する。本実施形態における駆動部２０は、前後進モータ２１と操舵モータ２２により構成され、これらのモータにより車輪を駆動して顔認識装置１全体の位置や向きを変えることができるようになっている。
【００２８】
次に、上記のような機能を有する顔認識装置１の移動のしかたについて説明する。図２は、顔認識装置１と認識対象となる人との位置関係を示す平面図である。図２において、顔認識装置１に設けられた画像入力部１１の撮像面は人３９に向けられている。このような状況において、顔認識装置１は前述した駆動部２０の機能によって、少なくとも人３９を中心とする円周４０に沿って平面上を移動することができる。具体的には例えば、円周４０に沿って敷設されているレール上を走行することによって、そのような移動を行う。図２に示すように、顔認識装置の位置は人３９が存在している場所を中心として原位置からの変位角θによって表される。また、平面視において、円周４０上の時計回りの移動を「＋」、反時計回りの移動を「−」で表すものとする。
【００２９】
本顔認識装置に設けられている顔方向検出部は、入力された画像内における肌の色の領域の量を基に顔方向を検出する。図３は、顔方向検出部１５の詳細機能構成を示すブロック図である。図３に示すように、顔方向検出部１５は肌色検出部５０を有しており、この肌色検出部５０は、ＲＧＢ変換部５１、明度・色度記憶部５２、比較部５３、肌色面積割合算出部５４によって構成されている。
【００３０】
立体構造物である顔は、照明の照射の具合によって照明のむらが生じるため、同系色の領域でも同一一定値のＲＧＢ値を持つことがないので、入力された画像データに対して下で述べる変換処理を行って明度と色度の分離を行う。そして、人の頭部部分の明度値範囲および肌の部分の色度値範囲を予め設定しておき、画像データ中の画素のうちこれら両方の範囲条件を満足する画素数を求めることにより、肌色面積を計算するようにする。顔認識装置の作動する環境によって、これら明度と色度の最適値は異なるため、本実施形態では、使用場所等に応じて設定値を自由に変更できるようにしている。また、明度の範囲と色度の範囲とをそれぞれ独立に設定することも可能であり、例えば、人の肌以外のものを肌と同一視しないように色度は狭い範囲に設定して、光線の陰影の状況などに柔軟に対応できるように明度は広い範囲に設定するということもできる。
【００３１】
ＲＧＢ変換部５１は、画像記憶部１３から読み出された画像データに関して次のような変換処理を行って明度および色度を分離して抽出する。つまり、画素毎の明度ｌは、
ｌ＝（Ｒ′＋Ｇ′＋Ｂ′）／３
によって表され、色度ｒ、ｇ、ｂはそれぞれ
ｒ＝６３Ｒ′／（Ｒ′＋Ｇ′＋Ｂ′）
ｇ＝６３Ｇ′／（Ｒ′＋Ｇ′＋Ｂ′）
ｂ＝６３Ｂ′／（Ｒ′＋Ｇ′＋Ｂ′）
によって表される。但し、γを画像入力部における感度曲線の特性値とし、その逆数１／γをγ′としたときに、Ｒ′、Ｇ′、Ｂ′はそれぞれ次の数式で表されるものである。
【００３２】
【数１】

【００３３】
人の肌の明度および色度の設定値が、外部から設定値入力部６０を介して入力され、明度・色度記憶部５２に記憶されるようになっている。比較部５３は、ＲＧＢ変換部５１から出力される明度および色度の値と明度・色度記憶部５２に記憶された肌の色の値とを比較することによって、その画素が肌の色に該当するかどうかを判断する。この比較部５３の判断結果に基づいて、肌色面積割合算出部５４が入力画像における肌色面積割合値を算出し、出力する。
【００３４】
なお、ここで顔方向検出のために用いる面積とは、入力された画像上の面積ではなく、実空間における平行投射面積である。特殊なケースとして、対象の顔と画像入力部との距離が一定の場合には画像上の面積や画素の数を用いて頭部領域や肌色領域の大きさを扱って良い。一般のケースでは、対象の顔と画像入力部との距離は変動するため、それに伴って画像上の顔面積も変動する。従って、この場合には距離の変動に伴う画像上の面積を補正して計算に用いるか、画像上の頭部面積に占める肌色面積の割合を用いるようにする。
ここでは簡単化のため、撮影される人の頭部領域は、画像の中央部の一定の大きさおよび位置に正規化されているものとする。このように正規化された画像を用いて、頭部領域に占める肌色面積の割合を求める。
【００３５】
次に、上記のような構成を有する顔認識装置が人の顔を認識する手順について説明する。図４は、本実施形態による顔認識装置が人の顔を認識する第１の手順を示すフローチャートである。本手順においては、顔認識装置が図２に示したような円周上を移動することを前提とする。
【００３６】
図４の手順においては、まず顔認識装置は移動方向の初期値を「−」方向、つまり時計回りの方向に設定する（ステップ１０１）。次に、顔認識装置は自己の位置を表す変位角θを検出する（ステップ１０２）。次に、画像入力部から取り込んだ入力画像における頭部領域の肌色量（肌色面積値）を検出する（ステップ１０３）。そして、次に肌色量の割合のピークが検出されたかどうかを判断する（ステップ１０４）が、このステップの初回実行時にはピークは検出されないので、「Ｎｏ」の方向に遷移する。
【００３７】
次いで、設定されている移動方向に所定量だけ移動し（ステップ１０５）、その移動先において新たに取り込まれた入力画像における肌色量を検出する（ステップ１０６）。そこで、新たな肌色量と前回の肌色量とを比較し（ステップ１０７）、肌色量が増えていなければ移動方向をそれまでとは逆方向に設定し（ステップ１０８）、肌色量が増えていれば移動方向をそのまま維持する（ステップ１０９）。その後、ステップ１０４〜１０９の処理を繰り返す。
【００３８】
ステップ１０４においては、勾配法によって、肌色量の割合のピークを検出する。肌色量の割合のピークが検出された場合には、その位置が人の顔に対する正面であると判断し、移動を終了する。そして、その位置で取り込まれた画像データが顔認識部１４に渡され、顔認識部１４は渡された正面顔画像を用いることによって高精度の顔認識処理を行うことが可能となる。
また、ＧＡ（Genetic Algorithm,遺伝子アルゴリズム）法を用いて、隔散的位置で画像を取り込みながら顔の正面方向を求める方法をとっても良い。
【００３９】
次に、顔認識装置によって人の顔を認識する第２の手順について説明する。この第２の手順においても、顔認識装置が図２に示したような円周上を移動することを前提とする。そして、顔認識装置は初期位置から所定量ずつ移動しながら、それぞれの位置で入力画像を取り込み、前述の方法によって画像における肌色面積割合値を算出し、位置情報と肌色面積割合値とをペアで記録していく。図５は、そのように記録されたデータの構造を示す表図である。本実施形態では、顔認識装置は変位角１度毎に画像を取り込み、１度から３６０度まで３６０個の入力画像についてそれぞれの肌色面積割合値を記録している。例えば、図５に示すデータでは、変位角４４度の位置において肌色面積割合値が最大の「８８％」となっている。よってこの４４度の位置が人の顔に対する正面であると判断し、その位置で取り込まれた画像データが顔認識部１４に渡され、顔認識部１４は渡された正面顔画像を用いることによって顔認識処理を行う。
なお、それぞれの角度における肌色割合値には誤差が含まれることが多いため、そのような場合には変位角に対する値の変化を円滑化するようなフィルタリング処理を行った上で、最大の肌色割合値を検出するようにしても良い。
【００４０】
次に、顔認識装置によって人の顔を認識する第３の手順について説明する。この第３の方法では、入力画像データを分析することによって目、鼻、口などといった顔の構成要素を抽出し、それらの構成要素の配置を基に顔の向きを検出し、その顔の向きを基に顔正面画像を得るための移動量を算出する。図６は、そのような顔方向検出の原理を示す参考図である。入力画像データから、エッジフィルタリング処理およびテンプレートマッチング処理によって顔輪郭および顔の構成要素の輪郭を抽出し、画像上におけるそれらの位置関係によって撮像面に対する顔の方向を算出する。具体的には例えば、平面画像における顔輪郭の重心と、目と鼻と口の重心とのずれによって顔方向を算出する。
【００４１】
図７は、上記のような顔の構成要素に基づく顔方向検出を用いて顔認識を行う手順を示すフローチャートである。まず、入力画像を基に顔の構成要素を認識し、特徴の抽出を行う（ステップ３０１）。次に、上述した顔の構成要素の配置関係の分析により顔の方向の検出を行う（ステップ３０２）。次に、検出された顔方向を基に、正面画像を得るための目標位置を算出し、移動方向および移動量を決定する。ここで、移動すべき量が所定量以下かどうかによって、既に顔の正面画像が得られているかどうかを判定する（ステップ３０４）。ステップ３０４における「所定量」を適切に取ることによって、顔正面を捕らえる精度を上げる。また、この「所定量」が小さすぎることによるハンチングを起こさないように、予め設定しておく。もし移動すべき量が所定量よりも大きい場合は、実際に移動を行い（ステップ３０５）、ステップ３０１以降の処理を繰り返す。ステップ３０４において移動すべき量が所定量以下である場合には、それ以上移動せず、その位置で取り込まれた画像データが顔認識部１４に渡され、顔認識処理が行われる。この手法を用いることにより、髪の毛の色や量によって肌色面積割合値を基にした顔方向の検出が難しい場合にも、顔の正面の判断が可能となる。
【００４２】
次に、顔認識装置によって人の顔を認識する第４の手順について説明する。この第４の方法では、既知の顔方向によるテンプレート画像を用いる。図１１は、それぞれ異なる顔方向のテンプレート画像例を示す図である。図１１に示すそれぞれの画像は顔の正面に対して、＋９０度（ａ）、＋４５度（ｂ）、０度（ｃ）、−４５度（ｄ）、−９０度（ｅ）の角度のテンプレート画像である。これらのテンプレート画像を画像記憶部（テンプレート画像記憶部）に記憶しておき、画像入力部から入力された画像とこれらテンプレート画像との相関度を基に、入力画像の顔方向を決定する。また、このテンプレートマッチングによる方法を前述の勾配法あるいはＧＡ法とを組み合わせることによって、正面顔画像を得るようにしても良い。
また、髪の毛の色（黒、茶、ブロンド、赤等）の領域が、入力画像上の顔の左右両側に均等に存在することを以て正面画像であることを判断する手法を併用しても良い。
【００４３】
なお、図１１で示した５種類の方向に限らず、より細かいステップの角度で刻まれた多数の方向からの画像を用いて精度の向上を図っても良い。また、単一の人物だけでなく、複数人物のテンプレート画像を用意して広い範囲の特徴に対応できるようにしても良い。さらに、テンプレートマッチングをする際に、複数のサンプル顔画像の特徴の平均値をとった平均顔のテンプレートを用いても良い。またさらに、モザイク処理や空間方向の平滑化処理を施したテンプレート画像を用いるようにしても良い。
【００４４】
以上、移動により顔の正面画像を得て高精度の顔認識処理を行うための第１〜第４の手順について説明したが、取得した顔画像の状態または顔方向の検出状態に応じてこれら複数の方法を切り替えて使用するようにしても良い。なお、顔方向の検出状態とは、撮像角度による肌色量のピーク性の鋭さや、顔の構成要素の検出の確度や、テンプレートマッチング時のマッチング確度等である。
【００４５】
次に、画像入力部を移動させる手段について説明する。図８は、本実施形態による顔認識装置の外観を示す側面図（ａ）および正面図（ｂ）である。図８に示すように顔認識装置１には複数の車輪８１が設けられており、これらの車輪８１は駆動部によって駆動される。よって顔認識装置１全体が移動することが可能であり、顔認識装置に設けられている画像入力部１１もそれに伴って移動する。
【００４６】
図９は、画像入力部を移動させるための他の形態を示す側面図（ａ）および正面図（ｂ）である。図９において、画像入力部１１は、画像入力部移動用アーム９１〜９３および画像入力部用移動用ジョイント９４〜９７によって構成される多関節系の先に備え付けられている。従って、移動制御部の制御によって駆動部がこの多関節系を駆動することにより、アームの届く範囲内で画像入力部１１の位置および向きを自由に変えることができる。なお、図９に示す顔認識装置は車輪も持っており、顔認識装置１の位置を静止したまま画像入力部１１の位置を移動させるだけでなく、顔認識装置１全体の位置と画像入力部１１の位置とを同時に移動させることも可能である。
【００４７】
図１０は、画像入力部１１が取り付けられた自動車の運転者席を示す参考図である。画像入力部１１は、自動車ルーフに設けられたレールに沿って移動できるようになっており、そのような移動によって所定範囲内の任意の方向から運転者席の顔の画像を取得できる。従って、運転者の顔の位置や向きが変化した場合にも、画像入力部１１が顔を追従することができる。画像入力部１１は、可視光線画像だけでなく赤外線画像をも入力することができるようになっており、夜間走行時やトンネル内走行時にも運転者の顔画像を取り込むことができる。そして、取得された画像データを基に、図１０には示されてない顔方向検出部が運転者の顔方向を検出し、同じく図示されてない顔認識部が顔の認識を行う。このように自動車に本発明の顔認識装置を設けることにより、顔によって運転者を識別したり、顔の表情を基に運転者の疲労度や覚醒度を検出することが可能となる。なお、運転者に限らず、同乗者を撮影してその顔を認識できるようにしても良い。
【００４８】
なお、画像入力部１１の移動の手段は上記のような、車輪によるものや、作業用アームによるものに限定されない。他の例としては、二脚による歩行、四脚による歩行、その他多脚によるもの、無限軌道によるもの、浮上して移動するものなどでも良い。
【００４９】
また、上記実施形態では、頭部が常に画像入力部の撮像面に写っていることを前提としているが、頭部領域を決定し画像入力部を移動させるような処理を加えることによって、予め頭部が写ってない状態から開始して顔を認識できる位置に移動するようにしても良い。また、画像を基にするだけでなく、人が口から発する声をステレオマイクロフォンを用いて検知し、２本のマイクロフォンにおける音圧差を基に人の正面を判断し、顔の正面画像を得て認識処理を行うようにしても良い。また、顔認識装置に発音手段を設けて、顔認識装置から人に対して声をかけることによって人が正面を向くようにしむけて、顔の正面画像を得るようにしても良い。
【００５０】
上記のように移動手段を有する顔認識装置を用いて、ロボット、特に人間型ロボットやペット型ロボットや自律作業ロボットを構成した場合、移動手段によって人間の正面に回り込めるようになるため、人間との自然な位置関係でのコミュニケーションを実現することができ、また結果的に顔正面画像を取得し、顔認識および顔識別の精度を向上させることが可能となり、例えば、特定の人間の指示のみに従うロボットを実現することができる。
【００５１】
上述の顔認識装置は、内部にコンピュータを用いて構成しても良い。この場合、上述した画像取り込み、顔方向検出、移動制御、顔認識の各過程またはこれらの過程の一部は、プログラムの形式でコンピュータシステムの記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータシステムの記録媒体とは、フロッピーディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気ハードディスク、半導体メモリ等をいう。
【００５２】
【発明の効果】
以上説明したように、請求項１または請求項２の発明によれば、入力された画像データを基に顔の方向を検出することが可能であり、人間の感覚としてコミュニケーションをとるのに自然と感じられる位置に移動して顔の認識を行うことが可能となるため、利用者にとって親和性が高く、扱い易い装置となる。また、顔正面の画像を選択的に用いて顔認識の処理を行うことができるため、顔認識の精度を向上させることが可能となる。また、これらの発明によれば、顔認識装置が自律的に画像入力部を移動させることによって異なる複数の方向から撮像し、正面画像を得ることが可能であるため、顔を用いた認証等においても人がわざわざ位置または向きを変えることによって画像入力部に顔を向ける必要がない。また、顔の肌の色を検出してその面積が大きくなるような方向に画像入力部を移動させる制御を行うため、比較的短時間で顔の正面画像を得ることが可能となる。
【００５３】
また、参考実施例によれば、例えば、人の周囲を一周して全方位からの画像を取得するなど、所定範囲を網羅的に移動して、顔の肌の色を検出してその面積の割合が最大となる画像を用いるため、確実に顔の正面画像を得ることが可能となる。
【００５４】
また、参考実施例によれば、画像上での顔の構成要素の重心を基に顔方向を検出するため、衣類が顔の一部を覆っている場合や、頭髪の状態などによって、色情報だけから顔方向を検出することが困難な場合にも正確に顔方向を検出することができる。
【００５５】
また、参考実施例によれば、既知の様々な方向から見た顔の画像を予めテンプレート画像として記憶しておき、入力画像とテンプレート画像との相関度によって顔方向を検出するため、頭髪の状態などによって、色情報だけから顔方向を検出することが困難な場合にも正確に顔方向を検出することができる。
【００５６】
また、参考実施例によれば、入力された画像の状態に応じて、顔方向検出の方法を切り替えるため、状況ごとに適した方法で顔の正面の画像を得ることができるようになる。
【図面の簡単な説明】
【図１】この発明の一実施形態による顔認識装置の機能構成を示すブロック図である。
【図２】同実施形態による顔認識装置の位置、移動範囲、および移動方向を示す平面図である。
【図３】同実施形態による顔認識装置における顔方向検出部の詳細機能構成を示すブロック図である。
【図４】同実施形態による顔認識装置における顔方向検出の手順を示すフローチャートである。
【図５】同実施形態による顔認識装置における顔方向検出のための変位角と肌色面積値の関係を保持するデータの構造を示す表図である。
【図６】同実施形態による顔認識装置において顔の構成要素の配置関係により顔方向を検出する原理を示す参考図である。
【図７】同実施形態による顔認識装置において顔の構成要素の配置関係を基に検出された顔方向を用いて顔正面に移動する手順を示すフローチャートである。
【図８】同実施形態による顔認識装置の外観を示す側面図（ａ）および正面図（ｂ）である。
【図９】同実施形態による顔認識装置の外観を示す側面図（ａ）および正面図（ｂ）である。
【図１０】顔認識装置が取り付けられた自動車を示す参考図である。
【図１１】テンプレート顔画像を示す図である。
【符号の説明】
１顔認識装置
１１画像入力部
１２画像取込部
１３画像記憶部
１４顔認識部
１５顔方向検出部
１６移動制御部
１７位置検出部
２０駆動部
２１前後進モータ
２２操舵モータ
５０肌色検出部
５１ＲＧＢ変換部
５２明度・色度記憶部
５３比較部
５４肌色面積割合算出部
６０設定値入力部
８１車輪
９１，９２，９３画像入力部移動用アーム
９４，９５，９６，９７画像入力部用移動用ジョイント

Claims

画像入力部を備え、この画像入力部より入力される画像データを基に顔の認識処理を行う顔認識装置において、
所定の円周に沿って前記画像入力部の空間に対する位置および向きを移動させるための駆動部と、
前記画像データを基にこの画像に写された顔の方向を検出する顔方向検出部と、
前記顔方向検出部が検出した顔方向に基づいて前記駆動部を制御する移動制御部と、
を備え、
前記移動制御部は、設定されている移動方向に前記画像入力部を所定量だけ移動させて前記画像データの頭部領域における所定の色の割合が前回より増えたか否かを判断することにより前記所定の色の割合が多くなる方向に前記画像入力部が移動するように前記駆動部を制御し、
前記顔方向検出部は、前記割合のピークを検出し、このピークが検出されたときの画像データを基に顔の認識処理を行う
ことを特徴とする顔認識装置。
画像入力手段から入力された画像データを基にこの画像に写された顔の方向を検出する第１のステップと、
検出された顔の方向に基づいて所定の円周に沿って前記画像入力手段の空間に対する位置および向きを移動させる第２のステップと、
顔方向が正面である画像データを特定する第３のステップと、
この第３のステップにおいて特定された画像データを基に顔の認識処理を行う第４のステップと
を有し、
前記第１のステップにおいては、前記画像データの頭部領域における所定の色の割合によって顔の方向を検出し、
前記第２のステップにおいては、設定されている移動方向に前記画像入力部を所定量だけ移動させて前記割合が前回より増えたか否かを判断することにより前記所定の色の割合が大きくなる方向に移動の制御を行い、
前記第３のステップにおいては、前記割合のピークを検出することによって顔方向が正面であることを特定する
ことを特徴とする顔認識方法。