JP4611575B2 - 本人認証用の顔画像照合装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は本人認証用の顔画像照合装置に関し、特に複数の参照用画像を生成する本人認証用の顔画像照合装置に関する。
【０００２】
【従来の技術】
近年、高度のセキュリティーが必要とされる施設において利用者の入退出を管理する場合や機密データへのアクセスを制限する場合に、身体的特徴をもとに個人を識別するいわゆるバイオメトリクスの手法が利用されている。識別には、指紋、眼球の虹彩、顔等すべての人で異なる身体的特徴が用いられる。
【０００３】
人間の顔画像を用いた顔画像照合装置においては、ビデオカメラ等により撮影された顔画像と予め登録しておいた顔画像とを比較して本人かどうかの認証が行われる。
【０００４】
顔画像照合装置が施錠システムに用いられたときに、照合者が本人と判断された場合には、電気錠の解除信号を出力し施設等の入退室を許可する。一方、本人でないと判断された場合には照合を行った者を詐称者と判断し、管理人室や警備室等に警報信号を出力する。顔画像照合装置の利点は、不正利用の場合にビデオカメラの履歴をみることにより不審者の特定が容易であることがあげられる。
【０００５】
一方、顔画像照合装置には次のような問題がある。認証時にビデオカメラで撮影される顔画像は、その時々で変動する照合者の姿勢や周囲の照明状態等に応じて多様であり、そのために、たとえば、照合者が本人であるにもかかわらず、照合時の画像が登録時の画像と著しく異なってしまって、照合装置が本人を棄却してしまう等の問題があった。一般に、個人照合装置の性能を評価する尺度として、本人棄却率或いは詐称者受理率の２種類の誤り率が用いられる。本人棄却率とは、登録している本人であるにもかかわらず、詐称者と判断されてしまう確率である。詐称者受理率は、認証対象となる人物が照合装置に登録されていないにもかかわらず、登録されている人物と判断してしまう確率である。これらの誤り率は一般的にトレードオフの関係にあり、一方の誤り率を低くすると他方の誤り率が高くなる。これらは可能な限り低減されることが望ましい。
【０００６】
そこで、上記誤り率を低減するために、従来Ｈ４−２５６１８５号公報に見られる技術が開示されている。そこでは、まず、表面計測装置を用いて得た登録人物の３次元画像データからの頭部の３次元モデルを構成する。次に、その３次元モデルの姿勢を変化させたり、光源位置、及び光源属性を表わすパラメータを変化させて、上記モデルを正面から見た２次元画像を複数生成する。生成された複数の２次元画像を参照画像として登録しておき、認証時に入力される画像と比較して本人認証が行われる。上記従来技術では、参照画像が複数用意されているので、ある程度までは誤り率を低くすることが可能である。
【０００７】
【発明が解決しようとする課題】
しかしながら、表面計測装置は通常のカメラ以外に特殊な計測装置を用いる必要があり、その取り扱いは必ずしも容易とはいえなかった。また、照合時のビデオカメラに対する照合者の姿勢や、照明条件以外にも、たとえば髪型の変化や、化粧の変化等の影響により照合装置の誤り率が高くなるといった問題があった。
【０００８】
本発明は上記課題に鑑みてなされたものであり、その第１の目的は本人登録が容易に行える顔画像照合装置を提供することにある。
【０００９】
また本発明の第２の目的は、誤り率の低い顔画像照合装置を提供することにある。
【００１０】
【課題を解決するための手段】
本発明の一態様の顔画像照合装置は、予め登録されている人物の認証に用いられる顔画像照合装置であって、認証対象として入力される２次元顔画像である対象顔画像から抽出される対象データと、前記対象顔画像の照合に用いられる２次元顔画像である参照顔画像から抽出される参照データと、を照合して本人認証を行う顔画像照合装置において、本人登録に用いられる本人の２次元顔画像を入力するための本人登録画像入力手段と、標準的な顔の３次元形状を表わす標準フレームモデルと、認証時に想定できる顔の変動要因を考慮した複数のレンダリング条件と、を予め記憶する記憶手段と、前記本人の２次元顔画像と前記標準フレームモデルとを合成し、本人の顔に対応した３次元顔モデルを生成する個人モデル生成手段と、前記３次元顔モデルから前記記憶手段に記憶された前記複数のレンダリング条件に従って複数の前記参照顔画像を生成する参照顔画像生成手段と、前記参照顔画像生成手段が生成した複数の前記参照顔画像のそれぞれから抽出される参照データのそれぞれと、前記対象顔画像から抽出される対象データと、を照合した結果を用いて、前記対象顔画像が前記本人の顔画像であるか否かを判定する照合手段と、を備えることを特徴とする本人認証用の顔画像照合装置である。
本発明の一態様の顔画像照合装置において、前記複数のレンダリング条件は、前記３次元顔モデルの姿勢、光源位置、及び光源属性の少なくともいずれか１つを含むものであってよい。
本発明の一態様の顔画像照合装置において、前記参照顔画像生成手段は、顔の各変化パターンに基づいて前記３次元顔モデルを変形する個人モデル変形手段を備え、変形された前記３次元顔モデルをもとに複数の前記参照顔画像を生成可能とし、前記変化パターンは、化粧の種類に応じた色情報及びその分布形状に関する制御情報と、喜怒哀楽に対応した表情筋の変化に関する制御情報と、を含むものであってよい。
本発明の一態様の顔画像照合装置において、さらに、前記認証顔画像からその顔の肌の色成分を算出する肌色算出手段と、前記肌の色成分をもとに前記認証顔画像において肌色でない領域を特定し、その領域を照合対象範囲から除外する除去手段と、を備えていてよい。
本発明の一態様の顔画像照合装置において、前記肌色算出手段は、前記認証顔画像から肌色に相当する表色系の色成分が所定範囲内にある領域を抽出し、この領域における輝度の平均値を前記肌の色成分として算出するものであってよい。
なお、本段落の次の文から段落［００１９］までの記載は、出願当初の［特許請求の範囲］の記載に対応する。
上記目的を達成するために、本発明に係る本人認証用の顔画像照合装置は、予め登録されている人物の認証に用いられる顔画像照合装置であって、認証対象として入力される２次元顔画像である対象顔画像から抽出される対象データと、前記対象顔画像の照合に用いられる２次元顔画像である参照顔画像から抽出される参照データと、を照合して本人認証を行う顔画像照合装置において、本人登録に用いられる本人の２次元顔画像を入力するための本人登録画像入力手段と、標準的な顔の３次元形状を表わす標準フレームモデルを記憶する標準モデル記憶手段と、前記本人の２次元顔画像と前記標準フレームモデルとを合成し、本人の顔に対応した３次元顔モデルを生成する個人モデル生成手段と、前記３次元顔モデルから複数のレンダリング条件に従って複数の前記参照顔画像を生成する参照顔画像生成手段と、を備えることを特徴とする。
【００１１】
上記構成によれば、複数のレンダリング条件に従って複数の参照顔画像を生成することができるので、対象顔画像の人物の姿勢や、照明条件が変動した場合でも誤り率を低減することができる。ここで、レンダリング条件は、前記３次元顔モデルから参照顔画像を生成するために用いられる条件であって、３次元顔モデルの姿勢、光源位置、及び光源属性等に関するものである。
【００１２】
本人の顔に対応した３次元顔モデルは、本人の２次元顔画像と標準フレームモデルとを合成することにより生成されるが、本人の２次元顔画像は、表面計測装置等特殊な計測装置を用いる必要がなく、本人登録を容易に行うことができる。前記標準フレームモデルは、標準的な人物の顔の３次元形状をあらわす３次元モデルであって、ワイヤーフレームモデル或いはサーフェスモデル等が用いられる。また、標準フレームモデルはその表面に標準的な顔画像を有するよう構成してもよい。
【００１３】
本発明の別の態様では、顔の各変化パターンに基づいて前記３次元顔モデルを変形する個人モデル変形手段を備え、変形された前記３次元顔モデルをもとに複数の前記参照顔画像を生成可能とする。上記変化パターンは、対象顔画像における人物の姿勢や、照明条件以外の変動要因に関するもので、たとえば顔の表情や、化粧（アイライン、口紅等）等に関するものである。上記変化パターンに基づき複数の参照顔画像を生成することができるので、対象顔画像の顔の表情や、化粧（アイライン、口紅、眉書等）等に関する誤り率を低減することができる。好適には、前記変化パターンを設定するための変化パターン設定手段を備える。
【００１４】
さらなる態様では、本発明に係る本人認証用の顔画像照合装置は、前記参照顔画像生成手段により生成された複数の参照顔画像を提示する提示手段と、提示された複数の参照顔画像のなかから照合に用いない顔画像を指定するための棄却画像指定手段と、を備え、前記棄却画像指定手段で指定された参照顔画像を棄却する。上記構成によれば、提示された参照顔画像のなかから照合時に必要と思われる参照顔画像のみを残すことができるので、登録時に余分な参照データを用いる必要がなく効率良く認証をおこなうことができる。
【００１５】
望ましくは、前記標準モデル記憶手段は、複数の標準フレームモデルを記憶しており、前記個人モデル生成手段は、本人の属性情報を入力するための属性情報入力手段と、前記属性情報に基づいて前記複数の標準フレームモデルのうちからひとつの標準フレームモデルを選択する標準モデル選択手段と、を備えることを特徴とする。属性情報は、たとえば本人の顔の輪郭形状、年齢、性別等であって、上記構成によれば、それら属性情報に応じて好適な標準フレームモデルを選択することができる。
【００１６】
さらに、前記個人モデル生成手段は、前記本人の２次元顔画像から顔の所定の部位の画像を抽出する抽出手段と、前記所定の部位の画像をもとに前記標準フレームモデルの３次元形状を変形する手段と、を備えることを特徴とする。
【００１７】
上記構成によれば、照合に必要な部位の画像あみを用いて標準フレームモデルの変形を行えるので処理スピードが向上する。
【００１８】
また、上記第２の目的を達成するために、本発明に係る本人認証用の顔画像照合装置は、予め登録されている人物の認証をおこなう顔画像照合装置であって、入力された認証顔画像を登録されている参照顔画像と照合して本人認証をおこなう顔画像照合装置において、前記認証顔画像からその顔の肌の色成分を算出する肌色算出手段と、前記肌の色成分をもとに前記認証顔画像において肌色でない領域を特定し、その領域を照合対象範囲から除外する除去手段と、を備えることを特徴とする。
【００１９】
上記構成によれば、肌色算出手段により算出した認証者の顔の肌色成分を用いて、顔画像の肌色でない部分であって、照合時の誤り率の原因となるもの、例えば眼鏡、髪、髭等に対応する画像領域を照合対象範囲から除外することができる。
【００２０】
【発明の実施の形態】
以下、本発明の実施の形態（以下実施形態という）を、図面に従って説明する。
【００２１】
本実施形態に係る本人認証用の顔画像照合装置は、出入口に電気錠が設置されている部屋へのアクセス制御システムに用いられるものである。
【００２２】
[第１の実施の形態]
図１は、第１の実施形態に係る顔画像照合装置１０を備えたアクセス制御システム１２の全体構成を表すブロック図である。
【００２３】
符号１４は入力手段であり、利用者によって、アクセス制御システム１２に備えられたボタン（図示せず）の押下あるいは超音波センサ（図示せず）等により利用者の接近を検知し、アナログあるいはデジタル出力が可能なカメラ１６によって撮影された人物の顔画像の映像信号を受信し、制御手段１８に出力する。
【００２４】
符号２０は選択入力手段であり、テンキー２２等により利用者が提示された画像を選択、あるいは個人の属性情報（性別や年齢等）を入力した信号を受信し、制御手段１８に出力する。ここで、テンキー２２の代わりにタッチパネル等を使用しても良い。
【００２５】
符号２４はメモリで構成される記憶手段であり、後述するように３次元顔モデルから複数の参照顔画像を生成する際に用いられるレンダリング条件、３次元顔モデルを変形するための変化パターン、標準的な顔の３次元形状及びその表面に顔画像を備えた複数の標準モデル、及びこれらを用いて生成された複数の参照顔画像を記憶している。また照合時に用いられる参照顔画像から抽出した本人の顔の特徴量（参照データ）を記憶する。ここで、標準モデルとは、カメラに人物が正対した状態で、両目を結ぶ直線の傾き及び両目の間隔を用いて所定の大きさに正規化された複数人物の顔画像から得られたワイヤーフレームモデルを年齢や性別の構成比率を考慮して平均化することにより作成した３次元顔モデルであって、その表面に平均化された顔画像を備えた３次元モデルである。
【００２６】
制御手段１８は、登録手段２６，照合手段２８，電気錠制御手段３０，特徴量抽出手段３２から構成される。
【００２７】
登録手段２６は本人登録時に用いられ、入力された一枚の顔画像に対して、予め記憶されている標準モデル、レンダリング条件、変化パターンに基づき、複数の参照顔画像を生成し記憶手段２４に記憶する。
【００２８】
照合手段２８は人物の照合時に用いられ、記憶されている個々の参照顔画像と照合時に入力された認証対象の対象顔画像とを照合し、顔の各部位毎に両者の類似度を複数算出する。算出された類似度を総合的に判断し、登録者本人の顔画像である場合には電気錠制御手段３０及び出力手段３４を介して電気錠３６を解錠する。本人の顔画像でない場合には電気錠の解錠を行わず、例えば入力された顔画像を撮影された日時情報と共に記憶手段２４に記憶する。
【００２９】
特徴量抽出手段３２は、照合時に入力された認証対象の対象顔画像から抽出され照合に用いられる特徴量（対象データ）を抽出する。参照顔画像から抽出された特徴量（参照データ）は、予め記憶手段２４に記憶され、照合時に入力される対象顔画像から抽出した特徴量と比較される。特徴量としては、例えば顔画像に含まれている目や口といった顔の各部位の輝度情報、エッジ強度、エッジ勾配等を用いる。また顔の所定の部位毎ではなく、顔画像全体から抽出された特徴量を用いることも可能である。
【００３０】
符号３４は出力手段であり、登録手段２６により生成された複数の参照顔画像をモニター３８に表示したり、電気錠制御手段３０の結果に基づき電気錠３６の制御を行う。
【００３１】
以上のように構成された顔画像照合装置１０の本人登録モードの動作について図２を用いて説明する。図２には登録手段２６の詳細な構成を示す。
【００３２】
ここで本人登録モードとは、本人登録時に入力される本人顔画像及び前記本人顔画像の変動要因を考慮した顔画像を参照顔画像として照合装置１０に登録するモードのことである。本モードを使用する場合は、照合装置１０の権限を持つ管理者が通常の照合動作を行うモードからモードを切り換えることにより移行する。
【００３３】
最初に、登録者本人の２次元顔画像をカメラ１６等で撮影する。次に、撮影された画像をモニター３８（図１参照）等に表示しておき、登録者がカメラに正対した状態でその顔が傾いていないことを登録者本人か管理者が目視で判断し、その状態における画像を入力手段１４を介して登録手段２６に入力する。その際モニター３８に、顔が傾むいた顔画像が入力されない様に、例えば顔の両目の位置の基準となる水平線等を表示するようにしてもよい。次に、入力された顔画像を両目を結ぶ直線の傾き及び両目の間隔を用いて所定の大きさに正規化する。以後、この正規化された顔画像を本人登録画像と呼ぶ。この本人登録画像に対して認証時に想定できる顔の変動要因を考慮して複数の参照顔画像が生成される。
【００３４】
まず、部位抽出手段４２により、本人登録画像及び標準モデルが有する顔画像から顔の頭部領域及び各部位領域を抽出する。
【００３５】
例えば、顔画像から頭部領域を抽出する場合は、顔画像と事前に撮影した人物が写っていない背景画像との差分画像を作成し、これを所定の閾値を用いて二値化する。得られた２次元画像から垂直及び水平方向のヒストグラムを算出することにより、登録者の二値化頭部領域画像が得られる。この画像と顔画像との論理積を演算することにより、顔画像中から頭部領域を抽出することができる。
【００３６】
次に、目領域を抽出する。顔画像の中で目は水平エッジが強いという特徴を持っているので、エッジ強度と頭部領域内での相対的な位置関係（例えば頭部領域の水平方向における中央より上であってかつ頭部領域の中央に位置する垂直方向の直線に対してほぼ対称に位置し、水平エッジが強い等）を組み合わせることにより、一定面積の方形領域として目領域を抽出する。
【００３７】
次に、鼻及び唇領域を抽出する。これらに関しては、目領域からの相対的な位置（例えば左右の目領域の中央下部に所定の距離離れて位置している等）を考慮し、一定面積の方形領域として抽出する。
【００３８】
尚、上記各部位領域は、頭部領域内において、予め記憶されている平均的な部位領域のテンプレートを用いてずらしマッチングを行い、類似度が最も高い領域を対象部位が存在する領域とすることも可能である。
【００３９】
次に、３次元顔モデル生成手段４４は、予め記憶されている標準モデルを、利用者の頭部領域、各部位領域の形状及びそれらの相対的な位置関係を基にモデルの対応部分を変形して登録者本人の３次元顔モデルを生成する。
【００４０】
具体的には、標準モデルが有する顔画像の頭部領域の大きさ、及び各部位領域から抽出したエッジの大きさ及びそれらの位置関係が、本人登録画像のものと一致するように非線形変換を施した後、標準モデルの各部位領域を本人登録画像の相当する部位領域で入れ換える。この結果、本人登録画像の３次元顔モデルが得られる。
【００４１】
次に、参照画像生成手段４６では、生成された３次元顔モデルと予め記憶されているレンダリング条件、及び変形パターンを考慮して、標準モデルと同じ視点から見た２次元画像である参照顔画像を生成する。
【００４２】
ここで、レンダリング条件として考慮されるものは、登録者本人の３次元顔モデルの姿勢、光源位置、及び光源属性等といった変動要因である。例えば姿勢による変動を考慮する場合には、３次元顔モデルをピッチ、ヨー、ロール方向に５°刻みで±１５°まで頭部を回転させる条件を用いて、計１９個の参照画像を生成する。
【００４３】
また、変形パターンとして考慮される顔の変動要因は、化粧及び表情によるものである。変形パターンの具体的な内容は、化粧の場合、例えば目、唇、眉の部位毎にアイライン、口紅、眉書等に対する化粧の種類（色情報及びその分布形状等）に関する制御情報である。表情変化の場合には、例えばワイヤーフレームモデルにおける喜怒哀楽に対応した表情筋の変化に関する制御情報である。これら制御情報に基づいて参照画像生成手段４６は３次元顔モデルを変形して複数の参照顔画像を生成する。
【００４４】
参照顔画像提示手段４８は、参照顔画像生成手段４６により生成された複数の参照顔画像をモニター３８等を用いて登録者に提示する。登録者がテンキー等により自分の趣向（例えば口紅の色や形状、カメラに対してやや左向きに構えやすい等）を考慮して照合に用いる参照顔画像をテンキー等により選ぶ。この情報は参照顔画像指定手段５０に入力され、参照顔画像登録手段５２により参照顔画像として本人登録画像と共に記憶手段２４に記憶される。一方、選ばれなかった参照顔画像は照合時に用いられないものとして棄却される。参照顔画像指定手段５０は、棄却するべき参照顔画像を選択するようにしても良い。
【００４５】
なお、記憶手段２４に記憶されている化粧（口紅、アイライン、眉書等）や表情といった変化パターン、あるいはこれらを付与した参照顔画像をモニター３８上に提示し、利用者に自分の趣向に合ったものをテンキー２２等により選択させることも可能である。
【００４６】
また、登録者にテンキー２２等により性別や年齢等の属性情報を入力させることにより、例えば登録者が女性の場合には年代及び流行に応じて提示する化粧のパターンを変える等、適切な変形パターンを選ぶことにより、効率的に参照顔画像を生成することも可能である。
【００４７】
次に各特徴量がどの程度その人の個人性を表しているのかを表す量として、照合時の類似度算出に用いる個人毎の重み係数を求める。
【００４８】
具体的には、複数の参照顔画像の各部位毎に求めた特徴量から分散を求め、この値が小さい特徴量に対して大きな重みを与える。これ以外に、別途用意した詐称者データベースを用いてfisher法やSupport Vector Machineといった一般的なパターン識別器に登録者の参照顔画像から求めた特徴量及びデータベースに記憶されている登録者以外の第三者の顔画像から求めた特徴量を入力し、これらの顔画像の識別率が最大となるような重みを与えることも可能である。
【００４９】
抽出された特徴量を照合時に用いる参照データとして、登録者毎に得られた重み係数と共に記憶手段２４に記憶する。
【００５０】
登録処理が終了すると、管理者は動作モードを照合モードに切り替える。
【００５１】
次に、照合時の処理について説明する。
【００５２】
まず、認証対象の対象顔画像を入力し、部位抽出手段４２により、複数の部位領域を抽出してこれらの特徴量を算出する。
【００５３】
算出された特徴量と各参照顔画像から求めた特徴量との類似度を算出し、これらに登録時に求めた個人重み係数を掛け合わせて加算することにより、参照顔画像毎に対象顔画像との類似度を算出する。
【００５４】
具体的には、登録時に生成した１９個の姿勢の異なる参照顔画像及び対象顔画像から各部位領域画像を抽出し、画像に含まれる画素間の輝度差分や相関を算出することにより部位毎に類似度（以後、部位類似度と呼ぶ）を求める。
【００５５】
全ての部位類似度に対し、登録時に求めた個人重み係数を掛け合わせたものの総和を求め、これを参照顔画像全体における類似度（以後、顔画像類似度と呼ぶ）とし、顔画像類似度を全参照顔画像に対して算出し、その後、得られた複数の顔画像類似度を用いて、総合判定を行う。
【００５６】
総合判定の結果、本人と判定された場合には、例えば扉の電気錠に対して解除信号を送出する。本人と判定されなかった場合には、電気錠の解除等は行わない。
【００５７】
また、照合時に本人と判定された顔画像を用いて、参照顔画像及び個人重み係数を更新することも可能である。
【００５８】
例えば、本人として受理された対象顔画像が複数の参照顔画像のうちどの画像に最も類似しているかを調べ、最も類似している参照顔画像を本人登録画像として再度上記登録処理を繰返すことにより参照顔画像の登録更新を行う。この結果、参照顔画像が実際に本人認証された顔画像（実変動顔画像）に近いものに置き換えられる為、より認証時に実現される顔画像の変動を反映した参照顔画像を得ることができる。
【００５９】
また、例えば参照顔画像毎に最も類似していると判定された頻度を記憶し、頻度の高い参照顔画像から得られる特徴ほど重視して重み係数を再度計算することにより個人重み係数の更新を行うことも可能である。
【００６０】
尚、本実施例では、複数の３次元モデル及び顔画像を平均化することにより求めた１つの標準モデルを用いたが、標準モデルはこれに限定されるものではなく、例えば性別や年代、あるいは典型的な顔の３次元輪郭形状毎に平均化したモデルを複数用いることも可能である。この場合には、登録時に利用者の属性情報（例えば性別や年齢、鼻の高さ等）をテンキー２２等により入力し、入力された属性情報を基に複数ある標準モデルの中から一つのものを選択し、その標準モデルに基づいて参照顔画像を生成するようにしてもよい。
【００６１】
また、本実施例においては、記憶手段２４は複数の参照顔画像を記憶していたが、本人登録画像と、照合に用いられる参照顔画像を指定する情報のみを記録しておき、認証する度に、前記情報で指定された参照顔画像を生成するようにしてもよい。また、参照データのみを記憶する様にしてもよい。こうすれば、メモリの容量を効率的に使用することができる。
【００６２】
[第２の実施の形態]
次に、認証対象顔画像に含まれる髭や眼鏡、髪型といった変動要因となる画像領域を顔画像の肌色情報をもとに除外する例について説明する。
【００６３】
図３は、第２の実施の形態にかかる顔画像照合装置１０を備えたアクセス制御システム１２の全体構成を表すブロック図である。尚、図１と共通する部分については同一符号を付して説明を省略する。
【００６４】
符号１４は入力手段であり、利用者によって、アクセス制御システム１２に備えられたボタン（図示せず）の押下あるいは超音波センサ（図示せず）等により利用者の接近を検知し、アナログあるいはデジタル出力が可能なカラーカメラ５４によって撮影された人物の顔画像の映像信号を受信し、制御手段１８に出力する。
【００６５】
符号２４はメモリで構成される記憶手段であり、参照顔画像及び該顔画像から抽出した照合に用いる特徴量（参照データ）を記憶する。
【００６６】
符号１８は制御手段であり、登録手段２６，照合手段２８，電気錠制御手段３０，特徴量抽出手段３２、変動除去手段５６から構成される。
【００６７】
登録手段２６は、登録時に入力された顔画像を本人登録顔画像として記憶手段２４に記憶する。変動除去手段５６は、顔画像から算出した肌色情報を用いて、肌色以外の画像領域を除去することにより、髭や眼鏡、髪型といった変動要因の除去を行う。
【００６８】
次に、図４を用いて、変動除去手段５６について詳細に説明する。
【００６９】
部位抽出手段５８は、利用者によるボタンの押下あるいは別途設置した超音波センサ等により利用者の接近を検知し、カラーカメラにより撮影された認証対象となるカラーの対象顔画像から、目や口といった部位を含んだ複数の画像領域を抽出する。具体的な抽出方法については、第１の実施形態における部位抽出手段４２のものと同様であるので、ここでは説明を省略する。
【００７０】
尚、この段階では眼鏡や髭等の影響が考えられるので、正確に上記顔の所定部位を抽出できない可能性がある。しかし、本処理の目的は基準肌色算出手段６２にて顔の画像の基準肌色の色成分を算出するための領域を求めることにあるので、例えば各部位領域のテンプレートを大きめに作成し、部位の概略位置が抽出できるようにしておくことが好ましい。
【００７１】
色分解手段６０は、入力手段１４より得られた認証対象となるカラー対象顔画像を、各表色系に対応した色フィルターを用いて複数の表色系（YIQ表色系、XYZ表色系、HVS表色系等）に分解し、各色成分毎に輝度情報を抽出する。この結果、各表色系の成分毎に輝度情報、すなわち各色空間上での座標値を得ることができる。
【００７２】
基準肌色算出手段６２では、認証者の顔の肌色成分を算出する。顔の肌色は、色白、色黒、赤ら顔等個人により千差万別であるため、肌色の色成分を固定したのでは、高精度に肌色領域と非肌色領域を抽出してこれを分離することができない。そこで、本実施形態に係る顔画像照合装置においては、個人毎に肌色の色成分を抽出し、この色成分を基準として肌色領域と非肌色領域との分離を行う。
【００７３】
具体的には、顔画像から肌色に相当する表色系（例えばＨＶＳ表色系）の色成分（例えばＨ成分（これを色相と呼ぶ））が所定範囲内にある領域を抽出し、この領域における輝度の平均値として基準肌色を算出する。
【００７４】
非肌色領域除去手段６４は、入力された認証対象となるカラー対象顔画像から部位抽出手段５８にて抽出された部位領域を除いた領域の各表色系における色成分と、前記基準肌色算出手段６２にて算出した認証対象者の顔の基準肌色の色成分とを比較し、色成分が所定の閾値以上となる画像領域を非肌色領域としてカラー対象顔画像より抽出する。この領域を基準肌色あるいは該領域近傍の色成分で置き換えることにより、顔画像から変動要因を除去する。
【００７５】
この結果、髪や髭、メガネフレームといった変動要因を対象顔画像から取り除くことができる為、参照顔画像と照合する場合により高精度に部位及び特徴量抽出を行うことができる。
【００７６】
以上述べたように、第１及び第２の実施形態においては、本人のみが登録されている場合を例に説明したが、これに限定されるものではない。複数人が登録されている場合には、全ての登録者の参照顔画像に対して総当たりで照合を行うことも可能である。また、登録人数が増えたり、あるいは変形パターンを大量に用意した場合等、照合処理に時間が掛かってしまう場合には、例えば照合に際して利用者が暗証番号を入力することにより特定個人の登録顔画像を選択し、これとの照合を行うことも可能である。
【００７７】
更に、照合時に入力された顔画像を撮影日時と共に履歴として保存すると共に、撮影された顔画像を記録した旨を音声あるいは画像にて利用者に提示することも可能である。この結果、詐称に対する抑止効果を期待することが可能となり、高いセキュリティーを確保することができる。また、万が一第三者による詐称が発生した場合であっても、保存された顔画像を犯人捜査に活用することが可能となる。
【００７８】
【発明の効果】
上記のように構成したので、本発明に係る本人認証用の顔画像照合装置は本人登録を容易に行えることができる。また誤り率の低い顔画像照合装置を提供することができる。
【図面の簡単な説明】
【図１】 第１の実施の形態にかかる顔画像照合装置を備えたアクセス制御システムの全体構成を表す図である。
【図２】 登録手段の構成を示した図である。
【図３】 第２の実施の形態にかかる顔画像照合装置を備えたアクセス制御システムの全体構成を表す図である。
【図４】 変動除去手段の構成を示した図である。
【符号の説明】
１０ 顔画像照合装置、１２ アクセス制御システム、１４ 入力手段、１６カメラ、１８ 制御手段、２２ テンキー、２４ 記憶手段、２６ 登録手段、２８ 照合手段、３０ 電気錠制御手段、３２ 特徴量抽出手段、３４ 出力手段、３６ 電気錠、３８ モニター、４２ 部位抽出手段、４４ ３次元顔モデル生成手段、４６ 参照顔画像生成手段、４８ 参照顔画像提示手段、５０ 参照顔画像指定手段、５２ 参照顔画像登録手段、５４ カラーカメラ、５６ 変動除去手段、５８ 部位抽出手段、６０ 色分解手段、６２ 基準肌色算出手段、６４ 非肌色領域除去手段 。

Claims (5)

1. 予め登録されている人物の認証に用いられる顔画像照合装置であって、認証対象として入力される２次元顔画像である対象顔画像から抽出される対象データと、前記対象顔画像の照合に用いられる２次元顔画像である参照顔画像から抽出される参照データと、を照合して本人認証を行う顔画像照合装置において、
   本人登録に用いられる本人の２次元顔画像を入力するための本人登録画像入力手段と、
   標準的な顔の３次元形状を表わす標準フレームモデルと、認証時に想定できる顔の変動要因を考慮した複数のレンダリング条件と、を予め記憶する記憶手段と、
   前記本人の２次元顔画像と前記標準フレームモデルとを合成し、本人の顔に対応した３次元顔モデルを生成する個人モデル生成手段と、
   前記３次元顔モデルから前記記憶手段に記憶された前記複数のレンダリング条件に従って複数の前記参照顔画像を生成する参照顔画像生成手段と、
   前記参照顔画像生成手段が生成した複数の前記参照顔画像のそれぞれから抽出される参照データのそれぞれと、前記対象顔画像から抽出される対象データと、を照合した結果を用いて、前記対象顔画像が前記本人の顔画像であるか否かを判定する照合手段と、
   を備えることを特徴とする本人認証用の顔画像照合装置。
2. 請求項１に記載の顔画像照合装置であって、
   前記複数のレンダリング条件は、前記３次元顔モデルの姿勢、光源位置、及び光源属性の少なくともいずれか１つを含むことを特徴とする本人認証用の顔画像照合装置。
3. 請求項１に記載の顔画像照合装置において、
   前記参照顔画像生成手段は、
   顔の各変化パターンに基づいて前記３次元顔モデルを変形する個人モデル変形手段を備え、
   変形された前記３次元顔モデルをもとに複数の前記参照顔画像を生成可能とし、
   前記変化パターンは、化粧の種類に応じた色情報及びその分布形状に関する制御情報と、喜怒哀楽に対応した表情筋の変化に関する制御情報と、を含むことを特徴とする本人認証用の顔画像照合装置。
4. 請求項１〜３いずれか１項に記載の顔画像照合装置において、さらに、
   前記認証顔画像からその顔の肌の色成分を算出する肌色算出手段と、
   前記肌の色成分をもとに前記認証顔画像において肌色でない領域を特定し、その領域を照合対象範囲から除外する除去手段と、
   を備えることを特徴とする本人認証用の顔画像照合装置。
5. 請求項４に記載の顔画像照合装置であって、
   前記肌色算出手段は、前記認証顔画像から肌色に相当する表色系の色成分が所定範囲内にある領域を抽出し、この領域における輝度の平均値を前記肌の色成分として算出することを特徴とする本人認証用の顔画像照合装置。

Images