Nothing Special   »   [go: up one dir, main page]

JP4645411B2 - 認証システム、登録システム及びプログラム - Google Patents

認証システム、登録システム及びプログラム Download PDF

Info

Publication number
JP4645411B2
JP4645411B2 JP2005314426A JP2005314426A JP4645411B2 JP 4645411 B2 JP4645411 B2 JP 4645411B2 JP 2005314426 A JP2005314426 A JP 2005314426A JP 2005314426 A JP2005314426 A JP 2005314426A JP 4645411 B2 JP4645411 B2 JP 4645411B2
Authority
JP
Japan
Prior art keywords
information
model
face
authentication
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005314426A
Other languages
English (en)
Other versions
JP2007122454A (ja
Inventor
寿夫 糊田
雄一 川上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2005314426A priority Critical patent/JP4645411B2/ja
Priority to US11/588,025 priority patent/US7925060B2/en
Publication of JP2007122454A publication Critical patent/JP2007122454A/ja
Application granted granted Critical
Publication of JP4645411B2 publication Critical patent/JP4645411B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Collating Specific Patterns (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、顔の認証技術に関する。
近年、ネットワーク技術等の発展によって電子化された様々なサービスが普及し、人に頼らない非対面での本人認証技術の必要性が高まっている。これに伴い、人物の生体特徴によって自動的に個人の識別を行うバイオメトリクス認証技術（生体認証技術）の研究が盛んに行われている。バイオメトリクス認証技術の一つである顔認証技術は、非接触型の認証方法であり、監視カメラによるセキュリティ或いは顔をキーとした画像データベース検索等、様々な分野での応用が期待されている。
現在、２枚の顔画像を用いた認証手法としては、顔の標準的な立体形状モデルを用いて、２枚の画像における顔向きを統一し、同じ向きとなった顔の所定部位の輝度情報を２枚の画像それぞれから取得し、当該輝度情報を比較して、２枚の画像の照合を行う手法が提案されている（特許文献１参照）。
特開２００４−２８８２２２号公報
しかしながら、上記手法は、取得した顔画像をその信頼性を評価せずそのまま認証に用いているため、その認識精度は十分に高いものではないという問題がある。
そこで、本発明は上記課題に鑑みてなされたものであり、さらに正確な認証動作を行うことが可能な技術を提供することを課題とする。
上記の課題を解決するため、請求項１の発明は、認証システムであって、認証対象者に関するステレオ画像に基づいて、前記認証対象者の顔における３次元形状情報を含む顔情報を生成する生成手段と、人の顔に関する標準的なモデルである標準モデルを前記顔情報を用いて変形し、前記認証対象者の顔に関する個別モデルを作成するモデル変形手段と、前記ステレオ画像において対応する特徴点間の相関値に基づき、前記特徴点の３次元座標の信頼度を算出する手段と、前記ステレオ画像中に複数存在する特徴点の信頼度を累積加算することにより前記個別モデルの完成度である第１のモデル完成度を算出する手段と、前記第１のモデル完成度が所定値を越えるまで前記ステレオ画像を繰り返し取得する制御手段と、前記第１のモデル完成度が所定値を越えた後に、前記認証対象者の特徴情報である第１の特徴情報を前記個別モデルから抽出する抽出手段と、予め登録されている比較対象者の特徴情報である第２の特徴情報を取得する手段と、前記第１の特徴情報と前記第２の特徴情報との類似度に加えて、前記第１のモデル完成度をも用いて前記認証対象者に関する認証動作を行う認証手段とを備えることを特徴とする。
また、請求項２の発明は、請求項１の発明に係る認証システムにおいて、前記所定値は、前記認証動作に要求される認証レベルに応じて設定されることを特徴とする。
また、請求項３の発明は、請求項１または請求項２の発明に係る認証システムにおいて、前記比較対象者のモデルの完成度である第２のモデル完成度を取得する手段と、前記第１のモデル完成度と前記第２のモデル完成度とを比較する比較手段と、前記認証手段によって前記認証対象者と前記比較対象者とが同一人物であると判定される場合において、前記比較手段によって前記第１のモデル完成度が前記第２のモデル完成度よりも高い完成度を有していると判断されるときには、前記第１の特徴情報を前記比較対象者の特徴情報として更新登録する更新手段とをさらに備えることを特徴とする。
また、請求項４の発明は、請求項３の発明に係る認証システムにおいて、前記顔情報には、前記認証対象者の顔における２次元情報も含まれ、前記第１のモデル完成度及び前記第２のモデル完成度は、３次元形状情報に関するモデル完成度と２次元情報に関するモデル完成度とをそれぞれ含み、前記第１の特徴情報及び前記第２の特徴情報は、前記３次元形状情報に基づく特徴情報と前記２次元情報に基づく特徴情報とをそれぞれ含み、前記比較手段は、前記第１のモデル完成度と前記第２のモデル完成度との比較において、前記３次元形状情報に関するモデル完成度同士の第１の比較と、前記２次元情報に関するモデル完成度同士の第２の比較とを別々に実行し、前記更新手段は、前記第１の比較に基づいて前記３次元形状情報に基づく特徴情報を更新するとともに、前記第２の比較に基づいて前記２次元情報に基づく特徴情報を更新することを特徴とする。
また、請求項５の発明は、顔認証用の情報を登録する登録システムであって、登録対象者に関するステレオ画像に基づいて、前記登録対象者の顔における３次元形状情報を含む顔情報を生成する生成手段と、人の顔に関する標準的なモデルである標準モデルを前記顔情報を用いて変形し、前記登録対象者の顔に関する個別モデルを作成するモデル変形手段と、前記ステレオ画像において対応する特徴点間の相関値に基づき、前記特徴点の３次元座標の信頼度を算出する手段と、前記ステレオ画像中に複数存在する特徴点の信頼度を累積加算することにより前記個別モデルの完成度である第２のモデル完成度を算出する手段と、前記登録対象者の特徴情報を前記個別モデルから抽出する手段と、前記第２のモデル完成度と前記特徴情報とを前記顔認証用の情報として登録する手段とを備え、前記第２のモデル完成度は、顔認証の際に、認証対象者の第１のモデル完成度との比較に基づく、前記登録対象者の特徴情報を更新するか否かの決定に用いられることを特徴とする。
また、請求項６の発明は、請求項５の発明に係る登録システムにおいて、前記顔情報は、異なる時点において順次に取得されるステレオ画像に基づいて更新されることを特徴とする。
また、請求項７の発明は、プログラムであって、コンピュータに、認証対象者に関するステレオ画像に基づいて、前記認証対象者の顔における３次元形状情報を含む顔情報を生成する生成工程と、人の顔に関する標準的なモデルである標準モデルを前記顔情報を用いて変形し、前記認証対象者の顔に関する個別モデルを作成するモデル変形工程と、前記ステレオ画像において対応する特徴点間の相関値に基づき、前記特徴点の３次元座標の信頼度を算出する工程と、前記ステレオ画像中に複数存在する特徴点の信頼度を累積加算することにより前記個別モデルの完成度である第１のモデル完成度を算出する工程と、前記第１のモデル完成度が所定値を越えるまで前記ステレオ画像を繰り返し取得する工程と、前記第１のモデル完成度が所定値を越えた後に、前記認証対象者の特徴情報である第１の特徴情報を前記個別モデルから抽出する抽出工程と、予め登録されている比較対象者の特徴情報である第２の特徴情報を取得する工程と、前記第１の特徴情報と前記第２の特徴情報との類似度に加えて、前記第１のモデル完成度をも用いて前記認証対象者に関する認証動作を行う認証工程とを実行させることを特徴とする。
請求項１から請求項７に記載の発明によれば、ステレオ画像に基づいて認証対象者の顔情報を生成し、当該顔情報を用いて認証対象者の顔に関する個別モデルを作成するとともに、当該顔情報の信頼性に基づいて個別モデルの完成度（第１のモデル完成度）を算出し、個別モデルから抽出される特徴情報と第１のモデル完成度とを用いて認証動作を行うので、認証に用いる情報の信頼性をも反映した正確な認証動作が可能となる。
また特に、請求項１に記載の発明によれば、第１のモデル完成度が所定値を越えた後に、第１の特徴情報を個別モデルから抽出する抽出動作が実行されるので、不安定な認証を避けることができる。
また特に、請求項２に記載の発明によれば、所定値は認証に要求される認証レベルに応じて予め設定されるので、様々な場面に応じた認証動作が可能となる。
また特に、請求項３に記載の発明によれば、認証の際に取得した認証対象者のモデル完成度と予め登録されている比較対象者のモデル完成度とを比較し、認証対象者のモデル完成度の方が高いと判断されると、認証対象者の特徴情報を比較対象者の特徴情報に代えて登録するので、認証動作を行うたびに、より精度の高い認証用の情報を確保することが可能となる。
また特に、請求項４に記載の発明によれば、３次元形状情報に関するモデル完成度同士を比較して３次元形状情報に基づく特徴情報を更新するとともに、２次元情報に関するモデル完成度同士を比較して２次元情報に基づく特徴情報を更新するので、２次元情報に基づく特徴情報と３次元形状情報に基づく特徴情報とをそれぞれ別々に更新することが可能となり、認証動作のたびに、より精度の高い認証情報を効率よく確保することが可能となる。
また、請求項５に記載の発明によれば、ステレオ画像に基づいて登録対象者の顔情報を生成し、当該顔情報を用いて登録対象者の顔に関する個別モデルを作成するとともに、当該顔情報の信頼性に基づいてモデル完成度を算出し、個別モデルから抽出される特徴情報と当該モデル完成度とを顔認証用の情報として登録するので、当該顔認証用の情報を用いた認証システムにおいて、顔情報の信頼性を反映した高精度の認証が可能となる。
また特に、請求項６に記載の発明によれば、顔情報に含まれる各特徴点の３次元位置は、異なる時点において順次に取得されるステレオ画像に基づいて更新されるので、信頼性の高い顔情報を生成することが可能となる。
以下、本発明の実施形態を図面に基づいて説明する。
＜１．第１実施形態＞
＜動作概要＞
図１は、本発明の第１実施形態に係る顔認証システム１Ａの全体動作を示す図である。
図１に示されるように、顔認証システム１Ａは、２つのサブシステムである顔登録システムＳＹＳ１と顔照合システムＳＹＳ２とを備えている。
顔登録システムＳＹＳ１においては、異なるタイミング（時点）で繰り返し（連続的に）撮影された登録対象者ＨＭａのステレオ画像ＥＡ１に基づいて登録対象者ＨＭａの顔情報ＥＢ１が生成され、顔情報ＥＢ１に基づいて標準モデルを変形し個別モデルＧＭ１が作成される。そして、当該個別モデルＧＭ１と顔情報ＥＢ１とにそれぞれ対応する所定の処理（特徴抽出処理、モデル完成度演算処理等）が実行され、特徴情報と個別モデルＧＭ１のモデル完成度とがそれぞれ取得され、当該特徴情報とモデル完成度とが登録対象者ＨＭａの登録者情報ＥＣ１として後述の人物情報記憶部３４に登録される。
顔照合システムＳＹＳ２においては、まず、異なるタイミング（時点）で繰り返し（連続的に）撮影された認証対象者ＨＭｂのステレオ画像ＥＡ２（計測情報）に基づいて上述の顔登録システムＳＹＳ１と同様の処理が実行される。具体的には、異なるタイミングで繰り返し撮影された認証対象者ＨＭｂのステレオ画像ＥＡ２（計測情報）に基づいて認証対象者ＨＭｂの顔情報ＥＢ２が生成され、顔情報ＥＢ２に基づいて標準モデルを変形し個別モデルＧＭ２が作成される。そして、当該個別モデルＧＭ２と顔情報ＥＢ２とにそれぞれ対応する所定の処理（特徴抽出処理、モデル完成度演算処理等）が実行され、認証対象者ＨＭｂの特徴情報と個別モデルＧＭ２のモデル完成度とが認証者情報ＥＣ２としてそれぞれ取得される。
そして、顔照合システムＳＹＳ２においては、認証対象者ＨＭｂの認証者情報ＥＣ２と人物情報記憶部３４（図５）に登録されている登録対象者ＨＭａの登録者情報ＥＣ１（特徴情報等）とを比較する認証動作が行われる。
後述するように、この認証動作においては、個別モデルＧＭ２のモデル完成度が利用される。このモデル完成度は、認証対象者ＨＭｂの顔情報ＥＢ２の信頼性に基づいて算出されるものである。そのため、顔情報ＥＢ２の信頼性を反映した認証が可能になる。
また、特に認証システムに要求される認証レベル（認証精度）に応じた認証を行うことによれば、様々な状況（場面）に応じて適切な動作を行うことが可能である。
より詳細には、このような顔認証システム１Ａは、例えばコピーマシンに応用することができる。
例えば、コピーマシンを利用しようとする人（使用者）を特定し、当該使用者専用の操作パネルを表示する状況を仮定する。
具体的には、使用者がコピーマシンに近づいてくると、使用者の顔画像（照合画像）の撮影が開始され、使用者がコピーマシンの操作パネルに達するまでの間、所定のタイミングで連続的に撮影が行われる。そして、使用者が操作パネルに到達するまでの所定の時間内に個人の特定（認証）が行われ、コピーマシンの操作パネルが当該使用者専用のパネル状態となる。これにより、当該使用者がよく利用する操作内容が操作パネルの前面に選択表示されることになり、作業効率の向上を図ることが可能となる。
上記のような個人の特定は、操作性向上のために行われるものであり、仮に、個人の特定が誤っていたとしても、操作者によるパスワードの入力等により誤り訂正を行ってログインし直せばよい。つまり、このようなパネル状態選択のために顔認証システム１Ａに要求される認証精度は、比較的低いと言える。
或いは、機密書類の印刷が特定の者のみに許容されている場合に、当該機密文書の印刷を行う状況を仮定する。この状況においては、機密保持の観点から、顔認証システム１Ａに要求される認証精度は比較的高くなる。
このとき、顔認証システム１Ａは、要求される認証精度に必要とされる信頼性の高い情報が生成されるまで、使用者の接近当初から使用者の顔画像を繰り返し取得する。比較的長期間にわたって取得された顔画像には、使用者の顔向きなども変化した様々な顔画像も含まれていることが考えられ、様々な情報を用いた顔認証が可能となり、ひいては、高精度な認証を実現できる。詳細には、顔認証システム１Ａでは、取得されたデータの信頼性（品質および／または量）をモデル完成度として評価し、この評価値を顔画像の取得及び／又は認証動作に用いる。これによれば、機密書類保護の観点から、認証の応答速度の高速化よりも認証精度の高精度化が優先して要求される場合において、適切な認証が可能となる。
以上のように、顔認証システム１Ａは、要求される認証精度（認証レベル）に応じた適切な認証を行うことが可能である。
以下では、顔認証システム１Ａが備える顔照合システムＳＹＳ２と顔登録システムＳＹＳ１とについて詳述する。
＜顔照合システムＳＹＳ２の構成概要＞
図２は、本発明の第１実施形態に係る顔照合システムＳＹＳ２を示す構成図である。図２に示すように顔照合システムＳＹＳ２は、コントローラ１０ｂと２台の画像撮影カメラ（以下、単に「カメラ」とも称する）ＣＡ１及びＣＡ２とで構成されている。
カメラＣＡ１とカメラＣＡ２とは、それぞれ異なる位置から認証対象者ＨＭｂの顔を撮影できるように配置されている。カメラＣＡ１とカメラＣＡ２とによって認証対象者ＨＭｂの顔画像が撮影されると、当該撮影により得られる認証対象者ＨＭｂの外観情報すなわち２種類の顔画像がコントローラ１０ｂに通信線を介して送信される。なお、各カメラとコントローラ１０ｂとの間での画像データの通信方式は有線方式に限定されず、無線方式であってもよい。
図３は、コントローラ１０ｂの構成概要を示す図である。図３に示されるように、コントローラ１０ｂは、ＣＰＵ２と、記憶部３と、メディアドライブ４と、液晶ディスプレイなどの表示部５と、キーボード６ａ及びポインティングデバイスであるマウス６ｂなどの入力部６と、ネットワークカードなどの通信部７とを備えたパーソナルコンピュータなどの一般的なコンピュータで構成される。記憶部３は、複数の記憶媒体、具体的には、ハードディスクドライブ（ＨＤＤ）３ａと、ＨＤＤ３ａよりも高速処理可能なＲＡＭ（半導体メモリ）３ｂとを有している。また、メディアドライブ４は、ＣＤ−ＲＯＭ、ＤＶＤ（Digital Versatile Disk）、フレキシブルディスク、メモリカードなどの可搬性の記録媒体８からその中に記録されている情報を読み出すことができる。なお、このコントローラ１０ｂに対して供給される情報は、記録媒体８を介して供給される場合に限定されず、ＬＡＮ及びインターネットなどのネットワークを介して供給されてもよい。
次に、コントローラ１０ｂの各種機能について説明する。
図４は、コントローラ１０ｂの各種機能を示すブロック図である。図５は、個人認証部１４の詳細な機能構成を示すブロック図である。
コントローラ１０ｂの各種機能は、コントローラ１０ｂ内のＣＰＵ等の各種ハードウェアを用いて所定のソフトウェアプログラム（以下、単に「プログラム」とも称する）を実行することによって、実現される機能を概念的に示すものである。
図４に示されるように、コントローラ１０ｂは、画像入力部１１と顔領域検索部１２と顔部位検出部１３と個人認証部１４と出力部１５とを備えている。
画像入力部１１は、カメラＣＡ１及びＣＡ２によって撮影された２枚の画像（ステレオ画像）をコントローラ１０ｂに入力する機能を有している。
顔領域検索部１２は、入力された顔画像から顔領域を特定する機能を有している。
顔部位検出部１３は、特定した顔領域から顔の特徴的な部位（例えば、目、眉、鼻、口等）の位置を検出する機能を有している。
個人認証部１４は、顔の認証を主たる目的として構成され、各個人を顔画像を用いて認証する機能を有している。この個人認証部１４の詳細については、次述する。
出力部１５は、個人認証部１４で得られた認証結果を出力する機能を有している。
次に、個人認証部１４の詳細構成について図５を用いて説明する。
図５に示すように、個人認証部１４は、３次元再構成部２１と顔情報生成部２２と最適化部２３と補正部２４とモデル完成度演算部２５と特徴抽出部２６と情報圧縮部２７と比較部２８とを有している。
３次元再構成部２１は、入力画像から得られる顔の特徴的な部位に設定された各特徴点の２次元座標に基づいて当該各特徴点の３次元における座標を算出する機能を有している。この３次元座標算出機能は、カメラパラメータ記憶部３１に格納されているカメラ情報を用いて実現される。
顔情報生成部２２は、３次元再構成部２１に繰り返し（連続的に）入力されるステレオ画像（２枚の画像）から得られる顔の各特徴点の３次元座標を順次取得し、認証対象者ＨＭｂの顔情報ＥＢ２（以下、「修正顔情報」とも称する）を生成する機能を有している。具体的には、顔情報生成部２２は、順次取得された各特徴点の３次元座標に、各特徴点の３次元座標が有する信頼度を用いた所定の統計処理を実行し、当該各特徴点の３次元座標を修正する機能を有している。なお、修正された各特徴点の３次元座標は、「修正３次元座標」或いは「修正３次元位置」とも称する。
最適化部２３は、顔情報生成部２２で生成された顔情報に基づいて３次元モデルデータベース３２に格納されている人の顔に関する標準的な立体モデル（「標準立体モデル」或いは「標準モデル」とも称する）を変形し、個別モデルＧＭ２を作成する機能を有している。
補正部２４は、生成された個別モデルＧＭ２を補正する機能を有している。
これらの各処理部２１〜２４によって、認証対象者ＨＭｂに関する情報は、正規化され、相互比較しやすい状態に変換される。また、各処理部の機能によって作成された個別モデルは、認証対象者ＨＭｂに関する３次元情報と２次元情報との双方を含むものとして形成される。「３次元情報」は、３次元座標値等で構成される立体的構成に関連する情報であり、「２次元情報」は、表面情報（テクスチャ情報）及び／又は平面的な位置情報等で構成される平面的構成に関連する情報である。
モデル完成度演算部２５は、作成された個別モデルの完成度を、各特徴点の信頼度に基づいて演算する機能を有している。
特徴抽出部２６は、上記各処理部２１〜２４において作成された個別モデルから３次元情報と２次元情報とを抽出する特徴抽出機能を有している。
情報圧縮部２７は、特徴抽出部２６で抽出された３次元情報と２次元情報とをそれぞれ、顔認証用の適切な顔特徴量（特徴情報）に変換することで、顔認証に用いる３次元情報と２次元情報とをそれぞれ圧縮する機能を有している。この情報圧縮機能は、圧縮情報記憶部３３に格納された情報等を用いて実現される。
比較部２８は、人物情報記憶部３４に予め登録されている登録者（比較対象者）の顔特徴量と、上記各機能部によって得られる認証対象者ＨＭｂの顔特徴量との類似度を計算し、顔の認証を行う機能を有している。なお、本実施形態における比較部２８では、比較対象者の顔特徴量と認証対象者ＨＭｂの顔特徴量との類似度に加えて、モデル完成度演算部２５で算出された個別モデルの完成度も認証の際に用いるものとする。
＜顔登録システムＳＹＳ１の構成概要＞
次に、顔登録システムＳＹＳ１の構成概要について説明する。なお、以下の説明においては、顔登録システムＳＹＳ１の構成概要との相違点を中心に説明し、共通する部分については、同じ符号を付して説明を省略する。
顔登録システムＳＹＳ１は、図２に示される顔照合システムＳＹＳ２と同様の構成を有している。詳細には、顔登録システムＳＹＳ１は、コントローラ１０ａと２台のカメラＣＡ１及びＣＡ２とを有し、当該２台のカメラより得られる登録対象者ＨＭａの外観情報すなわち２種類の顔画像がコントローラ１０ａに入力可能となるように構成されている。
次に、コントローラ１０ａの各種機能について説明する。
図６は、コントローラ１０ａの各種機能を示す図であり、図７は、個人登録部４１の詳細な機能構成を示すブロック図である。
コントローラ１０ａは、図３に示されるコントローラ１０ａと同様のハードウェア構成を有している。コントローラ１０ａの各種機能は、コントローラ１０ａ内のＣＰＵ等の各種ハードウェアを用いて所定のソフトウェアプログラム（以下、単に「プログラム」とも称する）を実行することによって、実現される機能を概念的に示すものである。
図６に示されるように、コントローラ１０ａは、コントローラ１０ｂの機能（画像入力部１１、顔領域検索部１２および顔部位検出部１３）に加えて個人登録部４１を備えている。また、上記各機能を備えるコントローラ１０ａには、２台のカメラ（ＣＡ１，ＣＡ２）から取得される登録対象者ＨＭａの２枚の画像が入力され、当該入力情報（計測情報）に対して上記各機能部を用いた処理が行われる。
個人登録部４１は、顔の特徴情報の登録を主たる目的として構成され、各個人の顔画像から登録者情報ＥＣ１を生成する機能を有している。この個人登録部４１の詳細については、次述する。
次に、個人登録部４１の詳細構成について図７を用いて説明する。
図７に示すように、個人登録部４１は、上述の３次元再構成部２１と顔情報生成部２２と最適化部２３と補正部２４とモデル完成度演算部２５と特徴抽出部２６と情報圧縮部２７とに加えて、さらに登録部５１を有している。
３次元再構成部２１、顔情報生成部２２、最適化部２３、補正部２４、モデル完成度演算部２５、特徴抽出部２６及び情報圧縮部２７は、上述のコントローラ１０ｂにおいて対応する各機能と同様の機能を有している。
登録部５１は、情報圧縮部２７で圧縮し生成された３次元及び２次元の顔特徴量（特徴情報）と個別モデルの完成度とを登録対象者ＨＭａの登録者情報ＥＣ１として人物情報記憶部３４に登録する機能を有している。
なお、本実施形態では、コントローラ１０ａの人物情報記憶部３４に登録された情報は適宜の同期処理（上書き処理等）によってコントローラ１０ｂの人物情報記憶部３４にも転送されて記憶される。
＜顔照合システムＳＹＳ２の動作＞
次に、顔照合システムＳＹＳ２によって実現される認証動作について説明する。具体的には、カメラＣＡ１及びＣＡ２で撮影した所定人物を認証対象者ＨＭｂとして、実際に認証を行う場合について説明する。ここでは、３次元情報として、カメラＣＡ１，ＣＡ２による画像を利用して三角測量の原理によって計測された３次元形状情報を用い、２次元情報としてテクスチャ（輝度）情報を用いる場合を例示する。
図８及び図９は、コントローラ１０ｂの全体動作を示すフローチャートである。図１０は、２台のカメラから連続的に取得される画像を、時系列表示した図である。図１１は、顔画像における特徴的な部位の特徴点を示す図である。図１２は、２次元画像中の特徴点から三角測量の原理を用いて３次元座標を算出する様子を示す模式図である。なお、図１２中の符号Ｇ１は、カメラＣＡ１により撮影されコントローラ１０ｂに入力された画像Ｇ１を示し、符号Ｇ２は、カメラＣＡ２により撮影されコントローラ１０ｂに入力された画像Ｇ２を示している。また、画像Ｇ１、Ｇ２中の点Ｑ２０は、図１１における口の右端に相当する。図１３は、或る特徴点Ｑ２０を中心とした所定領域ＲＦを示す図である。
図８に示されるように、コントローラ１０ｂでは、ステップＳＰ１〜ＳＰ８までの工程において、認証対象者ＨＭｂの顔を異なる時点において順次に（繰り返し）撮影したステレオ画像に基づいて、認証対象者ＨＭｂの顔情報ＥＢ２及び個別モデルのモデル完成度が生成（更新）される。さらに、ステップＳＰ９〜ＳＰ１２の処理において、当該顔情報ＥＢ２に基づいて個別モデルが作成され、認証対象者ＨＭｂの顔特徴量と当該個別モデルのモデル完成度とが認証者情報ＥＣ２として生成される。そして、次のステップＳＰ１３、ＳＰ１４においては、この認証者情報ＥＣ２を用いて認証対象者ＨＭｂの顔認証が行われる。以下、コントローラ１０ｂの各工程について詳述する。
まず、ステップＳＰ１〜ＳＰ８で実行される処理（「顔情報生成処理」とも称する）について説明する。上述のように、顔情報生成処理（ステップＳＰ１〜ＳＰ８）では、異なるタイミングで繰り返し撮影された認証対象者ＨＭｂの顔画像に基づいて後述のモデルフィッテングで用いられる認証対象者ＨＭｂの顔情報ＥＢ２が生成される。
顔情報生成処理（ステップＳＰ１〜ＳＰ８）は、後述の所定の判定処理（ステップＳＰ８）において終了と判定されるまで、異なるタイミングで時系列的に入力されるステレオ画像（２枚の画像）ごとに逐次的に繰り返し実行されるループ処理である。
例えば、２台のカメラＣＡ１、ＣＡ２によって、図１０に示されるように或る時刻Ｔ（ｔｉ）で認証対象者ＨＭｂに関する撮影が開始されたとすると、コントローラ１０ｂに入力された２枚の顔画像Ｇ１（ｔｉ）、Ｇ２（ｔｉ）について顔情報生成処理が実行され、当該２枚の顔画像Ｇ１（ｔｉ）、Ｇ２（ｔｉ）についての顔情報（時刻Ｔ（ｔｉ）の顔情報）が生成される。
次に、微小時間Δｔ経過後の時刻Ｔ（ｔｉ＋１）で２枚の顔画像Ｇ１（ｔｉ＋１）、Ｇ２（ｔｉ＋１）が新たに撮影され、コントローラ１０ｂに入力されると、顔情報生成処理では、時刻Ｔ（ｔｉ）の顔情報と時刻Ｔ（ｔｉ＋１）で取得された画像に基づく顔情報とを用いて顔情報（修正顔情報）が生成される。
具体的には、まず、時刻Ｔ（ｔｉ＋１）で撮影された２枚の顔画像Ｇ１（ｔｉ＋１）、Ｇ２（ｔｉ＋１）に基づいて顔情報（時刻Ｔ（ｔｉ＋１）で取得された画像に基づく顔情報）が生成される。そして、時刻Ｔ（ｔｉ＋１）で取得された画像に基づく顔情報と時刻Ｔ（ｔｉ）の顔情報とに所定の統計的処理を実行することによって、時刻Ｔ（ｔｉ＋１）における顔情報（時刻Ｔ（ｔｉ＋１）の顔情報）が生成される。換言すれば、時刻Ｔ（ｔｉ＋１）の顔情報は、時刻Ｔ（ｔｉ＋１）で取得された画像に基づく顔情報に時刻Ｔ（ｔｉ）の顔情報を反映して生成される。
さらに、時刻Ｔ（ｔｉ＋２）で新たに撮影された２枚の画像Ｇ１（ｔｉ＋２）、Ｇ２（ｔｉ＋２）が入力されると、顔情報生成処理では、時刻Ｔ（ｔｉ＋１）の顔情報を反映した顔情報（修正顔情報）が生成される。
詳細には、時刻Ｔ（ｔｉ＋２）で撮影された２枚の顔画像Ｇ１（ｔｉ＋２）、Ｇ２（ｔｉ＋２）に基づいて顔情報（時刻Ｔ（ｔｉ＋２）で取得された画像に基づく顔情報）が生成される。そして、時刻Ｔ（ｔｉ＋２）で取得された画像に基づく顔情報と時刻Ｔ（ｔｉ＋１）の顔情報とに所定の統計的処理を実行することによって、時刻Ｔ（ｔｉ＋２）における顔情報（時刻Ｔ（ｔｉ＋２）の顔情報）が生成される。換言すれば、時刻Ｔ（ｔｉ＋２）の顔情報は、時刻Ｔ（ｔｉ＋２）で取得された画像に基づく顔情報に時刻Ｔ（ｔｉ＋１）の顔情報を反映して生成される。
このように、顔情報生成処理（ステップＳＰ１〜ＳＰ８）では、新しい顔画像が取得されるたびに、過去に生成された顔情報と新しい画像から生成される顔情報とを用いて順次顔情報の更新を実行することにより、信頼性の高い顔情報（修正顔情報）を生成することが可能となる。
以下では、顔情報生成処理（ステップＳＰ１〜ＳＰ８）で実行される各処理について詳述する。
ステップＳＰ１では、カメラＣＡ１及びＣＡ２によって撮影された所定の人物（登録対象者）の顔画像（画像Ｇ１及び画像Ｇ２）が、通信線を介しコントローラ１０ｂに入力される。顔画像を撮影するカメラＣＡ１及びカメラＣＡ２は、それぞれ、２次元画像を撮影可能な一般的な撮影装置で構成される。また、当該各カメラＣＡｉの位置姿勢等を示すカメラパラメータＢｉ（ｉ＝１，...，Ｎ）は既知であり、予めカメラパラメータ記憶部３１（図５）に記憶されている。ここで、Ｎはカメラの台数を示している。本実施形態ではＮ＝２の場合を例示しているが、Ｎ≧３としてもよい（３台以上のカメラを用いてもよい）。また、カメラパラメータＢｉについては後述する。
次に、ステップＳＰ２において、カメラＣＡ１及びＣＡ２より入力された２枚の画像（画像Ｇ１及び画像Ｇ２）それぞれにおいて、顔の存在する領域が検出される。顔領域検出手法としては、例えば、予め用意された標準の顔画像を用いたテンプレートマッチングにより、２枚の画像それぞれから顔領域を検出する手法を採用することができる。
次に、ステップＳＰ３において、ステップＳＰ２で検出された顔領域画像の中から、顔の特徴的な部位の位置が検出される。例えば、顔の特徴的な部位としては、目、眉、鼻又は口等が考えられ、ステップＳＰ３においては、図１１に示されるような上記各部位の特徴点Ｑ１〜Ｑ２３の座標が算出される。特徴部位の検出は、特徴部位の標準的なテンプレートを用いて行うテンプレートマッチングにより検出することができる。また、算出される特徴点の座標は、カメラより入力された画像Ｇ１、Ｇ２上の座標として表される。例えば、図１１における口の右端に相当する特徴点Ｑ２０に関して、図１２中に示すように、２枚の画像Ｇ１，Ｇ２のそれぞれにおける座標値が求められる。具体的には、画像Ｇ１の左上の端点を原点Ｏとして、特徴点Ｑ２０の画像Ｇ１上の座標（ｘ１，ｙ１）が算出される。画像Ｇ２においても同様に特徴点Ｑ２０の画像Ｇ２上の座標（ｘ２，ｙ２）が算出される。
また、入力された画像における各特徴点を頂点とする各領域内の各画素の輝度値が、当該領域の有する情報（以下、「テクスチャ情報」とも称する）として取得される。各領域におけるテクスチャ情報は、後述のステップＳＰ９等において、変形した個別モデルに貼り付けられる。なお、本実施形態の場合、一度に入力される画像は２枚であるので、各画像の対応する領域内の対応する画素における平均の輝度値を当該領域のテクスチャ情報として用いるものとする。
次のステップＳＰ４（３次元再構成工程）では、ステップＳＰ３において検出された各特徴点Ｑｊの各画像Ｇｉ（ｉ＝１，...，Ｎ）における２次元座標Ｕｉ(j)と、各画像Ｇｉを撮影したカメラのカメラパラメータＢｉとに基づいて、各特徴点Ｑｊの３次元座標Ｍｓ(j)（ｊ＝１，...，ｍ）が顔情報として算出される。なお、ｍは特徴点の数を示している。
以下、３次元座標Ｍｓ(j)の算出について具体的に説明する。
各特徴点Ｑｊの３次元座標Ｍｓ(j)と各特徴点Ｑｊの２次元座標Ｕｉ(j)とカメラパラメータＢｉとの関係は式（１）のように表される。
なお、μｉは、スケールの変動分を示す媒介変数である。また、カメラパラメータ行列Ｂｉは、予め３次元座標が既知の物体を撮影することにより求められる各カメラ固有の値であり、３×４の射影行列で表される。
例えば、上記式（１）を用いて３次元座標を算出する具体的な例として、特徴点Ｑ２０の３次元座標Ｍｓ(20)を算出する場合を図１２を用いて考える。式（２）は画像Ｇ１上の特徴点Ｑ２０の座標（ｘ１，ｙ１）と特徴点Ｑ２０を３次元空間で表したときの３次元座標（ｘ，ｙ，ｚ）との関係を示している。同様に、式（３）は、画像Ｇ２上の特徴点Ｑ２０の座標（ｘ２，ｙ２）と特徴点Ｑ２０を３次元空間で表したときの３次元座標（ｘ，ｙ，ｚ）との関係を示している。
上記式（２）及び式（３）中の未知数は、２つの媒介変数μ１、μ２と３次元座標Ｍｓ(20)の３つの成分値ｘ，ｙ，ｚとの合計５つである。一方、式（２）及び式（３）に含まれる等式の数は６であるため、各未知数つまり特徴点Ｑ２０の３次元座標（ｘ，ｙ，ｚ）を算出することができる。また、同様にして、全ての特徴点Ｑｊについての３次元座標Ｍｓ(j)を取得することができる。
また、ステップＳＰ５では、各特徴点の３次元座標（顔情報）の信頼度が算出される。本実施形態では、２枚の画像において互いに対応する特徴点を中心とした所定領域間の相関値を、信頼度の評価値Ｈ(j)として用いる。例えば、特徴点Ｑ２０に関しての信頼度を算出する場合には、図１３に示されるように、２枚の画像それぞれにおける特徴点Ｑ２０を中心とした所定領域ＲＦ（ここでは、５×５の画素を有する領域）間の相関値Ｆ(20)を算出する。
具体的には、式（４）に示されるように、２５個の対応する２画素間で画素信号（ここでは輝度情報）の差分絶対値を求め、それによって得られる２５個の差分絶対値の平均値の逆数を相関値Ｆ(j)とすることができる。
但し、ｕは画素数、Ｇ１，Ｇ２は各画像における対応画素の輝度値を表している。また、小文字ｒは、ｒ番目の画素に関するものであることを示す。
このような相関値Ｆ(j)は、対応する所定領域ＲＦ同士が被写体の同一部分を含む場合には大きな値となり、異なる部分である場合には小さな値となる。つまり、相関値Ｆ(j)が大きい場合には、当該特徴点の座標情報の信頼性が高く、相関値Ｆ(j)が小さい場合には、当該特徴点の座標情報の信頼性が低くなる。
このようにステップＳＰ１〜ＳＰ５においては、入力された２枚の画像に基づいて認証対象者ＨＭｂの顔情報（顔の各特徴点Ｑｊの３次元座標Ｍｓ(j)）と当該顔情報の信頼性を示す信頼度とが生成される。
ここで、顔情報生成処理（ステップＳＰ１〜ＳＰ８）は、上述のように異なるタイミングで繰り返し入力されるステレオ画像（２枚の画像）それぞれに対して実行されるループ処理であり、入力されたステレオ画像ごとに上記各処理（ステップＳＰ１〜ＳＰ５）が実行され、入力されたステレオ画像ごとに顔情報と当該顔情報の信頼性を示す信頼度とが生成される。
そして、次述のステップＳＰ６〜ＳＰ８の各処理は、入力されたステレオ画像ごとに生成された各顔情報と各顔情報の信頼度とに基づいて繰り返し実行される。
ステップＳＰ６では、ステップＳＰ４で算出されたステレオ画像ごとの各特徴点Ｑｊの３次元座標Ｍｓ(j)とステップＳＰ５で算出されたステレオ画像ごとの各特徴点の信頼度とに所定の統計的処理が実行され、認証対象者ＨＭｂの修正顔情報（顔の各特徴点の修正３次元座標Ｍｍ(j)）が生成される。
具体的には、各特徴点の修正３次元座標Ｍｍ(j)は、式（５）に示されるように、ステレオ画像ごとの各特徴点の３次元座標Ｍｓ(j)をステレオ画像ごとの各特徴点の信頼度で重み付け平均することにより求められる。
また、ステップＳＰ６では、繰り返し入力されるステレオ画像ごとにステップＳＰ３で取得されるテクスチャ情報を用いて、顔の各特徴点を頂点とする各領域において、未だテクスチャ情報を取得していない領域について順次テクスチャ情報を補うように取得される。詳細には、ステップＳＰ６では、過去に入力されたステレオ画像から取得されたテクスチャ情報を当該各領域ごとに保持するとともに、過去に入力されたステレオ画像から未だにテクスチャ情報を取得していない領域（未取得領域）についてのテクスチャ情報が新たに入力されたステレオ画像からステップＳＰ３において新たに取得された場合には、当該テクスチャ情報を当該未取得領域のテクスチャ情報として保持する。
ステップＳＰ７では、ステップＳＰ５で算出された顔情報（顔の各特徴点の３次元座標）の信頼性を示す信頼度評価値Ｈ(j)に基づいて個別モデルのモデル完成度Ｈｐが算出される。詳細には、個別モデルのモデル完成度Ｈｐは、式（６）に示されるように、ステレオ画像ごとの各特徴点の信頼度評価値Ｈ(j)を時系列的に累積加算し、さらに全ての特徴点の信頼度評価値を加算して算出される。
このように各特徴点の３次元座標の信頼度評価値Ｈ(j)に基づいて算出されるモデル完成度Ｈｐは、後述のステップＳＰ１１において個別モデルから抽出される３次元形状情報の信頼性を示す評価値であるとも表現することができる。
そして、ステップＳＰ８では、顔情報生成処理を終了し次工程のモデルフィッティング処理及びそれに引き続く類似度算出処理等を開始（実行）するか否かが判定される。判定手法としては、例えば、モデル完成度Ｈｐが予め設定された所定の閾値ＴＨ１を越えたか否かを基準にして判断する手法を採用することができる。これによれば、要求される認証精度に必要な顔情報（修正顔情報）が生成されるまで、繰り返し計測情報（入力情報）を取得することが可能となり、不十分な顔情報による不安定な認証を避けることができる。また、要求される顔情報（修正顔情報）が生成されると、即座に次工程に移行することから、要求される認証精度に対して時間効率のよい認証が可能となる。
以上のように、顔情報生成処理（ステップＳＰ１〜ＳＰ８）では、異なるタイミングで繰り返し取得されるステレオ画像に基づいて順次顔情報を更新することにより、信頼性の高い顔情報（修正顔情報）ＥＢ２を生成することが可能となる。
次に、ステップＳＰ９〜ＳＰ１２で実行される処理について説明する。ステップＳＰ９〜ＳＰ１２では、修正顔情報ＥＢ２等に基づいて、認証に適した特徴情報（「認証情報」とも称する）が生成される。
以下、ステップＳＰ９〜ＳＰ１２で実行される各処理について詳述する。
まず、ステップＳＰ９では、修正顔情報ＥＢ２を用いてモデルフィッテングが行われる。この「モデルフィッティング」は、予め準備された一般的（標準的）な顔の立体モデルである「（顔の）標準モデル」を、認証対象者ＨＭｂに関する顔情報（修正顔情報）等を用いて変形することによって、認証対象者ＨＭｂの顔に関する計測情報が反映された「個別モデル」を生成する処理である。具体的には、算出された修正３次元座標Ｍｍ(j)を用いて標準モデルの３次元情報を変更する処理と、上記のテクスチャ情報を用いて標準モデルの２次元情報を変更する処理とが行われる。
図１４は、３次元の顔の標準モデルを示す図であり、図１５は、テクスチャ情報を示す図である。
図１４に示される顔の標準モデルは、頂点データとポリゴンデータとで構成され、３次元モデルデータベース３２（図５）として記憶部３等に保存されている。頂点データは、標準モデルにおける特徴部位の頂点（以下、「標準制御点」とも称する）ＣＯｊの座標の集合であり、ステップＳＰ６において算出される各特徴点Ｑｊの修正３次元座標と１対１に対応している。ポリゴンデータは、標準モデルの表面を微小な多角形（例えば、三角形）のポリゴンに分割し、ポリゴンを数値データとして表現したものである。なお、図１４では、各ポリゴンの頂点が標準制御点ＣＯｊ以外の中間点によっても構成される場合を例示しており、中間点の座標は適宜の補完手法によって得ることが可能である。
ここで、標準モデルから個別モデルを構成するモデルフィッティングについて詳述する。
まず、標準モデルの各特徴部位の頂点（標準制御点ＣＯｊ）を、ステップＳＰ４において算出された各特徴点に移動させる。具体的には、各特徴点Ｑｊの修正３次元座標値を、対応する標準制御点ＣＯｊの３次元座標値として代入し、移動後の標準制御点（以下、「個別制御点」とも称する）Ｃｊを得る。これにより、標準モデルを修正３次元座標Ｍｍ(j)で表した個別モデルに変形することができる。
また、この変形（移動）による各頂点の移動量から、後述のステップＳＰ１０において用いられる、標準モデルを基準にした場合の個別モデルのスケール、傾き及び位置を求めることができる。具体的には、標準モデルにおける所定の基準位置と、変形後の個別モデルにおける対応基準位置との間のずれ量によって、個別モデルの標準モデルに対する位置変化を求めることができる。また、標準モデルにおける所定の２点を結ぶ基準ベクトルと、変形後の個別モデルにおける当該所定の２点の対応点を結ぶ基準ベクトルとの間のずれ量によって、個別モデルの標準モデルに対する傾きの変化及びスケール変化を求めることができる。例えば、右目の目頭の特徴点Ｑ１と左目の目頭の特徴点Ｑ２との中点ＱＭの座標と標準モデルにおいて中点ＱＭに相当する点の座標とを比較することによって個別モデルの位置を求めることができ、さらに、中点ＱＭと他の特徴点とを比較することによって個別モデルのスケール及び傾きを算出することができる。
次の式（７）は、標準モデルと個別モデルとの間の対応関係を表現する変換パラメータ（ベクトル）ｖｔを示している。式（７）に示すように、この変換パラメータ（ベクトル）ｖｔは、両者のスケール変換指数ｓｚと、直交３軸方向における並進変位を示す変換パラメータ（ｔｘ，ｔｙ，ｔｚ）と、回転変位（傾き）を示す変換パラメータ（φ，θ，ψ）とをその要素とするベクトルである。
上述のようにして、認証対象者ＨＭｂに関する修正３次元座標Ｍｍ(j)を用いて標準モデルの３次元情報を変更する処理が行われる。
その後、テクスチャ情報を用いて標準モデルの２次元情報を変更する処理も行われる。具体的には、ステップＳＰ３において各ステレオ画像から取得されステップＳＰ６において保持されている顔の各特徴点を頂点とする各領域のテクスチャ情報が、３次元の個別モデル上の対応する領域（ポリゴン）に貼り付け（マッピング）られる。なお、立体モデル（個別モデル等）上でテクスチャ情報が貼り付けられる各領域（ポリゴン）は「パッチ」とも称せられる。
以上のようにして、モデルフィッティング処理（ステップＳＰ９）が行われる。
次のステップＳＰ１０においては、標準モデルを基準にして個別モデルの補正が行われる。本工程では、アライメント補正と、シェーディング補正とが実行される。アライメント補正は、３次元情報に関する補正処理であり、シェーディング補正は、２次元情報に関する補正処理である。
アライメント（顔向き）補正は、標準モデルを基準にした際の個別モデルのスケール、傾き及び位置を基にして行われる。より詳細には、標準モデルを基準にした際の標準モデルと個別モデルとの関係を示す変換パラメータｖｔ（式（７）参照）を用いて個別モデルの個別制御点を座標変換することで、標準モデルの姿勢と同じ姿勢を有する３次元顔モデルを作成することができる。すなわち、このアライメント補正によって、認証対象者ＨＭｂに関する３次元情報を適切に正規化することができる。
また、シェーディング補正は、個別モデルにマッピングされているパッチ内の各画素の輝度値（テクスチャ情報（図１５参照））を補正する処理である。このシェーディング補正によれば、光源と被写体人物との位置関係が標準モデル作成のための人物撮影時と個別モデルの対象人物撮影時（認証対象者撮影時）とで相違する場合に生じる、両モデル（標準モデルおよび個別モデル）のテクスチャ情報の相違を補正することができる。すなわち、シェーディング補正によれば、認証対象者に関する２次元情報の１つであるテクスチャ情報を適切に正規化することができる。
以上のように変動補正工程（ステップＳＰ１０）においては、認証対象者ＨＭｂに関する情報が、認証対象者ＨＭｂに関する３次元情報と２次元情報との双方を含む個別モデルとして、正規化された状態で生成される。
次のステップＳＰ１１（図８）においては、認証対象者ＨＭｂの特徴を表す情報として、３次元形状情報（３次元情報）とテクスチャ情報（２次元情報）とが抽出される。
３次元情報としては、個別モデルにおけるｍ個の個別制御点Ｃｊの３次元座標ベクトルが抽出される。具体的には、式（８）に示されるように、ｍ個の個別制御点Ｃｊ（ｊ＝１，...，ｍ）の３次元座標（Ｘｊ，Ｙｊ，Ｚｊ）を要素とするベクトルｈS（以下、「３次元座標情報」とも称する）が３次元情報（３次元形状情報）として抽出される。
また、２次元情報としては、個人認証にとって重要な情報となる顔の特徴的な部分つまり個別制御点付近のパッチ又はパッチのグループ（局所領域）が有するテクスチャ（輝度）情報（以下、「局所２次元情報」とも称する）が抽出される。ここでは、テクスチャ情報（局所２次元情報）として、上述のサブモデルにマッピングされた情報が用いられる。
局所２次元情報は、例えば、正規化後の特徴的な部位の個別制御点を示す図１６中のグループＧＲ（個別制御点Ｃ２０、Ｃ２２及びＣ２３を頂点とするパッチＲ１と個別制御点Ｃ２１、Ｃ２２及びＣ２３を頂点とするパッチＲ２）から構成される領域、又は、単に一つのパッチからなる領域等の各局所領域が有する各画素の輝度情報として構成される。局所２次元情報ｈ(k)（ｋ＝１，...，Ｌ；Ｌは局所領域数）は、それぞれ、当該局所領域内の画素数をｎ、各画素の輝度値をＢＲ１，...，ＢＲｎとすると、式（９）のようなベクトル形式で表される。また、局所２次元情報ｈ(k)をＬ個の局所領域について集めた情報は、総合的な２次元情報であるとも表現される。
以上のように、ステップＳＰ１１においては、認証対象者ＨＭｂの特徴を表す情報として、３次元形状情報（３次元情報）とテクスチャ情報（２次元情報）とが個別モデルから抽出される。
次のステップＳＰ１２においては、ステップＳＰ１１で抽出された情報を、認証に適した状態に変換する次述の情報圧縮処理が行われる。
情報圧縮処理は、３次元形状情報ｈS及び各局所２次元情報ｈ(k)のそれぞれに対して同様の手法を用いて行われるが、ここでは、局所２次元情報ｈ(k)に対して情報圧縮処理を施す場合について詳細に説明する。
局所２次元情報ｈ(k)は、複数のサンプル顔画像から予め取得される当該局所領域の平均情報（ベクトル）ｈave(k)と、複数のサンプル顔画像をＫＬ展開することによって予め算出される当該局所領域の固有ベクトルのセットで表現される行列Ｐ(k)（次述）とを用いて式（１０）のように基底分解された形式で表すことができる。この結果、局所２次元顔情報量（ベクトル）ｃ(k)が、局所２次元情報ｈ(k)についての圧縮情報として取得される。
上述のように式（１０）中の行列Ｐ(k)は、複数のサンプル顔画像から算出される。具体的には、行列Ｐ(k)は、複数のサンプル顔画像をＫＬ展開することによって求められる複数の固有ベクトルのうち、固有値の大きい数個の固有ベクトル（基底ベクトル）のセットとして求められる。これらの基底ベクトルは、圧縮情報記憶部３３に記憶されている。顔画像についてのより大きな特徴を示す固有ベクトルを基底ベクトルとしてその顔画像を表現することによれば、顔画像の特徴を効率的に表現することが可能となる。
例えば、図１６に示されているグループＧＲからなる局所領域の局所２次元情報ｈ(GR)を基底分解された形式で表現する場合を考える。当該局所領域の固有ベクトルのセットＰが、３つの固有ベクトルＰ１、Ｐ２及びＰ３によってＰ＝（Ｐ１，Ｐ２，Ｐ３）と表現されているとすると、局所２次元情報ｈ(GR)は、当該局所領域の平均情報ｈave(GR)と固有ベクトルのセットＰ１，Ｐ２，Ｐ３を用いて式（１１）のように表される。平均情報ｈave(GR)は、様々なサンプル顔画像についての複数の局所２次元情報（ベクトル）を対応要素ごとに平均して得られるベクトルである。尚、複数のサンプル顔画像は、適度なばらつきを有する標準的な複数の顔画像を用いればよい。
また、上記式（１１）は、顔情報量ｃ(GR)＝（ｃ１，ｃ２，ｃ３）Tによって元の局所２次元情報を再現することが可能であることを示している。すなわち、顔情報量ｃ(GR)は、グループＧＲからなる局所領域の局所２次元情報ｈ(GR)を圧縮した情報といえる。
上記のようにして取得された局所２次元顔情報量ｃ(GR)をそのまま認証に用いてもよいが、この実施形態ではさらなる情報圧縮を行う。具体的には、局所２次元顔情報量ｃ(GR)が表す特徴空間を個人間の分離を大きくするような部分空間へと変換する処理を更に行う。より詳細には、式（１２）に表されるようベクトルサイズｆの局所２次元顔情報量ｃ(GR)をベクトルサイズｇの局所２次元特徴量ｄ(GR)に低減させる変換行列Ａを考える。これにより、局所２次元顔情報量ｃ(GR)で表される特徴空間を局所２次元特徴量ｄ(GR)で表される部分空間に変換することができ、個人間の情報の相違が顕著になる。
ここで、変換行列Ａはｆ×ｇのサイズを有する行列である。重判別分析（ＭＤＡ：Multiple Discriminant Analysis）法を用いて、特徴空間から級内分散と級間分散との比率（Ｆ比）の大きい主成分をｇ個選び出すことによって、変換行列Ａを決定することができる。
また、上述した局所２次元情報ｈ(GR)について行った情報圧縮処理と同様の処理を他の全ての局所領域にも実行することによって、各局所領域についての局所２次元顔特徴量ｄ(k)を取得することができる。また、３次元形状情報ｈSに対しても同様の手法を適用することにより３次元顔特徴量ｄSを取得することができる。
上記ステップＳＰ１２を経て取得される３次元顔特徴量ｄSと局所２次元顔特徴量ｄ(k)とを組み合わせた顔特徴量ｄは、ベクトル形式で式（１３）のように表すことができる。
以上のようにステップＳＰ９〜ＳＰ１２では、入力される認証対象者ＨＭｂの顔画像から顔特徴量ｄすなわち当該認証対象者ＨＭｂの特徴情報が取得される。
そして、次のステップＳＰ１３、ＳＰ１４においては、この認証者情報ＥＣ２（顔特徴量ｄ等）を用いて認証対象者ＨＭｂの顔認証が行われる。
具体的には、認証対象者ＨＭｂと比較対象者（登録対象者）ＨＭａとの類似度である総合類似度Ｒｅが算出され（ステップＳＰ１３）、その後、この総合類似度Ｒｅに基づいて認証対象者ＨＭｂと比較対象者との比較（認証判定）等（ステップＳＰ１４）が行われる。この総合類似度Ｒｅは、３次元顔特徴量ｄSから算出される３次元類似度ＲｅSと、局所２次元顔特徴量ｄ(k)から算出される局所２次元類似度Ｒｅ(k)とに加えて、３次元類似度ＲｅSと局所２次元類似度Ｒｅ(k)との重みを規定する重み付け係数（以下、単に「重み係数」とも称する）を用いて算出される。なお、本実施形態における重み係数ＷＴ及びＷＳは、予め決定されている所定の値を用いる。以下、ステップＳＰ１３、ＳＰ１４の各処理について詳述する。
ステップＳＰ１３では、人物情報記憶部３４に予め登録されている比較対象者の顔特徴量（比較特徴量）と、上記ステップＳＰ１〜ステップＳＰ１２を経て算出された認証対象者ＨＭｂの顔特徴量との類似性の評価が行われる。具体的には、登録されている顔特徴量（比較特徴量）（ＲｅSM及びＲｅ(k)M）と認証対象者ＨＭｂの顔特徴量（ＲｅSI及びＲｅ(k)I）との間で類似度計算が実行され、３次元類似度ＲｅSと局所２次元類似度Ｒｅ(k)とが算出される。
なお、顔認証において比較の対象とされる比較対象者（登録対象者ＨＭａ）についての顔特徴量は、顔照合システムＳＹＳ２の動作に先立って実行される後述の顔登録システムＳＹＳ１において予め取得されている。
認証対象者ＨＭｂと比較対象者との３次元類似度ＲｅSは、式（１４）に示されるように対応するベクトル同士のユークリッド距離ＲｅSを求めることによって取得される。
また、局所２次元の類似度Ｒｅ(k)は、式（１５）に示されるように対応する局所領域同士における特徴量の各ベクトル成分ごとのユークリッド距離Ｒｅ(k)を求めることによって取得される。
そして、式（１６）に示されるように、３次元の類似度ＲｅSと局所２次元の類似度Ｒｅ(k)とを、重み係数ＷＴ及びＷＳを用いて合成し、認証対象者ＨＭｂと比較対象者（登録対象者ＨＭａ）との類似度である総合類似度Ｒｅを取得することができる。
次に、ステップＳＰ１４においては、総合類似度Ｒｅに基づいて認証判定が行われる。認証判定は、顔照合（Verification）の場合と顔識別(Identification)の場合とで、その手法が以下のように異なる。
顔照合では、入力された顔（認証対象者ＨＭｂの顔）が特定の登録者であるか否かが判定されればよいため、特定登録者つまり比較対象者の顔特徴量（比較特徴量）と認証対象者ＨＭｂの顔特徴量との総合類似度Ｒｅを一定の閾値ＴＨ２と比較することで、認証対象者ＨＭｂと比較対象者との同一性が判定される。詳細には、総合類似度Ｒｅが一定の閾値ＴＨ２よりも小さいときに、認証対象者ＨＭｂと比較対象者との類似の度合いが高いものとして、認証対象者ＨＭｂが比較対象者と同一人物であると判定される。
一方、顔識別は、入力された顔（認証対象者ＨＭｂの顔）が誰のものであるかを判定するものである。この顔識別では、登録されている人物の顔特徴量と認証対象者ＨＭｂの顔の特徴量との類似度を全て算出して、認証対象者ＨＭｂと各比較対象者との同一性をそれぞれ判定する。そして、複数の比較対象者のうち最も高い同一性を有する比較対象者を認証対象者ＨＭｂと同一人物であると判定する。詳細には、認証対象者ＨＭｂと複数の比較対象者のそれぞれとの各類似度Ｒｅのうち、最小の類似度Ｒｅminに対応する比較対象者が、認証対象者ＨＭｂと同一人物であると判定される。
このように、ステップＳＰ１４では、総合類似度Ｒｅに基づいて認証判定が行われる。
本実施形態におけるコントローラ１０ｂは、上述したステップＳＰ１〜ＳＰ１４の工程において、モデル完成度Ｈｐと総合類似度Ｒｅとの両方を考慮して同一人物であるか否かの認証動作を実行する。総合類似度Ｒｅに加えて顔情報（修正顔情報）の信頼性を反映したモデル完成度Ｈｐを認証動作に用いることによれば、認証に用いる情報の信頼性をも反映した正確な認証が可能となる。
また、コントローラ１０ｂでは、モデル完成度Ｈｐが閾値ＴＨ１よりも低いときにはステップＳＰ９以降に進まないので認証対象者ＨＭｂと比較対象者ＨＭａとが同一人物であると判定されず、モデル完成度Ｈｐが閾値ＴＨ１よりも大きいことを条件に両者ＨＭｂ、ＨＭａが同一人物であると判断されることになる。詳細には、上記実施形態では、ステップＳＰ８においてモデル完成度Ｈｐが閾値ＴＨ１よりも大きく、かつ、ステップＳＰ１４において総合類似度Ｒｅが閾値ＴＨ２よりも小さいときに、両者ＨＭｂ、ＨＭａが同一人物であると判断される。換言すれば、上記のような動作は、モデル完成度Ｈｐが閾値ＴＨ１よりも低いときには、認証対象者ＨＭｂと前記比較対象者ＨＭａとが同一人物であると判定しない動作であるとも表現される。これによれば、認証に用いる顔情報の信頼性を十分に反映した正確な認証動作が可能となる。
また、本実施形態においては、モデル完成度Ｈｐと総合類似度Ｒｅとを考慮するにあたって、モデル完成度Ｈｐが閾値ＴＨ１を越えていることを類似度算出動作の実行条件として用い、モデル完成度Ｈｐが当該閾値ＴＨ１を越えると類似度算出動作（ステップＳＰ１３）が実行される。これによれば、認証に用いる情報の信頼性をも十分に反映した正確な認証動作が可能となり、また、第１のモデル完成度が閾値ＴＨ１よりも低いときには類似度算出動作が実行されないので、不安定な認証を避けることができる。
さらに、モデル完成度Ｈｐが閾値ＴＨ１を越えることを条件に、認証対象者ＨＭｂに関する特徴情報を個別モデルから抽出する動作（ステップＳＰ１１）が実行される。これによれば、モデル完成度Ｈｐが閾値ＴＨ１に満たないときには抽出動作が実行されないので、不安定な認証を避けることができる。
ここにおいて、上記実施形態では、予め設定された所定の閾値ＴＨ１をモデル完成度Ｈｐとの対比に用いているが、この閾値ＴＨ１は顔認証システム１Ａに要求される認証レベル（認証精度）に応じて設定されればよい。例えば、上述のようなコピーマシンにおいて機密書類の印刷を行う場合には、機密保持の観点から、顔認証システム１Ａに要求される認証精度は比較的高くなり、所定の閾値ＴＨ１は比較的大きな値に設定される。これによれば、機密書類の印刷を行う場合のように、高精度な認証が要求される使用状況においても精度の良い認証が可能となる。一方、上述のコピーマシンにおいて特定個人専用の操作パネルを表示するために実行される認証動作では、顔認証システム１Ａには高い認証精度を要求しないため、所定の閾値ＴＨ１は比較的小さな値に設定される。
このように閾値ＴＨ１が要求される認証レベルに応じて設定されることにより、認証対象者ＨＭｂの個別モデルの作成に際し、要求される各認証レベル（認証精度）に対応した個別モデルが作成されるまで繰り返し顔情報が取得される。これによれば、要求される認証精度に応じた情報の取得及び認証が可能となり、認証レベルが低くても認証速度が要求される場合、又は、認証速度は要求されないが高精度の認証が要求される場合等の様々な場面に応じた認証動作を行うことが可能となる。
さらに、この実施形態におけるコントローラ１０ｂは、認証対象者ＨＭｂと比較対象者ＨＭａとが同一人物であると判定される場合において、認証対象者ＨＭｂのモデル完成度Ｈｐ（Ｈｐｂとも表す）が比較対象者ＨＭａのモデル完成度Ｈｐ（Ｈｐａとも表す）よりも高い完成度を有していると判断されるときには、認証対象者ＨＭｂに関する特徴情報を比較対象者ＨＭａの特徴情報として更新登録する。すなわち、コントローラ１０ｂは、図９に示されるような処理（ステップＳＰ１５〜ＳＰ１８）を経ることによって登録者情報ＥＣ１の更新を行う。
具体的には、次述のステップＳＰ１５〜ＳＰ１８では、ステップＳＰ１４において認証対象者ＨＭｂと同一人物であると判定された比較対象者の登録者情報ＥＣ１に含まれるモデル完成度とコントローラ１０ｂで生成された認証対象者ＨＭｂの認証者情報ＥＣ２に含まれるモデル完成度とを対比して、どちらが認証情報としてより適しているかを判断し、登録者情報ＥＣ１の更新を行う。
詳細には、ステップＳＰ１４の認証判定において認証対象者ＨＭｂと同一人物であると判定される比較対象者が存在した場合、ステップＳＰ１６へと移行する（ステップＳＰ１５）。
ステップＳＰ１６では、認証者情報ＥＣ２に含まれるモデル完成度Ｈｐ（すなわち認証対象者ＨＭｂのモデル完成度Ｈｐｂ）と同一人物と判定された比較対象者の登録者情報ＥＣ１に含まれるモデル完成度Ｈｐ（すなわち比較対象者ＨＭａのモデル完成度Ｈｐａ）とが比較される。
そして、登録者情報ＥＣ１に含まれるモデル完成度Ｈｐａよりも認証者情報ＥＣ２に含まれるモデル完成度Ｈｐｂの方が高いと判断されると（ステップＳＰ１７）、人物情報記憶部３４に登録されている登録者情報ＥＣ１の変更（更新）が行われる（ステップＳＰ１８）。つまり、人物情報記憶部３４に登録されていた登録者情報ＥＣ１を認証者情報ＥＣ２に変更（更新）する処理を行う。
このような処理によって、認証動作のたびに、より精度の高い認証情報を人物情報記憶部３４に確保することが可能となり、認証精度の向上が期待できる。
一方、ステップＳＰ１５で同一人物の比較対象者が存在しなかったと判断された場合、或いは、ステップＳＰ１７で登録者情報ＥＣ１の更新を行わないと判断された場合には、登録者情報ＥＣ１の更新は行われず、登録者情報ＥＣ１が人物情報記憶部３４にそのまま保持される。
このように認証判定終了後に、当該認証に用いた登録者情報と認証者情報とを比較し、登録者情報ＥＣ１の変更（更新）を行うので、認証動作のたびに、より精度の高い情報を人物情報記憶部３４に確保することが可能となる。
＜顔登録システムＳＹＳ１の動作＞
次に、顔登録システムＳＹＳ１の動作について説明する。具体的には、カメラＣＡ１及びＣＡ２で撮影した所定人物を登録対象者ＨＭａとして、登録する場合について説明する。ここでは、３次元情報として、カメラＣＡ１，ＣＡ２による画像を利用して三角測量の原理によって計測された３次元形状情報を用い、２次元情報としてテクスチャ（輝度）情報を用いる場合を例示する。なお、以下の説明においては、顔照合システムＳＹＳ２の動作との相違点を中心に説明し、共通する部分については、同じ符号を付して説明を省略する。
図１に示されるように、顔登録システムＳＹＳ１におけるコントローラ１０ａでは、異なるタイミングで繰り返し撮影された登録対象者ＨＭａのステレオ画像（計測情報）ＥＡ１に基づいて、登録対象者ＨＭａの特徴情報と個別モデルＧＭ１のモデル完成度とが取得され、当該特徴情報とモデル完成度とが登録対象者ＨＭａの登録者情報ＥＣ１として人物情報記憶部３４に登録される。なお、人物情報記憶部３４に登録された登録者情報ＥＣ１は、上述の顔照合システムＳＹＳ２において認証の際等に用いられる。
以下では、顔登録システムＳＹＳ１におけるコントローラ１０ａの全体動作を詳述する。図１７は、顔登録システムＳＹＳ１におけるコントローラ１０ａの動作を示すフローチャートである。
図１７に示されるように、コントローラ１０ａでは、異なるタイミングで繰り返し取得される登録対象者ＨＭａの顔画像（照合画像）に対して上述のステップＳＰ１〜ＳＰ１２と同様の処理が実行される。
具体的には、登録対象者ＨＭａの顔を異なる時点において順次に（繰り返し）撮影したステレオ画像（計測情報）に基づいて、登録対象者ＨＭａの顔の各特徴点の３次元座標が算出されるとともに（ステップＳＰ６）、ステップＳＰ４において順次取得される各特徴点の３次元座標の信頼度に基づいて、ステップＳＰ７では個別モデルのモデル完成度Ｈｐが算出される。
そして、ステップＳＰ８において登録者情報ＥＣ１の生成に要求される顔情報（修正顔情報）ＥＢ１が得られたと判定されると、顔情報生成処理（ステップＳＰ１〜ＳＰ８）を終了し、ステップＳＰ９に移行する。
次のステップＳＰ９では、顔の各特徴点の３次元座標に基づいて顔の標準モデルから個別モデルが作成され、さらに、ステップＳＰ１０において、当該個別モデルの変動補正が行われる。ステップＳＰ１１では、補正後の個別モデルから３次元形状情報（３次元情報）とテクスチャ情報（２次元情報）とが抽出され、さらにステップＳＰ１２を経ることで登録対象者ＨＭａの顔特徴量（特徴情報）ｄが生成される。
ステップＳＰ２１では、生成された登録対象者ＨＭａの特徴情報（顔特徴量ｄ）と当該顔特徴量ｄの抽出元となった個別モデルのモデル完成度Ｈｐとが、認証に用いられる情報（登録者情報ＥＣ１）として、人物情報記憶部３４に登録される。
以上のようにして顔登録システムＳＹＳ１において人物情報記憶部３４に登録された登録対象者ＨＭａの登録者情報ＥＣ１は、上述の顔照合システムＳＹＳ２における認証動作に用いられる。当該顔認証用の情報を用いた顔照合システムＳＹＳ２においては、個別モデルから抽出される特徴情報と顔情報の信頼性に基づくモデル完成度Ｈｐとが登録対象者ＨＭａに関する顔認証用の情報として登録されるので、当該顔認証用の情報を用いた認証において、認証対象者ＨＭｂのモデル完成度Ｈｐｂと登録対象者ＨＭａのモデル完成度Ｈｐａとの比較動作を行って、登録対象者ＨＭａのモデル完成度Ｈｐａの更新動作等を行うことが可能になり、顔情報の信頼性を反映した高精度の認証が可能となる。
＜２．第２実施形態＞
次に、第２実施形態について説明する。なお、第２実施形態における顔認証システム１Ｂの構成は、第１実施形態において説明したものと同様であり、また、第１実施形態と同様の機能を有する要素については同一符号を付してその説明を省略する。
上記第１実施形態では、異なるタイミングで繰り返し取得されるステレオ画像に基づいて要求される認証精度に応じた顔情報ＥＢ１（又はＥＢ２）を生成し、その後当該顔情報ＥＢ１（又はＥＢ２）を用いてモデルフィッティング処理を行っていたが、本実施形態では、ステレオ画像が入力されるたびに顔情報を生成（更新）し、当該顔情報が更新されるごとに当該顔情報を用いて毎回モデルフィッティング処理を実行しモデルの更新を行う場合を例示する。
＜顔照合システムＳＹＳ２＞
図１８及び図１９は、第２実施形態の顔照合システムＳＹＳ２におけるコントローラ１０ｂの動作を示すフローチャートである。
まず、図１８に示されるように、ステップＳＰ５１〜ＳＰ５７では、それぞれ上述のステップＳＰ１〜ＳＰ７と同様の処理が行われる。簡単には、異なるタイミングで繰り返し入力される認証対象者ＨＭｂのステレオ画像それぞれについて顔情報が生成されるとともに（ステップＳＰ５４）、過去に生成された顔情報を反映した顔情報の更新が順次実行される（ステップＳＰ５６）。また、ステップＳＰ５７では、ステップＳＰ５５で順次取得される各特徴点の３次元座標の信頼度に基づいて、個別モデルのモデル完成度Ｈｐが算出される。
そして、ステップＳＰ５８において、ステップＳＰ５６で逐次（順次）生成される顔情報（修正顔情報）に基づいて毎回（順次）モデルフィッティングによるモデルの更新が行われる。モデルフィッティングにおいては、上述の通り３次元情報を変更する処理と２次元情報を変更する処理とが行われる。モデルフィッティング手法としては、第１実施形態と同様の手法を用いてもよいが、本実施形態のステップＳＰ５８では、標準モデルに新たに設定された準制御点ＣＳｖ（後述）の移動をも考慮に入れたモデルフィッティングを行う。なお、２次元情報を変更する処理については、第１実施形態と同様の手法により行う。
次のステップＳＰ５９（図１８）では、ステップＳＰ５１〜ＳＰ５８の連続的なモデル更新処理を終了し、次工程（ステップＳＰ６０）に移行するか否かが判定される。判定手法としては、上記ステップＳＰ８と同様の手法すなわちモデル完成度Ｈｐが予め設定された閾値ＴＨ１を越えたか否かを基準にして判断する手法を採用することができる。これによれば、要求される認証精度に必要な個別モデルが作成されるまで、繰り返し計測情報を取得することが可能となる。
ステップＳＰ５９において、ステップＳＰ５１〜ＳＰ５８の処理を終了すると判定されると、ステップＳＰ６０に移行する。
ステップＳＰ６０〜ＳＰ６２では、上述のステップＳＰ１０〜ＳＰ１２（図８）と同様の処理が実行される。簡単には、ステップＳＰ６０では、ステップＳＰ５１〜ＳＰ５９の工程で取得された個別モデルに変動補正が実行され、ステップＳＰ６１において補正後の個別モデルから３次元形状情報（３次元情報）とテクスチャ情報（２次元情報）とが抽出される。そして、ステップＳＰ６２で所定の情報圧縮処理が実行され、認証対象者ＨＭａの顔特徴量（特徴情報）ｄが生成される。
ステップＳＰ６３、ＳＰ６４では、上述のステップＳＰ１３、ＳＰ１４（図８）と同様の処理が実行され、認証対象者ＨＭａの認証者情報ＥＣ２（顔特徴量（特徴情報）ｄ等）を用いて認証対象者ＨＭｂの顔認証が行われる。具体的には、認証対象者ＨＭｂと比較対象者（登録対象者ＨＭａ）との類似度である総合類似度Ｒｅが算出され（ステップＳＰ１３）、その後、この総合類似度Ｒｅに基づいて認証対象者ＨＭｂと比較対象者との比較（認証判定）等（ステップＳＰ１４）が行われる。
さらに、図１９に示されるステップＳＰ６５〜ＳＰ６８では、上述のステップＳＰ１５〜ＳＰ１８と同様の処理が実行される。簡単には、認証対象者ＨＭｂと同一人物であると判定された比較対象者の登録者情報ＥＣ１に含まれるモデル完成度Ｈｐａとコントローラ１０ｂで生成された認証対象者ＨＭｂの認証者情報ＥＣ２に含まれるモデル完成度Ｈｐｂとを対比して、人物情報記憶部３４に登録されている登録者情報ＥＣ１の変更（更新）が行われる。
ここで、本実施形態のステップＳＰ５８で実行される準制御点ＣＳｖを考慮したモデルフィッティング（ステップＳＰ５８）について詳述する。図２０は、準制御点を考慮したモデルフィッティングを示すフローチャートである。図２１は、標準モデル上の準制御点ＣＳｖを示す図である。図２２は、準制御点の個別モデルにおける３次元位置と２枚の画像上における２次元位置との対応を示す図である。
準制御点ＣＳｖは、目の下又は鼻と口との間等に出現する皺のように、個人の識別情報としては有用ではあるが、標準制御点ＣＯｊよりも位置の特定が困難な箇所に設けられる点である。このような準制御点ＣＳｖを標準モデルに新たに設定し、モデルフィッティングを行うことによれば、個別モデルにおける標準制御点ＣＯｊ以外の中間点の位置を微調整することが可能となる。なお、ｖは準制御点の数を示している。
上記のような準制御点ＣＳｖを考慮したモデルフィッティングは、図２０に示されるステップＳＰ７１〜ＳＰ７８の各工程を経ることによって実現される。
まず、ステップＳＰ７１において、第１実施形態と同様の手法により制御点の移動が行われる。具体的には、ステップＳＰ５６で更新された各特徴点Ｑｊの修正３次元座標Ｍｍ(j)を、前回のモデルフィッティングで作成された個別モデルの対応する個別制御点Ｃｊに、新たな３次元座標値として代入する。この代入による各個別制御点Ｃｊの移動に伴って、個別モデル上の各準制御点ＣＳｖも移動する。
次のステップＳＰ７２では、個別制御点Ｃｊの移動に伴って移動した準制御点ＣＳｖの３次元座標が各個別制御点Ｃｊの３次元座標を用いた適宜の補間手法によって算出される。
ステップＳＰ７３では、各準制御点ＣＳｖの３次元座標に基づいてステップＳＰ５１で入力された２枚の画像（ここでは、画像Ｇ３、Ｇ４とする）それぞれにおける各準制御点ＣＳｖの２次元座標が算出される。詳細には、図２２に示されるように、各準制御点ＣＳｖの３次元座標から式（１）を用いて逆算することによって、２枚の画像それぞれにおける各準制御点ＣＳｖの２次元座標を算出する。
次のステップＳＰ７４では、各準制御点ＣＳｖごとに２枚の画像相互間で、準制御点ＣＳｖを中心とした所定領域の相関値演算が行われる。
具体的には、画像Ｇ３上の準制御点ＣＳｖを中心とする所定領域ＲＳ（例えば、５×５の画素を有する領域）を切り出し、当該所定領域ＲＳを画像Ｇ４上の準制御点ＣＳｖ近傍で微少幅（例えば、１画素）ずつシフトさせながら相関値演算を行う。相関値の算出は、上述の式（４）を用いて行い、相関値が最も大きくなる位置つまり同一部分を最も多く含む領域を特定する。
そして、ステップＳＰ７５において、相関値が最も大きくなった位置が、ステップＳＰ７３において算出された画像Ｇ４上の準制御点ＣＳｖの位置と一致するか否かを判定する。一致していると判定されれば、そのままモデルフィッティングを終了する。一方、一致していないと判定されれば、ステップＳＰ７６に移行する。
ステップＳＰ７６では、画像Ｇ４上における準制御点ＣＳｖの座標修正が行われる。具体的には、画像Ｇ４上において相関値が最も大きくなった位置（座標）における所定領域ＲＳの中心位置を当該画像Ｇ４上の準制御点ＣＳｖの２次元座標位置とする修正を行う。
そして、ステップＳＰ７７では、画像Ｇ３上の準制御点ＣＳｖの２次元座標と修正した画像Ｇ４上の準制御点ＣＳｖの２次元座標とから式（１）を用いて、新たに準制御点ＣＳｖの３次元座標を算出する。
ステップＳＰ７８では、新たに算出された準制御点ＣＳｖの３次元座標が個別モデル上の準制御点ＣＳｖに代入され、モデル変形が行われる。
以上のようにして、準制御点ＣＳｖの移動を考慮に入れたモデルフィッティングが行われる。このようなモデルフィッティングによって、認証対象者ＨＭｂの顔形状をより反映した個別モデルの作成が可能となる。
＜顔登録システムＳＹＳ１＞
図２３は、第２実施形態の顔登録システムＳＹＳ１におけるコントローラ１０ａの動作を示すフローチャートである。
図２３に示されるように、コントローラ１０ａでは、異なるタイミングで繰り返し取得される登録対象者ＨＭａのステレオ画像（登録画像）に基づいてステップＳＰ１〜ＳＰ１２と同様の処理が実行され、登録対象者ＨＭａの顔特徴量ｄと当該顔特徴量ｄの抽出元となった個別モデルのモデル完成度Ｈｐ（ステップＳＰ５７で取得）とが登録者情報ＥＣ１として生成される。
そして、ステップＳＰ８１では、ステップＳＰ２１（図１７）と同様の処理が行われ、生成された登録対象者ＨＭａの特徴情報（顔特徴量ｄ）とモデル完成度Ｈｐとが、認証動作に用いられる情報（登録者情報ＥＣ１）として人物情報記憶部３４に登録される。
＜３．変形例＞
以上、この発明の実施の形態について説明したが、この発明は、上記に説明した内容に限定されるものではない。
例えば、上記実施形態では、ステップＳＰ８、ＳＰ５９でモデル完成度Ｈｐに基づいて次工程（ステップＳＰ９、ステップＳＰ６０）への移行判定処理を実行し、ステップＳＰ１４、ＳＰ６４で総合類似度Ｒｅに基づいて認証判定を行っていたがこれに限定されない。
具体的には、ステップＳＰ８、ＳＰ５９でモデル完成度Ｈｐに基づいた移行判定処理を実行せず、ステップＳＰ１４、ＳＰ６４においてモデル完成度Ｈｐが所定の閾値ＴＨ１よりも大きく、かつ、総合類似度Ｒｅが閾値ＴＨ２よりも小さいときに認証対象者ＨＭｂと比較対象者ＨＭａとが同一人物であると判定するようにしてもよい。
このようにステップＳＰ１４において、モデル完成度Ｈｐと総合類似度Ｒｅとの双方を考慮した認証判定を実行するようにしてもよい。また、この場合、ステップＳＰ８、ＳＰ５９において実行される次工程（ステップＳＰ９、ＳＰ６０）への移行判定手法としては、各種の手法を採用することができる。例えば、画像取得開始からの経過時間が予め設定された所定の時間を越えたか否かを基準にして、次工程（ステップＳＰ９、ステップＳＰ６０）へと移行すべきか否かを判定する手法を用いることができる。或いは、移行判定（ステップＳＰ８、ＳＰ５９）を行わず、単に、ステレオ画像が繰り返し入力されるたびに次工程（ステップＳＰ９、ステップＳＰ６０）へ移行する動作態様にしてもよい。
以上のようにステップＳＰ１４の認証判定において、モデル完成度Ｈｐと総合類似度Ｒｅとの双方を考慮した認証判定を実行する認証動作は、モデル完成度Ｈｐが閾値ＴＨ１よりも低いときには、認証対象者ＨＭｂと前記比較対象者ＨＭａとが同一人物であると判定しない動作であるとも表現される。これによれば、認証に用いる顔情報の信頼性を十分に反映した正確な認証動作が可能となる。
また、上記実施形態等においては、モデル完成度Ｈｐと総合類似度Ｒｅとについてそれぞれ対応する基準値（閾値）ＴＨ１，ＴＨ２との比較を行うことによって、認証対象者ＨＭｂと前記比較対象者ＨＭａとが同一人物であるか否かを判定する場合を例示したが、これに限定されない。例えば、式（１７）に示されるような総合類似度Ｒｅとモデル完成度Ｈｐとの双方を変数とする関数ＶＨを設定し、ステップＳＰ１４において、当該関数ＶＨの値が所定の閾値ＴＨ３を越えるときに、認証対象者ＨＭｂと登録対象者ＨＭａとが同一人物であると判定するようにしてもよい。
但し、γは定数を表している。
このような認証判定によれば、認証に用いる情報の信頼性をも十分に反映した正確な認証動作が可能となる。
また、上記実施形態におけるコントローラ１０ｂのステップＳＰ８（図８）、ＳＰ５９（図１８）では、モデル完成度Ｈｐが閾値ＴＨ１を越えると、自動的に次工程（ステップＳＰ９、ステップＳＰ６０）へと移行していたがこれに限定されない。
具体的には、ユーザ（使用者）からの直接的な認証指示操作を受けることによって、次工程（ステップＳＰ９、ステップＳＰ６０）へと移行する態様にしてもよい。より詳細には、認証指示操作が未入力の場合には次工程（ステップＳＰ９、ステップＳＰ６０）には進まず顔情報生成処理（ステップＳＰ１〜ＳＰ８）を繰り返し実行する。そして、認証指示操作が入力された場合には、そのとき（当該入力の直前ないし直後）のモデル完成度が所定の閾値ＴＨ１よりも低ければ認証不可の信号（応答）を返して引き続き顔情報生成処理を繰り返すようにし、当該モデル完成度が所定値を越えていれば次工程（ステップＳＰ９、ステップＳＰ６０）に移行するようにしてもよい。これによれば認証の可否について即応性の高いシステムを提供することが可能となる。
また、上記実施形態においては、総合類似度Ｒｅを式（１６）によって定める場合を例示しているが、これに限定されない。例えば、式（１６）の右辺の逆数を総合類似度Ｒｅとするようにしてもよい。この場合には、総合類似度Ｒｅが一定の閾値ＴＨ２よりも大きいときに、認証対象者ＨＭｂと比較対象者との類似の度合いが高いものとして、認証対象者ＨＭｂが比較対象者と同一人物であると判定される。また、この場合、式（１７）に示される関数ＶＨは、モデル完成度Ｈｐと総合類似度Ｒｅとの積で表現されることになる。
また、上記実施形態におけるコントローラ１０ａ、１０ｂのステップＳＰ３（図８、図１７）、ＳＰ５３（図１８、図２３）を図２４に示される工程に置き換えることで、入力された２枚の画像それぞれから算出される各画像における顔の特徴点Ｑｊの２次元座標を、当該２枚の画像を用いて修正するようにしてもよい。図２４は、顔部位検出工程ステップＳＰ３、ＳＰ５３の代替動作を示すフローチャートであり、図２５は、取得された２枚の画像において対応する特徴点Ｑｊを示す図である。
具体的には、ステップＳＰ９１（図２４）では、ステップＳＰ３と同様の処理が実行され、２枚の画像それぞれにおける各特徴点Ｑｊの２次元座標が算出される。
次に、ステップＳＰ９２では、ステップＳＰ７４（図２０）と同様の処理が実行され、各特徴点Ｑｊごとに２枚の画像相互間で、特徴点Ｑｊを中心とした所定領域の相関値演算が行われる。詳細には、図２５に示されるように画像Ｇ１上の特徴点Ｑｊを中心とする所定領域ＲＷ（例えば、５×５の画素を有する領域）を切り出し、当該所定領域ＲＷを画像Ｇ２上の特徴点Ｑｊ近傍で微少幅（例えば、１画素）ずつシフトさせながら相関値演算を行う。相関値の算出は、上述の式（４）を用いて行い、相関値が最も大きくなる位置つまり同一部分を最も多く含む領域を特定する。
そして、ステップＳＰ９３では、ステップＳＰ７６と同様の処理が実行され、画像Ｇ２上における特徴点Ｑｊの座標修正が行われる。詳細には、画像Ｇ２上において相関値が最も大きくなった位置（座標）における所定領域ＲＷの中心位置を当該画像Ｇ２上の特徴点Ｑｊの２次元座標位置とする修正を行う。
以上のようにテクスチャ情報を用いた相関値演算によって各特徴点Ｑｊの２次元位置を修正することで、正確な各特徴点Ｑｊの３次元座標Ｍｓ(j)の算出、ひいては正確な認証情報の生成が可能となる。
また、上記実施形態においては、各特徴点の３次元座標の信頼度評価値Ｈ(j)を２枚の画像における対応領域相互間の相関値Ｆ(j)を用いて算出していたがこれに限定されない。例えば、以下の各要素（ＦＡ１、ＦＡ２）に基づいて各特徴点の３次元座標の信頼度評価値Ｈ(j)を算出することができる。
◎ＦＡ１（コントラスト値）：
２枚の画像におけるコントラスト値が高いとステップＳＰ３、ＳＰ５３において実行される各特徴点の特定が容易になるので、このような性質に基づけば、各特徴点の３次元座標の信頼性を評価することができる。
具体的には、２枚の画像における対応領域のコントラスト値ＦＣ(j)を２枚の画像それぞれにおいて算出し、対応領域のコントラスト値ＦＣ(j)の平均値に基づいて各特徴点の３次元座標の信頼度評価値Ｈ(j)を算出してもよい。コントラスト値ＦＣ(j)としては、隣接する画素間における輝度値の差分絶対値を累積加算したものを用いることができる。
◎ＦＡ２（カメラＣＡ１、ＣＡ２から各特徴点までの距離）：
ステレオ視を用いた３次元計測におけるその測定精度は、カメラから被写体までの距離の２乗の逆数に比例するという性質を用いて、各特徴点の３次元座標の信頼性を評価することができる。
具体的には、各特徴点の３次元座標が三角測量の原理によって２枚の画像から算出されることを利用して、２枚の画像を撮影した２台のカメラＣＡ１、ＣＡ２それぞれから各特徴点までの距離Ｄｆ１(j)、Ｄｆ２(j)をそれぞれ求め、各特徴点までの距離に基づいて信頼度評価値Ｈ(j)を算出すればよい。より詳細には、２台のカメラＣＡ１、ＣＡ２それぞれから各特徴点までの距離Ｄｆ１(j)、Ｄｆ２(j)を平均した平均距離Ｄｆ(j)と２台のカメラ間の基線長ＢＬとを要素に含む式（１８）に示されるような関数ＤＦ(j)を各特徴点の３次元座標の信頼度評価値Ｈ(j)とすればよい。なお、カメラから各特徴点までの距離Ｄｆ１(j)、Ｄｆ２(j)は、カメラパラメータに基づくカメラの３次元位置と各特徴点の３次元座標とを用いて算出することができる。
また、上記実施形態においては、顔情報（修正顔情報）に含まれる情報を顔の各特徴点の修正３次元座標Ｍｍ(j)としていたがこれに限定されない。具体的には、ステレオ画像（計測情報）に基づいて取得される顔の各特徴点Ｑｊを頂点とする各領域のテクスチャ情報を顔情報（修正顔情報）に含めてもよい。
また、このように顔情報にテクスチャ情報（２次元情報）を含めることによって、当該２次元情報（テクスチャ情報）の信頼性に基づいてモデル完成度Ｈｐを算出してもよい。
例えば、個別モデル上の各領域（パッチ）にマッピングされるテクスチャ情報の付与率ＨＴ（「テクスチャ付与率」とも称する）を個別モデルのモデル完成度Ｈｐとして用いることができる。詳細には、テクスチャの付与率ＨＴは、様々な角度から撮影された画像が取得されると高くなり、このような高いテクスチャ付与率ＨＴを有する個別モデルは、相当数のステレオ画像に基づいて作成されていると考えられるので、高いテクスチャ付与率ＨＴを有する個別モデルは、そのデータの信頼性が高いと言える。
なお、テクスチャ付与率ＨＴは、個別モデル上の総パッチ数ＰＡと実際にテクスチャ情報が付与されたパッチ数ＰＨとを用いて、式（１９）のように表される。
このように個別モデルのテクスチャ付与率に基づいて算出されるモデル完成度Ｈｐは、ステップＳＰ１１、ＳＰ６１において個別モデルから抽出されるテクスチャ情報（２次元情報）の信頼性を示す評価値であるとも表現することができる。
また、認証システム１Ａ、１Ｂは、テクスチャ情報の信頼性を反映したモデル完成度（「２次元のモデル完成度」とも称する）と上述の３次元形状情報の信頼性を反映したモデル完成度（「３次元のモデル完成度」とも称する）とを併用してもよい。これによって、認証判定終了後に行われる登録者情報ＥＣ１の更新処理（ステップＳＰ１５〜ＳＰ１８、ステップＳＰ６５〜ＳＰ６８）において、２次元情報に基づく特徴情報（局所２次元顔特徴量ｄ(k)）の更新処理と３次元形状情報に基づく特徴情報（３次元顔特徴量ｄS）の更新処理とをそれぞれ別々に実行することが可能となる。つまり、比較対象者の登録者情報ＥＣ１に含まれる２つのモデル完成度（２次元のモデル完成度および３次元のモデル完成度）と認証者情報ＥＣ２に含まれる２つのモデル完成度とをそれぞれ比較することで、２次元情報に基づく特徴情報と３次元形状情報に基づく特徴情報とをそれぞれ別々に更新することが可能となり、認証判定を実行するたびに、より精度の高い認証情報を効率よく確保することが可能となる。
また、上記実施形態においては、個別モデルのモデル完成度Ｈｐを、ステレオ画像ごとの各特徴点の３次元座標の信頼度評価値Ｈ(j)を時系列的に累積加算して算出していたが、これに限定されない。具体的には、ステレオ画像ごとの各特徴点の信頼度評価値Ｈ(j)の平均値を算出し、この平均値を用いて個別モデルのモデル完成度Ｈｐを算出してもよい。
或いは、各特徴点の信頼度評価値Ｈ(j)のばらつきをも考慮した個別モデルのモデル完成度Ｈｐを算出してもよい。詳細には、各特徴点の信頼度評価値Ｈ(j)の標準偏差ＳＤ(j)を求め、この標準偏差ＳＤ(j)が大きくなると個別モデルのモデル完成度Ｈｐが悪化するような手法を用いてモデル完成度Ｈｐを算出する。これによれば、各特徴点の信頼度評価値Ｈ(j)にばらつきがある場合、換言すれば、繰り返し入力される計測情報の中に信頼性の低い顔画像が所定数含まれている場合には、モデル完成度Ｈｐを低く抑えて算出することができる。
また、上記実施形態においては、パッチ内の各画素の輝度値を２次元情報としていたが、各パッチが有する色合いを２次元情報として用いてもよい。
また、上記実施形態では、ステップＳＰ６において変換行列Ａｔを決定する手法として手法を用いていたがこれに限定されず、例えば、所定の特徴空間から級間分散と級内分散との比率が大きくなるような射影空間を求めるＭＤＡ（Multiple Discriminant Analysis）法、或いは、所定の特徴空間から級間分散と級内分散との差が大きくなるような射影空間を求めるＥＭ（Eigenspace Method）法を用いてもよい。
また、上記実施形態においては、式（１６）に示すように、３次元形状情報だけでなく、テクスチャ情報をも用いて認証対象者と登録者との同一性を判定しているが、これに限定されず、３次元形状情報だけを用いて認証対象者と登録者との同一性を判定してもよい。ただし、認証精度向上のためには、テクスチャ情報をも用いることが好ましい。
また、上記実施形態においては、複数台のカメラより入力される複数の画像を用いて顔の３次元形状情報を取得しているがこれに限定されない。具体的には、図２６に示されるようなレーザ光出射部Ｌ１とカメラＬＣＡとから構成される３次元形状測定器を用いてレーザ光出射部Ｌ１の照射するレーザの反射光をカメラＬＣＡによって計測することにより、認証対象者の顔の３次元形状情報を取得してもよい。但し、上記実施形態のようにカメラ２台を含む入力装置を用いて３次元の形状情報を取得する手法によれば、レーザ光を用いる入力装置に比べて、比較的簡易な構成で３次元の形状情報を取得することができる。
また、上記実施形態においては、コントローラ１０ａの人物情報記憶部３４とコントローラ１０ｂの人物情報記憶部３４とを全く別体として構成していたが、これに限定されず、例えば、同一の記憶部を共有して用いてもよい。
また、上記実施形態においては、顔の標準モデルをコントローラ１０ａ（１０ｂ）内の３次元モデルデータベース３２から取得していたがこれに限定されない。例えば、コントローラ１０ａ（１０ｂ）の外部に設けられたモデル格納部から、ＬＡＮ及びインターネットなどのネットワークを介して取得するようにしてもよい。
本発明の第１実施形態に係る顔認証システムの全体動作を示す図である。 本発明の第１実施形態に係る顔照合システムを示す構成図である。 顔照合システムのコントローラの構成概要を示す図である。 顔照合システムのコントローラの各種機能を示すブロック図である。 個人認証部の詳細な機能構成を示すブロック図である。 顔登録システムのコントローラの各種機能を示す図である。 個人登録部の詳細な機能構成を示すブロック図である。 顔照合システムにおけるコントローラの動作を示すフローチャートである。 顔照合システムにおけるコントローラの動作を示すフローチャートである。 ２台のカメラから連続的に取得される画像を、時系列表示した図である。 顔画像における特徴的な部位の特徴点を示す図である。 ２次元画像中の特徴点から三角測量の原理を用いて３次元座標を算出する様子を示す模式図である。 或る特徴点Ｑ２０を中心とした所定領域を示す図である。 ３次元の顔の標準モデルを示す図である。 テクスチャ情報を示す図である。 正規化後の特徴的な部位の個別制御点を示す図である。 顔登録システムにおけるコントローラの全体動作を示すフローチャートである。 第２実施形態の顔認証システムにおけるコントローラの動作を示すフローチャートである。 第２実施形態の顔認証システムにおけるコントローラの動作を示すフローチャートである。 準制御点を考慮したモデルフィッティングを示すフローチャートである。 標準モデル上の準制御点を示す図である。 準制御点の個別モデルにおける３次元位置と２枚の画像上における２次元位置との対応を示す図である。 第２実施形態の顔登録システムにおけるコントローラの動作を示すフローチャートである。 顔部位検出工程の代替動作を示すフローチャートである。 取得された２枚の画像において対応する特徴点を示す図である。 レーザ光出射部とカメラとから構成される３次元形状測定器を示す図である。
符号の説明
１Ａ、１Ｂ 認証システム
１０ａ、１０ｂ コントローラ
ＣＡ１、ＣＡ２ カメラ
Ｃｊ 個別制御点
Ｑｊ 特徴点

Claims (7)

  1. 認証システムであって、
    認証対象者に関するステレオ画像に基づいて、前記認証対象者の顔における３次元形状情報を含む顔情報を生成する生成手段と、
    人の顔に関する標準的なモデルである標準モデルを前記顔情報を用いて変形し、前記認証対象者の顔に関する個別モデルを作成するモデル変形手段と、
    前記ステレオ画像において対応する特徴点間の相関値に基づき、前記特徴点の３次元座標の信頼度を算出する手段と、
    前記ステレオ画像中に複数存在する特徴点の信頼度を累積加算することにより前記個別モデルの完成度である第１のモデル完成度を算出する手段と、
    前記第１のモデル完成度が所定値を越えるまで前記ステレオ画像を繰り返し取得する制御手段と、
    前記第１のモデル完成度が所定値を越えた後に、前記認証対象者の特徴情報である第１の特徴情報を前記個別モデルから抽出する抽出手段と、
    予め登録されている比較対象者の特徴情報である第２の特徴情報を取得する手段と、
    前記第１の特徴情報と前記第２の特徴情報との類似度に加えて、前記第１のモデル完成度をも用いて前記認証対象者に関する認証動作を行う認証手段と、
    を備えることを特徴とする認証システム。
  2. 請求項１に記載の認証システムにおいて、
    前記所定値は、前記認証動作に要求される認証レベルに応じて設定されることを特徴とする認証システム。
  3. 請求項１または請求項２に記載の認証システムにおいて、
    前記比較対象者のモデルの完成度である第２のモデル完成度を取得する手段と、
    前記第１のモデル完成度と前記第２のモデル完成度とを比較する比較手段と、
    前記認証手段によって前記認証対象者と前記比較対象者とが同一人物であると判定される場合において、前記比較手段によって前記第１のモデル完成度が前記第２のモデル完成度よりも高い完成度を有していると判断されるときには、前記第１の特徴情報を前記比較対象者の特徴情報として更新登録する更新手段と、
    をさらに備えることを特徴とする認証システム。
  4. 請求項３に記載の認証システムにおいて、
    前記顔情報には、前記認証対象者の顔における２次元情報も含まれ、
    前記第１のモデル完成度及び前記第２のモデル完成度は、３次元形状情報に関するモデル完成度と２次元情報に関するモデル完成度とをそれぞれ含み、
    前記第１の特徴情報及び前記第２の特徴情報は、前記３次元形状情報に基づく特徴情報と前記２次元情報に基づく特徴情報とをそれぞれ含み、
    前記比較手段は、前記第１のモデル完成度と前記第２のモデル完成度との比較において、前記３次元形状情報に関するモデル完成度同士の第１の比較と、前記２次元情報に関するモデル完成度同士の第２の比較とを別々に実行し、
    前記更新手段は、前記第１の比較に基づいて前記３次元形状情報に基づく特徴情報を更新するとともに、前記第２の比較に基づいて前記２次元情報に基づく特徴情報を更新することを特徴とする認証システム。
  5. 顔認証用の情報を登録する登録システムであって、
    登録対象者に関するステレオ画像に基づいて、前記登録対象者の顔における３次元形状情報を含む顔情報を生成する生成手段と、
    人の顔に関する標準的なモデルである標準モデルを前記顔情報を用いて変形し、前記登録対象者の顔に関する個別モデルを作成するモデル変形手段と、
    前記ステレオ画像において対応する特徴点間の相関値に基づき、前記特徴点の３次元座標の信頼度を算出する手段と、
    前記ステレオ画像中に複数存在する特徴点の信頼度を累積加算することにより前記個別モデルの完成度である第２のモデル完成度を算出する手段と、
    前記登録対象者の特徴情報を前記個別モデルから抽出する手段と、
    前記第２のモデル完成度と前記特徴情報とを前記顔認証用の情報として登録する手段と、
    を備え、
    前記第２のモデル完成度は、顔認証の際に、認証対象者の第１のモデル完成度との比較に基づく、前記登録対象者の特徴情報を更新するか否かの決定に用いられる登録システム。
  6. 請求項５に記載の登録システムにおいて、
    前記顔情報は、異なる時点において順次に取得されるステレオ画像に基づいて更新されることを特徴とする登録システム。
  7. プログラムであって、
    コンピュータに、
    認証対象者に関するステレオ画像に基づいて、前記認証対象者の顔における３次元形状情報を含む顔情報を生成する生成工程と、
    人の顔に関する標準的なモデルである標準モデルを前記顔情報を用いて変形し、前記認証対象者の顔に関する個別モデルを作成するモデル変形工程と、
    前記ステレオ画像において対応する特徴点間の相関値に基づき、前記特徴点の３次元座標の信頼度を算出する工程と、
    前記ステレオ画像中に複数存在する特徴点の信頼度を累積加算することにより前記個別モデルの完成度である第１のモデル完成度を算出する工程と、
    前記第１のモデル完成度が所定値を越えるまで前記ステレオ画像を繰り返し取得する工程と、
    前記第１のモデル完成度が所定値を越えた後に、前記認証対象者の特徴情報である第１の特徴情報を前記個別モデルから抽出する抽出工程と、
    予め登録されている比較対象者の特徴情報である第２の特徴情報を取得する工程と、
    前記第１の特徴情報と前記第２の特徴情報との類似度に加えて、前記第１のモデル完成度をも用いて前記認証対象者に関する認証動作を行う認証工程と、
    を実行させることを特徴とするプログラム。
JP2005314426A 2005-10-28 2005-10-28 認証システム、登録システム及びプログラム Expired - Fee Related JP4645411B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005314426A JP4645411B2 (ja) 2005-10-28 2005-10-28 認証システム、登録システム及びプログラム
US11/588,025 US7925060B2 (en) 2005-10-28 2006-10-26 Authentication system and registration system related to facial feature information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005314426A JP4645411B2 (ja) 2005-10-28 2005-10-28 認証システム、登録システム及びプログラム

Publications (2)

Publication Number Publication Date
JP2007122454A JP2007122454A (ja) 2007-05-17
JP4645411B2 true JP4645411B2 (ja) 2011-03-09

Family

ID=37996337

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005314426A Expired - Fee Related JP4645411B2 (ja) 2005-10-28 2005-10-28 認証システム、登録システム及びプログラム

Country Status (2)

Country Link
US (1) US7925060B2 (ja)
JP (1) JP4645411B2 (ja)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7630006B2 (en) * 1997-10-09 2009-12-08 Fotonation Ireland Limited Detecting red eye filter and apparatus using meta-data
US7738015B2 (en) * 1997-10-09 2010-06-15 Fotonation Vision Limited Red-eye filter method and apparatus
US7042505B1 (en) 1997-10-09 2006-05-09 Fotonation Ireland Ltd. Red-eye filter method and apparatus
US7599577B2 (en) 2005-11-18 2009-10-06 Fotonation Vision Limited Method and apparatus of correcting hybrid flash artifacts in digital images
JP4910507B2 (ja) * 2006-06-29 2012-04-04 コニカミノルタホールディングス株式会社 顔認証システム及び顔認証方法
JP4952267B2 (ja) * 2007-01-19 2012-06-13 コニカミノルタホールディングス株式会社 ３次元形状処理装置、３次元形状処理装置の制御方法、および３次元形状処理装置の制御プログラム
US8170297B2 (en) * 2007-01-19 2012-05-01 Konica Minolta Holdings, Inc. Face authentication system and face authentication method
WO2008109708A1 (en) 2007-03-05 2008-09-12 Fotonation Vision Limited Red eye false positive filtering using face location and orientation
JP5273998B2 (ja) * 2007-12-07 2013-08-28 キヤノン株式会社 撮像装置、その制御方法及びプログラム
WO2009124139A1 (en) * 2008-04-01 2009-10-08 The Government Of The United States Of America, As Represented By The Secretaty Of The Navy Methods and systems of comparing face models for recognition
JP5153434B2 (ja) * 2008-04-22 2013-02-27 キヤノン株式会社 情報処理装置及び情報処理方法
JP2010191592A (ja) * 2009-02-17 2010-09-02 Seiko Epson Corp 顔の特徴部位の座標位置を検出する画像処理装置
US8803950B2 (en) * 2009-08-24 2014-08-12 Samsung Electronics Co., Ltd. Three-dimensional face capturing apparatus and method and computer-readable medium thereof
JP5195741B2 (ja) * 2009-12-25 2013-05-15 株式会社デンソー 生体活動計測装置
KR101633620B1 (ko) * 2010-01-04 2016-06-27 삼성전자 주식회사 영상 기반의 위치 인식을 위한 특징점 등록 장치 및 그 방법
JPWO2011086803A1 (ja) * 2010-01-12 2013-05-16 日本電気株式会社 画像照合システム、画像照合方法、コンピュータプログラム
JP5836724B2 (ja) * 2011-09-21 2015-12-24 キヤノン株式会社 画像認識方法、画像認識装置及びプログラム
KR101841750B1 (ko) * 2011-10-11 2018-03-26 한국전자통신연구원 매칭 정보에 의한 입체 영상 보정 장치 및 그 방법
EP3061023B1 (en) * 2013-10-25 2020-01-01 OneVisage SA A method and a system for performing 3d-based identity verification of individuals with mobile devices
WO2015128961A1 (ja) 2014-02-26 2015-09-03 株式会社日立製作所 顔認証システム
US12130900B2 (en) 2014-08-28 2024-10-29 Facetec, Inc. Method and apparatus to dynamically control facial illumination
US10614204B2 (en) * 2014-08-28 2020-04-07 Facetec, Inc. Facial recognition authentication system including path parameters
US10803160B2 (en) 2014-08-28 2020-10-13 Facetec, Inc. Method to verify and identify blockchain with user question data
US10698995B2 (en) 2014-08-28 2020-06-30 Facetec, Inc. Method to verify identity using a previously collected biometric image/data
US9953247B2 (en) * 2015-01-29 2018-04-24 Samsung Electronics Co., Ltd. Method and apparatus for determining eye position information
US20160302210A1 (en) * 2015-04-10 2016-10-13 Enovate Medical, Llc Communication hub and repeaters
US9734682B2 (en) 2015-03-02 2017-08-15 Enovate Medical, Llc Asset management using an asset tag device
JP6526527B2 (ja) * 2015-09-09 2019-06-05 株式会社東芝 識別装置及び認証システム
CN105469072B (zh) * 2015-12-14 2019-05-31 依视路国际公司 一种评估眼镜佩戴者和其所佩戴眼镜搭配度的方法和系统
USD987653S1 (en) 2016-04-26 2023-05-30 Facetec, Inc. Display screen or portion thereof with graphical user interface
US10230860B2 (en) * 2016-08-08 2019-03-12 Kabushiki Kaisha Toshiba Authentication apparatus for carrying out authentication based on captured image, authentication method and server
JP6878842B2 (ja) * 2016-11-09 2021-06-02 コニカミノルタ株式会社 画像処理装置、認証方法および認証プログラム
CN109003298A (zh) * 2017-06-02 2018-12-14 视镜科技有限公司 虚拟眼镜选配方法与系统
CN107820591A (zh) * 2017-06-12 2018-03-20 美的集团股份有限公司 控制方法、控制器、智能镜子和计算机可读存储介质
CN107330408B (zh) * 2017-06-30 2021-04-20 北京乐蜜科技有限责任公司 视频处理方法、装置、电子设备及存储介质
CN109460690B (zh) * 2017-09-01 2022-10-14 虹软科技股份有限公司 一种用于模式识别的方法和装置
JP6981265B2 (ja) * 2018-01-11 2021-12-15 富士通株式会社 生体認証装置、生体認証方法、および生体認証プログラム
JP7157303B2 (ja) 2018-02-01 2022-10-20 ミツミ電機株式会社 認証装置
US10963675B2 (en) * 2019-01-30 2021-03-30 Realnetworks, Inc. Method for selecting images in video of faces in the wild
WO2020178893A1 (ja) * 2019-03-01 2020-09-10 日本電気株式会社 辞書生成装置、生体認証装置、監視システム、辞書生成方法、および記録媒体
WO2022254501A1 (ja) * 2021-05-31 2022-12-08 三菱電機株式会社 個人認証装置及び個人認証システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001092963A (ja) * 1999-09-27 2001-04-06 Fujitsu Ltd 画像照合方法および装置
JP2003006645A (ja) * 2001-06-20 2003-01-10 Secom Co Ltd 本人認証用の顔画像照合装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000057129A1 (fr) * 1999-03-19 2000-09-28 Matsushita Electric Works, Ltd. Procede de reconnaissance d'objet tridimensionnel et systeme de collecte de broches a l'aide de ce procede
US6775397B1 (en) * 2000-02-24 2004-08-10 Nokia Corporation Method and apparatus for user recognition using CCD cameras
JP3784289B2 (ja) * 2000-09-12 2006-06-07 松下電器産業株式会社 メディア編集方法及びその装置
KR100481116B1 (ko) * 2001-03-09 2005-04-07 가부시끼가이샤 도시바 안면화상 인식장치
TWI278782B (en) * 2001-08-24 2007-04-11 Toshiba Corp Personal recognition apparatus
KR100474848B1 (ko) * 2002-07-19 2005-03-10 삼성전자주식회사 영상시각 정보를 결합하여 실시간으로 복수의 얼굴을검출하고 추적하는 얼굴 검출 및 추적 시스템 및 방법
JP4314016B2 (ja) * 2002-11-01 2009-08-12 株式会社東芝 人物認識装置および通行制御装置
US7421097B2 (en) * 2003-05-27 2008-09-02 Honeywell International Inc. Face identification verification using 3 dimensional modeling
JP2004288222A (ja) 2004-07-13 2004-10-14 Nec Corp 画像照合装置及びその画像照合方法並びにその制御プログラムを記録した記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001092963A (ja) * 1999-09-27 2001-04-06 Fujitsu Ltd 画像照合方法および装置
JP2003006645A (ja) * 2001-06-20 2003-01-10 Secom Co Ltd 本人認証用の顔画像照合装置

Also Published As

Publication number Publication date
US20070098230A1 (en) 2007-05-03
US7925060B2 (en) 2011-04-12
JP2007122454A (ja) 2007-05-17

Similar Documents

Publication Publication Date Title
JP4645411B2 (ja) 認証システム、登録システム及びプログラム
JP4696778B2 (ja) 認証装置、認証方法及びプログラム
JP4752433B2 (ja) モデリングシステム、モデリング方法およびプログラム
JP6754619B2 (ja) 顔認識方法及び装置
JP2007058397A (ja) 認証システム、登録システム及び証明用媒体
JP4539494B2 (ja) 認証装置、認証方法及びプログラム
JP4992289B2 (ja) 認証システム、認証方法、及びプログラム
JP4653606B2 (ja) 画像認識装置、方法およびプログラム
Haehnel et al. An extension of the ICP algorithm for modeling nonrigid objects with mobile robots
JP4780198B2 (ja) 認証システム及び認証方法
JP4093273B2 (ja) 特徴点検出装置、特徴点検出方法および特徴点検出プログラム
US9087232B2 (en) 3D object recognition
JP4950787B2 (ja) 画像処理装置及びその方法
JP4321350B2 (ja) パラメタ推定方法、パラメタ推定装置および照合方法
JP2007065766A (ja) 画像処理装置および方法、並びにプログラム
JP5170094B2 (ja) なりすまし検知システム、なりすまし検知方法およびなりすまし検知用プログラム
KR101510312B1 (ko) 복수의 카메라들을 이용한 3d 얼굴 모델링 장치, 시스템 및 방법
WO2006049147A1 (ja) 三次元形状推定システム及び画像生成システム
JP4539519B2 (ja) 立体モデル生成装置および立体モデル生成方法
JP2008204200A (ja) 顔解析システム及びプログラム
JP5018029B2 (ja) 認証システム及び認証方法
JP4956983B2 (ja) 認証システム、認証方法およびプログラム
JP2003141551A (ja) 顔向き計算方法及びその装置
JP2007257310A (ja) 顔解析システム
JP4525523B2 (ja) 認証システム、認証方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080424

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080611

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100824

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101021

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101109

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101122

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131217

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees