Nothing Special   »   [go: up one dir, main page]

JP5353147B2 - 顔照合システム - Google Patents

顔照合システム Download PDF

Info

Publication number
JP5353147B2
JP5353147B2 JP2008242534A JP2008242534A JP5353147B2 JP 5353147 B2 JP5353147 B2 JP 5353147B2 JP 2008242534 A JP2008242534 A JP 2008242534A JP 2008242534 A JP2008242534 A JP 2008242534A JP 5353147 B2 JP5353147 B2 JP 5353147B2
Authority
JP
Japan
Prior art keywords
registrant
face image
face
image
feature quantity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008242534A
Other languages
English (en)
Other versions
JP2010073112A (ja
Inventor
善久 湊
基夫 山本
匡史 日向
博之 岩尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2008242534A priority Critical patent/JP5353147B2/ja
Publication of JP2010073112A publication Critical patent/JP2010073112A/ja
Application granted granted Critical
Publication of JP5353147B2 publication Critical patent/JP5353147B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Collating Specific Patterns (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、顔画像を用いて人物を照合する顔照合システムに関する。
従来より、顔画像を用いて人物を照合する顔照合技術が実用化されており、本人認証や人物同定を行う各種システムに応用されている。
この種のシステムは、登録者の情報として、登録者の顔画像と顔画像から抽出した特徴量とを保持しているのが一般的である。照合時(認証時)には、まず照合対象者の顔をカメラで撮影し、その顔画像から対象者の特徴量を抽出する。そして、この特徴量を、予めシステムに登録されている登録者の特徴量と比較することにより、対象者が登録者と同一人か否かを判断する。一方、新規登録者を追加する時、登録情報の確認・編集を行う時、顔照合結果を確認する時などは、システムの操作者(以下、ユーザともいう)が登録者の顔を目視で確認する必要が生じる。このような場合には、登録者の顔画像を表示できるようになっている。
ところで、登録者の情報は、システム運用者にとって重要な資産であるだけでなく、一定の関係を有する他者にとっても「価値ある」情報となるため、盗難や攻撃の対象になるおそれがある。例えば、店舗に訪れる客を顔照合して、リピータや不良客を同定するシステムを想定すると、リピータや高額購買者などの情報(VIP情報)は、他の店舗にとっても有益な情報である。またある店舗での不良客は他の店舗においても不良客となる可能性があるため、不良客情報もやはり他の店舗にとっての有益な情報となる。
また登録者の顔画像は、特定の個人を識別することができる情報であり検索性・体系性を有する情報ゆえ、いわゆる個人情報保護法で規定する「個人情報」もしくは「個人情報データ」に該当するものとなる可能性がある。したがって、顔画像を法律上適正に管理しなければ、顔照合システムの運用そのものが不適当とされるおそれがある。また顔画像やその付帯情報(例えば名前・年齢・購買情報など)が流出した場合、運用者もしくは設計者がその民事上、刑事上、場合によっては行政上の責任をとらなければならなくなるおそれもある。
なお顔照合システムにおける顔画像の保護を目的とした先行技術としては次のようなものがある。特許文献1には、通行が許可された人物の顔画像を防犯管理センタ等の外部へ配信することはせず、登録顔画像DBに登録されていない不審者の顔画像のみ外部へ配信することにより、正当利用者の顔画像の漏洩を防止する技術が開示されている。特許文献2には、撮影画像とICカード内に登録本人顔画像との照合処理をICカード内で実行することにより、顔画像がICカードから外に流出しないようする認証方式が開示されている。特許文献3には、顔照合により特定人物(例えば指名手配者)か否かを判断し、特定人物以外の者の顔部分にモザイクを施して動画を保存する技術が開示されている。特許文献4には、カメラによる顔写真の撮影と略同時に生体認証データを取得し、これらのデータを暗号化して管理装置へ送信する技術が開示されている。特許文献5には、複数の配信先に配信された個人情報の全てを顔照合を用いて検出し一括して削除する技術が開示されている。
特開2004−355377号公報 特開2005−293399号公報 特開2004−62560号公報 特開2005−149275号公報 特開2008−40829号公報
本発明は上記実情に鑑みてなされたものであって、顔照合システムが盗難や攻撃にあったとしても、登録者の顔画像を可及的に保護できる技術を提供することにある。
顔照合システムが盗難や攻撃にあった場合の対策として、例えば、システム内に保持する登録者情報を全て暗号化しておき、他者による登録者情報の利用を阻害することが考えられる。しかしこの方法では、顔照合のたびに登録者情報の復号処理が必要となり、処理速度の点から好ましくない。また、照合をローカルな端末ではなく外部の認証サーバなどで行うことも考えられるが、この方法では、顔照合のたびに顔データの送信もしくは特徴量の送信などのネットワーク通信が発生するため、処理速度の観点からも信頼性の点からも好ましくない。
そこで本発明者らは鋭意検討を重ね、次のような着想を得た。すなわち、顔照合システムでは、登録者情報として、顔画像そのものと、顔画像から抽出された特徴量とが利用される。このうち、顔照合処理に利用されるのは特徴量だけであり、顔画像が必要な処理が発生する頻度は非常に少ない。よって顔照合の処理速度の観点からは、特徴量のデータ利用が容易であれば足り、顔画像のデータ利用が困難であっても支障はない。その一方で、保護の必要性という観点から考えると、顔画像は極めて重要であるのに対し、特徴量の保護の必要性は小さいと考えられる。その理由は、特徴量はコンピュータプログラムが利用するためのデータ(数値や記号などで表現されるデータ)であり、人がそのデータ内容を見ても特定の個人を識別することができないこと、特徴量のデータから元の顔画像を復元することも不可能であること、他のコンピュータプログラムにはほとんど利用価値のないデータであること、などである。
以上のことから、本発明者らは、登録者の顔画像と特徴量とを論理的または/および物理的に分離して管理するという構成を採用することとした。これにより、照合処理におけるデータ利用を阻害することなく、登録者の顔画像の保護強化を図ることが可能となる。
具体的には、本発明の顔照合システムは、顔画像から得られる情報により対象者を登録者と照合する顔照合システムであって、前記対象者の顔を撮影する撮像手段と、前記撮像手段から取得される顔画像から前記対象者の特徴量を抽出する特徴量抽出手段と、前記登録者の顔画像を記憶している登録者顔画像記憶手段と、前記登録者の顔画像から抽出された特徴量を記憶している登録者特徴量記憶手段と、前記特徴量抽出手段により抽出された前記対象者の特徴量と前記登録者特徴量記憶手段に記憶されている前記登録者の特徴量とを比較することにより、前記対象者が前記登録者と同一人か否かを判断する照合手段と、を備える。
本発明の第1態様では、少なくとも前記特徴量抽出手段、前記登録者特徴量記憶手段、および前記照合手段が第1の装置で構成されており、前記登録者顔画像記憶手段が、前記第1の装置よりもセキュリティレベルの高い場所に保管される第2の装置で構成されている。なお、前記撮像手段は、前記第1の装置に有線もしくは無線で接続されるか、前記第1の装置に具備される。
顔照合処理を担う第1の装置は、撮像手段から顔画像を取得する関係で、前記のように効率性を重視するならば認証サーバ等は利用せずに撮像手段と同じかもしくは近い場所に設置せざるを得ない。それゆえ、運用上、第1の装置はセキュリティレベルの低い場所に
設置されることが多く、また、その設置場所は他者に推測されやすい。したがって、盗難や攻撃の対象となり得るのは、第1の装置と考えられる。上記本発明の構成によれば、たとえ第1の装置が盗難や攻撃にあったとしても、第1の装置には登録者の顔画像が格納されていないため、顔画像が漏洩することはない。しかも第2の装置はセキュリティレベルの高い場所に保管されているので、第2の装置に対する盗難や攻撃の危険性を可及的に小さくすることができる。なお、前述のとおり、顔画像の利用頻度(第2の装置の利用頻度)は低いため、第2の装置に関しては、利用のしやすさよりも安全であることが優先される。
上記第1態様において、前記第1の装置は、前記登録者の顔画像を利用する必要が生じた場合に、前記第2の装置との間にデータ通信路を構築し、該データ通信路を通じて前記第2の装置から前記登録者の顔画像を取得し、前記登録者の顔画像のデータをワークメモリ上で利用することが好ましい。
これにより、第1の装置が登録者の顔画像を利用する際にも、第1の装置には顔画像が保存されない。したがって、万一、第1の装置が第2の装置から登録者の顔画像を取得した状態のときに第1の装置が盗難にあったとしても、顔画像が漏洩するおそれはない。
上記第1態様において、前記第2の装置は複数の記憶装置から構成されており、前記登録者顔画像記憶手段は、前記登録者の顔画像を複数のデータに符号化し、符号化されたそれぞれのデータを前記複数の記憶装置に別々に格納していることが好ましい。なお、顔画像を利用する際は、複数の記憶装置に別々に格納されたデータを全て集めて、それらのデータを復号して登録者の顔画像を復元する。
この構成によると、第1の装置と第2の装置のいずれにも、登録者の顔画像が存在していないため、第1の装置もしくは第2の装置が盗難や攻撃を受けたとしても、顔画像の漏洩を防ぐことができる。
上記第1態様において、前記登録者の顔画像が暗号化されていることが好ましい。万一データが流出したとしても、暗号化されていれば、他者による顔画像の利用を阻害できるからである。
また本発明の第2態様は、顔画像から得られる情報により対象者を登録者と照合する顔照合システムであって、前記対象者の顔を撮影する撮像手段と、前記撮像手段から取得される顔画像から前記対象者の特徴量を抽出する特徴量抽出手段と、前記登録者の顔画像を記憶している登録者顔画像記憶手段と、前記登録者の顔画像から抽出された特徴量を記憶している登録者特徴量記憶手段と、前記特徴量抽出手段により抽出された前記対象者の特徴量と前記登録者特徴量記憶手段に記憶されている前記登録者の特徴量とを比較することにより、前記対象者が前記登録者と同一人か否かを判断する照合手段と、を備え、前記登録者顔画像記憶手段に記憶されている前記登録者の顔画像が暗号化されていることを特徴とする。
この構成によれば、顔照合システムが盗難や攻撃を受けて、登録者の顔画像のデータが登録者顔画像記憶手段から読み出されたとしても、データが暗号化されているので、他者による顔画像の利用を阻害することができる。
また本発明の第3態様は、顔画像から得られる情報により対象者を登録者と照合する顔照合システムであって、前記対象者の顔を撮影する撮像手段と、前記撮像手段から取得される顔画像から前記対象者の特徴量を抽出する特徴量抽出手段と、前記登録者の顔画像を記憶している登録者顔画像記憶手段と、前記登録者の顔画像から抽出された特徴量を記憶
している登録者特徴量記憶手段と、前記特徴量抽出手段により抽出された前記対象者の特徴量と前記登録者特徴量記憶手段に記憶されている前記登録者の特徴量とを比較することにより、前記対象者が前記登録者と同一人か否かを判断する照合手段と、を備え、少なくとも前記登録者顔画像記憶手段が、耐タンパ性を有するハードウエアで構成されていることを特徴とする。
この構成によれば、登録者顔画像記憶手段に対する内部解析やデータの読み出しが阻害されるので、顔照合システムが盗難を受けたとしても、登録者の顔画像の流出を防止することができる。
本発明は、上記手段の少なくとも一部を有する顔照合システムとして捉えてもよいし、上記処理の少なくとも一部を含む顔照合システムにおける顔画像保管方法、または、かかる方法を実現するためのプログラムやそのプログラムを記録した記録媒体として捉えることもできる。なお、上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。
本発明によれば、顔照合システムが盗難や攻撃にあったとしても、登録者の顔画像を可及的に保護することが可能である。
以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。
(機能構成)
図1は本発明の実施形態に係る顔照合システムの基本構成を示すブロック図である。まずは図1を用いて、顔照合システムの基本構成を説明する。
この顔照合システムは、顔画像を用いて照合対象者の本人認証や個人識別(人物同定)を行う装置であり、例えば、カメラ付きのコンピュータや携帯電話におけるセキュリティ装置、侵入者検知を行う監視装置、入退室管理やドアの錠制御を行う装置、店舗において顧客情報を収集する装置など、様々な用途に応用可能である。
顔照合システムは、その機能として、撮像部10、顔検出部11、特徴量抽出部12、登録者顔画像記憶部13、登録者特徴量記憶部14、照合部15、表示部16を備えている。
撮像部10は、対象者の顔を撮影し画像を取り込む機能である。撮像部10には、光学系と撮像素子(CCD、CMOSセンサなど)を備えるデジタルカメラを好ましく適用できる。顔検出部11は、取り込まれた画像から対象者の顔を検出する機能である。特徴量抽出部12は、顔画像から対象者の特徴量を抽出する機能である。ここで抽出される対象者の特徴量が、システムに予め登録されている登録者の特徴量と比較照合され、本人認証や個人識別が行われる。登録者顔画像記憶部13は、登録者の顔画像を記憶しているデータベースであり、登録者特徴量記憶部14は、登録者の顔画像から抽出された特徴量を記憶しているデータベースである。登録者の顔画像の登録、ならびに特徴量の抽出および登録は、顔照合処理に先立ち行われているものとする。照合部15は、対象者の特徴量と登録者の特徴量とを比較することにより、対象者が登録者と同一人か否かを判断する機能である。表示部16は、照合結果を表示し確認したり、新規登録者の追加や登録情報の確認・編集などのメンテナンス画面を表示したりするための機能である。表示部16には、液晶ディスプレイなど、どのような具体的技術が適用されてもよい。
これらの機能要素は、演算処理装置(コンピュータ)がソフトウエア(プログラム)を実行し、必要に応じて、カメラ、メモリ、ディスプレイなどのハードウエア資源を制御することで実現される。ただし、これらの機能要素の少なくとも一部を専用のチップで構成しても構わない。なお、図1は顔照合システムの機能要素の論理的な構成を示すものであり、物理的な装置構成(ハードウエア構成)を示すものではない。以下、物理的な装置構成の例を示す。
(装置構成1)
図2は、顔照合システムの装置構成1を示す図である。装置構成1では、一つのコンピュータ(照合端末)とカメラとディスプレイにより顔照合システムが構成されている。なおカメラやディスプレイが一体化されているコンピュータを利用することも可能である。登録者顔画像記憶部13および登録者特徴量記憶部14の両データベースは、この照合端末が具備する記憶装置(ハードディスク、半導体メモリなど)内に構築される。
照合端末は、カメラから画像を取得する関係で、カメラと同じかもしくは近い場所に設置せざるを得ない。それゆえ、照合端末は、運用上、比較的セキュリティレベルの低い場所に設置されることが多く、またその設置場所は他者に推測されやすい。したがって、照合端末が盗難や攻撃を受けた場合に備えて、個人情報保護策を講じておくことは重要である。
顔照合システムでは、登録者情報として、顔画像そのものと、顔画像から抽出された特徴量とが利用される。このうち、顔照合処理に利用されるのは特徴量だけであり、顔画像が必要な処理が発生する頻度は非常に少ない。よって顔照合の処理速度の観点からは、特徴量のデータ利用が容易であれば足り、顔画像のデータ利用が困難であっても支障はない。その一方で、保護の必要性という観点から考えると、顔画像は極めて重要であるのに対し、特徴量の保護の必要性は小さいと考えられる。その理由は、特徴量はコンピュータプログラムが利用するためのデータ(数値や記号などで表現されるデータ)であり、人がそのデータ内容を見ても特定の個人を識別することができないこと、特徴量のデータから元の顔画像を復元することも不可能であること、他のコンピュータプログラムにはほとんど利用価値のないデータであること、などである。
そこで装置構成1では、登録者顔画像記憶部13に記憶させる登録者の顔画像を暗号化しておく。暗号方式は、既存のどのような技術が適用されてもよい。これにより、たとえ照合端末が盗難や攻撃を受けて、登録者の顔画像のデータが記憶装置から読み出されたとしても、他者による顔画像の利用を阻害することができる。一方、登録者特徴量記憶部14に記憶させる特徴量については、暗号化しない。これにより、顔照合の処理時間の短縮を図ることができる。
(装置構成2)
装置構成2も、装置構成1(図2参照)と同様、照合端末の記憶装置に登録者の顔画像を保存する構成である。そして、個人情報保護策として、照合端末(あるいは記憶装置)を耐タンパ性を有するハードウエアで構成する。例えば、照合端末の外装を開けたり、記憶装置を取り外したり、記憶装置から不正な手順でデータを読み出したりすると、装置あるいはデータが自動的に破壊される仕組みを設けるとよい。なおハードウエアやソフトウエアの耐タンパ性を実現する具体的な仕組みについては、既存のどのような技術が適用されてもよい。
この構成によれば、記憶装置に対する内部解析やデータの読み出しが阻害されるので、たとえ照合端末が盗難を受けたとしても、登録者の顔画像の流出を防止することができる。なお、装置構成1と同様、登録者の顔画像を暗号化するとより好ましい。複数の保護策
を組み合わせることで安全性がさらに高まるからである。
(装置構成3)
図3は、顔照合システムの装置構成3を示す図である。装置構成3では、登録者の顔画像と特徴量とが物理的に分離して管理される。すなわち、顔照合システムを照合端末(第1の装置)と画像端末(第2の装置)で構成し、登録者の特徴量(登録者特徴量記憶部14)は照合端末に保存し、登録者の顔画像(登録者顔画像記憶部13)は画像端末に保存する。照合端末内の特徴量と画像端末内の顔画像とは、登録者IDのような識別子により互いにひも付けされている。この場合も、顔画像が暗号化されているとよい。
画像端末は、照合端末とは別に、照合端末が設置されている場所よりもセキュリティレベルの高い場所に保管される。画像端末自体の盗難や攻撃を可及的に回避するためである。またネットワークを通じた攻撃を可及的に回避するため、照合端末と画像端末との間はデフォルトで非接続状態にしておくことが好ましい。
照合端末側で登録者の顔画像を利用する必要が生じた場合、照合端末と画像端末との間にデータ通信のための暗号化通信路を構築する。この暗号化通信路は照合端末と画像端末の間でしか確立できないようにしておく。暗号化のキーとして、照合端末もしくは画像端末のプログラムIDや、照合端末もしくは画像端末の設置場所のID(例えば端末に内蔵したGPS機能で取得する)などを用いることもできる。これにより照合端末と画像端末との間で顔画像を安全に伝送できる。
照合端末は、暗号化通信路を通じて画像端末から登録者の顔画像を取得すると、そのデータをワークメモリ上で展開し(必要に応じて復号し)、利用する。このとき、ハードディスクや不揮発性メモリなどのデータが残る記録媒体には、顔画像のデータを保存しない。
このような構成によれば、たとえ照合端末が盗難や攻撃にあったとしても、照合端末には登録者の顔画像が格納されていないため、顔画像が漏洩することはない。しかも画像端末はセキュリティレベルの高い場所に保管されているので、画像端末に対する盗難や攻撃の危険性を可及的に小さくすることができる。なお、前述のとおり、顔画像の利用頻度(画像端末の利用頻度)は低いため、画像端末に関しては、利用のしやすさよりも安全であることが優先される。
また、照合端末が登録者の顔画像を利用する際にも、照合端末には顔画像が保存されないので、万一、画像端末から登録者の顔画像を取得した状態のときに照合端末が盗難にあったとしても、顔画像が漏洩するおそれはない。
(装置構成4)
装置構成4では、登録者の顔画像を、セキュリティの確保された画像サーバにより管理する。その他の点は装置構成3(図3参照)と同様である。装置構成4の場合も装置構成3と同様の顔画像の保護が図られる。
なお、装置構成3、4では、照合端末が必要な顔画像を入手し、表示しているが、照合端末とは別に表示専用の表示端末を設けてもよい。例えば、照合端末側で登録者の顔画像を閲覧する必要が生じた場合に、画像端末もしくは画像サーバから当該利用者の顔画像を表示端末に伝送し、表示するのである。表示端末としては、照合端末とは別体の装置を用い、好ましくは、ユーザにより持ち運び可能な端末であるとよい。例えば携帯電話や携帯情報端末などを表示端末して利用することができる。この構成によると、照合端末には一切顔画像が伝送されないので、安全性をさらに高めることができる。
(装置構成5)
図4は、顔照合システムの装置構成5を示す図である。装置構成5では、画像サーバが画像の管理を担うメインサーバと複数のデータサーバ(記憶装置)から構成されている。
メインサーバは、所定の符号化ルールに従って、顔画像を複数のデータに符号化(変換)する。符号化されたそれぞれのデータは、各データサーバに別々に格納される。この符号化されたデータは、例えば、画像の部分的な画素情報をランダムに配置したり暗号化したデータであって、そのデータだけでは元の顔画像の復元ができない形式のデータである。照合端末側で顔画像を利用する必要が生じた場合は、メインサーバが各データサーバに格納されたデータを全て集めて、それらのデータを復号して登録者の顔画像を復元する。なお、データの格納先の情報や符号化および復号のルールなどは、メインサーバが管理している。
この構成によると、照合端末と各サーバのいずれにも、完全な形の顔画像が存在していない。よって、照合端末やいずれかのサーバが盗難や攻撃を受けたとしても、顔画像が漏洩することはない。なおメインサーバとデータサーバの全てに侵入して必要なデータを収集し、さらに画像の復元ルールを解読すれば、顔画像の入手が可能ではあるが、現実的にはそのような攻撃は不可能に近い。
(顔照合処理)
図5のフローチャートに沿って、顔照合処理の一例を説明する。
撮像部10は定期的に(もしくはユーザによる撮影指示に従って)撮影を実行し、顔照合に用いるための画像を取り込む(ステップS10)。取り込まれた画像は、メモリに一時的に格納され、以降の顔照合処理に供される。またこの画像は必要に応じて表示部16に表示され、ユーザが照合用の画像や対象者の顔を確認するために利用される。
次に、顔検出部11が、画像から対象者の顔を検出し、顔の位置や大きさ等を特定する(ステップS11)。ここで検出された顔を含む部分画像を顔画像とよぶ。顔検出部11による顔検出処理は、既存のどのような技術が適用されてもよい。一例を挙げると、(1)顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出する手法、(2)顔の器官(目、鼻、耳など)に基づくテンプレートマッチングによって顔を検出する手法、(3)クロマキー処理によって頭部などの頂点を検出し、この頂点に基づいて顔を検出する手法、(4)肌の色に近い領域を検出し、その領域を顔として検出する手法、(5)ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域を顔として検出する手法、などがある。自動で顔を検出するのではなく、人が顔の位置や大きさを指定してもよい。なお、画像から複数の人の顔が検出された場合には、顔の大きさ、向き、位置などの所定の基準に基づいて処理対象とする顔を決定してもよいし、不適切な画像であるとして顔照合処理を中断してもよい。
特徴量抽出部12は、まず顔画像から複数の特徴点を検出する(ステップS12)。特徴点とは、特徴量の抽出基準となる点のことであり、顔の中のどの点を特徴点として選ぶかは予め決められている。例えば、眼の中心、鼻の頂点、口の端点など、複数箇所が特徴点として選ばれる。特徴点検出処理は、既存のどのような技術が適用されてもよい。一例を挙げると、(1)特徴点の位置を示すパターンをあらかじめ学習し、その学習データを使用したマッチングを行うことによって特徴点を検出する手法、(2)検出された顔の内側において、エッジの検出やパターンマッチングを行うことにより、顔の器官の端点を検出し、それを基準として特徴点を検出する手法、などがある。
続いて、特徴量抽出部12は、検出された特徴点をもとに特徴量を抽出する(ステップS13)。特徴量の種類はどのようなものを採用してもよい。例えば、特徴点近傍の濃淡値やその周期性・方向性、特徴点の位置関係などを特徴量として採用できる。特徴量の個数についても、期待する照合精度に応じて任意に設定できる。一般的には、数十〜数百の特徴量が抽出される。このようにして照合画像から抽出された特徴量の組(特徴量ベクトル)は、顔の特徴を数値化したものといえる。人によって顔の特徴が相違するのと同様、人によって特徴量ベクトルの傾向(向き、大きさ)が相違する。
次に、照合部15は、ステップS13で得られた対象者の特徴量を、登録者特徴量記憶部14に登録されている登録者の特徴量と比較する(ステップS14)。この比較処理についても、既存のどのような技術が適用されてもよい。例えば、本人認証の場合は、対象者の特徴量と登録者(本人)の特徴量との類似度(スコア)を算出し、その類似度が所定の閾値より大きいときに本人と判定すればよい。個人識別の場合は、複数の登録者のそれぞれについて類似度(スコア)を算出し、類似度の大きさに基づいて対象者がどの登録者に該当するかを判定すればよい。
顔照合処理の判定結果として登録者の顔画像を表示する場合、登録者顔画像記憶部13から該当する顔画像を取得する(ステップS15)。このとき、装置構成3〜5のように照合端末内に顔画像が保存されていない場合には、ネットワークを通じて、画像端末もしくは画像サーバから顔画像を取得する。そして必要に応じて顔画像を復号し、表示部に表示する(ステップS16)。なお、顔画像の表示が不要な場合には、ステップS15、S16の処理は実行されない。
(新規登録処理)
次に、装置構成4を例にとり、新規登録処理の一例を説明する。
図6は、照合端末の機能を登録処理に利用する場合の処理例を示している。(1)まず、照合端末のカメラにより、新規登録者の顔を撮影し、照合端末に画像を取り込む。(2)次に、顔検出部11が顔を検出し、特徴量抽出部12がその顔画像から特徴量を抽出する。(3)この登録者に新規のIDを付与し、特徴量をそのIDとともに登録者特徴量記憶部14に保存する。(4)顔画像は暗号化し、IDとともに画像サーバに送信する。(5)画像サーバ内の登録者顔画像記憶部13に顔画像が登録されたら、照合端末内の顔画像を破棄する。このような処理により、登録者の顔画像と特徴量とを別々に管理可能となる。
なお図6は処理の一例にすぎない。最終的に顔画像と特徴量とが分離して管理されれば、どの装置がどのような手順で新規登録処理を実行しても構わない。図7と図8に変形例を示す。
図7は、登録専用端末を用いる場合の処理例である。登録専用端末は、カメラとディスプレイを備えるコンピュータで構成され、少なくとも、照合端末の撮像部、顔検出部、特徴量抽出部と同等の機能を備えている。(1)まず、登録専用端末のカメラにより、新規登録者の顔を撮影し、登録専用端末に画像を取り込む。(2)次に、登録専用端末で顔検出および特徴量の抽出を行う。(3)登録専用端末が新規のIDを付与し、特徴量とIDを照合端末に送信する。(4)登録専用端末が顔画像を暗号化し、暗号化された顔画像とIDを画像サーバに送信する。(5)特徴量の登録と顔画像の登録が完了したら、登録専用端末内の顔画像を破棄する。
図8は、撮影専用端末を用いる場合の処理例である。この例では、画像サーバが照合端末の顔検出部および特徴量抽出部と同等の機能を備えている。(1)まず、撮影専用端末
のカメラにより、新規登録者の顔を撮影する。(2)撮影専用端末は、画像を画像サーバに送信した後、画像を破棄する。(3)画像サーバは画像から顔検出および特徴量の抽出を行う。(4)画像サーバが顔画像を暗号化し、付与したIDとともに顔画像を登録する。(5)画像サーバが特徴量をIDとともに照合端末に送信する。
(登録情報の編集処理)
次に、装置構成4を例にとり、登録情報の編集処理の一例を説明する。
図9は、照合端末上で登録情報の確認・編集を行う場合の処理例を示している。(1)ユーザは、照合端末の登録者特徴量記憶部に登録されている登録者の中から、編集の対象となる人物を選択する。(2)照合端末は、選択された人物のIDを用いて、画像サーバから該当人物の顔画像を取得する。(3)照合端末は、必要に応じて顔画像を復号し、表示部に顔画像を含む登録者の情報を表示する。(4)ユーザが登録者の情報を編集(削除等)すると、その編集結果が必要に応じて画像サーバに反映される。(5)編集完了後、照合端末内の顔画像を破棄する。
以上述べたように、本実施形態の顔照合システムによれば、照合端末が盗難や攻撃にあったとしても、登録者の顔画像を可及的に保護することができる。しかも、顔照合処理に利用される特徴量については、照合端末内に保存しているため、顔照合処理におけるデータ利用を阻害したり、処理速度の低下を招いたりすることがない。
なお、上記実施形態は本発明の一具体例を例示したものにすぎない。本発明の範囲は上記実施形態に限られるものではなく、その技術思想の範囲内で種々の変形が可能である。例えば以下に述べるような対策を適宜追加することにより、安全性をさらに高めることができる。
(追加的対策)
照合端末とディスプレイとを接続する信号線(ケーブル)が露出している場合、照合端末からディスプレイに顔画像表示信号を転送する際に信号線から表示信号が傍受されるおそれがある。これを防ぐ対策としては、例えば、(1)信号線を電波シールドする、(2)照合端末とディスプレイを一体化して信号線をなくす(隠す)、(3)照合端末からディスプレイに送信する表示信号を暗号化する、(4)照合端末からディスプレイへの表示信号の伝送を、仕様が公開されていない独自のプロトコルで行う、などの対策を取り得る。
またディスプレイに顔画像を表示するときに、画面のハードコピーをとられるおそれがある。その対策としては、例えば、(1)実際の顔画像より解像度を低下させた画像、もしくは、画質を劣化させた画像(ノイズを加えるなど)をディスプレイに表示する、(2)実際の顔画像より解像度を低下させた画像、もしくは、画質を劣化させた画像(ノイズを加えるなど)を照合端末に送信する、(3)実際の顔画像より解像度を低下させた画像、もしくは、画質を劣化させた画像(ノイズを加えるなど)を登録者顔画像記憶部に保存する、などの対策を取り得る。
表示に関する対策としては、他にも、(1)耐タンパ性を有するディスプレイを用いる、(2)ドングル、トークン等の耐タンパ性を有する装置と併用しなければディスプレイに表示できないようにする、(3)ドングル、トークン等の耐タンパ性を有する装置と併用しなければ照合端末からディスプレイへの信号伝送が行われないようにする、などが考えられる。
照合端末のメモリから顔画像データが読み出されるのを防ぐために、照合端末は画像サ
ーバとの接続が一定時間(短い時間に設定する)無くなった際にメモリ内のデータを自動消去してもよい。
照合端末が盗難にあった場合の対策として、(1)照合端末が所定の場所に設置されていなければ動作しないように設計されていてもよい。例えば照合端末に内蔵したGPSで位置情報を取得し、照合端末が正しい設置場所にあるか否かを判断することができる。(2)また照合端末の起動時、機能の使用時、画像サーバとの接続時などにパスワードを要求するように設計されていてもよい。(3)また、照合端末の起動時、機能の使用時、画像サーバとの接続時などに、ドングルやトークン等を要求してもよい。(4)また、暗号化のロジックが耐タンパ性をもつ回路に保持されていることも好ましい。
画像サーバへの不正なアクセスを防止するための対策として、(1)画像サーバがOSI参照モデルにおける物理層からアプリケーション層のいずれかにおいて接続の正当性を検証することにより、所定のハードウエアもしくはアプリケーションとのみ通信を行うように設計されているとよい。(2)また、画像サーバに対する同時接続数が1もしくは少数に限定されているとよい。(3)また、画像サーバが通信遮断の機能を備えていることも好ましい。通信遮断は一定数以上の接続があったときに先の要求から順に行うとよい。また通信遮断は所定のネットワーク上の場所以外の場所からの接続に対して行うこともできる。また一定回数以上の接続失敗があったときに通信拒否を行ってもよい。また新たな接続があったときにメール等により管理者に連絡を行ったり、ログを保存してもよい。
図1は、本発明の実施形態に係る顔照合システムの基本構成を示すブロック図である。 図2は、顔照合システムの装置構成1を示す図である。 図3は、顔照合システムの装置構成3を示す図である。 図4は、顔照合システムの装置構成5を示す図である。 図5は、顔照合処理の一例を示すフローチャートである。 図6は、新規登録処理の一例を示す図である。 図7は、新規登録処理の一例を示す図である。 図8は、新規登録処理の一例を示す図である。 図9は、登録情報の編集処理の一例を示す図である。
符号の説明
10 撮像部
11 顔検出部
12 特徴量抽出部
13 登録者顔画像記憶部
14 登録者特徴量記憶部
15 照合部
16 表示部

Claims (6)

  1. 顔画像から得られる情報により対象者を登録者と照合する顔照合システムであって、
    前記対象者の顔を撮影する撮像手段と、
    前記撮像手段から取得される顔画像から前記対象者の特徴量を抽出する特徴量抽出手段と、
    前記登録者の顔画像を記憶している登録者顔画像記憶手段と、
    前記登録者の顔画像から抽出された特徴量を記憶している登録者特徴量記憶手段と、
    前記特徴量抽出手段により抽出された前記対象者の特徴量と前記登録者特徴量記憶手段に記憶されている前記登録者の特徴量とを比較することにより、前記対象者が前記登録者と同一人か否かを判断する照合手段と、を備え、
    少なくとも前記特徴量抽出手段、前記登録者特徴量記憶手段、および前記照合手段が第1の装置で構成されており、
    前記登録者顔画像記憶手段が、前記第1の装置よりもセキュリティレベルの高い場所に保管される第2の装置で構成されており、
    前記第1の装置は、前記登録者の顔画像を利用する必要が生じた場合に、前記第2の装置との間にデータ通信路を構築し、該データ通信路を通じて前記第2の装置から前記登録者の顔画像を取得し、前記登録者の顔画像のデータを不揮発性の記録媒体には保存せずにワークメモリ上で利用することを特徴とする顔照合システム。
  2. 前記顔照合システムに新規登録者の情報を登録する処理が、前記第1の装置又は登録専用端末によって行われ、
    前記第1の装置又は前記登録専用端末は、前記新規登録者の顔画像から特徴量を抽出して該特徴量を前記第1の装置の前記登録者特徴量記憶手段に登録すると共に、前記新規登録者の顔画像を前記第2の装置の前記登録者顔画像記憶手段に登録し、前記登録者顔画像記憶手段への前記新規登録者の顔画像の登録が行われたら前記第1の装置内又は前記登録専用端末内の前記新規登録者の顔画像を破棄する
    ことを特徴とする請求項1に記載の顔照合システム。
  3. 前記第2の装置は複数の記憶装置から構成されており、
    前記登録者顔画像記憶手段は、前記登録者の顔画像を複数のデータに符号化し、符号化
    されたそれぞれのデータを前記複数の記憶装置に別々に格納していることを特徴とする請求項1または2に記載の顔照合システム。
  4. 前記登録者の顔画像が暗号化されていることを特徴とする請求項1〜3のいずれかに記載の顔照合システム。
  5. 顔画像から得られる情報により対象者を登録者と照合する顔照合システムの制御方法であって、
    前記顔照合システムが、前記登録者の顔画像から抽出された特徴量を記憶している登録者特徴量記憶手段を有する第1の装置と、前記第1の装置よりもセキュリティレベルの高い場所に保管され、前記登録者の顔画像を記憶している登録者顔画像記憶手段を有する第2の装置とから構成されており、
    前記第1の装置が、前記対象者の顔を撮影するステップと、
    前記第1の装置が、撮影された前記対象者の顔画像から特徴量を抽出するステップと、
    前記第1の装置が、抽出された前記対象者の特徴量と前記登録者特徴量記憶手段に記憶されている前記登録者の特徴量とを比較することにより、前記対象者が前記登録者と同一人か否かを判断するステップと、
    前記第1の装置において前記登録者の顔画像を利用する必要が生じた場合に、前記第1の装置が、前記第2の装置との間にデータ通信路を構築し、該データ通信路を通じて前記第2の装置から前記登録者の顔画像を取得し、前記登録者の顔画像のデータを不揮発性の記録媒体には保存せずにワークメモリ上で利用するステップと、
    を有することを特徴とする顔照合システムの制御方法。
  6. 前記第1の装置又は登録専用端末が、前記顔照合システムに新規登録者の情報を登録する新規登録ステップをさらに有し、
    前記新規登録ステップにおいて、前記第1の装置又は前記登録専用端末は、前記新規登録者の顔画像から特徴量を抽出して該特徴量を前記第1の装置の前記登録者特徴量記憶手段に登録すると共に、前記新規登録者の顔画像を前記第2の装置の前記登録者顔画像記憶手段に登録し、前記登録者顔画像記憶手段への前記新規登録者の顔画像の登録が行われたら前記第1の装置内又は前記登録専用端末内の前記新規登録者の顔画像を破棄する
    ことを特徴とする請求項5に記載の顔照合システムの制御方法。
JP2008242534A 2008-09-22 2008-09-22 顔照合システム Expired - Fee Related JP5353147B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008242534A JP5353147B2 (ja) 2008-09-22 2008-09-22 顔照合システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008242534A JP5353147B2 (ja) 2008-09-22 2008-09-22 顔照合システム

Publications (2)

Publication Number Publication Date
JP2010073112A JP2010073112A (ja) 2010-04-02
JP5353147B2 true JP5353147B2 (ja) 2013-11-27

Family

ID=42204797

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008242534A Expired - Fee Related JP5353147B2 (ja) 2008-09-22 2008-09-22 顔照合システム

Country Status (1)

Country Link
JP (1) JP5353147B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12008093B2 (en) 2019-02-01 2024-06-11 Panasonic Intellectual Property Management Co., Ltd. System for face authentication and method for face authentication
US12141256B2 (en) 2019-02-01 2024-11-12 Panasonic Intellectual Property Management Co., Ltd. System for face authentication and method for face authentication

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5718757B2 (ja) * 2011-07-26 2015-05-13 国立大学法人京都大学 画像管理装置、画像管理プログラム、および画像管理方法
CA3077830C (en) * 2016-12-05 2023-03-07 Avigilon Coporation System and method for appearance search
JP6862857B2 (ja) * 2017-01-30 2021-04-21 沖電気工業株式会社 情報処理システム、情報処理装置、及び情報処理方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09167216A (ja) * 1995-12-18 1997-06-24 Tec Corp 個人認証システム
EP1564686A1 (en) * 2003-03-31 2005-08-17 Fujitsu Limited Collator and register
JP2005275661A (ja) * 2004-03-24 2005-10-06 Fujitsu Ltd バイオメトリクス情報管理システムおよびバイオメトリクス情報管理サーバ
JP4749017B2 (ja) * 2005-03-30 2011-08-17 ソフトバンクテレコム株式会社 擬似生体認証システム、及び擬似生体認証方法
JP2008065835A (ja) * 2007-09-10 2008-03-21 Fujitsu Fsas Inc データ認証方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12008093B2 (en) 2019-02-01 2024-06-11 Panasonic Intellectual Property Management Co., Ltd. System for face authentication and method for face authentication
US12039028B2 (en) 2019-02-01 2024-07-16 Panasonic Intellectual Property Management Co., Ltd. System for face authentication and method for face authentication
US12039029B2 (en) 2019-02-01 2024-07-16 Panasonic Intellectual Property Management Co., Ltd. System for face authentication and method for face authentication
US12056225B2 (en) 2019-02-01 2024-08-06 Panasonic Intellectual Property Management Co., Ltd. System for face authentication and method for face authentication
US12056226B2 (en) 2019-02-01 2024-08-06 Panasonic Intellectual Property Management Co., Ltd. System for face authentication and method for face authentication
US12111900B2 (en) 2019-02-01 2024-10-08 Panasonic Intellectual Property Management Co, Ltd. System for face authentication and method for face authentication
US12111901B2 (en) 2019-02-01 2024-10-08 Panasonic Intellectual Property Management Co., Ltd. System for face authentication and method for face authentication
US12135773B2 (en) 2019-02-01 2024-11-05 Panasonic Intellectual Property Management Co., Ltd. System for face authentication and method for face authentication
US12141256B2 (en) 2019-02-01 2024-11-12 Panasonic Intellectual Property Management Co., Ltd. System for face authentication and method for face authentication

Also Published As

Publication number Publication date
JP2010073112A (ja) 2010-04-02

Similar Documents

Publication Publication Date Title
US6314196B1 (en) Fingerprint registering method and fingerprint checking device
CN111586361B (zh) 一种图像的处理方法及相关装置
JP4036051B2 (ja) 顔照合装置および顔照合方法
US20100103193A1 (en) Image monitor apparatus and computer-readable storage medium storing image monitor program
JP2011048547A (ja) 異常行動検知装置、監視システム及び異常行動検知方法
JP2007052770A (ja) 監視装置
CN105264537A (zh) 使用装置证实进行生物计量验证的系统和方法
CN108959884B (zh) 人证核验装置和方法
JP5353147B2 (ja) 顔照合システム
KR101951605B1 (ko) 영상의 유출을 방지하기 위한 cctv 영상 보안 시스템
CN112771527A (zh) 信息处理程序、信息处理装置和信息处理方法
KR101897987B1 (ko) 전자파일의 전자지문 관리방법, 관리장치 및 관리시스템
US7724923B2 (en) Removable swipe-imaging device and method for identifying same
WO2018179723A1 (ja) 顔認証処理装置、顔認証処理方法及び顔認証処理システム
KR101635278B1 (ko) 동적 상호작용 큐알 코드를 기반으로 한 다중요소 인증 방법 및 시스템
JP2022522523A (ja) セキュリティーカードを用いたユーザ認証装置及びユーザ認証方法
JP2008059575A (ja) 利用者離席監視システム、および、その方法
CN108959894A (zh) 一种指纹控制开机的实现方法及装置、计算机可读存储介质、终端
JP2023068624A (ja) オペレータ不正検知システム
JP5524250B2 (ja) 異常行動検知装置、監視システム、異常行動検知方法及びプログラム
JPH05290149A (ja) 指紋照合認証方式及びその装置
JP6960058B2 (ja) 顔照合システム
Sawant et al. Face Recognition Based Password Encryption and Decryption System
WO2022270114A1 (ja) 情報機器又は通信機器の不正アクセス防止方法
US20240354439A1 (en) Systems and methods for securing sensitive data

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130730

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130812

R150 Certificate of patent or registration of utility model

Ref document number: 5353147

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees