顔認識システム

他の生体認証技術と比較すると、顔認識は最も信頼でき効率がよいとは言えないが、対象人物の協力を必要としないという重要な利点がある。空港などのシステムは群集の中から犯罪者を見分けることができるが、指紋、虹彩、音声などによる認証では、このような使い方はできない。しかし、セキュリティという観点での有効性には疑問の声もある。

その他の利点としては、一般的に普及している安価なカメラを使用することができる点（既存の監視カメラ・ウェブカメラなどをそのまま利用できる）、顔画像が証拠として残るため不正利用者等が発覚した場合に記録された顔画像を人が見ることで個人を特定することが容易である点（顔以外の生体情報（例えば指紋など）は、その画像を人が見て個人を特定することは困難）などが挙げられる。

一部の顔認識アルゴリズムは、顔画像から目立つ特徴を抽出することで識別する。例えば、顔のパーツの相対位置や大きさ、目や鼻やほお骨やあごの形を特徴として利用する。そのような特徴を使い、一致する特徴のある画像を検索する^[2]。別のアルゴリズムでは多数の顔画像から標準化したデータを作り、個々の顔画像はその標準データとの差分だけに圧縮し、顔認識に必要なデータだけを残す。対象画像はそのような顔データと比較する^[3]。初期の成功した顔認識システムの1つは^[4]、一連の圧縮された顔データを使い、顕著な顔の特徴のセットを使ったテンプレートマッチング技法に基づくものだった^[5]。

認識アルゴリズムは大まかに2種類に分類でき、見た目の特徴を直接幾何学的に比較する方法と、画像を統計的に数値化してその数値をテンプレートと比較する方法がある。

主な顔認識アルゴリズムとしては、主成分分析を使った固有顔、線形判別分析、弾性バンチグラフマッチング、隠れマルコフモデル、ニューロン動機づけによるダイナミックリンク照合などがある。

最近の新たなトレンドとして、見えない部分も考慮した正確さを達成しようとする3次元顔認識がある。この技法では、3次元センサを使って、顔の立体的情報を取得する。そこから、眼窩・鼻・あごの輪郭など、際立った特徴を抽出して使う^[6]。

3次元顔認識の利点は、他の技法に比べて、画像の明るさに左右されにくい点である。また、様々な角度のからの顔画像であっても認識できる^[2][6]。

3次元顔認識も、表情の変化には弱い。イスラエル工科大学では、表情の変化を等長写像として捉える技法を研究している^[7]。

最近では皮膚の見た目の詳細を顔認識に応用するという傾向がある。画像からしわやしみを特定して数値化するものである^[2]。これを Skin texture analysis と呼び、顔認識に利用した場合従来の20%から25%認識率が向上したという報告もある^[2][6]。

以下の画像管理ソフトウェアには顔認識システムが組み込まれており、同じ人物が写っている写真を抜き出すといったことが可能である。

• Ayonix-AICA - 年齢性別などを解析して統計データを作成するソフト
• Picasa (Google) - バージョン3.5以降。
• iPhoto（Apple） - かつて存在したiLifeに付属する写真管理ソフト。後継ソフトとは「写真」である^[8][9]。
• Picture Motion Browser（ソニー）
• Adobe Photoshop Lightroom（アドビ） - Lightroom CC (Lightroom 6) 以降。
• SAFR RealNetworks. Inc　(リアルネットワークス）

• OpenFace - オープンソース。GoogleのFaceNetアルゴリズムを基にしている。
• OpenBR - オープンソース。

中華人民共和国では、1億台を超える顔認識システムを組み込んだ世界最大の監視カメラネットワークとして天網が有名である^[10]。

ロンドンのニューアム・ロンドン特別区では、地区全体の監視カメラシステムに組み込まれた顔認識システムを持っている。

Appleが開発したスマートフォン・iPhone Xでは、「Face ID」と呼ばれる顔認証システムを2017年から採用している。予めデバイスに使用者の顔を登録し、内蔵カメラで使用者の顔を識別することで、iPhoneのロック解除に使用できる。このほか、アップルのオンラインストアでの購入やApple Payの認証でもFace IDを使用できる。現在ではアンドロイドスマホの多くも使用する際の顔認証を採用している。

他にも顔認識の新たな利用方法がいくつか開発されようとしている。例えば、ATMでのセキュリティに使うことが検討されている。つまり、キャッシュカードと暗証番号の代わりにATMが顔の画像を撮影し、データベース上の顔の画像と照合するのである。同様の考え方は、インターネット上の各種サイトへのログインにも応用できる^[2]。

ドイツ連邦警察はフランクフルト空港で、自発的登録者を対象とした完全自動入国審査を行っている。登録対象は欧州連合かスイスの市民に限られる^{[11][リンク切れ]}。

オーストラリアの税関では、顔認識を使ったSmartGateという自動入国審査システムを導入している^[12]。このシステムは、各人の顔と電子パスポートのマイクロチップに記録されている画像を比較し、パスポート所持者が本人であることを確認する。

香港の深圳湾口岸では、中国本土との出入境管理で、自動車のナンバープレートからドライバーを特定して顔認識する、世界初のシステムを日本電気から導入している^[13]。

2017年10月18日、法務省入国管理局は、東京国際空港（羽田空港）の入国審査にパナソニックの顔認証システムを導入^[14]。日本人の帰国者を対象に、顔写真を撮影してパスポートと照合するセルフゲートを設けた^[15]。2019年には成田国際空港でも、日本電気の顔認証システムが導入され^[16]、2020年東京オリンピックに向けて五輪会場から各地の空港まで導入し^[17]、対象は外国人へと拡大する見込み^[18]。

2001年1月のスーパーボウルで、フロリダ州タンパの警察は FaceIt を使って、入場者に犯罪者やテロリストが混じっていないか探し^[2]、逮捕状が執行されていない19人を見つけだした^[19]。

マデリン・マクカーン失踪事件の捜査の一環として、イギリスの警察はポルトガルの Paria da Luz のホテル Ocean Club Resort とその周辺地域を事件のあった2007年5月3日までの2週間以内に訪問した人に対して同地で撮影した写真の提供を呼びかけている。これは顔認識によって誘拐犯が写っていないかを調べるためである^[20][21]。

パトカーの屋根に顔認識システムに接続された360度カメラを搭載し、パトロールするだけで犯罪容疑者を探し出すシステムも存在する^[22]。

ロボットに顔認識システムに接続されたカメラを搭載し、パトロールするだけで犯罪容疑者を探し出して追跡するシステムも存在する^[23]。

2018年に中華人民共和国では、ジャッキー・チュンのコンサート会場など、人が集まる場所で顔認識システムを用いた捜査を行って、100人を超える犯罪容疑者と指名手配犯を逮捕しており^[24]、春節の駅では警察が顔認識システムを搭載したサングラス型のスマートグラスを使用して、7人の犯罪容疑者を逮捕し、身分証明書を偽造した26人が旅行を禁止させられたことも報じられた^[25][26]。

コンサートチケットが高額で転売されるのを防ぐため、顔認証システムを活用して、チケット購入者本人が来場しているかどうか確認することもある。2014年にももいろクローバーZが、エンタテインメントの入場管理において、世界で初めて導入した^[27]。日本電気の顔認証システム「NeoFace」を用いて、チケット購入時に顔写真を登録、会場入り口で顔認証しチケットを発券する^[28]。

NeoFaceは香港を始めとして、アメリカ合衆国やチリなど、世界各国の警察機関で使用されて、精度は世界最高水準と評価されている^[29][30]。他のミュージシャンのコンサートにも広がりつつあり、B’z、福山雅治、Mr.Children、BABYMETALが一部のコンサートに使っている^[31][32]。一方、2016年4月23日より開催の嵐の全国ツアーで実施されたのは、同年2〜3月に行われた渋谷すばるのソロライブツアー同様、複数のスタッフ目視による顔認証である^[33][34]。

全国約100店舗を数える丸善ジュンク堂書店全店舗で、顔認識システムを使った万引き防止システムが導入された。万引きした可能性のある客の顔データをデータベースに登録し、来店すれば検知する。店内には「防犯カメラ作動中」と告知はしているものの、顔認識機能があることは告知していなかった。これに対し、プライバシー問題に詳しい弁護士の森亮二は「特定の個人を追跡する機能をもつ顔認識システムの方が肖像権やプライバシー侵害の度合いが強く、両者は区別する必要がある。顔認識システムを採用していることを明記し、嫌だと感じた人はその店を利用しないで済むようにするなど、透明性を確保することが大事だ」と言及した。丸善ジュンク堂は、その後、表示の変更を検討するとの見解を表明した^[35]。

2000年の大統領選挙で、メキシコ政府は偽者による投票を防ぐため、顔認識ソフトウェアを用意した。一部の個人が複数の名前で登録されていて、複数票を投じようとしていたためである。新たな顔の画像と投票者データベースに既にある画像を比較して、二重投票を大幅に減らした^[36][2]。アメリカでは同様の技術が、偽のIDカードや免許証の入手を防ぐのに使われている^[37][38]。

 

また、内蔵したカメラを用いて、撮影した人物が成年か未成年を判別し、成年にのみタバコを販売する自動販売機^[39]も実用化されている。

医療ミス防止のために顔認証システムを導入し、診察券に埋め込まれた顔写真とともに本人確認する病院もある。診察券を忘れた際に顔認証システムを利用して受付けてもらうことも可能という。

生体認証としての利用以外に、デジタルカメラやスマートフォンは被写体の顔を認識し、焦点をそこに合わせたり、露出を合わせたりできるものが多い。さらに表情を認識して、笑顔を確認したら自動で撮影する機能もある。

茨城県つくば市では、ソサエティー5.0の実証実験で、顔認証システムを導入したインターネットを使った電子投票を行った。

2010年代までの一般的なスマートフォンに搭載される顔認証技術は、一卵性双生児を識別できないか、あるいは有意に誤認識率が上がることが知られている^[40]。

顔認識は完全ではなく、条件が整わないと認識率が低くなる。カーネギーメロン大学ロボット工学研究所の Ralph Gross は顔の撮影された角度について「顔認識は真正面から顔を捉えるのを基本とし、そこから20度までは何とか認識できる。しかしそれ以上横向きになると問題が生じる」と説明している^[6]。

他にも画面が暗い場合、サングラスをかけている場合、髪が伸びている場合、何かで顔の一部が隠れている場合、解像度が低い場合などに認識率が極めて低くなる^[2]。

また、表情が変わると認識できないことが多い。カナダではパスポートの顔写真は無表情でなければならないとしている^[41]。

技術評論家たちは、ロンドンのニューアム区に実際にデータベースに登録されている犯罪者がいたにもかかわらず、システムが犯罪者を一人も認識していないことに批判的である^[42][43]。これは、顔認識システム導入による 34% の犯罪件数の低下という情報と矛盾しているが、犯罪の予防という観点で、バーミンガムでも同様のシステムが導入された^[44]。

フロリダ州タンパでの警察による実験でも、同様の期待外れの結果となった^[45]。

ボストンのジェネラル・エドワード・ローレンス・ローガン国際空港でも顔認識システムによるテロリスト識別という大規模な実験が行われたが、失敗に終わった^[46]。

この技術の潜在的な利点を考慮したとしても、プライバシーの侵害という懸念が依然残っている。政府がビッグ・ブラザーの様に、国民1人1人を常に監視し、行動を把握するようになるのではないかと憂慮する者もいる。香港を含む中華人民共和国では、通常の犯罪者のみならず、中国共産党支配に異を唱えるものを見つけ出し収容するなど、権力がそのような暴走を引き起こす可能性があることは、歴史が証明している^[47]。

• 主に首都圏所在のショッピングセンターや大規模マンションに設置された顔認識システム搭載カメラのうち29台について、利用者や通行人などに対し断らないまま撮影が行われていることが明らかになっている。視聴者の性別・世代を分析し顧客分析に利用する目的があるとされており、カメラ設置業者側は「個人を特定しておらず問題はない」と主張しているが、有識者の間からは「商業目的では納得の行かない人も多いし、何らかの形でのルール整備が必要だ」などとの批判的な意見が多く聞かれる^[48]。
• 情報通信研究機構は、JR西日本などの協力を得て、大阪駅構内の大阪ステーションシティに多数の顔認証カメラを設置し、構内の通行人の追跡を実施する実証実験を、2014年4月から実施する予定にしていた。ところが、計画が同年1月6日に報じられると共に、市民らから抗議が多数寄せられるようになり、2014年3月現在、実施の目処が立たない状態となっている。同機構やJR西日本などは「防災目的である」としているものの、勝手に顔を撮影された上、商業目的などに利用されることが懸念されているものと見られている^[49]。
• 2023年、熊本市交通局は市内の路面電車において、定期券の代わりとなる顔認証システム導入に向けた実証実験を開始したが^[50]翌年までに断念。検証の過程でシステムの導入・運営コストの問題のほか、利用者からの抵抗感があったことが示された^[51]。

自動化された顔認識システムのパイオニアは、Woody Bledsoe、Helen Chan Wolf、Charles Bisson らである。

1964年から1965年にかけて、Bledsoe は Helen Chan と Charles Bisson と共にコンピュータを使った顔認識に取り組んだ。彼はこの仕事に誇りを持っていたが、資金提供したのが匿名の諜報機関であったため、あまり公けにされることはなく、ごく一部の成果が公表されるにとどまった。大規模な画像データベース（顔写真の本のようなもの）と一枚の写真を与えられたとき、データベースから写真にマッチする少数のレコードを抜き出すことが研究課題であった。手法の成功度は抜き出したレコード数のデータベース全体のレコード数に対する比率で表される。Bledsoeは、その困難さを以下のように述べている。

「この認識問題は頭の上下左右の動き、照度や角度、表情や加齢で大きな変化があることで難しくなっている。機械による顔認識に関する他の試みでは、これらの変化をほとんどまたは全く考慮しなかった。光学的に加工を施さない画像データで相関関係（またはパターン照合）を行う手法を使う研究者もいたが、それらは変化が激しい場合には必ず失敗した。特に、頭の左右の向きが違う同一人物の写真では、相関関係が極めて低い。（Woody Bledsoe, 1966）

このプロジェクトは「マン・マシン」と分類された。というのは、人間が写真から特徴を抽出して、それをコンピュータが認識するのに使ったからである。GRAFACONやRANDタブレットといったペンタブレットを使って、オペレーターが瞳孔の中心、目の内側の端と外側の端、額の中心の生え際などといった特徴点を抽出した。これらの座標から、口や目の幅、瞳孔と瞳孔の間隔など20種類の距離が計算される。オペレーターは一時間に約40枚の写真を処理することができた。データベース構築時には、これらのデータと顔写真の人物名が対応付けてコンピュータに格納された。認識フェーズでは、これら距離データ群が対象となる写真から抽出した距離データ群と比較される。そして、最も近いレコードが回答として出てくる。

この説明は非常に単純化しているので、ほとんどの場合このまま実施すると失敗するだろう。何故なら二枚の別々に撮影された写真で顔の上下左右の向きやカメラとの距離といった条件が完全に一致することはないからである。従って、距離データは顔を真正面から見たときの値に正規化される。この正規化を行うために、プログラムは顔の向きや傾きの数値を決定しようとする。そして、それらの値（角度）を使って、コンピュータは向きや傾きの変化を打ち消して真正面から見た場合のデータを計算する。角度を計算するために、コンピュータは頭の三次元の位置を知る必要がある。実際の頭を使うことができないので、Bledsoe は七人の頭について測定を行い、標準的な頭の位置を求めた。

Bledsoe が1966年にこの研究を離れた後に、この作業は Peter Hart らによってスタンフォード研究所で続けられた。2000枚を超える写真のデータベースの上で実行された実験において、コンピュータと人間の顔認識力比較では常にコンピュータが優れていた。

1997年頃、ドイツのルール大学ボーフムとアメリカの南カリフォルニア大学はマサチューセッツ工科大学やメリーランド大学カレッジパーク校のシステムよりさらに優れた顔認識システムを開発した。ボーフムのソフトウェアは ZN-Face として製品化され、ドイツ銀行や空港で採用された。この顔認識システムは不完全な顔画像でも十分認識でき、口ひげ、あごひげ、髪型の違い、眼鏡やサングラスをつけていても認識可能だとされた^[52]。

画像検索には一般に画像への何らかのタグ付けが必要である。2007年1月、Polar Rose は顔認識技術を使って写真から人物の頭部の3次元イメージを約1.5秒で作成し、ユーザーにその人物の名を尋ねることで名前と顔を一致させ、画像検索のタグとして利用するサービスを開始した^[53]。

2006年、Face Recognition Grand Challenge (FRGC) にて最新の顔認識システムの評価が行われた。その結果、2002年のシステムに比べると10倍、1995年のシステムに比べると100倍の正確さで認識できることが示された。中には人間のもつ顔認識能力を凌ぐアルゴリズムもあり、一卵性双生児を別人として識別できた^[6]。

低解像度の顔画像の解像度を強化する技法として face hallucination がある。また、近年ではカメラ自体が高ピクセル化しており、解像度の問題は解消されつつある。

• 自動車ナンバー自動読取装置
• 監視カメラ
• 人間の脳による顔認識
• 人相学
• 固有顔
• コンピュータビジョン
• パターン認識、アナロジー、事例ベース推論
• テンプレートマッチング
• 3次元顔認識
• ソサエティー5.0
• 感情認識

• アヨニックスの顔認証
• パナソニックの顔認証
• NECの顔認証
• FBI Using DMV Photos to Search for Fugitives
• 顔認識オフィシャルサイト
• 顔検知オフィシャルサイト
• 2005年東京モーターショーでの顔認識技術に関する記事（日経BP） - ウェイバックマシン（2006年2月14日アーカイブ分）
• Introduction from How Stuff Works
• Impact of biometrics and facial recognition systems on security industry
• The UK Minority Report: Has 'Precrime' Finally Arrived? By Patrick St James, April 2, 2009, OpEdNews
• Face Recognition: A Literature Survey by Sigurdur Ingvarsson (PDF) （2006年5月10日時点のアーカイブ） By Carl A. K. Borrebaeck, R. Chellappa, Leejay Wu, and Christos Faloutsos