JP2013196294A - 人物画像処理装置、及び人物画像処理方法 - Google Patents

Abstract

【課題】目視確認が容易な画像データを提供する。
【解決手段】実施形態の人物画像処理装置は、入力処理手段と、抽出手段と、特徴検出手段と、補正手段と、を備える。入力処理手段は、撮像手段により撮像された時刻が異なる画像データを複数入力処理する。抽出手段は、撮影された時刻が異なる複数の画像データの各々から、同一の人物が表示されている人物表示領域を抽出する。特徴検出手段は、複数の画像データの各々から抽出された人物表示領域から、人物の部位の特徴が示された特徴点を検出するとともに、当該特徴点に部位が表示されている信頼度を取得する。補正手段は、入力処理手段により入力処理された人物表示領域を補正する際、各人物表示領域に含まれている特徴点の信頼度に基づいた重み付けを行う。
【選択図】図１

Description

本発明の実施形態は、人物画像処理装置、及び人物画像処理方法に関する。

従来から、何かイベントが生じたときに、防犯カメラで撮影された画像データを、目視確認している。このため、目視確認しやすい画像データを取得したいという要望がある。

このため、従来の技術では、同一人物の複数枚の画像データに対して、ＡＡＭやアクティブ形状モデル、又は動き量等を用いて、解像度を向上させる技術が提案されている。

その際に、対象人物の属性（例えば、人種や洋服）に合わせて、解像度を向上させるパラメータを変化させる技術が提案されている。

特開２００６−３５０４９８号公報 特開２００８−１８１５２０号公報 特開２０１０−２７２１０９号公報

しかしながら、従来技術においては、防犯カメラで撮影した画像データを単純に複数枚用いて高解像度化しても、目視確認に適していない場合もある。例えば、防犯カメラに撮影された画像データにおいて、被写体の顔の向きが目視確認に適していない場合がある。さらには、顔の一部にマスクやサングラスなどが装着されているため、目視確認が難しい場合もある。

実施形態の人物画像処理装置は、入力処理手段と、抽出手段と、特徴検出手段と、補正手段と、を備える。入力処理手段は、撮像手段により撮像された時刻が異なる画像データを複数入力処理する。抽出手段は、撮影された時刻が異なる複数の画像データの各々から、同一の人物が表示されている人物表示領域を抽出する。特徴検出手段は、複数の画像データの各々から抽出された人物表示領域から、人物の部位の特徴が示された特徴点を検出するとともに、当該特徴点に部位が表示されている信頼度を取得する。補正手段は、入力処理手段により入力処理された人物表示領域を補正する際、各人物表示領域に含まれている特徴点の信頼度に基づいた重み付けを行う。

図１は、第１の実施形態にかかる人物画像処理装置のブロック構成を示した図である。 図２は、防犯カメラによる撮像領域の概念を示した図である。 図３は、第１の実施形態にかかる人物検出部により検出された人物の領域を示した図である。 図４は、第１の実施形態にかかる人物特徴検出部により検出された特徴点の例を示した図である。 図５は、フレーム（画像データ）毎に顔の向きに従って、検出される特徴点の違いを示した図である。 図６は、画像データ毎の顔の向きと信頼度とを説明した図である。 図７は、画像データ毎の隠蔽物と信頼度とを説明した図である。 図８は、第１の実施形態にかかる特徴情報記憶部が備えるテーブルの構造を示した図である。 図９は、第１の実施形態にかかる補正部による複数フレームの顔表示領域を合成して、人物画像データを生成する例を示した図である。 図１０は、顔表示領域から検出された隠蔽物に基づいて、第１の実施形態にかかる補正部が実行する補正処理を示した図である。 図１１は、第１の実施の形態にかかる人物画像処理装置における、全体的な処理の手順を示すフローチャートである。 図１２は、第２の実施形態にかかる人物画像処理装置のブロック構成を示した図である。 図１３は、人物画像処理装置のハードウェア構成を示した図である。

（第１の実施形態）
図１は、第１の実施形態にかかる人物画像処理装置のブロック構成を示した図である。図１に示すように、人物画像処理装置１００は、顔向き用判定基準記憶部１０１と、隠蔽物用判定基準記憶部１０２と、特徴情報記憶部１０３と、画像入力処理部１０４と、人物検出部１０５と、人物特徴点検出部１０６と、補正部１０７と、出力部１０８と、を備える。また、人物画像処理装置１００は、防犯カメラ１５０と接続され、防犯カメラ１５０により撮像された画像データを入力処理する。

人物画像処理装置１００は、画像入力処理部１０４により入力処理された画像データに映っている人物の領域を抽出し、当該領域から人物の特徴点を検出し、特徴点を考慮して修正を行った人物の画像データを出力する。その際、人物画像処理装置１００は、撮影された際の被写体の状態に合わせて、複数の画像データを用いて補正し、目視確認が容易な画像データを生成する。

防犯カメラ１５０で撮影された画像データから、人物の顔の検出および記録を行う。なお、防犯カメラ１５０で撮影される画像データは、静止画像データでも動画像データでも良い。さらには、人物画像処理装置１００に入力される画像データが撮像手段により撮像された画像データに制限するものではない。例えば、ＤＶＲ（Digital Video Recorder）や記憶媒体等に記録された動画像データであってもよい。

防犯カメラ１５０は、所定の領域に対して撮影を行う。例えば、防犯カメラ１５０は、通行路の入退場対象エリアに対して撮影を行うことが考えられる。なお、本実施形態は、防犯カメラ１５０が設置される場所を制限するものではなく、例えば街頭や建物、公共エリアなどに設置してもよい。

防犯カメラ１５０は、撮影対象人物の人物画像を撮像するものであり、例えば動画像データを撮像可能なＩＴＶカメラとする。防犯カメラ１５０は、自装置のレンズを通して得られた光学的な情報をＡ／Ｄ変換器によりデジタル化して画像データを生成し、人物画像処理装置１００に出力する。また、防犯カメラ１５０を設置する数は、１個でも複数個でも良い。複数個設置する場合、複数地点に設置しても良いし、同じ地点に高さ等を異ならせて設置してもよい。

図２は、防犯カメラ１５０による撮像領域２０１の概念を示した図である。図２に示すように、防犯カメラ１５０に対して、人物が歩いてくる場合、なお、人物は、時間の経過に従って、位置２１１、２１２、２１３、２１４と進んでいるものとする。図２に示すように、人物が遠くにいる場合（例えば位置２１１）は、人物は、防犯カメラ１５０に対して比較的正面に位置する。しかしながら、人物が近づくにつれて（例えば位置２１４）、人物は、防犯カメラ１５０の真下に近づいていく。近づくにつれて人物が防犯カメラ１５０に表示されている領域が大きくなるため、撮像された画像データの人物が表示されている領域の解像度が高くなるが、人物が表示されている角度が、正面からずれていくため、撮像された画像データにおいて、人物の視認が難しくなる可能性がある。そこで、本実施形態にかかる人物画像処理装置１００は、かかる問題を解消する。

なお、本実施形態にかかる人物画像処理装置１００は、設置された場所で何か問題が生じた場合に、防犯カメラ１５０により撮像された画像データを確認する用途を想定している。

人物画像処理装置１００は、人物が表示されている画像データ（以下、人物画像データとも称す）を生成する。このために、人物画像処理装置１００は、被写体の状態にあわせて人間の目視確認が容易になるように、画像補正を行う。

顔向き用判定基準記憶部１０１は、画像データに表示されている人物の顔の向きの判定する基準となる顔向き基準情報を記憶する。

隠蔽物用判定基準記憶部１０２は、画像データに表示されている人物の顔の一部が隠蔽されているか否かを判定する基準となる隠蔽基準情報を記憶する。本実施形態にかかる人物画像処理装置１００では、画像データに表示されている人物がマスク着用やサングラスの着用、帽子の着用等の顔の一部が隠蔽される場合を検出するため、隠蔽物用判定基準記憶部１０２が、あらかじめサングラスやマスクや帽子で顔の一部が隠された場合の顔パタンを学習したテンプレートを記憶する。学習例としては、隠蔽物を顔に着用している画像と、着用していない画像とを予め準備し、これらの画像の輝度勾配特徴に基づいて、隠蔽物を顔に着用しているか否かの判定基準を導出する。そして、隠蔽物用判定基準記憶部１０２が、当該判定基準を記憶する。

画像入力処理部１０４は、防犯カメラ１５０により撮像された時刻が異なる画像データを複数入力処理する。

人物検出部１０５は、撮影された時刻が異なる複数の画像データの各々から、同一の人物が表示されている領域を抽出する。

人物検出部１０５は、人物が表示されている領域として、画像データ上の輝度情報を利用して、人物の顔が表示されている座標領域を求める。算出手法としてはどのような手法を用いても良いが、例えば、文献「三田雄志ほか、“顔検出に適した共起に基づくJoint Haar-like特徴”、電子情報通信学会論文誌(D)、vol.J89-D8、pp1791-1801、2006」を用いることが考えられる。

本実施形態は、顔の向きや大きさに基づいて抽出される顔の領域の形状を制限するものではなく、任意の形状でよい。なお、本実施形態では、説明を簡単にするために、顔の領域を矩形情報で示す例とする。そして、矩形情報の角の座標を、検出結果として利用する。その他に予め用意されたテンプレートを画像内で移動させながら相関値を求めることにより、最も高い相関値を与える位置を顔表示領域とする方法、固有空間法や部分空間法を利用した顔抽出法などでも実現は可能である。

また、防犯カメラ１５０などで撮影された画像データの場合、検出された同一人物の顔が複数のフレーム（画像データ）にわたって連続して映っていることが考えられる。このような場合に、それらを同一人物として対応付けできるように人物の顔の追跡処理を行う必要がある。この実現手段としては、オプティカルフローを用いて検出した顔が次のフレーム（画像データ）のどの位置にいるか対応付けする手法や、公知の技術文献（特開２０１１−１７０７１１号公報）に記載された手法を用いることが考えられる。

これにより、後述の人物特徴点検出部１０６が、同一人物として対応付けられた、複数の画像データに含まれている顔が表示されている領域から、検索をするために適切な、少なくとも１枚の画像データを選択することや、最大で検出されたフレーム数までの任意の枚数の画像データを用いることが可能となる。

図３は、人物検出部１０５により検出された人物の領域を示した図である。図３に示す例では、第１フレーム、第２フレーム、及び第３フレームの順に、防犯カメラ１５０により撮像されたものとする。図３に示すように、人物検出部１０５は、複数人の顔の領域の検出を可能とする。

そして、人物検出部１０５は、叙述した人物のトラッキング技術により、顔表示領域３０１、顔表示領域３０２、顔表示領域３０３を同一人物（例えば第１の人物）の顔が表示された領域として検出し、顔表示領域３１１、顔表示領域３１２を同一人物（例えば第２の人物）の顔が表示された領域として検出する。

本実施形態では、人物領域として顔の領域を検出する例について説明するが、検出対象を顔に制限するものではなく、人物全体が表示されている領域を検出しても良い。人物全体が表示されている領域を検出する技術としては、例えば「Watanabe他、”Co-occurrence Histograms of Oriented Gradients for Pedestrian Detection、 In Proceedings of the 3rd Pacific-Rim Symposium on Image and Video Technology”、PSIVT2009、pp.37-47.」を用いることが考えられる。このように、人物の領域を検出する技術であればよく、検出対象が、顔や人物全体やその他の身体などどこであってもよい。そして、検出対象から特徴情報を抽出できれば、本実施形態に記載した手法以外の手法を用いても良い。

人物特徴点検出部１０６は、複数の画像データの各々から検出された、人物の表示された領域（顔表示領域）から、人物の部位の特徴が示された特徴点を検出する。さらに、本実施形態にかかる人物特徴点検出部１０６は、検出された特徴点に、実際に部位が表示されている度合いを示した信頼度を取得する。

人物特徴点検出部１０６は、検出された顔表示領域から、目、鼻などの顔部位の位置を顔の特徴点として検出する。検出手法としてはどのような手法を用いても良いが、例えば、文献「福井和広、山口修、 “形状抽出とパタン照合の組合せによる顔特徴点抽出”、電子情報通信学会論文誌(D)、vol.J80-D-II、No.8、pp2170−2177、1997」に記載された手法を用いることが考えられる。

いずれの手法でも、二次元配列状の画像として取り扱える情報を獲得し、その中から顔特徴の領域を検出することが可能である。

また、人物特徴点検出部１０６は、これらの検出処理として、１枚の画像の中から１つの顔特徴だけを抽出するには全画像に対してテンプレートとの相関値を求め最大となる位置とサイズを出力すればよい。また、人物特徴点検出部１０６は、複数の顔特徴を抽出する際に、画像全体に対する相関値の局所最大値を求め、一枚の画像内での重なりを考慮して顔の候補位置を絞り込み、最後は連続して入力された過去の画像との関係性（時間的な推移）も考慮して最終的に複数の顔特徴を同時に検出しても良い。

図４は、人物特徴点検出部１０６により検出された特徴点の例を示した図である。図４に示すように、人物特徴点検出部１０６により瞳、目尻、口元などの特徴点４０１〜４０６が検出される。なお、本実施形態は、特徴点の位置、数を制限するものではなく、実施の態様毎に適切な特徴点の位置、数が設定されるものとする。このような特徴点４０１〜４０６は、サングラスやマスクや帽子等で隠蔽される可能性がある。

そこで、本実施形態にかかる人物特徴点検出部１０６は、隠蔽物用判定基準記憶部１０２に記憶されたサングラスやマスクや帽子で顔の一部が隠された場合の学習結果を参照して、顔の特徴点が全て検出できない場合でも、一部の顔特徴点が十分な評価値で検出されていれば、二次元平面、または３次元的な顔のモデルを利用して、残りの特徴点を推測する。

特徴点が全く検出できない程度に、マスク、帽子及びサングラス等で、顔の特徴点を隠蔽している場合、隠蔽物用判定基準記憶部１０２に顔全体をパタンとして学習結果を記憶させておき、人物特徴点検出部１０６が、隠蔽物用判定基準記憶部１０２を用いて、顔全体の位置を検出し、顔全体の位置から各特徴点の位置を推測できる。なお、複数の顔が画像データ内に存在した場合も同様の処理を、それぞれの顔が検出された領域に対して実施することで実現できる。

また、顔の一部が見えていない状態としては、様々な状態が考えられる。本実施形態では、顔の一部が見えていない状態の例として、顔の向きにより顔の特徴点の検出が困難な例、及び顔に遮蔽物が着用されているため顔の特徴点が困難な例について説明する。

顔の向きの推定手法としては、特許公開公報２００３−１４１５５１号公報（山田貢己、福井和広、牧淳人、中島朗子、“顔向き計算方法及びその装置”）に示されている手法がある。当該手法では、顔の回転行列、顔の向き別に学習させた複数のクラス（部分空間）を利用することで、顔向きを推定することを可能とする。これにより、顔の角度がわかるため、顔の特徴点の一部が見えなくなるほど角度があるか否かを推定することが可能となる。

また、人物特徴点検出部１０６は、特徴点を検出した際に、特徴点が実際の人物の部位から検出されたか否かの度合いを示した信頼度を取得する。その際に、顔の向きに従って、顔の特徴点に対する信頼度を変更する。つまり、例え顔の特徴点が検出されていたとしても、顔向きの角度が厳しい場合に、実際の部位から検出された可能性が低くなる。この場合は、信頼度を下げた方が好ましい。

そこで、本実施形態にかかる信頼度判定部１１１は、画像データの顔表示領域から、顔向き用判定基準記憶部１０１に記憶された基準情報に基づいて、人物の顔の向きを検出した後、当該顔の向きに基づいて、顔の特徴点の信頼度を変更する。

図５は、フレーム（画像データ）毎に顔の向きに従って、検出される特徴点の違いを示した図である。図５に示す例では、時間の経過と共に、入力処理される画像データが、第１フレーム、第２フレーム、第３フレーム、第４フレーム、第５フレームと変化する例とする。図５に示すように、歩行中に顔の向きが変化する場合、第１フレームの人物５０１や、第５フレームの人物５０５のように、顔の向きが正面と判定された場合に、顔の各部位はしっかり見えていると考えられるため、信頼度判定部１１１は、顔の各部位の信頼度を高く設定する。

一方、第２フレームの人物５０２や、第４フレームの人物５０４のように、顔の向きが少し傾いている場合、目尻等の見えなくなりそうな特徴点について、信頼度判定部１１１は、信頼度を少し減らすなどの設定を行う方が好ましい。

さらに、第３のフレームの人物５０３のように、顔の右側が見えない場合、人物特徴点検出部１０６は、このような状況で、信頼度判定部１１１は、顔の右側の部位として検出された特徴点に対して、信頼度を低くする。

顔の向きだけでなく、顔の部位を隠蔽するサングラスやマスク、帽子や前髪、ひげといったものがあった場合も、同様に信頼度を変更した方が好ましい。

まず、マスク、サングラス、帽子等の顔を隠蔽する着用物の有無の判定や、前髪の影響などで顔の一部が隠れているか否かの判定や、ヒゲで顔の一部か隠れているか否かという判定手法は、どのような手法を用いても良いが、例えば特開２０１２−３６２３号公報に記載された手法を用いることが考えられる。

そして、本実施形態にかかる人物特徴点検出部１０６は、隠蔽物用判定基準記憶部１０２の他に、サポートベクターマシン（Support vector machine)や判別分析法を用いて、画像データの顔表示領域が、隠蔽物を着用している画像に類似しているか否かに基づいて、隠蔽物の有無を判定する。

隠蔽物があると判定された場合、信頼度判定部１１１が、隠蔽物によって隠れると思われる特徴点の信頼度を下げる。

例えば、人物特徴点検出部１０６により、サングラスが着用されていると判定された場合、信頼度判定部１１１が、目に関する特徴点（例えば目尻、目頭、瞳など）、眉毛付近の情報などの信頼度を下げる。他の例としては、マスクが着用されていると判定された場合、信頼度判定部１１１が、口に関する特徴点、鼻に関する特徴点の信頼度を下げる。

また、本実施形態では、顔の部位の全領域が網羅的に見えているか否かを基準に、信頼度を決定する例について説明した。しかしながら、このような手法に制限するものではなく、他の例としては、顔の部位の解像度が高い場合に信頼度を高くする、コントラストが高い（輝度の分布の分散が大きい、輝度の最大最小の値の差が大きい）場合に信頼度を高くしてもよい。さらには、画像データの全体に対してＦＦＴをかけて、高周波成分の値が大きい場合に画像データがぼけておらずに鮮明度が高いことに基づいて、信頼度判定部１１１が、高周波成分の値が大きい場合に信頼度を高くする制御を行っても良い。

例えば、人物特徴点検出部１０６が顔の特徴点を検出した場合に、信頼度判定部１１１が、特徴点付近の所定サイズ（例えばＭ×Ｎ画素）領域の特徴点を示す画像として、当該領域の画像の最大輝度値と最小輝度値からコントラスト、または輝度値の分散をコントラストとして求め、当該コントラストが高い場合には、信頼度に所定の係数（例えば１より大きい値）をかけることで信頼度を高める。逆にコントラストが低い場合には、信頼度に所定の係数（例えば１より小さい値）を掛けることで、信頼度を低くする。

また、信頼度判定部１１１が、特徴点を示すＭ×Ｎ画素領域内の平均輝度を求めて、明るさを求める。そして、求められた明るさが中間的な値であれば、信頼度判定部１１１は、信頼度を高め、明るすぎる又は暗すぎる場合に信頼度を低くするという調整を行う。

また、特徴点間の距離などにより特徴点が示す顔の部位の大きさを示す画素数が確認できる。これに従い、信頼度判定部１１１が、顔の各部位の「解像度」に基づいて、信頼度を変更する。本実施形態では、解像度が高いほど画質が良いものとして扱う。そして、信頼度判定部１１１は、判定された解像度に応じた係数を、各特徴点の信頼度にかけることで、信頼度の高低を制御することが可能となる。

図６は、画像データ毎の顔の向きと信頼度とを説明した図である。図６に示す例では、第１フレームでは、顔表示領域７０１から各特徴点を検出できる。そして、人物特徴点検出部１０６が第１フレームから特徴点を検出した際に、信頼度判定部１１１は、顔表示領域の解像度が低いため、顔表示領域７０１から検出された各特徴点の信頼度を少し下げる。

一方、第３フレームでは、防犯カメラ１５０と人物との間の位置及び角度の関係から、顔全体の解像度は高いが、前髪のため、おでこ周辺から右目の周辺領域７０２を認識しにくい。そこで、人物特徴点検出部１０６が特徴点を検出した際に、信頼度判定部１１１は、右目周辺領域７０２から検出された特徴点の信頼度を下げるとともに、左眼周辺領域７０３については解像度が高いため、当該左眼周辺領域７０３に含まれる特徴点の信頼度を上げる。

図７は、画像データ毎の隠蔽物と信頼度とを説明した図である。図７に示す例では、隠蔽物がサングラスの例とする。第１フレームでは、顔表示領域のうち、領域８０１に含まれる部位については適切な特徴点の検出を図れず、領域８０２に含まれる部位については適切に特徴点を検出できる。このため、人物特徴点検出部１０６が特徴点を検出する際に、サングラスで被覆されていることも検出された場合に、信頼度判定部１１１は、領域８０１に含まれている特徴点の信頼度を下げる一方、領域８０２に含まれている特徴点の信頼度についても少し下げる。

一方、第３フレームでは、防犯カメラ１５０と人物との間の位置及び角度の関係から、サングラスの縁から、両目の周辺領域８０３を撮影できる。第３フレームでは、防犯カメラ１５０と人物が近接しているため、周辺領域の解像度が高い。そこで、人物特徴点検出部１０６が特徴点を検出した際に、信頼度判定部１１１は、両目の周辺領域８０３から検出された特徴点の信頼度を上げるとともに、周辺領域８０３より下の領域から検出された特徴点の信頼度を下げる。

このように、顔の領域を、細かく領域をわけて管理することで、表示されている目の一部に限り信頼度を変更するなどの管理が可能となる。

信頼度は、例えば、顔の特徴点単位で平均的なパタンを学習させておき、相関値や単純類似度や部分空間法で得られた類似度をもとに０〜１までの信頼度にしてもよい。また、信頼度判定部１１１が、顔向きに基づいて信頼度を変更する場合、画像データを撮像した防犯カメラ１５０の光軸に対する顔の角度θからcosθを算出し、算出したcosθを用いて信頼度を変更することが考えられる。

上述したように、本実施形態では、顔表示領域から顔の各部位の特徴点を検出した後、顔向きや顔の隠蔽物着用判定の結果によって、顔の各部位の特徴点が、どの程度はっきり見えているかを認識した上で、信頼度を変更することとした。このようにして、顔の特徴点と、顔の状態に応じた信頼度とを同時に求めることが可能となる。

本実施形態では、信頼度判定部１１１が、特徴点の見えやすさに応じて、係数をかけることで、信頼度を高くしたり低くしたりする例を示した。しかしながら、特徴点毎に信頼度を１つ設けるのではなく、１つの特徴点について指標毎に信頼度を別々に持たせてもよい。

特徴情報記憶部１０３は、入力処理された画像データを識別する情報と、検出された人物の特徴点と、を対応付けて記憶する。さらに、特徴情報記憶部１０３は、入力処理された画像データを記憶する。

図８は、特徴情報記憶部１０３が備えるテーブルの構造を示した図である。図８に示すように特徴情報記憶部１０３は、フレームを識別する番号と、インデックスと、顔の特徴点１〜Ｎに関する情報と、を対応付けて記憶する。フレームを識別する番号は、画像データ毎にユニークに設定される。

インデックスは、人物毎にユニークに設定される。本実施形態にかかるインデックスは、人物検出部１０５により検出された人物毎に設定される。

顔の特徴点の‘Ｎ’は、顔の特徴点の数を示している。‘Ｎ’は、実施の態様に応じて適切な値が設定される。また、特徴点毎に、特徴点を示すＸ座標、特徴点を示すＹ座標、及び当該特徴点の信頼度が記憶されている。

つまり、特徴情報記憶部１０３は、画像から検出された顔表示領域毎に、当該顔表示領域に含まれる全ての特徴点についての位置情報、及び当該特徴点が鮮明に表示されているか否かを示す信頼度を、管理する。

図８に示すフレーム番号１〜３は、図３の第１〜第３フレームに対応する。つまり、フレーム番号‘１’が図３の第１フレームに対応し、特徴情報記憶部１０３には、インデックス‘１’で示される人物の顔表示領域３０１の特徴点１〜Ｎに関する情報が格納されている。フレーム番号‘２’が図３の第２フレームに対応し、特徴情報記憶部１０３には、インデックス‘１’で示される人物の顔表示領域３０２の特徴点１〜Ｎに関する情報と、インデックス‘２’で示される人物の顔表示領域３１１の特徴点１〜Ｎに関する情報と、が格納されている。フレーム番号‘３’が図３の第３フレームに対応し、特徴情報記憶部１０３には、インデックス‘１’で示される人物の顔表示領域３０３の特徴点１〜Ｎに関する情報と、インデックス‘２’で示される人物の顔表示領域３１２の特徴点１〜Ｎに関する情報と、が格納されている。

そして、インデックス‘１’の人物は、いずれも顔の特徴点の信頼度が高い状態で検出されている。一方、インデックス‘２’の人物は、顔の特徴点２の信頼度が低いため、顔の一部の部位が隠れている可能性が高いと信頼度判定部１１１により判定されている。図３に示される例では、サングラス等の隠蔽物の着用により信頼度が低くなったものと考えられる。なお、顔の向きにより一部が隠れている場合でも同様の判定がなされる。

なお、特徴情報記憶部１０３が記憶する情報は、入力処理された画像データや、上述したテーブルで示した対応関係に制限するものではない。例えば、人物特徴点検出部１０６において信頼度の判定に用いられた顔向きの角度、マスクやサングラス、帽子といった着用判定結果が識別されている場合、特徴情報記憶部１０３が、当該顔の向きの角度、及び着用判定結果の少なくとも１つ以上を対応付けして記憶しても良い。なお、人物特徴点検出部１０６で指標毎に信頼度を求めた場合、求められた複数の信頼度を、上述した手法と同様の手法で管理してもよい。

補正部１０７は、画像入力処理部１０４により入力処理された画像データから検出された顔表示領域を補正して、当該顔表示領域が示された人物画像データを生成する。その際に、補正部１０７は、顔表示領域に含まれている特徴点の信頼度に基づいた重み付けを行った後、補正を行う。

補正部１０７による複数画像データを用いた補正のタイミングは、特に制限されるものではないが、本実施形態では過去の所定枚数分の画像データ用いて常時補正を行うこととする。この場合、ｔフレーム目に実行される補正では、ｔ−ｎフレームからｔ−１フレームまでのｎ枚の画像データのうち、全（ｎ枚の）画像データを用いても良いし、任意の枚数ｍ（ｍ＜ｎ）の画像データを用いてもよい。

また、人物が移動していることを考慮して、同一人物が検出されている画像データが所定枚数に到達した場合、人物が検出できなくなった場合（撮影領域の範囲外に移動した場合）、人物検出部１０５による人物のトラッキングが終了したと判断された場合に、補正部１０７が、所定枚数の画像データを用いて補正することが考えられる。

補正部１０７による補正処理としては、例えば、超解像処理（高解像度化する際の解像度の補間処理）がある。超解像の処理手法はどのような手法を用いても良いが、例えば、文献「竹島秀則、加藤宣弘、金子敏充、“サブピクセルシフト画像を用いた複数フレーム超解像技術”、東芝レビュー Vol64 No6, pp11-14、2009」に記載されている技術を用いることが考えられる。また、高解像度化の処理として、複数フレーム（画像データ）を用いて、高画質の画像データの生成も可能である。

本実施形態にかかる補正部１０７は、複数フレームを用いた高画質の画像データを生成する手法を用いる。本実施形態にかかる補正部１０７は、複数の画像データから検出された顔の表示領域に含まれる各領域を組み合わせて、同一の人物が示された超解像の人物画像データを生成する。その際に、補正部１０７は、複数フレームで検出されている複数の顔表示領域について、人物特徴点検出部１０６で特徴点として検出された座標で対応付けを行い、各フレームの特徴点間の対応関係に基づいて、複数の顔の表示領域を用いた超解像処理を行う。その際に、本実施形態では、各領域に含まれている特徴点の信頼度を重み付けとして用いる。

つまり、本実施形態にかかる補正部１０７は、特徴点間の対応付けを行う際に、該当する特徴点の信頼度が低い場合、複数の特徴点を用いた対応付けの度合いを抑止する。また、信頼度が高い特徴点間については、複数の特徴点を用いた対応付けの度合いをより強くする。これにより、鮮明な超解像の画像データを生成することが可能となる。

本実施の形態にかかる補正部１０７は、信頼度が低い顔の特徴点及びその周辺領域については対応付けを行わず、１フレーム内の輝度情報を利用した超解像の画像データの生成を行う。特徴点の周辺領域の範囲は、特に制限を設ける物ではないが、例えば、特徴点から所定の画素数以内としてもよいし、信頼度で重み付けして、特徴点から離れるほど信頼度が低くなるように変更しながら補正処理を行ってもよい。

本実施の形態にかかる補正部１０７は、人物画像データの生成に用いる複数フレームの顔表示領域の解像度が異なる場合に、各顔表示領域に対して縮小又は拡大を行い、解像度を一致させてから合成する。合成する際に、補正部１０７は、縮小又は拡大前の顔表示領域のうち、解像度が高い顔表示領域について重み付けを強くする。

補正部１０７が行う超解像以外の補正処理としては、コントラストや輝度の補正がある。本実施形態にかかる補正部１０７は、超解像と同様、複数の画像データに含まれている顔表示領域内で対応づけられた特徴点を用いて、輝度の補正処理を行う。

本実施形態にかかる補正部１０７は、複数の画像データ（個数ｎのフレーム）の顔の表示領域内で同一の部位を示すものとして対応付けられた場合、当該対応付けを用いて輝度の補正を行う。例えば、ｉフレーム目の画像データのうち、他のフレームと対応付けられた特徴点の座標が(Ｘｉ，Ｙｉ)の場合、当該座標の輝度値をＩ(Ｘｉ，Ｙｉ)であり、当該座標の信頼度をｆ（ｉ）とする。そして、補正部１０７は、画像データに含まれている顔の表示領域の座標のうち、特徴点以外の座標については、周辺の特徴点からの距離に応じた線形補間に基づいて、当該座標の信頼度を求める。画像補正後の輝度値Ｉ’（Ｘ，Ｙ）は、以下に示す式（１）で算出される。

Ｉ’（Ｘ，Ｙ）＝Σｆ（ｉ）＊Ｉ（ｉ，Ｘｉ，Ｙｉ）…（１）

また、人物特徴点検出部１０６において、指標毎に信頼度を求めた場合、指標毎にｆ（ｉ）の関数を保持しているため、全ての係数をかけた式にすればよい。

また、座標毎にそれぞれ別に輝度値を算出すると、ノイズが増加する可能性がある。そこで、周辺の所定範囲の画素の平均輝度を求めてから、他の補正処理を行うノイズ除去処理や、周辺の所定範囲の画素の平均輝度に基づいて、輝度の変動量を所定範囲内に上限下限値を設定することで、外れ値のようなノイズの混入を防ぐノイズ除去処理を行っても良い。これによって、所定のフレームではコントラストの低い画像である場合、複数フレームの画像を用いてコントラスト拡張処理を行うことで、でコントラストのある鮮明な人物画像データを生成できる。

また、補正部１０７は、解像度を向上させずに、鮮鋭度を向上させる処理を行っても良い。精鋭度の向上処理は、上述した処理と同様に、特徴点間を対応付けた上で、複数フレームの顔表示領域で同一部位であると見なされる領域の輝度情報に基づいて行う。その際に、所定のフレームにおいて、周辺画素との輝度差が小さい領域であっても、複数フレーム分蓄積することで、輝度差が生じる。そして、補正部１０７は、当該輝度差を強調した画像に補正することで、鮮鋭度の向上を実現できる。また、上述した超解像処理を行った後、元の解像度に戻すことで鮮鋭度を向上させた画像データ生成しても良い。

また、補正部１０７は、ノイズ補正処理を行う。ノイズ補正処理は、上述した処理と同様に、特徴点間を対応付けた上で、顔表示領域で同一部位であると見なされる領域の輝度情報を複数フレーム分蓄積し、平均値や中間値を採用する。これにより、ノイズを軽減することができる。

また、補正部１０７は、対象となる人物の顔の向きを補正した人物画像データを生成しても良い。上述した処理と同様に、複数フレーム間の特徴点間の対応付けを行うことで、顔の向きの変動を対応する特徴点の位置の変化で認識できる。そこで、補正部１０７は、特徴点の変化を考慮した上で、複数フレーム分の顔表示領域の輝度情報を用いて、人物の画像データを生成する。

さらに、補正部１０７は、向きを考慮した上で、複数フレームの顔表示領域から人物画像データを生成する際に、複数の顔表示領域に含まれる特徴点のうち、同じ部位を示す特徴点間を対応付けた上で、複数フレームの画像を合成して、予め定められた人物の３次元的な形状モデルに対して割り当てた後、当該三次元的な形状モデルに従って表示される人物の向きを補正した上で、人物画像データを生成しても良い。当該手法の詳細は、特開２００７−４７６７号公報等に記載されているため説明を省略する。

補正部１０７は、上述した処理を全て行うことに制限するものではなく、上述した処理のうち少なくとも１つ実行すればよい。

また、補正部１０７による補正処理の際、信頼度の利用手法としては、以下に示す３種類の手法がある。

第１の手法としては、顔向きの影響で見えない領域の重み付けを下げるために、当該領域に含まれる特徴点の信頼度を下げる手法である。

図９は、複数フレームの顔表示領域を合成して、人物画像データを生成する例を示した図である。図９に示す例では、防犯カメラ１５０は、歩行している人物よりも高い位置から見下ろすような角度で設置されることが多い。この場合、防犯カメラ１５０から離れた位置（例えば第１フレーム）では、相対的に顔の角度はカメラの光軸に対して正面に近い顔表示領域９０１となる。一方、防犯カメラ１５０から離れているため、当該顔表示領域９０１の解像度は低くなる。そして、人物が前に進むにつれて徐々に顔の表示領域９０２、９０３の解像度は高くなるものの、防犯カメラ１５０の光軸に対して角度が正面からはずれてきて相対的に下を向いた状態で撮影されやすくなる。これにより、検出された顔表示領域９０２、９０３では、解像度こそ高いものの、全ての特徴点を検出できなくなる、又は誤った位置を特徴点として検出される可能性がある。

そのほか、人物はカメラを意識せずに歩行しているため、うつむき、わき見などで顔の向きが変動する場合がある。

そこで、信頼度判定部１１１は、顔の向き及び解像度に応じて、信頼度を調整する。具体的には、信頼度判定部１１１は、“領域９０１に含まれる特徴点の信頼度＜領域９０２に含まれる特徴点の信頼度＜領域９０３に含まれる特徴点の信頼度”と設定する。なお、第２〜第３フレームのうち、領域９０２及び領域９０３に含まれていない領域については、領域９０１に含まれる特徴点の信頼度よりも低く設定する。

このように、第１フレームでは、顔の特徴点はいずれも正面向きに近いため信頼度はある程度高い値となっている一方で解像度は低いので、超解像処理であればいずれの特徴点周辺の画素の輝度値も、複数フレームを用いた超解像処理に利用される。一方、第３フレームでは、解像度が高いため超解像処理をしやすくなるものの、顔が下を向く傾向にあるため、顔の上部の特徴点の信頼度が高くなる一方、顔の下部の特徴点の信頼度が低い状態となる。

これにより、補正部１０７は、見えている範囲（信頼度が高い）の輝度情報を積極的に利用する一方で、見えていない範囲（信頼度が低い）の輝度情報の利用を抑止することで、画像補正処理を行う。

図９に示す例では、第１フレームの顔表示領域９０１、第２フレームの顔表示領域９０２、第３フレームの顔表示領域９０３を合成して人物画像データ９１０を生成するが、その際に、信頼度に基づいて、領域９１１について顔表示領域９０１が積極的に利用され、領域９１２について顔表示領域９０２が積極的に利用され、領域９１３について顔表示領域９０３が積極的に利用される。このように信頼度に基づいた人物画像データの生成がなされる。

第２の手法は、マスクやサングラスなどで隠蔽された領域があれば、隠蔽された領域以外の見えている領域を見やすくする手法である。

図１０は、顔表示領域から検出された隠蔽物に基づいて補正部１０７が実行する補正処理を示した図である。本実施形態では、顔がマスクやサングラス等の装着物で隠蔽されている場合、隠蔽をされている領域の特徴点の信頼度が低くなる。

さらには、隠蔽物用判定基準記憶部１０２を用いた信頼度判定部１１１による判定で、マスク着用やサングラス着用、帽子着用、前髪の影響などで顔の一部が隠れている、ヒゲで顔の一部か隠れていることが検出された場合に、特徴情報記憶部１０３が、当該検出結果を記憶する。そこで、本実施形態にかかる補正部１０７は、当該判定結果を用いて補正行うこととした。これにより明確な判断結果に基づいた、適切な補正が可能となる。

また、隠蔽されていない部分をより詳細に確認できるようになることが望ましいので、補正部１０７は、隠蔽されていない領域に高精度になるよう画質の補正処理を行う。そして、普段は通常の画質補正処理をすることでシステムの負荷を常時高めることなく、効率的な画像データの像確認を可能とする。

図１０で示す例では、顔の隠蔽物がまったくない顔表示領域１００１について従来通りの補正処理を行った後、通常の人物画像データ１０１１として表示や記録が行われる。

隠蔽物が検出された顔表示領域１００２、１００３について、隠蔽された領域以外について高精度な画像補整を行い、人物画像データ１０１２、１０１３を出力する。つまり、補正部１０７は、顔表示領域１００２において、マスク着用が検出された場合に、マスク以外の領域１０３１に対して高精度な画像補正を行う。補正部１０７は、顔表示領域１００３において、サングラス着用が検出された場合に、サングラス以外の領域１０３２に対して高精度な画像補正を行う。

着用物が顔全体を隠蔽している場合、検出された顔表示領域１００４の全体領域について高精度な画像補整を行い、人物画像データ１０１４を出力する。他の例としては、補正部１０７は、顔表示領域１００４において、マスク、サングラス着用が検出された場合に、頭部の輪郭周辺に限定して高精度な画像補整処理を行い、リソースを有効活用してもよい。

画像補正の高精度処理としては、超解像処理であれば対応する特徴点の探索範囲を広くすることや探索ステップを細かくして処理時間はかかるが高精度に対応する特徴点を求めること、ノイズ除去や輝度補正処理についても、フィルタ処理や処理計算を処理負荷のかかる処理にかえて高精度な人物画像データを生成することが考えられる。

また、上述した１つ目の手法と、２つ目の手法と、を組み合わせても良い。組み合わせた場合、図６、図７に示すように、移動している人物について前髪やサングラス等の着用物で隠蔽していたとしても、歩行中の顔の向きによっては、隠蔽物によって隠れる顔の領域が変化する。そこで、本実施形態にかかる補正部１０７は、見えている領域を組み合わせた上で、上述した高精度処理を行い、人物画像データを生成できる。

図６に示す例ではあれば、第１フレームでは前髪にかからずに撮影されていたおでこから目に掛けての領域が、人物が防犯カメラ１５０に近づくと、第３フレームでは前髪の影になって撮影されなくなる。この場合、人物特徴点検出部１０６が顔の特徴点をより多く検出して、より詳細に顔の部位と顔の部位の間に対する見え方の信頼度をより細かく求めることで、補正部１０７が詳細な顔の領域単位で合成が可能となる。

図７で示す例ではあれば、第１フレームではサングラスの影になっていた目の領域も、人物が防犯カメラ１５０に近づくため、第３フレームではサングラスに隠れていた目の領域が撮影される。これにより、当該目の領域を人物画像データとして合成可能となる。

３つ目の手法としては、マスクやサングラスなどで隠蔽された領域があれば隠蔽物をとり除き、画像を補間した上で、人物画像データを生成する手法がある。最も簡単な実現手法としては、人間の顔表示領域の平均画像を作成しておき、隠蔽されている領域は平均的な顔画像で補間して合成する手法である。また、他にも統計的に周辺の輝度の分布を求めることで統計的にどのような輝度が存在するかという手法を用いることが考えられる。当該手法としては、例えば、文献「小川ら、“高周波強調処理と入力画像の利用による学習型超解像”、画像の認識・理解シンポジウム（MIRU2010）、2010、IS2-35」に記載されている手法がある。

このように、補正部１０７は、複数の画像データの顔表示領域から、同一の人物が示された人物画像データを生成する際に、隠蔽されていると判定された人物の顔の一部の領域について、統計的に学習された輝度パタンを利用した補間画像で、隠蔽されていると判定された領域を置き換える。これにより、人物をより認識しやすい人物画像データを生成することが可能となる。

上述した補正処理は、全て行うのではなく、いずれか１つの処理を行ってもよいし、異なる複数の画像補正処理を行っても良い。さらには、補正処理毎に画像データを生成しても良い。

出力部１０８は、補正部１０７により得られた補正結果を画面に表示する。または、出力部１０８は、補正部１０７により得られた人物画像データを記録装置に記録する。または、出力部１０８は、接続された機器に補正部１０７により補正された後の人物画像データを送信しても良い。

また、補正部１０７から補正結果として複数の人物画像データが入力された場合、あらかじめ定めておいた順番で画像補正結果を表示や記録を行ってもよい。また、顔部位の信頼度の合計値が高い人物画像データから順に表示してもよい。複数の候補を見せることで、人間の目視確認で目的の画像が含まれている可能性を高めることができる。

次に、本実施の形態にかかる人物画像処理装置１００における、全体的な処理について説明する。図１１は、本実施の形態にかかる人物画像処理装置１００における上述した処理の手順を示すフローチャートである。

まず、画像入力処理部１０４が、防犯カメラ１５０により撮像された画像データを、時間の経過に伴い複数入力処理する（ステップＳ１１０１）。次に、人物検出部１０５が、入力処理された画像データのそれぞれから、顔表示領域を検出する（ステップＳ１１０２）。

そして、人物特徴点検出部１０６は、検出された顔の表示領域から、顔の特徴点を検出する（ステップＳ１１０３）。

その後、信頼度判定部１１１は、顔向き用判定基準記憶部１０１及び隠蔽物用判定基準記憶部１０２に基づいて、検出された顔の特徴点から信頼度を判定する（ステップＳ１１０４）。

その後、補正部１０７が、特徴点の検出結果及び判定された信頼度を用いて、複数の画像データに対して補正処理を行い、人物画像データを生成する（ステップＳ１１０５）。その後、出力部１０８が、生成した人物画像データを表示する（ステップＳ１１０６）。

以上の実施形態により、防犯カメラ１５０などで撮影された画像データから、被写体である人物の状態にあわせて目視確認しやすい人物画像データの生成を可能とする。

（第２の実施形態）
第１の実施形態では、人物画像データの出力する例について説明した。しかしながら、生成した人物画像データの利用態様を出力に制限するものではない。そこで、第２の実施形態では特定の人物であるかの認証、または類似した顔を検索することを例について説明する。

第２の実施形態にかかる人物画像処理装置は、予め登録されている人物画像データから、現在撮影された人物画像とを比較し、同一の人物を検索する場合がある。例えば顧客データからお得意様を探す、不審者のデータベースから該当者を探す、ＩＤ証の更新時の本人確認や新規発行時の二重発給防止といった用途が考えられる。

第２の実施形態は、第１の実施形態と同様に、人物の顔を検出する例について説明するが、上述したように人物の全体を検出しても良い。

図１２は、第２の実施形態にかかる人物画像処理装置のブロック構成を示した図である。図１２に示すように、人物画像処理装置１２００は、顔向き用判定基準記憶部１０１と、隠蔽物用判定基準記憶部１０２と、特徴情報記憶部１０３と、画像入力処理部１０４と、人物検出部１０５と、人物特徴点検出部１０６と、補正部１０７と、特徴抽出部１２０１と、認識部１２０２と、人物情報記憶部１２０３と、出力部１２０４と、を備える。なお、第１の実施形態と同様の構成については、同一の符号を割り当て、説明を省略する。

補正部１０７により行われる補正は、基本的には、第１の実施形態と同様の処理を行う。第２の実施形態では、顔認識処理に利用するため、実行する補正手法は、認識手法に合わせて適切な補正手法を選択する。実際に行われる補正手法は、上述した補正手法のうち、実施の態様に合わせて選択されるものとして、説明を省略する。

特徴抽出部１２０１は、補正部に生成された人物画像データから、個人を識別可能な顔の特徴を示した特徴情報（以下、顔特徴情報と示す）を抽出する。

特徴抽出部１２０１は、顔特徴情報として、顔の各特徴を示す数列を出力する。本実施形態にかかる特徴抽出部１２０１は、人物特徴点検出部１０６により検出された顔の特徴点の座標（顔の特徴的な部品となる位置）に基づいて、顔表示領域を一定の大きさ、形状に切り出し、その濃淡情報を、顔の特徴を示す特徴量として抽出する。本実施の形態では、複数の画像データを利用する場合にそなえて、補正部１０７が複数画像を出力をするようにしてもよい。

本実施形態では、ｍピクセル×ｎピクセルの領域の濃淡値をそのまま情報として用い、ｍ×ｎ次元の情報を、特徴量ベクトルとして抽出する。

特徴抽出部１２０１では、特徴量ベクトルと、特徴量ベクトルの長さとを、単純類似度法によりそれぞれ１とするように正規化し、内積を算出することで特徴ベクトル間の類似性を示す類似度を求める。当該手法は、文献「エルッキ・オヤ著、小川英光、佐藤誠訳、“パタン認識と部分空間法”、産業図書、1986年」で示された部分空間法を利用することで実現できる。また、特開２００７−４７６７号公報「小坂谷達夫、“画像認識装置、方法およびプログラム”」で示された１枚の顔画像情報に対してモデルを利用して顔の向きや状態を意図的に変動させた画像データを生成することで、精度を向上させる手法を適用してもよい。これら手法を用いることで、１枚の画像データから、顔特徴情報を抽出できる。

一方、特徴抽出部１２０１が、同一人物に対して連続した複数の画像データを用いて、動画像データによる算出をすることでより精度の高い認識処理を行っても良い。例えば、文献「福井和広、山口修、前田賢一、“動画像を用いた顔認識システム”、電子情報通信学会研究報告PRMU、 vol97、 No.113、 pp17-24、 1997」又は文献「前田賢一、渡辺貞一、“局所的構造を導入したパタン・マッチング法”、 電子情報通信学会論文誌(D)、 vol.J68-D、 No.3、pp345--352、1985」に示された相互部分空間法を用いてもよい。これらの文献に示された相互部分空間法を用いた場合、画像入力処理部１０４が連続して入力処理した画像データから、人物特徴点検出部１０６がｍ×ｎピクセルの画像データを切り出し、これらの画像データから特徴量ベクトルの相関行列を算出し、Ｋ−Ｌ展開による正規直交ベクトルを求めることにより、連続した画像データから得られる顔の特徴情報を示す部分空間を算出する。

部分空間の算出法は、特徴量ベクトルの相関行列（または共分散行列）を求め、そのＫ−Ｌ展開による正規直交ベクトル（固有ベクトル）を求めることで、部分空間が算出される。部分空間は、固有値に対応する固有ベクトルを、固有値の大きな順にｋ個選択し、選択された固有ベクトル集合を用いて表現される。本実施形態では、相関行列Ｃｄを特徴ベクトルから求め、相関行列Ｃｄ＝ΦdΛdΦdＴと対角化して、固有ベクトルの行列Φを求める。この固有ベクトルの行列Φが、現在認識対象としている人物の顔の特徴を示す部分空間となる。本実施形態では、当該部分空間を、入力された画像データから検出された個人の顔特徴情報とする。

人物情報記憶部１２０３は、人物毎に、あらかじめ登録されている顔特徴情報を管理する。人物情報記憶部１２０３は、後述する認識部１２０２が人物の認識処理を行う際に用いられるデータベースである。本実施形態にかかる人物情報記憶部１２０３は、検索対象となる個人毎に、人物の識別情報（人物ＩＤや名前）、特徴抽出部１２０１で抽出された顔特徴情報、当該個人の性別、年齢、及び身長などの属性情報を対応付けて記憶する。

管理対象となる特徴抽出部１２０１で抽出された顔特徴情報は、ｍ×ｎの特徴量ベクトルや、部分空間やＫＬ展開を行う直前の相関行列でもよい。さらに、特徴抽出部１２０１で抽出された顔特徴情報を、画像入力処理部１０４により入力された画像データと共に、管理することで個人の検索や検索の表示が容易となる。

認識部１２０２は、特徴抽出部１２０１により抽出された顔特徴情報と、人物情報記憶部１２０３に記憶された顔特徴情報とに基づいて、画像入力処理部１０４により入力された画像データに含まれていた人物が人物情報記憶部１２０３に記憶されている人物ＩＤで識別される人物であるか否かを認識する。本実施形態にかかる認識部１２０２は、特徴抽出部１２０１により抽出された顔特徴情報に類似する、人物情報記憶部１２０３に記憶された顔特徴情報を抽出し、抽出した顔特徴情報で示された人物を、防犯カメラ１５０で撮影された候補者として認識する。

本実施形態は、特徴抽出部１２０１により抽出された特徴情報を用いて認証を行う例について説明するが、当該特徴情報は、人物特徴点検出部１０６により検出された特徴点に基づいて補正等を行った結果生成された情報である。本実施形態は、特徴点に基づいて生成された特徴情報による認証に制限するものではなく、特徴点をそのまま用いて認証を行っても良い。

本実施形態にかかる認識部１２０２は、特徴抽出部１２０１で抽出された顔特徴情報と、人物情報記憶部１２０３に記憶された顔特徴情報との間の類似性を算出し、類似性が高い顔特徴情報の順に、当該顔特徴情報で表された人物に関する情報を出力部１２０４に出力する。

認識部１２０２は、処理結果としては類似性の高い顔識別情報から順に、人物情報記憶部１２０３で当該顔識別情報と対応付けられた人物ＩＤや算出された類似性を示す情報を出力する。その他に当該人物ＩＤと対応付けられている人物に関する様々な情報も出力しても良い。

また、認識部１２０２は、特徴抽出部１２０１が抽出した顔特徴情報と対応付けて、人物特徴点検出部１０６が検出に用いた顔の特徴点検出手法を、特徴抽出部１２０１を介して人物特徴点検出部１０６から取得する。そして、認識部１２０２は、取得した顔の特徴点検出手法を識別する情報を、当該手法で検出された顔特徴情報と対応付けて出力部１２０４に出力する。

本実施形態にかかる類似性を示す情報は、顔特徴情報として管理されている部分空間間の類似度とする。類似度の算出方法は、部分空間法や複合類似度法などの算出手法を用いてよい。これら算出手法では、人物情報記憶部１２０３に記憶された顔特徴情報、及び特徴抽出部１２０１により抽出された顔特徴情報が、部分空間として表現される。そして、本実施形態では２つの部分空間のなす「角度」を類似度として定義する。そして、認識部１２０２は、これら２つの部分空間に基づいて相関行列Ｃinを求めた後、Ｃin＝ΦinΛinΦinＴと対角化し、固有ベクトルΦinを求める。その後、認識部１２０２は、２つのΦin，ΦinＴで表される部分空間の部分空間間類似度（０．０〜１．０）を求め、これを認識するための類似度とする。なお、具体的な算出方法については、例えば、上述した文献（エルッキ・オヤ著、小川英光、佐藤誠訳、「パタン認識と部分空間法」、産業図書、1986年）に示された手法を用いて良い。また、あらかじめ同一人物と分かる複数の顔画像をまとめて部分空間への射影によって本人であるか否かを識別することで精度を向上させてもよい。また、高速に検索するにはＴＲＥＥ構造を利用した検索方法なども利用してもよい。

出力部１２０４は、認識部１２０２により行われた認証結果、および補正部１０７により補正された画像データを画面に表示する。出力部１２０４は、認識部１２０２によって検索された結果のうち、指定した条件と一致するものをリアルタイムに表示するリアルタイム顔検索結果表示を行っても良い。また、出力部１２０４は、認識部１２０２によって検索された結果を検索履歴として保存しておき、後から条件を指定することで該当する検索履歴だけ表示するオフライン顔検索結果表示を行っても良い。さらに、両方を組み込んだ表示を行っても良い。

本実施形態では、履歴画像や検索結果を表示するにあたり、補正部１０７で補正された画像データを表示することで、第１の実施形態と同様に、利用者が目視確認が容易な画像データを表示することが可能となる。

以上の実施形態により、防犯カメラ１５０などで撮影された画像データの中から、検出した人物画像を利用して特定の人物であるか判定、または類似した顔を検索する際に、被写体の状態にあわせて人間の目視確認しやすい画像データの生成、および認識処理に必要な画像補正を効率的に行うことができる。

上述した実施形態においては、複数の画像データを用いて補正処理を行った人物画像データを生成することで、目視確認又は認証処理しやすい画像データの生成が可能となる。

図１３は、上述した実施形態にかかる人物画像処理装置１００、１２００のハードウェア構成を示した図である。図１３に示すように、人物画像処理装置１００、１２００は、ＣＰＵ１３０１と、ＲＯＭ（Read Only Memory）１３０２と、ＲＡＭ１３０３と、通信Ｉ／Ｆ１３０４と、ＨＤＤ１３０５と、表示装置１３０６と、キーボードやマウスなどの入力デバイス１３０７と、これらを接続するバス１３０８と、を備えており、通常のコンピュータを利用したハードウェア構成となっている。

本実施形態の人物画像処理装置１００、１２００で実行される人物画像処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、本実施形態の人物画像処理装置１００、１２００で実行される人物画像処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の人物画像処理装置１００、１２００で実行される人物画像処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

また、本実施形態の人物画像処理プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

本実施形態の人物画像処理装置１００、１２００で実行される人物画像処理プログラムは、上述した各構成を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ１３０１が上記記憶媒体から顔認識プログラムを読み出して実行することにより上記各構成がＲＡＭ１３０３上にロードされ、上記各構成がＲＡＭ１３０３上に生成される。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００、１２００…人物画像処理装置、１０１…顔向き用判定基準記憶部、１０２…隠蔽物用判定基準記憶部、１０３…特徴情報記憶部、１０４…画像入力処理部、１０５…人物検出部、１０６…人物特徴点検出部、１０７…補正部、１０８…出力部、１１１…信頼度判定部、１５０…防犯カメラ、１２０１…特徴抽出部、１２０２…認識部、１２０３…人物情報記憶部、１２０４…出力部

Claims (13)

1. 撮像手段により撮像された時刻が異なる画像データを複数入力処理する入力処理手段と、
   撮影された時刻が異なる複数の前記画像データの各々から、同一の人物が表示されている人物表示領域を抽出する抽出手段と、
   前記複数の画像データの各々から抽出された前記人物表示領域から、人物の部位の特徴が示された特徴点を検出するとともに、当該特徴点に前記部位が表示されている信頼度を取得する特徴検出手段と、
   前記入力処理手段により入力処理された前記人物表示領域を補正する際、各人物表示領域に含まれている前記特徴点の前記信頼度に基づいた重み付けを行う補正手段と、
   を備える人物画像処理装置。
2. 前記補正手段は、前記複数の画像データの前記人物表示領域に含まれる特徴点間を、前記信頼度に基づいて対応付け、当該対応付けを用いて、前記同一の人物が示された人物画像データを生成する、
   請求項１に記載の人物画像処理装置。
3. 前記画像データに表示されている人物の顔の向きに基づいて、人物の部位が画像データに表示されているか否かを判定する基準を示す第１の基準情報を記憶する第１の基準記憶手段を、さらに備え、
   前記特徴検出手段は、前記人物表示領域に含まれている人物の顔の向きを検出した後、当該顔の向きと、前記第１の基準情報とに基づいた、前記特徴点の前記信頼度を取得する、
   請求項２に記載の人物画像処理装置。
4. 画像データに表示されている人物の顔の一部が隠蔽されているか否かを判定する基準を示す第２の基準情報を記憶する第２の基準記憶手段を、さらに備え、
   前記特徴検出手段は、前記人物表示領域に対して、前記第２の基準情報に基づいて顔の一部が隠蔽されているか否かを判定し、当該判定結果に基づいた前記特徴点の前記信頼度を取得する、
   請求項２又は３に記載の人物画像処理装置。
5. 前記補正手段は、さらに、複数の前記画像データの前記人物表示領域から、前記同一の人物が示された人物画像データを生成する際に、隠蔽されていると判定された人物の顔の一部の領域について、統計的に学習された輝度パタンを利用した補間画像で、隠蔽されていると判定された領域を置き換える、
   請求項４に記載の人物画像処理装置。
6. 前記補正手段は、複数の前記画像データから抽出された複数の前記人物表示領域の解像度が異なる場合に、各人物表示領域に対して縮小又は拡大を行い、解像度を一致させてから合成する、
   請求項２乃至５のいずれか１つに記載の人物画像処理装置。
7. 前記補正手段は、複数の前記画像データの前記人物表示領域の解像度を一致させてから合成する際に、前記人物表示領域の解像度を重み付けとして用いる、
   請求項６に記載の人物画像処理装置。
8. 前記補正手段は、人物画像データを合成する際に、複数の前記人物表示領域に含まれる特徴点のうち、同じ部位を示す特徴点間を対応付けた上で、予め定められた人物の３次元的な形状モデルに合わせて合成した後、当該三次元的な形状モデルに従って表示される人物の向きを補正する、
   請求項２乃至７のいずれか１つに記載の人物画像処理装置。
9. 前記補正手段は、人物画像データを合成する際に、複数の前記人物表示領域を用いて鮮鋭化処理、又はノイズの低減処理を行う、
   請求項２乃至８のいずれか１つに記載の人物画像処理装置。
10. 前記補正手段は、複数の前記画像データを用いた高解像度化処理、又は複数の前記画像データを用いたコントラスト補正処理を行う、
    請求項１乃至９のいずれか１つに記載の人物画像処理装置。
11. 人物の識別情報と、当該人物の部位の特徴が示された特徴点に関する情報と、対応付けて記憶する人物記憶手段と、
    前記人物記憶手段に記憶された前記特徴点に関する情報と、前記特徴検出手段により検出された前記特徴点と、に基づいて、前記人物記憶手段で記憶されている前記識別情報で識別される人物であるか否かを認識する認識手段と、
    をさらに備える請求項１乃至１０のいずれか１つに記載の人物画像処理装置。
12. 入力処理手段が、撮像手段により撮像された時刻が異なる画像データを複数入力処理する入力処理ステップと、
    抽出手段が、撮影された時刻が異なる複数の前記画像データの各々から、同一の人物が表示されている人物表示領域を抽出する抽出ステップと、
    特徴検出手段が、前記複数の画像データの各々から抽出された前記人物表示領域から、人物の部位の特徴が示された特徴点を検出するとともに、当該特徴点に前記部位が表示されている信頼度を取得する特徴検出ステップと、
    補正手段が、前記入力処理ステップにより入力処理された前記人物表示領域を補正する際、各人物表示領域に含まれている前記特徴点の前記信頼度に基づいた重み付けを行う補正ステップと、
    を含む人物画像処理方法。
13. 前記補正ステップは、前記複数の画像データの前記人物表示領域に含まれる特徴点間を、前記信頼度に基づいて対応付け、当該対応付けを用いて、前記同一の人物が示された人物画像データを生成する、
    請求項１２に記載の人物画像処理方法。

Images