JP2023040201A - 顔認識方法、装置、機器及び記憶媒体 - Google Patents

Abstract

【課題】遮蔽物有りと遮蔽物無しの顔の認識精度を両立させる顔認識方法、装置、機器及び記憶媒体を提供する。【解決手段】方法は、認識待ち画像を取得し、認識待ち画像の画像特徴を抽出し、各参照画像に対応する、遮蔽物を有しない第１の画像と、遮蔽物を設置した後の第２の画像との重み付け融合特徴を取得し、認識待ち画像の画像特徴と融合特徴との類似性を確定して、類似性確定結果を得て、得られた類似性確定結果に基づいて、認識待ち画像の顔認識結果を確定する。【選択図】図２

Description

本開示は、画像処理技術分野に関し、特に顔認識分野に関し、具体的には、顔認識方法、装置、機器及び記憶媒体に関する。

遮蔽物のある顔、例えばマスクを着けている顔に対して認識を行う時、一般的には、マスクを着けている認識待ち画像と、データベースにおける参照画像との特徴照合を行うことによって、認識待ち画像の種別を判定し、即ち、認識待ち画像における顔が、どの参照画像における顔と同一人物に属するかを判定する。

しかし、データベースにおける参照画像が遮蔽物を有しない画像であるため、遮蔽物を有する認識待ち画像と、遮蔽物を有しない参照画像との間は、特徴が大きく異なっている。

本開示は、顔認識方法、装置、機器及び記憶媒体を提供する。
本開示の一態様によれば、顔認識方法を提供する。この方法は、
認識待ち画像を取得することと、
前記認識待ち画像の画像特徴を抽出することと、
各参照画像に対応する融合特徴を取得し、ここで、それぞれの参照画像は、データベースにおける遮蔽物を有しない顔画像であり、それぞれの参照画像に対応する融合特徴は、該参照画像と、該参照画像に対応する強調画像とを画像特徴融合して得られた特徴であり、該参照画像に対応する強調画像は、該参照画像に対して遮蔽物を設置した後の画像であることと、
前記認識待ち画像の画像特徴と各参照画像に対応する融合特徴との類似性を確定して、類似性確定結果を得ることと、
得られた類似性確定結果に基づいて前記認識待ち画像の顔認識結果を確定することとを含む。

本開示の別の態様によれば、顔認識装置を提供する。この装置は、
認識待ち画像を取得するための取得モジュールと、
前記認識待ち画像の画像特徴を抽出するための抽出モジュールと、
各参照画像に対応する融合特徴を取得するための融合モジュールであって、それぞれの参照画像は、データベースにおける遮蔽物を有しない顔画像であり、それぞれの参照画像に対応する融合特徴は、該参照画像と、該参照画像に対応する強調画像とを画像特徴融合して得られた特徴であり、該参照画像に対応する強調画像は、該参照画像に対して遮蔽物を設置した後の画像である融合モジュールと、
前記認識待ち画像の画像特徴と各参照画像に対応する融合特徴との類似性を確定して、類似性確定結果を得るための第１の確定モジュールと、
得られた類似性確定結果に基づいて前記認識待ち画像の顔認識結果を確定するための第２の確定モジュールとを含む。

本開示の一態様によれば、電子機器を提供する。該電子機器は、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに通信接続されたメモリとを含み、ここで、
前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶されており、前記命令は前記少なくとも１つのプロセッサによって実行されることにより、前記少なくとも１つのプロセッサに上述の顔認識方法を実行させることができる。

本開示の別の態様によれば、コンピュータ命令が記憶された非一時的コンピュータ可読記憶媒体を提供し、コンピュータ命令はコンピュータに上述の顔認識方法を実行させるために用いられる。

本開示の別の態様によれば、コンピュータプログラムを提供する。このコンピュータプログラムはプロセッサによって実行されると、上述の顔認識方法を実現する。
理解すべきこととして、この部分に説明される内容は、本開示の実施例の要点又は重要な特徴を識別することを意図しておらず、本開示の保護範囲を限定するためのものではない。本開示の他の特徴は、以下の明細書によって容易に理解される。

図面は、本方案をよりよく理解するためのものであり、本開示を限定するものではない。ここで、
関連技術における、遮蔽物のある顔を認識する原理図である。 本開示の実施例による顔認識方法のフローチャートである。 本開示の実施例による顔認識方法の原理図である。 本開示の実施例による顔認識装置の構造図である。 本発明の実施例による顔認識方法を実現するための電子機器のブロック図である。

以下、図面を結び付けながら本開示の例示的な実施例を説明し、理解を容易にするために、その中には本開示の実施例の様々な詳細が含まれているが、それらは単なる例示的なものと見なされるべきである。したがって、当業者は本開示の範囲及び精神から逸脱することなく、本明細書で説明される実施例に対して様々な変更及び修正を行うことができることを理解されたい。同様に、明確及び簡潔にするために、以下の説明では、周知の機能及び構造についての説明を省略する。

遮蔽物を有する顔認識シーンにおいて、図１に示すように、遮蔽物がマスクであることを例にして、マスクを有する認識待ち画像とデータベースにおける参照画像の特徴をそれぞれ抽出し、マスクを有する認識待ち画像の特徴とデータベースにおける参照画像の特徴とを照合することによって、この認識待ち画像の種別を判定し、即ち顔認識結果を得る。データベースにおける参照画像がマスクを有しない顔の画像であり、マスクを有する認識待ち画像と参照画像の特徴が大きく異なっているため、このような方法は、遮蔽物有りと遮蔽物無しの顔の認識精度を両立させることができない。無論、遮蔽物は、マスクの他に、サングラスや帽子など、顔認識に影響を与える遮蔽物であってもよい。

そして、関連技術において、上述の問題に対し、解決手段としては。画像特徴抽出器をトレーニングする過程において、遮蔽物を有しない参照画像をランダムに選択し、選択された参照画像に対して画像強調を行い、即ち選択された参照画像に遮蔽物を加え、そして画像強調処理された参照画像と強調処理されていない参照画像を利用してトレーニングすることによって、遮蔽物有りと遮蔽物無しの画像間の特徴の違いを引き寄せる。しかし、関連技術によるこの方法は、画像特徴の抽出精度をさらに向上させることができるだけであり、顔認識過程において、遮蔽物を有する認識待ち画像と遮蔽物を有しない画像との特徴の違いは、実際には効果的に縮小されていない。

上述の内容から分かるように、遮蔽物有りと遮蔽物無しの顔の認識精度をどのように両立させるかは、早急な解決が待たれる問題である。
上述の問題を解決するために、本開示は、顔認識方法、装置、機器及び記憶媒体を提供する。

以下は、まず、本開示の実施例による顔認識方法について説明する。
本開示の実施例による顔認識方法は、電子機器に用いられる。実際の応用において、該電子機器は、サーバ又は端末機器であってもよい。本開示の実施例による顔認識方法は、
認識待ち画像を取得するステップと、
前記認識待ち画像の画像特徴を抽出するステップと、
各参照画像に対応する融合特徴を取得するステップであって、それぞれの参照画像は、データベースにおける遮蔽物を有しない顔画像であり、それぞれの参照画像に対応する融合特徴は、該参照画像と、該参照画像に対応する強調画像とを画像特徴融合して得られた特徴であり、該参照画像に対応する強調画像は、該参照画像に対して遮蔽物を設置した後の画像であるステップと、
前記認識待ち画像の画像特徴と各参照画像に対応する融合特徴との類似性を確定して、類似性確定結果を得るステップと、
得られた類似性確定結果に基づいて前記認識待ち画像の顔認識結果を確定するステップとを含んでもよい。

本開示による方案では、顔認識する過程において、認識待ち画像の画像特徴と参照画像に対応する融合特徴とを利用して類似性分析を行い、これにより、類似性分析結果に基づいて、認識待ち画像の顔認識結果を確定する。参照画像に対応する融合特徴においては、遮蔽物を有しない参照画像の画像特徴が保持されるとともに、遮蔽物を設置した強調画像の画像特徴も存在することにより、遮蔽物を有する認識待ち画像にとって、認識待ち画像と参照画像との遮蔽物に関する特徴の違いを縮小することができる一方、遮蔽物を有しない認識待ち画像にとって、認識待ち画像と参照画像との遮蔽物の未設置に関する特徴の共通性を確保することができる。そのため、本方案によれば、遮蔽物有りと遮蔽物無しの顔の認識精度を両立させることができる。

以下、図面を結び付けながら本開示による顔認識方法について説明する。
図２に示すように、本開示の実施例による顔認識方法は、以下のステップを含んでもよい。

Ｓ２０１、認識待ち画像を取得する。
ここで、認識待ち画像は、顔認識の需要があるいずれか１つの画像であってよく、かつ、認識待ち画像は、遮蔽物を有する顔画像であってもよく、遮蔽物を有しない顔画像であってもよい。例示的に、遮蔽物は、マスク、帽子又はメガネなどを含んでもよい。

理解できるように、認識待ち画像を取得する形態は、複数存在してもよい。
例示的に、一実現形態では、認識待ち画像を取得することは、画像収集機器からアップロードされた認識待ち画像を取得することを含んでもよい。この場合、認識待ち画像は、画像収集機器によって収集された顔画像であり、かつ、画像収集機器は、認識待ち画像を収集した後、すぐに該電子機器にアップロードしてもよく、無論、定期的に該電子機器にアップロードしてもよいが、これらはいずれも合理的である。例示的に、別の実現形態では、認識待ち画像を取得することは、該電子機器自体の画像収集モジュールで収集した顔画像を取得して認識待ち画像とすることを含んでもよい。

例示的に、別の実現形態では、認識待ち画像を取得することは、ユーザが指定の画像アップロードインターフェースを介してアップロードした顔画像を取得して認識待ち画像とすることを含んでもよい。

指摘すべきこととして、上述した、認識待ち画像を取得する実現形態は、例に過ぎず、本開示の実施例に対する限定を構成すべきではない。
Ｓ２０２、前記認識待ち画像の画像特徴を抽出する。

理解できるように、画像特徴は、ある種のオブジェクトを別の種のオブジェクトと区別する相応な特色や特性、又はこれらの特色や特性の集合である。それぞれの画像はいずれも、他の種の画像と区別できるその自身の特徴を有する。一般的には、ある種のオブジェクトの複数又は複数種類の特性を組み合わせて、この種のオブジェクトを代表する特徴ベクトルを形成する。顔認識は、実際には、分類する過程である。ある画像が属する種別を認識するために、それを他の異なる種別の画像と区別する必要がある。そのため、抽出した特徴によって区別することができる。上述の説明に基づき、顔認識を実現するために、本開示の実施例においては、認識待ち画像を取得した後、前記認識待ち画像の画像特徴を抽出することができる。

ここで、前記認識待ち画像の画像特徴を抽出する実現形態は、複数存在してもよい。例示的に、一実現形態では、電子機器は、予めトレーニングした画像特徴抽出器を利用して、認識待ち画像の画像特徴を抽出することができる。例示的に、画像特徴抽出器は画像特徴抽出ネットワークを含んでもよく、本開示は、画像特徴抽出器のトレーニング過程を限定しない。

例示的に、別の実現形態では、電子機器は、ローカルバイナリパターン（ｌｏｃａｌ ｂｉｎａｒｙ ｐａｔｔｅｒｎｓ、ＬＢＰ）の方法や、テクスチャヒストグラムの方法などによって認識待ち画像の画像特徴を得ることができる。

Ｓ２０３、各参照画像に対応する融合特徴を取得する。ここで、それぞれの参照画像は、データベースにおける遮蔽物を有しない顔画像であり、それぞれの参照画像に対応する融合特徴は、該参照画像と、該参照画像に対応する強調画像とを画像特徴融合して得られた特徴であり、該参照画像に対応する強調画像は、該参照画像に対して遮蔽物を設置した後の画像である。

ここで、参照画像は、遮蔽物を有しない顔画像であり、予めデータベースに記憶され、それぞれの参照画像の種別は、該参照画像における顔が属する人物に対応する。
顔認識シーンにおいて、認識待ち画像は、遮蔽物を有する可能性があり、遮蔽物を有しない可能性もある。遮蔽物有りと遮蔽物無しの顔の認識精度を両立させるために、本開示による方案は、直接に各参照画像の画像特徴を取得するというわけではなく、各参照画像に対応する融合特徴を取得し、その後、各参照画像に対応する融合特徴を利用して類似性分析を行う。理解できるように、照合可能性を確保するために、各参照画像に対応する融合特徴の表現形式と、認識待ち画像の画像特徴の表現形式とは同じである。

また、本実施例で言及したデータベースにおける参照ピクチャは、実際の使用シーンに関連し、かつ、データベースにおける参照ピクチャの収集、記憶、使用、加工、伝送、提供及び開示などの処理は、いずれも関連法律法規の規定に準拠し、かつ公序良俗に反するものではない。

説明すべきこととして、各参照画像に対応する融合特徴を取得する実現形態は、複数存在してもよい。
例示的に、一実現形態では、各参照画像に対応する融合画像を予め構築することができ、このように、顔認識する時、予め構築された各参照画像に対応する融合特徴を直接に取得することができる。このような実現形態によって、高い認識効率を有することができる。

無論、他の実現形態では、各参照画像に対応する融合特徴は、認識過程において構築されてもよい。方案の明瞭化及び構成の明確化のために、前記の、各参照画像に対応する融合特徴を取得する他の実現形態については、後で他の実施例を結び付けながら説明する。また、説明すべきこととして、各参照画像に対応する融合画像を予め構築することの具体的な実現形態は、他の実施例に記載の、参照画像に対応する融合特徴をどのように構築するかについての実現形態を参照してよい。

Ｓ２０４、前記認識待ち画像の画像特徴と各参照画像に対応する融合特徴との類似性を確定して、類似性確定結果を得る。
本実施例において、参照画像に対応する融合特徴を利用して類似性分析を行う。融合特徴においては、遮蔽物を有しない参照画像の画像特性が保持されるとともに、遮蔽物を有する強調画像の特性も保持されることにより、遮蔽物を有する認識待ち画像にとって、認識待ち画像と参照画像との遮蔽物に関する特徴の違いを縮小することができる一方、遮蔽物を有しない認識待ち画像にとって、参照画像と認識待ち画像との遮蔽物未設置に関する特徴の共通性を確保することができる。

ここで、類似性確定結果は、それぞれの参照画像の画像特徴と認識待ち画像の画像特徴との類似性、即ちそれぞれの参照画像と認識待ち画像との顔の類似性を含む。かつ、類似性は、類似度又は特徴間の距離によって表されてもよく、これらはいずれも合理的である。

例示的に、一実現形態において、認識待ち画像の画像特徴と各参照画像に対応する融合特徴は、ベクトルの形式によって表され、この場合、類似性分析を行う時、認識待ち画像の画像特徴とそれぞれの参照画像に対応する融合特徴との距離を算出することができ、算出した距離に基づいて類似性確定結果を確定することができる。例示的に、特徴間の距離は、ユークリッド距離やコサイン距離などを含んでもよい。

Ｓ２０５、得られた類似性確定結果に基づいて前記認識待ち画像の顔認識結果を確定する。
類似性は類似度によって表される場合、類似性確定結果を確定した後、類似度が所定の類似度閾値より大きい融合特徴から、類似度が最も高いターゲット融合特徴を確定することができる。ターゲット融合特徴に対応する参照画像の人物情報を、認識待ち画像の顔認識結果とする。例示的に、所定の類似度閾値は、９０％、９２％、９５％などであってもよい。

類似性は距離によって表される場合、類似性確定結果を確定した後、距離が所定の距離閾値より小さい融合特徴から、距離が最も短いターゲット融合特徴を確定することができる。ターゲット融合特徴に対応する参照画像の人物情報を、認識待ち画像の顔認識結果とする。

本実施例では、顔認識する過程において、認識待ち画像の画像特徴と参照画像に対応する融合特徴とを利用して類似性分析を行い、類似性分析結果に基づいて、認識待ち画像の顔認識結果を確定する。参照画像に対応する融合特徴においては、遮蔽物を有しない参照画像の画像特徴が保持されるとともに、遮蔽物を設置した強調画像の画像特徴も存在することにより、遮蔽物を有する認識待ち画像にとって、認識待ち画像と参照画像との遮蔽物に関する特徴の違いを縮小することができる一方、遮蔽物を有しない認識待ち画像にとって、認識待ち画像と参照画像との遮蔽物未設置に関する特徴の共通性を確保することができる。そのため、本方案によれば、遮蔽物有りと遮蔽物無しの顔の認識精度を両立させることができる。

任意選択的に、本開示の別の実施例において、前記の、各参照画像に対応する融合特徴を取得することは、以下のＡ１～Ａ３を含んでもよい。
ステップＡ１、各参照画像のそれぞれの参照画像に対して、該参照画像の第１の画像特徴を取得する。

即ち、遮蔽物を有しない参照画像の画像特徴を取得して第１の画像特徴とする。ここで、該参照画像の第１の画像特徴は、予め抽出したものであってもよく、顔認識過程において抽出したものであってもよく、これらはいずれも合理的である。そして、該参照画像の第１の画像特徴の抽出形態は、上述した、認識待ち画像の画像特徴の抽出形態を参照してよく、ここでは説明を省略する。

ステップＡ２、該参照画像に対応する強調画像の第２の画像特徴を取得する。
ここで、強調画像は、実際のシーンにおける遮蔽物の種別、例えばマスク、サングラスや帽子などに基づいて、該参照画像に遮蔽物を設置して得られた画像である。

該参照画像に対応する強調画像の第２の画像特徴は、予め抽出したものであってもよく、顔認識過程において抽出したものであってもよく、これらはいずれも合理的である。
該参照画像に対応する強調画像の第２の画像が顔認識過程において抽出したものであれば、該参照画像に対応する強調画像の第２の画像特徴を取得することは、
該参照画像に対応する強調画像を生成するステップと、
該参照画像に対応する強調画像の第２の画像特徴を抽出するステップとを含む。

該参照画像に対応する強調画像の画像特徴を取得するために、該参照画像を取得した後、実際のシーンにおける遮蔽物の種別に基づいて、該参照画像に遮蔽物を設置することによって、該参照画像に対応する強調画像を生成することができる。具体的な生成過程は、後文におけるステップＣ１～Ｃ３を参照してよい。

また、該参照画像に対応する強調画像の第２の画像特徴の抽出形態は、上述した、認識待ち画像の画像特徴の抽出形態を参照してよく、ここでは説明を省略する。
ステップＡ３、所定の重み比率にしたがって、前記第１の画像特徴と前記第２の画像特徴に対して重み付け融合を行って、該参照画像に対応する融合特徴を得る。

ここで、所定の重み比率は、実際のアプリケーションシーンの状況に基づいて設定してよい。第１の画像特徴と第２の画像特徴を同一次元のベクトルによって表す時、この２つのベクトルのそれぞれに対応する次元の値に対して重み付け加算を行い、例えば、第１の画像特徴と第２の画像特徴の重みをいずれも０．５に設定し、それぞれの対応する次元の値を０．５倍してから加算することによって、該参照画像に対応する融合特徴を得ることができる。具体的な設定方法は、後文におけるステップＢ１～Ｂ２を参照してよい。

本実施例では、顔認識過程において、所定の重み比率にしたがって、各第１の画像特徴と相応な第２の画像特徴に対して重み付け融合を行うことによって、各参照画像に対応する融合特徴を得る。このように、有効な融合特徴を得ることができ、かつ融合特徴を記憶するために記憶スペースを長時間占有する必要がない。

任意選択的に、本開示の別の実施例では、異なるアプリケーションシーンを満たすために、前記の、所定の重み比率にしたがって、前記第１の画像特徴と前記第２の画像特徴に対して重み付け融合を行って、該参照画像に対応する融合特徴を得ることの前に、顔認識方法は、ステップＢ１～Ｂ２をさらに含んでもよい。

ステップＢ１、前記認識待ち画像のターゲット収集シーンを確定する。ここで、前記ターゲット収集シーンは各収集シーンのうちの１シーンであり、各収集シーンは前記遮蔽物の着用状況に基づいて区分されるシーンである。

認識待ち画像のターゲット収集シーンは、遮蔽物の着用状況に基づいて区分されてもよい。例示的に、各収集シーンは、遮蔽物を着けているシーンと遮蔽物を着けていないシーンとを含んでもよい。遮蔽物を着けているシーンで、大多数の人物が遮蔽物を着けているが、遮蔽物を着けていないシーンで、少数の人物のみが遮蔽物を着けている。サングラスを例にすると、光線が強いシーンで、サングラスをかける人の割合がより高いが、光線が弱いシーンではその逆となる。画像収集シーンの違いによって、遮蔽物を有するか否かの可能性の高低が異なっているため、認識待ち画像のターゲット収集シーンに基づいて、第１の画像特徴と第２の画像特徴との重み比率を設定することによって、融合特徴において、認識待ち画像の実際の特徴とマッチングする特徴内容をより多く保持することができる。

ステップＢ２、予め設定された、各収集シーンと重み比率に関する対応関係から、前記ターゲット収集シーンに対応するターゲット重み比率を確定する。ここで、それぞれの収集シーンに対応する重み比率は、この収集シーンでの、それぞれの参照画像の画像特徴と該参照画像の強調画像の画像特徴との重み比率を表すために用いられる。

ターゲット収集シーンを確定した後、この対応関係に基づいて、ターゲット収集シーンとマッチングするターゲット重み比率を確定することができる。ここで、収集シーンの違いによって重み比率が異なっており、かつ、収集シーンにおいて、割合が多い人物の種別に対応する画像の画像特徴の重みはより高い。

例示的に、各収集シーンと重み比率との対応関係は以下を含んでもよい。
遮蔽物を着けているシーンに対して、第１の重み比率が対応している。ここで、第１の重み比率において、強調画像の第２の画像特徴の重みは、参照画像の第１の画像特徴の重みよりも高く、例えば、強調画像の第２の画像特徴の重みは０．９で、参照画像の第１の画像特徴の重みは０．１であるか、又は、強調画像の第２の画像特徴の重みは０．８で、参照画像の第１の画像特徴の重みは０．２である。

遮蔽物を着けていないシーンに対して、第２の重み比率が対応している。ここで、第２の重み比率において、強調画像の第２の画像特徴の重みは、参照画像の第１の画像特徴の重みよりも低く、例えば、強調画像の第２の画像特徴の重みは０．１で、参照画像の第１の画像特徴の重みは０．９であるか、又は、強調画像の第２の画像特徴の重みは０．２で、参照画像の第１の画像特徴の重みは０．８である。

このように、重み比率を設定することによって、より多くの参照画像の特徴又はより多くの強調画像の特徴を保持する。それによって、本開示による顔認識方法を様々な収集シーンにより良く適応させ、認識精度を向上させる。

それに応じて、ステップＡ３、前記の、所定の重み比率にしたがって、前記第１の画像特徴と前記第２の画像特徴に対して重み付け融合を行って、該参照画像に対応する融合特徴を得ることは、
前記ターゲット重み比率にしたがって、前記第１の画像特徴と前記第２の画像特徴に対して重み付け融合を行って、該参照画像に対応する融合特徴を得ることを含んでもよい。

本実施例において、実際の収集シーンに基づいて所定の重み比率を設定することによって、本開示による顔認識方法を様々な収集シーンにより良く適応させ、認識精度をさらに向上させる。

任意選択的に、本開示の別の実施例において、前記の、該参照画像に対応する強調画像を生成することは、以下のステップＣ１～Ｃ３を含んでもよい。
ステップＣ１、該参照画像における、前記遮蔽物に対する配置待ち領域を位置決めする。

つまり、遮蔽物の種類、及び現実の状況下で、この遮蔽物が人の顔に占める位置に基づいて、該参照画像においてこの遮蔽物に対して配置待ち領域を位置決めする。例えば、遮蔽物がマスクであれば、この画像における人の口全体と鼻孔が位置する領域を含む顔の下半分を、マスクの配置待ち領域とする。

ステップＣ２、前記遮蔽物を含む画像である指定画像における、前記遮蔽物に関する画素内容を確定する。
一実現形態では、遮蔽物を含む画像を予め複数収集してデータベースに記憶し、使用する必要がある時、遮蔽物を含む画像を選択して指定画像とし、この指定画像におけるこの遮蔽物に関する画素内容を確定することができる。

ステップＣ３、遮蔽物に関する画素内容を利用し、該参照画像における前記配置待ち領域内の画素内容に対して置き換えを行って、該参照画像に対応する強調画像を得る。
理解できるように、上述のステップＣ１～Ｃ３の過程は、予めトレーニングされた人工知能モデルによって実行することができ、それによって生成効率を向上させる。具体的には、人工知能モデルによって、まず、該参照画像における前記遮蔽物に対する配置待ち領域を位置決めし、さらに遮蔽物を含む画像を選択して指定画像とし、かつこの指定画像における前記遮蔽物に関する画素内容を抽出し、最後に該参照画像における前記配置待ち領域内の画素内容に対して置き換えを行って、該参照画像に対応する強調画像を得る。

本実施例において、まず、該参照画像における、前記遮蔽物に対する配置待ち領域を位置決めし、前記遮蔽物を含む画像である指定画像における、前記遮蔽物に関する画素内容を確定し、さらに、遮蔽物に関する画素内容を利用し、該参照画像における前記配置待ち領域内の画素内容に対して置き換えを行って、該参照画像に対応する強調画像を得る。このことから分かるように、本方案において、画素内容置き換えの形態によって、参照画像に対応する強調画像を迅速に得て後続の特徴融合に用いることができる。

理解しやすくするために、以下は、図３に示される原理図を結び付けて、マスクを例にし、本開示の実施例による顔認識方法について説明する。
図３に示すように、まず、認識待ち画像の特徴を抽出し、この認識待ち画像は、マスクを着けている顔画像であってもよく、マスクを着けていない顔画像であってもよい。

それとともに、それぞれの参照画像に対してアスク強調処理を行い、即ちマスクの画素を用いて対応する位置の画素を置き換え、かつ参照画像とマスク強調画像の特徴を抽出する。

そして、収集シーンの実際の状況に基づいて重みを設定し、参照画像とマスク強調画像の特徴に対して特徴融合を行って、各参照画像の融合特徴を得る。
最後に、各参照画像の融合特徴と認識待ち画像の特徴との類似性確定結果を確定し、この類似性確定結果に基づいてこの認識待ち画像の顔認識結果を得る。

このことから分かるように、本実施例において、各参照画像の融合特徴と認識待ち画像の特徴との類似性確定結果を確定し、融合特徴には、遮蔽物を有しない参照画像の画像特徴が保持されているため、本方案によれば、各種の画像、即ち遮蔽物設置と遮蔽物未設置の認識待ち画像に対して、いずれも高い認識正確度を確保することができる。

指摘すべきこととして、本開示の技術方案において、関連するユーザ個人情報の収集、記憶、使用、加工、伝送、提供及び開示などの処理は、いずれも関連法律法規の規定に準拠し、かつ公序良俗に反するものではない。

本開示の別の態様によれば、顔認識装置を提供する。図４に示すように、この装置は、
認識待ち画像を取得するための取得モジュール４１０と、
前記認識待ち画像の画像特徴を抽出するための抽出モジュール４２０と、
各参照画像に対応する融合特徴を取得するための融合モジュール４３０であって、それぞれの参照画像は、データベースにおける遮蔽物を有しない顔画像であり、それぞれの参照画像に対応する融合特徴は、該参照画像と、該参照画像に対応する強調画像とを画像特徴融合して得られた特徴であり、該参照画像に対応する強調画像は、該参照画像に対して遮蔽物を設置した後の画像である融合モジュール４３０と、
前記認識待ち画像の画像特徴と各参照画像に対応する融合特徴との類似性を確定して、類似性確定結果を得るための第１の確定モジュール４４０と、
得られた類似性確定結果に基づいて前記認識待ち画像の顔認識結果を確定するための第２の確定モジュール４５０とを含む。

任意選択的に、融合モジュール４３０は、
各参照画像のそれぞれの参照画像に対して、該参照画像の第１の画像特徴を取得するための第１の取得サブモジュールと、
該参照画像に対応する強調画像の第２の画像特徴を取得するための第２の取得サブモジュールと、
所定の重み比率にしたがって、前記第１の画像特徴と前記第２の画像特徴に対して重み付け融合を行って、該参照画像に対応する融合特徴を得るための重み付けサブモジュールとを含む。

任意選択的に、前記第２の取得サブモジュールは、
該参照画像に対応する強調画像を生成するための生成ユニットと、
該参照画像に対応する強調画像の第２の画像特徴を抽出するための抽出ユニットとを含む。

任意選択的に、前記生成ユニットは、
該参照画像における、前記遮蔽物に対する配置待ち領域を位置決めするための位置決めサブユニットと、
前記遮蔽物を含む画像である指定画像における、前記遮蔽物に関する画素内容を確定するための確定サブユニットと、
前記遮蔽物に関する画素内容を利用し、該参照画像における前記配置待ち領域内の画素内容に対して置き換えを行って、該参照画像に対応する強調画像を得るための置き換えサブユニットとを含む。

任意選択的に、この装置は、
前記重み付けサブモジュールが、所定の重み比率にしたがって、前記第１の画像特徴と前記第２の画像特徴に対して重み付け融合を行って、該参照画像に対応する融合特徴を得る前に、前記認識待ち画像のターゲット収集シーンを確定するためのシーン確定モジュールであって、前記ターゲット収集シーンは各収集シーンのうちの１シーンであり、各収集シーンは前記遮蔽物の着用状況に基づいて区分されるシーンであるシーン確定モジュールと、
予め設定された、各収集シーンと重み比率に関する対応関係から、前記ターゲット収集シーンに対応するターゲット重み比率を確定するための重み確定モジュールであって、それぞれの収集シーンに対応する重み比率は、この収集シーンでの、それぞれの参照画像の画像特徴と該参照画像の強調画像の画像特徴との重み比率を表すために用いられる重み確定モジュールとをさらに含み、
前記重み付けサブモジュールは、具体的には、
前記ターゲット重み比率にしたがって、前記第１の画像特徴と前記第２の画像特徴に対して重み付け融合を行って、該参照画像に対応する融合特徴を得るために用いられる。

本開示の実施例によれば、本開示は、電子機器、可読記憶媒体とコンピュータプログラム製品をさらに提供する。
本開示の実施例による電子機器は、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに通信接続されたメモリとを含み、ここで、
前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶されており、前記命令は前記少なくとも１つのプロセッサによって実行されることにより、前記少なくとも１つのプロセッサに上述の顔認識方法を実行させることができる。

本開示は、コンピュータに上述の顔認識方法を実行させるためのコンピュータ命令が記憶された非一時的コンピュータ可読記憶媒体をさらに提供する。
本開示は、命令を含むコンピュータプログラム製品をさらに提供する。これをコンピュータ上で運行する時、コンピュータに上述の実施例に記載の顔認識方法とステップを実行させる。

図５では、本開示の実施例を実現するために使用できる例示的な電子機器５００の概略ブロック図が示されている。電子機器は、様々な形態のデジタルコンピュータ、例えば、ラップトップ型コンピュータ、デスクトップ型コンピュータ、ステージ、個人用デジタル補助装置、サーバ、ブレードサーバ、大型コンピュータ、その他の適切なコンピュータを示す。電子機器はさらに、様々な形態の移動装置、例えば、個人デジタル処理、携帯電話、スマートフォン、着用可能なデバイスとその他の類似する計算装置を示してよい。本明細書に示される部品、これらの接続関係及びこれらの機能は例示的なものに過ぎず、本明細書に説明及び／又は請求した本開示の実現を制限することを意図していない。

図５に示すように、機器５００は、計算ユニット５０１を含み、それはリードオンリーメモリ（ＲＯＭ）５０２に記憶されるコンピュータプログラム又は記憶ユニット５０８からランダムアクセスメモリ（ＲＡＭ）５０３にロードされるコンピュータプログラムに基づいて、種々の適当な操作と処理を実行することができる。ＲＡＭ ５０３において、機器５００を操作するために必要とされる様々なプログラムとデータを記憶してよい。計算ユニット５０１、ＲＯＭ ５０２及びＲＡＭ ５０３はバス５０４を介して互いに接続される。入力／出力（Ｉ／Ｏ）インターフェース５０５も、バス５０４に接続される。

機器５００における複数の部品はＩ／Ｏインターフェース５０５に接続され、これらの部品は、例えばキーボード、マウスなどの入力ユニット５０６と、例えば様々なタイプのディスプレイ、スピーカーなどの出力ユニット５０７と、例えば磁気ディスク、光ディスクなどの記憶ユニット５０８と、例えばネットワークカード、変調復調器、無線通信送受信機などの通信ユニット５０９とを含む。通信ユニット５０９は、機器５００が例えばインターネットなどのコンピュータネットワーク及び／又は様々な電気通信ネットワークを介して他の機器と情報／データを交換することを可能にする。

計算ユニット５０１は処理と計算能力を有する様々な汎用及び／又は専用の処理コンポーネントであってもよい。計算ユニット５０１のいくつかの例として、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、様々な専用人工知能（ＡＩ）計算チップ、機械学習モデルアルゴリズムを実行する様々な計算ユニット、デジタル信号プロセッサ（ＤＳＰ）、及び任意の適当なプロセッサ、コントローラ、マイクロコントローラなどを含んでもよいが、これらに限定されない。計算ユニット５０１は、上記で説明した各方法と処理、例えば、上述の顔認識方法を実行する。例えば、いくつかの実施例において、上述の顔認識方法はコンピュータソフトウェアプログラムとして実現されてもよく、それは、機械可読媒体、例えば記憶ユニット５０８に有形的に含まれる。いくつかの実施例において、コンピュータプログラムの一部又は全部は、ＲＯＭ ５０２及び／又は通信ユニット５０９を経由して機器５００にロード及び／又はインストールされてもよい。コンピュータプログラムがＲＡＭ ５０３にロードされて計算ユニット５０１によって実行される時、以上で説明した顔認識方法の１つ又は複数のステップを実行することができる。代替的に、別の実施例において、計算ユニット５０１は他のいかなる適切な形態によって（例えば、ファームウェアにより）上述の顔認識方法を実行するように構成されてよい。

本明細書で上述したシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、複雑なプログラマブル論理機器（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はこれらの組み合わせにおいて実現されてよい。これらの様々な実施形態は以下を含んでもよい。１つ又は複数のコンピュータプログラムに実施され、この１つ又は複数のコンピュータプログラムは少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムで実行及び／又は解釈可能であり、このプログラマブルプロセッサは専用又は汎用プログラマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置、少なくとも１つの出力装置からデータと命令を受信し、かつデータと命令をこの記憶システム、この少なくとも１つの入力装置、この少なくとも１つの出力装置に送信することができる。

本開示の方法を実施するプログラムコードは１つ又は複数のプログラミング言語のいかなる組み合わせで書かれてよい。これらのプログラムコードを汎用コンピュータ、特殊目的のコンピュータ又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供することによって、プログラムコードがプロセッサ又はコントローラで実行される時にフローチャート及び／又はブロック図に規定される機能／操作は実施される。プログラムコードは完全に機械上で実行してもよく、部分的に機械上で実行してもよく、独立ソフトウェアパッケージとして部分的に機械上で実行し、かつ部分的に遠隔機械上で実行してもよく、又は完全に遠隔機械又はサーバ上で実行してもよい。

本開示のコンテキストにおいて、機械可読媒体は有形の媒体であってもよく、命令実行システム、装置又は機器に使用されるか、又は命令実行システム、装置又は機器に結合されて使用されるプログラムを具備又は記憶してよい。機械可読媒体は機械可読信号媒体又は機械可読記憶媒体であってもよい。機械可読媒体は、電子的、磁気的、光学的、電磁的、赤外線的、又は半導体システム、装置又はデバイス、又は上記内容のいかなる適切な組み合わせを含んでもよいが、これらに限定されない。機械可読記憶媒体のより具体的な例として、１つ又は複数のリード線による電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、又は上記内容のいかなる適切な組み合わせを含む。

ユーザとのインタラクションを提供するために、コンピュータにおいてここで説明したシステムと技術を実施してよく、このコンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）監視モニタ）と、キーボードとポインティング装置（例えば、マウスやトラックボール）を備え、ユーザはこのキーボードとこのポインティング装置を介してコンピュータに入力してよい。その他の種類の装置はさらに、ユーザとのインタラクティブを提供するためのものであってもよい。例えば、ユーザに提供するフィードバックはいかなる形態の感覚フィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、いかなる形態（音入力、音声入力、又は触覚入力を含む）でユーザからの入力を受信してよい。

ここで述べたシステムや技術は、バックステージ部材を含む計算システム（例えば、データサーバとして）や、ミドルウェア部材を含む計算システム（例えば、アプリケーションサーバ）や、フロントエンド部材を含む計算システム（例えば、グラフィカルユーザインターフェースやウェブブラウザを有するユーザコンピュータ、ユーザが、そのグラフィカルユーザインターフェースやウェブブラウザを通じて、それらのシステムや技術の実施形態とのインタラクティブを実現できる）、あるいは、それらのバックステージ部材、ミドルウェア部材、あるいはフロントエンド部材の任意の組み合わせからなる計算システムには実施されてもよい。システムの部材は、任意の形式や媒体のデジタルデータ通信（例えば、通信ネットワーク）により相互に接続されてもよい。通信ネットワークの一例は、ローカルネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）とインターネットを含む。

コンピュータシステムは、クライアント側とサーバを含んでもよい。クライアント側とサーバは、一般的に相互に遠く離れ、通常、通信ネットワークを介してインタラクションを行う。互にクライアント側－サーバという関係を有するコンピュータプログラムを対応するコンピュータで運転することによってクライアント側とサーバの関係を生成する。サーバは、クラウドサーバであってもよく、分散型システムのサーバ、又はブロックチェーンを組み込んだサーバであってもよい。

理解すべきこととして、前述した様々な形態のフローを用いて、ステップを改めて順位付け、追加又は削除してよい。例えば、本開示に記載された各ステップは、並列的に実行してもよいし、順次実行してもよいし、異なる順序で実行してもよい。本開示に開示された技術案が所望する結果を実現できれば、本明細書はこれに限定されない。

上述した実施形態は、本開示特許請求の範囲を限定するものではない。当業者が理解すべきことは、設計要求と他の要因に基づいて、様々な修正、組み合わせ、一部の組み合わせと代替を行うことができることである。本開示の精神及び原則から逸脱することなく行われるいかなる修正、同等物による置換や改良などは、いずれも本開示の保護範囲に含まれるものである。

Claims (13)

1. 顔認識方法であって、
   認識待ち画像を取得することと、
   前記認識待ち画像の画像特徴を抽出することと、
   各参照画像に対応する融合特徴を取得し、それぞれの参照画像は、データベースにおける遮蔽物を有しない顔画像であり、それぞれの参照画像に対応する融合特徴は、該参照画像と、該参照画像に対応する強調画像とを画像特徴融合して得られた特徴であり、該参照画像に対応する強調画像は、該参照画像に対して遮蔽物を設置した後の画像であることと、
   前記認識待ち画像の画像特徴とそれぞれの参照画像に対応する融合特徴との類似性を確定して、類似性確定結果を得ることと、
   得られた類似性確定結果に基づいて前記認識待ち画像の顔認識結果を確定することとを含む、顔認識方法。
2. 前記の、それぞれの参照画像に対応する融合特徴を取得することは、
   各参照画像のそれぞれの参照画像に対して、該参照画像の第１の画像特徴を取得することと、
   該参照画像に対応する強調画像の第２の画像特徴を取得することと、
   所定の重み比率にしたがって、前記第１の画像特徴と前記第２の画像特徴に対して重み付け融合を行って、該参照画像に対応する融合特徴を得ることとを含む、請求項１に記載の方法。
3. 前記の、該参照画像に対応する強調画像の第２の画像特徴を取得することは、
   該参照画像に対応する強調画像を生成することと、
   該参照画像に対応する強調画像の第２の画像特徴を抽出することとを含む、請求項２に記載の方法。
4. 前記の、該参照画像に対応する強調画像を生成することは、
   該参照画像における、前記遮蔽物に対する配置待ち領域を位置決めすることと、
   前記遮蔽物を含む画像である指定画像における、前記遮蔽物に関する画素内容を確定することと、
   遮蔽物に関する画素内容を利用し、該参照画像における前記配置待ち領域内の画素内容に対して置き換えを行って、該参照画像に対応する強調画像を得ることとを含む、請求項３に記載の方法。
5. 前記の、所定の重み比率にしたがって、前記第１の画像特徴と前記第２の画像特徴に対して重み付け融合を行って、該参照画像に対応する融合特徴を得ることの前に、
   前記認識待ち画像のターゲット収集シーンを確定し、前記ターゲット収集シーンは各収集シーンのうちの１シーンであり、各収集シーンは前記遮蔽物の着用状況に基づいて区分されるシーンであることと、
   予め設定された、各収集シーンと重み比率に関する対応関係から、前記ターゲット収集シーンに対応するターゲット重み比率を確定し、それぞれの収集シーンに対応する重み比率は、該収集シーンでの、それぞれの参照画像の画像特徴と該参照画像の強調画像の画像特徴との重み比率を表すために用いられることとをさらに含み、
   前記の、所定の重み比率にしたがって、前記第１の画像特徴と前記第２の画像特徴に対して重み付け融合を行って、該参照画像に対応する融合特徴を得ることは、
   前記ターゲット重み比率にしたがって、前記第１の画像特徴と前記第２の画像特徴に対して重み付け融合を行って、該参照画像に対応する融合特徴を得ることを含む、請求項２に記載の方法。
6. 顔認識装置であって、
   認識待ち画像を取得するための取得モジュールと、
   前記認識待ち画像の画像特徴を抽出するための抽出モジュールと、
   各参照画像に対応する融合特徴を取得するための融合モジュールであって、それぞれの参照画像は、データベースにおける遮蔽物を有しない顔画像であり、それぞれの参照画像に対応する融合特徴は、該参照画像と、該参照画像に対応する強調画像とを画像特徴融合して得られた特徴であり、該参照画像に対応する強調画像は、該参照画像に対して遮蔽物を設置した後の画像である融合モジュールと、
   前記認識待ち画像の画像特徴と各参照画像に対応する融合特徴との類似性を確定して、類似性確定結果を得るための第１の確定モジュールと、
   得られた類似性確定結果に基づいて前記認識待ち画像の顔認識結果を確定するための第２の確定モジュールとを含む、顔認識装置。
7. 前記融合モジュールは、
   各参照画像のそれぞれの参照画像に対して、該参照画像の第１の画像特徴を取得するための第１の取得サブモジュールと、
   該参照画像に対応する強調画像の第２の画像特徴を取得するための第２の取得サブモジュールと、
   所定の重み比率にしたがって、前記第１の画像特徴と前記第２の画像特徴に対して重み付け融合を行って、該参照画像に対応する融合特徴を得るための重み付けサブモジュールとを含む、請求項６に記載の装置。
8. 前記第２の取得サブモジュールは、
   該参照画像に対応する強調画像を生成するための生成ユニットと、
   該参照画像に対応する強調画像の第２の画像特徴を抽出するための抽出ユニットとを含む、請求項７に記載の装置。
9. 前記生成ユニットは、
   該参照画像における、前記遮蔽物に対する配置待ち領域を位置決めするための位置決めサブユニットと、
   前記遮蔽物を含む画像である指定画像における、前記遮蔽物に関する画素内容を確定するための確定サブユニットと、
   前記遮蔽物に関する画素内容を利用し、該参照画像における前記配置待ち領域内の画素内容に対して置き換えを行って、該参照画像に対応する強調画像を得るための置き換えサブユニットとを含む、請求項８に記載の装置。
10. 前記装置は、
    前記重み付けサブモジュールが、所定の重み比率にしたがって、前記第１の画像特徴と前記第２の画像特徴に対して重み付け融合を行って、該参照画像に対応する融合特徴を得る前に、前記認識待ち画像のターゲット収集シーンを確定するためのシーン確定モジュールであって、前記ターゲット収集シーンは各収集シーンのうちの１シーンであり、各収集シーンは前記遮蔽物の着用状況に基づいて区分されるシーンであるシーン確定モジュールと、
    予め設定された、各収集シーンと重み比率に関する対応関係から、前記ターゲット収集シーンに対応するターゲット重み比率を確定するための重み確定モジュールであって、それぞれの収集シーンに対応する重み比率は、該収集シーンでの、それぞれの参照画像の画像特徴と該参照画像の強調画像の画像特徴との重み比率を表すために用いられる重み確定モジュールとをさらに含み、
    前記重み付けサブモジュールは、具体的には、
    前記ターゲット重み比率にしたがって、前記第１の画像特徴と前記第２の画像特徴に対して重み付け融合を行って、該参照画像に対応する融合特徴を得るために用いられる、請求項７に記載の装置。
11. 電子機器であって、
    少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサに通信接続されたメモリとを含み、
    前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶されており、前記命令は前記少なくとも１つのプロセッサによって実行されることにより、前記少なくとも１つのプロセッサに請求項１～５のいずれか一項に記載の方法を実行させることができる、電子機器。
12. コンピュータ命令が記憶された非一時的コンピュータ可読記憶媒体であって、前記コンピュータ命令は、前記コンピュータに請求項１～５のいずれか一項に記載の方法を実行させるために用いられる、非一時的コンピュータ可読記憶媒体。
13. プロセッサによって実行されると、請求項１～５のいずれか一項に記載の方法を実現するコンピュータプログラム。
    

Images