JP2022502726A - 顔画像処理方法及び装置、画像機器並びに記憶媒体 - Google Patents

Abstract

本開示の実施例は、顔画像処理方法及び装置、画像機器並びに記憶媒体を開示する。前記顔画像処理方法は、第１顔画像の第１キーポイント情報を取得することと、前記第１キーポイント情報に対して位置変換を行い、第２顔幾何学的属性に合致する第２キーポイント情報を得ることであって、前記第２顔幾何学的属性は、前記第１キーポイント情報に対応する第１顔の幾何学的属性と異なる、ことと、ニューラルネットワーク及び前記第２キーポイント情報を利用して、顔テクスチャ符号化処理を行い、第２顔画像を得ることと、を含む。

Description

（関連出願の相互参照）
本開示は、２０１９年０８月２８日に提出された出願番号２０１９１０８０４１７９．９の中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本開示に組み込まれる。

本開示は、情報技術分野に関し、特に画像処理方法及び装置、画像機器並びに記憶媒体に関する。

顔画像処理過程において、ユーザは、自体の顔を好きな顔に変換する必要がある可能性がある。具体的には、例えば、年長者の顔画像を若者の顔画像に変換する。関連技術において、種々のニューラルネットワークを利用して顔画像を元の顔からターゲット顔に変換するが、このような変換に、ユーザに望まれていない変換が伴うことが多く、変換効果が低くなるという問題が引き起こされることは、実践により明らかである。

本開示の実施例は、顔画像処理方法及び装置、画像機器並びに記憶媒体を提供することが望ましい。

本開示の実施例の技術的解決手段は、以下のように実施される。

本開示の実施例の第１態様によれば、顔画像処理方法を提供する。前記方法は、第１顔画像の第１キーポイント情報を取得することと、前記第１キーポイント情報に対して位置変換を行い、第２顔幾何学的属性に合致する第２キーポイント情報を得ることであって、前記第２顔幾何学的属性は、前記第１キーポイント情報に対応する第１顔の幾何学的属性と異なる、ことと、ニューラルネットワーク及び前記第２キーポイント情報を利用して、顔テクスチャ符号化処理を行い、第２顔画像を得ることと、を含む。

本開示の実施例において、第１キーポイント情報に基づいて行われる顔幾何学的属性変形と顔テクスチャ符号化処理は、別々に行われるものであり、顔幾何学的属性変形と顔テクスチャ符号化処理が、ニューラルネットワークにより一括して実行されるものではない。そのため、ニューラルネットワークを利用して幾何学的属性変形と顔テクスチャ符号化を同時に行うことにより、幾何学的属性の変形を制御できず、変形効果が低くなるという現象を減少させ、顔画像の変形効果を向上させる。

本開示の幾つかの任意選択的な実施例において、前記第１キーポイント情報に対して位置変換を行い、第２顔幾何学的属性に合致する第２キーポイント情報を得た後、前記方法は、前記第２キーポイント情報に基づいて、前記第１顔画像を調整し、第３顔画像を得ることを更に含み、ニューラルネットワーク及び前記第２キーポイント情報を利用して、顔テクスチャ符号化処理を行い、第２顔画像を得た後、前記方法は、前記第２顔画像と前記第３顔画像を融合し、第４顔画像を得ることを更に含む。

本開示の実施例において、第３顔画像を生成し、第２顔画像を生成した後、第３顔画像と第３顔画像を融合することで、顔テクスチャ符号化処理における、第２顔画像の細部の損失を減少させ、第２顔画像に比べて第４顔画像に、より多くの顔細部を持たせ、処理された顔画像の精細度を向上させることができる。

本開示の幾つかの任意選択的な実施例において、前記方法は、表示された前記第１顔画像を前記第４顔画像又は前記第２顔画像に置き換えることを更に含む。

本開示の幾つかの任意選択的な実施例において、前記第１顔画像は、所定の画像に含まれ、前記方法は、前記第４顔画像と前記所定の画像における前記第１顔画像以外の背景領域を融合し、更新された画像を生成することを更に含む。

本開示の実施例において、表示された第１顔画像を第２顔画像又は第４顔画像に直接的に置き換えることで、調整された画像において変形された顔画像を展示することを容易にすることができ、操作しやすいという利点を有する。

本開示の幾つかの任意選択的な実施例において、ニューラルネットワーク及び前記第２キーポイント情報を利用して、顔テクスチャ符号化処理を行い、第２顔画像を得ることは、前記第２キーポイント情報に基づいて、ターゲット顔のマスクマップを生成することであって、前記マスクマップにおける顔画像領域の画素ドットは、第１設定値であり、前記顔画像領域以外の画素ドットは、第２設定値であり、前記顔画像領域は、顔輪郭を記述する各第２キーポイントで囲まれて形成される、ことと、前記マスクマップと前記第１顔画像を融合し、第５顔画像を生成することであって、前記第５画像は、前記第１顔画像における前記顔画像領域を保留する、ことと、前記第２キーポイント情報に基づいて、ターゲット顔の幾何学的属性の輪郭マップを生成することであって、前記輪郭マップにおける部位輪郭線上での画素ドットは、第３設定値であり、前記部位輪郭線以外の画素ドットは、第４設定値であり、前記部位輪郭線は、各顔部位を記述する第２キーポイントで囲まれて形成される、ことと、前記第５顔画像及び前記輪郭マップを前記ニューラルネットワークに入力して顔テクスチャ符号化を行い、前記第２顔画像を得ることと、を含む。

本開示の実施例において、第５顔画像及び輪郭マップを生成し、顔テクスチャ符号化処理を行うことで、第２顔画像を得る。実現しやすく、変形効果が高いという特徴を有する。

本開示の幾つかの任意選択的な実施例において、前記方法は、前記第１キーポイント情報に基づいて、前記第１顔幾何学的属性を決定することと、前記第２顔幾何学的属性を取得することと、を更に含み、前記第１キーポイント情報に対して位置変換を行い、第２顔幾何学的属性に合致する第２キーポイント情報を得ることは、前記第１顔幾何学的属性及び前記第２顔幾何学的属性に共通して対応する顔幾何学的属性変換パラメータを利用して、前記第１キーポイント情報に対して位置変換を行い、前記第２キーポイント情報を得ることを含む。

本開示の実施例は、顔幾何学的属性変換パラメータに基づいて第１キーポイント情報から第２キーポイント情報へ変換することを提出する。変換しやすく、変形効果が高いという特徴を有する。

本開示の幾つかの任意選択的な実施例において、異なる第１顔幾何学的属性に対応する顔幾何学的属性変換パラメータは異なり、及び／又は、異なる前記第２顔幾何学的属性に対応する顔幾何学的属性変換パラメータは異なる。

本開示の実施例において、異なる第１顔幾何学的属性と第２顔幾何学的属性は、異なる顔幾何学的属性変換パラメータに対応するため、異なる顔幾何学的属性を有する、第１キーポイント情報から第２キーポイント情報への変換を意図的に行うことができ、顔幾何学的属性の変形効果を向上させる。

本開示の幾つかの任意選択的な実施例において、ニューラルネットワーク及び前記第２キーポイント情報を利用して、顔テクスチャ符号化処理を行い、第２顔画像を得ることは、前記第２キーポイント情報に基づいて、ターゲット顔の幾何学的属性の輪郭マップを生成することであって、前記輪郭マップにおける部位輪郭線上での画素ドットは、第３設定値であり、前記部位輪郭線以外の画素ドットは、第４設定値であり、前記部位輪郭線は、各顔部位を記述する第２キーポイントで囲まれて形成される、ことと、前記輪郭マップを前記ニューラルネットワークに入力し、顔テクスチャ符号化を行い、前記第２顔画像を得ることと、を含む。

本開示の実施例において、輪郭マップを生成し、顔テクスチャ符号化処理を行い、第２顔画像を得る。実現しやすく、変形効果が高いという特徴を有する。

本開示の実施例の第２態様によれば、顔画像処理装置を提供する。前記装置は、第１顔画像の第１キーポイント情報を取得するように構成される第１取得モジュールと、前記第１キーポイント情報に対して位置変換を行い、第２顔幾何学的属性に合致する第２キーポイント情報を得るように構成される変換モジュールであって、前記第２顔幾何学的属性は、前記第１キーポイント情報に対応する第１顔の幾何学的属性と異なる、変換モジュールと、ニューラルネットワーク及び前記第２キーポイント情報を利用して、顔テクスチャ符号化処理を行い、第２顔画像を得るように構成される符号化モジュールと、を備える。

本開示の幾つかの任意選択的な実施例において、前記装置は、融合モジュールを更に備え、前記変換モジュールは更に、前記第１キーポイント情報に対して位置変換を行い、第２顔幾何学的属性に合致する第２キーポイント情報を得た後、前記第２キーポイント情報に基づいて、前記第１顔画像を調整し、第３顔画像を得るように構成され、前記融合モジュールは、前記符号化モジュールがニューラルネットワーク及び前記第２キーポイント情報を利用して、顔テクスチャ符号化処理を行い、第２顔画像を得た後、前記第２顔画像と前記第３顔画像を融合し、第４顔画像を得るように構成される。

本開示の幾つかの任意選択的な実施例において、前記装置は、表示された前記第１顔画像を前記第４顔画像に置き換えるように構成される第１置き換えモジュールを更に備える。

本開示の幾つかの任意選択的な実施例において、前記装置は、表示された前記第１顔画像を前記第２顔画像に置き換えるように構成される第２置き換えモジュールを更に備える。

本開示の幾つかの任意選択的な実施例において、前記符号化モジュールは、前記第２キーポイント情報に基づいて、ターゲット顔のマスクマップを生成するように構成され、前記マスクマップにおける、顔輪郭を記述する各第２キーポイントで囲まれて形成された顔画像領域の画素ドットは、第１設定値であり、前記顔画像以外の画素ドットは、第２設定値であり、前記顔画像領域は、顔輪郭を記述する各第２キーポイントで囲まれて形成され、前記符号化モジュールは、前記マスクマップと前記第１顔画像を融合し、第５顔画像を生成するように構成され、前記第５画像に、前記第１顔画像における、顔輪郭を記述する各第２キーポイントで囲まれて形成された顔画像領域が保留されており、前記符号化モジュールは、前記第２キーポイント情報に基づいて、ターゲット顔の幾何学的属性の輪郭マップを生成するように構成され、前記輪郭マップにおける部位輪郭線上での画素ドットは、第３設定値であり、前記部位輪郭線以外の画素ドットは、第４設定値であり、前記部位輪郭線は、各顔部位を記述する第２キーポイントで囲まれて形成され、前記符号化モジュールは、前記第５顔画像及び前記輪郭マップを前記ニューラルネットワークに入力して顔テクスチャ符号化を行い、前記第２顔画像を得るように構成される。

本開示の幾つかの任意選択的な実施例において、前記装置は、前記第１キーポイント情報に基づいて、前記第１顔幾何学的属性を決定するように構成される決定モジュールと、ターゲット顔の第２顔幾何学的属性を取得するように構成される第２取得モジュールと、を更に備え、前記変換モジュールは、前記第１顔幾何学的属性及び前記第２顔幾何学的属性に共通して対応する顔幾何学的属性変換パラメータを利用して、前記第１キーポイント情報に対して位置変換を行い、前記第２キーポイント情報を得るように構成される。

本開示の幾つかの任意選択的な実施例において、異なる前記第１顔幾何学的属性に対応する顔幾何学的属性変換パラメータは異なり、及び／又は、異なる前記第２顔幾何学的属性に対応する顔幾何学的属性変換パラメータは異なる。

本開示の幾つかの任意選択的な実施例において、前記符号化モジュールは、前記第２キーポイント情報に基づいて、ターゲット顔の幾何学的属性の輪郭マップを生成するように構成され、前記輪郭マップにおける部位輪郭線上での画素ドットは、第３設定値であり、前記部位輪郭線以外の画素ドットは、第４設定値であり、前記部位輪郭線は、各顔部位を記述する第２キーポイントで囲まれて形成され、前記符号化モジュールは、前記輪郭マップを前記ニューラルネットワークに入力し、顔テクスチャ符号化を行い、前記第２顔画像を得るように構成される。

本開示の実施例の第３態様によれば、コンピュータ記憶媒体を提供する。前記コンピュータ記憶媒体には、コンピュータ実行可能な命令が記憶されており、前記コンピュータ実行可能な命令が実行された後、前記第１態様のいずれか１つの技術的解決手段により提供される方法の工程を実現させることができる。

本開示の実施例の第４態様によれば、画像機器を提供する。前記画像機器は、メモリと、前記メモリに接続され、前記メモリに記憶されているコンピュータ実行可能な命令を実行することで、前記第１態様のいずれか１つの技術的解決手段により提供される方法の工程を実現させるように構成されるプロセッサと、を備える。

本開示の実施例で提供される技術的解決手段によれば、第１顔画像における元の顔の変換を行う場合、第１キーポイント情報に対して位置変換を行い、第２キーポイント情報を得る。これは、第１顔画像における顔の第１顔幾何学的属性を第２顔幾何学的属性に変換することに相当する。顔幾何学的属性変換を行った後、ニューラルネットワーク及び第２キーポイント情報を利用して、顔テクスチャ符号化を行うことで、テクスチャ属性符号化と幾何学的属性変換を別々に行うことを実現させる。深層学習モデルを利用して幾何学的属性変換及びテクスチャ属性変換を一括して行うことに比べて、幾何的変換を行う場合の深層学習モデルのランダム性を低下させ、顔画像変換の品質及びロバスト性を向上させる。

本開示の実施例による顔画像処理方法を示すフローチャートである。 本開示の実施例によるもう１つの顔画像処理方法を示すフローチャートである。 本開示の実施例によるマスクマップを示す概略図である。 本開示の実施例によるヒートマップを示す概略図である。 本開示の実施例によるまた１つの顔画像処理方法を示すフローチャートである。 本開示の実施例による顔の顔幾何学的属性変換パラメータによる変換を示す概略図である。 本開示の実施例によるもう１つの顔の顔幾何学的属性変換パラメータによる変換を示す概略図である。 本開示の実施例によるまた１つの顔の顔幾何学的属性変換パラメータによる変換を示す概略図である。 本開示の実施例による顔画像処理装置の構造を示す概略図である。 本開示の実施例による顔画像処理方法を示すフローチャートである。 本開示の実施例による画像機器の構造を示す概略図である。

以下、明細書の図面及び具体的な実施例を参照しながら、本開示の技術的解決手段を更に詳しく説明する。

図１に示すように、本実施例は、顔画像処理方法を提供する。前記方法は以下を含む。

ステップ１１０において、第１顔画像の第１キーポイント情報を取得する。

ステップ１２０において、第１キーポイント情報に対して位置変換を行い、第２顔幾何学的属性に合致する第２キーポイント情報を得る。第２顔幾何学的属性は、第１キーポイント情報に対応する第１顔の幾何学的属性と異なる。

ステップ１３０において、ニューラルネットワーク及び第２キーポイント情報を利用して、顔テクスチャ符号化処理を行い、第２顔画像を得る。

本実施例で提供される画像処理方法は、種々の画像機器に適用可能である。該画像機器は、情報処理能力を持つ種々の端末機器及びサーバを含んでもよい。端末機器は、携帯電話、タブレット又はウェアラブル機器などを含んでもよい。サーバは、画像処理を行うサーバであってもよい。

第１顔画像は、元の顔を含む画像であることが理解されるべきである。幾つかの任意選択的な実施例において、ステップ１１０において、第１顔画像の第１キーポイント情報を取得することは、ニューラルネットワークを利用して第１顔画像を検出し、第１顔画像における顔の第１顔幾何学的属性を表す複数の第１キーポイント情報を得ることを含んでもよい。例えば、第１顔画像における顔を表す１０６個の第１キーポイント情報を得て、上記第１キーポイント情報により、第１顔画像での、１０６個のキーポイントの位置情報を得ることができる。異なる第１キーポイント情報には、少なくとも異なる位置情報が含まれる。

幾つかの実施例において、第１キーポイント情報は、第２顔画像での、各キーポイントの位置情報を含む。各位置情報は、第１顔画像での、キーポイントの座標を含むが、これに限定されない。幾つかの実施例において、第１顔画像での、キーポイントの座標は、画素レベルの座標である。従って、第１キーポイント情報に基づいて変換を行うことで得られた第２顔画像は、画素レベルの顔変換を実現させることができる。画素レベルの顔変換によれば、変換効果の精細度が高いという特徴を有する。

幾つかの実施例において、第１キーポイント情報は、各キーポイントに対応するキーポイント識別子を更に含んでもよい。ここで、キーポイント識別子は、顔の様々な部位のキーポイントを表すためのものであってもよい。例えば、頬骨キーポイントに対応するキーポイント識別子は、顎キーポイントに対応するキーポイント識別子と異なる。該キーポイント識別子は、キーポイント番号及び／又はキーポイント名称を含むが、これらに限定されない。

本開示の幾つかの任意選択的な実施例において、第１キーポイント情報に対応するキーポイントは、顔輪郭キーポイント、五官キーポイントのうちの少なくとも１つを含んでもよい。ここで、顔輪郭キーポイントは、顔外輪郭キーポイントであってもよい。五官キーポイントは、例えば、眼キーポイント、鼻キーポイント、唇キーポイントなどを含む。

上記第１キーポイント情報に含まれる各キーポイントの位置、及び各キーポイント間の相対的位置関係は、第１顔画像における顔の形状を決定する。該形状は、顔の顔幾何学的属性（即ち、第１顔幾何学的属性）を表す。

ステップ１２０において第１キーポイント情報の位置変換を行うことで、第１キーポイント情報に対応する第１顔幾何学的属性の変換を実現させ、位置変換された、第２顔幾何学的属性に合致する第２キーポイント情報を得る。

本開示の幾つかの任意選択的な実施例において、顔幾何学的属性変換パラメータに基づいて、第１キーポイント情報に対して位置変換を行うことができる。例示的には、顔幾何学的属性変換パラメータとして、例えば、変換行列の形態を用いて、第１キーポイント情報を既知量とし、変換行列及び第１キーポイント情報を利用して演算を行い、更新された座標を得て、更新された座標を第２キーポイント情報とする。

従って、ステップ１２０において、第１キーポイント情報から第２キーポイント情報への変換は、ニューラルネットワークを利用した変換ではなく、元の顔からターゲット顔への顔幾何学的属性変換を完了することに相当する。このようにして、ニューラルネットワークを利用することにより元の顔の顔幾何学的属性変換を制御できないことを減少させ、顔画像の変換効果及びロバスト性を向上させる。

本開示の幾つかの任意選択的な実施例において、ステップ１３０において、顔テクスチャ符号化は、顔面肌テクスチャ符号化、顔シワテクスチャ符号化、毛髪テクスチャ符号化を含むが、これらに限定されない。

幾つかの実施例において、第２キーポイント情報に対応する様々なキーポイント間の領域は、顔の様々な部位に対応してもよい。例えば、頬骨キーポイントと鼻梁キーポイントとの間の領域は、笑筋領域であり、唇キーポイントと顎キーポイントとの間の領域は、顎領域である。異なる部位の皮膚領域の色合い及び／又はテクスチャが異なり、及び／又は、異なる皮膚領域の皮膚シワテクスチャは異なる。これによれば、顔の様々な部位に対応する領域の顔面肌テクスチャ符号化は異なってもよく、顔の様々な部位に対応する領域の顔シワテクスチャ符号化は異なってもよく、顔の様々な部位に対応する領域の毛髪テクスチャ符号化は、異なってもよい。また例えば、眉骨の所在する領域で符号化を行って眉を形成する必要がある。これによれば、眉領域のテクスチャ符号化は、顔面肌テクスチャ符号化と異なる。

従って、本開示の実施例において、第１顔画像における元の顔から第２顔画像におけるターゲット顔への顔変換過程において、顔の顔幾何学的属性及びテクスチャ属性の変換は、異なる方式を利用してもよい。このようにして、ニューラルネットワークを利用して顔幾何学的属性及びテクスチャ属性の変換を一括して処理することによる変換効果が低いという現象を減少させ、顔変換の効果を向上させ、また、顔変換のロバスト性を確保する。例えば、例如，ニューラルネットワークを利用して元の顔からターゲット顔への変換を行うことで発生した顔縁及び眼球などの位置で怪異な形状が生じるという現象を減少させ、変換効果を向上させる。

幾つかの実施例において、ステップ１２０を行った後、方法は、以下を更に含んでもよい。

ステップ１２１において、第２キーポイント情報に基づいて、第１顔画像を調整し、第３顔画像を得る。

本実施例において、第２キーポイント情報を得た後、第２キーポイント情報に基づいて第１顔画像を調整して第３顔画像を得ることができる。

例示的には、画像機器は、第１顔画像に対して画素レベルの変換処理を直接的に行い、第１キーポイント情報の座標位置が変更された第３顔画像を得ることができる。例えば、第１顔画像の第１キーポイント情報に対応する各キーポイントを、第２キーポイント情報に対応する各キーポイントの方向へ調整し、第１顔画像の調整を実現させ、第３顔画像を得ることができる。

第３顔画像における顔は、第１顔画像における元の顔に比べて、顔幾何学的属性が変換されたものであることが理解されるべきである。

例示的には、顔幾何学的属性は、五官の形状、五官同士の相対的位置のうちの少なくとも１つを含んでもよい。ここで、五官の形状は、例えば、眼の形状、鼻の形状又は唇の形状などを含んでもよい。五官同士の相対的位置は、双眼同士の間隔、鼻先と唇との間隔、顔輪郭線、生え際、毛髪形状などを含んでもよい。

幾つかの実施例において、図２に示すように、ステップ１２０を行った後、方法は、以下を更に含む。

ステップ１４０において、第２顔画像と第３顔画像を融合し、第４顔画像を得る。

本実施例において、顔テクスチャ符号化処理により第２顔画像を生成する過程において、例えば、顔面肌の小じわの損失などのような細部の損失が発生する可能性がある。顔画像の変換効果を向上させるために、第２顔画像と第３顔画像を融合し、融合後に、第３顔画像に保留された細部により、第２顔画像における損失した少なくとも一部の細部を補完することで、画像品質が第２顔画像の画像品質よりも高い第４顔画像を得る。

幾つかの任意選択的な実施例において、第２顔画像と第３顔画像の融合方式は下記の少なくとも１つを含んでもよい。

方式１において、第２顔画像と第３顔画像に対して画素ごとの加重平均化を行い、第４顔画像における各画素の画素値を得る。

方式２において、第２顔画像における、色彩値と所定の色彩値との差異範囲が範囲閾値より大きい特定の領域を決定し、第３顔画像における特定の領域の色彩値で、第２顔画像における特定の領域の色彩値を置き換える。

第２顔画像と第３顔画像の融合方式は複数であり、以上は、２つの任意選択的な方式に過ぎず、本実施例において画像融合は上記方式に限定されない。

幾つかの任意選択的な実施例において、方法は、表示された第１顔画像を第４顔画像に置き換えることを更に含んでもよい。このように、表示された第１顔画像を第４顔画像に置き換えた後、ユーザは、顔幾何学的属性及びテクスチャ属性が変換された顔画像を確認できる。

幾つかの任意選択的な実施例において、第１顔画像は、一枚の元の画像に対して画像分割を行うことで得られたものであってもよく、方法は、所定の画像（即ち、元の画像）における第１顔画像を第４顔画像に置き換えることを更に含んでもよい。

幾つかの任意選択的な実施例において、第４顔画像と所定の画像における第１顔画像以外の背景領域を融合し、更新された画像を生成する。更新された画像は、所定の画像と比較すると、含まれる背景が同じであるが、顔画像が変換されており、第１顔画像から第４顔画像に変換された。

幾つかの任意選択的な実施例において、方法は、表示された第１顔画像を第２顔画像に置き換えることを更に含んでもよい。本実施例は、第３顔画像及び／又は第４顔画像が生成されていない場合に適用する。表示された第１顔画像を第２顔画像に直接的に置き換えることができる。

上記実施例において、表示されたものは、完全な画像又はビデオフレームであってもよく、第１顔画像は、完全な画像又はビデオフレームにおける一部の画像領域であってもよい。

幾つかの任意選択的な実施例において、望まれたターゲット顔の第２顔幾何学的属性に応じて、顔の顔幾何学的属性変換パラメータを利用して第１キーポイント情報に対して位置変換を行って第２キーポイント情報を得た後、ステップ１３０は、
第２キーポイント情報に基づいて、ターゲット顔のマスクマップを生成することであって、マスクマップにおける顔画像領域の画素ドットは、第１設定値であり、顔画像領域以外の画素ドットは、第２設定値であり、顔画像領域は、顔輪郭を記述する各第２キーポイントで囲まれて形成される、ことと、マスクマップと第１顔画像を融合し、第５顔画像を生成することであって、第５画像に、第１顔画像における顔画像領域が保留された、ことと、第２キーポイント情報に基づいて、ターゲット顔の幾何学的属性の輪郭マップを生成することであって、輪郭マップにおける部位輪郭線上での画素ドットは、第３設定値であり、部位輪郭線以外の画素ドットは、第４設定値であり、部位輪郭線は、各顔部位を記述する第２キーポイントで囲まれて形成される、ことと、第５顔画像及び輪郭マップを前記ニューラルネットワークに入力して顔テクスチャ符号化を行い、第２顔画像を得ることと、を含む。

マスクマップにおける顔画像領域内の画素ドットの画素値は、第１設定値である。顔画像領域以外の画素値は、第２設定値である。第２設定値は、第１設定値と異なる。例えば、第１設定値は、「１」であり、第２設定値は、「０」である。

幾つかの任意選択的な実施例において、マスクマップ及び輪郭マップをニューラルネットワークに直接的に入力し、ニューラルネットワークにより第２顔画像を出力することができる。

別の幾つかの任意選択的な実施例において、第２顔画像の画像品質を向上させるために、更に、マスクマップと第１顔画像を融合し、第５顔画像を得る。第５顔画像の生成方式は、第１顔画像における顔画像領域の画素値をマスクマップにおける顔画像領域の画素値に置き換え、第５顔画像を得ることを含んでもよい。

例えば、図３Ａは、第５顔画像を示す概略図である。

第５顔画像は、マスクマップに比べて、顔領域画素ドットの画素値が単一の第１設定値ではなく、第１顔画像における顔領域の画像であり、ゼロ以外の任意の正数であってもよい。

各部位輪郭線は、顔輪郭線、眉輪郭線、眼輪郭線、鼻輪郭線、口部輪郭線のうちの少なくとも１つを含んでもよい。

輪郭線の形式は複数であり、以下、幾つかの任意選択的な輪郭マップを提供する。

１つ目は、輪郭ヒートマップである。例示的には、輪郭ヒートマップにおいて、各部位輪郭線の幅は、所定個の画素であってもよく、所定個は、１個又は複数個であってもよく、例えば、２から５個の画素などのような所定個の画素である。ターゲット顔輪郭の顔幾何学的属性の輪廓ヒートマップにおいて、輪郭線の所在する領域内で、輪郭画素の所在する位置に近いほど、画素値が大きくなる。且つ、輪郭線の所在する領域内で、輪郭線の所在する位置に遠いほど、画素値が小さくなる。輪郭線の所在する領域外の画素値は、「０」であってもよい。輪郭ヒートマップにおいて、第３設定値の数値は複数であり、具体的には、輪郭画素同士の距離によって決まる。

２つ目は、輪郭結線マップである。輪郭結線マップは、第２キーポイント情報に対応するキーポイント結線で形成された画像である。例えば、輪郭結線マップにおける結線が経過した画素ドットの画素値は、第３設定値であり、結線が経過していない画素ドットの画素値は、第４設定値である。第３設定値は、第４設定値と異なる。図３Ｂは、輪郭結線マップを示す概略図である。図３Ｂにおける第３設定値は、白色画素の画素値であり、第４設定値は、黒色画素の画素値である。輪郭結線マップにおける輪郭の幅は同様に１つ又は複数の画素であってもよい。

幾つかの任意選択的な実施例において、図４に示すように、方法は、以下を更に含む。

ステップ１０１において、第１キーポイント情報に基づいて、第１顔幾何学的属性を決定する。

ステップ１０２において、第２顔幾何学的属性を取得する。

ステップ１２０は、第１顔幾何学的属性及び第２顔幾何学的属性に共通して対応する顔幾何学的属性変換パラメータを利用して、第１キーポイント情報に対して位置変換を行い、第２キーポイント情報を得ることを含んでもよい。

例示的には、第１顔画像における元の顔の形状は、略方形（即ち、四角顔）である可能性があるが、ユーザに望まれた顔型は、瓜実形（即ち、瓜実顔）である。従って、第１キーポイント情報の抽出により、第１顔画像における顔に対応する第１顔幾何学的属性を決定することができる。ユーザ入力又は現在の変換シーンに基づいて、第２顔幾何学的属性を決定することができる。例えば、現在のシーンが顔の若返りである場合、若者の顔は、年長者の顔よりも丸くなる。要するに、本開示の実施例におけるターゲット顔の第２顔幾何学的属性の決定方式は、複数であり、上記例に限定されない。

図５Ａから図５Ｃに示すように、図５Ａは、四角顔を顔幾何学的属性変換パラメータ１により楕円顔に変換することを示す。図５Ｂは、四角顔を顔幾何学的属性変換パラメータ２により瓜実顔に変換することを示す。図５Ｃは、楕円顔を顔幾何学的属性変換パラメータ３により瓜実顔に変換することを示す。

ここで、顔幾何学的属性変換パラメータ１は、顔幾何学的属性変換パラメータ２と異なる。顔幾何学的属性変換パラメータ２は、顔幾何学的属性変換パラメータ３と異なる。顔幾何学的属性変換パラメータ３は、顔幾何学的属性変換パラメータ１と異なる。

第１顔幾何学的属性及び第２顔幾何学的属性を決定した後、必要な幾何学的属性変換関係を決定することができる。顔幾何学的属性変換パラメータを決定し、該顔幾何学的属性変換パラメータを利用して、第１キーポイント情報に対して位置変換を行い、第２キーポイント情報を得ることができる。

幾つかの任意選択的な実施例において、異なる第１顔幾何学的属性に対応する顔幾何学的属性変換パラメータは異なる。例えば、丸顔及び四角顔をそれぞれ瓜実顔に変換する必要がある場合、それぞれ用いられる顔幾何学的属性変換パラメータは、異なる。

別の幾つかの任意選択的な実施例において、異なる第２顔幾何学的属性に対応する顔幾何学的属性変換パラメータは異なる。例えば、丸顔を瓜実顔又は楕円顔にそれぞれ変換する場合、異なる顔幾何学的属性変換パラメータを必要とする。

顔画像は、処理過程において、異なる第１顔幾何学的属性と第２顔幾何学的属性に対応する。様々な顔幾何学的属性変換パラメータを設定することで、異なる顔幾何学的属性の顔同士の高品質な変換を実現させることができる。

幾つかの任意選択的な実施例において、ステップ１３０は、第２キーポイント情報に基づいて、ターゲット顔の幾何学的属性の輪郭マップを生成することであって、輪郭マップにおける部位輪郭線上での画素ドットは、第３設定値であり、部位輪郭線以外の画素ドットは、第４設定値であり、部位輪郭線は、各顔部位を記述する第２キーポイントで囲まれて形成される、ことと、輪郭マップをニューラルネットワークに入力し、顔テクスチャ符号化を行い、第２顔画像を得ることと、を含んでもよい。該方式で生成される第２顔画像のテクスチャは、第１顔画像と異なる可能性があり、顔属性変換の１つの方式としてもよい。

本実施例において、ニューラルネットワークに基づいて、顔テクスチャ符号化処理を行い、第２顔画像を得ることができる。幾つかの任意選択的な実施例において、ニューラルネットワークは、生成ネットワークであってもよい。つまり、生成ネットワークにより、顔テクスチャ符号化処理を行い、第２顔画像を得る。

上記実施例によれば、本開示の実施例は、顔画像処理装置を更に提供する。図６に示すように、本実施例は、顔画像処理装置を提供する。前記装置は、
第１顔画像の第１キーポイント情報を取得するように構成される第１取得モジュール１１０と、
第１キーポイント情報に対して位置変換を行い、第２顔幾何学的属性に合致する第２キーポイント情報を得るように構成される変換モジュール１２０であって、第２顔幾何学的属性は、第１キーポイント情報に対応する第１顔の幾何学的属性と異なる、変換モジュール１２０と、
ニューラルネットワーク及び第２キーポイント情報を利用して、顔テクスチャ符号化処理を行い、第２顔画像を得るように構成される符号化モジュール１３０と、を備える。

幾つかの実施例において、第１取得モジュール１１０、変換モジュール１２０及び符号化モジュール１３０は、プログラムモジュールであってもよい。プログラムモジュールがプロセッサにより実行された後、前記第１キーポイント情報の取得、第１キーポイント情報から第２キーポイント情報への変換及び顔テクスチャ符号化などの操作を実現させることができる。

別の幾つかの実施例において、第１取得モジュール１１０、変換モジュール１２０及び符号化モジュール１３０は、ソフトウェアとハードウェアを組み合わせたモジュールであってもよい。ソフトウェアとハードウェアを組み合わせたモジュールは、プログラマブルアレイを含むが、これに限定されない。プログラマブルアレイは、複合プログラマブルアレイ又はフィールドプログラマブルアレイを含むが、これらに限定されない。

また幾つかの実施例において、第１取得モジュール１１０、変換モジュール１２０及び符号化モジュール１３０は、単純なハードウェアモジュールであってもよい。単純なハードウェアモジュールは、特定用途向け集積回路を含むが、これに限定されない。

幾つかの任意選択的な実施例において、装置は、融合モジュールを更に備え、
変換モジュール１２０は更に、第１キーポイント情報に対して位置変換を行い、第２顔幾何学的属性に合致する第２キーポイント情報を得た後、第２キーポイント情報に基づいて、第１顔画像を調整し、第３顔画像を得るように構成され、
融合モジュールは、符号化モジュール１３０がニューラルネットワーク及び第２キーポイント情報を利用して、顔テクスチャ符号化処理を行い、第２顔画像を得た後、第２顔画像と第３顔画像を融合し、第４顔画像を得るように構成される。

幾つかの実施例において、装置は、表示された第１顔画像を第４顔画像又は第２顔画像に置き換えるように構成される第１置き換えモジュールを更に備える。

幾つかの実施例において、第１顔画像は、所定の画像に含まれ、装置は、第４顔画像と所定の画像における第１顔画像以外の背景領域を融合し、更新された画像を生成するように構成される生成モジュールを更に備える。

幾つかの実施例において、符号化モジュール１３０は、第２キーポイント情報に基づいて、ターゲット顔のマスクマップを生成するように構成され、マスクマップにおける顔画像領域の画素ドットは、第１設定値であり、顔画像以外の画素ドットは、第２設定値であり、上記顔画像領域は、顔輪郭を記述する各第２キーポイントで囲まれて形成され、符号化モジュール１３０は、マスクマップと第１顔画像を融合し、第５顔画像を生成するように構成され、第５画像に、第１顔画像における上記顔画像領域が保留されており、符号化モジュール１３０は、第２キーポイント情報に基づいて、ターゲット顔の幾何学的属性の輪郭マップを生成するように構成され、輪郭マップにおける部位輪郭線上での画素ドットは、第３設定値であり、部位輪郭線以外の画素ドットは、第４設定値であり、部位輪郭線は、各顔部位を記述する第２キーポイントで囲まれて形成され、符号化モジュール１３０は、マスクマップ及び輪郭マップを前記ニューラルネットワークに入力して顔テクスチャ符号化を行い、第２顔画像を得るように構成される。

幾つかの実施例において、装置は、第１キーポイント情報に基づいて、第１顔幾何学的属性を決定するように構成される決定モジュールと、
ターゲット顔の第２顔幾何学的属性を取得するように構成される第２取得モジュールと、を更に備え、
変換モジュール１２０は、第１顔幾何学的属性及び第２顔幾何学的属性に共通して対応する顔幾何学的属性変換パラメータを利用して、第１キーポイント情報に対して位置変換を行い、第２キーポイント情報を得るように構成される。

幾つかの実施例において、異なる第１顔幾何学的属性に対応する顔幾何学的属性変換パラメータは異なり、及び／又は、異なる第２顔幾何学的属性に対応する顔幾何学的属性変換パラメータは異なる。

幾つかの実施例において、符号化モジュール１３０は、第２キーポイント情報に基づいて、ターゲット顔の幾何学的属性の輪郭マップを生成するように構成され、輪郭マップにおける部位輪郭線上での画素ドットは、第３設定値であり、部位輪郭線以外の画素ドットは、第４設定値であり、部位輪郭線は、各顔部位を記述する第２キーポイントで囲まれて形成され、符号化モジュール１３０は、輪郭マップをニューラルネットワークに入力し、顔テクスチャ符号化を行い、第２顔画像を得るように構成される。

以下、上記いずれか１つの実施例を参照しながら、幾つかの具体的な例を提供する。

例１：
顔生成過程において、新たな属性を定義又は選択することで顔変換を誘導すると、実用性が高い。例えば、成人女性の写真に基づいて若化写真を生成する。

顔属性変更について、顔画像幾何学的属性（顔キーポイント情報）及び顔テクスチャ属性という２つの観点から、対応する顔属性生成手段を完了する。幾何学的属性とテクスチャ属性を別々に処理することで、様々な属性のための顔幾何学的属性変換モデルをより好適に制御し、第１キーポイント情報を第２キーポイント情報に、より正確に変換することができる。また、ニューラルネットワーク及び第２キーポイント情報を利用して顔テクスチャ符号化処理を行い、顔幾何学的属性が変換された第２顔画像を得る。

例２：
図７に示すように、本開示の実施例で提供される顔画像処理方法は以下を含んでもよい。

まず、属性変換モジュールは、現在の顔画像の形状情報を取得して様々な顔幾何学的属性に対して属性変換を行う。入力された元の画像（ここで、元の画像は、前記第１顔画像に相当する）に対して、１０６個の顔キーポイントのキーポイント情報（第１キーポイント情報に相当する）の抽出により、１０６個の顔キーポイントのキーポイント情報に基づいて顔の顔幾何学的属性（第１顔幾何学的属性に相当する）を得る。ここの顔幾何学的属性は、顔の形状情報であってもよい。また、望まれた顔幾何学的属性に基づいて、現在のキーポイント信息に対して、対応する位置変換を行う。顔幾何学的属性変換パラメータにより、顔形状の変換を制約する。ここで、キーポイントの位置変換により得られた顔画像は、前記第３顔画像であってもよい。

続いて、変形されたターゲット顔幾何学的属性を初歩的に制約した後、ニューラルネットワーク（例えば、生成ネットワーク）を利用してテクスチャの生成を完了する。これにより、属性に対応する顔テクスチャ符号化処理を生成する。ここで、顔テクスチャ符号化処理により得られた画像は、前記第２顔画像であってもよい。

更に、生成された顔画像を更に処理する。生成された顔の縁、眼球などに生じた自然ではない現象に対して、画像処理方式により、入力された第３顔画像及びネットワークから出力された第２顔画像を融合して最後の出力結果とする。

図７に示すように、該顔画像処理方法は具体的には以下を含んでもよい。

顔キーポイント情報検出ネットワークを構築し、回帰を行い、入力画像の１０６個の顔キーポイントのキーポイント情報を得て、キーポイント情報の位置変換を行い、変換されたキーポイント情報を利用して、入力された顔画像に対して幾何的変形を行い、望ましい属性形状制約に合致する顔画像を出力する。ここで出力された顔画像は、前記第３顔画像であってもよい。

１０６個の顔キーポイントのキーポイント情報に基づいて、顔幾何学的属性変換を行い、望ましい顔幾何学的属性を得る。該顔幾何学的属性は、元の画像を変換するための中間画像に現わされてもよい。

中間画像に対してクロッピング操作を行い、変換された顔を含む画像領域を切り出し、クロップ（ｃｒｏｐ）画像を得る。

クロップ画像に対して顔のキーポイント情報検出を行う。ここで、取得された顔キーポイントのキーポイント情報は、変換に基づいて得られたものであって、再検出しなくてもよい。再検出の目的は、精度を更に確保することである。
クロップ画像に基づいて顔検出を行い、クロップ画像のマスクマップ及びクロップ画像のヒートマップを生成する。

マスクマップ及び対応するヒートマップをニューラルネットワーク（例えば、生成ネットワーク）に入力し、エンコーダーによりテクスチャコードを得る。それと共に、キーポイント情報に対応するヒートマップの形状コードにより、形状制約に合致だけでなく、テクスチャ制約にも合致する属性生成結果を生成し、つまり、生成画像を得る。ここで、生成画像は、前記第２顔画像に相当する。

クロップ画像と生成画像に対して肌色融合を行い、画像融合により、画像生成時に発生し得る細部上の不正確性を補完する。更に、マッピングの方式により、背景情報及び生成した顔を整合して最終的な出力として、融合した顔画像を得る。該融合した顔画像は、前記第４顔画像に相当する。

融合した顔画像で元の画像を置き換え、元の画像における顔画像領域以外の背景と融合して新たな画像を形成する。

上記実施例によれば、本開示の実施例は画像機器を更に提供する。図８に示すように、本実施例は、画像機器を提供する。前記画像機器は、メモリと、メモリに接続され、メモリに記憶されているコンピュータ実行可能な命令を実行することで、前記１つ又は複数の実施例で提供される顔画像処理方法を実現させ、例えば図１から図４及び図７に示した顔画像処理方法のうちの１つ又は複数を実現させるように構成されるプロセッサと、を備える。

該メモリは、ランダムメモリ、読出し専用メモリ、フラッシュのような様々なメモリであってもよい。メモリは、情報記憶に用いられ、例えば、コンピュータ実行可能な命令などの記憶に用いられる。コンピュータ実行可能な命令は、ターゲットプログラム命令及び／又はソースプログラム命令などのような様々なプログラム命令であってもよい。

プロセッサは、例えば、中央演算処理装置、マイクロプロセッサ、デジタル信号プロセッサ、プログラマブルアレイ、デジタル信号プロセッサ、特定用途向け集積回路又は画像処理装置などのような様々なプロセッサであってもよい。

プロセッサは、バスを経由してメモリに接続される。バスは、集積回路バスなどであってもよい。

幾つかの実施例において、画像機器は、通信インタフェースを更に備えてもよい。該通信インタフェースは、例えば、ローカルエリアネットワーク、送受信アンテナなどのようなネットワークインタフェースであってもよい。通信インタフェースも、前記プロセッサに接続され、情報送受信に用いられる。

幾つかの実施例において、画像機器は、マンマシンインタフェースを更に備える。例えば、マンマシンインタフェースは、例えば、キーボード、タッチパネルなどのような様々な入力出力装置を含んでもよい。

本開示の実施例は、コンピュータ記憶媒体を更に提供する。コンピュータ記憶媒体には、コンピュータ実行可能な命令が記憶されており、コンピュータ実行可能な命令が実行された後、前記１つ又は複数の実施例で提供される顔画像処理方法を実現させ、例えば図１から図４及び図７に示した顔画像処理方法のうちの１つ又は複数を実現させる
コンピュータ記憶媒体は、例えば、ＣＤ、フレキシブルディスク、ハードディスク、磁気テープ、光ディスク、Ｕディスク又はリムーバブルハードディスクのような、記録機能を有する様々な記憶媒体であってもよい。任意選択的に、コンピュータ記憶媒体は、非一時的記憶媒体であってもよい。該コンピュータ記憶媒体は、プロセッサにより読み取られ、コンピュータ記憶媒体に記憶されているコンピュータ実行可能な命令がプロセッサにより取得されて実行された後、前記いずれか１つの技術的解決手段で提供される情報処理方法を実現させる。例えば、端末機器に適用した情報処理方法又はアプリケーションサーバに適用した情報処理方法を実行する。

本開示の実施例は、コンピュータプログラム製品を更に提供する。前記コンピュータプログラム製品は、コンピュータ実行可能な命令を含み、コンピュータ実行可能な命令が実行された後、前記１つ又は複数の実施例で提供される顔画像処理方法を実現させ、例えば図１及び図２に示した顔画像処理方法のうちの１つ又は複数を実現させる。

コンピュータプログラム製品は、コンピュータ記憶媒体に有形に含まれるコンピュータプログラムを含み、コンピュータプログラムは、フローチャートに示す方法を実行するためのプログラムコードを含み、プログラムコードは、本開示の実施例で提供される方法のステップを実行するための命令を含む。

本開示で提供される幾つかの実施例において、開示される装置及び方法は、他の方式によって実現できることを理解すべきである。例えば、以上に記載した装置の実施例はただ例示的なもので、例えば、前記ユニットの分割はただロジック機能の分割で、実際に実現する時は他の分割方式によってもよい。例えば、複数のユニット又は組立体を組み合わせてもよく、別のシステムに組み込んでもよい。又は若干の特徴を無視してもよく、実行しなくてもよい。また、示したか或いは検討した相互間の結合又は直接的な結合又は通信接続は、幾つかのインタフェース、装置又はユニットによる間接的な結合又は通信接続であってもよく、電気的、機械的または他の形態であってもよい。

分離部材として説明した該ユニットは、物理的に別個のものであってもよく、そうでなくてもよい。ユニットとして示された部材は、物理的ユニットであってもよく、そうでなくてもよい。即ち、同一の位置に位置してもよく、複数のネットワークに分布してもよい。実際の需要に応じてそのうちの一部又は全てのユニットにより本実施例の方策の目的を実現することができる。

また、本開示の各実施例における各機能ユニットは一つの処理ユニットに集積されてもよく、各ユニットが物理的に別個のものとして存在してもよく、２つ以上のユニットが一つのユニットに集積されてもよい。上記集積したユニットはハードウェアとして実現してもよく、ハードウェアとソフトウェア機能ユニットとを組み合わせて実現してもよい。

矛盾が生じない限り、本開示の任意の実施例で開示される技術的特徴を互いに任意に組み合わせて、新たな方法実施例又は装置実施例を得ることができる。

矛盾が生じない限り、本開示の任意の実施例で開示される方法実施例を互いに任意に組み合わせて、新たな方法実施例を得ることができる。

矛盾が生じない限り、本開示の任意の実施例で開示される装置実施例を互いに任意に組み合わせて、新たな装置実施例を得ることができる。

上記各方法に係る実施例の全部又は一部のステップはプログラム命令に係るハードウェアにより実現され、前記プログラムはコンピュータ読み取り可能な記憶媒体に記憶され、該プログラムが実行される時、上記方法の実施例におけるステップを実行し、前記記憶媒体は、携帯型記憶装置、読出し専用メモリ（ＲＯＭ：Ｒｅａｄ−ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスク又は光ディスクなど、プログラムコードを記憶可能な各種の媒体を含むことは、当業者であれば理解されるべきである。

以上は本開示の具体的な実施形態に過ぎず、本開示の保護の範囲はそれらに制限されるものではなく、当業者が本開示に開示された技術範囲内で容易に想到しうる変更や置換はいずれも、本開示の保護範囲内に含まれるべきである。従って、本開示の保護範囲は特許請求の範囲の保護範囲を基準とするべきである。

本開示の実施例の第４態様によれば、画像機器を提供する。前記画像機器は、メモリと、前記メモリに接続され、前記メモリに記憶されているコンピュータ実行可能な命令を実行することで、前記第１態様のいずれか１つの技術的解決手段により提供される方法の工程を実現させるように構成されるプロセッサと、を備える。
本願明細書は、例えば、以下の項目も提供する。
（項目１）
第１顔画像の第１キーポイント情報を取得することと、
前記第１キーポイント情報に対して位置変換を行い、第２顔幾何学的属性に合致する第２キーポイント情報を得ることであって、前記第２顔幾何学的属性は、前記第１キーポイント情報に対応する第１顔の幾何学的属性と異なる、ことと、
ニューラルネットワーク及び前記第２キーポイント情報を利用して、顔テクスチャ符号化処理を行い、第２顔画像を得ることと、を含む、顔画像処理方法。
（項目２）
前記第１キーポイント情報に対して位置変換を行い、第２顔幾何学的属性に合致する第２キーポイント情報を得た後、前記方法は、
前記第２キーポイント情報に基づいて、前記第１顔画像を調整し、第３顔画像を得ることを更に含み、
ニューラルネットワーク及び前記第２キーポイント情報を利用して、顔テクスチャ符号化処理を行い、第２顔画像を得た後、前記方法は、
前記第２顔画像と前記第３顔画像を融合し、第４顔画像を得ることを更に含むことを特徴とする
項目１に記載の方法。
（項目３）
前記方法は、
表示された前記第１顔画像を前記第４顔画像又は前記第２顔画像に置き換えることを更に含むことを特徴とする
項目２に記載の方法。
（項目４）
前記第１顔画像は、所定の画像に含まれ、前記方法は、
前記第４顔画像と前記所定の画像における前記第１顔画像以外の背景領域を融合し、更新された画像を生成することを更に含むことを特徴とする
項目１に記載の方法。
（項目５）
前記ニューラルネットワーク及び前記第２キーポイント情報を利用して、顔テクスチャ符号化処理を行い、第２顔画像を得ることは、
前記第２キーポイント情報に基づいて、ターゲット顔のマスクマップを生成することであって、前記マスクマップにおける顔画像領域の画素ドットは、第１設定値であり、前記顔画像領域以外の画素ドットは、第２設定値であり、前記顔画像領域は、顔輪郭を記述する各第２キーポイントで囲まれて形成される、ことと、
前記マスクマップと前記第１顔画像を融合し、第５顔画像を生成することであって、前記第５画像は、前記第１顔画像における前記顔画像領域を保留する、ことと、
前記第２キーポイント情報に基づいて、ターゲット顔の幾何学的属性の輪郭マップを生成することであって、前記輪郭マップにおける部位輪郭線上での画素ドットは、第３設定値であり、前記部位輪郭線以外の画素ドットは、第４設定値であり、前記部位輪郭線は、各顔部位を記述する第２キーポイントで囲まれて形成される、ことと、
前記第５顔画像及び前記輪郭マップを前記ニューラルネットワークに入力して顔テクスチャ符号化を行い、前記第２顔画像を得ることと、を含むことを特徴とする
項目１から４のうちいずれか一項に記載の方法。
（項目６）
前記方法は、
前記第１キーポイント情報に基づいて、前記第１顔幾何学的属性を決定することと、
前記第２顔幾何学的属性を取得することと、を更に含み、
前記第１キーポイント情報に対して位置変換を行い、第２顔幾何学的属性に合致する第２キーポイント情報を得ることは、
前記第１顔幾何学的属性及び前記第２顔幾何学的属性に共通して対応する顔幾何学的属性変換パラメータを利用して、前記第１キーポイント情報に対して位置変換を行い、前記第２キーポイント情報を得ることを含むことを特徴とする
項目１から５のうちいずれか一項に記載の方法。
（項目７）
異なる第１顔幾何学的属性に対応する顔幾何学的属性変換パラメータは異なり、及び／又は、異なる前記第２顔幾何学的属性に対応する顔幾何学的属性変換パラメータは異なることを特徴とする
項目６に記載の方法。
（項目８）
前記ニューラルネットワーク及び前記第２キーポイント情報を利用して、顔テクスチャ符号化処理を行い、第２顔画像を得ることは、
前記第２キーポイント情報に基づいて、ターゲット顔の幾何学的属性の輪郭マップを生成することであって、前記輪郭マップにおける部位輪郭線上での画素ドットは、第３設定値であり、前記部位輪郭線以外の画素ドットは、第４設定値であり、前記部位輪郭線は、各顔部位を記述する第２キーポイントで囲まれて形成される、ことと、
前記輪郭マップを前記ニューラルネットワークに入力し、顔テクスチャ符号化を行い、前記第２顔画像を得ることと、を含むことを特徴とする
項目１から４のうちいずれか一項に記載の方法。
（項目９）
第１顔画像の第１キーポイント情報を取得するように構成される第１取得モジュールと、
前記第１キーポイント情報に対して位置変換を行い、第２顔幾何学的属性に合致する第２キーポイント情報を得るように構成される変換モジュールであって、前記第２顔幾何学的属性は、前記第１キーポイント情報に対応する第１顔の幾何学的属性と異なる、変換モジュールと、
ニューラルネットワーク及び前記第２キーポイント情報を利用して、顔テクスチャ符号化処理を行い、第２顔画像を得るように構成される符号化モジュールと、を備える、顔画像処理装置。
（項目１０）
前記装置は、融合モジュールを更に備え、
前記変換モジュールは更に、前記第１キーポイント情報に対して位置変換を行い、第２顔幾何学的属性に合致する第２キーポイント情報を得た後、前記第２キーポイント情報に基づいて、前記第１顔画像を調整し、第３顔画像を得るように構成され、
前記融合モジュールは、前記符号化モジュールがニューラルネットワーク及び前記第２キーポイント情報を利用して、顔テクスチャ符号化処理を行い、第２顔画像を得た後、前記第２顔画像と前記第３顔画像を融合し、第４顔画像を得るように構成されることを特徴とする
項目９に記載の装置。
（項目１１）
前記装置は、
表示された前記第１顔画像を前記第４顔画像又は前記第２顔画像に置き換えるように構成される第１置き換えモジュールを更に備えることを特徴とする
項目１０に記載の装置。
（項目１２）
前記第１顔画像は、所定の画像に含まれ、前記装置は、
前記第４顔画像と前記所定の画像における前記第１顔画像以外の背景領域を融合し、更新された画像を生成するように構成される生成モジュールを更に備えることを特徴とする
項目９に記載の装置。
（項目１３）
前記符号化モジュールは、前記第２キーポイント情報に基づいて、ターゲット顔のマスクマップを生成するように構成され、前記マスクマップにおける顔画像領域の画素ドットは、第１設定値であり、前記顔画像以外の画素ドットは、第２設定値であり、前記顔画像領域は、顔輪郭を記述する各第２キーポイントで囲まれて形成され、前記符号化モジュールは、前記マスクマップと前記第１顔画像を融合し、第５顔画像を生成するように構成され、前記第５画像に、前記第１顔画像における顔画像領域が保留されており、前記符号化モジュールは、前記第２キーポイント情報に基づいて、ターゲット顔の幾何学的属性の輪郭マップを生成するように構成され、前記輪郭マップにおける部位輪郭線上での画素ドットは、第３設定値であり、前記部位輪郭線以外の画素ドットは、第４設定値であり、前記部位輪郭線は、各顔部位を記述する第２キーポイントで囲まれて形成され、前記符号化モジュールは、前記第５顔画像及び前記輪郭マップを前記ニューラルネットワークに入力して顔テクスチャ符号化を行い、前記第２顔画像を得るように構成されることを特徴とする
項目９に記載の装置。
（項目１４）
前記装置は、
前記第１キーポイント情報に基づいて、前記第１顔幾何学的属性を決定するように構成される決定モジュールと、
ターゲット顔の第２顔幾何学的属性を取得するように構成される第２取得モジュールと、を更に備え、
前記変換モジュールは、前記第１顔幾何学的属性及び前記第２顔幾何学的属性に共通して対応する顔幾何学的属性変換パラメータを利用して、前記第１キーポイント情報に対して位置変換を行い、前記第２キーポイント情報を得るように構成されることを特徴とする
項目９から１３のうちいずれか一項に記載の装置。
（項目１５）
異なる前記第１顔幾何学的属性に対応する顔幾何学的属性変換パラメータは異なり、及び／又は、異なる前記第２顔幾何学的属性に対応する顔幾何学的属性変換パラメータは異なることを特徴とする
項目１４に記載の装置。
（項目１６）
前記符号化モジュールは、前記第２キーポイント情報に基づいて、ターゲット顔の幾何学的属性の輪郭マップを生成するように構成され、前記輪郭マップにおける部位輪郭線上での画素ドットは、第３設定値であり、前記部位輪郭線以外の画素ドットは、第４設定値であり、前記部位輪郭線は、各顔部位を記述する第２キーポイントで囲まれて形成され、前記符号化モジュールは、前記輪郭マップを前記ニューラルネットワークに入力し、顔テクスチャ符号化を行い、前記第２顔画像を得るように構成されることを特徴とする
項目９から１５のうちいずれか一項に記載の装置。
（項目１７）
コンピュータ実行可能な命令を記憶するコンピュータ記憶媒体であって、前記コンピュータ実行可能な命令が実行された後、項目１から８のうちいずれか一項に記載の方法の工程を実現させることができる、前記コンピュータ記憶媒体。
（項目１８）
メモリと、
前記メモリに接続され、前記メモリに記憶されているコンピュータ実行可能な命令を実行することで、項目１から８のうちいずれか一項に記載の方法の工程を実現させるように構成されるプロセッサと、を備える、画像機器。

Claims (18)

1. 第１顔画像の第１キーポイント情報を取得することと、
   前記第１キーポイント情報に対して位置変換を行い、第２顔幾何学的属性に合致する第２キーポイント情報を得ることであって、前記第２顔幾何学的属性は、前記第１キーポイント情報に対応する第１顔の幾何学的属性と異なる、ことと、
   ニューラルネットワーク及び前記第２キーポイント情報を利用して、顔テクスチャ符号化処理を行い、第２顔画像を得ることと、を含む、顔画像処理方法。
2. 前記第１キーポイント情報に対して位置変換を行い、第２顔幾何学的属性に合致する第２キーポイント情報を得た後、前記方法は、
   前記第２キーポイント情報に基づいて、前記第１顔画像を調整し、第３顔画像を得ることを更に含み、
   ニューラルネットワーク及び前記第２キーポイント情報を利用して、顔テクスチャ符号化処理を行い、第２顔画像を得た後、前記方法は、
   前記第２顔画像と前記第３顔画像を融合し、第４顔画像を得ることを更に含むことを特徴とする
   請求項１に記載の方法。
3. 前記方法は、
   表示された前記第１顔画像を前記第４顔画像又は前記第２顔画像に置き換えることを更に含むことを特徴とする
   請求項２に記載の方法。
4. 前記第１顔画像は、所定の画像に含まれ、前記方法は、
   前記第４顔画像と前記所定の画像における前記第１顔画像以外の背景領域を融合し、更新された画像を生成することを更に含むことを特徴とする
   請求項１に記載の方法。
5. 前記ニューラルネットワーク及び前記第２キーポイント情報を利用して、顔テクスチャ符号化処理を行い、第２顔画像を得ることは、
   前記第２キーポイント情報に基づいて、ターゲット顔のマスクマップを生成することであって、前記マスクマップにおける顔画像領域の画素ドットは、第１設定値であり、前記顔画像領域以外の画素ドットは、第２設定値であり、前記顔画像領域は、顔輪郭を記述する各第２キーポイントで囲まれて形成される、ことと、
   前記マスクマップと前記第１顔画像を融合し、第５顔画像を生成することであって、前記第５画像は、前記第１顔画像における前記顔画像領域を保留する、ことと、
   前記第２キーポイント情報に基づいて、ターゲット顔の幾何学的属性の輪郭マップを生成することであって、前記輪郭マップにおける部位輪郭線上での画素ドットは、第３設定値であり、前記部位輪郭線以外の画素ドットは、第４設定値であり、前記部位輪郭線は、各顔部位を記述する第２キーポイントで囲まれて形成される、ことと、
   前記第５顔画像及び前記輪郭マップを前記ニューラルネットワークに入力して顔テクスチャ符号化を行い、前記第２顔画像を得ることと、を含むことを特徴とする
   請求項１から４のうちいずれか一項に記載の方法。
6. 前記方法は、
   前記第１キーポイント情報に基づいて、前記第１顔幾何学的属性を決定することと、
   前記第２顔幾何学的属性を取得することと、を更に含み、
   前記第１キーポイント情報に対して位置変換を行い、第２顔幾何学的属性に合致する第２キーポイント情報を得ることは、
   前記第１顔幾何学的属性及び前記第２顔幾何学的属性に共通して対応する顔幾何学的属性変換パラメータを利用して、前記第１キーポイント情報に対して位置変換を行い、前記第２キーポイント情報を得ることを含むことを特徴とする
   請求項１から５のうちいずれか一項に記載の方法。
7. 異なる第１顔幾何学的属性に対応する顔幾何学的属性変換パラメータは異なり、及び／又は、異なる前記第２顔幾何学的属性に対応する顔幾何学的属性変換パラメータは異なることを特徴とする
   請求項６に記載の方法。
8. 前記ニューラルネットワーク及び前記第２キーポイント情報を利用して、顔テクスチャ符号化処理を行い、第２顔画像を得ることは、
   前記第２キーポイント情報に基づいて、ターゲット顔の幾何学的属性の輪郭マップを生成することであって、前記輪郭マップにおける部位輪郭線上での画素ドットは、第３設定値であり、前記部位輪郭線以外の画素ドットは、第４設定値であり、前記部位輪郭線は、各顔部位を記述する第２キーポイントで囲まれて形成される、ことと、
   前記輪郭マップを前記ニューラルネットワークに入力し、顔テクスチャ符号化を行い、前記第２顔画像を得ることと、を含むことを特徴とする
   請求項１から４のうちいずれか一項に記載の方法。
9. 第１顔画像の第１キーポイント情報を取得するように構成される第１取得モジュールと、
   前記第１キーポイント情報に対して位置変換を行い、第２顔幾何学的属性に合致する第２キーポイント情報を得るように構成される変換モジュールであって、前記第２顔幾何学的属性は、前記第１キーポイント情報に対応する第１顔の幾何学的属性と異なる、変換モジュールと、
   ニューラルネットワーク及び前記第２キーポイント情報を利用して、顔テクスチャ符号化処理を行い、第２顔画像を得るように構成される符号化モジュールと、を備える、顔画像処理装置。
10. 前記装置は、融合モジュールを更に備え、
    前記変換モジュールは更に、前記第１キーポイント情報に対して位置変換を行い、第２顔幾何学的属性に合致する第２キーポイント情報を得た後、前記第２キーポイント情報に基づいて、前記第１顔画像を調整し、第３顔画像を得るように構成され、
    前記融合モジュールは、前記符号化モジュールがニューラルネットワーク及び前記第２キーポイント情報を利用して、顔テクスチャ符号化処理を行い、第２顔画像を得た後、前記第２顔画像と前記第３顔画像を融合し、第４顔画像を得るように構成されることを特徴とする
    請求項９に記載の装置。
11. 前記装置は、
    表示された前記第１顔画像を前記第４顔画像又は前記第２顔画像に置き換えるように構成される第１置き換えモジュールを更に備えることを特徴とする
    請求項１０に記載の装置。
12. 前記第１顔画像は、所定の画像に含まれ、前記装置は、
    前記第４顔画像と前記所定の画像における前記第１顔画像以外の背景領域を融合し、更新された画像を生成するように構成される生成モジュールを更に備えることを特徴とする
    請求項９に記載の装置。
13. 前記符号化モジュールは、前記第２キーポイント情報に基づいて、ターゲット顔のマスクマップを生成するように構成され、前記マスクマップにおける顔画像領域の画素ドットは、第１設定値であり、前記顔画像以外の画素ドットは、第２設定値であり、前記顔画像領域は、顔輪郭を記述する各第２キーポイントで囲まれて形成され、前記符号化モジュールは、前記マスクマップと前記第１顔画像を融合し、第５顔画像を生成するように構成され、前記第５画像に、前記第１顔画像における顔画像領域が保留されており、前記符号化モジュールは、前記第２キーポイント情報に基づいて、ターゲット顔の幾何学的属性の輪郭マップを生成するように構成され、前記輪郭マップにおける部位輪郭線上での画素ドットは、第３設定値であり、前記部位輪郭線以外の画素ドットは、第４設定値であり、前記部位輪郭線は、各顔部位を記述する第２キーポイントで囲まれて形成され、前記符号化モジュールは、前記第５顔画像及び前記輪郭マップを前記ニューラルネットワークに入力して顔テクスチャ符号化を行い、前記第２顔画像を得るように構成されることを特徴とする
    請求項９に記載の装置。
14. 前記装置は、
    前記第１キーポイント情報に基づいて、前記第１顔幾何学的属性を決定するように構成される決定モジュールと、
    ターゲット顔の第２顔幾何学的属性を取得するように構成される第２取得モジュールと、を更に備え、
    前記変換モジュールは、前記第１顔幾何学的属性及び前記第２顔幾何学的属性に共通して対応する顔幾何学的属性変換パラメータを利用して、前記第１キーポイント情報に対して位置変換を行い、前記第２キーポイント情報を得るように構成されることを特徴とする
    請求項９から１３のうちいずれか一項に記載の装置。
15. 異なる前記第１顔幾何学的属性に対応する顔幾何学的属性変換パラメータは異なり、及び／又は、異なる前記第２顔幾何学的属性に対応する顔幾何学的属性変換パラメータは異なることを特徴とする
    請求項１４に記載の装置。
16. 前記符号化モジュールは、前記第２キーポイント情報に基づいて、ターゲット顔の幾何学的属性の輪郭マップを生成するように構成され、前記輪郭マップにおける部位輪郭線上での画素ドットは、第３設定値であり、前記部位輪郭線以外の画素ドットは、第４設定値であり、前記部位輪郭線は、各顔部位を記述する第２キーポイントで囲まれて形成され、前記符号化モジュールは、前記輪郭マップを前記ニューラルネットワークに入力し、顔テクスチャ符号化を行い、前記第２顔画像を得るように構成されることを特徴とする
    請求項９から１５のうちいずれか一項に記載の装置。
17. コンピュータ実行可能な命令を記憶するコンピュータ記憶媒体であって、前記コンピュータ実行可能な命令が実行された後、請求項１から８のうちいずれか一項に記載の方法の工程を実現させることができる、前記コンピュータ記憶媒体。
18. メモリと、
    前記メモリに接続され、前記メモリに記憶されているコンピュータ実行可能な命令を実行することで、請求項１から８のうちいずれか一項に記載の方法の工程を実現させるように構成されるプロセッサと、を備える、画像機器。

Images