JP7312853B2 - 人工知能に基づく音声駆動アニメーション方法及び装置、デバイス及びコンピュータプログラム - Google Patents

Description

本出願は、２０１９年８月２９日に中国専利局へ提出された、出願番号を２０１９１０８２０７４２．１、発明の名称を「人工知能に基づく音声駆動アニメーション方法及び装置」とする中国特許出願に対する優先権の利益を主張し、その内容全体が援用により本明細書に組み込まれる。

本開示は、データ処理分野に関し、特に人工知能に基づく音声駆動型アニメーションに関する。

現在、音声から仮想的な顔動画を生成する技術が、工業界応用分野において研究ヒットになりつつある。例えば、任意の話者による音声断片を対象とし、アニメーションキャラクターを駆使して当該音声断片に適応した唇形状を作り出させるように設計することができる。このシナリオにおいて、アニメーションキャラクターの存在により現実感が大幅に向上し、表現力が高まり、より高品質のインタラクティブな体験をユーザに提供することが可能となる。

１つの方法は、Ｓｐｅｅｃｈ２Ｆａｃｅシステムによって前記技術を実現することである。一般的には、ある話者の音声に対して、当該システムは音声から音響的特徴、例えばメル周波数ケプストラム係数（Ｍｅｌ Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒａｌ Ｃｏｅｆｆｉｃｉｅｎｔ，ＭＦＣＣ）を抽出後、マッピングモデルによって、音響的特徴に基づいて調整可能なアニメーションキャラクターの表情パラメータを特定し、当該表情パラメータごとに、当該音声断片に対応する唇形状を作り出すように当該アニメーションキャラクターを制御することができる。

しかしながら、抽出された音響的特徴には、話者自体に関する情報が含まれているから、これを元に構築されたマッピングモデルは、特定の話者の音声から、対応する表情パラメータを正確に特定できるが、話者が変わると、マッピングモデルによって特定される表情パラメータに大きな偏差が発生し、これを元に駆動されるアニメーションキャラクターの唇形状は音声と一致しなくなるから、インタラクティブな体験が低下してしまう。

前記技術的課題を解決すべく、本出願は、任意の話者に対応する被処理音声でも効果的にサポートでき、インタラクティブな体験が向上され得る、人工知能に基づく音声駆動アニメーション方法及び装置を提供する。

本出願の実施形態は、以下のような技術案を開示する。

第一側面では、本出願の実施形態は、オーディオ・ビデオ処理デバイスによって実行される音声駆動アニメーション方法を提供する。前記方法は、
複数の音声フレームを含む被処理音声を取得するステップと、
前記被処理音声の音声フレームに対応する言語的情報を特定するステップであって、前記言語的情報は、前記被処理音声の音声フレームが属する音素の分布可能性を示すステップと、
前記言語的情報に基づいて、前記被処理音声の音声フレームに対応する表情パラメータを特定するステップと、
前記表情パラメータに基づいて、アニメーションキャラクターが前記被処理音声に対応する表情を作り出すように、前記アニメーションキャラクターを駆動するステップとを含む。

第二側面では、本出願の実施形態は、オーディオ・ビデオ処理デバイスに搭載されており、取得ユニットと、第１の特定ユニットと、第２の特定ユニットと、駆動ユニットとを備える音声駆動アニメーション装置を提供する。
前記取得ユニットは、複数の音声フレームを含む被処理音声を取得する；
前記第１の特定ユニットは、前記被処理音声の音声フレームに対応する言語的情報を特定し、前記言語的情報は前記被処理音声の音声フレームが属する音素の分布可能性を示す；
前記第２の特定ユニットは、前記言語的情報に基づいて、前記被処理音声の音声フレームに対応する表情パラメータを特定する；
前記駆動ユニットは、前記表情パラメータに基づいて、アニメーションキャラクターが前記被処理音声に対応する表情を作り出すように、前記アニメーションキャラクターを駆動する。

第三側面では、本出願の実施形態は、プロセッサ及びメモリを備えるアニメーションを音声駆動するためのデバイスを提供する。
前記メモリは、プログラムコードを記憶すると共に、前記プログラムコードをプロセッサに伝送するものである；
前記プロセッサは、前記プログラムコードにおける命令に従って、第一側面に記載された方法を実行するものである。

第四側面では、本出願の実施形態は、第一側面に記載された方法を実行するためのプログラムコードを記憶したコンピュータ可読記憶媒体を提供する。

前記技術案により明らかなように、複数の音声フレームを含む被処理音声が取得されると、被処理音声の音声フレームに対応する言語的情報が特定され得る。各々の言語的情報は、対応する音声フレームが属する音素の分布可能性を示し、即ち音声フレームに含まれるコンテンツがある音素に該当する確率分布を反映する。当該言語的情報に付される情報は、被処理音声を出している実際の話者とは無関係であることから、これ以降の表情パラメータの特定に対する異なる話者の発音習慣による影響を相殺することができる。また言語的情報ごとに特定された表情パラメータに基づいて、被処理音声に対応する表情、例えば唇形状を作り出すようにアニメーションキャラクターを正確に駆動できるので、任意の話者に対応する被処理音声を効果的にサポートし、インタラクティブな体験を向上させることができる。

本出願の実施形態または先行技術の技術案をより明瞭に説明するために、以下で、実施形態または先行技術を記述するのに必要な添付図面について簡単に紹介する。明らかなように、下記に示す図面は、本開示の幾つかの実施形態に過ぎず、当業者は進歩性に値する労働を付することなく、これらの図面に基づいて他の図面を得ることもできる。
関連技術に採用されたＳｐｅｅｃｈ２Ｆａｃｅシステムである。 本出願の実施形態による音声駆動アニメーション方法の適用シナリオを示す概略図である。 本出願の実施形態による音声駆動アニメーション方法の流れを示すフローチャートである。 本出願の実施形態によるＳｐｅｅｃｈ２Ｆａｃｅのシステムアーキテクチャを示す概略図である。 本出願の実施形態によるＡＳＲモデルの訓練過程を示す概略図である。 本出願の実施形態によるＤＮＮモデルに基づく表情パラメータの特定を示す概略図である。 本出願の実施形態による隣接コンテキスト音声フレームの概略図である。 本出願の実施形態による間隔コンテキスト音声フレームの概略図である。 本出願の実施形態によるＬＳＴＭモデルに基づく表情パラメータの特定を示す概略図である。 本出願の実施形態によるＢＬＳＴＭモデルに基づく表情パラメータの特定を示す概略図である。 本出願の実施形態による音声駆動アニメーション装置のブロック図である。 本出願の実施形態による端末デバイスのブロック図である。 本出願の実施形態によるサーバーのブロック図である。

以下で、図面を参照しながら、本出願の実施形態について説明する。

関連技術に採用されたＳｐｅｅｃｈ２Ｆａｃｅシステムは図１に示されている。話者の音声に対して、当該システムは音声に対して音響的特徴を抽出してＭＦＣＣを取得する。その後、マッピングモデルを介して音響的特徴に基づいて表情パラメータを特定する。設定された、表情パラメータを調整することで表情（唇形状など）を調整できるアニメーションキャラクターについて、特定された表情パラメータを用いてアニメーションキャラクターを調整し、この音声に対応するアニメーションキャラクターを作り出す。

ところが、関連技術から抽出された音響的特徴は、話者に関っているため、話者が変わると、マッピングモデルによって特定される表情パラメータに大きな偏差が発生し、これを元に駆動されるアニメーションキャラクターの唇形状は音声と一致しなくなるから、インタラクティブな体験が低下してしまう。

そこで、本出願の実施形態では、複数の音声フレームを含む被処理音声が取得されると、被処理音声における音声フレームに対応する言語的情報が特定され得る人工知能に基づく音声駆動アニメーション（ｖｏｉｃｅ－ｄｒｉｖｅｎ ａｎｉｍａｔｉｏｎ，「音声によってアニメーションを駆動する」こと）方法が提案されている。関連技術から抽出された音響的特徴、例えばＭＦＣＣと比べて、言語的情報に付される情報は、被処理音声を出している実際の話者とは無関係であることから、これ以降の表情パラメータの特定に対する異なる話者の発音習慣による影響が避けられるようになる。したがって、任意の話者に対応する被処理音声に対しても、言語的情報に基づいて表情パラメータを特定できるため、被処理音声に対応する表情を作り出すようにアニメーションキャラクターを正確に駆動できる。

なお、本開示の実施形態による音声駆動アニメーション方法は、人工知能を利活用して実現される。人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ，ＡＩ）は、デジタルコンピュータまたはデジタルコンピュータによって制御される機器を利用し、人間の知能をシミュレート、延伸、拡充し、環境を感知し、知識を獲得し、知識を利活用して最良の結果を得るための理論、方法、技術およびアプリケーションシステムである。言い換えれば、人工知能はコンピュータサイエンスの包括的な技術であり、知能の本質を理解し、人間の知能と似た方式で反応できる新しいインテリジェントマシンを生み出すことを目指している。人工知能は、即ち様々なインテリジェントマシンの設計原理や実現方法について研究し、マシンに感知、推論及び意思決定の機能を持たせるような技術である。

人工知能技術は、幅広い分野をカバーする包括的な学科であり、ハードウェアレベルの技術とソフトウェアレベルの技術の両方を含む。人工知能の基本的な技術には、一般的に、センサ、専用の人工知能チップ、クラウドコンピューティング、分散ストレージ、ビッグデータ処理技術、オペレーティング／インタラクティブシステム、メカトロニクスなどの技術が含まれている。人工知能のソフトウェア技術には、主にコンピュータビジョン技術、音声処理技術、自然言語処理技術及び機械学習／深層学習など幾つかの大方向が含まれている。

本出願の実施形態では、主に、前記音声処理技術および機械学習などの人工知能ソフトウェア技術に関わる。

例えば、それは、音声技術（Ｓｐｅｅｃｈ Ｔｅｃｈｎｏｌｏｇｙ）の中の音声認識技術に関わり、音声信号前処理（Ｓｐｅｅｃｈ ｓｉｇｎａｌ ｐｒｅｐｒｏｃｅｓｓｉｎｇ）、音声信号周波数分析（Ｓｐｅｅｃｈ ｓｉｇｎａｌ ｆｒｅｑｕｅｎｃｙ ａｎａｌｙｚｉｎｇ）、音声信号特徴抽出（Ｓｐｅｅｃｈ ｓｉｇｎａｌ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ）、音声信号特徴マッチング／認識（Ｓｐｅｅｃｈ ｓｉｇｎａｌ ｆｅａｔｕｒｅ ｍａｔｃｈｉｎｇ／ｒｅｃｏｇｎｉｔｉｏｎ）、音声訓練（Ｓｐｅｅｃｈ ｔｒａｉｎｉｎｇ）などが含まれる。

例えば、機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ，ＭＬ）に関わる。機械学習は、確率論、統計学、近似理論、凸解析、アルゴリズム複雑理論など様々な分野に跨る学科であり、人間の学習行動をシミュレートまたは実現する方法に特化し、新しい知識やスキルを学習し、既存の知識構造を再編成して自身のパフォーマンスを改善し続けることを目指している。機械学習は人工知能の中の要素技術であり、コンピュータをインテリジェントにするための根本的な手法ともいえ、人工知能の各分野に幅広く適用されている。機械学習は通常、深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）などの技術を含む。深層学習には、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＣＮＮ）、再帰型ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＲＮＮ）、ディープニューラルネットワーク（Ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ，ＤＮＮ）などの人工ニューラルネットワーク（ａｒｔｉｆｉｃｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）が含まれている。

本出願の実施形態による人工知能に基づく音声駆動アニメーション方法は、アニメーションを駆動する能力を有するオーディオ・ビデオ処理デバイスに適用され得る。当該オーディオ・ビデオデバイスは端末デバイスまたはサーバーであり得る。

当該オーディオ・ビデオデバイスは、音定技術の自動音声認識技術（ＡＳＲ）及び声紋認識を実施する機能を具備する。オーディオ・ビデオデバイスが聞く、見る、感じることを可能にすることは、ヒューマンコンピュータインタラクションの今後の開発方向とされ、中でも、音声は、将来に最も期待されるヒューマンコンピュータインタラクションの実施方式の一つとして位置付けられている。

本出願の実施形態では、オーディオ・ビデオ処理デバイスは、上記の音声技術を実施することによって、取得済みの被処理音声を認識し、被処理音声の音声フレームに対応する言語的情報などを特定することができる。機械学習技術によりニューラルネットワークマッピングモデルを訓練し、訓練して得られたニューラルネットワークマッピングモデルによって、言語的情報に基づいて表情パラメータを特定し、被処理音声に対応する表情を作り出すようにアニメーションキャラクターを駆動する。

ここで、オーディオ・ビデオ処理デバイスが端末デバイスである場合、この端末デバイスは、スマート端末、コンピュータ、パーソナルデジタルアシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ，ＰＤＡと略称する）、タブレットコンピュータなどであり得る。

また、オーディオ・ビデオ処理デバイスがサーバーである場合、このサーバーは独立サーバーまたはクラスターサーバーであり得る。サーバーは当該音声駆動アニメーション方法を実施する場合、表情パラメータを特定し、被処理音声に対応する表情を作り出すように、この表情パラメータを利用して端末デバイス上に表示されるアニメーション画像を駆動する。

なお、本出願の実施形態による音声駆動アニメーション方法は、ニュース放送や天気予報、ゲーム解説など人間が行っている業務を置き換える各種適用シナリオに利用されるか、さらに心理医師や仮想アシスタントなど個人向けの１対１サービスなどプライベートサービスの提供にも利用され得る。これらのシナリオでは、表情を作り出すように本出願の実施形態による方法を利用してアニメーションを駆動することによって、現実感が大幅に向上され、表現力が高められるようになる。

本出願の技術案を容易に理解するために、以下で実際の適用シナリオと結び付けて本出願の実施形態による音声駆動アニメーション方法について説明する。

図２を参照すると、図２は本出願の実施形態による音声駆動アニメーション方法の適用シナリオを示す概略図である。この適用シナリオでは、オーディオ・ビデオ処理デバイスを端末デバイスとする例を取り上げて説明する。この適用シナリオには、複数の音声フレームを含む被処理音声を取得できる端末デバイス２０１が備えられる。被処理音声は、任意の話者に対応する音声、例えば、話者が出している音声であり得る。本実施形態は、被処理音声のタイプを限定せず、被処理音声は、話者が話している音声、または話者が歌っている歌声であってもよい。また、本実施形態は、被処理音声の言語種類をも限定せず、例えば被処理音声は、中国語、英語などでも構わない。

被処理音声は、端末装置２０１を介して話者が入力した音声だけではなく、場合によっては、本出願の実施形態による方法の対象となる被処理音声は、テキストから生成された音声でもあり得ることが理解されるべきであろう。つまり、テキストが端末装置２０１を介して入力され、インテリジェントスピーチプラットフォームによって、話者の発声特徴に適応した音声に変換し、この音声を被処理音声として扱う。

音素は、音声の自然な特性ごとに分割された最小の音声単位であるため、音節の発音アクションに基づいて分析され、１つのアクション（唇形状など）が１つの音素を構成する。つまり、音素は話者とは何の関係もなく、話者が誰であるか、被処理音声が英語か中国語か、音素に対応するテキストが同じであるかどうかにも係わらず、被処理音声における音声フレームに対応する音素が同じであれば、対応する表情、例えば唇形状が一致することになる。音素の特性に基づいて、本実施形態では、端末デバイス２０１は被処理音声の音声フレームに対応する言語的情報を特定し、言語的情報は、対応する音声フレームが属する音素の分布可能性を示し、即ち音声フレームに含まれるコンテンツがある音素に該当する確率分布を反映し、これにより音声フレームに含まれるコンテンツが属する音素を特定することができる。

このように、上記の関連内容に係る関連技術に言及された音響的特徴と比べて、言語的情報に付される情報は、被処理音声を出している実際の話者とは無関係であり、話者が誰であるか、音声フレームに含まれるコンテンツに対応するテキストが何であるかにも係らず、音声フレームに含まれるコンテンツが属する音素（言語的情報）は特定され得る。例えば、音声フレームに含まれるコンテンツが属する音素は「ａ」であると特定された場合、音素「ａ」に対応する話者が異なり、対応するテキストも異なったとしても、発声音素が「ａ」であると判断されれば、音素「ａ」に対応する表情、例えば唇形状が一致するものである。そのため、端末デバイス２０１は言語的情報に基づいて表情パラメータを精度よく特定し、これで被処理音声に対応する表情を作り出すようにアニメーションキャラクターを正確に駆動することができるので、表情パラメータの特定に対する異なる話者の発音習慣による影響が避けられ、インタラクティブな体感が向上され得る。

続いて、図面を参照しながら本出願の実施形態による音声駆動アニメーション方法について詳しく説明する。

図３を参照すると、音声駆動アニメーション方法の流れを示すフローチャートである。前記方法は、以下のステップを含む。

ステップＳ３０１：被処理音声を取得する。

端末デバイスがオーディオ・ビデオ処理デバイスである例を取り上げて説明する。話者が被処理音声をマイクロフォンを介して端末デバイスに入力し、被処理音声に基づいて被処理音声に対応する表情をアニメーションキャラクターに作り出させることが意図される場合、端末デバイスは当該被処理音声を受信する。本出願の実施形態では、話者や被処理音声のタイプ、言語種類などは限定されない。当該方法は、任意の話者に対応する音声をサポートでき、即ち任意の話者に対応する音声を処理対象とすることができる。また当該方法は多言語にも対応可能であり、即ち被処理音声の言語種類は中国語、英語、フランス語など多言語でも構わない。さらに当該方法は歌声音声をもサポートでき、即ち被処理音声は、話者が歌っている音声でも構わない。

ステップＳ３０２：前記被処理音声の音声フレームに対応する言語的情報を特定する。

端末デバイスは、被処理音声の言語的情報を抽出して、被処理音声の音声フレームに対応する言語的情報を特定することができる。ここで、言語的情報は、話者とは無関係な情報であり、前記被処理音声の音声フレームが属する音素の分布可能性を示すために使用される。本実施形態では、言語的情報は、音素事後確率（Ｐｈｏｎｅｔｉｃ Ｐｏｓｔｅｒｉｏｒ ｇｒａｍｓ，ＰＰＧ）、ボトルネック（ｂｏｔｔｏｍｎｅｃｋ）特徴および埋め込み（ｉｍｂｅｄｄｉｎｇ）特徴のいずれか１つまたは複数の組み合わせを含み得る。これ以降の実施形態では、主に言語的情報がＰＰＧとされる場合について説明する。

なお、本出願の実施形態では、アニメーションの音声駆動を実現する際に用いられるシステムもＳｐｅｅｃｈ２Ｆａｃｅシステムであるが、本出願の実施形態で用いられるＳｐｅｅｃｈ２Ｆａｃｅシステムは、前述の関連技術に係るＳｐｅｅｃｈ２Ｆａｃｅシステムとは異なり、本出願の実施形態によるＳｐｅｅｃｈ２Ｆａｃｅシステムのアーキテクチャは、図４に示されている。当該Ｓｐｅｅｃｈ２Ｆａｃｅシステムは、主に４つの部分で構成されている。第１の部分は、訓練によって自動音声認識（Ａｕｔｏｍａｔｉｃ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ，ＡＳＲ）モデルを得、ＰＰＧ抽出に使用することである。第２の部分は、訓練済みのＡＳＲモデルによって、被処理音声のＰＰＧを特定することである（例えばＳ３０２）。第３の部分は、音響パラメータから表情パラメータへのマッピングであり、即ち音素事後確率ＰＰＧに基づいて、被処理音声の音声フレームに対応する表情パラメータを特定することである（例えばＳ３０３）。図４は、ニューラルネットワークマッピングモデルによって、ＰＰＧに基づいて被処理音声の音声フレームに対応する表情パラメータを特定する例を示している。第４の部分は、表情パラメータに基づいて、設計済みの３Ｄアニメーションキャラクターを駆動して、被処理音声に対応する表情を作り出すことである（例えばＳ３０４）。

本実施形態に言及されている音素としては、多言語の言語的情報抽出を達成するために、中国語音素、英語音素など多言語を含む２１８音素が存在している。言語的情報はＰＰＧである場合、得られたＰＰＧは２１８次元のベクトルになる。

一の実現方式では、端末デバイスは、ＡＳＲモデルによって言語的情報の抽出を実現できる。このような状況下で、言語的情報がＰＰＧであることを例に説明すると、ＰＰＧの抽出を可能にするために、ＡＳＲモデル（即ち前記第１部分）を事前に訓練しなければならない。ＡＳＲモデルは、音声セグメントと音素の対応付け関係を含む訓練用サンプルを訓練することによって得られる。実際の訓練中に、ＡＳＲモデルは、Ｋａｌｄｉから提供されるＡＳＲインタフェース経由で、訓練用サンプルを含むＡＳＲデータセットが提供された状況下で訓練される。Ｋａｌｄｉはオープンソースの音声認識ツールキットであり、ディープビリーフネットワーク－ディープニューラルネットワーク（Ｄｅｅｐ Ｂｅｌｉｅｆ Ｎｅｔｗｏｒｋ－Ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ，ＤＢＮ－ＤＮＮ）に基づくネットワーク構造を使用して、抽出されたＭＦＣＣに基づいて音声フレームが各音素に属する確率、即ちＰＰＧを予測し、これで、出力された音素を分類化する。ＡＳＲモデルの訓練過程は、図５の点線に示されている。前記ＡＳＲモデルが訓練によって構築された後、被処理音声が前記ＡＳＲモデルに入力されると、被処理音声の音声フレームに対応するＰＰＧが出力され、これで後続の表情パラメータの特定が可能になる。ここで、ＡＳＲモデルは実際にＤＮＮモデルであり得る。

ＡＳＲモデルの訓練方式を踏まえて、ＡＳＲモデルによって言語的情報を特定する方法としては、被処理音声の音声フレームに対応する音響的特徴を特定し、その後、当該音響的特徴に対応する言語的情報を特定する方法が挙げられる。ここで、当該音響的特徴は前記関連内容に言及された関連技術に係る音響的特徴、例えばＭＦＣＣでもよい。

なお、ＡＳＲモデルを訓練するためのＡＳＲデータセットを作成する際に、ノイズの多い音声セグメントの状況が考慮されるため、ノイズに対する適応性が高いので、ＭＦＣＣなど関連技術に用いられた音響的特徴と比べて、ＡＳＲモデルによって抽出された言語的情報は、堅牢性がより一層補強される。

ステップＳ３０３：前記言語的情報に基づいて、前記被処理音声の音声フレームに対応する表情パラメータを特定する。

表情パラメータは、アニメーションキャラクターを駆動して、被処理音声に対応する表情を作り出すために使用され、即ち特定された表情パラメータに基づいて、事前に作成されたアニメーションキャラクターの表情パラメータを調整し、アニメーションキャラクターに被処理音声に一致する表情を作り出して出力させる。

通常、アニメーションキャラクターの表情は、顔の表情と体勢の表情を含み得る。顔表情には、例えば唇形状、五官の動き及び頭の姿勢などが含まれ、体勢の表情には、体の動き、ジェスチャー及び歩行姿勢などが含まれる。

一の実現方式では、例えば図４の点線枠に示されているように、Ｓ３０３は、言語的情報に基づいて、ニューラルネットワークによって被処理音声の音声フレームに対応する表情パラメータを特定するように実現され得る。ここで、ニューラルネットワークマッピングモデルは、ＤＮＮモデル、長短期記憶ネットワーク（Ｌｏｎｇ Ｓｈｏｒｔ－Ｔｅｒｍ Ｍｅｍｏｒｙ，ＬＳＴＭ）モデル、または双方向長短期記憶ネットワーク（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｌｏｎｇ Ｓｈｏｒｔ－ｔｅｒｍ Ｍｅｍｏｒｙ，ＢＬＳＴＭ）モデルを含み得る。

ニューラルネットワークマッピングモデルは事前に訓練によって得られたものである。ニューラルネットワークマッピングモデルは、言語的情報から表情パラメータへのマッピングを実現する。つまり、言語的情報が入力されると、被処理音声の音声フレームに対応する表情パラメータが出力されるようになる。

言語的情報は表情の中の唇形状との相関性が更に高いことから、言語的情報から唇形状への特定がより精確になる。また、唇形状以外の他の表情は、被処理音声に対応する感情との相関性が更に高いことから、表情パラメータをより精確に特定し、表情パラメータでアニメーションキャラクターを駆動してより豊かな表情を反映させ、例えばアニメーションキャラクターに唇を動かすと同時に大笑いしたり、瞬きをしたりさせることを可能にするために、Ｓ３０３の一の実現可能な方式は図５に示されているように（図５では、言語的情報がＰＰＧであることを例にする）、訓練済みのＡＳＲモデルによって音声フレームのＰＰＧを取得後、ＰＰＧ（即ち言語的情報）を予め表記された感情ベクトルと結び合わせて最終的な特徴とし、これでＰＰＧと被処理音声に対応する感情ベクトルとを統合して、被処理音声の音声フレームに対応する表情パラメータを特定する。

それらの中で、感情に関して、本実施形態では、喜び、悲しみ、怒り及び正常な状態を含む４種類の一般的な感情が用いられている。感情ベクトルは感情を表現するものであり、１－ｏｆ－Ｋのコーディング手法を採用し、即ち長さを４とし、４つの次元上においてそれぞれに１をとり、他の次元を０としたとき、４種類の感情を表すための４つのベクトルを得る。音声フレームのＰＰＧが決定されると、２１８次元のベクトルが得られ、被処理音声の４次元感情ベクトルと結び合わせると、後でニューラルネットワークマッピングモデルの入力とする２２２次元の特徴ベクトルが得られる。

なお、本実施形態に使用されるニューラルネットワークに基づくニューラルネットワークマッピングモデルはまた、Ｔａｃｏｔｒｏｎ ｄｅｃｏｄｅｒよって置き換えられる。ここで、Ｔａｃｏｔｒｏｎ ｄｅｃｏｄｅｒは、エンドツーエンドの音声合成に利用される注意モデルである。

ステップＳ３０４：前記表情パラメータに基づいて、アニメーションキャラクターを駆動して前記被処理音声に対応する表情を反映させる。

アニメーションキャラクター自体に対して、アニメーションキャラクターは３Ｄ画像または２Ｄ画像であり得るが、本実施形態では限定されない。例えば、作成されたアニメーションキャラクターは、図２のアニメーションキャラクターに示される通りであり、当該アニメーションキャラクターを利用して新年の挨拶を行うとき、仮に被処理音声が「明けましておめでとうございます！お金持ちになり良いことがたくさんありますように」と想定された場合、当該被処理音声に基づいて表情パラメータを特定し、当該アニメーションキャラクターを駆動して「明けましておめでとうございます！お金持ちになり良いことがたくさんありますように」と発音する表情（唇形状）を作り出すことができる。もちろん、唇形状以外の他の表情も作れる。

前記技術案により明らかなように、複数の音声フレームを含む被処理音声が取得されると、被処理音声の音声フレームに対応する言語的情報が特定され得る。各々の言語的情報は、対応する音声フレームが属する音素の分布可能性を示し、即ち音声フレームに含まれるコンテンツがある音素に該当する確率分布を反映する。当該言語的情報に付される情報は、被処理音声を出している実際の話者とは無関係であることから、これ以降の表情パラメータの特定に対する異なる話者の発音習慣による影響を相殺することができる。また言語的情報ごとに特定された表情パラメータに基づいて、被処理音声に対応する表情、例えば唇形状を作り出すようにアニメーションキャラクターを正確に駆動できるので、任意の話者に対応する被処理音声を効果的にサポートし、インタラクティブな体験を向上させることができる。

一の実現方式では、被処理音声には複数の音声フレームが含まれている。次に、被処理音声の中の１つの音声フレームを対象音声フレームとする例を取り上げて、対象音声フレームに対して、Ｓ３０３において、対象音声フレームに対応する表情パラメータをどのように特定するかについて詳細に説明する。

音声の同時調音現象により、対象音声フレームに対応する唇形状などの表情はそのコンテキスト音声フレームと短時間で関連付けられるようになるので、対象音声フレームに対応する表情パラメータを正確に特定するために、表情パラメータの特定に際しては、コンテキスト音声フレームと結合して、即ち対象音声フレームが属する音声フレームセットを先に特定し、当該音声フレームセットには、対象音声フレームと音声フレームのコンテキスト音声フレームが含まれているから、音声フレームセットにおける音声フレームのそれぞれに対応する言語的情報に基づいて、対象音声フレームに対応する表情パラメータを特定することができる。

ニューラルネットワークマッピングモデルを使用して表情パラメータを特定する場合は、使用するニューラルネットワークマッピングモデルによって、音声フレームセットを特定する方法及び音声フレームセット内の音声フレーム数が異なっていくことは理解されるべきであろう。ニューラルネットワークマッピングモデルがＤＮＮモデル、つまりフォワードリンクに基づく分類器である場合、図６に示すように、ＤＮＮモデルの入力要件は固定長であるので、可変長シーケンスの入力によるシーケンス予測の代わりに、１フレームごとに入力して予測することが考慮される。対象音声フレームの表情パラメータをコンテキスト音声フレームの情報と組み合わせて特定する必要があるので、コンテキスト音声フレームを導入する目的を達成するために、入力時には、１フレームではなく、入力された被処理音声を中心にウィンドウ付加処理を施し、ウィンドウ内の音声フレームを短時間シーケンスとして同時に入力する。このとき、ウィンドウ内の音声フレームは、対象音声フレームと複数の音声フレームを含み、音声フレームセットを構成する。このように、所定のウィンドウ長さを選定することにより、自然にＤＮＮモデルの入力要件を満足できることが明らかである。

この場合に、音声フレームセット内の音声フレーム数はウィンドウ長さによって決定される。また、ウィンドウ長はニューラルネットワークマッピングモデルの入力要件を反映する。即ち、音声フレームセット内の音声フレーム数は、ニューラルネットワークマッピングモデルによって特定される。

図６を例に説明すると、ＰＰＧが２１８次元のベクトルで表され、ウィンドウ長さが７とした場合、ＤＮＮモデルへの入力は、対象音声フレームを含む７つの音声フレーム（ウィンドウ長さが限られたＰＰＧ入力）となり、即ち音声フレームセット内の音声フレーム数は７フレームであり、それぞれの音声フレームは１つのＰＰＧ（合計２１８次元）に対応している。そこで、７フレームの場合は、２１８×７次元のベクトルに対応する。図６における各丸形状は、１次元パラメータを表す。７つの音声フレームのそれぞれに対応するＰＰＧが入力されると、対象音声フレームに対応する表情パラメータが出力され得る。

ＤＮＮモデルは、モデリングが簡単で訓練時間が短く、かつストリーミング作業をサポートでき、つまりシーケンス全体を一度に入力する必要がなく１フレームごとに入力すればよいという利点がある。

なお、ニューラルネットワークマッピングモデルがＤＮＮモデルである場合、本実施形態は、種々の方法で音声フレームセット内の複数の音声フレームを選択できる。それらの中で、一の実現可能な方式は、対象音声フレームの隣接コンテキスト音声フレームを対象音声フレームのコンテキスト音声フレームとして使用することである。例えば、対象音声フレームを中心に同じ数の隣接先行音声フレームと隣接後続音声フレームを選定する。図７に示すように、ウィンドウ長さを７、対象音声フレームをＸｔとした場合（Ｘｔはｔ番目の音声フレーム）、Ｘｔの隣接コンテキスト音声フレームは、Ｘｔ－３、Ｘｔ－２、Ｘｔ－１、Ｘｔ＋１、Ｘｔ＋２、及びＸｔ＋３を含むことになる。

別の実現可能な方式は、対象音声フレームの間隔コンテキスト音声フレームを、対象音声フレームのコンテキスト音声フレームとして使用することである。本実施形態では、コンテキスト音声フレームの間隔方式は制限されない。例えば、乗算法によりフレームを選定することができ、即ちコンテキスト音声フレームは、等比数列の形または等差数列の形で倍増的に選択され得る。図８に示すように、ウィンドウ長さを７、対象音声フレームをＸｔとした場合、コンテキスト音声フレームは幾何学的シーケンスを乗算した形式で選択され、Ｘｔの間隔コンテキスト音声フレームは、Ｘｔ－４、Ｘｔ－２、Ｘｔ－１、Ｘｔ＋１、Ｘｔ＋２およびＸｔ＋４を含むことになる。

また、ニューラルネットワークマッピングモデルがＬＳＴＭモデルまたはＢＬＳＴＭモデルの場合、両者の入力が類似し、何れも１つの語句を表現する音声フレームを直接に入力できる。１つの語句を表現する音声フレームを特定する際に、被処理音声を切り出し、例えば被処理音声におけるサイレントセグメントに対して音声切出を行い、音声切出結果を得ることができる。音声切出結果のうち切出された各音声セグメントは１つの語句を表すことができ、当該音声セグメントに含まれる音声フレームのＰＰＧは、ＬＳＴＭモデルまたはＢＬＳＴＭモデルの入力として使用できる。この状況下では、音声切出結果の中に対象音声フレームを含む音声セグメント内の音声フレームを音声フレームセットとして使用できる。このとき、音声フレームセットにおける音声フレーム数は、音声切り出しによってえられた、対象音声フレームを含む音声セグメント内の音声フレーム数であり、即ち音声フレームセットにおける音声フレーム数は、被処理音声の音声切出結果に応じて特定される。

ＬＳＴＭモデルが図９に示されている。図９における各丸形状は１次元パラメータを表す。音声フレームセット内の各音声フレームに対応するＰＰＧ（即ちウィンドウ長さが限られたＰＰＧ）が入力されると、対象音声フレームに対応する表情パラメータが出力されることになる。ＬＳＴＭモデルの利点は、シーケンスを便利にモデル化でき、かつコンテキスト音声フレームの情報を捉えることであるが、先行音声フレームの情報が更に重要視されている。

ＢＬＳＴＭモデルが図１０に示されている。ＢＬＳＴＭモデルはＬＳＴＭモデルに類似し、ＢＬＳＴＭの各隠れ層ユニットは、シーケンスコンテキスト音声フレームの双方向の入力情報を受信できる点で、両者は相違する。従って、ＬＳＴＭモデルに比べて、コンテキスト音声フレームの情報をも効果的に捉えることができ、コンテキスト音声フレームの先行と後続の両方ともが表情パラメータの特定に著しく影響し得る状況に更に好適に利用できる。

対象音声フレームに対応する表情パラメータは音声フレームセット内の音声フレームに対応する言語的情報に基づいて決定される場合、各対象音声フレームは１つの表情パラメータに対応し、複数の対象音声フレームに対応する表情同士間には、突然変種が発生したり、繋がりが連続しなかったりする恐れがあることが理解されるべきであろう。そこで、特定された表情パラメータを平滑化処理し、表情パラメータに突然変種が発生するのを避けることができるため、表情パラメータごとにアニメーションキャラクターに作り出させる表情の連続性が高まり、アニメーションキャラクターに表情を作り出させる真実性が向上され得る。

本出願の実施形態では、２種類の平滑化処理手法が提供される。第１の平滑化処理手法は、平均平滑化である。

音声フレームセット内の各音声フレームに対応する言語的情報に従い、音声フレームセット内の各音声フレームに対応する未定（未確定の）表情パラメータ（即ち、音声フレームセット内の各音声フレームの表情パラメータ）を特定できる。だが、対象音声フレームは異なる音声フレームセットに出現する可能性があるため、複数の対象音声フレームに対する未定表情パラメータを取得する可能性がある。そこで、異なる音声フレームセットにおいて対象音声フレームに対してそれぞれに特定された未定表情パラメータに基づいて、対象音声フレームの表情パラメータに平滑化処理を施し、対象音声フレームに対応する表情パラメータを算出することができる。

例えば、対象音声フレームがＸｔ、音声フレームセットが｛Ｘｔ－２、Ｘｔ－１、Ｘｔ、Ｘｔ＋１、Ｘｔ＋２｝である場合、当該音声フレームセット内の各音声フレームに対応する未定表情パラメータは順に、｛Ｙｔ－２、Ｙｔ－１、Ｙｔ、Ｙｔ＋１、Ｙｔ＋２｝であり、対象音声フレームＸｔは、その他の音声フレームセット、例えば音声フレームセット｛Ｘｔ－４、 Ｘｔ－３、Ｘｔ－２、Ｘｔ－１、Ｘｔ｝、音声フレームセット｛Ｘｔ－３、Ｘｔ－２、Ｘｔ－１、Ｘｔ、Ｘｔ＋１｝、音声フレームセット｛Ｘｔ－１、Ｘｔ、Ｘｔ＋１、Ｘｔ＋２、Ｘｔ＋３｝、音声フレームセット｛Ｘｔ、Ｘｔ＋１、Ｘｔ＋２、Ｘｔ＋３、Ｘｔ＋４｝にも出現する可能性がある。これらの音声フレームセットに基づいて、これらのセットにおける各対象音声セットに対応する未定表情パラメータＹｔを特定することができ、即ち合計５つの対象音声フレームＸｔの未定表情パラメータを取得できる。この５つの未定表情パラメータを平均化すれば、対象音声フレームＸｔに対応する表情パラメータを算出できる。

第２の平滑化手法は、最尤法パラメータ生成アルゴリズム（Ｍａｘｉｍｕｍ ｌｉｋｅｌｉｈｏｏｄ ｐａｒａｍｅｔｅｒ ｇｅｎｅｒａｔｉｏｎ，ＭＬＰＧ）である。

音声フレームセット内の各音声フレームに対応する言語的情報に従い、音声フレームセット内の各音声フレームに対応する未定表情パラメータ（即ち、音声フレームセット内の各音声フレームの表情パラメータ）を特定すると同時に、当該未定表情パラメータの一階差分（または二階差分）を特定することもできる。静的パラメータ（未定表情パラメータ）と一階差分（又は二階差分）が与えられた場合に、最尤となるシーケンスを復元でき、差分を導入することにより、未定表情パラメータの変化を修正して、平滑化効果を図ることができる。

平滑化された表情パラメータを取得後、自然状態でのアニメーションキャラクターを使って、被処理音声に対応する表情をアニメーションキャラクターに作り出させることができる。アニメーションキャラクターのパラメータ設定を変更することにより、アニメーションキャラクターの表情は、被処理音声と同期して作り出される。

次に、具体的な適用シナリオと組み合わせて、本出願の実施形態による音声駆動アニメーション方法について説明する。

この適用シナリオでは、アニメーションキャラクターをニュース放送に活用する。例えば、被処理音声が「視聴者の皆様、こんばんは、今日のニュースをお伝えします」である場合、現実感を向上させるために、当該被処理音声に対応する唇形状を当該アニメーションキャラクターに反映させ、当該被処理音声が確かにこのアニメーションキャラクターから出されているように視聴者に感じさせるように工夫する必要がある。そこで、被処理音声「視聴者の皆様、こんばんは、今日のニュースをお伝えします」を取得後、当該被処理音声の音声フレームに対応する言語的情報を特定する。被処理音声の各音声フレーム、例えば対象音声フレームに対して、言語的情報に従い音声フレームセット内の各音声フレームに対応する未定表情パラメータを特定し、異なる音声フレームセットにおいて対象音声フレームに対してそれぞれに特定された未定表情パラメータを平均化し、対象音声フレームに対応する表情パラメータを算出する。これにより、被処理音声内の各音声フレームの表情パラメータを取得できるため、アニメーションキャラクターを駆動して、「視聴者の皆様、こんばんは、今日のニュースをお伝えします」に対応する唇形状を作り出すことが可能になる。

前記実施形態による方法に基づいて、本実施形態は、オーディオ・ビデオ処理デバイスに搭載される人工知能に基づく音声駆動アニメーション装置を更に提供する。図１１を参照すると、前記装置１１００は、取得ユニット１１０１と、第１の特定ユニット１１０２と、第２の特定ユニット１１０３及び駆動ユニット１１０４を備える。
前記取得ユニット１１０１は、複数の音声フレームを含む被処理音声を取得する；
前記第１の特定ユニット１１０２は、前記被処理音声の音声フレームに対応する言語的情報を特定し、前記言語的情報は前記被処理音声の音声フレームが属する音素の分布可能性を示す；
前記第２の特定ユニット１１０３は、前記言語的情報に基づいて、前記被処理音声の音声フレームに対応する表情パラメータを特定する；
前記駆動ユニット１１０４は、前記表情パラメータに基づいて、アニメーションキャラクターが前記被処理音声に対応する表情を作り出すように、前記アニメーションキャラクターを駆動する。

一の実現可能な方式では、対象音声フレームは、前記被処理音声の中の１つの音声フレームであり、前記対象音声フレームに対して、前記第２の特定ユニット１１０３は、
前記対象音声フレームが属する音声フレームセットを特定し、前記音声フレームセットは前記対象音声フレームと前記対象音声フレームのコンテキスト音声フレームを含み、
前記音声フレームセット内の音声フレームのそれぞれに対応する言語的情報に基づいて、前記対象音声フレームに対応する表情パラメータを特定する。

一の実現可能な方式では、前記音声フレームセット内の音声フレーム数は、ニューラルネットワークマッピングモデルによって特定されるか、または、前記音声フレームセット内の音声フレーム数は、前記被処理音声の音声切出結果に従って特定される。

一の実現可能な方式では、前記コンテキスト音声フレームは、前記対象音声フレームの隣接コンテキスト音声フレームであるか、または、前記コンテキスト音声フレームは、前記対象音声フレームの間隔コンテキスト音声フレームである。

一の実現可能な方式では、前記第２の特定ユニット１１０３は、
前記音声フレームセット内の音声フレームのそれぞれに対応する言語的情報に基づいて、前記対象音声フレームに対応する表情パラメータを特定し、
前記音声フレームセット内の音声フレームのそれぞれに対応する言語的情報に基づいて、前記音声フレームセット内の音声フレームのそれぞれに対応する未定表情パラメータを特定し、
前記対象音声フレームの異なる音声フレームセット内でそれぞれに特定された未定表情パラメータに基づいて、前記対象音声フレームに対応する表情パラメータを算出する。

一の実現可能な方式では、前記言語的情報は、音素事後確率、ボトルネック特徴および埋め込み特徴からなる群から選ばれるいずれか１つまたは複数の組み合わせを含む。

一の実現可能な方式では、前記第２の特定ユニット１１０３は、
前記言語情報に基づいて、ニューラルネットワークマッピングモデルによって前記被処理音声の音声フレームに対応する表情パラメータを特定する。ここで、前記ニューラルネットワークマッピングモデルには、ディープニューラルネットワークＤＮＮモデル、長短期記憶ネットワークＬＳＴＭモデル、または双方向長短期記憶ネットワークＢＬＳＴＭモデルが含まれる。

一の実現可能な方式では、前記第２の特定ユニット１１０３は、
前記言語情報と前記被処理音声に対応する感情ベクトルに基づいて、前記被処理音声の音声フレームに対応する表情パラメータを特定する。

一の実現可能な方式では、前記第１の特定ユニット１１０２は、
前記被処理音声の音声フレームに対応する言語情報を特定し、
前記被処理音声の音声フレームに対応する音響的特徴を特定し、
自動音声認識モデルによって、前記音響的特徴に対応する言語情報を特定する。

一の実現可能な方式では、前記自動音声認識モデルは、音声セグメントと音素の対応付け関係を含む訓練用サンプルを訓練することによって得られる。

また、本出願の実施形態は、さらにアニメーションを音声駆動するためのデバイスを提供する。係るデバイスはオーディオ・ビデオ処理デバイスであり得る。以下にて、図面を参照しながら当該デバイスについて説明する。図１２を参照すると、本出願の実施形態では、アニメーションを音声駆動するためのデバイスが提供され、当該デバイスは端末デバイスであり得る。当該端末デバイスとしては、携帯電話、タブレットコンピュータ、パーソナルデジタルアシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ，ＰＤＡと略称する）、セールス端末（Ｐｏｉｎｔ ｏｆ Ｓａｌｅｓ，ＰＯＳと略称する）、車載パソコンなど何れのスマート端末であってもよい。端末デバイスが携帯電話である例を取り上げて説明する。

図１２は、本出願の実施形態による端末デバイスに関連する携帯電話の部分構成を示すブロック図を示している。係る携帯電話は、無線周波数（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ，ＲＦと略称する）回路１２１０、メモリ１２２０、入力ユニット１２３０、表示ユニット１２４０、センサ１２５０、オーディオ回路１２６０、ワイヤレスフィデリティ（ｗｉｒｅｌｅｓｓ ｆｉｄｅｌｉｔｙ，ＷｉＦｉと略称する）モジュール１２７０、プロセッサ１２８０、および電源１２９０などのコンポーネントを備える。図１２に示される携帯電話の構成は携帯電話を限定するものではなく、図示よりも多い又は少ない部品を備えるか、または幾つかの部品を組み合わせるか、或いは異なる部品配置であってもよいことは当業者に理解されるべきであろう。

以下で、図１２を参照しながら携帯電話の各構成部品について具体的に説明する。

ＲＦ回路１２１０は、情報の送受信または通話過程で信号を送受信するために使用され、特に、基地局のダウンリンク情報を受信後、プロセッサ１２８０に送信して処理させる。さらに、設計アップリンクデータを基地局に送信する。通常、ＲＦ回路１２１０は、アンテナ、少なくとも１つの増幅器、トランシーバ、カプラ、低雑音増幅器（Ｌｏｗ Ｎｏｉｓｅ Ａｍｐｌｉｆｉｅｒ，ＬＮＡと略称する）、デュプレクサなどを含むが、これらに限定されない。さらに、ＲＦ回路１２１０はまた、無線通信を介してネットワークおよび他のデバイスと通信することができる。上記の無線通信は、任意の通信規格またはプロトコルを使用でき、グローバルシステムオブモバイルコミュニケーション（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｏｆ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ，ＧＳＭと略称する）、汎用パケット無線サービス（Ｇｅｎｅｒａｌ Ｐａｃｋｅｔ Ｒａｄｉｏ Ｓｅｒｖｉｃｅ，ＧＰＲＳと略称する）、符号分割多元接続（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ，ＣＤＭＡと略称する）、広帯域符号分割多元接続（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ，ＷＣＤＭＡと略称する）、ロングタームエボリューション（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ，ＬＴＥと略称する）、電子メール、ショートメッセージングサービス（Ｓｈｏｒｔ Ｍｅｓｓａｇｉｎｇ Ｓｅｒｖｉｃｅ，ＳＭＳと略称する）などを含むが、これらに限定されない。

メモリ１２２０は、ソフトウェアプログラム及びモジュールを格納するために使用され得る。プロセッサ１２８０は、メモリ１２２０に格納されたソフトウェアプログラムおよびモジュールを実行することによって、携帯電話の様々な機能アプリケーションおよびデータ処理を実現することができる。メモリ１２２０は、主にプログラム記憶領域およびデータ記憶領域を含み得る。プログラム記憶領域には、オペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラム（例えば音声再生機能、画像再生機能など）などが格納されている。データ記憶領域には、携帯電話の使用に合わせて作成されたデータ（例えば音声データ、電話帳など）などが格納されている。また、メモリ１２２０は、高速ランダムアクセスメモリを含み、さらに少なくとも１つの磁気ディスク記憶デバイスやフラッシュメモリなど不揮発性メモリ、または他の揮発性固体記憶デバイスを含み得る。

入力ユニット１２３０は、入力されたデジタル情報または文字情報を受信したり、携帯電話のユーザ設定および機能制御に関連するキー信号の入力を生成したりするために使用され得る。具体的には、入力ユニット１２３０は、タッチパネル１２３１および他の入力デバイス１２３２を含み得る。タッチパネル１２３１は、タッチスクリーンとも呼ばれ、その上またはその近くでのユーザのタッチ操作（例えば、ユーザが指やスタイラスなど任意の適切なオブジェクトまたはアクセサリを利用してタッチパネル１２３１の上又はタッチパネル１２３１の近くに行った操作）を収集するとともに、予め設定されたプログラムに従って、相応の接続装置を駆動することができる。オプションとして、タッチパネル１２３１は、タッチ検出装置とタッチコントローラの２部分を含み得る。タッチ検出装置は、ユーザのタッチ位置を検出しながら、タッチ操作による信号を検出し、その信号をタッチコントローラに送信する。またタッチコントローラは、タッチ検出装置からタッチ情報を受信し、コンタクト座標に変換後、プロセッサ１２８０に送信するとともに、プロセッサ１２８０から送信されてきた命令を受信し実行することができる。また、タッチパネル１２３１は、抵抗式、容量式、赤外線および弾性表面波など複数のタイプで実現され得る。タッチパネル１２３１に加えて、入力ユニット１２３０は他の入力デバイス１２３２をさらに含み得る。具体的には、他の入力デバイス１２３２は、物理キーボード、ファンクションキー（例えば音量調節ボタン、スイッチボタンなど）、トラックボール、マウスおよびジョイスティックのうちの１つまたは複数を含み得るが、これらに限定されない。

表示ユニット１２４０は、ユーザが入力した情報や、ユーザに出力する情報及び携帯電話の各種メニューを表示するために使用され得る。表示ユニット１２４０は、ディスプレイパネル１２４１を含み得る。オプションとして、ディスプレイパネル１２４１は、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ，ＬＣＤと略称する）、有機発光ダイオード（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ－Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ，ＯＬＥＤと略称する）などの形態で構成され得る。さらに、タッチパネル１２３１は、ディスプレイパネル１２４１を覆うことができ、タッチパネル１２３１によって、その上またはその近くでタッチ操作を検出すると、タッチイベントのタイプを決定するためにプロセッサ１２８０に送信し、その後、プロセッサ１２８０はタッチイベントのタイプに応じて、相応する視覚出力をディスプレイパネル１２４１に提供する。図１２では、タッチパネル１２３１およびディスプレイパネル１２４１は、携帯電話の入力および入力機能を実現するための２つの独立した構成要素として機能しているが、いくつかの実施形態では、タッチパネル１２３１およびディスプレイパネル１２４１を統合して携帯電話の入出力機能とすることが可能になる。

また携帯電話は、光センサ、モーションセンサおよび他のセンサなど少なくとも１つのセンサ１２５０を含み得る。具体的には、光センサは、周囲光センサおよび近接センサを含んでもよく、周囲光センサは、周囲光の明るさに応じてディスプレイパネル１２４１の輝度を調整することができ、また近接センサは、携帯電話が耳に近づくと、ディスプレイパネル１２４１および／またはバックライトを閉じることができる。加速度センサは、モーションセンサの一種として、各方向（通常は３軸）の加速度の大きさを検出し、静止時に重力の大きさ及び方向を検出し、携帯姿勢のアプリケーション（水平垂直画面切り替え、関連ゲーム、磁力計姿勢キャリブレーションなど）、振動認識関連機能（歩数計、パーカッションなど）などを識別するために使用できる。また、携帯電話にさらに配置され得るジャイロスコープ、気圧計、湿度計、温度計、赤外線センサなど他のセンサについては、ここでは詳しく述べない。

オーディオ回路１２６０、スピーカー１２６１、およびマイクロフォン１２６２は、ユーザと携帯電話との間のオーディオを提供できる。オーディオ回路１２６０は、受信した音声データから変換された電気信号をスピーカー１２６１に送信し、スピーカー１２６１によって音声信号に変換して出力することができる。一方、マイクロフォン１２６２は、収集された音声信号を電気信号に変換し、オーディオ回路１２６０に受信後、音声データに変換し、そして音声データをプロセッサ１２８０に出力して処理させた後、ＲＦ回路１２１０を介して別の携帯電話に送信するか、または音声データをメモリ１２２０に出力して後続処理を行わせる。

ＷｉＦｉは近距離無線伝送技術である。携帯電話に搭載されているＷｉＦｉモジュール１２７０は、ユーザが電子メールを送受信したり、Ｗｅｂページを閲覧したり、ストリーミングメディアにアクセスしたりすることを支援し、無線ブロードバンドインターネットアクセスをユーザに提供する。ＷｉＦｉモジュール１２７０は図１２に示されているが、それは携帯電話の必要な構成要素ではなく、本発明の本質を変えない範囲内で必要に応じて省略できることは理解されるべきであろう。

プロセッサ１２８０は携帯電話のコントロールセンターであり、各種インターフェイス及び回線経由で携帯電話全体の各部分を接続し、メモリ１２２０に格納されたソフトウェアプログラムおよび／またはモジュールを作動または実行させ、メモリ１２２０に格納されたデータを利活用することによって、携帯電話の様々な機能及び処理データを実行し、携帯電話全体を監視することができる。オプションとして、プロセッサ１２８０は、１つまたは複数の処理ユニットを含み得る。好ましくは、プロセッサ１２８０は、アプリケーションプロセッサとモデムプロセッサとを統合することができる。アプリケーションプロセッサは、主にオペレーティングシステム、ユーザインターフェイス、およびアプリケーションプログラムなどを処理し、またモデムプロセッサは、主にワイヤレス通信を扱う構成となっている。前記モデムプロセッサは、プロセッサ１２８０に統合されなくてもよいことは、理解されるべきであろう。

携帯電話は、各構成部品に電力を供給するための電源１２９０（バッテリーなど）をさらに含む。好ましくは、電源は、電力管理システムを介してプロセッサ１２８０に論理的に接続され、これにより電力管理システムを介して充電、放電及び電力消費管理を図れる。

図示されていないが、携帯電話は、カメラやブルートゥース（登録商標）モジュールなどを更に含み得るが、ここでは詳しく述べない。

本実施形態では、当該端末デバイスに含まれるプロセッサ１２８０は、さらに以下の機能をも具備する。すなわち、
複数の音声フレームを含む被処理音声を取得する；
前記被処理音声の音声フレームに対応する言語的情報を特定し、前記言語的情報は、前記被処理音声の音声フレームが属する音素の分布可能性を示す；
前記言語的情報に基づいて、前記被処理音声の音声フレームに対応する表情パラメータを特定する；
前記表情パラメータに基づいて、アニメーションキャラクターが前記被処理音声に対応する表情を作り出すように、前記アニメーションキャラクターを駆動する。

本出願の実施形態は、さらにサーバーを提供する。図１３を参照すると、図１３は本出願の実施形態によるサーバー１３００のブロック図である。サーバー１３００は、構成またはパフォーマンスが異なることによって大いに違っていく可能性があり、１つ以上の中央プロセッサ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔｓ，ＣＰＵと略称する）１３２２（例えば、１つまたは複数のプロセッサ）及びメモリ１３３２、１つ以上のアプリケーションプログラム１３４２またはデータ１３４４を記憶するための記憶媒体１３３０（例えば、１つ以上の大容量記憶装置）を含み得る。メモリ１３３２および記憶媒体１３３０は、短期記憶または永続記憶であり得る。記憶媒体１３３０に格納されたプログラムは、１つ以上のモジュール（図示されない）を含み、各モジュールは、サーバーに対する一連の命令操作を含み得る。更には、中央プロセッサ１３２２は、記憶媒体１３３０と通信し、サーバー１３００上で記憶媒体１３３０に記憶された一連の命令操作を実行するように構成され得る。

サーバー１３００は、さらに、１つ以上の電源１３２６、１つ以上の有線または無線ネットワーク１３５０、１つ以上の入出力１３５８、および／または、ウィンドウズサーバー^ＴＭ、Ｍａｃ ＯＳ Ｘ^ＴＭ、Ｕｎｉｘ^ＴＭ、Ｌｉｎｕｘ^ＴＭ、ＦｒｅｅＢＳＤ^ＴＭなど１つ以上のオペレーティングシステム１３４１を含み得る。

前述の実施形態では、サーバーによって実行されるステップは、当該図１３に示されるサーバー構造に基づいて実施され得る。

本出願の実施形態は、さらに、前記各実施形態に記載された音声駆動アニメーション方法を実行するためのプログラムコードを記憶させるためのコンピュータ可読記憶媒体を提供する。

本出願の実施形態は、さらに、命令を含み、コンピュータ上で実行されるとき、前記各実施形態に記載の音声駆動アニメーション方法をコンピュータに実行させるコンピュータプログラムを提供する。

本出願の明細書および上記図面における「第１」、「第２」、「第３」、「第４」などの用語（存在すれば）は、類似の対象を区別するために使用されているが、必ずしも特定の順序または優先順位を説明するために使用されるわけではない。このように使用されるデータ同士は適切な状況下で変換でき、その結果、本明細書に記載の本出願の実施形態は、例えば本明細書に図示または記載されたもの以外の順序で実施され得ることは理解されるべきであろう。さらに、「含む」および「有する」という用語及びそれらの変形例は、非排他的な包含をカバーすることを意図されている。例えば、一連のステップまたはユニットを含むプロセス、方法、システム、製品またはデバイスは、明確に列挙されたそれらのステップまたはユニットに限られるものではなく、明確に列挙されていないもの、またはこれらのプロセス、方法、製品またはデバイス自体に備わる他のステップまたはユニットを含み得る。

本出願においては、「少なくとも１つ（１項）」とは１つ以上を指し、「複数」は２つ以上を指すことが理解されるべきであろう。「および／または」は、関連対象の関連関係を表すために使用され、３種類の関係が存在する可能性があることを意味している。例えば、「Ａおよび／またはＢ」は、Ａのみ、Ｂのみ、およびＡ、Ｂ両方の３種類の状況を意味し、ここで、ＡおよびＢは単数形または複数形である。文字「／」は通常、前後の関連対象が「または」の関係にあることを指している。「以下の少なくとも１項（個）」または類似表現とは、
単一の項（個）または複数の項（個）の任意の組み合わせを含む、これらの項目の任意の組み合わせを指している。例えば、ａ、ｂ、またはｃの少なくとも１項（個）は、ａ、ｂ、ｃ、「ａとｂ」、「ａとｃ」、「ｂとｃ」、または「ａとｂとｃ」を表してもよく、ここで、ａ、ｂ、ｃは単一または複数であり得る。

本出願によるいくつかの実施形態では、開示されたシステム、装置および方法は、他の方法によって実施され得ることが理解されるべきであろう。例えば、上記に記載された装置の実施形態は、単に例示的なものである。例えばユニットの分割は、論理機能の分割に過ぎず、実際の実現時に、他の分割方式が存在する場合がある。例えば複数のユニットまたはコンポーネントを組み合わせるか、または別のシステムに統合するか、或いは一部の機能を無視するか、実行しないことができる。さらに、表示または検討されている相互間の結合または直接結合または通信接続は、いくつかの、装置またはユニットを経由する間接結合または通信接続でもよく、電気的、機械的または他の形態でもよい。

分離部材として記述されている前記ユニットは、物理的に分離されてもよく、物理的に分離されなくてもよい。ユニットとして表示されている部品は、物理ユニットでなくてもよく、即ち１つの場所に配置されてもよく、または複数のネットワークユニットに分散されている場合もある。実際の必要に応じて、ユニットの中の一部または全部を選択して、本実施形態の目的を実現することが可能となる。

また、本出願の各実施形態における各機能ユニットは、１つの処理ユニットに統合され得るか、または各ユニットが物理的に単独で存在し得るか、または２つ以上のユニットが１つのユニットに統合され得る。上記の統合ユニットは、ハードウェアまたはソフトウェア機能ユニットの形で実現され得る。

前記統合ユニットがソフトウェア機能ユニットの形で実装され、かつ独立した製品として販売または使用される場合、コンピュータ可読記憶媒体に格納され得る。この理解に基づいて、本出願の技術案の本質的または先行技術に寄与する部分、または当該技術案の全部または一部は、ソフトウェア製品の形で具体化され得る。当該コンピュータソフトウェア製品は記憶媒体に格納され、コンピュータデバイス（パーソナルコンピュータ、サーバー、またはネットワークデバイスなどであり得る）に、本出願の各実施形態に記載された方法の全部または一部のステップを実行させるようにするためのいくつかの命令を含む。前述の記憶媒体には、Ｕディスク、モバイルハードディスク、読み取り専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ，ＲＯＭと略称する）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ，ＲＡＭと略称する）、磁気ディスクまたは光ディスクなど、プログラムコードを格納できる各種の媒体が含まれている。

上述したとおり、上記の実施形態は、単に本出願の技術案を説明するために使用されるが、それらを限定するものではない；前述の実施形態を参照して本出願について詳細に説明しているが、前記各実施形態に記載された技術案を補正するか、またはその技術的特徴のいくつかを同等に置換することができ、またこれらの変更または置換により、相応する技術案の本質が本出願の各実施形態に係る技術案の精神および範囲から逸脱することはないことは、当業者に理解されるべきであろう。

Claims (12)

1. オーディオ・ビデオ処理デバイスが実行する音声駆動アニメーション方法であって、
   複数の音声フレームを含む被処理音声を取得するステップと、
   前記被処理音声の音声フレームに対応する言語的情報を特定するステップであって、前記言語的情報は、前記被処理音声の音声フレームが属する音素の分布可能性を示す、ステップと、
   前記言語的情報に基づいて、前記被処理音声の音声フレームに対応する表情パラメータを特定するステップと、
   前記表情パラメータに基づいて、アニメーションキャラクターが前記被処理音声に対応する表情を作り出すように、前記アニメーションキャラクターを駆動するステップと、
   を含み、
   対象音声フレームは、前記被処理音声の中の１つの音声フレームであり、
   前記対象音声フレームに対して、前記言語的情報に基づいて前記被処理音声の音声フレームに対応する表情パラメータを特定する前記ステップは、
   前記対象音声フレームが属する音声フレームセットを特定するステップであって、前記音声フレームセットは前記対象音声フレームと前記対象音声フレームのコンテキスト音声フレームを含むステップと、
   前記音声フレームセット内の音声フレームのそれぞれに対応する言語的情報に基づいて、前記音声フレームセット内の音声フレームのそれぞれに対応する未定表情パラメータを特定するステップと、
   前記対象音声フレームに対して異なる音声フレームセットにおいてそれぞれに特定された未定表情パラメータに基づいて、前記対象音声フレームに対応する表情パラメータを算出するステップと、
   を含む、
   方法。
2. 前記音声フレームセット内の音声フレーム数は、ニューラルネットワークマッピングモデルによって特定され、または、
   前記音声フレームセット内の音声フレーム数は、前記被処理音声の音声切出結果に従って特定される、請求項１に記載の方法。
3. 前記コンテキスト音声フレームは、前記対象音声フレームの隣接コンテキスト音声フレームであり、または、
   前記コンテキスト音声フレームは、前記対象音声フレームの間隔コンテキスト音声フレームである、請求項１に記載の方法。
4. 前記言語的情報は、音素事後確率、ボトルネック特徴および埋め込み特徴からなる群から選ばれるいずれか１つまたは複数の組み合わせを含む、請求項１～３のいずれか１項に記載の方法。
5. 前記言語的情報に基づいて、前記被処理音声の音声フレームに対応する表情パラメータを特定する前記ステップは、
   前記言語的情報に基づいて、ニューラルネットワークマッピングモデルによって前記被処理音声の音声フレームに対応する表情パラメータを特定するステップを含み、
   ここで、前記ニューラルネットワークマッピングモデルには、ディープニューラルネットワークＤＮＮモデル、長短期記憶ネットワークＬＳＴＭモデル、または双方向長短期記憶ネットワークＢＬＳＴＭモデルが含まれる、請求項１～３のいずれか１項に記載の方法。
6. 前記言語的情報に基づいて、前記被処理音声の音声フレームに対応する表情パラメータを特定する前記ステップは、
   前記言語的情報と前記被処理音声に対応する感情ベクトルとに基づいて、前記被処理音声の音声フレームに対応する表情パラメータを特定するステップを含む、請求項１～３のいずれか１項に記載の方法。
7. 前記被処理音声の音声フレームに対応する言語的情報を特定する前記ステップは、
   前記被処理音声の音声フレームに対応する音響的特徴を特定するステップと、
   自動音声認識モデルによって、前記音響的特徴に対応する言語的情報を特定するステップと、
   を含む、請求項１～３のいずれか１項に記載の方法。
8. 前記自動音声認識モデルは、音声セグメントと音素の対応付け関係を含む訓練用サンプルを訓練することによって得られる、請求項７に記載の方法。
9. オーディオ・ビデオ処理デバイスに搭載された音声駆動アニメーション装置であって、
   複数の音声フレームを含む被処理音声を取得する取得ユニットと、
   前記被処理音声の音声フレームに対応する言語的情報を特定する第１の特定ユニットであって、前記言語的情報は、前記被処理音声の音声フレームが属する音素の分布可能性を示す、第１の特定ユニットと、
   前記言語的情報に基づいて、前記被処理音声の音声フレームに対応する表情パラメータを特定する第２の特定ユニットと、
   前記表情パラメータに基づいて、アニメーションキャラクターが前記被処理音声に対応する表情を作り出すように、前記アニメーションキャラクターを駆動する駆動ユニットと、
   を備え、
   対象音声フレームは、前記被処理音声における音声フレームの１つであり、
   前記対象音声フレームに対して、前記第２の特定ユニットは、
   前記対象音声フレームが属する音声フレームセットを特定し、前記音声フレームセットは前記対象音声フレームと前記対象音声フレームのコンテキスト音声フレームを含み、
   前記音声フレームセット内の音声フレームのそれぞれに対応する言語的情報に基づいて、前記音声フレームセット内の音声フレームのそれぞれに対応する未定表情パラメータを特定し、
   前記対象音声フレームに対して異なる音声フレームセットにおいてそれぞれに特定された未定表情パラメータに基づいて、前記対象音声フレームに対応する表情パラメータを算出する、
   装置。
10. 前記音声フレームセット内の音声フレーム数は、ニューラルネットワークマッピングモデルによって特定され、または、
    前記音声フレームセット内の音声フレーム数は、前記被処理音声の音声切り出し結果に従って特定される、請求項９に記載の装置。
11. プログラムコードを記憶すると共に、前記プログラムコードをプロセッサに伝送するためのメモリと、
    前記プログラムコードにおける命令に従って、請求項１～８のいずれか１項に記載の方法を実行するためのプロセッサと、
    を備える、アニメーションを音声駆動するためのデバイス。
12. コンピュータプログラムであって、コンピュータに請求項１～８のいずれか１項に記載の方法を実行させるためのコンピュータプログラム。

Images