JP2022550372A - オーディオビジュアルコンテンツについてバイノーラルイマーシブオーディオを作成するための方法及びシステム - Google Patents

Abstract

オーディオビジュアルコンテンツ（３００）についてバイノーラルイマーシブオーディオを作成するための方法及びシステム（１００）。本方法は、映像（３０１）及び音声（３０２）を受信するステップと、前記映像の少なくとも１つのフレームを選択するステップと、前記映像の前記選択されたフレームを分析して、前記フレーム内の音声寄与オブジェクトを識別するステップと、前記音声の少なくとも１つの部分を分析するステップと、前記分析された音声を、前記フレーム内の対応する前記識別された音声寄与オブジェクトと対応付けるステップと、前記対応付けを使用して、前記オーディオビジュアルコンテンツについて前記バイノーラル音声を生成するステップとを含む。【選択図】図２ａ

Description

本開示は、概して音声及び映像処理の分野に関し、より具体的には、映像コンテンツの分析に基づいてオーディオビジュアルコンテンツの音声トラックを処理する分野に関する。

背景

マイクロフォンを１つだけ有するオーディオビジュアル記録デバイス（例えば、スマートフォン、タブレット、スマートウォッチ、ラップトップ、スマートＴＶ、スマートカメラ、携帯型／装着型コンピューティングデバイス）を用いて記録されるオーディオビジュアルコンテンツ（Ａ／Ｖ）（すなわち、映像又は画像と音声とを含む、あらゆる種類のデジタルオーディオビジュアル及び仮想コンテンツ）での音声は、ユーザに空間情報を提供しない。ユーザ（例えば、オーディオビジュアルコンテンツ受信及び表示デバイス、例えばスマートフォン、タブレット、スマートウォッチ、ラップトップ、スマートＴＶ、スマートカメラ、携帯型／装着型コンピューティングデバイスを有するリスナー、視聴者、顧客）は、記録された３Ｄ空間内の音源の場所を（それらが視覚的に表示されていない場合、又はその映像コンテンツが全く提示されていないか、もしくはそれが実際の視点で見えていない場合）識別することができない。結局、ユーザは、音体験を十分に楽しむことができず、これにより、没入感（すなわち、現実と仮想／オーディオビジュアル体験との類似率）が損なわれる。

映像共有プラットフォームを介してインターネットを通じて映像を観ることが人気を集めており、Ｎｅｔｆｌｉｘ、ＨＢＯ、ＹＬＥ、及びＴｗｉｔｃｈのような配信及びストリーミングサービスを介してＴＶシリーズ及び映画を視聴することは非常に一般的である。毎日１００億本を超える映像が観られており、毎時数百時間分の新しい映像素材がインターネットにアップロードされている。それらの映像の消費者及び作成者は、よりイマーシブでリアルな音声体験を受け、提供することを望んでいる。イマーシブオーディオ（すなわち、３Ｄ音声）は、この変化に重要な要素である。

制作者又は配信サービスプロバイダ、すなわちソリューションの潜在的な購入者又はライセンサは、余分なコスト又は計算時間をかけることなく、よりリアルでイマーシブな体験を提供する新しい方法を必要としている。

ＹｏｕＴｕｂｅ（登録商標）、Ｆａｃｅｂｏｏｋ（登録商標）、ＷｈａｔｓＡｐｐ（登録商標）、Ｎｅｔｆｌｉｘ（登録商標）、Ｖｉｍｅｏ（登録商標）、Ａｍａｚｏｎ（登録商標）、Ｍｉｃｒｏｓｏｆｔ（登録商標）のような企業、及び記録されたオーディオビジュアルコンテンツを制作し共有する人、又は素材を受信して観るユーザにとって、現在のソリューションは、あまりにも遅く高価なものである。コンテンツプロバイダ及びユーザの両者は、典型的な機器、例えば携帯電話又はラップトップを介して毎日大量に表示される配信オーディオビジュアル素材に、よりイマーシブな体験を要求している。

一般に、映画館用の最も重要な３Ｄ音声レンダリングプラットフォームは、ヘッドフォンの代わりにマルチスピーカーシステムで聴き取るシステムに集中していることが知られている。一例として、Ｄｏｌｂｙ（登録商標）製品、ならびに音声及び映像の処理及び再生のための他のソリューションは、特にプロレベルで高価格であるため、新しく手頃なソリューションがあれば、世界中の映画製作者及び映画館に届くチャンスがある。

既知の音声及び映像処理ツールは、共通の欠点を有する。体験の真実性に関する品質は、十分な主観的聴き取り方法で科学的に検証されていない。

技術の世界的な広がりの障害となる既存のソリューションの第２の問題は、典型的に、仕様が明確に記載されていない設定及びパラメータを多数含むことである。ユーザ又は製作者は実際、それらが最終製品にどのような影響を与えるのかも、それらの重み及び重要性が何であるかも知らない。前述のように、実際に規格及び作業プロトコルは利用可能ではない。複雑なアーキテクチャ、重大なセットアップコスト、ならびに標準的な配信フォーマット及び再生構成の欠如が、既知のソリューションの最大の問題である。

最終ユーザに３Ｄ音声を提供する処理では、システムが、ユーザに空間情報を提供しない１つのマイクロフォンシステムよりも高度な記録を行うか、又は何らかの手作業の後処理作業が、何らかの編集ソフトウェアでプロの編集者によって後で行われることが必要である。現時点では、その処理の自動化を可能にする既知のソリューションはない。

従来技術から、いくつかのシステム及び方法が知られている。既知のシステムでは、映像シーンを記録するための複数のカメラ、マイクロフォン、及び音源がイマーシブな効果を生むことが必要である。既知のシステムは、映像からのオブジェクト認識を適用していない。既知のソリューションを使用して、ユーザは、音源の場所を識別することができず、音の場所と対応する音を生む視覚的オブジェクトの場所とを一致させることができない。

現在のソリューションは、あまりにも遅く低品質で高価であり、イマーシブでリアルかつ高品質な体験をユーザに提供しない。既知のソリューションは、複雑なアーキテクチャ、多数の設定及びパラメータを有し、仕様が明確に記載されていない。したがって、製作者は、これらの設定が最終製品にどのような影響を与えるかを知らない。

したがって、従来技術から既知の問題を考慮すると、オーディオビジュアルコンテンツについてイマーシブオーディオを作成する前述の欠点を克服し、ユーザがイマーシブでリアルな体験を楽しむことができるように、費用効果が高く、高品質で、仕様が明確に記載されたソリューションを提供する必要がある。

摘要

本開示の目的は、高品質で安価なポストレコーディング又はポストプロダクションの方法及びシステムを提供して、音の場所と映像で対応する音を生むオブジェクトの場所とを自動的に一致させることである。

本開示の目的は、映像及び音声を備える少なくとも１つのオーディオビジュアルコンテンツについてバイノーラルイマーシブオーディオを作成するためのデータ処理システムを動作させる方法、ならびに前記方法を実行するように構成されたデータ処理システムによって達成される。前記方法は、
・ 前記映像及び前記音声を受信するステップと、
・ 前記映像の少なくとも１つのフレームを選択するステップと、
・ 前記映像の前記少なくとも１つの選択されたフレームを分析して、前記少なくとも１つのフレーム内の少なくとも１つの音声寄与オブジェクトを識別するステップと、
・ 前記音声の少なくとも１つの部分を選択するステップと、
・ 前記音声の前記選択された少なくとも１つの部分を分析して、前記音声の前記選択された少なくとも１つの部分の少なくとも１つの音声パターンを抽出するステップと、
・ 前記少なくとも１つの抽出された音声パターンを、前記少なくとも１つの選択されたフレーム内の前記識別された少なくとも１つの音声寄与オブジェクトと対応付けるステップと、
・ 前記対応付けを使用して、前記映像の前記少なくとも１つのフレームについて前記バイノーラル音声を生成するステップと、を含む。

本開示の利点は、人による編集又は他の後処理動作を回避することによって費用効果が高い方法で数十億時間のオーディオビジュアル素材に適用され得る記録されたオーディオビジュアルコンテンツを制作し、共有し、消費する人に、手頃で自動化されたソリューションを提供することである。本開示は、ユーザが、オーディオビジュアルコンテンツの音源の場所を識別することを可能にし、それによって、よりリアルでイマーシブな音声体験をユーザに提供する。

本開示によれば、オーディオビジュアルコンテンツの音声トラックを処理することは、映像コンテンツの分析に基づく。本開示は、１つのマイクロフォンシステムで記録される記録オーディオビジュアルコンテンツでの音源の場所を計算し、そのモノラル又は１チャネルの音声ファイルをリアルタイムでバイノーラル（すなわち、現実の世界で感覚的に聞こえる／聴こえる）３Ｄフォーマットに修正することを可能にする。本開示の利点として、これは、付加価値を保証し、従来技術のソリューションよりもイマーシブな体験をユーザに提供する。

本開示の更なる利点は、映像の品質が自動的に改善され、そのコンテンツの製作者、編集者、又は最終ユーザからの入力動作を必要としないことである。

本開示は、オーディオビジュアルコンテンツが記録され、後処理され、共有され、配信され、ストリーミングされ、最終的に任意の物理ハードウェアデバイスによって表示される使用事例を対象とする。

ここで、本開示の実施形態は、以下の図を参照して、例示としてのみ説明される。
本開示の一実施形態に係るシステムの概略図である。 ユーザが、携帯デバイス、例えばスマートフォン、ＴＶ、ラップトップ、タブレットで、インターネットによって配信されたデジタルオーディオビジュアルコンテンツを観ている、本開示の一実施形態に係る実際の状況を示す。 本開示の一実施形態に係る抽出された音声パターンの例を示す。 本開示の一実施形態に係る方法の映像分析のステップを示す、本方法のブロック図である。 本開示の一実施形態に係る方法の音声分析のステップを示す、本方法のブロック図である。 本開示の一実施形態に係る方法の映像及び音声分析の結果の対応付けのステップを示す、本方法のブロック図である。 本開示の一実施形態に係るシステムの画像パターンデータベースの例示的な構造を示す。 本開示の一実施形態に係るシステムの音声パターンデータベースの例示的な構造を示す。

実施形態の詳細説明

以下の詳細説明は、本開示の実施形態及び実施形態が実装され得る方法を示す。既知のソリューションにより、映像のオブジェクト及び非オブジェクト要素を識別し、モノラル又は１チャネルの音声を有する事前記録されたオーディオビジュアルコンテンツを処理することが可能になる。当該オーディオビジュアルコンテンツは、１つのマイクロフォンを有するデバイスで記録され、ユーザのデバイスにオンラインでストリーミングされるか又は配信されて、イマーシブでリアルな体験をユーザに提供する。

一実施形態によれば、本開示は、映像及び音声を備える少なくとも１つのオーディオビジュアルコンテンツについてバイノーラルイマーシブオーディオを作成するための方法を提供する。オーディオビジュアルコンテンツは、消費のためにユーザに提供され得る、映像及び音声を備える任意のコンテンツであり得る。映像及び音声は典型的には、互いに時間的に同期している。バイノーラルイマーシブオーディオは、音声が３Ｄの空間的な性質を有しているとユーザが感じる、すなわち、特定の方向から来る映像の音が上記方向から来るようにユーザによって知覚される音声体験である。

映像コンテンツは、いくつかの連続するフレームを備える。一例として、毎秒２４フレームの映像が存在し得る。フレームレートは、オーディオビジュアルコンテンツによって異なる。本方法によれば、映像内のフレームのうちの少なくとも１つが選択される。選択されたフレームは、映像コンテンツの任意のポイントからであり得る。映像の少なくとも１つの選択されたフレームが分析されて、少なくとも１つのフレーム内の少なくとも１つの音声寄与オブジェクトを識別する。音声寄与オブジェクトは、音声と対応付けられ得るオブジェクトである。当該オブジェクトの一例は、例えば、車、人間、動物、滝、機械など、すなわち、音を生成し得る任意のオブジェクトであり得る。

更に、音声の少なくとも１つの部分が選択される。音声の少なくとも１つの部分は、選択された少なくとも１つのフレームがオーディオビジュアルコンテンツの消費中に再生されると同時に再生されるであろう少なくとも何らかの音声を備えるように選択される。音声サンプル速度は、例えば４４ｋＨｚであり得るため、（毎秒２４フレームの場合）単一の映像フレームについての選択された音声部分は、約４２ｍｓ（ミリ秒）の期間を有する。音声の選択された少なくとも１つの部分が分析されて、音声の選択された少なくとも１つの部分の音声パターンの少なくとも１つを抽出する。音声パターンは、例えば、人間の話し声、機械などから生じる音声を指す。抽出は、分離される音声ファイル又はライブラリとして、音声の少なくとも１つの部分から音声パターンを分離することを指す。

更に、少なくとも１つの抽出された音声パターンは、少なくとも１つの選択されたフレーム内の識別された少なくとも１つの音声寄与オブジェクトと対応付けられる。対応付けられた音声パターン及び音声寄与オブジェクトを使用することによって、映像の少なくとも１つのフレームについてのバイノーラルイマーシブオーディオが生成される。

本開示の追加の実施形態によれば、前記映像の少なくとも１つの選択されたフレームを分析することは、
・ コンピュータビジョン（４００）を使用することによって、前記映像の前記少なくとも１つの選択されたフレームについて映像認識処理を実行するステップと、
・ 音声寄与オブジェクトの空間場所座標を計算するステップと、
・ 少なくとも１つの畳み込みニューラルネットワークを使用することによって、音声寄与オブジェクト及び前記空間場所座標を分類するステップと、を含む。

映像認識処理により、自動的に音声寄与オブジェクトを見つけることが可能になる。空間場所座標は、音声が来ているように思われる単一のフレームのｘ、ｙ座標を指す。

更に、映像及び音声（例えば、１チャネル音声又はマルチチャネル音声）を備える少なくとも１つのオーディオビジュアルコンテンツについてバイノーラルイマーシブオーディオを作成するためのデータ処理システムを動作させる方法、ならびに本方法を実行するように構成されたデータ処理システムが提供される。

オーディオビジュアルコンテンツについてバイノーラルイマーシブオーディオを作成するための方法及びシステムは、オーディオビジュアルコンテンツのフレームでの音源の場所を計算し、オーディオビジュアルファイルの音声をバイノーラル３Ｄフォーマットに修正する。

一実施形態では、システムは、少なくとも１つのオーディオビジュアルコンテンツプロバイダ（例えば、配信もしくはストリーミングサービスプロバイダ又はオーディオビジュアル記録デバイスを有するユーザ）に接続可能な少なくとも１つのサーバを備える。サーバは、オーディオビジュアルコンテンツプロバイダから２Ｄ音声を有するオーディオビジュアルコンテンツを受信するように構成されている。

サーバは、受信されたオーディオビジュアルコンテンツを音声部分及びフレームに分割することによって、映像に対してバイノーラルイマーシブオーディオを作成し、分割された音声及びフレームを処理し、処理された音声及び処理されたフレームを対応付け、バイノーラルイマーシブオーディオを有する単一のオーディオビジュアルコンテンツとして、対応付けられた音声及びフレームをオーディオビジュアルコンテンツ受信機（例えば、配信もしくはストリーミングサービスプロバイダ又はユーザのデバイス）に送信するように構成されている。

サーバは典型的には、少なくとも１つのデータベースと、受信されたオーディオビジュアルコンテンツの映像認識処理を実行するように構成された映像分析モジュールと、受信されたオーディオビジュアルコンテンツの音声認識処理を実行するように構成された音声分析モジュールと、オーディオビジュアルコンテンツの認識された映像及び認識された音声の対応付けを実行するように構成された対応付けモジュールと、ポストプロダクション段階で映像及び非映像音声寄与オブジェクトの場所を一致させるように音声チャンクを空間化するように構成された音声処理モジュールと、少なくとも２つのニューラルネットワーク（例えば、畳み込みニューラルネットワーク）と、を備える。

オーディオビジュアルコンテンツ（例えば、映画）が、例えば携帯電話ですでに作成されていると、ポストプロダクション段階で、音声寄与オブジェクトの場所と一致させるように音声チャンクを空間化することが実施される。その結果、音声及び音声寄与オブジェクトの場所が一致するため、音声コンテンツが明確に改善される。ユーザは、各々の可聴で識別可能な音が正確な場所又はオブジェクトから来ていると感じる。

ニューラルネットワークは、音声パターンデータベースを処理し、映像認識処理と音声認識処理との間の処理を調整し、ニューラルネットワークを通じてオーディオビジュアルコンテンツの映像のフレームを送信することによってコンピュータビジョンシステムを実装するように構成されている。

コンピュータビジョンモジュールは、受信されたオーディオビジュアルコンテンツの映像オブジェクト認識処理を実行するように構成されたコンピュータビジョンシステムと、映像オブジェクト認識の結果を記憶するように構成された画像パターンデータベースと、を備える。

コンピュータリスニングモジュールは、認識されたオーディオビジュアルコンテンツの完全な音声サンプルを個々の音声チャンクに分解して各々の音声サンプルでの音を識別するように構成されたコンピュータリスニングシステムと、識別された音パターンの音パターンライブラリを備える少なくとも１つの音声パターンデータベースと、を備える。

一実施形態に係る方法は、可視コンテンツ及び可聴コンテンツの両方の部分が互いに一致するように、音声情報のフォーマットを設定する。

本開示の代替又は追加の実施形態では、前記映像の前記少なくとも１つの選択されたフレームを分析することは、
・ 歪み除去のために前記少なくとも１つのフレームをシャープにするステップと、
・ 空間領域座標を使用して前記少なくとも１つの音声寄与オブジェクトについて領域提案を行うステップと、
・ 前記少なくとも１つの音声寄与オブジェクトの相対３Ｄ位置を決定するステップと、
・ 少なくとも１つの畳み込みニューラルネットワークを使用して、前記領域提案を行い、前記相対３Ｄ位置を決定するステップと、を更に含む。

１つ以上の実施形態では、前記音声の前記選択された少なくとも１つの部分を分析して、音声パターンを抽出することは、
・ コンピュータリスニングによって、前記音声の前記選択された少なくとも１つの部分の音声認識処理を実行して、音声パターンを識別するステップと、
・ コンピュータリスニングによって、前記識別された音声パターンを少なくとも１つの個々の音声チャンクに分解して、前記少なくとも１つの音声パターンでの音を識別するステップと、
・ 少なくとも１つの畳み込みニューラルネットワークを使用することによって、前記少なくとも１つの音声チャンクの前記識別された音を分類するステップと、
・ 少なくとも１つの分類された音声チャンクの音パターンライブラリを作成し、前記音パターンライブラリを音声パターンデータベースに記憶するステップと、
・ 抽出される音声パターンとして前記作成された音パターンライブラリを使用するステップと、を含む。

一実施形態では、前記少なくとも１つの抽出された音声パターンを、前記少なくとも１つの音声寄与オブジェクトと対応付けることは、
・ 畳み込みニューラルネットワーク又は機械学習方法の少なくとも一方を適用することによって、前記少なくとも１つの音声パターンの情報及び前記少なくとも１つのフレームの相関を検索して、音パターンライブラリ内のどの音声チャンクが、前記識別された音声寄与オブジェクトと一致するかを識別するステップと、
・ 前記対応付けとして前記相関を使用するステップと、を含む。

１つ以上の実施形態では、前記畳み込みニューラルネットワークは、領域畳み込みニューラルネットワーク、マップ畳み込みニューラルネットワーク、又は深層畳み込みニューラルネットワークのうちの１つである。

追加又は代替の実施形態では、前記オーディオビジュアルコンテンツは、（コンテンツプロバイダのサーバシステムなどの）少なくとも１つのオーディオビジュアルコンテンツプロバイダ又は少なくとも１つのオーディオビジュアル記録デバイス（例えば、スマートフォン、タブレット、スマートウォッチ、ラップトップ、スマートＴＶ、スマートカメラ、携帯型／装着型コンピューティングデバイス）から受信される。オーディオビジュアルコンテンツは、作成されるときにリアルタイム又はリアルタイムに近い状態で受信され得るか、又はコンテンツストレージから受信され得る。オーディオビジュアルコンテンツプロバイダは、例えば、配信又はストリーミングサービスプロバイダであり得る。

代替の実施形態によれば、前記オーディオビジュアルコンテンツの前記音声は、１チャネル音声又はマルチチャネル音声のうちの一方である。実際、本方法は、イマーシブな体験を生むことによって、１チャネルの品質を改善させることができる。更に、元の音声がマルチチャネルである場合、各々の可聴成分は、別々の音声チャネルを有し、各々のチャネルは、１つの映像成分を識別する。

本開示の一実施形態に係る映像分析の段階で、受信されたオーディオビジュアルコンテンツのフレームでの画像パターンのライブラリが作成される。映像分析中に、各々の認識された画像パターンが識別され分類され、カテゴリの情報、フレームの番号、及びｘｙ座標での場所を含む対応する画像パターンデータベースに記憶される。

本開示の例示的な実施形態では、画像パターンデータベースは、フレームで認識され、識別され、分類された各々の画像のＩＤ、対応する音声パターンデータベースでの音声オブジェクトのＩＤ（ここで、音声ＩＤは、画像及び音声が同じオブジェクトに属すると識別されるときに更新される）、各フレームでの認識されたオブジェクトのカテゴリ（例えば、人間、自然、機械）及び各々のオブジェクトのタイプ（例えば、男性／女性、木／鳥／哺乳類、小さい／大きい車両など）、フレーム番号、ならびに各フレームでの各々の音声寄与オブジェクトの場所座標のうちの少なくとも１つを備える。

更に、画像パターンデータベースに記憶される各々の画像パターンは、対応する音声パターンデータベースでの音パターンに対する参照も含み得る。音パターンに対する参照は、映像分析及び音声分析の結果の対応付けを実行する段階で評価される。

オーディオビジュアルコンテンツの映像のフレームは、２つの畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）を通じて画像パターンデータベースから対応付けモジュールに送信され得る。第１のニューラルネットワークは、例えば、フレームでの音声寄与オブジェクトの画像を見つけラベル付けし、領域提案を行い、検索されたオブジェクトについて対応付ける領域を決定するように構成された領域畳み込みニューラルネットワーク（領域ＣＮＮ）である。

第２のニューラルネットワークは、例えば、その相対３Ｄ位置、例えば視点からの距離を決定するように構成された深度マップ畳み込みニューラルネットワーク（深度マップＣＮＮ）である。

本開示の一実施形態では、映像分析は、歪み除去のために画像をシャープにすることと、領域提案のための領域ＣＮＮと、シーン理解のための深度マップＣＮＮと、を含む。

フレームでの音声寄与オブジェクトは、領域ＣＮＮによって分析され、その音声寄与オブジェクトの形状に応じて、例えば、車、人、建物、鳥などのクラスによって分離され得る。深度マップＣＮＮは、各々のオブジェクト、例えば、ユーザに対する場所、動きベクトル、及び距離をパラメータ表記する。音自体を生成しない建物及びオブジェクトも、それらの音の反射特性により分析される。

本開示の一実施形態に係る音声分析の段階で、受信されたオーディオビジュアルコンテンツの音声チャンクの音声パターンのライブラリが作成される。

音声分析中に、各々の認識された音声チャンクが識別され分類され、ＩＤ、音のカテゴリ及びタイプの情報、開始フレームの番号、ならびに終了フレームの番号を含む対応する音声パターンデータベースに記憶される。各々の音声チャンクは、音声寄与オブジェクト要素（例えば、音声のオブジェクト要素の例は、モーターが動いている車である）及び非オブジェクト要素（例えば、非オブジェクト音声要素の例は、（目に見えない）唸る風である）の音カテゴリ及び音タイプを表し、例えば、カテゴリＮの音は、自然の特徴（例えば、鳥、動物、風などのタイプ）を有し、カテゴリＳは、男性及び女性の声（例えば、話し声などのタイプ）によって作られる音を有し、カテゴリＭは、機械（例えば、車両などのタイプ）、又は人間の活動（例えば、足音）によって生成される他のタイプの音についてである。音パターンライブラリは、リアルタイムに更新され得る。

本開示の一実施形態に係る音分析の段階で、システムは、受信されたオーディオビジュアルコンテンツから音声の音サンプルを読み込み、映像の各フレームの音のカテゴリ及びタイプを識別する。識別された音に基づいて、システムは、音パターンライブラリを作成する。各々の音パターンライブラリは、ＩＤ、タイプ識別子、開始及び終了フレームを有する音声パターンデータベースに記憶される。

本開示の一実施形態では、音声分析は、コンピュータリスニングによる自動音源識別によって実施される。音声分析中に、音声デジタルファイルに存在する音が識別され、元のオーディオビジュアルコンテンツファイルから抽出され、時間的な異なる音声フォーマットで個々のチャネルに分離される。この処理は、分解と呼ばれる。分解では、短時間フーリエ変換（Ｓｈｏｒｔ Ｔｉｍｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ：ＳＴＦＴ）が、大きい音声ファイルをより小さい音声チャンクに分解するために使用される。次いで、音声チャンクは、ニューラルネットワークが理解できるフォーマットにＳＴＦＴをデコードするように構成された畳み込みニューラルネットワークを通じて送信される。畳み込みニューラルネットワークは、元の音声波ファイルと同じエンコードシステムを、各々の識別された個々の音に対応する各々の新しい一連の波のエンコードに適用する。

本発明は、異なる音は異なる物理特性を有すること、例えば、女性及び男性の話し声は異なるスペクトル特性を有すること、加えて、例えば、車、オートバイ、トラック、ヘリコプターの音の間に、すべてが機械的なエンジンによって生成されていたとしても、いくつかの違いがあることに基づく。元の音声ファイルの特性が分析され、音が、スペクトル成分及び音声パラメータの分解及び識別に基づくクラスで分離される。映画又はゲーム内の音の量は、数千のオーダーであり得るが、本発明は、常に少数の音だけが同時に再生され、映像及び可聴の両方の情報の組が一致することを考慮する。

再帰的な反復処理及び機械学習は、特定のフレームで得られる情報を次のフレームに適用するのに有用である。言い換えると、複数の音が同時に存在し得るが、例えば、２人が存在するが１人しか話していないような競合がある場合、本開示は、２人のうちどちらが話しているかを決定するために、前のデータ及び将来のデータを利用する。

本開示の一実施形態では、１チャネル音声ファイルは、いくつかの音を含み、例えば、それは乱雑な音声ファイルである。乱雑な音声ファイルは、各々の音声ファイルが１つの音源を含むマルチチャネル音声ファイルに分解される。ここでの方策は、深層畳み込みニューラルネットワーク及び機械学習によって、乱雑な音声ファイルを分析することである。これにより、音源識別処理の効率が改善される。言い換えると、本システムは、異なる声を識別する回数が多いほど、同時に話している多数の人を識別する必要がある場合に、より良好に機能する。

一実施形態によれば、音声分析は、以下のステップを含む。音声ファイルを分析し、パターン及び物理特性を見出すために、メトリクスが開発される。分析する物理特性は、周波数コンテンツタイプ、ならびに振幅変調、調性、粗さ、及び鋭さのような単一の数の量である。音声寄与オブジェクトの分離は、深層畳み込みニューラルネットワークを使用することによって実装される。更に、機械学習処理が実施され、それによって、より多くのデータが分析されるほど、本開示は、より効果的で正確になる。

一実施形態では、画像パターンデータベースは、音声寄与オブジェクトとフレームとのリンクを検索する前に完全に構築される。これにより、最大限の情報を使用して、フレームと音声パターンとの最善の一致を見出すことが可能になる。更に、ドップラー、口の動き、周波数減衰のような他のメカニズムを使用して、特定の画像パターンと音声パターンとのリンクを識別する。

既存のデジタルオーディオビジュアルコンテンツへのイマーシブオーディオの実装は、オーディオビジュアルコンテンツの映像及び音声を分析し、両方のコンテンツが互いに一致するように処理を実行することによって、自律的に自動的に実施される。対応付けは、機械学習分析で決定される。最終のコンテンツは、最終ユーザにとって、元々ストリーミングもしくは配信されたオーディオビジュアルコンテンツ又は元々記録された映像を処理する前よりもリアルでイマーシブであると感じられる。

追加の実施形態によれば、オーディオビジュアルコンテンツについてバイノーラルイマーシブオーディオを作成するためのデータ処理システムが提供される。データ処理システムは、本開示で論じられる方法のいずれかを実行するように構成されている。

オーディオビジュアルコンテンツが事前処理される本開示の追加の実施形態によれば、ユーザは、オーディオビジュアル記録デバイスを使用することによってオーディオビジュアルコンテンツを作成し、配信又はストリーミングサービスプロバイダのサーバに、記録されたオーディオビジュアルコンテンツを、ネットワークを介してアップロードする。本開示のサーバは、記録されたオーディオビジュアルコンテンツの２Ｄ音声を処理し、そのオーディオビジュアルコンテンツについてバイノーラルイマーシブオーディオを作成する。当該オーディオビジュアルコンテンツは更に、配信又はストリーミングサービスプロバイダのサーバにアップロードされ記憶される。処理されたオーディオビジュアルコンテンツは、配信又はストリーミングサービスプロバイダ（例えば、ＹｏｕＴｕｂｅ（登録商標）、Ｆａｃｅｂｏｏｋ（登録商標）、Ｖｉｍｅｏ（登録商標））のサーバに記憶されるため、更なる後処理は必要ない。

オーディオビジュアルコンテンツが後処理される本開示の別の実施形態によれば、ユーザは、オーディオビジュアル記録デバイス（例えば、スマートフォン、タブレット、スマートウォッチ、ラップトップ、スマートＴＶ、スマートカメラ、携帯型／装着型コンピューティングデバイス）を使用することによってオーディオビジュアルコンテンツを作成し、配信又はストリーミングサービスプロバイダ（例えば、ＹｏｕＴｕｂｅ（登録商標）、Ｆａｃｅｂｏｏｋ（登録商標）、Ｖｉｍｅｏ（登録商標））のサーバに、記録されたオーディオビジュアルコンテンツを直接アップロードしている。本開示のサーバは、記録されたオーディオビジュアルコンテンツの２Ｄ音声を後処理し、そのオーディオビジュアルコンテンツについてバイノーラルイマーシブオーディオを作成する。後処理されたオーディオビジュアルコンテンツは、インターネットを介してユーザのデバイスに転送され、ユーザのデバイスのディスプレイに表示される。後処理は、オーディオビジュアルコンテンツが、配信又はストリーミングサービスプロバイダのサーバから要求されるときに連続的に実施される。

本開示の別の実施形態では、後処理されたオーディオビジュアルコンテンツは、配信又はストリーミングサービスプロバイダのサーバに記憶される。同じオーディオビジュアルコンテンツが再び要求されるとき、更なる後処理は不要である。
図面の詳細説明

図１は、本開示に係るシステム１００の例示的な実施形態の概略図である。システム１００は、通信ネットワーク１２０を介してオーディオビジュアルコンテンツプロバイダ１１２に接続されたサーバ１１０を備える。サーバ１１０はまた、通信ネットワークを介してオーディオビジュアル記録デバイス１１４に接続され得る。サーバ１１０はまた、通信ネットワークを介してユーザデバイス２１４に接続され得る。オーディオビジュアル記録デバイス１１４は、通信ネットワーク１２０を介してオーディオビジュアルコンテンツプロバイダに、記録されたオーディオビジュアルコンテンツを提供し得る。

サーバ１１０は、オーディオビジュアル記録デバイス１１４から、及び／又はオーディオビジュアルコンテンツプロバイダ１１２からオーディオビジュアルコンテンツ３００を受信するように構成されている。オーディオビジュアルコンテンツ３００は、映像フレーム３０１と、音声３０２と、を備える。サーバ１１０は、オーディオビジュアルコンテンツ３００の映像３０１に対して、バイノーラルイマーシブオーディオを作成するように構成されている。サーバ１１０は更に、受信されたオーディオビジュアルコンテンツを音声３０２及びフレーム３０１に分割し、音声３０２から音声部分３０３を選択し、分割された音声３０２の音声部分３０３及びフレーム３０１を処理し、処理された音声を処理されたフレームと対応付け、バイノーラルイマーシブオーディオを有する単一のオーディオビジュアルコンテンツとして、対応付けられた音声及びフレームをオーディオビジュアルコンテンツ受信機（例えば、配信もしくはストリーミングサービスプロバイダ１１２又はユーザのデバイス１１４、２１４）に送信するように構成されている。

サーバ１１０は、受信されたオーディオビジュアルコンテンツの映像認識処理を実行するように構成されたコンピュータビジョンモジュール４００と、受信されたオーディオビジュアルコンテンツの音声認識処理を実行するように構成されたコンピュータリスニングモジュール５００と、オーディオビジュアルコンテンツ３００の認識された映像及び認識された音声の対応付けを実行するように構成された対応付けモジュール６００と、音声寄与オブジェクトの場所座標を一致させるように音声チャンクを空間化するように構成された音声処理モジュール７００と、少なくとも２つのニューラルネットワーク８００（例えば、畳み込みニューラルネットワーク）と、を備える。

コンピュータビジョンモジュール４００は、図３で詳細に説明される。コンピュータリスニングモジュール５００は、図４で詳細に説明される。対応付けモジュール６００は、図５で詳細に説明される。

図２ａは、バイノーラルイマーシブオーディオが生成されるオーディオビジュアルコンテンツの消費のために構成されたユーザデバイス２１４の図である。バイノーラルイマーシブオーディオは、人間の耳で完全にリアルに感じられるデジタル形式の音と定義される。バイノーラルイマーシブオーディオの目的は、表示されたオーディオビジュアルコンテンツをよりリアルな体験に変換することである。ユーザデバイス２１４は、オーディオビジュアルコンテンツの映像をレンダリングするためのディスプレイ２２０を備える。ユーザは、デバイス２１４のディスプレイ２２０で、インターネットによって配信される処理されたデジタルオーディオビジュアルコンテンツを観る。図２ａでは、レンダリングされた音声生成オブジェクト２４１、２６１、及び２５１が示されている。一組のヘッドフォン２３０又はスピーカー２３１が、ユーザデバイス２１４に接続されている。ヘッドフォン２３０は、レンダリングされた映像のバイノーラルイマーシブオーディオをユーザに提供する。所望のイマーシブで楽しむことができる体験が提示され、ここで、音及び画像の両方が完全に一致している。

図２ｂは、スクリーン２２０上のレンダリングされた映像に関する、抽出された音声パターン２５２、２４２、２６２の概略図である。音声パターン２５２は、人間であるオブジェクト２５１に対応付けられ、したがって、すなわち音声パターン２５２は、ディスプレイの上記エリア（又は場所座標）から空間的に生じているように見える。音声パターン２４２は、動物であるオブジェクト２４１に対応付けられ、したがって、すなわち音声パターン２４２は、ディスプレイの上記エリア（又は場所座標）から空間的に生じているように見える。音声パターン２６２は、機械であるオブジェクト２６１に対応付けられ、したがって、すなわち音声パターン２６２は、ディスプレイの上記エリア（又は場所座標）から空間的に生じているように見える。

図３は、本開示の一実施形態に係る方法の映像分析のステップを示す、本方法のブロック図である。映像フレーム３０１は、サーバ１１０のコンピュータビジョンモジュール４００によって受信される。フレームｎが、受信された映像フレームからフレーム選択モジュール４０１で選択される。選択されたフレームｎは、ニューラルネットワーク及び機械学習ベースのパターン認識、オブジェクト認識モジュール４０６、４０７それぞれを使用して分析される。音声寄与オブジェクトが検出されない場合、次のフレームが処理される（４０８）（ｎ＋＋）。音声寄与オブジェクトが識別されると（４０９）、音声寄与オブジェクトは、カテゴリ４１０及びタイプ４１１によって分類され、画像パターンデータベース４０２に記憶される。識別は、カテゴリ４１０（例えば、人間、自然、機械）によって音声寄与オブジェクトを識別し（４１０）、次いで、各カテゴリのタイプ４１１（例えば、女性、男性、鳥、哺乳類、小さい、大きいなど）によってより詳細なレベルで識別するための２つのステップを有する。音声寄与オブジェクトの識別されたパターンは、画像パターンデータベース４０２に記憶される。フレームインデックスｎは、ステップ４１２で更新される（ｎ＋＋）。ステップ４０５において分析されるフレームが更にある場合、処理は、モジュール４０１に移行し、映像のすべてのフレームが処理されるまで繰り返される。すべてのフレームが処理された場合、サーバ１１０で実行されている音声分析モジュール５００が使用される。

図４は、本開示の一実施形態に係る方法の音声分析のステップを示す、本方法のブロック図である。オーディオビジュアルコンテンツ３００の音声３０２の音声部分３０３は、サーバ１１０のコンピュータリスニングモジュール５００によって受信される。フレームｎからサンプル長までの音サンプルが、受信された音声部分から音サンプル選択モジュール５０１で選択される。次のステップでは、分析する音声部分が更にあるかどうかが確認される（５０２）。対応するフレーム内の音声部分が存在しない場合、受信されたオーディオビジュアルコンテンツの音声分析は、ステップ５０３でサーバ１１０によって終了される。フレームｎからサンプル長までの選択された音サンプルは、ニューラルネットワーク及び機械学習ベースの音声認識モジュール５０６及び音声パターン認識モジュール５０７を使用して分析される。対応するフレームでの音声パターンが検出されない場合、次のフレームが処理される（５０８）（ｎ＋＋）。ステップ５０７において音声パターンが認識されると、音声パターンは、カテゴリ５１０（例えば、人間、自然、機械）及びタイプ５１１（例えば、女性、男性、鳥、哺乳類、小さい、大きいなど）によって分類され（５０９）、音声パターンデータベース５０５に記憶される。次いで、ＩＤ＝１＋ｎを有する音声パターン６０１が、音声パターンデータベース５０５から対応付けモジュール６００に送信される。

図５は、本開示の一実施形態に係る方法の映像及び音声分析の結果の対応付けのステップを示す、本方法のブロック図である。

ＩＤ＝１＋ｎを有する分析された音声パターン６０１が、サーバ１１０の対応付けモジュール６００で音声パターンデータベース５０５から受信される。ここで、ｎは、音声パターン用のカウンタであり、各々の音声パターンは、開始フレームから終了フレームまでの期間を有する。音声パターンが残っているかが確認される（６０２）。対応するフレームでの音声パターンが検出されない場合、次のフレームが処理される（６０３）（ｎ＋＋）。音声パターンが検出されると、場所＝開始フレーム＋ｆから、画像パターンデータベースからの同じタイプの音声寄与オブジェクトの検索が実行される（６０４）（すなわち、音声パターンタイプが「車」である場合、画像パターンタイプ「車」もあるかを検索する。１巡目ではｆ＝０であるため、ターゲットフレームは、音サンプルの初め（開始フレーム）と同じである）。フレームが残っているかが確認される（６０５）。フレームが残っていない場合、映像全体が処理される。フレームが残っている場合、例えば、ドップラー効果、口の動き、周波数減衰識別方法を使用することによって、音声と画像とのリンクを識別するための追加の情報に対して追加の識別が実行される（６０６）。音声パターンタイプ及び画像パターンタイプが一致するかどうかが確認される（６０７）。一致がない場合、音声パターンデータベース５０５からのＩＤ＝１＋ｎを有する次の音声パターンが受信される（６０１）。一致が検出される場合、同じタイプの画像パターンが複数あるかどうかが確認される（６０８）。同じタイプの画像パターンが複数ない場合、次のフレームを処理するためにフレームカウンタｆが増分される（ｆ＋＋）（６１１）、続いてｆ＜ｆ_requiredであるか又はフレームが残っていないかが検討される（６１２）（すなわち、ｆ_requiredは、画像音声パターン対応付けを認識するために処理する必要がある最小のフレーム量についての変数である）。画像パターンがフレーム間で徐々に変化する場合、そのオブジェクトは、同じオブジェクトとして識別され、画像パターンデータベースから次が読み込まれる（６１３）。すなわち、フレーム＝開始フレーム＋ｆ。画像パターンが前のフレームと同じであるかどうかが確認される（６１４）。同じでない場合、特定の画像パターンがこのフレームから消えたかどうかの確認が増分され（６１５）、次いで、同じタイプの画像パターンが複数あるかどうかが確認される（６０８）。画像パターンが前のフレームと同じであることが検出される場合、同じタイプの画像パターンが複数あるかどうかが確認される（６０８）。同じタイプの画像パターンが複数あることが検出される場合、すべての画像パターンが音ＩＤを有するか、又はそのフレームでのすべての画像パターンが処理された（ｋ＝＞ｊ）かどうかが確認される（６２０）（同じタイプの画像パターンが複数ある場合、画像パターンデータベースから以前に集められたデータも検索する必要がある。すなわち、例えば、同じシーンに更に多くの人が来て、一部の人／音パターンが以前のフレームですでに識別されている）。そうである場合、画像と音パターンとの一致が見出され、画像パターンデータベースが更新される（６０９）。

更に、ステップ６１２で、識別処理が、高い信頼性で実行されることを保証するために、識別の失敗がなく生じ得るフレーム数の限界の値が確認され、この値が、６１６で設定される限界に対応しない場合、音声パターンデータベース５０５からのＩＤ＝１＋ｎを有する次の音声パターンが受信される（６０１）。この値が、設定された限界に対応する場合（６１７）（すなわち、ｆ_required＝０、最大誤差＝０）、画像と音パターンとの一致が見出され、画像パターンデータベースが更新される（６０９）。

ステップ６２０で、すべての画像パターンが音ＩＤを有していないか、又はそのフレームでのすべての画像パターンが処理されていないことが検出される場合、音声パターンＩＤ値を有しない（すなわち、音声パターンとまだリンクされていない）画像パターンが選択され（６２１）、これらの画像パターンが処理されて、その場所から画像パターンデータベースからの同じタイプの音声寄与オブジェクトの検索によって音声パターンの可能性のある源が認識され（６２２）、パターン１＋ｋを受信する（６２３）。

図６は、本開示の一実施形態に係るシステムの画像パターンデータベース４０２の例示的な構造を示す。この画像パターンデータベースは、オーディオビジュアルコンテンツのＩＤ、対応する音声寄与オブジェクトのカテゴリ及びタイプによって分類される各フレームでの検出された音声寄与オブジェクトの情報、対応するフレームでの音声寄与オブジェクトの場所座標、ならびに対応する音声寄与オブジェクトが現れるフレーム番号を有するフレームを備える。

図７は、本開示の一実施形態に係るシステムの音声パターンデータベース５０５の例示的な構造を示す。この音声パターンデータベースは、オーディオビジュアルコンテンツのＩＤ、各々の音声パターンの開始フレーム及び終了フレームの番号、ならびに各々の音声パターンのカテゴリ及びタイプの情報を有する認識された音声パターンを備える。

Claims (10)

1. 映像（３０１）及び音声（３０２）を備える少なくとも１つのオーディオビジュアルコンテンツ（３００）についてバイノーラルイマーシブオーディオを作成するための方法であって、
   ・ 前記映像（３０１）及び前記音声（３０２）を受信することと；
   ・ 前記映像の少なくとも１つのフレームを選択することと；
   ・ 前記映像の前記少なくとも１つの選択されたフレームを分析して、前記少なくとも１つのフレーム内の少なくとも１つの音声寄与オブジェクトを識別することと；
   ・ 前記音声の少なくとも１つの部分（３０３）を選択することと；
   ・ 前記音声の前記選択された少なくとも１つの部分を分析して、前記音声の前記選択された少なくとも１つの部分の音声パターン（２５２、２４２、２６２）のうちの少なくとも１つを抽出することと；
   ・ 前記少なくとも１つの抽出された音声パターンを、前記少なくとも１つの選択されたフレーム内の前記識別された少なくとも１つの音声寄与オブジェクトと対応付けることと；
   ・ 前記対応付けを使用して、前記映像の前記少なくとも１つのフレームについて前記バイノーラル音声を生成することと；
   を含む方法。
2. 前記映像（３０１）の前記少なくとも１つの選択されたフレームを分析することは、
   ・ コンピュータビジョン（４００）を使用することによって、前記映像の前記少なくとも１つの選択されたフレームについて映像認識処理を実行するステップと；
   ・ 音声寄与オブジェクトの空間場所座標を計算するステップと；
   ・ 少なくとも１つの畳み込みニューラルネットワーク（８００）を使用することによって、音声寄与オブジェクト及び前記空間場所座標を分類するステップと、
   を含む、請求項１に記載の方法。
3. 前記映像（３０１）の前記少なくとも１つの選択されたフレームを分析することは、
   ・ 歪み除去のために前記少なくとも１つのフレームをシャープにするステップと；
   ・ 空間領域座標を使用して前記少なくとも１つの音声寄与オブジェクトについて領域提案を行うステップと；
   ・ 前記少なくとも１つの音声寄与オブジェクトの相対３Ｄ位置を決定するステップと；
   ・ 少なくとも１つの畳み込みニューラルネットワーク（８００）を使用して、前記領域提案を行い、前記相対３Ｄ位置を決定するステップと、
   を更に含む、請求項１又は２に記載の方法。
4. 前記音声の前記選択された少なくとも１つの部分（３０３）を分析して、音声パターンを抽出することは、
   ・ コンピュータリスニングによって、前記音声の前記選択された少なくとも１つの部分（３０３）の音声認識処理を実行して、音声パターン（２５２、２４２、２６２）を識別するステップと；
   ・ コンピュータリスニングによって、前記識別された音声パターンを少なくとも１つの個々の音声チャンクに分解して、前記少なくとも１つの音声パターンでの音を識別するステップと；
   ・ 少なくとも１つの畳み込みニューラルネットワーク（８００）を使用することによって、前記少なくとも１つの音声チャンクの前記識別された音を分類するステップと；
   ・ 少なくとも１つの分類された音声チャンクの音パターンライブラリを作成し、前記音パターンライブラリを音声パターンデータベース（５０５）に記憶するステップと；
   ・ 抽出される音声パターンとして前記作成された音パターンライブラリを使用するステップと、
   を含む、請求項１から３のいずれかに記載の方法。
5. 前記少なくとも１つの抽出された音声パターン（２５２、２４２、２６２）を、前記少なくとも１つの音声寄与オブジェクトと対応付けることは、
   ・ 畳み込みニューラルネットワーク（８００）又は機械学習方法の少なくとも一方を適用することによって、前記少なくとも１つの音声パターンの情報及び前記少なくとも１つのフレームの相関を検索して、音声パターンライブラリ内のどの音声チャンクが、前記識別された音声寄与オブジェクトと一致するかを識別するステップと；
   ・ 前記対応付けとして前記相関を使用するステップと、
   を含む、請求項１から４のいずれかに記載の方法。
6. 前記畳み込みニューラルネットワーク（８００）は、領域畳み込みニューラルネットワーク又はマップ畳み込みニューラルネットワークのうちの一方である、請求項２から５のいずれかに記載の方法。
7. 前記オーディオビジュアルコンテンツ（３００）は、少なくとも１つのオーディオビジュアルコンテンツプロバイダ（１１２）又はオーディオビジュアル記録デバイス（１１４）から受信される、請求項１から６のいずれかに記載の方法。
8. 前記オーディオビジュアルコンテンツ（３００）の前記音声は、１チャネル音声である、請求項１から７のいずれかに記載の方法。
9. 前記オーディオビジュアルコンテンツ（３００）の前記音声は、マルチチャネル音声である、請求項１から７のいずれかに記載の方法。
10. 請求項１から９のいずれかに記載の方法を実行するように構成された、オーディオビジュアルコンテンツ（３００）についてバイノーラル及び３Ｄ音声を作成するためのデータ処理システム（１００）。

Images