JP6242346B2 - ３ｄグラフィックス・アニメーションを３ｄステレオ・コンテンツに挿入する方法および装置 - Google Patents

Description

本発明は、３Ｄグラフィックス・アニメーションを３Ｄステレオ・コンテンツに挿入する方法および装置に関する。本発明は、グラフィックスの挿入に関するため、主にポストプロダクション環境に適用され、さらに、ＳＴＢ、ＢＤプレイヤ、ＴＶセット、スマート・フォン、および３Ｄ機能を有するタブレットを含む、コンシューマ・プロダクツに関する。本発明は、３Ｄディスプレイ上に表示される３Ｄグラフィックス・コンテンツが作成される度に使用することができる。

本発明は、アニメーション化されたグラフィックが３Ｄビデオ・レイヤーの最上位に重ねられるときの深度知覚コンフリクトの問題を解決することを目的とする。実際、遮蔽手掛かり（ｏｃｃｌｕｓｉｏｎ ｃｌｕｅ）と深度手掛かり（ｄｅｐｔｈ ｃｕｅ）とが一致しない場合には、視覚的な不快感が発生し、頭痛や吐き気が引き起こされる。３Ｄグラフィックスが深度方向にアニメーション化される場合には、より一層コンフリクトが発生する可能性が高い。

２つのステレオ・コンテンツ（大抵の場合は、一方は、ビデオ（現実の画像、プライマリ）であり、他方は、グラフィックス（バーチャル画像、セカンダリ））を混合する際に重なりを回避する方法を記載した特許や文献が非常に多数存在する。通常、２つのコンテンツのうちの一方をシフトさせてさらなる重なりが発生しないようにすることが提案されている。２つの入来するコンテンツを快適な範囲に維持することは必ずしも可能でないため（輻湊／遠近調節の問題）、時折、深度範囲を圧縮することが提案されている。ＷＯ２００８／０３８２０５Ａ２（Ｐｈｉｌｉｐｓ社）およびＵＳ２０１１０１９９４５９ＮＶは、このような方法について記載している。

本発明は、グラフィックス要素が現れたり消えたりするアニメーションが存在する適用例において改善が得られるようにすることを目的とする。２Ｄディスプレイを用いる場合は、とても単純である。その理由は、２Ｄディスプレイにおいては、視覚的なコンフリクトが発生することは全くなく、２．５Ｄアニメーション（３Ｄアニメーションであるが、単一の２Ｄウィンドウに投影されるもの）は、よい結果を生じさせるからである（３Ｄアニメーションの間、グラフィックスの深度が無限大となるため、グラフィックスが見えなくなる）。３Ｄディスプレイ上では、そのグラフィックス要素と、現実のシーンのオブジェクト、少なくとも、背景（おそらくは、深度は無限大ではない）とのコンフリクトが生ずる可能性があるだけでなく、時折、深度が画面レベルにある現実のシーンの他のオブジェクトや、画面から飛び出そうとしている現実のシーンの他のオブジェクトとのコンフリクトが生ずる可能性がある。

本発明の目的は、グラフィックス・アニメーションと３Ｄシーンのオブジェクトとが重なる上述した問題を取り扱うことにある。

本発明は、グラフィックス・アニメーションを３Ｄ画像に挿入する方法からなり、グラフィックス・アニメーションの各３Ｄグラフィックス要素は、上記３Ｄ画像の所定の挿入ゾーンへの挿入のためにサイズおよび深度が規定されている。

この方法は、グラフィックス要素が上記所定の挿入ゾーン内の３Ｄ画像の対応する部分と重ならないように、挿入されるグラフィックス要素に対し、所定の挿入ゾーン内の画像の最小の深度値に対応する最大許容深度値を定めるステップを含み、さらに、この方法は、挿入されるグラフィックス要素の深度値が最大許容深度値よりも大きい場合に、最大許容深度値に基づいて、グラフィックス要素の深度値を維持するステップと、グラフィックス要素の深度の減少に比例してグラフィックス要素のサイズを減少させて、挿入されるグラフィックス要素の、最大許容深度値よりも大きい深度値と、最大許容深度値との間の深度差を補償するステップと、を含む。

本発明の使用により、２Ｄ空間におけるグラフィックスのサイズが変更される一方で、視差が一定に維持される。

好ましい態様においては、この方法は、境界ボックスのサイズおよび深度値でグラフィックス要素のサイズおよび深度値を置き換えるように、グラフィックス要素を囲む境界ボックスを定めるステップをさらに含む。

好ましい態様においては、一緒に動いている複数の異なるグラフィックス要素を囲む境界ボックスが規定される。

好ましい態様においては、３Ｄ画像のオブジェクトによるグラフィックス要素の重なりが回避されるように、最大許容深度値が定められる。

好ましい態様においては、最大許容深度値は観客によって選択される。

好ましい態様においては、グラフィックス・アニメーションを３Ｄ画像に挿入する方法はポストプロダクション環境に適用される。

好ましい態様においては、グラフィックス・アニメーションを３Ｄ画像に挿入する方法はコンシューマ・プロダクツに適用される。

好ましい態様においては、３Ｄ画像の重なりが回避されるように、少なくとも挿入されるグラフィックス要素に対する最大許容深度が定められる。

本発明は、また、グラフィックス・アニメーションを３Ｄ画像に挿入する装置に関し、グラフィックス・アニメーションの各３Ｄグラフィックス要素は、上記３Ｄ画像の所定の挿入ゾーンへの挿入のためにサイズおよび深度が規定されている。

この装置は、グラフィックス要素が上記所定の挿入ゾーン内の３Ｄ画像の対応する部分と重ならないように、挿入されるグラフィックス要素に対し、所定の挿入ゾーン内の画像の最小の深度値に対応する最大許容深度値を定める手段と、挿入されるグラフィックス要素の深度値が最大許容深度値よりも大きい場合に、最大許容深度値に基づいて、グラフィックス要素の深度値を維持する手段と、グラフィックス要素の深度の減少に比例してグラフィックス要素のサイズを減少させて、挿入されるグラフィックス要素の、最大許容深度値よりも大きい深度値と、最大許容深度値との間の深度差を補償する手段と、を有する。

本発明は、グラフィックスが現れたり消えたりする視覚上のコンフリクトがもはや生ずることがなくなるという利点を有する。なお、本発明では、ビデオ・コンテンツの重なりを阻止するためのシフトが行われることがないため、オリジナルのステレオ・ビデオ・コンテンツが保持される。

本発明の特徴および利点について、以下の図面を参照してさらに説明する。

本発明の実施態様を示す図である。 本発明を説明するための平面および関連する深度を示す図である。

本発明は、当初のアニメーション・シナリオから発生した幾何学的な変換を、現実のシーンの深度量との重なりが生じない安全な深度範囲内にグラフィックス要素を維持する一方で、グラフィックス要素が無限大（サイズ＝０）から、あるいは、無限大（サイズ＝０）に移動するという印象を与える、異なる幾何学的な変換に変更する方法を提案する。これは、スケール・パラメータを変換パラメータとともに更新することによって成し遂げることができる。スケール・パラメータは、グラフィック要素の最大の長さおよび最大の幅として規定される。並進パラメータは、深度値である。したがって、グラフィックス要素は、スケール・パラメータを用いてサイズが規定される。

３Ｄグラフィックスは、通常、３Ｄモデリング・ツールによってモデル化される。Ｂｌｅｎｄｅｒ、Ｃｉｎｅｍａ４Ｄ、Ｍａｙａ、ＡｕｔｏＤｅｓｋなどの種々のモデル化ツールが良く知られている。

これらのオーサリング・ツールは、例えば、ｘｍｌ、ｘ３ｄ、ｖｒｍｌ、ｄａｅ、ｄｘｆ、ｆｂｘ、またはｏｂｊの形式でバーチャル・シーンのモデルをエクスポートすることができる。

基本的に、モデルは、幾つかの要素を含むツリーとして記述され、要素の各々は、色またはテクスチャ、さらに、並進、回転、またはスケーリングなどの変換に関連付けられた基本形として規定される。

図１に示されている本発明の実施態様は、以下のものを入力とする。
・３Ｄグラフィックスの仕様を含むモデル・ファイル
・基本的には、並進、回転、または、スケーリングのような始点と終点との間の変換、フレームの数、アニメーションの速度である、アニメーションの仕様を含むアニメーション・ファイル
・入来するステレオ・ビデオ

本発明の実施態様は、３Ｄグラフィックスと入来するステレオ・ビデオとを組み合わせることによって形成された、合成されたビデオを出力とする。

本発明の実施態様は、以下のモジュールを含む。
・ｘ３ｄファイル・パーサ・モジュール：このモジュールは、ファイルを読み出し、ＯｐｅｎＧＬ関数（頂点構築および変換演算）を使用して、グラフィックス・オブジェクトを要素毎に構築する。
・視差推定モジュール：このモジュールは、スパース（Ｓｐａｒｓｅ）な視差マップを算出し、プログラム可能なエリアに渡って最小の値を出す。このエリアは、画面全体であってもよいが、グラフィックが挿入される画面の一部分となる場合の方が多い。
・アニメーション構築モジュール：このモジュールは、アニメーション化されたグラフィックスの深度が現実のビデオと重なるかどうかをチェックする。アニメーション化されたグラフィックスの深度が現実のビデオと重ならない場合には、アニメーション・ファイルに含まれているパラメータがそのまま使用される。そうでない場合には、パラメータが変更される。
・グラフィックス・レンダラ・モジュール：これは、レンダリングの処理を担うモジュールである。グラフィックス・レンダラ・モジュールは、アニメーション・ビルダからアニメーション・スクリプトを取得し、このアニメーション・スクリプトに従ってＯｐｅｎＧＬ演算を実行する。
・合成モジュールは、補正されたグラフィックス要素を３Ｄステレオ・ビデオ画像と組み合わせることを可能にする。

推定器は、入来する左右の２Ｄ画像上で動作するため、深度値を直接提供しないが、むしろ、左右のピクチャ間の視差の値を提供する。視差値を深度値にリンクする関係は、当業者には良く知られている。

焦点距離、収束平面のベースラインおよび深度の点から、バーチャル・グラフィックスの設定を知っていれば、グラフィックス要素毎に結果として得られる視差を得ることができる。（頂点構築および変換の後に得られる）より遠方の深度ｚを知っていれば、相当する視差を取得して、視差推定器によって提供される視差と比較することができる。

補正方法は、視覚的なコンフリクトを阻止するためにアニメーション・ビルダによって使用される、当初のアニメーション・スクリプトを変更する方法である。アニメーション・ビルダは、フレーム毎に、グラフィックスに対して結果として得られる視差をチェックする。

深度（視差）が深度（視差）推定器からのものよりも大きい場合には、補正が必要となる。

図２に例示されているように、グラフィックス要素を後退させる代わりに、むしろ、グラフィックス要素の長さおよび幅によって決定されるサイズが減少させられ、図面上のｚｍａｘ（ｚ＝４）に対応する最大許容深度で維持される。深度の範囲は、従って、最大の深度値ｚｍａｘによって制限される。

以下の図は、オブジェクトのサイズを減少させることによってオブジェクトが遠方に行くような感じを生み出す方法を示している。画面ｚｃｏｎｖ上のサイズ（ｚ＝３）と実際のサイズおよび深度ｚ（ｚ＝７）との間の関係は、以下の通りである。
ｌ／Ｌ＝Ｚｍａｘ／Ｚ

ここで、Ｌは、当初のオブジェクトの長さのサイズであり、
ｌは、補正された長さのサイズであり、
Ｚｍａｘは、最大許容深度である。

オブジェクトの幅も、同様に適応される。

ｚｍａｘ（ｚ＝４）の２つの矩形は、左眼（ｚ＝０の円）および右眼（ｚ＝０の円）のそれぞれから２Ｄ画面上で同じサイズで知覚されていたであろう、ｚ（ｚ＝７）の深度に位置するオリジナルのオブジェクトと比べてより小さなオブジェクトを表している。一つのオブジェクトのみが、レンダリングされ、ｚｍａｘ／ｚのスケール・ファクタを有するがｚｍａｘに位置するオブジェクトに対して中心に置かれることは明らかである。

本発明の実施形態においては、例えば、ポストプロダクションのレベルで、グラフィックスの挿入によりロゴを追加したり、スポーツの場合にスコア／プレイヤ名を追加したり、歌手の名前／タイトルを追加したりすることができる。

コンシューマ・デバイスのレベルでは、これは、メニューをブラウズするため、または、コンテンツ（ＥＰＧ）やユーザの好み、例えば、ソーシャル・ネットワーク、天気予報、株式市場のウィジェットにリンクされた追加データを取得するために、グラフィックスの挿入を必要とするユーザ・インタフェースとなり得る。

本発明の実施形態においては、グラフィックスの挿入に関するスクリプトおよびその深度によって、様々な関数や様々なシナリオに依存して、この挿入の深度を決定することができる。本発明の実施形態においては、グラフィックスは、水平方向に消えるべきである。

別の実施形態においては、グラフィックスの深度は、時間の関数において展開する。これは、深度が線形であり（または線形でなく）、時間の関数であることを意味する。

この方法は、深度値が最大許容深度を超えている場合には、アニメーション化された３Ｄグラフィックス要素を、深度値の変わりに要素サイズを変更することによってレンダリングすることからなる。従って、グラフィック要素の深度と最大許容深度値との間の深度差の補償は、グラフィック要素の深度の減少と比例してグラフィックス要素のサイズを減少させることによって行われる。

グラフィックス要素を囲んでいる境界ボックスを決定することにより、グラフィックス要素の場所にある境界ボックスの深度値、長さ値、および幅値を考慮できるようになる。境界ボックスの内部で複数の異なるグラフィックス要素が一緒に移動している際、境界ボックスを規定して、複数の異なるグラフィックス要素の場所にこの境界ボックスを挿入することを考慮することもできる。

深度値、長さ値、および幅値は、それぞれ、グラフィックス要素の深度値、長さ値、および幅値の最大値であるか、複数の異なるグラフィック要素を囲むボリュームであるか、グラフィックス要素の一部分を囲むボリュームである。

グラフィックス要素または境界ボックスの深度値、長さ値、および幅値は、グラフィックス要素に対応するデータを用いてインポートされた所定のデータである。

３Ｄ要素の最大の深度値は、要素の最も遠いポイントを表す画素の深度値に対応する。要素は、その長さ値、幅値、および深度値によってサイズが規定されるため、最大の深度値の変更は、グラフィック要素のサイズの比が考慮されるように計算される。

従って、グラフィックス要素が３Ｄ画像の中を移動することを示しているようなシナリオでは、最大の深度値が所与の制限に到達するとすぐに、この要素のサイズが、そのシナリオによって示されているグラフィックス要素の深度値に比例して変更される。

深度値は、３Ｄ画像を観客に表示している画面の３Ｄ深度に対して固定されている。
ここで例としていくつかの付記を記載する。
（付記１）
グラフィックス・アニメーションを３Ｄ画像に挿入する方法であって、前記グラフィックス・アニメーションの各３Ｄグラフィックス要素は、前記３Ｄ画像の所定の挿入ゾーンへの挿入のためにサイズおよび深度が規定されており、前記方法は、
前記グラフィックス要素が前記所定の挿入ゾーン内の３Ｄ画像の前記対応する部分と重ならないように、挿入される前記グラフィックス要素に対し、前記所定の挿入ゾーン内の前記画像の最小の深度値に対応する最大許容深度値を定めるステップと、
挿入される前記グラフィックス要素の深度値が前記最大許容深度値よりも大きい場合に、前記最大許容深度値に基づいて、前記グラフィックス要素の前記深度値を維持するステップと、
前記グラフィックス要素の深度の減少に比例して前記グラフィックス要素のサイズを減少させて、挿入される前記グラフィックス要素の、前記最大許容深度値よりも大きい前記深度値と、前記最大許容深度値との間の深度差を補償するステップと、
を含むことを特徴とする、前記方法。
（付記２）
前記境界ボックスのサイズおよび深度値で前記グラフィックス要素のサイズおよび深度値を置き換えるように、前記グラフィックス要素を囲む境界ボックスを定めるステップをさらに含むことを特徴とする、付記１に記載の方法。
（付記３）
前記グラフィックス要素のサイズは前記グラフィックス要素の最大の長さ値および最大の幅値によって決定されることを特徴とする、付記２に記載の方法。
（付記４）
前記挿入はポストプロダクション環境に適用されることを特徴とする、付記１〜３のいずれか１項に記載の方法。
（付記５）
前記挿入はコンシューマ・プロダクツに適用されることを特徴とする、付記１〜５のいずれか１項に記載の方法。
（付記６）
グラフィックス・アニメーションを３Ｄ画像に挿入する装置であって、前記グラフィックス・アニメーションの各３Ｄグラフィックス要素は、前記３Ｄ画像の所定の挿入ゾーンへの挿入のためにサイズおよび深度が規定されており、前記方法は、
前記グラフィックス要素が前記所定の挿入ゾーン内の３Ｄ画像の前記対応する部分と重ならないように、挿入される前記グラフィックス要素に対し、前記所定の挿入ゾーン内の前記画像の最小の深度値に対応する最大許容深度値を定める手段と、
挿入される前記グラフィックス要素の深度値が前記最大許容深度値よりも大きい場合に、前記最大許容深度値に基づいて、前記グラフィックス要素の前記深度値を維持する手段と、
前記グラフィックス要素の深度の減少に比例して前記グラフィックス要素のサイズを減少させて、挿入される前記グラフィックス要素の、前記最大許容深度値よりも大きい前記深度値と、前記最大許容深度値との間の深度差を補償する手段と、
を有することを特徴とする、前記装置。

Claims (6)

1. グラフィックス要素を３Ｄ画像に挿入する方法であって、前記３Ｄ画像を表示するためのディスプレイ装置に関連する電子装置によって実行され、前記方法は、
   挿入される前記グラフィックス要素に関して、少なくとも前記グラフィックス要素の長さＬ、前記挿入に関して前記グラフィックス要素と関連する深度ｚ及び前記３Ｄ画像における挿入ゾーンを取得することと、
   前記グラフィックス要素が所定の挿入ゾーン内の前記３Ｄ画像の対応する部分と重ならないように、挿入される前記グラフィックス要素に対し、前記所定の挿入ゾーン内の前記画像の最小の深度値に対応する最大許容深度値ｚ _ｍａｘ を定めることと、
   挿入される前記グラフィックス要素の深度値が前記最大許容深度値ｚ _ｍａｘ よりも大きい場合に、前記最大許容深度値ｚ _ｍａｘ で、前記グラフィックス要素の前記深度値ｚを作成することと、
   前記グラフィックス要素の深度の減少に比例して前記グラフィックス要素のサイズを減少させて、挿入される前記グラフィックス要素の、前記最大許容深度値ｚ _ｍａｘ よりも大きい前記深度値と、前記最大許容深度値ｚ _ｍａｘ との間の深度差を補償することであって、前記最大許容深度値ｚ _ｍａｘ に位置する前記グラフィックス要素が、（ｚ _ｍａｘ ＊Ｌ）／ｚに等しい長さ値ｌを持つようにする、
   を含む、前記方法。
2. 境界ボックスの少なくとも長さおよび深度値で前記グラフィックス要素の前記少なくとも長さＬおよび深度値ｚを置き換えるように、前記グラフィックス要素を囲む前記境界ボックスを定めることをさらに含む、請求項１に記載の方法。
3. 挿入される前記グラフィックス要素は、さらに幅Ｗを持ち、前記減少させることが、さらに、前記最大許容深度値ｚ _ｍａｘ に位置する前記グラフィックス要素が、（ｚ _ｍａｘ ＊Ｗ）／ｚに等しい幅値ｗを持つようにするサイズの減少を含む、請求項１又は２に記載の方法。
4. 前記挿入はポストプロダクション環境に適用される、請求項１〜３のいずれか１項に記載の方法。
5. 前記挿入はコンシューマ・プロダクツに適用される、請求項１〜３のいずれか１項に記
   載の方法。
6. グラフィックス要素を３Ｄ画像に挿入する装置であって、前記３Ｄ画像を表示するためのディスプレイ装置に関連する装置によって実行され、挿入する前記装置は、
   挿入される前記グラフィックス要素に関して、少なくとも前記グラフィックス要素の長さＬ、前記挿入に関して前記グラフィックス要素と関連する深度ｚ及び前記３Ｄ画像における挿入ゾーンを取得する手段と、
   前記グラフィックス要素が所定の挿入ゾーン内の前記３Ｄ画像の対応する部分と重ならないように、挿入される前記グラフィックス要素に対し、前記所定の挿入ゾーン内の前記画像の最小の深度値に対応する最大許容深度値ｚ _ｍａｘ を定める手段と、
   挿入される前記グラフィックス要素の深度値が前記最大許容深度値ｚ _ｍａｘ よりも大きい場合に、前記最大許容深度値ｚ _ｍａｘ で、前記グラフィックス要素の前記深度値ｚを作成する手段と、
   前記グラフィックス要素の深度の減少に比例して前記グラフィックス要素のサイズを減少させて、挿入される前記グラフィックス要素の、前記最大許容深度値ｚ _ｍａｘ よりも大きい前記深度値と、前記最大許容深度値ｚ _ｍａｘ との間の深度差を補償する手段であって、前記最大許容深度値ｚ _ｍａｘ に位置する前記グラフィックス要素が、（ｚ _ｍａｘ ＊Ｌ）／ｚに等しい長さ値ｌを持つようにする、
   を有する、前記装置。

Images