JP6546603B2 - 注視トラッキングの方法およびデバイスにおける視覚的な変更の非視覚的なフィードバック - Google Patents

Description

[0001] コンテンツ作成および／または配信デバイスは、ユーザが自分の注視を介してそれらのデバイスと対話することを可能にするために注視トラッキングシステムを利用することができる。いくつかの例においては、ユーザは、自分の注視のロケーションを変更することによって、単一のデバイスまたは複数のデバイスによってもたらされる複数の異なるユーザインターフェースおよび／またはコンテンツストリームの間において切り替えを行うことができる。

[0002] 一例においては、ユーザが、２つのフットボールの試合に関心がある場合があり、両方の試合を単一のテレビジョン上で表示する場合がある。第１の試合は、テレビジョンスクリーン全体において表示することが可能であり、その一方で第２の試合は、スクリーンの１つの隅の近くにあるさらに小さなインセットウィンドウにおいて表示される（「ピクチャーインピクチャー」機能など）。ユーザの注視のロケーションは、２つの試合のうちのどちらがスクリーン全体を占めるかを特定することができる。したがって、ユーザが、インセットウィンドウにおいて表示されている第２の試合を見ると、そのコンテンツストリームは、拡大してスクリーン全体を占めることが可能である。次いで、第１の試合のコンテンツストリームは、さらに小さなインセットウィンドウにおいて表示することが可能である。

[0003] しかしながら、ユーザの目の動きは、そのようなデバイスをコントロールするというユーザの意図に常に対応しているとは限らない場合がある。たとえば、インセットウィンドウにおいて表示されている試合における閃光またはその他の視覚的に気をそらすものに起因して、ユーザがそのウィンドウを一瞥する場合がある。次いで、２つのフットボールの試合の表示どうしを切り替えるという意図をユーザが有していないにもかかわらず、そのような切り替えが実行される場合がある。

[0004] ディスプレイデバイスにおける視覚的な変更がトリガーされているということをそのディスプレイデバイスの視聴者にアラートするために非視覚的なフィードバックを使用することに関するさまざまな実施形態が、本明細書において開示されている。たとえば、開示されている一実施形態は、コンピューティングデバイスにおいて、注視トラッキングシステムから視聴者の注視トラッキングデータを受信するステップを含む方法を提供する。注視トラッキングデータを使用して、視聴者が注視ロケーションを第１の注視ロケーションから第２の注視ロケーションへ変更しているということが特定される。

[0005] 視聴者が注視ロケーションを第２の注視ロケーションへ変更しているということを特定したことに基づいて、視覚的な変更がトリガーされ、その視覚的な変更がトリガーされているということを示す非視覚的なフィードバックが視聴者に提供される。所定のタイムフレーム内に変更キャンセル入力が受け取られた場合には、視覚的な変更は、ディスプレイデバイスを介して表示されない。所定のタイムフレーム内に変更キャンセル入力が受け取られなかった場合には、視覚的な変更は、ディスプレイデバイスを介して表示される。

[0006] この「発明の概要」は、コンセプトのうちの選択されたものを、簡略化された形式で紹介するために提供されており、それらのコンセプトは、以降の「発明を実施するための形態」においてさらに説明されている。この「発明の概要」は、特許請求される主題の鍵となる特徴または必要不可欠な特徴を識別することを意図されているものではなく、特許請求される主題の範囲を限定するために使用されることを意図されているものでもない。さらに、特許請求される主題は、本開示の任意の部分において記載されているあらゆるまたはすべての不利な点を解決する実施態様に限定されるものではない。

[0007]本開示の例による、視覚的な変更がトリガーされているということをディスプレイデバイスの視聴者にアラートするために非視覚的なフィードバックを使用するコンピューティングデバイスの概略図である。 [0008]本開示の例による、視覚的な変更がトリガーされているということを視聴者にアラートするために非視覚的なフィードバックを使用するコンピューティングデバイスおよびディスプレイと対話している部屋の中の数人の視聴者の概略図である。 [0009]本開示の一例による、視聴者が注視ロケーションを変更することによってトリガーされた視覚的な変更を表示しているディスプレイデバイスの概略図である。 [0009]本開示の一例による、視聴者が注視ロケーションを変更することによってトリガーされた視覚的な変更を表示しているディスプレイデバイスの概略図である。 [0010]コンピューティングデバイスディスプレイ上に表示されている２つのチャットウィンドウの概略図である。 [0011]本開示の一例による、ディスプレイデバイスにおける視覚的な変更がトリガーされているということをそのディスプレイデバイスの視聴者にアラートするために非視覚的なフィードバックを使用するための方法のフローチャートである。 [0011]本開示の一例による、ディスプレイデバイスにおける視覚的な変更がトリガーされているということをそのディスプレイデバイスの視聴者にアラートするために非視覚的なフィードバックを使用するための方法のフローチャートである。 [0012]コンピューティングデバイスの一例の簡略化された概略図である。

[0013] 図１は、ディスプレイデバイスにおける視覚的な変更がトリガーされているということをそのディスプレイデバイスの視聴者にアラートするために非視覚的なフィードバックを提供するためのコンピューティングデバイスの例示的な実施態様の概略図を示している。以降でさらに詳細に説明されているように、このコンピューティングデバイスは、視聴者が自分の注視ロケーションを変更しているということを特定するために注視トラッキングデータを使用する。視覚的な変更がトリガーされ、その変更がトリガーされているということを示す非視覚的なフィードバックが、視聴者に提供される。所定のタイムフレーム内に視聴者が変更キャンセル入力を提供した場合には、視覚的な変更は表示されない。視聴者がそのタイムフレーム内に変更キャンセル入力を提供しなかった場合には、視覚的な変更は表示される。

[0014] さまざまな例においては、このコンピューティングデバイスは、視聴者が対話することができるディスプレイデバイスから物理的に分離すること、またはそのディスプレイデバイス内に統合することが可能である。図１は、ディスプレイデバイス１４から物理的に分離されているコンピューティングデバイス１０の一例を概略的に示している。この例においては、コンピューティングデバイス１０は、別個のデバイス、たとえば、セットトップボックス、ゲーミングコンソール、ウェブカメラ、ウェアラブルデバイス、ヘッドマウントコンピューティングデバイスもしくはその他のウェアラブルコンピューティングデバイス、キーボード、専用の周辺機器、または、統合されたディスプレイを含んでいないその他の類似のデバイスを含むこと、またはそうしたデバイス内に統合することが可能である。

[0015] コンピューティングデバイス１０は、有線接続を使用してディスプレイデバイス１４と動作可能に接続することが可能であり、またはＷｉＦｉ、ブルートゥース（登録商標）、またはその他の任意の適切なワイヤレス通信プロトコルを介したワイヤレス接続を採用することができる。たとえば、コンピューティングデバイス１０は、ネットワーク１６へ通信可能に結合していることが可能である。ネットワーク１６は、ローカルエリアネットワーク（LAN）、ワイドエリアネットワーク（WAN）、有線ネットワーク、ワイヤレスネットワーク、パーソナルエリアネットワーク、またはそれらの組合せの形態を取ることができ、インターネットを含むことができる。コンピューティングデバイス１０のコンポーネントおよびコンピューティングの態様に関するさらなる詳細について、以降で図７を参照しながらさらに詳細に説明する。

[0016] 図１はまた、ヘッドマウントディスプレイ（HMD）デバイス１８内に統合されているコンピューティングデバイス１２の一例を示している。ＨＭＤデバイス１８は、仮想現実環境または複合現実感環境を生み出して、第１の視聴者２２に表示することができる。これらの例においては、ＨＭＤデバイス１８は、ＨＭＤデバイスを介して表示するための仮想環境または複合現実感環境を生成することができる表示プログラム２６を含むことができる。仮想環境は、ＨＭＤデバイス１８を介して生成および表示される仮想イメージ、たとえば、３次元の（3D）ホログラフィックオブジェクトおよび２次元の（2D）仮想イメージの形態の１つまたは複数の視覚的な要素を含むことができる。複合現実感環境においては、ＨＭＤデバイス１８は、視聴者が、その視聴者を取り巻く物理環境内でそのような仮想イメージを見ることを可能にすることができる。

[0017] いくつかの例においては、ＨＭＤデバイス１８は、視聴者の１つまたは複数の目の前でサポートされる透明な、半透明な、または不透明なディスプレイを含むことができる。ＨＭＤデバイス１８は、物理環境から物理環境データを受信するさまざまなセンサおよび関連システムを含むことができる。たとえば、ＨＭＤデバイス１８は、深度イメージデータを生成する１つまたは複数の深度カメラを含む深度センサシステム３０を含むことができる。

[0018] いくつかの例においては、ＨＭＤデバイス１８は、ＲＧＢカメラまたはその他の光センサなど、少なくとも１つの外側に向いているセンサを利用する光センサシステム３２を含むことができる。その外側に向いているセンサは、物理環境から２次元のイメージ情報を取り込むことができる。ＨＭＤデバイス１８は、１つまたは複数の加速度計、ジャイロスコープ、ヘッドトラッキングシステム、および／または、ユーザの位置もしくは向きを特定するためのその他のセンサを含む位置センサシステム３４を含むこともできる。

[0019] 加えて、図１において示されている例は、ＨＭＤデバイス１８内に統合されているコンピューティングデバイス１２を示している。その他の例においては、コンピューティングデバイス１２は、ＨＭＤデバイス１８とは別個のコンポーネントであることが可能であるということがわかるであろう。さまざまなフォームファクタを有する多くのタイプおよび構成のＨＭＤデバイス１８を使用することが可能であり、そうしたＨＭＤデバイス１８は、本開示の範囲内にある。

[0020] コンピューティングデバイス１２は、その他の任意の適切なタイプまたは形態のディスプレイデバイス、たとえば、タブレット、ノート、スマートフォン、またはその他のモバイルコンピューティングデバイス、デスクトップコンピューティングデバイス、スタンドアロンのモニタ、ウォールマウントディスプレイ、インタラクティブホワイトボード、または、統合されたディスプレイを有するその他の類似のデバイスを含むこと、またはそうしたデバイス内に統合することが可能であるということもわかるであろう。

[0021] コンピューティングデバイス１０およびコンピューティングデバイス１２は両方とも、マスストレージ４０内に格納することが可能であるコンテキスト切り替えプログラム３８を含むことができる。コンテキスト切り替えプログラム３８は、以降でさらに詳細に説明されている方法およびプロセスのうちの１つまたは複数を実行するためにメモリ４２内にロードしてプロセッサ４６によって実行することが可能である。

[0022] コンピューティングデバイス１０およびコンピューティングデバイス１２は、注視トラッキングシステム５４から注視トラッキングデータ５０を受信することができる。さまざまな例においては、注視トラッキングシステム５４は、ディスプレイデバイス１４、ＨＭＤデバイス１８内に、または、上述の統合されたディスプレイを有するそれらの例示的なデバイスを含むがそれらに限定されない、その他の任意の適切なタイプもしくは形態のディスプレイデバイスを伴う共通の筐体内に配置することが可能である。その他の例においては、注視トラッキングシステム５４およびコンピューティングデバイス１０は、ヘッドマウントデバイスもしくはその他のウェアラブルデバイスなど、統合されたディスプレイを含まない共通の筐体内に、または上述の統合されたディスプレイを伴わないそれらの例示的なデバイスを含むがそれらに限定されない、統合されたディスプレイを含まないその他の任意の適切なタイプもしくは形態のコンピューティングデバイス内に統合することが可能である。

[0023] 図１を引き続き参照すると、例示的なディスプレイデバイス１４は、１つまたは複数の視覚的な要素を第２の視聴者６２に提示するためのディスプレイシステム５８を含むことができる。以降でさらに詳細に説明されているように、コンテキスト切り替えプログラム３８は、ディスプレイデバイス１４を介して第２の視聴者６２に表示されている１つまたは複数の視覚的な要素における視覚的な変更をトリガーするために注視トラッキングシステム５４からの注視トラッキングデータ５０を利用することができる。同様に、例示的なＨＭＤデバイス１８において、コンテキスト切り替えプログラム３８は、ＨＭＤデバイスを介して第１の視聴者２２に表示されている１つまたは複数の視覚的な要素における視覚的な変更をトリガーするためにＨＭＤデバイス内の注視トラッキングシステム５４からの注視トラッキングデータを利用することができる。

[0024] ディスプレイ１４およびＨＭＤデバイス１８は、電気信号を別の形態のエネルギーへと変換する１つまたは複数のアクチュエータを含むトランスデューサシステム６２を含むこともできる。いくつかの例においては、トランスデューサシステム６２は、視聴者へのオーディオフィードバックを生成するための１つまたは複数のスピーカーを含むことができる。その他の例においては、１つまたは複数のスピーカーは、視聴者によって着用されるヘッドフォンまたはインイヤーイヤフォンの形態を取ることができる。その他の例においては、トランスデューサシステム６２は、振動など、視聴者への触覚フィードバックを生成するための１つまたは複数の触覚トランスデューサを含むことができる。

[0025] ディスプレイ１４およびＨＭＤデバイス１８は、物理環境からのオーディオ入力を受け取るためのマイクロフォンシステム６６および１つまたは複数のマイクロフォンを含むこともできる。いくつかの例においては、複数のマイクロフォンを含むマイクロフォンアレイを提供することが可能である。それらのマイクロフォンは、視聴者からの話声および物理環境からのその他のオーディオ入力を受け取るように構成されている無指向性マイクロフォンおよび／または単一指向性マイクロフォンを含むことができる。

[0026] 次いで図２〜図４を参照して、例示的な使用事例の説明を提供する。図２は、視覚的な変更がトリガーされているということを視聴者にアラートするために非視覚的なフィードバックを使用するコンピューティングデバイスおよびディスプレイデバイスと対話している部屋２００の中の数人の視聴者の概略図である。一例においては、視聴者ボブ２０２が、ウォールマウントディスプレイ２０６の実質的にスクリーン全体をカバーする視聴フォーマットで表示されている映画Ａを見ている。映画Ａは、ディスプレイ２０６のスピーカー２１０を通じて放送される映画Ａのオーディオを含むコンテンツストリームを含む。

[0027] 視聴者ボブ２０２は、別のチャネル上で放送されている野球の試合Ｂにも関心がある。野球の試合Ｂは、野球の試合Ｂのオーディオを含む別のコンテンツストリームを含む。その試合から目を離さないようにするために、視聴者ボブ２０２は、ディスプレイ２０６のピクチャーインピクチャー機能を従事させて（engage）、スクリーンの右下の隅の付近にあるさらに小さなインセットウィンドウ２１８において野球の試合Ｂも表示する。野球の試合Ｂが、さらに小さなインセットウィンドウ２１８において表示するために選択された場合には、野球の試合Ｂのオーディオは、スピーカー２１０を介して放送されない。ディスプレイ２０６に通信可能に結合されているセットトップボックス２１４は、コンピューティングデバイス１０と、コンテキスト切り替えプログラム３８と、視聴者ボブ２０２の注視のロケーションを追跡把握して、対応する注視トラッキングデータを生成する注視トラッキングシステム５４とを含む。

[0028] 最初の時点で、注視トラッキングシステム５４によって特定された際に、視聴者ボブ２０２の注視は、映画Ａにおける戦車２２２に対応するディスプレイ２０６のスクリーン上の第１のロケーション２２０に位置している。野球の試合Ｂについて興味を抱いて、視聴者ボブ２０２は、自分の注視を、さらに小さなインセットウィンドウ２１８において表示されている野球の試合Ｂにおける飛んでいる野球ボール２２８に対応するスクリーン上の第２のロケーション２２４へ移す。

[0029] 注視トラッキングシステム５４からの注視トラッキングデータを使用して、コンテキスト切り替えプログラム３８は、視聴者ボブ２０２が自分の注視ロケーションをインセットウィンドウ２１８における第２のロケーション２２４へ変更したということを特定する。野球の試合Ｂに対応するロケーションへの注視ロケーションにおけるこの変更に基づいて、コンテキスト切り替えプログラム３８は、ウォールマウントディスプレイ２０６によって表示されているコンテンツにおける視覚的な変更をトリガーする。本開示の目的に関して、視覚的な変更をトリガーすることは、所定のタイムフレームを開始して、そのタイムフレームの経過時に、変更キャンセル入力が視聴者から受け取られているかどうかに応じて視覚的な変更を表示すること、または表示しないことを意味する。所定のタイムフレームは、任意の適切な時間的長さを有することができる。所定のタイムフレームの非限定的な例は、０．５秒、１．０秒、２．０秒、３．０秒、５．０秒、１０．０秒、またはその他の任意の適切なタイムフレームを含む。

[0030] この例においては、次いで図３および図４を参照すると、視覚的な変更は、野球の試合Ｂおよび映画Ａの視聴フォーマットどうしを取り替えることを含む。換言すれば、図４において示されているように、視覚的な変更は、野球の試合Ｂをディスプレイ２０６の実質的にスクリーン全体に表示すること、および映画Ａをさらに小さなインセットウィンドウ２１８において表示することを含む。

[0031] 視聴者ボブ２０２が自分の注視ロケーションを第２のロケーション２２４へ変更したときに、彼は、野球の試合Ｂおよび映画Ａの視聴フォーマットどうしを取り替えたいと望む場合もあり、または望まない場合もある。たとえば、視聴者ボブ２０２は、単に試合のスコアを見て、次いで映画Ａを引き続き見たい場合がある。したがって、視聴者ボブ２０２が自分の注視ロケーションを第２のロケーション２２４へ変更したということを特定したことに基づいて、オーディオフィードバック２３０がスピーカー２１０を介して視聴者ボブに提供され、そのオーディオフィードバックは、視覚的な変更がトリガーされているということを示す。有利には、オーディオフィードバック２３０は、視聴者ボブが変更キャンセル入力を提供しない限り、所定のタイムフレームの経過時に野球の試合Ｂおよび映画Ａの視聴フォーマットどうしが取り替えられることになるということを視聴者ボブ２０２にアラートする。

[0032] 以降でさらに詳細に説明されているように、視聴者ボブ２０２が野球の試合Ｂおよび映画Ａの視聴フォーマットどうしを取り替えたくない場合には、彼は、変更キャンセル入力を提供することができる。彼が、所定のタイムフレームの経過前に変更キャンセル入力を提供した場合には、コンテキスト切り替えプログラム３８は、野球の試合Ｂおよび映画Ａの現在の視聴フォーマットどうしを保持するようにディスプレイ２０６をコントロールし、それに対応して、視聴フォーマットどうしを取り替えることをやめる。

[0033] いくつかの例においては、オーディオフィードバック２３０は、所定のタイムフレームにわたって映画Ａのオーディオのボリュームを下げることを含むことができる。所定のタイムフレームの終了時に、映画Ａのオーディオのボリュームを完全にミュートすることが可能であり、または単に所定のタイムフレームの開始時よりも下げることもできる。その他の例においては、オーディオフィードバックは、所定のタイムフレームにわたって野球の試合Ｂのオーディオのボリュームを上げることを含むことができる。いくつかの例においては、所定のタイムフレームにわたって、映画Ａのオーディオのボリュームを下げることができ、かつ野球の試合Ｂのオーディオのボリュームを上げることができる。

[0034] その他の例においては、オーディオフィードバックは、イヤコン（earcon）を含むことができる。イヤコンは、ビープ音、マルチトーンメロディー、サウンドパターン、自然からの録音されたサウンド、またはその他の適切なサウンドを含むがそれらに限定されない１つまたは複数の独特のサウンドを含むことができる。いくつかの例においては、オーディオフィードバックは、言葉によるアラートを提供する人間の声を含むことができる。たとえば、人間の声は、「コンテンツの取り替えを行います。３、２、１」など、視覚的な変更の表示までのカウントダウンを提供することができる。

[0035] 上述のように、視聴者ボブ２０２が野球の試合Ｂおよび映画Ａの現在の視聴フォーマットどうしを取り替えたくない場合には、彼は、所定のタイムフレームが経過する前に変更キャンセル入力を提供することができる。いくつかの例においては、変更キャンセル入力は、視聴者によって提供されるオーディオ入力を含むことができる。そのようなオーディオ入力の例は、１つまたは複数の話された言葉、視聴者によって発せられる、話された言葉以外のサウンド、および、たとえば、手をたたく音、指をはじく音など、視聴者によって作成または生成された、声ではないサウンド、ならびに、機械的な、電子的な、またはその他のデバイスを用いてサウンドを生成することを含むことができるが、それらに限定されない。

[0036] 図２の例においては、視聴者ボブ２０２は、所定のタイムフレームが経過する前に、「変更なし」という話された言葉の形態の変更キャンセル入力を提供することができる。その話された言葉は、ディスプレイ２０６上のマイクロフォン６６によって受信される。したがって、所定のタイムフレームが経過する前に視聴者ボブ２０２から変更キャンセル入力を受け取ったことに応答して、コンテキスト切り替えプログラム３８は、野球の試合Ｂおよび映画Ａの視聴フォーマットどうしを取り替えることをやめるように、したがって、図２および図３において示されている視聴フォーマットどうしを保持するようにディスプレイデバイス２０６をコントロールする。

[0037] その一方で、視聴者ボブ２０２が視聴フォーマットどうしを取り替えたいと望む場合には、彼は、変更キャンセル入力を提供することを単にやめることができる。この例においては、所定のタイムフレームの経過時に、コンテキスト切り替えプログラム３８は、図４において示されているように、野球の試合Ｂおよび映画Ａの視聴フォーマットどうしを取り替えるようにディスプレイ２０６をコントロールする。いくつかの例においては、視聴フォーマットどうしを取り替えるという視覚的な変更は、所定のタイムフレームの経過時にフォーマットどうしを１回で実質的に瞬時に切り替えることを含むことができるということがわかるであろう。その他の例においては、視覚的な変更は、所定のタイムフレームの経過時に、野球の試合Ｂをディスプレイ２０６の実質的にスクリーン全体に表示してから映画Ａをさらに小さなインセットウィンドウ２１８において表示することを含むことができる。これらの例においては、視覚的な変更の前に、野球の試合Ｂの表示フォーマットが拡大される一方で映画Ａの表示フォーマットが縮小されるという動画の遷移が先行することが可能である。

[0038] 別の例においては、変更キャンセル入力は、視聴者ボブ２０２が自分の注視ロケーションを、野球の試合Ｂに対応している第２のロケーション２２４から、野球の試合Ｂに対応していない第３の注視ロケーションへ変更することを含むことができる。たとえば、第３の注視ロケーションは、野球の試合Ｂが表示されているインセットウィンドウ２１８の外の任意のロケーションを含むことができる。

[0039] その他の例においては、変更キャンセル入力は、視聴者からの複数のまばたきを含むことができる。たとえば、図２および図５を参照すると、視聴者アン２４０が、自分のタブレット２４４を介して２人の友達とチャットしている場合がある。タブレット２４４のスクリーン２４８上に表示されているのは、第１のチャットウィンドウ２５２および第２のチャットウィンドウ２５６である。タブレット２４４の注視トラッキングシステム５４は、アンが、第１のチャットウィンドウ２５２内のあるロケーション、たとえば、第１のテキスト入力ボックス２６０を注視しているということを特定することができる。点滅しているカーソル２６４を第１のテキスト入力ボックス２６０において表示して、このボックスがフォーカスを有していてテキスト入力を受け取ることができるということを示すことが可能である。視聴者アン２４０が自分の注視ロケーションを第２のチャットウィンドウ２５６内のあるロケーションへ変更したということを特定すると、視覚的な変更をトリガーすることが可能であり、その視覚的な変更がトリガーされているということを示す非視覚的なフィードバックを、タブレット２４４を介して視聴者アン２４０に提供することが可能である。

[0040] 所定のタイムフレーム内に視聴者アン２４０が変更キャンセル入力を提供しなかった場合には、タブレット２４４は、点滅しているカーソル２６４を第１のテキスト入力ボックス２６０から第２のチャットウィンドウ２５６における第２のテキスト入力ボックス２７０へ移動することなど、視覚的な変更を表示することができる。視聴者アン２４０が、点滅しているカーソルを第２のテキスト入力ボックス２７０へ切り替えたいと望まない場合には、彼女は、複数のまばたきを含む変更キャンセル入力を所定のタイムフレーム内に提供することができる。一例においては、その変更キャンセル入力は、０．５秒以内に３回のまばたきを含むことができる。任意の適切な所定のタイムフレームと結合された任意の適切な数のまばたきを変更キャンセル入力のために使用することが可能であるということがわかるであろう。

[0041] その他の例においては、変更キャンセル入力は、視聴者によって実行されるジェスチャーを含むことができる。たとえば、再び図２を参照すると、視聴者デル２８０が、メガネ２８４というフォームファクタのＨＭＤデバイスを着用している場合がある。視聴者デル２８０は、ＨＭＤメガネ２８４によるホログラフィーの魔法使い２８６の表示を含むゲームをプレイしている場合がある。ホログラフィーの魔法使い２８６は、ＨＭＤメガネ２８４における注視トラッキングシステム５４によって特定されたデルの現在の注視ロケーション２８８において表示されている。視聴者デル２８０が自分の注視ロケーションをカウチ２９２の肘掛け２９０へ変更したということを特定すると、視覚的な変更をトリガーすることが可能であり、その視覚的な変更がトリガーされているということを示す非視覚的なフィードバックを、ＨＭＤメガネ２８４を介して視聴者デル２８０に提供することが可能である。

[0042] 所定のタイムフレーム内に視聴者デル２８０が変更キャンセル入力を提供しなかった場合には、ＨＭＤメガネ２８４は、魔法使い２８６の表示をカウチ２９２の肘掛け２９０へ移動することができる。視聴者デル２８０が魔法使い２８６のロケーションを移動したいと望まない場合には、彼は、ジェスチャーを含む変更キャンセル入力を提供することができる。図２において示されているように、一例においては、変更キャンセル入力は、視聴者デル２８０が魔法使い２８６の現在のロケーションを指し示すことを含むことができる。視聴者の頭、顔、１つもしくは複数の手、指、腕、脚、および／もしくは足による動き、またはその他の任意の体の動きを含むがそれらに限定されない任意の適切なジェスチャーを変更キャンセル入力として利用することが可能であるということがわかるであろう。

[0043] その他の例においては、視覚的な変更がトリガーされているということを示すために、その他の形態の非視覚的なフィードバックを視聴者に提供することが可能である。いくつかの例においては、視聴者によって着用されているウェアラブルデバイス、視聴者によって握られているハンドヘルドデバイス、および／または、視聴者が対話する対象となる家具もしくはその他のオブジェクトによって提供される触覚フィードバックを利用することが可能である。再び図２を参照すると、たとえば、ＨＭＤメガネ２８４および／または腕時計２９４によって生成される振動を介して触覚フィードバックを視聴者デル２８０に提供することが可能である。同様に、ネックレス２４６によって生成される振動を介して視聴者ボブ２０２に、またはタブレット２４４によって生成される振動を介して視聴者アンに触覚フィードバックを提供することが可能である。触覚フィードバックを提供することができるウェアラブルデバイスのその他の多くの例およびフォームファクタを利用することが可能であり、それらは本開示の範囲内にあるということがわかるであろう。

[0044] 図６Ａおよび図６Ｂは、本開示の一実施態様による、ディスプレイデバイスにおける視覚的な変更がトリガーされているということをそのディスプレイデバイスの視聴者にアラートするために非視覚的なフィードバックを使用するための方法６００のフローチャートを示している。方法６００についての以降の説明は、図１〜図５において示されている上述のソフトウェアコンポーネントおよびハードウェアコンポーネントを参照しながら提供される。方法６００は、その他の適切なハードウェアコンポーネントおよびソフトウェアコンポーネントを使用してその他のコンテキストにおいて実行することも可能であるということがわかるであろう。

[0045] 図６Ａを参照すると、６０４において、方法６００は、注視トラッキングシステムから視聴者の注視トラッキングデータを受信するステップを含むことができる。６０８において、方法６００は、注視トラッキングデータを使用して、視聴者が注視ロケーションを第１の注視ロケーションから第２の注視ロケーションへ変更しているということを特定するステップを含むことができる。６１２において、方法６００は、視聴者が注視ロケーションを第２の注視ロケーションへ変更しているということを特定したことに基づいて、視覚的な変更をトリガーするステップを含むことができる。６１６において、方法６００は、視聴者が注視ロケーションを第２の注視ロケーションへ変更しているということを特定したことに基づいて、視覚的な変更がトリガーされているということを示すオーディオフィードバックを視聴者に提供するステップを含むことができる。

[0046] ６２０において、方法６００は、所定のタイムフレーム内に変更キャンセル入力が受け取られなかった場合には、視覚的な変更を表示するようにディスプレイデバイスをコントロールするステップを含むことができる。６２４において、方法６００は、所定のタイムフレーム内に変更キャンセル入力が受け取られた場合には、視覚的な変更を表示することをやめるようにディスプレイデバイスをコントロールするステップを含むことができる。６２８において、視覚的な変更は、第１のコンテンツのオーディオを含む第１のコンテンツストリームから第２のコンテンツストリームへ切り替えるステップを含むことができ、オーディオフィードバックを提供するステップは、所定のタイムフレームにわたって第１のコンテンツのオーディオのボリュームを下げるステップを含むことができる。

[0047] 次いで図６Ｂを参照すると、６３２において、第２のコンテンツストリームは、第２のコンテンツのオーディオを含むことができ、オーディオフィードバックを提供するステップはさらに、所定のタイムフレームにわたって第２のコンテンツのオーディオのボリュームを上げるステップを含むことができる。６３６において、オーディオフィードバックは、イヤコンを含むことができる。６４０において、第１の注視ロケーションは、第１のコンテンツストリームに対応することが可能であり、第２の注視ロケーションは、第２のコンテンツストリームに対応することが可能である。６４４において、変更キャンセル入力は、視聴者が注視ロケーションを第２の注視ロケーションから第３の注視ロケーションへ変更するステップを含むことができる。６４８において、変更キャンセル入力は、視聴者からの言葉によるコマンド、視聴者による複数のまばたき、および視聴者のジェスチャーから構成されているグループから選択することが可能である。

[0048] ６５２において、方法６００は、視聴者が注視ロケーションを第２の注視ロケーションへ変更しているということを特定したことに基づいて、視覚的な変更がトリガーされているということを示す触覚フィードバックを視聴者に提供するステップを含むことができる。６５６において、触覚フィードバックは、視聴者によって着用されているウェアラブルコンピューティングデバイスを介して提供することが可能である。

[0049] 方法６００は、例として提供されており、限定的であることを意図されているものではないということがわかるであろう。したがって、方法６００は、図６Ａおよび図６Ｂにおいて示されているステップ以外にさらなるステップおよび／または代替のステップを含むことができるということを理解されたい。さらに、方法６００は任意の適切な順序で実行することが可能であるということを理解されたい。さらにまた、本開示の範囲から逸脱することなく方法６００から１つまたは複数のステップを省略することが可能であるということを理解されたい。

[0050] 図７は、上述の方法およびプロセスのうちの１つまたは複数を実行することができるコンピューティングシステム７００の非限定的な一例を概略的に示している。コンピューティングデバイス１０およびコンピューティングデバイス１２は、コンピューティングシステム７００の１つまたは複数の態様の形態を取ること、またはそうした１つまたは複数の態様を含むことが可能である。コンピューティングシステム７００は、簡略化された形態で示されている。本開示の範囲から逸脱することなく、実質的に任意のコンピュータアーキテクチャーを使用することが可能であるということを理解されたい。さまざまな実施形態においては、コンピューティングシステム７００は、メインフレームコンピュータ、サーバコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、ホームエンターテイメントコンピュータ、ネットワークコンピューティングデバイス、タブレット、ノート、スマートフォン、またはその他のモバイルコンピューティングデバイス、モバイル通信デバイス、ゲーミングデバイスなどの形態を取ることができる。

[0051] 図７において示されているように、コンピューティングシステム７００は、論理サブシステム７０４およびストレージサブシステム７０８を含む。コンピューティングシステム７００は、任意選択により、センササブシステム７１２、ディスプレイサブシステム７１６、通信サブシステム７２０、入力サブシステム７２２、ならびに／または図７において示されていないその他のサブシステムおよびコンポーネントを含むことができる。コンピューティングシステム７００は、コンピュータ可読メディアを含むこともでき、コンピュータ可読メディアは、コンピュータ可読ストレージメディアおよびコンピュータ可読通信メディアを含む。コンピューティングシステム７００は、任意選択により、その他のユーザ入力デバイス、たとえば、キーボード、マウス、ゲームコントローラ、および／またはタッチスクリーンなどを含むこともできる。さらに、いくつかの実施形態においては、本明細書において説明されている方法およびプロセスは、１つまたは複数のコンピュータを含むコンピューティングシステムにおけるコンピュータアプリケーション、コンピュータサービス、コンピュータＡＰＩ、コンピュータライブラリ、および／またはその他のコンピュータプログラム製品として実装することが可能である。

[0052] 論理サブシステム７０４は、１つまたは複数の命令を実行するように構成されている１つまたは複数の物理的なデバイスを含むことができる。たとえば、論理サブシステム７０４は、１つまたは複数のアプリケーション、サービス、プログラム、ルーチン、ライブラリ、オブジェクト、コンポーネント、データ構造、またはその他の論理構造の一部である１つまたは複数の命令を実行するように構成することが可能である。そのような命令を実施して、タスクを実行すること、データタイプを実施すること、１つもしくは複数のデバイスの状態を変容させること、またはその他の形で所望の結果に至ることが可能である。

[0053] 論理サブシステム７０４は、ソフトウェア命令を実行するように構成されている１つまたは複数のプロセッサを含むことができる。追加として、または代替として、この論理サブシステムは、ハードウェア命令またはファームウェア命令を実行するように構成されている１つまたは複数のハードウェア論理マシンまたはファームウェア論理マシンを含むことができる。この論理サブシステムのプロセッサは、シングルコアまたはマルチコアであることが可能であり、その上で実行されるプログラムは、並列処理または分散処理用に構成することが可能である。この論理サブシステムは、任意選択により、複数のデバイスの全体にわたって分散されている個々のコンポーネントを含むことができ、それらの複数のデバイスは、リモートに配置すること、および／または協調処理用に構成することが可能である。この論理サブシステムの１つまたは複数の側面を仮想化して、クラウドコンピューティング構成で構成されているリモートからアクセス可能なネットワーク化されたコンピューティングデバイスによって実行することが可能である。

[0054] ストレージサブシステム７０８は、本明細書において説明されている方法およびプロセスを実施するために論理サブシステム７０４によって実行可能なデータおよび／または命令を保持するように構成されている１つまたは複数の物理的な、永続的なデバイスを含むことができる。そのような方法およびプロセスが実施されたときに、ストレージサブシステム７０８の状態は、（たとえば、別のデータを保持するように）変容することが可能である。

[0055] ストレージサブシステム７０８は、取り外し可能なメディアおよび／または内蔵デバイスを含むことができる。ストレージサブシステム７０８は、数ある中でも、光メモリデバイス（たとえば、CD、DVD、HD-DVD、ブルーレイディスクなど）、半導体メモリデバイス（たとえば、RAM、EPROM、EEPROMなど）、および／または磁気メモリデバイス（たとえば、ハードディスクドライブ、フロッピーディスクドライブ、テープドライブ、MRAMなど）を含むことができる。ストレージサブシステム７０８は、揮発性、不揮発性、動的、静的、読み取り／書き込み用、読み取り専用、ランダムアクセス、シーケンシャルアクセス、ロケーションアドレス指定可能、ファイルアドレス指定可能、およびコンテンツアドレス指定可能という特徴のうちの１つまたは複数を伴うデバイスを含むことができる。

[0056] いくつかの例においては、論理サブシステム７０４およびストレージサブシステム７０８の諸側面は、１つまたは複数の共通のデバイスへと統合することが可能であり、それらのデバイスを通じて、本明細書において説明されている機能を少なくとも部分的に実施することが可能である。そのようなハードウェアロジックコンポーネントは、たとえば、フィールドプログラマブルゲートアレイ（FPGA）、プログラム固有集積回路および特定用途向け集積回路（PASIC/ASIC）、プログラム固有標準製品およびアプリケーション固有標準製品（PSSP/ASSP）、システムオンアチップ（SOC）システム、およびコンプレックスプログラマブルロジックデバイス（CPLD）を含むことができる。

[0057] 図７はまた、取り外し可能なコンピュータ可読ストレージメディア７２４の形態のストレージサブシステム７０８の一態様を示しており、これは、本明細書において説明されている方法およびプロセスを実施するために実行可能なデータおよび／または命令を格納するために使用することが可能である。取り外し可能なコンピュータ可読ストレージメディア７２４は、数ある中でも、ＣＤ、ＤＶＤ、ＨＤ−ＤＶＤ、ブルーレイディスク、ＥＥＰＲＯＭ、および／またはフロッピーディスクの形態を取ることができる。

[0058] ストレージサブシステム７０８は、１つまたは複数の物理的な、永続的なデバイスを含むということを理解されたい。対照的に、いくつかの実施態様においては、本明細書において説明されている命令の諸側面を、少なくとも有限な持続時間にわたって物理的なデバイスによって保持されない純粋な信号（たとえば、電磁信号、光信号など）によって一時的な様式で伝搬することが可能である。さらに、本開示に関連するデータおよび／またはその他の形態の情報は、コンピュータ可読通信メディアを介して純粋な信号によって伝搬することが可能である。

[0059] 含まれる場合には、センササブシステム７１２は、上述のようなさまざまな物理的な現象（たとえば、可視光、赤外光、音、加速、向き、位置など）を感知するように構成されている１つまたは複数のセンサを含むことができる。センササブシステム７１２は、たとえば、論理サブシステム７０４にセンサデータを提供するように構成することが可能である。そのようなデータは、注視トラッキング情報、イメージ情報、周辺照明情報、深度情報、オーディオ情報、位置情報、動き情報、ユーザロケーション情報、および／または、上述の方法およびプロセスを実行するために使用することが可能であるその他の任意の適切なセンサデータを含むことができる。

[0060] 含まれる場合には、ディスプレイサブシステム７１６は、ストレージサブシステム７０８によって保持されているデータの視覚的な表示を提示するために使用することが可能である。上述の方法およびプロセスが、ストレージサブシステム７０８によって保持されているデータを変化させ、ひいてはストレージサブシステムの状態を変容させるにつれて、ディスプレイサブシステム７１６の状態も同様に、基礎をなすデータにおける変化を視覚的に表すように変容することが可能である。ディスプレイサブシステム７１６は、実質的に任意のタイプのテクノロジーを利用する１つまたは複数のディスプレイデバイスを含むことができる。そのようなディスプレイデバイスは、論理サブシステム７０４および／またはストレージサブシステム７０８と、共有されている筐体において結合することが可能であり、またはそのようなディスプレイデバイスは、周辺ディスプレイデバイスであることも可能である。

[0061] 含まれる場合には、通信サブシステム７２０は、コンピューティングシステム７００を１つまたは複数のネットワークおよび／またはその他の１つまたは複数のコンピューティングデバイスと通信可能に結合するように構成することが可能である。通信サブシステム７２０は、１つまたは複数の異なる通信プロトコルに対応している有線通信デバイスおよび／またはワイヤレス通信デバイスを含むことができる。非限定的な例として、通信サブシステム７２０は、ワイヤレス電話ネットワーク、ワイヤレスローカルエリアネットワーク、有線ローカルエリアネットワーク、ワイヤレスワイドエリアネットワーク、有線ワイドエリアネットワークなどを介した通信用に構成することが可能である。いくつかの実施形態においては、通信サブシステムは、コンピューティングシステム７００が、インターネットなどのネットワークを介してその他のデバイスへ、および／またはその他のデバイスからメッセージを送信および／または受信することを可能にすることができる。

[0062] 含まれる場合には、入力サブシステム７２２は、ゲームコントローラ、ジェスチャー入力検知デバイス、音声レコグナイザ、慣性測定ユニット、キーボード、マウス、またはタッチスクリーンなど、１つまたは複数のセンサまたはユーザ入力デバイスを含むこと、またはそれらのセンサまたはユーザ入力デバイスとのインターフェースを取ることが可能である。いくつかの実施形態においては、入力サブシステム７２２は、選択されたナチュラルユーザ入力（NUI）構成部分を含むこと、またはそのＮＵＩ構成部分とのインターフェースを取ることが可能である。そのような構成部分は、統合すること、または周辺機器であることが可能であり、入力アクションの変換および／または処理は、オンボードまたはオフボードで取り扱うことが可能である。例示的なＮＵＩ構成部分は、話声および／または音声認識のためのマイクロフォン、マシンビジョンおよび／またはジェスチャー認識のための赤外線、カラー、立体、および／または深度カメラ、動き検知および／または意図認識のためのヘッドトラッカー、アイトラッカー、加速度計、および／またはジャイロスコープ、ならびに脳の活動を評価するための電界感知構成部分を含むことができる。

[0063] 「プログラム」という用語は、１つまたは複数の特定の機能を実行するために実施されるコンピューティングデバイス１０およびコンピューティングデバイス１２の一側面を記述するために使用することが可能である。いくつかのケースにおいては、そのようなプログラムは、ストレージサブシステム７０８によって保持されている命令を実行する論理サブシステム７０４を介してインスタンス化することが可能である。同じアプリケーション、サービス、コードブロック、オブジェクト、ライブラリ、ルーチン、ＡＰＩ、機能などから、別々のプログラムをインスタンス化することが可能であるということを理解されたい。同様に、別々のアプリケーション、サービス、コードブロック、オブジェクト、ルーチン、ＡＰＩ、機能などによって、同じプログラムをインスタンス化することが可能である。「プログラム」という用語は、実行可能ファイル、データファイル、ライブラリ、ドライバ、スクリプト、データベースレコードなどのそれぞれまたはグループを包含することを意図されている。

[0064] 本明細書において説明されている構成および／またはアプローチは、例示的な性質のものであるということ、および多くの変形形態が可能であるので、これらの特定の実施形態または例は限定的な意味で考えられるべきではないということを理解されたい。本明細書において説明されている特定のルーチンまたは方法は、任意の数の処理戦略のうちの１つまたは複数を表すことができる。したがって、示されているさまざまな行為は、示されているシーケンスで実行すること、その他のシーケンスで実行すること、並行して実行すること、またはいくつかのケースにおいては省略することが可能である。同様に、上述のプロセスの順序は、変更することが可能である。

[0065] 本開示の主題は、本明細書において開示されているさまざまなプロセス、システムおよび構成、およびその他の特徴、機能、行為、および／または特性、ならびにそれらのありとあらゆる均等物のすべての自明ではない新規な組合せおよび下位組合せを含む。

Claims (10)

1. コンピューティングデバイスにおいて、ディスプレイデバイスにおける視覚的な変更がトリガーされているということを前記ディスプレイデバイスの視聴者にアラートするために非視覚的なフィードバックを使用するための方法であって、
   注視トラッキングシステムから前記視聴者の注視トラッキングデータを受信するステップと、
   前記注視トラッキングデータを使用して、前記視聴者が注視ロケーションを第１の注視ロケーションから第２の注視ロケーションへ変更しているということを特定するステップと、
   前記視聴者が前記注視ロケーションを前記第２の注視ロケーションへ変更しているということを特定したことに基づいて、前記視覚的な変更をトリガーするステップと、
   前記視聴者が前記注視ロケーションを前記第２の注視ロケーションへ変更しているということを特定したことに基づいて、前記視覚的な変更がトリガーされているということを示す前記非視覚的なフィードバックを前記視聴者に提供するステップと、
   所定のタイムフレーム内に変更キャンセル入力が受け取られなかった場合には、前記視覚的な変更を表示するように前記ディスプレイデバイスをコントロールするステップと、
   前記所定のタイムフレーム内に前記変更キャンセル入力が受け取られた場合には、前記視覚的な変更を表示することをやめるように前記ディスプレイデバイスをコントロールするステップとを含む方法。
2. 前記視覚的な変更が、第１のコンテンツのオーディオを含む第１のコンテンツストリームから第２のコンテンツストリームへ切り替えるステップを含み、前記非視覚的なフィードバックを提供するステップが、前記所定のタイムフレームにわたって前記第１のコンテンツのオーディオのボリュームを下げるステップを含む、請求項１に記載の方法。
3. 第２のコンテンツストリームが、第２のコンテンツのオーディオを含み、前記非視覚的なフィードバックを提供するステップがさらに、前記所定のタイムフレームにわたって前記第２のコンテンツのオーディオのボリュームを上げるステップを含む、請求項１に記載の方法。
4. 前記非視覚的なフィードバックが、前記視覚的な変更の表示までのカウントダウンを提供する、請求項１に記載の方法。
5. 前記変更キャンセル入力が、視聴者によって生成された、声ではないサウンドを含む、請求項１に記載の方法。
6. ディスプレイデバイスにおける視覚的な変更がトリガーされているということを前記ディスプレイデバイスの視聴者にアラートするためにオーディオフィードバックを提供するためのコンピューティングデバイスであって、
   前記コンピューティングデバイスのプロセッサによって実行されるコンテキスト切り替えプログラムを含み、前記コンテキスト切り替えプログラムが、
   注視トラッキングシステムから前記視聴者の注視トラッキングデータを受信するステップと、
   前記注視トラッキングデータを使用して、前記視聴者が注視ロケーションを第１の注視ロケーションから第２の注視ロケーションへ変更しているということを特定するステップと、
   前記視聴者が前記注視ロケーションを前記第２の注視ロケーションへ変更しているということを特定したことに基づいて、前記視覚的な変更をトリガーするステップと、
   前記視聴者が前記注視ロケーションを前記第２の注視ロケーションへ変更しているということを特定したことに基づいて、前記視覚的な変更がトリガーされているということを示す前記オーディオフィードバックを前記視聴者に提供するステップと、
   所定のタイムフレーム内に変更キャンセル入力が受け取られなかった場合には、前記視覚的な変更を表示するように前記ディスプレイデバイスをコントロールするステップと、
   前記所定のタイムフレーム内に前記変更キャンセル入力が受け取られた場合には、前記視覚的な変更を表示することをやめるように前記ディスプレイデバイスをコントロールするステップとを行うように構成されている、コンピューティングデバイス。
7. 前記視覚的な変更が、第１のコンテンツのオーディオを含む第１のコンテンツストリームから第２のコンテンツストリームへ切り替えるステップを含み、前記オーディオフィードバックを提供するステップが、前記所定のタイムフレームにわたって前記第１のコンテンツのオーディオのボリュームを下げるステップを含む、請求項６に記載のコンピューティングデバイス。
8. 前記変更キャンセル入力が、前記視聴者が前記注視ロケーションを前記第２の注視ロケーションから第３の注視ロケーションへ変更するステップを含む、請求項６に記載のコンピューティングデバイス。
9. 前記変更キャンセル入力が、前記視聴者からの言葉によるコマンド、前記視聴者による複数のまばたき、および視聴者のジェスチャーから構成されているグループから選択される、請求項６に記載のコンピューティングデバイス。
10. 前記コンテキスト切り替えプログラムがさらに、前記視聴者が前記注視ロケーションを前記第２の注視ロケーションへ変更しているということを特定したことに基づいて、前記視覚的な変更がトリガーされているということを示す触覚フィードバックを前記視聴者に提供するように構成されている、請求項６に記載のコンピューティングデバイス。

Images