JP5015270B2 - 点滅する電磁放射線を用いた入力 - Google Patents

Description

本発明は、広くユーザ入力に関する。

関連出願についてのクロスリファレンス
本願は、２００７年２月１５日に出願した米国仮出願第６０／８９０，１０８号に基づく利益を主張し、当該出願の内容は援用によりここに組み込まれるものとする。

スクリーンの近くの物体が一定の光源及び周辺光によって照らされる場合、周辺光は、物体と離れた光源の反射光をユーザ入力に使用させるための一定の光源とほとんど区別できない。

一般的な一実施形態において、物は点滅光によって照らされる。ここで、スクリーンの背後の周辺光は、リアルタイム又はほぼリアルタイムに、点滅光の消えている段階において検出され、スクリーンの画像からフィルタ処理される。フィルタ処理に基づいて、例えば、検出位置のマッピング又は制御入力のための動作又はマウスイベントによって、スクリーンと関連する物体の二次元又は三次元位置、又は動作は識別されることができ、アプリケーションを制御するために用いられる。

更に一般的な実施形態においては、物体及び周囲電磁放射体は、スクリーンの第２側部に配置され、第１及び第２画像は、スクリーンの第１側部に取り込まれ、アクセスされる。第１画像は、物体が投射された電磁放射線に照らされる間に取り込まれ、第２画像は、投射された電磁放射線が消滅する間に取り込まれる。スクリーンと関連する物体の位置は、第１と第２画像の比較に基づき、決定される。アプリケーションは、決定された位置に基づいて制御される。

上記実施形態は、以下の特徴の１つ以上を備えてもよい。
電磁放射線は、スクリーンの第２側部に沿って、第２側部と平行な第１ライトカーテンとして投射されてもよい。電磁放射線は、スクリーンの第２側部に隣接して、第２側部と平行な第２ライトカーテンとして投射されてもよい。第１ライトカーテンと第２ライトカーテンは互いに平行であり、スクリーンの第２側部に関連する第１位置と第２位置に配置される。物体には、人体の一部が含まれる。第２位置が決定すると、アプリケーションは、決定された位置及び第２位置に基づいて制御されてもよい。第１画像と第２画像との比較に基づくスクリーンと関連する物体の決定された位置は、異なる画像により作り出される第１及び第２画像の減算を含んでもよい。スクリーンと関連する物体の決定された位置は、異なる画像の物体の配置を決定することを含んでもよい。

いくつかの実施形態において、決定された位置に基づいてアプリケーションを制御することは、カーソルを制御することを含んでもよい。投射された電磁放射線は、赤外線を含んでもよい。可視画像はスクリーンへ投射されることができ、物体は動いていてもよい。そして、カーソルの動作が物体の運動に対応するように、決定された位置に基づいてアプリケーションを制御することは、可視画像上のカーソルを制御することを含む。物体の運動は、人によってされるジェスチャを含んでもよい。

いくつかの実施形態において、第１及び第２画像にアクセスすることは、物体及び第２の物体の第１及び第２画像にアクセスすることを含んでもよい。そして、物体及び第２の物体はスクリーンの同じ側に配置され、スクリーンと関連する第２の物体の位置は決定されてもよい。物体が投射された電磁放射線によって照らされている間に、影は物体によって映し出され、スクリーンに映し出された影はモデル化されてもよい。モデル化に基づいて、第２の物体を覆う影が決定される。スクリーンと関連する第２の物体の位置を決定することは、影をアカウントすることを含んでもよい。

他の一般的な実施形態において、システムは第１側部、第２側部及び電磁放射線源を有する半透明スクリーンを含んでもよい。そして、点滅の速度で、供給源が電磁放射線を発することと、電磁放射線を消すこととを交互に行うように構成される。センサはスクリーンの第１側部に配置されて、点滅の速度で電磁放射線を検出するように構成されている。そして、電磁放射線はスクリーンの第２側部で、スクリーンの近傍に配置されている物体に反射される。システムも、検出された電磁放射線に基づいて物体の位置を決定するように構成されるプロセッサを備え、決定された物体の位置に基づいてアプリケーションを制御する。

上記実施形態は、以下の特徴の一つ以上を備えてもよい。スクリーンは、縁を含んでもよく、そして、電磁放射線源は、電磁放射線がスクリーンの第２側部にスクリーンと平行に反射されるように、１以上のスクリーンの縁に沿って配置される放射体の線形配列を含んでもよい。スクリーンは、平行四辺形でもよい。電磁放射線源は、放射体の一連の線形配列を含んでもよく、放射体の線形配列の各々は、スクリーンの表面から少し離れたスクリーンの第２側部に配置される。電磁気エネルギ源は、拡散的電磁気エネルギを放射してもよく、チャンネルは供給源と隣接していてもよい。ここで、チャンネルは、放射された電磁気エネルギを平行にするように構成されてもよい。チャンネルは、入口から出口までブロックを通って延びている通路を有するブロックの材料を含んでもよい。そして、拡散的電磁放射線は、入口に影響を与え、一部の拡散的電磁放射線が平行な電磁放射線として出口から現れる。チャンネルは、レンズを含んでもよい。電磁放射線源は、スクリーンの第１側部に配置される放射体を含んでもよく、電磁放射線は、スクリーンを通過して、物体を反射する。電磁放射線源は、発光ダイオードでもよい。発光ダイオードは、赤外線を放射してもよい。センサは、画素アレイでもよい。プロセッサもまた、物体によって映し出された影をモデル化することで構成されてもよい。そして、モデル化された影に基づいて、スクリーンの第２側部に配置される第２の物体の位置を決定する

上記の技術のいずれかの実施形態は、記憶装置に保存される方法、工程、システム又は記憶装置に保存された命令を含んでもよい。詳細な実施態様の説明は、添付の図面及び下記の説明に記載される。他の特徴は、図面及び請求項を含む以下の説明から明らかである。

システムの前後関係を示す図である。 システムの前後関係を示す図である。 システムの前後関係を示す図である。 ユーザがアプリケーションと相互に作用することができる例示システムを示す。 ユーザがアプリケーションと相互に作用することができる例示システムを示す。 ユーザがアプリケーションと相互に作用することができる例示システムを示す。 物体の位置を決定するための処理を示すフローチャートである。 入力画面及び結果として生じる差分画像の２つの実施例を示す図である。 ユーザがアプリケーションと相互に作用することができる例示システムを示す。 ユーザがアプリケーションと相互に作用することができる例示システムを示す。 ユーザがアプリケーションと相互に作用することができる例示システムを示す。 ユーザがアプリケーションと相互に作用することができる例示システムを示す。 典型的な電磁放射線源を示す図である。 典型的な電磁放射線源を示す図である。 ユーザがアプリケーションと相互に作用することができる例示システムを示す。 ユーザがアプリケーションと相互に作用することができる例示システムを示す。 例示システム及び付随する制御アプリケーションを示す。

一般的な実施形態において、物は点滅光によって照らされる。ここで、スクリーンの背後の周辺光は、リアルタイム又はほぼリアルタイムで、点滅光の消えている段階において検出され、スクリーンの画像からフィルタ処理される。フィルタ処理に基づいて、例えば、検出位置のマッピング又は制御入力のための動作又はマウスイベントによって、スクリーンと関連する物体の二次元又は三次元位置、又は動作は識別されることができ、アプリケーションを制御するために用いられる。

例えば、図１Ａに記載のシステム１００は、必ずしもスクリーン１１０に接触することなく、半透明スクリーン１１０に表示されるアプリケーション１０５とユーザ１０２、１０３、１０４とを相互に作用させる。ここに示した例では、ユーザ１０２、１０３、１０４は、アプリケーション１０５と相互に作用するために、スクリーン１１０と平行に、スクリーン１１０の前に投射された、光のカーテン（「ライトカーテン」及び／又は「光の面」と呼ばれる）を通して物体を動かす。図１Ａに示される実施例において、アプリケーション１０５は、「植物をつかむ」ゲームである。

ライトカーテンは、供給源１１５、１２０から発される電磁放射線によって形成される。電磁放射線は、光線でもよい。アプリケーション１０５と相互に作用するために、ユーザ１０２、１０３、１０４は、ライトカーテンを遮断するように、スクリーン１１０の方へ、例えば、手又は棒等を移動させ、又は配置してもよい。ライトカーテンの中の物体の動作、ホバリング及び／又は配置によって、システム１００はアプリケーション１０５による一連のマウスイベント（または他のＩ／Ｏイベント）、アプリケーション１０５の制御を行ってもよい。このように、ユーザ１０２、１０３、１０４は、ライトカーテンによって投射された物体の動作、ホバリング、配置によって、アプリケーション１０５を操作する。

下記に示すように、スクリーンに映し出される物体の動作、配置及び／又は位置は、決定され、アプリケーション１０５を操作するために用いる。特に、ライトカーテンの中の物体は、供給源１１５、１２０から投射される電磁気エネルギを反射し、そして、反射された電磁気エネルギはセンサ（例えばピクセル、画素アレイまたはカメラ）によって検出される。物体の位置又は動作は、検出されたエネルギに基づいて決定され、アプリケーション１０５は、決定された位置又は動作に基づいて操作される。スクリーン１１０上の供給源１１５、１２０からの光をスクリーン１１０に反射する物体に加えて、物体もまた、周辺光や、スクリーン１１０を照らす周辺光自身を反射してもよい。周辺光は、画像の中に現れてもよく、そうしなければ物体として誤って検出される。

物体によって反射された供給源１１５、１２０からの光と、物体として見誤った周辺光点とを見分けるために、供給源１１５、１２０は、所定パターン又は配列で照射されたライトカーテンによって照射された物と同様に、所定パターン又は配列（例えば、供給源１１５、１２０及び光は確かに点滅している）の電磁放射線を照射する。このように、供給源１１５、１２０が放射線を放射する間に、実際の物は、収集された画像に現れ、周辺光点はすべての画像に現れる（供給源１１５、１２０が電磁放射線を放射しない間に、収集したそれらを含む）。収集された画像に電磁気エネルギを消費しながら電磁放射線を放射する供給源１１５、１２０を比較することによって、実際の物体は周辺光によって生じるスクリーン１１０上の散在する点を区別されてもよい。物体が供給源１１５、１２０に照らされている間、及び照らされていない間に、センサがスクリーンのイメージの収集を交互に行うように、センサは、同期され、又は所定パターン又は配列に調整される。

図１Ａに示される実施例において、「植物をつかむ」ゲーム１０５は、スクリーン１１０に投射される植物１２１、１２２、１２３、１２４の中から、ユーザに植物を選択させる。一旦植物が選択されると、ゲーム１０５は、選択された植物を拡大し、影を付けたバージョンを披露する。ユーザ１０２は、右手１３４で植物１２１を選択し、ユーザ１０４は、植物１２３、１２４を選択する。この実施例では、ユーザ１０２は、手１３２、１３４をライトカーテンに入れて、植物１２１を選択する。例えば、手１３４がライトカーテンによって照らされている間にジェスチャすることによって、又は、手１３４がライトカーテンによって照らされると共に、植物１２１の上に手１３４がある時に選択する。手１３２、１３４は、それぞれ影１３５、１３７を作り出す。ユーザ１０４は、ライトカーテンに手１４１、１４３を配置して、植物１２３、１２４を選択する。手１４１、１４３は、それぞれ影１４５、１４７を映し出す。手や他の物体で特定の植物を選択することよりもむしろ、ユーザ１０３は、ライトカーテンの中に、身体の本体部分１４９が配置される。ライトカーテンの配置によって、ユーザ１０３の身体は、影１５０が作り出されてもよい。

手１３２、１３４、１４１、１４３の位置、及びライトカーテンを壊す本体部分１４９は図１Ｂに示すように表させる。位置１３２ｂ、１３４ｂは、スクリーン１１０に対して手１３２、１３４の位置に対応して決定される。そして、位置１４１ｂ、１４３ｂは、スクリーン１１０に対して手１４１、１４３の位置に対応して決定される。位置１６０は、ユーザ１０３の本体部分１４９の位置に対応する。以下に詳述するように、システム１００は、アプリケーション１０５を制御する方法を決定するために、大きさ及び形状、他の特徴の中の、光のカーテンによって照らされる物体によるスクリーン１１０の反射、を分析する。この例では、ユーザ１０３の本体部分１４９は、選択とするにはあまりに大きい。それゆえ、位置１６０はエラーとみなされることができて、無視されることができる。

図１Ｃに示すように、アプリケーション１０５は、決定された位置に基づいて制御される。位置１３４ｂは、植物１２１の選択に対応し、そして、植物１２１が選択されると、植物１２６のように拡大される。同様に、位置１４１ｂと位置１４３ｂは、それぞれ、植物１２３、１２４の選択に対応する。そして、植物１２３、１２４は、植物１２８、１２９のように拡大される。対照的に、エラー１６０は、制御する選択範囲があまりにも大きいため、植物が投射される画面の領域に接触せず、植物１２２を選択しないことが自動的に決定される。位置１３２ｂは、植物（このように１３２ｂが拡大されるために植物１２１−１２４のいずれにも生じさせない位置）に対応しない。

図２に、システム２００の側面図を例示する。システム２００によってユーザはアプリケーションと相互に作用することができる。そして、それはコンピュータ２０１で動かされるものであってもよい。アプリケーションは、半透明スクリーン２０５上へプロジェクタ２０２によって投射される。アプリケーションは、例えば、図１Ａ〜１Ｃに関して上で述べられるゲーム「植物をつかむ」１０５でもよい。他の実施例において、アプリケーションは、他のいかなるコンピュータプログラム（例えばプレゼンテーションアプリケーション、画像及び／又はソフトウェアを編集しているビデオ又は電子マッピングアプリケーション）でもあってもよい。

システム２００は、プロジェクタ２０２、スクリーン２０５、ライトカーテン２１５に電磁放射線を投射する供給源２１０、そして、スクリーン２０５に画像を映し出すセンサ２２０を備える。特に、センサ２２０は、物体がライトカーテン２１５に照らされるように、物体２３０からスクリーン２０５上へ反射される電磁放射線を感知する。物体２３０から反射される放射線は、スクリーン２０５上に輝点２３２を生じさせる。センサ２２０もまた、スクリーンに、例えば、周辺光源２３５によって生じる輝点のような他の輝点を映し出す。ここに示した実施例では、輝点２３７は、周辺光源２３５によって生じる。供給源２１０から発される電磁放射線を反射することに加えて、物体２３０も、周辺光源２３５から周辺光を反射する。供給源２１０は、スクリーン２０５の周りに装着するフレーム２４０に含まれてもよい。

アプリケーションの画像を投射するスクリーンは、半透明、透明又は半透明である。スクリーン２０５は、例えば、ガラス、プレキシガラス、半透明のプラスチック又は他の透明又は半透明の材料から製造されてもよい。例えば、スクリーンは、お店のウインドウや、例えば、モールや空港のような混雑した場所の画像を投影され、インターアクションが求められる専門のスクリーンでもよい。また、スクリーンは、例えば、劇場、アーケード又はバーのような娯楽施設に配置してもよい。プロジェクタ２０２は、プロジェクタ２０２によって投射される画像から赤外線を取り除くために、フィルタ２０３を備えてもよい。

供給源２１０は、電磁放射線のどんな放射体でもあってもよい。例えば、供給源２１０は、レーザー、発光ダイオード（ＬＥＤ）または広帯域光源でもよい。供給源２１０は、電磁放射線の放射と、電磁放射線の非放射とを交互に行う。このように、供給源は、点滅する配列又はパターンで光ると考えることができ、そして、ライトカーテン２１５は、一定の照明を出力するライトカーテンとは対照的に点滅するライトカーテンである。いくつかの実施形態において、供給源２１０から発せられる電磁放射線は、人間の典型的な目での認識を超えた波長を含む赤外線である。それゆえ、これらの実施形態において、ライトカーテン２１５は、システム２００のユーザに見えない。同様に、これらの実施形態において、スクリーン２０５上に物体によって反射された光は、ユーザにも見えない。それゆえ、スクリーン２０５上へ反射される光は、投射されたアプリケーションのユーザの視界に干渉しない。他の実施態様では、供給源２１０は、可視バンド内の波長（例えば、４００ナノメートル〜７００ナノメートル）を有する電磁放射線を発する。

供給源２１０が電磁放射線を発している間の検知データと供給源が点滅する速度で電磁放射線を消している間の検知データとの間を行き来するように、センサ２２０は、供給源２１０と同期する。例えば、センサ２２０は、毎秒３０、６０又は１２０コマでフレーム又は画像を取り込むカメラでもよい。この例では、ライトカーテン２１５が照らされる間に、供給源２１０によって集められるその他のフレームが取り込まれる画像であるように、供給源２１０は電磁気エネルギを発する。フィルタ２２３は、センサの前に配置され、及び／又は、供給源２１０から放射された放射線の波長を有する電磁放射線がセンサによって検出されるように、センサに統合される。

物体２３０は、ユーザの指又は手、ポインタ、針又は他の同じ大きさの物でもよい。物体２３０がライトカーテン２１５によって照らされることにより、物体２３０はスクリーン２０５に電磁放射線を反射する。反射された電磁放射線は、スクリーン２０５を通過して、センサ２２０によって検出される。周辺光源２３５は、白熱電球（例えば、使い古しの天井治具のような）又は日光でもよい。周辺光源２３５からの放射線も、輝点（例えば、輝点２３７）として、スクリーン上に現れる。周辺光源２３５によって生じるスクリーン上の輝点２３７は、センサ２２０によっても検出され、センサ２２０によって集められるデータにも存在する。周辺光源２３５は、静止しているか、又は、せいぜいゆっくり移動しているだけである。それゆえ、周辺光源２３５は、特定の時間に渡ってセンサによって集められたデータの中に現れる輝点になる。そして、輝点２３７は、一般に、ある時間の範囲内で異なる時間に集められたデータの同じ部分に現れる。供給源２１０が集められるデータに放射線を放射すると共に、供給源がデータから周辺光源２３５からのエネルギの除去の放射線結果を発しない間に、時間の上のデータを減算するか、さもなければ比較する。しかしながら、供給源２１０が電磁放射線を発すると共にライトカーテン２１５によって照らされている物体の結果として、物体２３０から反射される電磁放射がセンサ２２０によって集められるデータに存在するだけであるので、データを比較することは物体２３０の画像の除去に結果としてならない。これ（点滅するライトカーテンの使用）は、スクリーン２０５上の点と区別させられる実際の物体（例えば、輝点２３２）の存在下で、周辺光源２３５（例えば、輝点２３７）から放射線によって生じる。

図２に示す実施態様において、センサ２２０はスクリーン２０５の第１側部２４０に位置する。そして、供給源２１０はスクリーン２０５の第２側部２４５に位置する。このように、ライトカーテン２１５は、スクリーン２０５の第２側部２４５にも置かれる。センサ２２０及び供給源２１０がスクリーン２０５の対向側に位置する実施形態において、物体２３０から反射される電磁放射線は、スクリーン２０５を通過して、センサ２２０によって検出される。例えば、図９に示される実施形態のような他の実施形態において、供給源２１０及びセンサ２２０は、両方とも、スクリーン２０５の第１側部２４０に配置される。これらの実施態様において、供給源２１０から発される電磁放射線は、スクリーン２０５を通過して、物体２３０を照らす。物体２３０は、電磁放射線を反射する。そして、反射された電磁放射線は、スクリーン２０５を通過して、センサ２２０によって検出される。

図３に、システム３００の正面図を示す。システム３００は、図２を用いて説明したシステム２００と類似する。システム３００は、スクリーン３０５と、スクリーン３０５の前でスクリーンと平行な電磁放射線のライトカーテンを投射する供給源３１０と、を備える。供給源３１０は、電磁放射線を発して、点滅する速度で電磁放射線の照射と消失との間を行き来するように構成される。図３に示される実施例において、供給源３１０は、スクリーン３０５の縁３０６ａに沿って配置される放射体３１１の線形配列である。放射体３１１は、例えば、線レーザ及び／又は赤外線ＬＥＤでもよい。放射体３１１から放射される電磁気エネルギは異なってもよい。そして、互いに異なる電磁気エネルギは、スクリーン２０５に平行で、スクリーンの表面上の薄いライトカーテンに電磁放射線を作るために、チャンネル３１２を通過する。チャンネル３１２の詳細は、後述する。

スクリーン３０５も、縁３０６ｂ、３０６ｃ、３０６ｄを備える。他の実施形態において、スクリーン３０５は、より多くであるかより少しの縁を含む。例えば、図７において示される実施形態のような他の実施形態において、スクリーン３０５の複数の縁は、縁に沿って配置される対応する供給源を有してもよい。ライトカーテンとして投射される電磁放射線は、物体３３０、３３２を照らす。そして、物体３３０、３３２それぞれは、影３３１、３３３を映し出す。物体３３０、３３２は、例えば、手、棒及び／又はポインタでもよい。影３３１は、部分的に物体３３２を不明瞭にする。物体３３０の位置が決定されるので、供給源３１０の位置が知られ、形状、大きさ及び／又は、影３３１の位置は、モデル化される。使用可能な影３３１をモデル化して、例えば、付加的な物体（例えば、物体３３２）の位置が正確に検出されることができないか、又は全く検出されることができないスクリーン３０５上の盲点を決定する。

図４を参照する。図４は、スクリーンに関する物体の位置の決定、及び／又は物体を追跡するシステム４００を示す。システムは、供給源システム４１０、検出システム４３０及び追跡システム４４０を備える。供給源システム４１０は、スクリーンの表面と平行に、かつ、隣接するライトカーテン（例えば、図２において説明したライトカーテン２１５）を生み出す。検出システム４３０は、ライトカーテンによって照らされる物体から反射される放射線を検出する。そして、追跡システム４４０は、スクリーンに関して物体の位置又は運動を決定する。

供給源システム４１０は、点滅するライトカーテン又はスクリーン一方の側で物体を照らすために用いられる他の電磁照明を生成する。供給源システム４１０は、放射体４１２、電子機器及び放射体４１２を制御するための制御部４１６を備える。供給源システム４１０は、ＬＥＤのような異なる電磁放射線を発する放射体から薄いライトカーテンを作成するチャンネル４１４も含まれる。電子機器及び制御部４１６は、放射体４１２を光らせるために放射体４１２に連結する電子機器を備える。例えば、電子機器及び制御部４１６は、点滅する速度で、電磁放射線の放射と消失とを交互に行うことで放射体４１２を放射する。放射体４１２は、６８０ナノメートルを上回る波長を有する赤外線の電磁放射線を放射する赤外線放射体でもよい。いくつかの実施形態において、放射体４１２は、可視光を放射してもよい。

供給源システム４１０からの電磁放射線４２０は、スクリーン一方側の物体を照らす。そして、電磁放射線は、スクリーン上へ物体から反射されて、検出システム４３０によって検出される。特に、検出システム４３０は、スクリーンをイメージする。検出システム４３０は、センサ４３２、フィルタ４３４、センサ・エレクトロニクス、制御部４３６及び入出力（Ｉ／Ｏ）インタフェース４３８を備える。いくつかの実施形態において、検出システム４３０はデジタル・カメラでもよい。そして、センサ４３２は、カメラに含まれる画素アレイでもよい。フィルタ４３４は、放射体４１２によってできる電磁放射線の波長以外の波長を有する電磁放射線を防ぐフィルタでもよい。Ｉ／Ｏインタフェース４３８は、追跡システム４４０及び／又は、供給源システム４１０に信号を送信する。供給源システム４１０及び検出システム４３０が同期することができる供給源システム４１０に信号に送る供給源システム４１０と通信することができる。例えば、検出システム４３０がフレームのデータを集めるカメラである実施形態で、Ｉ／Ｏインタフェース４３８は、各フレームの始めの信号を供給源システム４１０に送る。カメラは、１秒につきデータで３０のフレームを集めることができる。電子機器及び供給源システム４１０の制御部４１６は、放射体４１２が電磁放射線を放射している間に、カメラによって集められた他のすべてのフレームのデータを許容する割合で、放射体４１２が電磁放射線の放射と電磁放射線の消失とを交互に行うように、信号及び制御を受信する。

システム４００は、追跡システム４４０も備える。追跡システム４４０は、検出システム４３０によって集められるスクリーンの画像からライトカーテンによって照らされる物体の位置を決定する。追跡システム４４０は、図１Ａ〜１Ｃに関して上述のアプリケーションのように、そのアプリケーションを制御するために決定された位置を使用する。追跡システム４４０は、解析モジュール４５０、制御されるアプリケーションのインタフェース４６０、入出力モジュール４７０、プロセッサ４８０及びメモリ４９０を備える。

解析モジュール４５０は、追跡システムライトカーテンによって照らされる物体の位置を決定する。解析モジュール４５０は、解析モジュール４５０にデータを検出システム４３０からインポートする入力ルーチン４５２を備える。インポートする入力ルーチン４５２も、解析モジュール４５０によって処理されることができるフォーマットに、検出システム４３０からのデータを変換する。解析モジュール４５０も、検出モジュール４３０によって異なる時間に集められるデータを比較する比較モジュール４５４を備える。例えば、放射体４１２が放射線を消失させると共に、放射体が検出モジュール４３０によって集められるデータから放射線を放射する間に、比較モジュール４５４は、検出モジュール４３０によって集められるデータを減算する。

解析モジュール４５０も、物体があるときでも、正確に、又は、全く、物体の位置が検出されないスクリーン上の盲点を決定するためにライトカーテンによって照らされる物体によって映し出される影をモデル化する陰影モデラ４５６を備える。解析モジュール４５０も、スクリーンに関してライトカーテンによって照らされる物体の位置を決定する位置決定モジュール４５８の位置を含む。特に、ライトカーテンによって照らされる物体は、スクリーン上へ光を反射する。その結果、検出システム４３０によって取り込まれるスクリーンの画像は、スクリーンに関して物体の位置に対応する場所で輝点を有する。いくつかの実施形態において、物体は移動する。そして、それがライトカーテンを通して移動したとき、位置決定モジュール４５８は物体を調査する。いくつかの実施形態において、物体の動きは、ユーザの手のジェスチャでもよい。これらの実施形態において、位置決定モジュール４５８は、特定のジェスチャがなされたことを判定する。この特定のジェスチャは、アプリケーションが特定の動作を実行することを示す物体の動きを通して制御されることを示すことができる。

追跡システム４４０も、決定された位置に基づいて制御されるアプリケーションの位置決定モジュール４５８で測定される位置を通過するインタフェース４６０を備える。例えば、アプリケーションはゲームでもよい。そして、ゲームは、カーソルの動きに基づいて制御される。カーソルの動きは、ライトカーテンによって照らされる物体の動作に対応することができる。追跡システム４４０も、入出力モジュール４７０を備える。入出力モジュール４７０は、検出システム４３０と入出力を行うポートを備えてもよい。入出力モジュール４７０は、マウス、針、キーボード、プリンタ及び／又はユーザが追跡システム４４０と相互に作用することができる他のいかなる入出力ディバイスも備えてもよい。入出力モジュール４７０は、ポート、又は、自動プロセスを可能にするインタフェース、又は、追跡システム４４０と相互に作用する機械を備えてもよい。

追跡システム４４０も、プロセッサ４８０及びメモリ４９０を備える。追跡システム４４０は、１以上のプロセッサ及び１以上のメモリを備えてもよい。プロセッサ４８０は、コンピュータプログラム（例えば、一般であるか、特別な目的のマイクロプロセッサ、及びいかなる種類の一つ以上のデジタル・コンピュータ）の実行に適するプロセッサでもよい。通常、プロセッサは、読出し専用メモリ又はランダムアクセスメモリ又は両方から、インストラクション及びデータを受け取る。プロセッサ４８０は、例えば、スクリーンに関して物体の位置を決定するために、ワークフロー・ナビゲーション・システム追跡システム４４０の構成要素からインストラクション及びデータを受け取る。

図５に、点滅するライトカーテンによって照らされる物体の位置を決定するための実施プロセス５００を示す。プロセス５００は、例えば、システム２００、３００及び／又は４００で述べられるようなシステムに含まれる一つ以上のプロセッサによって実行されてもよい。例えば、プロセス５００は、図４に関して述べられる追跡システム４４０に含まれるプロセッサ４８０によって実行されてもよい。

物体及び周囲放射線の第１及び第２画像は、アクセスする（５１０）。第１及び第２画像は、スクリーンの第１側部に取り込まれる。そして、物体及び周囲放射線は、スクリーンの第２側部に配置される。第１画像は、物体が投射された放射線によって照らされた間に取り込まれる。そして、第２画像は、投射された放射線が消された間に取り込まれる。一例として一時的に図２に戻り、スクリーンの第１側部は、スクリーン２０５の第１側部２４０とすることができ、スクリーンの第２側部はスクリーン２０５の第２側部２４５とすることができる。物体は、物体２３０のような物体とすることができ、周囲放射線は、周辺光源２３５のような供給源とすることができる。投射された放射線は、ライトカーテン２１５のような点滅するライトカーテンとすることができる。

図５に一旦戻って、スクリーンと関連する物体の位置は、第１及び第２画像（５２０）を比較することに基づいて決定される。例えば、第１及び第２画像は、第１及び第２画像を減算することによって比較される。アプリケーションは、決定された位置（５３０）に基づいて制御される。

図６に、物体の位置を決定するために用いられる実施例データの図解６００を示す。特に、図解６００に示されるデータは、周辺光の除去を示す。図解６００の実施例データは、例えば、プロセス５００のような、周囲放射線がある場合には、スクリーンに関して物体の位置を決定するための工程において用いられる。ライトカーテンは、スクリーンに平行で、スクリーンの一方に沿って投射される。物体（この例では、物体は、指である）がライトカーテンによって照らされる間に、スクリーンの画像がスクリーンに関して指の位置に対応する輝点６０５を含むように、物体はスクリーン上にライトカーテンからの光を反射する。

画像６１０、６２０は、スクリーンの画像である。そして、画像６１０、６２０は、例えば、図４において詳述される検出システム４３０によって収集される。実施形態で示すように、指がライトカーテンによって照らされるときに、指から電磁放射線の反射によって生じる輝点６０５を含む画像６１０は、時間ｔで収集される。指に対応する輝点を含まない画像６２０は、指がライトカーテンによって照らされない時間ｔ＋１で収集される。例えば、１以上の放射体が電磁放射線を放射する間に、画像６１０は収集される。そして、１以上の放射体が電磁放射線を消失させる間に、画像６２０は収集される。このように、指がスクリーンに接触するか、又はライトカーテンによって照らされた指がスクリーンの近くにある場合、スクリーン上へ指から反射された輝点６０５は、指が点滅するライトカーテンによって照らされる間に、取り込まれるスクリーンの画像に現れる。

画像６１０、６２０も、周辺光源によって生じる輝点６３５、６４０を備える。例えば、輝点６３５、６４０は、スクリーンで直接輝いている周辺光源、又は、スクリーン上へ反射されている周辺光源からの放射線によるものでもよい。指から反射した光によって生じる輝点６０５、及び指が点滅するライトカーテンによって照らされるときの輝点６０５とは対照的に、周辺光源によって引き起こされる輝点６３５、６４０は、あらゆる画像に含まれる。このように、差分画像６３０を作成するために連続フレームを各々（例えば、画像６１０、６２０）から減算することによって、周辺光源によって生じる輝点６３５、６４０は、取り除かれる。しかし、輝点６０５は、指の軌跡の反映によって生じる。

ライトカーテンがスクリーンの前で浅い領域を照らすので、指の先端は、光の幕によって照らされる。そして、指の先端は、スクリーン上へ光を反射する。フレーム６１０、６２０を減算することを越えた付加的な処理は、指のサイズ、ポーズ又は位置を決定して、及び／又は、指が点滅する光のカーテンによって照らされている実際の物体であることを確かめるために実行される。例えば、指からの反射によって生じる輝点６０５のサイズ及び形状は、指が実際にあるかどうか決定するために分析される。加えて、複数のユーザは、ライトカーテンによるアプリケーションと相互に作用する。

図７Ａに、システム７００の正面図を示す。システム７００は、図２に関して上述したシステム２００、及び／又は、図３に関して上述したシステム３００と、類似している。スクリーン７０５は、縁７０６ａ、７０６ｂ、７０６ｃ、７０６ｄを備える。図７に示される実施態様において、それぞれ、供給源７１０ａ、７１０ｂ、７１０ｃ、７１０ｄは、縁７０６ａ、７０６ｂ、７０６ｃ、７０６ｄに隣接して、及び／又は、縁７０６ａ、７０６ｂ、７０６ｃ、７０６ｄの上に配置される。そして、供給源７１０ａ、７１０ｂ、７１０ｃ、７１０ｄは、実質的に、スクリーン７０５を覆うライトカーテンを作成する。供給源７１０ａ、７１０ｂ、７１０ｃ、７１０ｄは、スクリーン７０５に平行なライトカーテンを投射し、スクリーン７０５の表面からオフセットする。供給源７１０ａ、７１０ｂ、７１０ｃ、７１０ｄは、放射体７１１及びチャンネル７１２を備える。いくつかの実施形態において、スクリーン７０５は、より多く、又はより少しの縁を備えてもよい。いくつかの実施形態において、スクリーン７０５の１以上の縁は、対応する供給源を有しない。例えば、これらの実施形態で、２つの縁は対応する供給源を有してもよく、２つの縁は対応する供給源を有しなくてもよい。

図７Ｂ〜７Ｄに、ＬＥＤである実施例放射体７１１を示す。特に、図７Ｂは放射体７１１を示す。図７Ｃは放射体７１１の側面図を示す。そして、図７Ｄは放射体７１１の配列の正面図を示す。放射体７１１は、円錐形の光７１６のように電磁放射線を放射する。円錐形の光７１６の一部は、チャンネル７１２を通過して、ライトカーテンとして現れる。チャンネル７１２は、光を遮断する材料及び／又は反射しない材料であってもよい。チャンネル７１２を作る材料は、チャンネルの２つの側上の光を遮断する。いくつかの実施形態において、チャンネル７１２は、ガラス又はプレキシガラスの面を有する。そして、そのいずれかはチャンネル内で光の反射を防止するために変更される。例えば、ガラス又はプレキシガラスが乱反射、荒れた表面を有するように、プレキシガラス又はガラスは、研がれるか、又は、サンドブラストを掛けられる。チャンネル７１２は、空気で満たされる。いくつかの実施形態において、放射体は、比較的平行である放射線を放射するレーザ線でもよい。これらの実施形態において、放射体が発散しない放射線を放射するので、ライトカーテンは必ずしもチャンネル７１２を必要とすることなく作成されることができる。

図８Ａ及び８Ｂに、レーザ源８１０がライトカーテン８１５を生み出す実施例を示す。レーザ源８１０は、赤外線レーザ源でもよい。レーザ源８１０は、ＬＥＤから放射される光の多くが発散しない光を生み出す。このように、上述したチャンネル７１２のようなチャンネルは、実質的にスクリーン８２０をカバーするライトカーテンを作成するのに必要ではない。円柱状レンズ８２５は、レーザ源８１０から光の薄い面を作るために用いることができる。円柱状レンズ８２５は、線に沿ってレーザ源８１０から放射される光線を分布させる。分布された光線は、スクリーン８２０と平行に放射され、スクリーン８２０の表面に光８１５の薄い面を作る。そして、分布された光線は、効果的にスクリーン８２０をカバーする。特に、図８Ｂに、スクリーン８２０に示される円柱状レンズに関連する、レーザ源８１０の配置の実施例を示す。中央点８３０からの距離が増加するにつれて、レーザ源８１０から放射される光の強さは、弱くなる。このように、複数のレーザ源８１０は、通常、スクリーン８２０を、効果的に特定の強さの光８１５の幕でカバーするために用いられる。

図８Ｂに示される実施例において、スクリーンの一部分は、複数の線レーザから作成されるライトカーテンによってカバーされない。例えば、一部分８３５は、ライトカーテンによってカバーされない。このように、光っているライトカーテンが一部分８３５の前で物体を照らさないので、スクリーン８２０の一部分８３５の前の物体は、スクリーン上へ点滅するライトカーテンからの電磁放射線を反射しない。その結果、この種の物体の位置は、決定されない。いくつかの実施形態において、スクリーン８２０の一部分は、故意に点滅するライトカーテンによってカバーされない。例えば、部分８３５は、ユーザがアイテムを選択することができない投影アプリケーションの場所に対応することができる。一部分８３５は、スクリーン（すなわちアプリケーションの一部でない）に示される映像の領域に対応する。

図９に、システム９００を示す。プロジェクタ９０２は、アプリケーションの画像をスクリーン９０５に投射する。アプリケーションは、ソフトウェア・アプリケーション又はハードウェア・モジュールとして実行してもよい。供給源からの点滅する電磁放射線が、スクリーン９０５を通過し、物体を照らす。そして、物体９３０が供給源９１０によって照らされる間に、物体９３０から反射した光９１２は、センサ９２０によって撮像されるスクリーン９０５上の輝点９３２をつくる。供給源９１０は、点滅の速度で電磁放射線の放射と消失との間を行き来するように構成される。加えて、周辺光源９３５は、センサ９２０によって撮像される輝点９３７をつくる。システム９００は、スクリーン９０５に関する物体９３０の位置を追う。そして、物体９３０の位置に基づくアプリケーションを制御する。

システム２００と同様に、システム９００は、スクリーン９０５に関する物体９３０の位置を追い、そして、物体９３０の位置に基づくアプリケーションを制御する。しかしながら、システム９００で、供給源９１０及び物体９３０は、スクリーン９０５の対向側に位置する。特に、供給源９１０は、スクリーン９０５の第１側部９４０に配置される。そして、物体９３０は、スクリーン９０５の第２側部９４５に配置される。加えて、この実施例では、周辺光源９３５は、スクリーン９０５の第２側部９４５に配置される。

図１０に示すように、物体１０３０が並列に点滅するライトカーテン１０１５、１０１６、１０１７によって照らされることで、システム１０００は、物体１０３０の一つ以上の位置を決定する。点滅するライトカーテン１０１５、１０１６、１０１７は、スクリーン１００５の表面１００６から距離ｄ１、ｄ２、ｄ３にそれぞれ配置される。ここに示した例では、物体１０３０は、同時に複数の場所で点滅するライトカーテン１０１５、１０１６、１０１７と交差する。スナップショット１０２０は、スクリーン１００５に関して物体１０３０の位置を示す。複数の位置は、例えば、物体１０３０の運動の軌跡を決定することに使用される。輝点１０４０、１０４１、１０４２は、スクリーン１００５上へ点滅するライトカーテン１０１５、１０１６、１０１７から、それぞれ、光を反射している物体によって生じる。

図１１にシステム１１００を示す。プロジェクタ１１０２は、アプリケーション１１０３「植物をつかむ」の画像をスクリーン１１０５に投射する。供給源１１１０は、点滅する光のカーテン１１１５をつくるために、電磁放射線を放射する。物体１１３０が点滅する光のカーテン１１１５の中を移動するにつれて、センサ１１２０は、物体１１３０によって反射された電磁放射線を検出する。図１１に示される実施例において、物体１１３０は人の指である。そして、物体１１３０は、物体１１３０がライトカーテン１１１５の中を移動しているときに、３つの異なる時間ｔ１、ｔ２、ｔ３で示される。点滅するライトカーテンからの電磁放射線は、輝点１１３１、１１３２、１１３３として、スクリーン１１０５上へ物体１１３０と離れて反射する。周辺光源（図示せず）によって、スクリーン１１０５上に輝点１１３４が生じる。輝点１１３４がスクリーン１１０５上に現れ、センサ１１２０によって撮像されるにもかかわらず、輝点１１３４は、上述と類似する技術の中から収集されたデータから取り除かれる。カーソル１１４０の対応する位置１１６１、１１６２、１１６３は、それぞれ３つの時間でも示される。

人は、時間ｔ１からｔ２で、物体を垂直に位置１１５１から位置１１５２に動かす。制御アプリケーションのカーソル１１４０は、位置１１６１から位置１１６２までの上下方向の動きに対応する。時間ｔ２と時間ｔ３の間に、ユーザは、位置１１５２から位置１１５３まで再び垂直に物体１１３０を動かす。植物１１７０は、位置１１５３でスクリーン１１０５に投射される。加えて、物体が上方へ時間ｔ３を示しているように、ユーザも物体１１３０を有するジェスチャをする。時間ｔ３でされるジェスチャは、時間ｔ４で発生する選択（例えば、マウスクリックでアイテムを選択することに相当）に対応する。そして、それは時間ｔ３の直後に発生する。このように、制御アプリケーションのカーソル１１４０は、位置１１６２から位置１１６３までの上下方向の動きに対応する。加えて、ユーザは、時間ｔ３でされるジェスチャの中で植物１１７０を選択する。したがって、植物１１７０は、ライトカーテンの中でジェスチャをすることによって、ユーザがそれを選択したものとして、時間ｔ４で拡大される。

実施形態は、例えば、工程、装置又はその工程を実施する装置を備えてもよい。例えば、実施形態は、一つ以上の工程を実行するように構成される一つ以上の装置を備えてもよい。装置は、例えば、分離した又は統合したハードウェア、ファームウェア及びソフトウェアを備えてもよい。特に、一つ以上の記載されている工程又はバリエーションを実行するためにプログラムされる場合、装置は、例えば、コンピュータ又は他のコンピュータ又は処理装置を備えてもよい。この種のコンピュータ又は処理デバイスは、例えば、プロセッサ、集積回路、プログラム可能な論理装置、パーソナル・コンピュータ、パーソナル携帯情報機器、ゲーム装置、携帯電話、計算機及びソフトウェア・アプリケーションを有する装置を備えてもよい。コンピュータは、図２において上述したコンピュータ２０１でもよい。

実施形態も、一つ以上の工程を実施するための指令を有する一つ以上の計算機可読のメディアを備える装置で例示される。計算機可読のメディアは、例えば、記憶装置、メモリ及び指令をコード化又は送信するフォーマットされた電磁波を備える。計算機可読のメディアも、例えば、様々な不揮発性であるか不安定なメモリ構造（例えば、ハードディスク、フラッシュメモリ、ランダムアクセスメモリ、読出し専用メモリ及びコンパクトディスク）を備える。指令は、例えば、ハードウェア、ファームウェア、ソフトウェア及び電磁波でもよい。

このように、コンピュータは、記載されている実施形態を実行するようにプログラムされたコンピュータの実施形態を表すことができる。そして、記憶装置は、記載されている実施形態を実施するための指示を保存している計算機可読の媒体を表すことができる。

多くの実施形態が記載されていた。にもかかわらず、さまざまな修正がなされることができることが理解されうる。したがって、他の実施形態は、以下の請求項の範囲内である。

Claims (26)

1. 第１及び第２画像にアクセスし、スクリーンの第１側部に捉え、物体と電磁放射線放射体をスクリーンの第２側部に配置し、物体が電磁放射線が放射されて照らされている間に第１画像が捉えられ、電磁放射線の消失が推定される間に第２画像が捉えられることと、
   第１と第２画像の比較に基づいてスクリーンと関連する物体の位置を決定することと、
   決定された位置に基づいてアプリケーションを制御すること、
   を備え、
   スクリーンの第２側部に沿って、第２側部に平行な第１ライトカーテンとしての電磁放射線を投射すること
   を更に備える
   コンピュータの実行方法。
2. スクリーンの第２側部に隣接して、第２側部と平行な第２ライトカーテンとしての電磁放射線を放射し、第１ライトカーテンと第２ライトカーテンとが互いに平行であり、スクリーンの第２側部に関する第１位置及び第２位置に配置されること
   を更に備える請求項１に記載の方法。
3. 物体が人の一部の身体である請求項１に記載の方法。
4. 第２位置を決定することと、アプリケーションは決定された位置及び第２位置に基づいて制御されること
   を更に備える請求項１に記載の方法。
5. 第１及び第２画像の比較に基づいて、スクリーンと関連する物体の位置を決定することは、差分画像を作成するために第１及び第２画像を減算することを含む請求項１に記載の方法。
6. スクリーンと関連する物体の位置を決定することは、差分画像の物体の位置を決定することを含む請求項５に記載の方法。
7. 決定された位置に基づいてアプリケーションを制御することは、カーソルを制御することを含む請求項１に記載の方法。
8. 投射された電磁放射線は、赤外線を備える請求項１に記載の方法。
9. スクリーン上へ投射される可視画像、物体の動作及び決定された位置に基づくアプリケーションの制御は、物体の動作に対応するカーソルの動きのように可視画像上でカーソルを制御することを含む請求項１に記載の方法。
10. 物体の動作が人間のジェスチャである請求項９に記載の方法。
11. 第１及び第２画像にアクセスすることは、物体と第２物体の第１及び第２画像にアクセスし、物体と第２物体はスクリーンの同じ側に配置され、スクリーンに関連する第２物体の位置を決定すること
    を更に備える請求項１に記載の方法。
12. スクリーンに映し出される影をモデル化すること、電磁放射線が放射され、物体が照らされている間に、影は物体によって映し出されること
    を更に備える請求項１に記載の方法。
13. 決定すること、第２物体から生じる影のモデルに基づくこと、及び影を計算することを有するスクリーンと関連する第２物体の位置を決定すること
    を更に備える請求項１２に記載の方法。
14. 第１側部と第２側部とを有する半透明スクリーンと、
    スクリーンの第２側部に沿って、第２側部に平行なライトカーテンとしての電磁放射線を投射して、点滅する速度で電磁放射線の放射と消失との間を行き来するように構成された電磁放射線源と、
    スクリーンの第１側部に配置されて、点滅する速度で電磁放射線を検出するように構成されたセンサと、
    スクリーンの第２側部上のスクリーンの近くに配置された物体から反射される電磁放射線と、
    検出された電磁放射線に基づいて物体の位置を決定するように構成されたプロセッサと、
    を備え、
    決定された物体の位置に基づいてアプリケーションを制御するシステム。
15. スクリーンは、縁を有し、電磁放射線源は、電磁放射線が放射され、電磁放射線と平行な、スクリーンの第２側部のようなスクリーンの１以上の縁に沿って配置される線形配列からなる請求項１４に記載のシステム。
16. スクリーンが平行四辺形である請求項１５に記載のシステム。
17. 電磁放射線の供給源が、放射体の一連の線形配列からなり、線形配列のそれぞれは、スクリーンの表面から離れたスクリーンの第２側部に配置される請求項１４に記載のシステム。
18. 電磁エネルギの供給源は、拡散的電磁エネルギを放射し、供給源に隣接したチャンネル、放射された電磁エネルギを平行にするように構成されるチャンネルからなる請求項１４に記載のシステム。
19. チャンネルは、入口から出口までブロックを通って延びている通路を有するブロックの材料と、入口に影響を与え、一部が平行な電磁放射線として出口から現れる拡散的電磁放射線の一部と、を備える請求項１８に記載のシステム。
20. チャンネルはレンズを備える請求項１８に記載のシステム。
21. 電磁放射線源が、スクリーンの第１側部に配置される放射体を備え、電磁放射線がスクリーンを通過して、物体と相互に作用する請求項１４に記載のシステム。
22. 電磁放射線源が発光ダイオードを備える請求項１４に記載のシステム。
23. 発光ダイオードが赤外線を発する請求項２２に記載のシステム。
24. センサが画素アレイを備える請求項１４に記載のシステム。
25. プロセッサが物体によって映し出される影をモデル化して、モデル化された影に基づいてスクリーンの第２側部に配置されている第２の物体の位置を決定するように構成される請求項１４に記載のシステム。
26. 機械によって読み込まれるときに、データ処理装置を引き起こすために作動するコンピュータ・プログラム（機械読み取り可読媒体で明らかに例示される）であって、
    第１及び第２画像にアクセスし、スクリーンの第１側部に捉え、物体と電磁放射線放射体をスクリーンの第２側部に配置し、物体が電磁放射線が放射されて照らされている間に、第１画像が捉えられ、電磁放射線が消失が推定される間に、第２画像が捉えられることと、
    第１画像と第２画像との比較に基づいて、スクリーンと関連する物体の位置を決定することと、
    アプリケーションが決定された位置に基づいて制御すること、
    を備え、
    スクリーンの第２側部に沿って、第２側部に平行なライトカーテンとしての電磁放射線を投射すること
    を更に備える
    コンピュータプログラム。

Images