JP2007114820A - 携帯型ポインタ装置及び表示システム - Google Patents

Abstract

【課題】 映像内のオブジェクトを指示しながら画面操作することができる携帯型のポインタ装置を提供する。
【解決手段】 照射光を生成するレーザー光源１２と、ユーザによる操作入力に基づいて入力信号を生成する操作入力部１１と、入力信号に基づいて傾きを検出する方向センサー１３と、方向センサー１３による傾きの検出結果を情報処理装置２０へ送信するインターフェース１５により構成される。操作入力部１１は、映像が投影される投影面内の基準点を教示するための第１の操作入力手段と、映像内のオブジェクトの指示位置を教示するための第２の操作入力手段からなる。情報処理装置２０では、第１の操作入力手段による操作入力に基づいて検出された３以上の異なる基準点に関する照射方向に基づいて、第２の操作入力手段による操作入力時の指示位置が算出され、指示位置に基づく表示画面の切り替えが行われる。
【選択図】 図２

Description

本発明は、携帯型ポインタ装置及び表示システムに係り、さらに詳しくは、照射光を照射して映像内のオブジェクトを指示するレーザーポインタなどの携帯型ポインタ装置に関する。

プロジェクターにより映像をスクリーン上に投影することで行われるプレゼンテーションでは、映像内のオブジェクトを指示するのに指示棒（指し棒ともいう）やレーザーポインタが用いられる。レーザーポインタは、指示棒に比べ、スクリーンやプロジェクターから離れた所であっても、オブジェクトを指示できるので便利である。また、投影される映像がパーソナルコンピュータなどの情報処理装置により生成されるシステムでは、情報処理装置におけるマウス操作やキー操作によりページ送りやページ戻しを行うことができる。しかしながら、レーザーポインタでオブジェクトを指示しながら画面操作しようとすると、異なる操作対象を同時に操作しなければならないので、操作性が良くなかった。レーザーポインタでオブジェクトを指示しながら手元で画面操作できれば、極めて便利である。

そこで、スクリーン上に投影されている映像を撮影し、撮影画像を画像処理することにより、ポインタによる指示位置を判別して表示画面を自動的に切り替える技術が提案されている（例えば、特許文献１参照）。この特許文献１に記載のポインタ装置は、ポインタによるスクリーン上の指示位置を撮影画像の画像処理によって判別しようとするものである。従って、実際に指示位置を判別するには、処理負荷が大きく、指示位置をリアルタイムに判別するのは容易ではないと考えられる。

また、スクリーン上における指示位置を加速度センサーにより検出する指示棒が提案されている（例えば、特許文献２参照）。この特許文献２に記載の指示棒は、指示棒に搭載された加速度センサーによって２次元位置を検出し、スクリーン上における指示位置を判別しようとするものである。従って、スクリーンに対して離れたところから指示するポインタ装置に関するものではない。
特開平７−２００１５７号公報 特開２００４−３１０５２８号公報

上述した様に、従来のポインタ装置では、映像内のオブジェクトを指示しながら画面操作する際の操作性が良くないという問題があった。

本発明は、上記事情に鑑みてなされたものであり、投影面上の映像について画面操作する際の操作性を向上させた携帯型ポインタ装置及び表示システムを提供することを目的としている。特に、映像内のオブジェクトを指示しながらであっても画面操作することができる携帯型ポインタ装置を提供することを目的としている。

本発明による携帯型ポインタ装置は、照射光を生成する照射光生成手段と、ユーザによる操作入力に基づいて入力信号を生成する操作入力手段と、上記入力信号に基づいて傾きを検出する傾き検出手段とを備え、上記傾き検出手段が、操作入力時における上記照射光の照射方向を傾きとして検出するように構成される。この様な構成によれば、ユーザによる操作入力に基づいて操作入力時における照射光の照射方向が検出されるので、照射光による指示位置を適切に判別することができ、指示位置に基づいて画面操作を行わせることができる。

具体的には、上記照射光による指示位置を算出する指示位置算出手段を備え、上記操作入力手段が、映像が投影される投影面内の基準点を教示するための第１の操作入力手段と、映像内のオブジェクトの指示位置を教示するための第２の操作入力手段とからなり、上記指示位置算出手段が、上記第１の操作入力手段による操作入力に基づいて検出された３以上の異なる上記基準点に関する照射方向に基づいて、上記第２の操作入力手段による操作入力時の指示位置を算出するように構成される。

本発明による携帯型ポインタ装置は、上記構成に加え、上記投影面までの距離を検出する距離検出手段を備え、上記指示位置算出手段が、投影面上に投影される矩形の上記映像の頂点を基準点とし、この映像の隣接する２辺について基準点間における照射方向のなす角度を求め、この角度と上記距離検出手段により検出された距離に基づいて指示位置を算出するように構成される。

また、本発明による携帯型ポインタ装置は、上記構成に加え、加速度を検出する加速度検出手段と、上記加速度検出手段による加速度の検出結果に基づいて移動量を求め、上記傾き検出手段により検出された照射方向を補正する照射方向補正手段とを備えて構成される。この様な構成によれば、加速度の検出結果に基づいて照射光の照射方向が自動的に補正されるので、移動により空間内における３次元位置が変化しても照射光による指示位置を正しく判別することができる。

また、本発明による携帯型ポインタ装置は、上記構成に加え、上記傾き検出手段が、地磁気に基づいて照射方向を検出する地磁気センサーであるように構成される。

本発明による表示システムは、表示データを生成する情報処理装置と、上記表示データを映像化し、投影面上に投影する投影装置と、上記投影面に対して照射光を照射する携帯型ポインタ装置とからなる表示システムであって、上記携帯型ポインタ装置が、照射光を生成する照射光生成手段と、ユーザによる操作入力に基づいて入力信号を生成する操作入力手段と、傾きを検出する傾き検出手段と、上記傾き検出手段による傾きの検出結果及び上記入力信号を上記情報処理装置へ送信する送信手段とを備え、上記情報処理装置が、投影面内の基準点を教示するために上記操作入力手段により生成された入力信号に基づいて、傾きの検出結果から３以上の異なる上記基準点に関する上記照射光の照射方向を判別し、映像内のオブジェクトの指示位置を教示するための上記操作入力手段による操作入力時の照射光による指示位置を算出するように構成される。

本発明による表示システムは、上記構成に加え、上記情報処理装置が、上記表示データを画面表示する表示手段と、算出された指示位置に基づいて画面内における位置を判別する画面位置判別手段と、判別された画面内の位置に基づいて表示画面を切り替える画面制御手段とを備えて構成される。

本発明による携帯型ポインタ装置及び表示システムによれば、ユーザによる操作入力に基づいて操作入力時の照射光による指示位置が自動的に判別されるので、指示位置に基づく画面操作を適切に行わせることができる。従って、映像内のオブジェクトを指示しながらであっても画面操作することができ、投影面上の映像について画面操作する際の操作性を向上させることができる。

実施の形態１．
図１は、本発明の実施の形態１による表示システムの概略構成の一例を示したブロック図である。この図には、ポインタ装置１０、情報処理装置２０、投影装置３０及びスクリーン４０からなるシステム全体の様子が示されている。ポインタ装置１０は、照射光を照射することにより、スクリーン４０上の点を指示する指示装置である。ここでは、携帯可能なハンディタイプのレーザーポインタがポインタ装置１０として用いられるものとする。このポインタ装置１０では、ユーザによる操作入力に基づいて照射光の照射方向が検出され、情報処理装置２０へ出力される。

情報処理装置２０は、スクリーン４０上に投影させるための表示データを生成するとともに、ポインタ装置１０により検出された照射光の照射方向に基づいて照射光による指示位置（照射点Ａの位置）を判別する動作を行っている。この情報処理装置２０は、パーソナルコンピュータなどの端末装置であり、表示データ生成部２１、表示部２２、指示位置算出部２３、画面位置判別部２４及び入力処理部２５からなる。

表示データ生成部２１は、入力処理部２５による指示に基づいて表示データを生成する動作を行っている。生成された表示データは、表示部２２において画面表示されるとともに、投影装置３０へ出力される。指示位置算出部２３は、ポインタ装置１０の照射光の照射方向に基づいて操作入力時における指示位置を算出する演算処理を行っている。具体的には、最初に、映像が投影される投影面としてのスクリーン４０について、スクリーン４０内の表示エリア４１を確定するための基準点を教示する操作入力を行う。次に、この操作入力により検出された照射光の照射方向に基づいて、ポインタ装置１０から見た基準点の方向が判別され、この判別結果に基づいて、映像内のオブジェクトを教示する操作入力時の照射光による表示エリア４１内の指示位置が算出される。ここでは、スクリーン４０内における矩形の表示エリア４１の４つの頂点Ｐ１，Ｐ２，Ｐ３，Ｐ４が基準点として用いられるものとする。この表示エリア４１は、スクリーン４０上に投影される映像の表示領域であり、映像の画面サイズと同一サイズからなる。つまり、ポインタ装置１０の照射光の照射方向に基づいて各基準点Ｐ１〜Ｐ４の方向が判別され、その判別結果に基づいて表示エリア４１内におけるオブジェクトの位置が検出される。

画面位置判別部２４は、指示位置算出部２３により算出された表示エリア４１内における指示位置に基づいて、表示部２２の画面内における位置を判別する動作を行っている。入力処理部２５は、画面位置判別部２４により判別された表示部２２の画面内の指示位置に基づいて、表示画面を切り替える画面制御手段である。この入力処理部２５では、表示部２２の画面に表示されていた表示データに対する操作入力に応じた入力処理が行われる。ここでは、スクリーン４０の表示エリア４１内における指示位置を算出し、拡大又は縮小などの変換処理を行うことによって表示部２２の画面内における位置が判別されるものとする。なお、スクリーン４０の表示エリア４１内における指示位置を算出することなく、各基準点の方向についての判別結果から直接に、表示部２２の画面内における指示位置を算出しても良い。

投影装置３０は、情報処理装置２０から入力される表示データを映像化し、スクリーン４０上に投影するプロジェクター装置である。この表示システム１００では、スクリーン４０上に投影されている映像内のオブジェクトをポインタ装置１０により指示しながら操作入力することによって、操作入力時における照射光の照射方向から指示位置が判別され、指示位置に応じた入力処理が行われる。

図２は、図１の表示システムの要部における構成例を示したブロック図であり、ポインタ装置１０が示されている。このポインタ装置１０は、操作入力部１１、レーザー光源１２、方向センサー１３、メモリ１４及びインターフェース（Ｉ／Ｆ）１５からなる。操作入力部１１は、ユーザによる操作入力に基づいて入力信号を生成する動作を行っている。具体的には、照射光の出力をオンオフさせる操作や、メモリ１４をリセットさせる操作（以下、リセット操作という）、入力処理を実行させる操作（以下、クリック操作という）が行われる。特に、表示エリア内の基準点を指示位置として教示するためのクリック操作に基づいて、当該表示エリアに対する照射方向の位置合わせ（キャリブレーションという）が行われる。

レーザー光源１２は、照射光を生成する光源装置であり、ユーザの操作入力による入力信号に基づいてオンオフされる。ここでは、照射光として、可視光からなり、エネルギー密度の高いレーザー光が用いられるものとする。例えば、赤色光が照射光として用いられる。

方向センサー１３は、照射光の照射方向を検出する傾き検出装置であり、３次元空間における照射光の傾きに関する検出データが生成される。具体的には、地磁気に基づいて傾きを検出する地磁気センサーや、ジャイロ効果に基づいて傾きを検出するジャイロセンサー、重力を利用して傾きを検出する重力センサーなどが方向センサー１３として用いられる。ここでは、ユーザの操作入力による入力信号に基づいて検出データが出力されるものとする。方向センサー１３により検出された照射方向に関する検出データは、メモリ１４内に格納された後、インターフェース（Ｉ／Ｆ）１５を介して情報処理装置２０へ出力される。このＩ／Ｆ１５は、照射方向の検出データ及び操作入力部１１からの入力信号を情報処理装置２０へ送信する送信手段である。

図３のステップＳ１０１〜Ｓ１０６は、図２のポインタ装置における動作の一例を示したフローチャートであり、キャリブレーション時の動作が示されている。まず、操作入力部１１におけるリセットボタンを操作すると、メモリ１４がリセットされ、リセットモードに移行させるためのコマンドが情報処理装置２０へ送信される（ステップＳ１０１，Ｓ１０２）。

次に、表示エリア内の４つの基準点について、それぞれ基準点を指示してクリック操作すると、操作入力時における照射方向の検出データがメモリ１４へ出力される（ステップＳ１０３，Ｓ１０４）。そして、４つの基準点の全てについて検出データが出力されると、これらの検出データが検出結果として情報処理装置２０へ送信される（ステップＳ１０５，Ｓ１０６）。

図４のステップＳ２０１〜Ｓ２０８は、図１の表示システムにおける表示動作の一例を示したフローチャートであり、情報処理装置２０の動作が示されている。まず、ポインタ装置１０により出力されたコマンドを受信すると、リセットモードとなり、表示画面を切り替えて照射方向の位置合わせ用の画面が表示される（ステップＳ２０１，Ｓ２０２）。そして、表示エリア内の基準点に関する照射方向の検出結果を受信すると、照射方向の位置合わせが行われる。このキャリブレーションが完了すると、元の画面に復帰する（ステップＳ２０３，Ｓ２０４）。

次に、映像内のオブジェクトを指示してクリック操作すると、スクリーン上における指示位置が算出される（ステップＳ２０５，Ｓ２０６）。このとき、照射光による指示位置が表示エリア内であれば、指示位置に基づく入力処理が行われる（ステップＳ２０７，Ｓ２０８）。一方、指示位置が表示エリア内でなければ、当該クリック操作は無視され、ステップＳ２０５からＳ２０７までの処理手順が繰り返される。

図５は、図１の表示システムにおける動作の一例を示した図であり、スクリーン４０内の表示エリア４１に投影された位置合わせ画面の様子が示されている。この位置合わせ画面は、ポインタ装置１０におけるリセット操作に基づいて自動的に表示される。この例では、位置合わせ画面の４隅がそれぞれ基準点（ここでは、表示エリア４１の頂点）Ｐ１〜Ｐ４を含む位置合わせエリアＢ１となっており、位置合わせエリアＢ１内に照射点を移動させてクリック操作を行えば、正しく照射方向が位置決めされる。

図６（ａ）及び（ｂ）は、図１の表示システムにおける動作の一例を示した遷移図であり、映像内のオブジェクトを指示して行われたクリック操作時における動作の様子が示されている。図６（ａ）には、特定のデータファイルを指示選択することによってファイル内容の閲覧画面に移行させるファイルオープンの場合が示されている。また、図６（ｂ）には、画面内をクリック操作することによって表示ページを切り替える画面切り替えの場合が示されている。

ファイルオープンでは、表示エリア４１に投影された画面内に複数のファイル名やフォルダ名がオブジェクトＣ１として表示されている場合、所望のファイル名又はフォルダ名をポインタ装置１０により指示してクリック操作すれば、当該ファイル又はフォルダを開くことができる。この例では、オブジェクト「文書２」を指示選択することにより、当該ファイル内容の閲覧画面に切り替わる。なお、閲覧画面上のオブジェクト「クローズボタン」Ｃ２を指示選択すれば、当該画面をクローズして、元の画面に復帰させることができる。

画面切り替えでは、表示エリアに投影されている画面内を指示してクリック操作することにより、表示ページを切り替えることができる。この例では、表示画面「プレゼンテーションページ１」内におけるクリック操作によって、次の表示画面「プレゼンテーションページ２」に切り替えるページ送りが行われる。

なお、クリック操作をシングルクリック及びダブルクリックなどに区分し、いずれのクリック操作であるかに応じて入力処理を異ならせても良い。例えば、シングルクリックでは、オブジェクトを選択する入力処理のみが行われ、ダブルクリックでは、オブジェクトを選択して実行する入力処理が行われる。ここでは、ダブルクリックが、所定の時間内で操作された２回のシングルクリックからなるものとする。

また、クリック操作のための操作キーを２つ設け、操作キーに応じて入力処理を異ならせても良い。例えば、第１の操作キーの操作によってページ送りが実行され、第２の操作キーの操作によってページ戻しが実行される。

図７（ａ）及び（ｂ）は、図１の表示システムにおける動作例を示した図であり、キャリブレーションによる照射方向の位置合わせ時の位置算出方法１の様子が示されている。図７（ａ）には、表示エリア４１の中心を通る垂線上にポインタ装置１０が位置するものとして定められたｙ軸及びｚ軸の様子が示されている。なお、ポインタ装置１０の位置を原点Ｒとし、表示エリア４１に平行にｘ軸及びｙ軸が定められ、表示エリア４１の垂線方向にｚ軸が定められている。

一般に、スクリーンに対して離れたところから照射光を照射するポインタ装置１０では、空間内における３次元位置に多少のずれが生じても、表示エリア４１のサイズに比べて、無視できると考えられる。そこで、ポインタ装置１０は、表示エリア４１中心の垂線（ｚ軸）上に位置が固定されているものとみなすことができる。表示エリア４１の各頂点Ｐ１〜Ｐ４について、キャリブレーション時に検出される照射方向から、各頂点Ｐ１〜Ｐ４の仮想的な位置として、Ｑ１〜Ｑ４の各座標を求めることができる。

ここでは、情報処理装置２０における表示画面内の対応位置を判別するという観点から、表示エリア４１内における位置座標を求めるのに代えて、図７（ｂ）に示すように、ｚ軸方向にポインタ装置１０からの距離が１となるような仮想エリアＤ内における位置座標が方向センサー１３による検出結果から求められるものとする。この仮想エリアＤの各頂点Ｑ１〜Ｑ４は、それぞれ表示エリア４１の頂点Ｐ１〜Ｐ４に対応する。各頂点Ｑ１〜Ｑ４の位置座標は、Ｑ１（ｘ１，ｙ１，１）、Ｑ２（ｘ２，ｙ２，１）、Ｑ３（ｘ３，ｙ３，１）、Ｑ４（ｘ４，ｙ４，１）と表され、これらの位置座標によって画面の範囲が決定される。

図８は、図７の位置算出方法に基づいてキャリブレーション後のクリック操作時における指示位置が判別される様子が示されている。表示エリア４１内の照射点Ａに対応する仮想エリアＤ内の指示位置Ｓの位置座標は、キャリブレーション時に各頂点Ｑ１〜Ｑ４の位置座標が求められているので、照射方向ＲＡから算出することができる。この様にして求められる指示位置Ｓのｘｙ座標が、情報処理装置２０における表示画面内の対応位置となる。

図９（ａ）〜（ｃ）は、図１の表示システムにおける位置算出方法の他の例を示した図であり、ポインタ装置１０が表示エリア４１に対して斜め方向に位置する場合が示されている。図９（ａ）には、キャリブレーション時の様子が示され、図９（ｂ）には、キャリブレーション後のクリック操作時における照射方向ＲＡが示されている。また、図９（ｃ）には、その照射方向から指示位置が判別される様子が示されている。

この位置算出方法２は、表示エリア４１の対向する２辺について、頂点間における照射方向のなす角度が同じであるとみなせる場合の位置算出方法である。すなわち、照射方向ＲＰ１及びＲＰ２のなす角度θと、照射方向ＲＰ３及びＲＰ４のなす角度とが同じであり、さらに、照射方向ＲＰ２及びＲＰ３のなす角度φと、照射方向ＲＰ４及びＲＰ１のなす角度とが同じであるものとする。この角度θ及びφは、キャリブレーション時の方向センサーによる検出データから求められる。このとき、頂点Ｐ１を原点（０，０）とすれば、表示エリア４１の他の頂点Ｐ２〜Ｐ４は、Ｐ２（θ，０）、Ｐ３（θ，φ）、Ｐ４（０，φ）と表すことができる。

キャリブレーション後のクリック操作時における指示位置は、照射方向ＲＡ及びＲＰ１のなす角度αと、照射方向ＲＡ及びＲＰ２のなす角度βから求めることができる。具体的には、ＡＰ１＝α、ＡＰ２＝βと表されるので、指示位置を（ＴＰ１，ＡＴ）とし、ＡＰ１とＰ１Ｐ２のなす角度をηとすると、ｃｏｓη＝（θ^２＋α^２−β^２）／（２θ×α）によりηが計算され、ＴＰ１及びＡＴの値を求めることができる。

図１０（ａ）及び（ｂ）は、図１の表示システムにおける位置算出方法の他の例を示した図であり、ポインタ装置１０が表示エリアの頂点Ｐ４を通る垂線上に位置する場合が示されている。図１０（ａ）には、キャリブレーション時の様子が示され、図１０（ｂ）には、キャリブレーション後のクリック操作時における照射方向ＲＡが示されている。

この位置算出方法３では、ポインタ装置１０を原点Ｒとし、表示エリアの辺Ｐ４Ｐ１に平行にｘ軸、辺Ｐ１Ｐ２に平行にｙ軸が定められ、頂点Ｐ４を通る垂線方向にｚ軸が定められる。表示エリアの辺の長さをＰ４Ｐ１＝ｘ_０、Ｐ１Ｐ２＝ｙ_０とし、ポインタ装置１０から表示エリアまでの距離をｚ_０とすると、各頂点Ｐ１〜Ｐ４の位置座標は、Ｐ１（ｘ_０，０，ｚ_０）、Ｐ２（ｘ_０，ｙ_０，ｚ_０）、Ｐ３（０，ｙ_０，ｚ_０）、Ｐ４（０，０，ｚ_０）と表すことができる。ｘ_０及びｙ_０は、キャリブレーション時の方向センサーによる検出データから求められる。

照射光による指示位置（照射点Ａの位置）を（Ｘ，Ｙ，ｚ_０）とすると、Ｘ及びＹは、照射方向ＲＡの検出データから算出することができる。このとき、指示位置が表示エリア内にあるか否かは、０≦Ｘ≦ｘ_０、０≦Ｙ≦ｙ_０をともに満たすか否かで判別される。

本実施の形態によれば、ユーザによる操作入力に基づいて操作入力時における照射光の照射方向が出力されるので、照射光による指示位置を適切に判別することができ、指示位置に基づいて画面操作を行わせることができる。従って、映像内のオブジェクトを指示しながらであっても画面操作することができ、投影面上に投影されている映像について画面操作する際の操作性を向上させることができる。

実施の形態２．
実施の形態１では、ポインタ装置１０の空間内における３次元位置が固定されている場合の例について説明した。これに対し、本実施の形態では、ポインタ装置１０がキャリブレーション時における位置から移動された場合について説明する。本実施の形態による表示システムでは、ポインタ装置１０が加速度センサーを備え、情報処理装置２０において加速度の検出結果に基づく照射方向の補正処理が行われる。

加速度センサーは、ポインタ装置１０の加速度を検出する検出装置であり、所定周期で検出した検出データを出力する動作を行っている。情報処理装置２０では、加速度の検出データに基づいてポインタ装置１０の移動を検出し、その移動量が算出される。ポインタ装置１０の移動は、加速度の大きさに基づいて判別され、ポインタ装置１０の移動量は、加速度を積分することにより算出される。算出された移動量及び移動方向に基づいて方向センサー１３により検出された照射方向が補正される。ここで、ポインタ装置１０の移動方向は、方向センサー１３の検出データから判別されるものとする。

図１１のステップＳ３０１〜Ｓ３０３は、本発明の実施の形態２による表示システムにおける照射方向の補正動作の一例を示したフローチャートである。まず、加速度センサーによる検出データに基づいて、ポインタ装置１０の移動が検出されると、その検出データに基づいて移動量が算出される（ステップＳ３０１，Ｓ３０２）。

次に、算出された移動量と、ポインタ装置１０の移動方向に基づいて照射方向の検出データが補正される（ステップＳ３０３）。

図１２（ａ）〜（ｃ）は、図１１の表示システムにおける動作の一例を示した図であり、加速度センサーによる検出データから得られる加速度ａ、速度ｖ及び移動量ｌが示されている。図１２（ａ）には、検出された加速度ａの様子が示され、図１２（ｂ）には、加速度ａの積分から求められる速度ｖの様子が示されている。また、図１２（ｃ）には、速度ｖの積分から求められる移動量ｌ（エル）の様子が示されている。

この例では、時刻ｔ１において、加速度ａが所定レベルを超え、ポインタ装置１０の移動が開始されたと判別される。その後、時刻ｔ２において、加速度ａがゼロとなり、しかも、速度ｖがゼロとなることから、移動が停止したものと判別される。この間に移動した距離（移動量ｌ_０）は、速度ｖを時間に関して積分することによって得られる。

図１３、図１４（ａ）及び（ｂ）は、図１１の表示システムにおける動作の一例を示した図であり、ポインタ装置１０がキャリブレーション時の位置Ｒから位置Ｒ１まで移動した場合の移動による補正の様子が示されている。図１３には、ポインタ装置１０が表示エリアの頂点Ｐ４を通る垂線上の位置Ｒから位置Ｒ１まで移動する様子が示されている。図１４（ａ）には、ｘ軸方向から見た様子が示され、図１４（ｂ）には、ｙ軸方向から見た様子が示されている。

ｘ軸方向から見た図１４（ａ）において、線分ＲＲ１をｙｚ平面に投影させた際のｙｚ平面における長さｌ_１や、ｙ軸方向成分ｙ_１及びｚ軸方向成分ｚ_１は、移動量ｌ_０及び移動方向から求められる。また、移動後の位置Ｒ１から表示エリアまでの距離Ｒ１Ｔ１は、ｚ_０−ｚ_１となる。従って、例えば、ポインタ装置１０から見た頂点Ｐ１の方向の変化量θ_１を求めることができる。他の頂点Ｐ２〜Ｐ４についても、同様にして、移動に伴う照射方向の変化量を算出することができる。

また、ｙ軸方向から見た図１４（ｂ）において、線分ＲＲ１をｚｘ平面に投影させた際のｚｘ平面における長さｌ_２や、ｚ軸方向成分ｚ_２（ｚ_２＝ｚ_１）及びｘ軸方向成分ｘ_２は、移動量ｌ_０及び移動方向から求められる。また、移動後の位置Ｒ１から表示エリアまでの距離Ｒ１Ｔ３は、ｚ_０−ｚ_２となる。従って、例えば、ポインタ装置１０から見た頂点Ｐ３の方向の変化量θ_２を求めることができる。他の頂点Ｐ１〜Ｐ４についても、同様にして、移動に伴う照射方向の変化量を算出することができる。つまり、移動後の位置Ｒ１から見た各頂点Ｐ１〜Ｐ４の方向が、移動前の位置Ｒから見た方向に比べてどれだけ変化したかを判別することができる。

本実施の形態によれば、加速度の検出結果に基づいて照射光の照射方向が自動的に補正されるので、移動により空間内における３次元位置が変化しても照射光による指示位置を正しく判別することができる。

なお、実施の形態１及び２では、情報処理装置２０において照射方向の検出データが演算処理される場合の例について説明した。また、実施の形態２では、情報処理装置２０において加速度センサーの検出データが演算処理される場合の例について説明したが、本発明はこれに限られるものではない。例えば、情報処理装置２０における機能の一部又は全部をポインタ装置１０に搭載しても良い。

また、実施の形態１及び２では、ユーザによる操作入力に基づいて操作入力時における照射方向の検出データがポインタ装置１０から出力される場合の例について説明したが、本発明はこれに限られるものではない。例えば、ポインタ装置１０が所定周期で検出した照射方向の検出信号を順次に出力するとともに、投影面内の基準点を入力する操作入力や映像内のオブジェクトを入力する入力操作に基づいて生成された入力信号を情報処理装置２０へ出力するものであっても良い。この様な構成によれば、情報処理装置２０では、検出信号に基づいて照射光による指示位置をリアルタイムに判別することができるとともに、照射光の指示位置に基づく画面操作を適切に行わせることができる。

また、実施の形態２では、ポインタ装置１０の移動が検出され、移動による照射方向のずれが自動的に補正される場合の例について説明したが、本発明はこれに限られるものではない。例えば、ユーザが必要に応じて操作入力することにより、再度、キャリブレーションを行うようなものであっても良い。この再キャリブレーションのための入力キーとしては、新たにポインタ装置１０に設けても良いし、リセットボタンの操作によって再キャリブレーションを行わせても良い。或いは、加速度センサーによる検出データに基づいて移動を検出し、ユーザに報知するようなものであっても良い。

また、実施の形態１及び２では、ポインタ装置１０からスクリーン４０上の表示エリア４１までの距離ｚ_０が既知である場合の例について説明したが、本発明はこれに限られるものではない。例えば、表示エリア４１までの距離を検出する距離検出手段を備え、この距離検出手段により距離ｚ_０を検出させても良い。具体的には、ポインタ装置１０が、超音波を生成する超音波生成手段と、スクリーン４０による超音波の反射エコーを受信するエコー受信手段を備え、ポインタ装置１０又は情報処理装置２０における距離検出手段が、超音波の送信から反射エコーの受信までの時間に基づいて、距離ｚ_０を算出する。或いは、ポインタ装置１０が、スクリーン４０による照射光の反射光を受光する受光手段を備え、ポインタ装置１０又は情報処理装置２０における距離検出手段が、反射光の受光強度に基づいて、距離ｚ_０を算出する。

なお、実施の形態１及び２では、表示システムがポインタ装置１０、情報処理装置２０及び投影装置３０からなる場合の例について説明したが、本発明はこれに限られるものではない。例えば、情報処理装置２０の機能をポインタ装置１０又は投影装置３０に搭載し、ポインタ装置１０及び投影装置３０からシステムを構成しても良い。

図１５は、本発明の表示システムにおける他の構成例を示したブロック図である。この表示システム２００は、ポインタ装置１０ａ、投影装置３０ａ及びスクリーン４０からなり、照射光による指示位置の情報を無線もしくは有線によりポインタ装置１０ａから投影装置３０ａへ転送して指示位置に応じた画面操作を行うシステムである。表示システム２００では、投影装置３０ａにおいて、照射光による指示位置に基づく入力処理が行われる。或いは、投影装置３０ａからポインタ装置１０ａへ制御データを転送し、ポインタ装置１０ａにおいて、入力処理が行われるようにしても良い。

また、インターネットやＬＡＮなどの通信ネットワークを介して表示データを取得する携帯電話機などの携帯通信端末にも、本発明は適用可能である。図１６は、本発明の表示システムにおける他の構成例を示したブロック図である。この表示システム３００は、サーバ１、通信ネットワーク３、基地局４、携帯通信端末１０ｂ及び投影装置３０ｂからなる。

この携帯通信端末１０ｂは、本発明のポインタ装置を搭載させた端末装置であり、サーバ１内の記憶装置２に保持されている表示データ「データ１」２ａを通信ネットワーク３に接続された基地局４を介して取得することができる。取得された表示データ「データ１」は、投影装置３０ｂに転送され、スクリーン上の表示エリア４１に投影される。この様な携帯通信端末にポインタ機能を搭載し、照射光による指示位置に応じた画面操作が行えるので、極めて便利である。

図１７は、ポインタ機能を搭載させた携帯通信端末の構成例を示した図である。この携帯通信端末１０ｃは、照射光の出力部１０１、表示画面１０２、サイドキー１０３Ｒ及び１０３Ｌを備えている。サイドキー１０３Ｒ及び１０３Ｌは、それぞれ端末筐体の対向する側面に配置されている。すなわち、サイドキー１０３Ｒは、表示画面１０２の右側に配置され、サイドキー１０３Ｌは、表示画面１０２の左側に配置されている。

例えば、サイドキー１０３Ｒは、クリック操作のための入力キーとして用いられ、サイドキー１０３Ｌは、照射光の出力をオンオフさせるスイッチとして用いられる。つまり、サイドキー１０３Ｒは、基準点を教示するための機能と、オブジェクトの指示位置を教示するための機能を有する。いずれのサイドキーをクリック操作用にするかは、任意に設定可能とする。また、照射光の出力は、サイドキーを押し込んでいる間だけオンされ、或いは、再度の押下操作があるまでオンされる。また、センサーで指を検出して照射光の出力をオンオフさせても良い。

図１８（ａ）及び（ｂ）は、図１７の携帯通信端末における動作の一例を示した図であり、図１８（ａ）には、ポインタモード設定画面の様子が示され、図１８（ｂ）には、キャリブレーション完了時の表示画面の様子が示されている。例えば、メニュー画面においてポインタモードの設定タグを選択すれば、ポインタモードの設定画面に切り替えられる。このポインタモードの設定画面において、ポインタモードの「１．ＯＮ」を選択すれば、ポインタモードに移行する。このとき、「＊」キーを操作すれば、キャリブレーションが開始される。つまり、ここでは、「＊」キーがリセットボタンとなっている。一方、ポインタモード中に「３．ＯＦＦ」を選択すれば、ポインタモードは終了し、元の画面に復帰する。

キャリブレーションが完了すれば、キャリブレーション完了を知らせるメッセージが表示される。

図１９は、ポインタ機能を搭載させた携帯通信端末の他の構成例を示した図である。この携帯通信端末１０ｄは、照射光の出力部１０１、表示画面１０２、ガイドキー１０４、１０５、方向キー１０６及び決定キー１０７を備えている。ガイドキー１０４及び１０５は、端末モードに応じて割り当てられる機能が異なる入力キーであり、割り当てられている機能が表示画面１０２内に表示される。

決定キー１０７は、２段押しボタン型スイッチとなっており、１段目の押下操作により照射光の出力がオンされ、２段目の押下操作がクリック操作に割り当てられている。

図２０（ａ）及び（ｂ）は、図１９の携帯通信端末における動作の一例を示した図であり、図２０（ａ）には、ポインタモード時の画面が示され、図２０（ｂ）には、再キャリブレーション開始時の画面が示されている。例えば、ポインタモード中には、再キャリブレーションを開始させる機能がガイドキー１０４に割り当てられ、表示画面内にキー表示１０８される。このとき、ガイドキー１０４を操作すれば、再キャリブレーションを開始するか否かを選択する確認画面に切り替えられる。

この確認画面において、「はい」を選択すれば、再キャリブレーションが開始される。一方、「いいえ」を選択すれば、元の画面に復帰する。

本発明の実施の形態１による表示システムの概略構成の一例を示したブロック図である。 図１の表示システムの要部における構成例を示したブロック図であり、ポインタ装置１０が示されている。 図２のポインタ装置における動作の一例を示したフローチャートであり、キャリブレーション時の動作が示されている。 図１の表示システムにおける表示動作の一例を示したフローチャートであり、情報処理装置２０の動作が示されている。 図１の表示システムにおける動作の一例を示した図であり、スクリーン４０内の表示エリア４１に投影された位置合わせ画面の様子が示されている。 図１の表示システムにおける動作の一例を示した遷移図であり、映像内のオブジェクトを指示して行われたクリック操作時における動作の様子が示されている。 図１の表示システムにおける動作例を示した図であり、キャリブレーションによる照射方向の位置合わせ時の位置算出方法１の様子が示されている。 図７の位置算出方法に基づいてキャリブレーション後のクリック操作時における指示位置が判別される様子が示されている。 図１の表示システムにおける位置算出方法の他の例を示した図であり、ポインタ装置１０が表示エリア４１に対して斜め方向に位置する場合が示されている。 図１の表示システムにおける位置算出方法の他の例を示した図であり、ポインタ装置１０が表示エリアの頂点Ｐ４を通る垂線上に位置する場合が示されている。 本発明の実施の形態２による表示システムにおける照射方向の補正動作の一例を示したフローチャートである。 図１１の表示システムにおける動作の一例を示した図であり、加速度センサーによる検出データから得られる加速度ａ、速度ｖ及び移動量ｌが示されている。 図１１の表示システムにおける動作の一例を示した図であり、ポインタ装置１０がキャリブレーション時の位置Ｒから位置Ｒ１まで移動した場合の移動による補正の様子が示されている。 図１１の表示システムにおける動作の一例を示した図である。 本発明の表示システムにおける他の構成例を示したブロック図である。 本発明の表示システムにおける他の構成例を示したブロック図である。 ポインタ機能を搭載させた携帯通信端末の構成例を示した図である。 図１７の携帯通信端末における動作の一例を示した図である。 ポインタ機能を搭載させた携帯通信端末の他の構成例を示した図である。 図１９の携帯通信端末における動作の一例を示した図である。

符号の説明

１０ ポインタ装置
１１ 操作入力部
１２ レーザー光源
１３ 方向センサー
１４ メモリ
１５ インターフェース（Ｉ／Ｆ）
２０ 情報処理装置
２１ 表示データ生成部
２２ 表示部
２３ 指示位置算出部
２４ 画面位置判別部
２５ 入力処理部
３０ 投影装置
４０ スクリーン
４１ 表示エリア
１００，２００，３００ 表示システム

Claims (9)

1. 照射光を生成する照射光生成手段と、
   ユーザによる操作入力に基づいて入力信号を生成する操作入力手段と、
   上記入力信号に基づいて傾きを検出する傾き検出手段とを備え、
   上記傾き検出手段が、操作入力時における上記照射光の照射方向を傾きとして検出することを特徴とする携帯型ポインタ装置。
2. 上記照射光による指示位置を算出する指示位置算出手段を備え、
   上記操作入力手段が、映像が投影される投影面内の基準点を教示するための第１の操作入力手段と、映像内のオブジェクトの指示位置を教示するための第２の操作入力手段とからなり、
   上記指示位置算出手段が、上記第１の操作入力手段による操作入力に基づいて検出された３以上の異なる上記基準点に関する照射方向に基づいて、上記第２の操作入力手段による操作入力時の指示位置を算出することを特徴とする請求項１に記載の携帯型ポインタ装置。
3. 上記投影面までの距離を検出する距離検出手段を備え、
   上記指示位置算出手段は、投影面上に投影される矩形の上記映像の頂点を基準点とし、この映像の隣接する２辺について基準点間における照射方向のなす角度を求め、この角度と上記距離検出手段により検出された距離に基づいて指示位置を算出することを特徴とする請求項２に記載の携帯型ポインタ装置。
4. 超音波を生成する超音波生成手段と、
   上記投影面による上記超音波の反射エコーを受信するエコー受信手段とを備え、
   上記距離検出手段が、超音波の送信から反射エコーの受信までの時間に基づいて、投影面までの距離を求めることを特徴とする請求項３に記載の携帯型ポインタ装置。
5. 上記投影面による上記照射光の反射光を受光する受光手段を備え、
   上記距離検出手段が、反射光の受光強度に基づいて、投影面までの距離を求めることを特徴とする請求項３に記載の携帯型ポインタ装置。
6. 加速度を検出する加速度検出手段と、
   上記加速度検出手段による加速度の検出結果に基づいて移動量を求め、上記傾き検出手段により検出された照射方向を補正する照射方向補正手段とを備えたことを特徴とする請求項２に記載の携帯型ポインタ装置。
7. 上記傾き検出手段が、地磁気に基づいて照射方向を検出する地磁気センサーであることを特徴とする請求項１に記載の携帯型ポインタ装置。
8. 表示データを生成する情報処理装置と、上記表示データを映像化し、投影面上に投影する投影装置と、上記投影面に対して照射光を照射する携帯型ポインタ装置とからなる表示システムにおいて、
   上記携帯型ポインタ装置が、照射光を生成する照射光生成手段と、ユーザによる操作入力に基づいて入力信号を生成する操作入力手段と、傾きを検出する傾き検出手段と、上記傾き検出手段による傾きの検出結果及び上記入力信号を上記情報処理装置へ送信する送信手段とを備え、
   上記情報処理装置が、投影面内の基準点を教示するために上記操作入力手段により生成された入力信号に基づいて、傾きの検出結果から３以上の異なる上記基準点に関する上記照射光の照射方向を判別し、映像内のオブジェクトの指示位置を教示するための上記操作入力手段による操作入力時の照射光による指示位置を算出することを特徴とする表示システム。
9. 上記情報処理装置が、上記表示データを画面表示する表示手段と、算出された指示位置に基づいて画面内における位置を判別する画面位置判別手段と、判別された画面内の位置に基づいて表示画面を切り替える画面制御手段とを備えたことを特徴とする請求項８に記載の表示システム。

Images