JP6503828B2 - インタラクティブプロジェクションシステム，指示体，およびインタラクティブプロジェクションシステムの制御方法 - Google Patents

Description

本発明は、投写画面に対するユーザーの指示体による指示を受け取ることが可能なインタラクティブプロジェクターを備えるインタラクティブプロジェクションシステムに関する。

特許文献１には、投写画面をスクリーンに投写するとともに、発光するペン（以下、「発光ペン」とも呼ぶ。）などの対象物（object）を含む画像をカメラで撮像し、この撮像画像を用いて対象物の位置を検出することが可能な投写型表示装置（プロジェクター）が開示されている。発光ペンなどの対象物は、投写画面に対して指示を行うための指示体として利用される。すなわち、プロジェクターは、対象物の先端がスクリーンに接しているときに投写画面に対して描画等の所定の指示が入力されているものと認識し、その指示に応じて投写画面を再描画する。従って、ユーザーは、投写画面をユーザーインターフェースとして用いて、各種の指示を入力することが可能である。このように、スクリーン上の投写画面を入力可能ユーザーインターフェースとして利用できるタイプのプロジェクターを、「インタラクティブプロジェクター」と呼ぶ。また、投写画面に対して指示を行うために利用される対象物を「指示体（pointing element）」と呼ぶ。

特表２００８−５２００３４号公報

発光ペン等の自発光する指示体（以下、自発光指示体と呼ぶ。）とインタラクティブプロジェクターとを備えるインタラクティブプロジェクションシステムにおいて、自発光指示体の発光に伴う消費電力を抑制する技術が望まれている。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。
本発明の一形態によれば、投写画面に対して指示体を用いて指示を行うことが可能なインタラクティブプロジェクションシステムが提供される。このインタラクティブプロジェクションシステムは、スクリーン面上に投写画面を投写するプロジェクターと、自発光指示体と、を備え、前記自発光指示体は、第１の光を発する第１の発光部と、前記プロジェクターが発する第２の光の強度を検出する光強度検出部と、前記光強度検出部によって検出された前記第２の光の強度が大きいほど、前記第１の光の発光量を小さくする発光量調整部と、を備え、前記プロジェクターは、前記第２の光を発する第２の発光部と、非発光指示体の検出に用いる検出光が照射される第１の期間と、前記検出光が照射されない第２の期間において、それぞれ、前記第１の光および前記検出光の波長を含む波長領域の光を受光して前記投写画面の領域を撮像する撮像部と、前記第１の期間で撮像された画像と、前記第２の期間で撮像された画像とを比較することによって、前記投写画面に対する前記自発光指示体および前記非発光指示体の位置を検出する位置検出部と、を備える。
このインタラクティブプロジェクションシステムでは、プロジェクターが発する第２の光の受光強度が大きいほど、自発光指示体の発する第１の光の発光量を小さくするため、第２の光の受光強度に関わらず、第２の光の受光強度が大きいときと同じ一定の発光量で第１の光を発光する場合と比較して、自発光指示体の発光に伴う消費電力を抑制することができる。また、投写画像に含まれる個々の指示体が、自発光指示体と非発光指示体のいずれであるかを判定することができ、投写画面に対する自発光指示体および非発光指示体の位置を検出することができる。
その他、本発明は、以下の形態としても実現することが可能である。

（１）本発明の一形態によれば、投写画面に対して指示体を用いて指示を行うことが可能なインタラクティブプロジェクションシステムが提供される。このインタラクティブプロジェクションシステムはスクリーン面上に投写画面を投写するプロジェクターと、自発光指示体と、を備え、前記自発光指示体は、第１の光を発する第１の発光部と、前記プロジェクターが発する第２の光の強度を検出する光強度検出部と、前記光強度検出部によって検出された前記第２の光の強度が大きいほど、前記第１の光の発光量を小さくする発光量調整部と、を備え、前記プロジェクターは、前記第２の光を発する第２の発光部と、前記第１の光の波長を含む波長領域の光を受光して前記投写画面の領域を撮像する撮像部と、前記撮像部によって撮像された画像に基づいて、前記投写画面に対する前記自発光指示体の位置を検出する位置検出部と、を備える。
このインタラクティブプロジェクションシステムでは、プロジェクターが発する第２の光の受光強度が大きいほど、自発光指示体の発する第１の光の発光量を小さくするため、第２の光の受光強度に関わらず、第２の光の受光強度が大きいときと同じ一定の発光量で第１の光を発光する場合と比較して、自発光指示体の発光に伴う消費電力を抑制することができる。

（２）上記インタラクティブプロジェクションシステムにおいて、前記第２の光は、前記第１の光の発光タイミングの同期を取るための同期信号光でもよい。
自発光指示体は、同期信号光を受信して第１の光を発する。自発光指示体が同期信号光を用いて第１の光の発光量を調整するため、第１の光の発光量を調整するために、プロジェクターに特別な構成を設けなくても、容易に適切な自発光指示体の発光量に調整することができる。

（３）上記インタラクティブプロジェクションシステムにおいて、前記第２の光は、非発光指示体の検出に用いる検出光であり、前記撮像部は、前記第１の光および前記検出光の波長を含む波長領域の光を受光して前記投写画面を撮像し、前記位置検出部は、前記撮像部によって撮像された画像に基づいて、前記投写画面に対する前記自発光指示体および前記非発光指示体の位置を検出してもよい。
このようにしても、上記と同様に、容易に適切な発光量に調整することができる。

本発明は、種々の形態で実現することが可能であり、例えば、自発光指示体、自発光指示体の制御方法又は制御装置、自発光指示体およびプロジェクターを備えるインタラクティブプロジェクションシステムの制御方法または制御装置、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した一時的でない記録媒体（non-transitory storage medium）等の様々な形態で実現することができる。

インタラクティブプロジェクションシステムの斜視図である。 インタラクションプロジェクションシステムの側面図および正面図である。 インタラクティブプロジェクターと自発光指示体の内部構成を示すブロック図である。 装置信号光の受光強度と指示体信号光の発光強度との関係を概念的に示すグラフである。 装置信号光の受光強度と指示体信号光の発光強度との関係の他の例（その１）を概念的に示すグラフである。 装置信号光の受光強度と指示体信号光の発光強度との関係の他の例（その２）を概念的に示すグラフである。 装置信号光の受光強度と指示体信号光の発光時間との関係を概念的に示すグラフである。 自発光指示体と非発光指示体を利用した操作の様子を示す説明図である。

Ａ１．システムの概要
図１は、本発明の一実施形態におけるインタラクティブプロジェクションシステム９００の斜視図である。このシステム９００は、インタラクティブプロジェクター１００と、スクリーン板９２０と、自発光指示体７０とを有している。スクリーン板９２０の前面は、投写スクリーン面ＳＳ（projection Screen Surface）として利用される。インタラクティブプロジェクター１００は、支持部材９１０によってスクリーン板９２０の前方かつ上方に固定されている。なお、図１では投写スクリーン面ＳＳを鉛直に配置しているが、投写スクリーン面ＳＳを水平に配置してこのシステム９００を使用することも可能である。

インタラクティブプロジェクター１００は、投写スクリーン面ＳＳ上に投写画面ＰＳ（Projected Screen）を投写する。投写画面ＰＳは、通常は、インタラクティブプロジェクター１００内で描画された画像を含んでいる。インタラクティブプロジェクター１００内で描画された画像がない場合には、インタラクティブプロジェクター１００から投写画面ＰＳに光が照射されて、白色画像が表示される。本明細書において、「投写スクリーン面ＳＳ」（又は「スクリーン面ＳＳ」）とは、画像が投写される部材の表面を意味する。また、「投写画面ＰＳ」とは、インタラクティブプロジェクター１００によって投写スクリーン面ＳＳ上に投写された画像の領域を意味する。通常は、投写スクリーン面ＳＳの一部に投写画面ＰＳが投写される。

自発光指示体７０は、発光可能な先端部７１と、使用者が保持する軸部７２と、軸部７２に設けられたボタンスイッチ７３とを有するペン型の指示体である。自発光指示体７０の構成や機能については後述する。このシステム９００では、１つ又は複数の自発光指示体７０とともに、１つ又は複数の非発光指示体８０（非発光のペンや指など）を利用可能である。以下、自発光指示体７０と非発光指示体８０とを区別しない場合は、単に、指示体７８０とも呼ぶ。

図２（Ａ）は、インタラクティブプロジェクションシステム９００の側面図であり、図２（Ｂ）はその正面図である。本明細書では、スクリーン面ＳＳの左右に沿った方向をＸ方向と定義し、スクリーン面ＳＳの上下に沿った方向をＹ方向と定義し、スクリーン面ＳＳの法線に沿った方向をＺ方向と定義している。なお、便宜上、Ｘ方向を「左右方向」とも呼び、Ｙ方向を「上下方向」とも呼び、Ｚ方向を「前後方向」とも呼ぶ。また、Ｙ方向（上下方向）のうち、インタラクティブプロジェクター１００から見て投写画面ＰＳが存在する方向を「下方向」と呼ぶ。なお、図２（Ａ）では、図示の便宜上、スクリーン板９２０のうちの投写画面ＰＳの範囲にハッチングを付している。

インタラクティブプロジェクター１００は、投写画面ＰＳをスクリーン面ＳＳ上に投写する投写レンズ２１０と、投写画面ＰＳの領域を撮像する第１カメラ３１０及び第２カメラ３２０と、指示体７８０に検出光を照明するための検出光照射部４１０とを有している。検出光としては、例えば近赤外光が使用される。２台のカメラ３１０，３２０は、検出光の波長を含む波長領域の光を受光して撮像する第１の撮像機能を少なくとも有している。２台のカメラ３１０，３２０のうちの少なくとも一方は、更に、可視光を含む光を受光して撮像する第２の撮像機能を有し、これらの２つの撮像機能を切り替え可能に構成されていることが好ましい。例えば、２台のカメラ３１０，３２０は、可視光を遮断して近赤外光のみを通過させる近赤外フィルターをレンズの前に配置したりレンズの前から後退させたりすることが可能な近赤外フィルター切換機構（図示せず）をそれぞれ備えることが好ましい。２台のカメラ３１０，３２０は、左右方向（Ｘ方向）の位置が同じで、前後方向（Ｚ方向）に所定の距離を空けて並んで配置されている。２台のカメラ３１０，３２０の配置は、本実施形態に限定されない。例えば、前後方向（Ｚ方向）の位置が同じで、左右方向（Ｘ方向）に所定の距離を空けて並んで配置されてもよい。また、Ｘ，Ｙ，Ｚ全ての方向において位置が異なってもよい。２台のカメラ３１０，３２０をＺ方向の位置を変えて（前後方向にずらして）配置すると、三角測量による３次元位置の算出におけるＺ座標の精度が高いため、好ましい。

図２（Ｂ）の例は、インタラクティブプロジェクションシステム９００がホワイトボードモードで動作している様子を示している。ホワイトボードモードは、自発光指示体７０や非発光指示体８０を用いて投写画面ＰＳ上にユーザーが任意に描画できるモードである。スクリーン面ＳＳ上には、ツールボックスＴＢを含む投写画面ＰＳが投写されている。このツールボックスＴＢは、処理を元に戻す取消ボタンＵＤＢと、マウスポインターを選択するポインターボタンＰＴＢと、描画用のペンツールを選択するペンボタンＰＥＢと、描画された画像を消去する消しゴムツールを選択する消しゴムボタンＥＲＢと、画面を次に進めたり前に戻したりする前方／後方ボタンＦＲＢと、を含んでいる。ユーザーは、指示体を用いてこれらのボタンにタッチすることによって、そのボタンに応じた処理を行ったり、ツールを選択したりすることが可能である。なお、システム９００の起動直後は、マウスポインターがデフォールトツールとして選択されるようにしてもよい。図２（Ｂ）の例では、ユーザーがペンツールを選択した後、自発光指示体７０の先端部７１をスクリーン面ＳＳに接した状態で投写画面ＰＳ内で移動させることにより、投写画面ＰＳ内に線が描画されてゆく様子が描かれている。この線の描画は、インタラクティブプロジェクター１００の内部の投写画像作成部（後述）によって行われる。

なお、インタラクティブプロジェクションシステム９００は、ホワイトボードモード以外の他のモードでも動作可能である。例えば、このシステム９００は、パーソナルコンピューター（図示せず）から通信回線を介して転送されたデータの画像を投写画面ＰＳに表示するＰＣインタラクティブモードでも動作可能である。ＰＣインタラクティブモードにおいては、例えば表計算ソフトウェアなどのデータの画像が表示され、その画像内に表示された各種のツールやアイコンを利用してデータの入力、作成、修正等を行うことが可能となる。

図３は、インタラクティブプロジェクター１００と自発光指示体７０の内部構成を示すブロック図である。インタラクティブプロジェクター１００は、制御部７００と、投写部２００と、投写画像生成部５００と、位置検出部６００と、撮像部３００と、検出光照射部４１０と、信号光送信部４３０とを有している。

制御部７００は、インタラクティブプロジェクター１００内部の各部の制御を行う。また、制御部７００は、位置検出部６００で検出された指示体７８０の３次元位置、および指示体７８０の接触検出に基づいて、指示体７８０によって投写画面ＰＳ上で行われた指示の内容を判定するとともに、その指示の内容に従って投写画像を作成又は変更することを投写画像生成部５００に指令する。

投写画像生成部５００は、投写画像を記憶する投写画像メモリー５１０を有しており、投写部２００によってスクリーン面ＳＳ上に投写される投写画像を生成する機能を有する。投写画像生成部５００は、更に、投写画面ＰＳ（図２（Ｂ））の台形歪みを補正するキーストーン補正部としての機能を有することが好ましい。

投写部２００は、投写画像生成部５００で生成された投写画像をスクリーン面ＳＳ上に投写する機能を有する。投写部２００は、図２で説明した投写レンズ２１０の他に、光変調部２２０と、光源２３０とを有する。光変調部２２０は、投写画像メモリー５１０から与えられる投写画像データに応じて光源２３０からの光を変調することによって投写画像光ＩＭＬを形成する。この投写画像光ＩＭＬは、典型的には、ＲＧＢの３色の可視光を含むカラー画像光であり、投写レンズ２１０によってスクリーン面ＳＳ上に投写される。なお、光源２３０としては、超高圧水銀ランプ等の光源ランプの他、発光ダイオードやレーザーダイオード等の種々の光源を採用可能である。また、光変調部２２０としては、透過型又は反射型の液晶パネルやデジタルミラーデバイス等を採用可能であり、色光別に複数の変調部２２０を備えた構成としてもよい。

検出光照射部４１０は、指示体７８０の先端部を検出するための照射検出光ＩＤＬをスクリーン面ＳＳとその前方の空間にわたって照射する。照射検出光ＩＤＬとしては、例えば近赤外光が使用される。

信号光送信部４３０は、同期用の近赤外光信号である装置信号光ＡＳＬを送信する機能を有する。インタラクティブプロジェクター１００が起動されると、信号光送信部４３０は、装置信号光ＡＳＬを定期的に発する。自発光指示体７０の先端発光部７７は、装置信号光ＡＳＬに同期して、予め定められた発光パターン（発光シーケンス）を有する近赤外光である指示体信号光ＰＳＬ（後述する）を発する。また、撮像部３００のカメラ３１０，３２０は、指示体７８０の位置検出を行う際に、装置信号光ＡＳＬに同期した所定のタイミングで撮像を実行する。

撮像部３００は、図２で説明した第１カメラ３１０と第２カメラ３２０とを有している。前述したように、２台のカメラ３１０，３２０は、検出光の波長を含む波長領域の光を受光して撮像する機能を有する。図３の例では、検出光照射部４１０によって照射された照射検出光ＩＤＬが指示体７８０で反射され、その反射検出光ＲＤＬが２台のカメラ３１０，３２０によって受光されて撮像される様子が描かれている。２台のカメラ３１０，３２０は、更に、自発光指示体７０の先端発光部７７から発せられる近赤外光である指示体信号光ＰＳＬも受光して撮像する。２台のカメラ３１０，３２０の撮像は、検出光照射部４１０から照射検出光ＩＤＬが照射される第１の期間と、検出光照射部４１０から照射検出光ＩＤＬが照射されない第２の期間と、の両方で実行される。位置検出部６００は、これらの２種類の期間における画像を比較することによって、画像内に含まれる個々の指示体が、自発光指示体７０と非発光指示体８０のいずれであるかを判定することが可能である。

なお、２台のカメラ３１０，３２０の少なくとも一方は、近赤外光を含む光を用いて撮像する機能に加えて、可視光を含む光を用いて撮像する機能を有することが好ましい。こうすれば、スクリーン面ＳＳ上に投写された投写画面ＰＳをそのカメラで撮像し、その画像を利用して投写画像生成部５００がキーストーン補正を実行することが可能である。１台以上のカメラを利用したキーストーン補正の方法は周知なので、ここではその説明は省略する。

位置検出部６００は、２台のカメラ３１０，３２０で撮像された画像（以下、「撮像画像」とも呼ぶ。）を分析して、三角測量を利用して指示体７８０の先端部の３次元位置座標を算出する機能を有する。この際、位置検出部６００は、上述の第１の期間と第２の期間における撮像画像を比較することによって、画像内に含まれる個々の指示体７８０が、自発光指示体７０と非発光指示体８０のいずれであるかを判定する。また、位置検出部６００は、算出した指示体７８０の先端部の３次元位置（座標）、又は自発光指示体７０の発光パターンに基づいて、指示体７８０の投写画面ＰＳ（スクリーン面ＳＳ）への接触を検出する。

図３に示すように、自発光指示体７０は、発光可能な先端部７１と、使用者が保持する軸部７２と、軸部７２に設けられたボタンスイッチ７３と、光強度検出部７４と、制御部７５と、先端スイッチ７６と、先端発光部７７と、発光量調整部７８と、電源部７９と、を備える。光強度検出部７４は、インタラクティブプロジェクター１００の信号光送信部４３０から発せられた装置信号光ＡＳＬを受信して、装置信号光ＡＳＬの受信強度を検出する機能を有する。先端スイッチ７６は、自発光指示体７０の先端部７１が押されるとオン状態になり、先端部７１が解放されるとオフ状態になるスイッチである。先端スイッチ７６は、通常はオフ状態にあり、自発光指示体７０の先端部７１がスクリーン面ＳＳに接触するとその接触圧によってオン状態になる。先端スイッチ７６がオフ状態のときには、制御部７５は、先端スイッチ７６がオフ状態であることを示す特定の第１の発光パターンで先端発光部７７を発光させることによって、第１の発光パターンを有する指示体信号光ＰＳＬを発する。一方、先端スイッチ７６がオン状態になると、制御部７５は、先端スイッチ７６がオン状態であることを示す特定の第２の発光パターンで先端発光部７７を発光させることによって、第２の発光パターンを有する指示体信号光ＰＳＬを発する。これらの第１の発光パターンと第２の発光パターンは、互いに異なるので、位置検出部６００は、２台のカメラ３１０，３２０で撮像された画像の分析結果に基づいて、先端スイッチ７６がオン状態かオフ状態かを識別することが可能である。

自発光指示体７０のボタンスイッチ７３は、先端スイッチ７６と同じ機能を有する。従って、制御部７５は、ユーザーによってボタンスイッチ７３が押された状態では上記第２の発光パターンで先端発光部７７を発光させ、ボタンスイッチ７３が押されていない状態では上記第１の発光パターンで先端発光部７７を発光させる。換言すれば、制御部７５は、先端スイッチ７６とボタンスイッチ７３の少なくとも一方がオンの状態では上記第２の発光パターンで先端発光部７７を発光させ、先端スイッチ７６とボタンスイッチ７３の両方がオフの状態では上記第１の発光パターンで先端発光部７７を発光させる。

但し、ボタンスイッチ７３に対して先端スイッチ７６と異なる機能を割り当てるようにしてもよい。例えば、ボタンスイッチ７３に対してマウスの右クリックボタンと同じ機能を割り当てた場合には、ユーザーがボタンスイッチ７３を押すと、右クリックの指示がインタラクティブプロジェクター１００の制御部７００に伝達され、その指示に応じた処理が実行される。このように、ボタンスイッチ７３に対して先端スイッチ７６と異なる機能を割り当てた場合には、先端発光部７７は、先端スイッチ７６のオン／オフ状態及びボタンスイッチ７３のオン／オフ状態に応じて、互いに異なる４つの発光パターンで発光する。この場合には、自発光指示体７０は、先端スイッチ７６とボタンスイッチ７３のオン／オフ状態の４つの組み合わせを区別しつつ、インタラクティブプロジェクター１００に伝達することが可能である。

電源部７９は、電源として一次電池，二次電池，光電池等の電池を備え、自発光指示体７０の各構成に電力を供給する。指示体７０は、電源部７９からの電源供給をオン／オフする電源スイッチを備えていてもよい。電源部７９は、発光量調整部７８に制御され、先端発光部７７に供給する電流を調整する。

Ａ２．自発光指示体の発光量の調整
図４は、装置信号光の受光強度と指示体信号光の発光強度との関係を概念的に示すグラフである。発光量調整部７８は、光強度検出部７４によって検出された装置信号光ＡＳＬの受信強度に基づいて、先端発光部７７の発光強度を調整する。具体的には、発光量調整部７８は、装置信号光ＡＳＬの受光強度が大きいほど、先端発光部７７の発光強度が小さくなるように先端発光部７７に供給される電流量を調整している。本実施形態では、先端発光部７７は、電源部７９から先端発光部７７に供給される電流に比例して発光強度が強くなる（大きくなる）特性を有する。そのため、発光量調整部７８は、装置信号光ＡＳＬの受光強度が大きいほど、先端発光部７７に供給される電流を小さくする。図４に示すように、自発光指示体７０による装置信号光ＡＳＬの受光強度は、光源（信号光送信部４３０）からの距離が近いほど大きくなる。受光強度は、受光部と発光部との距離の２乗に反比例するためである。受光強度ＩＲが第１の受光強度ＩＲ１以下の場合は、発光強度ＩＥを第１の発光強度ＩＥ１とし、受光強度ＩＲが第２の受光強度ＩＲ２以上の場合は、発光強度ＩＥを第２の発光強度ＩＥ２とし、受光強度ＩＲが第１の受光強度ＩＲ１より大きく第２の受光強度ＩＲ２以より小さい場合は、第１の発光強度ＩＥ１から第２の発光強度ＩＥ２の範囲で受光強度ＩＲに比例して減小させる。第１の受光強度ＩＲ１，第２の受光強度ＩＲ２，第１の発光強度ＩＥ１，および第２の発光強度ＩＥ２は、先端発光部７７の性能，インタラクティブプロジェクター１００の撮像部の性能、スクリーン面ＳＳとインタラクティブプロジェクター１００との距離等に応じて適宜設定可能である。例えば、本実施形態では、第１の発光強度ＩＥ１を先端発光部７７の最大発光強度，第２の発光強度ＩＥ２を通信に要する最小発光強度に設定している。先端発光部７７の最大発光強度は、自発光指示体７０が撮像部３００から最も遠い位置（例えば、図２（Ｂ）における投写画面ＰＳの右下端や左下端）にあっても自発光指示体７０が発する指示体信号光ＰＳＬを撮像部３００によって撮像可能な程度の発光強度である。この例では、発光時間（パルス幅）を一定にして、発光強度を調整することにより、先端発光部７７が発する指示体信号光ＰＳＬの光量（カメラ３１０，３２０の露光時間当たりに発光する光量）を調整している。本実施形態における先端発光部７７が請求項における第１の発光部に相当し、指示体信号光ＰＳＬが第１の光に相当し、信号光送信部４３０が第２の発光部に相当し、装置信号光ＡＳＬが第２の光に相当する。

本実施形態のインタラクティブプロジェクションシステム９００では、自発光指示体７０が発光量調整部７８を備えるため、先端発光部７７からの指示体信号光ＰＳＬの発光強度を調整することができる。そのため、自発光指示体７０を最大発光強度で常に発光させる場合に比較して、自発光指示体７０の発光に伴う消費電力を抑制することができる。受光強度は、受光部と発光部との距離の２乗に反比例するため、本実施形態では、自発光指示体７０と撮像部３００との距離に関する情報として、自発光指示体７０が受光する装置信号光ＡＳＬの受光強度を用いている。そのため、光強度検出部７４における受光強度が大きいほど、自発光指示体７０が発する指示体信号光ＰＳＬの発光強度を小さくすることによって、自発光指示体７０とインタラクティブプロジェクター１００との距離に適した発光強度に設定することができる。自発光指示体７０とインタラクティブプロジェクター１００との距離が小さい（近い）場合に、自発光指示体７０の発光強度が大きいと、インタラクティブプロジェクター１００の撮像部３００による撮像画像に含まれる指示体信号光ＰＳＬによる輝点が大きくなる。そのため、検出精度が低くなる可能性がある。これに対し、本実施形態のインタラクティブプロジェクションシステム９００では、自発光指示体７０は、自発光指示体７０とインタラクティブプロジェクター１００との距離が小さい（近い）場合には、指示体信号光ＰＳＬの発光強度を小さくするため、３次元位置の検出精度を向上させることができる。

・他の例（その１）
図５は、装置信号光の受光強度と指示体信号光の発光強度との関係の他の例（その１）を概念的に示すグラフである。図示するように、この例では、発光量調整部７８は、装置信号光ＡＳＬの受光強度が大きくなるにしたがって、先端発光部７７の発光強度を階段状に小さくしている。このようにすると、電流の制御を簡単にすることができる。

・他の例（その２）
図６は、装置信号光の受光強度と指示体信号光の発光強度との関係の他の例（その２）を概念的に示すグラフである。図示するように、この例では、受光強度ＩＲが第１の受光強度ＩＲ１より大きく第２の受光強度ＩＲ２以より小さい場合は、先端発光部７７の発光強度ＩＥが装置信号光ＡＳＬの受光強度に反比例する（ＩＥ＝ｋ×１／ＩＲ）。ｋは任意の定数である。第１の発光強度ＩＥ１，および第２の発光強度ＩＥ２は、図４の例と同様に、それぞれ、先端発光部７７の最大発光強度，通信に要する最小発光強度に設定している。このようにすると、受光強度ＩＲが第１の受光強度ＩＲ１より大きく第２の受光強度ＩＲ２以より小さい範囲において、より適切に、自発光指示体７０とインタラクティブプロジェクター１００との距離に応じた発光強度に制御することができる。

・他の例（その３）
図７は、装置信号光の受光強度と指示体信号光の発光時間との関係を概念的に示すグラフである。図４〜６に示す例では、発光量調整部７８は、指示体信号光ＰＳＬの発光強度を調整しているが、図７に示す例では、発光強度を一定にして、指示体信号光ＰＳＬの発光時間（発光パターン）を調整している。図７の（Ａ）に示すように、発光量調整部７８は、光強度検出部７４で検出された装置信号光ＡＳＬの受光強度ＩＲが大きいほど、先端発光部７７が発する指示体信号光ＰＳＬの光量（カメラ３１０，３２０の露光時間当たりに発光する光量）が小さくなるように、発光時間ＩＴを調整する。具体的には、受光強度ＩＲが第１の受光強度ＩＲ１以下の場合は、発光時間ＩＴを第１の発光時間ＩＴ１とし、受光強度ＩＲが第２の受光強度ＩＲ２以上の場合は、発光時間ＩＴを第２の発光時間ＩＴ２とし、受光強度ＩＲが第１の受光強度ＩＲ１より大きく第２の受光強度ＩＲ２以より小さい場合は、発光時間ＩＴを第１の発光時間ＩＴ１から第２の発光時間ＩＴ２の範囲で受光強度ＩＲに比例して減小させる。第１の受光強度ＩＲ１，第２の受光強度ＩＲ２，第１の発光時間ＩＴ１，および第２の発光時間ＩＴ２は、適宜設定可能である。本実施形態では、第１の発光時間ＩＴ１を、自発光指示体７０が撮像部３００から最も遠い位置（例えば、図２（Ｂ）における投写画面ＰＳの右下端や左下端）にあっても自発光指示体７０が発する指示体信号光ＰＳＬを撮像部３００によって撮像可能な程度の発光量となる時間，第２の発光時間ＩＴ２を通信に要する最小発光量となる時間に設定している。図７の（Ｂ）に示すように、この例では、受光強度ＩＲに基づいて、指示体信号光ＰＳＬのパルス幅を変更する。このようにしても、消費電力を抑制することができ、自発光指示体７０の３次元位置の検出精度を向上させることができる。

Ａ３．システムにおける操作の概要
図８は、本実施形態のインタラクティブプロジェクションシステムにおいて、自発光指示体７０と非発光指示体８０を利用した操作の様子を示す説明図である。この例では、自発光指示体７０の先端部７１と非発光指示体８０の先端部８１はいずれもスクリーン面ＳＳから離れている。自発光指示体７０の先端部７１のＸＹ座標（Ｘ_７１，Ｙ_７１）は、ツールボックスＴＢの消しゴムボタンＥＲＢの上にある。また、ここでは、自発光指示体７０の先端部７１の機能を表すツールとしてマウスポインターＰＴが選択されており、マウスポインターＰＴの先端ＯＰ_７１が消しゴムボタンＥＲＢの上に存在するように、マウスポインターＰＴが投写画面ＰＳに描画されている。前述したように、自発光指示体７０の先端部７１の３次元位置は、２台のカメラ３１０，３２０で撮像された画像を用いた三角測量で決定される。従って、投写画面ＰＳ上において、三角測量で決定された先端部７１の３次元座標（Ｘ_７１，Ｙ_７１，Ｚ_７１）のうちのＸＹ座標（Ｘ_７１，Ｙ_７１）の位置にマウスポインターＰＴの先端にある操作ポイントＯＰ_７１が配置されようにマウスポインターＰＴが描画される。すなわち、マウスポインターＰＴの先端ＯＰ_７１は、自発光指示体７０の先端部７１の３次元座標（Ｘ_７１，Ｙ_７１，Ｚ_７１）のうちのＸＹ座標（Ｘ_７１，Ｙ_７１）に配置され、この位置においてユーザーの指示が行われる。例えば、ユーザーは、この状態で自発光指示体７０の先端部７１を投写画面ＰＳ上に接触させて、消しゴムツールを選択することが可能である。また、ユーザーは、この状態で自発光指示体７０のボタンスイッチ７３を押すことによって、消しゴムツールを選択することも可能である。このように、本実施形態では、自発光指示体７０がスクリーン面ＳＳから離間した状態にある場合にも、ボタンスイッチ７３を押すことによって、先端部７１のＸＹ座標（Ｘ_７１，Ｙ_７１）に配置される操作ポイントＯＰ_７１における投写画面ＰＳの内容に応じた指示をインタラクティブプロジェクター１００に与えることが可能である。

図８（Ｂ）では、また、非発光指示体８０の先端部８１の機能を表すツールとしてペンツールＰＥが選択されており、ペンツールＰＥが投写画面ＰＳに描画されている。前述したように、非発光指示体８０の先端部８１の３次元位置も、２台のカメラ３１０，３２０で撮像された画像を用いた三角測量で決定される。従って、投写画面ＰＳ上において、三角測量で決定された先端部８１の３次元座標（Ｘ_８１，Ｙ_８１，Ｚ_８１）のうちのＸＹ座標（Ｘ_８１，Ｙ_８１）の位置にペンツールＰＥの先端にある操作ポイントＯＰ_８１が配置されようにペンツールＰＥが描画される。但し、非発光指示体８０を利用してユーザーが指示をインタラクティブプロジェクター１００に与える際には、非発光指示体８０の先端部８１を投写画面ＰＳ上に接触させた状態でその指示（描画やツールの選択など）が行なわれる。

図８の例では、指示体７８０の先端部が投写画面ＰＳから離れている場合にも、個々の指示体によって選択されたツール（マウスポインターＰＴやペンツールＰＥ）が投写画面ＰＳに描画されて表示される。従って、ユーザーが指示体の先端部を投写画面ＰＳに接触していない場合にも、その指示体によってどのツールが選択されているのかを理解し易く、操作が容易であるという利点がある。また、ツールの操作ポイントＯＰが指示体の先端部の３次元座標のうちのＸＹ座標の位置に配置されるようにそのツールが描画されるので、ユーザーが、利用中のツールの位置を適切に認識できるという利点がある。

なお、このインタラクティブプロジェクションシステム９００は、複数の自発光指示体７０を同時に利用可能に構成されてもよい。この場合には、上述した指示体信号光ＰＳＬの発光パターンは、複数の自発光指示体７０を識別できる固有の発光パターンであることが好ましい。より具体的に言えば、Ｎ個（Ｎは２以上の整数）の自発光指示体７０を同時に利用可能な場合には、指示体信号光ＰＳＬの発光パターンは、Ｎ個の自発光指示体７０を区別できるものであることが好ましい。なお、１組の発光パターンに複数回の単位発光期間が含まれている場合に、１回の単位発光期間では、発光と非発光の２値を表現することができる。ここで、１回の単位発光期間は、自発光指示体７０の先端発光部７７が、オン／オフの１ビットの情報を表現する期間に相当する。１組の発光パターンがＭ個（Ｍは２以上の整数）の単位発光期間で構成される場合には、１組の発光パターンによって２^Ｍ個の状態を区別できる。従って、１組の発光パターンを構成する単位発光期間の数Ｍは、次式を満足するように設定されることが好ましい。
Ｎ×Ｑ≦２^Ｍ …（１）
ここで、Ｑは自発光指示体７０のスイッチ７３，７６で区別される状態の数であり、本実施形態の例ではＱ＝２又はＱ＝４である。例えば、Ｑ＝４の場合には、Ｎ＝２のときにはＭを３以上の整数に設定し、Ｎ＝２〜４のときにはＭを４以上の整数に設定することが好ましい。このとき、位置検出部６００（又は制御部７００）がＮ個の自発光指示体７０と非発光指示体８０、及び、各自発光指示体７０のスイッチ７３，７６の状態を識別する際には、１組の発光パターンのＭ個の単位発光期間において各カメラ３１０，３２０でそれぞれ撮像されたＭ枚の画像を用いてその識別を実行する。なお、このＭビットの発光パターンは、照射検出光ＩＤＬをオフの状態に維持した状態で指示体信号光ＰＳＬをオン又はオフに設定したパターンであり、カメラ３１０，３２０で撮像される画像には非発光指示体８０が写らない。そこで、非発光指示体８０の位置を検出するために用いる画像を撮像するために、照射検出光ＩＤＬをオン状態とした１ビットの単位発光期間を更に追加することが好ましい。但し、位置検出用の単位発光期間では、指示体信号光ＰＳＬはオン／オフのいずれでも良い。この位置検出用の単位発光期間で得られた画像は、自発光指示体７０の位置検出にも利用することが可能である。

図３に描かれている５種類の信号光の具体例をまとめると以下の通りである。
（１）投写画像光ＩＭＬ：スクリーン面ＳＳに投写画面ＰＳを投写するために、投写レンズ２１０によってスクリーン面ＳＳ上に投写される画像光（可視光）である。
（２）照射検出光ＩＤＬ： 指示体７８０（自発光指示体７０及び非発光指示体８０）の先端部を検出するために、検出光照射部４１０によってスクリーン面ＳＳとその前方の空間にわたって照射される近赤外光である。
（３）反射検出光ＲＤＬ：照射検出光ＩＤＬとして照射された近赤外光のうち、指示体７８０（自発光指示体７０及び非発光指示体８０）によって反射され、２台のカメラ３１０，３２０によって受光される近赤外光である。
（４）装置信号光ＡＳＬ：インタラクティブプロジェクター１００と自発光指示体７０との同期をとるために、インタラクティブプロジェクター１００の信号光送信部４３０から定期的に発せられる近赤外光である。
（５）指示体信号光ＰＳＬ：装置信号光ＡＳＬに同期したタイミングで、自発光指示体７０の先端発光部７７から発せられる近赤外光である。指示体信号光ＰＳＬの発光パターンは、自発光指示体７０のスイッチ７３，７６のオン／オフ状態に応じて変更される。また、複数の自発光指示体７０を識別する固有の発光パターンを有する。

本実施形態において、自発光指示体７０と非発光指示体８０の先端部の位置検出、及び、自発光指示体７０と非発光指示体８０により指示される内容の判別は、それぞれ以下のように実行される。

＜自発光指示体７０の位置検出方法及び指示内容の判別方法の概要＞
自発光指示体７０の先端部７１の三次元位置（Ｘ_７１，Ｙ_７１，Ｚ_７１）は、位置検出部６００が、２台のカメラ３１０，３２０により撮像された画像を用いて三角測量に従って決定する。この際、自発光指示体７０であるか否かは、所定の複数のタイミングで撮像された画像に先端発光部７７の発光パターンが現れているか否かを判断することによって認識可能である。また、自発光指示体７０の先端部７１がスクリーン面ＳＳに接触しているか否か（すなわち先端スイッチ７６がオンか否か）についても、上記複数のタイミングで撮像された画像における先端発光部７７の発光パターンを用いて判別可能である。位置検出部６００は、更に、自発光指示体７０のスイッチ７３，７６のオン／オフ状態、及び、先端部７１のＸＹ座標（Ｘ_７１，Ｙ_７１）における投写スクリーン面ＳＳの内容に応じて、その指示内容を判別することが可能である。例えば、図８（Ｂ）に例示したように、先端部７１のＸＹ座標（Ｘ_７１，Ｙ_７１）の位置がツールボックスＴＢ内のいずれかのボタンの上にある状態で先端スイッチ７６がオンになった場合には、そのボタンのツールが選択される。また、図２（Ｂ）に例示したように、先端部７１のＸＹ座標（Ｘ_７１，Ｙ_７１）が投写画面ＰＳ内のツールボックスＴＢ以外の位置にあれば、選択されたツールによる処理（例えば描画）が選択される。制御部７００は、自発光指示体７０の先端部７１のＸＹ座標（Ｘ_７１，Ｙ_７１）を利用し、予め選択されているポインターやマークが投写画面ＰＳ内の位置（Ｘ_７１，Ｙ_７１）に配置されるように、そのポインターやマークを投写画像生成部５００に描画させる。また、制御部７００は、自発光指示体７０によって指示された内容に従った処理を実行して、投写画像生成部５００にその処理結果を含む画像を描画させる。

＜非発光指示体８０の位置検出方法及び指示内容の判別方法の概要＞
非発光指示体８０の先端部８１の三次元位置（Ｘ_８１，Ｙ_８１，Ｚ_８１）も、２台のカメラ３１０，３２０により撮像された画像を用いて、三角測量に従って決定される。この際、非発光指示体８０であるか否かは、所定の複数のタイミングで撮像された画像に自発光指示体７０の発光パターンが現れているか否かを判断することによって認識可能である。なお、２台のカメラ３１０，３２０により撮像された２枚の画像における非発光指示体８０の先端部８１の位置は、テンプレートマッチングや特徴抽出等の周知の技術を利用して決定することができる。例えば、テンプレートマッチングによって指である非発光指示体８０の先端部８１を認識する場合には、指に関する複数のテンプレートを予め準備しておき、２台のカメラ３１０，３２０により撮像された画像において、これらのテンプレートに適合する部分を検索することによって指の先端部８１を認識することが可能である。また、非発光指示体８０の先端部８１がスクリーン面ＳＳに接しているか否かは、三角測量で決定した先端部８１のＺ座標値と、スクリーン面ＳＳの表面のＺ座標値との差が微小な許容差以下か否か、すなわち、先端部８１がスクリーン面ＳＳの表面に十分に近いか否かに応じて決定可能である。この許容差としては、例えば、２ｍｍ〜６ｍｍ程度の小さな値を使用することが好ましい。また、位置検出部６００は、非発光指示体８０の先端部８１がスクリーン面ＳＳに接していると判定した場合には、その接触位置における投写スクリーン面ＳＳの内容に応じてその指示内容を判別する。制御部７００は、位置検出部６００で検出された非発光指示体８０の先端のＸＹ座標（Ｘ_８１，Ｙ_８１）を利用し、予め選択されているポインターやマークが投写画面ＰＳ内の位置（Ｘ_８１，Ｙ_８１）に配置されるように、そのポインターやマークを投写画像生成部５００に描画させる。また、制御部７００は、非発光指示体８０によって指示された内容に従った処理を実行して、投写画像生成部５００にその処理結果を含む画像を描画させる。

以上説明したように、本実施形態では、自発光指示体７０が発光量調整部７８を備え、光強度検出部７４にて検出された装置信号光ＡＳＬの受光強度が大きい（強い）ほど先端発光部７７の発光量が小さくなるように調整している。インタラクティブプロジェクションシステム９００において、インタラクティブプロジェクター１００による投写画面の全領域に亘って自発光指示体７０を認識するためには、自発光指示体７０が撮像部３００から最も遠い位置（例えば、図２（Ｂ）における投写画面ＰＳの右下端や左下端）にあっても自発光指示体７０が発する指示体信号光ＰＳＬを撮像部３００によって撮像可能な程度の発光量（最大発光量とも呼ぶ）で、先端発光部７７に発光させる必要がある。一方、自発光指示体７０が撮像部３００から最も近い位置（例えば、図２（Ｂ）における投写画面ＰＳの上端の中央）にある場合には、自発光指示体７０の発光量は最大発光量ほど大きくなくても、インタラクティブプロジェクター１００の撮像部３００によって撮像可能である。自発光指示体７０が撮像部３００に近い場合には、自発光指示体７０の発光量が大きすぎると、かえって位置検出の精度が低くなる可能性がある。これに対して、本実施形態の自発光指示体７０は、装置信号光ＡＳＬの受光強度に基づいて自発光指示体７０の発光量を調整することにより、自発光指示体７０とインタラクティブプロジェクター１００との距離に応じて、自発光指示体７０が発する指示体信号光ＰＳＬの発光量を適切に調整することができる。その結果、自発光指示体７０の発光に伴う消費電力を抑制することができる。また、自発光指示体７０の位置検出の精度を向上させることができる。

Ｂ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

・変形例１：
上記実施形態では、光強度検出部７４は、装置信号光ＡＳＬの受光強度を検出し、発光量調整部７８は、検出された装置信号光ＡＳＬの受光強度に基づいて先端発光部７７の発光量を調整しているが、これに限定されない。例えば、発光量調整部７８は、検出光照射部４１０が発する照射検出光ＩＤＬの受光強度に基づいて先端発光部７７の発光量を調整してもよい。この場合、照射検出光ＩＤＬが第２の光に相当し、検出光照射部４１０が第２の発光部に相当する。なお、装置信号光ＡＳＬや照射検出光ＩＤＬが不連続光である場合、受光強度の検出において、発光時と非発光時の両方の受光強度を検出して差分を求めることによって、太陽光などの外光の影響を排除することができる。

・変形例２：
上記実施形態では、撮像部３００が２台のカメラ３１０，３２０を有しているものとしたが、撮像部３００が１台のカメラを有する構成にしてもよいし、３台以上のカメラを有する構成にしてもよい。撮像部３００が１台のカメラを有する構成の場合には、カメラで撮像された１個の画像に基づいて、指示体の２次元座標（Ｘ，Ｙ）が決定される。非発光指示体８０の位置検出のために、スクリーン面ＳＳに沿った層状の光を形成する構成を備えてもよい。撮像部３００が３台以上のカメラを有する構成の場合には、ｍ台（ｍは３以上の整数）のカメラで撮像されたｍ個の画像に基づいて、３次元座標（Ｘ，Ｙ，Ｚ）が決定される。例えば、ｍ個の画像から２個の画像を任意に選択して得られる_ｍＣ_２個の組み合わせを用いてそれぞれ３次元座標を求め、それらの平均値を用いて最終的な３次元座標を決定しても良い。こうすれば、３次元座標の検出精度を更に高めることが可能である。

・変形例３：
上記実施形態では、自発光指示体７０と非発光指示体８０との両方を使用可能な構成のインタラクティブプロジェクター１００を例示したが、プロジェクターは、少なくとも１本の自発光指示体７０を使用可能であればよい。

・変形例４：
上記実施形態では、インタラクティブプロジェクションシステム９００がホワイトボードモードとＰＣインタラクティブモードとで動作可能であるものとしたが、これらのうちの一方のモードのみで動作するようにシステムが構成されていても良い。また、インタラクティブプロジェクションシステム９００は、これら２つのモード以外の他のモードのみで動作するように構成されていても良く、更に、これら２つのモードを含む複数のモードで動作可能に構成されていてもよい。

・変形例５：
上記実施形態では、図３に示した照射検出光ＩＤＬと、反射検出光ＲＤＬと、装置信号光ＡＳＬと、指示体信号光ＰＳＬとがすべて近赤外光であるものとしたが、これらのうちの一部又は全部を近赤外光以外の光としてもよい。

以上、いくつかの実施例に基づいて本発明の実施の形態について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得るとともに、本発明にはその等価物が含まれることはもちろんである。

７０…自発光指示体
７１…先端部
７２…軸部
７３…ボタンスイッチ
７４…光強度検出部
７５…制御部
７６…先端スイッチ
７７…先端発光部
７８…発光量調整部
８０…非発光指示体
８１…先端部
１００…インタラクティブプロジェクター
２００…投写部
２１０…投写レンズ
２２０…光変調部
２３０…光源
３００…撮像部
３１０…第１カメラ
３２０…第２カメラ
４１０…検出光照射部
４３０…信号光送信部
５００…投写画像生成部
５１０…投写画像メモリー
６００…位置検出部
７００…制御部
９００…インタラクティブプロジェクションシステム
９１０…支持部材
９２０…スクリーン板

Claims (4)

1. 投写画面に対して指示体を用いて指示を行うことが可能なインタラクティブプロジェクションシステムであって、
   スクリーン面上に投写画面を投写するプロジェクターと、
   自発光指示体と、
   を備え、
   前記自発光指示体は、
   第１の光を発する第１の発光部と、
   前記プロジェクターが発する第２の光の強度を検出する光強度検出部と、
   前記光強度検出部によって検出された前記第２の光の強度が大きいほど、前記第１の光の発光量を小さくする発光量調整部と、
   を備え、
   前記プロジェクターは、
   前記第２の光を発する第２の発光部と、
   非発光指示体の検出に用いる検出光が照射される第１の期間と、前記検出光が照射されない第２の期間において、それぞれ、前記第１の光および前記検出光の波長を含む波長領域の光を受光して前記投写画面の領域を撮像する撮像部と、
   前記第１の期間で撮像された画像と、前記第２の期間で撮像された画像とを比較することによって、前記投写画面に対する前記自発光指示体および前記非発光指示体の位置を検出する位置検出部と、
   を備える、インタラクティブプロジェクションシステム。
2. 請求項１に記載のインタラクティブプロジェクションシステムであって、
   前記第２の光は、前記第１の光の発光タイミングの同期を取るための同期信号光である、インタラクティブプロジェクションシステム。
3. 請求項１に記載のインタラクティブプロジェクションシステムであって、
   前記第２の光は前記検出光である、インタラクティブプロジェクションシステム。
4. スクリーン面上に投写画面を投写するプロジェクターと、自発光指示体と、を備え、投写画面に対して前記自発光指示体を用いて指示を行うことが可能なインタラクティブプロジェクションシステムの制御方法であって、
   前記自発光指示体は、
   第１の光を発し、
   前記プロジェクターが発する第２の光の強度を検出し、
   検出された前記第２の光の強度が大きいほど、前記第１の光の発光量を小さくする調整を行い、
   前記プロジェクターは、
   前記第２の光を発し、
   非発光指示体の検出に用いる検出光が照射される第１の期間と、前記検出光が照射されない第２の期間において、それぞれ、前記第１の光および前記検出光の波長を含む波長領域の光を受光して前記投写画面の領域を撮像し、
   前記第１の期間で撮像された画像と、前記第２の期間で撮像された画像とを比較することによって、前記投写画面に対する前記自発光指示体および前記非発光指示体の位置を検出する、インタラクティブプロジェクションシステムの制御方法。

Images