JP6507905B2 - コンテンツ表示制御方法、コンテンツ表示制御装置およびコンテンツ表示制御プログラム - Google Patents

Description

本発明は、コンテンツ表示制御方法、コンテンツ表示制御装置およびコンテンツ表示制御プログラムに関する。

近年、電子ペン、各種センサ、プロジェクタ等から構成されるヒューマンコンピュータインタラクションシステム、いわゆるインタラクティブホワイトボードが大きな関心を集めている。

電子ペンを使ったインタラクティブホワイトボードでは、電子ペンのボード平面内での移動軌跡がセンサにより検出され、描画された図形や文字がボード平面上に表示される。また、電子ペンのボード平面内での動線からコンピュータへのコマンドが認識され、コンピュータの動作が制御される（例えば、特許文献１、２等を参照。）。

特開２０１１−２０４０５９号公報 特表２００７−５２７５７３号公報

上述したように、従来のインタラクティブホワイトボードにおける電子ペン等による操作は、２次元的なものに限られ、インタラクティブホワイトボードのスクリーンに表示されたコンテンツに対して多様な操作が行えないという問題があった。

そこで、開示の形態は、一側面として、スクリーンに表示されたコンテンツに対する操作性の向上を目的とする。

開示の形態は、コンテンツ表示制御装置が、プロジェクタによりスクリーンにコンテンツの画像を表示し、手持ちデバイスから前記スクリーンに照射される光ビームの、前記スクリーンによる反射光を検出し、検出した前記反射光に基づき、前記スクリーンと前記手持ちデバイスの距離に応じて変化する前記反射光の状態に対応付けて設定されたモードを選択し、前記モードの選択から光ビームが消失するまで、前記反射光の状態からユーザの操作を検出し、検出した前記操作に基づいて、前記スクリーン上の前記コンテンツの画像の表示を制御する処理を実行し、前記モードを選択する処理は、前記反射光の前記スクリーン上の光点サイズと中心輝度の値の組み合わせに対応付けられたモードを選択する。

開示の形態は、スクリーンに表示されたコンテンツに対する操作性の向上を図ることができる。

一実施形態にかかるシステムの構成例を示す図である。 システムの外観の例を示す図である。 ペンデバイスの構成例を示す図である。 想定される操作の例を示す図である。 スクリーン上の光点の特徴を示す図である。 ペンデバイスとスクリーンの距離に対する光点の中心輝度の例を示す図である。 ペンデバイスとスクリーンの距離に対する光点サイズの例を示す図である。 ペンデバイスとスクリーンの距離に対する光点サイズおよび中心輝度の例を示す図である。 距離に対応付けたモードと光点サイズおよび中心輝度の関係の例を示す図である。 ユーザの操作の手順の例を示す図である。 モードと対応付けテーブルの例を示す図である。 モード選択処理の例を示すフローチャートである。 仮決め／本決め時の表示図形およびタイマ図形の例を示す図である。 モード毎のパラメータの例を示す図である。 パンチルトモードにおけるパラメータ調整処理の例を示すフローチャートである。 俯瞰モードにおけるパラメータ調整処理の例を示すフローチャートである。 手書きモードの例を示す図である。 俯瞰モードの例を示す図（平面表示→俯瞰表示）である。 パンチルトモードの例を示す図である。 俯瞰モードの例を示す図（俯瞰表示→平面表示）である。 ペンデバイスの構成例を示す図である。 ペンデバイスの具体的な構成例を示す図である。 ペンデバイスの回路構成例を示す図である。 コントローラの内部構成例を示す図である。 コントローラの処理例を示すフローチャートである。 ペンデバイスの光量調整の説明図である。

以下、本発明の好適な実施形態につき説明する。

＜構成＞
図１は一実施形態にかかるシステムの構成例を示す図である。図１において、システムには、ユーザが手に持って操作し、赤外線光等の光ビームを投光するペンデバイス１と、ペンデバイス（手持ちデバイス）１から投光が行われるスクリーン（反射装置）２と、スクリーン２からの反射光（散乱反射光）を検出する受光センサ３とが備けられている。受光センサ３は、例えば赤外線カメラであり、その場合、検出信号は撮像画像となる。また、受光センサ３の検出信号に基づいてユーザの操作を認識し、自装置内または外部の端末装置６からのコンテンツの映像信号を生成する制御装置４と、制御装置４から出力される映像信号をスクリーン２に投影するプロジェクタ５とが設けられている。

ペンデバイス１には、投光素子１１と、スイッチ１２、１３と、バッテリ１４とが設けられている。スイッチ１２またはスイッチ１３のいずれかをオンにすることで、バッテリ１４から投光素子１１に電源が供給され、投光素子１１が点灯するようになっている。詳細については後述する。

制御装置４は、受光センサ３の検出信号に基づいて操作のモードを選択するモード選択部４１と、選択されたモード下でモード特有のパラメータを調整するパラメータ調整部４２と、調整されたパラメータに基づいて画像表示を制御する画像表示制御部４３とを備えている。

図２はシステムの外観の例を示す図である。図２において、スクリーン２の例えば下方にプロジェクタ５が設けられ、スクリーン２に対してプロジェクションレンズ５１が向けられ、ペンデバイス１からの投光の反射光を受光するよう、スクリーン２を視野として受光センサ３が設けられている。また、プロジェクタ５に制御装置４が合体されている。

制御装置４は、一般的なコンピュータ装置のハードウェア構成を有している。すなわち、制御装置４は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＮＶＲＡＭ（Non-Volatile Random Access Memory）、補助記憶装置、無線インタフェース等を備えている。

図３はペンデバイス１の構成例を示す図である。図３（ａ）は、スイッチ１２、１３の両方がオフの状態を示しており、先端の投光素子１１は点灯していない。図３（ｂ）は、ペンデバイス１の先端がスクリーン２に押し当てられることでスイッチ１２がオンし、投光素子１１が点灯している状態を示している。図３（ｃ）は、ユーザによりスイッチ１３がオンにされることで、投光素子１１が点灯している状態を示している。

＜モードと光点サイズ・中心輝度＞
図４は想定される操作の例を示す図である。図４（ａ）は、スクリーン２にペンデバイス１を押し当てて描画を行う操作である。図４（ｂ）は、スクリーン２からペンデバイス１を離した状態で、ペンデバイス１を前後に移動（近接・離反）する操作である。図４（ｃ）は、スクリーン２からペンデバイス１を離した状態で、ペンデバイス１の先端を左右に移動（空中パン）または上下に移動（空中チルト）する操作である。なお、ペンデバイス１による空中での操作は図示のものに限られない。

図５はスクリーン２上の光点の特徴を示す図である。図５（ａ）に示すように、スクリーン２からペンデバイス１の先端をある距離だけ離した場合における、光点の中心から周辺にわたるスクリーン２上の輝度を示したのが図５（ｂ）である。光点の中心は最も輝度が高く、周辺に行くに従って輝度が低下する。また、輝度が所定の閾値に達するスクリーン２上の距離を光点サイズとする。光点の中心の輝度は、中心輝度と呼ぶ。

図６はペンデバイス１とスクリーン２の距離に対する光点の中心輝度の例を示す図である。距離がゼロから所定の値の付近までは、中心輝度がほぼ一定となるが、それを超えると光線が届きにくくなって中心輝度が低下していく。

図７はペンデバイス１とスクリーン２の距離に対する光点サイズの例を示す図である。図７の下段左に示すように、スクリーン２に近い距離＃１においては、スクリーン２上の光点サイズが小さいが、下段中に示すように、距離＃２まで遠ざかると、光点サイズが大きくなる。更に、下段右に示すように、距離＃３まで遠ざかると、光点サイズを求める閾値に輝度が届きにくくなり、光点サイズは減少に転じる。図７の上段には、距離に応じた光点サイズの変化の例を示している。

図８はペンデバイス１とスクリーン２の距離に対する光点サイズおよび中心輝度の例を示す図であり、光点サイズを実線で示し、中心輝度を破線で示している。光点サイズだけでは、同じ光点サイズに２つの距離が対応するため、距離を特定することはできない。また、中心輝度だけでも、変化が緩やかで距離を特定できない範囲があるが、交点サイズと中心輝度の両者を組み合わせることにより距離を特定することができる。

図９は距離に対応付けたモードと光点サイズおよび中心輝度の関係の例を示す図である。図９（ａ）は、距離がゼロから最大までをモード＃１〜＃５の５つのモードに対応付けた例を示している。なお、モードの数は任意である。図９（ｂ）は、その際の光点サイズと中心輝度の値の範囲とモードとの関係を示す対応テーブルの例である。従って、光点サイズと中心輝度を観測することにより、距離の算出を経ることなく、対応テーブルからモードを特定することができる。

＜ユーザ操作＞
図１０はユーザの操作の手順の例を示す図である。図１０において、ユーザがペンデバイス１を操作することで投光素子１１が点灯すると（ステップＳ１）、スクリーン２上の光点の観測によりモード仮決めが行われる（ステップＳ２）。なお、前述したように、投光素子１１の点灯は、ペンデバイス１の先端がスクリーン２に押し当てられた場合と、ユーザが意図的に点灯させた場合とがある。

モード仮決めが行われるとタイマによる計時が開始され（ステップＳ３）、その間にユーザがペンデバイス１を動かすと（ステップＳ４）、再びモード仮決めが行われる（ステップＳ２）。タイマがタイムアップすると、モード本決めが行われる（ステップＳ５）。ここまでが、モード選択操作となる。

次いで、ユーザがペンデバイス１を動かすと（ステップＳ６）、モードに対応するパラメータの調整が行われ（ステップＳ７）、点灯が継続する場合はモードを維持したまま、ペンデバイス１の動きに応じたパラメータ調整が行われる（ステップＳ８、Ｓ６、Ｓ７）。消灯された場合は、処理を終了する。モード選択の後からここまでがパラメータ調整操作となる。

＜モード選択処理＞
以下、モードを「手書きモード」「パンチルトモード」「俯瞰モード」の３つとした例に基づいて処理の詳細を説明する。

図１１はモードと対応付けテーブルの例を示す図である。図１１（ａ）は、距離ｄに対する光点サイズｓと中心輝度ｉに対し、距離ｄが小さい方から順に「手書きモード」「パンチルトモード」「俯瞰モード」に割り当てた状態を示している。「手書きモード」は、ペンデバイス１をスクリーン２に押し当てて描画を行うモードである。「パンチルトモード」は、画像を立体的に表示した場合に、仮想カメラの視点を左右または上下に移動するモードである。「俯瞰モード」は、画像を立体的に表示し、仮想カメラの視点を前後に移動するモードである。

図１１（ｂ）は、光点サイズと中心輝度のそれぞれの値の範囲とモードとの対応を規定する対応付けテーブルの例を示している。なお、対応付けテーブルでは、各モードの仮決め時と本決め時に画面に表示する図形と、仮決めから本決めに移行する際のタイマの長さについても併せて規定している。

図１２は、ユーザのモード選択操作に対応する制御装置４のモード選択処理の例を示すフローチャートである。図１２において、モード選択処理を開始すると、制御装置４は、受光センサ３の撮像画像から画像取得（画像キャプチャ）を行う（ステップＳ１０１）。

次いで、制御装置４は、前処理として、取得した画像の平滑化処理を行い（ステップＳ１０２）、画像の２値化を行い（ステップＳ１０３）、画像の収縮膨張処理を行う（ステップＳ１０４）。収縮膨張処理は、画像を収縮した後に膨張する処理であり、ノイズ画素を有効に取り除くことができる。

次いで、制御装置４は、前処理の終わった画像から光点の抽出を行う（ステップＳ１０５）。光点の抽出は、画像の中で輝度の高い画素群を抽出することにより行う。なお、ペンデバイス１から投光される赤外線光等のみを受光センサ３により撮像するため、プロジェクタ５による投影光による影響は受けない。

次いで、制御装置４は、光点があるか否か判断し（ステップＳ１０６）、ない場合（ステップＳ１０６のｎｏ）は画像キャプチャ（ステップＳ１０１）に戻る。

光点がある場合（ステップＳ１０６のｙｅｓ）、制御装置４は、画像から光点サイズと中心輝度を抽出する（ステップＳ１０７）。

次いで、制御装置４は、抽出した光点サイズと中心輝度を、図１１（ｂ）に示した対応付けテーブルの光点サイズと中心輝度の範囲と比較し、対応するモードを特定して仮決めを行う（ステップＳ１０８）。

次いで、制御装置４は、前回仮決めのものがあるか否か判断し（ステップＳ１０９）、ない場合（ステップＳ１０９のｎｏ）はタイマを生成する（ステップＳ１１０）。タイマの長さは対応付けテーブルでモードに対応して設定された値を用いる。

なお、上記の仮決めおよびタイマの生成に際し、制御装置４は、スクリーン２上の光点の中心の位置に、図１３の左列に示すような図形を表示する。図１３の上段はパンチルトモード、下段は俯瞰モードの場合を示しており、対応付けテーブルで規定された仮決め表示図形の中央に、ドーナツグラフ状のタイマ図形を表示している。このタイマ図形は、タイマのカウントダウンにつれてゲージが頂点から右回り伸びていき、タイムアウトによりゲージがフルに達する。なお、手書きモードについては、対応付けテーブルで仮決め表示図形が規定されておらず、タイマの長さもゼロであるため、仮決め表示図形やタイマ図形の表示は行わず、即座に本決めとなり、本決め表示図形が表示される。

図１２に戻り、前回仮決めのものがある場合（ステップＳ１０９のｙｅｓ）、制御装置４は、続いて、前回と同じ仮決めであるか否か判断し（ステップＳ１１１）、同じでない場合（ステップＳ１１１のｎｏ）はタイマをリセットする（ステップＳ１１２）。

タイマの生成（ステップＳ１１０）の後、タイマのリセット（ステップＳ１１２）の後、または、前回と同じ仮決めである場合（ステップＳ１１１のｙｅｓ）、制御装置４は、タイマをカウントダウンする（ステップＳ１１３）。

次いで、制御装置４は、タイマがタイムアウトしたか否か判断し（ステップＳ１１４）、タイムアウトしていない場合（ステップＳ１１４のｎｏ）は画像キャプチャ（ステップＳ１０１）に戻る。

タイムアウトしている場合（ステップＳ１１４のｙｅｓ）、制御装置４は、モードの本決めを行う（ステップＳ１１５）。この際、制御装置４は、図１３の右列に示すように、タイマ図形を消去し、モード毎の図形を仮決め表示図形から本決め表示図形に変更する。図示の例では、仮決め時は薄い色の図形とし、本決め時は濃い色の図形としている。

図１２に戻り、モードの本決めの後、手書きモードである場合（ステップＳ１１６のｙｅｓ）、対応する調整するパラメータが存在しないため、画像キャプチャ（ステップＳ１０１）に戻る。パンチルトモードの場合（ステップＳ１１７のｙｅｓ）や俯瞰モードである場合（ステップＳ１１８のｙｅｓ）には、対応するパラメータ調整処理に移行する。

図１４はモード毎のパラメータの例を示す図であり、手書きモードについては、上述したように、調整するパラメータはないものとしている。パンチルトモードについては、仮想カメラのパン角度とチルト角度が調整の対象となる。俯瞰モードについては、仮想カメラの前後方向の位置が調整の対象となる。

＜パラメータ調整処理＞
図１５はパンチルトモードにおけるパラメータ調整処理の例を示すフローチャートである。図１５において、モード選択処理の後、パンチルトモードにおけるパラメータ調整処理を開始すると、制御装置４は、受光センサ３の撮像画像から画像取得（画像キャプチャ）を行う（ステップＳ２０１）。

次いで、制御装置４は、前処理として、取得した画像の平滑化処理を行い（ステップＳ２０２）、画像の２値化を行い（ステップＳ２０３）、画像の収縮膨張処理を行う（ステップＳ２０４）。

次いで、制御装置４は、前処理の終わった画像から光点の抽出を行う（ステップＳ２０５）。

次いで、制御装置４は、光点があるか否か判断し（ステップＳ２０６）、ある場合（ステップＳ２０６のｙｅｓ）、制御装置４は、画像から光点中心位置を検出する（ステップＳ２０７）。

次いで、制御装置４は、光点中心位置の移動方向と移動幅を計算し（ステップＳ２０８）、仮想カメラのパンチルト角度を調整（連動）する（ステップＳ２０９）。これにより、画面表示が更新される。そして、画像キャプチャ（ステップＳ２０１）に戻る。

また、光点がない場合（ステップＳ２０６のｎｏ）、モード選択処理開始（図１２）に戻る（ステップＳ２１０）。

図１６は俯瞰モードにおけるパラメータ調整処理の例を示すフローチャートである。図１６において、モード選択処理の後、俯瞰モードにおけるパラメータ調整処理を開始すると、制御装置４は、受光センサ３の撮像画像から画像取得（画像キャプチャ）を行う（ステップＳ２１１）。

次いで、制御装置４は、前処理として、取得した画像の平滑化処理を行い（ステップＳ２１２）、画像の２値化を行い（ステップＳ２１３）、画像の収縮膨張処理を行う（ステップＳ２１４）。

次いで、制御装置４は、前処理の終わった画像から光点の抽出を行う（ステップＳ２１５）。

次いで、制御装置４は、光点があるか否か判断し（ステップＳ２１６）、ある場合（ステップＳ２１６のｙｅｓ）、制御装置４は、画像から光点サイズと中心輝度を抽出する（ステップＳ２１７）。

次いで、制御装置４は、抽出した光点サイズと中心輝度から、ペンデバイス１の近接／離反の推定を行う（ステップＳ２１８）。これは、ＨＭＭ（Hidden Markov Model、隠れマルコフモデル）を用いて行うことができる。

次いで、離反と推定される場合（ステップＳ２１９のｙｅｓ）、制御装置４は、仮想カメラ位置をスクリーン２に近づくように変更する（ステップＳ２２０）。これにより、画面表示が更新される。

また、近接と推定される場合（ステップＳ２２１のｙｅｓ）、制御装置４は、仮想カメラ位置をスクリーン２から遠ざかるように変更する（ステップＳ２２２）。これにより、画面表示が更新される。

仮想カメラ位置の調整（ステップＳ２２０、Ｓ２２２）の後、または、離反とも近接と推定されない場合（ステップＳ２２１のｎｏ）、画像キャプチャ（ステップＳ２１１）に戻る。

＜操作例＞
図１７は手書きモードの例を示す図である。図１７（ａ）は、ユーザがペンデバイス１をスクリーン２に押し当てて点灯させ、描画を開始した状態を示している。この状態では、光点サイズおよび中心輝度から「手書きモード」が選択される。

図１７（ｂ）は、ユーザがペンデバイス１により描画を続けて四角形状の枠を描画した状態を示している。

図１７（ｃ）は、上位アプリの制御により、ユーザが描画した枠をウィンドウ枠として、アプリケーションの画面を表示した状態を示している。

図１８は俯瞰モードの例を示す図（平面表示→俯瞰表示）である。図１８（ａ）は、ユーザがスクリーン２から少し離れたところでペンデバイス１を点灯させて「俯瞰モード」を選択し、ペンデバイス１をスクリーン２に近づけるように移動した状態を示している。これにより、画像は奥に押し出され、図１８（ｂ）に示すような立体的な表示に移行する。なお、俯瞰モードでは、ユーザの目の前のスクリーンだけではなく、左右など立体的に置かれているスクリーンの画面についても、ユーザの目の前のスクリーン上に立体的に表示することができる。

図１８（ｂ）において、ユーザがペンデバイス１の点灯を続けたままペンデバイス１を前方に移動させることにより、仮想カメラの前後位置を遠ざかる方向に調整し、画像は遠方に押し出され、図１８（ｃ）に示すような状態になる。。

図１８（ｃ）において、ユーザがペンデバイス１の点灯を続けたまま更にペンデバイス１を前方に移動させることにより、画像を更に遠方に押し出した図１８（ｄ）の状態となる。図１８（ｄ）では、ユーザはペンデバイス１を消灯し、立体的な表示の奥行きの調整を終了している。

図１９はパンチルトモードの例を示す図である。図１９（ａ）は、ユーザがスクリーン２に触れない程度の距離でペンデバイス１を点灯させて、「パンチルトモード」を選択した状態を示している。

図１９（ｂ）は、ユーザがペンデバイス１の点灯を続けたままペンデバイス１を右方向に移動させることにより、仮想カメラの視点を右方向に調整し、画像を右方向から見た状態に移行させた状態を示している。

図１９（ｃ）は、ユーザがペンデバイス１の点灯を続けたままペンデバイス１を上方向に移動させることにより、仮想カメラの視点を上方向に調整し、画像を上方向から見た状態に移行させた状態を示している。

図２０は俯瞰モードの例を示す図（俯瞰表示→平面表示）である。図２０（ａ）は、ユーザがスクリーン２から少し離れたところでペンデバイス１を点灯させて「俯瞰モード」を選択した状態を示している。

図２０（ｂ）は、ユーザがペンデバイス１の点灯を続けたままペンデバイス１をスクリーン２から遠ざけることにより、画像が手前に引き戻されてくる状態を示している。最終的には、立体的な表示が終了し、図２０（ｃ）のような通常の表示に戻る。

＜ペンデバイスの他の構成例＞
既に図７等において説明したように、ペンデバイス１とスクリーン２の距離が小さい側から所定値（距離＃２）に達するまでは、距離に応じて光点サイズが直線的に大きくなる性質を利用し、光点サイズから距離を判断できるようにしている。また、図３に示したペンデバイス１の構成例では、バッテリ１４からスイッチ１２、１３を介して投光素子１１に直接に電源供給を行っており、赤外線光等の光ビームの発光強度はほぼ一定である。

そのため、スクリーン２との距離が大きい時は反射光は弱く、逆に距離が小さいと反射光は強くなる。特に、距離が小さく反射光が強い時には、スクリーン２を撮像する受光センサ３がハレーションを起こしてしまい、光点が検出できなかったり、実際より大きな光点として認識されてしまう場合がある。受光センサ３側にオート露出機能を装備すれば、受光センサ３に入る光の量をコントロールすることができるが、受光センサ３側の負担が大きくなり、回路が複雑になって高価になったり、ソフトウェア処理が重くなってフレームレートの低下が発生したりしてしまう。

そこで、ここでは、光量を安定化し、受光センサ３側にオート露出機能を装備しなくても、ハレーションを起こすことがなく、光点を正確に検出することのできるペンデバイス１の構成例について説明する。

図２１はペンデバイス１の構成例を示す図である。図２１において、ペンデバイス１は、赤外光発生部１０１と赤外光量検出部１０２と赤外光量調整部１０３とを備えている。赤外光量調整部１０３は、赤外光発生部１０１から投光される光ビームの反射光を赤外光量検出部１０２により受光し、赤外光発生部１０１の光ビームの光量を適切な値に調整する。

図２２はペンデバイス１の具体的な構成例を示す図である。図２２において、ペンデバイス１は、前方に、赤外線ＬＥＤ等の投光素子１１と、フォトトランジスタ等の受光素子１５と、スイッチ１２とが設けられている。ペンデバイス１の側面にはスイッチ１３が設けられている。ペンデバイス１の内部には、バッテリ１４と制御回路基板１６とが設けられている。

図２３はペンデバイス１の回路構成例を示す図である。図２３において、スイッチ１２、１３に相当するスイッチSW1、SW2は並列に接続され、一端はバッテリ１４のプラス極に相当する電源VDDに接続されている。電源VDDの他端とグランド（バッテリ１４のマイナス極に相当）の間には、フォトトランジスタPTrのコレクタ・エミッタ、抵抗R1の直列回路と、コントローラ（マイコン）PICの電源端子・接地端子の回路と、抵抗R4、赤外ＬＥＤ（図中の符号：LED）とトランジスタTrのコレクタ・エミッタの直列回路とが接続されている。

コントローラPICの電源端子・接地端子には、ノイズ除去用のコンデンサCが並列接続されている。また、フォトトランジスタPTrのエミッタは抵抗R2を介してコントローラPICのアナログ入力端子AD0に接続されている。コントローラPICの出力端子GP2は抵抗R3を介してトランジスタTrのベースに接続されている。コントローラPICの出力端子GP2からは、所定のデューティのＰＷＭ（Pulse Width Modulation）の制御信号が出力される。

フォトトランジスタPTrのコレクタ・エミッタ、抵抗R1の直列回路は、赤外光量検出部１０２に相当し、フォトトランジスタPTrで受光した光量を検出し電圧に変換する。コントローラPICの電源端子・接地端子の回路は、赤外光量調整部１０３に相当し、フォトトランジスタPTrで変換された電圧をコントローラPICのアナログ入力端子AD0で受けて、その値に応じてPWMパルスの幅をプログラムで調整し、トランジスタTrに供給する。抵抗R4、赤外ＬＥＤ（符号：LED）とトランジスタTrのコレクタ・エミッタの直列回路は、赤外光発生部１０１に相当し、コントローラPICのPWM出力に応じて赤外ＬＥＤ（符号：LED）に流す電流をＯＮ／ＯＦＦする。

なお、上述した回路例では、フォトトランジスタPTrとコントローラPICにスイッチSW1、SW2を介して電源VDDを与えるようにしているが、別に電源スイッチを設け、スイッチSW1、SW2を経由せずに、フォトトランジスタPTrとコントローラPICに電源VDDを与えるようすることもできる。

図２４はコントローラPICの内部構成例を示す図である。図２４において、コントローラPICは、ＣＰＵ（Central Processing Unit）１７１とクロック発信器１７２とＲＡＭ（Random Access Memory）１７３とフラッシュメモリ１７４と各種タイマ１７５とＡ／Ｄコンバータ１７６とＩ／Ｏポート１７７とを備えている。ＣＰＵ１７１は、フラッシュメモリ１７４に予め格納されたプログラムおよびデータに基づき、ＲＡＭ１７３を作業領域としてプログラムを実行する。クロック発信器１７２は、ＣＰＵ１７１にクロック信号を供給する。各種タイマ１７５は、処理においてタイマが用いられる場合にタイマ機能を提供する。Ａ／Ｄコンバータ１７６は、Ｉ／Ｏポート１７７のうちのアナログ入力端子から入力されるアナログ信号をデジタルデータに変換する。

図２５はコントローラPICの処理例を示すフローチャートである。図２５において、コントローラPICは、電源が投入されて動作を開始すると、光量目標値LtとゲインGをセットする（ステップＳ１１）。

次いで、現在の光量Lcを読み出し（ステップＳ１２）、制御量の計算を行う（ステップＳ１３）。すなわち、コントローラPICは、
Pt: PWM目標duty
Pc: 現在のPWM目標duty
Lt: 光量のAD値の目標
Lc: 現在の光量のAD値
G: フィードバックゲイン
とした場合に、次の制御式、
Pt = Pc + G*(Lt - Lc)
により、PWM目標duty Ptを算出する。

そして、制御目標値にPtをセットし（ステップＳ１４）、現在の光量Lcを読み出し（ステップＳ１２）に戻る。コントローラPICの出力端子GP2には、制御目標値Ptに対応したＰＷＭの制御信号が出力される。

図２６はペンデバイス１の光量調整の説明図である。図２６（ａ）は、ペンデバイス１がスクリーン２からやや離れた位置にある場合を示しており、ユーザがスイッチ１３を押すことにより点灯する。スクリーン２との距離が大きい場合、スクリーン２からの反射光は弱くなるため、光ビームは強くなるように調整される。

図２６（ｂ）は、ペンデバイス１がスクリーン２の近くに接触せずに位置する場合を示しており、ユーザがスイッチ１３を押すことにより点灯する。スクリーン２との距離が小さい場合、スクリーン２からの反射光は強くなるため、光ビームは弱くなるように調整される。

図２６（ｃ）は、ペンデバイス１がスクリーン２に接触している場合を示しており、スイッチ１３を押すことなく、スイッチ１２の圧迫により点灯する。スクリーン２との距離が小さい場合、スクリーン２からの反射光は強くなるため、光ビームは弱くなるように調整される。

＜総括＞
以上説明したように、本実施形態によれば、スクリーンに表示されたコンテンツに対する操作性の向上を図ることができる。

以上、好適な実施の形態により説明した。ここでは特定の具体例を示して説明したが、特許請求の範囲に定義された広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により限定されるものと解釈してはならない。

制御装置４はコンテンツ表示制御装置の一例である。プロジェクタ５はコンテンツの画像を表示する手段の一例である。受光センサ３は反射光を検出する手段の一例である。モード選択部４１はモードを選択する手段の一例である。パラメータ調整部４２はユーザの操作を検出する手段の一例である。画像表示制御部４３は画像の表示を制御する手段の一例である。

以上の説明に関し、更に以下の項を開示する。
（付記１） コンテンツ表示制御装置が、
プロジェクタによりスクリーンにコンテンツの画像を表示し、
手持ちデバイスから前記スクリーンに照射される光ビームの、前記スクリーンによる反射光を検出し、
検出した前記反射光に基づき、前記スクリーンと前記手持ちデバイスの距離に応じて変化する前記反射光の状態に対応付けて設定されたモードを選択し、
前記モードの選択から光ビームが消失するまで、前記反射光の状態からユーザの操作を検出し、
検出した前記操作に基づいて、前記スクリーン上の前記コンテンツの画像の表示を制御する
処理を実行することを特徴とするコンテンツ表示制御方法。
（付記２） 付記１に記載のコンテンツ表示制御方法において、
前記モードを選択する処理は、前記反射光の前記スクリーン上の光点サイズと中心輝度の値の組み合わせに対応付けられたモードを選択する
ことを特徴とするコンテンツ表示制御方法。
（付記３） 付記１または２のいずれか一項に記載のコンテンツ表示制御方法において、
前記モードを選択する処理は、前記反射光に基づいてモードを選択した場合に仮決め状態とし、モード毎に設定された所定の時間にわたりモードに変化がない場合に本決め状態に移行する
ことを特徴とするコンテンツ表示制御方法。
（付記４） 付記３に記載のコンテンツ表示制御方法において、
前記コンテンツ表示制御装置が、
前記光ビームの中心位置を中心として、前記仮決め状態においてモードに応じた仮決め用図形を表示し、前記本決め状態においてモードに応じた本決め用図形を表示する
処理を実行することを特徴とするコンテンツ表示制御方法。
（付記５） 付記１乃至４のいずれか一項に記載のコンテンツ表示制御方法において、
前記モードは、前記距離が短い順に設定される、手書きモード、パンチルトモード、および、俯瞰モードを含む
ことを特徴とするコンテンツ表示制御方法。
（付記６） 付記１乃至５のいずれか一項に記載のコンテンツ表示制御方法において、
前記手持ちデバイスが、
前記スクリーンに光ビームを照射し、
前記スクリーンに照射される光ビームの、前記スクリーンによる反射光を検出し、
前記光ビームを、前記コンテンツ表示制御装置が反射光の状態を検出可能な発光量に制御する
ことを特徴とするコンテンツ表示制御方法。
（付記７） プロジェクタによりスクリーンにコンテンツの画像を表示する手段と、
手持ちデバイスから前記スクリーンに照射される光ビームの、前記スクリーンによる反射光を検出する手段と、
検出した前記反射光に基づき、前記スクリーンと前記手持ちデバイスの距離に応じて変化する前記反射光の状態に対応付けて設定されたモードを選択する手段と、
前記モードの選択から光ビームが消失するまで、前記反射光の状態からユーザの操作を検出する手段と、
検出した前記操作に基づいて、前記スクリーン上の前記コンテンツの画像の表示を制御する手段と
を備えたことを特徴とするコンテンツ表示制御装置。
（付記８） 付記７に記載のコンテンツ表示制御装置において、
前記モードを選択する手段は、前記反射光の前記スクリーン上の光点サイズと中心輝度の値の組み合わせに対応付けられたモードを選択する
ことを特徴とするコンテンツ表示制御装置。
（付記９） 付記７または８のいずれか一項に記載のコンテンツ表示制御装置において、
前記モードを選択する手段は、前記反射光に基づいてモードを選択した場合に仮決め状態とし、モード毎に設定された所定の時間にわたりモードに変化がない場合に本決め状態に移行する
ことを特徴とするコンテンツ表示制御装置。
（付記１０） 付記９に記載のコンテンツ表示制御装置において、
前記光ビームの中心位置を中心として、前記仮決め状態においてモードに応じた仮決め用図形を表示し、前記本決め状態においてモードに応じた本決め用図形を表示する手段
を備えたことを特徴とするコンテンツ表示制御装置。
（付記１１） 付記７乃至１０のいずれか一項に記載のコンテンツ表示制御装置において、
前記モードは、前記距離が短い順に設定される、手書きモード、パンチルトモード、および、俯瞰モードを含む
ことを特徴とするコンテンツ表示制御装置。
（付記１２） 付記７乃至１１のいずれか一項に記載のコンテンツ表示制御装置において、
前記手持ちデバイスは、
前記スクリーンに光ビームを照射し、
前記スクリーンに照射される光ビームの、前記スクリーンによる反射光を検出し、
前記光ビームを、前記コンテンツ表示制御装置が反射光の状態を検出可能な発光量に制御する
ことを特徴とするコンテンツ表示制御装置。
（付記１３） コンピュータに、
プロジェクタによりスクリーンにコンテンツの画像を表示し、
手持ちデバイスから前記スクリーンに照射される光ビームの、前記スクリーンによる反射光を検出し、
検出した前記反射光に基づき、前記スクリーンと前記手持ちデバイスの距離に応じて変化する前記反射光の状態に対応付けて設定されたモードを選択し、
前記モードの選択から光ビームが消失するまで、前記反射光の状態からユーザの操作を検出し、
検出した前記操作に基づいて、前記スクリーン上の前記コンテンツの画像の表示を制御する
処理を実行させるコンテンツ表示制御プログラム。
（付記１４） 付記１３に記載のコンテンツ表示制御プログラムにおいて、
前記モードを選択する処理は、前記反射光の前記スクリーン上の光点サイズと中心輝度の値の組み合わせに対応付けられたモードを選択する
コンテンツ表示制御プログラム。
（付記１５） 付記１３または１４のいずれか一項に記載のコンテンツ表示制御プログラムにおいて、
前記モードを選択する処理は、前記反射光に基づいてモードを選択した場合に仮決め状態とし、モード毎に設定された所定の時間にわたりモードに変化がない場合に本決め状態に移行する
コンテンツ表示制御プログラム。
（付記１６） 付記１５に記載のコンテンツ表示制御プログラムにおいて、
前記コンピュータに、
前記光ビームの中心位置を中心として、前記仮決め状態においてモードに応じた仮決め用図形を表示し、前記本決め状態においてモードに応じた本決め用図形を表示する
処理を実行させるコンテンツ表示制御プログラム。
（付記１７） 付記１３乃至１６のいずれか一項に記載のコンテンツ表示制御プログラムにおいて、
前記モードは、前記距離が短い順に設定される、手書きモード、パンチルトモード、および、俯瞰モードを含む
コンテンツ表示制御プログラム。
（付記１８） 付記１３乃至１７のいずれか一項に記載のコンテンツ表示制御プログラムにおいて、
前記手持ちデバイスは、
前記スクリーンに光ビームを照射し、
前記スクリーンに照射される光ビームの、前記スクリーンによる反射光を検出し、
前記光ビームを、前記コンテンツ表示制御装置が反射光の状態を検出可能な発光量に制御する
コンテンツ表示制御プログラム。

１ ペンデバイス
１１ 投光素子
１２、１３ スイッチ
１４ バッテリ
１５ 受光素子
１６ 制御回路基板
１０１ 赤外光発生部
１０２ 赤外光量検出部
１０３ 赤外光量調整部
２ スクリーン
３ 受光センサ
４ 制御装置
４１ モード選択部
４２ パラメータ調整部
４３ 画像表示制御部
５ プロジェクタ
５１ プロジェクションレンズ
６ 端末装置

Claims (14)

1. コンテンツ表示制御装置が、
   プロジェクタによりスクリーンにコンテンツの画像を表示し、
   手持ちデバイスから前記スクリーンに照射される光ビームの、前記スクリーンによる反射光を検出し、
   検出した前記反射光に基づき、前記スクリーンと前記手持ちデバイスの距離に応じて変化する前記反射光の状態に対応付けて設定されたモードを選択し、
   前記モードの選択から光ビームが消失するまで、前記反射光の状態からユーザの操作を検出し、
   検出した前記操作に基づいて、前記スクリーン上の前記コンテンツの画像の表示を制御する処理を実行し、
   前記モードを選択する処理は、前記反射光の前記スクリーン上の光点サイズと中心輝度の値の組み合わせに対応付けられたモードを選択する
   ことを特徴とするコンテンツ表示制御方法。
2. 請求項１に記載のコンテンツ表示制御方法において、
   前記モードを選択する処理は、前記反射光に基づいてモードを選択した場合に仮決め状態とし、モード毎に設定された所定の時間にわたりモードに変化がない場合に本決め状態に移行する
   ことを特徴とするコンテンツ表示制御方法。
3. 請求項２に記載のコンテンツ表示制御方法において、
   前記コンテンツ表示制御装置が、
   前記光ビームの中心位置を中心として、前記仮決め状態においてモードに応じた仮決め用図形を表示し、前記本決め状態においてモードに応じた本決め用図形を表示する
   処理を実行することを特徴とするコンテンツ表示制御方法。
4. 請求項１乃至３のいずれか一項に記載のコンテンツ表示制御方法において、
   前記モードは、前記距離が短い順に設定される、手書きモード、パンチルトモード、および、俯瞰モードを含む
   ことを特徴とするコンテンツ表示制御方法。
5. 請求項１乃至４のいずれか一項に記載のコンテンツ表示制御方法において、
   前記手持ちデバイスが、
   前記スクリーンに光ビームを照射し、
   前記スクリーンに照射される光ビームの、前記スクリーンによる反射光を検出し、
   前記光ビームを、前記コンテンツ表示制御装置が反射光の状態を検出可能な発光量に制御する
   ことを特徴とするコンテンツ表示制御方法。
6. コンテンツ表示制御装置が、
   プロジェクタによりスクリーンにコンテンツの画像を表示し、
   手持ちデバイスから前記スクリーンに照射される光ビームの、前記スクリーンによる反射光を検出し、
   検出した前記反射光に基づき、前記スクリーンと前記手持ちデバイスの距離に応じて変化する前記反射光の状態に対応付けて設定されたモードを選択し、
   前記モードの選択から光ビームが消失するまで、前記反射光の状態からユーザの操作を検出し、
   検出した前記操作に基づいて、前記スクリーン上の前記コンテンツの画像の表示を制御する処理を実行し、
   前記モードを選択する処理は、前記反射光に基づいてモードを選択した場合に仮決め状態とし、モード毎に設定された所定の時間にわたりモードに変化がない場合に本決め状態に移行する
   ことを特徴とするコンテンツ表示制御方法。
7. 請求項６に記載のコンテンツ表示制御方法において、
   前記コンテンツ表示制御装置が、
   前記光ビームの中心位置を中心として、前記仮決め状態においてモードに応じた仮決め用図形を表示し、前記本決め状態においてモードに応じた本決め用図形を表示する
   処理を実行することを特徴とするコンテンツ表示制御方法。
8. 請求項６または７に記載のコンテンツ表示制御方法において、
   前記モードは、前記距離が短い順に設定される、手書きモード、パンチルトモード、および、俯瞰モードを含む
   ことを特徴とするコンテンツ表示制御方法。
9. 請求項６乃至８のいずれか一項に記載のコンテンツ表示制御方法において、
   前記手持ちデバイスが、
   前記スクリーンに光ビームを照射し、
   前記スクリーンに照射される光ビームの、前記スクリーンによる反射光を検出し、
   前記光ビームを、前記コンテンツ表示制御装置が反射光の状態を検出可能な発光量に制御する
   ことを特徴とするコンテンツ表示制御方法。
10. コンテンツ表示制御装置が、
    プロジェクタによりスクリーンにコンテンツの画像を表示し、
    手持ちデバイスから前記スクリーンに照射される光ビームの、前記スクリーンによる反射光を検出し、
    検出した前記反射光に基づき、前記スクリーンと前記手持ちデバイスの距離に応じて変化する前記反射光の状態に対応付けて設定されたモードを選択し、
    前記モードの選択から光ビームが消失するまで、前記反射光の状態からユーザの操作を検出し、
    検出した前記操作に基づいて、前記スクリーン上の前記コンテンツの画像の表示を制御する処理を実行し、
    前記モードは、前記距離が短い順に設定される、手書きモード、パンチルトモード、および、俯瞰モードを含む
    ことを特徴とするコンテンツ表示制御方法。
11. 請求項１０に記載のコンテンツ表示制御方法において、
    前記手持ちデバイスが、
    前記スクリーンに光ビームを照射し、
    前記スクリーンに照射される光ビームの、前記スクリーンによる反射光を検出し、
    前記光ビームを、前記コンテンツ表示制御装置が反射光の状態を検出可能な発光量に制御する
    ことを特徴とするコンテンツ表示制御方法。
12. コンテンツ表示制御装置が、
    プロジェクタによりスクリーンにコンテンツの画像を表示し、
    手持ちデバイスから前記スクリーンに照射される光ビームの、前記スクリーンによる反射光を検出し、
    検出した前記反射光に基づき、前記スクリーンと前記手持ちデバイスの距離に応じて変化する前記反射光の状態に対応付けて設定されたモードを選択し、
    前記モードの選択から光ビームが消失するまで、前記反射光の状態からユーザの操作を検出し、
    検出した前記操作に基づいて、前記スクリーン上の前記コンテンツの画像の表示を制御する処理を実行し、
    前記手持ちデバイスが、
    前記スクリーンに光ビームを照射し、
    前記スクリーンに照射される光ビームの、前記スクリーンによる反射光を検出し、
    前記光ビームを、前記コンテンツ表示制御装置が反射光の状態を検出可能な発光量に制御する
    ことを特徴とするコンテンツ表示制御方法。
13. プロジェクタによりスクリーンにコンテンツの画像を表示する手段と、
    手持ちデバイスから前記スクリーンに照射される光ビームの、前記スクリーンによる反射光を検出する手段と、
    検出した前記反射光に基づき、前記スクリーンと前記手持ちデバイスの距離に応じて変化する前記反射光の状態に対応付けて設定されたモードを選択する手段と、
    前記モードの選択から光ビームが消失するまで、前記反射光の状態からユーザの操作を検出する手段と、
    検出した前記操作に基づいて、前記スクリーン上の前記コンテンツの画像の表示を制御する手段と
    を備え、
    前記モードを選択する処理は、前記反射光の前記スクリーン上の光点サイズと中心輝度の値の組み合わせに対応付けられたモードを選択する
    ことを特徴とするコンテンツ表示制御装置。
14. コンピュータに、
    プロジェクタによりスクリーンにコンテンツの画像を表示し、
    手持ちデバイスから前記スクリーンに照射される光ビームの、前記スクリーンによる反射光を検出し、
    検出した前記反射光に基づき、前記スクリーンと前記手持ちデバイスの距離に応じて変化する前記反射光の状態に対応付けて設定されたモードを選択し、
    前記モードの選択から光ビームが消失するまで、前記反射光の状態からユーザの操作を検出し、
    検出した前記操作に基づいて、前記スクリーン上の前記コンテンツの画像の表示を制御する処理を実行させ、
    前記モードを選択する処理は、前記反射光の前記スクリーン上の光点サイズと中心輝度の値の組み合わせに対応付けられたモードを選択する
    コンテンツ表示制御プログラム。