JP5625839B2 - プロジェクタ装置、位置検出プログラム及びプロジェクタシステム - Google Patents

Description

本発明は、プロジェクタ装置、位置検出プログラム、画像供給方法及びプロジェクタシステムに関する。

背面投影方式のプロジェクタ装置、いわゆるリアプロジェクションシステム（rear-projection system）が知られている。背面投影方式とは、プロジェクタ装置によって投射される光をスクリーンの背面から観察者が位置するスクリーンの正面に向けて透過させることにより、スクリーンの正面に画面を表示する方式を指す。

また、背面投影方式により表示された画面上でユーザが指定する位置を検出する座標入力機能付プロジェクタ装置がある。この座標入力機能付プロジェクタ装置には、プロジェクタと略同一の位置にスクリーンの背面を撮像するビデオカメラが設けられる。さらに、ビデオカメラのレンズには、スクリーンの表面から裏面に透過する光のうちレーザビームの輝点のみを通過させるフィルタが設けられる。その上で、座標入力機能付プロジェクタ装置では、スクリーン画面上の座標指定にレーザ・ビーム・ポインタなどの座標入力手段を使用させる。これら座標入力手段及びフィルタによって、ビデオカメラは、座標入力手段による輝点だけを含む画像を出力できる。

特開平０５−２３３１４８号公報

しかしながら、上記の従来技術では、ユーザが位置を指定するために余計なハードウェアが必要になるという問題がある。すなわち、上記の座標入力機能付プロジェクタでは、プロジェクタ及びカメラ以外にも、ユーザがスクリーンに向けて光を照射するための座標入力手段が必要になる。さらに、ビデオカメラのレンズには座標入力手段による輝点だけを通過させるフィルタも必要になる。

開示の技術は、上記に鑑みてなされたものであって、簡易な装置構成で画面上のユーザによる指定位置を検出することができるプロジェクタ装置、位置検出プログラム、画像供給方法及びプロジェクタシステムを提供することを目的とする。

本願の開示するプロジェクタ装置は、プロジェクタによって表示用画像が投影される透過型のスクリーンのうち当該表示用画像が投影される投影側の面を撮像する撮像部から、前記スクリーンの投影側の面が撮像された画像を取得する取得部を有する。さらに、前記プロジェクタ装置は、前記取得部によって取得された前記画像において、輝度が変化する位置を検出する検出部を有する。さらに、前記プロジェクタ装置は、前記検出部によって前記画像上で輝度の変化が検出された位置を出力する出力部を有する。

本願の開示するプロジェクタ装置の一つの態様によれば、簡易な装置構成で画面上のユーザによる指定位置を検出することができるという効果を奏する。

図１は、実施例１に係るプロジェクタシステムの外観構成を示す斜視図である。 図２は、実施例１に係るプロジェクタシステムの機能的構成を示すブロック図である。 図３は、スクリーンの正面に表示される画像の一例を示す図である。 図４は、スクリーンの背面に表示される画像の一例を示す図である。 図５は、スクリーンの正面に表示される画像の一例を示す図である。 図６は、スクリーンの背面に表示される画像の一例を示す図である。 図７は、実施例１に係る位置検出処理の手順を示すフローチャートである。 図８は、スクリーンの正面に表示される画像の一例を示す図である。 図９は、スクリーンの背面に表示される画像の一例を示す図である。 図１０は、スクリーンの正面に表示される画像の一例を示す図である。 図１１は、スクリーンの背面に表示される画像の一例を示す図である。 図１２は、適用例１を説明するための説明図である。 図１３は、適用例２を説明するための説明図である。 図１４は、適用例３を説明するための説明図である。 図１５は、実施例１及び実施例２に係る位置検出プログラムを実行するコンピュータの一例について説明するための図である。

以下に、本願の開示するプロジェクタ装置、位置検出プログラム、画像供給方法及びプロジェクタシステムの実施例を図面に基づいて詳細に説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

［プロジェクタ装置の構成］
図１は、実施例１に係るプロジェクタシステムの外観構成を示す斜視図である。図１に示すプロジェクタシステム１０は、プロジェクタ１３によって投射される投影光をスクリーン１１の背面から観察者が位置するスクリーンの正面に向けて透過させることにより、スクリーンの正面に画面を表示する背面投影方式を採用する。

なお、ここでは、スクリーン１１のうち画像が投影される投影側の面、すなわちプロジェクタ１３からスクリーン１１を隔てた反対側に位置するユーザから見てスクリーン１１の背中側に位置する面を「背面」と呼ぶ。また、スクリーン１１のうち投影側の面とは反対側の面、すなわちユーザと正対するスクリーン１１の面を「正面」と呼ぶ。

図１に示すように、プロジェクタシステム１０は、光を透過可能な透過型のスクリーン１１を有する。さらに、プロジェクタシステム１０は、スクリーン１１の背面から正面に向けて表示用画像を投影するプロジェクタ１３を有する。さらに、プロジェクタシステム１０は、スクリーン１１の背面を撮像可能に設けられる撮像部であるカメラ１５を有する。なお、プロジェクタ１３及びカメラ１５は、これらのユニットを制御下に置く後述のコントローラ１７に接続される。

ここで、本実施例に係るプロジェクタシステム１０は、カメラ１５からスクリーン１１の背面が撮像された画像を取得する。以後の説明において、カメラ１５が取得した画像のことを、撮画像と表現する場合がある。そして、本実施例に係るプロジェクタシステム１０は、カメラ１５により取得された画像のうち輝度が変化する位置を検出する。その上で、本実施例に係るプロジェクタシステム１０は、画像上で輝度の変化が検出された位置を出力する。つまり、本実施例に係るプロジェクタシステム１０は、ユーザの指がスクリーン１１で触れた位置ではプロジェクタ１３の投影光の反射量が変化するという事象を利用して、撮画像上で輝度の変化を検出した位置をユーザが画面上で指定した位置として出力する。

これを説明すると、プロジェクタ１３の投影光は、ユーザの指がスクリーン１１に触れていない場合にはスクリーン１１を透過して正面側へ進行する。一方、ユーザの指がスクリーン１１に触れている場合には、スクリーン１１を透過した投影光は、スクリーン１１の正面側に接しているユーザの指で反射してカメラ１５の方向に戻る。このため、カメラ１５により撮像された画像のうち、ユーザの指がスクリーン１１の正面側に触れている位置に相当する領域は、ユーザの指が触れていない場合に撮像された画像上の該領域と比べて投影光の反射量が多くなる。従って、カメラ１５により撮像された画像においてユーザの指が触れた位置に相当する領域の輝度が上がる。よって、画像上で輝度が変化した位置は、スクリーン１１の正面に表示された画面上でユーザによって指定された位置である蓋然性が高いと推定できる。

なお、表示用画像と撮画像との対応付け、即ち、表示用画像上の画素位置（ｘ１，ｙ１）が、撮画像上のどの画素位置に相当するかは、前もって対応付けが記憶されているものとする。この対応付けは、例えば、プロジェクタ１３の投影画角と光軸方向、プロジェクタ１３からスクリーン１１までの距離、カメラ１５の撮影画角と光軸方向、カメラ１５からスクリーン１１までの距離により算出される。また、例えば、撮画像で位置を検出可能なマーカを表示用画像の中に含め、そのようなマーカを含んだ表示用画像をカメラ１５により撮影して得た撮画像の中から、マーカ位置を特定することで、表示用画像のマーカの画素位置が撮画像上のどの画素位置に相当するかを特定することができる。撮画像の中には、表示用画像が投影されているスクリーン１１の背面全体が含まれているものとする。以後の説明では、便宜上、撮画像の全面一杯に表示用画像が投影されているスクリーン１１の背面全体が写されているものとする。

このように、本実施例に係るプロジェクタシステム１０では、カメラ１５によって撮像された撮画像を用いてソフトウェアによる画像処理を実行することにより、ユーザが画面上で指定した位置を出力できる。それゆえ、本実施例に係るプロジェクタシステム１０では、上記の従来技術で述べた座標入力機能付プロジェクタなどのように、レーザビームポインタやフィルタなどのハードウェアを設ける必要はない。また、タッチパネル等で使用される静電容量や電圧の変化を検出するハードウェアも不要である。したがって、本実施例に係るプロジェクタシステム１０によれば、簡易な装置構成で画面上のユーザによる指定位置を検出することが可能になる。

図２は、実施例１に係るプロジェクタシステムの機能的構成を示すブロック図である。図２に示すように、プロジェクタシステム１０は、スクリーン１１と、プロジェクタ１３と、カメラ１５と、コントローラ１７とを有する。なお、図２に示した機能部以外にも既知のコンピュータが有する各種の機能部、例えば各種の入力デバイス、表示デバイスや音声出力デバイスなどの機能を有するものとする。

スクリーン１１は、プロジェクタ１３によって投射された表示用画像を映し出す平面である。かかるスクリーン１１の一例としては、背面から投影される画像が正面に向けて透過散乱されるとともに正面に触れたユーザの指などが背面側から透けて見える半透明の物質、例えば「すりガラス」などを採用できる。なお、スクリーン１１には、投影光の指向性を向上させるために、スクリーン１１及びプロジェクタ１３の距離と同等の焦点距離を持つフレネルレンズをプロジェクタ１３の投影光が入射するスクリーン１１の背面に設けることもできる。

プロジェクタ１３は、表示用画像をスクリーン１１に投影することにより表示するユニットである。かかるプロジェクタ１３がスクリーン１１に投影する表示用画像は、プロジェクタ１３と接続される後述のコントローラ１７によってプロジェクタ１３へ供給される。

かかるプロジェクタ１３の一例としては、携帯電話やＰＨＳ（Personal Handyphone System）などの携帯端末に搭載されるプロジェクタを始め、公知のリアプロジェクションシステムで使用されるプロジェクタを好適に採用できる。なお、プロジェクタ１３は、プロジェクタ１３によって投影される表示用画像がスクリーン１１の所定のスペース、例えばスクリーン全面に投影できる程度にスクリーン１１から隔てて配置されるのが好ましい。

カメラ（camera）１５は、画像を撮像するユニットである。かかるカメラ１５の一例としては、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）が挙げられる。また、かかるカメラ１５の一例として上記のプロジェクタ１３と同様に、携帯端末に搭載されるカメラを採用できる。なお、カメラ１５がスクリーン１１の背面を撮像した画像は、カメラ１５と接続される後述のコントローラ１７に出力される。

ここで、カメラ１５は、スクリーン１１の背面を撮像可能に配置される。一例としては、図１に示すように、カメラ１５は、スクリーン１１に画像を投影するプロジェクタ１３と略同一の位置にカメラ１５の光軸を投影方向に向けて配置される。このとき、プロジェクタ１３及びカメラ１５が連結された携帯端末を使用する場合には、プロジェクタ１３が画像を投影する方向と、カメラ１５が撮像する方向とが合わない場合もある。この場合には、スクリーン１１の背面をカメラ１５の光軸に結像させるためのプリズムをカメラ１５に設けることもできる。

コントローラ１７は、プロジェクタ１３及びカメラ１５を制御するユニットである。コントローラ１７は、ＯＳ実行部１７ａと、アプリ実行部１７ｂと、表示画像記憶部１７ｃと、供給部１７ｄと、取得部１７ｅと、撮画像記憶部１７ｆと、検出部１７ｇと、出力部１７ｈとを有する。なお、以下では、プロジェクタ１３、カメラ１５及びコントローラ１７を有する携帯端末においてユーザがスクリーン１１に表示された画面を操作することにより携帯端末で実行されるアプリケーションに対する指示を行う場合を想定する。

ＯＳ実行部１７ａは、ＯＳ（Operating System）の実行を制御する処理部である。例えば、ＯＳ実行部１７ａは、後述の出力部１７ｈによって取得された画面上の位置からアプリケーションの起動指示やアプリケーションに対するコマンドを検出する。一例としては、ＯＳ実行部１７ａは、ユーザによって指定された画面上の位置がアプリケーションのアイコン上である場合には、そのアイコンに対応するアプリケーションの起動を後述のアプリ実行部１７ｂへ指示する。他の一例としては、ＯＳ実行部１７ａは、ユーザによって指定された画面上の位置が起動中のアプリケーションの操作画面内のコマンドの実行を要求するオブジェクト、例えばボタンやタブにある場合には、そのコマンドの実行をアプリ実行部１７ｂへ指示する。なお、以下では、アプリケーションを「アプリ」と略記する。

アプリ実行部１７ｂは、ＯＳ実行部１７ａによる指示に基づき、アプリの実行を制御する処理部である。一例としては、アプリ実行部１７ｂは、ＯＳ実行部１７ａによりアプリの起動が指示された場合や起動中のアプリにコマンドの実行が指示された場合にアプリを動作させる。その上で、アプリ実行部１７ｂは、図示しないグラフィックドライバ等を介して、アプリを実行することにより得られた処理結果の表示用イメージ（image）を表示用画像として後述の表示画像記憶部１７ｃに登録する。このとき、アプリ実行部１７ｂは、プロジェクタ１３が起動されている場合には、リアプロジェクションの表示に対応するために、表示用画像の左右を反転させた上で反転後の表示用画像を後述の表示画像記憶部１７ｃに登録する。

表示画像記憶部１７ｃは、プロジェクタ１３に表示させる表示用画像を記憶する記憶部である。一例としては、表示画像記憶部１７ｃは、プロジェクタ１３が起動されている場合に、アプリ実行部１７ｂによって表示用画像が更新される度に後述の供給部１７ｄによって参照されるフレームバッファとして機能する。他の一例としては、表示画像記憶部１７ｃは、カメラ１５によって撮像された撮画像との差分を比較することにより撮画像上で輝度が変化した位置を検出するために、後述の検出部１７ｇにも参照される。

なお、表示画像記憶部１７ｃの一態様としては、ＶＲＡＭ（Video Random Access Memory）、ＲＡＭ（Random Access Memory)、ＲＯＭ（Read Only Memory）やフラッシュメモリ（flash memory）などの半導体メモリ素子が挙げられる。なお、表示画像記憶部１７ｃには、ハードディスク、光ディスクなどの記憶装置を採用することとしてもかまわない。

供給部１７ｄは、表示用画像をプロジェクタ１３に供給する処理部である。一例として、供給部１７ｄは、プロジェクタ１３が起動されていることを条件に、アプリ実行部１７ｂによって表示用画像が更新される度に表示画像記憶部１７ｃに記憶された表示用画像をプロジェクタ１３に出力する。なお、ここでは、アプリ実行部１７ｂに表示用画像の左右を反転させる場合を説明したが、供給部１７ｄが表示用画像の左右を反転してプロジェクタ１３に出力することとしてもよい。

取得部１７ｅは、カメラ１５によってスクリーン１１の背面が撮像された撮画像を取得する処理部である。一例としては、取得部１７ｅは、プロジェクタ１３が起動されたことを契機に、カメラ１５を起動する。そして、取得部１７ｅは、プロジェクタ１３の電源をＯＦＦする電源ＯＦＦ操作がアプリ実行部１７ｂによって受け付けられるまで、カメラ１５から画像を取得してその画像を後述の撮画像記憶部１７ｆに登録する。その後、取得部１７ｅは、プロジェクタ１３の電源がＯＦＦされると、カメラ１５の電源もＯＦＦにする。

撮画像記憶部１７ｆは、撮画像を記憶する記憶部である。かかる撮画像記憶部１７ｆには、プロジェクタ１３が起動されている場合に、取得部１７ｅによって取得された撮画像が登録される。なお、ここでは、スクリーン１１の背面が撮像される度、すなわち撮画像のフレームが得られる度に、撮画像が登録される場合を想定する。撮画像記憶部１７ｆに撮画像を登録する頻度は所定のフレーム数につき１回であってもかまわない。

なお、撮画像記憶部１７ｆの一態様としては、ＶＲＡＭ、ＲＡＭ、ＲＯＭやフラッシュメモリなどの半導体メモリ素子が挙げられる。また、撮画像記憶部１７ｆには、ハードディスク、光ディスクなどの記憶装置を採用することとしてもよい。

検出部１７ｇは、撮画像のうち輝度が変化した位置を検出する処理部である。一例としては、検出部１７ｇは、取得部１７ｅによって新たな撮画像が撮画像記憶部１７ｆに登録される度に、撮画像記憶部１７ｆに新たに登録された撮画像と、表示画像記憶部１７ｃに記憶された表示用画像との間で輝度値の差分を検出する。なお、ここで言う「輝度値」とは、各画素の明るさの度合いを示し、例えば「１〜２５６」の数値で表現される。

これを説明すると、検出部１７ｇは、撮画像および表示用画像を所定の大きさのブロックに分割する。例えば、スクリーン１１の背面に投影された表示用画像が撮画像内に写っている大きさと、表示画像記憶部１７ｃに格納されている表示用画像との画像フレームの大きさが同じであった場合、双方の画像を１０ピクセル×１０ピクセルのブロックに分割する。その上で、検出部１７ｇは、撮画像および表示用画像のブロックごとに、ブロック内の各画素における輝度値の差分の合計値が所定の閾値以上であるか否かを判定する。このとき、検出部１７ｇは、輝度値の差分の合計値が閾値以上であるブロックの撮画像上の領域、例えばＸＹ座標を後述の出力部１７ｈに出力する。なお、ここでは、分割するブロックの大きさを１０ピクセル×１０ピクセルとする場合を例示したが、ブロックの大きさは任意に変更できる。例えば、スクリーン１１をタッチする指などの大きさを計測し得る指標、例えば指の横幅や年齢などを設定しておき、設定された指標に応じて任意のブロックの大きさを変更できる。また、所定の閾値としては、実験的にスクリーン１１に指を接触させた場合とさせない場合とでどの程度輝度が変化するかを計測しておき、該計測値の平均を閾値として用いることができる。

このように、検出部１７ｇは、外的要因により輝度の変化を受けない生の画像である表示用画像と、プロジェクタ１３の投影光の反射量が変化するなどの要因により輝度の変化を受ける撮画像との間で輝度値の差分を検出する。かかる検出結果によって、プロジェクタシステム１０では、ユーザが表示用画面が投影されたスクリーン１１に触れたかどうかを判別できる。

これを図３〜図６を用いて説明する。図３及び図５は、スクリーン１１の正面に表示される画像の一例を示す図である。図４及び図６は、スクリーン１１の背面に表示される画像の一例を示す図である。図３及び図４は、ユーザがスクリーン１１に投影された画面上に触れていない時刻Ｔ１におけるスクリーン１１を正面（図３）および背面（図４）から見た様子を指す。また、図５及び図６は、ユーザが画面上に触れている時刻Ｔ２（＞Ｔ１）におけるスクリーン１１を正面（図５）および背面（図６）から見た様子を指す。なお、符号１１ａは、スクリーン１１の正面を指し、符号１１ｂは、スクリーン１１の背面を指すものとする。

時刻Ｔ１の時点では、図３に示すように、プロジェクタ１３によって投影された画像、すなわち３つの英字「Ａ」、「Ｂ」及び「Ｃ」がスクリーンの正面１１ａに表示される。このとき、スクリーンの背面１１ｂには、図４に示すように、スクリーンの正面１１ａに表示される画像の鏡像、すなわち３つの英字「Ａ」、「Ｂ」及び「Ｃ」が左右に反転した画像が表示される。

このように、時刻Ｔ１の時点では、プロジェクタ１３の投影光を遮るものはなく、プロジェクタ１３の投影光は、スクリーンの背面１１ｂからスクリーンの正面１１ａにほとんど透過する。

その後の時刻Ｔ２の時点では、図５に示すように、ユーザの指がスクリーンの正面１１ａに表示された画面上の英字「Ｂ」に触れている。このとき、スクリーンの背面１１ｂから見ると、図６に示すように、ユーザの指が英字「Ｂ」の一部に触れており、英字「Ｂ」のうちユーザの指に触れられている部分では、プロジェクタ１３の投影光の反射量が時刻Ｔ１の時点よりも多くなっていることがわかる。これは、プロジェクタ１３の投影光がスクリーン１１を背面側から正面側へ透過するものの、スクリーン１１の正面に接している指により反射されて背面側へ戻ってくるためである。

このように、ユーザの指がスクリーンの正面１１ａに触れている時刻Ｔ２の時点では、ユーザの指が触れた部分の投影光の反射量が多くなる。このため、カメラ１５によってスクリーンの背面１１ｂが撮像された場合には、撮画像上でユーザの指が触れた英字「Ｂ」の一部の輝度が触れられていない場合よりも高くなる。一方、表示用画像は、ユーザの指が画面に触れようと触れまいと、図４に示した時刻Ｔ１の時点と画像の内容は変わらない。よって、検出部１７ｇでは、ユーザの指が触れた英字「Ｂ」の一部、すなわち図６で丸く囲ったハッチング部分の領域を、輝度が変化した位置として検出できる。

なお、ここでは、撮画像および表示用画像をブロックに分割して輝度の変化を検出する場合を例示したが、これに限定されない。例えば、開示の装置は、撮画像および表示用画像の画素ごとに各画素の輝度値の差分が所定の閾値以上である場合に、その画素の位置を出力部１７ｈに出力することとしてもかまわない。

出力部１７ｈは、撮画像上で輝度の変化が検出された領域の位置に関する情報を出力する処理部である。例えば、出力部１７ｈは、検出部１７ｇによって輝度値の差分の合計値が閾値以上であると検出されたブロックの撮画像上の位置をユーザが画面上で指定した位置としてＯＳ実行部１７ａに出力する。なお、以下では、ユーザがスクリーン１１に投影された画面上で指定した位置を「ユーザ指定位置」と呼ぶ。

ここで、出力部１７ｈは、ブロックが複数存在する場合に、下記に例示する態様を適応的に実施できる。一例としては、出力部１７ｈは、複数存在するブロックのうちブロック間の距離、すなわちブロックとブロックとが離れているブロック数または画素数が所定の距離以内にあるブロック同士を含む矩形または円に合成する。そして、出力部１７ｈは、このようにして合成した矩形または円のうち最も面積が大きい矩形または円の中心位置または重心位置をユーザ指定位置とすることができる。他の一例としては、出力部１７ｈは、検出部１７ｇによって検出された全てのブロックを囲むように多角形や円を形成した領域の中心位置または重心位置をユーザ指定位置とすることもできる。なお、出力部１７ｈは、検出部１７ｇによって画素の位置が検出された場合にも、同様にして、ユーザ指定位置を定めることができる。

なお、図２に示したコントローラ１７に含まれるＯＳ実行部１７ａ、アプリ実行部１７ｂ、供給部１７ｄ、取得部１７ｅ、検出部１７ｇ及び出力部１７ｈには、各種の集積回路や電子回路を採用できる。また、コントローラ１７に含まれる機能部の一部を別の集積回路や電子回路とすることもできる。例えば、集積回路としては、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）が挙げられる。また、電子回路としては、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などが挙げられる。

［処理の流れ］
続いて、本実施例に係る処理の流れについて説明する。図７は、実施例１に係る位置検出処理の手順を示すフローチャートである。この位置検出処理は、プロジェクタ１３が起動された場合に開始される処理であり、プロジェクタ１３の電源がＯＦＦにされるまで再帰的に繰り返してコントローラ１７により実行される。

図７に示すように、プロジェクタ１３が起動されると（ステップＳ１０１）、取得部１７ｅは、カメラ１５を起動して、スクリーン１１の背面の撮像を開始させる（ステップＳ１０２）。

そして、検出部１７ｇは、取得部１７ｅによって新たに登録された撮画像を撮画像記憶部１７ｆから取得する（ステップＳ１０３）。続いて、検出部１７ｇは、表示画像記憶部１７ｃに記憶された表示用画像を取得する（ステップＳ１０４）。

ここで、検出部１７ｇは、撮画像記憶部１７ｆに新たに登録された撮画像と、表示画像記憶部１７ｃに記憶された表示用画像との間の、互いに対応する領域間で輝度値の差分を検出する（ステップＳ１０５）。なお、撮画像及び表示用画像の間で輝度値の差分が検出されなかった場合（ステップＳ１０５否定）には、ユーザによって画面操作が行われていないので、上記のステップＳ１０３の処理に戻る。

このとき、撮画像及び表示画像の間で輝度値の差分が検出された場合（ステップＳ１０５肯定）には、出力部１７ｈは、輝度値の差分が検出された撮画像上の位置をユーザ指定位置としてＯＳ実行部１７ａに出力する（ステップＳ１０６）。そして、ＯＳ実行部１７ａは、ユーザ指定位置に対応する操作がプロジェクタ１３の電源ＯＦＦ操作であるか否かを判定する（ステップＳ１０７）。

そして、プロジェクタ１３の電源ＯＦＦ操作でなければ（ステップＳ１０７否定）、アプリ実行部１７ｂは、操作に対応する処理を実行し（ステップＳ１０８）、上記のステップＳ１０３〜ステップＳ１０７までの処理を繰り返し実行する。なお、プロジェクタ１３の電源ＯＦＦ操作であるならば（ステップＳ１０７肯定）、カメラ１５の電源をＯＦＦにして処理を終了する。

［実施例１の効果］
上述してきたように、本実施例に係るプロジェクタシステム１０は、カメラ１５からスクリーン１１の背面が撮像された撮画像を取得する。そして、本実施例に係るプロジェクタシステム１０は、撮画像のうち輝度が変化する位置を検出する。その上で、本実施例に係るプロジェクタシステム１０は、撮画像上で輝度の変化が検出された位置を出力する。

このため、本実施例に係るプロジェクタシステム１０では、カメラ１５によって撮像された撮画像を用いてソフトウェアによる画像処理を実行することにより、ユーザが画面上にタッチして指定した位置を出力できる。それゆえ、本実施例に係るプロジェクタシステム１０では、上記の従来技術で述べた座標入力機能付プロジェクタなどのように、レーザビームポインタやフィルタなどのハードウェアを設ける必要はない。また、タッチパネル等で使用される静電容量や電圧の変化を検出するハードウェアも不要である。したがって、本実施例に係るプロジェクタシステム１０によれば、簡易な装置構成で画面上のユーザによる指定位置を検出することが可能になる。

さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。

［輝度変化の検出方法］
上記の実施例１では、撮画像および表示用画像の間で輝度値の差分があるか否かによって撮画像上で輝度が変化した位置を検出する場合を例示したが、開示の装置はこれに限定されない。例えば、開示の装置は、撮画像の時間変化、すなわち撮画像のフレーム間の差分があるか否かによって撮画像上で輝度が変化した位置を検出するようにしてもよい。

これを説明すると、検出部１７ｇは、新たな撮画像が撮画像記憶部１７ｆに登録される度に、今回新たに登録された撮画像と、それよりも前に撮画像記憶部１７ｆに登録されている撮画像、例えば１つ前のフレームとの輝度値の差分があるか否かを判定する。このようにしてフレーム間の差分を検出する場合にも、撮画像および表示画像の間で輝度値の差分を検出する場合と同様に、各々の撮画像をブロックに分割して差分の有無を判定することにより、撮画像上で輝度が変化した位置を検出できる。このようにして撮画像のフレーム間の差分の有無をブロックごとに判定することにより、輝度の変化が検出されたブロックの位置をユーザ指定位置として出力することもできる。実施例１と同様に、所定の閾値としては、実験的にスクリーン１１に指を接触させた時に撮影されたフレームと接触させない時に撮影されたフレームとでどの程度輝度が変化するかを計測しておき、該計測値の平均を閾値として用いることができる。

また、ここでは、現フレームとその直前のフレームとの間で輝度値の差分がある場合にそのブロックの位置を直ちにユーザ指定位置として出力する例を説明したが、これに限定されない。一例としては、撮画像のフレーム間の差分が所定の期間、例えば１秒間にわたって継続して検出された場合にそのブロックの位置をユーザ指定位置として出力するようにしてもよい。これによって、外光などにより突発的にフレーム間で輝度値の差分が検出された場合にその位置をユーザ指定位置と誤判定することを防止できる。

［ゲル層］
また、開示のシステムでは、スクリーン１１の正面に柔軟性及び透過性を持つゲル層を設けておき、輝度が変化する領域の中心の位置を検出することもできる。すなわち、スクリーン１１の正面にゲル層を設けた場合には、ユーザによってゲル層が押下されるとその部分が撓んで凹む。この場合には、ユーザの指でプロジェクタ１３の投影光が反射して撮画像の輝度が変化する場合とは異なり、撮画像にはユーザの指によって押下されたゲル層の部分に歪みが映る。このようにして撮画像に映った歪みを輝度の変化として検出することもできる。

これを図８〜図１１を用いて説明する。図８及び図１０は、スクリーン１１の正面に表示される画像の一例を示す図である。図９及び図１１は、スクリーン１１の背面に表示される画像の一例を示す図である。図８及び図９は、ユーザが画面上に触れていない時刻Ｔ１におけるスクリーン１１を正面（図８）および背面（図９）から見た様子を指す。また、図１０及び図１１は、ユーザが画面上に触れている時刻Ｔ２（＞Ｔ１）におけるスクリーン１１を正面（図１０）および背面（図１１）から見た様子を指す。なお、符号１１ａは、スクリーン１１の正面を指し、符号１１ｂは、スクリーン１１の背面を指し、また、符号１２は、スクリーン１１の正面側に設けられたゲル層を指すものとする。

時刻Ｔ１の時点では、図８に示すように、プロジェクタ１３によって投影された表示用画像、すなわち３つの英字「Ａ」、「Ｂ」及び「Ｃ」がスクリーンの正面１１ａに表示される。このとき、スクリーンの背面１１ｂには、図９に示すように、スクリーンの正面１１ａに表示される画像の鏡像、すなわち３つの英字「Ａ」、「Ｂ」及び「Ｃ」が左右に反転した画像が表示される。

このように、時刻Ｔ１の時点では、ゲル層１２に変形がなく、プロジェクタ１３の投影光がスクリーンの背面１１ｂからスクリーンの正面１１ａにほとんど透過する。

その後の時刻Ｔ２の時点では、図１０に示すように、スクリーンの正面１１ａに貼り合わせられたゲル層１２のうち画面上の英字「Ｂ」が表示された部分がユーザの指により押下されている。このとき、スクリーンの背面１１ｂから見ると、図１１に示すように、ユーザの指が触れている英字「Ｂ」の一部を囲むようにゲル層１２が撓んで凹んでいる。このため、英字「Ｂ」のうちユーザの指で押下されている部分では、ゲル層１２が撓む前と比べてプロジェクタ１３の投影光の反射量が時刻Ｔ１の時点よりも変化していることがわかる。

このように、時刻Ｔ２の時点では、ユーザの指がゲル層１２を押下した場合には、ゲル層１２が撓んで変形することにより、ユーザの指が触れた部分の投影光の反射量が変化する。このため、カメラ１５によってスクリーンの背面１１ｂが撮像された場合には、撮画像上でユーザの指が触れた英字「Ｂ」の一部が歪み、その部分の輝度が押下される前とは変化する。一方、表示用画像は、ユーザの指がゲル層１２を押下していようと押下していまいと、図４に示した時刻Ｔ１の時点と画像の内容は変わらない。よって、検出部１７ｇでは、ユーザの指がゲル層１２を押下した英字「Ｂ」の一部、すなわち図１１で丸く囲ったハッチング部分の輝度が変化した位置を検出できる。

なお、輝度の変化の検出の仕方については、既に述べたいくつかの方法を適用することができる。例えば、実施例１のように、検出部１７ｇが、撮画像および表示用画像を所定の大きさのブロックに分割して、該ブロック毎に輝度値の差分の合計値が所定の閾値以上ある場合に変化したと判定しても良い。また、実施例２のように、カメラ１５が撮影したフレーム間の輝度の差分が所定の閾値以上ある場合に変化したと判定しても良い。

かかるゲル層１２は、外力が加わって始めて変形するので、外光などにより撮画像の輝度が部分的に高くなったとしても撮画像に歪みは生じない。このため、撮画像の歪みに伴って発生する輝度の変化を検出することにより、外光などに起因して発生する撮画像上の輝度の変化をユーザによる操作として誤判定するのを防止できる。

［画像供給方法］
上記の実施例１では、コントローラ１７に搭載されるアプリがプロジェクタ１３に表示させる画像を供給する場合を例示したが、画像の供給元は如何なる装置であってもかまわない。一例としては、プロジェクタシステム１０とネットワークを介して接続されるサーバ装置がプロジェクタ１３に表示画像を供給させるようにしてもよい。この場合には、サーバ装置は、プロジェクタシステム１０から撮画像上で輝度の変化が検出された位置を受信し、受信した撮画像上の位置に応じて、プロジェクタシステム１０に表示対象とする画像を供給するように構成すればよい。

例えば、検出部１７ｇが表示用画像の「Ｂ」に対応する位置を検出し、出力部１７ｈが該位置をサーバ装置へ出力したとする。その場合には、サーバ装置は「Ｂ」がユーザにより選択されたことに応じて、次に出力すべき他の表示用画像をサーバ装置の記憶部から読み出し、該他の表示用画像をネットワークを介してアプリ実行部１７ｂへ通知する。

［適用例１］
上記の実施例１では、スクリーン１１とプロジェクタ１３とカメラ１５との間が解放されている場合を例示したが、開示の装置はこれに限定されない。例えば、開示の装置では、外光を遮断する暗箱によりスクリーン１１の背面とプロジェクタ１３及びカメラ１５を覆うこととしてもかまわない。

図１２は、適用例１を説明するための図である。図１２に示すように、プロジェクタ装置２０では、内面を黒く塗りつぶすことにより外光を遮断した暗箱２１を設ける。その上で、プロジェクタ装置２０では、プロジェクタ１３及びカメラ１５を暗箱２１内に収納して配置するとともに暗箱２１の一面にスクリーン１１を配置する。

このような構成の下、プロジェクタ１３がスクリーン１１に画像を投影した場合には、プロジェクタ１３やスクリーン１１に照射される外光の影響を抑制できる。例えば、本適用例に係るプロジェクタ装置２０によれば、スクリーン１１の正面に表示される画像、すなわちユーザに見える画像およびカメラ１５によって撮像される撮画像のコントラストを向上させることができる。一例として、４０００ルクス程度の明るい環境下では、暗箱２１を使用しない場合にはコントラスト（白色輝度÷黒色輝度）が４程度まで低下するが、暗箱２１を使用した場合には８程度までコントラストを向上させることができる。また、本適用例に係るプロジェクタ装置２０によれば、プロジェクタ装置２０の周囲環境の明るさの変動によってコントラストが変化するのも抑制できる。

［適用例２］
上記の適用例１では、暗箱２１を使用する例を説明したが、以下に、暗箱２１のサイズを小型化する場合について説明する。図１３は、適用例２を説明するための図である。図１３に示すように、プロジェクタシステム３０では、暗箱３１を設けるにあたってプロジェクタ１３からスクリーン１１までの光路をミラー３２を用いて折り返す。ミラー３２により、スクリーン１１の背面からカメラ１５に至る光路も、折り返されることになる。これによって、本適用例に係るプロジェクタシステム３０では、暗箱３１を小型化することができるので、装置の携帯性を向上させることができる。さらに、プロジェクタシステム３０では、スクリーン１１の正面側からプロジェクタ１３及びカメラ１５を暗箱３１に装着させる構造とした。このため、本適用例に係るプロジェクタシステム３０では、プロジェクタ１３及びカメラ１５を暗箱３１に取り付けるにあたっての操作性を向上させることもできる。プロジェクタ１３及びカメラ１５は常に暗箱３１に取り付けられている必要は無く、着脱可能であって構わない。即ち、スクリーン１１に表示用画像を投影すべきタイミングのみ取り付けられていれば構わない。

なお、図１３においては、暗箱２１内がミラー３２を１枚だけ有する例を示しているが、ミラー３２の枚数はこれに限るものではない。ミラー３２の枚数を増やし、プロジェクタ１３からスクリーン１１までの光路をさらに折り返すことにより、暗箱２１をさらに小型化させることが可能になる。

［適用例３］
上記の適用例２では、プロジェクタ１３、カメラ１５及びコントローラ１７をそれぞれ別のユニットとして構成する場合を例示したが、本応用例では、これら３つのユニットを統合して１つのユニットとして構成する場合について説明する。図１４は、適用例３を説明するための図である。図１４に示すように、プロジェクタシステム４０では、暗箱４１及びミラー４２を設ける点は上記の適用例２と共通し、プロジェクタ１３、カメラ１５及びコントローラ１７を１つの一体型ユニット４３として構成した点が異なる。これによって、本適用例に係るプロジェクタシステム４０では、更なる装置の小型化を実現することが可能になる。本適用例においても、適用例２と同様に、一体型ユニット４３は常に暗箱４１に取り付けられている必要は無く、着脱可能であって構わない。即ち、スクリーン１１に表示用画像を投影すべきタイミングのみ取り付けられていれば構わない。

［その他］
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、取得部１７ｅ、検出部１７ｇ又は出力部１７ｈをプロジェクタ装置の外部装置としてネットワーク経由で接続するようにしてもよい。また、取得部１７ｅ、検出部１７ｇ又は出力部１７ｈを別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記のプロジェクタ装置の機能を実現するようにしてもよい。また、各記憶部に記憶される表示画像、撮画像の全部または一部を別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記のプロジェクタ装置の機能を実現するようにしてもかまわない。

［位置検出プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１５を用いて、上記の実施例と同様の機能を有する位置検出プログラムを実行するコンピュータの一例について説明する。

図１５は、実施例１及び実施例２に係る位置検出プログラムを実行するコンピュータの一例について説明するための図である。図１５に示すように、実施例２におけるコンピュータ１００は、操作部１１０ａと、プロジェクタ１１０ｂと、カメラ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ（Hard Disk Drive）１７０と、ＲＡＭ（Random Access Memory）１８０と有する。これら１１０〜１８０の各部はバス１４０を介して接続される。

ＨＤＤ１７０には、図１５に示すように、上記の実施例１で示した取得部１７ｅ、検出部１７ｇ及び出力部１７ｈと同様の機能を発揮する位置検出プログラム１７０ａが予め記憶される。この位置検出プログラム１７０ａについては、図２に示した取得部１７ｅ、検出部１７ｇ及び出力部１７ｈの各構成要素と同様、適宜統合又は分離しても良い。すなわち、ＨＤＤ１７０に格納される各データは、常に全てのデータがＨＤＤ１７０に格納される必要はなく、処理に必要なデータのみがＨＤＤ１７０に格納されれば良い。

そして、ＣＰＵ１５０が、位置検出プログラム１７０ａをＨＤＤ１７０から読み出してＲＡＭ１８０に展開する。これにより、図１５に示すように、位置検出プログラム１７０ａは、位置検出プロセス１８０ａとして機能する。この位置検出プロセス１８０ａは、ＨＤＤ１７０から読み出した各種データを適宜ＲＡＭ１８０上の自身に割り当てられた領域に展開し、この展開した各種データに基づいて各種処理を実行する。なお、位置検出プロセス１８０ａは、例えば、図２に示した取得部１７ｅ、検出部１７ｇ及び出力部１７ｈにて実行される処理、例えば図７に示す処理を含む。また、図示していないが、ＣＰＵ１５０が図２に示したＯＳ実行部１７ａ、アプリ実行部１７ｂ又は供給部１７ｄに対応するプログラムをＨＤＤ１７０から読み出してＲＡＭ１８０に展開することにより、ＯＳ実行部１７ａ、アプリ実行部１７ｂ又は供給部１７ｄに対応する処理を実行するプロセスが立ち上げられる。また、図２に示した表示画像記憶部１７ｃ及び撮画像記憶部１７ｆに記憶された各種のデータは、位置検出プログラム１７０ａによってＨＤＤ１７０やＲＡＭ１８０に格納されたり、ＨＤＤ１７０やＲＡＭ１８０から読み出されて使用される。なお、ＣＰＵ１５０上で仮想的に実現される各処理部は、常に全ての処理部がＣＰＵ１５０上で動作する必要はなく、処理に必要な処理部のみが仮想的に実現されれば良い。

なお、上記の位置検出プログラムについては、必ずしも最初からＨＤＤ１７０やＲＯＭ１６０に記憶させておく必要はない。例えば、コンピュータ１００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ１００がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１００に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ１００がこれらから各プログラムを取得して実行するようにしてもよい。

以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）プロジェクタによって表示用画像が投影される透過型のスクリーンのうち当該表示用画像が投影される投影側の面を撮像する撮像部から、前記スクリーンの投影側の面が撮像された画像を取得する取得部と、
前記取得部によって取得された前記画像において、輝度が変化する位置を検出する検出部と、
前記検出部によって前記画像上で輝度の変化が検出された位置を出力する出力部と
を有することを特徴とするプロジェクタ装置。

（付記２）前記スクリーンには、投影側の面とは反対側の面にゲル層が設けられており、
前記検出部は、前記輝度が変化する領域の中心の位置を検出することを特徴とする付記１記載のプロジェクタ装置。

（付記３）前記検出部は、前記表示用画像と前記画像とで対応する位置で輝度の差分が所定以上ある領域、もしくは、前記画像内の輝度が前記撮像部により撮像された時間に応じて所定以上変化する領域を前記位置として検出することを特徴とする付記１記載のプロジェクタ装置。

（付記４）コンピュータに、
プロジェクタによって表示用画像が投影される透過型のスクリーンのうち当該表示用画像が投影される投影側の面を撮像する撮像部から、前記スクリーンの投影側の面が撮像された画像を取得し、
前記画像のうち輝度が変化する位置を検出し、
前記画像上で輝度の変化が検出された位置を出力する処理
を実行させることを特徴とする位置検出プログラム。

（付記５）前記スクリーンには、投影側の面とは反対側の面にゲル層が設けられており、
前記輝度が変化する位置を検出する処理として、前記輝度が変化する領域の中心の位置を検出する処理を実行させることを特徴とする付記４記載の位置検出プログラム。

（付記６）前記位置を検出する処理は、前記表示用画像と前記画像とで対応する位置で輝度の差分が所定以上ある領域、もしくは、前記画像内の輝度が前記撮像部により撮像された時間に応じて所定以上変化する領域を前記位置として検出することを特徴とする付記４記載の位置検出プログラム。

（付記７）プロジェクタ装置とネットワークで接続されたサーバ装置による画像供給方法であって、
前記サーバ装置は、
前記プロジェクタ装置により、表示用画像が投影される透過型のスクリーンのうち当該表示用画像が投影される投影側の面が撮像され、撮像された画像上で輝度の変化が検出された位置を受信し、
受信した撮画像上の位置に応じて、前記プロジェクタ装置に表示対象とする画像を供給する処理
を実行することを特徴とする画像供給方法。

（付記８）表示用画像が投影される透過型のスクリーンと、
前記表示用画像を投影するプロジェクタと、
前記スクリーンのうち前記表示用画像が投影される投影側の面を撮像する撮像部と、
前記撮像部により撮像された画像を取得する取得部と、
前記取得部によって取得された前記画像において、輝度が変化する位置を検出する検出部と、
前記検出部によって前記画像上で輝度の変化が検出された位置を出力する出力部と
を有することを特徴とするプロジェクタシステム。

（付記９）表示用画像が投影される透過型のスクリーンに該表示用画像を投影するプロジェクタと、
前記スクリーンのうち前記表示用画像が投影される投影側の面を撮像する撮像部と、
前記撮像部により撮像された画像を取得する取得部と、
前記取得部によって取得された前記画像において、輝度が変化する位置を検出する検出部と、
前記検出部によって前記画像上で輝度の変化が検出された位置を出力する出力部と
を有することを特徴とするプロジェクタ装置。

１０ プロジェクタシステム
１１ スクリーン
１３ プロジェクタ
１５ カメラ
１７ コントローラ
１７ａ ＯＳ実行部
１７ｂ アプリ実行部
１７ｃ 表示画像記憶部
１７ｄ 供給部
１７ｅ 取得部
１７ｆ 撮画像記憶部
１７ｇ 検出部
１７ｈ 出力部

Claims (5)

1. プロジェクタによって表示用画像が投影される透過型のスクリーンであって当該表示用画像が投影される投影側の面とは反対側の面にゲル層が設けられたスクリーンのうち前記投影側の面を撮像する撮像部から、前記スクリーンの投影側の面が撮像された画像を取得する取得部と、
   前記取得部によって取得された前記画像において、輝度が変化する領域の中心の位置を検出する検出部と、
   前記検出部によって検出された前記領域の中心の位置を出力する出力部と
   を有することを特徴とするプロジェクタ装置。
2. 前記検出部は、前記表示用画像と前記画像とで対応する位置で輝度の差分が所定以上ある領域、もしくは、前記画像内の輝度が前記撮像部により撮像された時間に応じて所定以上変化する領域を前記位置として検出することを特徴とする請求項１記載のプロジェクタ装置。
3. コンピュータに、
   プロジェクタによって表示用画像が投影される透過型のスクリーンであって当該表示用画像が投影される投影側の面とは反対側の面にゲル層が設けられたスクリーンのうち前記投影側の面を撮像する撮像部から、前記スクリーンの投影側の面が撮像された画像を取得し、
   前記画像のうち輝度が変化する領域の中心の位置を検出し、
   検出された前記領域の中心の位置を出力する処理
   を実行させることを特徴とする位置検出プログラム。
4. 表示用画像が投影される透過型のスクリーンであって当該表示用画像が投影される投影側の面とは反対側の面にゲル層が設けられたスクリーンと、
   前記表示用画像を投影するプロジェクタと、
   前記スクリーンのうち前記表示用画像が投影される投影側の面を撮像する撮像部と、
   前記撮像部により撮像された画像を取得する取得部と、
   前記取得部によって取得された前記画像において、輝度が変化する領域の中心の位置を検出する検出部と、
   前記検出部によって検出された前記領域の中心の位置を出力する出力部と
   を有することを特徴とするプロジェクタシステム。
5. 表示用画像が投影される透過型のスクリーンであって当該表示用画像が投影される投影側の面とは反対側の面にゲル層が設けられたスクリーンに該表示用画像を投影するプロジェクタと、
   前記スクリーンのうち前記表示用画像が投影される投影側の面を撮像する撮像部と、
   前記撮像部により撮像された画像を取得する取得部と、
   前記取得部によって取得された前記画像において、輝度が変化する領域の中心の位置を検出する検出部と、
   前記検出部によって検出された前記領域の中心の位置を出力する出力部と
   を有することを特徴とするプロジェクタ装置。

Images