JP7188176B2 - プロジェクター、画像表示システム及び画像表示システムの制御方法 - Google Patents

Description

本発明は、プロジェクター、画像表示システム及び画像表示システムの制御方法に関する。

画像が投写される投写面をカメラで撮像し、投写面上を指示する指示体の指示位置を検出可能なプロジェクターが知られている。特許文献１には、撮像された撮像画像上の位置から、投写した投写画像上の位置を導くために必要な初期処理の１つとして、投写画像上の位置と、撮像画像上の位置とを対応付けるキャリブレーションを行うことが記載されている。キャリブレーションには、ユーザーの操作を必要としないオートキャリブレーションと、ユーザーの操作を要するマニュアルキャリブレーションとがあり、特許文献１に記載のプロジェクターは、いずれかのキャリブレーションを実行した後に、投写面までの距離を測定する処理を実行する。測定された距離は、指示位置の補正や、指示位置の検出条件の調整等に利用され得る。

特開２０１５－１５８８９０号公報

しかしながら、特許文献１に記載のプロジェクターは、キャリブレーションとは独立して投写面までの距離を測定する処理を実行することから、初期処理に時間を要してしまうという問題を有している。

本願のプロジェクターは、指示体による指示位置を検出するプロジェクターであって、投写面に投写画像を投写する投写部と、前記投写面を撮像して撮像画像を生成する撮像部と、前記投写部に前記投写画像としてキャリブレーション画像を投写させるとともに、投写された前記キャリブレーション画像を前記撮像部に撮像させる制御部と、前記キャリブレーション画像を前記撮像部が撮像して生成した前記撮像画像に基づいて、前記撮像画像上の位置を前記投写画像上の位置に変換するための変換情報を算出する演算部と、前記投写面上を指示する前記指示体を前記撮像部が撮像して生成した前記撮像画像と、前記演算部で算出された前記変換情報とに基づいて、前記投写画像上における前記指示位置を検出する検出部と、を備え、前記演算部は、前記キャリブレーション画像を前記撮像部が撮像して生成した前記撮像画像に基づいて、前記プロジェクターと前記投写面との距離である投写距離を算出することを特徴とする。

上記のプロジェクターにおいて、前記検出部は、検出した前記指示位置を、算出された前記投写距離を用いて補正してもよい。

上記のプロジェクターにおいて、前記検出部により前記投写距離を用いて補正された前記指示位置の軌跡に基づいて描画画像を生成する描画部と、前記描画部で生成された前記描画画像を前記投写画像に合成する合成部と、をさらに備えてもよい。

本願の画像表示システムは、指示体による指示位置を検出する画像表示システムであって、投写面に投写画像を投写する投写部と、前記投写面を撮像して撮像画像を生成する撮像部と、前記投写部に前記投写画像としてキャリブレーション画像を投写させるとともに、投写された前記キャリブレーション画像を前記撮像部に撮像させる制御部と、前記キャリブレーション画像を前記撮像部が撮像して生成した前記撮像画像に基づいて、前記撮像画像上の位置を前記投写画像上の位置に変換するための変換情報を算出する演算部と、前記投写面上を指示する前記指示体を前記撮像部が撮像して生成した前記撮像画像と、前記演算部で算出された前記変換情報とに基づいて、前記投写画像上における前記指示位置を検出する検出部と、を備え、前記演算部は、前記キャリブレーション画像を前記撮像部が撮像して生成した前記撮像画像に基づいて、前記投写部と前記投写面との距離である投写距離を算出することを特徴とする。

上記の画像表示システムにおいて、前記検出部は、検出した前記指示位置を、算出された前記投写距離を用いて補正してもよい。

上記の画像表示システムにおいて、前記検出部により前記投写距離を用いて補正された前記指示位置の軌跡に基づいて描画画像を生成する描画部と、前記描画部で生成された前記描画画像を前記投写画像に合成する合成部と、をさらに備えてもよい。

本願の画像表示システムの制御方法は、投写面に投写画像を投写する投写部と、前記投写面を撮像して撮像画像を生成する撮像部と、を有し、前記投写面上を指示する指示体の指示位置を検出する画像表示システムの制御方法であって、前記投写部に前記投写画像としてキャリブレーション画像を投写させ、投写された前記キャリブレーション画像を前記撮像部に撮像させ、前記キャリブレーション画像を前記撮像部が撮像して生成した前記撮像画像に基づいて、前記撮像画像上の位置を前記投写画像上の位置に変換するための変換情報を算出し、前記投写面上を指示する前記指示体を前記撮像部が撮像して生成した前記撮像画像と、算出された前記変換情報とに基づいて、前記投写画像上における前記指示位置を検出し、前記キャリブレーション画像を前記撮像部が撮像して生成した前記撮像画像に基づいて、前記投写部と前記投写面との距離である投写距離を算出することを特徴とする。

上記の画像表示システムの制御方法において、検出した前記指示位置を、算出された前記投写距離を用いて補正してもよい。

上記の画像表示システムの制御方法において、前記投写距離を用いて補正された前記指示位置の軌跡に基づいて描画画像を生成し、生成された前記描画画像を前記投写画像に合成してもよい。

画像表示システムを示す斜視図。 プロジェクターの概略構成を示すブロック図。 プロジェクターが備える画像投写部の概略構成を示すブロック図。 検出部の概略構成を示す機能ブロック図。 指示位置の検出誤差の補正を説明するための説明図。 演算部の概略構成を示す機能ブロック図。 キャリブレーション画像の一例を示す説明図。 キャリブレーション画像を撮像した場合の撮像画像を示す図。 投写距離の算出を説明するための説明図。 キャリブレーションを行う際の制御部の動作を示すフローチャート。

以下、本実施形態の画像表示システムについて、図面を参照して説明する。
図１は、本実施形態の画像表示システム１００を示す斜視図である。

図１に示すように、画像表示システム１００は、プロジェクター１と、指示体としての発光ペン２とを備えている。プロジェクター１は、外部から入力される画像情報、又は内部に記憶されている画像情報に基づいて投写画像Ｉｐを形成し、表示面としての投写面Ｓｐに投写して表示する。本実施形態のプロジェクター１は、固定部材Ｔを介して壁面に固定されており、同じ壁面に沿って配置されている投写面Ｓｐに向けて投写画像Ｉｐを投写する。投写面Ｓｐとしては、例えば、矩形の表示領域を有するスクリーンやホワイトボード等を用いることができるが、壁面自体に投写画像Ｉｐを投写する態様であってもよい。プロジェクター１と投写面Ｓｐとの距離は、固定部材Ｔによって調整が可能になっており、プロジェクター１を投写面Ｓｐから離すほど、投写画像Ｉｐは大きく表示される。

発光ペン２は、赤外光を発する発光部２ａを先端部に備えるとともに、先端部による投写面Ｓｐへの押圧、即ち投写面Ｓｐへのタッチを検出する図示しない押圧検出部を備えている。発光部２ａは、発光ペン２が動作している間、所定の発光シーケンスで点滅を繰り返す。そして、発光部２ａは、投写面Ｓｐへのタッチの有無に応じて発光シーケンスを切り替える。このため、プロジェクター１は、発光部２ａの発光シーケンスによって発光ペン２によるタッチの有無を識別することができる。なお、発光ペン２は、赤外光以外の波長域の光を発する態様であってもよい。

プロジェクター１は、投写画像Ｉｐが投写される範囲を撮像可能になっている。プロジェクター１は、撮像された画像の中から、発光ペン２が発した光を検出し、検出された光の位置を、発光ペン２により指示された指示位置として検出する。また、プロジェクター１は、検出された光の発光シーケンスに基づいて、投写面Ｓｐへのタッチの有無を検知する。そして、プロジェクター１は、タッチされた状態で指示位置が変化した場合には、指示位置の軌跡に沿って線が描画されたような画像Ｉｄを生成し、投写画像Ｉｐに重畳して表示することができる。これ以降、画像Ｉｄを「描画画像Ｉｄ」とも表記する。

なお、本明細書において、横長に配置された矩形の投写面Ｓｐの長辺に沿う座標軸をＸ軸とし、投写面Ｓｐに向かって右方向を＋Ｘ方向とする。また、Ｘ軸に直交し、投写面Ｓｐの短辺に沿う座標軸をＹ軸とし、下向きの方向を＋Ｙ方向とする。また、投写面Ｓｐ即ちＸＹ平面に直交する座標軸をＺ軸とし、プロジェクター１から投写面Ｓｐに垂直に向かう方向を＋Ｚ方向とする。

図２は、プロジェクター１の概略構成を示すブロック図であり、図３は、プロジェクター１が備える画像投写部１８の概略構成を示すブロック図である。

図２に示すように、プロジェクター１は、制御部１０と、記憶部１１と、入力操作部１２と、撮像部１３と、赤外透過フィルター１４と、フィルター駆動部１５と、画像情報入力部１６と、合成部としての画像情報処理部１７と、投写部としての画像投写部１８とを一体的に備えて構成されている。プロジェクター１は、画像情報入力部１６に入力される画像情報に基づいて、画像投写部１８から投写面Ｓｐに投写画像Ｉｐを投写する。

制御部１０は、１つ又は複数のプロセッサーを備えて構成され、記憶部１１に記憶されている制御プログラムに従って動作することによりプロジェクター１の動作を統括制御する。

記憶部１１は、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）等のメモリーを備えて構成される。ＲＡＭは、各種データ等の一時記憶に用いられ、ＲＯＭは、プロジェクター１の動作を制御するための制御プログラムや制御データ等を記憶する。

入力操作部１２は、ユーザーがプロジェクター１に対して各種指示を行うための複数の操作キーを備えている。入力操作部１２が備える操作キーとしては、電源のオンとオフとを切り替えるための電源キー、各種設定を行うためのメニュー画像を表示させるメニューキー、メニュー画像上で項目を選択するための方向キー等がある。ユーザーが入力操作部１２の各種操作キーを操作すると、入力操作部１２は、ユーザーの操作内容に応じた操作信号を制御部１０に出力する。なお、遠隔操作が可能な図示しないリモコンを、入力操作部１２として用いる構成としてもよい。この場合、リモコンは、ユーザーの操作内容に応じた赤外線の操作信号を発信し、図示しないリモコン信号受信部がこれを受信して制御部１０に伝達する。

撮像部１３は、ＣＣＤ（Charge Coupled Device）センサー、或いはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサー等の図示しない撮像素子と、撮像素子上に像を結像するためのレンズ等からなる撮像光学系１３ａとを備えたカメラである。撮像部１３は、可視光を吸収して赤外光を透過させる赤外透過フィルター１４を介して、発光ペン２から発せられる赤外光を撮像する。撮像部１３は、制御部１０の制御に基づいて投写面Ｓｐ上の投写画像Ｉｐを含む範囲を撮像し、その撮像結果である画像情報を制御部１０に出力する。これ以降、撮像部１３で撮像された画像を「撮像画像」とも表記し、撮像部１３から出力される画像情報を「撮像画像情報」とも表記する。

フィルター駆動部１５は、詳しい図示を省略するが、赤外透過フィルター１４の位置を変化させる移動機構と、この移動機構を駆動するモーター等の駆動回路とを含んで構成される。フィルター駆動部１５は、制御部１０の制御に基づいて、赤外透過フィルター１４を、撮像光学系１３ａと重ならない位置に移動させることができる。この場合、撮像部１３は、赤外透過フィルター１４を介さずに可視光を撮像する。つまり、フィルター駆動部１５は、制御部１０の制御に基づいて、撮像部１３が赤外透過フィルター１４を介して赤外光を撮像する状態と、赤外透過フィルター１４を介さずに可視光を撮像する状態とを切り替える。

プロジェクター１の制御部１０は、制御プログラムによって実現される機能ブロックとして、検出部１０ａと、描画部１０ｂと、演算部１０ｃとを備えている。
検出部１０ａは、撮像部１３で撮像された撮像画像に基づいて、発光ペン２による指示位置を検出するとともに、撮像画像上の指示位置を投写画像Ｉｐ上の指示位置に変換する処理を行う。つまり、検出部１０ａは、投写画像Ｉｐ上における発光ペン２の指示位置を検出する。描画部１０ｂは、検出部１０ａで変換された指示位置に基づいて描画画像Ｉｄを生成する。演算部１０ｃは、検出部１０ａにおいて撮像画像上の指示位置を投写画像Ｉｐ上の指示位置に変換するための変換情報等を算出する。検出部１０ａ、描画部１０ｂ及び演算部１０ｃの詳細については後述する。

画像情報入力部１６は、コンピューターや画像再生装置等の外部の画像供給装置３に接続され、画像供給装置３から画像情報の供給を受ける。また、画像情報入力部１６は、制御部１０から、記憶部１１に記憶されている画像情報の供給を受けることができる。画像情報入力部１６は、入力された画像情報を画像情報処理部１７に出力する。

画像情報処理部１７は、図示しないフレームメモリーを備えて構成される。画像情報処理部１７は、画像情報入力部１６から入力される画像情報をフレームメモリーに格納するとともに、フレームメモリー上の画像情報に対して、制御部１０の制御に基づいて様々な処理を施し、処理後の画像情報を画像投写部１８に出力する。例えば、画像情報処理部１７は、明るさやコントラスト等の画質を調整する処理や、投写画像Ｉｐに描画画像Ｉｄを合成する処理等を必要に応じて画像情報に施す。画像情報処理部１７は、処理後の画像情報を画像投写部１８のライトバルブ駆動部２４（図３参照）に出力する。

なお、画像情報入力部１６及び画像情報処理部１７は、１つ又は複数のプロセッサー等によって構成されてもよいし、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の専用の処理装置によって構成されてもよい。

図３に示すように、画像投写部１８は、光源２１、光変調装置としての３つの液晶ライトバルブ２２Ｒ，２２Ｇ，２２Ｂ、投写光学系２３、ライトバルブ駆動部２４等を備えて構成されている。画像投写部１８は、光源２１から射出された光を、液晶ライトバルブ２２Ｒ，２２Ｇ，２２Ｂで変調して画像光を形成し、レンズ及びミラーの少なくとも一方を含む投写光学系２３からこの画像光を投写して投写面Ｓｐに画像を表示する。

光源２１は、超高圧水銀ランプやメタルハライドランプ等の放電型の光源ランプ、又は発光ダイオードや半導体レーザー等の固体光源を含んで構成されている。光源２１から射出された光は、図示しないインテグレーター光学系によって輝度分布が略均一な光に変換され、図示しない色分離光学系によって光の３原色である赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の各色光成分に分離された後、それぞれ液晶ライトバルブ２２Ｒ，２２Ｇ，２２Ｂに入射する。

液晶ライトバルブ２２Ｒ，２２Ｇ，２２Ｂは、それぞれ一対の透明基板間に液晶が封入された透過型の液晶パネル等によって構成される。各液晶パネルには、マトリクス状に配列された複数の画素からなる矩形の画素領域２２ｉが形成されており、液晶に対して画素毎に駆動電圧を印加可能になっている。

ライトバルブ駆動部２４は、液晶ライトバルブ２２Ｒ，２２Ｇ，２２Ｂの画素領域２２ｉに投写画像Ｉｐを形成する。具体的には、ライトバルブ駆動部２４は、画像情報処理部１７から入力される画像情報に応じた駆動電圧を、画素領域２２ｉの各画素に印加することにより、各画素を画像情報に応じた光透過率に設定する。光源２１から射出された光は、液晶ライトバルブ２２Ｒ，２２Ｇ，２２Ｂの画素領域２２ｉを透過することによって画素毎に変調され、画像情報に応じた画像光が色光毎に形成される。形成された各色の画像光は、図示しない色合成光学系によって画素毎に合成されてカラー画像を表す画像光となり、投写光学系２３によって投写面Ｓｐに拡大投写される。この結果、投写面Ｓｐ上には、投写画像Ｉｐが表示される。

図４は、検出部１０ａの概略構成を示す機能ブロック図である。これらの機能ブロックは、制御プログラムによって実現される。
図４に示すように、検出部１０ａは、赤外光検出部３１と、レンズ歪み補正部３２と、射影変換部３３と、誤差補正部３４とを備えている。

赤外光検出部３１は、撮像部１３から入力される撮像画像情報に基づいて、撮像画像の中から、発光ペン２が発した赤外光を検出する。赤外光検出部３１は、撮像画像内に含まれる赤外光の像のうち、所定の閾値以上の明るさで、所定の閾値以上の大きさを有する像を、発光ペン２が発した光とみなし、その位置を、発光ペン２の指示位置として検出する。また、赤外光検出部３１は、複数回に亘って取得された撮像画像情報に基づいて、発光ペン２の発光シーケンスを判別し、投写面Ｓｐへのタッチの有無を検知する。

レンズ歪み補正部３２は、撮像部１３が備える撮像光学系１３ａの特性に起因する歪みを補正する。この歪みは、撮像光学系１３ａの特性に依存するため、撮像光学系１３ａに応じた既知の補正情報を用いて補正することが可能である。この補正情報は、ＬＵＴ（Look Up Table）として予め記憶部１１に記憶されている。

射影変換部３３は、投写光学系２３の光軸と、撮像部１３の撮像光学系１３ａの光軸とのずれに起因して生じる撮像画像の台形歪みを、射影変換によって補正する。台形歪みは、投写面Ｓｐに対するプロジェクター１の設置状態に応じて変化することから、射影変換は、プロジェクター１の設置後に実施されるキャリブレーションによって生成される射影変換係数を用いて行われる。この補正により、撮像画像において検出された指示位置が、投写画像Ｉｐの指示位置に変換される。そして、プロジェクター１は、投写面Ｓｐの投写画像Ｉｐでの発光ペン２の指示位置に応じて処理を実行可能となる。キャリブレーションについては後述する。

誤差補正部３４は、発光ペン２が実際に指示した投写面Ｓｐ上の位置と、発光ペン２の発光部２ａの位置とのずれに起因する指示位置の誤差を補正する。

図５は、指示位置の検出誤差の補正を説明するための説明図であり、画像表示システム１００を＋Ｘ側から見た側面図である。また、図５では、発光ペン２がＹ軸に沿った方向の異なる位置で投写面Ｓｐを指示していることを示す。
図５に示すように、発光ペン２の発光部２ａは、投写面Ｓｐに接する先端２ｔよりも内側に距離ｄだけずれて配置されている。このため、この距離ｄに起因して、検出された指示位置に誤差ｅが含まれてしまう。つまり、赤外光検出部３１は、投写面Ｓｐの発光ペン２の先端２ｔが接する位置から誤差ｅずれた位置を検出することになる。この位置は、誤差補正部３４により補正される。距離ｄが固定値であるとすると、誤差ｅは、指示位置の座標と、プロジェクター１と投写面Ｓｐとの距離である投写距離Ｌとに応じて変化することから、誤差補正部３４は、指示位置の座標と投写距離Ｌとに基づいて誤差ｅを補正する。投写距離Ｌは、プロジェクター１の設置後に実施されるキャリブレーションによって算出される。図５では、投写距離Ｌを、投写面Ｓｐの法線方向のプロジェクター１との距離として示している。なお、図５では、Ｙ軸に沿った方向の誤差のみが示されているが、Ｘ軸に沿った方向にも同様の誤差が含まれており、誤差補正部３４は、双方の誤差を補正する。

図４に戻って、検出部１０ａは、投写画像Ｉｐ上の位置に変換され、誤差ｅの補正が施された指示位置の座標を描画部１０ｂに出力する。

描画部１０ｂは、検出部１０ａで検出された発光ペン２の指示位置に描画画像Ｉｄを生成する。例えば、描画部１０ｂは、発光ペン２の指示位置に点状の描画画像Ｉｄを配置する。そして、指示位置の変化に応じて描画部１０ｂが点状の描画画像Ｉｄを追加していくことにより、指示位置の軌跡に沿って複数の点が連なった線状の描画画像Ｉｄが生成される。描画部１０ｂで生成された描画画像Ｉｄは、画像情報処理部１７に出力され、画像情報処理部１７で投写画像Ｉｐに合成される。なお、描画部１０ｂは、指示位置の軌跡に沿った線状の描画画像Ｉｄを生成する構成に限定されず、例えば、矢印状のポインター画像等を指示位置に配置する構成であってもよい。

図６は、演算部１０ｃの概略構成を示す機能ブロック図である。これらの機能ブロックは、制御プログラムによって実現される。
図６に示すように、演算部１０ｃは、基準点検出部４１と、レンズ歪み補正部４２と、変換情報算出部４３と、投写距離算出部４４とを備えており、検出部１０ａにおいて、撮像画像上の指示位置を投写画像Ｉｐ上の指示位置に変換するための変換情報や、投写距離Ｌを算出する。変換情報及び投写距離Ｌを算出するための処理は、「キャリブレーション」と呼ばれる。変換情報や投写距離Ｌは、プロジェクター１と投写面Ｓｐの位置関係に応じて定まることから、投写面Ｓｐに対するプロジェクター１の設置状態が変化する度に、キャリブレーションをやり直す必要がある。

キャリブレーションは、ユーザーの操作に基づいて行われるマニュアルキャリブレーションと、ユーザーの操作を伴わずに行われるオートキャリブレーションの２つの態様で実施され得る。マニュアルキャリブレーションでは、プロジェクター１は、投写面Ｓｐ上に複数のマークを投写し、これらのマーク上をユーザーに発光ペン２で順次タッチさせる。そして、プロジェクター１は、撮像部１３で撮像した撮像画像から発光ペン２の指示位置を検出することにより、撮像画像上の座標と投写画像Ｉｐ上の座標とを対応付ける。一方、オートキャリブレーションでは、プロジェクター１は、複数の基準点を含むキャリブレーション画像を投写面Ｓｐに投写し、このキャリブレーション画像を撮像部１３が撮像して生成した撮像画像から基準点を検出することにより、撮像画像上の座標と投写画像Ｉｐ上の座標とを対応付ける。本実施形態では、キャリブレーションとして、オートキャリブレーションが行われるものとする。

図７は、投写面Ｓｐに投写されるキャリブレーション画像の一例を示す説明図である。
図７に示すように、キャリブレーション画像Ｇｃには、黒色の背景上に５×５＝２５個の白色のマークＭｃが配置されている。各マークＭｃには、市松状に配列された複数の四角形が含まれており、四角形の頂点同士が向かい合う複数の交点のうちの所定の１つの交点が基準点として用いられる。キャリブレーション画像Ｇｃにおいて、各マークＭｃは、その位置に応じて変形が施されており、大きさや形状がそれぞれ異なっている。キャリブレーション画像Ｇｃを表す画像情報は、予め記憶部１１に記憶されている。

ユーザーによりキャリブレーションの実行が指示されると、制御部１０は、キャリブレーション画像Ｇｃの画像情報を記憶部１１から読み出して画像情報入力部１６に出力することにより、画像投写部１８からキャリブレーション画像Ｇｃを投写させる。さらに制御部１０は、投写されたキャリブレーション画像Ｇｃを撮像部１３に撮像させる。このとき、制御部１０は、フィルター駆動部１５に赤外透過フィルター１４を移動させて、撮像部１３に可視光を撮像させる。

図８は、キャリブレーション画像Ｇｃを撮像した場合の撮像画像Ｃｃを示す図である。
図８に示すように、撮像画像Ｃｃには、投写されたキャリブレーション画像Ｇｃが含まれている。このキャリブレーション画像Ｇｃは、撮像光学系１３ａの特性や光軸の向きに応じて歪んで撮像されるが、撮像画像Ｃｃ上において２５個のマークＭｃは、ほぼ同一の形状で、且つほぼ同一の大きさで配置されている。つまり、図７で示したキャリブレーション画像Ｇｃ上のマークＭｃには、撮像に伴う歪みが相殺されるような変形が予め施されており、撮像画像Ｃｃ上で基準点の検出が容易になっている。

図６に戻って、基準点検出部４１は、投写されたキャリブレーション画像Ｇｃを撮像部１３が撮像して生成した撮像画像Ｃｃに基づいて、２５個の基準点を検出する。レンズ歪み補正部４２は、検出部１０ａのレンズ歪み補正部３２と同様の機能を有し、基準点検出部４１で検出された２５個の基準点について、撮像光学系１３ａの特性に起因する歪みを補正する処理を行う。

変換情報算出部４３は、２５個の基準点の補正後の座標に基づいて、台形歪みを補正するための射影変換係数を算出する。具体的には、変換情報算出部４３は、２５個の基準点のそれぞれについて、撮像画像Ｃｃ上の補正後の座標と、既知の情報である投写画像Ｉｐ上の座標とを対応付けることによって変換情報としての射影変換係数を算出する。変換情報算出部４３で算出された射影変換係数は、記憶部１１に記憶され、検出部１０ａの射影変換部３３で用いられるとともに、投写距離算出部４４でも用いられる。

投写距離算出部４４は、プロジェクター１と投写面Ｓｐとの距離である投写距離Ｌを算出する。投写距離Ｌは、プロジェクター１の基準位置と、投写面Ｓｐとの距離であり、本実施形態では、プロジェクター１の投写光学系２３と、投写面ＳｐとのＺ軸に沿った距離を投写距離Ｌとして算出する。ただし、投写距離Ｌは、これに限定されず、例えば、投写光学系２３と、投写された投写画像Ｉｐの中央との距離等、他の指標を採用してもよい。また、プロジェクター１の基準位置は、投写光学系２３の位置に限定されず、例えば、撮像光学系１３ａの位置としてもよい。

図９は、投写距離Ｌの算出を説明するための説明図であり、プロジェクター１と投写面Ｓｐとの位置関係を示す模式図である。この模式図は、プロジェクター１及び投写面Ｓｐを－Ｙ側から見た平面図に相当する。
図９に示すように、プロジェクター１の投写光学系２３の位置は、点Ｐｐで表され、撮像部１３の撮像光学系１３ａの位置は、点Ｐｃで表されている。撮像光学系１３ａは、投写光学系２３から＋Ｘ方向に距離ｃｘ、＋Ｚ方向に距離ｃｚだけ離れている。投写面Ｓｐ上の点Ｒｏは、画像投写部１８からキャリブレーション画像Ｇｃを投写した際に、所定の１つの基準点が表示される位置を示している。この基準点は、投写距離Ｌの算出に用いられることから、これ以降、「投写距離基準点」とも表記される。本実施形態では、５×５＝２５個の基準点のうち中央の１つの基準点が投写距離基準点として用いられる。点Ｐｃを通りＸ軸に平行な直線と、投写距離基準点の投写経路、即ち点Ｐｐと点Ｒｏとを通る直線との交点を点Ｔ１とし、点Ｔ１と点Ｐｃとの距離を距離Ｗ１とする。

基準投写面Ｓｏは、プロジェクター１を製造した後、出荷前の段階で行われる工程調整で用いられる投写面であり、投写光学系２３から＋Ｚの方向に所定の距離Ｌｏだけ離れた位置に設置される。工程調整時において、基準投写面Ｓｏにキャリブレーション画像Ｇｃが投写されると、投写距離基準点は、基準投写面Ｓｏ上の点Ｂに表示される。点Ｂは、点Ｐｐと点Ｒｏとを通る直線と、基準投写面Ｓｏの交点に位置する。

ここで、工程調整時における投写距離基準点の撮像経路、即ち点Ｐｃと点Ｂとを通る直線と、投写面Ｓｐとの交点を点Ｒｐとし、投写面Ｓｐ上における点Ｒｏと点Ｒｐとの距離を距離Ｗ２とする。このとき、点Ｒｏ，Ｒｐ，Ｂを頂点とする三角形と、点Ｔ１，Ｐｃ，Ｂを頂点とする三角形は相似となる。このため、以下の式（１）が成立する。
（Ｌ－Ｌｏ）／（Ｌｏ－ｃｚ）＝Ｗ２／Ｗ１ …（１）

式（１）において、距離Ｌｏ，ｃｚは既知の値である。また、距離Ｗ１は、前述した既知の値に加えて、液晶ライトバルブ２２Ｒ，２２Ｇ，２２Ｂの解像度や投写光学系２３の画角等の既知の情報から算出可能な値である。ここで、投写画像Ｉｐ上における点Ｒｏの座標は、投写画像Ｉｐにおける投写距離基準点の座標であり、既知である。また、点Ｒｐは、点Ｐｃと点Ｂを通る直線の延長上に存在するため、工程調整時に撮像部１３がキャリブレーション画像Ｇｃを撮像して生成した撮像画像における点Ｂの座標、即ち工程調整時の撮像画像における投写距離基準点の座標を上記の射影変換係数を用いて射影変換することにより、投写画像Ｉｐ上における点Ｒｐの座標が求められる。これにより、投写画像Ｉｐ上における点Ｒｏと点Ｒｐとの距離が求められ、この距離に既知の情報を加味すると、投写面Ｓｐ上の距離Ｗ２も算出される。

投写距離算出部４４は、これらの値を導いて式（１）に代入することにより、投写距離Ｌを算出する。投写距離算出部４４によって算出された投写距離Ｌは、記憶部１１に記憶され、誤差補正部３４での誤差ｅの補正に用いられる。このように、演算部１０ｃの投写距離算出部４４は、撮像部１３がキャリブレーション画像Ｇｃを撮像して生成した撮像画像Ｃｃに含まれる投写距離基準点の座標や、この撮像画像Ｃｃに基づいて生成された射影変換係数を用いて投写距離Ｌを算出する。つまり、投写距離算出部４４は、キャリブレーション画像Ｇｃを撮像部１３が撮像して生成した撮像画像Ｃｃに基づいて投写距離Ｌを算出する。

図１０は、キャリブレーションを行う際の制御部１０の動作を示すフローチャートである。
ユーザーによりキャリブレーションの実行が指示されると、制御部１０は、図１０に示すフローに従って動作する。
図１０に示すように、ステップＳ１０１では、制御部１０は、画像投写部１８にキャリブレーション画像Ｇｃを投写面Ｓｐに投写させ、ステップＳ１０２では、制御部１０は、撮像部１３に指示をして、投写されたキャリブレーション画像Ｇｃを撮像させる。ステップＳ１０３では、演算部１０ｃの基準点検出部４１が、撮像されたキャリブレーション画像Ｇｃから２５個の基準点を検出する。ステップＳ１０４では、演算部１０ｃのレンズ歪み補正部４２が、検出された基準点について、撮像光学系１３ａの特性に起因する歪みを補正する処理を行う。ステップＳ１０５では、補正後の基準点に基づいて、演算部１０ｃの変換情報算出部４３が射影変換係数を算出する。そして、ステップＳ１０６では、演算部１０ｃの投写距離算出部４４が投写距離Ｌを算出する。これにより、キャリブレーションが終了する。

これ以降、プロジェクター１は、画像供給装置３から供給される画像情報に基づいて投写画像Ｉｐの投写を開始するとともに、撮像部１３で撮像された撮像画像に基づいて発光ペン２による指示位置を検出する。検出された指示位置は、キャリブレーションにて算出された射影変換係数を用いて射影変換がなされるとともに、投写距離Ｌに基づいて補正される。そして、描画部１０ｂは、補正された指示位置に基づいて描画画像Ｉｄを生成する。

以上説明したように、本実施形態のプロジェクター１、画像表示システム１００及びそれらの制御方法によれば、以下の効果を得ることができる。

（１）本実施形態によれば、演算部１０ｃは、１つのキャリブレーション画像Ｇｃを撮像して生成される撮像画像Ｃｃに基づいて、射影変換係数の算出と、投写距離Ｌの算出の両方を行うため、初期処理に要する時間を短縮することが可能となる。

（２）本実施形態によれば、検出部１０ａの誤差補正部３４は、投写距離Ｌに基づいて指示位置を補正するため、指示位置の検出精度を向上することが可能となる。

（３）本実施形態によれば、描画部１０ｂは、投写距離Ｌを用いて補正された指示位置の軌跡に基づいて描画画像Ｉｄを生成するため、描画画像Ｉｄを精度よく生成することが可能となる。

（変形例）
また、上記実施形態は、以下のように変更してもよい。

上記実施形態では、１つのキャリブレーション画像Ｇｃに２５個の基準点が含まれた例を示したが、基準点の数は２５個に限定されず、２５個未満でも２６個以上であってもよい。また、基準点を特定可能であれば、マークＭｃの形状も任意である。

上記実施形態では、投写距離算出部４４は、点Ｒｏ，Ｒｐ，Ｂを頂点とする三角形と、点Ｔ１，Ｐｃ，Ｂを頂点とする三角形とが相似であることを利用して投写距離Ｌを算出していたが、この態様に限定されない。例えば、図９において、点Ｐｐを通りＸ軸に平行な直線と、投写距離基準点の撮像経路、即ち点Ｐｃと点Ｂとを通る直線との交点を点Ｔ２とするとき、点Ｒｏ，Ｒｐ，Ｂを頂点とする三角形と、点Ｐｐ，Ｔ２，Ｂを頂点とする三角形とが相似であることを利用して投写距離Ｌを算出するようにしてもよい。

上記実施形態では、投写距離算出部４４が算出した投写距離Ｌを用いて誤差補正部３４が誤差ｅの補正を行う態様を示したが、算出された投写距離Ｌを他の用途に用いるようにしてもよい。例えば、発光ペン２が発した赤外光を赤外光検出部３１で検出する際の明るさの閾値を投写距離Ｌに応じて変更するようにしてもよい。また、光源２１が発する光の明るさを、投写距離Ｌに応じて変更するようにしてもよい。

上記実施形態では、プロジェクター１が、制御部１０、撮像部１３、画像投写部１８等の構成要素を一体的に備えた構成を例示したが、これらの全部又は一部が分離した構成であってもよい。ただし、キャリブレーションにより射影変換係数や投写距離Ｌを算出するためには、撮像部１３と画像投写部１８との位置関係は既知である必要がある。また、これらの位置関係が既知であることから、投写距離Ｌの代わりに、撮像部１３と投写面Ｓｐとの距離を算出する構成であってもよい。言い換えれば、撮像部１３と画像投写部１８との位置関係が既知である場合には、撮像部１３と投写面Ｓｐとの距離を算出することは、画像投写部１８と投写面Ｓｐとの距離である投写距離Ｌを算出することと等価である。

上記実施形態では、指示体として発光ペン２を用いた例を示したが、指示体は発光ペン２に限定されず、例えば、ユーザーの指や指示棒等、非発光の指示体を用いてもよい。非発光の指示体を用いる場合に、その指示位置を検出する方法としては、例えば、投写された投写画像Ｉｐの全域を覆うように、投写面Ｓｐに沿って平面状の赤外光を照射し、撮像部１３で撮像された撮像画像の中から、指示体で反射した赤外光を検出する方法を採用することができる。この場合においても、投写面Ｓｐと平面状の赤外光との距離に起因して生じる指示位置の誤差は、算出される投写距離Ｌを用いて補正され得る。

上記実施形態では、光変調装置として、透過型の液晶ライトバルブ２２Ｒ，２２Ｇ，２２Ｂを用いているが、反射型の液晶ライトバルブ等、反射型の光変調装置を用いることも可能である。また、入射した光の射出方向を、画素としてのマイクロミラー毎に制御することにより、光源２１から射出された光を変調するデジタルミラーデバイス等を用いることもできる。また、色光別に複数の光変調装置を備える構成に限定されず、１つの光変調装置で複数の色光を時分割で変調する構成としてもよい。

以下に、実施形態から導き出される内容を記載する。

プロジェクターは、指示体による指示位置を検出するプロジェクターであって、投写面に投写画像を投写する投写部と、前記投写面を撮像して撮像画像を生成する撮像部と、前記投写部に前記投写画像としてキャリブレーション画像を投写させるとともに、投写された前記キャリブレーション画像を前記撮像部に撮像させる制御部と、前記キャリブレーション画像を前記撮像部が撮像して生成した前記撮像画像に基づいて、前記撮像画像上の位置を前記投写画像上の位置に変換するための変換情報を算出する演算部と、前記投写面上を指示する前記指示体を前記撮像部が撮像して生成した前記撮像画像と、前記演算部で算出された前記変換情報とに基づいて、前記投写画像上における前記指示位置を検出する検出部と、を備え、前記演算部は、前記キャリブレーション画像を前記撮像部が撮像して生成した前記撮像画像に基づいて、前記プロジェクターと前記投写面との距離である投写距離を算出することを特徴とする。

この構成によれば、演算部は、１つのキャリブレーション画像を撮像して生成される撮像画像に基づいて、変換情報の算出と、投写距離の算出の両方を行うため、初期処理に要する時間を短縮することが可能となる。

上記のプロジェクターにおいて、前記検出部は、検出した前記指示位置を、算出された前記投写距離を用いて補正してもよい。

この構成によれば、検出部は、投写距離に基づいて指示位置を補正するため、指示位置の検出精度を向上することが可能となる。

上記のプロジェクターにおいて、前記検出部により前記投写距離を用いて補正された前記指示位置の軌跡に基づいて描画画像を生成する描画部と、前記描画部で生成された前記描画画像を前記投写画像に合成する合成部と、をさらに備えてもよい。

この構成によれば、描画部は、投写距離を用いて補正された指示位置の軌跡に基づいて描画画像を生成するため、描画画像を精度よく生成することが可能となる。

画像表示システムは、指示体による指示位置を検出する画像表示システムであって、投写面に投写画像を投写する投写部と、前記投写面を撮像して撮像画像を生成する撮像部と、前記投写部に前記投写画像としてキャリブレーション画像を投写させるとともに、投写された前記キャリブレーション画像を前記撮像部に撮像させる制御部と、前記キャリブレーション画像を前記撮像部が撮像して生成した前記撮像画像に基づいて、前記撮像画像上の位置を前記投写画像上の位置に変換するための変換情報を算出する演算部と、前記投写面上を指示する前記指示体を前記撮像部が撮像して生成した前記撮像画像と、前記演算部で算出された前記変換情報とに基づいて、前記投写画像上における前記指示位置を検出する検出部と、を備え、前記演算部は、前記キャリブレーション画像を前記撮像部が撮像して生成した前記撮像画像に基づいて、前記投写部と前記投写面との距離である投写距離を算出することを特徴とする。

この構成によれば、演算部は、１つのキャリブレーション画像を撮像して生成される撮像画像に基づいて、変換情報の算出と、投写距離の算出の両方を行うため、初期処理に要する時間を短縮することが可能となる。

上記の画像表示システムにおいて、前記検出部は、検出した前記指示位置を、算出された前記投写距離を用いて補正してもよい。

この構成によれば、検出部は、投写距離に基づいて指示位置を補正するため、指示位置の検出精度を向上することが可能となる。

上記の画像表示システムにおいて、前記検出部により前記投写距離を用いて補正された前記指示位置の軌跡に基づいて描画画像を生成する描画部と、前記描画部で生成された前記描画画像を前記投写画像に合成する合成部と、をさらに備えてもよい。

この構成によれば、描画部は、投写距離を用いて補正された指示位置の軌跡に基づいて描画画像を生成するため、描画画像を精度よく生成することが可能となる。

画像表示システムの制御方法は、投写面に投写画像を投写する投写部と、前記投写面を撮像して撮像画像を生成する撮像部と、を有し、前記投写面上を指示する指示体の指示位置を検出する画像表示システムの制御方法であって、前記投写部に前記投写画像としてキャリブレーション画像を投写させ、投写された前記キャリブレーション画像を前記撮像部に撮像させ、前記キャリブレーション画像を前記撮像部が撮像して生成した前記撮像画像に基づいて、前記撮像画像上の位置を前記投写画像上の位置に変換するための変換情報を算出し、前記投写面上を指示する前記指示体を前記撮像部が撮像して生成した前記撮像画像と、算出された前記変換情報とに基づいて、前記投写画像上における前記指示位置を検出し、前記キャリブレーション画像を前記撮像部が撮像して生成した前記撮像画像に基づいて、前記投写部と前記投写面との距離である投写距離を算出することを特徴とする。

この構成によれば、１つのキャリブレーション画像を撮像して生成される撮像画像に基づいて、変換情報の算出と、投写距離の算出の両方を行うため、初期処理に要する時間を短縮することが可能となる。

上記の画像表示システムの制御方法において、検出した前記指示位置を、算出された前記投写距離を用いて補正してもよい。

この構成によれば、投写距離に基づいて指示位置を補正するため、指示位置の検出精度を向上することが可能となる。

上記の画像表示システムの制御方法において、前記投写距離を用いて補正された前記指示位置の軌跡に基づいて描画画像を生成し、生成された前記描画画像を前記投写画像に合成してもよい。

この構成によれば、投写距離を用いて補正された指示位置の軌跡に基づいて描画画像を生成するため、描画画像を精度よく生成することが可能となる。

１…プロジェクター、２…発光ペン、２ａ…発光部、２ｔ…先端、３…画像供給装置、１０…制御部、１０ａ…検出部、１０ｂ…描画部、１０ｃ…演算部、１１…記憶部、１２…入力操作部、１３…撮像部、１３ａ…撮像光学系、１４…赤外透過フィルター、１５…フィルター駆動部、１６…画像情報入力部、１７…画像情報処理部、１８…画像投写部、２１…光源、２２Ｒ，２２Ｇ，２２Ｂ…液晶ライトバルブ、２２ｉ…画素領域、２３…投写光学系、２４…ライトバルブ駆動部、３１…赤外光検出部、３２…レンズ歪み補正部、３３…射影変換部、３４…誤差補正部、４１…基準点検出部、４２…レンズ歪み補正部、４３…変換情報算出部、４４…投写距離算出部、１００…画像表示システム、Ｃｃ…撮像画像、Ｇｃ…キャリブレーション画像、Ｉｄ…描画画像、Ｉｐ…投写画像、Ｌ…投写距離、Ｍｃ…マーク、Ｓｏ…基準投写面、Ｓｐ…投写面、Ｔ…固定部材。

Claims (9)

1. 指示体による指示位置を検出するプロジェクターであって、
   投写面に投写画像を投写する投写部と、
   撮像素子及び前記撮像素子に像を結像するためのレンズを含む撮像光学系を有し、前記
   投写面を撮像して撮像画像を生成する撮像部と、
   前記投写部に前記投写画像としてキャリブレーション画像を投写させるとともに、投写
   された前記キャリブレーション画像を前記撮像部に撮像させる制御部と、
   前記キャリブレーション画像を前記撮像部が撮像して生成した前記撮像画像に基づいて
   、前記撮像画像上の位置を前記投写画像上の位置に変換するための変換情報を算出する演
   算部と、
   前記投写面上を指示する前記指示体を前記撮像部が撮像して生成した前記撮像画像と、
   前記演算部で算出された前記変換情報とに基づいて、前記投写画像上における前記指示位
   置を検出する検出部と、を備え、
   前記演算部は、
   前記キャリブレーション画像を前記撮像部が撮像して生成した前記撮像画像の、前記
   撮像光学系による歪みを補正し、
   前記歪みが補正された前記撮像画像に基づいて、前記プロジェクターと前記投写面と
   の距離である投写距離を算出することを特徴とするプロジェクター。
2. 請求項１に記載のプロジェクターであって、
   前記検出部は、検出した前記指示位置を、算出された前記投写距離を用いて補正するこ
   とを特徴とするプロジェクター。
3. 請求項２に記載のプロジェクターであって、
   前記検出部により前記投写距離を用いて補正された前記指示位置の軌跡に基づいて描画
   画像を生成する描画部と、
   前記描画部で生成された前記描画画像を前記投写画像に合成する合成部と、
   をさらに備えたことを特徴とするプロジェクター。
4. 指示体による指示位置を検出する画像表示システムであって、
   投写面に投写画像を投写する投写部と、
   撮像素子及び前記撮像素子に像を結像するためのレンズを含む撮像光学系を有し、前記
   投写面を撮像して撮像画像を生成する撮像部と、
   前記投写部に前記投写画像としてキャリブレーション画像を投写させるとともに、投写
   された前記キャリブレーション画像を前記撮像部に撮像させる制御部と、
   前記キャリブレーション画像を前記撮像部が撮像して生成した前記撮像画像に基づいて
   、前記撮像画像上の位置を前記投写画像上の位置に変換するための変換情報を算出する演
   算部と、
   前記投写面上を指示する前記指示体を前記撮像部が撮像して生成した前記撮像画像と、
   前記演算部で算出された前記変換情報とに基づいて、前記投写画像上における前記指示位
   置を検出する検出部と、を備え、
   前記演算部は、
   前記キャリブレーション画像を前記撮像部が撮像して生成した前記撮像画像の、前記
   撮像光学系による歪みを補正し、
   前記歪みが補正された前記撮像画像に基づいて、前記投写部と前記投写面との距離で
   ある投写距離を算出することを特徴とする画像表示システム。
5. 請求項４に記載の画像表示システムであって、
   前記検出部は、検出した前記指示位置を、算出された前記投写距離を用いて補正するこ
   とを特徴とする画像表示システム。
6. 請求項５に記載の画像表示システムであって、
   前記検出部により前記投写距離を用いて補正された前記指示位置の軌跡に基づいて描画
   画像を生成する描画部と、
   前記描画部で生成された前記描画画像を前記投写画像に合成する合成部と、
   をさらに備えたことを特徴とする画像表示システム。
7. 投写面に投写画像を投写する投写部と、撮像素子及び前記撮像素子に像を結像するため
   のレンズを含む撮像光学系を有し、前記投写面を撮像して撮像画像を生成する撮像部と、
   を有し、前記投写面上を指示する指示体の指示位置を検出する画像表示システムの制御方
   法であって、
   前記投写部に前記投写画像としてキャリブレーション画像を投写させ、
   投写された前記キャリブレーション画像を前記撮像部に撮像させ、
   前記キャリブレーション画像を前記撮像部が撮像して生成した前記撮像画像に基づいて
   、前記撮像画像上の位置を前記投写画像上の位置に変換するための変換情報を算出し、
   前記投写面上を指示する前記指示体を前記撮像部が撮像して生成した前記撮像画像と、
   算出された前記変換情報とに基づいて、前記投写画像上における前記指示位置を検出し、
   前記キャリブレーション画像を前記撮像部が撮像して生成した前記撮像画像の、前記撮
   像光学系による歪みを補正し、
   前記歪みが補正された前記撮像画像に基づいて、前記投写部と前記投写面との距離であ
   る投写距離を算出することを特徴とする画像表示システムの制御方法。
8. 請求項７に記載の画像表示システムの制御方法であって、
   検出した前記指示位置を、算出された前記投写距離を用いて補正することを特徴とする
   画像表示システムの制御方法。
9. 請求項８に記載の画像表示システムの制御方法であって、
   前記投写距離を用いて補正された前記指示位置の軌跡に基づいて描画画像を生成し、
   生成された前記描画画像を前記投写画像に合成することを特徴とする画像表示システム
   の制御方法。

Images