JP4495041B2 - ピンホール投影により表示面上のレーザポイントと関連付けられるプロジェクタ画素を求める方法 - Google Patents

Description

本発明は、包括的にはプロジェクタに関し、特にカメラおよびレーザポインタを用いたプロジェクタのキャリブレーションに関する。

カメラが堅固に取り付けられたプロジェクタをハンドヘルド投影システムとして用いることができる（Raskar他によって２００３年３月２１日付で出願された米国特許出願第１０／３９４，３１４号「Geometrically Aware Projector」、Raskar他によって２００１年１２月１０日付で出願された米国特許出願第１０／０１２，９３０号「Method for Calibrating a Projector with a Camera」、およびBeardsley他によって２００３年３月２１日付で出願された米国特許出願第１０／３９４，３１５号「Projector as an input and output device」（すべて参照により本明細書中に援用される）、ならびにRaskar他著「iLamps: Geometrically aware self-configuring projectors, SIGGRAPH Proceedings, 2003」）。

プロジェクタが出力画像を表示面上に投影する際に、カメラがこの出力画像の入力画像を取得する。この入力画像を用いて、表示面に対するプロジェクタの姿勢を求めることができる。次に、プロジェクタの姿勢に従って出力画像を表示面に適合させることができる。例えば、キーストーン（台形歪み）補正を行うことが可能である。

しかし、これらのプロジェクタ−カメラ装置では、キャリブレーションのために、カメラが投影画像全体を映し、出力画像中の４つの頂点を抽出する必要がある。より具体的には、カメラは、プロジェクタの画像平面上の既知の位置から投影される４つのポイント、例えば投影画像の４隅を映さなければならない。

これは投影画像の内容を制約する。投影画像は、キャリブレーション頂点の付近に、例えば画像の境界に沿って暗いエリアを有してはならない。この問題は、均質表面ではなくテクスチャ表面上に投影を行う場合にさらに難しくなる。

この問題は、プロジェクタに同じく４つのレーザポインタを取り付けることによって解決することができる。この場合、出力画像の内容を制約する必要はない。また、レーザ光は明るく所定の色を有するため、カメラによりキャリブレーション頂点を検出することが比較的容易である。

これは新たな問題を生じる。従来技術のキャリブレーション方法は、プロジェクタとカメラが「ピンホール」装置であることを前提にしている。しかし、レーザポインタが発生する光線は、必ずしもプロジェクタの焦点から発せられるとは限らない。したがって、レーザポインタ付き装置は、ピンホール投影として扱うことができない。

したがって、レーザポインタを用いてプロジェクタをキャリブレーションする必要がある。

本発明は、堅固に結合されたプロジェクタ−カメラシステムをレーザポインタで増補すする。このプロジェクタ−カメラシステムは、表示面に対するプロジェクタの姿勢を求めるために使用することができ、それによって、表面上に任意の所望の幾何学的形状の投影を行うことができる。

プロジェクタ−カメラシステムは、システムに堅固に固定されたレーザポインタを用いて、表示面によりカメラとプロジェクタの間に生じるホモグラフィを求める。或る意味において、レーザポインタは冗長であるが、制約のない画像を用いて表示面上のレーザポイントを検出するほうが実用的である。

システムの構造
図１は、本発明によるプロジェクタ−カメラシステム１００を示す。このシステム１００は、前面投影モードと背面投影モードの両方で、また、単独であるいは他の同様のプロジェクタと協働的に組み合わせて使用できることに留意すべきである。

本発明のシステム１００は、バス１４０によって接続されたマイクロプロセッサ１１０、メモリ１２０、およびＩ／Ｏインタフェース１３０を備え、これらが全体として処理装置を構成する。この処理装置の電気的構造は従来通りであるが、本明細書中で説明する方法ステップを行う際の動作は従来と異なる。

システム１００はまた、出力画像を表示するためのプロジェクタサブシステム１５０と、入力画像を取得するためのカメラサブシステム１６０とを備える。プロジェクタサブシステム１５０は、プロジェクタ焦点１５２を有するプロジェクタレンズ１５１を含み、カメラサブシステム１６０は、カメラレンズ１６１およびカメラ焦点１６２を含む。

図２に示すように、プロジェクタシステム１００にはレーザポインタ１１１も例えば４つ取り付けられる。レーザポインタは、表示面上の、出力画像と同じ大まかなエリアに向けられる。

ネットワークサブシステム１７０は、プロジェクタが他の同様の装置、またはローカルまたはリモートの他のコンピューティング装置と通信することを可能にする。したがって、ネットワークサブシステムは、通信媒体に応じてアンテナまたは赤外線トランシーバ１８０に接続されることができる。ネットワークを用いて、表示するための内容を伝送してもよい。

ユーザインタフェース１９０は、システムの操作を容易にするための入力および出力データを提供することができる。オプションの内部センサ１９５、例えば傾斜センサまたは加速度計により、現実世界に対するプロジェクタの向きを求めることができる。これらのセンサは内部専用であり、システム外部の環境は検知しないことに留意すべきである。

プロジェクタの動作
本発明によるプロジェクタ−カメラシステム１００は、スマートキーストーン補正、画像強度の向き補償、輝度、ズームおよびフォーカスの自動調節、幾何学的形状およびテクスチャを取り込むための３Ｄ走査を含むいくつかの機能を行うことができる。

システム１００は、他の装置およびシーン中の物体と通信して、必要な幾何学的形状の関係を「学習」することができる。システムの動作中にこれらの関係を動的に学習することができるこの能力は、事前に構成された幾何学的設定、複雑なキャリブレーション、通信およびユーザ補助を必要とする従来技術のプロジェクタと大きな対照を成す。

光学的には、堅固に結合されたプロジェクタ−カメラシステム１００は概念的に、一対のステレオカメラと同じである。或る意味において、２つのピンホール装置が隣り合っている。このため、ステレオキャリブレーション技法を適用することができる。実際に、プロジェクタ−カメラシステム１００は或る意味でキャリブレーションし易い。第１に、プロジェクタが有する半径方向の歪みは通常ごくわずかであるため、半径方向の歪みは無視することができる。第２に、一対のステレオ画像中に対応する特徴を見つけることを必要とせずに、プロジェクタが既知の位置に特徴を投影し、カメラがこれらの特徴を記録する。これにより、特徴の対応関係を求めることが遥かに容易になる。ステレオキャリブレーションは既知である。Faugeras著「Three-dimensional computer vision」（MIT Press, 1993）を参照のこと。

上記の理由から、レーザポインタ１１１を用いてシステム１００をキャリブレーションすることが望ましい。レーザポインタはピンホール装置として扱うことができないことを理解すべきである。本システムをキャリブレーションする方法を図７に示す。

カメラ画像平面におけるレーザライン
図３および図４に示すように、本発明では、各ポインタ１１１の各光線３０１は、プロジェクタ焦点１５２およびカメラ焦点１６２に対して或る任意の固定位置において発せられるものと仮定する。システム１００が移動する３００際の、レーザポインタ１１１と表示面３１０の間の距離に応じて、カメラ画像平面４１０上のレーザライン４０１にレーザポイント３０２が投影される。レーザポインタはカメラに対して固定した関係にあるため、ライン４０１の位置は固定されている。

カメラ画像平面上のライン４０１の位置は、レーザポインタを表示面上に投影し、次にレーザポイントのカメラ画像ｐｃを取得することによって求められる７０１。このステップは、表示面から２つまたはそれ以上の異なる距離にあるレーザポインタを用いて行われて、カメラ画像ポイントｐｃｉ（ｉ＝１，．．．，ｎ）の組が取得される。次に、これらのポイントｐｃｉを通るラインｌｃを見つける７０１。

プロジェクタ画像平面におけるレーザライン
光線３０１は、プロジェクタ画像平面上のラインにも投影される。このラインの位置は、レーザポインタを表示面上に同時に投影しながら、プロジェクタから表示面上に４つのポイントｘ_ｐｉ（ｉ＝１，．．．，４）を投影することによって求めることができる７０２。対応するカメラ画像ポイントｘ_ｃｉ（ｉ＝１，．．．，４）およびレーザポイントｐ_ｃを取得する。次に、対応関係（ｘ_ｃｉ，ｘ_ｐｉ）を用いてカメラ−プロジェクタホモグラフィＨ_ｃｐを求める。ポイントｐ_ｐ＝Ｈ_ｃｐｐ_ｃを求める。このポイントｐ_ｐは、レーザポイントをプロジェクタ画像平面上に投影したものである。このステップは、２つまたはそれ以上の異なる距離にある表示面を用いて行われて、プロジェクタポイントｐ_ｐｉ（ｉ＝１，．．．，ｎ）の組が記録される。次に、これらのポイントｐ_ｐｉを通るラインｌ_ｐを見つける。

この場合、問題は、空間内のラインを効果的に観測する２つのピンホール装置に低減される。１つの平面を観測する２つのピンホール装置がポイントホモグラフィによって関連付けられるのと同様に、１本のラインを観測する２つのピンホール装置はラインホモグラフィによって関連付けられる。

図５に示すように、レーザ光線の投影は、プロジェクタ画像平面５１１上のラインｌ_ｃ５１０と、カメラ画像平面５２１上のラインｌ_ｐ５２０とによって求められる。ラインホモグラフィＧ５３０は、２つのライン５１０および５２０間のポイントの変換を記述する。

ラインホモグラフィ
図８により詳細に示すように、ラインホモグラフィＧは、レーザポインタを用いて表示面上にレーザポイントｐ_ｃを投影することによって求められる７０３。レーザポイントｐ_ｃは、カメラにより取得する８０２。

ラインｌ_ｃの位置を求める８０３。各レーザポイントｐ_ｃをラインｌ_ｃ上のポイントｐ_ｃ１ｄに投影する８０４。ここで、ｐ_ｃ１Ｄはライン上の１次元（１Ｄ）座標系で表される。

上記のステップに従って、ホモグラフィＨ_ｃｐを求め８０５、それによって、ｐ_ｐ、すなわちプロジェクタ画像平面上の各レーザポイントの投影を求める８０６。ポイントｐ_ｐをラインｌ_ｐ上のポイントｐ_ｐ１Ｄに投影する８０７。ここで、ｐ_ｐ１Ｄも同じくライン上の１Ｄ座標系で表される。このステップを、レーザポインタと表示面の間の４つまたはそれ以上の異なる距離について行い、対応するポイントｐ_ｃｉＤ、ｐ_ｐｉＤ（ｉ＝１，．．．，ｎ）の組を取得する８０８。この対応関係を用いて、２本のライン５１０および５２０間のラインホモグラフィＧを求める８０９。これらのステップをレーザポインタ１１１毎に繰り返すことができる。

表示面上のレーザポイントの任意のカメラ観測値ｘ_ｃ１ｄについてラインホモグラフィＧが得られると、ｘ_ｐ１ｄ＝Ｇｘ_ｃ１ｄ、すなわちプロジェクタ画像平面上のレーザポイントの投影を従来の技法を用いて求めることができる。

したがって、レーザポイントの観測値すなわちレーザラインを変換して、これらの観測値が事実上プロジェクタからのピンホール投影により生じるようにすることができる。本発明ではこの情報を、２つの堅固に取り付けられたピンホール装置に基づく従来技術のプロジェクタ−カメラシステムのキャリブレーション方法への入力として用いる。

本発明に従ってプロジェクタ−カメラをレーザポインタで補う主な目的は、投影画像に対する制約を回避し、カメラが検出し易いレーザスポットを表示面上に提供することである。しかし、レーザポインタの使用にはさらなる利点がある。

複数のプロジェクタ−カメラシステムを用いる場合、各システムに、異なる色、すなわち、赤色、青色、緑色等を有するレーザポインタの組を設けることができる。これにより、複数のプロジェクタが共通の表示面上に投影を行う場合に画像を区別することができる。

赤外線レーザポインタを用いて、カメラには可視であるがユーザには不可視であり、よって目立たない投影ポイントを提供することもできる。

図６に示すように、レーザポインタ６００が、センサ１９５を用い、かつミラー６０３を旋回させて表示面６０２上に垂直ライン６０１を「引く」こともできる。これは、プロジェクタ−カメラシステム１００を回転させたときに投影画像を実環境の垂直線に対して正確に位置合わせするのに有用である。

本発明を好適な実施形態の例として説明してきたが、本発明の精神および範囲内で様々な他の適用および変更を行うことができることを理解すべきである。したがって、添付の特許請求の範囲の目的は、本発明の真の精神および範囲に入るかかる変形および変更をすべて網羅することである。

本発明によるプロジェクタ−カメラシステムのブロック図である。 図１のシステムの正面図である。 異なる距離にある表面に投影されるレーザ光線の概略図である。 カメラ画像における２つのレーザポイントを通るラインの概略図である。 本発明による、プロジェクタ画像およびカメラ画像におけるラインホモグラフィの概略図である。 垂直ラインを引くレーザポインタのブロック図である。 本発明による方法のフロー図である。 図７の方法の詳細なステップのフロー図である。

Claims (1)

1. プロジェクタからのピンホール投影により表示面上のレーザポイントと関連付けられるプロジェクタ画素を求める方法であって、
   レーザポインタを用いて表示面上にレーザポイントを投影すること、
   前記レーザポインタおよびプロジェクタに対して固定した関係にあるカメラにより前記レーザポイントを映すこと、
   前記プロジェクタを用いて前記表示面上にプロジェクタポイントの組を投影すること、
   前記カメラにより前記プロジェクタポイントの組を映すこと、
   プロジェクタ画像平面における前記プロジェクタポイントと、カメラ画像平面における該プロジェクタポイントとの間の対応関係によって定義される前記カメラと前記プロジェクタの間の平面ホモグラフィを求めること、
   該平面ホモグラフィを用いることによって、前記レーザポイントを前記カメラ画像平面から前記プロジェクタ画像平面上へ投影されたレーザポイントとして変換すること、
   前記カメラ画像平面において、前記レーザポインタと前記表示面の間の距離が変化するにつれて取得される前記レーザポイントの組を通る第１のラインの位置を求めること、
   前記プロジェクタ画像平面において、前記レーザポインタと前記表示面の間の距離が変化するにつれて取得される前記投影されたレーザポイントの組を通る第２のラインの位置を求めること、
   前記レーザポイントおよび対応する前記投影されたレーザポイントを用いて前記第１のラインと前記第２のラインの間のラインホモグラフィを求めること、
   前記カメラにより次のレーザポイントを映すこと、および
   前記ラインホモグラフィを用いることによって、前記次のレーザポイントを前記プロジェクタ画像平面上で求められたライン上の１次元座標系に変換し、プロジェクタからのピンホール投影によって前記表示面上の前記次のレーザポイントに関連付けられる前記プロジェクタ画像平面上の画素の位置を求めること
   を含む、プロジェクタからのピンホール投影により表示面上のレーザポイントと関連付けられるプロジェクタ画素を求める方法。

Images