JP5338057B2 - 画像制御システム、画像制御方法、及びプログラム - Google Patents

Description

本発明は、光アドレス可能な電子ペーパの技術が含まれる環境での環境操作に関するものである。

光アドレス可能な電子ペーパは、本発明の譲受人である日本の富士ゼロックス社によって開発されてきた。光アドレス可能な電子ペーパの技術によって、感光性媒体が提供されている。この媒体は、電力が供給されたときに、光入力を受けて画像を生成する。生成された画像は、その媒体から電力が解除された後も、表示状態に維持される。例えば、媒体に電力が供給され、誰かがレーザ・ポインタを使用して電子ペーパの上に書き込みを行うと、その書き込み内容は、電力の供給が解除された後も、電子ペーパの上に表示されて残る。

同様にして、電子ペーパに電力が供給され、誰かが、例えば液晶表示（ＬＣＤ）プロジェクターを使用して電子ペーパの上に画像を投影すると、投影された画像は、電力の供給が解除された後も、電子ペーパによって表示されて残る。電子ペーパには相異なる２つのタイプがある。その１つは後方からの光によって書き込まれるものであり、もう１つは前方からの光によって書き込まれるものである。

電子ペーパの技術に関連があるさらに別の情報については、下記の非特許文献１〜４、特許文献１などを参照することができる。

IS＆T NIP17-228(2001)における、H.Arisawaらの"Photoaddressable Electronic Paper Using Cholesteric Liquid Crystal" IDW ‘02,p.1345(2002)における、T.Kakinumaらの"Black and White Photoaddressable Electronic Paper Using Encapsulated Cholesteric Liquid Crystal and Organic Photoconductor" Asia Display, p.1731(2001)における、H.Kobayashiらの"A novel Photoaddressable Electronic Paper Using Organic Photoconductor Utilizing Hydroxy Gallium Phtalocryanine as a Charge Generation Material" SID ‘01 Digest,p.362(2001)における、S.Yamamotoらの"A Novel Photoaddressable Electronic Paper Utilizing Cholesteric LC Microcapsules and Organic Photoconductor" 米国特許出願第11/243,603号 Proc. of the 5th International Conference on Automatic Face and Gesture Recognition (FG‘02). 2002における、F.Kjeldsen,C.Pinhanez,G.Pingali,J.Hartman,T.Levasらの"Interacting with Steerable Projected Displays" M.Podlaseckの"Interacting with Steerable Projected Display" IEEE Computer, pp. 56-63, January issue 2005 における、Bimber,O、Emmerling,A、及びKlemmer,Tの"Embedded Entertainment with Smart Projectors" VAN BAAR,JEROENらの"Seamless Multi-Projector Display on Curved Screens," The Eurographics Association, Eurographics Workshop on Virtual Environments(EGVE), May 2003, pp.281-286, ACM Press. BIMBER OLIVERらの"Embedded Entertainment with Smart Projectors"IEEE Computer, January 2005, pp.48-55, 0018-9162/05, IEEE Computer Society. PINHANEZ, CLAUDIO Sらの"Ubiquitous Interactive Graphics" IBM Research Report, May 17, 2002, pp.i-10, RC22495(W0205-143), IBM Research Division, New York, U.S.A. H.Arisawaらの "Photoaddressable Electronic Paper and Toner Display," IS＆T NIP20: 2004 International Conference on Digital Printing Technologies, 2004, pp.922-926, Kanagawa, Japan

例えば会議やミーティングのためなどに、「スマート・ルーム（smart room：コンピュータにより制御された部屋）」と呼ばれる環境を設ける、種々の技術が提案されてきた。その部屋におけるさまざまな場所で、さまざまな画像の表示を可能にし且つその表示を制御するために、いくつかの検討が行われてきた。１つの提案では、ＬＣＤプロジェクター、パン／チルトミラー、及びカメラが使用される。このミラーは、プロジェクターの画像を、ユーザの要望に応じて、部屋の表面、壁、又は床へ偏向させるために使用される。

この方法では、その部屋の異なる場所に画像を投影するために、１台のプロジェクターが用いられる。しかしながら、お分かりのように、プロジェクターは据付けられているため、いくつかの表示面はプロジェクターに対して傾いており、それによって、投影画像に歪みが生じることになる。それゆえ、投影画像を処理して遠近感歪みを補償することが提案されてきた。遠近感歪みの補正に関連する技術については、非特許文献５、６を参照することができるが、これは参照によってこの明細書に組み入れられる。

実際に、遠近感歪みの補正に関連する技術は、投影角を少し修正する以上に進歩してきた。壁紙の張られた壁又は窓カーテンのような現存する任意のスクリーン表面に、正しい画像を表示することができるいくつかの技術が提案されてきた。このようなプロジェクターは、人工的なキャンバスがなくても機能することができ、従って、画像をどのようにして且つどこで投影するかの決定において、ユーザにいっそうの自由度を与える。

このようなプロジェクターは、スクリーン表面及び環境についての情報を得るために、カメラのフィードバックを、構築された光投影と結び付ける。このような装置の較正によって、映像信号の修正がリアルタイムで可能になる。幾何学的情報もプロジェクター又はカメラのパラメータも、既知である必要はない。その代わりに、最新のピクセル・シェーダ・ハードウェアによってサポートされた画素当たりのレベルで、全体の較正及び補正（幾何学的配列及び色についての）が行われる。

遠近感歪みの補正に関連するさらに別の情報については、非特許文献７を参照することができるが、これは参照によってこの明細書に組み入れられる。

本発明の目的は、光アドレス可能な電子ペーパの技術を利用して、動的な画像表示環境を提供することにある。

本発明のさまざまな実施の形態による方法及びシステムによれば、光アドレス可能な電子ペーパの技術を利用するコンピュータ制御された環境が提供される。本発明のさまざまな態様では、光アドレス可能な電子ペーパの有用性及び利点を向上させるために、カメラが使用される。本発明における他のいくつかの態様では、電子ペーパ上への画像の投影を制御するために、カメラの画像が使用される。

本発明の１つの態様によれば、動的な視聴覚環境を提供するためのシステムは、部屋環境に配置され、各々が電力が供給されると光学的に投影された画像を受け入れると共に電力の供給が止められた後も投影画像を保持する特性を備えたシート状の表示面からなる複数の電子表示面（eSurface）と、複数の電子表示面のうちの任意の電子表示面上に画像を投影するために配置されたプロジェクターと、部屋環境を撮影するために配置されたカメラと、複数の電子表示面、プロジェクター及びカメラに接続された処理装置とを含んでおり、前記の処理装置は、任意の電子表示面の位置を検出するためにカメラから写真画像（picture）を受け取り、写真画像に基づいて位置決めされた任意の電子表示面上へプロジェクターの投影ビームを向けるようにプロジェクターを制御する。

前記の処理装置は、電子表示面を白色及び黒色のいずれか一方の色（例えば、白色）に変化させ、電子表示面が前記一方の色（例えば、白色）に変化している間にカメラに部屋環境の第１の写真画像を撮影するように指示し、電子表示面を前記一方の色とは異なる他方の色（例えば、黒色）に変化させ、電子表示面が前記他方の色（例えば、黒色）に変化している間にカメラに部屋環境の第２の写真画像を撮影するように指示し、第１の写真画像と第２の写真画像との間の差異を解析することによって、電子表示面の位置を決定することができる。この処理装置は、電子表示面へ第１の電気パルスを印加することによって電子表示面を白色に変化させることができ、電子表示面へ第２の電気パルスを印加することによって電子表示面を黒色に変化させることができる。

前記の処理装置は、電子表示面へ電力を供給し、電子表示面へ電力が供給されている間に、電子表示面の上に画像を投影するようにプロジェクターを制御し、電子表示面への電力供給を止め、電子表示面への電力供給が止められた後に、画像の投影を終わらせるようにプロジェクターを制御することによって、電子表示面の上に画像を書き込むことができる。

このシステムは、グラフィカル・ユーザ・インターフェイスをさらに含んでいる。グラフィカル・ユーザ・インターフェイスによって、ユーザは、電子表示面、プロジェクター、及びカメラの動作を制御することができる。グラフィカル・ユーザ・インターフェイスによって、ユーザは、画像を選択して、その画像を選択された電子表示面の画像の上にドラッグすることで、選択された電子表示面の上に画像を保護することができる。このシステムは、カメラによって撮影された写真画像（picture）とプロジェクターによって投影された画像（image）とを記憶するための記憶装置をさらに含んでいる。

前記の処理装置は、電子表示面の上に第１の画像を投影し、電子表示面が第１の画像を表示している間にカメラに部屋環境の第１の写真画像を撮影するように指示し、電子表示面に第２の画像を表示し、電子表示面が第２の画像を表示している間にカメラに部屋環境の第２の写真画像を撮影するように指示し、第１の写真画像と第２の写真画像との間の差異を解析することによって、電子表示面の位置を決定することができる。第１の画像及び第２の画像の一方は、全面黒画像（blank black image）であってもよい。第１の画像及び第２の画像の一方は、全面白画像（blank white image）であってもよい。第１の画像及び第２の画像の一方は、較正画像であってもよい。

本発明の別の態様によれば、電力が供給されると光学的に投影された画像を受け入れると共に電力の供給が止められた後も投影画像を保持する特性を備えたシート状の表示面からなる複数の電子表示面、カメラ、及びプロジェクターが部屋内に配置された会議用の部屋を操作するための画像制御方法は、その部屋に配置された前記複数の電子表示面のうちの任意の電子表示面の座標を決定するために第１の手順を実行し、プロジェクターを座標が決定された前記任意の電子表示面へ向けて、前記電子表示面の上に画像を書き込むために第２の手順を実行する。

第１の手順は、電子表示面を白色及び黒色のいずれか一方の色に変化させ、電子表示面が前記一方の色に変化している間に、カメラに部屋環境の第１の写真画像を撮影するように指示し、電子表示面を前記一方の色とは異なる他方の色に変化させ、電子表示面が前記他方の色に変化している間に、カメラに部屋環境の第２の写真画像を撮影するように指示し、第１の写真画像と第２の写真画像との間の差異を解析することからなっている。第２の手順は、電子表示面へ電力を供給し、電子表示面へ電力が供給されている間に電子表示面の上に画像を投影するようにプロジェクターを制御し、電子表示面への電力供給を止め、電子表示面への電力の供給が止められた後に画像の投影を終わらせるようにプロジェクターを制御することからなっている。

電子表示面を白色に変化させる工程は、電子表示面へ電力を供給し、電子表示面へ電力が供給されている間に電子表示面の上に全面同一色の画像を投影するようにプロジェクターを制御し、電子表示面への電力供給を止め、電子表示面の電力が切断された後に画像の投影を終わらせるようにプロジェクターを制御することからなっている。電子表示面を黒色に変化させる工程は、電子表示面へ電力を供給し、電子表示面へ電力が供給されている間に部屋を暗くし、電子表示面への電力供給を止めることからなっている。

電子表示面を白色に変化させる工程は、電子表示面へ第１の電気パルスを印加する工程を有しており、電子表示面を黒色に変化させる工程は、電子表示面へ第２の電気パルスを印加する工程を有している。

また、第１の手順は、電子表示面の上に第１の画像を投影し、電子表示面が第１の画像を表示している間にカメラに部屋環境の第１の写真画像を撮影するように指示し、電子表示面の上に第２の画像を投影し、電子表示面が第２の画像を表示している間にカメラに部屋の第２の写真画像を撮影するように指示し、第１の写真画像と第２の写真画像との間の差異を解析することから構成してもよい。第１の画像及び第２の画像の一方は、較正画像であってもよい。

また、本発明のプログラムは、電力が供給されると光学的に投影された画像を受け入れると共に電力の供給が止められた後も投影画像を保持する特性を備えたシート状の表示面からなる複数の電子表示面、カメラ、及びプロジェクターが部屋内に配置された会議用の部屋を操作するための環境操作システムを制御するプログラムであって、コンピュータにより、その部屋に配置された前記複数の電子表示面のうちの任意の電子表示面の座標を決定するための第１の手順と、プロジェクターを座標が決定された電子表示面へ向けて、画像を前記電子表示面の上に書き込むための第２の手順と、を実行させる。

本発明によれば、光アドレス可能な電子ペーパの技術を利用して、動的な画像表示環境が提供される。カメラを使用したことで、光アドレス可能な電子ペーパの有用性及び利点が向上する。カメラの画像を使用することで、電子ペーパ上への画像の投影を制御することができる。

図１は、一般的な部屋１００、例えばオフィス、教室、会議室などを図示している。その部屋では、電子ペーパの表示面（eSurface：電子表示面）を、例えば１１０，１２０，１３０など、壁のどこにでも取り付けることができる。あるいは、電子表示面を、例えば１４０など、会議の間における個人情報シートとして、机上にさえ取り付けることができる。この開示の文脈の範囲内で、「電子表示面」とは、電力が供給されると光学的に投影された画像を受け入れると共に電力の供給が止められた後も投影画像を保持する特性を有している任意のシート状の表示面をいう。これらの電子表示面は、電子ペーパが軽量であるため、容易に移動させることができる。

加えて、電子表示面はコンテンツが変更されるときに電力が要求されるにすぎないので、それらは、従来の電子スクリーンを置き換えるためだけでなく、サイン、ロゴ、及びアートワークのような比較的静的なコンテンツについてのディスプレイとしても、使用することができる。とりわけ、教室及び会議室のような共有空間については、その部屋におけるディスプレイのコンテンツを迅速かつ容易に変更する機能に顕著な魅力がある。

公式な雰囲気から非公式な雰囲気に迅速に変更することのできる「会社の会議室」、会社のロゴ及び製品ポスターを各々のプレゼンテーションの間に直ちに変更することのできる「コンベンションセンターの部屋」、あるいは、側面ディスプレイが、数学であろうと日本語であろうと、その授業に適しているコンテンツを設定するように更新される「共有教室」を想定することができる。

これらの設定の各々において、いくつかの電子表示面は、会議を通じて同じコンテンツを保持することができ、他の電子表示面は、その部屋に居るかあるいは離れた所に居るプレゼンター又は他の参加者のコントロール下で変化するコンテンツを表示するために、使用することができる。

電子表示面１１０，１２０，１３０，及び１４０の各々には、適切な電力供給源（図示せず）が設けられている。電力供給源は、送電線網（パワー・グリッド）であってもよく、電池（バッテリ）であってもよい。最良の結果をもたらすためには、すべての電子表示面への電力供給は、この明細書では図１及び図２を参照して説明されるように、制御パネル又は中央処理装置によって制御することができるものでなければならない。

図１に示されたように、天井の中央のような中心位置に、カメラ１６０が設けられている。このカメラ１６０は、サーボモータのような機械的手段、又は折り畳み式ミラー及びレンズのような光学的手段のいずれかによって、その部屋における任意の電子表示面を捕らえるように、設置されている。さらに、プロジェクター１５０が、中心位置、例えば天井の中央に設けられている。また、プロジェクター１５０は、サーボモータのような機械的手段、又は折り畳み式ミラー及びレンズのような光学的手段のいずれかによって、その部屋における任意の電子表示面に投影することができるように、設置されている。図１に示された構成を制御するための１つの実施の形態は、図２に示されている。

図２は、本発明の１つの実施の形態に係る「スマート・ルーム」のための制御システムの説明図である。図２において、中央処理装置２７０が、カメラ２６０、プロジェクター２５０、及び制御パネル２８０の動作を制御する。制御パネル２８０は、例えば電子表示面２１０などのすべての電子表示面への電力供給を制御する。このようにして、中央処理装置２７０は、任意の電子表示面へ、個々に、同時に、あるいは所望により任意に組み合わせて、電力を供給し且つ電力供給を止めることができる。お分かりのように、制御パネル２８０は、ここでは中央処理装置２７０から分離された要素として示されているが、代わりに、中央処理装置２７０に一体化されるように、中央処理装置２７０の中へ組み込まれていてもよい。

中央処理装置２７０は、また、個々に、同時に、又は所望により任意に組み合わされた、任意の電子表示面２１０に画像を投影するように、プロジェクター２５０に指示を行うこともできる。中央処理装置２７０は、個々に、同時に、又は所望により任意に組み合わされた、任意の電子表示面２１０の画像を取得するために、さらにカメラ２６０を制御する。単に、中央処理装置２７０へ接続された１つのプロジェクター２５０及び１つのカメラ２６０が図示されているが、任意の数のプロジェクターやカメラを接続することができる。また、これらは中央処理装置２７０によって制御することができる。例えば、後方投影の付加的な実施例を図示するために、後方投影プロジェクター２５０’が破線で図示されている。

図１及び図２に例示されたシステムの使用を開始するためには、部屋に存在するすべての電子表示面を、このシステムによって「位置決め（設置）」する必要がある。位置決めを行うために、このシステムは図３に示されたプロセスに従う。このプロセスはステップ３１０で開始される。

ステップ３１０では、中央処理装置２７０の指示により、すべての電子表示面が黒色に変化する。これらの電子表示面は、部屋が暗いときにそれらに書き込みを行うことによって、容易にすべてを黒色にすることができる。すなわち、電子表示面へ電力を供給し、かつ、制御パネル２８０を使用して部屋のすべての明かりを消すことによって、容易にすべてを黒色にすることができる。その後、電子表示面への電力供給を止めて、明かりを点けることができる。この時点で、電子表示面には、黒色面画像が維持されている。もちろん、他の方法を使用して、存在するすべての電子表示面を黒色面にすることができる。

その後、ステップ３２０で、中央処理装置２７０の指示により、カメラ２６０が部屋全体の１枚の写真画像又は多数枚の写真画像を撮影する。

ステップ３３０では、コントローラの指示により、すべての電子表示面が白色に変化する。このことは、部屋がきわめて明るく照明されているときに、それらの電子表示面に書き込みを行うことによって、実施することができる。あるいは、プロジェクター２５０を使用して電子表示面の上に明るい光を単に投影することによって、実施することができる。すなわち、電子表示面への電力は部屋が明るく照明されているときに供給され、その後に電子表示面への電力供給を止める。

ステップ３４０では、中央処理装置２７０の再度の指示により、カメラ２６０が部屋全体の１枚の写真画像又は多数枚の写真画像を撮影する。

ステップ３５０では、中央処理装置２７０は、画像間での相違を得るために、１枚の写真画像を他の写真画像から差し引く。これによって、すべての電子表示面がどこに位置しているかを決定する。

以上の説明では、電子表示面を黒色又は白色へ変化するとの記述は、それらの電子表示面のすべてが、共に、同時に、あるいは所望により任意に組み合わされて、変化させられると共に、電子表示面の画像がその後でそれに応じて撮影される、という状況が含まれることを理解すべきである。また、全面白画像（blank white image）のような全面同一色の画像を単に書き込むよりも、較正画像のような特定の画像を投影する方が、このシステムがそれぞれの電子表示面の方位をより良く解読することができるようになる。

さらに、印加された電圧を使用して、電子表示面を白色又は黒色に変化させることも可能である。より具体的に説明すると、例えば、コレステリック液晶を表示層として用いた電子ペーパの場合には、ＯＰＣ（organic photo conductor：有機光導電体）の応答時間にわたって高周波パルスを使用することで、液晶層の表示状態を電圧印加された領域内で一様にすることができ、この結果、任意の環境光度の下で黒色又は白色を書き込むことができる。１つの電子表示面の実施の形態によれば、周波数は数百Ｈｚであってよく、また、必要な電圧は、黒色については４００Ｖであり、白色については６５０Ｖである。

各々の電子表示面についての「差異の検出（differentiation）」及び「パラメータの決定」のプロセスは、図４におけるイラストを参照した以下の説明から理解することができる。図４は、本発明の１つの実施の形態に係る「差異画像（difference image）」を図示している。ここで、電子表示面４３０の投影は、面４３０’によって図示されたように、電子表示面４３０が長方形であるという仮定に基づいて算出される。そのような直線構成の電子表示面については、まず、黒色領域の４つの角（corner）Ａ，Ｂ，Ｃ及びＤが決定される。

元の画像（ａ，ｂ，ｃ，ｄ）は、（ａ，ｂ，ｃ，ｄ）が（Ａ，Ｂ，Ｃ，Ｄ）になるように歪まされることで、投影の前に変換される。１つの実施の形態によれば、その電子表示面は平坦であると仮定される。この場合には、演算は簡単な相似変換である。（ａ，ｂ，ｃ，ｄ）における任意の点ｐ（ｘ，ｙ）には、（Ａ，Ｂ，Ｃ，Ｄ）における点Ｐ（Ｘ，Ｙ）が対応している。Ｐは線分［Ｘ，Ｚ］と線分［Ｙ，Ｔ］との交点である。この明細書では慣習どおり、小文字が線分、例えば「ｘｄ」の長さを表し、一方、大文字がベクトル、例えば「ＤＸ」を表している、ということに留意すべきである。また、定義については、図４を参照すべきである。

ｔ＝ｘｄ／ｃｄ及びｖ＝ｄｙ／ｄａとすると、

Ｘの座標はＤＸ＝ｔＤＣ（ベクトル）によって与えられ、
Ｙの座標はＤＹ＝ｖＤＡ（ベクトル）によって与えられ、
Ｚの座標はＡＺ＝ｔＡＢ（ベクトル）によって与えられ、
Ｔの座標はＣＴ＝ｖＣＢ（ベクトル）によって与えられる。

Ａ，Ｂ，Ｃ，Ｄの座標は既知であるので、Ｘ，Ｙ，Ｚ，Ｔの座標は演算することができる。また、Ｐは（ＸＺ）と（ＹＴ）との交点である。

逆に、投影画像の各点Ｐについては、元の画像における対応座標を逆変換によって演算することができる。投影画像におけるすべての画素を走査して、元の画像におけるその対応画素値を検出することがより良い。その理由は、元の画像におけるすべての画素が投影画像における画素へマップされないと、投影画像に隙間を生じさせるからである。非直線構成であって湾曲した表示面については、これらの線に沿ったいっそう複雑な方法が使用される。

時には、カメラ２６０及びプロジェクター２５０が、電子表示面の全体を認識しないことがある。例えば、左側の電子表示面における真の左端部は死角となり、真の端部［ＡＤ］は認識されない。この場合には、写真画像の中における最も左の黒色列を見ることで、仮想的な端部［ＡＤ］が定義される。同じことが最も右の電子表示面にも当てはまる。この方法では、電子表示面の一部は、プロジェクターのビームが全領域に到達することができないにもかかわらず、なお「印刷可能（printable）」である。

もし、プロジェクターからの光を使用することなく、１つの電子表示面を白色に変化させるために充分に明るい光を達成することが困難であるときには、電子表示面を移動させる前に、容易に設置される電子表示面をプロジェクターで照明して、電子表示面を白色へ変化させることを、想定することができる。代わりに、その電子表示面に最も直前に投影された画像が記録されると共に、黒色に変化しており且つ以前に投影画像を有していた電子表示面を検索することによって、電子表示面が設置される。同じように、カメラは、電子表示面が会議の途中に移動されるのに応じて、位置情報を更新するために使用することができる。

ある表示面がいったん設置されると、プロジェクターからの距離を判定し、かつ、それが傾いているか、そうでないときには歪んでいるかどうかを決定することのできる「設定パターン」を、電子表示面の上に投影することができる。このような検知によって、プロジェクターは、補正された量の光強度で、各々の電子表示面へ書き込みを行うことができる。場合によっては、電子表示面の異なる部分に対し光強度を変えて、書き込みを行うことができる。同じように、投影された画像を、電子表示面の傾き又は歪みを考慮に入れて修正することができる。

例えば、画像に歪みがまったく無いことを検証するために、又はいかなる歪みも防止するために必要とされるさらに別の変換を計算するために、「チェッカー盤パターン」を較正画像として投影することができる。チェッカー盤パターンによれば、このパターンにおけるそれぞれの正方形の目（square）が９０度の角度を有していることをチェックすることができるので、歪みについての容易なチェックが可能になる。また、そのようなパターンによれば、カメラによって観察されたように、それぞれの目が同じ光度を有するはずなので、輝度（brightness）についての容易なチェックも可能になる。もちろん、チェッカー盤画像の代わりに、あるいはそれに加えて、他の較正画像を使用することも可能である。

すべての電子表示面の画像を得るために、従来の任意の技術を使用することができる。例えば、すべての壁上に配置された電子表示面、可能であればテーブルトップ上などに配置された電子表示面の位置を決めるために、１つのシングルカメラ２６０の中へ組み込まれた多数のレンズを使用することができる。代わりに、（例えば、ステップモータを使用することで）回転させることができ且つ傾けることができるカメラの場合には、多数のカメラ又は１つのシングルレンズカメラ２６０を使用することができる。

電子表示面を位置決めすると共にそれらの位置を更新するために使用されるカメラ２６０は、プロジェクターと干渉する障害物（occlusion）を検知するためにも使用することができる。もし障害物が検知されると、中央処理装置２７０は、例えばプロジェクター２５０又はプロジェクター２５０の任意の光学素子の回転あるいは移動によって、その障害物を回避するようにプロジェクターを作動させることができるかどうかを演算する。

ある画像を１つ以上のスクリーンに投影する必要があるときには、図５に示すプロセスを、中央処理装置２７０によって実行することができる。ステップ５１０では、中央処理装置２７０は、プロジェクターを適当な電子表示面へ向ける。これは、サーボモータを用いるなど、プロジェクターを物理的に回転させることによって行うことができる。あるいは、レンズ及びミラーのような光学素子によるなど、光学的手段によって行うことができる。中央処理装置２７０は、その後、ステップ５２０で、画像を投影すべき電子表示面へ電力を供給するために、制御パネル２８０に指示をする。

ステップ５３０では、コントローラは、前記画像を選択された電子表示面の上に投影するために、プロジェクター２５０へ電力を供給する。一旦、画像が電子表示面へ「書き込まれ」ると、中央処理装置２７０は制御パネル２８０に指示をして、ステップ５４０で、電子表示面への電力供給を止め、次いでステップ５５０で、プロジェクター２５０への電力供給を止める。

ステップ５６０では、コントローラは、別の画像を投影するかどうかを決定する。この画像は、別の電子表示面上の同じ画像でもよく、同じ電子表示面上の別の画像でもよく、あるいは別の電子表示面上の別の画像でもよい。とにかく、書き込まれる別の画像があると、このプロセスはステップ５１０へ戻る。ステップ５１０では、別の画像を投影するための同じ電子表示面であるにしろ、同じ画像又は別の画像を投影するための別の電子表示面であるにしろ、プロジェクターが適当な電子表示面へ向けられる。ステップ５６０で、投影される画像がないときには、このプロセスは終了する。

電子表示面は、種々の目的のために使用することができると共に、電力が供給されている間又はその供給が止められている間に画像保持する機能を巧みに使用することによって「マルチタスク処理（multi-tasking）」を提供することができる。１つの例は図６に提示されている。図６は、異なる時間に電子表示面の上に投影された２つの画像を表示するために、電子表示面が利用される実施の形態を図示している。すなわち、図６の例では、電子表示面６００は、プレゼンテーション、例えばパワーポイント・プレゼンテーション６２０を投影するための白色スクリーンとして使用されるが、また、ロゴ６１０を表示するためにも使用される。

例えば、電子表示面がコンベンションセンターにおいて使用される場合には、ロゴ６１０は、プレゼンテーション６２０のプレゼンターのロゴへ容易に変更することができる。これは以下のようにして行われる。まず、図５のプロセスが１回実行されて、ロゴが電子表示面の上へ投影される。図５のプロセスの第１回目の実行の終わりに、電子表示面は、図６に示されたようにロゴ６１０を表示する。残りの表示面は単に白色である。お分かりのように、このことは、図６に示されたように、電子表示面と同じサイズの白色の長方形であり、隅にロゴを有している画像を、電子表示面の上に投影することによって行われる。

さて、電子表示面への電力供給が止められた状態では、電子表示面は、図６に図示されたように、プレゼンテーション６２０を投影するための白色スクリーンとして使用することができる。電力供給が止められたままなので、プレゼンテーション６２０の画像は電子表示面へ書き込まれることがなく、ロゴはそれが上書きされるまで保持される。言うまでもないが、電子表示面の更新が不要であるため、プレゼンテーション６２０は、ビデオのような動的コンテンツでもよい。どちらかというと、その表示面は単にブランク・スクリーンとして使用される。

図７は、本発明の１つの実施の形態に係るグラフィカル・ユーザ・インターフェイスを図示している。図７のユーザ・インターフェイスは、予めプログラムされた汎用目的のコンピュータ（ＰＣ又はＭａｃ）上で実施することができる。あるいは、特別に設計されたハードウェアを使用して、実施することができる。このユーザ・インターフェイスは、プロジェクター７５０、カメラ７６０、及びすべての電子表示面７１０〜７４０を備えた部屋の画像を表示するために、作成することができる。部屋の画像は、２次元又は３次元の正面画像、モデル、スケッチなどであってもよい。このユーザ・インターフェイスは、プロジェクター７５０、カメラ７６０、及び電子表示面７１０〜７４０を制御するための制御装置（controls）を含んでいてもよい。

例示として、アイコン７０５は、カメラをオン・オフするための、写真画像を撮影するための、あるいはズーム、露出などのカメラの種々の制御を可能にするメニューを開くための「トグル・ボタン」であってもよい。同じような制御装置を、プロジェクター７５０及び電子表示面７１０〜７４０のために設けることができる。加えて、制御装置は、部屋の明かりを点灯／消灯し又は調光し、部屋の温度を制御し、かつ、機械式シェードを制御するなど、部屋の環境を制御するためにも、設けることができる。例として、アイコン７１５は部屋の明かりの制御を可能にするが、他のそのようなアイコンを、他の部屋制御のために設けることができる。

同様にして、いくつかのアイコンは、このシステムへ接続された周辺装置の制御を可能にするために設けることができる。例えば、アイコン７２５は、会議の映像及び音声のような情報を記憶し、プロジェクター７５０によって投影された画像を保存し、カメラ７６０によって撮影された写真画像を保存するための「記憶用周辺装置」の制御を可能にする。アイコン７３５は、プリンタ、ファックス機、又は多機能コピー機（複合機）の制御を可能にする。アイコン７０５のように、他のアイコンのいずれも、さらに別の制御（control）及び機能（feature）を可能にするメニューを開くために、作成されうる。

図７に図示されたもう１つの特徴は、電子表示面７１０〜７４０の各々に表示されたコンテンツを制御する参加者の操作性（ability）である。この例では、電子表示面の上に投影することができる種々のコンテンツは、例えば７４５，７５５，７６５，及び７７５のように、グラフィカル・ユーザ・インターフェイスの側部に表示されている。これらのコンテンツの各々は、ラップトップ・コンピュータ、サーバ、ビデオ会談システムなど、このシステムへ接続されたさまざまなソースから得ることができる。ユーザがコンテンツを投影することを希望するときには、ユーザは、所望の画像を電子表示面の所望の画像の上にドラッグすることができる。

例示として、ユーザが、このシステムへ接続されたラップトップ上に、パワーポイント・プレゼンテーションを有しているときには、パワーポイント・プレゼンテーションの第１のスライドは、グラフィカル・ユーザ・インターフェイス上に、例えば７４５として表示することができる。ユーザが、ユーザ自身のプレゼンテーションを開始し、かつそれをメインの電子表示面７２０に表示することを望むときには、ユーザは、画像７４５を電子表示面７２０の上にドラッグすることができる。この時点で、このシステムが、図５に例示されたプロセスに従って、プレゼンテーションの第１のスライドを電子表示面７２０の上に「書き込む」。

一方、投影されるコンテンツが動的なものであるときには、電子表示面７２０をプレゼンテーション投影のための白色スクリーンにするために、このシステムは、図６に関して説明されたプロセスに単に従うことができる。

このユーザ・インターフェイスは、また、電子表示面以外の他のディスプレイの上に、コンテンツをドラッグしてドロップする方法を提供している。例えば、部屋には大型のタッチ・スクリーンが存在していてもよい。ユーザ・インターフェイスの初期設定の際に、カメラはそのディスプレイの位置を検出して、それをユーザ・インターフェイスに示すこともできる。ユーザは、コンテンツをタイプの異なる表示面（ディジタル・スクリーン、又は電子表示面）のいずれかに、都合よく移動させることができる。ユーザがコンテンツを特別な領域の上にドラッグすると、このシステムは、表示面がディジタル・ディスプレイであるかどうかを検知し、ディジタル・ディスプレイの場合には、コンテンツを表示するためにディスプレイを直接制御する。ディジタル・ディスプレイでない場合には、このシステムは、プロジェクターをこの電子表示面へ向ける。

図７に図示されたユーザ・インターフェイスは、参加者の各々によってカスタマイズ可能にすることもできる。また、参加者の視点から、電子表示面の位置を示すことができる。場合によっては、種々のディスプレイに表示されたコンテンツは、カメラによって撮影された写真画像及びオプションのマイクロホンによって記録された音声と共に、取り込むことができる。取り込まれたすべての情報は、アイコン７２５によって図示されたような記憶装置に記憶することができる。このアーカイブによって、会議の間に何がどこでいつ起こったかの完全な内容（view）が提供される。

このように、この明細書には本発明のある実施の形態だけが特別に説明されているが、本発明の精神及び範囲から逸脱することなく、無数の修正を行うことができることは明らかである。さらに、ある用語は、この明細書及び特許請求の範囲の読みやすさを単に高めるために、交換可能に使用されてきた。このことは使用された用語の普遍性を損なうことを意図するものではないことに留意すべきである。また、それらの用語は、特許請求の範囲の保護範囲をこの明細書に記載された実施の形態に制限するように解釈すべきではない。

なお、電子ペーパ技術に関連する別の情報については、（１）IS$T NIP17~228(2001)における H.Arisawaらの“Photoaddressable Electronic Paper Using Cholesteric Liquid Crystal”、（２）IDW‘02,p.1345(2002)におけるT.Kakinumaらの“Black and White Photoaddressable Electronic Paper Using Encapsulated Cholesteric Liquid Crystal and Organic Photoconductor”、（３）Asia Display, p.1731(2001)におけるH.Kobayashiらの“A novel Photoaddressable Electronic Paper Using Organic Photoconductor Utilizing Hydroxy Gallium Phtalocryanine as a Charge Generation Material”、（４）SID‘01 Digest,p.362(2001)におけるS.Yamamotoらの“A Novel Photoaddressable Electronic Paper Utilizing Cholesteric LC Microcapsules and Organic Photoconductor”、（５）米国特許出願第11/243,603号、を参照することができるが、これらはすべて、全体としてこの明細書に組み入れられる。

光書き込み型の電子ペーパーは、一対の電極間に光導電層と表示層とが積層され、一対の電極に電圧が印加された状態で光導電層に書き込み光が照射されることで照射部分の電圧が低下し、液晶層に印加される分圧が増加することによって、表示層に電圧が印加され、これにより表示状態が変化することによって画像表示がなされるものである。特に表示層をメモリ性（一対の電極間への電圧の印加を止めても表示層の状態が変化せず、画像が保持される）を有するもので構成されており、その一例としてコレステリック液晶や、帯電粒子を空間に密閉した構成のトナーディスプレイ、帯電粒子を液体中に分散させ移動後の基板への付着性を高めた電気泳動素子などがある。

また、遠近感歪みの補正に関連する技術については、（６）Proc. of the 5th International Conference on Automatic Face and Gesture Recognition (FG’02). 2002におけるF.Kjeldsen,C.Pinhanez,G.Pingali,J.Hartman,T.Levas、（７）M.Podlaseckの“Interacting with Steerable Projected Display"、を参照することができるが、これは参照によってこの明細書に組み入れられる。さらに別の情報については、（８）IEEE Computer, pp. 56~63, January issue 2005 におけるBimber,O、Emmerling,A、（９）Klemmer,Tの"Embedded Entertainment with Smart Projectors"、を参照することができるが、これは、参照によってこの明細書に組み入れられる。

本発明の１つの実施の形態に係る「スマート・ルーム」を表す説明図である。 本発明の１つの実施の形態に係るスマート・ルームのための制御システムを表す説明図である。 本発明の１つの実施の形態に係る制御システムによって実行されるプロセスを表すブロック図である。 本発明の１つの実施の形態に係る差異画像を例示する図である。 本発明の１つの実施の形態に係る、電子表示面へ画像を投影するためのプロセスを表すフローチャートである。 電子表示面が、異なる時間にその電子表示面上に投影される多数枚の画像を表示するために利用される実施の形態を表す。 本発明の１つの実施の形態に係るグラフィカル・ユーザ・インターフェイスを表す。

符号の説明

１００ 部屋
１１０，１２０，１３０，１４０ 電子表示面
１５０ プロジェクター
１６０ カメラ
２００ システム
２１０ 電子表示面
２５０ プロジェクター
２５０' 後方投影プロジェクター
２６０ カメラ
２７０ 中央処理装置
２８０ 制御パネル
４００ 部屋
４３０ 電子表示面
４３０' 面
６００ 電子表示面
６１０ ロゴ
６２０ プレゼンテーション
７０５，７１５ ，７２５，７３５ アイコン
７１０，７２０ ，７３０，７４０ 電子表示面
７４５ 画像
７５０ プロジェクター
７６０ カメラ

Claims (21)

1. 部屋環境に配置され、各々が電力が供給されると光学的に投影された画像を受け入れると共に電力の供給が止められた後も投影画像を保持する特性を備えたシート状の表示面からなる複数の電子表示面と、
   前記複数の電子表示面のうちの任意の電子表示面上に画像を投影するために配置されたプロジェクターと、
   部屋環境を撮影するために配置されたカメラと、
   前記複数の電子表示面、前記プロジェクター及び前記カメラに接続され、前記任意の電子表示面の位置を検出するために前記カメラから写真画像を受け取り、前記写真画像に基づいて位置決めされた前記任意の電子表示面上へ前記プロジェクターの投影ビームを向けるように前記プロジェクターを制御する処理装置と、
   を含む画像制御システム。
2. 前記処理装置は、
   電子表示面を白色及び黒色のいずれか一方の色に変化させ、
   電子表示面が前記一方の色に変化している間に、カメラに部屋環境の第１の写真画像を撮影するように指示し、
   電子表示面を前記一方の色とは異なる他方の色に変化させ、
   電子表示面が前記他方の色に変化している間に、カメラに部屋環境の第２の写真画像を撮影するように指示し、
   第１の写真画像と第２の写真画像との間の差異を解析する、
   ことによって、電子表示面の位置を決定することを特徴とする、
   請求項１に記載の画像制御システム。
3. 前記処理装置は、電子表示面へ第１の電気パルスを印加することによって電子表示面を白色に変化させると共に、電子表示面へ第２の電気パルスを印加することによって電子表示面を黒色に変化させることを特徴とする、
   請求項２に記載の画像制御システム。
4. 前記処理装置は、
   電子表示面へ電力を供給し、
   電子表示面へ電力が供給されている間に、電子表示面上に画像を投影するようにプロジェクターを制御し、
   電子表示面への電力供給を止め、
   電子表示面の電力が切断された後に、画像の投影を止めるように前記プロジェクターを制御することによって、
   前記電子表示面上に画像を書き込むことを特徴とする、
   請求項１に記載の画像制御システム。
5. 前記電子表示面、前記プロジェクター、及び前記カメラの動作を制御するための前記グラフィカル・ユーザ・インターフェイスを備える請求項１に記載の画像制御システム。
6. 画像を選択して、その画像を選択された電子表示面の上に投影することを可能にするためのグラフィカル・ユーザ・インターフェイスを備える請求項５に記載の画像制御システム。
7. 前記グラフィカル・ユーザ・インターフェイスは、ユーザが、画像を選択して、その画像を選択された電子表示面の画像の上にドラッグすることで、選択された電子表示面上で画像が書き込まれることを可能にする、請求項６に記載の画像制御システム。
8. カメラによって撮影された写真画像とプロジェクターによって投影された画像とを記憶するための記憶装置をさらに備えたことを特徴とする、請求項１に記載の画像制御システム。
9. 前記処理装置は、
   電子表示面の上に第１の画像を投影し、
   電子表示面が前記第１の画像を表示している間に、カメラに部屋環境の第１の写真画像を撮影するように指示し、
   電子表示面に第２の画像を表示し、
   電子表示面が前記第２の画像を表示している間に、カメラに部屋環境の第２の写真画像を撮影するように指示し、
   第１の写真画像と第２の写真画像との間の差異を解析する、
   ことによって、電子表示面の位置を決定することを特徴とする、
   請求項１に記載の画像制御システム。
10. 前記第１の画像及び前記第２の画像の一方は、全面黒画像であることを特徴とする、請求項９に記載の画像制御システム。
11. 前記第１の画像及び前記第２の画像の一方は、全面白画像であることを特徴とする、請求項９に記載の画像制御システム。
12. 前記第１の画像及び前記第２の画像の一方は、較正画像であることを特徴とする、請求項９に記載の画像制御システム。
13. 電力が供給されると光学的に投影された画像を受け入れると共に電力の供給が止められた後も投影画像を保持する特性を備えたシート状の表示面からなる複数の電子表示面、カメラ、及びプロジェクターが部屋内に配置された会議用の部屋を操作するための画像制御方法であって、
    その部屋に配置された前記複数の電子表示面のうちの任意の電子表示面の座標を決定するために第１の手順を実行し、
    プロジェクターを座標が決定された前記任意の電子表示面へ向けて、前記電子表示面の上に画像を書き込むために第２の手順を実行する、
    画像制御方法。
14. 前記第１の手順は、
    電子表示面を白色及び黒色のいずれか一方の色に変化させ、
    電子表示面が前記一方の色に変化している間に、カメラに部屋環境の第１の写真画像を撮影するように指示し、
    電子表示面を前記一方の色とは異なる他方の色に変化させ、
    電子表示面が前記他方の色に変化している間に、カメラに部屋環境の第２の写真画像を撮影するように指示し、
    第１の写真画像と第２の写真画像との間の差異を解析する、
    ことからなることを特徴とする、請求項１３に記載の画像制御方法。
15. 前記第２の手順は、
    電子表示面へ電力を供給し、
    電子表示面へ電力が供給されている間に、電子表示面の上に画像を投影するようにプロジェクターを制御し、
    電子表示面への電力供給を止め、
    電子表示面の電力が切断された後に、画像の投影を止めるように前記プロジェクターを制御する、
    ことからなっている、請求項１３に記載の画像制御方法。
16. 前記電子表示面を白色に変化させる工程は、
    電子表示面へ電力を供給し、
    電子表示面へ電力が供給されている間に、電子表示面の上にブランク画像を投影するようにプロジェクターを制御し、
    電子表示面への電力供給を止め、
    電子表示面の電力が切断された後に、画像の投影を止めるように前記プロジェクターを制御する、
    ことからなることを特徴とする、請求項１４に記載の画像制御方法。
17. 前記電子表示面を黒色に変化させる工程は、
    電子表示面へ電力を供給し、
    電子表示面へ電力が供給されている間に、部屋を暗くし、
    電子表示面への電力供給を止める、
    ことからなることを特徴とする、請求項１４に記載の画像制御方法。
18. 電子表示面を白色に変化させる工程は電子表示面へ第１の電気パルスを印加する工程を
    有すると共に、電子表示面を黒色に変化させる工程は電子表示面へ第２の電気パルスを印
    加する工程を有することを特徴とする、請求項１４に記載の画像制御方法。
19. 前記第１の手順は、
    電子表示面の上に第１の画像を投影し、
    電子表示面が前記第１の画像を表示している間に、カメラに部屋環境の第１の写真画像
    を撮影するように指示し、
    電子表示面の上に第２の画像を投影し、
    電子表示面が第２の画像を表示している間に、カメラに部屋環境の第２の写真画像を撮
    影するように指示し、
    第１の写真画像と第２の写真画像との間の差異を解析する、
    ことからなることを特徴とする、請求項１３に記載の画像制御方法。
20. 前記の第１画像及び第２画像の一方は、較正画像であることを特徴とする、請求項１９に記載の画像制御方法。
21. 電力が供給されると光学的に投影された画像を受け入れると共に電力の供給が止められた後も投影画像を保持する特性を備えたシート状の表示面からなる複数の電子表示面、カメラ、及びプロジェクターが部屋内に配置された会議用の部屋を操作するための環境操作システムを制御するプログラムであって、
    コンピュータにより、
    その部屋に配置された前記複数の電子表示面のうちの任意の電子表示面の座標を決定するための第１の手順と、
    プロジェクターを座標が決定された前記任意の電子表示面へ向けて、画像を前記電子表示面の上に書き込むための第２の手順と、
    を実行させるためのプログラム。

Images