JP4595313B2

JP4595313B2 - 撮像表示装置及び方法、画像送受信システム

Info

Publication number: JP4595313B2
Application number: JP2003385549A
Authority: JP
Inventors: 祐介阪井; 偉国呉
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-11-14
Filing date: 2003-11-14
Publication date: 2010-12-08
Anticipated expiration: 2023-11-14
Also published as: JP2005149127A

Description

本発明は、例えばテレビ会議システム或いはテレビ電話システム等に適用され、ネットワークを介して画像を双方向で送受信する画像送受信システム、並びに送受信する画像を撮像して、窓ガラスと同様な空間接続効果を得るためにこれを再構成する撮像表示装置及び方法に関する。

テレビ電話システムやテレビ会議システム等に代表されるように、複数のユーザが互いに離れた場所から相手の表示像を視認しながら遠隔対話するシステムが提案されている。このようなシステムでは、相手の表示像をディスプレイ上に表示するとともに、当該ディスプレイを視認するユーザを撮影対象として撮像し、得られた画像信号を公衆回線、専用回線等のネットワークを介して相手側の端末装置へ送信することにより、双方のユーザに対し臨場感を持たせることが可能となる。

従来におけるテレビ会議システムでは、ディスプレイの中心付近に写し出される相手の表示像を視認するユーザを、ディスプレイ上部にあるカメラにより撮像するため、ユーザが下を向いた状態の画像が相手側のディスプレイ上に表示されることになる。このため、実際にディスプレイを視認するユーザ間において視線が不一致の状態で対話がなされることになり、互いに違和感を与えてしまうという問題がある。

理想的には、相手の表示像が写し出されるディスプレイの中心付近にカメラを設置すれば、双方のユーザの視線を一致させた状態で対話を実現することができる。しかしながら、かかるディスプレイの中心付近にカメラを設置することは物理的に困難である。

このような視線不一致に関する問題点を解決すべく、例えばハーフミラーを用いてカメラの向きと表示画面を合わせるテレビ電話装置（例えば、特許文献１参照。）、光透過状態と光散乱状態を制御できるスクリーンとプロジェクタを用いて時系列で表示と撮像を行う画像表示／制御装置（例えば、特許文献２参照。）、ホログラムスクリーンとプロジェクタを用いることにより、表示と撮像の双方を同時に実現できる撮像機能付き表示装置（例えば、特許文献３参照。）が提案されている。

また、視線と顔の位置に応じて相手側のカメラの光軸を制御することにより、表示画面と視線を一致させる双方向通信システム、端末装置及び制御方法が提案されている（例えば、特許文献４参照。）。

また、ディスプレイの両側に配置された複数のカメラにより撮影された入力画像に基づいて被写体の３次元情報を抽出し、抽出した３次元情報と受信者の視点位置に関する情報に応じて被写体の出力画像を再構成し、これを相手側のディスプレイへ表示させる画像処理装置が提案されている（例えば、特許文献５参照。）。この画像処理装置では、一直線上に配置された複数のカメラ映像から生成されたエピポーラ平面画像を用いて画面中心の仮想視点カメラ映像を合成することにより、利用者の視線を一致させて臨場感の高いコミュニケーションを実現することができる。

また、観察者の視点位置に合わせた画像を入力された画像群より切り替えて表示し、観察者の視点位置に応じた画像を表示する画像処理方法及びその装置（例えば、特許文献６参照。）も提案されている。この画像処理方法等においても、対応点の探索を容易化すべく、同様にエピポーラ平面画像を用いることができる。
また、ＴＶ会議で互いの視線を一致させるべく、画面の左右に設置された２台のカメラで撮影した画像に基づいて３次元位置情報を生成する画像通信装置（例えば、特許文献７参照。）も提案されている。

ところで、上述したテレビ会議システムでは、撮影現場に配設されたカメラにより撮像したカメラ視野内の画像を、異なる地点に設置された表示装置に伝送して表示させるシステムである。このため、当該表示装置に対するユーザの視認方向が変化する場合においても、表示される画像の内容は同一であるため、あたかも絵画を見ているような印象を与えてしまうという問題点もあった。

このため、ネットワークを介して離れた２つの空間に窓状撮像表示装置をそれぞれ設置することにより、それらの空間が窓を通じて１つにつながっているかのように感じさせるシステムが特に近年において提案されている（例えば、特許文献８参照。）。

一般に窓ガラスを通して反対側にある物を視認する場合には、例えば図１６に示すように窓ガラス面の位置（ｘ、ｙ）に角度（θ°、φ°）で入射した光は、そのパネルの同じ位置から角度（１８０°−θ、１８０°−φ°）で出射するようになっている。即ち、窓ガラスと同様な空間接続効果を得るためには、入射される光につき、角度（θ°、φ°）毎に輝度レベルを識別し、これら識別した輝度レベルを入射角（θ°、φ°）と関連付けて表示側に伝送する。そして表示側パネルの上記（ｘ、ｙ）に対応する位置から入射角（θ°、φ°）と１８０°位相のずれた光を識別した輝度レベルで出射する。

上記特許文献８において提案されている窓状撮像表示装置では、例えば図１７に示すように、撮像表示パネルを２枚背中合わせにして配置する。この図１７において、上側のパネルについては、撮像素子が形成されている部分を示し、下側のパネルについては表示素子が形成されている部分を示している。ちなみに、この撮像素子、表示素子共に同じ大きさの半球型の突出面表面に形成されている。

ここで入射光が図中矢印で示されるように右上方から左下方に向かって入ると、撮像表示パネルの半球型突出面上の右方向の対応する撮像素子に入射する。入射光の入射位置は、半球型突出面に番号（アドレス）を付しておくことにより特定することができ、入射角度はその突出面上の撮像素子の位置によって検出することができる。

同図においては、ｋ行ｊ列にマトリックス配列された撮像素子群を構成する半球型突出面のａ行目の（ｂ−１）,（ｂ）,（ｂ＋１）列目の突出面Ｃａ１〜Ｃａｙが表示パネルＴ１（上側）に形成されている。また、ｋ行ｊ列マトリックス配列された表示素子群を構成する半球型突出面のａ行目の（ｊ−ｂ＋２）、（ｊ−ｂ＋１）、（ｊ−ｂ）列目の突出面Ｌａ１〜Ｌａｙが表示パネルＴ２（下側）に形成されている。各表示パネルＴ１,Ｔ２は、互いに別々の場所Ｗ１、Ｗ２に設けられるようにしてもよい。

図１８は、半球型突出面に形成された表示素子群を詳細に示したものである。この図１８(a)に示すように、半球型突出面上には撮像素子と表示素子の双方を搭載した撮像素子と表示素子の集成体として構成されている。また、これら撮像素子・表示素子集成体は、半球型突出面にＬＣＤ等で表示素子を形成し、その上を光透過性の層で覆い、さらにその上を仮想の表示素子と重ならないようにＣＣＤ等で撮像素子を形成し、隣接する撮像素子と表示素子を一対の素子として扱うようにしたものである。

この表示素子を通過した光は、図１８(b)に示すように直進するため、どのアドレスにある表示素子から出射された光であるかを識別することにより、その出射方向が特定されることになる。また図１８(c)は、かかるＬＣＤ表示素子の駆動回路を示しており、レジスタＲＧ１に駆動する表示素子の位置データをセットし、またレジスタＲＧ２に走査データをセットする。

また、上述した素子集成体を撮像表示パネル上に配列する例として、例えば図１９に示すように、撮像素子集成体Ｃ_１１〜Ｃ_ｋｊと表示素子集成体Ｌ_１１〜Ｌ_ｋｊとを別々に形成する２素子タイプと、撮像素子と表示素子を１つの集成体として形成させた撮像表示素子Ｄ_１１〜Ｄ_ｋｊからなる１素子タイプに大別されるが、何れのタイプを採用する場合においても、同タイプの各撮像表示パネルをネットワークを介して２つの異なる地点に設置することにより、光の入射される撮像素子のアドレスを識別することにより入射角を判別し、さらに入射される光につき輝度レベルを識別してこれを互いに送受信することができる。また表示素子から出射させる光の輝度レベル、出射各を相手側から受信した輝度レベル、入射角に合わせることにより、理想的な空間接続効果を得ることができ、これらをテレビ電話、テレビ会議システムへ応用することもできる。

特開昭６１−６５６８３号公報特開平４−１１４８５号公報特開平９−１６８１４１号公報特開２０００−８３２２８号公報特開２００１−５２１７７号公報特開平７−２９６１３９号公報特開平７−９９６４４号公報特開２００２−３００６０２号公報

しかしながら、上記特許文献８記載の窓状撮像表示装置では、撮像表示パネル上に表示素子と同数の撮像素子を配置する必要があるため、信号配線が複雑化し、また製造の難易度が向上するという問題点があった。また、表示素子から撮像素子に至るまでの光漏洩が生じる結果、上述した空間接続効果を高効率に得ることができないという問題点もあった。

そこで、本発明は上述した問題点に鑑みて案出されたものであり、窓ガラスと同様な空間接続効果を得るための画像送受信システム、撮像表示装置及び方法において、特に撮像素子を省略することで装置構成の簡素化を図ることにより、製造の容易化を期待することができる撮像表示装置及び方法、画像送受信システムを提供することを目的とする。

本発明は、上述した問題点を解決するために、表示部の周囲に配設された少なくとも３台のカメラにより撮影対象を互いに異なる視点から撮像し、少なくとも上記各カメラにより撮像した各画像の法線方向を一方向に合わせることにより補正し、補正した各画像間において撮影対象と関連させつつ画素位置毎に対応付けを行い、仮想的に設置される仮想カメラにおける光学中心の各カメラに対する相対的な位置関係を示す相対位置情報を生成し、互いに対応付けした画素位置並びにその輝度成分から上記生成した相対位置情報に応じて、上記仮想カメラにより生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求め、求めた画素位置並びにその輝度成分により構成される仮想視点画像をネットワークを介して送信し、ネットワークを介して他の電子機器において生成された仮想視点画像を受信し、受信した仮想視点画像を構成する各画素位置に応じて表示部における出射方向を指定し、仮想視点画像を構成する各画素位置における輝度成分に応じた光を、上記表示部から上記指定した出射方向へ出射することにより、表示部に撮像素子を形成させることなく空間接続効果を得る。

即ち本発明を適用した撮像表示装置は、半球型突出面に複数の表示素子が形成された突出部が二次元配列され、各突出部に形成された表示素子に割り当てられたアドレスを選択して、画素位置における輝度成分に応じた光を指定された出射方向へ出射することにより画像を表示する表示手段と、上記表示手段の周囲に配設された少なくとも４台のカメラにより撮影対象を互いに異なる視点から撮像する撮像手段と、仮想的に設置される仮想カメラにおける光学中心の上記各カメラに対する相対的な位置関係を示す相対位置情報を生成する情報生成手段と、少なくとも上記各カメラにより撮像された各画像の法線方向を一方向に合わせる画像補正手段と、上記画像補正手段により補正された各画像間において、上記撮影対象と関連させつつ画素位置毎に対応付けを行うマッチング手段と、上記マッチング手段により互いに対応付けされた画素位置並びにその輝度成分から、上記生成された相対位置情報に応じて、上記仮想カメラにより生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める画像生成手段と、上記画像生成手段により求められた画素位置並びにその輝度成分により構成される仮想視点画像を他の電子機器へ送信し、又は当該他の電子機器により生成された仮想視点画像を受信する送受信手段と、上記送受信手段により受信された仮想視点画像を構成する各画素位置に応じて、上記表示手段において二次元配列された突出部毎に表示素子のアドレスを選択し、画素位置の輝度成分に応じた出射光を各表示素子により出射するように、上記表示手段を制御する表示処理手段とを備え、上記画像補正手段は、上記情報生成手段により生成された相対位置情報に基づいて、４台のカメラの中から、３台のカメラを２組選択し、選択した組毎に、３台のカメラにより撮像された各画像の法線方向を仮想的に設定された仮想平面へ射影するための射影変換行列を求め、求めた射影変換行列に基づいて各画像の法線方向を上記仮想平面の法線方向に合わせて、各組毎に合わせた法線方向が異なるときは、互いの組で共通して選択していない１台のカメラにより撮像され上記射影変換行列に基づいて射影された画像の法線方向と同一方向となるように、他の３台のカメラにより撮像され上記射影変換行列に基づいて射影された画像の各法線方向を補正する。

また、本発明を適用した撮像表示装置は、少なくとも４台のカメラにより撮影対象を互いに異なる視点から撮像する撮像手段と、半球型突出面に複数の表示素子が形成された突出部が二次元配列され、各突出部に形成された表示素子に割り当てられたアドレスを選択して、画素位置における輝度成分に応じた光を指定された出射方向へ出射することにより画像を表示する表示手段と、仮想的に設置される仮想カメラにおける光学中心の上記各カメラに対する相対的な位置関係を示す相対位置情報を生成する情報生成手段と、少なくとも上記各カメラにより撮像された各画像の法線方向を一方向に合わせる画像補正手段と、上記画像補正手段により補正された各画像間において、上記撮影対象と関連させつつ画素位置毎に対応付けを行うマッチング手段と、上記マッチング手段により互いに対応付けされた画素位置並びにその輝度成分から、上記生成された相対位置情報に応じて、上記仮想カメラにより生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める画像生成手段と、上記画像生成手段により求められた仮想視点画像を構成する各画素位置に応じて、上記表示手段において二次元配列された突出部毎に表示素子のアドレスを選択し、画素位置の輝度成分に応じた出射光を各表示素子により出射するように、上記表示手段を制御する表示処理手段とを備え、上記画像補正手段は、上記情報生成手段により生成された相対位置情報に基づいて、４台のカメラの中から、３台のカメラを２組選択し、選択した組毎に、３台のカメラにより撮像された各画像の法線方向を仮想的に設定された仮想平面へ射影するための射影変換行列を求め、求めた射影変換行列に基づいて各画像の法線方向を上記仮想平面の法線方向に合わせて、各組毎に合わせた法線方向が異なるときは、互いの組で共通して選択していない１台のカメラにより撮像され上記射影変換行列に基づいて射影された画像の法線方向と同一方向となるように、他の３台のカメラにより撮像され上記射影変換行列に基づいて射影された画像の各法線方向を補正する。

即ち、本発明を適用した撮像表示方法は、半球型突出面に複数の表示素子が形成された突出部が二次元配列され、各突出部に形成された表示素子に割り当てられたアドレスを選択して、画素位置における輝度成分に応じた光を指定された出射方向へ出射することにより画像を表示する表示部の周囲に配設された少なくとも４台のカメラにより撮影対象を互いに異なる視点から撮像する撮像ステップと、仮想的に設置される仮想カメラにおける光学中心の上記各カメラに対する相対的な位置関係を示す相対位置情報を生成する生成ステップと、少なくとも上記各カメラにより撮像した各画像の法線方向を一方向に合わせることにより補正する画像補正ステップと、上記画像補正ステップにより補正した各画像間において上記撮影対象と関連させつつ画素位置毎に対応付けを行うマッチングステップと、上記マッチングステップにより互いに対応付けした画素位置並びにその輝度成分から、上記情報生成ステップにより生成した相対位置情報に応じて、上記仮想カメラにより生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める画像生成ステップと、上記画像生成ステップにより求めた画素位置並びにその輝度成分により構成される仮想視点画像をネットワークを介して送信する送信ステップと、上記ネットワークを介して他の電子機器において生成された仮想視点画像を受信する受信ステップと、上記受信ステップにより受信した仮想視点画像を構成する各画素位置に応じて、上記表示部において二次元配列された突出部毎に表示素子のアドレスを選択し、画素位置の輝度成分に応じた出射光を各表示素子により出射するように、上記表示部を制御する表示処理ステップとを有し、上記画像補正ステップでは、上記情報生成ステップにより生成された相対位置情報に基づいて、４台のカメラの中から、３台のカメラを２組選択し、選択した組毎に、３台のカメラにより撮像された各画像の法線方向を仮想的に設定された仮想平面へ射影するための射影変換行列を求め、求めた射影変換行列に基づいて各画像の法線方向を上記仮想平面の法線方向に合わせて、各組毎に合わせた法線方向が異なるときは、互いの組で共通して選択していない１台のカメラにより撮像され上記射影変換行列に基づいて射影された画像の法線方向と同一方向となるように、他の３台のカメラにより撮像され上記射影変換行列に基づいて射影された画像の各法線方向を補正する。

また、本発明を適用した画像送受信システムは、各撮像表示装置により撮像した画像をネットワークを介して双方向で送受信する画像送受信システムであって、上記撮像表示装置は、半球型突出面に複数の表示素子が形成された突出部が二次元配列され、各突出部に形成された表示素子に割り当てられたアドレスを選択して、画素位置における輝度成分に応じた光を指定された出射方向へ出射することにより画像を表示する表示手段と、上記表示手段の周囲に配設された少なくとも４台のカメラにより撮影対象を互いに異なる視点から撮像する撮像手段と、仮想的に設置される仮想カメラにおける光学中心の上記各カメラに対する相対的な位置関係を示す相対位置情報を生成する情報生成手段と、少なくとも上記各カメラにより撮像された各画像の法線方向を一方向に合わせる画像補正手段と、上記画像補正手段により補正された各画像間において、上記撮影対象と関連させつつ画素位置毎に対応付けを行うマッチング手段と、上記マッチング手段により互いに対応付けされた画素位置並びにその輝度成分から、上記生成された相対位置情報に応じて、上記仮想カメラにより生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める画像生成手段と、上記画像生成手段により求められた画素位置並びにその輝度成分により構成される仮想視点画像を上記ネットワークを介して相手側の撮像表示装置へ送信し、又は相手側の撮像表示装置により生成された仮想視点画像を上記ネットワークを介して受信する送受信手段と、上記送受信手段により受信された仮想視点画像を構成する各画素位置に応じて、上記表示手段において二次元配列された突出部毎に表示素子のアドレスを選択し、画素位置の輝度成分に応じた出射光を各表示素子により出射するように、上記表示手段を制御する表示処理手段とを有し、上記画像補正手段は、上記情報生成手段により生成された相対位置情報に基づいて、４台のカメラの中から、３台のカメラを２組選択し、選択した組毎に、３台のカメラにより撮像された各画像の法線方向を仮想的に設定された仮想平面へ射影するための射影変換行列を求め、求めた射影変換行列に基づいて上記各画像の法線方向を上記仮想平面の法線方向に合わせて、各組毎に合わせた法線方向が異なるときは、互いの組で共通して選択していない１台のカメラにより撮像され上記射影変換行列に基づいて射影された画像の法線方向と同一方向となるように、他の３台のカメラにより撮像され上記射影変換行列に基づいて射影された画像の各法線方向を補正する。

本発明を適用した撮像表示装置及び方法、画像送受信システムは、撮像素子を省略することで装置構成の簡素化を図ることにより、製造の容易化を期待しつつ、窓ガラスと同様な空間接続効果を効率よく得ることができる。

以下、本発明を実施するための最良の形態について図面を参照しながら詳細に説明する。

本発明を適用した画像送受信システム１は、例えば図１に示すように、互いに異なるＡ,Ｂ地点に設置された各撮像表示装置２ａ,２ｂにより撮像した画像をネットワーク５０を介して双方向で送受信することにより、互いに離れた場所から相手の表示像を視認しながら遠隔対話するシステムである。

Ａ地点に設置される撮像表示装置２ａは、撮影対象としてのユーザａを互いに異なる視点から撮像する８台のカメラ１１ａ〜カメラ１８ａからなる撮像カメラ群１０ａと、Ｂ地点側で撮像されたユーザｂの画像をユーザａに対して表示するためのディスプレイ５ａと、撮像カメラ群１０ａより撮像された各画像Ｐａ１〜Ｐａ８に基づいて仮想視点画像Ｉｍａを生成する撮像信号処理部６ａと、撮像信号処理部６ａにおいて生成された仮想視点画像Ｉｍａを相手側の撮像表示装置２ｂへ送信し、又は当該撮像表示装置２ｂにより生成された仮想視点画像Ｉｍｂを受信する送受信部７ａと、送受信部７ａにより受信された仮想視点画像Ｉｍｂを構成する各画素位置に応じてディスプレイ５ａにおける出力方向を指定する表示信号処理部８ａとを備えている。

Ｂ地点に設置される撮像表示装置２ｂは、撮影対象としてのユーザｂを互いに異なる視点から撮像する８台のカメラ１１ｂ〜カメラ１８ｂからなる撮像カメラ群１０ｂと、Ａ地点側で撮像されたユーザａの画像をユーザｂに対して表示するためのディスプレイ５ｂと、撮像カメラ群１０ｂより撮像された各画像Ｐｂ１〜Ｐｂ８に基づいて仮想視点画像Ｉｍｂを生成する撮像信号処理部６ｂと、撮像信号処理部６ｂにおいて生成された仮想視点画像Ｉｍｂを相手側の撮像表示装置２ａへ送信し、又は当該撮像表示装置２ａにより生成された仮想視点画像Ｉｍａを受信する送受信部７ｂと、送受信部７ｂにより受信された仮想視点画像Ｉｍａを構成する各画素位置に応じてディスプレイ５ｂにおける出力方向を指定する表示信号処理部８ｂとを備えている。

撮像カメラ群１０ａを構成するカメラ１１ａ〜１８ａは、入射される被写体像を電気信号に変換した撮像信号に基づいてそれぞれ画像Ｐａ１〜Ｐａ８を生成する。また、撮像カメラ群１０ｂを構成するカメラ１１ｂ〜１８ｂは、入射される被写体像を電気信号に変換した撮像信号に基づいてそれぞれ画像Ｐｂ１〜Ｐｂ８を生成する。

撮像カメラ群１０ａ，１０ｂは、図２に示すようにディスプレイ５ａ，５ｂの周囲に配設される。カメラ１１ａ,ｂは、それぞれユーザａ,ｂ側から見てディスプレイ５ａ,５ｂの左上側面に設置され、カメラ１２ａ,１２ｂは上側面に、カメラ１３ａ,１３ｂは右上側面に、カメラ１４ａ,１４ｂは左側面に、カメラ１５ａ,１５ｂは右側面に、カメラ１６ａ,１６ｂは左下側面に、カメラ１７ａ,１７ｂは下側面に、更にカメラ１８,１８ｂは右下側面に設置される。これら撮像カメラ群１０ａ,１０ｂは、撮影方向、撮影画角が固定された状態で設置されるが、各ユーザａ,ｂからの入力される情報に基づき、これらを自在に変更するようにしてもよい。ちなみに撮像カメラ群１０を構成するカメラ１１〜１８は少なくとも３台であればいかなる台数で構成してもよい。

なお、上記仮想視点画像Ｉｍａ,Ｉｍｂは、図２に示す撮像カメラ群１０ａ,１０ｂとの位置関係において、ディスプレイ５ａ,５ｂの斜線で示される表示画面上の各位置において仮想的に設置された仮想カメラにより撮像される画像に相当する。即ち、仮想カメラの設置位置は、この表示画面上であれば任意に設定することができる。仮想視点画像Ｉｍａ,Ｉｍｂの生成方法については後において詳細に説明する。

ディスプレイ５ａ,５ｂは、それぞれネットワーク５０を介して相手側地点から供給される仮想視点画像Ｉｍａ,Ｉｍｂに基づく画像を、例えば液晶表示面を介して表示する。このディスプレイ５ａ,５ｂにおける液晶表示面は、多数の液晶表示素子等からなり、各仮想視点画像Ｉｍａ,Ｉｍｂに基づく出力信号に応じて液晶表示素子を光変調させてユーザに表示する画像を作り出す。

撮像信号処理部６ａ,６ｂは、撮像カメラ群１０ａ，１０ｂにより得られた画像につき処理を施すための集積回路である。この各撮像表示装置２ａ,２ｂの詳細な構成については後述する。

ネットワーク５０は、撮像表示装置２ａ,２ｂと電話回線を介して接続されるインターネット網を始め、ＴＡ／モデムと接続されるＩＳＤＮ（Integrated Services Digital Network）／Ｂ（broadband）−ＩＳＤＮ等のように、情報の双方向送受信を可能とした公衆通信網である。ちなみにこの通信システム１を、一定の狭いエリア内で運用する場合には、このネットワーク７を、ＬＡＮ（Local Area Network）で構成してもよい。さらにこのネットワーク７は、動画像を送信する場合には、インターネットプロトコル（ＩＰ）に基づき、例えばＭＰＥＧ（Moving Picture Experts Group）データを始めとする動画像がある一つのチャネルから継続的に送信される。また静止画像を送信する場合には、動画像を送信するチャネルとは別のチャネルから一定時間毎に送信されることになる。

なお、このネットワーク５０には、端末装置５１、データ蓄積装置５２並びにデータ配信装置５３を接続してもよい。

この端末装置５１は、例えばパーソナルコンピュータ等で構成され、各撮像表示装置２ａ,２ｂから送信される画像につき所望の処理を加える。また、この端末装置５１は、ネットワーク５０を介して撮像表示装置２ａ,２ｂを遠隔制御する。

データ蓄積装置５２は、ネットワーク５０を介して送信される画像を蓄積するストレージである。また、このデータ蓄積装置５２は、蓄積した画像を端末装置５１や撮像表示装置２の要求を受けて事後的に読み出すようにしてもよい。

データ配信装置５３は、例えばインターネット情報を管理し、撮像表示装置２や端末装置５１に対して、自身に格納してある所定のコンテンツ情報の配信等を行う。

送受信部７ａ,７ｂは、上述したネットワーク５０における通信規格、プロトコルに基づいて、撮像信号処理装置６ａ,６ｂから供給される仮想視点画像Ｉｍａ,Ｉｍｂを送信するために必要な信号処理を施して、これをネットワーク５０を介して相手側の撮像表示装置２へ伝送する。また、この送受信部７ａ,７ｂは、ネットワーク５０を介して相手側から送信された仮想視点画像Ｉｍａ,Ｉｍｂにつき、復調などの通信信号処理を施してこれを表示信号処理部８ａ,８ｂへ出力する。

表示信号処理部８ａ,８ｂは、送受信部７ａ,７ｂからの仮想視点画像Ｉｍａ,Ｉｍｂにつき、増幅、信号解凍等の処理を施す。また、この表示信号処理部８ａ,８ｂは、仮想視点画像Ｉｍａ,Ｉｍｂを構成する輝度レベル等を読み取り、図示しない映像インターフェースを介してディスプレイ５ａ,５ｂの液晶表示素子を光変調するように制御する。

次に、ディスプレイ５ａ（５ｂ）の構成について図３を用いて説明をする。

ディスプレイ５ａは、画像を表示する表示面として、図３（ａ）に示すような表示パネル６１を採用する。この表示パネル６１には、半球型の突出部６２が一面に亘って形成され、更に突出部６２の表面上には多数の表示素子６３が形成されている。この突出部６２は、Ｘ行Ｙ列にマトリックス配列されて形成されている。

図３（ｂ）は、これらマトリックス配列されたＸ行Ｙ列の突出部６２のうち、ａ行に配列された突出部６２の断面図を示している。（ｂ＋２）、（ｂ＋１）、ｂ列に形成された各突出部６２上の表示素子から出射光を出射する。

図３（ｃ）は、これら突出部６２の詳細な構成を示している。この半球状の突出部６２の頂部から底部にかけて表示素子６３がｍ段に亘って階層的に配列されている。頂部には一つの表示素子６３が形成され、出射光の出射角のピッチに応じて底部に至るまでの段数ｍが決められている。また、各段において形成される表示素子６３の数ｎは、１段目からｍ段目にかけて順次段階的に増加する数とする。なお、この突出部６２では、各表示素子６３に対して、いずれの配列において形成されているかを示すアドレスを割り振るようにしてもよい。

この表示素子６３を通過した光は、図３（ｄ）に示すように直進するため、どのアドレスにある表示素子６３から出射された光であるかを識別することにより、その出射方向を容易に特定することができる。

ちなみに、これら突出部６２の視野角θｄは、図４に示すように、カメラ１１〜１８の撮像角θｃと同等となるように設計される。これにより、カメラ１１〜１８より得られた仮想視点画像を突出部６２からの出射光を介して復元する際に、これを効率よく実行することができる。ちなみに、θｄ、θｃ＜１８０°を満たすように設計される。

次に、撮像信号処理部６の構成につき、撮像信号処理部６ａを例にとり説明をする。

撮像信号処理部６ａは、図５に示すように、接続されたカメラ１１ａ〜１８ａより画像Ｐａ１〜Ｐａ８が供給される補正部２０と、この補正部２０に接続されるマッチング部２９と、さらにこのマッチング部２９に接続される仮想視点画像生成部３０と、各カメラ１１ａ〜１８ａに対するユーザａの相対的な位置関係を示す情報を生成する情報生成部３３とを備えている。

補正部２０は、カメラ１１ａ〜１８ａから送信される各画像Ｐａ１〜Ｐａ８につき幾何学的な画像補正を施すための幾何学的画像補正部４１ａ〜４８ａと、これら幾何学的画像補正部幾何学的画像補正部４１ａ〜４８ａにより画像補正が施された画像を正規化するための正規化処理部２４とを備えている。

幾何学的画像補正部４１ａ〜４８ａは、カメラキャリブレーション部２６から送信される、上記カメラ１１ａ〜１８ａの幾何学的な位置関係を含む制御情報に基づいて、各画像Ｐａ１〜Ｐａ８を補正する。このカメラ１１ａ〜１８ａの幾何学的な位置関係は、上述したカメラキャリブレーション部２６から送信される制御情報においてパラメータ化されていてもよい。また、各カメラ１１ａ〜１８ａの撮影方向及び／又は撮影画角を変更しつつ撮像を実行する場合には、カメラキャリブレーション部２６においてこれらをパラメータ化し、画像を補正する際にこれらのパラメータを制御情報に含めるようにしてもよい。これにより、幾何学的画像補正部４１ａ〜４８ａは、各カメラ１１ａ〜１８ａの撮影方向及び／又は撮影画角に応じてリアルタイムに画像補正することができる。

なお、このカメラキャリブレーション部２６は、同様にカメラ１１ａ〜１８ａの各レンズにおける色収差や歪み、光軸のずれをパラメータ化し、これらを各補正部２０へ送信するようにしてもよい。

正規化処理部２４は、各幾何学的画像補正部４１ａ〜４８ａにおいて補正された画像がそれぞれ供給され、これらにつき幾何学的正規化処理を施す。この正規化処理部２４は、各カメラにより撮像された各画像Ｐａ１〜Ｐａ８のうち、３台のカメラを選択し、選択した３台のカメラにより撮像された各画像の法線方向を合わせる。即ち、この正規化処理部２４は、各画像Ｐａ１〜Ｐａ８の法線方向を仮想的に設定された仮想平面πの法線方向に合わせることによりこれを正規化した正規化画像Ｐｍ１〜Ｐｍ８を生成する。かかる場合において、正規化処理部２４は、各カメラ１１ａ〜１８ａにより撮像された各画像Ｐａ１〜Ｐａ８を上記仮想平面πへ射影するための射影変換行列を求め、求めた射影変換行列に基づいて上記各画像の法線方向を上記仮想平面πの法線方向に合わせる。

ちなみに、カメラキャリブレーション部２６は、カメラ１１ａ〜１８ａとしていわゆる固定視点カメラを適用する場合には、予めカメラキャリブレーション部２６により画像Ｐａ１〜Ｐａ８の法線方向を取得するようにしてもよい。また、各カメラ１１ａ〜１８ａの撮影方向及び／又は撮影画角を変更しつつ撮像を実行する場合には、カメラキャリブレーション部２６においてこれらをパラメータ化し、画像を正規化する際にこれらのパラメータを制御情報に含めるようにしてもよい。これにより、ユーザａ,ｂの位置に応じて撮影方向等を順次変更しつつ撮像を行う場合においても柔軟に対応することができる。

図６は、かかるカメラキャリブレーション方法につき説明するための図である。カメラ１１ａ〜１８ａの全面から予め定められた距離ｚの位置に教示用画像パターン９２を設置する。この教示用画像パターン９２は、例えばチェッカパターン等のような特殊なパターンが形成されており、各チェッカのサイズは既知であるものとする。これら教示用画像パターン９２に対して、カメラ１１ａ〜１８ａにより互いに異なる視点から撮像を実行し、歪み補正を行った後に撮像されるチェッカパターン画像において、個々のチェッカのサイズが同一となるようにカメラ位置、撮影方向、ズーム等を調整する。

また、このカメラキャリブレーション部２６において、これらのパラメータを図示しないＲＯＭやＲＡＭへ格納しておくことにより、補正部２０は、状況に応じて随時これらを参照することができ、高速な補正処理を実現することができる。またカメラキャリブレーション部２６は、上記カメラ１１ａ〜１８ａから画像Ｐａ１〜Ｐａ８が供給される度にこれらのパラメータを求めることにより、各幾何学的画像補正部４１〜４８において精度の高い補正処理を実現することができる。

マッチング部２９は、補正部２０における正規化処理部２４において生成された正規化画像Ｐｍ１〜Ｐｍ８がそれぞれ供給される。このマッチング部２９は、これら正規化画像Ｐｍ１〜Ｐｍ８につき、互いに対応付けする。

この対応付けは、ユーザａの顔を構成する同一の箇所にある画素位置と輝度成分を正規化画像Ｐｍ１〜Ｐｍ８間で抽出して対応をとるようにする。例えば正規化画像Ｐｍ１,Ｐｍ２,Ｐｍ３を構成する画素につき対応付けを施す場合には、例えば図７に示すように、正規化画像Ｐｍ１上にある画素位置Ｐ１１に対して、正規化画像Ｐｍ２上において同一の箇所に存在する画素位置Ｐ１１’をその対応点として特定し、更に正規化画像Ｐｍ３上において同一の箇所に存在する画素位置Ｐ１１’’をその対応点として特定する。かかる場合において、正規化画像Ｐｍ１上にある画素位置Ｐ１１と、正規化画像Ｐｍ２上にある画素位置Ｐ１１’とを対応付けする際に、正規化画像Ｐｍ３上の画素情報を参照する形で実行するようにしてもよい。

即ち、このマッチング部２９では、正規化処理部２４において正規化された正規化画像Ｐｍ１,Ｐｍ２,Ｐｍ３において、撮影対象と関連させつつ、画素位置毎に対応付けを行う。ちなみにマッチング部２９は、この対応付けにつき特徴抽出した箇所のみについて実行してもよいし、正規化画像Ｐｍ１,Ｐｍ２,Ｐｍ３を構成する全ての画素に対して実行してもよい。

情報生成部３３は、生成すべき情報をユーザａのディスプレイ５ａに対する視線方向に基づいて生成してもよい。かかる場合において情報生成部３０は、カメラ１１ａ〜１８ａから供給される画像Ｐａ１〜Ｐａ８からユーザａの視線方向を取得し、これに基づいてユーザａの位置に関する情報を生成する。また情報生成部３３は、図示しないキーボードやマウス等の操作部を介して入力された情報に基づき、ユーザａの位置に関する情報を生成するようにしてもよい。

仮想視点画像生成部３０は、マッチング部２９により互いに対応付けされた画素位置並びにその輝度成分がそれぞれ入力される。また、仮想視点画像生成部３０は、互いに対応付けされた画素位置並びにその輝度成分から、新たに生成すべき仮想視点画像Ｉｍａを構成する画素位置並びにその輝度成分を求める。このとき仮想視点画像生成部３０は、情報生成部３３より生成された相対位置情報に応じて、仮想視点画像Ｉｍａを構成する画素位置並びにその輝度成分を求めてもよい。この相対位置情報は、仮想的に設置される仮想カメラにおける光学中心の各カメラ１１〜１８に対する相対的な位置関係を示すものであり、上述した情報生成部３３において生成される。仮想視点画像生成部３０は、求めた画素位置並びにその輝度成分により構成される仮想視点画像Ｉｍａを送受信部７ａへ送信する。

次に、この撮像表示装置２における具体的な動作につき説明をする。

この撮像表示装置２では、以下に説明する空間接続効果を得るための処理動作を実行する。この空間接続効果とは、例えば図８に示すように、壁で仕切られた隣接する２つの場所Ｗ１と場所Ｗ２の壁面に窓６７が設置されており、場所Ｗ２に載置された対象物Ｄ,Ｅ,Ｆを場所Ｗ１にいるユーザＡ,Ｂ,Ｃが窓６７を介して視認する場合を仮定する。かかる場合において、ユーザＡは、対象物Ｆを中心とした情景を窓６７を介して視認することができ、またユーザＢは、対象物Ｄ,Ｅ,Ｆが全て写し出される情景を窓６７を介して視認することができ、さらにユーザＣは、対象物Ｄを中心とした情景を窓６７を介して視認することができる。

即ち、空間接続効果とは、これら窓６７を介して対象物を視認する場合と同等の効果が得ることをいう。一般にこのような空間接続効果を得るためには、例えば図９（ａ）に示すように窓ガラス面の任意の点（ｘ、ｙ）に角度（θ°、φ°）で入射した光を、そのパネルの同じ位置から角度（１８０°−θ、１８０°−φ°）で出射するように制御すればよい。

また、例えば図９（ｂ）に示すように、入射面６８が場所Ｗ１’にあり、また出射面６９が場所Ｗ２’にある場合において、場所Ｗ１’と場所Ｗ２’とが互いに遠隔の地にあるときであっても理論的に同様の空間接続効果を得ることができる。即ち、入射面６８における任意の点（ｘ、ｙ）において、入射される光につき入射角（θ°、φ°）毎に輝度レベルを識別し、これら識別した輝度レベルを入射角（θ°、φ°）と関連付けて表示側に伝送する。そして、表示側パネルの上記（ｘ、ｙ）に対応する点（ｘ’、ｙ’）から入射角（θ°、φ°）と１８０°位相のずれた光を、上記識別した輝度レベルで出射する。

従って、窓ガラスと同様な空間接続効果を有する表示面を作成するためには、入射面に撮像機能を持たせ、入射面上の全ての点において入射される光につき入射角（θ°、φ°）毎に輝度レベルを識別する必要がある。本発明を適用した撮像表示装置２では、これら入射面における撮像機能を、ディスプレイ５ａ,５ｂの周囲に配設された撮像カメラ群１０ａ(１０ｂ)に担わせる。

この撮像カメラ群１０ａ(１０ｂ)を構成するカメラ１１ａ〜１８ａは、撮影対象としてのユーザを互いに異なる視点から撮影する。その結果、カメラ１１ａ〜１８ａにより生成される画像Ｐａ１〜Ｐａ８上のユーザａの視線方向、顔の向き等は、互いに異なる状態となる。このような画像Ｐａ１〜Ｐａ８がそれぞれ補正部２０における正規化処理部２４へ供給されると、これらは、以下に示される方法に基づいて正規化されることになる。

図１０は、各カメラ１１ａ〜１８ａのうち、選択した３台のカメラ１１ａ,１２ａ,１３ａにより撮像した画像Ｐａ１, Ｐａ２, Ｐａ３につき正規化する場合を示している。

この図１０に示されるように、各カメラ１１ａ,１２ａ,１３ａの光学中心Ｃ１,Ｃ２,Ｃ３により互いに異なる視点から撮影対象のＭ点へ光軸を合わせて撮像を行うと、これにより生成される画像Ｐａ１,Ｐａ２,Ｐａ３は、各カメラ１１ａ,１２ａ,１３ａの撮像面に対して平行となる。ここで各カメラ１１ａ,１２ａ,１３ａと、Ｍ点を結ぶ直線の方向は、各カメラにより撮像された各画像Ｐａ１,Ｐａ２,Ｐａ３の法線方向ｋ１,ｋ２,ｋ３に一致するが、これらは互いに異なる方向を指している。これら各画像Ｐａ１,Ｐａ２,Ｐａ３の法線方向ｋ１,ｋ２,ｋ３が同一方向となるように幾何学的正規化を行うことにより、画像面が互いに平行な正規化画像Ｐｍ１,Ｐｍ２,Ｐｍ３を作り出す。

この幾何学的正規化は、カメラ補正パラメータ１３により予め求められた射影行列Ｐ１,Ｐ２,Ｐ３を用いて、カメラ内部パラメータＡ１,Ａ２,Ａ３、回転行列Ｒ１,Ｒ２,Ｒ３、転移行列Ｔ１,Ｔ２,Ｔ３を推定することにより実現する。その結果、補正後の画像撮像面の法線方向ｋ１’,ｋ２’,ｋ３’が平行化された正規化画像Ｐｍ１,Ｐｍ２,Ｐｍ３が生成されることになる。

ちなみに、この幾何学的正規化を施す場合には、光学中心Ｃ１,Ｃ２,Ｃ３により囲まれる仮想平面πを設定しておき、この仮想平面πの法線方向に対してこれら各画像Ｐａ１,Ｐａ２,Ｐａ３の法線方向が同一方向となるように、射影行列Ｐ１,Ｐ２,Ｐ３を用いて正規化するようにしてもよい。

また、これら画像の正規化については、カメラキャリブレーション部２６による各カメラ１１ａ,１２ａ,１３ａの撮影方向、ズーム等のキャリブレーションに反映させるようにしてもよい。また逆にこれらのキャリブレーションを上述した幾何学的正規化に反映させるようにしてもよい。

正規化処理部２４において上述の如く射影変換された正規化画像Ｐｍ１,Ｐｍ２,Ｐｍ３は、マッチング部２９において上述の如く撮影対象と関連させつつ、画素位置毎に対応付けされる。本発明においては、マッチング部２９の前段にある正規化処理部２４において予め正規化され、エピポーラ線が平行化されている。これと相俟って、本発明では、正規化画像Ｐｍ１〜Ｐｍ３のうち任意の２枚の正規化画像の対応付けを残りの１枚の正規化画像を参照しつつ実行するため、カメラ２台の場合と比較してマッチング時に参照するための情報が多くなり、画素探索のロバスト性を向上させることができる。

図１１は、マッチング部２９においてこれら正規化画像Ｐｍ１,Ｐｍ２,Ｐｍ３を対応付けする場合につき示している。正規化画像Ｐｍ１とＰｍ２につき、このマッチング部２９において対応付けを行う場合において、正規化画像Ｐｍ１のエピポーララインＬ１上にある画素ｍ１’の対応点については、正規化画像Ｐｍ２のエピポーララインＬ２上に存在することとなり、そのＬ２上を探索することにより、対応点としての画素ｍ２’を検出することができる。かかる場合において、正規化画像Ｐｍ１のエピポーララインＬ１’に対応する、正規化画像Ｐｍ２のエピポーララインＬ２’を同時に探索することにより、画素ｍ２’を検出するようにしてもよい。

同様に、正規化画像Ｐｍ１とＰｍ３につき、このマッチング部２９において対応付けを行う場合において、正規化画像Ｐｍ１のエピポーララインＬ１上にある画素ｍ１’の対応点については、正規化画像Ｐｍ３のエピポーララインＬ３上に存在することとなり、そのＬ３上を探索することにより、対応点としての画素ｍ３’を検出することができる。

即ち、この正規化画像Ｐｍ１,Ｐｍ２,Ｐｍ３は、前段の正規化処理部２４において幾何学的正規化が施されているため、各画素間の対応付けを効率よく行うことができる。これは、スキャンするエピポーララインＬ１上の各画素が、エピポーララインＬ２（Ｌ３）上の各画素に対応するため、各列に配された画素の対応付けは、Dynamic Programmingによる最短経路探索問題として解くことができるからである。このマッチング部２９では、画像間の輝度差ｄｇ（ｘ,ｙ）と、カラー情報の差異ｄＩ（ｘ,ｙ）を用いることにより、以下の式（１）で示されるマッチングコスト関数ＭＣ（ｘ,ｙ）を求める。
ＭＣ（ｘ,ｙ）＝ｄｇ（ｘ,ｙ）＋α・ｄＩ（ｘ,ｙ）・・・・・・（１）
マッチング部２９では、この求めたマッチングコスト関数ＭＣ（ｘ,ｙ）に基づいて、対応点を検出することになるが、かかる場合において対応付け精度を更に向上させるべく、各補正処理部２０から入力される各画像に応じて、オクリュージョンコストを適切に調整するようにしてもよい。このオクリュージョンコストは、撮影対象に対するカメラ群１０の距離、又は視差等を反映させたものである。

即ち、本発明を適用した画像送受信システム１は、このマッチング部２９において上述したマッチング処理を実現するため、各画素間の対応付けを正確に、かつスムーズに行うことが可能となる。ちなみに、このマッチング部２９により互いに対応付けされた画素位置並びにその輝度成分は、それぞれ仮想視点画像生成部３０へ出力される。

仮想視点画像生成部３０では、互いに対応付けされた画素位置並びに、情報生成部３３から送信される相対位置情報に基づき、以下に説明する方法に基づいて仮想視点画像Ｉｍａを構成する画素位置並びにその輝度レベル（濃淡値）を求める。図１２は、上記マッチング部２９において対応付けされた画素ｍ１’,画素ｍ２’,画素ｍ３’に応じて、仮想視点画像Ｉｍａ上の画素Ｃｖを特定する場合につき説明するための図である。この図１２に示される画素Ｃｖの画素位置をＰｖ(ｘｖ,ｙｖ)とし、また各画素ｍ１’,ｍ２’,ｍ３’の画素位置をそれぞれＰ１（ｘ１,ｙ１）,Ｐ２（ｘ２,ｙ２）,Ｐ３（ｘ３,ｙ３）とするとき、Ｐｖ(ｘｖ,ｙｖ)は以下の（２）式により求めることができる。
Ｐｖ(ｘｖ,ｙｖ)＝α×Ｐ１（ｘ１,ｙ１）＋β×Ｐ２（ｘ２,ｙ２）＋γ×Ｐ３（ｘ３,ｙ３）・・・・・・・（２）
ここで、α,β,γは、それぞれ相対位置情報であり、αは、三角形Ｃ２Ｃ３Ｃｖの面積／三角形Ｃ１Ｃ２Ｃ３の面積とし、βは、三角形Ｃ１Ｃ２Ｃｖの面積／三角形Ｃ１Ｃ２Ｃ３の面積とし、γは、三角形Ｃ１Ｃ２Ｃｖの面積／三角形Ｃ１Ｃ２Ｃ３の面積とする。ちなみに、α＋β＋γ＝１である。

ここで画素Ｃｖを仮想カメラの光学中心に対応する画素とするとき、この式（２）に基づいて決定される画素位置Ｐｖ(ｘｖ,ｙｖ)は、仮想カメラの光学中心がカメラ１１ａの光学中心Ｃ１に近づくにつれてＰ１（ｘ１,ｙ１）へ近づき、カメラ１２ａの光学中心Ｃ２に近づくにつれてＰ２（ｘ２,ｙ２）へ近づき、更にカメラ１３ａの光学中心Ｃ３に近づくにつれてＰ３（ｘ３,ｙ３）へ近づくことになる。即ち、相対位置情報α,β,γを自由に決定することにより、画素Ｃｖの画素位置Ｐｖ(ｘｖ,ｙｖ)を三角形Ｃ１Ｃ２Ｃ３の枠内において自由に設定することができるため、仮想視点画像Ｉｍａ上に表示させるユーザａの位置を自在に変化させることができる。

また画素Ｃｖの輝度レベルをｍｖ’(ｘｖ,ｙｖ)とし、また各画素ｍ１’,ｍ２’,ｍ３’の輝度レベルをそれぞれＱ１（ｘ１,ｙ１）,Ｑ２（ｘ２,ｙ２）,Ｑ３（ｘ３,ｙ３）とするとき、ｍｖ’(ｘｖ,ｙｖ)は以下の（３）式により求めることができる。
ｍｖ’(ｘｖ,ｙｖ)＝α×Ｑ１（ｘ１,ｙ１）＋β×Ｑ２（ｘ２,ｙ２）＋γ×Ｑ３（ｘ３,ｙ３）・・・・・・・（３）
ここで画素Ｃｖを仮想カメラの光学中心に対応する画素とするとき、この式（３）に基づいて決定される画素Ｃｖの輝度レベルｍｖ’(ｘｖ,ｙｖ)は、仮想カメラの光学中心がカメラ１１ａの光学中心Ｃ１に近づくにつれてＱ１（ｘ１,ｙ１）へ近づき、カメラ１２ａの光学中心Ｃ２に近づくにつれてＱ２（ｘ２,ｙ２）へ近づき、更にカメラ１３ａの光学中心Ｃ３に近づくにつれてＱ３（ｘ３,ｙ３）へ近づくことになる。即ち、輝度レベルｍｖ’(ｘｖ,ｙｖ)を、仮想カメラの光学中心位置に応じて自在に決定することができるため、仮想視点画像Ｉｍａ上に表示させるユーザａを構成する画素の輝度を自在に変化させることができる。

このように仮想視点画像生成部３０は、三角形Ｃ１Ｃ２Ｃ３内に位置する画素Ｃｖの画素位置Ｐｖ(ｘｖ,ｙｖ)並びに輝度レベルｍｖ’(ｘｖ,ｙｖ)を求めることができる。またこの撮像表示装置２は、相対位置情報α,β,γを自由に決定することにより、画素Ｃｖの画素位置Ｐｖ(ｘｖ,ｙｖ)を三角形Ｃ１Ｃ２Ｃ３の枠内において自由に設定することができる。また情報生成部３３は、ユーザの位置に関する情報に基づいてこの相対位置情報α,β,γを決定することにより、この仮想視点画像生成部３０は、識別されたユーザａの視線方向に上記画素Ｃｖの画素位置Ｐｖ(ｘｖ,ｙｖ)を合わせ込むことができる。これにより、いわば仮想カメラの撮影方向をユーザａの視線方向に合わせ込むことと同様の処理を実現することができる。

特に、各カメラ１１ａ〜１８ａは互いに撮影方向が異なるため、同一の画像を示す画像位置ｗ１,ｗ２,ｗ３の輝度成分が互いに異なる。この互いに異なる輝度成分の何れか一方を最小値とし、他方が最大値となるようにして、相対位置情報に基づくα,β,γに応じて画素位置Ｐｖ(ｘｖ,ｙｖ)や輝度レベルｍｖ’(ｘｖ,ｙｖ)を線形に増減させることにより、仮想カメラの位置に応じて仮想視点画像Ｉｍａ上の絵画処理を精度よく実現することができる。

また、この撮像表示装置２ａでは、上記正規化処理部２４において、仮想平面πの法線方向に合致させた正規化画像Ｐｍ１,Ｐｍ２,Ｐｍ３から仮想視点画像Ｉｍａを生成するため、エピポーラ線を平行化させることによる画像内挿の効率化を図ることが可能となる。また、これにより各カメラ中心のＺ方向座標を０にして計算することができる。即ち、ｘ,ｙ方向座標のみに焦点を当てて（２）,（３）式を利用して計算すれば足りるため、仮想視点画像Ｉｍａを生成する上での相対的な演算量を減らすことができ、迅速な絵画処理を実現することが可能となる。

図１３は、この仮想視点画像生成部３０において実際に３台のカメラ１１ａ,１２ａ,１３ａから取得した正規化画像Ｐｍ１,Ｐｍ２,Ｐｍ３から仮想視点画像Ｉｍａを生成する場合につき示している。各カメラ１１ａ,１２ａ,１３ａの光学中心Ｃ１,Ｃ２,Ｃ３を結ぶ線により略正三角形が形成される場合に、図１３(a)に示すように、光学中心Ｃ１,Ｃ２,Ｃ３から等距離にある重心位置に仮想カメラの光学中心ＣＬを設定したときに得られる仮想視点画像Ｉｍａは、図１３(b)に示すように、各正規化画像Ｐｍ１,Ｐｍ２,Ｐｍ３の内容を略平均化したものとなる。即ち、右方向を向いているユーザａを示す正規化画像Ｐｍ１と、上方向を向いているユーザａを示す正規化画像Ｐｍ２と、左方向を向いているユーザａを示す正規化画像Ｐｍ３から、真正面を向いているユーザａを示す仮想視点画像Ｉｍａが生成されることになる。

本発明を適用した撮像表示装置２では、これら生成される仮想視点画像Ｉｍａを図２に示すように、ディスプレイ５における表示画面上の各位置において仮想的に設置された仮想カメラにより撮像される画像と見たてる。そして、上述した相対位置情報α,β,γを微調整することにより、ディスプレイ５の表示画面上において一面に亘ってあたかも仮想カメラが設置されたかの如く擬制することができる。

図１４は、ディスプレイ５における表示画面上の任意の位置において仮想カメラを仮想的に設置する場合につき示している。例えば、図１４においてカメラ１１,１２,１３の光学中心Ｃ１,Ｃ２,Ｃ３により囲まれる領域Ｆ内に仮想カメラの光学中心を設定する場合には、カメラ１１,１２,１３より撮像される画像Ｐａ１,Ｐａ２,Ｐａ３に基づいて上述の如く仮想視点画像Ｉｍａを生成する。かかる領域Ｆ内における仮想カメラの詳細な位置は、上述した相対位置情報α,β,γを微調整することにより決定する。

同様に、カメラ１２,１４,１６の光学中心Ｃ２,Ｃ４,Ｃ６により囲まれる領域Ｇ、カメラ１３,１５,１７の光学中心Ｃ３,Ｃ５,Ｃ７により囲まれる領域Ｈ、カメラ１６,１７,１８の光学中心Ｃ６,Ｃ７,Ｃ８により囲まれる領域Ｉについても、各カメラからの画像に基づいて仮想視点画像Ｉｍａを生成する。

ちなみに光学中心Ｃ２,Ｃ３,Ｃ６,Ｃ７により囲まれる領域Ｊを始めとして、任意の４つの光学中心により囲まれる領域内に仮想カメラの光学中心を設定する場合には、各カメラ１１〜１８のうち、選択した４台のカメラにより撮像した画像Ｐａにつき正規化する。

例えば図１５に示すように、各カメラ１２,１３,１６,１７の光学中心Ｃ２,Ｃ３,Ｃ６,Ｃ７により互いに異なる視点から撮影対象のＭ点へ光軸を合わせて撮像を行うと、これにより生成される画像Ｐａ２,Ｐａ３,Ｐａ６,Ｐａ７は、各カメラ１２,１３,１６,１７の撮像面に対して平行となる。ここで各光学中心Ｃ２,Ｃ３,Ｃ６,Ｃ７と、Ｍ点を結ぶ直線の方向は、各カメラにより撮像された各画像Ｐａ２,Ｐａ３,Ｐａ６,Ｐａ７の法線方向ｋ２,ｋ３,ｋ６,ｋ７に一致するが、これらは互いに異なる方向を指している。

そこで、これら各画像Ｐａ２,Ｐａ３,Ｐａ６,Ｐａ７のうち任意の３つの画像（例えば、画像Ｐａ２,Ｐａ３,Ｐａ７）を選択する。そして、これら各画像Ｐａ２,Ｐａ３,Ｐａ７の法線方向ｋ２,ｋ３,ｋ７が同一方向ｋａ’となるように幾何学的正規化を行うことにより、画像面が互いに平行な正規化画像Ｐｍ２,Ｐｍ３,Ｐｍ７を作り出す。また、残りの領域についても選択した３つの画像（画像Ｐａ２,Ｐａ６,Ｐａ７）を選択する。そして、これら各画像Ｐａ２,Ｐａ６,Ｐａ７の法線方向ｋ２,ｋ６,ｋ７が同一方向ｋｂ’となるように幾何学的正規化を行うことにより、画像面が互いに平行な正規化画像Ｐｍ２,Ｐｍ６,Ｐｍ７を作り出す。ちなみに、ここでの幾何学的正規化の方法は、上述と同様に射影行列Ｐを求め、これに基づく射影変換を施すことにより実行する。

ここで正規化画像Ｐｍ２,Ｐｍ３,Ｐｍ７の法線方向ｋａ’と、正規化画像Ｐｍ２,Ｐｍ６,Ｐｍ７の法線方向ｋｂ’とが異なる場合において、正規化処理部２４は、これらが互いに同一方向となるように（平行となるように）補正する。この補正処理においても、射影行列Ｐを求めて、これに基づく射影変換を施すことにより実行する。その結果、これら４つの正規化画像Ｐｍ２,Ｐｍ３,Ｐｍ６,Ｐｍ７の法線方向ｋ２’ ,ｋ３’,ｋ６’,ｋ７’を全て平行化することができる。ちなみにかかる平行化においては、さらに簡単に、正規化画像Ｐｍ２,Ｐｍ３,Ｐｍ７につき求めた法線方向ｋａ’を残りの画像Ｐａ６の法線方向ｋ６に応じて調整を図ることで実現するようにしてもよい。

なお、このようにして正規化された各画像は、上述の如く後段のマッチング部２９において互いに対応付けされることになるが、かかる場合において、選択した３台のカメラ以外のカメラにより撮像した画像を参照するようにしてもよい。

例えば、正規化画像Ｐｍ１,Ｐｍ２,Ｐｍ３間で互いに対応付けする場合に、それぞれに応じたカメラ１１,１２,１３によりDepth情報を取得するようにする。そして取得したDepth情報に基づいてそれぞれ視差マップを作成する。かかる場合に、いわゆるマルチベースライン手法を用いて、各カメラ１１,１２,１３の周囲にある残りのカメラ１４〜１８により取得されたDepth情報を参照することもできる。これにより、各画像間の対応付けをより多くのカメラから得られた視差マップを参照することにより実行することができ、生成する仮想視点画像Ｉｍａの画質を向上させることができる。

また、相対位置情報α,β,γを微調整しつつ上述の処理を繰り返すことにより、表示パネル６１上において一面に亘って形成されたＸ行Ｙ列の突出部６２に応じた数の仮想カメラを仮想的に設置することができる。そして各仮想カメラより上述の手順を経てから得られた仮想視点画像Ｉｍは、順次ネットワーク５０を介して相手側の撮像表示装置２へ送信される。例えば撮像表示装置２ａにおいて生成された仮想視点画像Ｉｍａは、ネットワーク５０を介して相手側の撮像表示装置２ｂへ送信され、送受信部７ｂを介して表示信号処理部８ｂへ送信される。表示信号処理部８ｂでは、これら仮想視点画像Ｉｍａの輝度レベルを画素位置毎に解析する。このとき、表示信号処理部８ｂでは、入射角（θ°、φ°）と仮想視点画像Ｉｍａにおける画素位置とを予め関係付けてこれを記録しておくことにより、これら入射角（θ°、φ°）毎に輝度レベルを識別することができる。

表示信号処理部８ｂは、識別した輝度レベルに応じた光を突出部６２上の表示素子６３から、入射角（θ°、φ°）に応じた角度（１８０°−θ、１８０°−φ°）で出射させる。突出部６２に形成されている表示素子６３のアドレスを出射角（１８０°−θ、１８０°−φ°）に対応させておくことにより、入射角（θ°、φ°）に応じた細かい出射角ピッチで光を出射させることができ、上述の空間接続効果を得ることができる。

即ち、本発明を適用した画像送受信システム１では、窓ガラスと同様な空間接続効果を有する表示面をディスプレイ５上において生成するために、入射面に持たせる撮像機能をディスプレイ５ａ,５ｂの周囲に配設された撮像カメラ群１０ａ(１０ｂ)に担わせることができる。即ち、これら撮像カメラ群１０ａ(１０ｂ)により、仮想カメラをディスプレイ６上において一面に亘って設定し、各仮想カメラから得られる仮想視点画像を介して入射面上の全ての点において入射される光につき入射角（θ°、φ°）毎に輝度レベルを識別することができる。そして、相手側のディスプレイ６上に形成され、上記仮想カメラに対応した突出部６２から、上記識別した輝度レベルの光を角度（１８０°−θ、１８０°−φ°）で出射させることにより、空間接続効果を得ることができる。特に本発明を適用した画像送受信システム１では、従来技術と比較して撮像素子を省略することができるため、装置構成の簡素化を図ることができ、製造の容易化を期待することができる。

また本発明を適用した画像送受信システム１では、入射面に持たせる撮像機能をディスプレイ５ａ,５ｂの周囲に配設された撮像カメラ群１０ａ(１０ｂ)に担わせることができる。これにより、表示素子６３から撮像素子に至るまでの光漏洩が生じることもなくなり、上述した空間接続効果を高効率に得ることができる。

なお、本発明は、上述した実施の形態に限定されるものではない。例えば、ユーザの頭部位置の座標に基づき、ユーザの左眼位置並びに右眼位置を推定し、これを相対位置情報として相対位置情報α,β,γを調整することにより、左眼用と右眼用にそれぞれ仮想視点画像を生成するようにしてもよい。これら左眼用と右眼用の仮想視点画像を立体視ディスプレイ等を介して表示することにより、ユーザに対して３次元画像を提供することも可能となる。

また本発明は、インターネット網等のネットワーク５０を介した空間接続効果を得る場合に限定されるものではなく、ネットワーク５０を介さないで、撮像表示装置２を互いに接続しても、同様の効果を得ることができることは勿論である。

本発明を適用した画像送受信システムの概略を示す図である。撮像カメラ群を構成するカメラの配列につき説明するための図である。ディスプレイの構成について説明するための図である。突出部の視野角θｄ並びにカメラの撮像角θｃにつき説明するための図である。撮像信号処理部の構成につき説明するための図である。カメラキャリブレーション方法につき説明するための図である。マッチング部における画像間対応付けにつき説明するための図である。空間接続効果につき説明するための図である。空間接続効果を得るための制御方法につき説明するための図である。各カメラの光学中心により互いに異なる視点から撮影対象のＭ点へ光軸を合わせて撮像を行う場合につき説明するための図である。仮想平面πを設定する場合につき説明するための図である。仮想視点画像間の画像内挿につき説明するための図である。生成した仮想視点画像の例につき示す図である。ディスプレイにおける表示画面上の任意の位置において仮想カメラを仮想的に設置する場合につき説明するための図である。選択した４台のカメラにより撮像した画像を正規化する場合につき説明するための図である。窓ガラスを通して反対側にある物を視認する場合につき説明するための図である。撮像表示パネルを２枚背中合わせにして配置する構成を示す図である。半球型突出面に形成された表示素子群の詳細を示す図である。素子集成体を撮像表示パネル上に配列する例を示す図である。

符号の説明

１画像送受信システム、２各撮像表示装置、５ディスプレイ、６撮像信号処理部、７送受信部、８表示信号処理部、１０撮像カメラ群、１１〜１８カメラ

Claims

半球型突出面に複数の表示素子が形成された突出部が二次元配列され、各突出部に形成された表示素子に割り当てられたアドレスを選択して、画素位置における輝度成分に応じた光を指定された出射方向へ出射することにより画像を表示する表示手段と、
上記表示手段の周囲に配設された少なくとも４台のカメラにより撮影対象を互いに異なる視点から撮像する撮像手段と、
仮想的に設置される仮想カメラにおける光学中心の上記各カメラに対する相対的な位置関係を示す相対位置情報を生成する情報生成手段と、
少なくとも上記各カメラにより撮像された各画像の法線方向を一方向に合わせる画像補正手段と、
上記画像補正手段により補正された各画像間において、上記撮影対象と関連させつつ画素位置毎に対応付けを行うマッチング手段と、
上記マッチング手段により互いに対応付けされた画素位置並びにその輝度成分から、上記生成された相対位置情報に応じて、上記仮想カメラにより生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める画像生成手段と、
上記画像生成手段により求められた画素位置並びにその輝度成分により構成される仮想視点画像を他の電子機器へ送信し、又は当該他の電子機器により生成された仮想視点画像を受信する送受信手段と、
上記送受信手段により受信された仮想視点画像を構成する各画素位置に応じて、上記表示手段において二次元配列された突出部毎に表示素子のアドレスを選択し、画素位置の輝度成分に応じた出射光を各表示素子により出射するように、上記表示手段を制御する表示処理手段とを備え、
上記画像補正手段は、上記情報生成手段により生成された相対位置情報に基づいて、４台のカメラの中から、３台のカメラを２組選択し、選択した組毎に、３台のカメラにより撮像された各画像の法線方向を仮想的に設定された仮想平面へ射影するための射影変換行列を求め、求めた射影変換行列に基づいて各画像の法線方向を上記仮想平面の法線方向に合わせて、各組毎に合わせた法線方向が異なるときは、互いの組で共通して選択していない１台のカメラにより撮像され上記射影変換行列に基づいて射影された画像の法線方向と同一方向となるように、他の３台のカメラにより撮像され上記射影変換行列に基づいて射影された画像の各法線方向を補正する撮像表示装置。
少なくとも４台のカメラにより撮影対象を互いに異なる視点から撮像する撮像手段と、
半球型突出面に複数の表示素子が形成された突出部が二次元配列され、各突出部に形成された表示素子に割り当てられたアドレスを選択して、画素位置における輝度成分に応じた光を指定された出射方向へ出射することにより画像を表示する表示手段と、
仮想的に設置される仮想カメラにおける光学中心の上記各カメラに対する相対的な位置関係を示す相対位置情報を生成する情報生成手段と、
少なくとも上記各カメラにより撮像された各画像の法線方向を一方向に合わせる画像補正手段と、
上記画像補正手段により補正された各画像間において、上記撮影対象と関連させつつ画素位置毎に対応付けを行うマッチング手段と、
上記マッチング手段により互いに対応付けされた画素位置並びにその輝度成分から、上記生成された相対位置情報に応じて、上記仮想カメラにより生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める画像生成手段と、
上記画像生成手段により求められた仮想視点画像を構成する各画素位置に応じて、上記表示手段において二次元配列された突出部毎に表示素子のアドレスを選択し、画素位置の輝度成分に応じた出射光を各表示素子により出射するように、上記表示手段を制御する表示処理手段とを備え、
上記画像補正手段は、上記情報生成手段により生成された相対位置情報に基づいて、４台のカメラの中から、３台のカメラを２組選択し、選択した組毎に、３台のカメラにより撮像された各画像の法線方向を仮想的に設定された仮想平面へ射影するための射影変換行列を求め、求めた射影変換行列に基づいて各画像の法線方向を上記仮想平面の法線方向に合わせて、各組毎に合わせた法線方向が異なるときは、互いの組で共通して選択していない１台のカメラにより撮像され上記射影変換行列に基づいて射影された画像の法線方向と同一方向となるように、他の３台のカメラにより撮像され上記射影変換行列に基づいて射影された画像の各法線方向を補正する撮像表示装置。
半球型突出面に複数の表示素子が形成された突出部が二次元配列され、各突出部に形成された表示素子に割り当てられたアドレスを選択して、画素位置における輝度成分に応じた光を指定された出射方向へ出射することにより画像を表示する表示部の周囲に配設された少なくとも４台のカメラにより撮影対象を互いに異なる視点から撮像する撮像ステップと、
仮想的に設置される仮想カメラにおける光学中心の上記各カメラに対する相対的な位置関係を示す相対位置情報を生成する情報生成ステップと、
少なくとも上記各カメラにより撮像した各画像の法線方向を一方向に合わせることにより補正する画像補正ステップと、
上記画像補正ステップにより補正した各画像間において上記撮影対象と関連させつつ画素位置毎に対応付けを行うマッチングステップと、
上記マッチングステップにより互いに対応付けした画素位置並びにその輝度成分から、上記情報生成ステップにより生成した相対位置情報に応じて、上記仮想カメラにより生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める画像生成ステップと、
上記画像生成ステップにより求めた画素位置並びにその輝度成分により構成される仮想視点画像をネットワークを介して送信する送信ステップと、
上記ネットワークを介して他の電子機器において生成された仮想視点画像を受信する受信ステップと、
上記受信ステップにより受信した仮想視点画像を構成する各画素位置に応じて、上記表示部において二次元配列された突出部毎に表示素子のアドレスを選択し、画素位置の輝度成分に応じた出射光を各表示素子により出射するように、上記表示部を制御する表示処理ステップとを有し、
上記画像補正ステップでは、上記情報生成ステップにより生成された相対位置情報に基づいて、４台のカメラの中から、３台のカメラを２組選択し、選択した組毎に、３台のカメラにより撮像された各画像の法線方向を仮想的に設定された仮想平面へ射影するための射影変換行列を求め、求めた射影変換行列に基づいて各画像の法線方向を上記仮想平面の法線方向に合わせて、各組毎に合わせた法線方向が異なるときは、互いの組で共通して選択していない１台のカメラにより撮像され上記射影変換行列に基づいて射影された画像の法線方向と同一方向となるように、他の３台のカメラにより撮像され上記射影変換行列に基づいて射影された画像の各法線方向を補正する撮像表示方法。
各撮像表示装置により撮像した画像をネットワークを介して双方向で送受信する画像送受信システムにおいて、
上記撮像表示装置は、
半球型突出面に複数の表示素子が形成された突出部が二次元配列され、各突出部に形成された表示素子に割り当てられたアドレスを選択して、画素位置における輝度成分に応じた光を指定された出射方向へ出射することにより画像を表示する表示手段と、
上記表示手段の周囲に配設された少なくとも４台のカメラにより撮影対象を互いに異なる視点から撮像する撮像手段と、
仮想的に設置される仮想カメラにおける光学中心の上記各カメラに対する相対的な位置関係を示す相対位置情報を生成する情報生成手段と、
少なくとも上記各カメラにより撮像された各画像の法線方向を一方向に合わせる画像補正手段と、
上記画像補正手段により補正された各画像間において、上記撮影対象と関連させつつ画素位置毎に対応付けを行うマッチング手段と、
上記マッチング手段により互いに対応付けされた画素位置並びにその輝度成分から、上記生成された相対位置情報に応じて、上記仮想カメラにより生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める画像生成手段と、
上記画像生成手段により求められた画素位置並びにその輝度成分により構成される仮想視点画像を上記ネットワークを介して相手側の撮像表示装置へ送信し、又は相手側の撮像表示装置により生成された仮想視点画像を上記ネットワークを介して受信する送受信手段と、
上記送受信手段により受信された仮想視点画像を構成する各画素位置に応じて、上記表示手段において二次元配列された突出部毎に表示素子のアドレスを選択し、画素位置の輝度成分に応じた出射光を各表示素子により出射するように、上記表示手段を制御する表示処理手段とを有し、
上記画像補正手段は、上記情報生成手段により生成された相対位置情報に基づいて、４台のカメラの中から、３台のカメラを２組選択し、選択した組毎に、３台のカメラにより撮像された各画像の法線方向を仮想的に設定された仮想平面へ射影するための射影変換行列を求め、求めた射影変換行列に基づいて各画像の法線方向を上記仮想平面の法線方向に合わせて、各組毎に合わせた法線方向が異なるときは、互いの組で共通して選択していない１台のカメラにより撮像され上記射影変換行列に基づいて射影された画像の法線方向と同一方向となるように、他の３台のカメラにより撮像され上記射影変換行列に基づいて射影された画像の各法線方向を補正する画像送受信システム。