JP2008065684A - 立体映像合成装置、形状データ生成方法およびそのプログラム - Google Patents

Abstract

【課題】ビデオカメラなどで撮影した実写映像の立体映像を立体映像表示装置にて提示しつつ、該立体映像と一致した力覚・触覚を力覚・触覚提示装置にて提示可能な立体映像データと形状データとを出力できる立体映像合成装置
【解決手段】被写体を左目の視点から撮像した左画像と右目の視点から撮像した右画像とから立体映像を合成する立体映像合成装置において、形状算出部４０５は、入力された被写体の距離画像から、被写体の形状データを算出する。形状映像空間調整部４０７は、形状算出部４０５が算出した形状データに対して、自装置が合成する立体映像の表示空間への変換を施す。形状データ出力部４０９は、形状映像空間調整部４０７が変換を施した形状データを力覚・触覚提示装置に出力する。
【選択図】図３

Description

本発明は、特に立体映像データとともに形状データを生成する立体映像合成装置、形状データ生成方法およびプログラムに関する。

従来の立体映像表示装置は、あらかじめ左右の目に対応する２視点から見た映像を用意しておき、バリア方式（例えば、特許文献１、特許文献２参照）や偏光グラスシャッター方式の三次元ディスプレイ上で表示することで、ユーザが立体的に知覚することができる。
また、ペンタイプの操作部を持ち、ペンを操作することで力覚や触覚を体験することができるフォースフィードバック装置や、腕に装着し、腕全体の力覚や手の触感を体験することができるハプティック装置などの力覚・触覚提示装置もある。
特開平８−２４８３５５号公報 特表２００３−５２１１８１号公報

しかしながら、従来の立体映像表示装置にあっては、立体映像を提示するのみであり、立体感があり、物体が浮き出て見えたとしても、それに触れることはできないという問題がある。また、ＣＡＤ（Computer Aided Design）データなどの形状データに基づき、ＣＧ（Computer Graphics）を表示しながら、力覚・触覚提示装置で力覚および触覚を提示することはできたが、予め映像と一致した形状データを用意しなければならず、映像を生成するのに形状データが必要なＣＧには適用できても、ビデオカメラなどで撮影した実写映像には適用できないという問題があった。

本発明は、このような事情に鑑みてなされたもので、その目的は、ビデオカメラなどで撮影した実写映像の立体映像を立体映像表示装置にて提示しつつ、該立体映像と一致した力覚・触覚を力覚・触覚提示装置にて提示可能な立体映像データと形状データとを出力できる立体映像合成装置を提供することにある。

この発明は上述した課題を解決するためになされたもので、本発明の立体映像合成装置は、被写体を左目の視点から撮像した左画像と右目の視点から撮像した右画像とから立体映像を合成する立体映像合成装置において、各画素が距離を表す距離画像を撮影する距離画像撮影装置から入力された前記被写体の距離画像から、前記被写体の形状データを算出する形状算出部と、前記形状算出部が算出した形状データに対して、自装置が合成する立体映像の表示空間への変換を施す形状映像空間調整部と、前記形状映像空間調整部が変換を施した形状データを感覚提示装置に出力する形状データ出力部とを備えることを特徴とする。

また、本発明の立体映像合成装置は、上述の立体映像合成装置であって、前記左画像と前記右画像とから各々の色に基づき３つ以上の被写体を抽出し、前記３つ以上の被写体各々の前記立体映像の表示空間における位置を算出し、前記距離画像から各々の距離に基づき前記３つ以上の被写体を抽出し、前記３つ以上の被写体各々の前記距離画像に基づく空間における位置を算出し、前記算出したこれらの位置に基づき、前記距離画像に基づく空間から前記表示空間への変換を求める変換生成部を備え、前記形状映像空間調整部は、前記変換生成部が求めた変換を、前記形状データに施すことを特徴とする。

また、本発明の立体映像合成装置は、上述の立体映像合成装置であって、ユーザ操作により指定された３つ以上の前記立体映像の表示空間の点と、該点それぞれにユーザ操作により対応付けられた前記距離画像の点とに基づき、前記距離画像に基づく空間から前記表示空間への変換を求める変換生成部を備え、前記形状映像空間調整部は、前記変換生成部が求めた変換を、前記形状データに施すことを特徴とする。

また、本発明の形状データ生成方法は、被写体を左目の視点から撮像した左画像と右目の視点から撮像した右画像とから立体映像を合成する立体映像合成装置における形状データ生成方法であって、前記立体映像合成装置が、各画素が距離を表す距離画像を撮影する距離画像撮影装置から入力された前記被写体の距離画像から、前記被写体の形状データを算出する第１の過程と、前記立体映像合成装置が、前記第１の過程にて算出した形状データに対して、自装置が合成する立体映像の表示空間への変換を施す第２の過程と、前記立体映像合成装置が、前記第２の過程にて変換を施した形状データを感覚提示装置に出力する第３の過程とを備えることを特徴とする。

また、本発明のプログラムは、コンピュータを、被写体を左目の視点から撮像した左画像と右目の視点から撮像した右画像とから立体映像を合成する立体映像合成装置として機能させるためのプログラムにおいて、各画素が距離を表す距離画像を撮影する距離画像撮影装置から入力された前記被写体の距離画像から、前記被写体の形状データを算出する形状算出部、前記形状算出部が算出した形状データに対して、自装置が合成する立体映像の表示空間への変換を施す形状映像空間調整部、前記形状映像空間調整部が変換を施した形状データを感覚提示装置に出力する形状データ出力部として機能させる。

この発明によれば、被写体を左右２つの視点からビデオカメラなどで撮影した実写映像と該被写体を距離画像撮影装置で撮影した距離画像からなる映像とを本装置に入力させることで、立体映像表示装置に表示させた立体映像と一致した力覚・触覚を力覚・触覚提示装置にて提供させる形状データを生成することができる。

本実施形態の立体映像合成装置４００は、図１に示すように、左映像撮影装置１００が撮影した左目の視点から見た映像と右映像撮影装置２００が撮影した右目の視点から見た映像とを立体映像合成して、立体映像表示装置５００にて表示するとともに、距離画像撮影装置３００が撮影した距離画像から被写体の形状データを算出し、この被写体の形状データを距離画像に基づく３次元空間から立体映像の表示空間へ変換した形状データを算出して、力覚・触覚提示装置６００に出力する。これにより、ユーザは立体映像表示装置５００にて表示された立体映像を見ると同時に、表示されている立体映像中の被写体について力覚・触覚提示装置６００により力覚・触覚を得ることができる。

以下、図面を参照して、本発明の実施の形態について説明する。図２は、この発明の一実施形態による立体映像合成装置４００の構成を示す概略ブロック図である。左映像撮影装置１００は、ユーザの左目の視点から見た映像に相当する映像を撮影するビデオカメラである。右映像撮影装置２００は、左映像撮影装置１００の右側に平行に設置され、ユーザの右目の視点から見た映像に相当する映像を撮影するビデオカメラである。距離画像撮影装置３００は、左映像撮影装置１００および右映像撮影装置２００の近傍に平行に設置され、本装置が照射した光が、照射されてから、測定対象物にて反射し、本装置によって受光されるまでの時間を計測して距離を求めるＴＯＦ（Time of flight）方式により、各画素が本装置からの距離を表している映像をリアルタイムに生成する。立体映像合成装置４００は、左映像撮影装置１００と右映像撮影装置２００とから左目の視点から見た映像および右目の視点から見た映像を受付けて、立体映像を合成して立体映像表示装置５００に出力するとともに、距離画像撮影装置３００から距離画像を受付けて、被写体の形状データを算出して、この算出した形状データを変換して立体映像の表示空間にマッピングした後に力覚・触覚提示装置６００に出力する。
なお、本実施形態では、力覚・触覚提示装置６００が感覚提示装置として機能する。

図３は、本実施形態による立体映像合成装置４００の構成を示す概略ブロック図である。
４０１は、左映像撮影装置１００から入力された映像を受付けて、該映像から１フレームずつ抽出した左画像を出力する左映像データ入力部である。４０２は、右映像撮影装置２００から入力された映像を受付けて、該映像から１フレームずつ抽出した右画像を出力する右映像データ入力部である。４０３は、距離画像撮影装置３００から入力された映像を受付けて、該映像から１フレームずつ抽出した距離画像を出力する距離画像データ入力部である。

４０４は、左映像データ入力部４０１と右映像データ入力部４０２とから受けた左画像および右画像を合成して、立体映像表示装置５００に合わせた形式の立体映像データを生成する立体映像合成部である。４０５は、距離画像データ入力部から受けた距離画像に基づき、被写体の形状データを生成する形状抽算出部である。形状抽算出部４０５の詳細は、図５を用いて後述する。

４０６は、距離画像に基づく空間から立体映像の表示空間へのアフィン変換を表す行列を求める変換生成部である。左映像撮影装置１００と右映像撮影装置２００と距離画像撮影装置３００との位置関係が変わらなければ、このアフィン変換は、変わらない。そこで、本実施形態では、事前に、異なる色を有する３つのマーカを左映像撮影装置１００と右映像撮影装置２００と距離画像撮影装置３００とにて撮影し、該撮影した映像に基づき変換生成部４０６にてアフィン変換を表す行列を生成しておき、この生成した行列を以後の形状映像空間調整部４０７における変換に用いる。

図４は、この事前に行うアフィン変換生成の概略を説明するフローチャートである。画像変換生成部４０６は、左画像と右画像とから３つのマーカを各々の色に基づき抽出し（Ｓ１：詳細は図６を用いて後述）、これら３つのマーカ各々の立体映像の表示空間における位置を左画像と右画像の視差に基づき算出する（Ｓ２：詳細は図７を用いて後述）。さらに、変換生成部４０６は、前述の左画像および右画像と同時に撮影した距離画像から各々の距離に基づき、前述の３つのマーカを抽出し、これらの３つのマーカ各々の距離画像に基づく空間における位置を算出する（Ｓ３：詳細は図８を用いて後述）。これら３つのマーカの距離画像に基づく空間における位置と、立体映像の表示空間における位置とに基づき、アフィン変換である前述の距離画像に基づく空間から立体映像の表示空間への変換を求める（Ｓ４）。

なお、任意のアフィン変換は、各軸回りの回転、各軸方向の拡大縮小、平行移動の組合せで表せるため、アフィン変換を表す行列は、３次元空間では、それぞれ３つずつで合計９つの未知数からなる。このため、同一直線上にない３つの点の変換前と変換後の座標がわかれば、これらを代入した９つの一次式が立てられるので、アフィン変換を表す行列を一意に求めることができる。前述のステップＳ４では、変換生成部４０６は、３つの被写体の距離画像に基づく空間と立体映像の表示空間における位置（座標）を３つの点の変換前と変換後の座標として用いて、アフィン変換を表す行列を求める。

形状映像空間調整部４０７は、変換生成部４０６が求めたアフィン変換を表す行列を用いて、形状抽算出部４０５が生成した被写体の形状データを立体映像の表示空間に変換する。すなわち、アフィン変換を表す行列に、形状データの各点のベクトルを掛けることで、アフィン変換を施す。４０８は、立体映像合成部４０４が生成した立体映像データを、立体映像表示装置５００に出力する立体映像出力部である。４０９は、形状映像空間調整部４０７により変換が施された形状データを力覚・触覚提示装置６００に出力する形状出力部である。

図５は、形状抽算出部４０５において、距離画像データ入力部４０３から受けた距離画像に基づき、被写体の形状データを生成する処理を説明するフローチャートである。まず、被写体を抽出するために、距離の抽出閾値Ｄｍを、予めユーザ操作により設定し、形状抽算出部４０５は、この抽出閾値Ｄｍを記憶しておく（Ｓａ１）。
次に、形状抽算出部４０５は、距離画像データ入力部４０３から受けた距離画像を構成するｉ＝０からＩｍａｘ−１までのＩｍａｘ個全ての画素について、ステップＳａ３〜Ｓａ６の処理を行う（Ｓａ２）。ステップＳａ３では、形状抽算出部４０５は、ｉ番目（最初は０番目）の画素の距離Ｄｉを取得する。次に、形状抽算出部４０５は、ステップＳａ３にて取得した距離Ｄｉが、被写体として抽出すべき距離であるか否か、すなわち、ステップＳａ１にて記憶部に格納した抽出閾値Ｄｍより小さいか否かを判定する（Ｓａ４）。ステップＳａ４にて、距離Ｄｉは抽出閾値Ｄｍより小さいと判定されると、ステップＳａ５に遷移して、形状抽算出部４０５は、このときのｉ番目の画素について、距離画像中における位置とその距離Ｄｉを記憶した後、ステップＳａ６に遷移する。

一方、ステップＳａ４にて、距離Ｄｉは抽出閾値Ｄｍより小さくない（同じもしくは大きい）と判定されると、直接ステップＳａ６に遷移する。ステップＳａ６では、形状抽算出部４０５は、ｉの値を１増やし、ｉの値がＩｍａｘより小さいときは、ステップＳａ３に戻って、前述の処理を繰り返す。このようにして、ｉの値がＩｍａｘとなるまで、すなわち、該距離画像の全ての画素について、形状抽算出部４０５は、ステップＳａ３からＳａ６を繰り返す。

ステップＳａ６にて、ｉの値がＩｍａｘとなると、ステップＳａ７に遷移し、形状抽算出部４０５は、ステップＳａ６にて位置を記憶した画素のうち、距離画像中の位置が縦もしくは横に隣接しあうものをまとめたグループを生成する。ここで、任意の２画素が隣接しあうか否かの判定は、該２画素の横軸方向の位置が同じで縦軸方向の位置が１画素ずれているか、あるいは、横軸方向の位置が１画素ずれていて縦軸方向の位置が同じであるかのいずれかの条件を満たしている場合は隣接しあうとすることで可能である。次に、形状抽算出部４０５は、ステップＳａ７にて生成した各グループについて、画素の位置（横軸方向、縦軸方向）と距離に基づき、隣接する３点ずつからなる３角形によりポリゴン化した形状データを生成する（Ｓａ８）。

図６は、変換生成部４０６において、左画像および右画像におけるマーカの位置を算出する処理を説明するフローチャートである。変換生成部４０６では、左画像と右画像それぞれについて、図６に示すフローチャートの処理を、抽出閾値を変更して３回実施することで、３つのマーカの位置を算出する。つまり、図６の処理を、左右で２つの画像に対し、３つのマーカについて行うことによって、計６回実施する。また、本実施形態では、各画素の色を表現するための色値を、赤、緑、青成分の値で表す。
まず、３つのマーカを検出するために、予めマーカ各々について色の赤、緑、青成分の抽出閾値として上限値（Ｒｍａｘ、Ｇｍａｘ、Ｂｍａｘ）および下限値（Ｒｍｉｎ、Ｇｍｉｎ、Ｂｍｉｎ）をユーザ操作により設定し、変換生成部４０６は、これらの値を記憶部に格納する（Ｓｂ１）。

次に、変換生成部４０６は、左映像データ入力部４０１または右映像データ入力部４０２から受けた画像を構成するｊ＝０からＪｍａｘ−１までのＪｍａｘ個全ての画素について、ステップＳｂ３〜Ｓｂ６の処理を行う（Ｓｂ２）。ステップＳｂ３では、変換生成部４０６は、ｊ番目（最初は０番目）の画素の赤、緑、青成分値（Ｒｊ、Ｇｊ、Ｂｊ）を取得する。次に、変換生成部４０６は、ステップＳｂ３にて取得した赤、緑、青成分値（Ｒｊ、Ｇｊ、Ｂｊ）が、マーカの色であるか否か、すなわち、ステップＳｂ１にて記憶部に格納した上限値（Ｒｍａｘ、Ｇｍａｘ、Ｂｍａｘ）および下限値（Ｒｍｉｎ、Ｇｍｉｎ、Ｂｍｉｎ）の範囲内、すなわち抽出閾値の範囲内にあるか否かを判定する（Ｓｂ４）。この判定では、以下の（１）〜（３）の式を全て満たしている場合に、抽出閾値の範囲内にあると判定する。
Ｒｍｉｎ＜Ｒｊ＜Ｒｍａｘ ・・・・（１）
Ｇｍｉｎ＜Ｇｊ＜Ｇｍａｘ ・・・・（２）
Ｂｍｉｎ＜Ｂｊ＜Ｂｍａｘ ・・・・（３）
ステップＳｂ４にて、抽出閾値の範囲内にあると判定されると、ステップＳｂ５に遷移して、変換生成部４０６は、このときのｊ番目の画素について、画像中における位置を記憶した後、ステップＳｂ６に遷移する。

一方、ステップＳｂ４にて、抽出閾値の範囲内にないと判定されると、直接ステップＳｂ６に遷移する。ステップＳｂ６では、変換生成部４０６は、ｊの値を１増やし、ｊの値がＪｍａｘより小さいときは、ステップＳｂ３に遷移して、前述の処理を繰り返す。このようにして、ｊの値がＪｍａｘとなるまで、すなわち、該画像の全ての画素について、変換生成部４０６は、ステップＳｂ３からＳｂ６を繰り返す。

ステップＳｂ６にて、ｊの値がＪｍａｘとなると、ステップＳｂ７に遷移し、変換生成部４０６は、ステップＳｂ６にて位置を記憶した画素のうち、画像中の位置が縦もしくは横に隣接しあうものをまとめたグループを生成する。ここで、任意の２画素が隣接しあうか否かの判定は、該２画素の横軸方向の位置が同じで縦軸方向の位置が１画素ずれているか、横軸方向の位置が１画素ずれていて縦軸方向の位置が同じであるかのいずれかの条件を満たしている場合は隣接しあうとすることで可能である。次に、変換生成部４０６は、ステップＳｂ７にて生成したグループのうち、面積が最大のもの、すなわち、画素数が最大のものをマーカであると判定して抽出し、抽出したマーカの重心の座標を、マーカを構成する画素の座標を平均することで算出して出力する（Ｓｂ８）。

例えば、ステップＳｂ６にて変換生成部４０６が位置を記憶した画素のＸ，Ｙ座標が、（１０，１０）、（１０，１１）、（１１，１１）、（２５，６０）、（２４，６１）、（２５，６１）、（２６，６１）、（２５，６２）の８画素であったとすると、ステップＳｂ７では、変換生成部４０６は、（１０，１０）、（１０，１１）、（１１，１１）の３つの画素からなるグループ１と、（２５，６０）、（２４，６１）、（２５，６１）、（２６，６１）、（２５，６２）の５つの画素からなるグループ２とを生成する。次にステップＳｂ８では、変換生成部４０６、３画素のグループ１と５画素のグループ２との画素数を比較し、画素数の多いグループ２をマーカであると判定して抽出し、抽出したマーカの重心の位置を、（２５，６０）、（２４，６１）、（２５，６１）、（２６，６１）、（２５，６２）の平均を求めることで算出する。すなわち、重心の位置は、（（２５＋２４＋２５＋２６＋２５）／５，（６０＋６１＋６１＋６１＋６２）／５）＝（２５，６１）となる。

図７は、変換生成部４０６にて立体映像の表示空間におけるマーカのＺ軸方向すなわち画像に対して垂直な方向（奥行き方向）の位置を算出する方法を説明する図である。なお、本図では、説明を簡易にするために１つのマーカについてのみ説明するが、変換生成部４０６は３つのマーカ各々について、図７の処理を行い、各マーカの位置を算出する。座標ＸＬは、図６の処理にて変換生成部４０６が算出した左画像Ｇ１におけるマーカ画像Ｍ１の重心位置のうち横軸方向の座標であり、左画像Ｇ１の左端を原点としている。座標ＸＲは、図６の処理にて変換生成部４０６が算出した右画像Ｇ２におけるマーカ画像Ｍ２の重心位置のうち横軸方向の座標であり、右画像Ｇ２の左端を原点としている。画像に対して垂直な方向（Ｚ軸）は、立体映像表示装置５００にて表示している立体映像を見ているユーザの視点を原点としており、変換生成部４０６は、画像に対して垂直な方向の座標Ｚを（４）式にて算出する。
Ｚ＝１／（ＸＬ−ＸＲ） ・・・・（４）
また、変換生成部４０６は、図６の処理にて算出した左画像および右画像におけるマーカ画像の重心位置の平均をとることで、立体映像の表示空間におけるマーカのＸ軸方向すなわち画像の横方向の座標およびＹ軸方向すなわち画像の縦方向の座標を算出する。

例えば、図６の処理にて算出した左画像におけるマーカ画像の重心位置のＸ座標ＸＬ＝８０、Ｙ座標ＹＬ＝４２であり、右画像におけるマーカ画像の重心位置のＸ座標ＸＲ＝５０、Ｙ座標ＹＲ＝４０であるときは、変換生成部４０６は、立体映像の表示空間におけるＸ座標を（５）式、Ｙ座標を（６）式、Ｚ座標を（７）式で算出し、（Ｘ，Ｙ，Ｚ）＝（６５，４１，０．０３３）となる。
Ｘ＝（ＸＬ＋ＸＲ）／２＝（８０＋５０）／２＝６５ ・・・（５）
Ｙ＝（ＹＬ＋ＹＲ）／２＝（４２＋４０）／２＝４１ ・・・（６）
Ｚ＝１／（ＸＬ−ＸＲ）＝１／（８０−５０）＝０．０３３ ・・・（７）
ここで、Ｚ座標の値が、Ｘ座標、Ｙ座標の値に比べて非常に小さな値となっているが、これは、（４）式により求められるＺ座標の値が、Ｘ座標、Ｙ座標とは異なる縮尺となっているためであり、所定の定数ＣをＺ座標に乗じることで、これを調整する。また、Ｚ軸方向の位置を強調するように、所定の定数Ｃの大きさを調整してもよい。

図８は、変換生成部４０６において、３つのマーカ各々の距離画像に基づく空間における位置を算出する処理を説明するフローチャートである。なお、本図では、説明を簡易にするために１つのマーカについてのみ説明するが、変換生成部４０６は３つのマーカ各々について、図８の処理を行い、３つのマーカの距離画像に基づく空間における位置を算出する。つまり、図８の処理を３回実施する。
まず、３つのマーカを検出するために、予めマーカ各々について距離の抽出閾値である下限値Ｄｍｉｎおよび上限値Ｄｍａｘをユーザ操作により設定し、変換生成部４０６は、この下限値Ｄｍｉｎ、上限値Ｄｍａｘを記憶部に記憶しておく（Ｓｃ１）。
次に、変換生成部４０６は、距離画像データ入力部４０３から受けた距離画像を構成するｋ＝０からＫｍａｘ−１までのＫｍａｘ個全ての画素について、ステップＳｃ３〜Ｓｃ６の処理を行う（Ｓｃ２）。ステップＳｃ３では、変換生成部４０６は、ｋ番目（最初は０番目）の画素の距離Ｄｋを取得する。次に、変換生成部４０６は、ステップＳｃ３にて取得した距離Ｄｋが、マーカとして抽出すべき距離であるか否か、すなわち、ステップＳｃ１にて記憶部に格納した下限値Ｄｍｉｎと上限値Ｄｍａｘの間にあるか否かを判定する（Ｓｃ４）。ステップＳｃ４にて、距離Ｄｋは下限値Ｄｍｉｎと上限値Ｄｍａｘの間にあると判定されると、ステップＳｃ５に遷移して、変換生成部４０６は、このときのｋ番目の画素について、距離画像中における位置とその距離Ｄｋを記憶した後、ステップＳｃ６に遷移する。

一方、ステップＳｃ４にて、距離Ｄｋは下限値Ｄｍｉｎと上限値Ｄｍａｘの間にないと判定されると、直接ステップＳｃ６に遷移する。ステップＳｃ６では、変換生成部４０６は、ｋの値を１増やし、ｋの値がＫｍａｘより小さいときは、ステップＳｃ３に戻って、前述の処理を繰り返す。このようにして、ｋの値がＫｍａｘとなるまで、すなわち、該距離画像の全ての画素について、変換生成部４０６は、ステップＳｃ３からＳｃ６を繰り返す。

ステップＳｃ６にて、ｋの値がＫｍａｘとなると、ステップＳｃ７に遷移し、変換生成部４０６は、ステップＳｃ６にて位置を記憶した画素のうち、距離画像中の位置が縦もしくは横に隣接しあうものをまとめたグループを生成する。ここで、任意の２画素が隣接しあうか否かの判定は、該２画素の横軸方向の位置が同じで縦軸方向の位置が１画素ずれているか、あるいは、横軸方向の位置が１画素ずれていて縦軸方向の位置が同じであるかのいずれかの条件を満たしている場合は隣接しあうとすることで可能である。次に、変換生成部４０６は、ステップＳｃ７にて生成したグループのうち、面積が最大のもの、すなわち、画素数が最大のものをマーカであると判定して抽出し、抽出したマーカの重心の座標を、マーカを構成する画素の座標を平均することで算出して出力する（Ｓｃ８）。

このように、変換生成部４０６にて生成したアフィン変換を用いて、形状映像空間調整部４０７が、形状データを距離画像に基づく空間から立体映像の表示空間に変換するので、本実施形態の立体映像合成装置４００は、実写の立体映像と動きおよび座標系が一致した形状データを出力し、実写映像を立体映像表示装置５００で表示した際に、誰もが直感的に要求する触感への要望に対して、形状データを受けた力覚・触覚提示装置６００によってそれを実現することができる。従来の実写の立体映像は単に立体物として見るのみであったが、触感が加わることによってより確実な立体物の把握が可能であるとともに新たなメディア、インターフェースの可能性が広がる。
また、本実施形態の立体映像合成装置４００は、複数の被写体について、立体映像データおよび形状データを出力することができるため、遠隔コミュニケーションや空間記録などの分野で特に効果的な利用が可能である。

なお、立体映像合成装置４００の記憶部は、ハードディスク装置や光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＲ−ＲＯＭ等の読み出しのみが可能な記憶媒体、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような揮発性のメモリ、あるいはこれらの組み合わせにより構成されるものとする。
また、この立体映像合成装置４００には、周辺機器として入力装置、表示装置等（いずれも図示せず）が接続されるものとする。ここで、入力装置とはキーボード、マウス等の入力デバイスのことをいう。表示装置とはＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）や液晶表示装置等のことをいう。

また、図３における左映像データ入力部４０１、右映像データ入力部４０２、距離画像データ入力部４０３、立体映像合成部４０４、形状抽算出部４０５、変換生成部４０６、形状映像空間調整部４０７、立体映像出力部４０８、形状出力部４０９の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより左映像データ入力部４０１、右映像データ入力部４０２、距離画像データ入力部４０３、立体映像合成部４０４、形状抽算出部４０５、変換生成部４０６、形状映像空間調整部４０７、立体映像出力部４０８、形状出力部４０９の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

なお、本実施形態において、変換生成部４０６は、３つのマーカを撮影した画像から、アフィン変換を生成するとして説明したが、３つを超える数のマーカを撮影した画像からアフィン変換を生成してもよいし、１つのマーカを場所を変えて３回以上撮影し、これらの画像からアフィン変換を生成してもよい。また、事前にマーカを撮影するのではなく、被写体とともにマーカを撮影し、リアルタイムにアフィン変換を生成してもよい。
また、本実施形態においては、変換生成部４０６は、３つのマーカを左画像および右画像では色を基準にして抽出し、距離画像では距離を基準にして抽出しているが、左画像、右画像、距離画像を立体映像合成装置４００の変換生成部４０６が表示させ、ユーザがマウスなどの入力デバイスを用いて左画像および右画像に対して指定した立体映像の表示空間の点と、該点と対応付けてユーザがマウスなどの入力デバイスを用いて距離画像に対して指定した点を変換生成部４０６が受付けてマーカとし、変換生成部４０６は該マーカに基づきアフィン変換を生成してもよい。このときも、アフィン変換の生成には３つ以上のマーカが必要である。これにより、マーカを用いることなく、任意のシーンを撮影した画像に基づき、距離画像に基づく空間から立体映像の表示空間へのアフィン変換を求めることができる。

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明の立体映像合成装置は、遠隔コミュニケーションや空間記録などに用いて好適であるが、これに限られるものではない。

この発明の一実施形態の概要を説明する図である。 同実施形態における立体映像合成装置４００を用いたシステムの構成を示す概略ブロック図である。 同実施形態における立体映像合成装置４００の構成を示す概略ブロック図である。 同実施形態における変換生成部４０６の動作を説明するフローチャートである。 同実施形態における形状抽算出部４０５において、被写体の形状データを生成する処理を説明するフローチャートである。 同実施形態における変換生成部４０６において、左画像および右画像におけるマーカの位置を算出する処理を説明するフローチャートである。 同実施形態における変換生成部４０６にて立体映像の表示空間におけるマーカのＺ軸方向の位置に関する算出方法を説明する図である 同実施形態における変換生成部４０６において、３つのマーカ各々の距離画像に基づく空間における位置を算出する処理を説明するフローチャートである。

符号の説明

１００…左映像撮影装置
２００…右映像撮影装置
３００…距離画像撮影装置
４００…立体映像合成装置
５００…立体映像表示装置
６００…力覚・触覚提示装置
４０１…左映像データ入力部
４０２…右映像データ入力部
４０３…距離画像データ入力部
４０４…立体映像合成部
４０５…形状抽算出部
４０６…変換生成部
４０７…形状映像空間調整部
４０８…立体映像出力部
４０９…形状出力部

Claims (5)

1. 被写体を左目の視点から撮像した左画像と右目の視点から撮像した右画像とから立体映像を合成する立体映像合成装置において、
   各画素が距離を表す距離画像を撮影する距離画像撮影装置から入力された前記被写体の距離画像から、前記被写体の形状データを算出する形状算出部と、
   前記形状算出部が算出した形状データに対して、自装置が合成する立体映像の表示空間への変換を施す形状映像空間調整部と、
   前記形状映像空間調整部が変換を施した形状データを感覚提示装置に出力する形状データ出力部と
   を備えることを特徴とする立体映像合成装置。
2. 前記左画像と前記右画像とから各々の色に基づき３つ以上の被写体を抽出し、前記３つ以上の被写体各々の前記立体映像の表示空間における位置を算出し、前記距離画像から各々の距離に基づき前記３つ以上の被写体を抽出し、前記３つ以上の被写体各々の前記距離画像に基づく空間における位置を算出し、前記算出したこれらの位置に基づき、前記距離画像に基づく空間から前記表示空間への変換を求める変換生成部を備え、
   前記形状映像空間調整部は、前記変換生成部が求めた変換を、前記形状データに施すこと
   を特徴とする請求項１に記載の立体映像合成装置。
3. ユーザ操作により指定された３つ以上の前記立体映像の表示空間の点と、該点それぞれにユーザ操作により対応付けられた前記距離画像の点とに基づき、前記距離画像に基づく空間から前記表示空間への変換を求める変換生成部を備え、
   前記形状映像空間調整部は、前記変換生成部が求めた変換を、前記形状データに施すこと
   を特徴とする請求項１に記載の立体映像合成装置。
4. 被写体を左目の視点から撮像した左画像と右目の視点から撮像した右画像とから立体映像を合成する立体映像合成装置における形状データ生成方法であって、
   前記立体映像合成装置が、各画素が距離を表す距離画像を撮影する距離画像撮影装置から入力された前記被写体の距離画像から、前記被写体の形状データを算出する第１の過程と、
   前記立体映像合成装置が、前記第１の過程にて算出した形状データに対して、自装置が合成する立体映像の表示空間への変換を施す第２の過程と、
   前記立体映像合成装置が、前記第２の過程にて変換を施した形状データを感覚提示装置に出力する第３の過程と
   を備えることを特徴とする形状データ生成方法。
5. コンピュータを、被写体を左目の視点から撮像した左画像と右目の視点から撮像した右画像とから立体映像を合成する立体映像合成装置として機能させるためのプログラムにおいて、
   各画素が距離を表す距離画像を撮影する距離画像撮影装置から入力された前記被写体の距離画像から、前記被写体の形状データを算出する形状算出部、
   前記形状算出部が算出した形状データに対して、自装置が合成する立体映像の表示空間への変換を施す形状映像空間調整部、
   前記形状映像空間調整部が変換を施した形状データを感覚提示装置に出力する形状データ出力部
   として機能させるプログラム。

Images