JP7030010B2 - 立体映像奥行き圧縮装置および立体映像奥行き圧縮プログラム - Google Patents

Description

本発明は、立体映像の奥行きを圧縮する技術に係り、特にヘッドマウントディスプレイに提示する２眼式の立体映像の奥行きを圧縮する立体映像奥行き圧縮装置および立体映像奥行き圧縮プログラムに関する。

一般的なヘッドマウントディスプレイ（Head-mounted display：ＨＭＤ）は、光学レンズと、近接ディスプレイと、を備え、所定の奥行きの平面に拡大虚像を生成する。また、ＨＭＤは、近接ディスプレイに両眼視差映像を表示することで立体視を実現している。この際、ＨＭＤを装着した利用者が、実際に知覚する対象物体の位置は、前記所定の奥行きにある平面の位置よりもずっと奥の位置であったり、または手前の位置であったりする。つまり、眼球の回転により像を結ぶ位置（輻輳位置）とピントを合わせる位置（調節位置）とが、ずれる現象がＨＭＤでは起こっている。このように生成された拡大虚像の奥行きとは異なる位置に視対象が存在した場合、眼球における輻輳距離と調節距離とが一致せず、眼精疲労が生じ易くなる。このように、ＨＭＤには、その利用者に輻輳・調節矛盾が発生し眼精疲労が生じ易いという課題がもともと内在している。

このため、従来、輻輳・調節矛盾を緩和する技術として、大別して２種類の異なるアプローチによる技術がそれぞれ開発されてきた。このうち、第１のアプローチは、輻輳距離を基準として、この輻輳距離に対して調節距離を近づける手法である（例えば、非特許文献１、特許文献１および特許文献２を参照）。また、第２のアプローチは、第１のアプローチとは逆に、調節距離を基準として、この調節距離に対して輻輳距離を近づける手法である（例えば特許文献３および特許文献４を参照）。

非特許文献１には、AI Display （Accommodation Invariant Display）と呼ばれるＨＭＤの機構が記載されている。AI Displayは、可変焦点レンズ（Focus-tunable Lens）を用いて虚像位置を変化させ、さらに、画像処理で映像を適度に不鮮明化する。これにより、網膜像の明瞭さではなく輻輳や視差を起因として調節機能を誘導することを実現している。こうすることで、調節距離が、提示物体の本来の奥行きに近づき、結果として、輻輳・調節矛盾が緩和される。

特許文献１には、偏心プリズム（偏心光学素子）と、可変形状鏡（能動型反射光学素子）と、を用いることで、虚像位置（調節距離）を変化させる技術が記載されている。
特許文献２には、光学レンズおよび近接ディスプレイを回転させて虚像位置（調節距離）を変化させる技術が記載されている。

特許文献３には、近接ディスプレイに表示する左右の映像（２次元映像）を水平移動させることで表示物体の奥行き量（輻輳距離）を制御し、輻輳距離を調節距離へ近づける技術が記載されている。
特許文献４には、映像の特徴から注視領域を予測し、その領域に関して、奥行き情報（輻輳距離）を制御して輻輳距離を調節距離へ近づけた上で立体映像を表示する技術が記載されている。

特開２００３－２４１１００号公報 特開平８－１１１８７８号公報 特開平９－３２２１９７号公報 特開平１０－３２７４３２号公報

KONRAD, R., et al., "Accommodation-invariant Computational Near-eye Displays", ACM Transactions on Graphics, Volume 36, Issue 4, Article 88, July 2017, (SIGGRAPH 2017).

例えば非特許文献１に記載されたAI Displayは、構成要素として、可変焦点レンズや多焦点レンズの機構を備えている。しかしながら、一般的なＨＭＤは、これらの機構を備えていない。また、特許文献１および特許文献２に記載された技術を適用しようとする場合も、一般的なＨＭＤの機構を変更しなければならない。要するに、非特許文献１、特許文献１および特許文献２に記載された技術は、一般的なＨＭＤを用いる前提では、輻輳・調節矛盾の緩和を実現することができない。

一方、特許文献３、４に記載された技術は一般的なＨＭＤを用いることも可能である。ただし、例えば、特許文献３に記載の技術は２次元映像から奥行きを推定するので、特に、特徴点が僅かしかない映像から奥行きを推定する際には、推定誤差が大きくなる可能性が高い。誤差が大きくなると、提示される立体像の奥行き感において違和感が大きくなる。
また、特許文献４に記載された技術は注視領域を予測するものであるが、その予測した領域をＨＭＤの利用者が注視しているとは限らない。仮に注視領域を正確に予測できたとしても、注視領域以外の奥行きが制御されていなければ、視野全体における奥行き関係の自然性が失われる可能性がある。つまり、視野全体における奥行き感において違和感を伴う可能性がある。さらに、注視領域が素早く切り替わる際には、各領域の奥行きを頻繁に制御しなければならない。

本発明は、以上のような問題点に鑑みてなされたものであり、一般的なＨＭＤの機構を変更せずに、奥行き感の違和感を軽減しながら輻輳・調節矛盾を緩和することのできる立体映像奥行き圧縮装置および立体映像奥行き圧縮プログラムを提供することを目的とする。

前記課題を解決するために、本発明に係る立体映像奥行き圧縮装置は、左右の近接ディスプレイおよび光学レンズを備えるヘッドマウントディスプレイによって提示する２眼式の立体映像の奥行きを圧縮する立体映像奥行き圧縮装置であって、奥行き圧縮手段と、表示制御手段と、を備えることとした。

かかる構成によれば、立体映像奥行き圧縮装置は、奥行き圧縮手段によって、前記ヘッドマウントディスプレイの視点の位置および姿勢と、提示対象とする３次元モデルが有する複数の頂点のそれぞれの位置と、を基に、前記３次元モデルのそれぞれの前記頂点が前記ヘッドマウントディスプレイの視点を中心として全天球的に前記視点に向かって接近するように前記３次元モデルの奥行きを圧縮する。そして、立体映像奥行き圧縮装置は、表示制御手段によって、前記奥行き圧縮手段によって奥行きが圧縮された後の３次元モデルを仮想的な拡大虚像スクリーンへ投影し光学変換した２次元映像を前記左右のディスプレイに表示する映像としてそれぞれ生成する。
したがって、立体映像奥行き圧縮装置は、視点を中心に全天球的に３次元モデルの奥行きを一度に圧縮しておくことで、視対象が素早く切り替わる度に奥行き制御が発生することを回避して効率的な制御を行うことができる。また、立体映像奥行き圧縮装置は、全天球的に視野全体の奥行きを圧縮するので、視野内の領域間で奥行き感が極端に異なるという不自然性は生じにくくなる。そのため、奥行き感の違和感を軽減することができる。さらに、立体映像奥行き圧縮装置は、奥行き制御の際の操作対象が３次元モデルであるため、一般的なＨＭＤの基本構成を変更せずに適用することができる。

本発明は、以下に示す優れた効果を奏するものである。
本発明に係る立体映像奥行き圧縮装置によれば、全球的に３次元モデルの奥行きを圧縮し全視野的な奥行き情報を予め取得しておくことで、視対象が素早く切り替わる度に奥行き制御が発生することを回避して効率的な制御を行うことができる。
また、立体映像奥行き圧縮装置は、視野内の領域間で奥行き感が極端に異なるという不自然性が生じにくいので、奥行き感の違和感を軽減することができる。
さらに、立体映像奥行き圧縮装置は、一般的なＨＭＤの基本構成を変更することなく、調節距離を基準にして、輻輳距離を調節距離へ近づけることで、輻輳・調節矛盾を緩和することができる。

本発明の第１実施形態に係る立体映像奥行き圧縮装置を模式的に示すブロック図である。 ＨＭＤの構成を示す模式図である。 ワールド座標系およびカメラ座標系の模式図である。 奥行き圧縮を適用する範囲を示す模式図である。 奥行き圧縮適用前後の３次元モデルの頂点から視点までの距離の関係の一例を示すグラフである。 図６（ａ）および図６（ｂ）は３次元モデルのポリゴンのメッシュを細分化する前後の一例を示す模式図である。 俯瞰して見た圧縮前のオブジェクト、対応する左眼映像および右眼映像の一例である。 俯瞰して見た圧縮後のオブジェクト、対応する左眼映像および右眼映像の一例である。 本発明の第２実施形態に係る立体映像奥行き圧縮装置を模式的に示すブロック図である。 本発明の第３実施形態に係る立体映像奥行き圧縮装置を模式的に示すブロック図である。 本発明の第４実施形態に係る立体映像奥行き圧縮装置を模式的に示すブロック図である。

以下、本発明の実施形態に係る立体映像奥行き圧縮装置について、図面を参照しながら説明する。
（第１実施形態）
図１に示す立体映像奥行き圧縮装置１は、ヘッドマウントディスプレイ２（以下、ＨＭＤ２）によって提示する２眼式の立体映像の奥行きを圧縮するものである。本実施形態では、立体映像奥行き圧縮装置１は、一例として、ＨＭＤ２を装着する利用者が自宅などのローカルな場所で使用する一般的なパーソナルコンピュータであるものとして説明する。

立体映像奥行き圧縮装置１は、図１に示すように、奥行き圧縮手段１０と、記憶手段４０と、表示制御手段５０と、を備えている。
記憶手段４０は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ハードディスク等を備え、提示対象とするコンテンツ（３次元モデル）を記憶すると共に、３次元モデルの奥行き圧縮のための動作プログラムがインストールされている。

以下では、奥行き圧縮手段１０による奥行き圧縮処理を行う前の３次元モデルのことを圧縮前の３次元モデル４１（または単に３次元モデル４１）と呼ぶ。また、奥行き圧縮処理を行った後の３次元モデルのことを圧縮後の３次元モデル４２（または単に３次元モデル４２）と呼ぶ。詳細は後記するが、以下では、コンテンツ（３次元モデル）として図７および図８に示す立方体の一例を説明する。なお、コンテンツは、特に限定されないが、例えばジャンルであれば、映画、スポーツ中継、アニメーション等であっても構わない。

本実施形態のように、圧縮前の３次元モデル４１を利用者が既に所有していることを前提とする場合、次のような使用方法が想定される。例えば、利用者が疲れていないときや短時間の使用の場合、３次元モデル４１を圧縮せずに利用することもできる。一方、利用者が疲れている場合や、ＨＭＤ２を長時間使用したいけれど眼をあまり疲労させたくない場合、奥行きが圧縮された３次元モデル４２を利用することもできる。したがって、利用者は、疲労度や好みにあわせて、圧縮したコンテンツを楽しむことができる。

表示制御手段５０は、圧縮後の３次元モデル４２を仮想的な拡大虚像スクリーン２５（図２参照）へ投影し光学変換した２次元映像５１を生成するものである。表示制御手段５０は、２次元映像５１をＨＭＤ２の近接ディスプレイ２２Ｌ，２２Ｒ（図２参照）に表示する映像としてそれぞれ生成する。この２次元映像５１は、ＨＭＤ２に表示される。

ＨＭＤ２は、利用者が装着し、装着した利用者がテレビ放送を視聴したり、インターネット配信を視聴したり、ゲームをしたりするときに用いられる。ＨＭＤ２は、例えば非透過型のＶＲ（Virtual Reality）ゴーグルで構成されている。ＶＲゴーグルは、利用者が、ＶＲ、ＡＲ（Augmented Reality）、またはＭＲ（Mixed Reality）を体験することができるものである。ＨＭＤ２は、例えばカメラを備えているものであっても構わない。カメラを備えているＨＭＤとしては、例えばＨＴＣ ＶＩＶＥ（登録商標）といったＶＲゴーグルが市販されている。

また、本実施形態は、ＨＭＤ２によって奥行きを圧縮する制御を行うわけではないので、ＨＭＤ２は、スマートフォンが段ボール等の筺体に装着される簡易型のＨＭＤであっても構わない。簡易型のＨＭＤとしては、例えばハコスコ（登録商標）が知られている。なお、簡易的なＨＭＤは、計算機能が乏しく奥行きを圧縮するための演算処理を行うことは難しいが、予め圧縮された映像を取得して表示することは可能である。

ＨＭＤ２は、図２に示すように、左右の近接ディスプレイ２２Ｌ，２２Ｒおよび光学レンズ２１Ｌ，２１Ｒを備えている。図２は、立体映像奥行き圧縮装置１で利用するカメラ座標系をあわせて示している。カメラ座標系の原点は、ＨＭＤ２の視点に設定されている。この原点は、利用者の左右の眼球９Ｌ，９Ｒの中心位置に設定されている。カメラ座標系において、利用者が近接ディスプレイ２２Ｌ，２２Ｒの画面を見ているときに、利用者から向かって右がＸ軸の正の方向となっており、鉛直方向上向きがＹ軸（図２では省略、図３参照）の正の方向となっている。また、利用者から近接ディスプレイ２２Ｌ，２２Ｒへの向きがＺ軸の正の方向となっている。

図１に示す視点情報取得手段３は、立体映像奥行き圧縮装置１の外部装置である。
視点情報取得手段３は、ＨＭＤ２の視点の位置および姿勢を含む視点情報を取得するものである。視点情報取得手段３は、視点情報を取得することができれば特に限定されるものではない。一般的には、例えば、赤外線カメラ、加速度センサ、ジャイロスコープ等の装置が利用される。具体的には、ＨＭＤ２が例えばＨＴＣ ＶＩＶＥ（登録商標）の場合には、視点情報取得手段３は、利用者が装着する本体（ＨＭＤ２）とは別に設けられた赤外線カメラ等の外部装置であって室内の適所に設置される。

なお、図１では、視点情報取得手段３とＨＭＤ２とを分けて示しているが一体的に設けられてもよい。具体的には、ＨＭＤ２が例えばハコスコ（登録商標）等を利用した簡易型のＨＭＤの場合には、視点情報取得手段３は、簡易型のＨＭＤのアプリケーションが、簡易型のＨＭＤに装着されるスマートフォンの加速度センサの値を読み出すことによって実現される。よって、この場合には、視点情報取得手段３は、利用者が装着したＨＭＤ２と一体である。

奥行き圧縮手段１０は、ＨＭＤ２の視点の位置および姿勢と、提示対象とする３次元モデル４１が有する複数の頂点のそれぞれの位置と、を基に、ＨＭＤ２の視点を中心に全天球的に３次元モデルの奥行きを圧縮するものである。奥行き圧縮手段１０は、手前に存在する物体の位置は手前のまま、奥に存在する物体の位置は奥のままで各物体の相互の前後関係は変わらないように圧縮する。以下では、３次元モデルが有する複数の頂点のそれぞれの位置とは、例えば３次元モデルを構成するポリゴンのメッシュの複数の交点のそれぞれの位置であるものとして説明する。

本実施形態では、奥行き圧縮手段１０は、視点情報取得手段３から、視点情報（ＨＭＤ２の視点の位置および姿勢）を取得することとした。これにより、奥行き圧縮手段１０は、ＨＭＤ２の視点情報が更新されると、更新された視点情報と、３次元モデル４１が有するメッシュの交点のそれぞれの位置と、を基に、３次元モデル４１の奥行きを動的に圧縮することができる。つまり、本実施形態では、奥行き圧縮手段１０は、ＨＭＤ２の位置や姿勢をアップデートする度に、３次元モデル４２の圧縮を更新する機能を備えている。

ここで、ＨＭＤ２の視点情報が更新されることには、大きな変化から小さな変化まで含まれる。これらの変化を、大きい順に階層的に並べると、例えば、ＨＭＤ２の位置そのものが変わることを意味する視点移動、利用者の頭部の回転による視線移動、利用者の眼球の動きが変わることを意味する注視領域の変化、のように表すことができる。これらのいずれの階層も視点情報の更新を意味するものであってもよいし、あるいは、いずれかの階層のみ視点情報の更新を意味するものとしてもよい。例えば、利用者の頭部が回転してしまうと、それに応じて変形やゆがみといった空間的な歪が目立ってしまう虞がある。しかしながら、本実施形態によれば、ＨＭＤ２の視点情報が更新される度に３次元モデル４２の圧縮を更新するので、空間的な歪を軽減することができる。

奥行き圧縮手段１０は、図１に示すように、カメラ座標算出手段１１と、奥行き変換手段１２と、メッシュ細分化手段１３と、を備えている。
カメラ座標算出手段１１は、ワールド座標系におけるＨＭＤ２の視点の位置および姿勢を基に、ＨＭＤ２の視点を原点とするカメラ座標系を算出し、算出されたカメラ座標系において、３次元モデル４１が有する頂点（メッシュの交点）のそれぞれの位置を算出するものである。ここで、カメラ座標系は、原点がＨＭＤ２の視点と一致しており、利用者から近接ディスプレイ２２Ｌ，２２Ｒへの向きがＺ軸の正の方向となっている座標系である（図２および図３参照）。

本実施形態では、カメラ座標算出手段１１は、視点情報取得手段３から、図３のワールド座標系におけるＨＭＤ２の視点情報（視点の位置および姿勢の情報）を取得し、図３のカメラ座標系（図２参照）を算出する。このとき、カメラ座標算出手段１１は、例えば、ワールド座標系の座標からカメラ座標系の座標への変換行列を用いる。この変換行列は、従来公知のように、回転行列や平行移動のベクトルを組み合わせて構成される。算出されたカメラ座標系は、奥行き変換手段１２に出力される。

奥行き変換手段１２は、カメラ座標系の原点から３次元モデル４１が有するそれぞれの頂点（メッシュの交点）までの距離と予め定められた閾値とをそれぞれ比較し、頂点までの距離が閾値より大きな頂点に対してのみ、所定の変換式を用いて頂点までの距離を短縮する変換を行い、レンダリングにより圧縮後の３次元モデル４２を生成する。
本実施形態では、奥行き変換手段１２は、３次元モデル４１を構成するポリゴンのメッシュを後記するメッシュ細分化手段１３で処理して生成された細かなメッシュの交点を、３次元モデルの頂点として奥行きを制御する。

ここで、奥行き変換手段１２による奥行き制御について図３を参照して説明する。
図３のカメラ座標系において、圧縮前の３次元モデル４１が有する頂点の１つをＰとしたとき、その頂点に対して原点Ｏの方向へ奥行き圧縮を適用した後の頂点をＱとする。線分ＯＰは、カメラ座標系の原点Ｏから、制御対象の頂点までの距離を表している。線分ＯＱは、カメラ座標系の原点Ｏから、奥行きが圧縮された頂点までの距離を表している。この場合、奥行き変換手段１２は、カメラ座標系における、圧縮前の３次元モデル４１の頂点Ｐと原点Ｏとを結ぶ線分ＯＰの長さが、予め定められた閾値以上となるような頂点Ｐに対してのみ、線分ＯＰの長さを縮小することで、奥行きを制御する。
なお、後記する数式の説明のために、図３において、頂点ＰからＸＺ平面に降ろした垂線の足をＨとする。φはＯＱとＯＨのなす角である。θはＯＨとＸ軸のなす角であって、観察者（利用者）における左右方向（水平方向）の回転角度を示している。

次に、奥行き変換手段１２による奥行き圧縮を適用する範囲について図４を参照して説明する。図４は、図２に示すカメラ座標系をより広い範囲で示している。奥行き圧縮手段１０は前記したように視点を中心に全天球的に３次元モデルの奥行きを圧縮する。全天球的な奥行き圧縮とは、所謂３６０度映像に対応した奥行き圧縮であり、球の中心から放射状に、前後左右上下等のあらゆる方向に対する中心からの距離の情報に基づく奥行き圧縮を意味する。図４は、全天球的な奥行き圧縮の一部であって、ＺＸ平面上の３６０度方向の奥行き圧縮を説明するための模式図である。視野は、図４の同心円の実線部で示しており、利用者が向く方向（ＨＭＤ２の姿勢）で決まる。３次元モデル４２は３６０度予め全部圧縮されるので、利用者が振り向けば図４の同心円の破線部についてもコンテンツを提示することができる。なお、視野は遠くの景色を観察できるような広がりを持っている。

図４のＺ軸において、Ｚ＝Ｚ１は、圧縮前の３次元モデル４１に奥行き圧縮を適用する範囲の下限の位置を示している。なお、Ｚ＝Ｚ１は、圧縮後の３次元モデル４２の頂点が位置する範囲のターゲットとして設定された下限も示している。ここでは、Ｚ＝０とＺ＝Ｚ１との間の距離をｒ_frontとする。図４に示す例の場合、原点Ｏを中心にした半径ｒ_frontの円が奥行き圧縮を適用する範囲の下限の位置となっているが、下限の位置は全球的なものである。この距離ｒ_frontが奥行き制御の閾値である。
なお、奥行き圧縮を適用する範囲の上限については特に設けていないが、実験により、例えば遠方のビルディングが見える風景（２５０ｍ程度）の奥行き圧縮が成功することは確かめられている。

図４のＺ軸において、Ｚ＝Ｚ２は、虚像位置、すなわちＨＭＤ２による仮想的な拡大虚像スクリーン２５の位置を示している。
Ｚ＝Ｚ３は、圧縮後の３次元モデル４２の頂点が位置する範囲のターゲットとして設定された上限を示している。Ｚ＝Ｚ１とＺ＝Ｚ３との間の距離をＤとする。この距離Ｄは、奥行き圧縮を適用する範囲の下限（圧縮後の３次元モデル４２の頂点が位置する範囲のターゲットとして設定された下限）と、圧縮後の３次元モデル４２の頂点が収まる上限と、の間の範囲を示す。
奥行き変換手段１２は、図４に示す例の場合、原点Ｏを中心にした半径ｒ_frontの円と、半径が（ｒ_front＋Ｄ）の円とで挟まれたリング状の範囲に正解を納めるように奥行き制御を行う。ただし、奥行き変換手段１２は全球的に奥行き制御を行う。

次に、奥行き変換手段１２による奥行き制御の詳細について図３、図４および数式を用いて説明する。図３において線分ＯＰの長さをｒとする。線分ＯＱの長さをｓとする。奥行き変換手段１２は、提示対象とする３次元モデル４１のそれぞれの頂点について、カメラ座標系の原点Ｏから頂点Ｐまでの距離ｒと予め定められた閾値ｒ_frontとをそれぞれ比較し、距離ｒが閾値ｒ_frontより大きな頂点に対しては所定の変換式を用いて距離ｒを圧縮変換する。奥行き変換手段１２は、距離ｒが閾値ｒ_front以下の頂点に対しては距離ｒを変換せずに維持する。

奥行き変換手段１２は、カメラ座標系の原点Ｏから圧縮前の３次元モデル４１の頂点Ｐまでの距離ｒが大きいほど距離ｒを短縮する度合いを高める変換式を用いることが好ましい。奥行き変換手段１２は、圧縮前の３次元モデル４１の複数の頂点において、カメラ座標系の原点Ｏ（視点）から遠くのものほど短縮の度合い（奥行き圧縮の度合い）を高めることで、ＨＭＤ２の利用者が視点移動等で知覚される形状や空間の歪みへの違和感をいっそう軽減することができる。所定の変換式としては例えば、対数関数や双曲線正接関数等を挙げることができる。ここでは、奥行き変換手段１２は、一例として次の式（１）を用いて距離ｒを短縮する変換を行う。

ただし、ｒ_frontは、図４に示すように、奥行き圧縮を適用する範囲に関する定数（閾値）である。閾値ｒ_frontは、例えば、調節距離程度とすることができる。また、Ｄは、図４に示すように、奥行き圧縮を適用した頂点（Ｑ：図３参照）を、閾値ｒ_frontからどれだけの範囲に収めるかを指定するための定数（距離）である。ｓは、距離ｒを短縮する変換を行った後の距離（原点Ｏから頂点Ｑまでの距離）である。

また、圧縮後の３次元モデル４２が有する頂点（奥行き圧縮が適用された際の頂点Ｑ：図３）の座標を（Ｑ_x, Ｑ_y, Ｑ_z）とすると、座標（Ｑ_x, Ｑ_y, Ｑ_z）は、次の式（２）で表される。

ただし、φは図３におけるＯＱとＯＨのなす角であり、θはＯＨとＸ軸のなす角である。
奥行き変換手段１２は、このような奥行きの圧縮を３次元モデル４１におけるすべての頂点に対して適用する。

図５は、閾値ｒ_front、距離Ｄにそれぞれ所定値を設定した場合における線分ＯＰ（図３）の長さｒと、線分ＯＱ（図３）の長さｓとの関係を示すグラフである。この例では、図４において、原点Ｏを中心にした半径ｒ_frontの円と、半径が（ｒ_front＋Ｄ）の円とで挟まれたリング状の範囲の具体的な数値として、閾値ｒ_front＝０．７５［ｍ］、Ｄ＝１．０［ｍ］を適用した。図５に示すように、横軸の距離ｒが大きくなるほど、縦軸の距離ｓを示す実線は、原点を通る４５度方向の破線から大きく離間するようになっている。奥行き変換手段１２は、このようなグラフ形状の非線形な圧縮を行うことで、ＨＭＤ２の利用者が視点移動等で知覚する形状や空間の歪みへの違和感を効果的に軽減することができる。

図１に戻って、立体映像奥行き圧縮装置１の構成の説明を続ける。
メッシュ細分化手段１３は、提示対象とする３次元モデル４１のポリゴンのメッシュを細分化するものである。このメッシュ細分化手段１３としては、粗いメッシュを細かいメッシュに変換する公知のＧＰＵ（Graphics Processing Unit）機能を用いることができる。
本実施形態では、メッシュ細分化手段１３は、圧縮前の３次元モデル４１を奥行き変換手段１２に送る前のタイミングで、圧縮前における３次元モデル４１のポリゴンのメッシュを動的に細かくする。奥行き変換手段１２は、この細分化されたメッシュの複数の交点のそれぞれの位置を、圧縮前の３次元モデル４１が有する複数の頂点のそれぞれの位置として用いて、全天球的に３次元モデル４１の奥行きを圧縮する。

次に、このメッシュ細分化手段１３によるメッシュ細分化処理について図６を参照して説明する。図６（ａ）および図６（ｂ）は３次元モデルのポリゴンのメッシュを細分化する前後の一例を示す模式図である。ここでは、３次元モデルを簡易的に６面体（立方体）であるものとして説明する。図６（ａ）に示すように、立方体は、三角形のポリゴンを最小単位として、この最小単位の組合せで構成されている。三角形の組合せをメッシュ（ポリゴンメッシュ）と呼ぶことにする。ここでは、３次元モデル（立方体）には、各面を２つに分割できる程度の粗めのメッシュが入っている。また、３次元モデル（立方体）は、メッシュの交点として８つの交点（頂点）を有している。

メッシュ細分化手段１３は、奥行きを圧縮する前の準備段階において、図６（ａ）に示すような３次元モデルの粗めのメッシュを、図６（ｂ）に示すように一気に細分化する。この例では、立方体の各面を５×５に分割するように細かくしており、細分化された後のメッシュの交点は１５２個である。

次に、メッシュ細分化手段１３によるメッシュ細分化処理について、図７および図８を参照（適宜図６参照）して説明する。図７において左側には、ＨＭＤ２において提示対象とする３次元モデル４１の一例が示されている。この３次元モデルは、奥行きが圧縮されていない。ここでは、左右と奥の壁に囲まれた空間に多数のオブジェクト（立方体）が配置されている。図７において右側には、この３次元モデルに対応する左眼映像および右眼映像が示されている。図７において右側のこれらの映像は、図１に示す表示映像５１に相当し、ＨＭＤ２の近接ディスプレイ２２Ｌ，２２Ｒ（図２参照）に表示される。

図７と同様に、図８には、奥行き圧縮を行った後の３次元モデル４２の一例、左眼映像および右眼映像が示されている。左眼映像および右眼映像は、奥行き圧縮の前後において、ほとんど変化しないが、図７に示す３次元モデルの奥行きを全天球的に圧縮すると、図８の左側に示すように３次元モデル（立方体）が曲がり、立方体の背景も曲がる。

図７および図８に示す例において、仮に、粗いメッシュのままで３次元モデルの奥行きを圧縮すると、奥の壁に立方体が飲み込まれて崩壊したような映像となってしまい、立方体よりも奥に壁が存在しているという位置関係が崩れてしまうことになる。一方、本実施形態のように、粗いメッシュを細分化した後で、３次元モデルにおける細分化された１つ１つのメッシュの交点（頂点）を制御すると、図８に示すように、立方体よりも奥に壁が存在しているという実際の位置関係を維持したまま３次元モデルの奥行き圧縮を実現することができる。したがって、提示対象とする３次元モデルの内容にもよるが、奥行き圧縮手段１０は、各物体の奥行き方向の前後関係が変わらないように自然な奥行き制御を実現するために、細分化されたメッシュの交点（頂点）を制御することが好ましい。

なお、立体映像奥行き圧縮装置１は、一般的なパーソナルコンピュータ等と同様に、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ等の演算装置と、メモリやハードディスク等の記憶装置と、外部との間で各種情報の送受信を行うインタフェース装置とを備えている。

［立体映像奥行き圧縮装置の動作］
次に、図１を参照して、立体映像奥行き圧縮装置１の動作の流れについて説明する。
立体映像奥行き圧縮装置１には、３次元モデル４１が予め入力され、記憶手段４０には圧縮前の３次元モデル４１が記憶されている。まず、立体映像奥行き圧縮装置１の外部装置である視点情報取得手段３は、視点情報としてＨＭＤ２の位置と姿勢を取得する。これにより、立体映像奥行き圧縮装置１は、視点情報取得手段３から、視点情報（ＨＭＤ２の位置と姿勢）を取得する。そして、立体映像奥行き圧縮装置１は、奥行き圧縮手段１０によって、ＨＭＤ２の位置および姿勢と、圧縮前の３次元モデル４１が有する複数の頂点のそれぞれの位置と、を基に、カメラ座標系の原点（視点）から３次元モデル４１の頂点までの距離を短縮するように全天球的に奥行きを圧縮する。そして、奥行き圧縮手段１０は、圧縮後の３次元モデル４２を生成する。次に、立体映像奥行き圧縮装置１は、表示制御手段５０によって、圧縮後の３次元モデル４２から表示映像５１を生成し、生成した表示映像５１をＨＭＤ２に出力する。そして、表示映像５１はＨＭＤ２に表示される。

以上、説明したように、立体映像奥行き圧縮装置１は、提示対象とする３次元モデル４１を全天球的に奥行き圧縮するので、ＨＭＤ２における輻輳・調節矛盾を緩和することができる。したがって、利用者に与える眼精疲労が軽減される。また、従来技術では必要であった視線の移動や頭の回転の度に奥行きを制御することを回避することができる。また、立体映像奥行き圧縮装置１は、視野全体の奥行き関係に違和感を伴わないような表示が可能である。ＨＭＤ２を装着した利用者が視点を移動した際に物体の形状や空間の歪みが与える違和感を軽減することもできる。立体映像奥行き圧縮装置１によれば、一般的なＨＭＤの基本構成を変更せずに、これらの効果を得ることができる。

立体映像奥行き圧縮装置１は、輻輳・調節矛盾から生じる眼精疲労を軽減できることから、長時間にわたるＶＲ映像を提示する際に有用である。また、ＶＲ映像において虚像の奥行きよりもはるかに深い視対象を含む映像を提示する際にも効果を発揮する。また、視点の大きな移動を伴わない場合や、視点の移動経路と速度が既知である場合には、容易に違和感の小さな疲れにくい映像を提示可能である。

以上、本発明の実施形態に係る立体映像奥行き圧縮装置１の構成および動作について説明したが、本発明は、前記した実施形態に限定されるものではなく、種々の変形が可能である。また、以下のように変形してもよい。例えば、一般的なコンピュータを、立体映像奥行き圧縮装置として機能させる立体映像奥行き圧縮プログラムにより動作させることで実現することも可能である。このプログラムは、通信回線を介して提供することも可能であるし、ＣＤ－ＲＯＭ等の記録媒体に書き込んで配布することも可能である。

（第２実施形態）
図９に示す立体映像奥行き圧縮装置１Ｂは、ＨＭＤ２の視点および姿勢の情報（視点情報）を、外部の視点情報取得手段３から取得するのではなく、代わりに記憶手段４０に予め入力しておいた視点情報４３を利用する点が第１実施形態と異なっている。なお、図１に示した第１実施形態の構成と同じ構成には同じ符号を付して説明を省略する。

記憶手段４０には、視点情報４３が予め入力され記憶されている。
視点情報４３は、利用者がＨＭＤ２によって提示されたコンテンツを視聴する際に、ＨＭＤ２の位置や姿勢がどのような経路で時間的に変化するのかが予め分かっている場合に、その経路に対応したＨＭＤ２の位置および姿勢の情報を含んでいる。

具体的には、ＨＭＤ２によって提示されるコンテンツが、例えば、世界の都市や観光地などの街を視聴者があたかも自分で散策している感覚を疑似体験できるような旅をテーマにした番組である場合、ＨＭＤ２の位置および姿勢は、街並みの映像を撮影するカメラの動きと同様になる。したがって、街並みの映像を撮影するカメラの移動経路が既知であれば、視点情報４３を予め作成しておくことができる。この場合、例えばカメラ映像から３次元モデルを作り、圧縮前の３次元モデル４１として、カメラの移動経路に沿って時間的に奥行き圧縮した３６０度３Ｄ映像を準備することもできる。
本実施形態のように、ＨＭＤ２の視点がほとんど変化しない場合には、３次元モデル４２の圧縮の更新のための処理負荷が不要なので、立体映像奥行き圧縮装置１Ｂの計算コストを非常に軽くすることができる。

（第３実施形態）
図１０に示す立体映像奥行き圧縮装置１Ｃは、動的にメッシュを細分化するものではなく、メッシュ細分化手段１３の代わりとして、記憶手段４０に予めメッシュが細分化された３次元モデル４１Ｃを記憶しておく点が第２実施形態と異なっている。
また、立体映像奥行き圧縮装置１Ｃは、生成した２次元映像をＨＭＤ２に直接的に出力することができる上に、間接的に出力することもできるように構成されている。なお、図９に示した第２実施形態の構成と同じ構成には同じ符号を付して説明を省略する。

奥行き圧縮手段１０Ｃは、カメラ座標算出手段１１と、奥行き変換手段１２と、を備えている。すなわち、奥行き圧縮手段１０Ｃは、メッシュ細分化手段１３を省略した点が図９に示した奥行き圧縮手段１０Ｂと相違している。

記憶手段４０には、メッシュが細分化された３次元モデル４１Ｃが予め入力され記憶されている。メッシュが細分化された３次元モデル４１Ｃは、図９の３次元モデル４１のポリゴンのメッシュを予め細分化したものであり、奥行き変換手段１２によって参照される。これにより、立体映像奥行き圧縮装置１Ｃは、記憶された３次元モデルの奥行きを圧縮する際に、粗めのメッシュを細分化する作業を省略することができる。

立体映像奥行き圧縮装置１Ｃは、例えばＨＤＭＩ（登録商標）ケーブル５２を介してＨＭＤ２に接続されている。また、立体映像奥行き圧縮装置１Ｃは、イーサネット（登録商標）等のＬＡＮ（Local Area Network）ケーブル５３を介して、情報処理装置６０と接続されていてもよい。情報処理装置６０は、例えばパーソナルコンピュータからなり、例えばＨＤＭＩ（登録商標）ケーブル５２を介してＨＭＤ２と接続されている。これにより、立体映像奥行き圧縮装置１Ｃにおいては、表示制御手段５０で生成した２次元映像を、例えばＨＭＤ２に直接的に出力したり、あるいはＬＡＮケーブル５３とＰＣ等の他の情報処理装置６０とを介して間接的にＨＭＤ２に出力したりすることができる。

（第４実施形態）
第１実施形態の立体映像奥行き圧縮装置１は、ＨＭＤ２を装着する利用者の自宅などのローカルな場所で使用されるＰＣであるものとして説明したが、このような用途に限られるものではない。本実施形態では、放送用途の立体映像奥行き圧縮装置として説明する。図１１に示す立体映像奥行き圧縮装置１Ｄは、通信手段７０を備える点が第２実施形態（図９に示す立体映像奥行き圧縮装置１Ｂ）と異なっている。

通信手段７０は、表示制御手段５０によって生成された２次元映像を、遠隔の複数のＨＭＤ２に配信するものである。本実施形態では、通信手段７０は、インターネット等の通信ネットワークＮＷを介して２次元映像を複数のＨＭＤ２に配信する。
立体映像奥行き圧縮装置１Ｄは、放送局で使用される場合、放送局で使用される演算能力の高いサーバで構成することもできる。立体映像奥行き圧縮装置１Ｄは、提示対象の３次元モデルの奥行きを配信前に圧縮して、一元的に画一な配信用の映像をレンダリングし、遠隔の複数の利用者に配信することができる。また、ＨＭＤ２を所持している利用者が、図１の立体映像奥行き圧縮装置１を個人で所持していなくても、放送局からＨＭＤ２に配信される眼が疲れにくい映像を取得して利用することができる。

第４実施形態において、通信手段７０は、通信ネットワークＮＷの代わりに、放送波を介して２次元映像を配信する放送配信手段であってもよい。この場合には、ＨＭＤ２に２次元映像を入力するためのＨＤＭＩ（登録商標）ケーブルの一端をＨＭＤ２に接続すると共に、そのケーブルの他端を、例えば、放送波を受信する受信機のＨＤＭＩ（登録商標）出力端子に接続しておけばよい。

（変形例）
前記実施形態では、３次元モデルは、頂点（メッシュの交点）を有するポリゴンであるものとして説明したが、これに限定されるものではなく、３次元モデルは、単純なポイントの集まりである点群であってもよい。点群は、例えばレーザによる３次元スキャナーで作成することができる。３次元スキャナーは、提示対象とする物体の表面を計測し、多数の点の位置（３次元座標）や点の属性（色や輝度）を点群としてデータファイルに出力する。このように、例えばレーザによる３次元スキャナーで作成された現実物体を反映した点群データを用いることで、現実的な立体映像を提示することができる。

この場合、奥行き圧縮手段１０は、３次元モデルを構成する点群において予め定められた複数の点のそれぞれの位置を、３次元モデルが有する複数の頂点のそれぞれの位置として用いて、全天球的に３次元モデルの奥行きを圧縮する。このとき、奥行き圧縮手段１０は、点群データをそのまま用いてもよいし、あるいは、点群データを、例えばポリゴンやメッシュ等の面形式に変換してから用いてもよい。このうち、メッシュを含む面形式に変換した場合、３次元モデルが有する複数の頂点は、当該３次元モデルを構成するメッシュの複数の交点であるものとして取り扱うことができる。また、点群データをそのまま用いる場合、当該点群において予め定められた複数の点のそれぞれの位置（座標）としては、例えば点群データを面形式に変換した場合の頂点に相当する位置（座標）を指定して用いることができる。
なお、前記第１ないし第４実施形態および変形例から選択した少なくとも２つを適宜組み合わせても構わない。

１、１Ｂ、１Ｃ、１Ｄ 立体映像奥行き圧縮装置
２ ＨＭＤ（ヘッドマウントディスプレイ）
３ 視点情報取得手段
９Ｌ、９Ｒ 利用者の眼球
１０、１０Ｃ 奥行き圧縮手段
１１ カメラ座標算出手段
１２ 奥行き変換手段
１３ メッシュ細分化手段
２１Ｌ、２１Ｒ 光学レンズ
２２Ｌ、２２Ｒ 近接ディスプレイ
２５ 仮想的な拡大虚像スクリーン
４０ 記憶手段
４１ 圧縮前の３次元モデル
４１Ｃ メッシュが細分化された３次元モデル
４２ 圧縮後の３次元モデル
４３ 視点情報
５０ 表示制御手段
５１ ２次元情報
５２ ＨＤＭＩケーブル
５３ ＬＡＮケーブル
６０ 情報処理装置
７０ 通信手段
ＮＷ 通信ネットワーク

Claims (8)

1. 左右の近接ディスプレイおよび光学レンズを備えるヘッドマウントディスプレイによって提示する２眼式の立体映像の奥行きを圧縮する立体映像奥行き圧縮装置であって、
   前記ヘッドマウントディスプレイの視点の位置および姿勢と、提示対象とする３次元モデルが有する複数の頂点のそれぞれの位置と、を基に、前記３次元モデルのそれぞれの前記頂点が前記ヘッドマウントディスプレイの視点を中心として全天球的に前記視点に向かって接近するように前記３次元モデルの奥行きを圧縮する奥行き圧縮手段と、
   前記奥行き圧縮手段によって奥行きが圧縮された後の３次元モデルを仮想的な拡大虚像スクリーンへ投影し光学変換した２次元映像を前記左右の近接ディスプレイに表示する映像としてそれぞれ生成する表示制御手段と、を備える立体映像奥行き圧縮装置。
2. 前記奥行き圧縮手段は、前記提示対象とする３次元モデルのポリゴンのメッシュを細分化し、この細分化されたメッシュの複数の交点のそれぞれの位置を、前記提示対象とする３次元モデルが有する複数の頂点のそれぞれの位置として用いて、全天球的に前記提示対象とする３次元モデルの奥行きを圧縮する請求項１に記載の立体映像奥行き圧縮装置。
3. 前記奥行き圧縮手段は、前記提示対象とする３次元モデルを構成する点群において予め定められた複数の点のそれぞれの位置を、前記提示対象とする３次元モデルが有する複数の頂点のそれぞれの位置として用いて、全天球的に前記提示対象とする３次元モデルの奥行きを圧縮する請求項１に記載の立体映像奥行き圧縮装置。
4. 前記奥行き圧縮手段は、
   ワールド座標系における前記ヘッドマウントディスプレイの視点の位置および姿勢を基に、前記ヘッドマウントディスプレイの視点を原点とするカメラ座標系を算出し、算出された当該カメラ座標系において、前記提示対象とする３次元モデルが有する複数の頂点のそれぞれの位置を算出するカメラ座標算出手段と、
   前記カメラ座標系の原点から前記提示対象とする３次元モデルが有するそれぞれの前記頂点までの距離と予め定められた閾値とを比較し、前記距離が前記閾値より大きな頂点に対しては所定の変換式を用いて前記距離を短縮する変換を行い、前記距離が前記閾値以下の頂点に対しては前記距離を変換せずに維持する奥行き変換手段と、を備える請求項１から請求項３のいずれか一項に記載の立体映像奥行き圧縮装置。
5. 前記奥行き変換手段は、前記カメラ座標系の原点から前記頂点までの距離が大きいほど前記距離を短縮する度合いを高める変換式を用いる請求項４に記載の立体映像奥行き圧縮装置。
6. 前記奥行き圧縮手段は、前記ヘッドマウントディスプレイの視点の位置および姿勢を含む視点情報を取得する視点情報取得手段から、前記視点情報を受け取り、前記視点情報が更新されると、更新された前記視点情報と、前記提示対象とする３次元モデルが有する複数の頂点のそれぞれの位置と、を基に、前記３次元モデルの奥行きを圧縮する、請求項１から請求項５のいずれか一項に記載の立体映像奥行き圧縮装置。
7. 前記表示制御手段によって生成された２次元映像を前記ヘッドマウントディスプレイに配信する通信手段をさらに備える、請求項１から請求項５のいずれか一項に記載の立体映像奥行き圧縮装置。
8. コンピュータを、請求項１から請求項７のいずれか一項に記載の立体映像奥行き圧縮装置の各手段として機能させるための立体映像奥行き圧縮プログラム。

Images