JP5494283B2 - 立体表示装置及び立体表示装置の制御方法 - Google Patents

Description

本発明は、立体映像を視聴可能な立体表示装置及び立体表示装置の制御方法に関する。

立体映像を見るためには、一般的に、右目用、左目用２つの映像が必要である。立体画像の提示方法としては、例えば偏光眼鏡を用いて、両目に互いに異なった偏光状態に基づいた視点画像（あるいは視差画像）を見る方法や、眼鏡を用いず、パララックスバリアやレンチキュラーレンズを用いて複数の視点画像のうち所定の視点画像を視聴者の眼球に導光する方法が提案されている。パララックスバリアを用いた立体表示装置では、パララックスバリアの開口部を通過する光線により構成される映像が両眼で異なる視点画像となるように構成されている。

裸眼用の立体表示装置の場合、特殊な眼鏡を用いないで立体視できるという利点がある一方、次のような課題もある。すなわち、前述したように液晶ディスプレイ上の画素に配置された各視点画像が周期的（図１では、視点１，２，３，４，１，２，３，４、・・・）に配置されている。このため、各周期の境界部分、つまり、４つの映像データの周期の切れ目（視点４、視点１）では、右目に入るべき視点映像が左目に導光され、左目に入るべき視点映像が右目に導光される逆視領域が存在する。逆視領域では、視聴者には立体画像の手前と奥が反転した映像を知覚する、あるいは不自然に融合して見えるという違和感のある逆視現象が生じる。

逆視現象に対して少しでも視聴者の不快感を取り除こうとする試みが提案されている（たとえば、特許文献１）。特許文献１では、視聴者の位置を検出し、その位置情報に基づいて、上記パララックスバリアに相当する光変調器のマスクパターンのパターン形状を変化させることで、逆視現象を軽減する。

特開２０００−４７１３９号公報

しかし、特許文献１の方法では高精度な検出装置や光変調器などの装置が必要となり、メンテナンスや価格面で非常にコスト高になる。また、逆視現象は、裸眼用立体表示装置において原理的に生じるものであるため根本的な解決は難しい。よって、特別な装置を使わずに逆視現象の不快感を少しでも軽減することが実質的な解決法となる。さらに、逆視領域のみならず、正視領域においても、特に立体映像の視差量が大きくなると、映像の飛び出し度合いによっては視聴者に疲労がたまる場合がある。また、その疲労度も男性と女性、大人と子供等個人差が大きい。

上記課題に対して、本発明の目的とするところは、レンチキュラーレンズやパララックスバリアなどを用いた立体表示装置において、視差の調整により立体映像の疲労感や不快感を軽減することが可能な、新規かつ改良された立体表示装置及び立体表示装置の制御方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、複数の視点画像を周期的に配置して表示する表示部と、前記表示部の画素面の前に配置され、該表示部からの光を分離させる光分離部とを有する立体表示装置であって、複数の視点画像間の視差分布情報を抽出する視差抽出部と、前記抽出された視差分布情報に基づき、シフト量を算出するパラメータ算出部と、前記算出されたシフト量に基づき、少なくとも１つの視点画像をシフト処理するシフト処理部と、前記シフト処理された視点画像を前記表示部に再配置するマッピング処理部と、を備える立体表示装置が提供される。

かかる構成によれば、立体表示装置で視聴するコンテンツの視点画像間の視差分布情報を抽出し、抽出された視差分布情報に基づきシフト量を算出する。少なくとも１つの視点画像は、算出されたシフト量に基づきシフト処理され、シフト処理された視点画像は、表示部に再配置される。これによれば、シフト処理により右目用画像や左目用画像の視差を調整することができ、立体映像を視聴する際の観察者の疲労感や不快感を軽減することができる。

前記パラメータ算出部は、前記視差分布情報に基づき前記表示部の画面中に含まれる画素毎の視差量の平均値をシフト量として算出されていてもよい。

前記パラメータ算出部は、前記視差分布情報に基づき前記表示部の手前側と奥側に知覚される画素数がほぼ等しくなる視差量をシフト量として算出してもよい。

前記パラメータ算出部は、前記複数の視点画像内の物体の面積に応じて、前記算出されたシフト量を重み付けした値をシフト量として算出してもよい。

観察者の顔認識により観察者の位置情報を検出する位置・距離検出部をさらに備え、前記パラメータ算出部は、前記視差分布情報及び前記観察者の位置情報に基づきシフト量を算出してもよい。

前記パラメータ算出部は、前記検出された観察者の位置情報から観察者のうちの少なくとも一人が逆視領域に存在すると判定された場合にシフト量を算出してもよい。

観察者の顔認識により観察者の属性情報を検出する位置・距離検出部をさらに備え、前記パラメータ算出部は、前記視差分布情報及び前記属性情報に基づきシフト量を算出してもよい。

前記パラメータ算出部は、前記算出されたシフト量に基づき仮想視点画像の生成位相を決定してもよい。

前記パラメータ算出部は、仮想視点画像が前記シフト処理された右目用画像及び左目用画像の間に内挿して生成されるように仮想視点画像の生成位相を決定してもよい。

前記パラメータ算出部は、前記算出されたシフト量に基づき仮想視点画像の生成位相を決定してもよい。

前記パラメータ算出部は、算出されたシフト量が予め定められた所望の値以上の場合、仮想視点画像が前記シフト処理された右目用画像及び左目用画像の間に内挿して生成されるように仮想視点画像の生成位相を決定してもよい。

前記パラメータ算出部は、前記観察者の位置情報に基づいて仮想視点画像の生成位相を決定してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、光源と、複数の視点画像を周期的に配置して表示する表示部と、前記表示部と前記光源との間に配置され、前記光源からの光を分離させる光分離部とを有する立体表示装置であって、複数の視点画像間の視差分布情報を抽出する視差抽出部と、前記抽出された視差分布情報に基づき、シフト量を算出するパラメータ算出部と、前記算出されたシフト量に基づき、少なくとも１つの視点画像をシフト処理するシフト処理部と、前記シフト処理された視点画像を前記表示部に再配置するマッピング処理部と、を備える立体表示装置が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、複数の視点画像を周期的に配置して表示する表示部と、前記表示部の画素面の前に配置され、該表示部からの光を分離させる光分離部とを有する立体表示装置の制御方法であって、視差抽出部が、複数の視点画像間の視差分布情報を抽出するステップと、パラメータ算出部が、前記抽出された視差分布情報に基づきシフト量を算出するステップと、シフト処理部が、前記算出されたシフト量に基づき少なくとも１つの視点画像をシフト処理するステップと、マッピング処理部が、前記シフト処理された複数の視点画像を前記表示部に再配置するステップと、を含む立体表示装置の制御方法が提供される。

以上説明したように本発明によれば、立体表示装置において、視差の調整により立体映像の疲労感や不快感を軽減することができる。

本発明の第１及び第２実施形態に係るパララックスバリアを用いた立体表示装置の概略構成図である。 視差量と立体画像との関係を説明するための概念図である。 第１及び第２実施形態に係る立体表示装置の機能構成図である。 第１及び第２実施形態に係るシフト処理（手前にシフト）を説明するための図である。 第１及び第２実施形態に係るシフト処理（奥側にシフト）を説明するための図である。 第１及び第２実施形態に係る仮想視点画像生成の生成位相（内挿）を説明するための図である。 第１及び第２実施形態に係る仮想視点画像生成の生成位相（外挿）を説明するための図である。 第１及び第２実施形態に係る立体表示装置の処理フローを示した図である。 第１実施形態に係るパラメータ算出部の処理フローを示した図である。 第２実施形態に係るパラメータ算出部の処理フローを示した図である。

以下に添付図面を参照しながら、本発明の各実施形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、本発明の実施形態は次の順序で説明される。
＜第１実施形態＞
［立体表示装置の概略構成］
（逆視）
（視差）
［立体表示装置の機能構成］
［立体表示装置の動作］
（全体動作）
（パラメータ算出部の動作）
＜第２実施形態＞
［立体表示装置の機能構成］
［立体表示装置の動作］
（パラメータ算出部の動作）

以下に説明する本発明に係る第１及び第２実施形態は、裸眼用の立体表示装置に表示された立体映像に対して複数の視点画像の特徴を解析し、その特徴に基づき複数の視点画像をシフト処理することにより、立体映像視聴時の疲労感や不快感を軽減することが特徴である。なお、以下に説明する各実施形態にかかる裸眼用の立体表示装置は、複数の視点画像を周期的に配置して表示する表示部と、表示部からの光を分離させる光分離部とを有する。表示部が自発光パネルの場合には光源を必要としない。また、表示部が液晶パネルなど光源を必要とする場合、光分離部の位置は光源と液晶パネルとの間にあってもよい。

＜第１実施形態＞
［立体表示装置の概略構成］
まず、本発明の第１実施形態に係る立体表示装置の概略構成について図１を参照しながら説明する。図１は、パララックスバリアを用いた立体表示装置の上面図を示す。図１では、裸眼用立体表示装置１００の液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）の水平方向の画素が示されている。視点数が４である図１の表示部１００ａの場合、４つの視点画像をそれぞれ縦に分割し、表示部１００ａの各画素の位置に周期性を持たせて配置する。図示しない光源からの光を表示部１００ａに入光させ、表示部１００ａの前に開口部を有するパララックスバリア１１０を配置させることにより、１〜４で表示した視点画像をそれぞれ空間的に分離させることができる。これにより、右目用の画像及び左目用の画像を右目及び左目に見せることができる。なお、パララックスバリア１１０の替わりにレンチキュラーレンズを用いても、同様に裸眼で右目用、左目用の映像を分離させることができる。パララックスバリアやレンチキュラーレンズ等のように、表示部１００ａからの光を分離させる機構を光分離部とも称呼する。

このとき、パララックスバリア１１０と画像は同じ周期になっている。左目には左目の視点映像を、右目には右目の視点映像が正しく両眼に導光されれば、正しい立体画像を見ることができる。図１では視点２は左目、視点３は右目に入るため、正しい映像を見ることができる。

（逆視）
このように裸眼用立体表示装置の場合、特殊な眼鏡を用いないで立体視できるという利点がある。しかし、前述したように表示部１００ａの各画素に複数の視点画像が周期的に配置されるため、各周期の境界部分では、右目に入るべき視点映像が左目に導光され、左目に入るべき視点映像が右目に導光される逆視領域が存在する。たとえば図１では、視点画像が１，２，３，４，１，２，３，４、・・・と周期的に配置されるため、４つの映像データの周期の切れ目（視点４、視点１）が、右目に入るべき視点映像が左目に導光され、左目に入るべき視点映像が右目に導光される逆視領域となる。逆視領域では、視聴者には立体画像の手前と奥が反転した映像を知覚する、あるいは不自然に融合して見えるという違和感のある不快な逆視現象が生じる。

（視差）
ここで、立体映像と視差との関係について、図２を用いて説明する。前述の通り、パララックスバリアやレンチキュラーレンズ等のパララックス素子からなる光分離部を用いて、右目用と左目用の視点画像を右目と左目にそれぞれ導光させる。本実施形態では、立体表示装置１００の表示部１００ａの画素面の前方にパララックスバリア１１０を置く。視聴者は、パララックスバリア１１０を通して映像を見るため、正視領域では右目には右目用の画像だけが入り、左目には左目用の画像だけが入る。このようにして右目に見える映像と左目に見える映像とが異なることにより、表示部１００ａに映し出される映像は立体的に見える。

図２では、ある時間ｔに左目に導光される視点画像を点Ａで表し、右目に導光される視点画像を点Ｂで表す。また、別のある時間ｔ’に左目に導光される視点画像を点Ａ’で表し、右目に導光される視点画像を点Ｂ’で表す。ｘ軸上の点Ａの座標Ｘａから点Ｂの座標Ｘｂまでの差分（Ｘｂ−Ｘａ）が、時間ｔにおける視差ｄである。また、ｘ軸上の点Ａ’の座標Ｘａ’から点Ｂ’の座標Ｘｂ’までの差分（Ｘｂ’−Ｘａ’）が、時間ｔ’における視差ｄ’である。

視差ｄ（又はｄ’）が大きいほど画面より奥に画像が引っ込んで見えるか、画面より手前に画像が飛び出して見える度合いが大きくなる。視差ｄは、符号を持っていて、符号の違いにより画像が奥又は手前に見える。たとえば、図３に示したように、ｘ軸上を左から右に走査した場合、時間ｔにおける視差ｄ（＝Ｘｂ−Ｘａ）は正の符号をもつ。このとき、映像は表示面より奥に引っ込んで見える。一方、時間ｔ’における視差ｄ’（＝Ｘｂ’−Ｘａ’）は負の符号をもつ。このとき、映像は表示面より手前に飛び出して見える。したがって、視差を調整することにより表示面に対して垂直方向の立体画像の状態を作り変えることによって、立体画像の凹凸の度合いを変化させることができる。

特に、前記逆視領域では、視聴者には立体画像の手前と奥が反転した映像を知覚する、あるいは不自然に融合して見えるという違和感のある不快な逆視現象が生じる。逆視現象は、裸眼用の立体表示装置において原理的に生じるものであるため根本的な解決は難しい。よって、本実施形態では、視差を調整して立体画像の凹凸の度合いを変化させることにより、逆視現象の不快感を軽減するという方法を提案する。以下、本実施形態にかかる立体表示装置１００の具体的な機能及び動作について詳述する。

なお、映像信号はステレオ画像（２視点画像）であってもよいし、２以上のＮ視点画像であってもよい。また、本実施形態では、１フレームを１画面として扱うが、１フィールドを１画面として扱うようにしても良い。これ以降では、説明を簡単にするため入力信号はステレオ画像（２視点画像）とする。

［立体表示装置の機能構成］
本実施形態に係る立体表示装置の機能構成について図３の機能ブロック図を参照しながら説明する。本実施形態にかかる立体表示装置１００は、視差抽出部１２０、位置・距離検出部１３０、パラメータ算出部１４０、シフト処理部１５０、仮想視点画像生成部１６０、マッピング処理部１７０を有する。

視差抽出部１２０は、表示部１００ａの各画素に周期的に配置されている複数の視点画像間の対応点探索を行い、１画面中に含まれる画素毎に視差ｄを検出し、視点間の視差分布情報を生成する。検出方法としてはブロックマッチング法、ＤＰマッチング法などの手法が挙げられるが、視差ｄの検出方法は、これに限られず、公知のいずれの手法を用いることもできる。例えば特許第４０６９８５５号に開示されたＤＰマッチング法を用いて視差ｄを抽出してもよい。図２を用いて前述したとおり、ステレオ画像で左画像上の座標を基準とした場合、手前に知覚される画素の視差の符号は負、奥に知覚される画素の視差の符号は正になる。

位置・距離検出部１３０は、カメラ２００を用いて視聴者が正視領域に存在するか否かの状態を検出する。カメラ２００は表示部１００ａの上部など視聴者の顔を検出しやすい位置に設置しておく。一般的に距離計測を行うためには２台以上のカメラが必要であるが、１台のカメラでも物体認識技術により距離情報を取得することが可能である。

例えば、位置・距離検出部１３０は、撮影した画像データから顔検出（顔認識）を行い、視距離に対する画像上の平均的な顔の大きさを予め調べておき、データベース２１０や図示しないメモリに記録しておく。検出した視聴者の顔画像の大きさとデータベース２１０やメモリ内のデータとを比較し、対応する距離データを読み出すことで、視聴者の位置情報及び表示部１００ａから視聴者までの距離情報を取得することができる。また、カメラ２００の設置位置は固定されているので、検出された顔が位置する画像上の座標情報から、表示部１００ａに対する視聴者の相対位置情報を取得することも可能となる。なお、データベース２１０や上記メモリは、立体表示装置１００に内蔵していてもよく、外部に保持していてもよい。

本実施形態における立体表示装置１００の場合、正視領域と逆視領域の位置は予め分かっているので、検出された視聴者の位置情報から視聴者が正視領域に存在するか否かの検出が可能となる。なお、視点数や１視点あたりの視野角が大きい程、正視領域の面積が大きくなるので、高精度な視聴者の位置検出は必要としない。

パラメータ算出部１４０では、視差抽出部１２０により生成された視点間の視差分布情報と、位置・距離検出部１３０により検出された視聴者の位置情報とに基づき、シフト量と生成位相との両パラメータを出力する。なお、パラメータ算出部１４０は、視差抽出部１２０により生成された視点間の視差分布情報に基づきシフト量を算出することができ、視聴者の位置情報に基づいて仮想視点画像の生成位相を決定することができる。

例えば、視聴者が逆視領域にいる場合、パラメータ算出部１４０は、視差分布情報に基づき表示部１００ａの画面中に含まれる画素毎の視差量の平均値をシフト量として算出してもよい。あるいは、パラメータ算出部１４０は、視差分布のヒストグラムから表示部１００ａの手前側と奥側に知覚される面積（画素数）がほぼ等しくなる視差量をシフト量として算出してもよい。

また、逆視現象による不快感の度合いは、画像内の各オブジェクトの視差量の大きさと面積に依存する。例えば、表示部１００ａからの飛び出し量が非常に大きく知覚される物体であっても、面積が小さい場合には、逆視現象による不快感は小さい。一方、表示部１００ａの飛び出し量が小さく知覚される物体でも面積が大きい場合には、逆視現象により非常に不快に感じる場合がある。従って、視差量に物体の面積を加味したシフト量を用いて、物体の面積を加味しながら視差量の絶対値を小さくするように調整してもよい。すなわち、パラメータ算出部１４０は、前記算出されたシフト量に前記複数の視点画像内の物体の面積に応じた重み付けをした値を前記シフト処理に用いるシフト量として算出してもよい。このようにして物体の面積を考慮することにより、逆視現象による不快感や視聴者の疲労度をより軽減できると考えられる。

一方、本実施形態においては、視聴者が正視領域にいる場合は、逆視現象による不快感はないので、原則的にはシフト量を０として出力する。ただし、視差分布が存在するにも関わらず、視差分布の平均値が０となる場合がある。その場合には、視聴者の位置情報に基づき、逆視領域にいる場合には、生成する仮想視点映像間の視差量を小さくするように生成位相の間隔を小さくし、逆視現象による不快感を軽減する。

また、視聴者が複数人存在する場合、少なくとも一人が逆視領域に存在するかどうか判断すれば良く、上記で説明した同じ手段で、逆視現象による不快感を軽減できる。

シフト処理部１５０は、パラメータ算出部１４０により算出されたシフト量に基づいて、複数の視点画像と視差マップを作り変えて出力する。新しい視点画像は、元の画像座標にシフト量に応じたオフセット値を付加して画像を作成するだけなので、視差分布のダイナミックレンジを保持したまま、視差ｄの絶対値を制御できる。また、新たに視差マップ（すなわち、視差分布）を求める必要はなく、直前に算出された視差マップを用いて計算できるので、視差抽出を再度行う必要はない。

シフト処理の概要を図４Ａ及び図４Ｂに示す。シフト量が１０の場合を図４Ａ、シフト量が‐１０の場合を図４Ｂに示した。パラメータ算出部１４０で求めたシフト量に基づき、各視点画像の全体を水平方向にずらした画像を生成する(シフト処理)。また視差マップも同様にシフト処理を行い、視差データの大きさはシフト量に基づいて補正する。

具体的には、手前に知覚させたい場合は、左画像（Ｌ画像）を右側に、右画像（Ｒ画像）を左側に、画像全体をずらす。たとえば、図４Ａでは、シフト量が１０の場合、シフト量は正なので奥側に知覚される物体を手前にするため、左画像を右側に５画素、右画像を左側に−５画素ずらした画像を作成する。また、左画像を基準に求めた視差データＤ’（ｙ，ｘ）の大きさは直前の視差データＤ（ｙ，ｘ）に−１０加算する。

奥側に知覚させたい場合は、反対に、左画像（Ｌ画像）を左側に、右画像（Ｒ画像）を右側に、画像全体をずらす。たとえば、図４Ｂでは、シフト量が−１０の場合、シフト量は負なので手前側に知覚される物体を奥側にするため、左画像を左側に５画素、右画像を右側に−５画素ずらした画像を作成する。また、左画像を基準に求めた視差データＤ’（ｙ，ｘ）の大きさは直前の視差データＤ（ｙ，ｘ）に＋１０加算する。

なお、シフト処理の際、画像の端に黒帯が発生するため、シフト量が極端に大きい場合には、予め設定した値にクリップして処理を行ってもよい。

仮想視点画像生成部１６０は、シフト処理された視点画像と視差分布情報とを用いて仮想視点画像の生成を行う。例えば、入力画像がステレオ画像（２視点）で、表示部１００ａの視点数が４の場合、視点画像が２視点不足している。この場合にステレオ画像から仮想カメラ視点の２視点を生成する生成位相の概略図を図５Ａ及び図５Ｂに示す。

図５Ａの内挿の場合、４視点間の視差分布を同じにするために、生成位相は、入力画像の左画像の位置を０、右画像の位置を１とすると、１／３、２／３の位置に仮想視点画像を生成する。同様に、図５Ｂの外挿の場合にも、４視点間の視差分布を同じにするために、生成位相は、入力画像の左画像の位置を０、右画像の位置を１とすると、−１、２の位置に仮想視点画像を生成する。ここでは、仮想視点画像の生成方法は特に限定しないが、特許４０６９８５５号に記載された方法などを用いれば良い。

マッピング処理部１７０は、立体表示装置１００のバリア周期と解像度に合わせて、生成した複数の視点画像データを表示部１００ａに再配置する。例えば、図１に示す表示部１００ａの場合、解像度と各視点画像の解像度が同じで視点数が４の場合には、１視点あたりの解像度は、水平１／４になる。

［立体表示装置の動作］
（全体動作）
次に、本実施形態に係る立体表示装置の全体動作について、図６の処理フローを参照しながら説明する。図６で処理が開始されると、視差抽出部１２０は、右目及び左目用の視点画像間の視差（ディスパリティ）分布を抽出する（Ｓ６０５）。

次に、位置・距離検出部１３０は、カメラ２００に映し出された視聴者の位置を検出する（Ｓ６１０）。次に、パラメータ算出部１４０は、視差分布情報及び視聴者の位置情報に基づきシフト量を決定する（Ｓ６１５）。次に、シフト処理部１５０は、シフト量に基づいて、視点画像と視差マップを作り変えて出力する（Ｓ６２０：シフト処理）。

次に、仮想視点画像生成部１６０は、シフト処理された視点画像と視差分布情報とを用いて仮想視点画像の生成を行う（Ｓ６２５）。次に、マッピング処理部１７０は、立体表示装置１００のバリア周期と解像度に合わせて、生成した複数の視点画像データの再配置を行い（Ｓ６３０）、処理を終了する。

（パラメータ算出部の動作）
ここで、Ｓ６１５にてパラメータ算出部１４０により行われる具体的処理について、図７の処理フローを参照しながら説明する。図７で処理が開始されると、パラメータ算出部１４０は、パラメータの初期化として、シフト量（ｓｈｉｆｔ）の初期化を行うとともに、コンテンツの画像に従って生成位相の設定を行う。

次に、パラメータ算出部１４０は、コンテンツ（画像）の視差のヒストグラムを取得する（Ｓ７１０）。次に、パラメータ算出部１４０は、対象コンテンツが視差を持っているコンテンツであるか否かを判定するために、視差分布のダイナミックレンジＤＲ、すなわち、視差分布の最小値ｍｉｎと最大値ｍａｘの幅（図４Ａ、図４Ｂを参照）を求める（Ｓ７１５）。次いで、パラメータ算出部１４０は、ダイナミックレンジＤＲが０か否かを判定する（Ｓ７２０）。ダイナミックレンジＤＲが０であれば、対象コンテンツは視差を有しないため、本処理を直ちに終了する。

一方、ダイナミックレンジＤＲが０でなければ、パラメータ算出部１４０は、対象コンテンツは視差を有しているため逆視が起こる可能性があると判定し、Ｓ７２５に進む。なお、ここでは、ダイナミックレンジＤＲが０か否かで視差を有しているか否かを判定したが、ダイナミックレンジＤＲが予め定められた閾値未満であれば対象コンテンツは視差を有せず、閾値以上であれば対象コンテンツは視差を有すると判定してもよい。

立体表示装置の位置に対して、どの位置が逆視領域であるかは予めわかっている。よって、パラメータ算出部１４０は、カメラ２００によって顔検出した顔の位置から、視聴者が逆視領域に存在するか否かを判定することができる。視聴者が逆視領域に存在しない場合、視聴者全員が正視領域で視聴していることになるため、本処理を実行する必要はないと判定し、本処理を直ちに終了する。

一方、視聴者が一人でも逆視領域に存在する場合、パラメータ算出部１４０は、シフト量を決定する（Ｓ７３０）。たとえば、パラメータ算出部１４０は、視差の累積度数が概ね半分になる視差量をシフト量として決定してもよい。パラメータ算出部１４０は、視差分布の平均値をシフト量として決定してもよい。あるいは、パラメータ算出部１４０は、視差分布のヒストグラムから、表示部１００ａの手前と奥に知覚される面積（画素数）が等しくなる視差量をシフト量として決定してもよい。

次に、シフト量が０か否かを判定する（Ｓ７３５）。シフト量が０でない場合には、仮想視点画像の生成位相を制限することなく、本処理を直ちに終了する。シフト量が０の場合には、パラメータ算出部１４０は、仮想視点画像の生成位相を内挿（０．０〜１．０）に制限して、本処理を終了する。これは、仮想視点画像の生成位相を図５Ｂに示した外挿にすると、入力画像の外側に仮想視点画像を生成するため、画像のずれがより大きくなり、画像の不快感が増す可能性が高いためである。一方、仮想視点画像の生成位相を図５Ａに示した内挿にすると、入力画像の内側に仮想視点画像を生成するため、画像のずれがより小さくなり、画像の不快感が減る。よって、シフト量が０の場合には、仮想視点画像の生成位相を画像の不快感が減る内挿に制限する。なお、パラメータ算出部１４０は、算出されたシフト量に基づき仮想視点画像の生成位相を決定する際、Ｓ７３５ではシフト量を０か否かで判定したが、シフト量が予め定められた所望の値（以上）以上の場合、仮想視点画像が入力画像の間に内挿して生成されるように仮想視点画像の生成位相を決定してもよい。

以上に説明したように、本実施形態によれば、算出された視差情報を基に、視点間の視差のダイナミックレンジを保持したまま、表示部１００ａの手前と奥に知覚される量の絶対値を調整した画像を作成する（シフト処理）。このシフト処理により作成された視点画像は、元の視点画像に比べて視差量の絶対値が小さくなるので、元の視点画像に比べて、逆視領域に不快感を軽減することが可能となる。

また、視点画像の視差情報と視聴者の位置情報に基づいて、仮想視点映像生成における生成位相が制御されるので、逆視現象による不快感を軽減した立体画像を提供することが可能となる。

＜第２実施形態＞
第１実施形態では、逆視領域に少なくとも一人以上の視聴者が存在する場合に限って、シフト量を調整し、逆視現象の不快感を軽減した。これに対して、第２実施形態では、正視領域のみに視聴者が存在する場合や逆視領域と正視領域とに視聴者が存在する場合であっても、視聴者の疲労軽減のためにシフト量を調整する。特に、本実施形態では視差量が大きくなると視聴者に疲労がたまることや、その疲労度も男性と女性、大人と子供等個人差が大きいことを考慮して視差を調整し、立体画像を作り変える。以下、本実施形態にかかる立体表示装置について詳述する。

［立体表示装置の機能構成］
本実施形態にかかる立体表示装置１００の機能構成は、図３に示した第１実施形態にかかる立体表示装置１００の機能構成と同様であるため、基本的説明は省略する。本実施形態では、データベース２１０は、属性情報を保持する。位置・距離検出部１３０は、リモコン操作等による視聴者の指示に応じて立体映像を視聴する前に視聴者の属性情報をデータベース２１０に登録する。具体的には、位置・距離検出部１３０は、カメラ２００が撮像できる位置に視聴者を移動させ、視聴者のリモコン操作等を通じて顔認識を行い、顔認識された結果と視聴者の識別情報と視差情報とを対応付けてデータベース２１０に登録する。例えば、リモコン等を通じて、視聴者に視聴者の名前と視差情報の設定値とを入力させるという方法が考えられる。複数人登録する場合は、優先度も登録する。

たとえば、顔認識の結果、お父さん、お母さん、子供の３人の顔が認識されたとする。この場合、位置・距離検出部１３０は、お父さんの顔認識情報と名前と視差情報（許容する視差のレベル）と優先度とを対応付けてデータベース２１０に記憶する。名前、視差情報及び優先度は視聴者の属性情報の一例である。お母さん、子供に関する属性情報も同様に予めデータベース２１０に記憶されている。

立体映像の視聴時、位置・距離検出部１３０は、視聴者の顔認識により視聴者の属性情報を検出する。パラメータ算出部１４０は、視差分布情報及び属性情報に基づきシフト量を決定する。シフト量を決定する際、位置・距離検出部１３０は顔認識により属性情報を取得できればよく、必ずしも視聴者の位置情報を必要としない。

［立体表示装置の動作］
本実施形態にかかる立体表示装置の全体動作については、図６に示した第１実施形態にかかる立体表示装置の全体動作と同様であるため、説明を省略し、パラメータ算出部１４０の動作についてのみ、図８の処理フローを参照しながら説明する。

（パラメータ算出部の動作）
Ｓ７０５〜Ｓ７２０の処理は第１実施形態と同様である。すなわち、パラメータ算出部１４０は、シフト量の初期化と生成位相の設定を行い（Ｓ７０５）、コンテンツの視差のヒストグラムを取得し（Ｓ７１０）、視差分布のダイナミックレンジＤＲを求め（Ｓ７１５）、ダイナミックレンジＤＲが０か否かを判定する（Ｓ７２０）。ダイナミックレンジＤＲが０であれば、対象コンテンツは視差を有しないため、本処理を直ちに終了する。

一方、ダイナミックレンジＤＲが０でなければ、パラメータ算出部１４０は、視差分布情報及び属性情報に基づきシフト量を決定する（Ｓ８０５）。たとえば、位置・距離検出部１３０によりデータベース２１０から検出された顔認識に対するお父さん、お母さん、子供の属性情報のうち子供の優先度が一番高い場合には、子供に紐づけられた視差情報と視差分布とに基づきシフト量を決定する。

Ｓ７３５，７４０の処理は第１実施形態と同様である。すなわち、パラメータ算出部１４０は、シフト量が０の場合には、仮想視点画像の生成位相を内挿（０．０〜１．０）に制限して本処理を終了し、シフト量が０でない場合には、本処理を直ちに終了する。

以上に説明したように、本実施形態によれば、属性情報に基づき視差を調整する。このように、本実施形態では、一番優先度が高い人の疲労感を軽減するために、その人を基準に視差を調整する。これにより、優先度を考慮した視聴者の疲労感を軽減することができる。ただし、必ずしも優先度に限ることなく、属性情報のいずれかを用いて視差を調整してもよい。

以上、第１及び第２実施形態によれば、多視点画像の視差情報に基づいたシフト処理により、例えば、逆視現象による不快感や、正視領域においても起こりえる立体映像視聴時の疲労感を軽減した立体画像を提供することが可能となる。

なお、各実施形態にかかる機能ブロックの各部への指令は、専用の制御デバイスあるいはプログラムを実行するＣＰＵ（図示せず）により実行される。よって以上に説明した各処理を実行するためのプログラムは、ＲＯＭや不揮発性メモリ（ともに図示せず）に予め記憶されていて、ＣＰＵが、これらのメモリから各プログラムを読み出し実行することにより、立体表示装置の各部の機能が実現される。

上記第１及び第２の実施形態において、各部の動作は互いに関連しており、互いの関連を考慮しながら、一連の動作として置き換えることができる。これにより、立体表示装置の実施形態を、立体表示装置の制御方法の実施形態とすることができる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、画像処理を用いて視聴者の位置や表示部から視聴者までの距離を算出したが、本発明はかかる例に限定されない。例えば、赤外線などを使用して位置情報や距離情報を取得してもよい。表示面と視聴者との距離が分かれば、どんな方法を用いてもよい。

また、上記実施形態では、右目に導光される視点映像、右目に導光される視点映像をレンチキュラーレンズやパララックスバリアで制御したが、光分離部は、裸眼で立体映像を視聴できれば他のどんな機構を用いてもよい。

尚、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。

１００ 立体表示装置
１００ａ 表示部
１１０ パララックスバリア
１２０ 視差抽出部
１３０ 位置・距離検出部
１４０ パラメータ算出部
１５０ シフト処理部
１６０ 仮想視点画像生成部
１７０ マッピング処理部
２００ カメラ
２１０ データベース

Claims (11)

1. 複数の視点画像を周期的に配置して表示する表示部と、
   前記表示部の画素面の前に配置され、該表示部からの光を分離させる光分離部とを有する立体表示装置であって、
   複数の視点画像間の視差分布情報を抽出する視差抽出部と、
   前記抽出された視差分布情報に基づき、シフト量を算出するパラメータ算出部と、
   前記算出されたシフト量に基づき、少なくとも１つの視点画像をシフト処理するシフト処理部と、
   前記シフト処理された視点画像を前記表示部に再配置するマッピング処理部と、
   を備え、
   前記パラメータ算出部は、前記複数の視点画像内の物体の面積に応じて、前記算出されたシフト量を重み付けした値をシフト量として算出する立体表示装置。
2. 前記パラメータ算出部は、前記視差分布情報に基づき前記表示部の画面中に含まれる画素毎の視差量の平均値をシフト量として算出する請求項１に記載の立体表示装置。
3. 前記パラメータ算出部は、前記視差分布情報に基づき前記表示部の手前側と奥側に知覚される画素数がほぼ等しくなる視差量をシフト量として算出する請求項１に記載の立体表示装置。
4. 観察者の顔認識により観察者の位置情報を検出する位置・距離検出部をさらに備え、
   前記パラメータ算出部は、前記視差分布情報及び前記観察者の位置情報に基づきシフト量を算出する請求項１〜３のいずれか一項に記載の立体表示装置。
5. 前記パラメータ算出部は、前記検出された観察者の位置情報から観察者のうちの少なくとも一人が逆視領域に存在すると判定された場合にシフト量を算出する請求項４に記載の立体表示装置。
6. 観察者の顔認識により観察者の属性情報を検出する位置・距離検出部をさらに備え、
   前記パラメータ算出部は、前記視差分布情報及び前記属性情報に基づきシフト量を算出する請求項１〜５のいずれか一項に記載の立体表示装置。
7. 前記パラメータ算出部は、前記算出されたシフト量に基づき仮想視点画像の生成位相を決定する請求項１〜６のいずれか一項に記載の立体表示装置。
8. 前記パラメータ算出部は、算出されたシフト量が予め定められた所望の値以上の場合、仮想視点画像が前記シフト処理された右目用画像及び左目用画像の間に内挿して生成されるように仮想視点画像の生成位相を決定する請求項７に記載の立体表示装置。
9. 前記パラメータ算出部は、観察者の位置情報に基づいて仮想視点画像の生成位相を決定する請求項４〜８のいずれか一項に記載の立体表示装置。
10. 光源と、
    複数の視点画像を周期的に配置して表示する表示部と、
    前記表示部と前記光源との間に配置され、前記光源からの光を分離させる光分離部とを有する立体表示装置であって、
    複数の視点画像間の視差分布情報を抽出する視差抽出部と、
    前記抽出された視差分布情報に基づき、シフト量を算出するパラメータ算出部と、
    前記算出されたシフト量に基づき、少なくとも１つの視点画像をシフト処理するシフト処理部と、
    前記シフト処理された視点画像を前記表示部に再配置するマッピング処理部と、
    を備え、
    前記パラメータ算出部は、前記複数の視点画像内の物体の面積に応じて、前記算出されたシフト量を重み付けした値をシフト量として算出する立体表示装置。
11. 複数の視点画像を周期的に配置して表示する表示部と、
    前記表示部の画素面の前に配置され、該表示部からの光を分離させる光分離部とを有する立体表示装置の制御方法であって、
    視差抽出部が、複数の視点画像間の視差分布情報を抽出するステップと、
    パラメータ算出部が、前記抽出された視差分布情報に基づきシフト量を算出するステップと、
    前記パラメータ算出部が、前記複数の視点画像内の物体の面積に応じて、算出されたシフト量を重み付けした値をシフト量として算出するステップと、
    シフト処理部が、前記算出されたシフト量に基づき少なくとも１つの視点画像をシフト処理するステップと、
    マッピング処理部が、前記シフト処理された複数の視点画像を前記表示部に再配置するステップと、
    を含む立体表示装置の制御方法。
    

Images