JP5695395B2 - 立体画像生成方法及びその装置 - Google Patents

Description

本発明は、立体画像生成方法及びその装置に関し、特に、一般向けの３次元（３Ｄ）カメラで撮影された視差の小さい写真（画像）からでも、より大きな奥行き感を有する立体画像が得られるような立体画像生成方法及びその装置に関する。

レンチキュラレンズ（lenticular lens）とは、かまぼこ型の細長いレンズを並べて板状（シート状）になるように配置したものである。このレンチキュラレンズの背面に、異なる複数の画像を各レンズ（かまぼこ型のひと山）の長手方向に沿って短冊状に配置すると、見る角度によって異なる画像が見えるようになる。この特性を利用して、異なる角度から被写体を撮影した画像を配置すれば、左右の目で視差のある別々の画像を見ることができる。これによって、立体視用の専用メガネなどを使わずに裸眼で鑑賞できる立体画像を作成することができる。

図４はレンチキュラレンズと裏側に配置される画像の関係を表した概念図で、一般的なレンチキュラレンズによる立体画像の作成方法を示すものである。この図では異なる角度から撮影された４枚の画像を用いる場合を表している。かまぼこ型のレンズのひと山毎に、画像を均等に分割したもの（Ｐ１，Ｐ２，Ｐ３，Ｐ４）を順に並べて配置する。この画像を表側から観察すると、レンズによって背面の画像は、レンズの長手方向の直交方向にのみ数倍に拡大される。このため、配置された複数の画像のどれか一つだけ（Ｐ１，Ｐ２，Ｐ３，Ｐ４のいずれか）が見えるが、どの画像が見えるかはレンズに対する視線の角度によって異なる。観察者が両眼でレンチキュラレンズの正面から観察すると、左右の目で視線の角度が異なるため、それぞれ別々の画像を見ることができ、その二つの画像の視差によって奥行き感を得ることができる。

上記のように、レンチキュラレンズによる立体画像には異なる角度から被写体を撮影した複数の画像を使用する。被写体が人形のような静物の場合は一台のカメラを少しずつ移動させ（この移動には、コンピュータ制御の移動台等が採用できる）、そのたびにシャッターを切ることによって撮影することができる（図５参照）。しかし被写体が動く物や人物である場合は、複数のカメラ（あるいはレンズ）を用意して同時にシャッターを切る必要がある。

また、図６の様に実際には２つのカメラ（あるいはレンズ）を用意して撮影を行い、実際に撮影された２枚の画像から、その間の画像を補間して作成することもできる。

図６（ａ）は、撮影風景を示す図であり、無限遠の山々を背景にした人物を、複数台のカメラで同時に撮影する（コンピュータ制御等により同期撮影できる）ことで、視差のある画像を得る。しかし、ここでは、実際に撮影するのは、第１カメラＣ１と第４カメラＣ４の位置のみである。第１カメラＣ１により得られた第１画像Ｐ１では、人物は右にずれており、第４カメラＣ４により得られた第４画像Ｐ４では、人物は左にずれている。

そこで、第１カメラＣ１で得られた第１画像Ｐ１と、第４カメラＣ４で得られた第４画像Ｐ４とから、その間の画像を２枚均等に補間して生成する（第２画像Ｐ２、第３画像Ｐ３）。これらの画像は、図６（ａ）において、第１カメラＣ１と第４カメラＣ４の間を均等に３分割した位置（Ｌ１＝Ｌ２＝Ｌ３）に仮想的に置かれた第２カメラＣ２及び第３カメラＣ３で撮影した画像となる。

この場合補間された画像は擬似的なもので、中間位置での画像を正確に再現するわけではないが、被写体の重なり具合が単純な場合は奥行き感を得るという点においては十分な効果がある。

また、ＣＧ（Computer Graphics）を用いて、仮想空間に定義（モデリング）された被写体に対して画像を作成する場合は、仮想的なカメラ（レンズ）を必要な位置に必要な数だけ配置して撮影（画像作成）を行うことができる。

レンチキュラレンズによる立体写真を商業的に撮影するときは、通常上記のような複数のカメラや、移動式の撮影方法を用いる。これに対して、一般向けのカメラでも撮影できるように工夫された製品もある。

例えば、1980年に発売されたNimstec社製のNimslo
3Dは横に並んだ４つのレンズで視差のある画像を４枚同時に撮影する。撮影されたフィルムをラボに送ると、レンチキュラレンズの立体画像に加工されて返ってくる。また2009年に発売された富士フイルム社のFinepix（登録商標）Real3Dは２つのレンズで２枚の画像を同時に撮影することができ、画像をラボに送ると、上記の補間方式を使って加工されて返ってくる（非特許文献１）。

なお、図６の例では、２枚の画像で補間したが、これに限られることはなく、特許文献１に示すようにより多くの画像で補間してもよい。

ところで、一般的に、左右の目で別々の画像を見るとき、その画像の視差が大きいほどより大きな奥行き感を得る。画像の視差は、それを撮影した２台のカメラ（あるいはレンズ）の間隔（ステレオベース）が広いほど大きくなり、観察した時により奥行き感を得ることができる。

かかる観点において、上記の一般向けカメラは、携帯性などの観点から大型化する事ができず、必然的にステレオベースはそれほど広くない。例えば上記Nimsloの場合隣り合うレンズの間隔は約1.8 cm程度である。レンチキュラレンズによる立体画像を観察するための最適位置（レンズと観察者の目の距離）はレンチキュラレンズの特性により決まる。したがって人間の両目の間隔は６から７cm程度なので、レンズ内を通る左右の目の視線の角度の差（図７のα）はほぼ一定である。このため４枚の元画像から作成されたレンチキュラレンズの立体画像を見ると、顔を左右にずらして、見る角度を変えてみたとしてもたかだか隣り合った画像のペアしか観察することができない（図７）。

ここで、より大きな奥行き感を得ようとすれば二つの方法が考えられる。第一の方法は、ステレオベースを広げることであり、第二の方法はレンズの性能（特性）を向上させて上記の角度αを大きくして、間を置いた画像のペア（例えば第１画像と第３画像）を見ることができるようにすることである。

ステレオベースを広げるためには、カメラ自体を大きくする必要がある。レンズの性能の向上に関しては、例えば特許文献２に開示されているような方法が提案されている。

なお、特許文献１や図６の補間の場合は、補間画像が増えれば、よりスムーズな立体画像が生成できる一方で、隣あった画像のステレオベースは短くなる。このため単純に補間画像数を増やして１枚分の領域を狭めただけでは、たとえ間を置いた画像のペアを見ることができたとしても、ステレオベースはほとんど変わらない。

特開２００９−２３９３８９号公報 特開平９−１８９８８３号公報 特開２００９−５８８８９号公報 特開平１０−３３６７０６号公報 特開平６−２０９４００号公報

インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｆｕｊｉｆｉｌｍ．ｊｐ／ｐｅｒｓｏｎａｌ／３ｄ／ｐｒｉｎｔ／３ｄｐｒｉｎｔ／ｉｎｄｅｘ．ｈｔｍｌ＞

上記第一の方法に関し、上述のように、商業用でない一般向けのカメラにはその大きさに限界があるので、ステレオベースは簡単には広げられない。

また、第二の方法に関しては、例えば特許文献２のような工夫をするとなると、通常のレンチキュラレンズに比べて高度で精密な加工が必要でコストが非常に高くなる。

以上から、一般向けの３Ｄカメラで撮影された視差の小さい写真（画像）からでも、より大きな奥行き感を得るための方法が必要である。

本発明は上述のような事情から為されたものであり、本発明の目的は、撮像機器のステレオベースと、レンチキュラレンズの特性を変えることなく、隣り合う画像がそれぞれ等しい視差を有し、各画像が占める領域を均等に配したときと比較して、正面近傍から見たときに、より奥行き感のある画像を生成できる立体画像生成装置及びその方法を提供することにある。

なお、特許文献３は、観察点の移動で異なる立体画像を観察できるようにした立体画像表示装置及びその作成方法を開示しているが、ステレオベース及びレンズの特性を変えることなく、より奥行き感のある画像を生成する、というような課題やそのための手段に関しては、何ら開示も示唆もない。

また、特許文献４は、右眼用画像と左眼用画像とが長手方向で互いに一部重なるように配置することにより、観察領域を拡大し、奥行き方向の滑らかな画像を得ることができる立体表示装置を開示しているが、やはり、ステレオベース及びレンズの特性を変えることなく、より奥行き感のある画像を生成する、というような課題やそのための手段に関しては、何ら開示も示唆もない。

また、特許文献５は、電子的に補間された全体の画像をレンチキュラ部材の背面に直接印刷することにより、簡易に３次元立体画像を生成するシステムを開示しているが、やはり、ステレオベース及びレンズの特性を変えることなく、より奥行き感のある画像を生成する、というような課題やそのための手段に関しては、何ら開示も示唆もない。

上記目的を達成するため、本発明の方法は、レンチキュラレンズの各レンズの背面に、視差のある複数の画像を配して、又はその画像光を入力させ、対眼面から両眼で見たときに立体画像となるように画像を生成する方法であって、各レンズの長手方向に直交する方向の両端へ近づくほど、少なくとも一部分において、単位長さ当たりの視差を相対的に小さくすることを要旨とする。

本発明の好適な実施形態にあっては、前記少なくとも一部分は、中央近傍であることを要旨とする。

本発明の好適な実施形態にあっては、各レンズの長手方向に直交する方向の両端へ近づくほど、全面に渡って、単位長さ当たりの視差を相対的に小さくすることを要旨とする。

本発明の好適な実施形態にあっては、前記視差のある複数の画像は、隣り合う画像がそれぞれ等しい視差を有する画像であり、前記視差のある複数の画像のうちの少なくとも一部の隣り合う画像について、前記両端側へ配する、又は入力させる画像ほど、前記直交する方向の幅を広くすることを要旨とする。

ここで、本発明の好適な実施形態にあっては、前記視差のある複数の画像を、複数のレンズを有する１台のカメラで撮影して同時に取得することを要旨とする。

あるいは、本発明の好適な実施形態にあっては、前記視差のある複数の画像を、１台のカメラを等間隔に移動させて連続的に撮影して取得することを要旨とする。

また、本発明の好適な実施形態にあっては、前記視差のある複数の画像は、視差のある２枚の画像と、当該２枚の画像から、少なくとも一部分で中央に近づくほど隣り合う画像の視差が大きくなるように補間して得られた画像とを含む画像であり、当該画像の各々を、各レンズの背面において、前記直交する方向に等間隔の幅を有する各領域に配する、又は入力させることを要旨とする。

一方、上記目的を達成するため、本発明の立体画像生成装置は、レンチキュラレンズと、前記レンチキュラレンズの各レンズの背面に配され、対眼面から両眼で見たときに立体画像となるような視差のある複数の画像であって、各レンズの長手方向に直交する方向の両端へ近づくほど、少なくとも一部分において、単位長さ当たりの視差が相対的に小さい画像と、を備えることを要旨とする。

また、上記目的を達成するため、本発明の立体画像生成装置は、レンチキュラレンズと、視差のある２枚の画像から、少なくとも一部分で中央に近づくほど隣り合う画像の視差が大きくなるように補間して補間画像を得る手段と、前記２枚の画像と前記補間画像を、前記レンチキュラレンズの各レンズの背面において、前記直交する方向に等間隔の幅を有する各領域に配する、又は入力させる手段と、を備えることを要旨とする。

本発明の立体画像生成方法及びその装置によれば、同じステレオベースで撮られた同じ枚数の画像から、同じレンズ（特性が同じ）を使用して、隣り合う画像がそれぞれ等しい視差を有し、各画像が占める領域を均等に配したときと比較して、正面近傍で見て、より奥行き感のある画像が生成できる。

言い換えれば、撮像機器のステレオベースと、レンチキュラレンズのレンズ特性を変えることなく、正面近傍から見て、より奥行き感のある画像を生成できる。

従って、一般向けの３Ｄカメラで撮影された視差の小さい写真（画像）からでも、より大きな奥行き感を得ることができる。

また、本発明は、レンチキュラ印刷による写真のみならず、テレビ、パーソナルコンピュータ用ディスプレイ、携帯電話、電子書籍リーダ、携帯ゲーム機のスクリーンにレンチキュラレンズを取り付けて３次元映像を表示させる場合にも有効である。

図１は、本発明の立体画像生成方法の第１実施形態を説明するための図である。 図２は、本発明の立体画像生成方法の第１実施形態の変形例を説明するための図である。 図３は、本発明の立体画像生成方法の第２実施形態を説明するための図である。 図４は、レンチキュラレンズと裏側に配置される画像の関係を表した概念図である。 図５は、視差のある画像の取得方法について説明するための図である。 図６は、視差のある画像を補間して滑らかに変化する立体画像を生成する方法を説明するための図である。 図７は、両眼で隣同士の画像しか見えないことを説明するための図である。

以下、図面を参照して、本発明の実施の形態について詳細に説明する。
＜第１実施形態＞
図１は、本発明の立体画像生成方法の第１実施形態を説明するための図である。ここでは、背景技術の説明の例と同様、４枚の視差のある画像を使用する場合で説明する。４枚の視差のある画像を使用する場合には、従来においては、図４に示したように、各レンズの画像貼り付け面を４つに等分割して、それぞれの画像を割り当てていたが、本発明においては、両端へいくほど、視差のある各画像の占有幅を大きくし、中央へいくほど、視差のある各画像の占有幅を小さくする。このときの画像の貼り付けは、コンピュータ制御による自動工程の一工程として自動的に行える。

図１の場合は、均等に占有させる場合と比較すれば、第１画像Ｐ１及び第４画像Ｐ４の領域を約１．３３倍に広げ、逆に第２画像Ｐ２及び第３画像Ｐ３の領域を約０．６７倍に狭めている。この結果、第１画像Ｐ１及び第４画像Ｐ４の占有幅が、第２画像Ｐ２及び第３画像Ｐ３の占有幅の２倍になっている。

かかる構成によれば、中心部分に近い領域の幅が狭くなるので、中央近傍を適切な角度から見れば、隣り合う画像ではなく、ひとつ飛びの画像ペア（図１においては、第１画像Ｐ１と第３画像Ｐ３、又は第２画像Ｐ２と第４画像Ｐ４）を見ることができる。従って、隣り合った画像を見ているときと比較して、両眼で見ている画像の視差は２倍となっている。故に、同じステレオベースで撮られた同じ枚数の画像から、同じレンチキュラレンズ（特性が同じ）を使用して、隣り合う画像がそれぞれ等しい視差を有し、各画像が占める領域を均等に配したときと比較して、正面近傍で見たときに、より奥行き感のある画像が生成できることになる。

図２は、本発明の立体画像生成方法の第１実施形態の変形例を説明するための図である。図１の例においては、第１画像Ｐ１及び第４画像Ｐ４の占有幅が、第２画像Ｐ２及び第３画像Ｐ３の占有幅の２倍の場合であるが、図２（ａ）は、第１画像Ｐ１及び第４画像Ｐ４の占有幅が、第２画像Ｐ２及び第３画像Ｐ３の占有幅の３倍の場合である。別の観点では、均等に占有させる場合と比較すれば、第１画像Ｐ１及び第４画像Ｐ４の領域を約１．５倍に広げ、逆に第２画像Ｐ２及び第３画像Ｐ３の領域を約０．５倍に狭めている。

また、元の画像の枚数も無論４枚に限られたことではない。図２（ｂ）は、６枚の画像のうち第１画像Ｐ１と第６画像Ｐ６の領域をより広く、逆に第３画像Ｐ３と第４画像Ｐ４の領域をより狭く配した場合である。いずれにしても、両端へいくほど画像の占有幅が広くなるように配せばよい。

ただし、端から端の全体に渡って隣り合う画像の占有幅を変化させる必要はない。言い換えれば、端から端の全体に渡って視差を変化させる必要はない。図２（ｃ）は、かかる例である。すなわち、第３画像Ｐ３及び第６画像Ｐ６は、第４画像Ｐ４及び第５画像Ｐ５に対して占有幅は広がっており、また、第２画像Ｐ２及び第７画像Ｐ７は、第３画像Ｐ３及び第６画像Ｐ６に対して占有幅は広がっているものの、第１画像Ｐ１及び第８画像Ｐ８の占有幅は、第２画像Ｐ２及び第７画像Ｐ７と同じになっている。

＜第２実施形態＞
図３は、本発明の立体画像生成方法の第２実施形態を説明するための図である。この実施形態は、図６に示したような、視差のある画像を補間して立体画像を形成する方法を前提としたものである。

図６においては、カメラ（レンズ）が等間隔に配置されたように中間画像Ｐ２及びＰ３を補間生成したが、本発明のこの第２実施形態においては、第２カメラＣ２と第３カメラＣ３の間隔を、第１カメラＣ１と第２カメラＣ２及び第３カメラＣ３と第４カメラＣ４の間隔よりも広くして配置されたように中間画像Ｐ２ａ及びＰ３ａを補間生成する（Ｌ１＝Ｌ３＜Ｌ２）。

更に簡単に言えば、本発明の第２実施形態においては、補間の間隔を中央部で広くし、周辺部で狭くしている。

元の第１画像Ｐ１及び第４画像Ｐ４と、このように生成された第２画像（中間画像）Ｐ２ａ及び第３画像（中間画像）Ｐ３ａとを、レンチキュラレンズ１の背面に均等に４分割された領域に割り当てる。この割り当ては、例えば、図３に示したような場合には、制御部（ＩＣチップ等）の制御の下で、電気信号として供給される。

このような構成によれば、正面近傍から見ると、視差が大きい第２画像Ｐ２ａ及び第３画像Ｐ３ａを両眼で見ることとなるので、ステレオベースが同じで撮られた画像から、同じレンズ（特性が同じ）を使用して、正面近傍で見て、より奥行き感のある画像が生成できることになる。つまり、結果的に第１実施形態による方法で見ることができる画像と同様に見える画像を形成することができる。

なお、第１実施形態と同様、バリエーションがあり、２枚の画像から間の２枚の画像を生成するだけでなく、より多くの画像を補間で生成できる。

以上、第１実施形態及び第２実施形態を説明したが、両者に共通する概念としては、各レンズの長手方向に直交する方向の両端へ近づくほど、少なくとも一部分において、単位長さ当たりの視差が相対的に小さくなる、ということである。なお、この小さくする工程は、前述のように、第１実施形態の場合には、コンピュータ制御による自動工程で行え、第２実施形態のような場合には、電子的な制御で行える。つまり、いずれにしてもコンピュータによる自動制御で行える。

なお、本発明は、レンチキュラ印刷による写真のみならず、テレビ、パーソナルコンピュータ用ディスプレイ、携帯電話、電子書籍リーダ、携帯ゲーム機のスクリーンにレンチキュラレンズを取り付けて３次元映像を表示させる場合にも有効である。

１ レンチキュラレンズ
２ 画像
α レンズ内を通る左右の目の視線の角度の差

Claims (4)

1. レンチキュラレンズの各レンズの背面に、視差のある複数の画像を配して、又はその画像光を入力させ、対眼面から両眼で見たときに立体画像となるように画像を生成する方法であって、
   前記視差のある複数の画像は、隣り合う画像がそれぞれ等しい視差を有する画像であり、
   各レンズの長手方向に直交する方向の両端側へ配する、又は入力させる画像ほど、前記直交する方向の幅を広くすることを特徴とする方法。
2. レンチキュラレンズの各レンズの背面に、視差のある複数の画像を配して、又はその画像光を入力させ、対眼面から両眼で見たときに立体画像となるように画像を生成する方法であって、
   前記視差のある複数の画像は、視差のある２枚の画像と、当該２枚の画像から、中央に近づくほど隣り合う画像の視差が大きくなるように補間して得られた画像とを含む画像であり、
   当該画像の各々を、各レンズの背面において、各レンズの長手方向に直交する方向に等間隔の幅を有する各領域に配する、又は入力させることを特徴とする方法。
3. レンチキュラレンズと、
   前記レンチキュラレンズの各レンズの背面に配され、対眼面から両眼で見たときに立体画像となるような視差のある複数の画像であって、隣り合う画像がそれぞれ等しい視差を有する画像であり、各レンズの長手方向に直交する方向の両端側へ配する、又は入力させる画像ほど、前記直交する方向の幅が広い画像と、
   を備えることを特徴とする立体画像生成装置。
4. レンチキュラレンズと、
   視差のある２枚の画像から、中央に近づくほど隣り合う画像の視差が大きくなるように補間して補間画像を得る手段と、
   前記２枚の画像と前記補間画像を、前記レンチキュラレンズの各レンズの背面において、各レンズの長手方向に直交する方向に等間隔の幅を有する各領域に配する、又は入力させる手段と、
   を備えることを特徴とする立体画像生成装置。