JP6977720B2 - 生成装置および生成方法、並びに、再生装置および再生方法 - Google Patents

Description

本開示は、生成装置および生成方法、並びに、再生装置および再生方法に関し、特に、全天球画像を用いて生成される全ての視線方向の表示画像の画質を同程度にすることができるようにした生成装置および生成方法、並びに、再生装置および再生方法に関する。

全天球画像の再生方法としては、全天球画像を３Ｄモデルにマッピングして透視投影することにより、視聴者の視線方向の視野範囲の画像を表示画像として生成し、表示する方法がある。全天球画像とは、水平方向の周囲360度および垂直方向の周囲180度の画像を３Ｄモデルにマッピングすることにより得られる画像である。

この方法では、全天球画像のうちの一部のみが表示画像の生成に用いられる。例えば、水平方向の視野角が90度である場合、水平方向については、全天球画像全体のうちの1/4の領域のみが表示画像の生成に用いられる。垂直方向についても同様である。従って、全天球画像全体に対する表示画像の生成に用いられる領域の割合は小さい。

しかしながら、視聴者の視線方向は、再生時に視聴者により指示されるため、記録装置は、全天球画像のうちの表示画像の生成に用いられる領域のみを記録することは困難である。従って、記録装置は全天球画像全体を記録し、再生装置が表示画像の生成に用いられる領域のみを記録装置に要求することにより、記録装置から再生装置への全天球画像の伝送量を削減することが望まれている。

そこで、全天球画像を複数の領域に分割し、分割領域ごとの符号化ストリームを生成することにより、所定の分割領域の符号化ストリームのみを記録装置から再生装置に伝送可能にすることが考案されている(例えば、特許文献１参照)。

また、低解像度の全天球画像全体と、互いに重なりを有する分割領域ごとの高解像度の全天球画像を別々に符号化し、低解像度の全天球画像全体と視聴者の視線方向に対応する分割領域の高解像度の全天球画像の符号化ストリームのみを記録装置から再生装置に伝送することも考案されている（例えば、特許文献２参照）。

この場合、記録装置は、高解像度の全天球画像については、表示画像の生成に用いられる分割領域の符号化ストリームのみを伝送すればよいため、全ての分割領域の高解像度の全天球画像を伝送する場合に比べて伝送量を削減することができる。また、表示画像の生成に、伝送されてきた高解像度の全天球画像の符号化ストリームに対応する分割領域以外の領域の全天球画像が用いられる場合や、視聴者の視線方向が急に変化する場合であっても、低解像度の全天球画像を用いて表示画像を生成することができる。さらに、分割領域の数を多数にしたり、全天球画像の端部にまたがる領域を分割領域に設定したりすることにより、表示画像の生成に用いられる全天球画像のうちの高解像度の全天球画像の割合を増加させることができる。

特開２００１−２９８６５２号公報 特開２０１６−１５７０５号公報

しかしながら、全天球画像が、例えば水平方向の周囲360度および垂直方向の周囲180度の画像がマッピングされた球の正距円筒図法による画像である場合、全天球画像の球上の形状は、極部（地球儀としての球において北極および南極に相当する部分）に近いほど歪む。例えば、全天球画像の矩形の領域は、球の極部付近にマッピングされると、球上の形状が扇状に歪む。

従って、同一の形状およびサイズの分割領域の高解像度の全天球画像であっても、分割領域の全天球画像上の位置によって、透視投影面上の形状やサイズが異なる。その結果、視線方向によって表示画像における分割領域の高解像度の全天球画像の領域の割合が異なり、全ての視線方向に対して同程度の画質の表示画像を生成することは困難であった。

本開示は、このような状況に鑑みてなされたものであり、全天球画像を用いて生成される全ての視線方向の表示画像の画質を同程度にすることができるようにするものである。

本開示の第１の側面の生成装置は、全天球画像を低解像度化する低解像度化部と、３Ｄモデルにマッピングされた前記全天球画像を複数の２次元平面に投影することにより、複数の画像を生成する投影部とを備え、前記複数の２次元平面の中心を通る法線は、立方体の各辺の中点と前記立方体の中心を通る線であり、前記複数の画像のうちの少なくとも１つの画像と低解像度化された前記全天球画像とを受け取る再生装置は、受け取られた前記画像と低解像度化された前記全天球画像の少なくとも一方に基づいて、表示画像を生成するように構成された生成装置である。

本開示の第１の側面の生成方法は、本開示の第１の側面の生成装置に対応する。

本開示の第１の側面においては、全天球画像が低解像度化され、３Ｄモデルにマッピングされた前記全天球画像を複数の２次元平面に投影することにより、複数の画像が生成される。なお、前記複数の２次元平面の中心を通る法線は、立方体の各辺の中点と前記立方体の中心を通る線であり、前記複数の画像のうちの少なくとも１つの画像と低解像度化された前記全天球画像とを受け取る再生装置は、受け取られた前記画像と低解像度化された前記全天球画像の少なくとも一方に基づいて、表示画像を生成する。

本開示の第２の側面の再生装置は、３Ｄモデルにマッピングされた全天球画像を複数の２次元平面に投影することにより生成された複数の画像のうちの少なくとも１つの画像と、低解像度化された前記全天球画像とを受け取る受け取り部と、前記受け取り部により受け取られた前記画像および低解像度化された前記全天球画像の少なくとも一方に基づいて、表示画像を生成する描画部とを備え、前記複数の２次元平面の中心を通る法線は、立方体の各辺の中点と前記立方体の中心を通る線であるように構成された再生装置である。

本開示の第２の側面の再生方法は、本開示の第２の側面の再生装置に対応する。

本開示の第２の側面においては、３Ｄモデルにマッピングされた全天球画像を複数の２次元平面に投影することにより生成された複数の画像のうちの少なくとも１つの画像と、低解像度化された前記全天球画像とが受け取られ、前記画像および低解像度化された前記全天球画像の少なくとも一方に基づいて、表示画像が生成される。なお、前記複数の２次元平面の中心を通る法線は、立方体の各辺の中点と前記立方体の中心を通る線である。

なお、第１の側面の生成装置および第２の側面の再生装置は、コンピュータにプログラムを実行させることにより実現することができる。

また、第１の側面の生成装置および第２の側面の再生装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

本開示の第１の側面によれば、画像を生成することができる。また、本開示の第１の側面によれば、全天球画像を用いて生成される全ての視線方向の表示画像の画質を同程度にすることができるように画像を生成することができる。

本開示の第２の側面によれば、画像を再生することができる。また、本開示の第２の側面によれば、全天球画像を用いて生成される全ての視線方向の表示画像の画質を同程度にすることができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

全天球画像の球上の形状の歪みを説明する図である。 本開示を適用した配信システムの第１実施の形態の構成例を示すブロック図である。 図２の生成装置の構成例を示すブロック図である。 ２次元平面の第１の例を示す図である。 高解像度画像を説明する図である。 第１実施の形態における２次元平面テーブルの構成例を示す図である。 図３の生成装置の生成処理を説明するフローチャートである。 図２の配信サーバと再生装置の構成例を示すブロック図である。 図８のマッピング処理部によるマッピングを説明する図である。 表示画像の例を示す図である。 図８の再生装置の再生処理を説明するフローチャートである。 ２次元平面の第２の例を示す図である。 全天球画像の生成方法の例を説明する図である。 低解像度画像の他の例を示す図である。 投影面の座標系を説明する図である。 tan軸投影を説明する図である。 透視投影とtan軸投影における投影点を説明する図である。 透視投影により生成された高解像度画像上の全天球画像の各画素の例を示す図である。 tan軸投影により生成された高解像度画像上の全天球画像の各画素の例を示す図である。 透視投影およびtan軸投影により生成された高解像度画像上の全天球画像の各画素の他の例を示す図である。 第２実施の形態における２次元平面テーブルの構成例を示す図である。 コンピュータのハードウエアの構成例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、本開示の前提および本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
０．本開示の前提（図１）
１．第１実施の形態：配信システム（図２乃至図１４）
２．第２実施の形態：配信システム（図１５乃至図２１）
３．第３実施の形態：コンピュータ（図２２）
４．応用例（図２３および図２４）

＜本開示の前提＞
図１は、全天球画像が、水平方向の周囲360度および垂直方向の周囲180度の画像がマッピングされた球の正距円筒図法による画像である場合に発生する、全天球画像の球上の形状の歪みを説明する図である。

図１のＡおよび図１のＢの左側は、全天球画像１を示しており、全天球画像１内の水平方向の線および垂直方向の線は、それぞれ、緯線、経線である。また、図１のＡおよび図１のＢの中央の球２は、内側の面に全天球画像１がマッピングされた球である。さらに、図１のＡおよび図１のＢの右側の図は、球２にマッピングされた全天球画像１を球２の内側から見た図である。

図１のＡの左側に示すように、全天球画像１の中央付近の矩形の領域１Ａが、図１のＡの中央に示すように球２の内側の面にマッピングされると、図１のＡの右側に示すように、球２の内側から見た領域１Ａの極部方向に垂直な辺は、同程度に歪み、曲線となる。即ち、領域１Ａは、全天球画像１の中央付近の領域であり、極部方向のマッピング位置は、両極部から略同一の距離だけ離れている。従って、球２の内側から見た領域１Ａの極部方向に垂直な辺は、同程度に歪む。

一方、図１のＢの左側に示すように、領域１Ａと同一の形状およびサイズであるが、全天球画像１の上側の領域１Ｂが、図１のＢの中央に示すように球２の内側の面にマッピングされると、図１のＢの右側に示すように、球２の内側から見た領域１Ｂの形状は、扇形になる。即ち、領域１Ｂは、全天球画像１の上側付近の領域であり、極部方向のマッピング位置は、図中上側の極部に近く、図中下側の極部から遠い。従って、球２の内側から見た領域１Ｂの極部方向に垂直な２辺は歪み、曲線となるが、歪み量は、極部から遠い辺に比べて近い辺の方が大きくなる。

以上のように、全天球画像が、水平方向の周囲360度および垂直方向の周囲180度の画像がマッピングされた球の正距円筒図法による画像である場合、全天球画像１上の形状およびサイズが同一であっても、全天球画像１上の位置によって、球２上の形状およびサイズが異なる。従って、球２にマッピングされた全天球画像１を透視投影した２次元平面上の形状およびサイズも異なる。

＜第１実施の形態＞
（配信システムの第１実施の形態の構成例）
図２は、本開示を適用した配信システムの第１実施の形態の構成例を示すブロック図である。

図２の配信システム１０は、撮影装置１１、生成装置１２、配信サーバ１３、ネットワーク１４、再生装置１５、およびヘッドマウントディスプレイ１６により構成される。配信システム１０は、撮影装置１１により撮影された撮影画像から全天球画像を生成し、全天球画像を用いて視聴者の視野範囲の表示画像を表示する。

具体的には、配信システム１０の撮影装置１１は、６個のカメラ１１Ａ−１乃至１１Ａ−６により構成される。なお、以下では、カメラ１１Ａ−１乃至１１Ａ−６を特に区別する必要がない場合、それらをまとめてカメラ１１Ａという。

各カメラ１１Ａは、動画像を撮影する。撮影装置１１は、各カメラ１１Ａにより撮影された６方向の動画像を撮影画像として生成装置１２に供給する。なお、撮影装置１１が備えるカメラの数は、複数であれば、６個に限定されない。

生成装置１２は、正距円筒図法を用いた方法により、撮影装置１１から供給される撮影画像から全天球画像を生成して低解像度化する。生成装置１２は、低解像度化された全天球画像である低解像度画像（YUV画像）を符号化し、１本の低解像度ストリームを生成する。

また、生成装置１２は、全天球画像を３Ｄモデルとしての球にマッピングし、球にマッピングされた全天球画像を５個の視線方向に対応する２次元平面に、球の中心を焦点として透視投影することにより、５個の画像を生成する。生成装置１２は、この５個の画像をそれぞれ高解像度画像（YUV画像）として符号化し、５本の高解像度ストリームを生成する。

さらに、生成装置１２は、各高解像度画像に対応する２次元平面の位置、傾き、およびサイズを示す２次元平面情報を生成する。生成装置１２は、１本の低解像度ストリーム、５本の高解像度ストリーム、および２次元平面情報を配信サーバ１３にアップロードする。

配信サーバ１３は、ネットワーク１４を介して再生装置１５と接続する。配信サーバ１３は、生成装置１２からアップロードされた１本の低解像度ストリーム、５本の高解像度ストリーム、および２次元平面情報を記憶する。配信サーバ１３は、再生装置１５からの要求に応じて、記憶している低解像度ストリーム、高解像度ストリーム、および２次元平面情報を、ネットワーク１４を介して再生装置１５に送信する。

再生装置１５は、配信サーバ１３に１本の低解像度ストリームと２次元平面情報を、ネットワーク１４を介して要求し、その要求に応じて送信されてくる１本の低解像度ストリームと２次元平面情報を受け取る。

また、再生装置１５は、カメラ１５Ａを内蔵し、ヘッドマウントディスプレイ１６に付されたマーカ１６Ａを撮影する。そして、再生装置１５は、マーカ１６Ａの撮影画像に基づいて、３Ｄモデルの座標系における視聴者の視聴位置を検出する。さらに、再生装置１５は、ヘッドマウントディスプレイ１６のジャイロセンサ１６Ｂの検出結果を、ヘッドマウントディスプレイ１６から受け取る。再生装置１５は、ジャイロセンサ１６Ｂの検出結果に基づいて、３Ｄモデルの座標系における視聴者の視線方向を決定する。再生装置１５は、視聴位置と視線方向に基づいて、３Ｄモデルの内部に位置する視聴者の視野範囲を決定する。

そして、再生装置１５は、２次元平面情報と視聴者の視野範囲とに基づいて、５本高解像度ストリームのうちの１本の高解像度ストリームをネットワーク１４を介して要求し、その要求に応じて送信されてくる１本の高解像度ストリームを受け取る。

再生装置１５は、受け取られた１本の低解像度ストリームと１本の高解像度ストリームを復号する。再生装置１５は、復号の結果得られる低解像度画像を３Ｄモデルとしての球にマッピングし、高解像度画像を球の内部の３Ｄモデルとしての２次元平面にマッピングすることにより、３Ｄモデル画像を生成する。

そして、再生装置１５は、視聴位置を焦点として、３Ｄモデル画像を視聴者の視野範囲に透視投影することにより、視聴者の視野範囲の画像を表示画像として生成する。再生装置１５は、表示画像をヘッドマウントディスプレイ１６に供給する。

ヘッドマウントディスプレイ１６は、視聴者の頭部に装着され、再生装置１５から供給される表示画像を表示する。ヘッドマウントディスプレイ１６には、カメラ１５Ａにより撮影されるマーカ１６Ａが付されている。従って、視聴者は、ヘッドマウントディスプレイ１６を頭部に装着した状態で、移動することにより視聴位置を指定することができる。また、ヘッドマウントディスプレイ１６には、ジャイロセンサ１６Ｂが内蔵され、そのジャイロセンサ１６Ｂによる角速度の検出結果は再生装置１５に伝送される。従って、視聴者は、ヘッドマウントディスプレイ１６を装着した頭部を回転させることにより、視線方向を指定することができる。

配信システム１０において、配信サーバ１３から再生装置１５への配信方法は、どのような方法であってもよい。配信方法が、例えば、MPEG-DASH（Moving Picture Experts Group phase − Dynamic Adaptive Streaming over HTTP）を用いる方法である場合、配信サーバ１３は、HTTP(HyperText Transfer Protocol)サーバであり、再生装置１５はMPEG-DASHクライアントである。

（生成装置の構成例）
図３は、図２の生成装置１２の構成例を示すブロック図である。

図３の生成装置１２は、スティッチング処理部２１、マッピング処理部２２、低解像度化部２３、エンコーダ２４、設定部２５、透視投影部２６−１乃至２６−５、エンコーダ２７−１乃至２７−５、テーブル生成部２８、および送信部２９により構成される。

スティッチング処理部２１は、フレームごとに、図２のカメラ１１Ａから供給される６方向の撮影画像の色や明るさを同一にし、重なりを除去して接続する。スティッチング処理部２１は、その結果得られるフレーム単位の撮影画像をマッピング処理部２２に供給する。

マッピング処理部２２は、正距円筒図法を用いた方法により、スティッチング処理部２１から供給される撮影画像から全天球画像を生成する。具体的には、マッピング処理部２２は、撮影画像をテクスチャとして所定の視点を中心とした球にマッピングし、その球の正距円筒図法による画像を全天球画像として生成する。従って、マッピング処理部２２により生成される全天球画像の形状は、符号化に適した矩形である。

マッピング処理部２２は、全天球画像を低解像度化部２３および透視投影部２６−１乃至２６−５に供給する。なお、スティッチング処理部２１とマッピング処理部２２は、一体化されていてもよい。

低解像度化部２３は、マッピング処理部２２から供給される全天球画像を低解像度化し、低解像度画像を生成する。低解像度化部２３は、生成された低解像度画像をエンコーダ２４に供給する。

エンコーダ２４（低解像度符号化部）は、低解像度化部２３から供給される低解像度画像をMPEG2(Moving Picture Experts Group phase 2)方式やAVC(Advanced Video Coding)方式などの符号化方式で符号化し、１本の低解像度トリームを生成する。エンコーダ２４は、１本の低解像度ストリームを送信部２９に供給する。

設定部２５は、５個の視線方向に対応する２次元平面情報を設定する。設定部２５は、各２次元平面情報を透視投影部２６−１乃至２６−５に供給する。また、設定部２５は、５個の２次元平面情報をテーブル生成部２８に供給する。

透視投影部２６−１乃至２６−５は、それぞれ、マッピング処理部２２から供給される全天球画像を球にマッピングする。透視投影部２６−１乃至２６−５は、それぞれ、球の中心を焦点として、球にマッピングされた全天球画像を、設定部２５から供給される２次元平面情報が示す２次元平面に透視投影することにより、画像を生成する。これにより、生成された画像は、球にマッピングされた全天球画像を球の中心から所定の視線方向に向かって見た画像となる。透視投影部２６−１乃至２６−５は、それぞれ、生成された画像を高解像度画像としてエンコーダ２７−１乃至２７−５に供給する。

エンコーダ２７−１乃至エンコーダ２７−５（高解像度符号化部）は、それぞれ、透視投影部２６−１乃至２６−５から供給される高解像度画像を、MPEG2方式やAVC方式などの符号化方式で符号化し、１本の高解像度ストリームを生成する。

このとき、例えば、エンコーダ２７−１乃至２７−５により生成される５本の高解像度ストリームの間で、GOP(Group of Picture)の先頭ピクチャやIDRピクチャなどのシンクポイントは同一にされる。エンコーダ２７−１乃至２７−５は、それぞれ、生成された１本の高解像度ストリームを送信部２９に供給する。

なお、以下では、透視投影部２６−１乃至２６−５を特に区別する必要がない場合、それらをまとめて透視投影部２６という。同様に、エンコーダ２７−１乃至２７−５をまとめてエンコーダ２７という。

テーブル生成部２８は、設定部２５から供給される５個の２次元平面情報を含む２次元平面テーブルを生成して、送信部２９に供給する。

送信部２９は、エンコーダ２４から供給される１本の低解像度ストリーム、エンコーダ２７のそれぞれから供給される合計５本の高解像度ストリーム、およびテーブル生成部２８から供給される２次元平面テーブルを、図２の配信サーバ１３にアップロード（送信）する。

（２次元平面の第１の例）
図４は、図３の設定部２５により設定される５個の２次元平面の例を示す図である。

図４のＡと図４のＢは、それぞれ、２次元平面が内部に設定された３Ｄモデルとしての球の透視図、水平切断面の上面図である。

図４の例では、全天球画像が、コンサート会場を撮影した撮影画像から生成された全天球画像である。また、全天球画像が球４０にマッピングされた際、球４０の中心Ｏを通り、中心Ｏを通る水平面上の基準軸との水平方向の角度が、−９０度、−４５度、０度、４５度、９０度である方向に、コンサート会場に配置されたステージの全天球画像が存在する。即ち、中心Ｏを視聴位置とする視聴者にとって重要であると想定される視線方向の基準軸との水平方向の角度が、−９０度、−４５度、０度、４５度、９０度である。

従って、図４のＡおよび図４のＢに示すように、設定部２５は、球４０の中心Ｏを通り、基準軸との水平方向の角度が、−９０度、−４５度、０度、４５度、９０度である線を、中心を通る法線とし、隣接するものどうしが交差するように、球４０の内部に２次元平面４１乃至４５を設定する。よって、２次元平面４１乃至４５のうちの隣接するどうしに透視投影される全天球画像の一部は重複する。

また、図４の例では、２次元平面４１乃至４５の中心を通る法線と基準軸との水平方向の角度の絶対値は90度以下である。従って、再生装置１５は、全ての２次元平面に対応する高解像度画像を用いても、水平方向の周囲360度および垂直方向の周囲180度の全ての視線方向に対応する表示画像を生成することはできない。

なお、図４の例では、２次元平面４１乃至４５の中心を通る法線と基準軸との垂直方向の角度は全て０度であり、２次元平面４１乃至４５の傾きはない。

（高解像度画像の説明）
図５は、図３の透視投影部２６により生成される高解像度画像を説明する図である。

図５の例では、設定部２５が、図４の２次元平面４１乃至４５の２次元平面情報を設定する。また、図５のＡおよび図５のＢは、全天球画像がマッピングされた球４０を上から見た図であり、図中の小さい黒丸は画素を表す。

図５のＡに示すように、隣接するものどうしが互いに重なりを有する分割領域ごとに全天球画像が分割されることにより、高解像度画像が生成される場合、隣接する高解像度画像の重なり合う領域の各画素（サンプリング点）の球４０上のマッピング位置は同一になる。

具体的には、隣接する分割領域の高解像度画像６１と高解像度画像６２の重複する領域内の画素６１Ａと画素６２Ａの球４０へのマッピング位置は同一である。同様に、隣接する分割領域の高解像度画像６２と高解像度画像６３の重複する領域内の画素６２Ｂと画素６３Ａの球４０上のマッピング位置は同一である。即ち、画素６１Ａと画素６２Ａの全天球画像上の位置は同一であり、画素６２Ｂと画素６３Ａの全天球画像上の位置は同一である。

従って、高解像度画像６１乃至６３の重複する領域の各画素どうしを重ね合わせて貼り付けることにより、全天球画像の一部を生成することができる。なお、図５のＡでは、見やすくするため、高解像度画像６１および高解像度画像６３を球４０から離して図示している。

一方、図５のＢに示すように、透視投影部２６により２次元平面４２乃至４４に透視投影された高解像度画像８２乃至８４の各画素の球４０上のマッピング位置は異なる。

具体的には、高解像度画像８２の画素８２Ａの球４０上のマッピング位置と、そのマッピング位置の最も近くにマッピングされる高解像度画像８３の画素８３Ａのマッピング位置とは異なる。同様に、高解像度画像８３の画素８３Ｂの球４０上のマッピング位置と、そのマッピング位置の最も近くにマッピングされる高解像度画像８４の画素８４Ｂのマッピング位置とは異なる。従って、高解像度画像８２乃至８４を重ね合わせて貼り付けても、全天球画像の一部を生成することはできない。

なお、図５のＢでは、２次元平面４２乃至４４に透視投影された高解像度画像８２乃至８４のみ図示したが、２次元平面４１および２次元平面４５に透視投影された高解像度画像についても、高解像度画像８２乃至８４と同様である。

（２次元平面テーブルの構成例）
図６は、図３のテーブル生成部２８により生成される２次元平面テーブルの構成例を示す図である。

図６の例では、２次元平面情報が、図４の２次元平面４１乃至４５の位置を示す情報として方位角と仰角を含み、傾きを示す情報として回転角を含み、サイズを示す情報として横画角と縦画角を含む。

なお、方位角と仰角は、それぞれ、球４０の中心Ｏと２次元平面４１乃至４５の中心を結ぶ線と、中心Ｏを通る水平面上の基準軸とのなす水平方向の角度、垂直方向の角度である。回転角は、２次元平面４１乃至４５の中心と中心Ｏを結ぶ線を軸としたときの２次元平面４１乃至４５の回転方向の角度である。横画角は、２次元平面４１乃至４５の横方向の２つの端部それぞれと中心Ｏとを結んだ線のなす角度であり、縦画角は、２次元平面４１乃至４５の縦方向の２つの端部それぞれと中心Ｏとを結んだ線のなす角度である。

この場合、図６に示すように、２次元平面テーブルには、２次元平面４１乃至４５のそれぞれに固有のＩＤが登録される。図６の例では、２次元平面４１乃至４５に対して１から順にＩＤが付与されており、２次元平面テーブルには、ＩＤとして１乃至５が登録される。

また、２次元平面テーブルには、ＩＤに対応付けて、そのＩＤに対応する２次元平面の２次元平面情報と、各２次元平面の高解像度画像の横方向の画素数である横画素数および縦方向の画素数である縦画素数とが登録される。

具体的には、２次元平面４１乃至４５は、それぞれ、球４０の中心Ｏを通り、基準軸との水平方向の角度が−９０度、−４５度、０度、４５度、９０度であり、垂直方向の角度が全て０度である線を、中心を通る法線とし、傾きがないように設定される。従って、ＩＤ「１」乃至「５」のそれぞれに対応付けて、方位角「−９０度」、方位角「−４５度」、方位角「０度」、方位角「４５度」、方位角「９０度」が登録される。また、ＩＤ「１」乃至「５」に対応付けて、仰角「０度」および回転角「０度」が登録される。

また、図６の例では、２次元平面４１乃至４５の横画角および縦画角は９０度であり、横画素数および縦画素数は１０２４である。従って、ＩＤ「１」乃至「５」に対応付けて、横画角「９０度」、縦画角「９０度」、横画素数「１０２４」、および縦画素数「１０２４」が登録される。

（生成装置の処理の説明）
図７は、図３の生成装置１２の生成処理を説明するフローチャートである。

図７のステップＳ１１において、スティッチング処理部２１は、フレームごとに、図２のカメラ１１Ａから供給される６方向の撮影画像の色や明るさを同一にし、重なりを除去して接続する。スティッチング処理部２１は、その結果得られるフレーム単位の撮影画像をマッピング処理部２２に供給する。

ステップＳ１２において、マッピング処理部２２は、正距円筒図法を用いた方法により、スティッチング処理部２１から供給される撮影画像から全天球画像を生成する。マッピング処理部２２は、全天球画像を低解像度化部２３および透視投影部２６−１乃至２６−５に供給する。

ステップＳ１３において、低解像度化部２３は、マッピング処理部２２から供給される全天球画像を低解像度化し、低解像度画像を生成する。低解像度化部２３は、生成された低解像度画像をエンコーダ２４に供給する。

ステップＳ１４において、エンコーダ２４は、低解像度化部２３から供給される低解像度画像を符号化し、１本の低解像度トリームを生成する。エンコーダ２４は、１本の低解像度ストリームを送信部２９に供給する。

ステップＳ１５において、設定部２５は、５個の視線方向に対応する２次元平面情報を設定する。設定部２５は、各２次元平面情報を各透視投影部２６に供給し、５個の２次元平面情報をテーブル生成部２８に供給する。

ステップＳ１６において、各透視投影部２６は、マッピング処理部２２から供給される全天球画像を球にマッピングし、球の中心を焦点として、球にマッピングされた全天球画像を、設定部２５から供給される２次元平面情報が示す２次元平面に透視投影することにより、画像を生成する。各透視投影部２６は、生成された画像を高解像度画像として各エンコーダ２７に供給する。

ステップＳ１７において、各エンコーダ２７は、透視投影部２６から供給される高解像度画像を符号化して、１本の高解像度ストリームを生成し、送信部２９に供給する。

ステップＳ１８において、テーブル生成部２８は、設定部２５から供給される５個の２次元平面情報を含む２次元平面テーブルを生成して、送信部２９に供給する。

ステップＳ１９において、送信部２９は、エンコーダ２４から供給される１本の低解像度ストリーム、各エンコーダ２７から供給される合計５本の高解像度ストリーム、およびテーブル生成部２８から供給される２次元平面テーブルを、配信サーバ１３にアップロードする。

（配信サーバと再生装置の構成例）
図８は、図２の配信サーバ１３と再生装置１５の構成例を示すブロック図である。

図８に示すように、配信サーバ１３は、受信部１０１、ストレージ１０２、送信部１０３、および送信部１０４により構成される。

受信部１０１は、図２の生成装置１２からアップロードされた１本の低解像度ストリーム、５本の高解像度ストリーム、および２次元平面テーブルを受信し、ストレージ１０２に供給する。

ストレージ１０２は、受信部１０１から供給される１本の低解像度ストリーム、５本の高解像度ストリーム、および２次元平面テーブルを記憶する。

送信部１０３は、再生装置１５からの要求に応じて、１本の低解像度ストリームと２次元平面テーブルをストレージ１０２から読み出し、ネットワーク１４を介して再生装置１５に送信する。

送信部１０４は、再生装置１５からの要求に応じて、１本の高解像度ストリームをストレージ１０２から読み出し、ネットワーク１４を介して再生装置１５に送信する。なお、送信する高解像度ストリームの変更は、シンクポイントで行われる。従って、送信する高解像度ストリームの変更は、数フレームから数十フレーム単位で行われる。

また、上述したように、５本の高解像度ストリームの間でシンクポイントは同一である。従って、送信部１０４は、送信する高解像度ストリームをシンクポイントで切り替えることにより、再生装置１５において、再生する高解像度画像の切り替えを容易に行うことができる。

再生装置１５は、カメラ１５Ａ、受信部１２１、デコーダ１２２、受信部１２３、デコーダ１２４、マッピング処理部１２５、描画部１２６、受け取り部１２７、および視線検出部１２８により構成される。

再生装置１５の受信部１２１は、配信サーバ１３に１本の低解像度ストリームと２次元平面情報を、ネットワーク１４を介して要求する。受信部１２１(受け取り部)は、その要求に応じて送信部１０３から送信されてくる１本の低解像度ストリームと２次元平面情報を受け取る。受信部１２１は、１本の低解像度ストリームをデコーダ１２２に供給し、２次元平面情報を視線検出部１２８に供給する。

デコーダ１２２（低解像度復号部）は、受信部１２１から供給される低解像度ストリームを復号し、低解像度画像を生成する。デコーダ１２２は、低解像度画像をマッピング処理部１２５に供給する。

受信部１２３は、視線検出部１２８から、５個の２次元平面のうちの１つである選択面のＩＤを示す選択面情報を取得する。受信部１２３は、選択面情報に基づいて、５本の高解像度ストリームのうちの、選択面情報により特定される選択面の１本の高解像度ストリームを、ネットワーク１４を介して要求する。受信部１２３は、その要求に応じて送信部１０４から送信されてくる１本の高解像度ストリームを受け取り、デコーダ１２４に供給する。

デコーダ１２４（高解像度復号部）は、受信部１２３から供給される１本の高解像度ストリームを復号し、高解像度画像を生成する。デコーダ１２４は、高解像度画像をマッピング処理部１２５に供給する。

マッピング処理部１２５は、視線検出部１２８から供給される選択面の２次元平面情報に基づいて、予め３Ｄモデルとして設定されている球の内部に選択面を３Ｄモデルとして設定する。マッピング処理部１２５は、デコーダ１２２から供給される低解像度画像を、３Ｄモデルとしての球にテクスチャとしてマッピングする。また、マッピング処理部１２５は、３Ｄモデルとしての２次元平面に、デコーダ１２４から供給される高解像度画像をテクスチャとしてマッピングする。マッピング処理部１２５は、球と選択面にテクスチャがマッピングされた３Ｄモデル画像を描画部１２６に供給する。

描画部１２６は、マッピング処理部１２５から供給される３Ｄモデル画像を、視線検出部１２８から供給される視聴位置を焦点として、視聴者の視野範囲に透視投影することにより、視聴者の視野範囲の画像を表示画像として生成する。即ち、描画部１２６は、視聴位置から視野範囲を通して見える球４０または２次元平面にマッピングされた画像を表示画像として生成する。描画部１２６は、表示画像をヘッドマウントディスプレイ１６に供給する。

受け取り部１２７は、図２のジャイロセンサ１６Ｂの検出結果をヘッドマウントディスプレイ１６から受け取り、視線検出部１２８に供給する。

視線検出部１２８は、受け取り部１２７から供給されるジャイロセンサ１６Ｂの検出結果に基づいて、３Ｄモデルの座標系における視聴者の視線方向を決定する。また、視線検出部１２８は、カメラ１５Ａからマーカ１６Ａの撮影画像を取得し、その撮影画像に基づいて、３Ｄモデルの座標系における視聴位置を検出する。

視線検出部１２８(選択部)は、３Ｄモデルの座標系における視聴位置および視線方向、並びに、受信部１２１から供給される２次元平面情報に基づいて、５個の２次元面のうちの、視聴者の視線に最も近い法線に対応する１個の２次元平面を選択面に決定する。

具体的には、視線検出部１２８は、視聴位置から視線方向に延びる視線と基準軸のなす水平方向および垂直方向の角度並びに視線の回転角に最も近い、方位角および仰角並びに回転角に対応する２次元平面のＩＤを選択面のＩＤとして取得する。

これにより、視線検出部１２８は、視聴者の視野範囲に透視投影される高解像度画像の割合が最も高くなるように、その高解像度画像に対応する２次元平面を選択面として選択することができる。視線検出部１２８は、選択面情報を受信部１２３に供給し、選択面の２次元平面情報をマッピング処理部１２５に供給する。

また、視線検出部１２８は、３Ｄモデルの座標系における視聴位置と視線方向に基づいて、３Ｄモデルの座標系における視聴者の視野範囲を決定する。視線検出部１２８は、視聴者の視野範囲と視聴位置を描画部１２６に供給する。

（マッピングの説明）
図９は、図８のマッピング処理部１２５によるマッピングを説明する図である。

図９の例では、視聴位置が球４０の中心Ｏである。この場合、中心Ｏから視線方向に延びる視線１４１と基準軸のなす水平方向および垂直方向の角度並びに視線１４１の回転角に最も近い、方位角および仰角並びに回転角に対応する、中心Ｏから矢印１４２の方向に延びる線を、中心を通る法線とする２次元平面１４３が、選択面として選択される。

従って、マッピング処理部１２５は、球４０の内側に２次元平面１４３を３Ｄモデルとして設定する。そして、マッピング処理部１２５は、３Ｄモデルとしての球４０に低解像度画像１５１をテクスチャとしてマッピングし、３Ｄモデルとしての２次元平面１４３に高解像度画像１５２をテクスチャとしてマッピングする。

以上のように、２次元平面１４３は、球４０の内部に配置される。従って、描画部１２６は、低解像度画像１５１と高解像度画像１５２の両方が存在する方向から、２次元平面１４３より内側の視野範囲に透視投影を行う際、低解像度画像１５１に比べて高解像度画像１５２を優先的に用いることができる。

(表示画像の例)
図１０は、表示画像の例を示す図である。

図１０の例では、視聴位置が球４０の中心Ｏである。また、図１０の矩形は、高解像度画像または低解像度画像の１６画素×１６画素のブロックを示している。このブロックは、例えば高解像度画像と低解像度画像の符号化方式がAVC方式である場合、符号化単位となる。

図１０のＡに示すように、視聴者が所定の２次元平面を正面として視聴する場合、表示画像１７０の中央には高解像度画像１７１が配置される。図１０のＡの例では、表示画像１７０のサイズが高解像度画像１７１のサイズより大きいため、表示画像１７０の両端には、低解像度画像１７２が配置されている。

図１０のＢに示すように、視聴者の視線方向が斜め上方向である場合、視線に最も近い法線に対応する２次元平面(図１０のＢの例では、仰角が４５度である２次元平面)の高解像度画像１８１が表示画像１８０の中央に配置される。また、図１０のＢに示すように、表示画像１８０の高解像度画像１８１以外の領域には、低解像度画像１８２が配置される。図１０のＢに示すように、表示画像１８０のうちの、球４０の極部付近にマッピングされる低解像度画像１８２のブロックの密度は、球４０の中央部付近にマッピングされる低解像度画像１８２のブロックの密度に比べて大きい。

図１０のＣに示すように、視聴者の視線方向が上方向である場合、視線に最も近い法線に対応する２次元平面(図１０のＣの例では、仰角が９０度である２次元平面)の高解像度画像１８１が表示画像１９０の中央に配置される。また、図１０のＣに示すように、表示画像１９０の高解像度画像１９１以外の領域には、低解像度画像１９２が配置される。

図１０のＣの例では、高解像度画像に対応する２次元平面の仰角が９０度であるため、表示画像１９０内の球４０の極部方向に対応する領域は、高解像度画像１９１である。即ち、表示画像１９０内の、低解像度画像において比較的大きい歪みが発生する、球４０の極部方向に対応する領域は、歪みが発生しない高解像度画像１９１である。従って、球４０の極部方向に対応する領域が低解像度画像１９２である場合に比べて、表示画像１９０の画質を向上させることができる。

なお、図１０のＡ乃至図１０のＣに示すように、低解像度画像１７２（１８２，１９２）は、高解像度画像１７１（１８１，１９１）に比べて解像度が小さい。従って、低解像度画像１７２（１８２，１９２）のブロックが配置される表示画像１７０（１８０，１９０）内の領域のサイズは、高解像度画像１７１（１８１，１９１）のブロックが配置される表示画像１７０（１８０，１９０）内の領域のサイズに比べて大きくなっている。

以上のように、図１０のＡ乃至図１０のＣの例では、表示画像１７０（１８０，１９０）の全領域のうちの、解像度が視覚に大きく影響する中央に高解像度画像１７１（１８１，１９１）が配置される。従って、表示画像１７０（１８０，１９０）の中央に低解像度画像１７２（１８２，１９２）が配置される場合に比べて、表示画像１７０（１８０，１９０）の画質を向上させることができる。

（再生装置の処理の説明）
図１１は、図８の再生装置１５の再生処理を説明するフローチャートである。この再生処理は、例えば、視聴者の要求に応じて開始される。

図１１のステップＳ３１において、再生装置１５の受信部１２１は、配信サーバ１３に２次元平面情報を要求し、その要求に応じて送信部１０３から送信されてくる２次元平面情報を受け取る。受信部１２１は、２次元平面情報を視線検出部１２８に供給する。

ステップＳ３２において、受け取り部１２７は、図２のジャイロセンサ１６Ｂの検出結果をヘッドマウントディスプレイ１６から受け取り、視線検出部１２８に供給する。

ステップＳ３３において、視線検出部１２８は、受け取り部１２７から供給されるジャイロセンサ１６Ｂの検出結果に基づいて、３Ｄモデルの座標系における視聴者の視線方向を決定する。

ステップＳ３４において、視線検出部１２８は、カメラ１５Ａからマーカ１６Ａの撮影画像を取得し、その撮影画像に基づいて３Ｄモデルの座標系における視聴位置を検出する。

ステップＳ３５において、視線検出部１２８は、３Ｄモデルの座標系における視聴位置および視線方向、並びに、受信部１２１から供給される２次元平面情報に基づいて、５個の２次元面のうちの視聴者の視線に最も近い１個の２次元平面を選択面に決定する。視線検出部１２８は、選択面の選択面情報を受信部１２３に供給し、選択面の２次元平面情報をマッピング処理部１２５に供給する。

ステップＳ３６において、視線検出部１２８は、３Ｄモデルの座標系における視聴位置と視線方向に基づいて、３Ｄモデルの座標系における視聴者の視野範囲を決定する。視線検出部１２８は、視聴者の視野範囲と視聴位置を描画部１２６に供給する。

ステップＳ３７において、受信部１２３は、視線検出部１２８から供給される選択面情報により特定される選択面の１本の高解像度ストリームを配信サーバ１３に要求し、その要求に応じて送信部１０４から送信されてくる１本の高解像度ストリームを受け取る。受信部１２３は、受け取られた１本の高解像度ストリームをデコーダ１２４に供給する。

ステップＳ３８において、デコーダ１２４は、受信部１２３から供給される１本の高解像度ストリームを復号し、高解像度画像を生成する。デコーダ１２４は、高解像度画像をマッピング処理部１２５に供給する。

ステップＳ３９において、マッピング処理部１２５は、視線検出部１２８から供給される選択面の２次元平面情報に基づいて、予め３Ｄモデルとして設定されている球の内部に選択面を３Ｄモデルとして設定する。

ステップＳ４０において、マッピング処理部１２５は、デコーダ１２４から供給される高解像度画像を、３Ｄモデルとして設定された選択面にテクスチャとしてマッピングする。

ステップＳ４１において、受信部１２１は、配信サーバ１３に１本の低解像度ストリームを要求し、その要求に応じて送信部１０３から送信されてくる１本の低解像度ストリームを受け取る。受信部１２１は、１本の低解像度ストリームをデコーダ１２２に供給する。

ステップＳ４２において、デコーダ１２２は、受信部１２１から供給される低解像度ストリームを復号し、低解像度画像を生成する。デコーダ１２２は、低解像度画像をマッピング処理部１２５に供給する。

ステップＳ４３において、マッピング処理部１２５は、デコーダ１２２から供給される低解像度画像を、３Ｄモデルとしての球にテクスチャとしてマッピングする。マッピング処理部１２５は、球と２次元平面にテクスチャがマッピングされた３Ｄモデル画像を描画部１２６に供給する。

ステップＳ４４において、描画部１２６は、マッピング処理部１２５から供給される３Ｄモデル画像を、視線検出部１２８から供給される視聴位置を焦点として、視聴者の視野範囲に透視投影することにより、視聴者の視野範囲の画像を表示画像として生成する。

ステップＳ４５において、描画部１２６は、表示画像をヘッドマウントディスプレイ１６に送信して表示させる。ステップＳ４６において、再生装置１５は、再生を終了するかどうか、例えば視聴者により再生の終了が要求されたかどうかを判定する。

ステップＳ４６で再生を終了しないと判定された場合、処理はステップＳ３１に戻り、再生を終了すると判定されるまで、ステップＳ３１乃至Ｓ４６の処理が繰り返される。一方、ステップＳ４６で再生を終了すると判定された場合、処理を終了する。

なお、上述した説明では、２次元平面の数は５個であるものとたが、２次元平面の数は、５個に限定されない。２次元平面の数が多いほど、再生装置１５は、視聴者の視線により近い法線に対応する高解像度画像を用いて表示画像を生成することができる。従って、表示画像における高解像度画像の割合が多くなり、その結果、表示画像の画質が向上する。しかしながら、高解像度ストリームの本数が増加するため、必要となるストレージ１０２の記憶容量と高解像度ストリームを生成するための生成装置１２の処理量が増加する。

また、２次元平面テーブルには、２次元平面情報、横画素数、および縦画素数のうちの固定値以外が登録されるようにしてもよい。さらに、２次元平面は、１以上のフレーム単位で設定されてもよいし、シーン単位で設定されてもよい。

（２次元平面の第２の例）
図１２は、２次元平面の数が５個以外である場合の２次元平面の例を示す図である。

なお、図１２において、矢印は各２次元平面の中心を通る法線を示している。

図１２のＡに示すように、設定部２５は、２次元平面として、球４０の中心Ｏを中心とする立方体２１０の６個の各面２１１乃至２１６を設定することもできる。この場合、６個の２次元平面の中心を通る法線は、中心Ｏを通り、互いに直交する３軸の両方向の合計６本の線である。また、全ての２次元平面の横画角と縦画角は９０度であり、各２次元平面は重なり合わない。

即ち、この場合、２次元平面の高解像度画像は、キューブマッピングにより生成された全天球画像を３Ｄモデルとしての立方体の面単位で分割した画像である。なお、キューブマッピングとは、３Ｄモデルとしての立方体に画像をマッピングし、画像がマッピングされた立方体の展開図を全天球画像とする全天球画像の生成方法である。

また、図１２のＢに示すように、設定部２５は、各２次元平面の中心を通る法線が、立方体２１０の１２本の各辺の中点と中心Ｏを通る線であるように、１２個の２次元平面を設定することもできる。この場合、図１２のＡの場合に比べて、隣接する２次元平面間の角度が小さくなるため、再生装置１５は、視線により近い法線に対応する２次元平面を選択面とすることができる。その結果、表示画像内の高解像度画像の割合が大きくなり、表示画像の画質が向上する。

さらに、図１２のＣに示すように、設定部２５は、各２次元平面の中心を通る法線が、立方体２１０の１２本の各辺の中点と中心Ｏを通る線、および、立方体２１０の６個の各面２１１乃至２１６の中心と中心Ｏを通る線であるように、１８個の２次元平面を設定することもできる。この場合、２次元平面は、面２１１乃至２１６と図１２のＢの場合の２次元平面である。

図１２のＡおよび図１２のＣの例では、面２１１乃至２１６に対応する高解像度画像を全て用いることにより、水平方向の周囲360度および垂直方向の周囲180度の全ての視線方向に対応する表示画像を生成することができる。

（全天球画像の生成方法の他の例）
上述した説明では、全天球画像は、正距円筒図法を用いた方法により生成されたが、全天球画像の生成方法は、この方法に限定されない。

図１３は、正距円筒図法を用いた方法以外の全天球画像の生成方法の例を説明する図である。

図１３の全天球画像の生成方法では、図１３のＡに示すように、撮影画像が、３Ｄモデルとしての正八面体２３０にマッピングされる。そして、正八面体２３０の正三角形の各面２３１乃至２３８にマッピングされた画像の形状が、直角三角形に変形され、図１３のＢに示すように、各直角三角形の画像２４１乃至２４８を組み合わせることにより、正方形の全天球画像２４０が生成される。

図１３の生成方法で全天球画像が生成される場合、２次元平面２６１は、正八面体２３０の内部に配置される。また、マッピング処理部１２５で低解像度画像がマッピングされる３Ｄモデルは、正八面体２３０である。

全天球画像の生成方法は、図１３の方法のほか、キューブマッピングなどであってもよい。また、低解像度画像の低解像度化前の全天球画像の生成方法と、高解像度画像の生成に用いられる全天球画像の生成方法は、異なっていてもよい。

（低解像度画像の他の例）
図１４は、低解像度画像の他の例を示す図である。

上述した説明では、低解像度画像は、１つの視点の全天球画像を低解像度化した画像であったが、左目用の視点と右目用の視点の全天球画像をそれぞれ低解像度化した画像を合成（パッキング）した画像であってもよい。

具体的には、図１４のＡに示すように、低解像度画像は、例えば、左目用の視点の全天球画像を低解像度化した低解像度画像４２１と右目用の視点の全天球画像を低解像度化した低解像度画像４２２が横方向（水平方向）にパッキングされたパッキング画像４２０（低解像度パッキング画像）であってもよい。

また、図１４のＢに示すように、低解像度画像は、例えば、左目用の視点の低解像度画像４２１と右目用の視点の低解像度画像４２２が縦方向（垂直方向）にパッキングされたパッキング画像４４０（低解像度パッキング画像）であってもよい。

同様に、各２次元平面の高解像度画像は、その２次元平面の左目用の視点の高解像度画像と右目用の視点の高解像度画像が横方向または縦方向にパッキングされたパッキン画像（高解像度パッキング画像）であってもよい。所定の２次元平面の左目用の視点の高解像度画像は、球にマッピングされた左目用の視点の全天球画像を球の中心を焦点として、その２次元平面に透視投影することにより得られる画像である。また、所定の２次元平面の右目用の高解像度画像は、球にマッピングされた右目用の視点の全天球画像を球の中心を焦点として、その２次元平面に透視投影することにより得られる画像である。

低解像度画像と高解像度画像がパッキング画像である場合、図８のマッピング処理部１２５は、デコーダ１２２による復号の結果得られるパッキング画像を左目用の視点の低解像度画像と右目用の視点の低解像度画像に分離する。また、マッピング処理部１２５は、デコーダ１２４による復号の結果得られるパッキング画像を左目用の視点の高解像度画像と右目用の視点の高解像度画像に分離する。そして、マッピング処理部１２５は、左目用の視点および右目用の視点のそれぞれについて３Ｄモデル画像を生成し、描画部１２６は、左目用の視点および右目用の視点のそれぞれについて、３Ｄモデル画像を用いて表示画像を生成する。

これにより、ヘッドマウントディスプレイ１６は、３Ｄ表示可能である場合、左目用の視点および右目用の視点の表示画像を、それぞれ、左目用の画像、右目用の画像として表示することにより、表示画像を３Ｄ表示することができる。

以上のように、配信システム１０の生成装置１２は、全天球画像を複数の２次元平面に透視投影することにより高解像度画像を生成する。従って、高解像度画像の３Ｄモデル上の形状は歪まない。

よって、再生装置１５は、等方性を有する高解像度画像を用いて表示画像を生成することができる。その結果、全ての視線方向の表示画像の画質を同程度にすることができる。また、表示画像内の高解像度画像の領域を用いて、歪みが精度に大きく影響する顔認識処理などの一般的な画像処理を高精度に行うことができる。

また、３Ｄモデル上の動きと高解像度画像上の動きが一致するため、高解像度画像に対して動き補償を用いた符号化を高精度で行うことができる。さらに、高解像度画像において均一なビット配分を行うことができる。

また、再生装置１５は、視線方向に対応する２次元平面の高解像度ストリームのみを配信サーバ１３に要求して受け取る。従って、全ての２次元平面の高解像度ストリームを受け取る場合に比べて、配信サーバ１３と再生装置１５間の伝送量を削減することができる。

さらに、生成装置１２は、全天球画像全体を低解像度化して低解像度画像を生成する。従って、生成装置１２は、表示画像が高解像度画像の領域以外の領域にも対応する場合や、視聴者の視線方向が急に変化する場合であっても、低解像度画像を用いて表示画像を生成することができる。また、配信システム１０は、全天球画像全体の符号化ストリームのみを再生する再生装置との互換性を有することができる。

また、生成装置１２は、低解像度ストリームと選択面の高解像度ストリームを受け取り、表示画像を生成する。従って、１つの解像度の全天球画像の符号化ストリームを受け取り、表示画像を生成する場合に比べて、同一の伝送量や処理量で、表示画像の解像度を向上させることができる。

さらに、生成装置１２は、任意の位置、傾き、およびサイズで２次元平面を設定することができる。従って、生成装置１２は、任意の視線方向に対応する高解像度画像を生成することができる。これに対して、正距円筒図法を用いた方法により生成された全天球画像を分割することにより高解像度画像を生成する場合、全天球画像において横方向に延びる領域に対応する、球４０の極部にマッピングされる画像を高解像度画像として生成することは困難である。

また、生成装置１２は、撮影画像から、低解像度画像の生成に用いられる全天球画像を生成し、その全天球画像から高解像度画像を生成する。従って、再生装置１５は、高解像度画像と低解像度画像を用いて、撮影画像そのものを高解像度画像とする場合に比べて高解像度画像の領域と低解像度画像の領域が連続した違和感のない表示画像を生成することができる。

なお、２次元平面は、視聴者にとって重要であると想定される被写体を見ることが可能な視線方向の範囲である重要範囲に対応して高密度で設定され、重要範囲以外の範囲に対応して低密度で設定されるか、または、設定されないようにしてもよい。この場合、視聴者の視線が重要範囲内にあるとき、再生装置１５は、視線により近い法線に対応する２次元平面の高解像度を用いて表示画像を生成することができる。従って、表示画像における高解像度画像の割合が多くなり、その結果、表示画像の画質が向上する。また、重要範囲以外の範囲に対応する高解像度ストリームの本数は少ないため、高解像度ストリームの本数の増加を抑制することができる。

また、高解像度ストリーム、低解像度ストリーム、および２次元平面テーブルは、ストレージ１０２に記憶されず、受信部１０１から送信部１０３と送信部１０４を介して再生装置１５にリアルタイム配信(ライブ配信)されるようにしてもよい。

さらに、上述した説明では、撮影画像は動画像であるものとしたが、静止画像であってもよい。また、選択面の数は１つでなくてもよい。

配信システム１０は、ヘッドマウントディスプレイ１６の代わりに、設置型ディスプレイを有するようにしてもよい。この場合、再生装置１５はカメラ１５Ａを有さず、視聴位置および視線方向は、視聴者が、再生装置１５または設置型ディスプレイと接続するコントローラを操作することにより入力される。

また、配信システム１０は、再生装置１５とヘッドマウントディスプレイ１６の代わりに、モバイル端末を有するようにしてもよい。この場合、モバイル端末は、カメラ１５Ａ以外の再生装置１５の処理を行い、モバイル端末が有するディスプレイに表示画像を表示させる。視聴者は、視聴位置および視線方向をモバイル端末の姿勢を変化させることにより入力し、モバイル端末は、内蔵するジャイロセンサにモバイル端末の姿勢を検出させることにより、入力された視聴位置および視線方向を取得する。

＜第２実施の形態＞
本開示を適用した配信システムの第２実施の形態の構成は、透視投影の代わりにtan軸投影（詳細は後述する）が行われる点を除いて、図２の配信システム１０の構成と同一である。従って、以下では、tan軸投影についてのみ説明する。

（投影面の座標系の説明）
図１５は、投影面の座標系を説明する図である。

なお、第２実施の形態では、投影面は、生成装置１２が、高解像度画像を生成する際、球にマッピングされた全天球画像をtan軸投影する２次元平面、または、再生装置１５が、表示画像を生成する際、３Dモデル画像をtan軸投影する視野範囲である。

図１５の例では、３Ｄモデルの３次元のxyz座標系において、ｚが-1.0である投影面５０１が設定されている。この場合、投影面５０１の中心Ｏ´を原点とし、投影面５０１の水平方向をｓ方向とし、垂直方向をｔ方向とする２次元のst座標系が、投影面５０１の座標系となる。

なお、以下では、xyz座標系の原点Ｏからst座標系の座標(s,t)に向かうベクトル５０２を、座標(s,t)と、原点Ｏから投影面５０１までの距離である-1.0とを用いて、ベクトル(s,t,-1.0)という。

（tan軸投影の説明）
図１６は、tan軸投影（正接軸投影）を説明する図である。

図１６は、投影面５０１をｚの負方向に見た図である。図１６の例では、st座標系において、投影面５０１のｓ値およびｔ値の最小値は-1.0であり、最大値は1.0である。

この場合、透視投影では、原点Ｏから投影面５０１上の投影点に向かう投影ベクトルがベクトル（s´,t´-1.0）となるように、投影面５０１上に投影点が設定される。なお、ｓ´は、-1.0から1.0までのｓ値の範囲に設けられた所定の間隔ごとの値であり、ｔ´は-1.0から1.0までのｔ値の範囲に設けられた所定の間隔ごとの値である。従って、透視投影における投影点は、投影面５０１上で均一である。

これに対して、投影面５０１の画角をθｗ（図１６の例ではπ／２）とすると、tan軸投影では、投影ベクトルがベクトル(tan(s´*θｗ/2), tan(t´*θｗ/2), -1.0)となるように、投影面５０１上に投影点が設定される。

具体的には、ベクトル(tan(s´*θｗ/2), tan(t´*θｗ/2), -1.0)は、s´*θｗ/2をθとし、t´*θｗ/2をφとすると、ベクトル(tanθ，tanφ，-1.0)になる。このとき、画角θｗがπに近付くと、tanθやtanφは無限大に発散する。従って、tanθやtanφが無限大に発散しないように、ベクトル(tanθ，tanφ，-1.0)が、ベクトル(sinθ*cosφ, cosθ*sinφ, -cosθ*cosφ)に補正され、投影ベクトルがベクトル(sinθ*cosφ, cosθ*sinφ, -cosθ*cosφ)となるように、投影面５０１上に投影点が設定される。従って、tan軸投影では、隣り合う投影点に対応する投影ベクトルどうしがなす角が同一になる。

なお、対数軸（ログスケール）と同様に、tan(s´*θｗ/2), tan(t´*θｗ/2)は、tan軸のs´,t´であると捉えられる。従って、本明細書では、投影ベクトルがベクトル(tan(s´*θｗ/2), tan(t´*θｗ/2), -1.0)となる投影を、tan軸投影と称している。

（透視投影とtan軸投影における投影点の説明）
図１７は、透視投影とtan軸投影における投影点を説明する図である。

図１７は、投影面５０１をｙの負方向に見た図である。図１７の例では、投影面５０１上に投影点が９個配置される。

この場合、図１７に示すように、透視投影では、投影点Ｐ１乃至Ｐ９が投影面５０１上に同一の間隔ｄで配置される。従って、投影点Ｐ１乃至Ｐ９に対応する、球５１１にマッピングされた全天球画像上の点Ｐ１´乃至Ｐ９´の間隔ｄ´は等間隔ではない。即ち、間隔ｄ´は、投影ベクトルに依存し、投影面５０１の中央に近い投影点ほど間隔ｄ´が広い。

これに対して、tan軸投影では、投影点Ｑ１乃至Ｑ９が、隣り合う投影点の投影ベクトルどうしのなす角度が同一の角度αになるように配置される。従って、投影点Ｑ１乃至Ｑ９に対応する、球５１１にマッピングされた全天球画像上の点Ｑ１´乃至Ｑ９´の間隔は同一の間隔ｄ´´になる。

（透視投影とtan軸投影により生成された高解像度画像上の全天球画像の各画素の例）
図１８は、透視投影により生成された高解像度画像上の全天球画像の各画素の例を示す図であり、図１９は、tan軸投影により生成された高解像度画像上の全天球画像の各画素の例を示す図である。

なお、図１８および図１９では、高解像度画像上の全天球画像の各画素の境界を白線で図示してある。このことは、後述する図２０においても同様である。また、図１８および図１９の例では、投影面としての２次元平面が、図１２のＡの６つの面２１１乃至２１６である。このことは、後述する図２１においても同様である。

この場合、図１８に示すように、球にマッピングされた全天球画像の各画素が、面２１１乃至２１６のそれぞれに透視投影されることにより生成される高解像度画像５２１乃至５２６上の全天球画像の画素５３０（図中白線で囲まれた矩形）の密度は、画面の中央に近いほど高くなる。

即ち、投影点の間隔が面２１１乃至２１６上で同一である透視投影では、球にマッピングされた全天球画像上の投影点に対応する点の角度あたりの密度が、面２１１乃至２１６の中央に近い投影点ほど低くなる。従って、高解像度画像５２１乃至５２６上の全天球画像の画素５３０の密度は、画面の中央に近いほど高くなる。

これに対して、図１９に示すように、球にマッピングされた全天球画像の各画素が、面２１１乃至２１６のそれぞれにtan軸投影されることにより生成される高解像度画像５４１乃至５４６上の全天球画像の画素５５０（図中白線で囲まれた矩形）の密度は、略均一になる。

即ち、投影点に対応する、球にマッピングされた全天球画像上の点の間隔が同一であるtan軸投影では、透視投影に比べて、球にマッピングされた全天球画像上の投影点に対応する点の角度あたりの密度が均一になる。従って、高解像度画像５４１乃至５４６上の全天球画像の画素５５０の密度は略均一になる。その結果、高解像度画像５４１乃至５４６の画質は、全天球画像の画素の密度が均一ではない高解像度画像５２１乃至５２６に比べて向上する。

なお、高解像度画像５４１や高解像度画像５４６の各画素５５０の境界は同心円を描かないため、高解像度画像５４１や高解像度画像５４６は、魚眼レンズにより撮影された撮影画像とは異なる。また、高解像度画像５２１乃至５２６のそれぞれと、高解像度画像５４１乃至５４６のそれぞれは、全天球画像の同一の領域が投影された画像であるため、相互変換が可能である。

図２０は、透視投影およびtan軸投影により生成された高解像度画像上の全天球画像の各画素の他の例を示す図である。

図２０の上段には、２次元平面の画角θｗが、６０°、９０°、１２０°、１５０°、１７０°である場合に透視投影により生成された高解像度画像５６１乃至５６５が図示してある。

また、図２０の下段には、２次元平面の画角θｗが、６０°、９０°、１２０°、１５０°、１７０°である場合にtan軸投影により生成された高解像度画像５７１乃至５７５が図示してある。

図２０の上段に示すように、透視投影により生成された高解像度画像５６１乃至５６５上の全天球画像の画素の密度の、画面内の位置による差は、画角θｗが大きいほど大きくなる。一方、図２０の下段に示すように、tan軸投影により生成された高解像度画像５７１乃至５７５の全天球画像の画素の密度は、画面内で均一に近い。従って、画角θｗが大きいほど、tan軸投影により生成された高解像度画像５７１乃至５７５は、透視投影により生成された高解像度画像５６１乃至５６５に比べて画質が向上する。

また、透視投影により生成された高解像度画像５６１乃至５６５の画面中央の全天球画像の画素の密度は、画角θｗが大きいほど高くなる。従って、例えば、画角θｗが１２０°である高解像度画像５６３の画面中央の解像度は、画角θｗが９０°である高解像度画像５６２に比べて低下する。

一方、tan軸投影により生成された高解像度画像５７１乃至５７５全体の全天球画像の画素の密度は、画角θｗが大きいほど高くなるが、画面内で均一に近い。従って、tan軸投影では、透視投影に比べて、画角θｗが大きくなるほど画面中央の全天球画像の画素の密度が高くなることを抑制することができる。

例えば、画角θｗが１２０°であり、tan軸投影により生成される高解像度画像５７３の画面中央における全天球画像の画素の密度は、画角θｗが９０°であり、透視投影により生成される高解像度画像５６２の画面中央における全天球画像の画素の密度と略等しくなる。その結果、tan軸投影では、透視投影に比べて、画面中央の重要な領域の解像度を向上させることができる。

なお、図示は省略するが、高解像度画像５２１乃至５２６が立方体の各面にテクスチャとしてマッピングされ、隣接する２つの面の境界が画面中央に投影されるように透視投影が行われると、その境界に近いほど、透視投影された全天球画像の画素の密度が高くなる。同様に、隣接する３つの面の境界が画面中央に投影されるように透視投影が行われると、その境界に近いほど、透視投影された全天球画像の画素の密度が高くなる。即ち、高解像度画像５２１乃至５２６がマッピングされた立方体の頂点付近から透視投影された全天球画像の画素の密度は、他の領域に比べて高くなる。

（２次元平面テーブルの構成例）
図２１は、第２実施の形態における２次元平面テーブルの構成例を示す図である。

図２１の２次元平面テーブルの構成は、新たに２次元平面への投影の方式が投影方式として登録される点を除いて、図６の構成と同一である。具体的には、第２実施の形態では、２次元平面への投影の方式がtan軸投影であるため、図２１の２次元平面テーブルには、ＩＤとしての１乃至５に対応付けて、投影方式としてtan軸投影が登録される。

なお、第１実施の形態においても、第２実施の形態と同様に、２次元平面テーブルに投影方式が登録されるようにしてもよいし、第２実施の形態において、第１実施の形態と同様に、２次元平面テーブルに投影方式が登録されないようにしてもよい。

以上のように、第２実施の形態では、球にマッピングされた全天球画像を２次元平面にtan軸投影することにより高解像度画像を生成するので、高解像度画像の画質を向上させることができる。また、３Ｄモデル画像を視野範囲にtan軸投影することにより表示画像を生成するので、表示画像の画質を向上させることができる。

なお、高解像度画像や表示画像を生成する際に行われる投影は、透視投影、tan軸投影以外であってもよい。また、２次元平面ごとに投影方式が異なるようにしてもよい。

＜第３実施の形態＞
（本開示を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図２２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータ９００において、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。

バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、入力部９０６、出力部９０７、記憶部９０８、通信部９０９、及びドライブ９１０が接続されている。

入力部９０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部９０７は、ディスプレイ、スピーカなどよりなる。記憶部９０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部９０９は、ネットワークインタフェースなどよりなる。ドライブ９１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア９１１を駆動する。

以上のように構成されるコンピュータ９００では、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５及びバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ９００（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータ９００では、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。

なお、コンピュータ９００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

＜応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。

図２３は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図２３に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図２３では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。

駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

ここで、図２４は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図２４には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

図２３に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（Global System of Mobile communications）、ＷｉＭＡＸ、ＬＴＥ（Long Term Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。

専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２３の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

なお、図２３に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。

なお、図１乃至図２１を用いて説明した本実施形態に係る配信システム１０の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

以上説明した車両制御システム７０００に、図１乃至図２１を用いて説明した本実施形態に係る配信システム１０を適用する場合、例えば、配信システム１０の撮影装置１１は、撮像部７４１０の少なくとも一部に相当する。また、生成装置１２、配信サーバ１３、再生装置１５は一体化され、マイクロコンピュータ７６１０と記憶部７６９０に相当する。ヘッドマウントディスプレイ１６は、表示部７７２０に相当する。なお、配信システム１０を統合制御ユニット７６００に適用する場合、ネットワーク１４、カメラ１５Ａ、マーカ１６Ａ，およびジャイロセンサ１６Ｂは設けられず、視聴者である搭乗者の入力部７８００の操作により視聴者の視線方向および視聴位置が入力される。以上のようにして、配信システム１０を、図２３に示した応用例の統合制御ユニット７６００に適用することにより、全天球画像を用いて生成される全ての視線方向の表示画像の画質を同程度にすることができる。

また、図１乃至図２１を用いて説明した配信システム１０の少なくとも一部の構成要素は、図２３に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、図１乃至図２１を用いて説明した配信システム１０が、図２３に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

本開示は、以下のような構成もとることができる。

（１）
全天球画像を低解像度化する低解像度化部と、
３Ｄモデルにマッピングされた前記全天球画像を複数の２次元平面に投影することにより、複数の画像を生成する投影部と
を備える生成装置。
（２）
前記低解像度化部により低解像度化された前記全天球画像を符号化し、低解像度ストリームを生成する低解像度符号化部と、
前記投影部により生成された前記複数の画像をそれぞれ符号化し、高解像度ストリームを生成する高解像度符号化部と
前記低解像度符号化部により生成された前記低解像度ストリームと、前記高解像度符号化部により生成された前記高解像度ストリームを送信する送信部と
をさらに備える
前記（１）に記載の生成装置。
（３）
前記送信部は、前記複数の２次元平面の位置を示す２次元平面情報を送信する
ように構成された
前記（２）に記載の生成装置。
（４）
隣接する前記２次元平面の前記画像どうしの一部は重複する
ように構成された
前記（１）乃至（３）のいずれかに記載の生成装置。
（５）
前記複数の２次元平面の中心を通る法線は、立方体の各辺の中点と前記立方体の中心を通る線である
ように構成された
前記（１）乃至（４）のいずれかに記載の生成装置。
（６）
前記複数の２次元平面の中心を通る法線は、立方体の各辺の中点と前記立方体の中心を通る線と、前記立方体の各面の中心と前記立方体の中心を通る線である
ように構成された
前記（１）乃至（４）のいずれかに記載の生成装置。
（７）
前記全天球画像は、左目用の視点の全天球画像と右目用の視点の全天球画像からなり、
前記低解像度化部は、低解像度化された前記左目用の視点の全天球画像と前記右目用の視点の全天球画像をパッキングして低解像度パッキング画像を生成し、
前記投影部は、前記３Ｄモデルにマッピングされた前記左目用の視点の全天球画像および前記右目用の視点の全天球画像それぞれを前記複数の２次元平面に投影することにより生成された、前記左目用の視点および前記右目用の視点の前記複数の画像を、前記２次元平面ごとにパッキングして高解像度パッキング画像を生成する
ように構成された
前記（１）乃至（６）のいずれかに記載の生成装置。
（８）
生成装置が、
全天球画像を低解像度化する低解像度化ステップと、
３Ｄモデルにマッピングされた前記全天球画像を複数の２次元平面に投影することにより、複数の画像を生成する投影ステップと
を含む生成方法。
（９）
３Ｄモデルにマッピングされた全天球画像を複数の２次元平面に投影することにより生成された複数の画像のうちの少なくとも１つの画像と、低解像度化された前記全天球画像とを受け取る受け取り部と、
前記受け取り部により受け取られた前記画像および低解像度化された前記全天球画像の少なくとも一方に基づいて、表示画像を生成する描画部と
を備える再生装置。
（１０）
視聴者の視線方向に基づいて、前記複数の画像から、前記受け取り部により受け取られる前記画像を選択する選択部
をさらに備える
ように構成された
前記（９）に記載の再生装置。
（１１）
前記受け取り部は、前記複数の２次元平面の位置を示す２次元平面情報を受け取り、
前記選択部は、前記２次元平面情報と前記視線方向に基づいて前記画像を選択する
ように構成された
前記（１０）に記載の再生装置。
（１２）
前記画像を前記２次元平面にマッピングし、低解像度化された前記全天球画像を前記３Ｄモデルにマッピングすることにより、３Ｄモデル画像を生成するマッピング処理部
をさらに備え、
前記描画部は、前記マッピング処理部により生成された前記３Ｄモデル画像を、視聴者の視野範囲に投影することにより前記表示画像を生成する
ように構成された
前記（９）に記載の再生装置。
（１３）
低解像度化された前記全天球画像を符号化することにより生成された低解像度ストリームを復号し、低解像度化された前記全天球画像を生成する低解像度復号部と、
前記複数の画像のうちの少なくとも１つの画像を符号化することにより生成された高解像度ストリームを復号し、前記画像を生成する高解像度復号部と
をさらに備え、
前記受け取り部は、前記低解像度ストリームと前記高解像度ストリームを受け取る
ように構成された
前記（９）乃至（１２）のいずれかに記載の再生装置。
（１４）
隣接する前記２次元平面の前記画像どうしの一部は重複する
ように構成された
前記（９）乃至（１３）のいずれかに記載の再生装置。
（１５）
前記複数の２次元平面の中心を通る法線は、立方体の各辺の中点と前記立方体の中心を通る線である
ように構成された
前記（９）乃至（１４）のいずれかに記載の再生装置。
（１６）
前記複数の２次元平面の中心を通る法線は、立方体の各辺の中点と前記立方体の中心を通る線と、前記立方体の各面の中心と前記立方体の中心を通る線である
ように構成された
前記（９）乃至（１４）のいずれかに記載の再生装置。
（１７）
前記低解像度化された全天球画像は、低解像度化された左目用の視点の全天球画像と右目用の視点の全天球画像をパッキングした画像であり、
前記複数の画像は、前記２次元平面ごとに、前記３Ｄモデルにマッピングされた前記左目用の視点の全天球画像および前記右目用の視点の全天球画像をそれぞれ前記２次元平面に投影することにより生成された画像をパッキングした画像である
ように構成された
前記（９）乃至（１１）のいずれかに記載の再生装置。
（１８）
前記描画部は、前記受け取り部により受け取られた前記画像および前記低解像度化された全天球画像を視点ごとに分離し、視点ごとに、分割された前記画像および前記低解像度化された全天球画像の少なくとも一方に基づいて、前記表示画像を生成する
ように構成された
前記（１７）に記載の再生装置。
（１９）
再生装置が、
３Ｄモデルにマッピングされた全天球画像を複数の２次元平面に投影することにより生成された複数の画像のうちの少なくとも１つの画像と、低解像度化された前記全天球画像とを受け取る受け取りステップと、
前記受け取りステップの処理により受け取られた前記画像および低解像度化された前記全天球画像の少なくとも一方に基づいて、表示画像を生成する描画ステップと
を含む再生方法。

１２ 生成装置, ２３ 低解像度化部, ２４ エンコーダ, ２６−１乃至２６−５ 透視投影部, ２７−１乃至２７−５ エンコーダ, ２９ 送信部, ４０ 球, ４１乃至４５ ２次元平面, １２１ 受信部， １２２ デコーダ, １２３ 受信部, １２４ デコーダ， １２５ マッピング処理部, １２６ 描画部, １２８ 視線検出部, １４３ ２次元平面, １５１ 低解像度画像, １５２ 高解像度画像, １７０ 表示画像, １７１ 高解像度画像， １７２ 低解像度画像, １８０ 表示画像, １８１ 高解像度画像, １８２ 低解像度画像, １９０ 表示画像, １９１ 高解像度画像, １９２ 低解像度画像

Claims (15)

1. 全天球画像を低解像度化する低解像度化部と、
   ３Ｄモデルにマッピングされた前記全天球画像を複数の２次元平面に投影することにより、複数の画像を生成する投影部と
   を備え、
   前記複数の２次元平面の中心を通る法線は、立方体の各辺の中点と前記立方体の中心を通る線であり、
   前記複数の画像のうちの少なくとも１つの画像と低解像度化された前記全天球画像とを受け取る再生装置は、受け取られた前記画像と低解像度化された前記全天球画像の少なくとも一方に基づいて、表示画像を生成する
   ように構成された
   生成装置。
2. 前記低解像度化部により低解像度化された前記全天球画像を符号化し、低解像度ストリームを生成する低解像度符号化部と、
   前記投影部により生成された前記複数の画像をそれぞれ符号化し、高解像度ストリームを生成する高解像度符号化部と
   前記低解像度符号化部により生成された前記低解像度ストリームと、前記高解像度符号化部により生成された前記高解像度ストリームを送信する送信部と
   をさらに備える
   請求項１に記載の生成装置。
3. 前記送信部は、前記複数の２次元平面の位置を示す２次元平面情報を送信する
   ように構成された
   請求項２に記載の生成装置。
4. 前記複数の２次元平面の中心を通る法線は、前記立方体の各辺の中点と前記立方体の中心を通る線と、前記立方体の各面の中心と前記立方体の中心を通る線である
   ように構成された
   請求項１に記載の生成装置。
5. 前記全天球画像は、左目用の視点の全天球画像と右目用の視点の全天球画像からなり、
   前記低解像度化部は、低解像度化された前記左目用の視点の全天球画像と前記右目用の視点の全天球画像をパッキングして低解像度パッキング画像を生成し、
   前記投影部は、前記３Ｄモデルにマッピングされた前記左目用の視点の全天球画像および前記右目用の視点の全天球画像それぞれを前記複数の２次元平面に投影することにより生成された、前記左目用の視点および前記右目用の視点の前記複数の画像を、前記２次元平面ごとにパッキングして高解像度パッキング画像を生成する
   ように構成された
   請求項１に記載の生成装置。
6. 生成装置が、
   全天球画像を低解像度化する低解像度化ステップと、
   ３Ｄモデルにマッピングされた前記全天球画像を複数の２次元平面に投影することにより、複数の画像を生成する投影ステップと
   を含み、
   前記複数の２次元平面の中心を通る法線は、立方体の各辺の中点と前記立方体の中心を通る線であり、
   前記複数の画像のうちの少なくとも１つの画像と低解像度化された前記全天球画像とを受け取る再生装置は、受け取られた前記画像と低解像度化された前記全天球画像の少なくとも一方に基づいて、表示画像を生成する
   生成方法。
7. ３Ｄモデルにマッピングされた全天球画像を複数の２次元平面に投影することにより生成された複数の画像のうちの少なくとも１つの画像と、低解像度化された前記全天球画像とを受け取る受け取り部と、
   前記受け取り部により受け取られた前記画像および低解像度化された前記全天球画像の少なくとも一方に基づいて、表示画像を生成する描画部と
   を備え、
   前記複数の２次元平面の中心を通る法線は、立方体の各辺の中点と前記立方体の中心を通る線である
   ように構成された
   再生装置。
8. 視聴者の視線方向に基づいて、前記複数の画像から、前記受け取り部により受け取られる前記画像を選択する選択部
   をさらに備える
   ように構成された
   請求項７に記載の再生装置。
9. 前記受け取り部は、前記複数の２次元平面の位置を示す２次元平面情報を受け取り、
   前記選択部は、前記２次元平面情報と前記視線方向に基づいて前記画像を選択する
   ように構成された
   請求項８に記載の再生装置。
10. 前記画像を前記２次元平面にマッピングし、低解像度化された前記全天球画像を前記３Ｄモデルにマッピングすることにより、３Ｄモデル画像を生成するマッピング処理部
    をさらに備え、
    前記描画部は、前記マッピング処理部により生成された前記３Ｄモデル画像を、視聴者の視野範囲に投影することにより前記表示画像を生成する
    ように構成された
    請求項７に記載の再生装置。
11. 低解像度化された前記全天球画像を符号化することにより生成された低解像度ストリームを復号し、低解像度化された前記全天球画像を生成する低解像度復号部と、
    前記複数の画像のうちの少なくとも１つの画像を符号化することにより生成された高解像度ストリームを復号し、前記画像を生成する高解像度復号部と
    をさらに備え、
    前記受け取り部は、前記低解像度ストリームと前記高解像度ストリームを受け取る
    ように構成された
    請求項７に記載の再生装置。
12. 前記複数の２次元平面の中心を通る法線は、前記立方体の各辺の中点と前記立方体の中心を通る線と、前記立方体の各面の中心と前記立方体の中心を通る線である
    ように構成された
    請求項７に記載の再生装置。
13. 前記低解像度化された全天球画像は、低解像度化された左目用の視点の全天球画像と右目用の視点の全天球画像をパッキングした画像であり、
    前記複数の画像は、前記２次元平面ごとに、前記３Ｄモデルにマッピングされた前記左目用の視点の全天球画像および前記右目用の視点の全天球画像をそれぞれ前記２次元平面に投影することにより生成された画像をパッキングした画像である
    ように構成された
    請求項７に記載の再生装置。
14. 前記描画部は、前記受け取り部により受け取られた前記画像および前記低解像度化された全天球画像を視点ごとに分離し、視点ごとに、分割された前記画像および前記低解像度化された全天球画像の少なくとも一方に基づいて、前記表示画像を生成する
    ように構成された
    請求項１３に記載の再生装置。
15. 再生装置が、
    ３Ｄモデルにマッピングされた全天球画像を複数の２次元平面に投影することにより生成された複数の画像のうちの少なくとも１つの画像と、低解像度化された前記全天球画像とを受け取る受け取りステップと、
    前記受け取りステップの処理により受け取られた前記画像および低解像度化された前記全天球画像の少なくとも一方に基づいて、表示画像を生成する描画ステップと
    を含み、
    前記複数の２次元平面の中心を通る法線は、立方体の各辺の中点と前記立方体の中心を通る線である
    再生方法。

Images