JP6398472B2 - 画像表示システム、画像表示装置、画像表示方法、およびプログラム - Google Patents

Description

本発明は、画像表示システム、画像表示装置、画像表示方法、およびプログラムに関する。

現在、超広角レンズや複数カメラや複数回撮影などを用いてパノラマ写真またはパノラマ動画（以下、静止画と動画とを区別せず、パノラマ画像と呼ぶ）を撮影する方法が普及している。また、パノラマ画像の画角を上下左右に３６０度の全天球まで広げた全天球画像を撮影する方法も知られている。

これらの機器で撮影されたパノラマ画像は、例えばパーソナルコンピュータやスマートフォン、タブレット型コンピュータなどで表示され、閲覧者が視点を自由に変えながら閲覧し得る表示技術が知られている。

しかしながら、従来のパノラマ画像の表示技術では、最初の表示時における注目点の位置や、表示中における注目点の変化は、撮影時の機器の都合で決まってしまい、撮影者の意図を反映させることは困難であるという問題があった。

また、撮影者（編集者を含む。以下同じ）が意図する注目点を撮影後に編集するには、膨大な時間および手間がかかってしまい、特別な機材や技能を持たない撮影者には、撮影後に注目点を編集することは事実上不可能であった。

例えば特許文献１には、パノラマ画像の表示領域を指定する目的で、表示画像の領域制御情報に従ってパノラマ画像の表示画像領域を表示する表示画像制御装置が開示されている。この表示画像制御装置は、表示画像領域制御情報を予め準備し、表示するパノラマ画像とともに提供して、表示画像制御装置にて画表示画像領域を表示させている。

確かに特許文献１に記載の方法でも撮影者など画像提供者側で意図した表示画像領域を表示することができる。しかし、特許文献１の方法では表示画像領域を制御するための情報を作成する必要があり、撮影者が意図する注目点をパノラマ画像の表示に反映させることが困難であるという問題は依然として解消できていない。

本発明は、上記に鑑みてなされたものであって、その目的は、撮影者が意図する注目点を簡単にパノラマ画像の表示に反映させることができる画像表示システム、画像表示装置、画像表示方法、およびプログラムを提供することにある。

上述した課題を解決し、目的を達成するために、本発明は、パノラマ画像、並びに、装置自身の傾き、方位、及び位置を取得する画像撮影装置と、撮影者が意図する注目すべき撮影対象の位置を注目点位置として指示する注目点指示装置と、前記パノラマ画像、並びに、前記画像撮影装置の傾き、方位、及び位置と、に基づいて、天頂方向に対して前記パノラマ画像を補正し、天頂方向に対して補正された前記パノラマ画像を前記注目点位置に基づいて水平方向及び垂直方向に回転することで前記注目点位置が中心に表示される表示画像に変換し、当該表示画像を表示する画像表示装置と、を備えることを特徴とする。

本発明によれば、撮影者が意図する注目点を簡単にパノラマ画像の表示に反映させることができるという効果を奏する。

図１は、第１実施形態に係る画像表示システムの概略構成を示す概念図である。 図２は、パノラマ画像撮影装置の側面図である。 図３は、パノラマ画像撮影装置の正面図である。 図４は、パノラマ画像撮影装置のハードウェア構成図である。 図５は、パノラマ画像撮影装置の使用イメージ図である。 図６は、パノラマ画像撮影装置で撮影された前側半球画像を示す図である。 図７は、パノラマ画像撮影装置で撮影された後側半球画像を示す図である。 図８は、図６および図７の半球画像を変換および合成したパノラマ画像を示す図である。 図９は、パノラマ画像撮影装置のレンズおよび撮像素子における射影関係を示す図である。 図１０は、撮影像が撮像素子上に射影される位置を示す図である。 図１１は、撮像素子上の画素をパノラマ画像上の画素へ変換する変換方法を説明する図である。 図１２は、パノラマ画像の座標系について説明する図である。 図１３は、パノラマ画像撮影装置が傾いていない場合における、半球画像からパノラマ画像への変換を示す図である。 図１４は、パノラマ画像撮影装置が傾いている場合における、半球画像からパノラマ画像への変換を示す図である。 図１５は、カメラ座標系とグローバル座標系の関係を示す図である。 図１６は、パノラマ画像撮影装置が検出する重力方向を示す図である。 図１７は、２つの回転の回転角α，βを示した図である。 図１８は、地表の座標系の定義を説明する図である。 図１９は、ｙ_１軸方向とｙ_０軸方向との関係を示す図である。 図２０は、ｙ_１軸方向とｙ_２軸方向とｙ_０’軸方向との関係を示す図である。 図２１は、パノラマ画像撮影装置と注目点指示装置との相対的位置関係を示す図である。 図２２は、第２実施形態に係る画像表示システムの概略構成を示す概念図である。

以下、添付図面を参照して、本発明の実施形態に係る画像表示システム、画像表示装置、画像表示方法、およびプログラムを詳細に説明する。なお、以下では、静止画を用いた実施形態について説明を行うが、動画であっても各フレームを静止画とみなして本発明を適用した実施形態を構成することができる。したがって、以下で説明では、単に「画像」と云った場合、静止画と動画を含むものと理解されるべきである。

（第１実施形態）
図１は、第１実施形態に係る画像表示システムの概略構成を示す概念図である。図１に示されるように、第１実施形態の画像表示システム１０００は、パノラマ画像撮影装置１００と、画像表示装置２００と、注目点指示装置３００とを備える。

パノラマ画像撮影装置１００は、パノラマ画像を撮影するための機器である。さらに、パノラマ画像撮影装置１００は、装置自身の傾き、装置が向いている方位、および装置の位置に関する情報を取得する手段を備えている。パノラマ画像撮影装置１００が取得した画像、傾き、方位、および位置は、画像表示装置２００へ送信される。

なお、パノラマ画像撮影装置１００から画像表示装置２００への情報送信は、無線方式であっても、有線方式であってもよく、また、リアルタイムで送信しても、一旦パノラマ画像撮影装置１００内に保存した後に画像表示装置２００へ送信してもよい。

注目点指示装置３００は、撮影者が意図する注目すべき撮影対象Ｏ_１の位置を注目点位置として指示するための機器である。なお、ここで云う注目点位置とは、撮影対象Ｏ_１が存在する３次元空間上の位置である。図１に示されるように、撮影者が意図する注目すべき撮影対象Ｏ_１が例えば自動車である場合、注目点の位置は撮影中に移動しまう。そこで、注目点指示装置３００は、注目点の位置を画像表示装置２００で表示する画像に反映させるために、パノラマ画像撮影装置１００との相対的な位置を取得する。

本実施形態では、注目点指示装置３００は、ＧＰＳ（Global Positioning System）受信器を備える位置取得手段を、撮影者が意図する注目すべき撮影対象Ｏ_１に備え付けることで構成されている。なお、移動し得る注目点は自動車に限らず、人や動物などあらゆる移動体とすることができ、ＧＰＳ受信器を備える位置取得手段の例としては、スマートフォンやパーソナルコンピュータやカーナビゲーションなど一般的なＧＰＳを備える装置を流用することができる。また、パノラマ画像撮影装置１００を２つ用意し、一方を注目点指示装置３００として撮影対象Ｏ_１に備え付ける構成とすることも可能である。

なお、注目点指示装置３００から画像表示装置２００への送信は、無線方式であっても、有線方式であってもよく、また、リアルタイムで送信しても、一旦注目点指示装置３００内に保存した後に画像表示装置２００へ送信してもよい。

図１に示されるように、画像表示装置２００は、画像処理部２０１と画像表示部２０２とを備えている。画像処理部２０１は、パノラマ画像撮影装置１００が取得した画像、傾き、方位、および位置と、注目点指示装置３００が取得した位置とに基づいて、画像表示部２０２へ表示すべき画像を構成する。画像表示部２０２は、画像処理部２０１が構成した画像を表示するためのディスプレイである。

例えば、画像表示装置２００は、一般的なパーソナルコンピュータを用いて構成することも、スマートフォンなどのデバイスを用いて構成することも、専用デバイスとして構成することもできる。画像処理部２０１は、別個の独立した１つの装置として構成される必要はなく、画像処理部２０１の機能をネットワーク上のサーバに実装することも可能である。また、画像処理部２０１をパノラマ画像撮影装置１００に付属させる構成とすることも可能である。

次に、図２〜図４を参照しながら、パノラマ画像撮影装置１００の構成について説明する。図２は、パノラマ画像撮影装置の側面図であり、図３は、パノラマ画像撮影装置の正面図であり、図４は、パノラマ画像撮影装置のハードウェア構成図である。

図２および図３に示されるように、パノラマ画像撮影装置１００の上部には、レンズ１０２ａ，１０２ｂが設けられている。パノラマ画像撮影装置１００の正面に設けられたレンズ１０２ａは、パノラマ画像撮影装置１００の前側半分を撮像するための広角レンズであり、パノラマ画像撮影装置１００の背面に設けられたレンズ１０２ｂは、パノラマ画像撮影装置１００の後ろ側半分を撮像するための広角レンズである。すなわち、パノラマ画像撮影装置１００は、２つのレンズ１０２ａ，１０２ｂを用いて全天球を撮影することができるように構成されている。また、パノラマ画像撮影装置１００の正面には、撮像の開始などを行うための操作ボタン１１４ａが設けられている。

なお、図に示されたパノラマ画像撮影装置１００は、２つのレンズ１０２ａ，１０２ｂを用いて全天球を撮影する構成例であるが、本実施形態の適用は設けられたレンズの個数に限定されない。例えば、４つのレンズを用いて全天球を４分割して撮影する撮影装置や、さらに多くのレンズを用いた撮影装置であってもよい。また、全天球を撮影しなくとも、撮影した画像に対して注目点を変更することにメリットが現れる程度に高画角の撮影装置であれば、本実施形態の効果を享受し得る。

図４に示されているように、パノラマ画像撮影装置１００は、撮像ユニット１０１、画像処理ユニット１０４、ＣＰＵ(Central Processing Unit)１１１、ＲＯＭ(Read Only Memory)１１２、ＲＡＭ(Random Access Memory)１１３、操作部１１４、ネットワークＩ／Ｆ１１５、通信部１１６、アンテナ１１６ａ、加速度センサ１１７、電子コンパス１１８、およびＧＰＳ受信器１１９を備えている。

撮像ユニット１０１は、各々半球画像を結像するための１８０°以上の画角（好適には１８５°から１９０°）を有するレンズ１０２ａ，１０２ｂと、各レンズ１０２ａ，１０２ｂに対応させて設けられている２つの撮像素子１０３ａ，１０３ｂとを備えている。撮像素子１０３ａ，１０３ｂは、レンズ１０２ａ，１０２ｂによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサなどの画像センサである。

撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、各々、画像処理ユニット１０４に接続されている。画像処理ユニット１０４は、バス１１０を介してＣＰＵ１１１と接続される。さらに、バス１１０には、ＲＯＭ１１２、ＲＡＭ１１３、操作部１１４、ネットワークＩ／Ｆ１１５、通信部１１６、加速度センサ１１７、電子コンパス１１８、およびＧＰＳ受信器１１９なども接続されている。

画像処理ユニット１０４は、撮像素子１０３ａ，１０３ｂから出力される画像データを通して取り込み、それぞれの画像データをメルカトル図法で展開したパノラマ画像に変換することに用いられる。

ＣＰＵ１１１は、パノラマ画像撮影装置１００の全体の動作を制御すると共に画像処理を実行することに用いられる。ＲＯＭ１１２は、ＣＰＵ１１１のための種々のプログラムを記憶するために用いられる。ＲＡＭ１１３はワークメモリであり、ＣＰＵ１１１で実行するプログラムや画像処理途中のデータ等を記憶するために用いられる。パノラマ画像撮影装置１００が撮影した画像データは、ＲＡＭ１１３のなかで、加速度センサ１１７、電子コンパス１１８、およびＧＰＳ受信器１１９が取得する関連情報と対応付けられて記憶されている。

操作部１１４は、例えば図３に示された操作ボタン１１４ａなどから入力された操作を制御信号に変換することに用いられる。

ネットワークＩ／Ｆ１１５は、ＳＤカード等の外付けのメディアやパーソナルコンピュータなどとのインターフェース回路である。ＲＡＭ１１３に記憶された画像のデータは、このネットワークＩ／Ｆ１１５を介して外付けのメディアに記録されたり、外部装置に送信されたりする。

通信部１１６は、アンテナ１１６ａを介して、例えば画像表示装置２００や注目点指示装置３００など外部装置と通信を行うことに用いられる。この通信部１１６によっても、画像のデータを外部装置に送信することができる。

加速度センサ１１７は、パノラマ画像撮影装置１００の上下方向、左右方向、および前後方向の、互いに直交する３方向に関する加速度を検出する３軸加速度センサである。したがって、加速度センサ１１７は、重力加速度の方向を検出することによって、パノラマ画像撮影装置１００の傾きを検出することが可能である。

電子コンパス１１８は、地球の磁気からパノラマ画像撮影装置１００の正面が向いている方位および傾きを算出し、方位および傾き情報を出力する。すなわち、電子コンパス１１８は、パノラマ画像撮影装置１００の上下方向、左右方向、および前後方向の、互いに直交する３方向に関する地磁気方向を検出し、パノラマ画像撮影装置１００の正面が向いている方位および傾きを算出する。

ＧＰＳ受信器１１９は、人工衛星からの電波を受信し、パノラマ画像撮影装置１００の位置および高さを測定することに用いられる。なお、パノラマ画像撮影装置１００の位置および高さの測定における原点は任意に定めることができるが、注目点指示装置３００の位置および高さの測定における原点と一致させておく必要がある。なぜならば、本実施形態で必要となるのは、パノラマ画像撮影装置１００と注目点指示装置３００との間の相対的位置関係であるからである。

次に、図５〜図８を参照しながら、パノラマ画像撮影装置１００によるパノラマ画像の撮影の例を説明する。図５は、パノラマ画像撮影装置の使用イメージ図であり、図６は、パノラマ画像撮影装置で撮影された前側半球画像であり、図７は、パノラマ画像撮影装置で撮影された後側半球画像であり、図８は、図６および図７の半球画像を変換および合成したパノラマ画像である。

図５に示されるように、パノラマ画像撮影装置１００は、撮影者Ｍが手に持って撮影者の周りの撮影対象物を撮影することが可能である。先述のように、パノラマ画像撮影装置１００は、２つのレンズ１０２ａ，１０２ｂによって全球を２つの半球に分割する。

図６および図７は、それぞれ２つのレンズ１０２ａ，１０２ｂによって分割撮影された前側半球画像および後側半球画像である。この２つの前側半球画像および後側半球画像をメルカトル図法を用いて変換した後に、２つの画像を合成したものが図８に示されたパノラマ画像である。

しかしながら、図８に示されたパノラマ画像は、撮影者Ｍの意図する注目点を中心とした適切な変換がなされてなく、パノラマ画像撮影装置１００の装置自体の傾きによる影響を補正していない。つまり、撮影者Ｍの意図する注目点を中心として最適化された変換がされていないので、撮影者Ｍの意図する注目点の付近で画像歪み等が残ってしまうことがある。

そこで、本実施形態に係る画像表示システム１０００、画像表示装置２００、および画像表示方法では、以下に示すように、パノラマ画像撮影装置１００が取得したパノラマ画像を、パノラマ画像撮影装置１００自身の傾き、方位、及び位置と、撮影者Ｍが意図する注目すべき撮影対象の注目点位置とに基づいて、注目点位置を中心とした画像にパノラマ画像を変換する。以下で説明する画像変換方法は、画像処理部２０１にて実行されるものである。

以下、図９〜図２１を参照しながら、注目点位置を中心とした画像にパノラマ画像を変換する方法について説明する。以下の説明は３部にて構成されており、図９〜図１２を参照したパノラマ画像の生成方法、図１３〜図１４を参照した天頂補正、および図１５〜図２１を参照した注目点方向の変換の説明で構成されている。

［パノラマ画像の生成方法］
図９は、パノラマ画像撮影装置のレンズおよび撮像素子における射影関係を示す図であり、図１０は、撮影像が撮像素子上に射影される位置を示す図である。

パノラマ画像撮影装置１００のレンズ１０２ａおよび撮像素子１０３ａで構成される光学系は、１８０度の画角を有している。図９に示されるように、レンズ１０２ａの光軸からの角度である入射角度γの光線は、撮像素子１０３ａ上にて中心から距離である像高ｈの位置に投影される。この関係は、０度から１８０度の範囲の入射角度γに対して像高ｈが定まる関係であり、これを射影関数ｆと定める。図１０に示されるように、入射角度γの光線は、撮像素子１０３ａ上にて中心から距離である像高ｈ（＝ｆ（γ））の位置に投影されるので、同一の入射角γの光線は、撮像素子１０３ａ上にて同心円状に投影される。

この射影関数ｆは、レンズ１０２ａの設計によって自由に設計し得るものであるが、例えば中心射影方式、立体射影方式、等距離射影方式、等立体角射影方式、正射影方式などの例を挙げることができる。一般に、中心射影方式は、通常の画角を有するレンズを備えるデジタルカメラで撮影する際に用いられる方式であり、その他４つの方式は、魚眼レンズなどの超広角な画角を持つ広角レンズを用いたデジタルカメラで利用される方式である。

次に、図１１および図１２を参照しながら、撮像素子上の画素とパノラマ画像上の画素との対応関係について説明する。

図１１は、撮像素子上の画素をパノラマ画像上の画素へ変換する変換方法を説明する図である。図１１（ａ）は、変換前後の画像座標値のマトリクスを示した変換テーブルの例を示す図であり、図１１（ｂ）および（ｃ）は、それぞれ変換後であるパノラマ画像上の画素の座標値および変換前である撮像素子上の画素の座標値を示す図である。

図１１（ａ）に示されるように、撮像素子上の画素をパノラマ画像上の画素へ変換する変換テーブルは、パノラマ画像上の座標値（θ、φ）と、それに対応する撮像素子上の座標値（ｘ、ｙ）とのデータセットを、パノラマ画像上のすべての画像の座標値（３６００×１８００）に対して有する。

図１１（ａ）に示した変換テーブルにしたがって、撮像された画像（変換前画像）から変換後画像を生成する。具体的には、図１１（ｂ）、（ｃ）に示すように、変換前と変換後の変換テーブル（図１１（ａ））の対応関係から、変換後画像の各画素を、座標値（θ、φ）に対応する変換前画像の座標値（ｘ、ｙ）の画素値を参照することによって生成する。

なお、上記説明した変換は、パノラマ画像撮影装置１００が備える２つの撮像素子１０３ａ，１０３ｂのそれぞれについて行なわれ、最終的に一つのパノラマ画像が生成される。

図１２は、上記説明した方法で生成されたパノラマ画像の座標系について説明する図である。図１２（ａ）に示されるように、変換後のパノラマ画像は、（θ、φ）の２次元平面座標を有する。これら座標（θ、φ）は、それぞれ経度および緯度に相当し、図１２（ｂ）に示されるように、半球画像では、地球儀上における緯度経度座標のような座標系に対応している。

［天頂補正］
ここで、図１３および図１４を参照しながら、以下で説明する天頂補正の概要を説明する。図１３は、パノラマ画像撮影装置が傾いていない場合における、半球画像からパノラマ画像への変換を示す図であり、図１４は、パノラマ画像撮影装置が傾いている場合における、半球画像からパノラマ画像への変換を示す図である。図１３（ａ）（ｂ）は、それぞれパノラマ画像撮影装置が傾いていない場合における前側半球画像および後側半球画像を示し、図１３（ｃ）は、パノラマ画像撮影装置が傾いていない場合における変換後のパノラマ画像上の水平線位置を示す図である。同様に、図１４（ａ）（ｂ）は、それぞれパノラマ画像撮影装置が傾いている場合における前側半球画像および後側半球画像を示し、図１３（ｃ）は、パノラマ画像撮影装置が傾いている場合における変換後のパノラマ画像上の水平線位置を示す図である。

図１３（ａ）（ｂ）に示されるように、パノラマ画像撮影装置１００が傾いていない場合における半球画像は、天頂Ｖが半球画像の上端に位置し、水平線Ｈが半球画像の中央に直線状に位置している。この２つの半球画像を上記説明した変換方法でパノラマ画像へ変換すると、図１３（ｃ）に示されるように、水平線Ｈはパノラマ画像上の中央に直線状に変換される。

一方、図１４（ａ）（ｂ）に示されるように、パノラマ画像撮影装置１００が傾いている場合における半球画像は、天頂Ｖが半球画像の上端からずれた場所に位置し、水平線Ｈが半球画像の中央に円弧状に曲がって位置している。この２つの半球画像を上記説明した変換方法でパノラマ画像へ変換すると、図１４（ｃ）に示されるように、水平線Ｈはパノラマ画像上の中央に円弧状に曲がって変換されてしまう。

そこで、パノラマ画像撮影装置が傾いていることに起因して図１４（ｃ）に示される画像のように歪みが発生してしまったパノラマ画像を、図１３（ｃ）に示される画像のように補正する。この補正を天頂補正と呼び、以下ではこの天頂補正についての詳細を説明する。

まず、図１５を参照しながら、座標系の定義を行う。図１５は、カメラ座標系とグローバル座標系の関係を示す図である。カメラ座標系とは、パノラマ画像撮影装置１００に固定された座標系であり、グローバル座標系とは、天頂補正後にカメラ座標系が変換される座標系である。

図１５に示されるように、カメラ座標系（ｘ_０，ｙ_０，ｚ_０）は、パノラマ画像撮影装置１００に固定された３次元直交座標系である。座標ｚ_０は、パノラマ画像撮影装置１００にとっての上方向に一致し、座標平面ｘ_０−ｙ_０は、パノラマ画像撮影装置１００にとっての水平方向に一致している。なお、注目点方向の初期値を座標ｙ_０の正方向に定める。つまり、初期設定においては、座標ｙ_０の正方向に存在する撮影対象がパノラマ画像の中央に配置されるものとする。

一方、グローバル座標系（ｘ_１，ｙ_１，ｚ_１）は、天頂補正後にカメラ座標系が変換される座標系であり、以下の条件を満たす座標系である。
・座標平面ｘ_１−ｙ_１が水平である。
・座標軸ｚ_１が天頂方向である。
・パノラマ画像撮影装置１００の座標平面ｘ_０−ｙ_０の中に、グローバル座標系の座標軸ｘ_１が存在する。

上記要件を満たす座標系は、天頂補正後にカメラ座標系が変換される座標系として１つに定まる。天頂補正では、カメラ座標系からグローバル座標系への変換を２つの回転で実現する。このために、カメラ座標系とグローバル座標系との間の関係をパノラマ画像撮影装置１００が検出する重力方向を用いて演算する。

図１６は、パノラマ画像撮影装置が検出する重力方向を示す図である。先述した図４に記載のように、パノラマ画像撮影装置１００は加速度センサ１１７を備えている。加速度センサ１１７は、カメラ座標系（ｘ_０，ｙ_０，ｚ_０）の各座標方向に関する加速度を検出する３軸加速度センサであるので、図１６に示されるように、重力加速度Ｇは、カメラ座標（ｘ_０，ｙ_０，ｚ_０）の各成分（Ａ_ｘ，Ａ_ｙ、Ａ_ｚ）に分解され検出される。

加速度センサ１１７が検出した重力加速度Ｇの各成分（Ａ_ｘ，Ａ_ｙ，Ａ_ｚ）を用いると、カメラ座標系からグローバル座標系への変換を導く２つの回転の回転角α，βは以下のように求められる。

図１７は、上記算出した２つの回転の回転角α，βを示した図である。図１７に示されるように、回転角αはｘ_０−原点−ｘ_１の角度であり、回転角βはｚ_０−原点−ｚ_１の角度である。

以上に算出した２つの回転の回転角α，βを用いると、天頂補正後のパノラマ画像の座標（θ_１，φ_１）から天頂補正前のパノラマ画像の座標（θ_０，φ_０）への変換は、以下の変換式（２）で記述される。なお、パノラマ画像の座標とは、図１２によって説明した座標である。

天頂補正前のパノラマ画像から天頂補正後のパノラマ画像への変換は、天頂補正後の画素の座標（θ_１，φ_１）に対応する天頂補正前の画素の座標（θ_０，φ_０）を上記変換式（２）を用いて算出し、座標（θ_０，φ_０）における画素情報（ＲＧＢデータ等）を座標（θ_１，φ_１）へ写像すればよい。

［注目点方向の変換］
以上により、パノラマ画像撮影装置１００が傾いていることに起因するパノラマ画像の不具合を補正することができた。この後、撮影者が意図する注目すべき撮影対象の位置をパノラマ画像の中央に移動する変換を行う。この変換のために、地表の座標系を定義する。

図１８は、地表の座標系の定義を説明する図である。先述した図４に記載のように、パノラマ画像撮影装置１００は電子コンパス１１８とＧＰＳ受信器１１９とを備えている。地表の座標系は、電子コンパス１１８で得られた情報とＧＰＳ受信器１１９で得られた情報とを対応付けるための座標系である。

図１８に示されるように、地表の座標系（ｘ_２，ｙ_２，ｚ_２）は、地表に固定された３次元直交座標系である。図１８に示されるように、地表の座標系（ｘ_２，ｙ_２，ｚ_２）は、座標軸ｘ_２の正方向を東Ｅとし、座標軸ｘ_２の負方向を西Ｗとし、座標軸ｙ_２の正方向を北Ｎとし、座標軸ｙ_２の負方向を南Ｓとし、座標軸ｚ_２の正方向を天頂Ｖとする。なお、電子コンパス１１８が検出する地軸と実際の地軸とは誤差があるが、日本付近では６°程度と微小であるため無視してもよく、必要に応じて補正してもよい。

ここで、天頂補正後の注目点方向について検討する。すなわち、天頂補正前の注目点方向はカメラ座標系におけるｙ_０軸方向であり、パノラマ画像ではこの方向の撮影対象物が中心となっていた。しかしながら、天頂補正をしたことにより、この注目点方向がｙ_１軸方向になっている。そこで、ｙ_０軸方向とｙ_１軸方向との関係を検討する。

ところで、天頂補正時の処理では、ｘ_０軸をｘ_１軸に合わせるためにｚ_０軸を中心にα度回転させ、その後、ｘ_１軸を中心としてβ度回転させている。このことから、グローバル座標系の水平平面に限った場合、天頂補正後の注目点方向（ｙ_１軸方向）と初期値の注目点方向（ｙ_０軸方向）は、α度だけずれていることが解る。

図１９は、ｙ_１軸方向とｙ_０軸方向との関係を示す図である。天頂補正は、α度の回転とβ度の回転の合成によって実現されるが、図１９に示されるように、座標平面ｘ_１−ｙ_１に限定して考えると、α度の回転となっている。なお、図１９に示されるｙ_０’軸は、ｙ_０軸を座標平面ｘ_１−ｙ_１に射影したものである。

さらに、天頂補正の注目点方向であるｙ_１軸の正方向は、地表の座標系で考えた場合にどの方向であるかを検討する。図２０は、ｙ_１軸方向とｙ_２軸方向とｙ_０’軸方向との関係を示す図である。図２０は、記載を見やすくするため、座標平面ｘ_１−ｙ_１上に、地表の座標系で北方向を示すｙ_２軸と、カメラ座標系で注目点方向を示すｙ_０軸方向の射影であるｙ_０’軸とを記載している。

ところで、先述した図４に記載のように、パノラマ画像撮影装置１００は電子コンパス１１８を備えている。電子コンパス１１８は、カメラ座標系（ｘ_０，ｙ_０，ｚ_０）における北方向Ｈ_０の各成分（Ｈ_ｘ，Ｈ_ｙ）を検出するものである。よって、図２０に示されるように、電子コンパス１１８の検出値Ｈ_ｘとＨ_ｙとをもちいて、下式のように、ｙ_０’軸とｙ_２軸との成す角α_ｈを算出できる。

一方、ｙ_１軸とｙ_０’軸との成す角はα度であったので、ｙ_１軸とｙ_２軸との成す角は（α―α_ｈ）度であることが解る。なお、ｙ_１軸およびｙ_２軸は、共に座標平面ｘ_１−ｙ_１上に存在しているので、グローバル座標系（ｘ_１，ｙ_１，ｚ_１）と地表の座標系（ｘ_２，ｙ_２，ｚ_２）との間の変換では、仰角の変換をする必要がない。

次に、注目点指示装置３００の検出結果を反映させる。すなわち、パノラマ画像撮影装置１００が備えるＧＰＳ受信器との測定値と注目点指示装置３００が備えるＧＰＳ受信器とから、パノラマ画像撮影装置１００と注目点指示装置３００との相対的位置関係を求め、注目点指示装置３００が示す位置がパノラマ画像の中心となるように画像を変換する。

図２１は、パノラマ画像撮影装置と注目点指示装置との相対的位置関係を示す図である。図２１では、パノラマ画像撮影装置１００および注目点指示装置３００の位置が、地表の座標系（ｘ_２，ｙ_２，ｚ_２）を用いて、それぞれ座標（Ｇ_ｘ０，Ｇ_ｙ０，Ｇ_ｚ０）および座標（Ｇ_ｘ１，Ｇ_ｙ１，Ｇ_ｚ１）に記載されている。

図２１に示されるように、北方向（ｙ_２軸）と注目点方向（注目点指示装置３００の方向）との水平方向の成す角θ_ｈおよび仰角θ_ｖは、下記式で計算できる。

以上の検討から、天頂補正後のパノラマ画像に対して、水平方向に対して（α−α_ｈ−θ_ｈ）度の回転をし、その後、垂直方向に対して（θ_ｖ）度の回転をすることで、注目点方向を中心としたパノラマ画像を得ることができることが解る。なお、実際の回転に係る変換は、先述の変換式（２）のパラメータを適切に変更したものを用いればよい。

以上、撮影者が意図する注目方向をパノラマ画像の中心に移動させる変換を説明したが、当該変換は、動画の各フレームに適用すれば、静止画のみならず、動画に対しても適用可能である。

（第２実施形態）
次に、第２実施形態に係る画像表示システムについての説明を行う。第１実施形態に係る画像表示システムは移動可能な撮影対象を注目点とするのに好適なものであったが、第２実施形態に係る画像表示システムは移動しない撮影対象を注目点とするのに好適である。第２実施形態は、例えば大きな目標物（山、木、建造物など）を周遊しながらの撮影や橋やビルなどをラジコンヘリで空撮して欠陥検査する場合などに好適である。

図２２は、第２実施形態に係る画像表示システムの概略構成を示す概念図である。図２２に示されるように、第２実施形態の画像表示システム２０００は、パノラマ画像撮影装置１００と、画像表示装置２１０とを備える。

パノラマ画像撮影装置１００は、パノラマ画像を撮影するためのものであり、第１実施形態と同一の構成とすることができる。すなわち、パノラマ画像撮影装置１００は、装置自身の傾き、装置が向いている方位、および位置の情報を取得する手段を備えている。パノラマ画像撮影装置１００が取得した画像、傾き、方位、および位置は、画像表示装置２１０へ送信される。

なお、パノラマ画像撮影装置１００から画像表示装置２１０への送信は、無線方式であっても、有線方式であってもよく、また、リアルタイムで送信しても、一旦パノラマ画像撮影装置１００内に保存した後に画像表示装置２１０へ送信してもよい。

画像表示装置２１０は、画像処理部２１１と画像表示部２１２と入力手段２１３とを備えている。画像処理部２１１は、パノラマ画像撮影装置１００が取得した画像、傾き、方位、および位置と、入力手段２１３により入力された注目点位置とに基づいて、画像表示部２１２へ表示すべき画像を構成する。画像表示部２１２は、画像処理部２１１が生成した画像を表示するためのディスプレイである。

入力手段２１３は、撮影者が意図する注目すべき撮影対象Ｏ_２の位置を注目点位置として指示するための手段である。入力手段２１３は、例えばタッチパネルやキーボードなどの一般的な入力機器を用いて構成されている。撮影者は意図する注目すべき撮影対象Ｏ_２の位置を入力手段２１３を用いて入力する。

上記の構成から解るように、第２実施形態に係る画像表示システム２０００は、第１実施形態における注目点指示装置３００の代わりに入力手段２１３を用いて撮影者が意図する注目すべき撮影対象Ｏ_２の位置を注目点位置として指示する構成である。言い換えると、第２実施形態に係る画像表示システム２０００では、入力手段２１３は、撮影者が意図する注目すべき撮影対象Ｏ_２の位置を注目点位置として指示する注目点指示装置として機能している。

本実施形態の画像処理部２１１も、パノラマ画像撮影装置１００が取得したパノラマ画像を、パノラマ画像撮影装置１００自身の傾き、方位、及び位置と、撮影者が意図する注目すべき撮影対象の注目点位置とに基づいて、注目点位置を中心とした表示画像にパノラマ画像を変換するが、その変換方法は第１実施形態と同一である。したがって、本実施形態の説明では、変換方法の説明は省略するものとする。

１０００、２０００ 画像表示システム
１００ パノラマ画像撮影装置
１０１ 撮像ユニット
１０２ａ，１０２ｂ レンズ
１０３ａ，１０３ｂ 撮像素子
１０４ 画像処理ユニット
１１０ バス
１１１ ＣＰＵ
１１２ ＲＯＭ
１１３ ＲＡＭ
１１４ 操作部
１１４ａ 操作ボタン
１１５ ネットワークＩ／Ｆ
１１６ 通信部
１１６ａ アンテナ
１１７ 加速度センサ
１１８ 電子コンパス
１１９ ＧＰＳ受信器
２００，２１０ 画像表示装置
２０１，２１１ 画像処理部
２０２，２１２ 画像表示部
２１３ 入力手段
３００ 注目点指示装置

特開２００４−１９２２０７号公報

Claims (9)

1. パノラマ画像、並びに、装置自身の傾き、方位、及び位置を取得する画像撮影装置と、
   撮影者が意図する注目すべき撮影対象の位置を注目点位置として指示する注目点指示装置と、
   前記パノラマ画像、並びに、前記画像撮影装置の傾き、方位、及び位置と、に基づいて、天頂方向に対して前記パノラマ画像を補正し、天頂方向に対して補正された前記パノラマ画像を前記注目点位置に基づいて水平方向及び垂直方向に回転することで前記注目点位置が中心に表示される表示画像に変換し、当該表示画像を表示する画像表示装置と、
   を備えることを特徴とする画像表示システム。
2. 前記注目点指示装置は、前記撮影対象に備え付けられた、前記撮影対象の位置を取得する位置取得手段であることを特徴とする請求項１に記載の画像表示システム。
3. 前記位置取得手段は、ＧＰＳ受信器を備える機器であることを特徴とする請求項２に記載の画像表示システム。
4. 前記位置取得手段は、パノラマ画像、並びに、装置自身の傾き、方位、及び位置を取得するもう一つの画像撮影装置を用いて構成されていることを特徴とする請求項３に記載の画像表示システム。
5. 前記注目点指示装置は、前記撮影対象の位置を入力する位置入力手段であることを特徴とする請求項１に記載の画像表示システム。
6. 前記画像表示装置は、
   前記装置自身の傾きに基づいて前記パノラマ画像の天頂補正をする天頂補正手段と、
   前記装置自身の方位と、前記装置自身の位置および前記注目点位置とに基づいて、天頂補正後のパノラマ画像を前記注目点位置が中心に表示される表示画像へ変換する回転補正手段とを備える、
   ことを特徴とする請求項１〜５のいずれか１つに記載の画像表示システム。
7. 画像撮影装置が取得したパノラマ画像、並びに、前記画像撮影装置の傾き、方位、及び位置と、に基づいて、天頂方向に対して前記パノラマ画像を補正し、天頂方向に対して補正された前記パノラマ画像を、注目すべき撮影対象の位置である注目点位置に基づいて水平方向及び垂直方向に回転することで前記注目点位置が中心に表示される表示画像に変換し、当該表示画像を表示する、
   ことを特徴とする画像表示装置。
8. 画像撮影装置が取得したパノラマ画像、並びに、前記画像撮影装置の傾き、方位、及び位置と、に基づいて、天頂方向に対して前記パノラマ画像を補正し、天頂方向に対して補正された前記パノラマ画像を、注目すべき撮影対象の位置である注目点位置に基づいて水平方向及び垂直方向に回転することで前記注目点位置が中心に表示される表示画像に変換し、当該表示画像を表示する、
   ことを特徴とする画像表示方法。
9. 画像撮影装置が取得したパノラマ画像、並びに、前記画像撮影装置の傾き、方位、及び位置と、に基づいて、天頂方向に対して前記パノラマ画像を補正し、天頂方向に対して補正された前記パノラマ画像を、注目すべき撮影対象の位置である注目点位置に基づいて水平方向及び垂直方向に回転することで前記注目点位置が中心に表示される表示画像に変換する機能と、
   当該変換された表示画像を画像表示装置に表示する機能と、
   をコンピュータに実現させるためのプログラム。

Images