JP2020067960A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】 生成される仮想視点画像がどのような位置の仮想視点に応じた画像なのかをユーザにとって把握しやすくする。【解決手段】 カメラ群１１０により撮影領域を複数の方向から撮影することで得られる複数の画像に基づく仮想視点画像を生成する画像処理装置２００は、仮想視点の位置を示す視点情報を取得する。そして画像処理装置２００は、撮影領域に含まれる所定領域の内部と外部との境界と仮想視点との位置関係に応じた画像と、上記の境界を表す画像との、少なくとも何れかを含む仮想視点画像を生成する。【選択図】 図３

Description

本発明は、複数の撮影装置により取得される複数の画像に基づいて生成される仮想視点画像に関するものである。

複数の撮影装置（カメラ）を異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数の画像を用いて、視点を任意に変更可能な仮想視点画像を生成する技術がある。例えば、サッカーやバスケットボールなどのスポーツ競技を撮影した複数の画像に基づいて、ユーザにより設定された視点に応じた仮想視点画像を生成することにより、ユーザは様々な角度から競技を観戦することができる。このような仮想視点画像を表示することで、通常の撮影画像を表示する場合と比較して、視聴者に高い臨場感を与えることができる。

特許文献１には、背景差分情報を用いて撮影画像からオブジェクト領域を抽出することが記載されている。また、複数のカメラによる複数の撮影画像それぞれからの抽出結果を用いてオブジェクトの３次元モデルを生成し、生成されたモデルを仮想視点に応じてレンダリングすることで、仮想視点コンテンツを生成する方法について記載されている。

特開２０１７−２１２５９２号公報

しかしながら、従来の技術により生成された仮想視点画像を見るユーザにとって、その仮想視点画像がどのような位置の仮想視点に応じた画像なのか把握しづらい場合が考えられる。例えばアーティスティックスイミングのような水中競技を撮影対象として仮想視点画像を生成する場合、背景差分情報を用いて従来の方法で仮想視点画像を生成しようとすると、選手の３次元モデルを生成するためにプール内の水は背景として扱う必要がある。そのため、撮影画像からはプール内の水の３次元モデルは生成されない。また、背景の中でもプールサイドや観客席については、予めレーザー等を用いて空間測定をすることにより３次元モデルを生成することができるが、水はレーザー等の光を十分に反射しないため、同様の方法ではプール内の水の３次元モデルは生成されない。そして、水の３次元モデルが生成されないことによりプール内の水が再現されない仮想視点画像が生成された場合、その仮想視点画像が水中の仮想視点に応じた画像なのか水上の仮想視点に応じた画像なのかをユーザが把握しづらく、ユーザにとって不便である。

本発明は上記の課題に鑑みてなされたものであり、生成された仮想視点画像がどのような位置の仮想視点に応じた画像なのかをユーザにとって把握しやすくすることを目的とする。

上記課題を解決するため、本発明に係る画像処理装置は、例えば以下の構成を有する。すなわち、複数の撮影装置により撮影領域を複数の方向から撮影することで得られる複数の画像に基づく仮想視点画像を生成する画像処理装置であって、仮想視点の位置を示す視点情報を取得する視点取得手段と、前記視点取得手段により取得される前記視点情報が示す前記仮想視点の位置に応じた前記仮想視点画像を生成する生成手段であって、前記撮影領域に含まれる所定領域の内部と外部との境界と前記仮想視点との位置関係に応じた画像と、前記境界を表す画像との、少なくとも何れかを含む前記仮想視点画像を生成する生成手段とを有する。

本発明によれば、生成された仮想視点画像がどのような位置の仮想視点に応じた画像なのかをユーザにとって把握しやすくできる。

情報処理システムの構成例を示す図である。 画像処理装置のハードウェア構成例を示す図である。 画像処理装置の動作の一例を示すフローチャートである。 ３次元空間内の仮想視点の位置の例を示す図である。 サーバにより生成される仮想視点画像の一例を示す図である。 サブ空間情報の例を示す図である。 画像処理装置により出力される仮想視点画像の一例を示す図である。 画像処理装置により出力される仮想視点画像の一例を示す図である。 画像処理装置の動作の一例を示すフローチャートである。 画像処理装置により出力される仮想視点画像の一例を示す図である。 画像処理装置の動作の一例を示すフローチャートである。 画像処理装置により出力される仮想視点画像の一例を示す図である。

［情報処理システムの構成］
図１は、情報処理システム１０の構成例を示す図である。情報処理システム１０は、複数のカメラによる撮影に基づく複数の画像と、指定された仮想視点とに基づいて、指定された仮想視点からの見えを表す仮想視点画像を生成するシステムである。本実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。また、本実施形態では仮想視点の指定がユーザ操作により行われる場合を中心に説明するが、仮想視点の指定が画像解析の結果等に基づいて情報処理システム１０により自動で行われてもよい。また、本実施形態では仮想視点画像が動画である場合を中心に説明するが、情報処理システム１０により処理される仮想視点画像は静止画であってもよい。

情報処理システム１０は、カメラ群１１０、コントローラ１２０、サーバ１３０、画像処理装置２００、表示装置３００、及び記憶部４００を有する。カメラ群１１０は、撮影領域を複数の方向から撮影する複数のカメラを有する。すなわち、撮影領域はカメラ群１１０に含まれる複数のカメラの少なくとも何れかにより撮影される空間である。撮影領域は例えば水泳競技が行われる競技場であるが、これに限らず、その他の競技が行われる競技場、もしくはコンサートや演劇が行われる舞台などであってもよい。カメラ群１１０を構成する複数のカメラは、このような撮影領域を取り囲むようにそれぞれ異なる位置に設置され、同期して撮影を行う。なお、図１ではカメラ群１１０が３台のカメラを有するものとしているが、カメラ群１１０が有するカメラの数はこれに限定されない。

本実施形態では撮影領域が水泳の競技場であり、カメラはプールの外とプールの水の中との両方に設置されるものとして説明する。例えば、５０ｍプールの中心に向けて、プールの外に３０台のカメラが設置され、水中にも３０台のカメラが設置される。なお、カメラはプールの外とプールの中の何れか一方にのみ設置されていてもよいが、水中の映像は水中のカメラの方が精細に撮像できるため、プールの中と外の両方にカメラが設置されている方が高画質の仮想視点画像を生成できる。また、カメラ群１１０は撮影領域の全周にわたって設置されていなくてもよく、設置場所の制限等によっては撮影領域の一部の方向にのみ設置されていてもよい。また、カメラ群１１０には、望遠カメラと広角カメラなど機能が異なるカメラが含まれていてもよい。

コントローラ１２０は、ジョイスティックやボタン、タッチパネルなどの操作部を有し、ユーザから仮想視点を指定するための操作を受け付ける。そしてコントローラ１２０は、ユーザ操作により指定された仮想視点を示す視点情報をサーバ１３０と記憶部４００へ出力する。視点情報には、仮想視点に対応する仮想カメラの位置及び向きの情報が含まれるが、これに限らず、仮想カメラの画角や焦点距離、焦点位置などの情報が含まれていてもよい。サーバ１３０は、カメラ群１１０から取得した複数の撮影画像と、コントローラ１２０から取得した視点情報とに基づいて、その視点情報が示す仮想視点に応じた仮想視点画像を生成する。そしてサーバ１３０は、生成した仮想視点画像を記憶部４００へ出力する。

仮想視点画像の生成方法としては、例えば以下の方法がある。サーバ１３０は、撮影領域内の背景（例えばプールや観客席）の３次元形状を表す背景モデルを予め取得する。またサーバ１３０は、カメラ群１１０から取得した複数の撮影画像に基づく背景差分情報を用いて、撮影領域内の前景となるオブジェクト（例えば選手）の３次元形状を表す前景モデルを生成する。そしてサーバ１３０は、生成した前景モデルと、取得した背景モデルに対し、コントローラ１２０から取得した視点情報に応じた撮影画像をマッピングし、レンダリングを行うことにより、仮想視点画像を生成する。ただし、仮想視点画像の生成方法はこれに限定されず、３次元モデルを用いずに撮影画像の射影変換により仮想視点画像を生成する方法など、種々の方法を用いることができる。

記憶部４００は、サーバ１３０から出力された仮想視点画像と、コントローラ１２０から出力された視点情報と、サブ空間情報とを、ハードディスクドライブやＳＳＤ、ＳＤカードなどの記録媒体に記憶する。サブ空間情報は３次元空間内の所定領域であるサブ空間、例えばプール内の水が満たされた領域を表す座標データを含む領域情報である。サブ空間情報は、例えば予め撮影領域を計測した結果に基づいて記憶部４００に入力されるが、これに限らず、コントローラ１２０を介したユーザ操作に基づいて入力されてもよいし、その他の方法で入力されてもよい。

画像処理装置２００は、仮想視点画像取得部２１０（以降、画像取得部２１０）、サブ空間情報取得部２２０（以降、情報取得部２２０）、仮想視点取得部２３０（以降、視点取得部２３０）、判定部２４０、及び情報付加部２５０を有する。画像取得部２１０、情報取得部２２０、及び視点取得部２３０はそれぞれ、仮想視点画像、サブ空間情報、及び視点情報を、ネットワークを介して画像処理装置２００と接続された記憶部４００から取得する。なお、画像処理装置２００はネットワークを介さずに記憶部４００と接続されてもよい。判定部２４０は、取得したサブ空間情報および視点情報に基づいて、指定された仮想視点の位置がサブ空間に包含されるかを判定し、その結果を情報付加部２５０に出力する。情報付加部２５０は、判定部２４０による判定の結果に基づいて、記憶部４００から取得した仮想視点画像に情報を付加し、表示装置３００へ出力する。画像処理装置２００から出力される画像も、サーバ１３０から出力される画像と同じく、カメラ群１１０により撮影領域を複数の方向から撮影することで得られる複数の画像に基づく仮想視点画像である。情報付加部２５０により付加される情報の詳細については後述する。

表示装置３００は、画像処理装置２００から出力された仮想視点画像をユーザに対して表示する。なお、図１では一例として単一の表示装置３００が画像処理装置２００と接続されるものとしているが、複数の表示装置３００が画像処理装置２００に接続されていてもよい。また、画像処理装置２００からのデータの出力先は表示装置３００に限らず、データを記憶する記憶装置などであってもよい。

なお、情報処理システム１０の構成は図１に示したものに限定されない。例えば、図１では記憶部４００がサーバ１３０や画像処理装置２００とは別の装置として構成される例を示しているが、これに限らず、記憶部４００がサーバ１３０の内部に構成されていてもよいし、記憶部４００が画像処理装置２００の内部に構成されてもよい。また、仮想視点画像と視点情報とサブ空間情報とが複数の装置に分かれて記憶されていてもよい。また、サーバ１３０と画像処理装置２００とが一体となって構成されていてもよい。

［画像処理装置の構成］
図２を用いて、画像処理装置２００のハードウェア構成について説明する。画像処理装置２００は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、補助記憶装置２０４、及び通信部２０５を有する。ＣＰＵ２０１は、画像処理装置２００の全体を制御する中央演算ユニットであり、画像処理装置２００の処理シーケンスを統括的に制御することで、図１に示す画像処理装置２００の各機能部を実現する。なお、画像処理装置２００がＣＰＵ２０１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ２０１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。

ＲＯＭ２０２及び補助記憶装置２０４は、後述するフローチャートに示す処理を実現するためのプログラムやデータを格納する。ＲＡＭ２０３は、データの一時保存やプログラムのロードに使用される。通信部２０５は、ネットワーク２０６を介して記憶部４００や表示装置３００などの外部装置とのデータの送受信を行う。画像処理装置２００の各構成要素は、バス２０７を介して相互に接続される。

［画像処理装置の処理フロー］
次に画像処理装置２００の処理フローについて、図３のフローチャートを用いて説明する。図３に示される一連の処理は、画像処理装置２００のＣＰＵ２０１がＲＯＭ２０２または補助記憶装置２０４に記憶された制御プログラムをＲＡＭ２０３に展開し、実行することにより実施される。なお、図３に示す処理の一部または全部を、ＣＰＵ２０１とは異なる１又は複数の専用のハードウェアにより実現してもよい。後に説明する図９や図１１のフローチャートに示す処理についても同様である。図３に示す処理は、例えば、情報付加部２５０により情報が付加された仮想視点画像の生成の指示が画像処理装置２００に入力されたタイミングで開始される。ただし、図３に示す処理の開始タイミングは上記に限定されない。

Ｓ３０１において、画像取得部２１０は、記憶部４００から仮想視点画像を取得する。仮想視点画像は例えば２４ビットＰＮＧフォーマットの画像であるが、仮想視点画像の形式はこれに限定されない。図５は画像取得部２１０により取得される仮想視点画像の例を示し、図４は図５の仮想視点画像に対応する撮影領域及び仮想視点の状況を示す。図４に示す状況では、撮影領域である水泳の競技場に対応する３次元空間内に、水中の領域であるサブ空間２０、前景オブジェクト３、背景オブジェクト４、仮想視点３０及び仮想視点３１が存在する。前景オブジェクト３はサブ空間の内部と外部との境界（水面）をまたいで位置し、仮想視点３０はサブ空間２０の内部に位置し、背景オブジェクト４および仮想視点３１はサブ空間２０の外部に位置する。

図５（ａ）は、コントローラ１２０により仮想視点３０が指定された場合にサーバ１３０により生成され、記憶部４００を介して画像取得部２１０により取得される仮想視点画像を示す。一方、図５（ｂ）は、コントローラ１２０により仮想視点３１が指定された場合にサーバ１３０により生成され、記憶部４００を介して画像取得部２１０により取得される仮想視点画像を示す。すなわち、図５（ａ）に示す仮想視点画像は前景オブジェクト３を水中から見上げたアングルに対応し、図５（ｂ）に示す仮想視点画像は前景オブジェクト３を水面より上から見下ろしたアングルに対応する。

カメラ群１１０による撮影時において前景オブジェクト３の上半身は水上にあり、下半身は水中にある。そのため、撮影画像を用いて色付けがされた前景オブジェクト３の３次元モデルは上半身と下半身とで色が異なる。図５（ａ）の仮想視点画像においては、前景オブジェクト３が水の無い空間に浮いているように描画される。これは、撮影画像に基づく背景差分情報からは前景オブジェクト３のみが抽出されるため、サーバ１３０により生成される仮想視点画像においては水が表現されないからである。図５（ｂ）の仮想視点画像においては、背景としてプールの底面が前景オブジェクト３の後方に描画されるが、前景オブジェクト３は水の無い空間に浮いているように描画される。

Ｓ３０２において、情報取得部２２０は、サブ空間２０に関する領域情報であるサブ空間情報を取得し、カメラ群１１０の少なくとも何れかにより撮影される撮影領域内におけるサブ空間２０の内側の領域と外側の領域との境界を特定する。サブ空間情報は具体的には、図６に示すように、サブ空間２０を表現する多面体の頂点に対応するＸＹＺ座標と、多面体の面に含まれる頂点のインデックスの情報を含む、ＯＢＪファイルフォーマットのデータである。ただし、サブ空間情報の形式や内容はこれに限定されない。例えば、サブ空間情報はその他の３Ｄファイルフォーマットのデータであってもよいし、Ｘ−Ｙ面およびＸ−Ｚ面内の長方形の座標とサイズを記述したテキストファイルなどであってもよい。また、サブ空間情報は、サブ空間の内部と外部との境界を表す情報、例えば水面の高さを示す情報であってもよい。

Ｓ３０３において、視点取得部２３０は、記憶部４００から仮想視点を示す視点情報を取得する。視点情報は例えば、仮想カメラの位置ｔ１＝（ｘ１、ｙ１、ｚ１）、姿勢ｒ１＝（ｒｘ１、ｒｙ１、ｒｚ１）、及び焦点距離ｆ１＝（ｆｘ１、ｆｙ１）を３次元座標で表す情報であり、テキストファイルに記述される。ただし視点情報の形式や内容はこれに限定されない。

Ｓ３０４において、判定部２４０は、視点情報により示される仮想視点の位置がサブ空間情報により特定されるサブ空間２０に含まれる否かを判定する。判定方法としては、例えば、サブ空間２０を構成する多面体の各面における内側に向かう正規化した法線ｎｉ＝（ｎｘ、ｎｙ，ｎｚ）と仮想視点の位置ｔ１を比較し、ｔ１が各面の法線の指す方向にあるかどうか、つまり内側かどうかを平面の方程式から算出する。平面の方程式よりｎｉ・ｔ１＋ｔｉ＝ｎｘ・ｘ１＋ｎｙ・ｙ１＋ｎｚ・ｚ１＋ｔｉが０より大きければ仮想視点は内側に位置し、そうでなければ仮想視点は面上または外側に位置すると判定される。ここでｔｉは各平面の媒介変数であり、各平面上の点（例えばいずれかの頂点）と平面の方程式からあらかじめ算出される。サブ空間２０を構成する多面体のすべての面について上記の判定の結果が内側であれば、仮想視点はサブ空間２０に包含されると判断され、Ｓ３０５に進む。一方、仮想視点がサブ空間２０に包含されないと判断された場合は、Ｓ３０６に進む。なお、仮想視点の位置がサブ空間に含まれるか否かの判定方法は上記に限定されず、そのほかの方法が用いられてもよい。

Ｓ３０５又はＳ３０６において、画像処理装置２００は、表示装置３００へ出力すべき仮想視点画像における水面の表示を、Ｓ３０４における判定の結果に基づいて制御する。具体的には、Ｓ３０５に進んだ場合、情報付加部２５０は、Ｓ３０１において取得された仮想視点画像に、水中からみた水面を表す画像を付加する。一方、Ｓ３０６に進んだ場合、情報付加部２５０は、Ｓ３０１において取得された仮想視点画像に、水上からみた水面を表す画像を付加する。水面を表す画像を付加する処理の詳細については後述する。図７（ａ）は、図５（ａ）に示す仮想視点画像に対してＳ３０５において水面が付加された画像を示し、図７（ｂ）は、図５（ｂ）に示す仮想視点画像に対してＳ３０６において水面が付加された画像を示す。Ｓ３０７において、情報付加部２５０は、Ｓ３０５又はＳ３０６において水面を付加することで生成された仮想視点画像を表示装置３００へ出力する。

このようにして画像処理装置２００から出力される画像は、コントローラ１２０を介した操作に応じた視点情報により示される仮想視点の位置に応じた仮想視点画像である。ただし、サーバ１３０から出力される仮想視点画像とは異なり、画像処理装置２００から出力される仮想視点画像には水面を表す画像が付加されている。そのため、画像処理装置２００から出力される仮想視点画像を見るユーザは、仮想視点と水面との位置関係から、仮想視点がどのような位置に設定されているのかを容易に把握することができる。さらに、水面を表す画像が付加された仮想視点画像は、サーバ１３０から出力される水面のない仮想視点画像よりも現実空間における見え方に近くなり、仮想視点画像を見るユーザに与える違和感を抑制することができる。

また、現実空間においては光の反射や屈折の影響により、水中からみた水面と水上からみた水面とは見た目が異なる。そこで、画像処理装置２００は、水中に対応するサブ空間の境界と仮想視点との位置関係に基づいて、その境界である水面の表示態様を決定し、決定結果に応じた水面を表す画像を付加することで、現実空間の見え方により近い仮想視点画像を生成する。例えば、画像処理装置２００は、視点情報により示される仮想視点の位置が水中にある場合と水面より上にある場合とで、水面の色及び模様の少なくとも何れかが異なる仮想視点画像を生成する。これにより、仮想視点画像を現実空間における見え方に近づけ、仮想視点画像がユーザに与える違和感をより抑制することができる。ただし、画像処理装置２００の処理を簡単にするために、仮想視点の位置が水中であっても水面より上であっても同様の水面を表す画像が仮想視点画像に付加されてもよい。

［水面を表す画像の付加処理］
以下では、図３のＳ３０５又はＳ３０６において画像処理装置２００が水面を付加した仮想視点画像を生成する処理の詳細について説明する。まず画像処理装置２００は、記憶部４００から取得した仮想視点画像に対応する仮想視点デプス情報を取得する。仮想視点デプス情報は、サーバ１３０において仮想視点画像を生成する際に用いられるデプスバッファの値を示す情報であり、仮想視点画像の各画素について、その画素に対応する被写体と仮想視点との距離を示す。ここでは、画像処理装置２００が記憶部４００を介してサーバ１３０から仮想視点デプス情報を取得するものとするが、これに限らず、サーバ１３０から仮想視点デプス情報を直接取得してもよい。

また画像処理装置２００は、記憶部４００から取得したサブ空間情報に基づいて、水中の領域を表すサブ空間２０の３次元モデルを生成し、記憶部４００から取得した視点情報に基づいてサブ空間２０の３次元モデルをレンダリングする。ここで、サブ空間２０の３次元モデルにマッピングされるテクスチャは、仮想視点とサブ空間２０の境界との位置関係に基づいて決まる。例えば、仮想視点が水面より上にある場合（Ｓ３０６の場合）はサブ空間２０の３次元モデルの色をシアン（Ｒ，Ｇ，Ｂ）＝（０、２５５、２５５）とし、仮想視点が水中にある場合（Ｓ３０５の場合）はシアンとは濃さや明るさが異なる色とする。また、仮想視点が水面より上にある場合はサブ空間２０の３次元モデルに光の反射や波を表す模様やアニメーションをつけ、仮想視点が水中にある場合は気泡を表す模様やアニメ―ションをつけてもよい。

そして画像処理装置２００は、記憶部４００から取得した水面が付加される前の仮想視点画像の画素のうち、仮想視点デプス情報が示す距離が仮想視点と水面との距離よりも遠い画素にのみ、サブ空間２０のレンダリング結果を重畳させる。例えば、図５（ａ）のようなプールの水中から上を見上げるような視点に応じてサブ空間２０の３次元モデルをレンダリングした結果は、画像全体が水を表す色や模様で覆われたものとなる。そして、図５（ａ）の画像において、仮想視点デプス情報が示す距離が仮想視点と水面との距離よりも近い画素は、前景オブジェクト３の下半身が映っている画素である。そこで、画像処理装置２００は、図５（ａ）の画像のうち前景オブジェクト３の下半身が映っている部分以外の画素に、サブ空間２０の３次元モデルのレンダリング結果を重畳することで、水を表す色や模様でそれらの画素を塗りつぶす。なお、重畳されるサブ空間２０の３次元モデルのレンダリング結果は半透明になるようにしてもよい。この場合、画像処理装置２００は、仮想視点とサブ空間２０の境界との位置関係に基づいて透明度が異なるように制御してもよい。以上の処理によって、図７に示すような、水面を表す画像が付加された仮想視点画像を生成することができる。

なお、水面が表示される仮想視点画像を生成する方法は上記に限定されない。例えば、水中の領域を表すサブ空間２０の３次元モデルを生成して使用する代わりに、水面を表す平面状のオブジェクトの３次元モデルを生成して使用してもよい。また、仮想視点デプス情報を用いる代わりに、画像処理装置２００が前景オブジェクト３の３次元モデルを取得し、前景オブジェクト３とサブ空間２０の位置関係を算出して、サブ空間２０のレンダリング結果を重畳させる画素を決定してもよい。また、仮想視点画像に付加される水面の画像は、撮影領域内の水面全体を表す画像に限らない。例えば、図８（ａ）及び図８（ｂ）に示すように、水面と前景オブジェクト３とが交わる箇所から半径３ｍの範囲など、撮影領域内の所定の被写体の位置に基づいて決まる水面の一部分を表す画像のみが仮想視点画像に含まれてもよい。

また、サーバ１３０により水面のない仮想視点画像を生成してから画像処理装置２００において水面を付加するのではなく、水面が表示される仮想視点画像を直接生成してもよい。具体的には、画像処理装置２００はまず、前景オブジェクトの３次元モデルと背景の３次元モデルを取得する。また画像処理装置２００は、記憶部４００から取得したサブ空間情報に基づいて、水面を表す平面状のオブジェクトの３次元モデルを生成する。そして画像処理装置２００は、記憶部４００から取得した視点情報に基づいてこれらの３次元モデルをレンダリングすることで、水面が表示される仮想視点画像を生成してもよい。この場合にも、画像処理装置２００は、仮想視点の位置が水面より上にあるか水中にあるかに応じて、水面を表すオブジェクトのモデルにマッピングするテクスチャを異ならせることで、水面の表示を制御してもよい。

例えば、画像処理装置２００は、水面を表す画像の色を決定するためにカメラ群１１０に含まれる複数のカメラのうち何れのカメラにより得られる画像を用いるかを、仮想視点と水面との位置関係に基づいて決定する。そして、仮想視点が水面より上にある場合は水の外に設置されたカメラによる撮影画像に基づいて水面を表す３次元モデルに色付けをし、仮想視点が水中にある場合は水中に設置されたカメラによる撮影画像に基づいて色付けをしてもよい。これにより、現実空間において水面を上から見た場合と水中からみた場合での光の反射や屈折による見え方の差を、仮想視点画像においても再現することができる。

なお、上記の説明では仮想視点が水面より上にある場合も水中にある場合も仮想視点画像内に水面が表示されるものとしたが、これに限らない。画像処理装置２００は、仮想視点とサブ空間２０の境界との位置関係に基づいて、仮想視点画像における水面を表す画像の表示有無を決定してもよい。例えば、仮想視点が水面より上に位置する場合にのみ水面が表示されてもよい。また、仮想視点と水面との位置関係に応じて異なる表示態様で表示される画像は、水面を表す画像に限定されない。例えば画像処理装置２００は、カメラ群１１０の少なくとも何れかにより得られる画像に基づいて３次元モデルが生成されるオブジェクト（例えば前景オブジェクト３）の色を、仮想視点の位置が水面より上にあるか水中にあるかに応じて異ならせてもよい。また、画像処理装置２００により生成される仮想視点画像に含まれるサブ空間２０の境界を表す画像は、水中の領域と水の外の領域との境界である水面を表す画像に限定されない。例えば、カメラ群１１０による撮影対象が地上における競技の場合に、地中に対応するサブ空間が設定され、画像処理装置２００は仮想視点が地面より上にある場合と地中にある場合とで仮想視点画像における地面の表示態様を異ならせてもよい。

［仮想視点の位置が含まれる領域の表示］
上記では、画像処理装置２００の情報付加部２５０により、仮想視点画像に水面を表すオブジェクトが付加される場合を中心に説明した。ただし、情報付加部２５０により付加される情報はこれに限定されない。以下では、視点情報により示される仮想視点とサブ空間の境界との位置関係を示す情報を表示する付加画像が仮想視点画像に付加される場合について説明する。図９はこの場合の画像処理装置２００による処理フローを示しており、図３に示したものと同様の処理については同じ符号を付している。図３の処理フローとの差異は、Ｓ９０５とＳ９０６の処理であるため、その差異となる処理を中心に説明する。

Ｓ３０４において仮想視点がサブ空間２０に包含されると判定された場合、Ｓ９０５において情報付加部２５０は、仮想視点の位置がサブ空間２０の内部の領域に含まれることを示す画像を仮想視点画像に付加する。一方、Ｓ３０４において仮想視点がサブ空間２０に包含されないと判定された場合、Ｓ９０６において情報付加部２５０は、仮想視点の位置がサブ空間２０の外部の領域に含まれることを示す画像を仮想視点画像に付加する。

図１０（ａ）は、図５（ａ）に示す仮想視点画像に対してＳ９０５において付加画像が付加された画像を示し、図１０（ｂ）は、図５（ｂ）に示す仮想視点画像に対してＳ９０６において付加画像が付加された画像を示す。図１０（ａ）に示す仮想視点画像における付加された画像は、仮想視点が水中であることを表示する付加画像１０１０である。一方、図１０（ｂ）に示す仮想視点画像における付加された画像は、仮想視点が水上であることを表示する付加画像１０１１である。付加画像１０１０及び付加画像１０１１は、例えば画像の左上から右に５０画素、下に５０画素の位置など、仮想視点画像内の所定の位置に合成される。なお、付加画像の表示内容はアニメーションでもよい。また、付加画像が合成される位置は上記に限らず、ユーザにより指定された位置でもよいし、仮想視点の位置や時刻によって異なる位置であってもよい。

このようにして仮想視点の位置が含まれる領域を示す画像が付加された仮想視点画像が表示装置３００に表示されることで、仮想視点画像を見るユーザは、仮想視点が水中に設定されているのか水上に設定されているのかを容易に把握することができる。また、付加画像を表示させるこの方法は、上述した水面を表すオブジェクトを表示させる方法と比較して、画像処理装置２００の処理を簡単にすることができ、画像処理装置２００に仮想視点デプス情報を入力する必要もなくなる。なお、画像処理装置２００は、図１０に示す付加画像と、図７や図８に示す水面を表すオブジェクトとの、両方を仮想視点画像に付加してもよい。これにより、ユーザにとっての利便性を更に高めることができる。

上記の説明では仮想視点が水面より上にある場合も水中にある場合も仮想視点画像内に付加画像が表示されるものとしたが、これに限らない。画像処理装置２００は、仮想視点が水面より上にある場合と水中にある場合の何れか一方の場合にのみ、仮想視点画像内に付加画像を表示させてもよい。また、水中と水上の２種類の表示に限らず、例えば水面を中心とする所定範囲内の高さに仮想視点が設定されている場合には、「水面」を表す付加画像が仮想視点画像内に表示されてもよい。また、サブ空間はプール内の水中の領域に限定されず、カメラ群１１０による撮影対象が地上の競技の場合において地中の領域がサブ空間に設定されてもよい。また例えば、撮影対象がサッカーの場合において、仮想視点がオフサイドラインより奥に位置するか否か、又は仮想視点がハーフラインに対してどちら側に位置するかに応じて、仮想視点画像に付加される情報を異ならせてもよい。

［仮想視点の位置を示す情報の表示］
以下では、情報付加部２５０により情報が付加される別の例として、視点情報により示される仮想視点の位置とサブ空間の境界の位置とを示す情報が仮想視点画像に付加される場合について説明する。図１１はこの場合の画像処理装置２００による処理フローを示しており、図３に示したものと同様の処理については同じ符号を付している。図３の処理フローとの差異は、Ｓ１１０５とＳ１１０６の処理であるため、その差異となる処理を中心に説明する。

Ｓ１１０５又はＳ１１０６において情報付加部２５０は、仮想視点の位置を示すインジケータを仮想視点画像に付加する。ここで、Ｓ１１０５の場合、すなわち仮想視点が水中に位置する場合には、赤色のインジケータが付加され、Ｓ１１０６の場合、すなわち仮想視点が水面より上に位置する場合には、緑色のインジケータが付加される。具体的には、画像処理装置２００は、記憶部４００から取得したサブ空間情報に基づいて、３次元空間における所定の軸方向（例えば鉛直方向（ｘ、ｙ、ｚ）＝（０，０，１））においてサブ空間２０が存在する範囲（例えば高さｄが０＜ｄ＜５の範囲）を特定する。また、画像処理装置２００は、記憶部４００から取得した視点情報に基づいて、上記の所定の軸方向における仮想視点の位置を特定する。そして画像処理装置２００は、上記のサブ空間２０が存在する範囲と仮想視点の位置との関係を示すインジケータを生成し、仮想視点がサブ空間２０に含まれるか否かの判定結果に応じた色のインジケータを仮想視点画像に重畳する。

図１２（ａ）は、図５（ａ）に示す仮想視点画像に対してＳ１１０５においてインジケータが付加された画像を示し、図１２（ｂ）は、図５（ｂ）に示す仮想視点画像に対してＳ１１０６においてインジケータが付加された画像を示す。インジケータ上の矢印１１１０の位置が所定の軸方向における仮想視点の位置を示し、インジケータ上のライン１０２０がサブ空間に対応する範囲の上限（例えば水面の位置）を示し、ライン１０３０がサブ空間に対応する範囲の下限（例えば水底の位置）を示す。仮想視点の位置がサブ空間の範囲内にある場合（仮想視点が水中に位置する場合）は、図１２（ａ）に示すように、矢印１１１０がライン１０２０とライン１０３０の間に表示され、かつインジケータが赤く表示される。一方、仮想視点の位置がサブ空間の範囲の上限を超えている場合（仮想視点が水面より上に位置する場合）は、図１２（ｂ）に示すように、矢印１１１０がライン１０２０よりも上方に表示され、かつインジケータが緑色で表示される。

このように、仮想視点画像内に仮想視点の位置と水面の位置とを示すインジケータが表示されることにより、仮想視点画像を見るユーザは、仮想視点が水面に対してどのような位置に設定されているかを容易に把握することができる。この方法によれば、上述した「水中」や「水上」の表示を行う場合と比較して、水面と仮想視点の距離などをユーザが把握しやすく、利便性をより向上させることができる。また、仮想視点の位置が水中なのか水面より上なのかに応じて、仮想視点の位置を示すインジケータの表示色を異ならせることにより、水中の視点からの画像なのか水上の視点からの画像なのかがユーザにとってより把握しやすくなる。ただし、画像処理装置２００は、仮想視点の位置によらず同じ色のインジケータを表示させてもよいし、水面の位置は示さず仮想視点の位置のみを示すインジケータを表示させてもよい。また、画像処理装置２００は、図１２に示すインジケータを、図７や図８に示す水面を表すオブジェクトや、図１０に示す付加画像と共に、仮想視点画像に付加してもよい。これにより、ユーザにとっての利便性を更に高めることができる。

上記の説明では仮想視点が水面より上にある場合も水中にある場合も仮想視点画像内にインジケータが表示されるものとしたが、これに限らない。画像処理装置２００は、仮想視点が水面より上にある場合と水中にある場合の何れか一方の場合にのみ、仮想視点画像内にインジケータを表示させてもよい。また、仮想視点画像に付加されるインジケータが示す内容は、仮想視点と水面の高さ方向の位置に限らず、水平方向の位置であってもよい。また、仮想視点画像に付加される仮想視点の位置を示す情報の形態は、上記のインジケータに限定されない。例えば、図４のように３次元空間全体における仮想視点の位置を簡略的に示した図を、仮想視点画像上にワイプ表示されるように合成してもよい。

以上説明したように、本実施形態における画像処理装置２００は、カメラ群１１０により撮影領域を複数の方向から撮影することで得られる複数の画像に基づく仮想視点画像を生成する。具体的には、画像処理装置２００は、仮想視点の位置を示す視点情報を取得する。そして画像処理装置２００は、撮影領域に含まれる所定領域（例えばサブ空間２０）の内部と外部との境界と仮想視点との位置関係に応じた画像と、上記の境界を表す画像との、少なくとも何れかを含む仮想視点画像を生成する。上記のような構成によれば、生成された仮想視点画像がどのような位置の仮想視点に応じた画像なのかをユーザにとって把握しやすくできる。

なお、上述の実施形態では、撮影領域の内部に位置するサブ空間が１つである場合について説明したが、サブ空間の数はこれに限定されない。例えば撮影領域がサッカー競技場である場合に、フィールドの半面をそれぞれ別のサブ空間とするなど、撮影領域内にサブ空間を複数設定してもよい。また、複数のサブ空間の一部が重なっていてもよい。このような場合、例えば画像処理装置２００は、仮想視点の位置が何れのサブ空間に含まれるかを表す画像を仮想視点画像に付加してもよいし、複数のサブ空間それぞれの境界を表すオブジェクトを含む仮想視点画像を生成してもよい。

また、上述の実施形態では、仮想視点の位置がサブ空間に含まれるか否かに基づいて画像の表示を制御する場合について説明したが、これに限らず、仮想視点の方向がサブ空間を向いているか否かに基づいて画像の表示が制御されてもよい。また、仮想視点の位置がサブ空間に含まれるか否かに基づいて、仮想視点画像と共に再生される音響信号を制御してもよい。例えば、仮想視点が水中に位置する場合は仮想視点が水面より上に位置する場合と比べて音量を小さくしてもよいし、仮想視点が水中に位置する場合にのみ音がぼやけるように音響信号を加工してもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ等）によっても実現可能である。また、そのプログラムをコンピュータにより読み取り可能な記録媒体に記録して提供してもよい。

１０ 情報処理システム
１１０ カメラ群
２００ 画像処理装置

Claims (14)

1. 複数の撮影装置により撮影領域を複数の方向から撮影することで得られる複数の画像に基づく仮想視点画像を生成する画像処理装置であって、
   仮想視点の位置を示す視点情報を取得する視点取得手段と、
   前記視点取得手段により取得される前記視点情報が示す前記仮想視点の位置に応じた前記仮想視点画像を生成する生成手段であって、前記撮影領域に含まれる所定領域の内部と外部との境界と前記仮想視点との位置関係に応じた画像と、前記境界を表す画像との、少なくとも何れかを含む前記仮想視点画像を生成する生成手段とを有することを特徴とする画像処理装置。
2. 前記仮想視点画像における前記境界を表す画像の表示有無及び表示態様の少なくとも何れかを、前記視点情報が示す前記仮想視点と前記境界との位置関係に基づいて決定する決定手段を有し、
   前記生成手段は、前記決定手段による決定結果に基づいて前記仮想視点画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記仮想視点画像における前記境界を表す画像の色及び透明度の少なくとも何れかを、前記仮想視点と前記境界との位置関係に基づいて決定することを特徴とする請求項２に記載の画像処理装置。
4. 前記決定手段は、前記境界を表す画像の色を決定するために前記複数の撮影装置のうち何れの撮影装置により得られる画像を用いるかを、前記仮想視点と前記境界との位置関係に基づいて決定することを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記所定領域の頂点に対応する座標の情報を含む領域情報を取得する情報取得手段を有し、
   前記生成手段は、前記情報取得手段により取得される前記領域情報と前記視点取得手段により取得される前記視点情報とに基づいて前記仮想視点画像を生成することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記生成手段は、前記仮想視点と前記境界との位置関係に応じた画像として、前記仮想視点の高さと前記境界の高さとを示す画像を含む前記仮想視点画像を生成することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 前記生成手段は、前記仮想視点と前記境界との位置関係に応じた画像として、前記仮想視点の位置が前記所定領域に含まれるか否かを表す画像を含む前記仮想視点画像を生成することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
8. 前記所定領域は水中の領域であり、
   前記所定領域の前記境界は水面であることを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 前記生成手段は、前記複数の撮影装置の撮影領域に含まれる水面の一部分であって、前記撮影領域に含まれる所定の被写体の位置に基づいて決まる一部分を表す画像を含む前記仮想視点画像を生成することを特徴とする請求項８に記載の画像処理装置。
10. 前記生成手段は、前記視点情報によって示される前記仮想視点の位置が水中にある場合と、前記視点情報によって示される前記仮想視点の位置が水面より上にある場合とで、当該水面を表す画像の色及び透明度の少なくとも何れかが異なる前記仮想視点画像を生成することを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。
11. 複数の撮影装置により撮影領域を複数の方向から撮影することで得られる複数の画像に基づく仮想視点画像を生成する画像処理方法であって、
    仮想視点の位置を示す視点情報を取得する視点取得工程と、
    前記視点取得工程において取得される前記視点情報が示す前記仮想視点の位置に応じた前記仮想視点画像を生成する生成工程であって、前記撮影領域に含まれる所定領域の内部と外部との境界と前記仮想視点との位置関係に応じた画像及び前記境界を表す画像の少なくとも何れかを含む前記仮想視点画像を生成する生成工程とを有することを特徴とする画像処理方法。
12. 前記仮想視点画像における前記境界を表す画像の表示有無及び表示態様の少なくとも何れかを、前記視点情報が示す前記仮想視点と前記境界との位置関係に基づいて決定する決定工程を有し、
    前記生成工程は、前記決定工程における決定結果に基づいて前記仮想視点画像を生成することを特徴とする請求項１１に記載の画像処理方法。
13. 前記所定領域は水中の領域であり、
    前記境界は水面であることを特徴とする請求項１１又は１２に記載の画像処理方法。
14. コンピュータを、請求項１乃至１０の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images