JP2019152980A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】仮想視点映像における映像酔いを高精度に評価すること。【解決手段】画像処理装置は、仮想視点映像を取得する第一の取得手段と、前記仮想視点映像の生成に用いられた仮想カメラパラメータを取得する第二の取得手段と、前記仮想視点映像におけるオブジェクトまたは背景の動きと、前記仮想カメラパラメータとに基づいて前記仮想視点映像の映像酔いを評価する評価手段と、を備える。【選択図】図３

Description

本発明は、仮想視点映像の映像酔いを評価する技術に関する。

複数台のカメラで撮像した映像を用いて、３次元空間内に仮想的に配置した、実際には存在しないカメラ（以下、仮想カメラという）からの映像を再現する技術として、仮想視点映像技術がある。仮想視点映像の生成に際して、ユーザは、仮想カメラ経路（時間軸に沿った仮想カメラの位置移動）の設定を任意に行うことが可能である。仮想カメラ経路の設定によっては映像酔いが生じることがある。

特許文献１には、映像の画面動揺に対する不快度を推定することで映像酔いを評価する技術が知られている。特許文献１に記載の技術は、画面を複数に分割した領域ごとに動きベクトルを検出することで画面動揺を算出し、画面動揺に対する不快度を推定するものである。

特開２０１３−２１４５５号公報

しかしながら、特許文献１に記載の技術は、映像中のオブジェクト（前景）と背景を分離しないため、画面動揺が、オブジェクトの動きによるものか、背景の動きによるものかを判定することができない。この結果、映像酔い評価の精度が低下してしまう。

本発明は、仮想視点映像における映像酔いを高精度に評価することを目的とする。

本発明の一態様に係る画像処理装置は、仮想視点映像を取得する第一の取得手段と、前記仮想視点映像の生成に用いられた仮想カメラパラメータを取得する第二の取得手段と、前記仮想視点映像におけるオブジェクトまたは背景の動きと、前記仮想カメラパラメータとに基づいて前記仮想視点映像の映像酔いを評価する評価手段と、を備えることを特徴とする。

本発明によれば、仮想視点映像における映像酔いを高精度に評価することができる。

画像処理装置の構成の一例を示す図である。 カメラ配置の一例を示す図である。 画像処理装置の論理構成の一例を示す図である。 画像処理装置の処理の流れを示すフローチャートである。 画像処理装置の処理の流れを示すフローチャートである。 画像処理装置の処理の流れを示すフローチャートである。 オブジェクトと仮想カメラ経路との関係を示す図である。 映像酔いを評価する評価条件を示す図である。 画像処理装置のＧＵＩ画面の一例を示す図である。 画像処理装置の論理構成の一例を示す図である。 画像処理装置の処理の流れを示すフローチャートである。 仮想カメラ座標を示すＵＩ画面の一例を示す図である。 仮想カメラ座標の変更領域に制限を設定する例を示す図である。 補正可能範囲を示すＵＩ画面の一例を示す図である。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。

＜＜実施形態１＞＞
＜画像処理装置の構成＞
図１は、本実施形態における画像処理装置の構成の一例を示す図である。図１に示す画像処理装置１００は、ＣＰＵ１０１、メインメモリ１０２、記憶部１０３、表示部１０４、および外部Ｉ／Ｆ１０５を備え、各部がバス１０８を介して接続されている。ＣＰＵ１０１は、画像処理装置１００を統括的に制御する演算処理装置であり、記憶部１０３等に格納された各種プログラムを実行して様々な処理を行う。メインメモリ１０２は、各種処理で用いられるデータおよびパラメータなどを一時的に格納するほか、ＣＰＵ１０１に作業領域を提供する。記憶部１０３は、各種プログラムおよびＧＵＩ（グラフィカル・ユーザ・インターフェイス）表示に必要な各種データを記憶する大容量記憶装置である。記憶部１０３としては、例えばハードディスクまたはシリコンディスク等の不揮発性メモリが用いられる。表示部１０４は、液晶パネルなどで構成され、仮想視点映像生成時の仮想カメラの経路設定のためのＧＵＩ表示などを行う。

外部Ｉ／Ｆ部１０５は、キーボードやマウス、電子ペン、タッチパネル等の入力部１０６、および、カメラなどの撮像部１０７をバス１０８に接続し、映像データおよび制御信号データの送受信を行う。

なお、図１に示す画像処理装置１００は一例に過ぎず、これに限られるものではない。例えば、表示部１０４および撮像部１０７が、画像処理装置１００に備えられていなくてもよい。例えば画像処理装置１００は、表示制御部（不図示）を備え、表示部１０４に相当する表示装置（不図示）の表示制御を行う形態でもよい。また、画像処理装置１００は、撮像部１０７に相当する撮像装置（不図示）との間で映像データおよび制御信号データの送受信を行う形態でもよい。

図２は、本実施形態における撮像部１０７の一例を示す図である。図２は、サッカー等を行う競技場に８台の撮像部１０７を配置した例を示している。カメラ視点Ａ〜Ｈが、円の中心に位置する注視点に対して向いている。撮像部１０７は、隣接する撮像部のカメラ視点が成す角が均等になるように配置されている。

図３は、画像処理装置１００の論理構成の一例を示す図である。画像処理装置１００は、仮想視点映像生成部３００と、仮想カメラパラメータ格納部３１０と、仮想視点映像格納部３２０と、映像酔い評価部３３０と、警告映像設定部３４０とを備える。

仮想視点映像生成部３００は、撮像部１０７で撮像された複数視点に対応する映像（フレーム画像）を用いて、ユーザから指定された仮想カメラ経路に従った仮想視点映像データを生成する。生成された仮想視点映像データは、仮想視点映像格納部３２０に格納される。また、仮想視点映像データの生成に用いられた仮想カメラ経路を示す仮想カメラパラメータが、仮想カメラパラメータ格納部３１０に格納される。以下では、説明の簡略化のため、生成されたり格納されたりする仮想視点映像データのことを、単に仮想視点映像という。

映像酔い評価部３３０は、仮想視点映像格納部３２０に格納されている仮想視点映像と、仮想カメラパラメータ格納部３１０に格納されている、その仮想視点映像の生成に用いられた仮想カメラ経路とを用いて仮想視点映像の映像酔いを評価する。映像酔い評価部３３０は、仮想カメラ経路と仮想視点映像とに基づいて、映像シーンを特定する。そして、特定した映像シーンに対応する評価条件を用いて映像酔いを評価する。

似たような映像であっても映像酔いが生じやすい映像と映像酔いが生じにくい映像とがある。仮想視点映像の場合、オブジェクトと仮想カメラの動きとの関係に応じて、酔いやすい映像になるかが変わることがある。例えば、オブジェクトを固定して仮想カメラが周回するシーンと、オブジェクトを追従してカメラが並行移動するシーンとでは、仮想視点映像として生成される映像は似ている。しかしながら、前者は映像酔いが生じやすいのに対して後者は映像酔いが生じにくい。映像酔い評価部３３０は、映像シーンを特定し、その特定した映像シーンに対応した評価条件を用いて映像酔い評価を行うことで、高精度に映像酔い評価を行うことができる。即ち、映像酔いが生じやすいシーンでは、酔いやすい映像であるとの評価をされやすい評価条件を用いた処理を行う。映像酔いが生じにくいシーンでは、酔いにくい映像であるとの評価をされやすい評価条件を用いた処理を行う。詳細は後述する。

警告映像設定部３４０は、映像酔い評価部３３０における映像酔い評価の結果に応じて、表示部１０４に表示する警告映像を設定する。設定された警告映像は、表示部１０４において表示される。

仮想視点映像生成部３００は、入力映像格納部３０１、前景背景分離処理部３０２、マスクデータ格納部３０３、オブジェクト形状推定部３０４、および仮想視点映像生成処理部３０５を有する。映像酔い評価部３３０は、前景背景解析部３３１、映像解析部３３２、映像評価部３３３、観察条件格納部３３４、および映像評価条件格納部３３５を有する。

図３の論理構成のうち、各種のデータや映像を格納する格納部は、例えばメインメモリ１０２または記憶部１０３に実装される。その他の論理構成は、ＣＰＵ１０１が、記憶部１０３などに格納されているプログラムを実行することによって図３の各部として機能する。なお、図３の例において、例えば画像処理装置１００を、映像酔い評価部３３０を実現する装置として構成し、他の構成については別個の装置で実現してもよい。即ち、図３に示す論理構成は、処理が分散するように複数の画像処理装置によって実現される構成でもよい。

＜仮想視点映像生成処理＞
図４は、仮想視点映像生成部３００において仮想視点映像が生成される処理のフローチャートの一例を示す図である。図４に示す処理は、ＣＰＵ１０１が、所定のプログラムを記憶部１０３から読み込んでメインメモリ１０２に展開し、これをＣＰＵ１０１が実行することで実現される。あるいはまた、図４におけるステップの一部または全部の機能をＡＳＩＣや電子回路等のハードウェアで実現してもよい。なお、各処理の説明における記号「Ｓ」は、当該フローチャートにおけるステップであることを意味する（本明細書において同様である）。

Ｓ４０１において、図２の複数視点（カメラ視点Ａ〜Ｈ）に対応する撮像部１０７は、各視点で同期をとりながら撮像を行い、各カメラ視点の映像データ（各フレーム画像データ）を入力映像格納部３０１に格納する。

Ｓ４０２において前景背景分離処理部３０２は、各カメラ視点の各フレーム画像において、オブジェクトとなる画素領域を前景として抽出し、それ以外の画素領域を背景として抽出することで、前景と背景とを分離する処理を実行する。さらに、前景として抽出された画素領域によって構成されるマスクデータを生成する。マスクデータにおいては、背景がマスクされ、前景が抽出されている画像となる。

前景と背景とを分離する技術には、フレーム画像間を比較し、各画素の変位量に基づいて前景であるオブジェクトを抽出する処理などの既存技術があるが、本ステップでは画像から前景と背景とを分離する処理であればいずれの方法を採用してもよい。

Ｓ４０３において前景背景分離処理部３０２は、Ｓ４０２で生成したマスクデータをマスクデータ格納部３０３に格納する。

Ｓ４０４においてオブジェクト形状推定部３０４は、各カメラ視点のフレーム画像、各撮像部１０７の位置姿勢等を示すパラメータ、およびマスクデータを用いて、オブジェクトの３次元形状の推定処理を実行する。推定手法としては、オブジェクトの輪郭情報を用いるＶｉｓｕａｌ−ｈｕｌｌや、三角測量を用いたＭｕｌｔｉ−ｖｉｅｗ ｓｔｅｒｅｏなどの公知の方法を適用すればよい。また、オブジェクト形状推定部３０４においては、仮想視点映像を生成するための仮想空間内におけるオブジェクトの座標位置も推定される。

Ｓ４０５において仮想視点映像生成部３００は、仮想視点映像における仮想カメラパラメータを設定し、仮想カメラパラメータ格納部３１０に格納する。仮想カメラパラメータには、仮想視点映像を生成するための仮想空間内における、時間軸に沿った映像フレーム（フレーム画像）毎のカメラ座標値、カメラの向き、および焦点距離などが含まれる。即ち、仮想カメラパラメータによって、仮想カメラの速度、加速、減速、方向、位置、向きの変化のうち少なくとも一つが特定可能である。仮想カメラパラメータは、例えば入力部１０６を通じてユーザによって入力される。

Ｓ４０６において仮想視点映像生成処理部３０５は、設定された仮想カメラパラメータに従って仮想視点映像を生成する。仮想視点映像は、推定されたオブジェクト形状およびその位置に対して、設定された仮想カメラから見た映像を、コンピュータグラフィックスの技術を用いることで生成される。

Ｓ４０７において仮想視点映像生成処理部３０５は、生成した仮想視点映像を仮想視点映像格納部３２０に格納する。このようにして、仮想視点映像生成部３００による仮想視点映像の生成が行われる。なお、仮想視点映像の生成処理は、映像酔い評価を行う画像処理装置１００とは別個の装置で実施されてもよい。以上が、仮想視点映像が生成されるまでの大まかな流れである。

＜映像酔い評価の全体処理＞
図５は、映像酔い評価部３３０で行われる映像酔い評価処理のフローチャートの一例を示す図である。図５は、映像酔い評価部３３０が、取得した仮想視点映像の映像酔いを評価し、映像酔いが発生する可能性の高いフレーム範囲を警告表示するまでの全体の流れを示すフローチャートである。

Ｓ５０１において映像酔い評価部３３０は、仮想視点映像格納部３２０に格納されている仮想視点映像を取得する。例えば、仮想視点映像格納部３２０には、複数の仮想視点映像が格納可能である。映像酔い評価部３３０は、仮想視点映像格納部３２０に格納されている仮想視点映像の中から、評価対象映像として格納されている仮想視点映像を取得する。

Ｓ５０２において映像酔い評価部３３０は、仮想カメラパラメータ格納部３１０に格納されている、評価対象の仮想視点映像に用いられた仮想カメラパラメータを取得する。

Ｓ５０３において映像酔い評価部３３０は、Ｓ５０１で取得した仮想視点映像において評価対象とするフレーム画像（以下、評価対象フレームともいう）を設定する。例えばユーザからの指定に基づいて評価対象フレームを設定してもよいし、予め設定された時間単位で評価対象フレームを設定してもよい。所定の場面ごとに評価対象フレームが設定されてもよい。

Ｓ５０４において映像酔い評価部３３０は、Ｓ５０３で設定された評価対象フレームにおける映像酔い評価条件を参照する。そして映像酔い評価条件に基づいて映像酔いが発生する可能性を判定する。詳細については後述する。

Ｓ５０５において警告映像設定部３４０は、Ｓ５０２で設定された評価対象フレームが、映像酔いを発生する可能性の高いフレーム画像であると映像酔い評価部３３０によって判定された場合、評価対象フレームに対して警告フラグを設定する。

Ｓ５０６において警告映像設定部３４０は、映像酔いが発生する可能性が高いと判定されたフレーム画像内において、映像酔いを発生する要因となる画像領域を抽出し、警告表示領域として設定する。

Ｓ５０７において映像酔い評価部３３０は、評価対象の仮想視点映像の全フレーム画像に対して評価が実施されたかを判定する。評価が未実施のフレーム画像があれば、Ｓ５０９において評価対象フレームを更新し、Ｓ５０４以降の処理を繰り返す。

全フレーム画像の評価が完了した場合、Ｓ５０８において映像酔い評価部３３０は、表示部１０４に仮想視点映像の映像酔い評価結果を表示し、本フローチャートの処理を終了する。なお、S５０８において、映像酔いが発生すると評価されたフレームに警告を表示することにしたが、すべてのフレームに関して映像酔い評価結果を数値または他の情報として表示してもよい。また、映像酔いが発生しないと評価されたフレームに対してその評価結果を示す情報を表示するようにしてもよい。

なお、図５に示す処理は、画像処理装置１００内の仮想視点映像生成部３００で生成された仮想視点映像についての映像酔い評価を行う例を示しているが、これに限られない。他の装置で生成されている仮想視点映像を受信してその映像酔いを評価してもよいし、不図示の記憶媒体に記憶されている仮想視点映像を読み出してその映像酔いを評価してもよい。

＜映像酔い評価の詳細＞
図６は、図５のＳ５０４に示す映像酔い評価処理の詳細を示すフローチャートである。以下、図３の構成図と図６のフローチャートとを用いて映像酔い評価の詳細を説明する。

Ｓ６０１において前景背景解析部３３１は、評価対象フレーム（仮想視点映像）における前景および背景の画像領域の解析処理を行い、評価対象フレームを前景および背景に分離する。例えば、前景背景解析部３３１は、前後のフレーム画像の画素の差分に基づいて前景と背景とを分離してもよい。あるいは、マスクデータ格納部３０３に格納されている前景のマスクデータを用いて、仮想視点映像生成部３００で行われた処理と同等の処理で前景のマスクデータの仮想視点映像を生成し、そのマスクデータを用いて前景および背景の画像領域に分離してもよい。あるいは、仮想視点映像生成部３００で仮想視点映像を生成した際に、前景領域をマスクデータに変換して格納しておき、その格納されているマスクデータを用いて前景および背景の画像領域に分離してもよい。

前景背景解析部３３１は、このように分離した前景および背景の画像領域のフレーム間の変位量を検出する。例えば、一般的に知られている動きベクトルの検出処理によって前景および背景の各画像領域のフレーム間の変位量を検出する。この変位量は、映像サイズ（ピクセル）における動き量（ピクセル換算した動き量）である。また、前景背景解析部３３１は、分離した前景のフレーム画像中の位置情報も取得する。

なお、Ｓ６０１の処理は、映像酔い評価部３３０が評価対象の仮想視点映像を取得した時点で、全評価対象フレームに対して実行されてもよい。この場合、Ｓ６０１の処理は、解析され格納されているデータを取得する処理に変えてもよい。すなわち、評価対象フレームごとに、前景と背景とを分離する処理を、都度行わなくてもよく、評価対象の仮想視点映像に対してまとめて分離処理が行われてもよい。また、分離処理のみを先に実施し、Ｓ６０１は、単に前景および背景の画像領域のフレーム間の変位量を検出する処理としてもよい。

Ｓ６０２において映像解析部３３２は、仮想カメラパラメータの解析処理を行う。映像解析部３３２は、仮想視点映像の評価対象フレーム画像に用いられた仮想カメラパラメータを取得し、仮想カメラの座標変化量やカメラ向きの変化量を取得する。

Ｓ６０３において映像解析部３３２は、観察条件格納部３３４に格納されている観察条件を取得する。観察条件は、仮想視点映像がユーザによって観察される際の条件である。観察条件は、ユーザにより設定される。観察条件には、少なくとも表示条件と環境条件とが含まれる。表示条件は、例えば仮想視点映像の表示サイズである。環境条件は、例えば仮想視点映像を観察するユーザと表示される映像との距離に関する情報である。その他の観察条件として、表示デバイスの種類、輝度、ダイナミックレンジ、観察環境における周辺環境の条件（照明など）が含まれもよい。また、観察条件には、仮想視点映像を観察するユーザの年齢、性別、および、酔いやすい体質であるかといったユーザ特性に関するプロフィール情報などが含まれていてもよい。映像酔いは、実際にユーザが仮想視点映像を観察する観察環境に依存する場合がある。一例として、同一の映像を、劇場などの大画面で観察した場合と、タブレット端末や家庭用のテレビなどで観察した場合とにおいては、前者では酔いが発生しやすいのに対し、後者では酔いが発生しにくい場合がある。このため、映像酔いの評価においては、観察条件を考慮した評価が行われることになる。

Ｓ６０４において映像解析部３３２は、評価対象フレームの映像シーンを解析する。映像解析部３３２は、評価対象フレームにおいて主オブジェクトとなる前景を決定する。そして、その主オブジェクトとなる前景と仮想カメラ経路との変化量を取得する。

Ｓ６０５において映像解析部３３２は、Ｓ６０３で取得した観察条件を用いて、視聴者が観察する前景および背景の見た目の映像の動き量を決定する。例えば、Ｓ６０１の解析処理で得られた前景および背景の変位量と、ユーザが仮想視点映像を観察する際の映像表示サイズと、ユーザと表示映像との距離と、を参照して、見た目の映像の動き量を決定する。動き量としては、動きベクトルとして、視聴者からみた動き方向ベクトルと角速度とが決定される。なお、背景領域を分割し、分割した各領域における見た目の動き量を決定してもよい。角速度以外の速度値を用いてもよい。

Ｓ６０６において映像評価部３３３は、映像評価条件格納部３３５に格納されている映像酔い評価条件から、Ｓ６０４における解析結果およびＳ６０５で取得した見た目の動き量に合致する映像酔い評価条件を取得する。このように、本実施形態では、映像シーンに応じて映像酔いを評価するための評価条件（評価パラメータ）を異ならせる。以下、具体例を用いて説明する。

図７は、映像シーンを説明する図である。図７（ａ）〜（ｄ）を用いて、仮想視点映像における前景である主オブジェクトと仮想カメラ経路との関係を説明する。図７（ａ）は、仮想視点映像の任意のフレーム画像７００における動きベクトルを模式的に示す図である。図７（ａ）の映像シーンでは、オブジェクト７０１が、仮想視点映像の画面上中央に静止して見えている。一方、背景は、右から左に移動して見えている。

図７（ｂ）〜（ｄ）は、仮想視点映像における仮想空間内のオブジェクト７０１の位置変化と、仮想カメラ７０３の位置及び仮想カメラの向きの変化との関係を示す図である。

図７（ｂ）は、移動するオブジェクト７０１に対して、仮想カメラ７０３が、向きを変えずに任意の一定範囲内の距離を保って追従する仮想カメラ経路である。

図７（ｃ）は、移動するオブジェクト７０１に対して、仮想カメラ７０３の位置は大きく変化せず、仮想カメラの向きを変化させてオブジェクトの動きに追従する仮想カメラ経路である。

図７（ｄ）は、ほとんど位置の変化のないオブジェクト７０１の周囲を、仮想カメラ７０３が任意の一定範囲内の距離を保って回転する仮想カメラ経路である。

図７（ｂ）〜（ｄ）のオブジェクト７０１と仮想カメラ経路との関係は、それぞれ異なる。しかしながら、各カメラ経路により生成される仮想視点映像は、いずれも図７（ａ）に示されるオブジェクトおよび背景の動きと同様の動きになる。換言すれば、フレーム画像７００の見た目の動きがほぼ同等となる映像シーンであっても、オブジェクトおよび背景の動きと、仮想カメラ経路とが、それぞれ異なる場合がある。そして、映像の見た目の動きから、映像を観察する視聴者が受ける映像酔いの強度（映像酔いやすさ）も異なる。具体的には、図７（ａ）に示される仮想視点映像における映像の見た目の動きから、映像を観察する視聴者が受ける映像酔いの強度は、図７（ｄ）がもっとも強く酔いやすい。そして、図７（ｃ）、図７（ｂ）の順に映像酔いの強度が下がり、酔いにくい映像となる。

このように、オブジェクトや背景の動き量が同じであっても、オブジェクトと仮想カメラ経路との関係によって、その動き量に対する映像酔い強度が異なる。そこで、映像酔いを発生するかを評価する際の評価条件を、映像シーンに応じて変更することが好ましい。即ち、オブジェクトおよび背景の動きと、仮想カメラ経路とに応じて映像酔いを評価する際の評価条件を変更することが好ましい。オブジェクトおよび背景の動きとは、オブジェクトおよび背景の速度、加速、減速、方向、位置の変化のうち少なくとも一つを含むものとすることができる。

本実施形態では、評価対象フレームの映像シーンに基づいて評価条件を決定する。即ち、評価対象フレームのオブジェクトおよび背景の動きと、仮想カメラ経路とに応じて映像酔いを評価する評価条件を決定する。そして、決定された評価条件に基づいて映像酔いの評価が行われる。

図８は、映像酔いを評価する評価条件を説明する図である。図８では、主オブジェクトとなる前景の変位量と仮想カメラ軌跡の動きの種類とに応じて映像酔いの強度を異ならせた評価条件が規定されている。評価条件８００は、映像評価条件格納部３３５に予め格納されている。

映像解析部３３２は、映像シーンを解析して、評価対象フレーム内に存在する複数の前景の中から、主オブジェクトとなる前景を、条件８０３を参照して決定する。本実施形態では、仮想カメラ視点を中心として所定の角度範囲内にある前景を主オブジェクトとして決定するための条件が設定されている。

条件８０４〜条件８０６には、仮想カメラ位置の変化と、仮想カメラの向きと、観察条件下における背景の見た目の動き方向との組み合わせによる評価条件が設定されている。なお、背景の動き量方向は、観察条件によっては（例えば横向きで見るなど）方向が変わることがあり得るので、Ｓ６０３で取得された観察条件を考慮している。条件８０１には、仮想視点映像内における主オブジェクトの見た目の動き量に対する条件が格納されている。以上の条件の組み合わせによって、映像シーンに応じた評価条件が決定される。

ここで、図８の評価条件は、図７に示す仮想視点映像の映像シーンに対応する評価条件を含んでいる。即ち、ユーザから見る仮想視点映像において、画面内の主オブジェクトの位置の変化が小さく、かつ、背景の変化が大きい（背景が動く）シーンの評価条件を含んでいる。条件８０１では、主オブジェクトの位置の変化が所定の閾値より小さい条件を含んでいる。条件８０２では、背景の変化が所定の閾値より大きい条件を含んでいる。この場合において、映像酔いの評価は、条件８０２で示す背景の見た目の動き量によって行われる。即ち、図８に示される評価条件を用いる場合、条件８０１、条件８０４〜条件８０６によって映像シーンが決定される。そして、その映像シーンに対応する評価条件が、条件８０２を参照して決定される。

なお、ここでは前景の動き量と、仮想カメラ位置の変化および仮想カメラ向きの組み合わせと、に基づいて、映像シーンを決定し、その映像シーンに対応する背景の動き量を評価条件として用いる例を示したが、これに限られない。背景の動き量と、仮想カメラ位置の変化および仮想カメラ向きの組み合わせと、に基づいて、映像シーンを決定し、その映像シーンに対応する前景の動き量を評価条件として用いてもよい。あるいは、前景および背景の動き量と、仮想カメラ位置の変化および仮想カメラ向きの組み合わせと、に基づいて、映像シーンを決定し、その映像シーンに対応する前景および背景の動き量を評価条件として用いてもよい。

また、映像酔いの強度が異なるシーンを決定する際の条件や映像酔い評価する評価条件は、次のものでもよい。すなわち、前景または背景の動きの速度、加速、減速、方向、位置の変化のいずれかに対する条件と、仮想カメラの速度、加速、減速、方向、位置、向きの変化のいずれかに対する条件であっても良い。

また、観察条件として、ユーザが仮想視点映像を観察する際の映像表示サイズと、ユーザと表示映像との距離とを参照する例を説明したが、その他の観察条件を考慮してもよい。その他の観察条件として、表示デバイスの種類、輝度、ダイナミックレンジ、観察環境における周辺環境の条件（照明など）が含まれてよい。また、仮想視点映像を観察するユーザの年齢や性別、または酔いやすい体質であるかといったユーザ特性に関するプロフィール情報などが含まれてよい。これらの観察条件の各要素に対応して、異なる映像酔いの評価条件が映像評価条件格納部３３５に格納されてよく、観察条件に応じて適切な評価条件が選択されてもよい。

図６に戻り説明を続ける。Ｓ６０７において映像評価部３３３は、Ｓ６０６で取得した映像酔い評価条件に基づいて、映像酔いが発生する映像であるかを評価する。図７の映像シーンの例では、図７（ｂ）〜図７（ｄ）のいずれの映像シーンであるかが決定され、その映像シーンに対応する評価条件がＳ６０６で取得されている。評価条件としては、具体的には、見た目の映像の背景の動き量の閾値が取得されている。Ｓ６０７で映像評価部３３３は、見た目の映像の背景の動き量が、Ｓ６０６で取得した閾値を超えている場合、その評価対象フレームは、映像酔いが発生するフレーム画像であると判定する。判定結果には、評価条件を超えた（即ち、映像酔いが発生すると判定された）フレーム画像のフレーム番号が含まれる。また、評価条件を超えた（即ち、映像酔いが発生すると判定された）前景の画像領域または背景の画像領域が含まれる。

＜映像酔い警告表示＞
図９は、仮想視点映像の映像酔い評価結果を表示するＵＩ画面９００の一例を示す。ＵＩ画面９００は、表示部１０４に表示される。

映像酔い評価結果のＵＩ画面９００においては、タイムライン９０５がフレーム範囲を示している。ポインタ９０８によって、フレーム画像表示領域９０１に表示するフレーム画面が指定される。また、設定された観察条件下における映像酔い警告対象のフレームがフレーム警告表示９０６、９０７のように、タイムライン９０５上に識別可能な態様で示されている。映像酔い評価値表示領域９０４は、フレーム毎に算出された映像酔い評価要素を示している。映像酔い評価値表示領域９０４には、たとえば、映像の見た目の速度値または動きベクトル変化量などが表示される。映像酔い評価結果の酔いやすさを数値化しておき、映像酔い評価値表示領域９０４には、その数値化された結果が表示されてもよい。

警告画像表示領域９０２は、フレーム画像表示領域９０１に表示されるフレーム画面と連動する。警告画像表示領域９０２には、フレーム画像表示領域９０１に表示されたフレーム画面内において、設定された観察条件下における映像酔いを発生する要因となる画像領域９０３を強調表示する。映像再生操作ボタン９０９から９１３は、フレーム画像表示領域９０１に表示する仮想視点映像の動画再生開始および停止等の再生操作をするためのボタンである。

なお、説明のため、設定される観察条件は１つである場合を例に挙げて説明したが、複数の観察条件が設定され、それぞれに対して、映像酔い評価が行われてもよい。そして、ＵＩ画面９００上には、各観察条件に対応した警告画像表示領域９０２、映像酔い評価値表示領域９０４、およびタイムライン９０５が、条件ごとに並列に表示されてもよい。あるいは、観察条件を切り替えるボタンが用意されてもよい。そして、ユーザによるボタン操作に応じて、ＵＩ画面９００が切り替わってもよい。

本実施形態における映像酔い評価では、映像酔い評価条件を超えるかどうかによって映像酔いする映像であるかを判定する例を示している。しかしながら、映像シーンの種類と、前景もしくは背景の動き量とによって生じる映像酔いの強度を、段階的な数値に換算した評価値を出力するような構成であっても良い。例えば、動き量が閾値を超えると映像酔いが生じるので、動き量が閾値を超えるまでの段階を数値化した評価値を出力してもよい。ここでは、評価値が高いほど、映像酔いが生じやすいものとする。動き量が閾値を超えた後において、さらに動き量が増えると、逆に酔いが生じにくい傾向がある。このため、動き量が閾値を超えたあとは、動き量が増えるに従い、評価値が低くなってもよい。また、動きの種類（縦方向、横方向、回転など）に応じて映像酔いが発生する傾向が変わるので、その傾向に応じた評価値を出力してもよい。

以上説明したように、本実施形態においては、仮想視点映像の評価対象フレームにおける前景の画像領域および背景の画像領域の動き量を取得する処理が行われる。また、評価対象フレームにおける仮想カメラ経路が取得される。そして、これらの情報に対応する評価条件が決定される。例えば、映像酔い評価部３３０は、評価対象フレームの映像シーンを決定し、その映像シーンに適合する評価条件を決定する。そして、その決定された評価条件を用いて、評価対象フレームの映像酔いを評価する。このような処理を行うことで、映像シーンに適合した高精度な映像酔い評価を行うことができる。仮想視点映像の場合、前景と背景との動きが同様な場面であっても、仮想カメラ経路が全く異なる映像シーンが生じ得る。本実施形態によれば、前景または背景の動きと、仮想カメラ経路とを用いることで、例えば映像シーンが図７（ｂ）〜図７（ｄ）のいずれのシーンであるかを決定することができる。そして、その映像シーンに適した評価条件を用いて映像酔いを高精度に評価することができる。

＜＜実施形態２＞＞
実施形態１では、入力された仮想視点映像の映像酔いを評価し、仮想視点映像中の映像酔い量が所定の閾値を超えるフレーム範囲や画像領域について警告を表示する画像処理装置について説明した。本実施形態においては、映像酔いを低減させるように、ユーザが、仮想カメラパラメータを容易に補正することが可能な形態を説明する。

＜画像処理装置の構成＞
図１０は、実施形態２における画像処理装置１００の論理構成の一例を示す図である。実施形態１で説明した構成に、さらに仮想カメラパラメータ補正部１０００が備えられている。その他の構成は、実施形態１と同様である。仮想カメラパラメータ補正部１０００は、映像酔い評価部３３０での評価結果を用いて、映像酔いが生じない範囲の仮想カメラパラメータを決定する。例えば仮想カメラパラメータ補正部１０００は、仮想カメラパラメータを段階的に変更する。映像酔い評価部３３０は、変更された仮想カメラパラメータを用いて生成される仮想視点映像の映像酔いを評価する。仮想カメラパラメータ補正部１０００は、その評価結果を用いて、映像酔いが生じない範囲の仮想カメラパラメータを決定する。ユーザは、決定した範囲内において仮想カメラパラメータを設定することができる。仮想カメラパラメータ補正部１０００は、設定された仮想カメラパラメータに置き換えることで、仮想カメラパラメータを補正する。そして、補正された仮想カメラパラメータを用いた仮想視点映像が生成される。以下、仮想カメラパラメータ補正部１０００の構成を説明する。

仮想カメラパラメータ補正部１０００は、補正範囲決定部１００１と、補正範囲格納部１００２と、補正パラメータ設定部１００３とを有する。補正範囲決定部１００１は、映像酔いが発生すると判定された仮想視点映像に用いられた仮想カメラパラメータから、映像酔いを発生しない仮想カメラパラメータの補正可能範囲を決定する。決定した補正可能範囲は、補正範囲格納部１００２に格納される。仮想カメラパラメータの補正可能範囲は、表示部１０４によって、ユーザに提示される。補正パラメータ設定部１００３は、補正可能範囲内においてユーザが指定した仮想カメラパラメータの補正値を設定する。即ち、補正パラメータ設定部１００３は、その補正値（補正された仮想カメラパラメータ）を仮想カメラパラメータ格納部３１０に格納する。仮想視点映像生成部３００は、補正された仮想カメラパラメータを用いて映像酔いが低減された仮想視点映像を生成する。本実施形態では仮想カメラパラメータの補正として、仮想カメラ座標を補正する処理を例に挙げて説明する。

図１１は、画像処理装置１００において、仮想視点映像の映像酔い評価を実行した後に、映像酔いを発生すると判定されたフレーム範囲における仮想カメラパラメータを補正する一連の流れを示すフローチャートである。

Ｓ１１０１では、仮想カメラパラメータ補正部１０００は、仮想視点映像において用いられた仮想カメラパラメータを取得する。仮想カメラパラメータには、仮想視点映像を生成するための仮想空間内における、時間軸に沿った映像フレーム（フレーム画像）毎のカメラ座標値、カメラの向き、および焦点距離などが含まれる。

図１２（ａ）、（ｂ）は、取得した仮想カメラパラメータに含まれる仮想カメラの座標（以下、仮想カメラ座標という）を示すＵＩの一例である。本実施形態では、仮想視点映像生成において３次元の仮想空間が使用される。ＵＩ画面１２００には、仮想空間における平面座標がＸＹ平面として表示されている。ＵＩ画面１２０１には、仮想空間における高さをＺ軸とし、仮想空間におけるＹＺ平面が表示されている。仮想視点映像における仮想カメラ経路は、始点１２０４および終点１２０５と、それらの途中の仮想カメラの座標の変化を示す軌跡１２０６とによって示されている。

Ｓ１１０２において仮想カメラパラメータ補正部１０００は、仮想視点映像データの映像酔い評価結果から、映像酔いが発生すると評価されたフレーム範囲を取得する。

Ｓ１１０３において補正範囲決定部１００１は、映像酔いが発生すると評価されたフレーム範囲における未処理の第一のフレーム画像の仮想カメラ座標を、任意の座標データの刻みで変更する。なお、本実施形態では仮想カメラ座標の変更領域にはあらかじめ制限が設けられており、座標データの刻みは制限内の値に設定されているものとする。本実施形態では、以降でも説明するように、仮想カメラ座標を、Ｓ１１０１で取得した第一座標から、別の座標である第二座標に変更し、その変更後の第二座標を用いた仮想視点映像の映像酔いが評価される。そして、映像酔いが発生しない場合に、その第二座標が補正範囲として決定される。その後、第二座標とは異なる第三座標に仮想カメラ座標を変更し、同様の処理を繰り返すことで、第一のフレーム画像の補正範囲が決定されることになる。このような処理が、フレーム範囲におけるすべてのフレーム画像に対して行われる。

図１３は、仮想カメラ座標の変更領域に制限を設定する例を説明する図である。図１３（ａ）は、仮想視点映像の仮想空間におけるＸＹ平面座標１３００を示す。ＸＹ平面座標１３００には、入力された仮想カメラ経路１３０６上の仮想カメラ座標１３０４が示されている。図１３（ｂ）は、この仮想カメラ座標１３０４に対応する仮想視点映像のフレーム画像１３０１である。フレーム画像１３０１における仮想カメラ視点領域１３０２は、ＸＹ平面座標１３００上の仮想カメラ視点領域１３０２と同じ領域を表している。仮想カメラ視点領域１３０２は、注視点を含む所定範囲の領域である。この仮想カメラ座標１３０４を、別の座標に変更することで仮想カメラパラメータを補正することを想定する。この場合、仮想カメラ視点領域１３０２から変更先である仮想カメラ視点領域１３０３への移動量に所定の制限を設定する。即ち、変更先である仮想カメラ視点領域１３０３を、所定の制限内の領域に設定する。これにより、仮想カメラ視点によるフレーム画像１３０１を大きく変化させない範囲で、仮想カメラ座標の変更に制限を設定することができる。

Ｓ１１０４において補正範囲決定部１００１は、補正した仮想カメラ座標を用いた仮想視点映像を生成する。補正範囲決定部１００１は、仮想視点映像生成部３００で行われている処理と同様の処理で仮想視点映像を生成することができる。あるいは、補正範囲決定部１００１は、仮想視点映像生成部３００に仮想視点映像を生成させてもよい。

Ｓ１１０５において補正範囲決定部１００１は、変更した仮想カメラ座標を用いて生成された仮想視点映像に対する映像酔い評価を実行する。補正範囲決定部１００１は、映像酔い評価部３３０で行われている処理と同様の処理で映像酔い評価を行うことができる。あるいは、補正範囲決定部１００１は、映像酔い評価部３３０に映像酔いの評価を行わせてもよい。

Ｓ１１０６において補正範囲決定部１００１は、Ｓ１１０５における映像酔い評価結果が所定の閾値を超えたかどうかを判定する。評価結果が所定の閾値を超えていた場合はＳ１１０３の処理に戻り、仮想カメラ座標を任意の刻みでさらに変更し、Ｓ１１０３からＳ１１０５の処理を繰り返す。

評価結果が所定の閾値を超えなかった場合は、Ｓ１１０７において補正範囲決定部１００１は、Ｓ１１０４で変更した仮想カメラ座標を、映像酔いを発生しない仮想カメラ座標として、補正範囲格納部１００２に格納する。

Ｓ１１０８において補正範囲決定部１００１は、Ｓ１１０３で変更された仮想カメラ座標が所定の制限内にあるかを判定し、制限内であればＳ１１０３以降の処理を繰り返す。制限外であれば、Ｓ１１０９において補正範囲決定部１００１は、映像酔いが発生すると評価されたフレーム範囲における全フレームに対してＳ１１０３〜Ｓ１１０８の処理を実行したかを判定する。

全フレームの処理が未完了であった場合は、補正範囲決定部１００１は、Ｓ１１１３において、対象フレームを更新し、Ｓ１１０３以降の処理を繰り返す。全フレームの処理を完了した場合は、Ｓ１１１０において仮想カメラパラメータ補正部１０００は、補正範囲格納部１００２に格納されている仮想カメラ座標の補正可能範囲をユーザに表示する。

Ｓ１１１１において補正パラメータ設定部１００３は、補正可能範囲内において、映像酔いが発生すると評価されたフレーム範囲における仮想カメラパラメータを、ユーザからの指定に基づいて設定する。なお、映像酔いが発生すると評価されたフレーム範囲における仮想カメラパラメータをユーザの指定により決定したが、これを省略してもよい。即ち、画像処理装置１００は、映像酔いが発生すると評価されたフレーム範囲における仮想カメラパラメータをユーザの指定を受け付けることなく自動で映像酔いが発生しないと評価される仮想カメラパラメータに変更してもよい。これにより、仮想カメラパラメータが補正される。Ｓ１１１２において補正パラメータ設定部１００３は、補正後の仮想カメラパラメータを仮想カメラパラメータ格納部３１０に格納する。以上で、本フローチャートの処理を終了する。

図１４は、補正可能範囲を表示するＵＩ画面の例を示す図である。図１４（ａ）に示すＵＩ画面１４００は、図１２（ａ）に示した仮想カメラ座標の補正可能範囲を表示するＵＩ画面である。ＵＩ画面１４００において、仮想空間におけるＹＺ平面上の仮想カメラ座標の軌跡１２０６に対する補正可能範囲１４０７が、点線によって囲まれる範囲としてＵＩ画面１４００上に示されている。

ユーザは、ＵＩ画面１４００上で、補正可能範囲１４０７内に収まるように軌跡１２０６を変更することで、仮想カメラ座標を補正することが可能である。補正された仮想カメラ座標は、仮想カメラパラメータ格納部３１０に格納される。

なお、本実施形態では仮想カメラパラメータの補正において、仮想カメラ位置を補正する処理について説明した。しかしながら、他の仮想カメラパラメータの補正においても同様の処理によって仮想カメラパラメータの補正処理が可能である。

図１４（ｂ）は、他の仮想カメラパラメータの補正の一例として、仮想視点映像の再生速度を補正するＵＩ画面１４０１を示している。図１４（ｂ）に示すＵＩ画面１４０１は、図１２（ｂ）に示した仮想カメラ座標を示している。ＵＩ画面１４０１では、再生速度の補正可能範囲を示している。ＵＩ画面１４０１においては、仮想視点映像における仮想カメラ座標の軌跡１２０６上においてフレーム毎のカメラ座標が白丸１４０８により示されている。仮想視点映像の再生速度は、入力映像データのフレーム速度を最大とする。ここで、再生時に仮想視点映像の所定のフレームに対して同一フレームを連続して割り当てることによって再生速度を遅くすることが可能である。したがって、仮想視点映像の任意の仮想カメラ座標において再生される同一フレームの数を設定することにより、仮想視点映像において仮想カメラ座標を変化させつつ再生速度を制御することが可能である。ＵＩ画面１４０１上では、フレーム毎のカメラ座標における同一フレームの数を白丸１４０９の大きさで示している。このように、ＵＩ画面１４０１では、映像酔い判定の結果に基づいて、白丸１４０９の大きさを変えることによって、映像酔いをしない再生速度の補正可能範囲（上限のフレーム速度）を示している。

なお、図１１のフローチャートにおけるＳ１１０６からＳ１１１０の処理においては、映像酔い評価結果に対する閾値を複数設定することが可能であり、複数の閾値に応じた補正可能範囲を求める構成であってもよい。そしてＵＩ画面１４００、１４０１では、複数の閾値に応じた補正可能範囲を示すことが可能である。

なお、仮想カメラパラメータ補正部１０００は、ユーザが仮想カメラパラメータを補正する際に、あらかじめユーザ特性に関するプロフィール情報を取得し、ユーザのプロフィールに適した補正処理をする構成であっても良い。例えば、ユーザが映像制作編集のプロフェッショナルである場合は、補正する仮想カメラパラメータの項目数や補正可能範囲を、軽度の映像酔いが発生する範囲を含めるような広範囲の設定にするなどして補正の自由度を高くするようにすることができる。即ち、補正可能範囲を制限する際に、その制限を、第一の制限よりも緩く（補正可能範囲を広げる）ようにしてもよい。

一方で、映像制作の技能や映像酔いに関する知識を持たない一般のユーザの場合には、補正する仮想カメラパラメータの項目数や補正可能範囲を、映像酔いを発生する確率が低い範囲に限定することで、映像酔いを低減した仮想視点映像を生成することができる。即ち、補正可能範囲を制限する際に、その制限を、第一の制限よりも厳しく（補正可能範囲を狭める）ようにしてもよい。

以上説明したように、本実施形態によれば、仮想視点映像における映像酔い評価結果を用いて、映像酔いが発生しない範囲を示す補正可能範囲をユーザに提示することができる。そして、ユーザは、提示された補正可能範囲において仮想カメラパラメータを補正することができる。このような処理によれば、ユーザは、映像酔いが発生しない範囲内で仮想カメラパラメータを補正することができるので、仮想視点映像の仮想カメラパラメータの設定におけるやり直し作業を抑制することができる。

＜＜その他の実施形態＞＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

映像酔い評価部３３０
前景背景解析部３３１
映像解析部３３２
映像評価部３３３
観察条件格納部３３４
映像評価条件格納部３３５

Claims (16)

1. 仮想視点映像を取得する第一の取得手段と、
   前記仮想視点映像の生成に用いられた仮想カメラパラメータを取得する第二の取得手段と、
   前記仮想視点映像におけるオブジェクトまたは背景の動きと、前記仮想カメラパラメータとに基づいて前記仮想視点映像の映像酔いを評価する評価手段と、
   を備えることを特徴とする画像処理装置。
2. 前記評価手段は、前記オブジェクトまたは背景の動きと前記仮想カメラパラメータとに対応する閾値を、前記仮想視点映像の前記オブジェクトまたは背景の動き量が超えている場合、前記仮想視点映像に映像酔いが発生すると評価することを特徴とする請求項１に記載の画像処理装置。
3. 前記動き量は、前記仮想視点映像をユーザが観察する環境における動き量であることを特徴とする請求項１または２に記載の画像処理装置。
4. 仮想視点映像のうち、映像酔いが発生すると前記評価手段によって評価されたフレームを識別可能な態様で表示手段に表示させる表示制御手段をさらに備えることを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
5. 前記表示制御手段は、前記映像酔いが発生すると前記評価手段によって評価されたフレームの画像内において、映像酔いが生じると評価された領域を識別可能な態様で前記表示手段に表示させることを特徴とする請求項４に記載の画像処理装置。
6. 前記表示制御手段は、前記映像酔いの評価結果を示す評価値を前記フレームのタイムラインに沿って識別可能に前記表示手段に表示させることを特徴とする請求項４または５に記載の画像処理装置。
7. 前記評価手段によって映像酔いが発生すると評価されたフレームに関して映像酔いを発生させない仮想カメラパラメータの範囲を決定し、前記範囲内で前記仮想カメラパラメータを補正する補正手段をさらに備えることを特徴とする請求項１から６のいずれか一項に記載の画像処理装置。
8. 前記補正手段は、前記フレームに用いられている仮想カメラパラメータを変更し、変更後の仮想カメラパラメータを用いて生成された仮想視点映像の映像酔いの評価結果を用いて前記範囲を決定することを特徴とする請求項７に記載の画像処理装置。
9. 前記補正手段は、前記フレームにおける再生速度を変更し、変更後の再生速度で再生される仮想視点映像の映像酔いの評価結果を用いて前記範囲を決定する請求項７に記載の画像処理装置。
10. 前記範囲を表示手段に表示させる第二の表示制御手段をさらに備えることを特徴とする請求項７から９のいずれか一項に記載の画像処理装置。
11. 前記表示手段に表示された前記範囲においてユーザによって指定された値を、当該フレームの仮想カメラパラメータに設定する設定手段と、
    前記設定手段で設定された仮想カメラパラメータを用いて前記仮想視点映像を生成する生成手段と、
    をさらに備えることを特徴とする請求項１０に記載の画像処理装置。
12. 前記補正手段は、ユーザのプロフィール情報を取得し、前記プロフィール情報を参照して補正する仮想カメラパラメータの項目を決定することを特徴とする請求項７から１１のいずれか一項に記載の画像処理装置。
13. 前記補正手段は、ユーザのプロフィール情報を取得し、前記プロフィール情報を参照して前記範囲の大きさを変更することを特徴とする請求項７から１１のいずれか一項に記載の画像処理装置。
14. 仮想視点映像の生成に用いられた仮想カメラの経路と、前記仮想カメラの経路を補正可能な範囲とを表示手段に表示させる表示制御手段を備え、
    前記補正可能な範囲は、前記仮想視点映像におけるオブジェクトまたは背景の動きと、前記仮想カメラの経路を示すパラメータとに基づいて映像酔いが発生しないと判定された範囲であることを特徴とする画像処理装置。
15. 仮想視点映像を取得するステップと、
    前記仮想視点映像の生成に用いられた仮想カメラパラメータを取得するステップと、
    前記仮想視点映像におけるオブジェクトまたは背景の動きと、前記仮想カメラパラメータとに基づいて前記仮想視点映像の映像酔いを評価するステップと、
    を有することを特徴とする画像処理方法。
16. コンピュータを、請求項１から１４のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images