JP7175715B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、仮想現実感や複合現実感のシステムに関する。

設計・製造分野における試作工程の期間短縮、費用削減を目的として、仮想現実感（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）や複合現実感（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）システムが利用されている。これらのシステムではＣＡＤ（コンピュータ支援設計）システムで作成した設計（形状・デザイン）データを用いて、現実物を試作することなく、組み立てやすさやメンテナンス性を評価できる。これらのシステムではヘッドマウントディスプレイ（ＨＭＤ：ＨＥＡＤ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）が用いられる。ＨＭＤは頭部に直接装着することで視野全体を覆い、体験者の位置・姿勢に応じた視点からみた仮想現実感を体験できる映像を表示する。体験者が動くことによってＨＭＤの位置や姿勢が変化した場合、ＨＭＤに表示する映像を生成する処理に時間がかかるため、ＨＭＤには体験者が動く前の映像が表示される。この際、体験者が想定する映像とは異なる映像が表示されることに起因して映像に対する違和感（体感的遅延による違和感）が生じる。そこで、特許文献１では、体感的遅延緩和を目的として、遅延時間の姿勢変化量に対応した量だけ、表示画像を画面内シフトする。

特開２００４－１０９９９４号公報

特許文献１では、動体が現実空間に存在する場合でも動体がどちらの方向に動くか推定せずに、位置姿勢が急激に動く前の画像をシフトさせるだけである。そのため、ＨＭＤの位置姿勢の変化に伴って、動体が表示されるべき位置が移動する方向とは逆方向に、動体が表示されることがある。つまり、特許文献１に開示される方法は現実空間中の動体の動きを考慮していないため、動体を含む映像の体感的違和感を緩和することができなかった。本発明は上記課題に鑑みてなされたものであり、シーン中に動体が存在する場合でもＨＭＤ装着者のＨＭＤの急激な位置姿勢の変化が起きた時に、動体が表示されるべき位置に表示されないという違和感を低減することを目的とする。

上記課題を解決するために、本発明にかかる情報処理装置は、現実空間を撮像した第１画像を取得する撮像手段と、前記第１画像を用いて生成された第２画像を表示する表示手段とを備える画像表示装置に、前記第２画像を供給する情報処理装置であって、前記第１画像において特定の物体の領域を当該領域の周辺から得られる画像特徴を用いて補間することにより、前記物体のない背景画像を生成する第１生成手段と、前記第１画像における前記物体の所定時間後の位置を推定した結果に基づいて、前記背景画像に対して前記推定結果に基づく位置に前記物体を描写した画像を合成して前記第２画像を生成する第２生成手段と、前記撮像から表示までの処理における少なくとも一部の処理時間に起因する遅延時間、および前記画像表示装置の位置または姿勢の変化量に基づいて、前記表示手段に供給する第２画像を表示する位置をシフトする表示位置制御手段と、を有する。

本発明によれば、本発明によれば、シーン中に動体が存在する場合でもＨＭＤ装着者のＨＭＤの急激な位置姿勢の変化が起きた時に、動体が表示されるべき位置に表示されないという違和感を低減することができる。

仮想現実空間で発生しうる遅延した画像の表示例を示す図。 情報処理装置が生成する画像の表示例を示す図。 物体予測を行う座標系の例を示す図。 情報処理システムの機能構成例を示すブロック図。 情報処理装置が実行する処理を示すフローチャート。 情報処理システムが実行する処理を示すシーケンス図。 情報処理システムの機能構成例を示すブロック図。 情報処理装置が実行する処理を示すフローチャート。 情報処理システムが実行する処理を示すシーケンス図。 情報処理システムの機能構成例を示すブロック図。 情報処理装置のハードウェア構成例を示すブロック図。

（第１の実施形態）
以下、添付図面を参照して、本発明を適用した好適な実施形態に従って詳細に説明する。

ヘッドマウントディスプレイ（以下、ＨＭＤ）は、両目用のディスプレイおよび両耳用のヘッドホンを内蔵する。ユーザはＨＭＤを頭部に装着することにより、ディスプレイに表示される静止画や動画などを鑑賞し、ヘッドホンから出力される音声や音楽などを聴くことができる。本実施形態では特に複合現実システム（ＭＲシステム）に用いられるＨＭＤの例を説明する。このとき、ＨＭＤはＨＭＤ内の撮像部から取り込んだ現実空間の画像と仮想空間の画像とを合成し、複合現実感を体験できる映像としてＨＭＤ内の表示部に出力する。また、ＨＭＤに内蔵または外付けされたジャイロセンサーや加速度センサーなどによりＨＭＤを装着したユーザの頭部の位置情報と頭部の回転角や傾きなどの姿勢情報を計測することができる。なお、姿勢情報とは、ジャイロセンサー等の姿勢センサーによってＨＭＤの相対的な動きを計測した結果である。以下で記載する画像または映像は、情報処理装置で生成された画像の例である。生成された画像の一部またはすべてが、ＨＭＤを装着したユーザに提示される。本実施形態では、動体１１０を観察し、予測した位置に配置することで体感的違和感を軽減する方法について説明する。本実施形態では、動体をステレオカメラによって観測し、撮像画像から抽出される２次元の動体領域を予測した位置に表示する画像を生成する。

まず現実空間において特定の物体（例えば動いている物体あるいは動く可能性がある物体）を含む映像の遅延が仮想現実空間で発生する例を図１で説明する。図１の（Ａ）は、所定の時刻ｔにおける現実空間上におけるＨＭＤと特定の物体（動体１１０）と静止物体１２０の位置関係を示している。ここで、特定の物体とは、動く可能性がある物体の代表としてＨＭＤ装着者の手であるとする。図１の（Ａ）の状態から次の時刻ｔ＋Δｔにおける位置関係を図１の（Ｂ）に示す。時間Δｔは、遅延時間であり、情報処理装置が撮像した時間からＨＭＤに表示する画像を生成する直前にＨＭＤの位置を計測した時間との差であるとする（例えば１００ｍｓｅｃ．）。

図１（Ｂ）では、Δｔ秒間にＨＭＤがΔΘだけ右に回転し、動体は静止物体１２０に対し、Δｈだけ右側に移動している状態を示している。ＨＭＤの位置姿勢の変化ΔΘはＨＭＤに内蔵された位置姿勢センサーで計測可能である。図１の（Ｃ）と（Ｄ）は、ＨＭＤの視点から見た時刻ｔおよび時刻ｔ＋Δｔにおける遅延のない理想的な画像を示している。図１（Ｅ）は、仮想空間描画処理で遅延が発生している画像１０２０を示している。画像１０２０は、時刻ｔにおける画像１０００を画像処理した結果であるが、ＨＭＤの動きとは無関係に画像処理にかかった時間だけ遅延して表示されることになる。ここで、遅延のない図１（Ｄ）における動体の理想的な表示位置に対し、図１（Ｅ）は、矢印１５０の長さだけ水平方向にずれた位置に動体が描写される。なお、物体１３０はＣＧモデルを現実空間に合わせて描写したＣＧである。この矢印の大きさに比例してＨＭＤ装着者は仮想空間の映像に体感的な違和感を生じさせうる。なお、図１（Ｄ）（Ｅ）（Ｆ）を貫く点線は、画像１０００が見えていた視界を示しており、ＨＭＤの動きに従ってΔＸだけずれて表示されることを示している。

一方で、図１（Ｆ）は時刻ｔで生成した映像を、ＨＭＤの回転量ΔΘを加味した大きさΔＸだけ画像の水平方向にシフトしたときの画像を示している。画像をシフトさせる処理の詳細は後述する。画像１０３０の黒で示した領域は、画像をシフトしたために撮像できていない領域が黒く表示される様子を示す。図１（Ｆ）の静止物体１２０の位置は、図１（Ｄ）の静止物体１２０の位置と比べてＨＭＤの画面上で同じ位置に表示される。しかし、動体に関しては、矢印１６０の長さ分、実時間（時刻ｔ＋Δｔ）における動体の位置（図１（Ｄ）における動体の理想的な表示位置）とのズレが生じるため、そのぶん動体が遅延していると感じる。これは、Δｔ秒間で動いた動体の移動距離Δｈを無視して、時刻ｔで得た撮像画像１０００をΔＸだけシフトしたために生じる。なお、図１（Ｅ）の画像をシフトする処理を含まない場合の動体の位置と、図１（Ｄ）の理想的な表示位置との差異である矢印１５０よりも、矢印１６０の方が長い。そのため、ＨＭＤ装着者により一層の違和感を与える可能性がある。ＨＭＤが右回転し、装着者の手が右に平行移動するケースは一例である。すなわち、ＨＭＤの位置または姿勢の変化を考慮して画像を表示しても、特定の物体の動きが予測できず、また処理時間を更に要するために、ＨＭＤ装着者にとって違和感のある映像を表示してしまう可能性がある。さらに、複合現実感を提供するためのビデオシースルー型のＨＭＤでは、前述した表示映像の生成の前に、ＨＭＤ搭載カメラで現実空間を撮像して露光する時間、画像情報を伝送する時間が加算される。すなわち、画像生成にかかる処理時間がさらに長くなり、ＨＭＤや動体の姿勢の変化による違和感がさらに増す可能性がある。

図２は本発明における情報処理装置が生成する画像の表示例を示す図である。図２（ａ）及び（ｂ）において撮影時刻をｔ、表示時刻ｔ＋Δｔとする。図１と同様に、時刻ｔにおいて、ＨＭＤ２００から、動体である手２１０と物体２２０が観測される。また、時刻ｔ＋Δｔにおいて、ＨＭＤ、物体、手の位置関係は、ＨＭＤ２０１、手２１１、物体２２０の通りとなる。ＨＭＤは回転し視線を右側に向けている。また手は時刻ｔから時刻ｔ＋Δｔにかけて２１０から２１１の位置に移動している。

時刻ｔにおいてＨＭＤは付帯の撮像装置によって撮像した画像２０００を取得する。画像２０００には、ＨＭＤ装着者の手２３０が写りこんでいる。次に図２（ｄ）に示すように、画像２０００から２次元の動体領域２３２を検出する。ここでは、撮像画像から肌色領域を抽出する。本実施形態では、あらかじめ肌色を撮像した時の肌色の領域のすべての色情報を記録しておき、テーブルに保持しておく。このとき色情報は、ＲＧＢの３原色の表現であってもよいし、ＹＣｂＣｒの輝度と色味情報で表現してもよい。なお、動体検出の手法は、色検出、エッジ検出、フレーム間差分、ＳｕｐｅｒＰｉｘｅｌによる領域分割、パターンマッチング、学習に基づく物体検出手法が選択可能であるが、本発明は特定の手法に限定されるものではない。例えば、山内雄二，山下孝義，藤吉博信，“［サーベイ論文］統計的学学習手法による人検出”，電子情報通信学会パターン認識・メディア研究会（ＰＲＭＵ）技術報告，ｐｐ．１１３－１２６（２０１２）の手法でもよい。領域検出後、図２（ｅ）で、後述する手法により、時刻ｔ＋Δｔにおける動体の位置予測を行い、予測された動体位置２３４を得る。

動体領域検出後、図２（ｆ）のように背景領域２４１を得る。次に図２（ｇ）において動体領域２４１を背景領域の画像特徴に基づいて穴埋めし、動体のない背景画像２０４０を生成する。本実施形態では、動体領域の周辺領域の色の平均を取得し、その色で動体領域を補間する。なお、背景穴埋めの方法については、周辺領域と同系色で埋める方法や過去の画像から埋める方法があるが本発明は特定の手法に限定されるものではない。例えば、森ら（森尚平，一刈良介，柴田史久，木村朝子，田村秀行，”隠消現実感の技術的枠組と諸問題～現実世界に実在する物体を視覚的に隠蔽・消去・透視する技術について～”，日本バーチャルリアリティ学会論文誌）の手法でも良い。さらに、ＣＧモデルデータに基づいて背景画像中の現実空間の対応する所定位置に物体１３０をレンダリングする。

ここで、時刻ｔ＋Δｔにおける本来の撮影画像は図２（ｉ）の画像２０６０であるが、システム上利用可能な画像は直近の撮影画像は図２（ｃ）の画像２０００である。そのため、図２（ｃ）を用いて表示のための画像２０７０を生成する。これを合成画像と呼ぶ。合成画像は特許文献１と同様に、視点回転角度ΔΘに応じて、図２（ｇ）の画像２０４０を回転と逆方向にΔＸだけ並行移動する。結果図２（ｈ）の画像２０５０が生成される。次に図２（ｈ）上の動体予測位置に動体領域２３２を合成し、図２（ｊ）に示す画像２０７０を生成する。最後に合成画像２０７０をＨＭＤに表示する。以上の処理の結果、あるべき画像２０６０と近い合成画像２０７０を表示できる。

あるいは、以下に説明する方法でも良い。図２（ｋ）は、予測された位置に動体２３５を描写した画像２０２０と、動体領域を補間した背景画像２０４０とを合成した画像２０８０である。図２（ｌ）は、画像２０８０を遅延時間とＨＭＤの位置姿勢の変化に合わせてシフトした画像２０９０である。このときＨＭＤには、画像２０９０を表示すれば良い。この方法によっても、動体の動きを予測に用いるため、体感的違和感の少ない画像を表示できる。

本発明における動体予測方法の例を、図３を用いて説明する。動体３０１は図２の時刻ｔにおける動体の位置を示し、動体３０２は図２の時刻ｔ＋Δｔにおける動体の位置を示す。図３（ａ）の３０１と３０２の座標を用いて、図２（ｂ）のΔｈを予測する。動体の座標は、画像から取得する。例えば、時刻ｔにおける動体３０１の座標は、図２（ｃ）の画像２０００から、画像の左下の隅を原点とする画像座標系で動体２３０の領域の重心の座標から取得する。動体予測は予測フィルタによって行う。予測フィルタの例としては、α－βトラッカーやカルマンフィルタがあるが、本発明は特定の予測フィルタに限定されるものではない。予測フィルタは観測モデルと運動モデルに基づいて、過去の動体観測位置から現在の動体観測位置を予測推定する。フィルタが扱う運動モデルとしては、図３（ａ）に示すように、画像座標上の位置、速度、加速度を内部に持ち、観測モデルとしては画像上の動体の位置を観測可能とする。この場合、観測（ｘ，ｙ）からΔｔ後の移動位置（ｘ’，ｙ’）が予測推定される。あるいは図３（ｂ）に示すように、ＨＭＤから物体が見える方向（θ、φ）を観測可能として、方向とその変位を内部で更新する運動モデルを用いてもよい。

図４は情報処理システムの機能構成例を示すブロック図である。ここではＨＭＤ内部で全ての処理を行う構成を示している。ＨＭＤ２００は、撮像部４１０、撮像光学系補正部４３０、表示光学系補正部４４０、表示部４２０を持つ。また、ＨＭＤ２００に搭載される情報処理装置４０１は以下の機能構成を有する。すなわち、画像取得部４４１、動体領域検出部４３３、動体位置予測部４３４、姿勢取得部４３１，位置姿勢推定部４３２、背景画像生成部４３５、ＣＧ画像生成部４３７、保持部４３８、合成画像生成部４３９、表示位置制御部４４２を有する。

撮像部４１０は撮像光学系４１１、撮像センサ４１２を持ち、撮像した画像を情報処理装置４０１に出力する。なお、本実施形態において、具体的には撮像部４１０はカラーカメラであり、得られる画像はカラー画像である。撮像部４１０はステレオカメラであってもよい。

画像取得部４４１は、撮像部４１０が現実空間における動体を撮像した画像（第１画像）を随時取得する。取得された画像は撮像光学系補正部４３０に送られる。撮像光学系補正部４３０は撮像画像の色をはじめとする各種収差を補正する。一方表示部４２０は表示光学系４２１と表示パネル４２２を持ち、補正済みの画像を表示する。表示の際の補正は表示光学系補正部４４０において行われる。これは撮像光学系補正部４３０と逆の処理である。

動体領域検出部４３３は、撮影画像（第１画像）を入力とし、動体を示す所定の画像特徴に基づいて画像内の動体領域を検出する。例えば、動体が手である場合は、手の画像特徴に基づいて動体領域を抽出する。具体的には、肌色領域を抽出すればよい。動体位置予測部４３４は、予測フィルタを用いた手法に従って、所定の時間後の動体の位置を予測する。本実施形態において、Δｔは固定値、かつ、運動モデルの移動空間は撮像画面内とする為、動体位置予測４３４では、ＨＭＤの位置姿勢の入力は不要である。Δｔは１００ｍｓｅｃほどの非常に短い時間であるため「動体の移動空間が撮影画像内」と近似できる。固定値を用いることで処理時間を短縮し、映像の違和感を軽減する効果が期待される。背景画像生成部４３５は、動体領域検出結果を入力として、撮影画像における動体領域を背景領域の画像特徴を用いて補間することで背景画像を生成する。具体的には、肌色領域を、撮像画像に含まれる背景領域の色で補間する。

姿勢取得部４３１は、ジャイロセンサーや加速度計から構成され、ＨＭＤの相対的な姿勢情報を計測した結果を取得する。ここで取得する姿勢情報は、特定の物体の位置を予測するのに用いる。姿勢取得部４３１は、１００Ｈｚ以上で姿勢データが取得でき、遅延が少ない姿勢センサーを使用することが好ましい。姿勢取得部４３１は、計測した姿勢情報を遅延取得部１４５０とＣＧ画像生成部４３７に送信する。また、姿勢取得部１３００は、合成画像生成部４３９が画像を生成する直前に現在計測できている最新の姿勢情報を合成画像生成部４３９に送信する。また、姿勢取得部４３１は、姿勢計測時刻と姿勢計測値を対応付けて保持しており、姿勢計測時刻を入力されると、対応する姿勢計測値を返す処理を行うものとする。

位置姿勢推定部４３２は、ＣＧモデルを描写したＣＧ画像を現実空間と対応させて重畳する為に用いるＨＭＤの絶対的な位置及び姿勢を示す位置姿勢情報を推定する。位置姿勢情報とは、現実空間におけるＨＭＤの絶対的な３次元の位置及び姿勢を示す。位置姿勢情報は、ＣＧ画像を現実空間と対応させて重畳する為に用いられる。このＨＭＤの位置姿勢は、システム設定時にマーカーキャリブレーション工程にて設定されるワールド座標系を基準とする。位置姿勢推定の手法としては、指標（マーカー）や、Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ （ＳＬＡＭ）を用いた位置姿勢推定手法が利用可能である。ＳＬＡＭは、撮像画像に映ったマーカーから撮像装置の現実空間における３次元位置姿勢情報を推定する技術である。他には不図示の姿勢センサを用いて精度を高めることが可能であるし、外部の位置姿勢センサから直接的に値を取得してもよい。本発明は特定のＨＭＤ位置姿勢取得方法に限定されるものではない。また、位置姿勢推定部４３２は、位置姿勢取得結果から、時刻ｔ＋ΔｔにおけるＨＭＤの位置・姿勢を予測する。ＨＭＤの位置姿勢推定にあたっては、動体の予測と同様な予測フィルタが利用できる。

ＣＧ画像生成部４３７は、保持部４３８と姿勢取得部４３１から得たＨＭＤ位置姿勢情報を入力とし、時刻ｔ＋ΔｔにおけるＨＭＤの位置姿勢から見える位置に動体である手を描写したＣＧ画像を生成する。さらに、ＣＧ画像生成部４３７は、保持部４３８に保持されたCGモデルデータに基づいて背景画像中の現実空間の対応する所定位置に物体１３０をレンダリングしたCG画像を生成する。CGモデルデータに基づいて背景画像中の現実空間の対応する所定位置に物体１３０をレンダリングしたCG画像を生成する。保持部４３８と姿勢取得部４３１から得たＨＭＤ位置姿勢情報を入力とし、時刻ｔ＋ΔｔにおけるＨＭＤの位置姿勢から見える位置にＣＧモデルを描写したＣＧ画像を生成する。

保持部４３８は、ＣＧモデルのデータを保持する。また、位置姿勢計測結果のログを保持する。また、撮像部４１０が取得した画像を保持する。

合成画像生成部４３９は、背景画像（第１画像）に含まれる特定の物体の所定時間後の位置を推定した結果に基づいて、背景画像中の推定結果に基づく位置に動体を描写したＣＧ画像と背景画像とを合成した合成画像（第２画像）を生成する。または、予測フィルタに基づく動体位置予測結果と、ＨＭＤの位置姿勢予測結果と、背景画像とＣＧ画像を入力とする。ＨＭＤ位置姿勢予測結果に基づいて画像のシフト量を計算し、背景画像をシフト後にＣＧ画像と動体領域を重畳し、図２（ｊ）の画像２０７０を生成する。ここで動体とＣＧ画像の重畳順序について、ＨＭＤから動体までの距離が既知である場合には、ＣＧとの前後関係に基づいて描画順序を変更する。合成画像生成部４３９にて生成された画像は、表示光学系補正部４４０を経て表示部４２０にて表示される。

表示位置制御部４４２は、撮像から表示までの処理における少なくとも一部の処理時間に起因する遅延時間、および画像表示装置の位置または姿勢の変化量に基づいて、表示部に供給する合成画像（第２画像）を表示する位置をシフトする。シフトされた画像は、図２（ｌ）のように表示される。ここでは、遅延時間として固定値Δｔを用いる。なお、合成画像生成部４３９において、シフト後の背景画像とＣＧ画像を合成する場合は、ここでの処理は省略する。

図５は、情報処理装置が実行する処理を示すフローチャートである。図５を使って情報処理装置４０１が行う処理の流れを簡単に説明する。以下、フローチャートは、ＣＰＵが制御プログラムを実行することにより実現されるものとする。なお、以下の説明では、各工程（ステップ）について先頭にＳを付けて表記することで、工程（ステップ）の表記を省略する。図５のフローチャートに示した処理は、コンピュータである図１１のＣＰＵ９０１により外部記憶装置９０６等に格納されているコンピュータプログラムに従って実行される。ただし、情報処理装置４０１は必ずしもこのフローチャートで説明するすべてのステップを行わなくても良い。また、後に説明するシーケンス図のように複数の処理を同時並行的に実行しても良い。

Ｓ５００では、情報処理装置４０１が初期化する。具体的には、ＣＧ画像生成部１７００が、モデルデータ記憶部１７５０から３次元のＣＧモデルを所定の位置に所与のＣＧ画像を描写するためのＣＧモデルデータを読み込む。Ｓ５０１では、画像取得部４４１が、撮像部４１０の撮像処理が完了したかを判断する。撮像が完了しており、新たな画像が取得可能であれば現実空間における特定の物体を撮像した撮像画像を取得してＳ５０２へ進む。撮像が完了していなければＳ５０１に戻る。なお、撮像画像は図２（ｃ）の画像２０００に対応する。Ｓ５０２では、撮像光学系補正部４３０は、撮像部４０１から取得された撮像画像の色をはじめとする各種収差を補正する。Ｓ５０３では、姿勢取得部４３１が、姿勢計測センサーによって計測された姿勢情報を取得する。位置姿勢推定部４３２が、撮像画像から撮像時のＨＭＤの位置姿勢情報を推定した結果を取得しても良い。Ｓ５０４では、位置姿勢推定部４３２が、Ｓ５０３における位置姿勢取得結果と過去の位置姿勢情報とから、時刻ｔ＋ΔｔにおけるＨＭＤの位置・姿勢を推定する。Ｓ５０５では、動体領域検出部４３３が、撮影画像（第１画像）から物体を示す物体領域と該物体領域が分離された背景領域とを取得する。物体領域は図２（ｄ）の領域２３２である。背景領域は、図２（ｆ）における画像２０３０である。

Ｓ５０６では、動体位置予測部４３４が、撮影画像（第１画像）における物体領域に基づいて所定時間後（Δｔ後）における物体の位置を推定する。例えば、図２（ｅ）の画像２０２０で、動体２３３の位置からΔｔ秒後の動体２３４の位置への変化を予測する。ここでは前述の予測フィルタを用いた手法に従って、時刻ｔ＋Δｔにおける動体の位置を予測する。ここで所定時間とは遅延時間Δｔである。本実施形態では、予め準備したΔｔの固定値を用いる。Ｓ５０７では、ＣＧ画像生成部４３７が、保持部４３８と姿勢取得部４３１から得たＨＭＤの位置姿勢情報を入力とし、Ｓ５０６で予測された位置に動体を、現実空間と対応させた所定の位置にＣＧモデルを描写したＣＧ画像を生成する。図２（ｋ）の画像２０８０は、予測位置に画像２０００から抽出された手２３５の画像を、物体２２０の上にＣＧモデルである物体１３０を描写した画像である。Ｓ５０８では、背景画像生成部４３５が、撮像画像の物体領域の周辺から得られる背景領域の画像特徴（色や輝度）を用いて物体領域を補間することによって背景画像を生成する（第１生成）。図２（ｇ）の画像２０４０は、背景の画像特徴を用いて領域２４２を補間した背景画像である。例えば、物体領域を背景領域の色で塗りつぶすような処理を行う。Ｓ５０７とＳ５０８は逆の順で処理しても良い。

Ｓ５０９では、合成画像生成部４３９が、背景画像（第１画像）に含まれる特定の物体の所定時間後の位置を推定した結果に基づいて、背景画像中の推定結果に基づく位置に動体を描写したＣＧ画像と背景画像とを合成した合成画像（第２画像）を生成する。図２（ｋ）の画像２０８０がＳ５０９で生成された画像に対応する。Ｓ５０６で予測された位置（推定結果）に基づいて背景画像中の対応する位置に動体領域を合成することによって描写する。Ｓ５１０では、表示光学系補正部４４０が、合成画像を表示光学系に適した画像に変換する。Ｓ５１１では、表示位置制御部４４２は、撮像から表示までの処理における少なくとも一部の処理時間に起因する遅延時間、および画像表示装置の位置または姿勢の変化量に基づいて、表示部に供給する合成画像（第２画像）を表示する位置をシフトする。S510とS511の手順は逆であってもよい。Ｓ５１２では、情報処理装置４０１が、ユーザからの終了指示があるかどうかを判定する。終了指示がある場合は、処理を終了する。終了指示がない場合は、Ｓ５０１に処理を移す。

あるいは、Ｓ５０８以降の処理を以下のようにしてもよい。Ｓ５０８では、背景画像生成部４３５が、背景領域の画像特徴（色や輝度）を用いて物体領域を補間し、ＨＭＤの位置姿勢の変化に基づいてシフトさせた背景画像を生成する。図２（ｈ）の画像２０５０は、背景の画像特徴を用いて領域２４２を補間し、さらにＨＭＤの位置姿勢の変化に応じてシフトさせた背景画像である。Ｓ５０９では、合成画像生成部４３９が、動体位置予測結果と、ＨＭＤの位置姿勢予測結果とに基づいて、シフト後の背景画像を背景に、推定された位置に物体を描写した第２画像を前景に合成した合成画像（第２画像）を生成する。Ｓ５１０では、表示光学系補正部４４０が、合成画像を表示光学系に適した画像に変換する。Ｓ５１１では、表示位置制御部４４２は、合成画像をそのままの位置で表示する。Ｓ５１２では、情報処理装置４０１が、ユーザからの終了指示があるかどうかを判定する。終了指示がある場合は、処理を終了する。終了指示がない場合は、Ｓ５０１に処理を移す。

図６は、情報処理システムが実行する処理を示すシーケンス図である。図６において（ａ）撮影、（ｂ）位置姿勢取得、（ｃ）ＣＧ画像生成、（ｄ）動体領域検出、（ｅ）表示画像生成、（ｆ）表示、の各処理が同時並行的に動作する。前記各処理は繰り返し実施される。なお各処理の起動終了についての説明は省略する。

図６（ａ）撮影処理では、Ｓ６００で撮像部４１０が第１画像を撮影する。図５のＳ５０１と対応している。Ｓ６０１で撮像光学系補正部４３０第１画像の補正処理を行う。図５のＳ５０２と対応している。図６（ｂ）位置姿勢取得処理では、Ｓ６１０の姿勢取得部４３１が、撮影画像から時刻ｔにおけるＨＭＤの位置姿勢を検出する。図５のＳ５０３と対応している。次にＳ６１１で、位置姿勢推定部４３２が、検出された位置姿勢からｔ＋ΔｔにおけるＨＭＤの位置姿勢を予測する。図５のＳ５０４と対応している。本実施形態ではΔｔは固定値を用いる。図６（ｃ）ＣＧ画像生成処理では、Ｓ６２０で、ＣＧ画像生成部４３７が、Ｓ６１０で計測されたＨＭＤの位置姿勢情報に基づいて、ＣＧ画像を生成する。図５のＳ５０７と対応している。図６（ｄ）動体領域検出処理では、Ｓ６３０で動体領域検出部４３３が撮影画像から動体領域を検出する。図５のＳ５０５と対応している。Ｓ６３１で動体位置予測部４３４が時刻ｔ＋Δｔにおける動体位置を予測する。図５のＳ５０６と対応している。本実施形態では図３（ａ）の画面内での予測を採用するため、ＨＭＤの位置姿勢情報は不要である。

図６（ｅ）背景＆表示画像生成処理は、Ｓ６３０の動体領域検出結果を受けて、Ｓ６４０で背景画像生成部４３５が、動体領域を穴埋めした背景画像を生成する。図５のＳ５０８と対応している。その後、Ｓ６４３で合成画像生成部４３９が、合成画像生成処理をおこなう。図５のＳ５０９と対応している。この処理は、動体位置予測Ｓ６３１とＨＭＤの位置姿勢予測Ｓ６１１、ＣＧ画像生成Ｓ６２０の結果を受けて、最新の位置姿勢情報に応じてＨＭＤに表示するための合成画像を生成する。図６（ｆ）は表示処理である。Ｓ６４３で生成された合成画像を受けて、Ｓ６５０で表示光学系補正部４４０が合成画像を補正する。図５のＳ５１０と対応している。Ｓ６５２で、表示位置制御部４４２は、撮像から表示までの処理における少なくとも一部の処理時間に起因する遅延時間、および画像表示装置の位置または姿勢の変化量に基づいて、表示部に供給する合成画像（第２画像）を表示する位置をシフトする。Ｓ５５３で表示部４２０が画像表示処理を順次行い、画像を表示する。図５のＳ５１１と対応している。

以上述べたように、本実施例によれば、ＨＭＤの体感的遅延緩和を目的とした画像シフト方式のタイムワープ画像生成において、動体の動きを考慮することにより、ＨＭＤ使用者の違和感を改善できる。

（変形例１）
本発明に関わる変形例としては、動体の予測に用いる座標をＨＭＤから見た動体の姿勢であるθφ空間にとることによって、予測精度を向上することが可能である。また撮影から表示までの遅延時間Δｔを可変にとることによっても予測精度を向上できる。運動モデルに基づいて予測を行う際に、実際の撮影と表示の遅延時間計測結果に基づいてΔｔを設定する方が、より正確であるため、映像の違和感をより軽減できる。本変形例の機能構成例を図７に示す。以下、図４との差分箇所を中心に説明する。

本変形例では遅延計測部６４１を設け、撮影時刻と表示時刻との差分Δｔを計測する。遅延計測部６４１は内部にタイマーを具備する。遅延時間Δｔは、撮像光学系補正部６３０が撮像画像を取得した時刻（第１の時刻）と、表示光学系補正部６４０が表示画像の送信を完了した時刻（第２の時刻）との差分に基づいて決定される。遅延時間Δｔは撮影画像に添付され、動体位置予測部６３４、ＨＭＤ位置姿勢推定部６３２において予測に利用される。位置姿勢取得部６３１は第１の実施形態４３１と同一である。位置姿勢取得部６３１は、現在計測できている最新の姿勢の計測時刻を遅延取得部６４１に送信する。

動体領域検出部６３３は、図３（ｂ）に示すようなθφ空間での動体位置（方位）を検出する。これはＨＭＤから相対的にどの方向に動体が見えるかを示すものである。動体位置予測部６３４はθφ空間上で動体位置（方位）を予測する。背景画像生成部６３５は４３５と同一である。予測背景画像生成部６３６はＨＭＤの位置姿勢予測に基づいて時刻ｔ＋Δｔにおける背景画像のシフト量を計算し、画像をシフトする。ＣＧ画像生成部６３７も同様に時刻ｔ＋ΔｔにおけるＨＭＤの予測位置姿勢からみたＣＧモデル画像を生成する。合成画像生成部６３９は予測背景画像、ＣＧ画像、動体を合成した画像を生成する。ここで距離計測の結果動体がＣＧよりも手前にあると判明した場合には、動体を最後に重畳する。これは例えば動体がＨＭＤ装着者の手である場合に該当する。

図８は情報処理装置が実行する処理を示すフローチャートである。Ｓ５００では、情報処理装置４０１が初期化する。Ｓ５０１では、撮像光学系補正部６３０が、撮像部４１０の撮像処理が完了したかを判断する。撮像が完了しており、新たな画像が取得可能であれば現実空間における特定の物体を撮像した撮像画像を取得してＳ８００へ進む。撮像が完了していなければＳ５０１に戻る。Ｓ８００では、遅延計測部６４１が、撮影時刻と表示時刻との差分Δｔを計測する。Ｓ５０２では、撮像光学系補正部６３０は、撮像部４０１から取得された撮像画像の色をはじめとする各種収差を補正する。Ｓ５０３では、位置姿勢取得部６３１が、撮像画像から撮像時のＨＭＤの姿勢情報を取得する。Ｓ５０４では、位置姿勢推定部６３２が、Ｓ５０３における位置姿勢取得結果と過去の位置姿勢情報とから、時刻ｔ＋ΔｔにおけるＨＭＤの位置・姿勢を推定する。Ｓ５０５では、動体領域検出部６３３が撮影画像（第１画像）から物体を示す物体領域と該物体領域が分離された背景領域とを取得する。Ｓ５０６では、動体位置予測部６３４が、撮影画像（第１画像）における物体領域に基づいて遅延時間後における物体の位置を推定する。Ｓ５０７では、ＣＧ画像生成部４３７が、保持部４３８と姿勢取得部４３１から得たＨＭＤの位置姿勢情報を入力とし、Ｓ５０６で予測された位置に動体を、現実空間に対応した所定の位置にＣＧモデルとを描写したＣＧ画像として生成する。Ｓ５０８では、背景画像生成部６３５が、背景領域の画像特徴（色や輝度）を用いて物体領域を補間することによって背景画像を生成する。Ｓ５０９では、合成画像生成部６３９が、背景画像（第１画像）に含まれる特定の物体の所定時間後の位置を推定した結果に基づいて、背景画像中の推定結果に基づく位置に動体を描写したＣＧ画像と背景画像とを合成した合成画像（第２画像）を生成する。Ｓ５１０では、表示光学系補正部６４０が、合成画像を表示光学系に適した画像に変換する。Ｓ５１１では、表示位置制御部６４２は、撮像から表示までの処理における少なくとも一部の処理時間に起因する遅延時間、および画像表示装置の位置または姿勢の変化量に基づいて、表示部に供給する合成画像（第２画像）を表示する位置をシフトする。Ｓ８０１では、遅延計測部６４１が、今回の処理にかかった遅延時間を記録する。遅延時間は保持部６３８に保持される。Ｓ５１２では、情報処理装置６０１が、ユーザからの終了指示があるかどうかを判定する。終了指示がある場合は、処理を終了する。終了指示がない場合は、Ｓ５０１に処理を移す。

図９は、情報処理システムが実行する処理を示すシーケンスである。図６と同様に複数の処理が並行して動作する。以下図６と異なる部分を中心に説明する。撮影と表示との間の遅延時間Δｔ計測の為に、撮影処理（ａ）のＳ７０２では撮像光学系補正部６３０が、撮影時刻を取得する。Ｓ７５１の表示時刻取得情報と合せて、Ｓ７０３では、遅延計測部６４１が、遅延計測を実施する。位置姿勢取得処理（ｂ）において、Ｓ７１１で位置姿勢予測処理を行う。ＣＧ画像生成処理（ｃ）のＳ７２０では、位置姿勢予測結果を受けて、予測位置姿勢からのＣＧ画像を生成する。動体領域検出処理（ｄ）のＳ７３１では、ＨＭＤの位置姿勢計測結果に基づいてθφ空間上での動体位置を予測する。背景＆表示画像生成処理（ｅ）のＳ７４２では、Ｓ７１１位置姿勢予測処理の結果を受けて、時刻ｔ＋Δｔにおける背景画像を生成する。表示処理（ｆ）のＳ７５０では、表示位置制御部６４２が、表示光学系補正部６４０が、合成画像を表示光学系に適した画像に変換する。Ｓ７５２では、表示位置制御部６４２が撮像から表示までの処理における少なくとも一部の処理時間に起因する遅延時間、および画像表示装置の位置または姿勢の変化量に基づいて、表示部に供給する合成画像（第２画像）を表示する位置をシフトする。Ｓ７５１では、遅延計測部６４１が、表示時刻を取得する。Ｓ７５３で、表示部が画像の表示を行う。

（変形例２）
本発明に関わるその他の変形例としては、図１０に示すように、ＨＭＤと制御装置が分離した構成でも実現可能である。以下、図６との相違を中心に説明する。システムはＨＭＤ８００と制御装置８５０から構成され、相互に通信する。ＨＭＤ８００はデータ送信部８４０とデータ受信部８４１を持つ。制御装置は例えば市販のＰＣで構成され、データ受信部８３２とデータ送信部８５３を持つ。ＨＭＤのデータ送信部８４０は撮影画像、遅延計測結果、姿勢情報をまとめて、制御装置８５０に送信し、制御装置８５０の受信部８５２がこれを受信する。一方で制御装置８５０のデータ送信部８５３は合成画像生成部８６２により生成された合成画像が、ＨＭＤ８００に対して送信され、データ受信部８４１がこれを受ける。ＨＭＤ８００と制御装置８５０の間の通信はＵＳＢやＩＥＥＥ１３９４、ＬＡＮが選択可能であり、特定の通信方式に限定されるものではない。なお、本変形例のソフトウェア構成は、変形例１のソフトウェア構成において、撮影処理（ａ）と表示処理（ｆ）がＨＭＤ側に配置される。さらに、位置姿勢取得処理（ｂ）、ＣＧ生成処理（ｃ）、動体領域検出処理（ｄ）、背景＆表示画像生成処理（ｅ）が制御装置側に配置される構成をとり、互いに通信を行うことによって実現可能である。

（その他の実施例）
図１１は、上記の実施形態の情報処理装置を実現するためのハードウェアを示す模式図である。ＣＰＵ９０１は、ＲＡＭ９０７やＲＯＭ２０２に格納されているコンピュータプログラムやデータを使ってコンピュータ全体の制御を行う。また、ＣＰＵはそれと共に以下の各実施形態で情報処理装置が行うものとして説明する各処理を実行する。ＲＡＭ９０７は、外部記憶装置９０６や記憶媒体ドライブ９０５からロードされたコンピュータプログラムやデータを一時的に記憶する。またＲＡＭ９０７は、外部から受信したデータを一時的に記憶するためのエリアを有する。更に、ＲＡＭ９０７は、ＣＰＵ９０１が各処理を実行する際に用いるワークエリアも有する。即ち、ＲＡＭ９０７は、各種エリアを適宜提供することができる。また、ＲＯＭ９０２には、コンピュータの設定データやブートプログラムなどが格納されている。キーボード９０９、マウス９０８は、操作入力装置の一例としてのものであり、コンピュータのユーザが操作することで、各種の指示をＣＰＵ９０１に対して入力することができる。表示部９０４は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ９０１による処理結果を画像や文字などで表示することができる。例えば、表示部９０４には、撮像装置４１０によって撮像された現実空間の画像と仮想画像とを合成した合成画像を表示することができる。外部記憶装置９０６は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置９０６には、ＯＳ（オペレーティングシステム）や、情報処理装置が行う各処理をＣＰＵ９０１に実行させるためのプログラムやデータが格納されている。外部記憶装置９０６に保存されているコンピュータプログラムやデータは、ＣＰＵ９０１による制御に従って適宜ＲＡＭ９０７にロードされる。ＣＰＵ９０１はこのロードされたプログラムやデータを用いて処理を実行することで、情報処理装置が行う各処理を実行することになる。記憶媒体ドライブ９０５は、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭなどの記憶媒体に記録されたプログラムやデータを読み出したり、係る記憶媒体にコンピュータプログラムやデータを書込んだりする。尚、外部記憶装置９０６に保存されているものとして説明したプログラムやデータの一部若しくは全部をこの記憶媒体に記録しておいても良い。記憶媒体ドライブ９０５が記憶媒体から読み出したコンピュータプログラムやデータは、外部記憶装置９０６やＲＡＭ９０７に対して出力される。Ｉ／Ｆ９０３は、撮像装置４１０を接続するためのアナログビデオポートあるいはＩＥＥＥ１３９４等のデジタル入出力ポートにより構成される。Ｉ／Ｆ９０３を介して受信したデータは、ＲＡＭ９０７や外部記憶装置９０６に入力される。バス９１０は、上述の各構成部をバス信号によって繋げるものである。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

４００ 情報処理システム
１００ 情報処理装置
２００ ヘッドマウントディスプレイ

Claims (10)

1. 現実空間を撮像した第１画像を取得する撮像手段と、前記第１画像を用いて生成された第２画像を表示する表示手段とを備える画像表示装置に、前記第２画像を供給する情報処理装置であって、
   前記第１画像において特定の物体の領域を当該領域の周辺から得られる画像特徴を用いて補間することにより、前記物体のない背景画像を生成する第１生成手段と、
   前記第１画像における前記物体の所定時間後の位置を推定した結果に基づいて、前記背景画像に対して前記推定結果に基づく位置に前記物体を描写した画像を合成して前記第２画像を生成する第２生成手段と、
   前記撮像から表示までの処理における少なくとも一部の処理時間に起因する遅延時間、および前記画像表示装置の位置または姿勢の変化量に基づいて、前記表示手段に供給する第２画像を表示する位置をシフトする表示位置制御手段と、を有することを特徴とする情報処理装置。
2. 前記所定時間は、前記撮像手段によって撮像を行う第１の時刻と、前記画像表示装置の位置または姿勢を計測する第２の時刻との差分であることを特徴とする請求項１に記載の情報処理装置。
3. 前記第１生成手段は、前記第１画像から所定の画像特徴を有する領域を前記物体の領域として抽出することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記第１生成手段は、前記第１画像から手の画像特徴を有する領域を抽出することを特徴とする請求項３に記載の情報処理装置。
5. 前記物体とは手であって、
   前記第１生成手段は、前記第１画像において前記手に対応する肌色領域を当該肌色領域の周辺から得られる色を用いて補間することによって前記手のない前記背景画像を生成することを特徴とする請求項１に記載の情報処理装置。
6. 前記第２生成手段は、前記第１生成手段によって生成された前記物体の領域を抽出した画像を、前記背景画像中の前記推定結果に基づく位置に合成することで前記第２画像を生成することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記画像表示装置は、ヘッドマウントディスプレイであることを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 現実空間を撮像した第１画像を取得する撮像手段と、前記第１画像を用いて生成された第２画像を表示する表示手段とを備える画像表示装置に、前記第２画像を供給する情報処理装置であって、
   前記第１画像において、特定の物体の領域を、当該領域の周辺から得られる画像特徴を用いて補間し、前記撮像から表示までの処理における少なくとも一部の処理時間に起因する遅延時間、および前記画像表示装置の位置または姿勢の変化量に基づいて、当該補間することにより前記物体がなくなった第１画像をシフトして背景画像を生成する第１生成手段と、
   前記第１画像における前記物体の所定時間後の位置を推定した結果に基づいて、前記背景画像に対して前記推定結果に基づく位置に前記物体を描写した画像を合成して前記第２画像を生成する第２生成手段と、を有することを特徴とする情報処理装置。
9. コンピュータを、請求項１乃至８のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
10. 現実空間を撮像した第１画像を取得する撮像手段と、前記第１画像を用いて生成された第２画像を表示する表示手段とを備える画像表示装置に、前記第２画像を供給する情報処理方法であって、
    前記第１画像において、特定の物体の領域を、当該領域の周辺から得られる画像特徴を用いて補間、前記物体のない背景画像を生成する第１生成工程と、
    前記第１画像における前記物体の所定時間後の位置を推定した結果に基づいて、前記背景画像に対して前記推定結果に基づく位置に前記物体を描写した画像を合成して前記第２画像を生成する第２生成工程と、
    前記撮像から表示までの処理における少なくとも一部の処理時間に起因する遅延時間、および前記画像表示装置の位置または姿勢の変化量に基づいて、前記表示手段に供給する第２画像を表示する位置をシフトする表示位置制御工程と、を有することを特徴とする情報処理方法。

Images