JP2012155655A - 情報処理装置、報知方法及びプログラム - Google Patents

Abstract

【課題】拡張現実アプリケーションが提供されている間の実世界でのユーザの危険に対するリスクを低減すること。
【解決手段】実空間に仮想オブジェクトを重畳して表示する拡張現実アプリケーションをユーザに提供可能な情報処理装置であって、上記拡張現実アプリケーションの提供のために使用される入力画像についての画像認識の結果に基づいて、上記実空間において上記ユーザに及ぶ危険を認識する危険認識部と、上記拡張現実アプリケーションが上記ユーザに提供されている間に上記危険認識部により危険が認識された場合に、上記ユーザに危険の存在を報知する報知部と、を備える情報処理装置を提供する。
【選択図】図３

Description

本発明は、情報処理装置、報知方法及びプログラムに関する。

近年、実世界に付加的な情報を重畳してユーザに呈示する拡張現実（ＡＲ：Augmented Reality）のための様々なアプリケーションが提案されている。例えば、下記非特許文献１に記載されたアプリケーションでは、マップ上の任意の位置と関連付けられる仮想的なタグが予めシステムに登録される。そして、ユーザが携帯する端末により撮像される画像内で、当該画像に映る位置と関連付けられているタグがその位置に重畳して表示される。

「Sekai Camera Support Center」、［online］、［２０１０年１２月２２日検索］、インターネット＜URL：http://support.sekaicamera.com/en＞

拡張現実アプリケーションが提供されている間、ユーザは、アプリケーション画面に注意を奪われがちである。拡張現実アプリケーションの画面は、他の種類のアプリケーションの画面とは異なり、ユーザに実世界そのものを見ているという感覚を与える。この感覚は、ある側面においては危険である。即ち、実際には、携帯端末の画面又はヘッドマウントディスプレイの画面の画角は人間の視野角よりも狭い。また、拡張現実アプリケーションの付加的な情報によって、実世界に存在する物体がユーザの視界から隠されてしまう可能性もある。そのため、拡張現実アプリケーションが提供されている間、実世界に存在する危険にユーザが気付かない（又は気付くのが遅れる）というリスクはより高まる。

そこで、本発明は、拡張現実アプリケーションが提供されている間の実世界でのユーザの危険に対するリスクを低減させる、情報処理装置、報知方法及びプログラムを提供しようとするものである。

本発明のある実施形態によれば、実空間に仮想オブジェクトを重畳して表示する拡張現実アプリケーションをユーザに提供可能な情報処理装置であって、上記拡張現実アプリケーションの提供のために使用される入力画像についての画像認識の結果に基づいて、上記実空間において上記ユーザに及ぶ危険を認識する危険認識部と、上記拡張現実アプリケーションが上記ユーザに提供されている間に上記危険認識部により危険が認識された場合に、上記ユーザに危険の存在を報知する報知部と、を備える情報処理装置が提供される。

また、上記情報処理装置は、上記画像認識の結果に基づいて上記実空間内の物体と上記入力画像を撮像する撮像装置との間の距離を推定する推定部、をさらに備え、上記危険認識部は、上記推定部により推定される各物体と上記撮像装置との間の距離に基づいて、上記実空間において上記ユーザに及ぶ危険を認識してもよい。

また、上記危険認識部は、上記実空間において上記ユーザと衝突する可能性のある障害物の存在を危険として認識してもよい。

また、上記情報処理装置は、上記実空間における相対的に安全性の低い危険領域を定義する危険領域情報を取得する情報取得部、をさらに備え、上記危険認識部は、上記危険領域情報により定義された上記危険領域への上記ユーザの接近又は進入を危険として認識してもよい。

また、上記情報処理装置は、上記実空間において上記ユーザに危険を及ぼす可能性のある危険物体を定義する危険物体情報を取得する情報取得部、をさらに備え、上記危険認識部は、上記危険物体情報により定義された上記危険物体への上記ユーザの接近を危険として認識してもよい。

また、上記情報処理装置は、上記画像認識の結果に基づいて上記実空間内の物体の位置及び上記ユーザの位置の少なくとも一方を推定する推定部、をさらに備えてもよい。

また、上記情報処理装置は、上記実空間内の物体と上記ユーザとの間の距離を測定する測距センサ、をさらに備え、上記危険認識部は、上記入力画像を用いて認識されない危険を、上記測距センサにより測定される各物体との間の距離に基づいて認識してもよい。

また、上記測距センサは、上記入力画像を撮像する撮像装置の光軸とは異なる方向に沿って距離を測定可能なように設けられてもよい。

また、上記情報処理装置は、外部装置から危険に関する情報を受信する通信部、をさらに備え、上記危険認識部は、上記通信部により受信される上記危険に関する情報を用いて、上記ユーザに及ぶ危険を認識してもよい。

また、上記外部装置は、上記ユーザに及ぶ危険の原因となる可能性のある物体又は領域に設置される装置であってもよい。

また、上記外部装置は、上記情報処理装置と同等の危険報知機能を有する他のユーザの装置であってもよい。

また、上記危険に関する情報は、上記ユーザに及ぶ危険の原因となる可能性のある物体又は領域の位置又は範囲を特定する情報であり、上記危険認識部は、上記危険に関する情報と上記ユーザの位置とに基づいて、上記ユーザに及ぶ危険を認識してもよい。

また、本発明の別の実施形態によれば、実空間に仮想オブジェクトを重畳して表示する拡張現実アプリケーションをユーザに提供可能な情報処理装置における報知方法であって、上記拡張現実アプリケーションが上記ユーザに提供されている間に、上記拡張現実アプリケーションの提供のために使用される入力画像についての画像認識の結果に基づいて、上記実空間において上記ユーザに及ぶ危険を認識するステップと、危険が認識された場合に、上記ユーザに危険の存在を報知するステップと、を含む報知方法が提供される。

また、本発明の別の実施形態によれば、実空間に仮想オブジェクトを重畳して表示する拡張現実アプリケーションをユーザに提供可能な情報処理装置を制御するコンピュータを、上記拡張現実アプリケーションの提供のために使用される入力画像についての画像認識の結果に基づいて、上記実空間において上記ユーザに及ぶ危険を認識する危険認識部と、上記拡張現実アプリケーションが上記ユーザに提供されている間に上記危険認識部により危険が認識された場合に、上記ユーザに危険の存在を報知する報知部と、として機能させるためのプログラムが提供される。

本発明に係る情報処理装置、報知方法及びプログラムによれば、拡張現実アプリケーションが提供されている間の実世界でのユーザの危険に対するリスクを低減させることができる。

拡張現実アプリケーションが利用され得る状況の一例を示す説明図である。 一実施形態に係る情報処理装置の構成の一例を示すブロック図である。 一実施形態に係る情報処理装置の制御部により実現される機能の構成の一例を示すブロック図である。 一実施形態に係る情報処理装置における撮像装置及び測距センサの配置について説明するための第１の説明図である。 一実施形態に係る情報処理装置における撮像装置及び測距センサの配置について説明するための第２の説明図である。 一実施形態において危険を認識するために使用され得るパラメータの例について説明するための説明図である。 一実施形態において認識され得る危険の種別について説明するための説明図である。 一実施形態において危険に関する情報を送信する装置の第１の例を示す説明図である。 一実施形態において危険に関する情報を送信する装置の第２の例を示す説明図である。 一実施形態において危険に関する情報を送信する装置の第３の例を示す説明図である。 一実施形態における報知部による報知の第１の例を示す説明図である。 一実施形態における報知部による報知の第２の例を示す説明図である。 一実施形態における報知部による報知の第３の例を示す説明図である。 一実施形態における報知部による報知の第４の例を示す説明図である。 第１のシナリオにおける危険報知処理の流れの例を示すフローチャートである。 第２のシナリオにおける危険報知処理の流れの例を示すフローチャートである。 第３のシナリオにおける危険報知処理の流れの例を示すフローチャートである。 第４のシナリオにおける危険報知処理の流れの例を示すフローチャートである。 第５のシナリオにおける危険報知処理の流れの例を示すフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。

また、以下の順序にしたがって当該「発明を実施するための形態」を説明する。
１．一実施形態に係る情報処理装置の概要
２．一実施形態に係る情報処理装置の構成例
３．一実施形態に係る処理の流れ
４．まとめ

＜１．一実施形態に係る情報処理装置の概要＞
図１は、拡張現実（ＡＲ）アプリケーションが利用され得る状況の一例を示す説明図である。図１を参照すると、実空間１において、ユーザＵａが歩道上を歩いており、ユーザＵａの前方にはブロック１０及び階段１２が存在する。また、ユーザＵａは、情報処理装置１００を保持している。情報処理装置１００は、ＡＲアプリケーションを提供可能な装置である。情報処理装置１００は、スマートフォン、ＰＣ（Personal Computer）、ゲーム端末又は携帯型音楽プレーヤなどであってよい。情報処理装置１００によりユーザＵａにＡＲアプリケーションが提供されている間、ユーザＵａは、情報処理装置１００の画面に注意を奪われがちである。情報処理装置１００の画面には、実世界の様子が映し出される。しかし、画面の画角はユーザＵａの視野角よりも狭く、付加的な情報も画面上に表示されるため、ＡＲアプリケーションが提供されている間、ユーザＵａが実空間１に存在する危険に気付かない（又は気付くのが遅れる）というリスクは高まる。例えば、ユーザＵａは、ブロック１０につまずく可能性がある。また、ユーザＵａは、階段１２にぶつかる可能性もある。また、ユーザＵａは、歩道から外れて車道に進入する可能性もある。図１に示した例の他にも、実世界には様々な危険が存在する。本発明の一実施形態に係る情報処理装置１００は、以下に説明する仕組みによって、これら危険の存在をユーザに報知する。

＜２．一実施形態に係る情報処理装置の構成例＞
［２−１．ハードウェア構成］
図２は、図１に示した情報処理装置１００の構成の一例を示すブロック図である。図２を参照すると、情報処理装置１００は、撮像部１０２、センサ部１０４、測位部１０６、通信部１０８、記憶部１１０、入力部１１２、表示部１１４、音声出力部１１６、振動部１１８、バス１１９及び制御部１２０を備える。

（撮像部）
撮像部１０２は、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を有するカメラモジュールである。撮像部１０２は、実空間１を撮像することにより一連の入力画像を生成する。撮像部１０２により生成される入力画像は、ＡＲアプリケーションの提供のために利用されることに加えて、ユーザ位置の推定及び入力画像に映る物体の位置の推定などの目的で利用され得る。撮像部１０２は、情報処理装置１００とは別体に構成され、ＡＲアプリケーションの提供の際に情報処理装置１００と接続されてもよい。

（センサ部）
センサ部１０４は、情報処理装置１００による危険の認識を支援するセンサ群である。例えば、センサ部１０４は、ジャイロセンサ、加速度センサ及び地磁気センサの少なくとも１つを含み、情報処理装置１００の傾き角、３軸加速度又は方位を測定する。情報処理装置１００の傾き角、３軸加速度又は方位は、情報処理装置１００の姿勢を推定するために使用され得る。

また、センサ部１０４は、実空間内の物体とユーザとの間の距離を測定するレーザ方式又は赤外線方式の測距センサを含んでよい。測距センサは、典型的には、撮像部１０２の向き（光軸）とは異なる方向に沿って距離を測定可能なように設けられる（図４参照）。それにより、情報処理装置１００の画角から外れる位置に存在する障害物（例えば、ブロック１０）の存在を情報処理装置１００が認識することができる（図５参照）。測距センサにより測定される距離と情報処理装置１００の姿勢とに基づいて、情報処理装置１００と障害物との間の相対的な位置関係を推定することも可能である。なお、測距センサは、図５に例示した下方向ではなく他の任意の方向を向くように設けられてよい。

（測位部）
測位部１０６は、情報処理装置１００の位置を測定するモジュールである。測位部１０６は、例えば、ＧＰＳ（Global Positioning System）信号を受信して情報処理装置１００の緯度、経度及び高度を測定するＧＰＳモジュールであってよい。その代わりに、測位部１０６は、無線アクセスポイントから受信される無線信号の強度に基づいて情報処理装置１００の位置を測定するPlaceEngine（登録商標）などの測位モジュールであってもよい。

（通信部）
通信部１０８は、情報処理装置１００が他の装置と通信するための通信インタフェースである。例えば、通信部１０８は、外部装置から危険に関する情報を外部情報として受信する。また、通信部１０８は、情報処理装置１００と同等の危険報知機能を有する近傍の装置へ、危険に関する情報を送信してもよい。

（記憶部）
記憶部１１０は、半導体メモリ又はハードディスクなどの記憶媒体を用いて、情報処理装置１００による処理のためのプログラム及びデータを記憶する。例えば、記憶部１１０は、撮像部１０２により生成される入力画像、センサ部１０４から出力されるセンサデータ、測位部１０６により測定される位置データ、及び通信部１０８により受信される外部情報を記憶する。また、記憶部１１０は、後に説明する画像認識処理のための特徴データを記憶する。記憶部１１０により記憶される特徴データは、実空間内の１つ以上の物体の外観の特徴を表すデータである。

（入力部）
入力部１１２は、情報処理装置１００のユーザが情報処理装置１００を操作し又は情報処理装置１００へ情報を入力するために使用される。入力部１１２は、例えば、キーパッド、ボタン、スイッチ又はタッチパネルなどを含み得る。入力部１１２は、入力画像に映るユーザのジェスチャを認識するジェスチャ認識モジュールを含んでもよい。

（表示部）
表示部１１４は、ＡＲアプリケーションにより生成され実空間に重畳される仮想オブジェクトを表示する画面を有する表示モジュールである。表示部１１４の画面上には、ユーザに危険の存在を報知する警報のためのオブジェクトも表示され得る。表示部１１４の画面は、シースルー型であってもよく、非シースルー型であってもよい。また、表示部１１４は、情報処理装置１００とは別体に構成され、ＡＲアプリケーションの提供の際に情報処理装置１００と接続されてもよい。

（音声出力部）
音声出力部１１６は、典型的には、ユーザに向けて音又は音声を出力するスピーカであってよい。音声出力部１１６は、ユーザの聴覚を通じてユーザに危険の存在を報知するために使用され得る。

（振動部）
振動部１１８は、典型的には、電気的に駆動される偏心モータなどのバイブレータであってよい。振動部１１８は、ユーザの触覚を通じてユーザに危険の存在を報知するために使用され得る。

（バス）
バス１１９は、撮像部１０２、センサ部１０４、測位部１０６、通信部１０８、記憶部１１０、入力部１１２、表示部１１４、音声出力部１１６、振動部１１８及び制御部１２０を相互に接続する。

（制御部）
制御部１２０は、ＣＰＵ（Central Processing Unit）又はＤＳＰ（Digital Signal Processor）などのプロセッサに相当する。制御部１２０は、記憶部１１０により記憶されるプログラムを実行することにより、次に説明する情報処理装置１００の様々な機能を動作させる。

［２−２．機能構成］
図３は、図２に示した情報処理装置１００の制御部１２０により実現される機能の構成の一例を示すブロック図である。図３を参照すると、制御部１２０は、アプリケーション部１３０、画像認識部１４０、推定部１５０、マップ記憶部１５２、情報取得部１６０、危険認識部１７０、報知部１８０及び設定部１９０を含む。

（アプリケーション部）
アプリケーション部１３０は、実空間に仮想オブジェクトを重畳して表示するＡＲアプリケーションをユーザに提供する。アプリケーション部１３０により提供されるＡＲアプリケーションは、例えば、道案内、作業支援、情報提供又はゲームなど、任意の目的を有するアプリケーションであってよい。アプリケーション部１３０は、入力画像に映る物体と関連付けてユーザに呈示すべき仮想オブジェクトを生成する。そして、アプリケーション部１３０は、生成した仮想オブジェクトを表示する画像を、表示部１１４へ出力する。アプリケーション部１３０は、仮想オブジェクトの表示位置を、入力画像についての画像認識の結果に基づいて決定し得る。

（画像認識部）
画像認識部１４０は、撮像部１０２により撮像される入力画像について画像認識処理を行う。例えば、画像認識部１４０は、入力画像から抽出される特徴データと記憶部１１０により予め記憶される特徴データとを照合し、入力画像に映る実空間内の物体又は領域を認識する。画像認識部１４０による特徴データの照合は、例えば、David G. Loweによる“Distinctive Image Features from Scale-Invariant Keypoints”（the International Journal of Computer Vision, 2004）に記載されたＳＩＦＴ（Scale Invariant Feature Transform）法に従って行われてもよい。また、画像認識部１４０による特徴データの照合は、例えば、Mustafa Oezuysalらによる“Fast Keypoint Recognition using Random Ferns”（IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.32, Nr.3, pp.448-461, March 2010）に記載されたRandom Ferns法に従って行われてもよい。また、画像認識部１４０は、実空間内の物体又は領域の外観に現れるマーカ（人工マーカ又は自然マーカ）を認識してもよい。画像認識部１４０は、画像認識の結果として認識した物体又は領域を特定する情報（例えば、識別子及び入力画像内の位置又は範囲）を、推定部１５０へ出力する。

（推定部）
推定部１５０は、画像認識部１４０による画像認識の結果に基づいて、実空間内に存在する各物体の位置及び各物体と撮像部１０２との間の距離を推定する。例えば、推定部１５０は、各物体（又はマーカ）の実際の大きさと入力画像内での大きさとを比較することにより、各物体と撮像部１０２との間の距離を推定する。そして、推定部１５０は、推定した距離と撮像部１０２の位置及び姿勢（情報処理装置１００の位置及び姿勢）とに応じて、情報処理装置１００を基準とした各物体の相対的な位置を推定する。また、推定部１５０は、ＳＬＡＭ技術の原理に従って、実空間内の各物体と情報処理装置１００との間の相対的な位置関係を動的に推定してもよい。ＳＬＡＭ技術の原理は、Andrew J.Davisonによる“Real-Time Simultaneous Localization and Mapping with a Single Camera”（Proceedings of the 9th IEEE International Conference on Computer Vision Volume 2, 2003, pp.1403-1410）において詳細に説明されている。実空間内の物体と情報処理装置１００との間の距離は、危険の認識において、実空間内の物体とユーザとの間の距離に相当するものとして扱われ得る。

なお、推定部１５０は、撮像部１０２からズーム率などのカメラパラメータを取得し、取得したカメラパラメータに応じて、各物体の位置及び各物体との間の距離についての推定結果を補正してもよい。

（マップ記憶部）
マップ記憶部１５２は、半導体メモリ又はハードディスクなどの記憶媒体を用いて、推定部１５０により推定される各物体の位置を記憶する。それにより、一度画像認識部１４０により認識された物体又は領域を、情報処理装置１００が移動することで当該物体又は領域が入力画像から消えた後でも、情報処理装置１００は認識することができる。

（情報取得部）
情報取得部１６０は、危険認識部１７０による危険の認識のために使用される危険に関する情報を取得する。危険に関する情報は、予め記憶部１１０により記憶されてもよく、又は通信部１０８を介して外部装置から動的に取得されてもよい。

例えば、情報取得部１６０は、実空間における相対的に安全性の低い危険領域を定義する危険領域情報を取得する。危険領域とは、例えば、階段、エスカレータ、車道、横断歩道、プラットフォーム又は工事現場などであってよい。危険領域情報は、各危険領域の識別子及び各危険領域の範囲を示す座標データを含み得る。

また、情報取得部１６０は、実空間においてユーザに危険を及ぼす可能性のある危険物体を定義する危険物体情報を取得する。危険物体とは、実空間内の静的物体及び動的物体のうち、特にユーザに危険を及ぼす可能性の高い物体をいう。危険物体は、例えば、路上の設置物、落下物、看板、柱又は壁などの静的な障害物であってもよい。また、危険物体は、例えば、自動車、自転車又は列車などの高速に移動可能な動的物体であってもよい。危険物体情報は、各危険物体の識別子、特徴データ、又は各危険物体の位置を示す座標データなどを含み得る。

（危険認識部）
危険認識部１７０は、実空間においてユーザに及ぶ危険を認識する。危険認識部１７０は、ＡＲアプリケーションの提供のために使用される入力画像についての画像認識の結果に基づいて危険を認識してもよい。また、危険認識部１７０は、入力画像を用いて認識されない危険を、センサ部１０４の測距センサにより測定される各物体との間の距離に基づいて認識してもよい。さらに、危険認識部１７０は、ユーザに及ぶ危険の原因に対応する実空間の位置又は領域を認識する。そして、危険認識部１７０は、危険を認識すると、危険の内容を表す情報、及び対応する実空間内の位置又は領域を、報知部１８０へ出力する。

図６は、本実施形態において危険認識部１７０が危険を認識するために使用し得るパラメータの例について説明するための説明図である。図６を参照すると、危険認識部１７０が使用し得るパラメータの例として、以下に説明する１２通りのパラメータが示されている。

（１）ユーザ位置
ユーザ位置とは、情報処理装置１００を携帯するユーザの位置である。ユーザの絶対的な位置は、測位部１０６によりＧＰＳ信号を用いて測定され得る。また、近傍の物体又は領域に対するユーザの相対的な位置は、画像認識部１４０による画像認識の結果に基づいて、推定部１５０により推定され得る。近傍のランドマークの絶対的な位置が既知である場合には、ユーザのランドマークからの相対的な位置と既知のランドマークの位置とに基づいて、ユーザの絶対的な位置が算出されてもよい。本実施形態では、ユーザ位置、情報処理装置１００の位置及び撮像部１０２の位置は、近似的に互いに等しいものとして扱われる。

（２）ユーザの移動速度
ユーザの移動速度は、ユーザ位置の時間的変化から算出され得る。また、センサ部１０４が加速度センサを含む場合には、ユーザの移動速度は、加速度センサの出力値の積分によって算出されてもよい。

（３）静的物体の位置
静的物体の相対位置は、画像認識部１４０による画像認識の結果に基づいて、推定部１５０により推定され得る。既知の静的物体の位置は、記憶部１１０により記憶される位置データにより予め定義されてもよい。また、静的物体の位置は、後に例示する外部装置から取得される位置データを用いて認識されてもよい。

（４）静的物体との距離
静的物体とユーザとの間の距離は、ユーザ位置に対する静的物体の相対位置から算出され得る。また、静的物体とユーザとの間の距離は、センサ部１０４に含まれる測距センサを用いて計測されてもよい。

（５）静的物体への接近速度
静的物体へのユーザの接近速度（あるいはユーザへの静的物体の接近速度）は、静的物体とユーザとの間の距離の時間的変化から算出され得る。

（６）動的物体の位置
動的物体の相対位置は、画像認識部１４０による画像認識の結果に基づいて、推定部１５０により推定され得る。また、動的物体の位置は、後に例示する外部装置から取得される位置データを用いて認識されてもよい。

（７）動的物体との距離
動的物体とユーザとの間の距離は、ユーザ位置に対する動的物体の相対位置から算出され得る。また、動的物体とユーザとの間の距離は、センサ部１０４に含まれる測距センサを用いて計測されてもよい。

（８）動的物体への接近速度
動的物体へのユーザの接近速度（あるいはユーザへの動的物体の接近速度）は、動的物体とユーザとの間の距離の時間的変化から算出され得る。

（９）危険物体の存在
危険物体の存在は、画像認識部１４０による画像認識の結果として認識され得る。認識された物体が危険物体か否かは、例えば、認識された物体の識別子を既知の識別子のリストと照合することにより判定されてもよい。その代わりに、移動速度が所定の閾値を上回っている物体が一時的に危険物体として認識されてもよい。

また、危険物体の存在は、危険物体が発するビーコンを通信部１０８が受信することにより認識されてもよい。入力画像に映らない近傍の危険物体の存在は、ユーザ位置とマップ記憶部１５２により記憶されている危険物体の位置との間の距離から認識されてもよい。

（１０）危険物体の位置
危険物体の位置は、静的物体の位置又は動的物体の位置と同様に認識され得る。

（１１）危険領域の範囲
危険領域の範囲は、画像認識部１４０による画像認識の結果として認識され得る。危険領域の範囲は、記憶部１１０により記憶される危険領域情報により予め定義されてもよい。また、危険領域の範囲は、外部装置から取得される危険領域情報を用いて認識されてもよい。

（１２）オブジェクト占拠率
オブジェクト占拠率は、表示される仮想オブジェクトの画面に占める割合を表すパラメータである。危険認識部１７０は、例えば、仮想オブジェクトの表示量を示す情報（例えば、仮想オブジェクトの画面上でのサイズの合計値）をアプリケーション部１３０から取得する。そして、危険認識部１７０は、仮想オブジェクトの表示量を入力画像のサイズ（又は画面サイズ）で除算することにより、オブジェクト占拠率を算出する。

危険認識部１７０は、これら１２通りのパラメータのうち少なくとも１つを使用して、実空間においてユーザに及ぶ危険を認識する。

図７は、本実施形態において危険認識部１７０により認識され得る危険の種別について説明するための説明図である。図７を参照すると、危険認識部１７０により認識され得る危険は、「静的物体との衝突」、「動的物体との衝突」、「危険物体への接近」、「危険領域への接近・侵入」及び「ユーザの注意力の阻害」という５通りの種別に分類される。

（１）静的物体との衝突
危険認識部１７０は、例えば、ある静的物体とユーザとの間の距離が所定の閾値を下回る場合に、ユーザが当該物体に衝突する可能性があると判定してもよい。また、危険認識部１７０は、ある静的物体への接近速度が所定の閾値を上回る場合に、ユーザが当該物体に衝突する可能性があると判定してもよい。そして、危険認識部１７０は、ユーザと衝突する可能性のある静的物体の存在を危険として認識し得る。

（２）動的物体との衝突
危険認識部１７０は、例えば、ある動的物体とユーザとの間の距離が所定の閾値を下回る場合に、ユーザが当該物体に衝突する可能性があると判定してもよい。また、危険認識部１７０は、ある動的物体への接近速度（あるいは当該動的物体のユーザへの接近速度）が所定の閾値を上回る場合に、ユーザが当該物体に衝突する可能性があると判定してもよい。動的物体についての判定の閾値は、上述した静的物体についての判定の閾値とは異なる値であってよい。そして、危険認識部１７０は、ユーザと衝突する可能性のある動的物体の存在を危険として認識し得る。

（３）危険物体への接近
危険認識部１７０は、危険物体へのユーザの接近を危険として認識してもよい。危険認識部１７０は、例えば、画像認識又は危険物体からのビーコンの受信により危険物体の存在を検知した場合に、危険物体へユーザが接近したと判定し得る。また、危険認識部１７０は、危険物体とユーザとの間の距離を所定の閾値と比較することにより、危険物体へユーザが接近したと判定し得る。

（４）危険領域への接近・侵入
危険認識部１７０は、危険領域へのユーザの接近又は進入を危険として認識してもよい。危険認識部１７０は、現在のユーザ位置が危険領域の内部である場合に、危険領域へユーザが進入したと判定し得る。また、危険認識部１７０は、危険領域の境界と現在のユーザ位置との間の距離を所定の閾値と比較することにより、危険領域へユーザが接近したと判定し得る。また、危険認識部１７０は、床面（又は地面）の高さが大きく変化している領域を危険領域として認識してもよい。

（５）ユーザの注意力の阻害
危険認識部１７０は、ユーザの注意力が阻害され得る状態を危険として認識してもよい。危険認識部１７０は、例えば、上述したオブジェクト占拠率が所定の閾値を上回る場合に、ユーザの注意力がＡＲアプリケーションにより阻害され得ると判定してもよい。また、危険認識部１７０は、ユーザの移動速度が所定の閾値を上回る場合に、ユーザの注意力が阻害され得ると判定してもよい。

危険認識部１７０は、これら５通りの種別のいずれかに該当する危険を認識すると、認識した危険の内容を表す情報（例えば、危険の種別、危険物体又は危険領域の識別子若しくは名称など）及び対応する実空間内の位置又は領域を、報知部１８０へ出力する。

（外部装置の例）
外部装置が情報処理装置１００へ危険に関する情報を提供することにより、情報処理装置１００の危険を認識する能力を高めることが可能である。図８〜図１０は、そのような外部装置の例をそれぞれ示している。

図８を参照すると、階段１２に無線送信機２０ａが設置されている。階段１２は、ユーザＵａに及ぶ危険の原因となる可能性のある物体又は領域である。無線送信機２０ａは、周囲の装置へ、危険を知らせるためのビーコンを周期的に送信する。当該ビーコンは、例えば、階段１２の識別子及び位置データを含む。情報処理装置１００の情報取得部１６０は、通信部１０８によりビーコンが受信されると、ビーコンに含まれる情報を外部情報として取得し、取得した情報を危険認識部１７０へ出力する。それにより、危険認識部１７０は、階段１２の存在及びその位置を認識することができる。

図９を参照すると、ユーザＵｂが情報処理装置２０ｂを保持している。情報処理装置２０ｂは、情報処理装置１００と同等の危険報知機能を有する装置である。ユーザＵｂは、ユーザＵａの位置する方向へ向かって走っている。情報処理装置２０ｂは、かかるユーザＵｂの移動速度が所定の閾値を上回ることを認識し、周囲の装置へ危険を知らせるためのビーコンを送信する。当該ビーコンは、例えば、情報処理装置２０ｂの識別子、位置データ及び速度データを含む。情報処理装置１００の情報取得部１６０は、通信部１０８によりビーコンが受信されると、ビーコンに含まれる情報を外部情報として取得し、取得した情報を危険認識部１７０へ出力する。それにより、危険認識部１７０は、ユーザＵａがユーザＵｂと衝突する可能性があることを認識することができる。

図１０を参照すると、情報処理装置１００との間で通信可能なデータサーバ２０ｃが示されている。データサーバ２０ｃは、ユーザに及ぶ危険の原因となる可能性のある物体又は領域を特定するデータ（例えば物体又は領域の識別子）を位置データと関連付けて保持するサーバである。データサーバ２０ｃにより保持されるデータは、例えば、上述した危険物体情報及び危険領域情報に相当する。情報処理装置１００の情報取得部１６０は、通信部１０８を介して、データサーバ２０ｃから危険物体情報及び危険領域情報（図中のダウンロードデータ２２）をダウンロードする。それにより、危険認識部１７０は、ダウンロードされた危険物体情報及び危険領域情報を用いて危険を認識することができる。

（報知部）
報知部１８０は、ＡＲアプリケーションがユーザに提供されている間に危険認識部１７０により危険が認識された場合に、ユーザに危険の存在を報知する。例えば、報知部１８０による報知は、ＡＲアプリケーションの表示を制御することにより行われてもよい。より具体的には、本実施形態において、報知部１８０は、危険認識部１７０により危険が認識されると、ＡＲアプリケーションに割り込みを行う。そして、報知部１８０は、ＡＲアプリケーションの表示を制御する。ＡＲアプリケーションの表示の制御とは、単純にＡＲアプリケーションを中断させ又は停止させることであってもよい。また、報知部１８０は、ＡＲアプリケーションにおいて表示中の仮想オブジェクトの表示を弱めてもよい。一例として、報知部１８０は、表示中の仮想オブジェクトを点滅させ又は透過させる。さらに、報知部１８０は、ＡＲアプリケーションが提供されている表示部１１４の画面上に、警報のためのオブジェクトを表示させてもよい。警報のためのオブジェクトは、例えば、危険認識部１７０により認識された危険の位置又は領域をユーザに示すオブジェクトであってよい。

代替的に又は追加的に、報知部１８０による報知は、ＡＲアプリケーションの表示の制御以外の手段により行われてもよい。例えば、報知部１８０は、スピーカ部１１６から警告音又は警告メッセージを出力させることにより、ユーザに危険の存在を報知してもよい。また、報知部１８０は、振動部１１８を振動させることにより、ユーザに危険の存在を報知してもよい。

報知部１８０は、ＡＲアプリケーションに依存することなく独立して情報処理装置１００に設けられる機能であってよい。その代わりに、情報処理装置１００に搭載されるいずれかのＡＲアプリケーションが、報知部１８０としての機能を有していてもよい。

図１１〜図１４は、本実施形態における報知部１８０による危険の存在の報知の例をそれぞれ示している。

（１）第１の例
図１１の左の画像Ｉｍ１１は、ＡＲアプリケーションにより表示され得る出力画像の一例である。画像Ｉｍ１１において、実空間内の建物に仮想オブジェクトＴ１が重畳されている。仮想オブジェクトＴ１は、例えば、建物内のレストランの評価に関する情報を表現するオブジェクトである。

図１１の右の画像Ｉｍ１２は、画像Ｉｍ１１が表示された後、ユーザＵａが階段１２に近付いた結果として報知部１８０により報知が行われる際の出力画像の例である。画像Ｉｍ１２において、仮想オブジェクトＴ１は透過的に表示されている。それにより、危険の原因となる可能性のある物体又は領域が仮想オブジェクトＴ１により隠されることがない。また、階段の位置（領域）をユーザに示すオブジェクトＡ１、及びユーザに注意を喚起するメッセージを示すオブジェクトＡ２が表示されている。それにより、ユーザは、自らに及ぶ危険を迅速かつ的確に認識することができる。

（２）第２の例
図１２の左の画像Ｉｍ２１は、ＡＲアプリケーションにより表示され得る出力画像の一例である。画像Ｉｍ２１においても、実空間内の建物に仮想オブジェクトＴ１が重畳されている。また、画像Ｉｍ２１には、ユーザＵａにとって障害物となる可能性のあるブロック１０が映っている。

図１２の右の画像Ｉｍ２２は、画像Ｉｍ２１が表示された後、ユーザＵａがブロック１０に近付いた結果として報知部１８０により報知が行われる際の出力画像の例である。画像Ｉｍ２２において、仮想オブジェクトＴ１は画面から消去されている。また、ブロック１０の位置をユーザに示すと共にユーザに注意を喚起するメッセージを示すオブジェクトＡ３が表示されている。ブロック１０は画面の画角から外れているが、例えば、センサ部１０４の測距センサがブロック１０との間の距離を測定することで、又はマップ記憶部１５２がブロック１０の位置を記憶していることで、危険認識部１７０は、ブロック１０がユーザＵａに及ぼす危険を認識することができる。

（３）第３の例
図１３の左の画像Ｉｍ３１は、ＡＲアプリケーションにより表示され得る出力画像の一例である。画像Ｉｍ３１においても、実空間内の建物に仮想オブジェクトＴ１が重畳されている。

図１３の右の画像Ｉｍ３２は、画像Ｉｍ３１が表示された後、ユーザＵａが走り出した結果として、報知部１８０により報知が行われる際の出力画像の例である。画像Ｉｍ３２において、仮想オブジェクトＴ１は画面から消去され、ＡＲアプリケーションは停止している。このように、報知部１８０は、単純にＡＲアプリケーションを中断し又は停止することにより、ユーザに注意を喚起してもよい。

（４）第４の例
図１４の左の画像Ｉｍ４１は、ＡＲアプリケーションにより表示され得る出力画像の一例である。画像Ｉｍ４１においても、実空間内の建物に仮想オブジェクトＴ１が重畳されている。また、ユーザＵａの前方には、溝１４が存在する。このような溝１４もまた、危険物体又は危険領域として認識され得る。

図１４の右の画像Ｉｍ４２は、画像Ｉｍ４１が表示された後、ユーザＵａが溝１４へ接近した結果として、報知部１８０により報知が行われる際の出力画像の例である。画像Ｉｍ４２においても、仮想オブジェクトＴ１は透過的に表示されている。さらに、報知部１８０は、振動部１１８を振動させると共に、スピーカ部１１６から警告メッセージを出力させている。このように、視覚的な報知のみならず触覚又は聴覚を介する報知を行うことで、より強くユーザに注意を喚起することができる。

（設定部）
設定部１９０は、危険認識部１７０による危険認識処理及び報知部１８０による報知処理に関する設定を管理する。例えば、設定部１９０は、危険認識部１７０により危険が認識された際にどの手法で報知が行われるべきかを管理する。設定部１９０は、認識される危険の種別ごとに異なる手法で報知部１８０に報知を行わせてもよい。また、設定部１９０は、入力部１１２を介して報知の手法をユーザに指定させてもよい。

また、例えば、設定部１９０は、同じ危険についてユーザに報知を行う回数の上限値を保持する。報知部１８０は、危険物体及び危険領域の識別子又は位置ごとに、報知の回数をカウントする。そして、報知部１８０は、上限値と等しい回数既にユーザに報知された危険について、当該危険の存在をユーザに報知しなくてもよい。また、例えば、設定部１９０は、ユーザの行動履歴を記録する。ユーザの行動履歴とは、例えば、測位部１０６により測定されるユーザの移動の履歴であってよい。そして、報知部１８０は、ユーザの行動履歴に含まれる行動と同様の行動をユーザが行っている場合には、ユーザに危険の存在を報知しなくてもよい。このような報知の無効化により、ユーザにとって既に認識済みの危険について過剰な報知が行われることを防止することができる。

また、設定部１９０は、報知を無効化すべき危険物体又は危険領域の識別子若しくは位置を入力部１１２を介してユーザに予め指定させてもよい。この場合には、ユーザにより明示的に指定された危険物体又は危険領域についての報知部１８０による報知が無効化される。

＜３．一実施形態に係る処理の流れ＞
次に、本実施形態に係る情報処理装置１００による処理の流れの例を、図１５〜図１９を用いて、５つのシナリオに沿ってそれぞれ説明する。なお、情報処理装置１００は、これら５つのシナリオのいずれか１つの処理のみを実行してもよく、複数の処理を実行してもよい。また、情報処理装置１００は、ここに例示される処理とは異なる流れを有する処理を実行してもよい。

［３−１．第１のシナリオ］
図１５は、第１のシナリオにおける危険報知処理の流れの例を示すフローチャートである。第１のシナリオでは、入力画像についての画像認識の結果に基づく危険の認識が行われる。

図１５を参照すると、まず、画像認識部１４０により入力画像が取得される（ステップＳ１１０）。次に、画像認識部１４０は、取得した入力画像に映る物体を認識する（ステップＳ１１２）。次に、推定部１５０は、画像認識部１４０により認識された各物体の位置及びユーザ位置を推定する（ステップＳ１１４）。次に、推定部１５０は、推定した各物体の位置及びユーザ位置に基づいて、各物体とユーザとの間の距離を算出し、さらに各物体へのユーザの接近速度を算出する（ステップＳ１１６）。

そして、危険認識部１７０は、推定部１５０により推定され又は算出された各物体とユーザとの間の距離及び各物体へのユーザの接近速度をそれぞれ所定の閾値と比較することにより、危険の存在を判定する（ステップＳ１６０）。例えば、ある物体へのユーザの接近速度が所定の閾値を上回る場合には、危険認識部１７０は、当該物体にユーザが衝突する可能性があると判定し得る。また、ある危険物体とユーザとの間の距離が所定の閾値を下回る場合には、危険認識部１７０は、危険物体にユーザが接近していると判定し得る。

ステップＳ１６０において危険認識部１７０により危険が存在すると判定されると、報知部１８０は、アプリケーション部１３０により提供されているＡＲアプリケーションに割り込みを行う（ステップＳ１７０）。そして、報知部１８０は、図１１〜図１４に例示した手法又は他の手法で、危険の存在をユーザに報知する（ステップＳ１８０）。一方、ステップＳ１６０において危険認識部１７０により危険が存在しないと判定されると、処理はステップＳ１１０へ戻る。

［３−２．第２のシナリオ］
図１６は、第２のシナリオにおける危険報知処理の流れの例を示すフローチャートである。第２のシナリオでは、データサーバから受信される危険に関する情報を用いた危険の認識が行われる。

図１６を参照すると、まず、情報取得部１６０は、通信部１０８を介して外部装置から危険に関する情報を取得する（ステップＳ１２０）。ここでは、一例として、図１０に例示したデータサーバ２０ｃから、危険物体を定義する危険物体情報及び危険領域を定義する危険領域情報が取得されるものとする。情報取得部１６０は、ステップＳ１２０において取得した危険領域情報を記憶部１１０に記憶させる（ステップＳ１２２）。次に、測位部１０６は、ユーザ位置を測定する（ステップＳ１２４）。ステップＳ１２４において、測位部１０６によりユーザ位置が測定される代わりに、入力画像についての画像認識の結果に基づいて、推定部１５０によりユーザ位置が推定されてもよい。

そして、危険認識部１７０は、危険領域情報及び危険物体情報とユーザ位置とに基づいて、危険の存在を判定する（ステップＳ１６２）。例えば、危険領域情報により示される危険領域の範囲にユーザ位置が含まれる場合、又は危険領域の境界とユーザ位置との間の距離が所定の閾値を下回る場合には、危険認識部１７０は、ユーザが危険領域に進入し又は接近していると判定し得る。また、危険物体情報により示される危険物体の位置とユーザ位置との間の距離が所定の閾値を下回る場合には、危険認識部１７０は、ユーザの近傍に危険物体が存在していると判定し得る。

ステップＳ１６２において危険認識部１７０により危険が存在すると判定されると、報知部１８０は、アプリケーション部１３０により提供されているＡＲアプリケーションに割り込みを行う（ステップＳ１７０）。そして、報知部１８０は、図１１〜図１４に例示した手法又は他の手法で、危険の存在をユーザに報知する（ステップＳ１８０）。一方、ステップＳ１６２において危険認識部１７０により危険が存在しないと判定されると、処理はステップＳ１２４へ戻る。

［３−３．第３のシナリオ］
図１７は、第３のシナリオにおける危険報知処理の流れの例を示すフローチャートである。第３のシナリオでは、データサーバとは異なる外部装置から受信される情報に基づく危険の認識が行われる。

図１７を参照すると、まず、情報取得部１６０は、通信部１０８を介して外部装置から危険に関する情報を受信する（ステップＳ１３０）。ここでは、一例として、図８に例示した無線送信機２０ａ又は図９に例示した情報処理装置２０ｂから、危険を知らせるビーコンが受信されるものとする。情報取得部１６０により危険を知らせるビーコンが受信されると、危険認識部１７０は、危険を認識する（ステップＳ１６４）。危険認識部１７０は、ビーコンの受信に応じて即座に危険を認識してもよく、又は当該ビーコンに含まれる位置データとユーザ位置とに基づいて危険の存在を判定してもよい。

ステップＳ１６４において危険認識部１７０により危険が認識されると、報知部１８０は、アプリケーション部１３０により提供されているＡＲアプリケーションに割り込みを行う（ステップＳ１７０）。そして、報知部１８０は、図１１〜図１４に例示した手法又は他の手法で、危険の存在をユーザに報知する（ステップＳ１８０）。

［３−４．第４のシナリオ］
図１８は、第４のシナリオにおける危険報知処理の流れの例を示すフローチャートである。第４のシナリオでは、入力画像についての画像認識の結果に基づいて生成されるマップを用いた危険の認識が行われる。

図１８を参照すると、まず、画像認識部１４０により入力画像が取得される（ステップＳ１４０）。次に、画像認識部１４０は、取得した入力画像に映る物体を認識する（ステップＳ１４２）。次に、推定部１５０は、画像認識部１４０により認識された各物体の位置及びユーザ位置を推定する（ステップＳ１４４）。次に、推定部１５０は、推定した各物体の位置及びユーザ位置をマップ記憶部１５２に記憶させる（ステップＳ１４６）。次に、推定部１５０は、マップ記憶部１５２に記憶されている各物体の位置と最新のユーザ位置との間の距離を算出し、さらに各物体へのユーザの接近速度を算出する（ステップＳ１４８）。

そして、危険認識部１７０は、推定部１５０により推定され又は算出された各物体とユーザとの間の距離及び各物体へのユーザの接近速度をそれぞれ所定の閾値と比較することにより、危険の存在を判定する（ステップＳ１６６）。ここで、危険認識部１７０により危険が存在すると判定されると、報知部１８０は、アプリケーション部１３０により提供されているＡＲアプリケーションに割り込みを行う（ステップＳ１７０）。そして、報知部１８０は、図１１〜図１４に例示した手法又は他の手法で、危険の存在をユーザに報知する（ステップＳ１８０）。一方、ステップＳ１６６において危険認識部１７０により危険が存在しないと判定されると、処理はステップＳ１４０へ戻る。

［３−５．第５のシナリオ］
図１９は、第５のシナリオにおける危険報知処理の流れの例を示すフローチャートである。第５のシナリオでは、アプリケーション部１３０から取得される情報を用いた危険の認識が行われる。

図１９を参照すると、まず、危険認識部１７０は、アプリケーション部１３０から、仮想オブジェクトの表示量を示す情報を取得する（ステップＳ１５０）。次に、危険認識部１７０は、仮想オブジェクトの表示量を入力画像のサイズ（又は画面サイズ）で除算することにより、オブジェクト占拠率を算出する（ステップＳ１５２）。

そして、危険認識部１７０は、オブジェクト占拠率を所定の閾値と比較することにより、危険の存在を判定する（ステップＳ１６８）。ここで、危険認識部１７０により危険が存在すると判定されると、報知部１８０は、アプリケーション部１３０により提供されているＡＲアプリケーションに割り込みを行う（ステップＳ１７０）。そして、報知部１８０は、図１１〜図１４に例示した手法又は他の手法で、危険の存在をユーザに報知する（ステップＳ１８０）。一方、ステップＳ１６８において危険認識部１７０により危険が存在しないと判定されると、処理はステップＳ１５０へ戻る。

＜４．まとめ＞
ここまで、図１〜図１９を用いて、本発明の一実施形態について詳細に説明した。本実施形態に係る情報処理装置１００によれば、ＡＲアプリケーションがユーザに提供されている間に実空間においてユーザに及ぶ危険が認識された場合に、ユーザに危険の存在が報知される。それにより、実世界でのユーザの危険に対するリスクが低減される。その結果、ユーザがより安心してＡＲアプリケーションを利用することが可能となる。

また、本実施形態によれば、ユーザへの報知は、ＡＲアプリケーションの表示を制御することにより行われ得る。それにより、ＡＲアプリケーションを利用しているユーザは、報知を見逃すことなく、迅速に危険を認識することができる。

また、本実施形態によれば、報知はＡＲアプリケーションへの割り込みにより行われ得る。従って、どのようなＡＲアプリケーションが情報処理装置１００に搭載されるとしても、ＡＲアプリケーションが提供されている間にユーザに危険の存在を報知することができる。また、ＡＲアプリケーションに依存しない独立した機能として上述した報知機能を実現することもできる。その場合には、個々のＡＲアプリケーションが個別に危険へのリスクを低減させる対策を講じなくてもよいため、ＡＲアプリケーションの開発の自由度も高められる。

また、本実施形態によれば、ＡＲアプリケーションの提供のために使用される入力画像についての画像認識の結果に基づいて、ユーザに及ぶ危険が認識され得る。即ち、画像認識の結果に基づいて、実空間内の物体とユーザとの間の距離、各物体へのユーザの接近速度、又はユーザの移動速度などのパラメータが推定される。そして、推定されたパラメータを用いて危険が認識される。この場合には、ＡＲアプリケーションを提供可能な装置を少ないコストで拡張することにより、上述した危険報知処理を容易に実現することができる。

また、本実施形態によれば、実空間においてユーザと衝突する可能性のある障害物の存在が危険として認識され得る。従って、ＡＲアプリケーションにユーザが注意を奪われている間にユーザが障害物に衝突するリスクが低減される。

また、本実施形態によれば、危険領域へのユーザの接近若しくは進入、又は危険物体への接近も危険として認識され得る。従って、ＡＲアプリケーションにユーザが注意を奪われている間にユーザが危険領域に接近し若しくは進入し又はユーザが危険物体に接近するリスクが低減される。

また、本実施形態によれば、危険に関する情報が外部装置から提供され得る。危険領域又は危険物体を定義する情報がデータサーバから提供される場合には、情報処理装置１００が単独で危険を認識しようとする場合と比較して、情報処理装置１００の危険認識能力が高められる。また、情報処理装置１００と同等の危険報知機能を有する他のユーザの装置が危険に関する情報を提供する場合には、装置間での協調によって、危険をより確実に認識することができる。また、危険の原因となる可能性のある物体又は領域に危険に関する情報を発信する装置が設置される場合には、危険度の高い場所において危険を一層確実に認識することが可能となる。

また、本実施形態によれば、撮像装置の光軸とは異なる方向に沿って実空間内の物体との間の距離を測定可能な測距センサが、危険の認識のために活用される。従って、画像認識のみでは認識し得ない危険をも認識することができる。

また、本実施形態によれば、表示される仮想オブジェクトの画面に占める割合に基づいて、ユーザの注意力が阻害されているか否かが判定される。従って、過剰な数の仮想オブジェクトが画面上に表示されることによりユーザが実世界に存在する危険に気付くのが遅れるというリスクも低減される。

また、本実施形態によれば、報知の回数、ユーザの行動履歴又はユーザによる明示的な設定に基づいて、ユーザにとって不要な報知が無効化される。従って、ユーザにとって望ましくない報知が行われることでユーザによるＡＲアプリケーションの利用が阻害されることが防止される。

また、本実施形態によれば、危険が認識されると、ＡＲアプリケーションは中断され又は停止され得る。この場合には、認識された危険にユーザの注意をより確実に向かわせることができる。また、ＡＲアプリケーションにより表示中の仮想オブジェクトは、点滅され又は透過され得る。従って、入力画像に映る危険の存在が仮想オブジェクトによって完全に隠されることがない。

また、本実施形態によれば、危険が認識されると、画面上に警報のためのオブジェクトが表示され得る。警報のためのオブジェクトは、認識された危険の位置又は領域をユーザに報知し得る。従って、ユーザが危険の原因を迅速に認識することができる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１ 実空間
１０ ブロック（危険物体の例）
１２ 階段（危険領域の例）
２０ａ〜ｃ 外部装置
１００ 情報処理装置
１０２ 撮像部
１０４ センサ部
１０６ 測位部
１０８ 通信部
１１０ 記憶部
１５０ 推定部
１６０ 情報取得部
１７０ 危険認識部
１８０ 報知部
１９０ 設定部

Claims (14)

1. 実空間に仮想オブジェクトを重畳して表示する拡張現実アプリケーションをユーザに提供可能な情報処理装置であって、
   前記拡張現実アプリケーションの提供のために使用される入力画像についての画像認識の結果に基づいて、前記実空間において前記ユーザに及ぶ危険を認識する危険認識部と、
   前記拡張現実アプリケーションが前記ユーザに提供されている間に前記危険認識部により危険が認識された場合に、前記ユーザに危険の存在を報知する報知部と、
   を備える情報処理装置。
2. 前記情報処理装置は、前記画像認識の結果に基づいて前記実空間内の物体と前記入力画像を撮像する撮像装置との間の距離を推定する推定部、をさらに備え、
   前記危険認識部は、前記推定部により推定される各物体と前記撮像装置との間の距離に基づいて、前記実空間において前記ユーザに及ぶ危険を認識する、
   請求項１に記載の情報処理装置。
3. 前記危険認識部は、前記実空間において前記ユーザと衝突する可能性のある障害物の存在を危険として認識する、請求項２に記載の情報処理装置。
4. 前記情報処理装置は、前記実空間における相対的に安全性の低い危険領域を定義する危険領域情報を取得する情報取得部、をさらに備え、
   前記危険認識部は、前記危険領域情報により定義された前記危険領域への前記ユーザの接近又は進入を危険として認識する、
   請求項１に記載の情報処理装置。
5. 前記情報処理装置は、前記実空間において前記ユーザに危険を及ぼす可能性のある危険物体を定義する危険物体情報を取得する情報取得部、をさらに備え、
   前記危険認識部は、前記危険物体情報により定義された前記危険物体への前記ユーザの接近を危険として認識する、
   請求項１に記載の情報処理装置。
6. 前記情報処理装置は、前記画像認識の結果に基づいて前記実空間内の物体の位置及び前記ユーザの位置の少なくとも一方を推定する推定部、をさらに備える、請求項４又は請求項５に記載の情報処理装置。
7. 前記情報処理装置は、前記実空間内の物体と前記ユーザとの間の距離を測定する測距センサ、をさらに備え、
   前記危険認識部は、前記入力画像を用いて認識されない危険を、前記測距センサにより測定される各物体との間の距離に基づいて認識する、
   請求項１に記載の情報処理装置。
8. 前記測距センサは、前記入力画像を撮像する撮像装置の光軸とは異なる方向に沿って距離を測定可能なように設けられる、請求項７に記載の情報処理装置。
9. 前記情報処理装置は、外部装置から危険に関する情報を受信する通信部、をさらに備え、
   前記危険認識部は、前記通信部により受信される前記危険に関する情報を用いて、前記ユーザに及ぶ危険を認識する、
   請求項１に記載の情報処理装置。
10. 前記外部装置は、前記ユーザに及ぶ危険の原因となる可能性のある物体又は領域に設置される装置である、請求項９に記載の情報処理装置。
11. 前記外部装置は、前記情報処理装置と同等の危険報知機能を有する他のユーザの装置である、請求項９に記載の情報処理装置。
12. 前記危険に関する情報は、前記ユーザに及ぶ危険の原因となる可能性のある物体又は領域の位置又は範囲を特定する情報であり、
    前記危険認識部は、前記危険に関する情報と前記ユーザの位置とに基づいて、前記ユーザに及ぶ危険を認識する、
    請求項９に記載の情報処理装置。
13. 実空間に仮想オブジェクトを重畳して表示する拡張現実アプリケーションをユーザに提供可能な情報処理装置における報知方法であって、
    前記拡張現実アプリケーションが前記ユーザに提供されている間に、前記拡張現実アプリケーションの提供のために使用される入力画像についての画像認識の結果に基づいて、前記実空間において前記ユーザに及ぶ危険を認識するステップと、
    危険が認識された場合に、前記ユーザに危険の存在を報知するステップと、
    を含む報知方法。
14. 実空間に仮想オブジェクトを重畳して表示する拡張現実アプリケーションをユーザに提供可能な情報処理装置を制御するコンピュータを、
    前記拡張現実アプリケーションの提供のために使用される入力画像についての画像認識の結果に基づいて、前記実空間において前記ユーザに及ぶ危険を認識する危険認識部と、
    前記拡張現実アプリケーションが前記ユーザに提供されている間に前記危険認識部により危険が認識された場合に、前記ユーザに危険の存在を報知する報知部と、
    として機能させるためのプログラム。
    

Images