WO2022259450A1

WO2022259450A1 - 情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体

Info

Publication number: WO2022259450A1
Application number: PCT/JP2021/022070
Authority: WO
Inventors: 哲也冬野; 成彦高地
Original assignee: 日本電気株式会社
Priority date: 2021-06-10
Filing date: 2021-06-10
Publication date: 2022-12-15
Also published as: JPWO2022259450A1; JP7529156B2

Abstract

情報処理装置（１０）は、ユーザ端末によりユーザの視野を撮影することにより生成された撮影画像を取得する画像取得部（１２）と、撮影画像から、施設に関連する施設外設置物を検出し、検出した施設外設置物に基づいて対象施設を特定する特定部（１３）と、対象施設に関連する施設関連情報に基づいて、重畳情報を生成する生成部（１４）と、視野を示す視野領域に重畳情報が重なるように、ユーザ端末に対して重畳情報を表示させる出力制御部（１５）とを備える。

Description

情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体

　本開示は、情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体に関し、特にユーザに対して施設に関する情報を提供する情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体に関する。

　ユーザの視界にある物体の情報を、ユーザの視界に重なるように表示させる装置が開発されている。例えば、特許文献１には、ウェアラブルデバイスのカメラで撮影した画像中に存在する商品を検知し、商品に関する重畳情報を生成し、重畳情報を撮影画像に重畳して表示させる情報処理装置が開示されている。

　また、特許文献２には、ヘッドマウントディスプレイ（ＨＭＤ）の位置情報及び視線方向に基づいて使用者の仮想視野を設定し、地図データベースとの照合により検索された、仮想視野内にある店舗の情報を、ＨＭＤに表示させる店舗サーバが開示されている。

　また、特許文献３には、ユーザ端末の端末位置情報及び方位情報と、店舗位置情報とを基に、撮影画像に含まれる建物の店舗を特定し、撮影画像の、店舗が存在する階層の位置に、店舗の識別情報を重畳させる情報処理装置が開示されている。

特開２０１９－２１２０３９号公報特開２０１７－１８２４１３号公報特開２０１７－１２６１４２号公報

　上述の特許文献１に記載の方法では、実際に店舗に入場する前に、ユーザがその店舗の商品に関する重畳情報を把握できない。また、上述の特許文献２～３に記載の方法では、ユーザ端末の正確な位置情報及び方位情報と、店舗の正確な位置情報とが必要となり、いずれかに誤差が生じると検出対象の店舗を正しく特定できない。

　本開示の目的は、上述した課題に鑑み、ユーザが施設を利用する前に、ユーザに対して施設の関連情報を容易に提供できる情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体を提供することにある。

　本開示の一態様にかかる情報処理装置は、
　ユーザ端末によりユーザの視野を撮影することにより生成された撮影画像を取得する画像取得手段と、
　前記撮影画像から、施設に関連する施設外設置物を検出し、検出した前記施設外設置物に基づいて対象施設を特定する特定手段と、
　前記対象施設に関連する施設関連情報に基づいて、重畳情報を生成する生成手段と、
　前記視野を示す視野領域に前記重畳情報が重なるように、前記ユーザ端末に対して前記重畳情報を表示させる出力制御手段と
　を備える。

　本開示の一態様にかかる情報処理システムは、
　ユーザが使用し、前記ユーザの視野を撮影するユーザ端末と、
　情報処理装置と
　を備え、
　前記情報処理装置は、
　前記ユーザ端末により生成された撮影画像を取得する画像取得手段と、
　前記撮影画像から、施設に関連する施設外設置物を検出し、検出した前記施設外設置物に基づいて対象施設を特定する特定手段と、
　前記対象施設に関連する施設関連情報に基づいて、重畳情報を生成する生成手段と、
　前記視野を示す視野領域に前記重畳情報が重なるように、前記ユーザ端末に対して前記重畳情報を表示させる出力制御手段と
　を有する。

　本開示の一態様にかかる情報処理方法は、
　ユーザ端末によりユーザの視野を撮影することにより生成された撮影画像を取得し、
　前記撮影画像から、施設に関連する施設外設置物を検出し、検出した前記施設外設置物に基づいて対象施設を特定し、
　前記対象施設に関連する施設関連情報に基づいて、重畳情報を生成し、
　前記視野を示す視野領域に前記重畳情報が重なるように、前記ユーザ端末に対して前記重畳情報を表示させる。

　本開示の一態様にかかる非一時的なコンピュータ可読媒体は、
　ユーザ端末によりユーザの視野を撮影することにより生成された撮影画像を取得する画像取得処理と、
　前記撮影画像から、施設に関連する施設外設置物を検出し、検出した前記施設外設置物に基づいて対象施設を特定する特定処理と、
　前記対象施設に関連する施設関連情報に基づいて、重畳情報を生成する生成処理と、
　前記視野を示す視野領域に前記重畳情報が重なるように、前記ユーザ端末に対して前記重畳情報を表示させる出力制御処理と
　を、コンピュータに実行させるためのプログラムが格納される。

　本開示により、ユーザが施設を利用する前に、ユーザに対して施設の関連情報を容易に提供できる情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体を提供できる。

実施形態１にかかる情報処理装置の構成を示すブロック図である。実施形態１にかかる情報処理方法の流れを示すフローチャートである。実施形態２にかかる情報処理システムの全体構成を示すブロック図である。実施形態２にかかる第１ユーザ端末の構成を示すブロック図である。実施形態２にかかる第２ユーザ端末の構成を示すブロック図である。実施形態２にかかるサーバ１００の構成を示すブロック図である。実施形態２にかかるユーザ登録処理の流れを示すシーケンス図である。実施形態２にかかる第２ユーザ端末に表示される個人情報の入力画面の一例を示す図である。実施形態２にかかる出力処理の流れを示すシーケンス図である。実施形態２にかかるユーザの視野の撮影画像を示す図である。実施形態２にかかる第１ユーザ端末に表示される重畳情報の一例を示す図である。実施形態２にかかる第１ユーザ端末に表示される重畳情報の他の例を示す図である。実施形態３にかかるサーバの構成を示すブロック図である。実施形態３にかかる選択操作の検出処理を説明するための図である。実施形態３にかかる第１ユーザ端末に表示される第２の重畳情報の一例を示す図である。実施形態４にかかるサーバの構成を示すブロック図である。実施形態４にかかる第１ユーザ端末に表示される重畳情報の一例を示す図である。実施形態５にかかるサーバの構成を示すブロック図である。実施形態５にかかる寄与判定処理の一例を示すフローチャートである。実施形態６にかかる第２ユーザ端末に表示される個人情報の重要度の入力画面の一例を示す図である。

　以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。

　＜実施形態１＞
　まず、本開示の実施形態１について説明する。図１は、実施形態１にかかる情報処理装置１０の構成を示すブロック図である。
　情報処理装置１０は、ユーザに対して施設に関する情報を提供する情報処理装置である。施設は、店舗、観光施設、美術館や博物館、設営されたイベント会場やテーマパーク等である。ここで、情報処理装置１０は、ネットワーク（不図示）に接続される。ネットワークは、有線であっても無線であってもよい。また、当該ネットワークには、ユーザが使用するユーザ端末（不図示）が直接的又は間接的に接続されている。つまり、情報処理装置１０は、ユーザ端末と通信可能に接続される。

　情報処理装置１０は、画像取得部１２と、特定部１３と、生成部１４と、出力制御部１５とを備える。

　画像取得部１２は、画像取得手段とも呼ばれる。画像取得部１２は、ユーザの視野を示す撮影画像を取得する。撮影画像は、ユーザ端末がユーザの視野を撮影することで生成された撮影画像である。画像取得部１２は、取得した撮影画像を特定部１３に供給する。

　特定部１３は、特定手段とも呼ばれる。特定部１３は、撮影画像から、施設に関連する施設外設置物を検出する。ここで、施設外設置物とは、施設の外部に設置され、外部から視認可能な物体である。例えば施設外設置物は、看板、ロゴマークのパネル、あるいは施設の入口外観である。検出対象となる施設外設置物の種別は、予め定められてよい。そして、特定部１３は、検出した施設外設置物に基づいて、ユーザの視野内に存在する対象施設を特定する。特定部１３は、特定した対象施設の識別情報（ＩＤ）を生成部１４に供給する。

　生成部１４は、生成手段とも呼ばれる。生成部１４は、特定した対象施設のＩＤを用いて、対象施設に関連する施設関連情報を取得する。施設関連情報は、例えば、施設又は施設に関連する商品若しくはサービスの、広告、レコメンド情報、割引情報、在庫情報、又は取り置き可否を示す情報であってよい。そして生成部１４は、上記施設関連情報に基づいて、重畳情報を生成する。重畳情報は、画像情報である。生成部１４は、重畳情報を出力制御部１５に供給する。

　出力制御部１５は、出力制御手段とも呼ばれる。出力制御部１５は、ユーザの視野を示す視野領域に重畳情報が重なるように、ユーザ端末に対して重畳情報を表示させる。

　図２は、実施形態１にかかる情報処理方法の流れを示すフローチャートである。まず、情報処理装置１０の画像取得部１２は、ユーザ端末で撮影された、ユーザの視野の撮影画像を取得する（Ｓ１０）。次に、特定部１３は、撮影画像から施設外設置物を検出する（Ｓ１１）。次に、特定部１３は、検出した施設外設置物に基づいて、対象施設を特定する（Ｓ１２）。次に、生成部１４は、特定した対象施設に関連する施設関連情報を取得し、施設関連情報に基づいて重畳情報を生成する（Ｓ１３）。次に、出力制御部１５は、ユーザの視野領域に重畳情報が重なるように、ユーザ端末に重畳情報を表示させる（Ｓ１４）。

　このように実施形態１によれば、情報処理装置１０は、撮影画像に含まれる施設外設置物から対象施設を特定し、対象施設に関連する情報をユーザ端末に出力させる。これにより、情報処理装置１０は、ユーザが対象施設を利用する前に、ユーザに対して対象施設の関連情報を容易に提供できる。したがってユーザにとっては、対象施設を利用するかしないかを容易に判断できる。例えば観光地において、ユーザがユーザ端末越しにお土産屋の入り口・看板を覗くだけで、ユーザ端末に、各店舗がおすすめする、ピックアップされたお土産の情報が、店舗等に重ねてポップアップ表示されることができる。したがって、ユーザは、各店舗に入店しなくても各店舗のお土産を比較することができる。これは、お土産を購入する時間がないときや、店舗が混雑している際に有用である。一方で、施設側にとっては、ユーザの施設への関心を高め、施設の利用を効果的に促すことができる。

　＜実施形態２＞
　次に、本開示の実施形態２について説明する。
　図３は、実施形態２にかかる情報処理システム１０００の全体構成を示すブロック図である。情報処理システム１０００は、観光地や街中を歩くユーザに、施設外から、施設に関する情報を提供するコンピュータシステムである。情報処理システム１０００は、情報処理装置（以下、サーバと呼ぶ）１００と、ユーザＵが使用するユーザ端末（群）とを備える。ユーザ端末（群）は、第１ユーザ端末２００と、第２ユーザ端末３００とを含む。サーバ１００及び第２ユーザ端末３００は、ネットワークＮを介して互いに接続されている。ここで、ネットワークＮは、有線又は無線の通信回線である。

　第１ユーザ端末２００は、ユーザＵの身体に装着されたウェアラブル端末である。例えば、第１ユーザ端末２００は、ユーザＵの頭部に装着されたウェアラブル端末である。一例として、第１ユーザ端末２００は、ユーザＵの視野を示す視野領域に画像情報（重畳情報）を表示させることが可能なＡＲ（Augmented Reality）グラス又はＭＲ（Mixed Reality）グラスといった眼鏡型端末である。第１ユーザ端末２００は、第２ユーザ端末３００に有線又は無線で接続されている。例えば第１ユーザ端末２００は、Bluetooth（登録商標）等の近距離無線通信によって、第２ユーザ端末３００に接続されている。第１ユーザ端末２００は、ユーザＵの視野を撮影し、撮影画像を、第２ユーザ端末３００を介してサーバ１００に送信する。また第１ユーザ端末２００は、第２ユーザ端末３００を介してサーバ１００から受信した重畳情報を、ユーザＵの視野領域に重ねて表示する。

　第２ユーザ端末３００は、ユーザＵが使用する、スマートフォン、タブレット端末又はパーソナルコンピュータ（ＰＣ）等の情報端末である。第２ユーザ端末３００は、第１ユーザ端末２００とサーバ１００との間の情報の送受信を中継する。また、第２ユーザ端末３００は、予めユーザＵの個人情報をサーバ１００のユーザデータベース（ＤＢ）（不図示）に登録させる。

　サーバ１００は、第２ユーザ端末３００から個人情報を受信し、個人情報に基づいてユーザ登録を行う。また、サーバ１００は、第２ユーザ端末３００を介して第１ユーザ端末２００から、ユーザＵの視野を示す撮影画像を受信する。そして、サーバ１００は、撮影画像から、ユーザＵの視野内に含まれる対象施設を特定し、対象施設の関連情報に基づいて重畳情報を生成する。尚、重畳情報の生成には、個人情報が用いられてもよい。そして、サーバ１００は、重畳情報を、第２ユーザ端末３００を介して第１ユーザ端末２００に送信する。

　ここで、第１ユーザ端末２００について詳細に説明する。図４は、実施形態２にかかる第１ユーザ端末２００の構成を示すブロック図である。第１ユーザ端末２００は、カメラ２１０と、記憶部２２０と、通信部２３０と、表示部２４０と、入力部２５０と、制御部２６０とを備える。

　カメラ２１０は、制御部２６０の制御に応じて撮影を行う撮影装置である。カメラ２１０は、その視野が、ユーザＵの視野に対応するように、第１ユーザ端末２００に設けられている。例えば、カメラ２１０は、ユーザＵが第１ユーザ端末２００を装着した場合に、その光軸方向がユーザＵの視線方向と対応するように設けられている。記憶部２２０は、第１ユーザ端末２００の各機能を実現するためのプログラムが格納される記憶装置である。通信部２３０は、第２ユーザ端末３００との通信のための通信インタフェースである。表示部２４０は、表示装置である。第１ユーザ端末２００がＡＲグラスやＭＲグラスの場合は、表示部２４０はレンズ上に配設される。入力部２５０は、入力を受け付ける入力装置である。尚、本実施形態２において、入力部２５０は必須ではない。制御部２６０は、第１ユーザ端末２００が有するハードウェアの制御を行う。

　制御部２６０は、カメラ２１０を制御し、ユーザＵが視認できる風景（視野）を撮影する。そして、制御部２６０は、通信部２３０を介して、撮影画像を第２ユーザ端末３００に送信する。また制御部２６０は、第２ユーザ端末３００から受信した重畳情報を、表示部２４０に表示する。尚、第１ユーザ端末２００がＡＲグラスの場合、ユーザＵの視野領域は、視野を撮影した撮影画像に相当する。この場合、制御部２６０は、撮影画像に重畳情報を重畳させた画像を、表示部２４０に表示する。一方、第１ユーザ端末２００がＭＲグラスの場合、ユーザＵの視野領域は、レンズを介してユーザＵが視認できる実空間の領域である。この場合、制御部２６０は、上述の実空間に重畳情報が重なるように、重畳情報をレンズ上の表示部２４０に表示する。

　次に、第２ユーザ端末３００について詳細を説明する。図５は、実施形態２にかかる第２ユーザ端末３００の構成を示すブロック図である。第２ユーザ端末３００は、カメラ３１０と、記憶部３２０と、通信部３３０と、表示部３４０と、入力部３５０と、制御部３６０とを備える。

　カメラ３１０は、制御部３６０の制御に応じて撮影を行う撮影装置である。尚、本実施形態２において、カメラ３１０は必須ではない。記憶部３２０は、第２ユーザ端末３００の各機能を実現するためのプログラムが格納される記憶装置である。通信部３３０は、第１ユーザ端末２００との通信のための通信インタフェースと、ネットワークＮとの通信インタフェースとを含む。表示部３４０は、表示装置である。入力部３５０は、入力を受け付ける入力装置である。表示部３４０及び入力部３５０は、タッチパネルのように、一体的に構成されていてもよい。制御部３６０は、第２ユーザ端末３００が有するハードウェアの制御を行う。

　制御部３６０は、ユーザ登録時に、ユーザＵから入力部３５０を介して受け付けた個人情報を、通信部３３０を介してサーバ１００に送信する。また制御部３６０は、通信部３３０を介して、第１ユーザ端末２００から撮影画像を受信し、撮影画像をユーザＩＤとともにサーバ１００に送信する。また制御部３６０は、通信部３３０を介して、サーバ１００から受信した重畳情報を、第１ユーザ端末２００に送信する。

　次に、サーバ１００について詳細を説明する。図６は、実施形態２にかかるサーバ１００の構成を示すブロック図である。サーバ１００は、記憶部１１０、メモリ１２０、通信部１３０、及び制御部１４０を備える。

　記憶部１１０は、ハードディスク、フラッシュメモリ等の記憶装置である。記憶部１１０は、プログラム１１１と、ユーザＤＢ１１２と、施設ＤＢ１１３とを記憶する。プログラム１１１は、本実施形態２にかかる情報処理方法の処理が実装されたコンピュータプログラムである。

　ユーザＤＢ１１２は、ユーザＵに関連する基本情報を記憶するデータベースである。具体的には、ユーザＤＢ１１２は、ユーザＩＤ１１２１と、個人情報１１２２とを対応付けた情報を記憶する。ここで、ユーザＩＤ１１２１は、ユーザＵを識別する情報である。

　個人情報１１２２は、ユーザＵの属性情報、位置情報、行動状態情報、行動履歴、購入履歴及びスケジュール情報のうち少なくとも１つを含む。一例として本図では、個人情報１１２２は、ユーザＵの属性情報、位置情報、及び行動状態情報を含んでいる。属性情報は、年齢、居住地、性別、家族構成、連絡先、クレジットカード番号、アレルギー情報、宗教情報、志向属性、及び嗜好性情報（趣味嗜好）のうち少なくとも１つを含んでよい。位置情報は、ユーザＵが使用する第１ユーザ端末２００又は第２ユーザ端末３００の位置情報である。行動状態情報は、ユーザＵの現在の行動状態を示す情報である。行動状態は、一例として、移動中、観光中、又は食事中等であってよい。

　施設ＤＢ１１３は、施設に関連する各種情報を記憶するデータベースである。具体的には、施設ＤＢ１１３は、施設ＩＤ１１３１と、施設特徴情報１１３２と、施設関連情報１１３３とを備える。

　施設ＩＤ１１３１は、施設を識別する情報である。
　施設特徴情報１１３２は、予め定められた種類の施設外設置物の特徴量に関する情報である。特徴量は、その施設外設置物を示す画像から抽出される。
　施設関連情報１１３３は、その施設の基本情報を含む、施設に関連する情報である。基本情報は、施設の営業時間若しくは位置情報、施設のウェブサイトのＵＲＬ（Uniform Resource Locator）、施設が扱う商品若しくはサービスの情報、又は当該商品若しくはサービスを購入可能なＥＣ（Electronic Commerce）サイトのＵＲＬ等であってよい。また施設関連情報１１３３は、基本情報に加えて又は代えて、その施設や施設が扱う商品若しくはサービスの、広告、リコメンド情報、割引情報、在庫情報、又は取り置き可否を示す情報を含んでよい。

　メモリ１２０は、ＲＡＭ（Random Access Memory）等の揮発性記憶装置であり、制御部１４０の動作時に一時的に情報を保持するための記憶領域である。通信部１３０は、ネットワークＮとの通信インタフェースである。

　制御部１４０は、サーバ１００の各構成を制御するプロセッサつまり制御装置である。制御部１４０は、記憶部１１０からプログラム１１１をメモリ１２０へ読み込ませ、プログラム１１１を実行する。これにより、制御部１４０は、個人情報取得部１４１、画像取得部１４２、特定部１４３、生成部１４４及び出力制御部１４５の機能を実現する。

　個人情報取得部１４１は、個人情報取得手段とも呼ばれる。個人情報取得部１４１は、第２ユーザ端末３００からユーザ登録要求を受信し、ユーザ登録を行う。このとき個人情報取得部１４１は、第２ユーザ端末３００からユーザＵの個人情報を取得する。また、個人情報取得部１４１は、ユーザ登録時に関わらず、所定のタイミングで、ユーザＩＤとともに、ユーザＵの個人情報を取得してよい。

　以下では、個人情報の取得方法の例を挙げる。例えば、個人情報取得部１４１は、ユーザが入力した属性情報を第２ユーザ端末３００から取得する。また個人情報取得部１４１は、所定のタイミングで、第２ユーザ端末３００の位置情報を第２ユーザ端末３００から取得する。尚、個人情報取得部１４１は、第２ユーザ端末３００の位置情報に基づいて行動状態情報を生成してよい。あるいは、個人情報取得部１４１は、第２ユーザ端末３００からユーザＵのスケジュール情報を取得し、スケジュール情報に基づいて行動状態情報を生成してもよい。尚、個人情報取得部１４１は、ユーザＵのスケジュール情報を、スケジュールを管理するスケジュール管理アプリケーションから取得してよい。

　個人情報１１２２に行動履歴が含まれる場合は、個人情報取得部１４１は、第２ユーザ端末３００の位置履歴又は上述したスケジュール情報に基づいて、行動履歴を生成してよい。あるいは、個人情報取得部１４１は、ユーザ購入履歴から、行動履歴を生成してもよい。尚、個人情報取得部１４１は、購入履歴を管理するアプリケーションから、ユーザＵの購入履歴を取得してよい。

　個人情報取得部１４１は、第２ユーザ端末３００から取得した個人情報、及び第２ユーザ端末３００から取得した情報に基づいて生成することにより得られた個人情報を、ユーザ登録に伴い発行されたユーザＩＤに対応付けてユーザＤＢ１１２に登録する。

　画像取得部１４２は、上述した画像取得部１２の一例である。画像取得部１４２は、第２ユーザ端末３００から、第１ユーザ端末２００を介して、撮影画像を受信し、取得する。

　特定部１４３は、上述した特定部１３の一例である。特定部１４３は、撮影画像から予め定められた種類の施設外設置物を検出する。一例として、看板が所定の施設外設置物である場合、特定部１４３は、撮影画像から矩形領域を検出し、矩形領域から文字領域又は図形領域を検出してよい。また一例として、ロゴマークのパネルが所定の施設外設置物である場合、特定部１４３は、撮影画像から図形領域を検出してよい。また一例として、建物の入口外観が所定の施設外設置物である場合、特定部１４３は、建物の外観領域やドアの周辺領域を検出してよい。

　次に、特定部１４３は、撮影画像から検出した画像領域を切り出し、切り出し画像に含まれる特徴量を抽出する。次に、特定部１４３は、切り出し画像から抽出された特徴量と、施設ＤＢ１１３に含まれる施設特徴情報１１３２とを照合し、切り出し画像から抽出された特徴量との類似度が所定閾値以上の施設特徴情報１１３２があるか否かを判定する。特定部１４３は、類似度が所定閾値以上の施設特徴情報１１３２がある場合、その施設特徴情報１１３２に対応する施設ＩＤ１１３１を、対象施設のＩＤとして特定する。

　生成部１４４は、上述した生成部１４の一例である。
　生成部１４４は、施設ＤＢ１１３において、特定した施設ＩＤ１１３１に対応付けられる施設関連情報１１３３を取得する。そして生成部１４４は、取得した施設関連情報１１３３に基づいて、重畳情報を生成する。例えば、生成部１４４は、取得した施設関連情報１１３３を、そのまま重畳情報として特定（生成）してよい。また、生成部１４４は、施設関連情報１１３３に対象施設のウェブサイトのＵＲＬ又はＥＣサイトのＵＲＬが含まれる場合は、当該ＵＲＬにアクセスし、ウェブサイト又はＥＣサイトから商品又はサービスの情報を取得してよい。そして生成部１４４は、取得した商品又はサービスの情報を施設関連情報１１３３として追加し、これらの施設関連情報１１３３を重畳情報に含ませてよい。この場合は、サーバ１００は、施設ＤＢ１１３に、全施設に関連する全ての情報を記憶していなくてもよいため、記憶容量を節約できる。またサーバ１００は、特定した対象施設に関して最新の情報を、ユーザＵに提供できる。

　ここで、生成部１４４は、取得した施設関連情報１１３３が複数ある場合、ユーザＵの個人情報に基づいて各施設関連情報１１３３の優先度を設定し、各施設関連情報１１３３の優先度に基づいて重畳情報を生成してよい。尚、上記施設関連情報１１３３には、ウェブサイト又はＥＣサイトから取得した情報を含んでよい。優先度は、重畳情報の基礎となる施設関連情報１１３３を所定量に限定するため、あるいは重畳情報内の各施設関連情報１１３３の表示順位又は表示態様を変えるために用いられる。

　取得した施設関連情報１１３３が複数ある場合とは、（１）特定した施設ＩＤ１１３１が複数ある場合（すなわち、撮影画像から対象施設が複数特定された場合）、（２）特定した１の施設ＩＤ１１３１に対応付けられる施設関連情報１１３３（すなわち、対象施設に関連する施設関連情報１１３３）が複数ある場合、又は両方に該当する場合が挙げられる。
　（１）の場合、まず生成部１４４は、特定した各施設ＩＤ１１３１に対応付けられる施設関連情報１１３３と、ユーザＵの個人情報とに基づいて、特定した各施設ＩＤ１１３１の優先度を設定する。そして、生成部１４４は、各施設ＩＤ１１３１の優先度に基づいて、施設ＩＤ１１３１に対応付けられた施設関連情報１１３３の優先度を設定する。
　（２）の場合、生成部１４４は、ユーザＵの個人情報に基づいて、１の施設ＩＤ１１３１に対応付けられた施設関連情報１１３３の各々について優先度を設定する。
　尚、（１）及び（２）に該当する場合は、まず生成部１４４は、特定した各施設ＩＤ１１３１に対応付けられる施設関連情報１１３３と、ユーザＵの個人情報とに基づいて、特定した各施設ＩＤ１１３１の優先度を設定してよい。そして生成部１４４は、各施設ＩＤ１１３１について、その施設ＩＤ１１３１の優先度と、ユーザＵの個人情報とに基づいて、その施設ＩＤ１１３１に対応付けられた各施設関連情報１１３３の優先度を設定してよい。あるいは、生成部１４４は、各施設ＩＤ１１３１に対応付けられた全施設関連情報１１３３の優先度を、その施設ＩＤ１１３１の優先度と一致するように設定してもよい。

　（１）及び（２）の場合、例えば、以下の（ａ）～（ｃ）のような施設関連情報１１３３の優先度の設定ルールが挙げられる。
　（ａ）生成部１４４は、第２ユーザ端末３００の位置情報を用いて、ユーザＵの位置と施設ＩＤ１１３１の施設の位置との距離に基づいて、施設ＩＤ１１３１及び施設ＩＤ１１３１に対応付けられた施設関連情報１１３３の優先度を設定してよい。例えば生成部１４４は、両者の距離が小さいほど、優先度が高くなるように設定してよい。また例えば生成部１４４は、両者の距離が閾値未満である場合に、優先度が所定量高くなるように設定してよい。
　（ｂ）生成部１４４は、各施設関連情報１１３３と、ユーザＵの年齢又は性別等の属性情報との関連度を算出し、関連度が高いほど、施設ＩＤ１１３１及び施設ＩＤ１１３１に対応付けられた施設関連情報１１３３の優先度を高く設定してよい。一例として生成部１４４は、若年層であるユーザＵに対しては、若者向けの商品又はサービスを扱う施設の施設ＩＤ１１３１や、若者向けの商品又はサービスに関する施設ＩＤ１１３１の優先度を、他の年齢層のものよりも所定量高く設定する。また生成部１４４は、女性のユーザＵに対しては、女性向けの商品又はサービスを扱う施設の施設ＩＤ１１３１や、女性向けの商品又はサービスに関する施設関連情報１１３３の優先度を、男性向けのものよりも所定量高く設定する。
　（ｃ）生成部１４４は、ユーザＵの趣味嗜好との関連度が高い商品又はサービスを扱う施設の施設ＩＤ１１３１や、当該商品又はサービスに関する施設関連情報１１３３ほど、優先度を高く設定してよい。ここで、生成部１４４は、ユーザＵの購入履歴や行動履歴からユーザＵの趣味嗜好を解析してよい。例えば、生成部１４４は、ユーザＵが頻繁に購入する商品をユーザＵが気に入っている商品であると推定し、頻繁に購入する商品に類似品に関する施設関連情報１１３３（広告やＥＣサイトの情報）の優先度を所定量加算する。このとき生成部１４４は、類似品が複数ある場合、優先度の加算量を、その商品の価格に基づいて設定してよい。例えば、類似品の価格が高いほど、優先度の加算量が大きくなってよい。また例えば、生成部１４４は、ユーザＵが頻繁に旅行に行く場合、旅行との関連度が高い商品又はサービスを扱う施設の施設関連情報１１３３の優先度を所定量加算する。
　（ｄ）生成部１４４は、各施設関連情報１１３３と、ユーザＵの現在の行動状態との関連度を算出し、関連度が高いほど、施設ＩＤ１１３１及び施設ＩＤ１１３１に対応付けられた施設関連情報１１３３の優先度を高く設定してよい。例えば、生成部１４４は、ユーザＵが「観光中」である場合、観光客を対象とした施設の施設ＩＤ１１３１及び施設ＩＤ１１３１に対応付けられた施設関連情報１１３３の優先度を所定量高く設定してよい。

　そして生成部１４４は、優先度に基づいて施設関連情報１１３３を選択してよい。例えば、生成部１４４は、優先度が所定閾値以上である施設関連情報１１３３を選択してよい。また例えば、生成部１４４は、優先度が上位所定個の施設関連情報１１３３を選択してよい。そして生成部１４４は、選択した施設関連情報１１３３を、重畳情報として特定（生成）してよい。

　またこれに代えて、生成部１４４は、複数の施設関連情報１１３３の各々を個別の重畳情報として特定（生成）し、優先度に基づいて重畳情報間の表示順位又は表示態様を決定してもよい。表示順位又は表示態様は、重畳情報が第１ユーザ端末２００に表示される場合の、各施設関連情報１１３３に対応する重畳情報間の表示順位又はその重畳情報の表示態様である。例えば優先度が高い施設関連情報１１３３に対応する重畳情報については、表示順位を高くしたり、強調表示したりしてよい。

　このように、サーバ１００は、ユーザＵの個人情報に応じてパーソナライズされた重畳情報を、ユーザＵに提供する。これにより、ユーザＵにとっては、施設を利用する前に施設を利用するかしないかの判断をさらに容易にできる。したがって、ユーザＵの満足度を高めることができる。例えばユーザＵがショッピングモール等で洋服の買い物をする際、第１ユーザ端末２００越しに各店舗の入り口・看板を覗くだけで、第１ユーザ端末２００上に、パーソナライズされた情報が店舗等に重ねてポップアップ表示される。一例として、ユーザＵの趣味に合った洋服を販売する店舗に、おすすめの洋服が重ねてポップアップ表示される。これにより、ユーザＵは、各店舗に入店しなくても各店舗の洋服を比較することができる。これは、洋服を購入する時間がないときや、店舗が混雑している際に有用である。一方、施設側にとっては、ユーザＵに対して、施設の利用をより効果的に促すことが可能となる。

　出力制御部１４５は、上述した出力制御部１５の一例である。出力制御部１４５は、第２ユーザ端末３００を介して第１ユーザ端末２００に重畳情報を送信することで、第１ユーザ端末２００の表示部２４０に重畳情報を表示させる。このとき、出力制御部１４５は、ユーザＵの視野領域における、検出した施設外設置物に重畳情報が重なる又は施設外設置物の近傍に位置するように、重畳情報の表示位置を指定する情報を、第２ユーザ端末３００を介して第１ユーザ端末２００に送信してよい。

　尚、出力制御部１４５は、第２ユーザ端末３００に対して、個人情報の入力手段を出力させる機能を有してよい。

　図７は、実施形態２にかかるユーザ登録処理の流れを示すシーケンス図である。まず第２ユーザ端末３００は、サーバ１００に対してユーザ登録要求を送信する（Ｓ１００）。サーバ１００の出力制御部１４５は、個人情報の入力領域（入力画面とも呼ばれる）を、第２ユーザ端末３００に対して送信し、第２ユーザ端末３００に表示させる（Ｓ１０１）。尚、サーバ１００の出力制御部１４５は、これに代えて個人情報の音声入力手段を、第２ユーザ端末３００に対して出力させてもよい。ここで、ユーザＵは、第２ユーザ端末３００の入力部３５０を用いて、個人情報の入力操作を行う（Ｓ１０２）。入力操作を受け付けた第２ユーザ端末３００は、入力された個人情報を、サーバ１００に送信する（Ｓ１０３）。これにより、サーバ１００の個人情報取得部１４１は、入力領域に入力された個人情報を第２ユーザ端末３００から受信する。個人情報を受信したサーバ１００の個人情報取得部１４１は、ユーザＩＤを発行し、ユーザＩＤと、個人情報とを対応付けて、ユーザＤＢ１１２に登録する（Ｓ１０４）。そしてサーバ１００の個人情報取得部１４１は、ユーザＩＤを、第２ユーザ端末３００に通知する（Ｓ１０５）。

　図８は、実施形態２にかかる第２ユーザ端末３００に表示される個人情報の入力画面の一例を示す図である。第２ユーザ端末３００の表示部３４０には、ユーザ登録に必要な個人情報の入力領域が表示される。例えば、表示部３４０には、属性情報、第２ユーザ端末３００の位置情報の使用を許可するか否か、行動履歴の使用を許可するか否か、及び購入履歴の使用を許可するか否かを入力する領域が表示されている。本図では、属性情報の入力領域として、年齢、性別、居住地、家族構成、アレルギー、宗教及び趣味嗜好の入力領域が示されている。

　図９は、実施形態２にかかる出力処理の流れを示すシーケンス図である。まず第１ユーザ端末２００は、ユーザＵの視野を撮影し（Ｓ１１１）、撮影画像を第２ユーザ端末３００に送信する（Ｓ１１２）。次に第２ユーザ端末３００は、撮影画像を、ユーザＩＤとともに、ネットワークＮを介してサーバ１００に送信する（Ｓ１１３）。これにより、サーバ１００の画像取得部１４２は、撮影画像及びユーザＩＤを取得する。

　次にサーバ１００の特定部１４３は、撮影画像から、施設外設置物を検出する（Ｓ１１４）。そして特定部１４３は、施設外設置物の特徴量を抽出し、抽出した特徴量に基づいて、施設ＤＢ１１３を用いて対象施設の施設ＩＤを特定する（Ｓ１１５）。次に、生成部１４４は、施設ＤＢ１１３から、特定した施設ＩＤに対応付けられた施設関連情報１１３３を取得する（Ｓ１１６）。また生成部１４４は、ユーザＤＢ１１２から、ユーザＩＤに対応付けられた個人情報を取得する（Ｓ１１７）。次に、生成部１４４は、個人情報に基づいて施設関連情報１１３３の優先度を設定し（Ｓ１１８）、優先度に基づいて重畳情報を生成する（Ｓ１１９）。そして出力制御部１４５は、重畳情報を、ネットワークＮを介して第２ユーザ端末３００に送信する（Ｓ１２０）。重畳情報を受信した第２ユーザ端末３００は、重畳情報を第１ユーザ端末２００に送信し（Ｓ１２１）、表示部２４０に表示させる（Ｓ１２２）。

　尚、Ｓ１１３において、第２ユーザ端末３００は、ユーザＩＤを含ませて、撮影画像をサーバ１００に送信した。ここで、第２ユーザ端末３００は、ユーザＩＤに代えて、ユーザＵの生体情報を含ませて、撮影画像をサーバ１００に送信してもよい。生体情報は、顔情報（顔画像若しくは顔特徴量）、指紋情報、又は虹彩情報（虹彩画像若しくは虹彩特徴量）であってよい。第２ユーザ端末３００は、第１ユーザ端末２００の内側カメラが撮影した画像から、又は第２ユーザ端末３００に設けられた生体情報読取部（不図示）から、生体情報を取得してよい。この場合、サーバ１００は、ユーザＩＤ、と生体情報若しくは生体情報から抽出された特徴量と、を対応付ける生体情報データベース（不図示）、及び生体情報に基づいて生体認証を実行する生体認証部（不図示）をさらに備えてよい。そしてサーバ１００は、第２ユーザ端末３００から取得した生体情報に基づいて、生体認証を実行し、ユーザＩＤを特定してよい。

　図１０は、実施形態２にかかるユーザＵの視野の撮影画像Ｖを示す図である。撮影画像Ｖには、施設外設置物である看板を示す画像領域Ｔ１，Ｔ２，Ｔ３，Ｔ４，Ｔ５が含まれている。特定部１４３は、画像領域Ｔ１，Ｔ２，Ｔ３，Ｔ４，Ｔ５から、それぞれ「Ａ店」、「Ｂ店」、「Ｃ店」、「Ｄ店」、「Ｅ店」を特定する。そして生成部１４４は、特定した施設に対応する施設関連情報の優先度を設定する。ここで、生成部１４４は、施設関連情報の優先度を、「Ａ店」、「Ｂ店」、「Ｃ店」、「Ｄ店」、「Ｅ店」の順で設定したとする。そして例えば、生成部１４４は、優先度が上位３個以内の「Ａ店」、「Ｂ店」、「Ｃ店」の施設関連情報を、重畳情報として生成する。このように生成部１４４は、第１ユーザ端末２００に表示させる重畳情報の基礎となる施設関連情報を、優先度が上位所定個であるものに限定する。これにより、第１ユーザ端末２００上で、ユーザＵの趣味嗜好や行動履歴といった個人情報に応じて選択された施設に関連する詳細な情報が効果的に表示できる。特に表示する情報をパーソナライズしない場合は、画面が複雑（ビジー）になったり、画面がユーザＵに関連しない情報で占有されてしまうが、本実施形態２によれば、そのような事態を回避できる。

　図１１は、実施形態２にかかる第１ユーザ端末２００に表示される重畳情報の一例を示す図である。本図に示す斜線部分は、第１ユーザ端末２００の表示部２４０に表示される重畳情報を示している。重畳情報は、「Ａ店」、「Ｂ店」及び「Ｃ店」の各々に対応する施設関連情報を示す重畳画像４００－１，４００－２，４００－３を含む。尚、生成部１４４は、最も優先度が高い「Ａ店」に対応する施設関連情報が強調表示されるように、重畳画像４００－１の表示態様を決定してよい。一例として、強調表示は、その情報の重畳画像を大きく表示すること、その情報の重畳画像を点滅させること、その情報の重畳画像の色を変えること、又は重畳画像中のテキストのフォントを変えることであってよい。

　ここで、本図に示す斜線部分以外の領域は、ユーザＵの視野領域である。各重畳画像４００－１，４００－２，４００－３は、歩行の安全性を確保するために、ユーザＵの視界の邪魔にならないスペース（空きスペースと呼ぶことがある）に表示されてよい。具体的には、各重畳画像４００－１，４００－２，４００－３の表示位置は、人物が存在する領域及び所定の物体が存在する領域（又はいずれか一方）を回避するように定められてよい。所定の物体とは、例えば、建物、柱、又は看板の文字部分であってよい。つまり出力制御部１４５は、視野領域のうち、人物が存在する領域、ユーザＵの進行方向（ユーザＵが歩いている方向）の領域及び所定の物体が存在する領域、又は少なくともいずれか１つに重ならないように、第１ユーザ端末２００の表示部２４０に重畳画像４００－１，４００－２，４００－３を表示させる。ここでユーザＵが徒歩等で進行方向に移動している場合、サーバ１００は、移動している方向に応じて空きスペースの位置を変化させてよい。これにより、重畳画像が表示される場所を、ユーザＵの移動に応じて変えることができる。尚、サーバ１００は、空きスペースを、人物が存在する領域又はユーザＵの進行方向の領域を回避するように設定し、所定の物体が存在する領域（壁、建物又は柱等）については重畳画像を表示可能な領域として設定してもよい。また、サーバ１００は、撮影画像の画素値に基づいて平坦なスペースを特定し、当該スペースを空きスペースとしてもよい。

　また、これに加えて、重畳画像４００－１，４００－２，４００－３の表示位置は、ユーザＵの位置情報や視線方向によって決定されてもよい。また、重畳画像４００－１，４００－２，４００－３は、それぞれが対応する施設の施設外設置物との対応関係が明確に把握できるように、対応する施設外設置物の近傍に、又は対応する施設外設置物を指し示すように、表示されてよい。

　尚、表示部２４０に表示される重畳情報には、上述した重畳画像に加えて、重畳画像４１０－１，４１０－２が含まれていてもよい。重畳画像４１０－１，４１０－２は、広告情報を示してよい。広告情報は、対象施設と関連があってもよいし、関連がなくてもよい。例えば生成部１４４は、予め定められた広告情報を、重畳画像４１０－１，４１０－２として特定してよい。また例えば、生成部１４４は、ユーザＵの個人情報に基づいて広告対象を選択し、選択された広告対象に基づいて重畳画像４１０－１，４１０－２を生成してよい。例えば、ユーザＵが子どもを連れていた場合、生成部１４４は、子どもの教育に関する施設の広告を広告対象として、重畳画像を生成してよい。広告情報を示す重畳画像４１０－１，４１０－２についても、空きスペースに表示されてよい。つまり出力制御部１４５は、人物が存在する領域及び所定の物体が存在する領域（又はいずれか）、並びに重畳画像４００－１，４００－２，４００－３に重ならないように、第１ユーザ端末２００の表示部２４０に重畳画像４１０－１，４１０－２を表示させる。これにより歩行の安全性を確保しつつ、空きスペースを有効活用できる。

　このように実施形態２によれば、サーバ１００は、撮影画像に含まれる施設外設置物から対象施設を特定し、対象施設に関連する情報を、第２ユーザ端末３００を介して第１ユーザ端末２００に出力させる。これにより、サーバ１００は、ユーザが実際に対象施設に入場又は対象施設が扱う商品やサービスを購入する前に、ユーザに対して対象施設の関連情報を容易に提供できる。したがってユーザにとっては、対象施設を利用するかしないかを容易に判断できる。一方で、施設側にとっては、ユーザの関心を高め、施設の利用を効果的に促すことができる。

　サーバ１００がユーザＵに情報を提供する目的は、ユーザＵに施設の利用を促すことであってよいが、単にユーザＵに対して、将来的に施設を利用したいという意欲を喚起させることであってもよい。

　図１２は、実施形態２にかかる第１ユーザ端末２００に表示される重畳情報の他の例を示す図である。特定部１４３は、施設から離れた場所に設置されるディスプレイに表示される広告を、施設外設置物の画像領域Ｔとして検出し、広告提供元の施設や広告に関連する施設を、対象施設として特定してよい。そして生成部１４４は、対象施設に関連する施設関連情報を示す重畳画像４２０を生成してよい。本図では、第１ユーザ端末２００の表示部２４０には、空きスペースに重畳画像４２０が表示されている。一例として、ショッピングモールでハワイフェアが行われていた場合に、その会場に設置されるディスプレイにハワイ旅行の広告やハワイに関するその他の広告を表示させることで、ユーザＵに対してハワイ旅行への意欲を喚起させることができる。

　＜実施形態３＞
　次に、本開示の実施形態３について説明する。実施形態３は、サーバが、ユーザからの操作を検出し、操作内容に応じた処理を実行することに特徴を有する。図１３は、実施形態３にかかるサーバ１００ａの構成を示すブロック図である。サーバ１００ａは、記憶部１１０及び制御部１４０に代えて、記憶部１１０ａ及び制御部１４０ａを備える。記憶部１１０ａは、プログラム１１１に代えてプログラム１１１ａを記憶する。プログラム１１１ａは、実施形態３にかかる情報処理方法の処理が実装されたコンピュータプログラムである。

　制御部１４０ａは、制御部１４０の構成要素に加えて、操作検出部１４６を有する。操作検出部１４６は、操作検出手段とも呼ばれる。操作検出部１４６は、ユーザＵによる選択操作を検出する。ここで、第１ユーザ端末２００の表示部２４０には、第１の重畳情報が表示されており、サーバ１００ａの画像取得部１４２は、第１の重畳情報を表示中のユーザＵの視野を示す撮影画像を取得したとする。この場合、操作検出部１４６は、撮影画像中のユーザＵの手の位置と、視野領域における第１の重畳情報の重畳位置（つまり、表示部２４０における表示位置）とに基づいて、ユーザＵによる第１の重畳情報の選択操作を検出する。第１の重畳情報とは、上述した重畳情報の一態様である。例えば、第１の重畳情報は、対象施設の基本情報であってもよいし、対象施設が扱う商品若しくはサービスのリコメンド情報であってもよいし、対象施設のウェブサイト又はＥＣサイトの、アイコン又はＵＲＬであってもよい。

　そして、生成部１４４は、選択操作が検出されたことに応じて、選択された第１の重畳情報に関連する対象施設の施設関連情報に基づいて、第２の重畳情報を生成する。第２の重畳情報は、第１の重畳情報とは異なる情報であり、第１の重畳情報の詳細情報であってよい。例えば、第１の重畳情報が、対象施設が扱う商品のリコメンド情報である場合、第２の重畳情報は、その商品を扱うＥＣサイトから取得される商品の詳細情報、その商品の在庫情報、又はその商品の取り置き可否情報であってよい。また例えば、第１の重畳情報が、対象施設の店名である場合、第２の重畳情報は、対象施設の営業時間を示す情報、又は対象施設が扱う商品のリコメンド情報であってよい。

　そして出力制御部１４５は、ユーザＵの視野領域に第２の重畳情報が重なるように、第１ユーザ端末２００に対して重畳情報を表示させる。

　図１４は、実施形態３にかかる選択操作の検出処理を説明するための図である。本図には、重畳画像４００－１～４００－３が第１の重畳情報として表示されている場合の、ユーザＵの視野の撮影画像Ｖを示している。ここで、撮影画像Ｖには、ユーザＵの手を示す画像領域（手領域５００）が含まれている。尚、本図では便宜上、重畳画像４００－１～４００－３を示したが、撮影画像Ｖにこれらの重畳画像４００は含まれていなくてよい。

　操作検出部１４６は、まず撮影画像Ｖから手領域５００を検出し、手領域５００から指先を検出する。そして操作検出部１４６は、指先の位置が、いずれかの重畳画像４００の表示位置に対応するか否かを判定する。本図の場合、操作検出部１４６は、指先の位置が、重畳画像４００－１の表示位置に対応すると判定する。これにより、操作検出部１４６は、ユーザＵによって重畳画像４００－１が押下（選択）されたと判定する。尚、操作検出部１４６は、誤操作回避のために、指先の位置が重畳画像４００－１の表示位置に対応することに加えて、その前後で所定の動作が行われたと判定した場合に、ユーザＵによる選択操作を検出してもよい。所定の動作は、例えば、指先が重畳画像４００－１の表示位置に対応する位置に所定の時間置いていることであってもよいし、指でクリック動作が行われたことであってもよい。

　そして選択操作を検出したことに応じて、生成部１４４は、選択された重畳画像４００－１に対応する対象施設（店Ａ）のＥＣサイトにアクセスし、重畳画像４００－１に対応する商品の詳細情報を取得してよい。そして生成部１４４は、取得した詳細情報に基づいて、第２の重畳情報を生成する。

　図１５は、実施形態３にかかる第１ユーザ端末２００に表示される第２の重畳情報の一例を示す図である。表示部２４０には、第２の重畳情報として重畳画像４３０が表示されている。一例として、重畳画像４３０には、商品の画像、商品名、価格、及びその商品の購入ボタンが含まれる。尚、ユーザＵは、購入ボタンの表示位置に合わせて、指先を持っていくことで、購入ボタンの選択操作を行ってよい。購入ボタンの選択操作を検出した操作検出部１４６は、その後、ユーザＵのためにＥＣサイトでの購入処理を進めてよい。

　このように実施形態３によれば、サーバ１００ａは、撮影画像中のユーザＵの手の位置と、重畳情報の重畳位置とに基づいて、ユーザＵによる選択操作を検出し、選択操作に応じた処理を実行する。これにより、ユーザＵはタッチレスで容易に、重畳情報のさらに詳細な情報を取得することができる。

　＜実施形態４＞
　次に、本開示の実施形態４について説明する。実施形態４は、サーバがユーザＵの空き時間を検出し、空き時間に情報を提供することに特徴を有する。

　図１６は、実施形態４にかかるサーバ１００ｂの構成を示すブロック図である。サーバ１００ｂは、記憶部１１０及び制御部１４０に代えて、記憶部１１０ｂ及び制御部１４０ｂを備える。記憶部１１０ｂは、プログラム１１１に代えてプログラム１１１ｂを記憶する。プログラム１１１ｂは、実施形態４にかかる情報処理方法の処理が実装されたコンピュータプログラムである。

　制御部１４０ｂは、制御部１４０の構成要素に加えて、時間検出部１４７を有する。時間検出部１４７は、時間検出手段とも呼ばれる。時間検出部１４７は、画像取得部１４２が取得した撮影画像、ユーザＵの位置情報、行動状態情報、及びスケジュール情報の少なくとも一方に基づいて、ユーザＵの空き時間を検出する。空き時間とは、ユーザＵが単に移動している状態であるときや静止している状態であるときを指してもよいし、ユーザＵが特定の状態（例えば、「観光中」や「食事中」）以外の状態であるときを指してもよい。例えば時間検出部１４７は、画像取得部１４２が取得した撮影画像、又はユーザＵの位置情報から、ユーザＵが電車の中やエレベータの中にいると判定された場合、ユーザＵの空き時間が検出されたと判定する。

　そしてユーザＵの空き時間が検出されたことに応じて、生成部１４４は、広告情報を生成する。広告情報は、上述した広告情報と同様であってよい。つまり広告情報は、予め定められていてもよいし、生成部１４４によりユーザＵの個人情報が用いて生成されてもよい。そして出力制御部１４５は、視野領域に生成した情報が重なるように、第１ユーザ端末２００に対して表示させる。

　図１７は、実施形態４にかかる第１ユーザ端末２００に表示される重畳情報の一例を示す図である。時間検出部１４７は、ユーザＵがエレベータの中にいると判定し、ユーザＵの空き時間を検出する。したがって、表示部２４０には、広告情報を示す重畳画像４１０－１，４１０－２が表示されている。

　尚、生成部１４４は、撮影画像にエレベータの操作パネルが写っている場合、操作パネルの各階の施設に対応する施設関連情報を示す重畳画像４４０－１～４４０－４を生成してよい。出力制御部１４５は、第１ユーザ端末２００に対して、視野領域におけるエレベータの操作パネルの各階に対応する位置の近傍に、当該重畳画像４４０－１～４４０－４を表示させてよい。

　このように実施形態４によれば、サーバ１００ｂは、ユーザＵの空き時間を有効に活用し、ユーザ自身又は施設側にとって有益な情報を、ユーザＵに提供することができる。

　＜実施形態５＞
　次に、本開示の実施形態５について説明する。実施形態５は、サーバが、ユーザＵに提供した情報がユーザＵの行動にどれくらい寄与したかを測定することに特徴を有する。
　図１８は、実施形態５にかかるサーバ１００ｃの構成を示すブロック図である。サーバ１００ｃは、記憶部１１０及び制御部１４０に代えて、記憶部１１０ｃ及び制御部１４０ｃを備える。記憶部１１０ｃは、プログラム１１１ｃ、ユーザＤＢ１１２ｃ及び施設ＤＢ１１３ｃを記憶する。プログラム１１１ｃは、実施形態５にかかる情報処理方法の処理が実装されたコンピュータプログラムである。

　ユーザＤＢ１１２ｃは、ユーザＩＤ１１２１に対応付ける情報として、個人情報１１２２に加えて、表示履歴１１２３を格納する。表示履歴１１２３は、ユーザＩＤ１１２１を有するユーザＵの第１ユーザ端末２００に表示した重畳情報の履歴である。

　施設ＤＢ１１３ｃは、施設ＩＤ１１３１に対応付ける情報として、施設特徴情報１１３２及び施設関連情報１１３３に加えて、寄与判定履歴１１３４を格納する。寄与判定履歴１１３４は、後述する寄与判定処理における寄与判定結果の履歴である。

　制御部１４０ｃは、制御部１４０の構成要素に加えて、行動情報取得部１４８、寄与判定部１４９及び記録部１５０を備える。

　行動情報取得部１４８は、ユーザＵの行動情報を取得する。行動情報は、ユーザＵが予め定められた行動をとったことを示す情報である。行動情報には、行動の種別と、行動の対象を示す情報とが少なくとも含まれる。

　例えば、行動の種別が、ユーザＵが施設を利用（入場又は購入）したことである場合、行動情報は利用情報と呼ばれてよい。この場合、行動の対象を示す情報は、利用した施設ＩＤであってよい。行動情報取得部１４８は、第２ユーザ端末３００又は施設に設置された施設端末から、ユーザＵの行動情報を取得してよい。
　施設端末から行動情報（利用情報）を取得する場合、施設端末は、ユーザＵの顔認証を実行する顔認証端末であってよい。施設端末は、ユーザＵが施設に入場した又は施設の商品やサービスを購入した場合、ユーザＵの顔画像からユーザＩＤを特定し、行動情報とともにサーバ１００ｃに送信してよい。また、顔認証はサーバ１００ｃ内で実行されてもよい。この場合、施設端末は、ユーザＵが施設に入場した又は施設の商品やサービスを購入した場合、ユーザＵの顔画像を撮影し、顔画像をサーバ１００ｃに送信してよい。そしてサーバ１００ｃは、施設端末から取得した顔画像に基づいて、ユーザＩＤを特定してよい。

　また第２ユーザ端末３００から行動情報（利用情報）を取得する場合、第２ユーザ端末３００は、ＧＰＳ（Global Positioning System）等の位置情報やBluetoothビーコン情報を、サーバ１００ｃに送信してよい。行動情報取得部１４８は、受信した情報に基づいて、利用情報を取得したか否かを判定してよい。

　また例えば、行動の種別が、ユーザＵが重畳情報に注視したことである場合、行動情報は視線情報と呼ばれてよい。この場合、行動の対象を示す情報は、注視した重畳情報の基礎となる施設ＩＤであってよい。また例えば、行動の種別が、ユーザＵが選択操作を実行したことである場合、行動情報は選択操作情報と呼ばれてよい。この場合、行動の対象を示す情報は、選択した重畳情報の基礎となる施設ＩＤであってよい。尚、行動情報が選択操作情報である場合は、サーバ１００ｃは、操作検出部１４６を備えてよい。行動情報が視線情報又は選択操作情報である場合、行動情報取得部１４８は、第２ユーザ端末３００から、ユーザＵの行動情報とユーザＩＤとを取得してよい。

　行動情報取得部１４８は、取得したユーザＵの行動情報とユーザＩＤとを、寄与判定部１４９に供給する。

　寄与判定部１４９は、行動情報取得部１４８が行動情報を取得した場合、ユーザＤＢ１１２においてユーザＩＤに対応付けられた表示履歴１１２３を参照する。そして寄与判定部１４９は、行動情報に基づいて、第１ユーザ端末２００が表示した重畳情報による行動への寄与度を算出する。そして寄与判定部１４９は、算出した寄与度が予め定められた閾値以上であるか否かを判定する。

　例えば寄与判定部１４９は、行動情報取得部１４８が行動情報として利用情報を取得した場合、ユーザＵが利用した施設が、第１ユーザ端末２００が表示した重畳情報に対応する施設であるか否かを判定する。また例えば、寄与判定部１４９は、行動情報としてユーザＵの視線情報を取得した場合、ユーザＵの視線方向に、第１ユーザ端末２００が表示した重畳情報があるか否かを判定する。また例えば、寄与判定部１４９は、行動情報として選択操作情報を取得した場合、ユーザＵが選択した対象が、第１ユーザ端末２００が表示した重畳情報であるか否かを判定する。そして寄与判定部１４９は、判定結果が肯定的である場合、寄与度を所定閾値以上として算出してよい。

　尚、寄与判定部１４９は、ユーザＵの利用態様に応じて、例えば入場したが商品を購入しなかったか、入場して商品を購入したかの別に応じて、あるいは購入金額に応じて、寄与度の大きさを異ならせてよい。また寄与判定部１４９は、ユーザＵの注視時間に応じて、寄与度の大きさを異ならせてよい。

　寄与判定部１４９は、寄与度が所定閾値以上であるか否かを、寄与判定結果として、記録部１５０に供給する。

　記録部１５０は、出力制御部１４５が第１ユーザ端末２００に表示させた表示履歴を、ユーザＤＢ１１２に記録する。また記録部１５０は、表示履歴とともに、音声案内をした場合は音声データと、ユーザＵの購入実績とをユーザＤＢ１１２に記録してもよい。そして記録部１５０は、寄与判定部１４９から取得した寄与判定結果を、施設ＤＢ１１３に記録する。

　尚、ユーザＵが後で情報を振り返ることができるように、サーバ１００ｃは、ユーザＤＢ１１２に格納される表示履歴、音声データ又は購入実績を、所定のタイミングで第２ユーザ端末３００に送信してよい。第２ユーザ端末３００は、受信した表示履歴、音声データ又は購入実績に基づいて、新たな情報を出力してよい。例えば、重畳情報の基礎となった施設のリストや施設外設置物の画像のリストを表示したり、購入実績に基づいて施設のリコメンド情報を表示してよい。

　図１９は、実施形態５にかかる寄与判定処理の一例を示すフローチャートである。まず行動情報取得部１４８は、第２ユーザ端末３００又は施設端末から、ユーザＵの行動情報を取得したか否かを判定する（Ｓ２００）。行動情報取得部１４８は、ユーザＵの行動情報を取得した場合（Ｓ２００でＹｅｓ）、寄与判定部１４９に行動情報を供給し、処理をＳ２０１に進める。そして寄与判定部１４９は、行動情報に含まれる行動の対象となる施設が、ユーザＩＤに対応付けられた表示履歴に含まれる施設であるか否かを判定する（Ｓ２０１）。寄与判定部１４９は、行動の対象となる施設が、表示履歴に含まれる施設であると判定した場合（Ｓ２０１でＹｅｓ）、当該施設に対して寄与度を算出する（Ｓ２０２）。そして寄与判定部１４９は、寄与度が所定閾値以上であるかを判定し（Ｓ２０３）、所定閾値以上であると判定すれば（Ｓ２０３でＹｅｓ）、表示によりユーザＵへの行動の変容をもたらしたとして「寄与有り」の判定をする（Ｓ２０４）。寄与判定部１４９は、寄与判定結果を、施設ＤＢ１１３の寄与判定履歴１１３４に記録する（Ｓ２０６）。一方で、寄与判定部１４９は、行動の対象となる施設が、表示履歴に含まれる施設であると判定しなかった場合（Ｓ２０１でＮｏ）、あるいは、寄与度が所定閾値未満であると判定した場合（Ｓ２０３でＮｏ）、「寄与無し」と判定する（Ｓ２０５）。そして寄与判定部１４９は、寄与判定結果を、施設ＤＢ１１３の寄与判定履歴１１３４に記録する（Ｓ２０６）。

　このように、実施形態５によれば、サーバ１００ｃは、第１ユーザ端末２００に表示した重畳情報によるユーザＵの行動への寄与度を測定して、寄与があったか否かを記録する。これにより、ユーザＵの関心を容易に測定したり、表示による効果（例えば表示による行動変容への影響）を容易に測定することができる。

　尚、サーバ１００ｃは、寄与判定履歴に基づいて、対応付けられた施設ＩＤの施設から手数料を徴収してよい。手数料は、寄与度に応じて定められてよい。　

　尚、サーバ１００ｃは、重畳情報による寄与度に加えて又は代えて、上述した広告情報の寄与度も測定してよい。この場合、上述の実施形態５の説明の「重畳情報」は、「広告情報」と読み替えられてよい。

　＜実施形態６＞
　次に、本開示の実施形態６について説明する。実施形態６は、サーバがユーザＵの同伴者の個人情報を、ユーザＵへの情報提供に用いることに特徴を有する。実施形態６にかかる情報処理システム１０００は、実施形態１にかかる情報処理システム１０００と基本的に同様の構成及び機能を有する。ただし、実施形態６においては、ユーザＵの第２ユーザ端末３００は、ユーザＵの個人情報に加えて又は代えて、ユーザＵの同伴者の個人情報を、サーバ１００に送信する。例えば、図８に示す個人情報の入力画面に、同伴者の個人情報を入力する領域が含まれていてよい。

　サーバ１００の個人情報取得部１４１は、ユーザＵの個人情報と、同伴者の個人情報とを、ユーザＵの第２ユーザ端末３００から取得する。そして生成部１４４は、ユーザＵの個人情報と、同伴者の個人情報と、対象施設に関連する施設関連情報とに基づいて、重畳情報を生成する。これにより、サーバ１００は、ユーザＵ本人だけではなく、同伴者の趣味嗜好等の個人情報を考慮した情報を提供できる。

　さらに、個人情報取得部１４１は、ユーザＵの個人情報及び同伴者の個人情報に加えて、ユーザＵの個人情報に対する同伴者の個人情報の重要度の情報を、第２ユーザ端末３００から取得してよい。

　ここで、サーバ１００の出力制御部１４５は、図７のステップＳ１０１において、第２ユーザ端末３００に対して、重要度の入力画面を表示させる。図２０は、実施形態６にかかる第２ユーザ端末３００に表示される個人情報の重要度の入力画面の一例を示す図である。

　図２０に示すように、表示部３４０には、ユーザＵの個人情報の重要度の入力領域と、同伴者の個人情報の重要度の入力領域とが表示される。本入力画面では、ユーザＵからの加算操作又は減算操作を受け付けて、各重要度の値が変更できるようになっている。尚、本入力画面では、ユーザＵの個人情報の重要度と、同伴者の個人情報の重要度との割合（比率）が、合計で１になるように、調整されてよい。同伴者が複数いる場合は、ユーザＵの個人情報の重要度と、全ての同伴者の個人情報の重要度との割合が合計で１になるように、調整されてよい。あるいはこれらの調整は、サーバ１００の個人情報取得部１４１により行われてもよい。さらに表示部３４０には、「決定」の入力領域が表示される。ユーザＵが当該入力領域を選択したことに応じて、第２ユーザ端末３００は、入力されたユーザＵの個人情報の重要度の情報及び同伴者の個人情報の重要度の情報を、ユーザＩＤとともにサーバ１００に送信する。

　尚、重要度の入力画面は、第２ユーザ端末３００の表示部３４０だけでなく、第１ユーザ端末２００の表示部２４０に表示されてもよい。この場合、サーバ１００は、操作検出部１４６を備えてよい。表示部２４０に重要度の入力画面が表示されたことに応じてユーザＵが実空間上で所定の動作を実行すると、操作検出部１４６は、撮影画像から入力操作を検出し、入力操作に応じた処理を実行してよい。

　個人情報取得部１４１が同伴者の個人情報と重要度の情報とを取得した場合、生成部１４４は、ユーザＵの個人情報と、同伴者の個人情報と、重要度とに基づいて、対象施設に関連する施設関連情報の各々の優先度を設定する。例えば、まず生成部１４４は、ユーザＵの個人情報と、重要度で重み付けされた同伴者の個人情報とから、団体としての個人情報を生成する。そして生成部１４４は、対象施設の施設関連情報の各々と、団体としての個人情報とに基づいて、各施設関連情報の優先度を設定する。

　このように実施形態６によれば、サーバ１００は、ユーザＵの個人情報と同伴者の個人情報との間の重要度で重み付けされた個人情報に基づいて、優先度を設定できる。したがって、団体としての意向をより適切に反映させた情報を、ユーザＵに提供できる。

　上述の実施形態では、ハードウェアの構成として説明したが、これに限定されるものではない。本開示は、任意の処理を、ＣＰＵにコンピュータプログラムを実行させることにより実現することも可能である。

　上述の例において、プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。

　なお、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば上述の実施形態では、サーバ１００と第２ユーザ端末３００との情報の送受信は、ネットワークＮに接続された第２ユーザ端末３００を介して行われていた。しかし、第１ユーザ端末２００がネットワークＮに接続され、サーバ１００は、第１ユーザ端末２００との間で、第２ユーザ端末３００を介さずに通信してよい。この場合、サーバ１００は、個人情報の入力画面を第１ユーザ端末２００に表示させ、ユーザＵが所定の動作を実行した撮影画像に基づいて個人情報の入力操作を検出することで、個人情報を取得してよい。また、情報処理システム１０００は、第１ユーザ端末２００及び第２ユーザ端末３００に代えて、第１ユーザ端末２００の機能と第２ユーザ端末３００の機能とが一体化したユーザ端末を備えてもよい。

　また、サーバ１００の生成部１４４は、対象施設に関連する施設関連情報及び個人情報に加えて、対象施設の混雑度に基づいて、重畳情報を生成してもよい。例えば生成部１４４は、優先度に基づいて生成された重畳情報に、混雑度の情報を含ませてもよい。また例えば、生成部１４４は、対象施設に関連する施設関連情報、個人情報、及び対象施設の混雑度に基づいて、対象施設関連情報の優先度を設定してもよい。生成部１４４が混雑度を用いる場合、サーバ１００は、各施設の混雑度を取得する混雑度取得部（不図示）をさらに備えてよい。これにより、サーバ１００は混雑度を考慮した情報を提供するため、ユーザＵが施設を利用する前に施設を利用するか否かの判断をより容易にできる。したがって、ユーザの満足度を高めることができる。

　また上述の実施形態では、サーバ１００の個人情報取得部１４１は、ユーザＵや同伴者（ユーザ等）の個人情報を、第２ユーザ端末３００等のユーザ端末から取得するとした。しかしこれに代えて、個人情報取得部１４１は、ネットワークＮに接続され、ユーザ等の個人情報の一部又は全部を記憶する外部装置から、個人情報を取得してよい。
　例えば、外部装置は、スケジュール管理アプリケーションを動作させ、これらの動作によって取得された、ユーザ等のスケジュール情報を蓄積してよい。そして外部装置は、所定のタイミングで、ネットワークＮを介して、ユーザＩＤ及びスケジュール情報を、サーバ１００に送信してよい。また例えば、外部装置は、購入履歴を管理するアプリケーションを動作させ、この動作によって取得された、ユーザ等の購入履歴を記憶してよい。
　また各施設には顔認証端末が設置され、ユーザ等が各施設を訪問した場合に、顔認証端末が、ユーザＩＤと、訪問履歴とをネットワークＮを介してサーバ１００に送信するようになっていてもよい。そしてサーバ１００は、訪問履歴を行動履歴として、ユーザＩＤに対応付けてユーザＤＢ１１２に登録してよい。
　また各施設には、顔決済端末が設置され、ユーザ等が店舗で決済した場合に、顔決済端末が、ユーザＩＤと、決済履歴とをネットワークＮを介してサーバ１００に送信するようになっていてもよい。そしてサーバ１００は、決済履歴を購入履歴として、ユーザＩＤに対応付けてユーザＤＢ１１２に登録してよい。

　また実施形態１～６は、任意に組み合わされてよい。

　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　　　（付記１）
　ユーザ端末によりユーザの視野を撮影することにより生成された撮影画像を取得する画像取得手段と、
　前記撮影画像から、施設に関連する施設外設置物を検出し、検出した前記施設外設置物に基づいて対象施設を特定する特定手段と、
　前記対象施設に関連する施設関連情報に基づいて、重畳情報を生成する生成手段と、
　前記視野を示す視野領域に前記重畳情報が重なるように、前記ユーザ端末に対して前記重畳情報を表示させる出力制御手段と
　を備える情報処理装置。
　　　（付記２）
　前記ユーザ及び前記ユーザの同伴者のうち少なくとも一方の人物の個人情報を取得する個人情報取得手段をさらに備え、
　前記生成手段は、前記対象施設に関連する施設関連情報と、前記個人情報とに基づいて、前記重畳情報を生成する
　付記１に記載の情報処理装置。
　　　（付記３）
　前記個人情報は、属性情報、位置情報、行動履歴、現在の行動状態、購入履歴及びスケジュール情報のうち少なくとも１つを含む
　付記２に記載の情報処理装置。
　　　（付記４）
　前記生成手段は、前記撮影画像から前記対象施設が複数特定された場合、又は前記対象施設に関連する施設関連情報が複数ある場合、前記個人情報に基づいて前記対象施設に関連する施設関連情報の各々の優先度を設定し、前記優先度に基づいて前記重畳情報を生成する
　付記２又は３に記載の情報処理装置。
　　　（付記５）
　前記個人情報取得手段は、前記ユーザの個人情報と、前記同伴者の個人情報と、前記ユーザの個人情報に対する前記同伴者の個人情報の重要度の情報とを取得し、
　前記生成手段は、前記ユーザの個人情報と、前記同伴者の個人情報と、前記重要度とに基づいて、前記対象施設に関連する施設関連情報の各々の優先度を設定する
　付記２から４のいずれか一項に記載の情報処理装置。
　　　（付記６）
　前記生成手段は、前記対象施設のウェブサイトから取得した商品又はサービスの情報を、前記施設関連情報として特定する
　付記１から５のいずれか一項に記載の情報処理装置。
　　　（付記７）
　前記撮影画像中の前記ユーザの手の位置と、前記視野領域における第１の重畳情報の重畳位置とに基づいて、前記ユーザによる前記第１の重畳情報の選択操作を検出する操作検出手段をさらに備え、
　前記生成手段は、前記選択操作が検出されたことに応じて、選択された前記第１の重畳情報に関連する前記対象施設の施設関連情報に基づいて、第２の重畳情報を生成し、
　前記出力制御手段は、前記視野領域に前記第２の重畳情報が重なるように、前記ユーザ端末に対して前記第２の重畳情報を表示させる
　付記１から６のいずれか一項に記載の情報処理装置。
　　　（付記８）
　前記出力制御手段は、前記視野領域のうち、人物及び予め定められた物体のうち少なくとも一方が存在する領域に、前記重畳情報が重ならないように、前記ユーザ端末に対して前記重畳情報を表示させる
　付記１から７のいずれか一項に記載の情報処理装置。
　　　（付記９）
　前記撮影画像及び前記ユーザの位置情報の少なくとも一方に基づいて、前記ユーザの空き時間を検出する時間検出手段を備え、
　前記出力制御手段は、前記視野領域に予め定められた広告情報が重なるように、前記ユーザ端末に対して前記広告情報を表示させる
　付記１から８のいずれか一項に記載の情報処理装置。
　　　（付記１０）
　前記ユーザが予め定められた行動をとったことを示す行動情報を取得した場合、前記行動情報に基づいて、前記ユーザ端末が表示した前記重畳情報による前記行動への寄与度を算出し、前記寄与度が予め定められた閾値以上であるか否かを判定する寄与判定手段と、
　前記判定の結果を記録する記録手段と
　をさらに備える
　付記１から９のいずれか一項に記載の情報処理装置。
　　　（付記１１）
　前記寄与判定手段は、前記行動情報として、前記ユーザが施設を利用したことを示す利用情報を取得した場合、前記ユーザが利用した前記施設が、前記ユーザ端末が表示した前記重畳情報に対応する施設であるか否かを判定する
　付記１０に記載の情報処理装置。
　　　（付記１２）
　ユーザが使用するユーザ端末と、
　情報処理装置と
　を備え、
　前記情報処理装置は、
　ユーザ端末によりユーザの視野を撮影することにより生成された撮影画像を取得する画像取得手段と、
　前記撮影画像から、施設に関連する施設外設置物を検出し、検出した前記施設外設置物に基づいて対象施設を特定する特定手段と、
　前記対象施設に関連する施設関連情報に基づいて、重畳情報を生成する生成手段と、
　前記視野を示す視野領域に前記重畳情報が重なるように、前記ユーザ端末に対して前記重畳情報を表示させる出力制御手段と
　を有する
　情報処理システム。
　　　（付記１３）
　前記ユーザ端末は、前記ユーザの身体に装着された第１ユーザ端末と、前記情報処理装置及び前記第１ユーザ端末と通信する第２ユーザ端末と、を有し、
　前記情報処理装置は、
　前記画像取得手段は、前記第２ユーザ端末を介して、前記第１ユーザ端末から前記撮影画像を取得し、
　前記出力制御手段は、前記第２ユーザ端末を介して、前記第１ユーザ端末の表示部に前記重畳情報を表示させる
　付記１２に記載の情報処理システム。
　　　（付記１４）
　ユーザ端末によりユーザの視野を撮影することにより生成された撮影画像を取得し、
　前記撮影画像から、施設に関連する施設外設置物を検出し、検出した前記施設外設置物に基づいて対象施設を特定し、
　前記対象施設に関連する施設関連情報に基づいて、重畳情報を生成し、
　前記視野を示す視野領域に前記重畳情報が重なるように、前記ユーザ端末に対して前記重畳情報を表示させる
　情報処理方法。
　　　（付記１５）
　ユーザ端末によりユーザの視野を撮影することにより生成された撮影画像を取得する画像取得処理と、
　前記撮影画像から、施設に関連する施設外設置物を検出し、検出した前記施設外設置物に基づいて対象施設を特定する特定処理と、
　前記対象施設に関連する施設関連情報に基づいて、重畳情報を生成する生成処理と、
　前記視野を示す視野領域に前記重畳情報が重なるように、前記ユーザ端末に対して前記重畳情報を表示させる出力制御処理と
　を、コンピュータに実行させるためのプログラムが格納された非一時的なコンピュータ可読媒体。

　１０　情報処理装置
　１２，１４２　画像取得部
　１３，１４３　特定部
　１４，１４４　生成部
　１５，１４５　出力制御部
　１００，１００ａ，１００ｂ，１００ｃ　サーバ（情報処理装置）
　１１０，１１０ａ，１１０ｂ，１１０ｃ　記憶部
　１１１，１１１ａ，１１１ｂ，１１１ｃ　プログラム
　１１２，１１２ｃ　ユーザＤＢ
　１１２１　ユーザＩＤ
　１１２２　個人情報
　１１２３　表示履歴
　１１３，１１３ｃ　施設ＤＢ
　１１３１　施設ＩＤ
　１１３２　施設特徴情報
　１１３３　施設関連情報
　１１３４　寄与判定履歴
　１２０　メモリ
　１３０　通信部
　１４０，１４０ａ，１４０ｂ，１４０ｃ　制御部
　１４１　個人情報取得部
　１４６　操作検出部
　１４７　時間検出部
　１４８　行動情報取得部
　１４９　寄与判定部
　１５０　記録部
　２００　第１ユーザ端末
　２１０　カメラ
　２２０　記憶部
　２３０　通信部
　２４０　表示部
　２５０　入力部
　２６０　制御部
　３００　第２ユーザ端末
　３１０　カメラ
　３２０　記憶部
　３３０　通信部
　３４０　表示部
　３６０　制御部
　４００，４１０，４２０，４３０　重畳画像
　５００　手領域
　１０００　情報処理システム
　Ｕ　ユーザ
　Ｎ　ネットワーク
　Ｔ　画像領域
　Ｖ　撮影画像

Claims

　ユーザ端末によりユーザの視野を撮影することにより生成された撮影画像を取得する画像取得手段と、
　前記撮影画像から、施設に関連する施設外設置物を検出し、検出した前記施設外設置物に基づいて対象施設を特定する特定手段と、
　前記対象施設に関連する施設関連情報に基づいて、重畳情報を生成する生成手段と、
　前記視野を示す視野領域に前記重畳情報が重なるように、前記ユーザ端末に対して前記重畳情報を表示させる出力制御手段と
　を備える情報処理装置。
　前記ユーザ及び前記ユーザの同伴者のうち少なくとも一方の人物の個人情報を取得する個人情報取得手段をさらに備え、
　前記生成手段は、前記対象施設に関連する施設関連情報と、前記個人情報とに基づいて、前記重畳情報を生成する
　請求項１に記載の情報処理装置。
　前記個人情報は、属性情報、位置情報、行動履歴、現在の行動状態、購入履歴及びスケジュール情報のうち少なくとも１つを含む
　請求項２に記載の情報処理装置。
　前記生成手段は、前記撮影画像から前記対象施設が複数特定された場合、又は前記対象施設に関連する施設関連情報が複数ある場合、前記個人情報に基づいて前記対象施設に関連する施設関連情報の各々の優先度を設定し、前記優先度に基づいて前記重畳情報を生成する
　請求項２又は３に記載の情報処理装置。
　前記個人情報取得手段は、前記ユーザの個人情報と、前記同伴者の個人情報と、前記ユーザの個人情報に対する前記同伴者の個人情報の重要度の情報とを取得し、
　前記生成手段は、前記ユーザの個人情報と、前記同伴者の個人情報と、前記重要度とに基づいて、前記対象施設に関連する施設関連情報の各々の優先度を設定する
　請求項２から４のいずれか一項に記載の情報処理装置。
　前記生成手段は、前記対象施設のウェブサイトから取得した商品又はサービスの情報を、前記施設関連情報として特定する
　請求項１から５のいずれか一項に記載の情報処理装置。
　前記撮影画像中の前記ユーザの手の位置と、前記視野領域における第１の重畳情報の重畳位置とに基づいて、前記ユーザによる前記第１の重畳情報の選択操作を検出する操作検出手段をさらに備え、
　前記生成手段は、前記選択操作が検出されたことに応じて、選択された前記第１の重畳情報に関連する前記対象施設の施設関連情報に基づいて、第２の重畳情報を生成し、
　前記出力制御手段は、前記視野領域に前記第２の重畳情報が重なるように、前記ユーザ端末に対して前記第２の重畳情報を表示させる
　請求項１から６のいずれか一項に記載の情報処理装置。
　前記出力制御手段は、前記視野領域のうち、人物及び予め定められた物体のうち少なくとも一方が存在する領域に、前記重畳情報が重ならないように、前記ユーザ端末に対して前記重畳情報を表示させる
　請求項１から７のいずれか一項に記載の情報処理装置。
　前記撮影画像及び前記ユーザの位置情報の少なくとも一方に基づいて、前記ユーザの空き時間を検出する時間検出手段を備え、
　前記出力制御手段は、前記視野領域に予め定められた広告情報が重なるように、前記ユーザ端末に対して前記広告情報を表示させる
　請求項１から８のいずれか一項に記載の情報処理装置。
　前記ユーザが予め定められた行動をとったことを示す行動情報を取得した場合、前記行動情報に基づいて、前記ユーザ端末が表示した前記重畳情報による前記行動への寄与度を算出し、前記寄与度が予め定められた閾値以上であるか否かを判定する寄与判定手段と、
　前記判定の結果を記録する記録手段と
　をさらに備える
　請求項１から９のいずれか一項に記載の情報処理装置。
　前記寄与判定手段は、前記行動情報として、前記ユーザが施設を利用したことを示す利用情報を取得した場合、前記ユーザが利用した前記施設が、前記ユーザ端末が表示した前記重畳情報に対応する施設であるか否かを判定する
　請求項１０に記載の情報処理装置。
　ユーザが使用し、前記ユーザの視野を撮影するユーザ端末と、
　情報処理装置と
　を備え、
　前記情報処理装置は、
　前記ユーザ端末により生成された撮影画像を取得する画像取得手段と、
　前記撮影画像から、施設に関連する施設外設置物を検出し、検出した前記施設外設置物に基づいて対象施設を特定する特定手段と、
　前記対象施設に関連する施設関連情報に基づいて、重畳情報を生成する生成手段と、
　前記視野を示す視野領域に前記重畳情報が重なるように、前記ユーザ端末に対して前記重畳情報を表示させる出力制御手段と
　を有する
　情報処理システム。
　前記ユーザ端末は、前記ユーザの身体に装着された第１ユーザ端末と、前記情報処理装置及び前記第１ユーザ端末と通信する第２ユーザ端末と、を有し、
　前記情報処理装置は、
　前記画像取得手段は、前記第２ユーザ端末を介して、前記第１ユーザ端末から前記撮影画像を取得し、
　前記出力制御手段は、前記第２ユーザ端末を介して、前記第１ユーザ端末の表示部に前記重畳情報を表示させる
　請求項１２に記載の情報処理システム。
　ユーザ端末によりユーザの視野を撮影することにより生成された撮影画像を取得し、
　前記撮影画像から、施設に関連する施設外設置物を検出し、検出した前記施設外設置物に基づいて対象施設を特定し、
　前記対象施設に関連する施設関連情報に基づいて、重畳情報を生成し、
　前記視野を示す視野領域に前記重畳情報が重なるように、前記ユーザ端末に対して前記重畳情報を表示させる
　情報処理方法。
　ユーザ端末によりユーザの視野を撮影することにより生成された撮影画像を取得する画像取得処理と、
　前記撮影画像から、施設に関連する施設外設置物を検出し、検出した前記施設外設置物に基づいて対象施設を特定する特定処理と、
　前記対象施設に関連する施設関連情報に基づいて、重畳情報を生成する生成処理と、
　前記視野を示す視野領域に前記重畳情報が重なるように、前記ユーザ端末に対して前記重畳情報を表示させる出力制御処理と
　を、コンピュータに実行させるためのプログラムが格納された非一時的なコンピュータ可読媒体。