JP4861105B2

JP4861105B2 - 空間掲示板システム

Info

Publication number: JP4861105B2
Application number: JP2006251738A
Authority: JP
Inventors: 衛澤田; 英一八角; 拓朗小峰
Original assignee: NTT Docomo Inc
Current assignee: NTT Docomo Inc
Priority date: 2006-09-15
Filing date: 2006-09-15
Publication date: 2012-01-25
Anticipated expiration: 2026-09-15
Also published as: US8499234B2; EP1901224A1; CN101145920A; JP2008071298A; US20080235570A1; CN101145920B

Description

本発明は、現実空間に仮想的にメモを記載すると共に現実空間の表示画像上にメモを重ねて表示する空間掲示板システムに関する。

ＩＴ技術が高度に発展し又ユビキタスコンピューティングが広く展開された現在の情報化社会では、ユーザと店舗又はユーザ同士で様々な手法によるコミュニケーションが可能になっている。店舗からユーザへの一方向のコミュニケーション手法としてはテレビ広告又はインターネット広告等が挙げられる。現実空間と広告とを組み合わせたコミュニケーション手法も提案されている（例えば、特許文献１参照）。特許文献１記載のコミュニケーション手法は、ユーザを店舗へ誘導するために、ユーザ装着のヘッドマウントディスプレイ（ＨＭＤ）の表示面上に、放送局から放送される広告を現実空間と対応させて表示させるものである。具体的には、広告内容と広告の現実空間上の位置情報をＨＭＤで受信し、広告を表示する表示面の位置及び姿勢を検出し、その位置及び姿勢と受信した位置情報とに基づいて表示面における広告の表示位置を決定し、表示位置に受信した広告内容を表示するように構成されている。

一方、ユーザ同士でのコミュニケーション手法としては、携帯電話による通話、カメラ付き携帯電話での動画像通信、電子メールなどが挙げられる。携帯電話等の情報通信端末を用いた通信（通話、データ通信）は、現在では最も簡易なコミュニケーション手法となっている。
特開２００５−１７３０４２号公報

しかしながら、特許文献１の手法は、広告主側が制作した広告（広告内容及び位置情報を含む）を放送局から放送する構成であるので、コミュニケーション手法としては柔軟性に欠けている。また、ユーザ同士のコミュニケーションに適用する場合、知識及び設備を持たないユーザ個人が広告に相当するメッセージ（メモ、画像、その他の情報を含む）を作成して放送局に登録することは現実的ではない。より簡易な方法で現実空間を利用したメッセージ交換を可能にするコミュニケーション手法が望まれる。

本発明は、かかる点に鑑みてなされたものであり、ユーザ同士又はユーザと店舗間であっても現実空間を利用して簡易にメッセージを交換してコミュニケーションすることができる空間掲示板システムを提供することを目的とする。

本発明の空間掲示板システムは、現実空間上でメモ内容を描画する動きを三次元座標情報に変換して取り込むと共にメモを記載した場所を特定する位置情報を取得する空間掲示板入力デバイスと、前記空間掲示板入力デバイスからメモ内容の三次元座標情報とメモ記載場所のメモ位置情報とを通信網経由で取り込み保存する空間コミュニケーションサーバと、現実空間の撮像場所において撮像場所周辺のメモ内容の三次元座標情報及びメモ位置情報を前記空間コミュニケーションサーバから受信し、三次元座標情報及びメモ位置情報に基づき現実空間の撮像画像に合わせてメモ内容を表示する空間掲示板表示デバイスとを具備し、前記空間掲示板表示デバイスが、撮像の対象物の対象物位置を閲覧位置情報として前記空間コミュニケーションサーバに送信し、前記空間コミュニケーションサーバが、現実空間の撮像場所において前記空間掲示板表示デバイスが送信してきた閲覧位置情報に基づいて、対象物を中心とした閲覧範囲にメモ位置情報が含まれるメモ内容の三次元座標情報を検索し、検索されたメモ内容の三次元座標情報をメモ位置情報と共に前記空間掲示板表示デバイスへ配信することを特徴とする。

この構成によれば、ある場所において空間掲示板入力デバイスを用いて現実空間上で仮想的にメモを記載すれば、記載されたメモ内容が三次元座標情報に変換して取り込まれると共にメモ記載場所を特定する位置情報が取得され、メモ内容を示す三次元座標情報とメモ記載場所を示すメモ位置情報とが通信網を経由して空間コミュニケーションサーバに保存される。一方、同じ場所において空間掲示板表示デバイスが空間コミュニケーションサーバから撮像範囲に含まれるメモ内容をメモ位置情報と共に受信して現実空間の撮像画像と共にメモ内容を表示するので、あるユーザが現実空間上に仮想的にメモを書き残し、他のユーザが同一現実空間を空間掲示板表示デバイスの撮像画像を通して見た時に書き残したメモ内容を確認することができ、空間を介したコミュニケーションが実現される。また、対象物位置を閲覧位置情報として空間コミュニケーションサーバへ送信するので、対象物位置を閲覧中心位置とした所定範囲内のメモ内容を取得でき、カメラ位置ではなく、現実に撮像画像に表示された対象物を中心として書き残されているメモ内容を表示させることができる。

また本発明は、上記空間掲示板システムにおいて、前記空間コミュニケーションサーバは、メモ内容を閲覧可能なグループのグループ番号を当該メモ内容の三次元座標情報に対応させて保存し、前記空間掲示板表示デバイスからグループ番号を特定した閲覧要求を受けた場合に当該グループ番号に対応したメモ内容の三次元座標情報及びメモ位置情報を配信することを特徴とする。

この構成によれば、空間掲示板表示デバイスからグループ番号を特定した閲覧要求を受けた場合に当該グループ番号に対応したメモ内容及びメモ位置情報を配信するので、他のグループには閲覧不能なグループ内に閉じた空間掲示板を提供することができる。

本発明の空間掲示板表示デバイスは、撮像場所において現実空間を撮像するカメラと、前記カメラで撮像された撮像画像をリアルタイムで表示するディスプレイと、撮像場所であるカメラ位置を位置検出設備と通信して取得する位置取得手段と、空間コミュニケーションサーバとネットワーク経由で通信する通信手段と、方位を検出する電子コンパスと、前記カメラで撮像された対象物までの距離を測定する距離測定手段とを具備し、撮像場所周辺における所定位置を示す閲覧位置情報を前記空間コミュニケーションサーバへ送信し、前記空間コミュニケーションサーバにおいて閲覧位置情報に基づいて検索したメモ内容の三次元座標情報及びメモ位置情報を当該空間コミュニケーションサーバから受信し、受信したメモ内容の三次元座標情報及びメモ位置情報に基づいて撮像画像上の所定位置にメモ内容を表示させ、対象物を中心としてメモ内容を表示する第１の表示モードが選択されている場合は、対象物までの距離測定値とカメラ位置と方位検出値とから計算される対象物位置を閲覧位置情報として前記空間コミュニケーションサーバへ送信することを特徴とする。

この構成により、対象物位置を閲覧位置情報として空間コミュニケーションサーバへ送信するので、対象物位置を閲覧中心位置とした所定範囲内のメモ内容を取得でき、カメラ位置ではなく、現実に撮像画像に表示された対象物を中心として書き残されているメモ内容を表示させることができる。

本発明の空間コミュニケーションサーバは、現実空間上でメモ内容を描画する動きを三次元座標情報に変換して取り込むと共にメモを記載した場所を特定する位置情報を取得する空間掲示板入力デバイスから通信網経由で送られてくるメモ内容の三次元座標情報とメモ記載場所のメモ位置情報とを受信する受信手段と、受信したメモ内容の三次元座標情報を１つのオブジェクトデータとしてメモ位置情報と対応付けて保存するデータベースと、現実空間の撮像場所において空間掲示板表示デバイスが送信してきた撮像の対象物の対象物位置としての閲覧位置情報に基づいて前記データベースからメモ位置情報が対象物を中心とした閲覧範囲に含まれるオブジェクトデータを検索する検索手段と、検索されたオブジェクトデータをメモ位置情報と共に前記空間掲示板表示デバイスへ配信する配信手段とを具備したことを特徴とする。

本発明の空間掲示板を用いたコミュニケーション方法は、空間掲示板入力デバイスにて現実空間上でメモ内容を描画する動きを三次元座標情報に変換すると共にメモを記載した場所を特定する位置情報を取得するステップと、取得されたメモ内容の三次元座標情報とメモ記載場所を示すメモ位置情報とを前記空間掲示板入力デバイスからネットワーク上の空間コミュニケーションサーバに保存するステップと、前記空間掲示板表示デバイスにて、撮像の対象物の対象物位置を閲覧位置情報として前記空間コミュニケーションサーバに送信するステップと、前記空間コミュニケーションサーバにて、現実空間の撮像場所において前記空間掲示板表示デバイスが送信してきた閲覧位置情報に基づいて、対象物を中心とした閲覧範囲にメモ位置情報が含まれるメモ内容の三次元座標情報を検索し、検索されたメモ内容の三次元座標情報をメモ位置情報と共に前記空間掲示板表示デバイスへ配信するステップと、現実空間の撮像場所において現実空間の撮像画像を空間掲示板表示デバイスに表示するステップと、前記空間掲示板表示デバイスにて前記空間コミュニケーションサーバから撮影場所付近のメモ内容の三次元座標情報及びメモ位置情報を取得して前記撮像画像上にメモ内容を表示するステップとを具備したことを特徴とする。

本発明によれば、ユーザ同士又はユーザと店舗間で現実空間を利用して簡易にメッセージを交換してコミュニケーションすることができる新たなコミュニケーション手法を提供することができる。

以下、本発明の実施の形態について添付図面を参照して詳細に説明する。
図１は本発明の一実施の形態に係る空間掲示板システムの全体構成図である。
空間掲示板入力デバイス１１は、ユーザが現実空間の任意の場所において所望の対象物（物体、動植物、又は風景等を含む）に対して仮想的にメッセージ等を記載するためのデバイスである。空間掲示板入力デバイス１１によって現実空間上に仮想的に記載されたメッセージ等は空間掲示板として扱われる。空間掲示板入力デバイス１１は、現実空間上での空間掲示板の表示位置を示す掲示板位置情報を生成すると共に、当該空間掲示板に書き込むメッセージ内容となる空間掲示板入力デバイス１１の動きを示す三次元座標情報を生成する。

空間掲示板表示デバイス１２は、ユーザが任意の場所（現実空間）において、その場所における現実空間を撮影表示したときに、その撮像範囲に設定されている空間掲示板を現実空間上での位置に対応させて表示するデバイスである。

空間掲示板入力デバイス１１及び空間掲示板表示デバイス１２は、それぞれＧＰＳ設備１３と通信して自己の位置情報を取得可能であると共に、パケット網１４を経由してパケット網１４上の各種サーバとも通信可能に構成されている。通信事業者の管理する携帯電話用パケット網をパケット網１４として利用することができる。また、ＧＰＳ設備１３は地上に設置される通信局、又は軌道上を周回する１つ又は複数の人工衛星を利用することができる。

空間コミュニケーションサーバ１５は、空間掲示板入力デバイス１１から送られてくる空間掲示板情報を登録する一方、空間掲示板表示デバイス１２からの閲覧要求に対して撮像場所付近の空間掲示板情報を返信する。

このように、本実施の形態の空間掲示板システムは、あるユーザ（Ａ）が空間掲示板入力デバイス１１を使用して現実空間の所望の対象物に仮想的にメッセージを記載し、別のユーザ（Ｂ）が同一場所へ行き、そこで空間掲示板表示デバイス１２を使用して撮像した現実空間の撮像画像上の対象物にユーザ（Ａ）が記載したメッセージ等が空間掲示板として表示されるようにしたものである。

図２に空間掲示板入力デバイス１１の外観図、図３に空間掲示板表示デバイス１２の外観図を示す。図２（ａ）に示す空間掲示板入力デバイス１１は、ペン型の入力専用デバイスである。ペン胴部２１の先端及びペン先に押下スイッチ２２，２３が設けられている。ペン胴部２１には長手方向に液晶ディスプレイ２４が設けられ、ペン頭部に回転式の数字入力機構を兼ねる頭部スイッチ２５が設けられている。図２（ｂ）に示すように、頭部スイッチ２５を回転させて入力文字と基準線２５ａとを一致させてから頭部スイッチ２５をノックすることで入力文字が確定し、当該入力文字が液晶ディスプレイ２４に左詰めで表示されるように構成されている。例えば、数字入力機構を用いてグループ番号、暗証番号の入力を行う。また、図３に示す空間掲示板表示デバイス１２は、カード型のビューワ専用デバイスである。一方の面にタッチパネル式の液晶ディスプレイ２６が設けられ、他方の面に撮像カメラ（不図示）が設けられている。

図４は空間掲示板入力デバイス１１の機能ブロック図である。空間掲示板入力デバイス１１はＣＰＵ３０を備えており、押下スイッチ２２，２３、数字入力機構を兼ねる頭部スイッチ２５、２軸又は３軸方向の加速度を検出する加速度センサ３１、方位を検出する電子コンパス３２及び現在位置情報を取得するＧＰＳ受信機３４からのそれぞれの入力信号に基づいて、空間掲示板に関する位置情報、メッセージ内容（三次元座標情報）を取得する。また、空間掲示板入力デバイス１１は、パケット網１４経由でデータ通信するための通信モジュール３３と、位置情報及びメッセージ内容（三次元座標情報）を一時的に記憶するメモリ３５とを備える。

図５は空間掲示板表示デバイス１２の機能ブロック図である。空間掲示板表示デバイス１２はＣＰＵ４０を備えており、現実空間の撮像画像上に空間掲示板を表示するための処理を実行する。液晶ディスプレイ２６の前面にタッチパネル４１が設けられている。また、空間掲示板表示デバイス１２は、現実空間を撮像するカメラ４２、撮像画像に含まれる対象物までの距離を測定する距離測定器４３を備え、撮像画像を液晶ディスプレイ２６に表示する。さらに、２軸又は３軸方向の加速度を検出する加速度センサ４４、方位を検出する電子コンパス４５、パケット網１４経由でデータ通信するための通信モジュール４６、現在位置情報を取得するＧＰＳ受信機４７、空間コミュニケーションサーバ１５から受信される空間掲示板情報を記憶するメモリ４８を備える。ＣＰＵ４０は、液晶ディスプレイ２６に入力画面を表示すると共に入力画面に対するタッチ位置をタッチパネル４１で検出してユーザの各種指示入力内容を判断する。

図６は空間コミュニケーションサーバ１５の概念図である。空間コミュニケーションサーバ１５は、空間掲示板入力デバイス１１及び空間掲示板表示デバイス１２から送られてくる各種リクエストを受信部５１で受けて、認証部５２において認証を行う。記録部５３は、認証された空間掲示板入力デバイス１１から受信した空間掲示板情報を空間コミュニケーション用データベース（以下、「ＳＣＤＢ」という）５５へ格納する。また検索部５４は、認証された空間掲示板表示デバイス１２から受信した位置情報に基づいてＳＣＤＢ５５から該当する空間掲示板情報を検索する。本実施の形態では、空間掲示板表示デバイス１２において空間掲示板を表示する２つの表示モードがある。第１の表示モードは、対象物を中心として、その半径Ｘメートル以内に登録されている空間掲示板を全て表示するというものである。第２の表示モードは、表示端末（カメラ）から距離Ｘメートル以内に登録されている空間掲示板を全て表示するというものである。空間掲示板表示デバイス１２から送られてくるリクエストに表示モード情報を含んでいるものとする。

配信部５６は、空間掲示板入力デバイス１１及び空間掲示板表示デバイス１２から送られてくる各種リクエストに対するレスポンスを返信する部分である。空間掲示板表示デバイス１２から受信したデータリードリクエストに対しては、検索部５４によって検索された空間掲示板情報をレスポンスとして返信する。

図７は空間コミュニケーションサーバ１５におけるＳＣＤＢ５５のデータ構造を説明するための概念図である。図８は空間掲示板表示デバイス１２に表示した現実空間画像と空間掲示板の具体例を示す図である。図８に示す現実空間画像と空間掲示板の具体例を参照してＳＣＤＢ５５のデータ構造を説明する。

図８に示すように、本実施の形態では空間掲示板としてパブリックメモ（Ｍ１，Ｍ２）とグループメモ（Ｐ１）との２種類を登録可能にしている。パブリックメモとは、メッセージ内容を不特定のユーザに公開する空間掲示板のことであり、グループメモとはメッセージ内容を特定グループに属するユーザだけに公開する空間掲示板のことである。例えば、図８に示す現実空間が上野公園の西郷隆盛像周辺であるとして、パブリックメモＭ１は、西郷隆盛像自体を対象物としていて、西郷隆盛の説明文がメモ内容となっている。パブリックメモＭ２は、像の背後に植えられている桜の木が対象物となっていて、上野公園の桜の説明文がメモ内容となっている。グループメモＰ１は、西郷隆盛像を対象物としていて、あるグループのユーザが上野公園の西郷隆盛像に関連付けて現実空間上で仮想的に記述したメモであり、当該グループに属するユーザに対するメッセージ文がメモ内容となっている。このように、空間掲示板情報は、パブリックメモ又はグループメモの種別、空間掲示板のメモ内容を三次元座標情報（オブジェクトデータ）、空間掲示板の表示位置といった情報から構成することができる。

図７に示すように、ＳＣＤＢ５５のデータ構造は、現実空間上での空間掲示板の表示位置を特定する位置情報６１、空間掲示板の種別及びグループ番号６２、空間掲示板のメモ内容となるオブジェクトデータ６３から構成されている。なお、図７に示すＳＣＤＢ５５のデータ構造は一例であり、位置情報６１及びオブジェクトデータ６３の組み合わせ以外は適宜、用途・目的に応じて変形可能である。状況により同一位置に複数の空間掲示板が設定されている可能性がある。同一位置に複数の空間掲示板が設定されている場合、後述するように空間掲示板が重ねて表示されることになる。

次に、以上のように構成された空間掲示板システムの動作について説明する。
図９は空間掲示板入力デバイス１１を用いた空間掲示板へのメモ記載シーケンスを示す図である。グループ１に属するユーザ（Ａ）が上野公園の西郷隆盛像の正面であって像本体から数ｍの位置に立っていることとする。

ユーザ（Ａ）が空間掲示板入力デバイス１１の頭部スイッチ２５を押下すると、空間掲示板入力デバイス１１において記載モードがＯＮとなる（ステップＳ１）。記載モードがＯＮとなると、グループ番号及び暗証番号の入力を受け付ける(ステップＳ２)。空間掲示板の種別を「グループメモ」とする場合、ユーザはグループ番号及び暗証番号を入力する。本実施の形態では、数字入力機構の回転部となる頭部スイッチ２５を回転させて入力文字と基準線２５ａとを一致させ、頭部スイッチ２５をノックすることで１文字ずつ確定させて入力する。入力文字が液晶ディスプレイ２４に表示されるので、それを確認した後、入力誤りがなければ押下スイッチ２２を押下する。空間掲示板入力デバイス１１は、押下スイッチ２２が押下されると、グループ番号及び暗証番号がグループリクエストとして通信モジュール３３からパケット網１４経由で空間コミュニケーションサーバ１５へ送信される（ステップＳ３）。

空間コミュニケーションサーバ１５では、受信部５１がグループリクエストを受信すると暗証番号及びグループ番号を認証部５２へ渡して認証を行う(ステップＴ１)。認証に成功すればＯＫ、認証に失敗すればＮＧが設定されたグループレスポンスを空間掲示板入力デバイス１１に返信する（ステップＴ２）。

空間掲示板入力デバイス１１は、グループレスポンスの内容を判定する(ステップＳ４)。グループレスポンスがＯＫであれば、空間掲示板入力デバイス１１の現在位置情報（経度、緯度、高度）を要求するロケーションリクエストをＧＰＳ設備１３に対して送信する（ステップＳ５）。

ＧＰＳ設備１３は、ロケーションリクエストを受信すると（ステップＱ１）、要求元である空間掲示板入力デバイス１１の位置情報（経度、緯度、高度）を通知する（ステップＱ２）。

空間掲示板入力デバイス１１は、ＧＰＳ受信機３４がＧＰＳ設備１３から位置情報（経度、緯度、高度）を受信してメモリ３５に格納され(ステップＳ６)、ディスプレイ２４に入力待ちのメッセージが表示される。この結果、空間掲示板入力デバイス１１を所持したユーザ（Ａ）が現在立っている現実空間における位置情報が空間掲示板入力デバイス１１のメモリ３５に格納されたことになる。ここで取得された空間掲示板入力デバイス１１の位置情報は、後に空間掲示板の位置情報として用いられる。

次に、空間掲示板入力デバイス１１のディスプレイ２４に入力待ちのメッセージが表示されている間に、押下ボタン２５を押すことにより入力モードへ移行する(ステップＳ７)。入力モードでは、ユーザ（Ａ）が現実空間における任意の対象物に関連付けた仮想の空間掲示板に所望のメッセージを記載することになる。入力モードへ移行すると、空間掲示板入力デバイス１１のペン先の動き（軌跡）が三次元座標データの形式でメモリ３５に記録される（ステップＳ８）。

図１０は入力モードにおける空間掲示板入力デバイス１１の動作の詳細を示すシーケンス図である。同図に示すように、入力モードにおいては、押下ボタン２２または２３の押下検出信号を空間掲示板入力デバイス１１のペン先の線画有効／無効情報（W）として連続的に取り込むと共に、加速度センサ３１により検出される３軸方向の検出信号を三次元座標情報（Ｘ，Ｙ，Ｚ）として連続的に取り込む。ＣＰＵ３０は、連続して取り込まれる線画有効／無効情報（W）と三次元座標情報（Ｘ，Ｙ，Ｚ）とを[Ｗ，（Ｘ，Ｙ，Ｚ）]のデータ形式で時系列的にメモリ３５に記憶していく。図１０では線画有効のときはＷ＝１、線画無効のときはＷ＝０としている。そして、空間掲示板入力デバイス１１の押下ボタン２５が再び押されることにより入力モードが解除される（ステップＳ９）。入力モードに移行してから入力モードを解除するまでに入力された一連の線画有効／無効情報（W）と三次元座標（Ｘ，Ｙ，Ｚ）とを併せた、時系列的にメモリ３５に記憶している[Ｗ，（Ｘ，Ｙ，Ｚ）]形式の一連のデータを１つのオブジェクトデータとして抽出する。

このように、ユーザ（Ａ）がペン先（空間掲示板入力デバイス１１）で所望のメッセージを空間上に描画すると、その時のペン先の三次元座標がメモリ３５に順次書き込まれていく。ペン先の三次元座標を復元して可視化すれば、ユーザ（Ａ）が記載したメッセージそのものとなる。すなわち、ユーザ（Ａ）が上野公園の西郷隆盛像の正面で、西郷隆盛像に向かって空間上に何かメッセージをメモ書きすれば、そのメッセージ内容がユーザ（Ａ）の立っていた位置情報と共にメモリ３５に記録される。このときメモリ３５に記録された位置情報及びペン先の三次元座標データが空間掲示板情報となる。

ユーザ（Ａ）が空間掲示板入力デバイス１１の押下スイッチ２２を押下すると、空間コミュニケーションサーバ１５に対してデータレコードリクエストを送信する(ステップＳ１０)。データレコードリクエストでは、メモリ３５に記録された位置情報及びメッセージ内容を示す三次元座標データからなる空間掲示板情報を送信する。空間掲示板情報には種別を含ませることができる。

空間コミュニケーションサーバ１５は、先に認証した空間掲示板入力デバイス１１からデータレコードリクエストを受信すると、記録部５３がＳＣＤＢ５５に新規に空間掲示板のレコードを作成する(ステップＴ３)。例えば、図７に示すように位置情報６１の項目に、今回のデータレコードリクエストから取り出した位置情報（経度、緯度、高度）を書き込み、種別／グループ６２の項目には認証時に確認したグループ番号を書き込み、オブジェクトデータ６３の項目にはオブジェクト番号と共にメッセージ内容を示す三次元座標データを書き込む。空間コミュニケーションサーバ１５は、空間掲示板レコードの記録が正常終了すると、記録完了のレスポンスを空間掲示板入力デバイス１１へ返信する(ステップＴ４)。

空間掲示板入力デバイス１１は、空間コミュニケーションサーバ１５から記録完了のレスポンスを受信して記載モードをＯＦＦする(ステップＳ１１)。

以上の一連の処理によって空間掲示板情報が空間コミュニケーションサーバ１５に登録されたことになる。

次に、先にユーザ（Ａ）が空間掲示板に記載したメッセージ内容を他人のユーザ（Ｂ）が閲覧する動作について説明する。
図１１は、既に他人が空間掲示板に記載したメッセージ内容を、ユーザ（Ｂ）が空間掲示板表示デバイス１２を用いて閲覧する際の閲覧シーケンスを示す図である。ユーザ（Ａ）と同一グループに属するユーザ（Ｂ）が、上述した通りユーザ（Ａ）が空間掲示板にメモを記載した同じ場所である上野公園の西郷隆盛像の周辺に立っているものとする。

カード型の専用ビューワである空間掲示板表示デバイス１２を操作して閲覧モードをＯＮにする(ステップＳ２１)。例えば、液晶ディスプレイ２６に表示された閲覧モードボタンを押下することで、ＣＰＵ４０が閲覧モードＯＮと判定する。閲覧モードＯＮになると、ユーザ（Ｂ）のグループ番号及び暗証番号の入力を要求する画面を表示する(ステップＳ２２)。ユーザ（Ｂ）が入力要求画面に対してグループ番号及び暗証番号を入力すると、通信モジュール４６から空間コミュニケーションサーバ１５に対してグループリクエストを送信する(ステップＳ２３)。グループリクエストにはグループ番号及び暗証番号が設定されていてパケット網１４を経由して送信される。

空間コミュニケーションサーバ１５では、受信部５１がグループリクエストを受信すると暗証番号及びグループ番号を認証部５２へ渡して認証を行う(ステップＴ２１)。認証に成功すればＯＫ、認証に失敗すればＮＧが設定されたグループレスポンスを空間掲示板表示デバイス１２に返信する（ステップＴ２２）。

空間掲示板表示デバイス１２は、グループレスポンスの内容を判定する(ステップＳ２４)。グループレスポンスがＯＫであれば、空間掲示板表示デバイス１２の現在位置情報（経度、緯度、高度）を要求するロケーションリクエストをＧＰＳ設備１３に対して送信する（ステップＳ２５）。

ＧＰＳ設備１３は、ロケーションリクエストを受信すると（ステップＱ２１）、要求元である空間掲示板表示デバイス１２の位置情報（経度、緯度、高度）を通知する（ステップＱ２２）。

空間掲示板表示デバイス１２は、ＧＰＳ受信機４７がＧＰＳ設備１３から位置情報（経度、緯度、高度）を受信してメモリ４８にカメラ位置情報として格納する(ステップＳ２６)。この結果、空間掲示板表示デバイス１２を所持したユーザ（Ｂ）が現在立っている現実空間における位置であるカメラ４２の位置情報が空間掲示板表示デバイス１２のメモリ４８に格納されたことになる。ここで取得されたカメラ位置情報は、後に空間掲示板検索する際の閲覧中心位置の計算に用いられる。

ユーザ（Ｂ）は現在位置において所望の方向に空間掲示板表示デバイス１２搭載のカメラ４２を向けて撮像を開始する。カメラ４２で取り込まれた撮像画像は現実空間画像としてリアルタイムで液晶ディスプレイ２６に表示される。このとき、カメラ４２の被写体中心（以下、「対象物」という）に対して距離測定器４３からプローブ光が照射される。距離測定器４３は対象物からのプローブ光の戻り時間から対象物までの距離を測定する（ステップＳ２７）。対象物までの距離測定データはメモリ４８に記録される。例えば、被写体中心が西郷隆盛像であれば、カメラ位置から西郷隆盛像までの距離が計測される。また、被写体中心が遠くの景色であれば、プローブ光が反射されないので測定不能となる。ユーザ（Ｂ）は空間掲示板表示デバイス１２に搭載されたカメラ４２の向きを変えることにより被写体を自由に選択する。

ＣＰＵ４０は、カメラ位置情報、電子コンパス４５による方位情報、対象物までの距離測定データ、表示モードから閲覧中心位置を計算する（ステップＳ２８）。第１の表示モードは、対象物を中心とした半径Ｘメートル以内に登録されている空間掲示板（オブジェクト）を表示するので、対象物の位置を閲覧中心位置として計算する。カメラ位置を基準点とした場合における対象物の方位を電子コンパス４５が検出する方位情報から求める。カメラ位置から対象物の方位に距離Ｘ離れた位置を計算し、その場所を閲覧中心位置とする。また、第２の表示モードは、カメラ位置から距離Ｘメートル以内に登録されている空間掲示板（オブジェクト）を全て表示するので、対象物までの距離測定は必要ない。したがって、第２の表示モードが選択されている場合はステップＳ２７の処理はスキップされる。このようにして決定された閲覧中心位置（経度、緯度、高度）はデータリードリクエストに設定されて空間コミュニケーションサーバ１５へ送られる(ステップＳ２８)。

空間コミュニケーションサーバ１５は、受信部５１がデータリードリクエストを受信し、データリードリクエストから閲覧中心位置（経度、緯度、高度）を取り出して検索部５４へ渡す。検索部５４は、ＳＣＤＢ５５から閲覧中心位置から半径Ｘメートル以内に登録されている空間掲示板（オブジェクト）を検索する(ステップＴ２３)。図７において、閲覧中心位置から半径Ｘメートル以内に含まれる位置情報を６１ａとする。６１ａのエリアには、パブリックメモである複数の空間掲示板（オブジェクト）、グループ１に属するグループメモである複数の空間掲示板（オブジェクト）、グループ２に属するグループメモである１つの空間掲示板がそれぞれ存在する。検索部５４は、認証時に確保したグループ番号からグループを特定し、当該グループに属する全ての空間掲示板（オブジェクト）をリード対象レコードに決定する。さらに、６１ａのエリアにはパブリックメモが存在するので、パブリックメモの空間掲示板（オブジェクト）もリード対象レコードに決定する。空間掲示板の検索が終了したら、リード対象レコードをＳＣＤＢ５５から読み出して要求元の空間掲示板表示デバイス１２へパケット網１４経由で送信する(ステップＴ２４)。例えば、図１２に示すケースの場合、位置情報６１ａのエリアにおいて閲覧中心位置からＸメートル以内にグループ番号１のグループメモ又はパブリックメモとして６つのオブジェクトＯＢ１〜ＯＢ６が登録されている。データリードリクエストのグループ番号が１で、第１の表示モードが選択されていれば、６つのオブジェクトＯＢ１〜ＯＢ６を抽出して空間掲示板表示デバイス１２へ配信することになる。

空間掲示板表示デバイス１２は、空間コミュニケーションサーバ１５から送られてくる空間掲示板情報をオブジェクト毎にメモリ４８に格納すると共に、液晶ディスプレイ２６にリアルタイムで現実空間の撮像画像が表示されているので、現実空間上の位置に合わせて空間掲示板を表示させる(ステップＳ２９)。例えば、図１２に示すように、６つのオブジェクトＯＢ１〜ＯＢ６が抽出されて空間掲示板表示デバイス１２へ配信されてきた場合、６つのオブジェクトＯＢ１〜ＯＢ６の中から現在の表示範囲に含まれる３つのオブジェクトＯＢ１、ＯＢ２，ＯＢ３を現実空間上の位置に合わせて表示する。先ず、メモリ４８には配信されて来た全てのオブジェクト（ＯＢ１〜ＯＢ６）が格納される一方、液晶ディスプレイ２６にはカメラ４２の視野角及び向きに応じて斜線領域Ｍの現実空間画像が表示されている。ＣＰＵ４０は、カメラ４２の視野角及び向きから斜線領域Ｍを計算し、個々のオブジェクト（ＯＢ１〜ＯＢ６）の位置情報から斜線領域Ｍに入るオブジェクト（ＯＢ１，ＯＢ２，ＯＢ３）を表示対象掲示板として特定する。斜線領域Ｍ上（現実空間）でのオブジェクト（ＯＢ１，ＯＢ２，ＯＢ３）の表示位置をＯＢ１，ＯＢ２，ＯＢ３の各位置情報から決定し、決定した表示位置にＯＢ１，ＯＢ２，ＯＢ３からなる空間掲示板を表示する。図８は以上のような処理にしたがって３つの空間掲示板Ｍ１，Ｍ２，Ｐ１が液晶ディスプレイ２６に表示した現実空間上に表示された状態を示している。なお、空間コミュニケーションサーバ１５で抽出して配信されて来たが、現在の画像上には表示されていないオブジェクトＯＢ４、ＯＢ５，ＯＢ６が存在することを液晶ディスプレイ２６の所定位置に表示することが望ましい。

ユーザ（Ｂ）が液晶ディスプレイ２６に閲覧モードボタンを表示してＯＦＦボタンを押下すると、閲覧モードをＯＦＦして閲覧モードを終了する（ステップＳ３０）。

図１３は、図１１のシーケンスにおいてグループレスポンス（ＯＫ）を受信してから閲覧モードＯＦＦするまでの空間掲示板表示デバイス１２における処理内容を示すフロー図である。空間掲示板表示デバイス１２において、グループレスポンス（ＯＫ）を受信すると、表示モードを判定する（ステップＳ１０１）。例えば、初期設定では第１の表示モードを設定しておき、後からユーザが切替えられるようにする。

第１の表示モードが設定されている場合は、ＧＰＳ設備１３と連携してカメラ位置を測定し（ステップＳ１０２）、さらに距離測定器４３が対象物までの距離を測定する（ステップＳ１０３）。距離測定器４３の測定可能範囲内に対象物が存在しない場合は測定不能と判定される（ステップＳ１０４）。

対象物までの距離が測定できたならば、カメラ位置、対象物までの距離、カメラ位置から対象物に対する方位といった情報から閲覧中心位置（対象物位置）を計算する（ステップＳ１０５）。図１２に示す閲覧中心位置の座標が求められる。

空間コミュニケーションサーバ１５から閲覧中心位置（対象物位置）を中心とした半径Ｘｍの範囲に存在する全ての空間掲示板情報が送られて来てメモリ４８に格納される。ＣＰＵ４０は、図１２に示すようにカメラ４２の周囲の現実空間のうち斜線領域Ｍが表示範囲となるので、斜線領域Ｍに含まれる空間掲示板（オブジェクトＯＢ１，ＯＢ２，ＯＢ３）を斜線領域Ｍの現実空間画像上に表示させる(ステップＳ１０６)。

ここで、斜線領域Ｍが表示範囲となるのはある時点でのことであり、ユーザ（Ｂ）の存在する位置並びにカメラ４２の向きは常に移動しており、閲覧中心位置も変化する。閲覧中心位置が変化すると、変化後の表示範囲に含まれる空間掲示板が変化する可能性がある。例えば、図１２においてカメラ４２の向きを所望角度回転させれば、現実の表示範囲には別の空間掲示板（例えば、オブジェクトＯＢ５，ＯＢ７）が含まれる。

そこで、空間掲示板を最新のものに切替えるための切替ボタンをディスプレイ２６に表示するように構成し、ユーザが切替ボタンを押下したことをタッチパネル４１のタッチ位置から検出したならば（ステップＳ１０７）、閲覧中心位置を計算し直して空間掲示板情報を再度リード要求する。このとき、表示モードを任意に設定するために表示モードの入力要求を行う（ステップＳ１０９）。なお、空間掲示板表示デバイス１２にハードスイッチで構成された切替ボタンを設けるようにしても良い。

また、上記ステップＳ１０１の処理で表示モードが第２の表示モードであると判定した場合、ＧＰＳ設備１３からカメラ位置を取得し(ステップＳ１１１)、取得されたカメラ位置を閲覧中心位置とする（ステップＳ１１２）。

また、上記ステップＳ１０４で対象物までの距離を測定不能と判断した場合、表示モードを第２の表示モードに変更する旨のメッセージを表示してから(ステップＳ１１０)、ステップＳ１１１へ移行する。近くに対象物が存在しない景色等を撮影している場合は、自動的に第２の表示モードへ変化するようにしている。

また、ステップＳ１０６の空間掲示板の表示において、空間掲示板が重なって表示される場合は、裏側に別の空間掲示板が存在することを示す強調表示を行うことが望ましい。ユーザが強調表示されている表の空間掲示板を移動する操作を行うことにより、下から別の空間掲示板が現れるように表示制御を行う。空間掲示板の初期表示では位置情報に基づいた表示位置であるが、その後の掲示板移動操作では位置情報によらずに操作量に応じて表示位置を変更する。空間掲示板の移動情報は保存せずに消去する。一方、ステップＳ２９(図１１)でメモリ４８に格納した空間掲示板の位置情報は移動後もデフォルトとして保存しておき、閲覧モードをＯＦＦしてから再びＯＮして同じ場所を閲覧する場合にデフォルトとして利用できるようにしても良い。

また、ステップＳ１０６の空間掲示板の表示において、カメラ位置と空間掲示板との位置関係によっては平面オブジェクトを側面表示することとになる。液晶ディスプレイ２６に表示されるオブジェクト（平面オブジェクト）を回転操作できるようにすることが望ましい。回転操作機能を利用して平面オブジェクトだけを回転させて正面表示されるようにすることにより、オブジェクトを見易くすることができる。また、任意のオブジェクトを拡大表示できるようにしても良い。

このように、最初は空間コミュニケーションサーバ１５から配信される空間掲示板情報に基づいてオブジェクトを表示し、その後にユーザが個々のオブジェクトの表示状態を操作できるようにすることで、ユーザにとって使い易く、しかも見易い空間掲示板を提供することができる。

なお、本発明は以上の実施の形態に限定されるものではなく、種々変形実施可能である。
１台の携帯情報端末に、空間掲示板入力デバイス１１の機能と空間掲示板表示デバイス１２の機能の両方を実装するようにしても良い。

また、空間掲示板入力デバイス１１にカメラ機能と大型ディスプレイとを備え、メモリには空間掲示板のコンテンツとして利用したいテキスト／画像等のコンテンツを保存しておくようにしても良い。ディスプレイに現実空間を表示させた上で、当該表示画面上でコンテンツを貼り付ける位置（右上、左下等）を指定して当該指定位置にユーザが指定するコンテンツを貼り付ける。空間掲示板入力デバイス１１の位置情報（方位情報を含む）にコンテンツ貼付位置情報及びコンテンツ情報を付加したものを空間掲示板情報として空間コミュニケーションサーバ１５に登録する。

さらに、上記空間掲示板システムに、以下のような機能を付加するようにしても良い。
空間掲示板システムにリモート編集機能を付加する。管理者端末からネットワークを経由して管理者権限で空間コミュニケーションサーバ１５にアクセスし、空間掲示板へのオブジェクトの書込み、テキスト/画像等の貼付、オブジェクトの削除を行えるようにシステム構成する。

空間掲示板システムにオブジェクトアップデータ／アップデート通知機能を付加する。空間掲示板対応機器で撮影したＧＰＳ情報等の付加情報を持つ写真を空間コミュニケーションサーバ１５に送り、ＳＣＤＢ５５に登録されているオブジェクトのみ最新情報に更新するようにする。そして、現実空間におけるオブジェクトが更新された場合は、空間コミュニケーションサーバ１５から該当グループの各ユーザにメールで通知するようにする。

空間掲示板システムにオブジェクト通知機能を付加する。空間コミュニケーションサーバ１５に予め特定の掲示板情報を登録しておき、ユーザ端末の位置情報を空間コミュニケーションサーバ１５でチェックし、特定の空間掲示板から所定距離以内にユーザが入った時にオブジェクトがあることを当該ユーザに通知する。

空間掲示板システムに類似掲示板検索機能を付加する。ユーザ端末において空間掲示板を閲覧中に、類似情報を集めることができるようにする。ＳＣＤＢ５５において類似するオブジェクト間を紐付ける類似情報を設定しておき、ユーザ端末から類似掲示板検索要求が上げられて来たら類似情報に従って現在閲覧中のオブジェクトに紐付けられた類似オブジェクトを検索して配信する。このとき、現実空間に対応させて空間掲示板を表示するためには半径１ｋｍ等の距離等で指定できるようにすることが望ましい。

空間掲示板システムにオブジェクトタイマー機能を付加する。ＳＣＤＢ５５に登録する空間掲示板情報に、オブジェクト閲覧可能時刻、オブジェクト削除時刻、閲覧時間等の情報を付加しておく。空間コミュニケーションサーバ１５は、ユーザ端末からの要求に対して、これらの付加情報に従ってオブジェクト閲覧可能時刻、閲覧時間等をコントロールする一方、オブジェクト削除時刻となったオブジェクトをＳＣＤＢ５５から削除する。

空間掲示板システムに付加情報付きオブジェクト機能（リンク機能）を付加する。オブジェクトの付加情報にリンクするためのリンク情報をＳＣＤＢ５５に登録する。ユーザ端末においてオブジェクトがクリックされたならばリンク情報に基づいて付加情報へリンクするようにシステム構成する。

空間掲示板システムに現実空間ナビゲーション機能を付加する。予め地図上で行き先をトレースしておくことで、カメラから取り込まれる現実空間にルートを表示するようにする。ユーザ端末から送られて来る位置・方向情報に基づいて現在位置及び方向に合わせてルート情報を配信する。ルート情報はエリア単位で配信するようにしても良い。

空間掲示板システムに閲覧ログ集計・分析機能を付加する。対象物撮影ログを集計し、空間掲示板の一部に広告を表示する。

本発明は、現実空間に仮想的に掲示板を設けて書き込み及び閲覧を可能にする空間掲示板システムに適用可能である。

本発明の一実施の形態に係る空間掲示板システムのシステム構成図（ａ）上記一実施の形態における空間掲示板入力デバイスの外観図、（ｂ）空間掲示板入力デバイスにおける頭部スイッチの側面図上記一実施の形態における空間掲示板表示デバイスの外観図上記一実施の形態における空間掲示板入力デバイスの機能ブロック図上記一実施の形態における空間掲示板表示デバイスの機能ブロック図上記一実施の形態における空間コミュニケーションサーバの概念図空間コミュニケーションサーバにおけるデータベースのデータ構造の説明図現実空間に空間掲示板を表示した状態を示す図上記一実施の形態における記載シーケンスのシーケンス図記載シーケンスにおける入力モードでのシーケンス図上記一実施の形態における閲覧シーケンスのシーケンス図閲覧中心位置とオブジェクトとの位置関係を示す説明図空間掲示板表示デバイスの部分的な動作内容を示すフロー図

符号の説明

１１空間掲示板入力デバイス
１２空間掲示板表示デバイス
１３ＧＰＳ設備
１４パケット網
１５空間コミュニケーションサーバ
２１ペン胴部
２２、２３押下スイッチ
２４、２６液晶ディスプレイ
２５頭部スイッチ
３０，４０ＣＰＵ
３１、４４加速度センサ
３２，４５電子コンパス
３３、４６通信モジュール
３４、４７ＧＰＳ受信機
３５，４８メモリ
４１タッチパネル
４２カメラ
４３距離測定器
５１受信部
５２認証部
５３記録部
５４検索部
５５データベース
５６配信部

Claims

現実空間上でメモ内容を描画する動きを三次元座標情報に変換して取り込むと共にメモを記載した場所を特定する位置情報を取得する空間掲示板入力デバイスと、
前記空間掲示板入力デバイスからメモ内容の三次元座標情報とメモ記載場所のメモ位置情報とを通信網経由で取り込み保存する空間コミュニケーションサーバと、
現実空間の撮像場所において撮像場所付近のメモ内容の三次元座標情報及びメモ位置情報を前記空間コミュニケーションサーバから受信し、三次元座標情報及びメモ位置情報に基づき現実空間の撮像画像に合わせてメモ内容を表示する空間掲示板表示デバイスとを具備し、
前記空間掲示板表示デバイスが、撮像の対象物の対象物位置を閲覧位置情報として前記空間コミュニケーションサーバに送信し、
前記空間コミュニケーションサーバが、現実空間の撮像場所において前記空間掲示板表示デバイスが送信してきた閲覧位置情報に基づいて、対象物を中心とした閲覧範囲にメモ位置情報が含まれるメモ内容の三次元座標情報を検索し、検索されたメモ内容の三次元座標情報をメモ位置情報と共に前記空間掲示板表示デバイスへ配信することを特徴とする空間掲示板システム。
前記空間コミュニケーションサーバは、メモ内容を閲覧可能なグループのグループ番号を当該メモ内容の三次元座標情報に対応させて保存し、前記空間掲示板表示デバイスからグループ番号を特定した閲覧要求を受けた場合に当該グループ番号に対応したメモ内容の三次元座標情報及びメモ位置情報を配信することを特徴とする請求項１記載の空間掲示板システム。
撮像場所において現実空間を撮像するカメラと、前記カメラで撮像された撮像画像をリアルタイムで表示するディスプレイと、撮像場所であるカメラ位置を位置検出設備と通信して取得する位置取得手段と、空間コミュニケーションサーバとネットワーク経由で通信する通信手段と、方位を検出する電子コンパスと、前記カメラで撮像された対象物までの距離を測定する距離測定手段とを具備し、
撮像場所周辺における所定位置を示す閲覧位置情報を前記空間コミュニケーションサーバへ送信し、前記空間コミュニケーションサーバにおいて閲覧位置情報に基づいて検索したメモ内容の三次元座標情報及びメモ位置情報を当該空間コミュニケーションサーバから受信し、受信したメモ内容の三次元座標情報及びメモ位置情報に基づいて撮像画像上の所定位置にメモ内容を表示させ、
対象物を中心としてメモ内容を表示する第１の表示モードが選択されている場合は、対象物までの距離測定値とカメラ位置と方位検出値とから計算される対象物位置を閲覧位置情報として前記空間コミュニケーションサーバへ送信することを特徴とする空間掲示板表示デバイス。
現実空間上でメモ内容を描画する動きを三次元座標情報に変換して取り込むと共にメモを記載した場所を特定する位置情報を取得する空間掲示板入力デバイスから通信網経由で送られてくるメモ内容の三次元座標情報とメモ記載場所のメモ位置情報とを受信する受信手段と、
受信したメモ内容の三次元座標情報を１つのオブジェクトデータとしてメモ位置情報と対応付けて保存するデータベースと、
現実空間の撮像場所において空間掲示板表示デバイスが送信してきた撮像の対象物の対象物位置としての閲覧位置情報に基づいて前記データベースからメモ位置情報が対象物を中心とした閲覧範囲に含まれるオブジェクトデータを検索する検索手段と、
検索されたオブジェクトデータをメモ位置情報と共に前記空間掲示板表示デバイスへ配信する配信手段と、
を具備したことを特徴とする空間コミュニケーションサーバ。
空間掲示板入力デバイスにて現実空間上でメモ内容を描画する動きを三次元座標情報に変換すると共にメモを記載した場所を特定する位置情報を取得するステップと、
取得されたメモ内容の三次元座標情報とメモ記載場所を示すメモ位置情報とを前記空間掲示板入力デバイスからネットワーク上の空間コミュニケーションサーバに保存するステップと、
前記空間掲示板表示デバイスにて、撮像の対象物の対象物位置を閲覧位置情報として前記空間コミュニケーションサーバに送信するステップと、
前記空間コミュニケーションサーバにて、現実空間の撮像場所において前記空間掲示板表示デバイスが送信してきた閲覧位置情報に基づいて、対象物を中心とした閲覧範囲にメモ位置情報が含まれるメモ内容の三次元座標情報を検索し、検索されたメモ内容の三次元座標情報をメモ位置情報と共に前記空間掲示板表示デバイスへ配信するステップと、
現実空間の撮像場所において現実空間の撮像画像を空間掲示板表示デバイスに表示するステップと、
前記空間掲示板表示デバイスにて前記空間コミュニケーションサーバから撮影場所付近のメモ内容の三次元座標情報及びメモ位置情報を取得して前記撮像画像上にメモ内容を表示するステップと、
を具備したことを特徴とする空間掲示板を用いたコミュニケーション方法。