Nothing Special   »   [go: up one dir, main page]

JP4685286B2 - 情報更新処理装置 - Google Patents

情報更新処理装置 Download PDF

Info

Publication number
JP4685286B2
JP4685286B2 JP2001236528A JP2001236528A JP4685286B2 JP 4685286 B2 JP4685286 B2 JP 4685286B2 JP 2001236528 A JP2001236528 A JP 2001236528A JP 2001236528 A JP2001236528 A JP 2001236528A JP 4685286 B2 JP4685286 B2 JP 4685286B2
Authority
JP
Japan
Prior art keywords
information
image
data
update
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001236528A
Other languages
English (en)
Other versions
JP2003051021A (ja
Inventor
聡 久永
聡 田中
純一 柴山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2001236528A priority Critical patent/JP4685286B2/ja
Publication of JP2003051021A publication Critical patent/JP2003051021A/ja
Application granted granted Critical
Publication of JP4685286B2 publication Critical patent/JP4685286B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、位置に関連付けされている画像、動画、形状、文字の情報を最新の情報に更新する情報更新装置、情報取得装置および情報更新処理装置に関するものである。
【0002】
【従来の技術】
従来、位置に関連した情報の記録方式あるいは装置としては、特許番号第2956587号特許公報(以下、公報1という)に記載された広告情報の登録方法および供給方法、特開平11−259502号公報(以下、公報2という)に記載された映像情報表示装置が知られている。
【0003】
上記公報1のものは、利用者が位置とその位置に関連付ける関連情報を意図的に指定するようにしている。すなわち、情報を登録する操作員は、コンピュータを操作して、関連付けたい画像や属性の文字のデータを指定すると共に、これを関連付ける位置をコンピュータの画面に表示されている地図上で指定する。地図上に位置を指定すると、コンピュータは、指定された位置の例えば経度緯度といった位置を特定する情報と、指定されたデータを特定するための電子ファイル名といった情報とを関連付けて記録する。
【0004】
上記公報2のものは、ビデオカメラを用いて情景を撮影しながら車両を走行した場合に、走行している車両の位置を示す位置情報やビデオカメラの方向を示す方向情報を動画の1コマ1コマと関連付けて記録するようにしている。なお、公報2のものは、記録した映像と位置の情報とを関連付けて保存することはできるものの、位置と映像とを既に関連付けて保存してある情報が新しい風景かどうかを判断することは行っていない。
【0005】
また、従来において、車両に設置するカーナビゲーションシステムでは、CD−ROMまたはDVDなどの記録媒体を備えており、この記録媒体に道路沿線に所在するレストラン等の情報を記録している。このような情報は、文字情報や画像情報から構成されており、道路の基点となる位置から何メートルかという情報と共に記録されている。
【0006】
さらに、従来においては、インターネットと接続する機能を有しているインターネット接続型カーナビゲーションシステムも実現されている。そのため、商店主が、走行する車両のインターネット接続型カーナビゲーションシステムに対して、自己の店の情報を知らせるべく、インターネットと接続されているサーバに情報コンテンツを登録しておくことで、インターネット接続型カーナビゲーションシステム(の利用者)においては、インターネットを介して商店主の情報を知ることが可能となる。この場合、商店主は、サーバの管理者に依頼して走行中の車両のインターネット接続型カーナビゲーションシステムへ情報を配信することができるように、サーバに情報コンテンツを登録しなくてはならない。
【0007】
【発明が解決しようとする課題】
しかしながら、上記公報1のものでは、操作員が明示的に、関連付けたい画像や属性の文字などの関連情報と、これを関連付ける位置とを指定しなければならず、また、関連情報に更新があった場合には、操作員は、新しい関連情報と地図上の位置とを新たに関連付けしなければならないという問題点があった。
【0008】
また、上記公報2のものでは、例えば交差点の角の店が新しく立て直しされたとしても、常に最新に撮影した動画の映像と位置情報とを関連付けて記録してしまうので、新しく立て直しされた建物だけでなく既に記録してある建物の映像も記録してしまう。このため、変化があった部分だけではなく膨大な動画を何度も記録しなければならないので、記録作業が煩雑であると共に、記録媒体の記録容量を余計に利用しなければならず記録媒体を有効に利用することができないという問題点があった。
【0009】
また、上記従来の車両に設置するカーナビゲーションシステムでは、付属するCD−ROMやDVDなどの記録媒体に記録する情報は事前に収集して記録しておかなければならず、しかもCD−ROMやDVDに記録された情報について、最新の情報とすべく一部分のみを更新することはできない。
【0010】
さらに、上記従来のインターネット接続型カーナビゲーションシステムに対して情報を配信するようにしたものにあっては、たとえば商店主は自己の店の前を走行している車両に対して広告等の情報を送ることができない。また、インターネット接続型カーナビゲーションシステムの利用者へ情報を伝達したい場合でも、サービスの運用者へ依頼して情報を提供しなくてはならないので、時間や手間がかかり、最新の情報を提供することができない。
【0011】
この発明は上記に鑑みてなされたもので、位置に関連付けされている情報を最新の情報に更新することができると共に、記録媒体の有効利用を図ることができる情報更新装置、情報取得装置および情報更新処理装置を得ることを目的としている。
【0012】
【課題を解決するための手段】
上記目的を達成するためこの発明にかかる情報更新装置は、位置情報とこれに関連する画像情報を含む関連情報とを対応付けて記憶する記憶手段に対してアクセスして、前記記憶手段に記憶されている情報を更新する情報更新装置であって、移動体に搭載された情報取得装置が送信した被写体画像と位置情報とを取得して、前記記憶手段に記憶されている当該被写体画像に関する位置情報に対応する関連情報と当該被写体画像とを比較する比較手段と、前記比較手段によって被写体画像と関連情報とが異なると判定されたときは、当該被写体画像に基づいて前記記憶手段に記憶されている当該関連情報を更新する更新手段と、を備えたことを特徴とする。
【0013】
この発明によれば、比較手段が、移動体に搭載された情報取得装置が送信した被写体画像と位置情報とを取得して、前記記憶手段に記憶されている当該被写体画像に関する位置情報に対応する関連情報と当該被写体画像とを比較し、更新手段が、前記比較手段によって被写体画像と関連情報とが異なると判定されたときは、当該被写体画像に基づいて前記記憶手段に記憶されている当該関連情報を更新する。
【0014】
上記目的を達成するためこの発明にかかる情報取得装置は、位置情報とこれに関連する画像情報を含む関連情報とを対応付けて記憶する記憶手段に対してアクセスし、最新の画像情報に基づいて前記記憶手段に記憶されている当該関連情報を更新する情報更新装置に対して情報を提供する情報取得装置であって、移動体に搭載され、画像情報を撮影する撮像手段と、当該撮像手段の位置を検出する位置検出手段と、前記撮像手段で撮影された画像情報および前記位置検出手段で検出した位置情報に基づいて対象の画像に含まれる被写体画像を抽出し、この抽出した被写体画像および位置情報を前記情報更新装置へ送出する抽出手段と、を備えたことを特徴とする。
【0015】
この発明によれば、位置検出手段が、移動体に搭載され撮像手段の位置を検出すると、抽出手段が、前記撮像手段で撮影された画像情報および前記位置検出手段で検出した位置情報に基づいて対象の画像に含まれる被写体画像を抽出し、この抽出した被写体画像および位置情報を情報更新装置へ送出する。
【0016】
つぎの発明にかかる情報取得装置は、上記の発明において、前記被写体画像を前記記憶手段に記憶されている画像と比較できるように形状を変形する変形手段を更に備え、前記比較手段は、前記変形手段によって変形された被写体画像と、前記記憶手段に記憶されている当該被写体画像に関する位置情報に対応する関連情報とを比較し判定することを特徴とする。
【0017】
この発明によれば、変形手段が、被写体画像を記憶手段に記憶されている画像と比較できるように形状を変形すると、比較手段が、その変形された被写体画像と、記憶手段に記憶されている当該被写体画像に関する位置情報に対応する関連情報とを比較判定する。
【0018】
上記目的を達成するためこの発明にかかる情報更新処理装置は、位置情報とこれに関連する画像情報を含む関連情報とを対応付けて記憶する記憶手段に対してアクセスする情報更新装置と、移動体に搭載され、撮像手段により撮影された画像情報と当該撮像手段の位置を検出する位置検出手段により検出された位置情報とを取得する情報取得装置とを有する情報更新処理装置であって、前記情報取得装置は、前記取得した画像情報および位置情報に基づいて対象の画像に含まれる被写体画像を抽出し、この抽出した被写体画像および位置情報を前記情報更新装置へ送出する抽出手段を備え、前記情報更新装置は、前記抽出手段によって送出された被写体画像と、前記記憶手段に記憶されている当該被写体画像に関する位置情報に対応する関連情報とを比較する比較手段と、前記比較手段によって被写体画像と関連情報とが異なると判定されたときは、当該被写体画像に基づいて前記記憶手段に記憶されている当該関連情報を更新する更新手段と、を備えたことを特徴とする。
【0019】
この発明によれば、移動体に搭載される情報取得装置では、抽出手段が、撮像手段からの画像情報および位置検出手段からの位置情報を取得して、これら取得した情報に基づいて対象の画像に含まれる被写体画像を抽出し、この被写体画像および前記位置情報を情報更新装置へ送出し、前記情報更新装置では、比較手段が、その被写体画像と、記憶手段に記憶されている当該被写体画像に関する位置情報に対応する関連情報とを比較し、更新手段が、比較手段によって被写体画像と関連情報とが異なると判定されたときは、当該被写体画像に基づいて当該関連情報を更新する。
【0020】
つぎの発明にかかる情報更新処理装置は、上記の発明において、前記情報取得装置は、前記被写体画像を前記記憶手段に記憶されている画像と比較できるように形状を変形する変形手段を更に備え、前記比較手段は、前記変形手段によって変形された被写体画像と、前記記憶手段に記憶されている当該被写体画像に関する位置情報に対応する関連情報とを比較し判定することを特徴とする。
【0021】
この発明によれば、変形手段が、被写体画像を記憶手段に記憶されている画像と比較できるように形状を変形すると、比較手段が、その変形された被写体画像と、記憶手段に記憶されている当該被写体画像に関する位置情報に対応する関連情報とを比較判定する。
【0022】
つぎの発明にかかる情報更新処理装置は、位置情報とこれに関連する画像情報を含む関連情報とを対応付けて記憶する記憶手段に対してアクセスする情報更新装置と、移動体に搭載され、該移動体の位置を検出する位置検出手段により検出された位置情報を取得する情報取得装置とを有する情報更新処理装置であって、伝達すべき広告を含む伝達情報を発信する発信手段を更に備え、前記情報取得装置は、前記発信手段からの伝達情報を受信すると共に、この受信時点近傍における前記位置検出手段からの位置情報を取得し、この位置情報および前記伝達情報を前記情報更新装置へ送出する情報取得手段を備え、前記情報更新装置は、前記情報取得手段からの伝達情報と、前記記憶手段に記憶されている当該伝達情報に関する位置情報に対応する関連情報とを比較する比較手段と、前記比較手段によって伝達情報と関連情報とが異なると判定されたときは、当該伝達情報に基づいて前記記憶手段に記憶されている当該関連情報を更新する更新手段と、を備えたことを特徴とする。
【0023】
この発明によれば、移動体に搭載される情報取得装置では、情報取得手段は、発信手段によって発信された伝達情報を受信すると共に、この受信時点近傍における前記発信手段の位置を示す位置情報を取得し、この位置情報および前記伝達情報を情報更新へ送出し、情報更新装置では、比較手段が、情報取得手段からの伝達情報と、記憶手段に記憶されている当該伝達情報に関する位置情報に対応する関連情報とを比較し、さらに、更新手段が、比較手段によって伝達情報と関連情報とが異なると判定されたときは、当該伝達情報に基づいて当該関連情報を更新する。
【0024】
つぎの発明にかかる情報更新処理装置は、位置情報とこれに関連する画像情報および属性を含む関連情報とを対応付けてマスタデータとして記憶する第1の記憶手段に対してアクセスする情報管理装置と、位置情報とこれに関連する画像情報および属性を含む関連情報とを対応付けて記憶する第2の記憶手段に対してアクセスする情報更新装置とを有する情報更新処理装置であって、前記情報更新装置は、前記第2の記憶手段から、入力された所定の位置情報に対応する関連情報に含まれる属性を読み出し、この読み出した属性情報および当該所定の位置情報を前記情報管理装置へ送出する属性処理手段を備え、前記情報管理装置は、前記第1の記憶手段から、前記属性処理手段からの所定の位置情報に対応する関連情報に含まれる属性を読み出すと共に、この読み出した属性情報と前記属性処理手段から送出された属性情報とを比較し、この比較した結果、2つの属性情報が異なるときは、前記第1の記憶手段における前記所定の位置情報に対応する関連情報を前記第2の記憶手段に反映させるように更新指令を前記情報更新装置へ送出するデータ処理手段を備え、さらに、前記情報更新装置は、前記情報管理装置からの更新指令にしたがって前記第2の記憶手段の記憶内容を更新する更新手段を備えた、ことを特徴とする。
【0025】
この発明によれば、情報更新装置において属性処理手段が、第2の記憶手段から、入力された所定の位置情報に対応する関連情報に含まれる属性を読み出し、この読み出した属性情報と当該所定の位置情報とを情報管理装置へ出力すると、情報管理装置では、データ処理手段が、第1の記憶手段から、属性処理手段からの所定の位置情報に対応する関連情報に含まれる属性を読み出すと共に、この読み出した属性情報と前記属性処理手段から出力された属性情報とを比較し、この比較した結果、2つの属性情報が異なるときは、第1の記憶手段における前記所定の位置情報に対応する関連情報を前記第2の記憶手段に反映させるように更新指令を前記情報更新装置へ出力し、この情報更新装置では、更新手段が、情報管理装置からの更新指令にしたがって第2の記憶手段の記憶内容を更新する。
【0026】
つぎの発明にかかる情報更新処理装置は、上記の発明において、前記情報更新装置は、移動体に搭載されると共に、該移動体の位置を検出する位置検出手段を更に備え、前記属性処理手段は、前記位置検出手段により検出された位置情報に対応する関連情報に含まれる属性を前記第2の記憶手段から読み出し、この読み出した属性情報および前記所定の位置情報を前記情報管理装置へ送出することを特徴とする。
【0027】
この発明によれば、移動体に搭載される情報更新装置では、属性処理手段が、位置検出手段からの位置情報に対応する関連情報に含まれる属性を第2の記憶手段から読み出し、この読み出した属性情報と当該所定の位置情報とを情報更新へ送出力する。
【0028】
【発明の実施の形態】
以下に添付図面を参照して、この発明にかかる情報更新装置、情報取得装置および情報更新処理装置の好適な実施の形態を詳細に説明する。
【0029】
実施の形態1.
図1は実施の形態1である情報更新処理装置の構成を示す構成図である。同図1において、情報更新処理装置は、情報取得装置10、情報更新装置20、記憶手段30、カメラ40、およびGPS受信機50から構成されている。
【0030】
記憶手段30には、マスタデータとして、位置に関する情報を意味する位置情報付き関連情報30Aすなわち位置情報付き映像情報31、位置情報付き形状情報32、および位置情報付きシンボル情報33が記憶されている。このマスタデータ(位置情報付き関連情報30A)についての詳細は後述する。
【0031】
カメラ40は、市販品の映像キャプチャボードと、これに付属する映像キャプチャ用ソフトウェアとを含んで構成されており、動画(動画像)または静止画(静止画像)を撮像して電子データに換える装置である。GPS受信機50は、GPS(Global Positioning System )からの信号を受信する設備であり、この受信信号を基に現在位置を取得して経度緯度で表現できる電子データに変換する装置である。
【0032】
なお、カメラ40には、視野角360度を撮影できる全方位ミラー、または魚眼撮影用レンズを設置しておいてもよい。この場合、カメラ40を地上から鉛直上方向に向ければ、視野角360度となり、カメラを地面と水平に真横方向に向ければ視野角は180度となる。
【0033】
情報取得装置10において、対象抽出手段11は、動画または静止画の電子データと位置の情報から、動画または静止画の中に映っている例えば看板または家屋の画像を抽出する手段である。対象変形手段12は、動画または静止画の電子データから切り出した家屋または看板部分の画像を他の画像と比較しやすいように変形する手段である。なお、情報取得装置10は、前述した処理を実施するためのワークメモリ等のメモリ(図示せず)を備えている。
【0034】
情報更新装置20において、対象比較手段21は、看板や家屋に対応する変形された画像が既に記録してある看板や家屋の画像と同じものであるかどうかを判断する手段である。このときに既に記録してある情報とは、記憶手段30に記憶されている位置情報付き関連情報30Aすなわち、位置情報付き映像情報31、位置情報付き形状情報32、および位置情報付きシンボル情報33のうちの、いずれかの情報から取り出した情報である。一方、対象更新手段22は、位置情報付き映像情報31、位置情報付き形状情報32、位置情報付きシンボル情報33のうちの、いずれかに含まれる情報を最新の情報に更新する手段である。なお、情報更新装置20は、前述した処理を実施するためのワークメモリ等のメモリ(図示せず)を備えている。
【0035】
ここで、位置情報付き関連情報30Aの詳細について説明する。位置情報付き映像情報31は、図2に示すような情報で構成されており、文字情報の電子情報として映像情報の位置データ310を持っている。
【0036】
映像情報の位置データ310は、映像の電子ファイル名を示す映像データ番号、対応付いている映像のコマ番号、撮影した位置を示す経度緯度(撮影位置東経、撮影位置北緯)、撮影高度、撮影方向、撮影時の画角(撮影画角)、撮影した日時(記録日時)から構成されている。映像のコマ番号とは、動画である映像の先頭のコマから数えたコマの番号である。位置データ310の先頭にある番号は、電子データを管理するための通し番号である。映像データ番号をファイル名とする電子データは複数あっても良い。また、その電子データは映像でなくても画像でも良く、この場合、コマ番号は不要である。
【0037】
さらに、映像データはカメラ40によって全方位の風景が撮影された動画または静止画でもよい。鉛直上空方向を向いて撮影された全方位撮影の動画または静止画をそのまま用いる場合、位置データ310に含まれる撮影方向データは、周囲360度を見渡せるので、全方向であるという意味のデータとして、例えば9999といった定めた数値を示し、また、位置データ310に含まれる画角(撮影画角)データは360度を示している。一方、横方向を向いて撮影された全方位撮影の動画または静止画の場合、位置データ310に含まれる撮影方向データはカメラ40が撮影した方向を示し、また、位置データ310に含まれる画角(撮影画角)データは180度を示している。
【0038】
位置情報付き形状情報32は、図3に示すような情報で構成されており、文字情報の電子情報として、形状情報の位置データ320を持っている。形状情報の位置データ320は、VRML(virtual reality modeling language)形式の形状データのファイル名、形状が存在する経度緯度(設置位置東経、設置位置北緯)、記録した日時(記録日時)から構成されている。位置データ320の先頭にある番号は、電子データを管理するための通し番号である。
【0039】
なお、3次元モデルはVRML形式で記述されており、スケールは座標値=1cmに設定されている。設置位置に3次元モデルの原点に合わせてスケール通りのモデルを置くと、実際の形状を再現することができる。3次元モデルのXYZの3軸に対応する方角はX軸=東西方向、Y軸=南北方向、Z軸=高度方向と予め決められている。
【0040】
位置情報付きシンボル情報33は、図4に示すような情報で構成されており、文字情報の電子情報として、映像データ番号をファイル名とする電子データ330を持っている。電子データ330は、文字情報であるテキストファイルを示すテキスト情報、その情報の関連付けてある位置の経度緯度(設置位置東経、設置位置北緯)、記録日時から構成されている。なお、電子データ330の先頭にある番号は、電子データを管理するための通し番号である。
【0041】
ところで、記憶手段30には、位置情報付き映像情報31に対応する映像情報(電子ファイル)、位置情報付き形状情報32に対応する形状情報(電子ファイル)、および位置情報付きシンボル情報33に対応するシンボル情報(電子ファイル)も記憶されている。
【0042】
なお、この実施の形態1では、情報取得装置10、カメラ40及びGPS受信機50は車両等の移動体に設置され、情報更新装置20及び記憶手段30はマスタデータを保管する施設に設置されるものとする。また、情報取得装置10と情報更新装置20及び記憶手段30とは物理的に離れ、コンピュータにより実現されているものとする。特に、情報更新装置20及び記憶手段30は、マスタデータを保管する施設に設置する設備たとえばホストコンピュータ等のコンピュータに設けられているものとする。また、情報取得装置10と情報更新装置20とは、通信回線たとえば携帯電話または無線LANを介したネットワーク、またはケーブルを介したLANにより接続される。無線回線には、電話や放送を用いた伝達手段を用いてもよい。
【0043】
なお、情報取得装置10と情報更新装置20とは、たとえば同一のコンピュータにより実現されるものであっても良いし、または同一のコンピュータによって実行されるソフトウェアで実現されるものであっても良い。この場合、記憶手段30は、同一のコンピュータ内に設けられていても良いし、外部記憶装置として設けられていても良い。
【0044】
次に、上述した情報更新処理装置の処理動作について説明する。まず、カメラ40は取得した動画映像を電子データに変換する。カメラ40の出力結果は動画の電子ファイルとして保存される。カメラ40が撮影した映像は、動画でなくとも、静止画でもよい。静止画の場合、撮影時間を記録しておき、別途記録されるGPSからの位置情報の取得時間と関連付けることができるように、静止画の電子ファイルの中に合わせて撮影時間を残しておく。また、全方位レンズを用いて撮影した動画や静止画であってもよい。
【0045】
GPS受信機50は、GPSからの信号を受信し、この受信した結果を元に毎秒、またはたとえば1秒に20回といった一定時間間隔でGPS受信機50の位置を経度と緯度で記録する。GPS受信機50の出力はテキストデータとして記録される。
【0046】
次に、対象抽出手段11の処理動作を説明する。対象抽出手段11は、1秒に1回、または1秒に20回といった一定時間間隔で動作する。動作を開始した瞬間に映像が記録されているフレーム画像1枚をメモリ上に展開する。また、同時に取得したGPSからの位置情報をメモリ上に読み込む。GPSが取得する位置情報は、対象抽出手段11が取得した位置情報をPJ0とし、その前に記録された位置情報をPJ1とした場合に、PJ0からPJ1を見た方向を撮影方向とする。撮影方向は、例えば東西方向をx軸、南北方向をy軸、地上から真上への方向をz軸とする長さ1のベクトルで表現する。
【0047】
また、対象抽出手段11は、カメラ40を搭載して走行する車両と、カメラ40の撮影方向とが一致しない場合は、車両の走行方向に対してカメラ40をどれだけ向きを傾けて設置しているかという情報に対応して、方向を示すベクトルの値を変更する。なお、カメラ40の画角は事前に設定しておき、データとして情報取得装置10のメモリに記憶されている。
【0048】
また、全方位の風景の画像を撮影できるカメラ40によって鉛直方向を向いて撮影した全方位撮影の動画または静止画をそのまま用いる場合、その撮影方向データは、周囲360度を見渡せるので、全方向であるという意味のデータとして、例えば9999といった定められた数値が、情報取得装置10のメモリに予め記憶されている。また、上記全方位撮影の動画または静止画の場合の画角は360度であるので、その旨のデータが、情報取得装置10のメモリに予め記憶されている。
【0049】
次に、対象抽出手段11では、映像に映っている対象物を抽出する。この抽出の手順について説明する。
【0050】
まず、対象抽出手段11は、図5に示すようにメモリ上に読み込んだ画像(元画像)110に横方向のエッジ抽出をかける。この元画像110は、屋根部分111、ベランダ112、窓113を含んでいるものとする。このような元画像110に対して横方向のエッジ抽出処理を施すと、画像120が得られる。結果として横線が大量に抽出されることになる。建物の屋根はカメラ40から見て一番上と仮定し、複数の横線が抽出された場合は一番上の横線が屋根を表していると仮定する。画像120においては符号111aで示される横線が屋根を表している。
【0051】
なお、対象抽出手段11は、カメラ40によって全方位の風景が撮影された画像を利用する場合には、上記横方向のエッジ抽出処理の前(つまりエッジ抽出処理の前)に、その画像を変換してから用いる。何故ならば、地面に平行の横方向を向いて撮影された全方位画像の場合は、画面全体が盛り上がって歪むことになり、そのため、その画面に写っている直線部分が、その画面の中心を周るように歪んでしまうので、これを補正して、柱のような直線の物が直線に写るように変換するためである。また、全方位の風景が撮影された画像を利用する場合であって、鉛直上向きに撮影された写真の場合は、360度の風景が円を描くように丸く写っている。これをある1方向または3方向といった有限の方向を向いて60度といった画角範囲の写真に補正する。
【0052】
次に、対象抽出手段11は、メモリ上に読み込んだ元画像110に対して縦方向のエッジ抽出をかける。この縦方向のエッジ抽出処理を施すと、画像130が得られる。この縦方向のエッジ抽出処理の結果として抽出された縦方向のエッジと、既に抽出した屋根として仮定した横方向のエッジとが繋がる場合は、縦方向のエッジと横方向のエッジとに囲まれた部分の位置に対応する画像を、メモリに読み込んだ1枚の画像から切り出す。
【0053】
たとえば、この場合は、画像140に示すように、縦方向のエッジにおける縦線131a、131bと、屋根と仮定した横線(横方向のエッジ)111aとが繋がるので、縦線(縦方向のエッジ)131a、131bと、横線(横方向のエッジ)111aとに囲まれた部分の位置に対応する画像が、メモリに読み込まれた1枚の画像から切り出される。この例では、符号150で示される図形(台形部分)が、切り出された部分である。
【0054】
そして、対象抽出手段11は、このようにして画像を抽出して切り出すと、この抽出した画像(たとえば図形150)を電子データとして保管する。
【0055】
次に、対象変形手段12の処理動作を説明する。対象変形手段12は、対象抽出手段11で抽出した建物面の画像を変形する。変形後は、建物をなるべく正面から見た長方形の画像に変換する。この変換処理について図6を参照して説明する。
【0056】
図6(a)に示すように、台形形状の上側の辺の長さを画像の画素数を単位としてw1、下側の辺の長さをw2とする。台形形状の上側の辺の中心をTとし、下側の辺の中心をBとする。中心Tと中心Bとを結ぶ線分TBは上側の辺および下側の辺に対し垂直であるとする。
【0057】
このとき、中心Tから中心Bへ向かって画像の画素数hの距離に存在する点の変換方法について述べる。図6(b)に示すように、線分TBから例えば右側に画素数a1離れた点が、変換後にa2の位置に移動した場合、a2の位置は次の式(1)を演算することにより求めることができる。
a2=a1×w2/(w1+(w2−w1)h/TB) ・・・(1)
【0058】
この例では、高さが「TB」、幅が「2×w2」の長方形の画像を新しく作成し、元画像において、上記hと上記a1とで表現できる画素の色を、作成した画像中の上記hと上記a2とで表現できる点の上にコピーして着色する。
【0059】
このように台形の中に含まれる全ての画素について上述したような変換を行うと、台形の形状を長方形に変換した画像を作成することができる。対象変形手段12においては、出力結果として長方形の画像を出力する。
【0060】
なお、対象変形手段12においては、台形を長方形に変換する処理の後に、色変換を行っても良いし、または、遮蔽物除去の処理を行っても良い。
【0061】
まず色変換について説明する。対象変形手段12は、対象抽出手段11の出力である画像全体の色を示すデータをメモリ上に読み込み、平均値を求め、この値を輝度平均Aとする。また、位置に関連付けて蓄積されている映像の情報において、輝度の平均値を決めておくものとし、この平均値が輝度平均Zであるとする。このとき、輝度平均Aと輝度平均Zとが異なる値であったならば、メモリ上に読み込まれた各画素における明るさの値を変換(補正)する。変換する値(補正後の値)は元の値に値「Z/A」を掛けた値とする。
【0062】
次に、遮蔽物の除去について説明する。対象抽出手段11において、一定時間間隔の画像を処理対象としてメモリに記録するときに、動画のコマとして連続した例えば3枚の画像をメモリに記録して、それぞれ図5を参照して説明した方法で建物部分を抽出する。対象変形手段12では、対象抽出手段11により抽出された建物部分について、図6を参照して説明した変換処理の如く、連続した3つのコマの画像に写っている建物部分をそれぞれ長方形に変換する。
【0063】
次に、対象変形手段12では、3枚の画像を2枚一組で重ね合わせて、同じ位置にくる画素同士の色の差異を計算する。色の差異とは、画素を赤、青、緑、輝度に分解し、それぞれの色の濃さ、または輝度の強さをそれぞれ数値にした値を比較した差異である。1つの画素について、赤、青、緑、輝度の差異の合計が一定値以下の場合は同じ点とし、一方、一定値を超える場合は違う点とする。建物枠の中で違う点の部分が多い部分につては、2つの画像に異なる物が写っていると判断する。
【0064】
ここで、図7に示す例を用いて具体的に説明する。この図7に示す例では遮蔽物は電柱であるものとする。図7において、符号210は建物を上から見た形を示し、符号220は遮蔽物(電柱)を示し、符号P0、P1、P2は時間の経過に伴って変化するカメラ40のカメラ位置を示し、符号G0、G1、G2は対象抽出手段11による抽出処理および対象変形手段12による変形処理を施した後の画像(長方形の画像)を示し、符号221は画像に映っている電柱を示し、符号D1、D2、D3は、時間の経過に伴って変化して映る遮蔽物(電柱)が位置する画像の左端からの距離を示すものとする。
【0065】
図7に示すように、カメラ40により撮影した時間の異なるカメラ位置P0、P1、P2の各位置から建物を撮影した場合、切り出した建物の面210aの画像を変形して長方形にした後の画像G0、G1、G2を比較すると、遮蔽物としての電柱221(電柱220に対応)の映っている位置が異なる。図7に示す例では、各画像G0、G1、G2における電柱221は、それぞれ画像の左端から距離D1、D2、D3だけ離れた位置に映っている。
【0066】
なお、画像G0〜G2のうち任意の2枚を重ね合わせた部分が異なり、他の任意の2枚を重ね合わせた部分が同じ場合、この部分については遮蔽物とみなす。例えば画像G0と画像G1とを重ね合わせた場合に異なる領域Eがあり、画像G1と画像G2とを重ね合わせた場合においてはこの領域Eが異ならなかった場合、画像G0の領域Eの部分を、画像G1または画像G2の領域Eに該当する部分の画像で置き換える。
【0067】
対象変形手段12の出力結果の画像は電子データとして、情報更新装置20を構成する対象比較手段21へ送られる。同時に、対象変形手段12は撮影位置情報、撮影方向情報を電子データとして対象比較手段21へ送る。
【0068】
対象比較手段21では、対象変形手段12からの撮影位置情報を基に、記憶手段30に記憶されている位置情報付き映像情報31、位置情報付き形状情報32、位置情報付きシンボル情報33から所定の情報を取り出す。
【0069】
ここで、対象比較手段21による位置情報付き映像情報31から情報を取り出す手順を述べる。対象変形手段12から送られた撮影位置とは物理的に3m以内の距離の位置に対応する撮影位置である。この撮影位置であり、かつ、撮影方向が上下方向および左右方向ともに20度以内であるフレーム画像を候補として取り出す。対象比較手段21では、取り出したフレーム画像に対して、対象抽出手段11および対象変形手段12と全く同じ処理を施す。すなわち、取り出したフレーム画像に対して処理を行い、建物面を長方形として抽出変形して取り出す。
【0070】
次に対象比較手段21は、取り出した建物面と対象変形手段12の出力結果の画像とを比較する。画像を比較するというのは、2枚の画像を重ね合わせて、同じ位置にくる画素同士の色の差異を計算することを意味する。この色の差異の計算は、上記対象変形手段12による色の差異の計算の処理と同様である。
【0071】
すなわち、赤、青、緑、輝度の差異の合計が一定値以下の場合は同じ点とされ、一方、一定値を超える場合は違う点とされる。また、建物枠の中で違う点の部分が多い部分につては、2つの画像に異なる物が写っていると判断される。画素全ての点を比較したときに、予め定めた画素数以上が同じであれば、同じ画像であると判断される。
【0072】
対象比較手段21は、同じ画像であるか否かを判断した後、その旨を対象更新手段22へ伝達する。位置情報付き映像情報31に該当する情報が保存されていないときも、その旨を対象更新手段22へ伝達する。
【0073】
以上の説明は映像の比較例を示したが、次に、位置情報付き形状情報32から情報を取り出す場合について説明する。
【0074】
位置情報付き形状情報32には、3次元の形状についての設置位置の東経を示すデータおよび緯度を示すデータが含まれている。3次元形状のVRMLデータの座標が例えば東西方向にx軸、南北方向にy軸、地上から真上への方向にz軸という座標系で表記されていて、かつ座標の「1」の大きさは実世界の何mに相当するかが予め決められていて、かつ全ての3次元形状のVRMLデータの原点となる経度と緯度が1点に決められている場合には、VRMLの座標の値と実際の空間の経度緯度高度とは容易に変換することができる。
【0075】
このとき、対象比較手段21は、対象変形手段12から送られた画像、カメラの撮影位置、撮影方向をVRMLの座標軸の中で表現したときに、カメラ撮影位置からの撮影方向のベクトルがぶつかる3次元形状の面を検索結果とする。このとき、カメラ撮影位置と3次元の建物の面との間の距離は予め設定しておいた座標以内であることとする。図8に示す例では、3次元形状400中の面410の部分が対象変形手段12から送られた画像、位置情報、方向情報に対応する面である。この面にテクスチャがついている場合、このテクスチャデータと対象変形手段12から送られた画像とを前述の方法で比較する。
【0076】
対象比較手段21は、位置情報付き形状情報32の中に対象変形手段12から送られた画像、位置情報、方向情報に対応する3次元モデルがあり、かつ画像と3次元モデルの対応面のテクスチャとが異なっていた場合には、データが異なるという旨を対象更新手段22に伝達する。
【0077】
ところで、位置情報付き映像情報31、位置情報付き形状情報32のいずれの情報を扱う場合でも、位置情報付き映像情報31、位置情報付き形状情報32には全て通し番号が付与されているので、対象比較手段21は、対象更新手段22にデータが異なることを伝達する場合には、どのデータと異なっているかが分かるように、対応する通し番号を送る。3次元形状の場合は対応する面の座標も送る。
【0078】
次に、対象更新手段22の処理動作を説明する。対象更新手段22では、記録済みの画像や3次元形状が最新の情報と異なる場合に、これを更新する。変更する対象となる情報は、対象比較手段21から送られた通し番号で知ることができる。
【0079】
位置情報付き映像情報31の場合、対象更新手段22は、対象比較手段21から送られた位置情報付き映像情報31に含まれる通し番号で示される動画映像のコマを画像としてメモリに記憶する。次に対象更新手段22は、メモリ上の画像(図9の符号510参照)から建物枠部分(図9の符号511参照)を対象抽出手段11と同様の処理で抽出し、コマ画像中の切り出した後の建物枠たとえば家枠の部分(図9の符号512参照)に、対象変形手段12から送られた画像(図9の符号520参照)を貼り付ける。この場合、画像520は、対象変形手段12によって家枠に合うように変形されている。
【0080】
なお、建築物たとえば家の大きさも異なっていることがある。そのため、対象抽出手段11へ入力された段階のカメラ40から出力された画像を、建物枠(位置情報付き映像情報31から建物を切り出す枠)の部分の大きさに合わせて貼り付けるようにしても良い。
【0081】
位置情報付き形状情報32の情報を更新する場合、対象更新手段22は、対象比較手段21から送られた通し番号で示される3次元形状の座標で示される面のテクスチャを、対象変形手段12から渡された画像に入れ替える。また、比較対象のデータが既存データには存在しない場合は、新たにデータを登録する。
【0082】
以上説明したように実施の形態1によれば、撮影した映像に含まれる建物や看板の部分を抽出し、この抽出した部分を正面から見た画像に変換すると共に、この変換された画像と、撮影した位置と既に関連付けて記録してある情報とを比較し、この比較した結果、最新のデータと既に記録されているデータとが異なる場合は、既に記録されているデータを最新のデータに更新するようにしているので、映像を撮影するだけで、位置に関連する情報のデータを常に最新のデータに更新することができる。
【0083】
また、実施の形態1によれば、位置に関連した情報を更新する方式として、操作員は移動しながら情報取得装置10に付属するカメラ40で建物や看板を撮影するのみでよい。これにより、情報更新装置20によって、記憶手段30内のマスタデータに対して、変化のあった看板や建物の表面の図柄等の位置に関連した情報を自動的に更新することができる。
【0084】
実施の形態2.
つぎに、この発明の実施の形態2について説明する。図10は、実施の形態2にかかる情報更新処理装置の構成を示す構成図である。図10に示す情報更新処理装置は、図1に示した実施の形態1である情報更新処理装置の構成において、カメラ40を削除し、情報発信装置60を追加し、情報取得装置10において対象抽出手段11および対象変形手段12を削除し情報受信手段62を追加した構成になっている。なお、同図において、図1に示した構成要素と同様の機能を果たす部分には同一の符号を付すものとする。
【0085】
図10において、情報発信装置60は、店舗の宣伝等の情報を発信する情報発信手段61を有している。情報取得装置10の情報受信手段62は、情報発信手段61から送られた情報を受信する手段であり、走行する車両等の移動体に設置(搭載)される。
【0086】
この実施の形態2は、実施の形態1の場合とは、情報発信装置60は店舗等の固定設備に設置されると共に、情報取得装置10及びGPS受信機50は車両等の移動体に設置される点で異なっている。
【0087】
次に、かかる情報更新処理装置の処理動作について説明する。情報発信手段61は、走行する車両等へ設置した情報受信手段62へ情報を送る。この情報の内容は、画像、テキストデータ、動画や静止画の映像である。いずれも電子データに変換して発信される。発信する手法としては、予め定めた周波数のFM波にテキストデータのコードや、3次元モデルをVRML(virtual reality modeling language)のテキストで表現したコード、映像の電子データのコードを変調して送信する。また、これらの映像、文字、画像は情報発信装置60を操作する操作員が入力する。
【0088】
情報受信手段62は、予め定めた周波数の電波を受信し、検波を行うことにより、変調されている文字、映像、3次元モデルの情報を取得する。情報受信手段62は、GPS受信機50からの取得位置の情報(経度緯度の位置情報)と合わせて対象比較手段21へデータ内容を送る。
【0089】
対象比較手段21では、情報受信手段62からの経度緯度の位置情報を用いて、その位置から予め定めておいた距離例えば10m以内の映像、3次元形状、シンボルデータを、位置情報付き映像情報31、位置情報付き形状情報32、位置情報付きシンボル情報33から取り出す。このとき、映像は画像または複数の画像から構成される動画である。3次元形状はVRMLデータである。シンボルデータは文字列のテキストデータである。
【0090】
対象比較手段21では、位置情報付き映像情報31、位置情報付き形状情報32、位置情報付きシンボル情報33から取り出した情報と、情報受信手段62からの情報とを比較し、この比較した結果、2つの情報が異なる場合と、そもそも位置情報付き映像情報31、位置情報付き形状情報32、位置情報付きシンボル情報33にはGPS受信機50で取得された取得位置の情報と近い位置の情報が存在しない場合には、情報受信手段62から送られた情報を対象更新手段22へ伝達する。
【0091】
対象更新手段22では、位置情報付き映像情報31、位置情報付き形状情報32、位置情報付きシンボル情報33の該当する情報を、対象比較手段21から伝達のあった情報に更新する。
【0092】
以上説明したように実施の形態2によれば、商店主は手元の情報発信装置60から広告を発信するだけで、情報取得装置10が設置された車両や情報取得装置10を保持している観測員が、当該情報発信装置60の近傍を通過した場合に、情報取得装置10が、商店主が発信した広告を読み取り、位置に関連付けてあるマスタデータを保管している情報更新装置20へ広告を送ることができ、しかも、情報更新装置20では、送られた情報が最新の情報か否かを既に記録してあるデータと比較して判断し、この判断した結果、既に記録してあるデータより新しいデータであった場合には、位置に関連付ける情報を最新の情報(送られた情報)に更新するようにしているので、広告を載せたい商店主等の事業者は、コンピュータを用いてサーバ上に情報を登録するための操作や、業者へ依頼してサーバ上にデータを登録する操作を実施することなく、手元の情報発信装置60に広告を入力するだけでマスタデータに登録されている位置に関連する情報を最新の情報に更新させることができる。
【0093】
また、実施の形態2によれば、商店主等が手元の情報発信装置60で広告を入力した場合には、情報取得装置10が設置された車両が通るだけで、情報更新装置20によって、情報取得装置10からの情報を基に、記憶手段30に記憶されているマスタデータとしての位置情報付き関連情報を最新の情報に更新することができる。
【0094】
実施の形態3.
つぎに、この発明の実施の形態3について説明する。図11は、実施の形態3である情報更新処理装置の構成を示す構成図である。図11に示す情報更新処理装置は、図1に示した実施の形態1である情報更新処理装置の構成において、カメラ40および情報取得装置10を削除し、また、情報管理装置70、記憶手段80および出力手段92を追加し、また、情報更新装置20において対象比較手段21を削除すると共に属性送信手段91を追加し、さらに、記憶手段30の配置を変更した構成になっている。なお、同図において、図1に示した構成要素と同様の機能を果たす部分には同一の符号を付すものとする。
【0095】
記憶手段30は、情報管理装置70によってアクセスされ、位置情報付き関連情報30Aが管理されるようになっている。この位置情報付き関連情報30Aは、実施の形態1及び2の場合と同様に、マスタデータとして管理される。
【0096】
情報管理装置70はデータ送信手段71を有しており、データ送信手段71は、記憶手段30に対してアクセスして、位置情報付き関連情報30A、すなわち位置情報付き映像情報31、位置情報付き形状情報32、位置情報付きシンボル情報33の属性のうち少なくともいずれか一つの情報を情報更新装置20へ送信する手段である。
【0097】
情報更新装置20に設けられた属性送信手段91は、操作員により入力される位置情報またはGPS受信機50からの位置情報に基づいて記憶手段80に対してアクセスして、位置情報付き関連情報80Aの属性を取得し、情報管理装置70へ発信する手段である。位置情報付き関連情報80Aは、上述した位置情報付き関連情報30Aと同様のものであり、位置情報付き映像情報81、位置情報付き形状情報82、および位置情報付きシンボル情報83から構成されている。そのため、属性送信手段91は、位置情報付き映像情報81、位置情報付き形状情報82、位置情報付きシンボル情報83のうち少なくともいずれか一つの情報の属性を取得して情報管理装置70へ発信する。
【0098】
出力手段92は、ディスプレイ画面上に映像、形状、またはシンボル等の文字列を表示する手段である。
【0099】
この実施の形態3においては、情報更新装置20、GPS受信機50、記憶手段80および出力手段92は、情報を利用する場所に設置する装置たとえば車両等の移動体に設置され、情報管理装置70及び記憶手段30はマスタデータを保管する施設に設置する設備たとえばホストコンピュータ等のコンピュータに設置される。情報更新装置20はたとえばコンピュータにより実現されるが、このコンピュータと、前記マスタデータを保管する施設に設置するたとえばコンピュータとは、各々独立して設置される。
【0100】
また、情報を利用する利用者は、たとえば車両等の移動体に設置される情報更新装置20を操作して、情報更新装置20に接続されている記憶手段80たとえばハードディスクや書き込み可能なDVDディスクに格納されている位置情報付き関連情報80Aを利用することができる。
【0101】
なお、実施の形態3においては、GPS受信機50を削除した状態で、情報更新装置20、記憶手段80および出力手段92を、情報を利用する場所に設置する装置としての固定設備に設置することもできる。この場合、情報更新装置20の属性送信手段91は、操作員により入力される位置情報に基づいて記憶手段80に対してアクセスすることになる。
【0102】
次に、情報更新処理装置の処理動作について説明する。最初に、情報更新装置20を操作する操作員が、情報を知りたい位置の経度緯度を属性送信手段91へ通知する。または、GPS受信機50が取得した位置情報(現在位置を示す緯度経度情報)を属性送信手段91へ伝える。
【0103】
属性送信手段91では、記憶手段80へアクセスし、経度緯度の情報をキーとして、位置情報付き映像情報81、位置情報付き形状情報82、位置情報付きシンボル情報83から、動画または静止画の映像、形状、文字情報、及びこれらの情報の記録日時を電子データとして取り出す。次に、属性送信手段91は、静止画の映像、形状および文字情報の各電子ファイルの容量およびこれらの情報の記録日時を文字列の電子データとし、さらに、この文字列の電子データと、既に記録されている経度緯度の位置情報と、GPS受信機50からの位置情報(緯度経度情報)とを合わせて情報管理装置70内のデータ送信手段71へ送る。
【0104】
データ送信手段71では、属性送信手段91から受け取った、上記既に記録されている経度緯度の位置情報およびGPS受信機50からの位置情報(緯度経度情報)を基に、記憶手段30に記憶されている(情報管理装置70において管理されている)位置情報付き関連情報30Aから各種のデータを読み出す。すなわち、位置情報付き映像情報31、位置情報付き形状情報32、位置情報付きシンボル情報33から前記2つの経度緯度の位置情報に対応して各種のデータを読み出す。
【0105】
ここで、各種のデータの読み出しについて、位置情報付き映像情報を例に挙げて説明する。データ送信手段71は、情報更新装置20がアクセス可能な記憶手段80内の位置情報付き映像情報81に登録されていた位置情報、およびGPS受信機50からの位置情報のいずれにも近い位置情報が、記憶手段30内の位置情報付き映像情報31に記録されていた場合、当該近い位置情報が参照している(当該近い位置情報に対応する)映像データの電子ファイルの容量や記録日時を読み出す。近い位置情報とは予め設定された距離例えば直線距離で10m以内の距離を示す情報であるものとする。
【0106】
次に、データ送信手段71は、情報更新装置20(の属性送信手段91)から送られてきた1組または複数組みのデータを、記憶手段30内の位置情報付き映像情報31から読み出した1組または複数組みのデータと比較する。双方から取得した1組または複数組みのデータについて、経度位置の位置情報、データ容量および記録日時が完全に一致するものは処理の対象としない。
【0107】
データ送信手段71は、記憶手段80に記憶され(情報更新装置20の側に存在し)、記憶手段30に記憶されていない(情報管理装置70の側に存在しない)データについて「消去する」という命令を、対象更新手段22へ送る。このとき、記憶手段80内の位置情報付き映像情報81に登録済みの経度緯度の位置情報を合わせて送る。
【0108】
一方、データ送信手段71は、記憶手段80に記憶されておらず(情報更新装置20の側に存在せず)、記憶手段30に記憶されている(情報管理装置70の側に存在する)データについて「追加する」という命令を、対象更新手段22へ送る。このとき、記憶手段30に登録されている位置情報付き映像情報31のデータの属性である撮影位置、撮影方向、記録時間およびデータ本体の各データを合わせて送る。
【0109】
さらに、データ送信手段71は、情報管理装置70と情報更新装置20の双方(記憶手段30および記憶手段80の双方)に同じ経度緯度の位置情報に対応して、異なるデータ容量または異なる記録日時のデータあるいは双方とも異なるデータであった場合には、これを読み出して「更新」の命令と共に、記憶手段30に登録されている位置情報付き映像情報31のデータの属性である撮影位置、撮影方向、記録時間およびデータ本体の各データを合わせて、対象更新手段22へ送る。
【0110】
情報更新装置20の対象更新手段22では、情報管理装置70のデータ送信手段71の命令に従った更新処理を行う。
【0111】
すなわち、「消去する」という命令が来た場合、対象更新手段22は、記憶手段80内の位置情報付き映像情報81の該当する位置情報に関連付けされている情報を消去する。
【0112】
また、「追加する」という命令が来た場合、対象更新手段22は、データ送信手段71から送られた撮影位置、記録時間、映像の電子ファイルを、記憶手段80内の位置情報付き映像情報81に登録する。
【0113】
さらに、「更新」という命令が来た場合、対象更新手段22は、記憶手段80内の位置情報付き映像情報81における、データ送信手段71から送られてきた撮影位置に対応するデータについて、データ送信手段71から送られてきた撮影方向、記録時間およびデータ本体の各データに変更する。
【0114】
以上説明したように、利用者が情報更新装置20を介して記憶手段80内の位置に関連する情報を取り出そうとしたときに、情報更新装置20が、記憶手段80から取得した位置に関連する情報の属性の部分を情報管理装置70へ送り、情報管理装置70が、情報更新装置20が利用しようとしたデータ(記憶手段80内のデータ)が最新のデータであるか否か、または、そのデータが余計なデータであるか否か、または、そのデータが記憶手段80に存在せず記憶手段30のみに存在するデータであるか否かを判断し、情報更新装置20が管理するデータ(記憶手段80内のデータ)が最新のデータに更新できるように、データの消去、追加、更新のいずれかの命令情報と、追加または更新する情報とを合わせて情報更新装置20へ送ることにより、位置に関連付いている情報を随時更新していない情報更新装置20であっても、記憶手段80の記憶内容に対して、利用時に常に最新の位置に関連する情報に更新することができる。
【0115】
以上説明したように実施の形態3によれば、位置に関連する情報(位置情報付き関連情報80A)を、情報更新装置20に接続されている記憶手段80たとえばハードディスクや書き込み可能なDVDディスクに書き込んでおくことを想定すれば、前記ハードディスクや書き込み可能なDVDディスクの記憶内容であって、操作員が指定した位置あるいは移動中の車両の位置の近傍に配置されているレストラン等の対象物の情報を、常にマスタデータに登録されている最新の情報に更新することができる。
【0116】
また、実施の形態3によれば、マスタデータを管理する情報管理装置70と、データを利用する装置であってカーナビゲーションシステムの機能の一部として追加される情報更新装置20との間の回線は、データの属性情報の送受信のみであり、しかも更新の必要なときに最新データを情報管理装置70から情報更新装置20(カーナビゲーションシステム)へ送信するだけであるので、通信時間や通信にかかる費用を節約することができる。
【0117】
実施の形態4.
つぎに、この発明の実施の形態4について説明する。図12は、実施の形態4である情報更新処理装置を適用したシステムの構成を示す構成図である。
【0118】
図12において、情報をリアルタイムまたはバッチ処理にて収集する情報収集手段610と情報管理手段620とは、通信回線630を介して接続されていると共に、情報管理手段620と情報利用手段640とは通信回線650を介して接続されている。
【0119】
情報収集手段610には、情報収集用車両に設置した情報取得装置611、操作員によって保持され、カメラおよびGPS装置付き携帯電話とノートパソコンとを接続した構成の情報取得装置612、ビルの屋上や電信柱等に設置した情報取得装置613、列車やバス等の移動する交通機関に設置した情報取得装置614などの情報取得装置が含まれる。
【0120】
なお、情報収集用車両、ビルの屋上や電信柱等の固定設備、および列車やバス等の移動する交通機関には、情報収集のためのカメラおよびGPS受信機が設置される。これらのカメラおよびGPS受信機の出力情報は、対応する情報取得装置に入力される。
【0121】
情報管理手段620では、情報管理装置621は、記憶手段622に記憶されている位置に関連する情報のマスタデータ622Aすなわち位置情報付き関連情報を管理する。情報利用手段640では、情報更新装置641は、記憶手段642にアクセスして、位置情報付き関連情報642Aの読み出し、最新データに基づく位置情報付き関連情報642Aの更新を実施する。なお、情報更新装置641には、GPS受信機及びディスプレイ等の出力手段が接続される。
【0122】
通信回線630、650は、携帯電話または無線LAN(ローカルエリアネットワーク)を介したネットワーク、またはケーブルを介したLANで構成されている。
【0123】
ここで、情報収集手段610としての各情報取得装置は図1に示した実施の形態1の情報取得装置10または図10に示した実施の形態2の情報取得装置10に対応し、情報管理装置621、記憶手段622、情報更新装置641および記憶手段642はそれぞれ図11に示した実施の形態3の情報管理装置70、記憶手段30、情報更新装置20および記憶手段80に対応し、情報発信装置660は図10に示した実施の形態2の情報発信装置60に対応する。
【0124】
なお、この実施の形態4においても、情報更新装置641、これに接続される図示しないGPS受信機および出力手段、および記憶手段642は、実施の形態3の場合と同様に、車両等の移動体に設置される。勿論、GPS受信機(図示せず)を削除した状態で、情報更新装置20、記憶手段80および出力手段(図示せず)を、固定設備に設置することもできる。この場合、情報更新装置641では、操作員により入力される位置情報に基づいて記憶手段642に対してアクセスすることになる。
【0125】
次に、このシステムの処理動作について図12を参照して説明する。なお、図12において符号▲1▼〜▲7▼で示される各矢印はデータまたは制御の流れを示すものとする。
【0126】
さて、情報収集手段610のたとえば情報取得装置611(図1に示した実施の形態1の情報取得装置10に対応)は、構造物、看板、設備等の風景670を撮影した映像、または商店等に設置した情報発信装置660から発信された情報(画像情報)をリアルタイムで収集する(図12の▲1▼参照)。次に、情報取得装置611は、この収集した情報を評価し易いように変形して、この最新情報をリアルタイムに情報管理装置621へ送信する。この最新情報は、通信回線630を介して情報管理装置621に入力される(図12の▲2▼参照)。
【0127】
情報管理装置621では、受け取った最新情報と記憶手段622内のマスタデータ622Aの記録情報とを比較し、この比較した結果、変化のあった情報について当該マスタデータ622Aを自動更新する(図12の▲3▼参照)。これにより、記憶手段622には、常に最新の情報が記録されているマスタデータ622Aが蓄積されていることになる。
【0128】
なお、情報取得装置611が設置される車両や、情報取得装置612を保持する観測員は必ずしも、情報を収集する目的でなくても良い。たとえば、無線LANや携帯電話が接続されたインターネット接続型カーナビゲーションシステムに、情報収集手段610としてのたとえば情報取得装置611(図10に示した実施の形態2の情報取得装置10に対応)の機能を追加して、このインターネット接続型カーナビゲーションシステムを搭載した車両が移動(情報を利用する利用者が移動)することにより、この情報取得装置611が各地に点在する情報発信装置660から発信される情報を収集するようにしても良い。これにより、上述したように、収集された情報をマスタデータに反映させることができる。
【0129】
一方、情報利用手段640の情報更新装置641が組み込まれたインターネット接続型カーナビゲーションシステムを搭載した車両が走行することにより、当該情報更新装置641は、走行中の車両の位置を示す位置情報を取得すると共に、この位置情報に関連する情報の属性を記憶手段642から取得して(図12の▲4▼参照)、情報管理手段620の情報管理装置621へ送信する。この場合、情報の属性すなわち、静止画の映像、形状、文字情報の電子ファイルの容量および情報記録日時が文字列の電子データとして、既に記録されている経度緯度の位置情報およびGPS(GPS受信機)からの位置情報とともに情報管理装置621へ送信される。これらの位置情報および属性情報は通信回線650を介して情報管理装置621に入力される(図12の▲5▼参照)。
【0130】
情報管理装置621では、受信した文字列の電子データ、経度緯度の位置情報およびGPS(GPS受信機)からの位置情報を基に記憶手段622にアクセスして、上記実施の形態3のデータ送信手段71と同様の処理を実施する。すなわち、記憶手段622と記憶手段642の記憶内容において、たとえば上記位置情報に対応する情報の属性のデータが一致しない場合には、情報管理装置621から情報更新装置641に、「消去する」、「追加する」、「更新する」のうちいずれかの命令と、「追加する」または「更新する」の命令の場合は追加または更新する情報が送信される(図12の▲6▼参照)。
【0131】
そして、情報更新装置641では、受信した命令と、場合によっては追加または更新する情報の内容に従って記憶手段642の記憶内容を更新(所定のデータを消去または追加または更新)する(図12の▲7▼参照)。
【0132】
以上説明したように実施の形態4によれば、移動する車両に設置されるカーナビゲーションシステム(インターネット接続型)に付属する記憶手段642たとえばCD−ROMやDVDの記録媒体に記録されている「位置に関連する情報」の更新も可能になる。すなわち、情報更新装置641を設置している車両のカーナビゲーションシステムが、走行中の車両の位置に関連した情報を記憶手段642から取り出した場合、この取り出した位置の情報が古い情報であったとしても、情報更新装置641によって、実施の形態3の場合と同様の処理を実施して記憶手段622すなわちマスタデータの内容を問い合わせることにより、記憶手段642(たとえばCD−ROMやDVD)の記憶内容を最新のデータに置き換えることができる。
【0133】
また、実施の形態4によれば、情報を利用するためのカーナビゲーションシステムに情報収集手段610の情報取得装置611(実施の形態1または2の情報取得装置10に対応)の機能を追加することにより、情報を利用する利用者が走行した場所の最新の情報を、マスタデータに反映させることができる。
【0134】
さらに、実施の形態4によれば、情報を利用するためのカーナビゲーションシステムに情報利用手段640の情報更新装置641および記憶手段642(実施の形態3の情報更新装置20および記憶手段80に対応)の機能を追加することにより、常にマスタデータからデータを利用しているわけではないカーナビゲーションシステムの利用者も、常に最新の情報をマスタデータから取得して利用することができる。
【0135】
【発明の効果】
以上説明したように、この発明によれば、情報更新装置では、比較手段が、移動体に搭載された情報取得装置が送信した被写体画像と位置情報とを取得して、前記記憶手段に記憶されている当該被写体画像に関する位置情報に対応する関連情報と当該被写体画像とを比較し、更新手段が、前記比較手段によって被写体画像と関連情報とが異なると判定されたときは、当該被写体画像に基づいて前記記憶手段に記憶されている当該関連情報を更新するようにしているので、更新手段によって、情報取得装置から取得した被写体画像及び位置情報に基づいて、その撮影された位置と該位置に関連する画像情報を含む関連情報とを対応付けて記憶手段に格納することができ、しかも、位置に関連する関連情報の内容を、常に最新のデータ内容に更新することができる。また、更新手段が、比較手段によって被写体画像と関連情報とが異なると判定されたときは、当該被写体画像に基づいて当該関連情報を更新するようにしているので、記憶手段の記憶内容のうち、変化のあった例えば看板や建物の表面の図柄等の関連情報のみを自動的に更新することができる。よって、記憶手段の記憶容量を有効に利用することが可能となる。
【0136】
つぎの発明によれば、情報取得装置では、位置検出手段が、移動体に搭載され撮像手段の位置を検出すると、抽出手段が、前記撮像手段で撮影された画像情報および前記位置検出手段で検出した位置情報に基づいて対象の画像に含まれる被写体画像を抽出し、この抽出した被写体画像および位置情報を情報更新装置へ送出するようにしているので、リアルタイムに得られる画像情報及び位置情報に基づく被写体画像および位置情報を、情報更新装置へ送出することができる。これにより、関連情報に対する情報更新装置によるリアルタイムでの更新が可能となり、よって関連情報を常に最新の情報とすることが可能となる。
【0137】
つぎの発明によれば、情報取得装置において、変形手段が、被写体画像を記憶手段に記憶されている画像と比較できるように形状を変形すると、比較手段が、その変形された被写体画像と、記憶手段に記憶されている当該被写体画像に関する位置情報に対応する関連情報とを比較判定するようにしているので、比較判定処理を迅速にかつ正確に実施することが可能となる。
【0138】
つぎの発明によれば、情報更新処理装置では、情報更新装置において、比較手段が、被写体画像と、記憶手段に記憶されている当該被写体画像に関する位置情報に対応する関連情報とを比較し、更新手段が、比較手段によって被写体画像と関連情報とが異なると判定されたときは、当該被写体画像に基づいて当該関連情報を更新するようにしているので、情景の映像を撮影するだけで、更新手段によって、その撮影された位置と該位置に関連する画像情報を含む関連情報とを対応付けて記憶手段に格納することができ、しかも、位置に関連する関連情報の内容を、常に最新のデータ内容に更新することができる。また、更新手段が、比較手段によって被写体画像と関連情報とが異なると判定されたときは、当該被写体画像に基づいて当該関連情報を更新するようにしているので、記憶手段の記憶内容のうち、変化のあった例えば看板や建物の表面の図柄等の関連情報のみを自動的に更新することができる。よって、記憶手段の記憶容量を有効に利用することが可能となる。
【0139】
つぎの発明によれば、情報更新処理装置では、情報更新装置において、変形手段が、被写体画像を記憶手段に記憶されている画像と比較できるように形状を変形すると、比較手段が、その変形された被写体画像と、記憶手段に記憶されている当該被写体画像に関する位置情報に対応する関連情報とを比較判定するようにしているので、比較判定処理を迅速にかつ正確に実施することが可能となる。
【0140】
つぎの発明によれば、情報更新処理装置では、情報更新装置において、比較手段が、移動体に搭載される情報取得装置の情報取得手段が受信した発信手段からの伝達情報と、記憶手段に記憶されている当該伝達情報に関する位置情報に対応する関連情報とを比較し、更新手段が、比較手段によって伝達情報と関連情報とが異なると判定されたときは、当該伝達情報に基づいて当該関連情報を更新するようにしているので、広告を載せたい商店主等の事業者は、たとえばコンピュータを用いてサーバ上に情報を登録するための操作や、業者に依頼してサーバ上に情報を登録するための操作を実施することなく、発信手段によって伝達情報たとえば広告を入力するのみで、記憶手段に記憶されている関連情報たとえば広告の画像情報を最新の情報に更新させることができる。また、更新手段が、比較手段によって伝達情報と関連情報とが異なると判定されたときは、当該伝達情報に基づいて当該関連情報を更新するようにしているので、記憶手段の記憶内容のうち、変化のあった例えば看板や建物の表面の図柄等の関連情報のみを自動的に更新することができる。よって、記憶手段の記憶容量を有効に利用することが可能となる。
【0141】
つぎの発明によれば、情報更新処理装置では、情報管理装置のデータ処理手段によって、マスタデータを記憶している第1の記憶手段と第2の記憶手段とにおける同一の位置情報に対応する関連情報に含まれる属性情報が異なっていると判定されたときは、情報更新装置の更新手段は、第1の装置から送出され、第1の記憶手段における上記位置情報に対応する関連情報を第2の記憶手段に反映させる更新指令にしたがって、第2の記憶手段の記憶内容を更新するようにしているので、第2の記憶手段の記憶内容を、第1の記憶手段に記憶されているマスタデータに基づく最新の情報に更新することができ、しかも、たとえば建物などの対象物に変化のあった画像の位置情報に対応する関連情報のみを更新することができる。
【0142】
つぎの発明によれば、情報更新処理装置では、情報管理装置のデータ処理手段によって、マスタデータを記憶している第1の記憶手段と第2の記憶手段とにおける同一の位置情報に対応する関連情報に含まれる属性情報が異なっていると判定されたときは、移動体に搭載される情報更新装置の更新手段は、情報管理装置から送出され、第1の記憶手段における上記位置情報に対応する関連情報を第2の記憶手段に反映させる更新指令にしたがって、第2の記憶手段の記憶内容を更新するようにしているので、たとえばカーナビゲーションシステムに搭載される第2の装置がアクセスする第2の記憶手段(たとえば、ハードディスクや書き込み可能な光ディスク)の記憶内容を、第1の記憶手段に記憶されているマスタデータに基づく最新の情報に更新することができ、しかも、たとえば建物などの対象物に変化のあった画像の位置情報に対応する関連情報のみを更新することができる。
【図面の簡単な説明】
【図1】 この発明の実施の形態1である情報更新処理装置の構成を示す構成図である。
【図2】 位置情報付き映像情報の一例を示す図である。
【図3】 位置情報付き形状情報の一例を示す図である。
【図4】 位置情報付きテキスト情報の一例を示す図である。
【図5】 図1に示した情報更新処理装置の対象抽出手段による画像からの建物抽出処理(エッジ抽出処理)を説明するための図である。
【図6】 図1に示した情報更新処理装置の対象変形手段による画像を変形する変形処理を説明するための図である。
【図7】 図1に示した情報更新処理装置の対象変形手段による画像の遮蔽部分を検出する遮蔽処理を説明するための図である。
【図8】 図1に示した情報更新処理装置の対象比較手段が処理対象とする形状についての形状モデルの対応面を説明するための図である。
【図9】 図1に示した情報更新処理装置の対象比較手段による形状変形の方法を説明するための図である。
【図10】 この発明の実施の形態2である情報更新処理装置の構成を示す構成図である。
【図11】 この発明の実施の形態3である情報更新処理装置の構成を示す構成図である。
【図12】 この発明の実施の形態4である情報更新処理装置を適用したシステムの構成を示す構成図である。
【符号の説明】
10,611〜614 情報取得装置、11 対象抽出手段、12 対象変形手段、20,641 情報更新装置、21 対象比較手段、22 対象更新手段、30,80,621,642 記憶手段、30A,80A 位置情報付き関連情報、31,81 位置情報付き映像情報、32,82 位置情報付き形状情報、33,83 位置情報付きシンボル情報、40 カメラ、50 GPS受信機、60,660 情報発信装置、61 情報発信手段、62 情報受信手段、70,621 情報管理装置、71 データ送信手段、91 属性送信手段。

Claims (1)

  1. 位置情報とこれに関連する画像情報を含む関連情報とを対応付けて記憶する記憶手段に対してアクセスする情報更新装置と、移動体に搭載され、該移動体の位置を検出する位置検出手段により検出された位置情報を取得する情報取得装置とを有する情報更新処理装置であって、
    伝達すべき広告を含む伝達情報を発信する発信手段を更に備え、
    前記情報取得装置は、
    前記発信手段からの伝達情報を受信すると共に、この受信時点近傍における前記位置検出手段からの位置情報を取得し、この位置情報および前記伝達情報を前記情報更新装置へ送出する情報取得手段を備え、
    前記情報更新装置は、
    前記情報取得手段からの伝達情報と、前記記憶手段に記憶されている当該伝達情報に関する位置情報に対応する関連情報とを比較する比較手段と、
    前記比較手段によって伝達情報と関連情報とが異なると判定されたときは、当該伝達情報に基づいて前記記憶手段に記憶されている当該関連情報を更新する更新手段と、
    を備えたことを特徴とする情報更新処理装置。
JP2001236528A 2001-08-03 2001-08-03 情報更新処理装置 Expired - Fee Related JP4685286B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001236528A JP4685286B2 (ja) 2001-08-03 2001-08-03 情報更新処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001236528A JP4685286B2 (ja) 2001-08-03 2001-08-03 情報更新処理装置

Publications (2)

Publication Number Publication Date
JP2003051021A JP2003051021A (ja) 2003-02-21
JP4685286B2 true JP4685286B2 (ja) 2011-05-18

Family

ID=19067776

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001236528A Expired - Fee Related JP4685286B2 (ja) 2001-08-03 2001-08-03 情報更新処理装置

Country Status (1)

Country Link
JP (1) JP4685286B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5111785B2 (ja) * 2006-05-24 2013-01-09 株式会社岩根研究所 Cv映像によるcvタグ入出力検索装置
JP4946238B2 (ja) * 2006-07-25 2012-06-06 株式会社デンソー 車両周辺撮影送信装置および車両周辺撮影送信プログラム
TWI514337B (zh) * 2009-02-20 2015-12-21 尼康股份有限公司 Carrying information machines, photographic devices, and information acquisition systems
JP2015177442A (ja) * 2014-03-17 2015-10-05 パイオニア株式会社 情報処理装置、情報処理方法、情報処理プログラム及び情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2016218626A (ja) * 2015-05-18 2016-12-22 株式会社構造計画研究所 画像管理装置、画像管理方法およびプログラム
WO2019130827A1 (ja) 2017-12-25 2019-07-04 キヤノン株式会社 画像処理装置およびその制御方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000047578A (ja) * 1998-07-30 2000-02-18 Nippon Telegr & Teleph Corp <Ntt> 地図データベース更新装置
JP2001050759A (ja) * 1999-08-06 2001-02-23 Nissan Motor Co Ltd ナビゲーション装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1056635A (ja) * 1996-08-09 1998-02-24 Nippon Telegr & Teleph Corp <Ntt> 被写体領域抽出・追跡方法および装置
JPH11104984A (ja) * 1997-10-06 1999-04-20 Fujitsu Ltd 実環境情報表示装置及び実環境情報表示処理を実行するプログラムを記録したコンピュータ読み取り可能な記録媒体
JPH11306204A (ja) * 1998-04-22 1999-11-05 Planet Computer:Kk データベースを利用したパンフレット作成システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000047578A (ja) * 1998-07-30 2000-02-18 Nippon Telegr & Teleph Corp <Ntt> 地図データベース更新装置
JP2001050759A (ja) * 1999-08-06 2001-02-23 Nissan Motor Co Ltd ナビゲーション装置

Also Published As

Publication number Publication date
JP2003051021A (ja) 2003-02-21

Similar Documents

Publication Publication Date Title
US9286624B2 (en) System and method of displaying annotations on geographic object surfaces
US7272501B2 (en) System and method for automatically collecting images of objects at geographic locations and displaying same in online directories
JP3432212B2 (ja) 画像処理装置及び方法
JP4236372B2 (ja) 空間情報利用システムおよびサーバシステム
CN103424113B (zh) 移动终端基于图像识别技术的室内定位与导航方法
US20130318078A1 (en) System and Method for Producing Multi-Angle Views of an Object-of-Interest from Images in an Image Dataset
US10191635B1 (en) System and method of generating a view for a point of interest
US8331611B2 (en) Overlay information over video
CN111436208B (zh) 一种测绘采样点的规划方法、装置、控制终端及存储介质
JP6399324B1 (ja) 塵芥収集車における映像管理システム
US10291898B2 (en) Method and apparatus for updating navigation map
CN101467454A (zh) 虚拟观测器
JP5401387B2 (ja) 地図画像処理装置、地図画像処理方法及び地図画像処理プログラム
CN103685960A (zh) 一种匹配位置信息的图像处理方法及其系统
JP2008027336A (ja) 位置情報配信装置、カメラ、位置情報配信方法およびプログラム
JP2016213810A (ja) 画像表示システム、情報処理装置、プログラム、画像表示方法
US20080319655A1 (en) Method for Generating an Enhanced Map
CN115004273A (zh) 交通道路的数字化重建方法、装置和系统
JP4685286B2 (ja) 情報更新処理装置
JP4085634B2 (ja) 画像表示プログラム
JP2000050156A (ja) 報道支援システム
CN111527375A (zh) 一种测绘采样点的规划方法、装置、控制终端及存储介质
KR100620668B1 (ko) 지피에스 수신기를 갖춘 차량 네비게이션 시스템의 비디오지리정보 시스템 구성 방법
JP2002189412A (ja) 地図作成システム及び地図作成方法
JP4995787B2 (ja) 画像蓄積装置,画像蓄積装置用プログラムおよび画像蓄積システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080423

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100727

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100924

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20101019

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101221

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20110111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110208

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110210

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140218

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees