JP4486737B2

JP4486737B2 - モービルマッピング用空間情報生成装置

Info

Publication number: JP4486737B2
Application number: JP2000214766A
Authority: JP
Inventors: 豊下垣; 求辻; 達夫今野; 亮介柴崎; 卉菁趙
Original assignee: Asia Air Survey Co Ltd
Current assignee: Asia Air Survey Co Ltd
Priority date: 2000-07-14
Filing date: 2000-07-14
Publication date: 2010-06-23
Anticipated expiration: 2020-07-14
Also published as: JP2002031528A

Description

【０００１】
【発明の属する技術分野】
本発明は、都市空間等の複雑な事物であってもレーザによる測距離データと画像データとを容易に精度良くマッチングさせたモービルマッピング用空間情報生成装置に関する。
【０００２】
【従来の技術】
都市の３次元画像を得る場合において、ＣＡＤで行った場合は、既存の地図又は写真を用いて手作業で作成しなければならないので、非常に時間がかかる。また、実際の画像、計測データを用いないのでリアリティに欠ける。
【０００３】
そこで、近年は、エリアセンサを用いるステレオ写真から建物や道路、樹木等（以下総称して地物という）の３次元情報を計測している。
【０００４】
【発明が解決しようとする課題】
物体全体の形状情報を精度良く得るには、複数の地点、方向から計測されたレンジ画像（ビュー）を同じグローバル座標系につなぎ合わせなければならない。
【０００５】
また、都市空間は地物が乱立しており、同一の視点からの計測のみでは隠蔽部を計測できない。
【０００６】
従って、都市空間等でレーザによる測距離データと画像データとをマッチングさせ、隠蔽部を少なくし、かつ高解像度の画像を得ることは極めて困難であるという課題があった。
【０００７】
本発明は以上の課題を解決するためになされたもので、都市空間等の複雑な事物であってもレーザによる直接的に求められた地物までの測距離データと画像データとを自動的に精度良く３次元の地図座標上にマッチングさせた空間画像を効率良く得ることができるモービルマッピング用空間情報生成装置を得ることを目的とする。
【０００８】
【課題を解決するための手段】
請求項１は、魚眼レンズとラインセンサとを組み合わせたカメラを水平に所定の撮像角度を有して３台併設してなる２個のマルチラインカメラと、ＤＧＰＳ受信器と、異なる方向にレーザを発射して受信する３台のレーザスキャナと、慣性航法装置とを移動体上に固定して移動しながら得たカメラデータ、レーザデータ、位置姿勢からなるＩＮＳデータ、ＧＰＳ時刻を用いて３次元グラフィック画像を生成するモービルマッピング用空間情報生成装置であって、前記ＧＰＳ時刻を有するカメラデータ、レーザデータに対して、前記ＧＰＳ時刻を有する前記ＩＮＳデータを結びつける手段と、前記各レーザスキャナのレーザデータを読み込み、それぞれのレーザデータが示す測定点までの距離値、測定点に対するレーザ方向の角度を、前記ＩＮＳデータを基準にしてそれぞれの３次元の地理座標に定義する手段と、前記それぞれの３次元の地理座標に定義された各レーザの単方向モデルを３次元座標上に合成する手段と、前記合成モデルを所定条件に従った平面に分割し、該分割エリアをポリゴン化する手段と、前記ポリゴンの各距離値、角度に結びつけられる画像データをカメラデータの前記ＩＮＳデータに基づいて検索し、該検索した画像データを前記ポリゴンに割り付けて前記３次元グラフィック画像を生成する手段とを備えたことを要旨とする。
【０００９】
本発明は、魚眼レンズとラインセンサとを組み合わせたカメラを水平に所定の撮像角度を有して３台併設してなる２個のマルチラインカメラと、ＤＧＰＳ受信器と、異なる方向にレーザを発射して受信する３台のレーザスキャナと、慣性航法装置とを移動体上に固定し、移動しながら得たカメラデータ、レーザデータ、位置姿勢からなるＩＮＳデータ、ＧＰＳ時刻を用いて３次元グラフィック画像を生成するモービルマッピング用空間情報生成装置であって、
【００１０】
前記ＧＰＳ時刻を有するカメラデータ、レーザデータに対して、前記ＧＰＳ時刻を有する前記ＩＮＳデータを結びつける手段と、
【００１１】
前記各レーザスキャナのレーザデータを読み込み、それぞれのレーザデータが示す測定点までの距離値、測定点に対するレーザ方向の角度を、前記ＩＮＳデータを基準にしてそれぞれの３次元の地理座標に定義する手段と、
【００１２】
前記それぞれの３次元の地理座標に定義された各レーザの単方向モデルを３次元座標上に合成する手段と、
前記合成モデルを所定条件に従った平面に分割し、該分割エリアをポリゴン化する手段と、
前記ポリゴンの各距離値、角度に結びつけられる画像データをカメラデータの前記ＩＮＳデータに基づいて検索し、該検索した画像データを前記ポリゴンに割り付けて前記３次元グラフィック画像を生成する手段とを備えたことを要旨とする。
【００１３】
【発明の実施の形態】
＜実施の形態１＞
図１は本実施の形態１のモービルマッピング用空間情報生成装置の概略構成図である。
【００１４】
本実施の形態のモービルマッピング用空間情報生成装置は、移動体１の屋根の後方に固定された画像取得装置１２のレーザ２Ａ、２Ｂ、２Ｃ及びマルチラインカメラ３Ａ、３Ｂ（それぞれ３個の魚眼レンズとラインセンサとを有する）並びにハイブリット慣性航法装置及びＤＧＰＳによって取得された地物までの距離データＡｉ（Ａ１、Ａ２、Ａ３）と、ラインセンサの画像データＤｉ（Ｄ１、Ｄ２、Ｄ３）と、位置データＢｉ、姿勢データθｉと、ＧＰＳデータＦｉ（ＧＰＳ時刻データｆ１、位置データｆ２）とを取り込んで、距離データＡｈと画像データＤｉと位置データＢｉ、姿勢データθｉとを自動的に精度良くつなぎ合わせた空間モデルを生成することによって、空間情報をグラフィック化する。
【００１５】
本実施の形態のモービルマッピング用空間情報生成装置の構成を説明する前に、空間情報取得装置について簡単に説明する。
【００１６】
前述の画像取得装置１２のマルチラインカメラ３Ａ、３Ｂについて図２、図３を用いて説明する。図２はマルチラインカメラの側面図、図３はマルチラインカメラの正面図である。
【００１７】
マルチラインカメラ３は、図２に示すように、魚眼レンズ６の後方に、画素の配列方向が鉛直方向になるようにラインセンサ７を設けた光学系部８と、ラインセンサ７を駆動して被写体を撮像し、この撮像信号を送出するカメラ本体９とからなるラインカメラ１０を図３に示すように水平方向に３個併設して一体化（それぞれを区別のために本実施の形態では、第１のラインカメラ１０ａ、第２のラインカメラ１０ｂ、第３のラインカメラ１０ｃと称する。
【００１８】
また、第１のラインカメラ１０ａ、第２のラインカメラ１０ｂ、第３のラインカメラ１０ｃは、中央の第２のラインカメラ１０ｂを挟んで、両脇の第１のラインカメラ１０ａ、第３のラインカメラ１０ｃの撮像方向が第２のラインカメラ１０ｂの撮像方向に対して４５度となるように水平方向に一体化されている。
【００１９】
そして、このようなマルチラインカメラ３Ａ、３Ｂは、図４に示すように、平面板である架台４に固定される。この架台４は図５に示すように移動体１の後方に取り付けられ、マルチラインカメラ３Ａ、３Ｂは、それぞれの第２のラインカメラ１０ｂの撮像方向が進行方向に対して垂直となるように架台４の両脇の中央部に取り付けられている。
【００２０】
また、架台４には、３台のレーザスキャナ２Ａ、２Ｂ、２Ｃがそれぞれ所定角度ずらして配置されている。
【００２１】
また、架台４のほぼ中央部に設置されたＤＧＰＳアンテナ４と、ＤＧＰＳ受信器（車内）と、ハイブリット慣性航法装置１１（ＩＮＳともいう）とを備えている。
【００２２】
レーザスキャナ２Ａ、２Ｂ、２Ｃは、それぞれテーパ面（傾斜を有する鏡）が回転自在なスキャナヘッド２ａ、２ｂ、２ｃを有し、車両後部上の架台４の両側の角部とその中央部にそれぞれ取り付けられている。
【００２３】
例えば、架台４の後方中央にレーザスキャナ２Ａと配置し、このレーザスキャナ２Ａに対して水平に４５度傾いて取り付けられている。この３台のレーザスキャナ２Ａ、２Ｂ、２Ｃは、パルス幅の非常に短い赤外線レーザをスキャナヘッド２ａ、２ｂ、２ｃから照射し、このレーザが建物や樹木等の地物から反射して戻って来るまでの時間から距離を求めると共に、レーザを発信したときのスキャナヘッド２ａ、２ｂ、２ｃの回転角度と合わせて３６０度方向の断面プロファイル測定を行い、距離データとレーザ角度データと得る。
【００２４】
このような画像取得装置１２を移動体１に搭載して走行して、図５に示すように周囲の画像及び距離データ、位置、姿勢、角度を取得している。
【００２５】
つまり、中央の第２のラインカメラの前に樹木があった場合は、樹木を含んだ建物の映像が撮影されるが、走行しているので、樹木位置をすぎたときに第２のラインカメラで撮影できなかった樹木の裏の映像を第１のラインカメラが得ることになる。また、それぞれのラインセンサは垂直方向に取り付けているので、魚眼レンズから得る映像は垂直方向で１８０度以上の線画像となる。
【００２６】
また、同時に３台のレーザスキャナによって、周囲の地物の各点の車との距離が取得される。
【００２７】
本実施の形態１に用いる距離データＡｈ、画像データＤｉ、位置データＢｉ、姿勢データθｉは、このような移動体１によって取得したデータを用いていることが前提となっている。
【００２８】
また、距離データＡｈは２０Ｈｚ、画像データＤｉは１００Ｈｚ、位置姿勢データは５０Ｈｚの周期でそれぞれ取得されている。
【００２９】
次に、図１の構成を説明する。図１に示すように、本実施の形態のモービルマッピング用空間情報生成装置１５は、距離データＡｈが記憶されたファイル１６と、位置データＢｉ、姿勢データθｉが記憶されたファイル１７と、画像データＤｉが記憶されたファイル１８と、データ取込処理部２０と、データ同期処理部２１と、センサキャリブレーション処理部２２と、単方向モデル生成処理部２３と、多方向モデル合成処理部２４と、サーフェースモデル生成処理部２５と、画像マッピング処理部２６と、３次元グラフィックデータが記憶されるデータベース２７と、マルチラインカメラセンサキャリブレーション処理部３３（カメラキャリブレーション処理部ともいう）とを備えている。
【００３０】
前述の各ファイルの画像データＤｉ、距離データＡｈ、位置データＢｉ、姿勢データθｉについて図６を用いて説明する。但し、本説明では画像データＤｉは、片側のマルチラインカメラの画像データＤｉとして説明する。また、距離データＡｉは、一台のレーザスキャナからの距離データＡｈとして説明する。
【００３１】
画像データＤｉは、マルチラインカメラのラインカメラによって取得されたものであり、マルチラインカメラ制御装置（図示せず）が内部タイマーを予めＧＰＳ時刻と時刻合わせを行って時刻を計測し、カメラスタートパルスが１０ｍｓｅｃ（１００Ｈｚ）で入力する毎に、ラインセンサを駆動させて撮像させていると共に、撮影時のＧＰＳ時刻Ｔｇと、ＰＰＳ信号からカメラスタートパルスの計測時刻Ｄｔと、カメラスタートパルスが入力したときの内部タイマーの時刻Ｄｔｓ（撮影時刻という）とを対応させて記憶している。
【００３２】
つまり、ファイル１８には、図６の（ａ）に示すように１００Ｈｚ周期（１０ｍｓｅｃ毎）で取得された３ライン分の画像データＤｉがＧＰＳ時刻Ｔｇと計測時刻Ｄｔと撮影時刻Ｄｔｓとが対応させられたレコード単位で記憶されている。また、このレコードには年月日が付加される場合もある。むろん、レコード単位ではなく、１走行あたりのファイルのヘッダとして付加してもよい。
【００３３】
さらに、このファイル（カメラ）には受注番号、画像データ番号、レンズ焦点距離、レンズ絞り、撮影幅、ルート名、測定者、照度、発注先などが付加されているのが好ましい。これらのデータを総称して単にカメラデータと称する。
【００３４】
また、距離データＡｈは、レーザスキャナによって計測された地物の点までの距離データＡｈであり、レーザ制御装置がレーザスキャナーに対して各種指令及び距離データＡｈを読み込む。
【００３５】
このレーザ制御装置（図示せず）は、内部タイマーを予めＧＰＳ時刻に合わせ、ＰＰＳ信号が入力する毎に内部タイマーの同期をとり、２０Ｈｚ毎にレーザを発射させると共にデータ取得を行っている。また、このとき、レーザスキャナのスキャンヘッドを回転させている（５０ｍｓｅｃで一回転）。
【００３６】
そして、レーザを受信したときのＧＰＳ時刻Ｔｇ（レーザを発射したときにＧＰＳ時刻が入力すると、そのＧＰＳ時刻、レーザを発射したときにＧＰＳ時刻が入力しない場合は、前のＧＰＳ時刻）と、測定時のレーザの内部タイマー時刻Ａｔ（距離測定時刻）とレーザ測定角度Ａｒ（スキャンヘッドの回転角度：Ａｒ＝Ａｒｐ１、Ａｒｐ２…３６０）とレーザが当たった点までの距離Ａｈとを求めて記憶している。
【００３７】
つまり、ファイル１６には、図６の（ｂ）に示すように、２０Ｈｚ周期（５０ｍｓｅｃ毎）で取得されたレーザの測定角Ａｒと、測定距離Ａｈと、測定時のＧＰＳ時刻Ｔｇと距離計測時刻Ａｔとが対応させられたレコード単位で記憶されている。また、このレコードには年月日が付加される場合もある。むろん、レコード単位ではなく、１走行あたりのファイルのヘッダとして付加してもよい。
【００３８】
さらに、このファイル（レーザ）には天気、気温等が付加されているのが好ましい。
【００３９】
このような各データを単にレーザデータと称する。
【００４０】
また、位置データＢｉ、姿勢データθｉは、ＩＮＳによって測定されたものであり、ＩＮＳの内部タイマー（カメラ、レーザ用の内部タイマーと比べて時刻計測精度が粗い）は、ＰＰＳ信号が入力する毎に内部タイマーの同期をとり、５０Ｈｚの周期間隔で測定パルスを送出して、ＧＰＳからの基準位置と推測航法演算による自装置の位置とから高精度の位置データＢｉを求めると共に、傾きを求め（姿勢データθｉ）、かつＰＰＳ信号から測定パルスが入力するまでの内部タイマーによる時刻（タイムタグ）を求めてＧＰＳ時刻データを記録し、これを位置データＢｉ、姿勢データθｉに付加している。
【００４１】
つまり、ファイル１７には、図６の（ｃ）に示すように２０ｍｓｅｃ毎の位置データＢｉ、姿勢データθｉ、ＧＰＳ時刻Ｔｇ、測定時刻ＩＮＴと対応させらｒて記憶されている。
【００４２】
このような各データを単にＩＮＳデータと称する。
【００４３】
データ取込処理部２０は、年月日、ルート、測定者、撮影時間帯が入力されると、これらの関連するデータをファイル１６、１７、１８から内部に取り込む。
【００４４】
例えば、２０００年、６月１日、３時から４時の場合は、年月日とＧＰＳ時刻Ｔｇを読み、２０００年、６月１日、３時から４時の間のデータを順次内部のメモリ３０（カメラデータ用）、メモリ３１（ＩＮＳデータ用）、メモリ３２（レーザデータ用）に取り込む。
【００４５】
データ同期処理部２１は、データが取り込まれる毎に、各データ（ＩＮＳデータ）の同期合わせのための補間を行い、レーザデータ、カメラデータに位置、姿勢データ（ＩＮＳデータ）を結びつける。
【００４６】
センサキャリブレーション処理部２２は、レーザの向き、それぞれの取り付け位置に応じて、位置、姿勢、測距離間の相対関係を標定（キャリブレーションデータ）する。
【００４７】
また、カメラキャリブレーション処理部３３は、カメラの向き、それぞれの取り付け位置に応じて、姿勢、画像データ間の相対関係を標定（キャリブレーションデータ）する。
【００４８】
単方向モデル生成処理部２３は、各レーザスキャンナのレーザデータをキャリブレーションデータを用いて地理座標における３次元モデルを各レーザ毎に求める。
【００４９】
多方向モデル合成処理部２４は、各方向のレーザの３次元モデルを合成して精度の高いモデルを生成する。
【００５０】
サーフェースモデル生成処理部２５は、多方向モデル合成処理部２４で生成された合成モデルの測定点の集合から所定の条件に基づいて平面を抽出してサーフェース化する。
【００５１】
画像マッピング処理部２６は、サーフェースモデルの各面に対応するカメラデータを位置姿勢データにより、割付して３次元グラフィック画像を生成する。
【００５２】
上記のように構成されたモービルマッピング用空間情報生成装置の動作を以下に説明する。
【００５３】
データ取込処理部２０によって指定範囲の各データがメモリ３０、３１、３２に記憶されると、データ同期処理部２１は、初めに、カメラデータにおいては、１００Ｈｚ周期（１０ｍｓｅｃ毎）で取得された１個のラインカメラの画像データＤｉのＧＰＳ時刻Ｔｇを読み込む。
【００５４】
例えば、図６の（ａ）においては、ＧＰＳ時刻は１０Ｈｚ周期で出力されるからＧＰＳ時刻Ｔｇ１においては、１０個分の画像データＤｉ（Ｄ１１、Ｄ２１、Ｄ３１、…Ｄ１０１）を引き当てる。１個のマルチラインカメラは３個のラインカメラで構成されるので、３個分のラインセンサの画像データを読み込んだときは、（Ｄ１１、Ｄ２１、Ｄ３１、…Ｄ１０１）と、（Ｄ１２、Ｄ２２、Ｄ３２、…Ｄ１０２）と、（Ｄ１３、Ｄ２３、Ｄ３３、…Ｄ１０３）とを読み込むことになる。
【００５５】
また、データ同期処理部２１は、レーザデータにおいては、２０Ｈｚ周期（５０ｍｓｅｃ毎）で取得されたレーザデータを読み込む。
【００５６】
例えば、図６の（ｂ）においては、ＧＰＳ時刻は１０Ｈｚ周期で出力され、レーザデータは５０ｍｓｅｃ毎に出力されるからＧＰＳ時刻Ｔｇ１においては距離計測時刻Ａｔ１、Ａｔ２が読み込まれる。
【００５７】
さらに、データ同期処理部２１は、ＩＮＳデータにおいては、５０Ｈｚ周期（２０ｍｓｅｃ毎）でＧＰＳ時刻Ｔｇを読み、このＧＰＳ時刻Ｔｇ毎に、それぞれの、タイムタグＩＮＴと位置データＢｉ、姿勢データθｉと遅れ時間ｔｍとＧＰＳ時刻Ｔｇとを加算して正確なＩＮＳ測定時刻ＩＴｈを求めてメモリ３１に順次記憶する。
【００５８】
例えば、図６の（ｃ）においては、ＧＰＳ時刻は１０Ｈｚ周期で出力され、ＩＮＳデータは２０ｍｓｅｃ毎に出力されるからＧＰＳ時刻Ｔｇ１においてはタイムタグＩＮＴ１…ＩＮＴ５、位置データＢ１…Ｂ５、姿勢データθ１…θ５が読み込まれる。
【００５９】
そして、このタイムタグＩＮＴ１と遅れ時間ｔｍとＧＰＳ時刻Ｔｇ１とを加算して、それぞれの正確なＩＮＳ測定時刻ＩＴｈを求め、図７に示すように、これと位置データＢｉ、姿勢データθｉと対応させてメモリ３０に記憶する。
【００６０】
次に、データ同期処理２１は、例えばメモリ３０に記憶したカメラデータの正確な撮影時刻Ｄｔｓを基準にして、この撮影時刻ＤｔｓのカメラデータＣＭｉに一致するようにＩＮＳデータＮＭｉを補間して図９の（ａ）に示すようにメモリ３０に記憶する。つまり、カメラデータに対応するＩＮＳデータを補間で得る。
【００６１】
例えば、図８に示すように、１０ｍｓｅｃ毎のカメラデータＣＭ１の正確な撮影時刻Ｄｔｓ１を読み、このＤｔｓ１のカメラデータＣＭ１に同期するようにＩＮＳデータＮＭＤ１の測定時刻ＩＴｈ１ｈ（補間された測定時刻ＩＴｈ１ｈ）を補間する。
【００６２】
また、同時に図９に示すように、この測定時刻ＩＴｈ１ｈに基づいて、姿勢データθ１がθ１ｈに補間され、位置データＢ１がＢ１ｈに補間される。
【００６３】
同様に、カメラデータＣＭ２においても、ＩＮＳデータＮＭ１とＮＭ２との間にＣＭ２に同期するようにデータ（ＩＮＳ測定時刻ＩＴｈ２ｈ、位置データＢ２ｈ、姿勢データθ２ｈ）を補間する。
【００６４】
一方、レーザデータＲＭｉと対応するＩＮＳデータＮＭｉの補間は、例えば、図８に示すように、５０ｍｓｅｃ毎のレーザデータＲＭｉに同期するようにＩＮＳデータを補間する。
【００６５】
例えば、図８に示すように、５０ｍｓｅｃ毎のレーザデータの正確な時刻Ａｔ１を読み、このＡｔ１に同期するようにＩＮＳデータ（図８においてはＮＭＤ２）の測定時刻ＡＴｓ１ｈ（補間された測定時刻ＡＴｓ１ｈ）を補間する。
【００６６】
また、同時に図９に示すように、この測定時刻ＡＴｓ１ｈに基づいて、姿勢データθ１がθθ１ｈに補間され、位置データＢ１がＢＢ１ｈに補間される。
【００６７】
すなわち、データ同期処理部２１は、取り込んだカメラデータ、ＩＮＳデータ、レーザデータとを補間したＩＮＳデータの時刻データを元にして結びつけている。
【００６８】
そして、図１０に示すように、各レーザデータＲＭ１、ＲＭ２、…に同期させるために補間したＩＮＳデータの位置姿勢データを対応させる。
【００６９】
しかし、レーザとＩＮＳ、カメラとＩＮＳとは平面板１上では互いに異なる位置に配置されている。このため、センサキャリブレーション処理部２２は以下に説明する処理を行う。
【００７０】
センサキャリブレーション処理部２２はレーザの取り付け方向、取り付け位置等を図１１に示すように、複数の既知の基準点をレーザによって測定させ、この測定時のａ^bおよびＲを数１に示すようにして定義（例えば２月に一度）しておく。
【００７１】
【数１】

そして、単方向モデル生成処理部２３は、メモリ３２のレーザデータを入力する毎にキャリブレーションデータを用いて、地図座標における座標値（距離、角度、位置、姿勢より求められる）を定義して、空間座標におけるレーザデータモデルを生成する。これは、レーザの３方向について行っている。
【００７２】
つまり、図１０の（ｂ）のレーザデータＲＭ（ＲＭＤ）は、図１２に示すような測定点の座標群に変換して記憶される。そして、多方向モデル合成処理部は、これらの３方向のレーザデータを地理座標空間にて合成して、図１３に示すレーザモデルを得る。
【００７３】
サーフェースモデル生成処理部２５は、このレーザモデルを分割して図１４の（ａ）、（ｂ）、（ｃ）に示すようにサーフェース化する。
【００７４】
サーフェースを生成するに当たっての平面パッチの抽出（図１４の（ｂ））は、初めにレンジポイント（測定点）全体をあるルールによって分割する。分割されたものをレンジセルと称する。分割に当たっては、各レンジセルに注目して事前に設定したしきい値の範囲内で対応するレンジポイントが空間平面に回帰できるかどうかを判断する（回帰の残差の分散値がしきい値より小さいと一つの空間平面に回帰できると判断する）。
【００７５】
そこで、一つの空間平面に回帰されないレンジセルはさらに分割し、このプロセスを繰り返す。
【００７６】
分割が終わった後のレンジセルは平面パッチを抽出するプロセスにおける最小なユニットとなる。
【００７７】
このような初期化によりレンジポイントを幾つかのレンジセルに分割し（図１４の（ｂ））、各レンジセルは最小二乗法による空間に一意な平面パッチに対応しているので、空間物体の形状はこれらの平面パッチによって近似される。
【００７８】
しかし、この時点での近似は、平面パッチの数が多くて近似効率が悪い、近似効率を高めるために、同じ平面に対応するレンジセルをマージしポリゴンを生成する（図１４（ｃ）、図１５の（ａ）、（ｂ））。このプロセスは、対応する平面がほぼ同一平面上にある。すなわち、同じセンサ座標の原点から平面に下ろした垂線の足の位置が最も近い２つのレンジセルから始める。
【００７９】
レンジセルをマージした結果として近似効率は高まるが近似精度は悪くなる可能性もある。
【００８０】
そこで、２つのレンジセルのマージするかどうか、つまり、近似効率と近似精度のバランスは、ＭＤＬ（ＭｉｎｉｍｕｍＤｅｓｃｒｉｐｔｉｏｎＬｅｎｇｈｔｈ）符号長が小さくなるかどうかによって決まる。
【００８１】
次に、画像マッピング処理部２６は、サーフェースモデルが生成されると、サーフェースモデルの各ポリゴンを読み、このポリゴンに対応するカメラデータを位置姿勢データとカメラキャリブレーションデータより引き当て、この位置姿勢データに対応する全ての画像データをポリゴンに割り当てた図１３の（ｂ）に示す３次元グラフィック画像を生成する。
【００８２】
つまり、この３次元グラフィック画像には、３次元位置とデータとが対応させられていることになるから、例えば地図座標に定義されたカーナビに本３次元画像データを記憶しておくと、カーナビ画像の道路上の所定の点を選択すると、その点の建物の３次元画像を得ることができる。
【００８３】
なお、以下に本発明に係る装置の代表的な用途例について説明する。
【００８４】
（１）都市防災
都市には道路、建物及び大小様々な施設が密集しており、上空からでは捉えられない地物も存在するが、本発明の装置は、都市構造物の空間的な配置や３次元形状を正確に再現させることが可能となるため、災害時の避難・誘導シミュレーションや被害予測システムを構築する上で極めて有効な情報を提供できる。
【００８５】
（２）施設管理
大都市では、電力、ガス、上下水道等の膨大なライフライン網が複雑に入り組んでいる。既に、公共企業が独自の管理システムを構築しているが、情報の相互運用を図るための基準情報や不足情報の新規取得に効力を発揮する。この情報を利用すれば、３次元地図画像で電柱と建物の位置関係を見て工事の場所を決めたり、既設設備の位置や劣化状況を正確に把握させることが可能となる。
【００８６】
＜実施の形態２＞
本発明によって得られた３次元グラフィック画像は、実映像のテクスチャー情報を持つため、３次元ＣＧを利用したリアルな景観シュミレーション、都市の中を動き回るウォークスルーやサイバーショッピングに利用できる。
【００８７】
例えば、タクシーは常に街を回っているが、その間は客が乗っていなければ無駄な走行であるが街の最新の様子を知ることになる。また、客を乗せて走ったとしても、料金は走行距離だけである。そこで、図１６に示すように、例えば実施の形態１で用いたマルチラインカメラとＧＰＳ、カメラ制御装置からなる画像取得装置をタクシーに搭載し、この画像データをセンターに送信する。
【００８８】
センターは携帯電話又はパソコンからの要望地点を取得し、この地点の画像をその携帯又はパソコンに送信して課金すると共に、タクシーの会社サーバには画像取得の履歴を配信しておき、後日その分を支払う。
【００８９】
前述の画像取得装置４０（レンタルが好ましい）は、携帯電話４１に接続され、センター側から携帯電話４１で「ｘｘ通りのｘｘｘビル当たりを取得」という指示があったときに、画像取得装置４０に対して撮影指示を入力して撮影させ、このマルチラインカメラの各ラインセンサの画像データを年月日とＧＰＳ時刻と対応させてメモリ（図示せず）に順次記憶する。このデータを総称してカメラデータという。
【００９０】
そして、タクシーのドライバーは撮影が終わると、携帯電話４１を用いてメモリのカメラデータをネットワークを介してセンターに送信する。センターの画像収集装置４２は、タクシーからカメラデータが送信される毎に、携帯電話４１の電話番号（タクシーＩＤとして用いる）とカメラデータとを対応させてデータベース（図示せず）に記憶する。
【００９１】
また、センターの配信・課金サーバ４３は、ユーザの携帯電話４４又はパソコン４５から例えば「渋谷」のエリア地図の配信要求を受けたとき、携帯電話４４の電話番号又はパソコンのネットワークＩＤをデータベース４６に記憶すると共に、渋谷の地図をデータベース４７から検索し、これを送信する。この地図は地理座標に定義付けられたものであり、この地図の所望の地点が選択されると、その地点の緯度経度が分かる。
【００９２】
そして、ユーザは、携帯電話４４又はパソコン４５の画面に表示された渋谷の地図の所望の地点を選択し、カメラデータの欲しい時間帯を入力する。
【００９３】
これによって、選択地点の緯度経度と時間帯がネットワークを介してセンターに送信され、配信・課金サーバ４３が受信する。
【００９４】
配信・課金サーバ４３は、ユーザからの緯度経度、時間帯を有するカメラデータがデータベース４２に存在するかどうかを判断し、存在する場合は、そのカメラデータをユーザ側の携帯電話４４又はパソコン４５に送信する。
【００９５】
これによって、携帯電話４４又はパソコン４５には、渋谷の所望の地点のビル前の様子等を画像で判断できるので、例えばこれから行きたい店が混んでいるか又は車が道路に複数停車しているかが分かる。
【００９６】
そして、配信・課金サーバ４３は、ユーザに配信した時間帯のカメラデータを取得したタクシーＩＤと取得画像配信日時刻とをデータベース４８に記憶し、後日これをタクシー会社のサーバ４９に配信しておく。タクシー会社はこのサーバの配信データの回数から予め定められた金額をセンターに請求する。
【００９７】
また、配信・課金サーバ４３は、要求のあったパソコン又は携帯電話４４のＩＤ又は電話番号、要求エリア、時間等をデータベースに４６に記憶しており、これらのデータに基づく所定の課金を行って、銀行のユーザの口座からセンターの口座に引き落とす。
【００９８】
さらに、ユーザからの緯度経度、時間帯を有するカメラデータがデータベース４２に存在しない場合は、タクシーの携帯電話４１に電話をかけて、「渋谷のｘｘビルをｘｘｘ時間帯で取得することを通報する。
【００９９】
この通報は、タクシーにＧＰＳを搭載しているので、タクシー側から現在位置を常に取得し、渋谷のｘｘビルをｘｘｘ時間帯で最も早く通過するタクシーを見つけて、通報する。
【０１００】
なお、上記のユーザは、報道関係、警察であってもよい。特に警察の場合は、通りの駐車違反及び車両番号を直ぐに分かることになると共に治安に役立つ。
【０１０１】
【発明の効果】
以上のように本発明によれば、２個のマルチラインカメラと、ＤＧＰＳ受信器と、３台のレーザスキャナと、慣性航法装置とを移動体上に固定して移動しながら得たカメラデータ、レーザデータ、ＩＮＳデータ、ＧＰＳ時刻を用いて３次元グラフィック画像を生成するとき、ＩＮＳデータである位置及び姿勢データ等をカメラデータ、レーザデータに結びつけた後に、これらのレーザデータを地理座標において合成し、この３次元のレーザデータを所定条件に従って分割した平面のポリゴンに、各距離値、角度に結びつけられる画像データをカメラデータのＩＮＳデータに基づいて検索する。そして、該検索した画像データをポリゴンに割り付けて３次元グラフィック画像を生成する。
【０１０２】
このため、都市空間等をより忠実に再現できる。また、カメラデータとレーザデータには位置姿勢データ、時刻が対応させられているから、各地点における所望の方向からの高精度画像を容易に得ることができるという効果が得られている。
【０１０３】
また、それぞれのカメラデータは、撮像方向の角度は４５度にされて取得したものであるから樹木があっても、その樹木を除いた建物の映像を生成することができるとうい効果が得られている。
【図面の簡単な説明】
【図１】本発明の実施の形態１のモービルマッピング用空間情報生成装置の概略構成図である。
【図２】マルチラインカメラの側面図である。
【図３】マルチラインカメラの正面図である。
【図４】架台上におけるマルチラインカメラとレーザ、ＩＮＳ、ＤＧＰＳの取り付け位置を示す平面図である。
【図５】画像取得装置の撮像、測距離の方向を説明する説明図である。
【図６】取得されたカメラデータ、レーザデータ、ＩＮＳデータを説明する説明図である。
【図７】正確な時刻にされたＩＮＳデータの説明図である。
【図８】カメラデータ、レーザデータ、ＩＮＳデータの同期、補間のタイミングチャートである。
【図９】同期、補間されたＩＮＳデータを説明する説明図である。
【図１０】同期、補間されてＩＮＳデータが対応づけられたカメラデータ、レーザデータを説明する説明図である。
【図１１】キャリブレーション処理を説明する説明図である。
【図１２】キャリブレーション結果を反映したレーザデータの説明図である。
【図１３】測距離データとサーフェース画像を説明する説明図である。
【図１４】レーザデータによる合成モデルと分割を説明する説明図である。
【図１５】本実施の形態による抽出画像を説明する説明図である。
【図１６】実施の形態２のモービルマッピング取得データの配信システムの概略構成図である。
【符号の説明】
１架台
２レーザスキャナ
３マルチラインカメラ
２０データ取込処理部
２１データ同期処理部
２２センサキャリブレーション処理部
２３単方向モデル生成処理部
２４多方向モデル合成処理部
２５サーフェースモデル生成処理部
２６画像マッピング処理部

Claims

魚眼レンズとラインセンサとを組み合わせたカメラを水平に所定の撮像角度を有して３台併設してなる２個のマルチラインカメラと、ＤＧＰＳ受信器と、異なる方向にレーザを発射して受信する３台のレーザスキャナと、慣性航法装置とを移動体上に固定し、移動しながら得たカメラデータ、レーザデータ、位置姿勢からなるＩＮＳデータ、ＧＰＳ時刻を用いて３次元グラフィック画像を生成するモービルマッピング用空間情報生成装置であって、
前記ＧＰＳ時刻を有するカメラデータ、レーザデータに対して、前記ＧＰＳ時刻を有する前記ＩＮＳデータを結びつける手段と、
前記各レーザスキャナのレーザデータを読み込み、それぞれのレーザデータが示す測定点までの距離値、測定点に対するレーザ方向の角度を、前記ＩＮＳデータを基準にしてそれぞれの３次元の地理座標に定義する手段と、
前記それぞれの３次元の地理座標に定義された各レーザの単方向モデルを３次元座標上に合成する手段と、
前記合成モデルを所定条件に従った平面に分割し、該分割エリアをポリゴン化する手段と、
前記ポリゴンの各距離値、角度に結びつけられる画像データをカメラデータの前記ＩＮＳデータに基づいて検索し、該検索した画像データを前記ポリゴンに割り付けて前記３次元グラフィック画像を生成する手段とを有することを特徴とするモービルマッピング用空間情報生成装置。
前記カメラデータは第１の所定間隔の撮影時刻で、前記ＩＮＳデータは第２の所定間隔（第１の所定間隔＜第２の所定間隔）の計測時刻で、前記レーザデータは第３の所定間隔（第２の所定間隔＜第３の所定間隔）の測定時刻で、各々行われて取得し、
前記結びつける手段は、
前記撮影時刻のカメラデータを取得したとき、この撮影時刻に同期するように前記ＩＮＳデータの計測時刻を補間し、このＩＮＳデータと前記カメラデータとを結び付け、
また、前記レーザデータを取得したとき、この測定時刻に同期するように前記ＩＮＳデータの計測時刻を補間し、このＩＮＳデータと前記レーザデータとを結びつけることを特徴とする請求項１記載のモービルマッピング用空間情報生成装置。
前記ＩＮＳデータの計測時刻は、
前記第２の所定間隔で前記ＩＮＳデータを取得したとき、前記ＧＰＳ時刻と同期を取った所定精度以下の計測時刻と遅れ時間とから前記取得したＩＮＳデータの正確な計測時刻を求める手段を起動させて、前記計測時刻を得ていることを特徴とする請求項２記載のモービルマッピング用空間情報生成装置。
前記分割エリアは、
前記測定点をレンジポイントとし、前記合成モデルに散らばっているレンジポイントの各々を、前記所定条件に基づいて分割し、これをレンジセルとし、該レンジセル内のレンジポイントが予め設定した閾値の範囲内で、かつこれらのレンジポイントが空間平面に回帰したとき、その平面を抽出してこれを前記分割エリアとすることを特徴とする請求項１、２又は３記載のモービルマッピング用空間情報生成装置。
前記レンジポイントが空間平面に回帰しないときは所定の間、前記平面の抽出までのプロセスを繰り返して最小の平面を抽出することを特徴とする請求項４記載のモービルマッピング用空間情報生成装置。