JP5473304B2 - 遠隔地画像表示装置、遠隔操縦装置、車両制御装置、遠隔操縦システム、遠隔操縦方法、遠隔操縦プログラム、車両制御プログラム、遠隔地画像表示方法、遠隔地画像表示プログラム - Google Patents

Description

本発明は、例えば、無人車両を遠隔地で操作する遠隔地画像表示装置、遠隔操縦装置、車両制御装置、遠隔操縦システム、遠隔操縦方法、遠隔操縦プログラム、車両制御プログラム、遠隔地画像表示方法、遠隔地画像表示プログラムに関するものである。

従来の遠隔操縦装置は、無人車両に取り付けられたカメラにより撮影された映像を遠隔地にいる操縦端末に送り、操縦者がその送られて来た映像を見ながら操縦端末を操作して無人車両を遠隔操縦する構成である（特許文献１）。
特開平８−８４３７５号公報

従来の遠隔操縦装置では、無人車両に取り付けられたカメラの撮影方向の映像しか遠隔地の操縦者は見ることができず、無人車両の周辺情報に死角がある状態で操縦者は無人車両を操縦しなければならないという課題があった。

本発明は、例えば、かかる課題を解決するためになされたもので、遠隔地の操縦者に無人車両の周辺情報を視覚的に提供できるようにすることを目的とする。

本発明の遠隔地画像表示装置は、遠隔地を走行する車両から送信される前記車両の位置情報を通信装置を用いて受信する車両情報受信部と、前記車両情報受信部により受信された前記車両の位置情報に基づいて、前記車両の周辺の地図データを前記車両の走行地域の地図データを記憶する地図データベース装置から取得する地図データ取得部と、前記地図データ取得部により取得された地図データに基づいて前記車両の周辺の地図を表す周辺画像をＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いて生成する周辺画像生成部と、前記周辺画像生成部により生成された周辺画像をモニター装置に表示する周辺画像表示部とを備える。

本発明によれば、例えば、車両の周辺画像を生成して表示することにより、遠隔地の操縦者に無人車両の周辺情報を視覚的に提供することができる。

実施の形態１．
車両を遠隔地の操縦装置から操縦する遠隔操縦システムについて説明する。

図１は、実施の形態１における遠隔操縦システム１００の概要図である。
実施の形態１における遠隔操縦システム１００の概要について、図１に基づいて以下に説明する。

遠隔操縦システム１００は、遠隔地から操縦命令を送信する遠隔操縦装置３００と、遠隔操縦装置３００から送信された操縦命令に基づいて車両を制御する車両制御装置２０９を搭載された車両とを備える。
車両は、無人でも有人でも構わず、車両制御装置２０９による自動操縦（自律運転）で走行する。
以下、車両制御装置２０９の搭載された車両を「無人車両２００」という。

無人車両２００にはＧＰＳ受信システム２０１（ＧＰＳ：Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、アンテナ２０２およびジャイロ２０３が設置される。
ＧＰＳ受信システム２０１は、測位衛星から測位信号を受信し、測位信号の受信結果に基づいて無人車両２００の現在地点を測位する測位装置である。ＧＰＳ受信システム２０１として、従来のＧＰＳ受信機を用いることができる。
アンテナ２０２は、ＧＰＳ受信システム２０１の測位結果や遠隔操縦装置３００からの操縦命令などを含んだ無線電波を送受信する通信装置である。
ジャイロ２０３は、無人車両２００の進行方向を示す姿勢角（ロール角、ピッチ角、ヨー角）を計測するセンサ装置である。

まず、車両制御装置２０９は、ＧＰＳ受信システム２０１を用いて測位した無人車両２００の現在地点とジャイロ２０３を用いて計測した無人車両２００の姿勢角とを示す位置姿勢情報２１０ａ（位置情報の一例）をアンテナ２０２を用いて送信する（Ｓ１００：車両情報送信工程）。
次に、遠隔操縦装置３００は、車両制御装置２０９により送信された位置姿勢情報２１０ａに基づいて無人車両２００の周辺の３次元地図を表す３次元周辺画像３１３ａ（周辺画像の一例）を生成して表示装置９０１（モニター装置ともいう）に表示する（Ｓ２００：車両周辺画像表示工程）。
次に、遠隔操縦装置３００は、表示装置９０１に表示された周辺画像を見た操縦者がキーボード９０２やマウス９０３などの入力装置を操作して指定した操縦命令を移動先位置情報３２２ａとして通信装置を用いて送信する（Ｓ３００：操縦命令送信工程）。
そして、車両制御装置２０９は、遠隔操縦装置３００により送信された移動先位置情報３２２ａに基づいて無人車両２００をＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｃｅｓｓｉｎｇ
Ｕｎｉｔ）を用いて制御（操縦、運転）する（Ｓ４００：自動操縦工程）。
各工程（Ｓ１００〜Ｓ４００）の詳細について後述する。

図２は、実施の形態１における車両制御装置２０９の機能構成図である。
実施の形態１における車両制御装置２０９の機能構成について、図２に基づいて以下に説明する。

車両制御装置２０９は、位置姿勢標定部２１０（位置情報生成部の一例）、車両送信部２１１（車両情報送信部の一例）、車両受信部２１２（操縦命令受信部の一例）、車両制御部２１３および車両記憶部２９０を備える。

位置姿勢標定部２１０は、無人車両２００の現在地点をＧＰＳ受信システム２０１を用いて測位すると共に無人車両２００の姿勢角をジャイロ２０３を用いて計測し、無人車両２００の現在地点および姿勢角を示す位置姿勢情報２１０ａをＣＰＵを用いて生成する。

車両送信部２１１は、位置姿勢標定部２１０により生成された位置姿勢情報２１０ａを遠隔操縦装置３００へアンテナ２０２を用いて送信する。

車両受信部２１２は、遠隔操縦装置３００により送信される移動先位置情報３２２ａを通信装置を用いて受信する。

車両制御部２１３は、車両受信部２１２により受信された移動先位置情報３２２ａに基づいて無人車両２００をＣＰＵを用いて制御（操縦、運転）する。

車両記憶部２９０は、車両制御装置２０９で使用されるデータを記憶媒体を用いて記憶する。例えば、車両記憶部２９０は、位置姿勢標定部２１０により生成された位置姿勢情報２１０ａや車両受信部２１２により受信された移動先位置情報３２２ａを記憶する。

図３は、実施の形態１における遠隔操縦装置３００の機能構成図である。
実施の形態１における遠隔操縦装置３００の機能構成について、図３に基づいて以下に説明する。

遠隔操縦装置３００は、遠隔地画像表示装置３１０、車両操縦装置３２０および装置記憶部３９０を備える。
遠隔地画像表示装置３１０は、無人車両２００の車両制御装置２０９により送信された位置姿勢情報２１０ａに基づいて無人車両２００の３次元周辺画像３１３ａを生成し、生成した３次元周辺画像３１３ａを表示装置９０１に表示する。
車両操縦装置３２０は、表示装置９０１に表示された３次元周辺画像３１３ａを見た操縦者がキーボード９０２やマウス９０３などの入力装置を操作して指定した操縦命令を移動先位置情報３２２ａとして送信アンテナ３０２を用いて送信する。
装置記憶部３９０は、遠隔地画像表示装置３１０および車両操縦装置３２０で使用されるデータを記憶媒体を用いて記憶する。例えば、装置記憶部３９０は、位置姿勢情報２１０ａ、３次元周辺画像３１３ａや移動先位置情報３２２ａを記憶する。

遠隔地画像表示装置３１０は、装置受信部３１１（車両情報受信部の一例）、地図データ取得部３１２、３次元周辺画像生成部３１３（周辺画像生成部の一例）、３次元周辺画像表示部３１４および３次元地図データベース３９１を備える。

３次元地図データベース３９１は、無人車両２００の走行地域の３次元地図データ３９１ａを記憶媒体を用いて記憶管理する装置である。３次元地図データ３９１ａは、当該地域内に位置する道路の情報および道路以外の地物の情報を示す。例えば、道路の情報とは、道路、車線、白線、標識などの情報（３次元座標、形状、大きさ、色、種別など）であり、道路以外の地物の情報とは、建物、施設、トンネル、山、川などの情報である。例えば、形状や大きさは、地物の輪郭を形成する複数の端点それぞれの３次元座標で表される。３次元地図データベース３９１としてＧＩＳ（Ｇｅｏｇｒａｐｈｉｃａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ）のデータベースを用いることができる。

装置受信部３１１は、遠隔地を走行する無人車両２００の車両制御装置２０９から送信される無人車両２００の位置姿勢情報２１０ａを受信アンテナ３０１を用いて受信する。

地図データ取得部３１２は、装置受信部３１１により受信された無人車両２００の位置姿勢情報２１０ａに基づいて、無人車両２００の周辺の３次元地図データ３９１ａを３次元地図データベース３９１から取得する。

３次元周辺画像生成部３１３は、地図データ取得部３１２により取得された３次元地図データ３９１ａに基づいて無人車両２００の３次元周辺画像３１３ａをＣＰＵを用いて生成する。

３次元周辺画像表示部３１４は、３次元周辺画像生成部３１３により生成された３次元周辺画像３１３ａを表示装置９０１に表示する。

車両操縦装置３２０は、操縦情報入力部３２１、移動位置生成部３２２（操縦命令生成部の一例）および装置送信部３２３（操縦命令送信部の一例）を備える。

操縦情報入力部３２１は、無人車両２００を操縦する情報として遠隔操縦装置３００の利用者（以下、「操縦者」または「遠隔操縦者」という）に指定された操縦情報３２１ａをキーボード９０２やマウス９０３などの入力装置から入力する。
移動位置生成部３２２は、操縦情報入力部３２１により入力された操縦情報３２１ａに基づいて移動先位置情報３２２ａをＣＰＵを用いて生成する。
装置送信部３２３は、移動位置生成部３２２により生成された移動先位置情報３２２ａを送信アンテナ３０２を用いて無人車両２００の車両制御装置２０９へ送信することにより無人車両２００を操縦する。

図４は、実施の形態１における遠隔操縦装置３００および車両制御装置２０９のハードウェア資源の一例を示す図である。
図４において、遠隔操縦装置３００および車両制御装置２０９は、プログラムを実行するＣＰＵ９１１（Ｃｅｎｔｒａｌ・Ｐｒｏｃｅｓｓｉｎｇ・Ｕｎｉｔ、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサともいう）を備えている。ＣＰＵ９１１は、バス９１２を介してＲＯＭ９１３、ＲＡＭ９１４、通信ボード９１５、磁気ディスク装置９２０と接続される。さらに、遠隔操縦装置３００のＣＰＵ９１１は、表示装置９０１、キーボード９０２およびマウス９０３などの入出力装置と接続される。さらに、車両制御装置２０９のＣＰＵ９１１は、無人車両２００の駆動装置（速度や進行方向を制御する装置）と接続される。ＣＰＵ９１１は、これらのハードウェアデバイスを制御する。磁気ディスク装置９２０の代わりにその他の記憶装置（例えば、ＲＡＭやフラッシュメモリなどの半導体メモリ）を用いてもよい。
ＲＡＭ９１４は、揮発性メモリの一例である。ＲＯＭ９１３、磁気ディスク装置９２０の記憶媒体は、不揮発性メモリの一例である。これらは、記憶機器、記憶装置あるいは記憶部の一例である。また、入力データが記憶されている記憶機器は入力機器、入力装置あるいは入力部の一例であり、出力データが記憶される記憶機器は出力機器、出力装置あるいは出力部の一例である。
通信ボード９１５は、入出力機器、入出力装置あるいは入出力部の一例である。

通信ボード９１５は、有線または無線で、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネット、ＩＳＤＮ等のＷＡＮ（ワイドエリアネットワーク）、電話回線などの通信網に接続されている。

磁気ディスク装置９２０には、ＯＳ９２１（オペレーティングシステム）、プログラム群９２３、ファイル群９２４が記憶されている。プログラム群９２３のプログラムは、ＣＰＵ９１１、ＯＳ９２１により実行される。

上記プログラム群９２３には、実施の形態において「〜部」として説明する機能を実行するプログラムが記憶されている。プログラムは、ＣＰＵ９１１により読み出され実行される。

ファイル群９２４には、実施の形態において、「〜部」の機能を実行した際の「〜の判定結果」、「〜の計算結果」、「〜の処理結果」などの結果データ、「〜部」の機能を実行するプログラム間で受け渡しするデータ、その他の情報やデータや信号値や変数値やパラメータが、「〜ファイル」や「〜データベース」の各項目として記憶されている。
「〜ファイル」や「〜データベース」は、ディスクやメモリなどの記録媒体に記憶される。ディスクやメモリなどの記憶媒体に記憶された情報やデータや信号値や変数値やパラメータは、読み書き回路を介してＣＰＵ９１１によりメインメモリやキャッシュメモリに読み出され、抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示などのＣＰＵの動作に用いられる。抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示のＣＰＵの動作の間、情報やデータや信号値や変数値やパラメータは、メインメモリやキャッシュメモリやバッファメモリに一時的に記憶される。
また、実施の形態において説明するフローチャートの矢印の部分は主としてデータや信号の入出力を示し、データや信号値は、ＲＡＭ９１４のメモリ、磁気ディスク装置９２０の磁気ディスク、その他の記録媒体に記録される。また、データや信号値は、バス９１２や信号線やケーブルその他の伝送媒体によりオンライン伝送される。

また、実施の形態において「〜部」として説明するものは、「〜回路」、「〜装置」、「〜機器」であってもよく、また、「〜ステップ」、「〜手順」、「〜処理」であってもよい。すなわち、「〜部」として説明するものは、ＲＯＭ９１３に記憶されたファームウェアで実現されていても構わない。或いは、ソフトウェアのみ、或いは、素子・デバイス・基板・配線などのハードウェアのみ、或いは、ソフトウェアとハードウェアとの組み合わせ、さらには、ファームウェアとの組み合わせで実施されても構わない。ファームウェアとソフトウェアは、プログラムとして、磁気ディスクやその他の記録媒体に記憶される。プログラムはＣＰＵ９１１により読み出され、ＣＰＵ９１１により実行される。すなわち、プログラムは、「〜部」としてコンピュータを機能させるものである。あるいは、「〜部」の手順や方法をコンピュータに実行させるものである。

図５は、実施の形態１における遠隔操縦システム１００の遠隔操縦方法を示すフローチャートである。
実施の形態１における遠隔操縦システム１００の遠隔操縦方法について、図５に基づいて以下に説明する。

＜Ｓ１００：車両情報送信工程＞
無人車両２００の車両制御装置２０９は、無人車両２００の現在地点を測位すると共に無人車両２００の姿勢角を計測して無人車両２００の現在地点および姿勢角を示す位置姿勢情報２１０ａを遠隔操縦装置３００に送信する。

＜Ｓ２００：車両周辺画像表示工程（遠隔地画像表示方法）＞
遠隔操縦装置３００は、車両制御装置２０９から位置姿勢情報２１０ａを受信し、受信した位置姿勢情報２１０ａに基づいて無人車両２００の３次元周辺画像３１３ａを生成し、生成した３次元周辺画像３１３ａを表示装置９０１に表示する。

＜Ｓ３００：操縦命令送信工程＞
遠隔操縦装置３００は、表示装置９０１に表示された３次元周辺画像３１３ａを見た操縦者がキーボード９０２やマウス９０３などの入力装置を操作して指定した操縦情報３２１ａを入力し、入力した操縦情報３２１ａに基づいて移動先位置情報３２２ａを生成し、生成した移動先位置情報３２２ａを無人車両２００の車両制御装置２０９に送信する。

＜Ｓ４００：自動操縦工程＞
無人車両２００の車両制御装置２０９は、遠隔操縦装置３００から移動先位置情報３２２ａを受信し、受信した移動先位置情報３２２ａに基づいて無人車両２００を制御する。

以下に、各工程（Ｓ１００〜Ｓ４００）の詳細について説明する。

図６は、実施の形態１における車両情報送信工程（Ｓ１００）のフローチャートである。
実施の形態１における車両情報送信工程（Ｓ１００）の詳細について、図６に基づいて以下に説明する。
無人車両２００の車両制御装置２０９の各「〜部」は、以下に説明する処理をＣＰＵを用いて実行する。

＜Ｓ１１０：位置情報生成処理＞
位置姿勢標定部２１０は、ＧＰＳ受信システム２０１を用いて無人車両２００の現在地点を測位し、測位結果をＧＰＳ受信システム２０１から入力する。さらに、位置姿勢標定部２１０は、ジャイロ２０３を用いて無人車両２００の姿勢角を計測し、計測結果をジャイロ２０３から入力する。位置姿勢標定部２１０は、ＧＰＳ受信システム２０１から入力した測位結果とジャイロ２０３から入力した計測結果とを含めて位置姿勢情報２１０ａを生成し、生成した位置姿勢情報２１０ａを車両記憶部２９０に記憶する。
Ｓ１１０の後、処理はＳ１２０に進む。

＜Ｓ１２０：車両情報送信処理＞
車両送信部２１１は、Ｓ１１０において生成された位置姿勢情報２１０ａを車両記憶部２９０から入力し、入力した位置姿勢情報２１０ａをアンテナ２０２から無線電波で遠隔操縦装置３００へ送信する。
Ｓ１２０の後、車両情報送信工程（Ｓ１００）は終了する。

車両情報送信工程（Ｓ１００）は、定期的（例えば、１秒毎）に繰り返し実行される。

図７は、実施の形態１における車両周辺画像表示工程（Ｓ２００）のフローチャートである。
実施の形態１における車両周辺画像表示工程（Ｓ２００）の詳細について、図７に基づいて以下に説明する。
遠隔操縦装置３００の各「〜部」は、以下に説明する処理をＣＰＵを用いて実行する。

＜Ｓ２１０：車両情報受信処理＞
装置受信部３１１は、無人車両２００の車両制御装置２０９により送信された位置姿勢情報２１０ａを受信アンテナ３０１を用いて受信し、受信した位置姿勢情報２１０ａを装置記憶部３９０に記憶する。
Ｓ２１０の後、処理はＳ２２０に進む。

＜Ｓ２２０：地図情報取得処理＞
地図データ取得部３１２は、Ｓ２１０において受信された位置姿勢情報２１０ａを装置記憶部３９０から入力し、入力した位置姿勢情報２１０ａに基づいて無人車両２００の周辺の地図を表す３次元地図データ３９１ａを３次元地図データベース３９１から取得する。
例えば、地図データ取得部３１２は、位置姿勢情報２１０ａから無人車両２００の現在地点を特定し、無人車両２００の現在地点を中心とする所定の範囲（例えば、半径３０ｍ）を算出し、算出した範囲内の座標値が設定されている地物（道路、建物など）の情報（３次元座標、形状、大きさ、色など）を示す３次元地図データ３９１ａを３次元地図データベース３９１から取得する。
地図データ取得部３１２は、３次元地図データベース３９１から取得した３次元地図データ３９１ａを装置記憶部３９０に記憶する。
Ｓ２２０の後、処理はＳ２３０に進む。

＜Ｓ２３０：周辺画像生成処理＞
３次元周辺画像生成部３１３は、Ｓ２１０において受信された位置姿勢情報２１０ａとＳ２２０において取得された３次元地図データ３９１ａとを装置記憶部３９０から入力し、入力した位置姿勢情報２１０ａおよび３次元地図データ３９１ａに基づいて無人車両２００の３次元周辺画像３１３ａを生成する。
例えば、３次元周辺画像生成部３１３は、３次元地図データ３９１ａに示される各地物（道路、建物など）の３次元座標、形状、大きさ、色などの情報に基づいて、所定の視線方向から見た各地物の３次元の絵（形象）を示す３次元周辺画像３１３ａを生成する。さらに、３次元周辺画像生成部３１３は、位置姿勢情報２１０ａから無人車両２００の姿勢角を特定し、特定した姿勢角に向いた無人車両２００を３次元で表した絵を３次元周辺画像３１３ａに含める。

図８は、実施の形態１における３次元周辺画像３１３ａを示す図である。
周辺画像生成処理（Ｓ２３０）において、３次元周辺画像生成部３１３は、例えば、図８に示すように、無人車両２００の後方上空から俯瞰して無人車両２００の周辺を表す３次元周辺画像３１３ａを生成する。

図７のＳ２３０において、３次元周辺画像生成部３１３は、生成した３次元周辺画像３１３ａを装置記憶部３９０に記憶する。
Ｓ２３０の後、処理はＳ２４０に進む。

＜Ｓ２４０：周辺画像表示処理＞
３次元周辺画像表示部３１４は、Ｓ２３０において生成された３次元周辺画像３１３ａを装置記憶部３９０から入力し、入力した３次元周辺画像３１３ａを表示装置９０１に表示する。
例えば、３次元周辺画像表示部３１４は、図８に示すように３次元周辺画像３１３ａを表示装置９０１に表示する。
Ｓ２４０の後、車両周辺画像表示工程（Ｓ２００）は終了する。

車両周辺画像表示工程（Ｓ２００）は、無人車両２００の車両制御装置２０９から位置姿勢情報２１０ａが送信される度に実行される。
これにより、遠隔操縦装置３００の表示装置９０１には、無人車両２００の移動に伴って更新される３次元周辺画像３１３ａが動画のように表示される。

遠隔操縦装置３００を操作して無人車両２００を遠隔操縦する遠隔操縦者は、表示装置９０１に表示された３次元周辺画像３１３ａを見て無人車両２００の速度や進行方向を決定し、決定した速度や進行方向をキーボード９０２やマウス９０３を操作して操縦情報３２１ａとして遠隔操縦装置３００に入力する。

図９は、実施の形態１における操縦命令送信工程（Ｓ３００）のフローチャートである。
実施の形態１における操縦命令送信工程（Ｓ３００）の詳細について、図９に基づいて以下に説明する。
遠隔操縦装置３００の各「〜部」は、以下に説明する処理をＣＰＵを用いて実行する。

＜Ｓ３１０：操縦情報入力処理＞
操縦情報入力部３２１は、表示装置９０１に表示された３次元周辺画像３１３ａを見た遠隔操縦者がキーボード９０２やマウス９０３などの入力装置を操作して入力した操縦情報３２１ａを入力し、入力した操縦情報３２１ａを装置記憶部３９０に記憶する。
Ｓ３１０の後、処理はＳ３２０に進む。

＜Ｓ３２０：操縦命令生成処理＞
移動位置生成部３２２は、Ｓ３１０において入力された操縦情報３２１ａを装置記憶部３９０から入力し、入力した操縦情報３２１ａに基づいて移動先位置情報３２２ａを生成し、生成した移動先位置情報３２２ａを装置記憶部３９０に記憶する。
例えば、移動先位置情報３２２ａは、操縦情報３２１ａに示される速度および進行方向に基づいて所定時間後（例えば、１秒後）に無人車両２００が位置すべき地点の３次元座標を算出し、算出した３次元座標を含めて移動先位置情報３２２ａを生成する。
Ｓ３２０の後、処理はＳ３３０に進む。

＜Ｓ３３０：操縦命令送信処理＞
装置送信部３２３は、Ｓ３２０において生成された移動先位置情報３２２ａを装置記憶部３９０から入力し、入力した移動先位置情報３２２ａを送信アンテナ３０２から無線電波で無人車両２００の車両制御装置２０９に送信する。
Ｓ３３０の後、操縦命令送信工程（Ｓ３００）は終了する。

操縦命令送信工程（Ｓ３００）は、遠隔操縦者により操縦情報３２１ａが遠隔操縦装置３００に入力される度に実行される。

図１０は、実施の形態１における自動操縦工程（Ｓ４００）のフローチャートである。
実施の形態１における自動操縦工程（Ｓ４００）の詳細について、図１０に基づいて以下に説明する。
無人車両２００の車両制御装置２０９の各「〜部」は、以下に説明する処理をＣＰＵを用いて実行する。

＜Ｓ４１０：操縦命令受信処理＞
車両受信部２１２は、遠隔操縦装置３００により送信された移動先位置情報３２２ａをアンテナ２０２を用いて受信し、受信した移動先位置情報３２２ａを車両記憶部２９０に記憶する。
Ｓ４１０の後、処理はＳ４２０に進む。

＜Ｓ４２０：車両制御処理＞
車両制御部２１３は、Ｓ４１０において受信された移動先位置情報３２２ａを入力し、入力した移動先位置情報３２２ａに基づいて無人車両２００を制御する。
例えば、車両制御部２１３は、無人車両２００が所定時間後に移動先位置情報３２２ａに示される地点に位置するように、無人車両２００の駆動装置を制御して加減速および進行方向の変更をし、無人車両２００を走行させる。
Ｓ４１０の後、自動操縦工程（Ｓ４００）は終了する。

自動操縦工程（Ｓ４００）は、遠隔操縦装置３００から移動先位置情報３２２ａが送信される度に実行される。
これにより、無人車両２００は、手動ではなく自動で走行する。

車両操縦プログラムは、車両情報送信工程（Ｓ１００）および自動操縦工程（Ｓ４００）を車両制御装置２０９（コンピュータの一例）に実行させる。
遠隔操縦プログラムは、車両周辺画像表示工程（Ｓ２００）および操縦命令送信工程（Ｓ３００）を遠隔操縦装置３００（コンピュータの一例）に実行させる。
遠隔地画像表示プログラムは、車両周辺画像表示工程（Ｓ２００）を遠隔操縦装置３００に実行させる。

実施の形態１では、以下のような遠隔操縦システム１００について説明した。
遠隔操縦装置３００は、予め取得された無人車両周辺の３次元情報（３次元地図データ３９１ａ）をまとめた３次元地図データベース３９１を搭載し、その情報を元に無人車両２００の自己位置姿勢に合わせて無人車両２００の周辺情報を客観的に判り易く表示する。

遠隔操縦装置３００において、地図データ取得部３１２は、無人車両２００の周辺情報（３次元地図データ３９１ａ）を３次元地図データベース３９１から取得する。３次元周辺画像生成部３１３および３次元周辺画像表示部３１４は、周辺情報に基づいて地物を３次元的に任意の視点方向から見たように表示し、かつその表示上に無人車両２００を重畳する処理をする。遠隔操作者は、この処理の結果を表示装置９０１で目視確認することで、無人車両２００の周辺情報を客観的に見て取り、無人車両２００への移動方向指示を明確に行うことができる。

図１１は、無人車両２００からカメラ撮影した場合のカメラ画像１９９のイメージ図である。
無人車両２００に設置されたカメラにより撮影されたカメラ画像１９９が遠隔操縦装置３００の表示装置９０１に表示された場合、図１１に示すように、遠隔操縦者は、カメラの視線方向における無人車両２００の周辺を確認することはできるが、カメラ画像が無人車両２００を含めた俯瞰画像ではないため、前方の交差点の状況や無人車両２００の左右の状況を把握することができない。このため、遠隔操縦者は、カメラ画像を見て操縦情報３２１ａを決定することが容易でない。
一方、実施の形態１で説明したように無人車両２００の位置姿勢情報２１０ａと３次元地図データベース２９１とに基づいて無人車両２００の３次元周辺画像３１３ａが鳥瞰図的に無人車両２００の後方上部からの視点で表示された場合（図８参照）、遠隔操縦者は、前方の交差点や無人車両２００の左右の状況を確認し易いため、カメラ画像を見る場合と比べて容易に操縦情報３２１ａを決定することができる。

また、カメラ画像はデータ量が大きいため、カメラ画像を無人車両２００から遠隔操縦装置３００へ送信する場合には大容量の通信帯域を設ける必要がある。
一方、実施の形態１は、無人車両２００から遠隔操縦装置３００へ送信するデータがデータ量の小さい位置姿勢情報２１０ａであるため、大容量の通信帯域が不要であり、確保できる通信帯域が限られている場合にも使用できる。

遠隔操縦システム１００を用いた車両の遠隔操縦により、乗客は車両を運転しないで目的地に到着することができる。例えば、遠隔操縦システム１００は、タクシーや代行運転などの運転サービスの代わりに利用することができる。
また、遠隔操縦システム１００は、遠隔操縦により、無人の車両を走行させることができる。例えば、遠隔操縦システム１００は、各種センサを搭載した車両を災害地域・危険地域内で走行させて地域内の各種情報（画像、温度、有害物質濃度など）を取得するなど、復旧活動に利用することができる。

実施の形態で説明した無人車両２００は、駆動制御できる移動体であればよく、四輪車、二輪車、大型車、小型車などどのような形態であっても構わない。

遠隔操縦装置３００は３次元地図データベース３９１を備えず、地図データ取得部３１２は外部に設けられた３次元地図データベース３９１からネットワークを介して３次元地図データ３９１ａを取得してもよい。

実施の形態２．
遠隔操縦者が指定する視線方向から見た３次元周辺画像３１３ａを表示する形態について説明する。
以下、実施の形態１と異なる事項について主に説明し、説明を省略する事項については実施の形態１と同様であるものとする。

図１２は、実施の形態２における遠隔操縦装置３００の機能構成図である。
実施の形態２における遠隔操縦装置３００の機能構成について、図１２に基づいて以下に説明する。

実施の形態２における遠隔操縦装置３００は、実施の形態１（図３参照）で説明した各「〜部」に加えて、視線方向入力部３１５を備える。
以下、視線方向入力部３１５について説明し、他の構成について説明を省略する。

視線方向入力部３１５は、３次元周辺画像３１３ａにより表される地図の視線方向として遠隔操縦者に指定された視線方向３１５ａを入力装置から入力する。

実施の形態２における車両制御装置２０９の機能構成は、実施の形態１（図２参照）と同じである。

図１３は、実施の形態２における車両周辺画像表示工程（Ｓ２００）のフローチャートである。
実施の形態２における車両周辺画像表示工程（Ｓ２００）の詳細について、図１３に基づいて以下に説明する。

実施の形態２における車両周辺画像表示工程（Ｓ２００）は、実施の形態１（図７参照）で説明した処理に視線方向入力処理（Ｓ２５０）を加え、周辺画像生成処理（Ｓ２３０）を一部変更した処理（Ｓ２３１）にしたものである。
以下、視線方向入力処理（Ｓ２５０）および周辺画像生成処理（Ｓ２３１）について説明し、他の処理について説明を省略する。

＜Ｓ２５０：視線方向入力処理＞
視線方向入力部３１５は、遠隔操縦者がキーボード９０２やマウス９０３などの入力装置を操作して指定した視線方向３１５ａを入力し、入力した視線方向３１５ａを装置記憶部３９０に記憶する。
例えば、遠隔操縦者は、無人車両２００の運転席から見た方向、無人車両２００の後方上空から俯瞰する方向、無人車両２００を真上から見た方向など、無人車両２００を遠隔操縦し易い視線方向３１５ａを決定して遠隔操縦装置３００に入力する。
Ｓ２５０の後、処理はＳ２３１に進む。

＜Ｓ２３１：周辺画像生成処理＞
３次元周辺画像生成部３１３は、Ｓ２１０において受信された位置姿勢情報２１０ａ、Ｓ２２０において取得された３次元地図データ３９１ａおよびＳ２５０において入力された視線方向３１５ａを装置記憶部３９０から入力し、入力した位置姿勢情報２１０ａ、３次元地図データ３９１ａおよび３次元周辺画像３１３ａに基づいて無人車両２００の３次元周辺画像３１３ａを生成する。
例えば、３次元周辺画像生成部３１３は、視線方向３１５ａが「無人車両２００の運転席から見た方向」を示す場合、図１１に示すような画像を３次元周辺画像３１３ａとして生成し、視線方向３１５ａが「無人車両２００の後方上空から俯瞰した方向」を示す場合、図８に示すような画像を３次元周辺画像３１３ａとして生成する。
Ｓ２３１の後、処理はＳ２４０に進み、Ｓ２４０において３次元周辺画像３１３ａは表示装置９０１に表示される。

車両情報送信工程（Ｓ１００）、操縦命令送信工程（Ｓ３００）および自動操縦工程（Ｓ４００）は、実施の形態１と同じである。

実施の形態２における遠隔操縦システム１００は、遠隔操縦者が指定した視線方向から見た３次元周辺画像３１３ａを表示することにより、遠隔操縦をより容易にすることができる。
また、遠隔操縦装置３００は、異なる視線方向から見た複数の３次元周辺画像３１３ａを表示装置９０１に分割表示してもよい。例えば、遠隔操縦装置３００は、画面を上下左右に４分割して４方向から見た４つの３次元周辺画像３１３ａを表示してもよい。

実施の形態３．
車両周辺に位置する障害物を含めて３次元周辺画像３１３ａを表示する形態について説明する。
以下、実施の形態１と異なる事項について主に説明し、説明を省略する事項については実施の形態１と同様であるものとする。

図１４は、実施の形態３における車両制御装置２０９の機能構成図である。
実施の形態３における車両制御装置２０９の機能構成について、図１４に基づいて以下に説明する。

実施の形態３における車両制御装置２０９は、実施の形態１（図２参照）で説明した各「〜部」に加え、障害物センサ２０４および障害物検出部２２０を備える。
以下、障害物センサ２０４および障害物検出部２２０について説明し、他の構成について説明を省略する。

障害物センサ２０４は、ステレオカメラやＬＲＦ（レーザレンジファインダ）など、地物の検出に用いられるセンサ装置である。
ＬＲＦは、各方位・各高さに向けてレーザーを照射し、地物に反射して戻ってきたレーザーを観測する。そして、ＬＲＦは、レーザーが戻ってくるまでの時間に基づいて地物との距離を特定し、レーザーを照射した方向を地物が位置する方向として特定する。ＬＲＦは、レーザーレーダまたはレーザースキャナともいう。
ステレオカメラは、異なる二方向から同じ被写体を同時に撮影する。同時に撮影された二枚の画像それぞれから各画素の色や輝度などに基づいて被写体が写っている画素範囲が特定され、二枚の撮影方向および被写体の画素範囲に基づいて三角測量の原理で被写体との距離が特定される。また、被写体との距離および撮影方向に基づいて被写体の位置が特定され、被写体との距離および画素範囲に基づいて被写体の大きさが特定される。

障害物検出部２２０（障害物情報生成部の一例）は、前記車両の周辺に位置する障害物を障害物センサ２０４を用いて検出し、検出した障害物の情報（以下、「障害物情報２２０ａ」という）をＣＰＵを用いて生成する。障害物情報２２０ａは、障害物の情報として、障害物の位置（三次元座標）および大きさを示す。
例えば、障害物検出部２２０は、ＬＲＦ（障害物センサ２０４の一例）により特定された地物との距離および地物が位置する方向に基づいて、地物の位置および大きさを算出し、算出した地物の位置および大きさを障害物の情報として障害物情報２２０ａを生成する。障害物検出部２２０は、ＬＲＦから特定された方向へ特定された距離だけ離れた地点を地物（障害物）の位置として算出し、特定された距離および方向が近似するレーザーの照射範囲を地物の大きさとして算出する。
また例えば、障害物検出部２２０は、ステレオカメラ（障害物センサ２０４の一例）により同時に撮影された二枚の画像を画像処理して画像に写っている地物の位置および大きさを算出し、算出した地物の位置および大きさを障害物の情報として障害物情報２２０ａを生成する。

図１５は、実施の形態３における遠隔操縦装置３００の機能構成図である。
実施の形態３における遠隔操縦装置３００の機能構成について、図１５に基づいて以下に説明する。

実施の形態３における遠隔操縦装置３００は、実施の形態１（図３参照）で説明した３次元周辺画像生成部３１３が地図形成部３１３Ａおよび障害物形成部３１３Ｂを備える。
以下、地図形成部３１３Ａおよび障害物形成部３１３Ｂについて説明し、他の構成について説明を省略する。

地図形成部３１３Ａは、実施の形態１で説明した３次元周辺画像生成部３１３のように、地図データ取得部３１２により取得された３次元地図データ３９１ａに基づいて無人車両２００の周辺の３次元地図を生成する。
障害物形成部３１３Ｂは、車両制御装置２０９から送信される障害物情報２２０ａに基づいて、地図形成部３１３Ａにより生成された３次元地図に障害物の絵を重畳させて３次元周辺画像３１３ａを生成する。

図１６は、実施の形態３における車両情報送信工程（Ｓ１００）のフローチャートである。
実施の形態３における車両情報送信工程（Ｓ１００）の詳細について、図１６に基づいて以下に説明する。

実施の形態３における車両情報送信工程（Ｓ１００）は、実施の形態１（図６参照）で説明した処理に障害物情報生成処理（Ｓ１３０）を加え、車両情報送信処理（Ｓ１２０）を一部変更した処理（Ｓ１２１）にしたものである。
以下、障害物情報生成処理（Ｓ１３０）および車両情報送信処理（Ｓ１２１）について説明し、他の処理について説明を省略する。

＜Ｓ１３０：障害物情報生成処理＞
障害物検出部２２０は、障害物センサ２０４を用いて無人車両２００の周辺に位置する障害物を検出し、検出した障害物の情報（障害物情報２２０ａ）を生成し、生成した障害物情報２２０ａを車両記憶部２９０に記憶する。
Ｓ１３０の後、処理は、Ｓ１２１に進む。

＜Ｓ１２１：車両情報送信処理＞
車両送信部２１１は、Ｓ１１０において生成された位置姿勢情報２１０ａおよびＳ１３０において生成された障害物情報２２０ａを車両記憶部２９０から入力し、入力した位置姿勢情報２１０ａおよび障害物情報２２０ａをアンテナ２０２から無線電波で遠隔操縦装置３００へ送信する。

図１７は、実施の形態３における車両周辺画像表示工程（Ｓ２００）のフローチャートである。
実施の形態３における車両周辺画像表示工程（Ｓ２００）の詳細について、図１７に基づいて以下に説明する。

実施の形態３における車両周辺画像表示工程（Ｓ２００）は、実施の形態１（図７参照）で説明した車両情報受信処理（Ｓ２１０）を一部変更した処理（Ｓ２１１）にし、周辺画像生成処理（Ｓ２３０）を周辺画像生成処理Ａ（Ｓ２３２）および周辺画像生成処理Ｂ（Ｓ２３３）に変更したものである。
以下、車両情報受信処理（Ｓ２１１）、周辺画像生成処理Ａ（Ｓ２３２）および周辺画像生成処理Ｂ（Ｓ２３３）について説明し、他の処理について説明を省略する。

＜Ｓ２１１：車両情報受信処理＞
装置受信部３１１は、無人車両２００の車両制御装置２０９により送信された位置姿勢情報２１０ａおよび障害物情報２２０ａを受信アンテナ３０１を用いて受信し、受信した位置姿勢情報２１０ａおよび障害物情報２２０ａを装置記憶部３９０に記憶する。

＜Ｓ２３２：周辺画像生成処理Ａ＞
地図形成部３１３Ａは、Ｓ２１１において受信された位置姿勢情報２１０ａとＳ２２０において取得された３次元地図データ３９１ａとを装置記憶部３９０から入力し、実施の形態１（Ｓ２３０）と同様に、入力した位置姿勢情報２１０ａおよび３次元地図データ３９１ａに基づいて車両周辺の３次元地図を生成する。地図形成部３１３Ａは、生成した３次元地図を装置記憶部３９０に記憶する。
Ｓ２３２の後、処理はＳ２３３に進む。

＜Ｓ２３３：周辺画像生成処理Ｂ＞
障害物形成部３１３Ｂは、Ｓ２１１において受信された障害物情報２２０ａとＳ２３２において生成された３次元地図とを装置記憶部３９０から入力し、障害物情報２２０ａに基づいて障害物の絵を３次元地図に重畳させて３次元周辺画像３１３ａを生成する。
例えば、障害物形成部３１３Ｂは、障害物情報２２０ａに示される障害物の位置および大きさに基づいて、障害物を表す四角形を作成し、作成した四角形を３次元地図に重畳して３次元周辺画像３１３ａを生成する。

図１８および図１９は、実施の形態３における３次元周辺画像３１３ａを示す図である。
周辺画像生成処理Ｂ（Ｓ２３３）において、障害物形成部３１３Ｂは、例えば、図１８に示すように、四角形で表した障害物（３１３ｂ１〜３１３ｂ３）を３次元地図に重畳させて３次元周辺画像３１３ａを生成する。
図１８において、障害物３１３ｂ１は３次元地図データ３９１ａにも含まれる建物の壁面の存在を示し、障害物３１３ｂ２および障害物３１３ｂ３は３次元地図データ３９１ａには含まれない移動体（歩行者、対向車）の存在を示している。

障害物形成部３１３Ｂは、各障害物との距離に応じて異なる色で各障害物の絵を３次元周辺画像３１３ａに表してもよい。
例えば、図１８において、無人車両２００から最も近い障害物３１３ｂ２は「赤」、次に近い障害物３１３ｂ３は「黄」、それより遠い位置にある各障害物３１３ｂ１は「青」で表される。

障害物形成部３１３Ｂは、図１９に示すように、無人車両２００の進行方向で且つ障害物３１３ｂ１が存在しない方向を特定し、特定した方向をナビゲーション情報として示す表記３１３ｃ（例えば、矢印）を３次元周辺画像３１３ａに含めてもよい。

図１７のＳ２３３において、障害物形成部３１３Ｂは、生成した３次元周辺画像３１３ａを装置記憶部３９０に記憶する。
Ｓ２３３の後、処理はＳ２４０に進み、Ｓ２４０において３次元周辺画像３１３ａは図１８や図１９に示されるように表示装置９０１に表示される。

操縦命令送信工程（Ｓ３００）および自動操縦工程（Ｓ４００）は、実施の形態１と同じである。

実施の形態３における遠隔操縦システム１００は、車両周辺に位置する障害物を含めて３次元周辺画像３１３ａを表示することにより、３次元地図データベース２９１には登録されない移動体の存在を遠隔操縦者に知らせ、より安全に遠隔操縦させることができる。

実施の形態３において、以下のような遠隔操縦システム１００について説明した。
無人車両２００が障害物センサ２０４を搭載し、障害物情報２２０ａを検出した場合に車両制御装置２０９がその位置と大きさを遠隔操縦装置３００に送り、遠隔操縦装置３００が無人車両２００の周辺情報を客観的に判り易く表示した内容に障害物を重畳して表示する。

遠隔操縦装置３００において、地図データ取得部３１２は、無人車両２００の周辺情報を３次元地図データベース３９１から取得する。３次元周辺画像生成部３１３および３次元周辺画像表示部３１４は、周辺情報に基づいて地物を３次元的に任意の視点方向から見たような表示をし、かつ無人車両２００と無人車両２００の周辺の障害物を重畳して表示装置９０１に表示する。遠隔操作者は、この表示を目視確認することで、無人車両２００の周辺情報を客観的に見て取り、無人車両２００への移動方向指示を明確に行うことができる。

実施の形態３における遠隔操縦装置３００は、実施の形態２と同じく、遠隔操縦者に指定された視線方向３１５ａを入力し、指定された視線方向３１５ａから見た３次元周辺画像３１３ａを生成して表示してもよい。

実施の形態４．
車両周辺の障害物のうち移動体のみを絵にして重畳させた３次元周辺画像３１３ａを表示する形態について説明する。

以下、実施の形態３と異なる事項について主に説明し、説明を省略する事項については実施の形態３と同様であるものとする。

図２０は、実施の形態４における車両制御装置２０９の機能構成図である。
実施の形態４における車両制御装置２０９の機能構成について、図２０に基づいて以下に説明する。

実施の形態４における車両制御装置２０９は、実施の形態３（図１４参照）で説明した各「〜部」に加え、地図データ取得部２３０（地図データ車両取得部の一例）、移動障害物選別部２３１（障害物車両特定部の一例）および３次元地図データベース２９１を備える。
以下、地図データ取得部２３０、移動障害物選別部２３１および３次元地図データベース２９１について説明し、他の構成について説明を省略する。

３次元地図データベース２９１は、遠隔操縦装置３００に備わる３次元地図データベース３９１の３次元地図データ３９１ａと同じデータ（３次元地図データ２９１ａ）を記憶媒体を用いて記憶管理する装置である。

地図データ取得部２３０は、位置姿勢情報２１０ａに基づいて無人車両２００の周辺に位置する地物の情報を含んだ３次元地図データ２９１ａを３次元地図データベース２９１から取得する。

移動障害物選別部２３１は、障害物検出部２２０により生成された障害物情報２２０ａから地図データ取得部２３０により取得された３次元地図データ２９１ａに含まれる地物の情報と重複しない障害物の情報を移動障害物情報２３１ａとして特定する。

実施の形態４における遠隔操縦装置３００の機能構成は、実施の形態３（図１５参照）と同じである。

図２１は、実施の形態４における車両情報送信工程（Ｓ１００）のフローチャートである。
実施の形態４における車両情報送信工程（Ｓ１００）の詳細について、図２１に基づいて以下に説明する。

実施の形態４における車両情報送信工程（Ｓ１００）は、実施の形態３（図１６参照）で説明した処理に地図情報取得処理（Ｓ１４０）および障害物特定処理（Ｓ１５０）を加え、車両情報送信処理（Ｓ１２１）を一部変更した処理（Ｓ１２２）にしたものである。
以下、地図情報取得処理（Ｓ１４０）、障害物特定処理（Ｓ１５０）および車両情報送信処理（Ｓ１２２）について説明し、他の処理について説明を省略する。

＜Ｓ１４０：地図情報取得処理＞
地図データ取得部２３０は、Ｓ１１０において生成された位置姿勢情報２１０ａを車両記憶部２９０から入力し、遠隔操縦装置３００の地図データ取得部３１２と同様に、入力した位置姿勢情報２１０ａに基づいて車両周辺の３次元地図データ２９１ａを３次元地図データベース２９１から取得する。地図データ取得部２３０は、取得した３次元地図データ２９１ａを車両記憶部２９０に記憶する。
Ｓ１４０の後、処理はＳ１５０に進む。

＜Ｓ１５０：障害物特定処理＞
移動障害物選別部２３１は、Ｓ１３０において生成された障害物情報２２０ａとＳ１４０において取得された３次元地図データ２９１ａとを車両記憶部２９０から入力し、３次元地図データ２９１ａと重複しない障害物情報２２０ａを移動障害物情報２３１ａとして特定する。
例えば、移動障害物選別部２３１は、障害物情報２２０ａに示される各障害物の３次元座標と３次元地図データ２９１ａに示される各地物の３次元座標とを比較し、３次元座標で示される存在範囲が３次元地図データ２９１ａに示されるいずれの地物とも重複しない障害物情報２２０ａを移動障害物情報２３１ａとして特定する。
図１８において、障害物３１３ｂ１（建物の壁面）の情報は３次元地図データ２９１ａに示される建物の壁面と重複する情報であるため移動障害物情報２３１ａとして特定されず、障害物３１３ｂ２（歩行者）の情報および障害物３１３ｂ３（対向車）の情報は３次元地図データ２９１ａに示されるいずれの地物（道路、歩道、建物）とも重複しない情報であるため移動障害物情報２３１ａとして特定される。
移動障害物選別部２３１は、特定した移動障害物情報２３１ａを車両記憶部２９０に記憶する。
Ｓ１５０の後、処理はＳ１２２に進む。

＜Ｓ１２２：車両情報送信処理＞
車両送信部２１１は、Ｓ１１０において生成された位置姿勢情報２１０ａとＳ１５０において特定された移動障害物情報２３１ａとを車両記憶部２９０から入力し、入力した位置姿勢情報２１０ａおよび移動障害物情報２３１ａをアンテナ２０２から無線電波で遠隔操縦装置３００へ送信する。

図２２は、実施の形態４における車両周辺画像表示工程（Ｓ２００）のフローチャートである。
実施の形態４における車両周辺画像表示工程（Ｓ２００）の詳細について、図２２に基づいて以下に説明する。

実施の形態４における車両周辺画像表示工程（Ｓ２００）は、実施の形態３（図１７参照）で説明した車両情報受信処理（Ｓ２１１）および周辺画像生成処理Ｂ（Ｓ２３３）を一部変更した処理（Ｓ２１２、Ｓ２３４）にしたものである。
以下、車両情報受信処理（Ｓ２１２）および周辺画像生成処理Ｂ（Ｓ２３４）について説明し、他の処理について説明を省略する。

＜Ｓ２１２：車両情報受信処理＞
装置受信部３１１は、無人車両２００の車両制御装置２０９により送信された位置姿勢情報２１０ａおよび移動障害物情報２３１ａを受信アンテナ３０１を用いて受信し、受信した位置姿勢情報２１０ａおよび移動障害物情報２３１ａを装置記憶部３９０に記憶する。

＜Ｓ２３４：周辺画像生成処理Ｂ＞
障害物形成部３１３Ｂは、Ｓ２１２において受信された移動障害物情報２３１ａとＳ２３２において生成された３次元地図とを装置記憶部３９０から入力し、実施の形態３のＳ２３３と同様に、移動障害物情報２３１ａに基づいて移動障害物の絵を３次元地図に重畳させて３次元周辺画像３１３ａを生成する。
例えば、図１８に示す３次元周辺画像３１３ａから各障害物３１３ｂ１を除いたデータが３次元周辺画像３１３ａとして生成される。
障害物形成部３１３Ｂは、生成した３次元周辺画像３１３ａを装置記憶部３９０に記憶する。
Ｓ２３４の後、処理はＳ２４０に進み、Ｓ２４０において３次元周辺画像３１３ａは図１８（各障害物３１３ｂ１を除く）に示すように表示装置９０１に表示される。

操縦命令送信工程（Ｓ３００）および自動操縦工程（Ｓ４００）は、実施の形態３と同じである。

実施の形態４における遠隔操縦システム１００は、車両周辺の障害物のうち移動体のみを絵にして重畳させた３次元周辺画像３１３ａを表示することにより、移動体の存在を明確に遠隔操縦者に知らせ、より安全に遠隔操縦させることができる。

実施の形態４において、以下のような遠隔操縦システム１００について説明した。
無人車両２００は３次元地図データベース２９１を搭載し、車両制御装置２０９は障害物センサ２０４により検出した障害物が３次元地図データベース２９１に登録されている地物（電柱、標識あるいは建造物等）であるか比較し、未登録物であれば移動障害物として遠隔操縦装置３００に送り、遠隔操縦装置３００は無人車両２００の周辺情報を客観的に判り易く表示した内容に移動障害物情報を重畳して表示する。
遠隔操縦装置３００は、既に３次元地図データベース３９１に登録されている地物や障害物（建物等）を重畳して表示装置９０１に表示しない。未登録の障害物のみ重畳表示されるため、遠隔操縦者は、この表示を目視確認することで、無人車両２００の周辺情報を客観的に見て取り、無人車両２００への移動方向指示を明確に行うことができる。

実施の形態５．
遠隔操縦装置３００が移動障害物を特定して移動障害物の絵を重畳させた３次元周辺画像３１３ａを表示する形態について説明する。

以下、実施の形態３と異なる事項について主に説明し、説明を省略する事項については実施の形態３と同様であるものとする。

図２３は、実施の形態５における遠隔操縦装置３００の機能構成図である。
実施の形態５における遠隔操縦装置３００の機能構成について、図２３に基づいて以下に説明する。

実施の形態５における遠隔操縦装置３００は、実施の形態３（図１５参照）で説明した各「〜部」に加え、移動障害物選別部３１６（障害物特定部の一例）を備える。
以下、移動障害物選別部３１６について説明し、他の構成について説明を省略する。

移動障害物選別部３１６は、装置受信部３１１により受信された障害物情報２２０ａから地図データ取得部３１２により取得された３次元地図データ３９１ａに含まれる地物の情報と重複しない障害物の情報を移動障害物情報３１６ａとして特定する。

実施の形態５における車両制御装置２０９の機能構成は、実施の形態３（図２０参照）と同じである。

図２４は、実施の形態５における車両周辺画像表示工程（Ｓ２００）のフローチャートである。
実施の形態５における車両周辺画像表示工程（Ｓ２００）の詳細について、図２４に基づいて以下に説明する。

実施の形態５における車両周辺画像表示工程（Ｓ２００）は、実施の形態３（図１７参照）で説明した処理に障害物特定処理（Ｓ２５０）を加え、周辺画像生成処理Ｂ（Ｓ２３３）を一部変更した処理（Ｓ２３５）にしたものである。
以下、障害物特定処理（Ｓ２５０）および周辺画像生成処理Ｂ（Ｓ２３５）について説明し、他の処理について説明を省略する。

＜Ｓ２５０：障害物特定処理＞
移動障害物選別部３１６は、Ｓ２１１において受信された障害物情報２２０ａとＳ２２０において取得された３次元地図データ３９１ａとを装置記憶部３９０から入力し、実施の形態４（Ｓ１５０）の移動障害物選別部２３１と同様に、３次元地図データ３９１ａと重複しない障害物情報２２０ａを移動障害物情報３１６ａとして特定する。
移動障害物選別部３１６は、特定した移動障害物情報３１６ａを装置記憶部３９０に記憶する。

＜Ｓ２３５：周辺画像生成処理Ｂ＞
障害物形成部３１３Ｂは、Ｓ２５０において特定された移動障害物情報３１６ａとＳ２３２において生成された３次元地図とを装置記憶部３９０から入力し、実施の形態３のＳ２３３と同様に、移動障害物情報３１６ａに基づいて移動障害物の絵を３次元地図に重畳させて３次元周辺画像３１３ａを生成する。
例えば、図１８に示す３次元周辺画像３１３ａから各障害物３１３ｂ１を除いたデータが３次元周辺画像３１３ａとして生成される。
障害物形成部３１３Ｂは、生成した３次元周辺画像３１３ａを装置記憶部３９０に記憶する。
Ｓ２３５の後、処理はＳ２４０に進み、Ｓ２４０において３次元周辺画像３１３ａは図１８（各障害物３１３ｂ１を除く）に示すように表示装置９０１に表示される。

操縦命令送信工程（Ｓ３００）および自動操縦工程（Ｓ４００）は、実施の形態３と同じである。

実施の形態５における遠隔操縦システム１００は、車両周辺の障害物のうち移動体のみを絵にして重畳させた３次元周辺画像３１３ａを表示することにより、移動体の存在を明確に遠隔操縦者に知らせ、より安全に遠隔操縦させることができる。

実施の形態１における遠隔操縦システム１００の概要図。 実施の形態１における車両制御装置２０９の機能構成図。 実施の形態１における遠隔操縦装置３００の機能構成図。 実施の形態１における遠隔操縦装置３００および車両制御装置２０９のハードウェア資源の一例を示す図。 実施の形態１における遠隔操縦システム１００の遠隔操縦方法を示すフローチャート。 実施の形態１における車両情報送信工程（Ｓ１００）のフローチャート。 実施の形態１における車両周辺画像表示工程（Ｓ２００）のフローチャート。 実施の形態１における３次元周辺画像３１３ａを示す図。 実施の形態１における操縦命令送信工程（Ｓ３００）のフローチャート。 実施の形態１における自動操縦工程（Ｓ４００）のフローチャート。 無人車両２００からカメラ撮影した場合のカメラ画像１９９のイメージ図。 実施の形態２における遠隔操縦装置３００の機能構成図。 実施の形態２における車両周辺画像表示工程（Ｓ２００）のフローチャート。 実施の形態３における車両制御装置２０９の機能構成図。 実施の形態３における遠隔操縦装置３００の機能構成図。 実施の形態３における車両情報送信工程（Ｓ１００）のフローチャート。 実施の形態３における車両周辺画像表示工程（Ｓ２００）のフローチャート。 実施の形態３における３次元周辺画像３１３ａを示す図。 実施の形態３における３次元周辺画像３１３ａを示す図。 実施の形態４における車両制御装置２０９の機能構成図。 実施の形態４における車両情報送信工程（Ｓ１００）のフローチャート。 実施の形態４における車両周辺画像表示工程（Ｓ２００）のフローチャート。 実施の形態５における遠隔操縦装置３００の機能構成図。 実施の形態５における車両周辺画像表示工程（Ｓ２００）のフローチャート。

符号の説明

１００ 遠隔操縦システム、１９９ カメラ画像、２００ 無人車両、２０１ ＧＰＳ受信システム、２０２ アンテナ、２０３ ジャイロ、２０４ 障害物センサ、２０９ 車両制御装置、２１０ 位置姿勢標定部、２１０ａ 位置姿勢情報、２１１ 車両送信部、２１２ 車両受信部、２１３ 車両制御部、２２０ 障害物検出部、２２０ａ 障害物情報、２３０ 地図データ取得部、２３１ 移動障害物選別部、２３１ａ 移動障害物情報、２９０ 車両記憶部、２９１ ３次元地図データベース、２９１ａ ３次元地図データ、３００ 遠隔操縦装置、３０１ 受信アンテナ、３０２ 送信アンテナ、３１０ 遠隔地画像表示装置、３１１ 装置受信部、３１２ 地図データ取得部、３１３ ３次元周辺画像生成部、３１３ａ ３次元周辺画像、３１３ｂ１，３１３ｂ２，３１３ｂ３ 障害物、３１３ｃ 表記、３１３Ａ 地図形成部、３１３Ｂ 障害物形成部、３１４ ３次元周辺画像表示部、３１５ 視線方向入力部、３１５ａ 視線方向、３１６ 移動障害物選別部、３１６ａ 移動障害物情報、３２０ 車両操縦装置、３２１ 操縦情報入力部、３２１ａ 操縦情報、３２２ 移動位置生成部、３２２ａ 移動先位置情報、３２３ 装置送信部、３９０ 装置記憶部、３９１ ３次元地図データベース、３９１ａ ３次元地図データ、９０１ 表示装置、９０２ キーボード、９０３ マウス、９１１ ＣＰＵ、９１２ バス、９１３ ＲＯＭ、９１４ ＲＡＭ、９１５ 通信ボード、９２０ 磁気ディスク装置、９２１ ＯＳ、９２３ プログラム群、９２４ ファイル群。

Claims (14)

1. 遠隔地を走行する車両から送信される前記車両の位置情報を通信装置を用いて受信する車両情報受信部と、
   前記車両情報受信部により受信された前記車両の位置情報に基づいて、前記車両の周辺の３次元地図データを前記車両の走行地域の３次元地図データを記憶する地図データベース装置から取得する地図データ取得部と、
   前記地図データ取得部により取得された３次元地図データに基づいて前記車両の周辺の地図を表す３次元周辺画像をＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いて生成する周辺画像生成部と、
   前記周辺画像生成部により生成された３次元周辺画像をモニター装置に表示する周辺画像表示部とを備え、
   前記車両情報受信部は、前記車両の位置情報の他に、前記車両に設置されるセンサにより検出された前記車両の周辺に位置する障害物の情報を前記車両から受信し、
   前記周辺画像生成部は、前記車両情報受信部により受信された障害物の情報に基づいて、前記地図に前記障害物を示す表記と前記障害物が存在しない方向を示す表記とを重畳させた３次元画像を前記３次元周辺画像として生成する
   ことを特徴とする遠隔地画像表示装置。
2. 前記車両情報受信部は、前記車両と前記障害物との距離を含んだ情報を前記障害物の情報として受信し、
   前記周辺画像生成部は、前記障害物の情報に含まれる前記距離に応じて、前記障害物を示す表記に着色する
   ことを特徴とする請求項１記載の遠隔地画像表示装置。
3. 遠隔地を走行する車両から送信される前記車両の位置情報を通信装置を用いて受信する車両情報受信部と、
   前記車両情報受信部により受信された前記車両の位置情報に基づいて、前記車両の周辺の３次元地図データを前記車両の走行地域の３次元地図データを記憶する地図データベース装置から取得する地図データ取得部と、
   前記地図データ取得部により取得された３次元地図データに基づいて前記車両の周辺の地図を表す３次元周辺画像をＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いて生成する周辺画像生成部と、
   前記周辺画像生成部により生成された３次元周辺画像をモニター装置に表示する周辺画像表示部とを備え、
   前記車両情報受信部は、前記車両の位置情報の他に、前記車両と前記車両の周辺に位置する障害物との距離を含んだ情報を前記障害物の情報として前記車両から受信し、
   前記周辺画像生成部は、前記車両情報受信部により受信された前記障害物の情報に基づいて前記地図に前記障害物を示す表記を重畳させると共に、前記障害物の情報に含まれる前記距離に応じて前記障害物を示す表記に着色した画像を前記３次元周辺画像として生成する
   ことを特徴とする遠隔地画像表示装置。
4. 前記地図データ取得部は、前記地図データベース装置から前記車両の周辺に位置する地物の情報を含んだ３次元地図データを取得し、
   前記遠隔地画像表示装置は、前記車両情報受信部により受信された障害物の情報から前記地図データ取得部により取得された３次元地図データに含まれる地物の情報と重複しない障害物の情報を特定する障害物特定部を備え、
   前記周辺画像生成部は、前記障害物特定部により特定された障害物の情報に基づいて前記地図に前記障害物を重畳させた画像を前記３次元周辺画像として生成する
   ことを特徴とする請求項１〜請求項３いずれかに記載の遠隔地画像表示装置。
5. 前記周辺画像生成部は、前記車両を含めて前記車両の周辺の３次元の俯瞰地図を前記３次元周辺画像として生成する
   ことを特徴とする請求項１〜請求項４いずれかに記載の遠隔地画像表示装置。
6. 前記遠隔地画像表示装置は、前記３次元周辺画像により表される前記地図の視線方向として利用者に指定された視線方向を入力装置から入力する視線方向入力部を備え、
   前記周辺画像生成部は、前記視線方向入力部により入力された視線方向から見た前記地図を表す画像を前記３次元周辺画像として生成する
   ことを特徴とする請求項１〜請求項５いずれかに記載の遠隔地画像表示装置。
7. 請求項１〜請求項６いずれかに記載の遠隔地画像表示装置と、
   前記車両を操縦する操縦命令を前記車両へ送信して前記車両を操縦する車両操縦装置と
   を備えたことを特徴とする遠隔操縦装置。
8. 前記車両操縦装置は、
   前記車両を操縦する情報として利用者に指定された操縦情報を入力装置から入力する操縦情報入力部と、
   前記操縦情報入力部により入力された操縦情報に基づいて前記操縦命令をＣＰＵを用いて生成する操縦命令生成部と、
   前記操縦命令生成部により生成された操縦命令を通信装置を用いて前記車両へ送信することにより前記車両を操縦する操縦命令送信部とを備えることを特徴とする請求項７記載の遠隔操縦装置。
9. 請求項７または請求項８に記載の遠隔操縦装置と、
   車両に搭載されて前記車両を制御する車両制御装置とを備え、
   前記車両制御装置は、
   前記車両の現在地点を測位装置を用いて測位し、測位した現在地点を示す位置情報をＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いて生成する位置情報生成部と、
   前記車両の周辺に位置する障害物をセンサを用いて検出し、検出した障害物の情報をＣＰＵを用いて生成する障害物情報生成部と、
   前記位置情報生成部により生成された位置情報と、前記障害物情報生成部により生成された障害物の情報とを、前記遠隔操縦装置へ、通信装置を用いて送信する車両情報送信部と、
   前記遠隔操縦装置により送信される前記操縦命令を通信装置を用いて受信する操縦命令受信部と、
   前記操縦命令受信部により受信された操縦命令に基づいて前記車両をＣＰＵを用いて制御する車両制御部とを備える
   ことを特徴とする遠隔操縦システム。
10. 車両に搭載される車両制御装置が、前記車両の現在地点を測位し、測位した現在地点を示す前記車両の位置情報を生成し、前記車両の周辺に位置する障害物を検出し、検出した障害物の情報を生成し、前記車両の位置情報と前記障害物の情報とを送信し、
    遠隔地に設置される遠隔操縦装置が、前記車両の位置情報と前記障害物の情報とを受信し、
    前記遠隔操縦装置が、前記車両の位置情報に基づいて前記車両の周辺の３次元地図データを取得し、取得した３次元地図データと前記障害物の情報とに基づいて前記車両の周辺の地図に前記障害物を示す表記と前記障害物が存在しない方向を示す表記とを重畳させた画像を前記車両の３次元周辺画像として生成し、生成した前記車両の３次元周辺画像を表示し、
    前記遠隔操縦装置が、前記車両を操縦する操縦命令を生成し、生成した操縦命令を送信し、
    前記車両制御装置が、前記操縦命令を受信し、受信した前記操縦命令に基づいて前記車両を制御する
    ことを特徴とする遠隔操縦方法。
11. 遠隔地を走行する車両から送信される前記車両の位置情報と前記車両の周辺に位置する障害物の情報とを通信装置を用いて受信する車両情報受信処理と、
    前記車両情報受信処理により受信された前記車両の位置情報に基づいて、前記車両の周辺の３次元地図データを前記車両の走行地域の３次元地図データを記憶する地図データベース装置から取得する地図データ取得処理と、
    前記地図データ取得処理により取得された３次元地図データと前記車両情報受信処理により受信された前記障害物の情報とに基づいて、前記車両の周辺の地図に前記障害物を示す表記と前記障害物が存在しない方向を示す表記と重畳させた画像を３次元周辺画像としてＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いて生成する周辺画像生成処理と、
    前記周辺画像生成処理により生成された３次元周辺画像をモニター装置に表示する周辺画像表示処理と、
    前記車両を操縦する情報として利用者に指定された操縦情報を入力装置から入力する操縦情報入力処理と、
    前記操縦情報入力処理により入力された操縦情報に基づいて前記車両を操縦する操縦命令をＣＰＵを用いて生成する操縦命令生成処理と、
    前記操縦命令生成処理により生成された操縦命令を通信装置を用いて前記車両へ送信することにより前記車両を操縦する操縦命令送信処理と
    をコンピュータに実行させる遠隔操縦プログラム。
12. 車両情報受信部が、遠隔地を走行する車両から送信される前記車両の位置情報と前記車両の周辺に位置する障害物の情報とを通信装置を用いて受信する車両情報受信処理を行い、
    地図データ取得部が、前記車両情報受信部により受信された前記車両の位置情報に基づいて、前記車両の周辺の３次元地図データを前記車両の走行地域の３次元地図データを記憶する地図データベース装置から取得する地図データ取得処理を行い、
    周辺画像生成部が、前記地図データ取得部により取得された３次元地図データと前記車両情報受信部により受信された前記障害物の情報とに基づいて、前記車両の周辺の地図に前記障害物を示す表記と前記障害物が存在しない方向を示す表記と重畳させた画像を３次元周辺画像としてＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いて生成する周辺画像生成処理を行い、
    周辺画像表示部が、前記周辺画像生成部により生成された３次元周辺画像をモニター装置に表示する周辺画像表示処理を行う
    ことを特徴とする遠隔地画像表示装置の遠隔地画像表示方法。
13. 車両情報受信部が、遠隔地を走行する車両から送信される前記車両の位置情報を通信装置を用いて受信すると共に、前記車両と前記車両の周辺に位置する障害物との距離を含んだ情報を前記障害物の情報として受信する車両情報受信処理を行い、
    地図データ取得部が、前記車両情報受信部により受信された前記車両の位置情報に基づいて、前記車両の周辺の３次元地図データを前記車両の走行地域の３次元地図データを記憶する地図データベース装置から取得する地図データ取得処理を行い、
    周辺画像生成部が、前記地図データ取得部により取得された３次元地図データに基づいて前記車両の周辺の地図に前記障害物を示す表記を重畳させると共に、前記障害物の情報に含まれる前記距離に応じて前記障害物を示す表記に着色した画像を３次元周辺画像としてＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いて生成する周辺画像生成処理を行い、
    周辺画像表示部が、前記周辺画像生成部により生成された３次元周辺画像をモニター装置に表示する周辺画像表示処理を行う
    ことを特徴とする遠隔地画像表示装置の遠隔地画像表示方法。
14. 請求項１２または請求項１３記載の遠隔地画像表示方法をコンピュータに実行させる遠隔地画像表示プログラム。

Images