JP7311295B2

JP7311295B2 - 制御装置、制御方法及びプログラム

Info

Publication number: JP7311295B2
Application number: JP2019067124A
Authority: JP
Inventors: 英樹松永; 優大▲高▼; 成光土屋; 聡明鷹野; 聖小野寺
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2019-03-29
Filing date: 2019-03-29
Publication date: 2023-07-19
Anticipated expiration: 2039-03-29
Also published as: US20200309560A1; CN111762175A; JP2020166605A

Description

本発明は、制御装置、制御方法及びプログラムに関する。

車両を遠隔から運転する遠隔運転サービスに関する様々な技術が提案されている。特許文献１では、車両の運転者の安心感を高めるために、遠隔運転装置の操作者の画像を車両の表示装置に表示する技術を提案する。

特許第６４１８１８１号公報

特許文献１の技術によれば、車両の運転者は、遠隔運転装置の操作者の姿を把握できる。しかし、運転者は、操作者の画像から、車両がどのように運転されるかについて知ることができない。本発明は、遠隔操作サービスを受ける移動体の使用者の安心感を向上するための技術を提供することを目的とする。

上記課題に鑑みて、遠隔操作装置から遠隔操作サービスを受ける移動体の表示装置を制御する制御装置であって、前記遠隔操作装置によって生成され前記遠隔操作装置の使用者に向けて表示される、遠隔運転サービスを提供するための視覚情報を取得する取得手段と、前記視覚情報を前記移動体の表示装置に表示する制御手段と、を備える制御装置が提供される。

上記手段により、遠隔操作サービスを受ける移動体の使用者の安心感が向上する。

実施形態に係る車両の構成例を説明するブロック図。実施形態に係る遠隔運転装置の構成例を説明するブロック図。実施形態に係る遠隔運転のコンソール例を説明する模式図。実施形態に係る車両周辺の実環境を説明する模式図。実施形態に係る遠隔制御システムの動作例を説明するタイミング図。実施形態に係る遠隔運転装置及び車両の表示画像例を説明する図。実施形態に係る遠隔運転装置及び車両の表示画像例を説明する図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。

車両１は、車両１を制御する車両用制御装置２（以下、単に制御装置２と呼ぶ）を含む。制御装置２は車内ネットワークにより通信可能に接続された複数のＥＣＵ２０～２９を含む。各ＥＣＵは、ＣＰＵに代表されるプロセッサ、半導体メモリ等のメモリ、外部デバイスとのインタフェース等を含む。メモリにはプロセッサが実行するプログラムやプロセッサが処理に使用するデータ等が格納される。各ＥＣＵはプロセッサ、メモリおよびインタフェース等を複数備えていてもよい。例えば、ＥＣＵ２０は、プロセッサ２０ａとメモリ２０ｂとを備える。メモリ２０ｂに格納されたプログラムが含む命令をプロセッサ２０ａが実行することによって、ＥＣＵ２０による処理が実行される。これに代えて、ＥＣＵ２０は、ＥＣＵ２０による処理を実行するためのＡＳＩＣ等の専用の集積回路を備えてもよい。他のＥＣＵについても同様である。

以下、各ＥＣＵ２０～２９が担当する機能等について説明する。なお、ＥＣＵの数や、担当する機能については適宜設計可能であり、本実施形態よりも細分化したり、統合したりすることが可能である。

ＥＣＵ２０は、車両１の自動運転機能及び遠隔運転機能に関わる走行制御を実行する。この走行制御において、ＥＣＵ２０は、車両１の操舵及び／又は加減速を自動制御する。自動運転機能とは、ＥＣＵ２０が車両１の走行経路を計画し、この走行経路に基づいて車両１の操舵及び／又は加減速を制御する機能のことである。遠隔運転機能とは、ＥＣＵ２０が車両１の外部のオペレータからの指示に従って車両１の操舵及び／又は加減速を制御する機能のことである。外部のオペレータは人間であってもよいし、ＡＩ（人工知能）であってもよい。ＥＣＵ２０は、自動運転機能と遠隔運転機能とを組み合わせて実行することも可能である。例えば、ＥＣＵ２０は、オペレータからの指示がない間に走行経路を計画して走行制御を行い、オペレータからの指示があった場合にその指示に従って走行制御を行ってもよい。

ＥＣＵ２１は、電動パワーステアリング装置３を制御する。電動パワーステアリング装置３は、ステアリングホイール３１に対する運転者の運転操作（操舵操作）に応じて前輪を操舵する機構を含む。また、電動パワーステアリング装置３は操舵操作をアシストしたり、前輪を自動操舵したりするための駆動力を発揮するモータや、操舵角を検知するセンサ等を含む。車両１の運転状態が自動運転状態の場合、ＥＣＵ２１は、ＥＣＵ２０からの指示に対応して電動パワーステアリング装置３を自動制御し、車両１の進行方向を制御する。

ＥＣＵ２２および２３は、車両の外界の状況を検知する検知ユニット４１～４３の制御および検知結果の情報処理を行う。検知ユニット４１は、車両１の前方を撮影するカメラであり（以下、カメラ４１と表記する場合がある。）、本実施形態の場合、車両１のルーフ前部でフロントウィンドウの車室内側に取り付けられる。カメラ４１が撮影した画像の解析により、物標の輪郭抽出や、道路上の車線の区画線（白線等）を抽出可能である。

検知ユニット４２は、ライダ（Light Detection and Ranging）であり（以下、ライダ４２と表記する場合がある）、車両１の周囲の物標を検知したり、物標との距離を測距したりする。本実施形態の場合、ライダ４２は５つ設けられており、車両１の前部の各隅部に１つずつ、後部中央に１つ、後部各側方に１つずつ設けられている。検知ユニット４３は、ミリ波レーダであり（以下、レーダ４３と表記する場合がある）、車両１の周囲の物標を検知したり、物標との距離を測距したりする。本実施形態の場合、レーダ４３は５つ設けられており、車両１の前部中央に１つ、前部各隅部に１つずつ、後部各隅部に一つずつ設けられている。

ＥＣＵ２２は、一方のカメラ４１と、各ライダ４２の制御および検知結果の情報処理を行う。ＥＣＵ２３は、他方のカメラ４１と、各レーダ４３の制御および検知結果の情報処理を行う。車両の周囲状況を検知する装置を二組備えたことで、検知結果の信頼性を向上でき、また、カメラ、ライダ、レーダといった種類の異なる検知ユニットを備えたことで、車両の周辺環境の解析を多面的に行うことができる。

ＥＣＵ２４は、ジャイロセンサ５、ＧＰＳセンサ２４ｂ、通信装置２４ｃの制御および検知結果あるいは通信結果の情報処理を行う。ジャイロセンサ５は車両１の回転運動を検知する。ジャイロセンサ５の検知結果や、車輪速等により車両１の進路を判定することができる。ＧＰＳセンサ２４ｂは、車両１の現在位置を検知する。通信装置２４ｃは、地図情報や交通情報を提供するサーバと無線通信を行い、これらの情報を取得する。ＥＣＵ２４は、メモリに構築された地図情報のデータベース２４ａにアクセス可能であり、ＥＣＵ２４は現在地から目的地へのルート探索等を行う。ＥＣＵ２４、地図データベース２４ａ、ＧＰＳセンサ２４ｂは、いわゆるナビゲーション装置を構成している。

ＥＣＵ２５は、車車間通信用の通信装置２５ａを備える。通信装置２５ａは、周辺の他車両と無線通信を行い、車両間での情報交換を行う。通信装置２５ａは、車両１の外部のオペレータとの通信にも使用される。

ＥＣＵ２６は、パワープラント６を制御する。パワープラント６は車両１の駆動輪を回転させる駆動力を出力する機構であり、例えば、エンジンと変速機とを含む。ＥＣＵ２６は、例えば、アクセルペダル７Ａに設けた操作検知センサ７ａにより検知した運転者の運転操作（アクセル操作あるいは加速操作）に対応してエンジンの出力を制御したり、車速センサ７ｃが検知した車速等の情報に基づいて変速機の変速段を切り替えたりする。車両１の運転状態が自動運転状態の場合、ＥＣＵ２６は、ＥＣＵ２０からの指示に対応してパワープラント６を自動制御し、車両１の加減速を制御する。

ＥＣＵ２７は、方向指示器（ウィンカー）を含む照明装置８（ヘッドライト、テールライト等の灯火器）を制御する。図１の例の場合、照明装置８は車両１の前部、ドアミラーおよび後部に設けられている。ＥＣＵ２７はさらに、クラクションのホーンを含む、車外に向けた音響装置１１を制御する。照明装置８、音響装置１１又はその組み合わせは、車両１の外界に対して情報を提供する機能を有する。

ＥＣＵ２８は、入出力装置９の制御を行う。入出力装置９は運転者に対する情報の出力と、運転者からの情報の入力の受け付けを行う。音出力装置９１は運転者に対して音声により情報を報知する。表示装置９２は運転者に対して画像の表示により情報を報知する。表示装置９２は例えば運転席表面に配置され、インストルメントパネル等を構成する。なお、ここでは、音声と表示を例示したが振動や光により情報を報知してもよい。また、音声、表示、振動または光のうちの複数を組み合わせて情報を報知してもよい。更に、報知すべき情報のレベル（例えば緊急度）に応じて、組み合わせを異ならせたり、報知態様を異ならせたりしてもよい。入力装置９３は運転者が操作可能な位置に配置され、車両１に対する指示を行うスイッチ群であるが、音入力装置も含まれてもよい。ＥＣＵ２８は、ＥＣＵ２０の走行制御に関する案内を実施可能である。案内の詳細については後述する。入力装置９３は、ＥＣＵ２０による走行制御の動作を制御するために用いられるスイッチを含んでもよい。入力装置９３は、運転者の視線方向を検知するためのカメラを含んでもよい。

ＥＣＵ２９は、ブレーキ装置１０やパーキングブレーキ（不図示）を制御する。ブレーキ装置１０は例えばディスクブレーキ装置であり、車両１の各車輪に設けられ、車輪の回転に抵抗を加えることで車両１を減速あるいは停止させる。ＥＣＵ２９は、例えば、ブレーキペダル７Ｂに設けた操作検知センサ７ｂにより検知した運転者の運転操作（ブレーキ操作）に対応してブレーキ装置１０の作動を制御する。車両１の運転状態が自動運転状態の場合、ＥＣＵ２９は、ＥＣＵ２０からの指示に対応してブレーキ装置１０を自動制御し、車両１の減速および停止を制御する。ブレーキ装置１０やパーキングブレーキは車両１の停止状態を維持するために作動することもできる。また、パワープラント６の変速機がパーキングロック機構を備える場合、これを車両１の停止状態を維持するために作動することもできる。

図２のブロック図を参照して、本発明の一部の実施形態に係る遠隔運転装置２００の構成について説明する。遠隔運転装置２００は、遠隔運転機能を有する車両に対して遠隔運転サービスを提供するための装置である。遠隔運転装置２００は、サービス提供対象の車両から遠隔に位置する。

遠隔運転装置２００は、複数の動作モードで遠隔運転サービスを提供可能であってもよい。遠隔運転サービスの複数の動作モードは、主導モードと支援モードとを含んでもよい。主導モードとは、遠隔運転装置２００のオペレータが車両の制御量（例えば、操舵角やアクセルペダル開度、ブレーキペダル開度、ウィンカーレバーの位置、ライトのオン・オフなど）を指定する動作モードのことである。支援モードとは、遠隔運転装置２００のオペレータが指定した経路計画に従って車両（具体的にはＥＣＵ２０）が車両の制御量を決定する動作モードのことである。支援モードにおいて、遠隔運転装置２００のオペレータは、自ら経路計画を生成して指定してもよいし、車両から提案された経路計画を採用することによって経路計画を指定してもよい。

遠隔運転装置２００は、図２に示す各構成要素を有する。プロセッサ２０１は、遠隔運転装置２００全体の動作を制御する。プロセッサ２０１は、例えばＣＰＵとして機能する。メモリ２０２は、遠隔運転装置２００の動作に用いられるプログラムや一時データなどを記憶する。メモリ２０２は、例えばＲＯＭやＲＡＭなどにより実現される。入力部２０３は、遠隔運転装置２００の使用者が遠隔運転装置２００への入力を行うために用いられる。遠隔運転装置２００の使用者とは、人間が操作主体である場合にこの人間であり、ＡＩが操作主体である場合にＡＩの動作を監視する人間（監視者）である。出力部２０４は、遠隔運転装置２００から使用者に向けて情報を出力するために用いられる。記憶部２０５は、遠隔運転装置２００の動作に用いられるデータを記憶する。記憶部２０５は、ディスクドライブ（例えば、ＨＤＤやＳＤＤ）などの記憶装置で実現される。通信部２０６は、遠隔運転装置２００が他の装置（例えば、遠隔運転対象の車両）と通信する機能を提供し、例えばネットワークカードやアンテナなどで実現される。

図３の概略図を参照して、遠隔運転装置２００の入力部２０３及び出力部２０４の構成例について説明する。この構成例では、表示装置３１０及び音響装置３２０によって出力部２０４が構成され、ステアリングホイール３３０、アクセルペダル３４０、ブレーキペダル３５０、マイク３６０及び複数のスイッチ３７０によって入力部２０３が構成される。

表示装置３１０は、遠隔運転サービスを提供するための視覚情報を出力する装置である。音響装置３２０は、遠隔運転サービスを提供するための聴覚情報を出力する装置である。表示装置３１０に表示される画面は、１つのメイン領域３１１と、複数のサブ領域３１２とを含む。メイン領域３１１には、遠隔運転サービスの提供対象の複数の車両のうちの制御対象車両に関する情報が表示される。制御対象車両とは、遠隔運転装置２００からの指示が送信される車両のことである。各サブ領域３１２には、遠隔運転サービスの提供対象の複数の車両のうちの制御対象車両以外の車両に関する情報が表示される。制御対象車両以外の車両は、監視対象車両と呼ばれることもある。１台の遠隔運転装置２００によって複数台の車両に遠隔運転サービスを提供する場合に、オペレータは、メイン領域３１１に表示する車両（すなわち、制御対象車両）を適宜切り替える。メイン領域３１１及びサブ領域３１２に表示される情報は、車両の周囲の交通状況、車両の速度などを含む。

ステアリングホイール３３０は、主導モードにおいて制御対象車両の操舵量を制御するために用いられる。アクセルペダル３４０は、主導モードにおいて制御対象車両のアクセルペダル開度を制御するために用いられる。ブレーキペダル３５０は、主導モードにおいて制御対象車両のブレーキペダル開度を制御するために用いられる。マイク３６０は、音声情報を入力するために用いられる。マイク３６０に入力された音声情報は、制御対象車両へ送信され、その車内で再生されてもよい。

複数のスイッチ３７０は、遠隔運転サービスを提供するための様々な入力を行うために用いられる。例えば、複数のスイッチ３７０は、制御対象車両を切り替えるためのスイッチ、支援モードにおけるオペレータの判断結果を指示するためのスイッチ、複数の動作モードを切り替えるためのスイッチなどを含む。

図２及び図３で説明した遠隔運転装置２００は、主導モードと支援モードとの両方を提供可能である。これに代えて、遠隔運転装置２００は、主導モードと支援モードと一方のみを提供可能であってもよい。主導モードを提供しない場合に、ステアリングホイール３３０、アクセルペダル３４０及びブレーキペダル３５０は省略可能である。また、複数の遠隔運転装置２００が協働して遠隔運転サービスを提供してもよい。この場合に、遠隔運転装置２００は、サービス提供対象の車両を別の遠隔運転装置２００に引継ぎ可能であってもよい。

図４を参照して、遠隔運転対象の車両１の周囲の実環境４００（実世界の環境）の一例について説明する。車両１は、遠隔運転装置２００からの操作指示に従って車線４０４を走行中であるとする。車線４０４の反対車線４０５を対向車両４０２が走行中である。対向車両４０２は、運転者による手動運転中であってもよいし、自動運転機能で走行中であってもよいし、遠隔運転装置２００によるものとは別の遠隔運転サービスを利用して走行中であってもよい。ただし、対向車両４０２は、遠隔運転装置２００による操作対象ではないとする。

車線４０４に隣接する歩道４０６を歩行者４０３が歩いている。車線４０４及び反対車線４０５を撮影するように道路管理カメラ４０１が設置されている。対向車両４０２及び歩行者４０３は、車両１の周囲に存在し、遠隔運転装置２００の操作対象ではなく、自律的に移動可能なオブジェクトの一例である。以下、遠隔運転装置２００の操作対象ではなく、自律的に移動可能なオブジェクトを自律移動オブジェクトと呼ぶ。以下、自律移動オブジェクトを単にオブジェクトと呼ぶ。車両１の周囲とは、車両１の検知ユニット４１～４３によって検知可能な範囲であってもよいし、遠隔運転装置２００の表示装置３１０に車両１の周囲として表示される範囲であってもよい。

図５を参照して、遠隔制御システムにおける車両１の表示装置９２及び遠隔運転装置２００の表示装置３１０の制御方法について説明する。車両１の表示装置９２の制御は、例えば車両１のＥＣＵ２０などのプロセッサ２０ａがＥＣＵ２０などのメモリ２０ｂに格納されたプログラムを実行することによって行われてもよい。遠隔運転装置２００の表示装置３１０の制御は、例えば遠隔運転装置２００のプロセッサ２０１がメモリ２０２に格納されたプログラムを実行することによって行われてもよい。これに代えて、車両１及び遠隔運転装置２００のそれぞれにおいて、方法の一部又は全部の工程が、ＡＳＩＣ（特定用途向け集積回路）のような専用回路で実行されてもよい。前者の場合に、プロセッサが特定の動作のための構成要素となり、後者の場合に、専用回路が特定の動作のための構成要素となる。以下では、遠隔制御システムにおける表示制御を主に説明する。車両１の走行制御などの他の制御については、従来と同様であってもよいため、その説明を省略する。図５の制御方法は、車両１が遠隔運転サービスの提供を受けている間に反復して実行される。遠隔運転サービスの提供を受けている状態（言い換えると、遠隔運転サービスを利用中の状態）とは、遠隔運転装置２００の操作主体によって車両１を操作可能である状態のことを指してもよい。または、遠隔運転サービスを利用中とは、遠隔運転装置２００のオペレータによって車両１を主導モード（遠隔運転装置２００のオペレータが車両の制御量（例えば、操舵角やアクセルペダル開度、ブレーキペダル開度、ウィンカーレバーの位置、ライトのオン・オフなど）を指定する動作モード）により、操作可能である状態のことを指すものとしてもよい。いずれも、遠隔運転装置２００の操作主体によって車両１を操作可能である状態であればよく、実際に遠隔運転中（操作中）であるかを問わない。

ステップＳ５０１で、車両１は、車両１に関する情報及び車両１の周囲のオブジェクトに関する情報を取得する。車両１に関する情報は、例えば車両１の現在の地理的位置、車両１の現在の速度及び加速度、遠隔運転サービスにおける車両１の識別情報などを含んでもよい。車両１の地理的位置とは、車両１を表す代表的な１点についての地理的位置であってもよいし、車両１が３次元空間内を占める領域についての地理的位置であってもよい。

車両１の周囲のオブジェクトに関する情報は、例えばオブジェクトの種類、オブジェクトの現在の地理的位置、オブジェクトの速度及び加速度、オブジェクトの将来の予測軌道などを含んでもよい。車両１は、検知ユニット４１～４３によって得られたオブジェクトのセンサ・データに基づいて、オブジェクトの種類及び地理的位置を決定する。オブジェクトの種類は、例えば普通車両、大型車両、二輪車、大人の歩行者、子どもの歩行者、自転車乗員などである。オブジェクトの地理的位置は、１点についての地理的位置であってもよいし、オブジェクトが３次元空間を占める領域についての地理的位置であってもよい。また、オブジェクト情報提供部５０２は、オブジェクトの地理的位置の時間変化に基づいて、オブジェクトの速度、加速度を算出してもよい。さらに、オブジェクト情報提供部５０２は、オブジェクトの地理的位置、速度及び加速度に基づいてオブジェクトの将来の予測軌道を生成してもよい。オブジェクト情報提供部５０２は、オブジェクトが車両であれば方向指示器や運転者の視線などにさらに基づいて、オブジェクトが歩行者や自転車乗員であればその視線などにさらに基づいて、オブジェクトの将来の予測軌道を生成してもよい。

ステップＳ５０２で、車両１は、遠隔運転装置２００へ車両１に関する情報及び車両１の周囲のオブジェクトに関する情報を送信し、遠隔運転装置２００はこの情報を受信することによって取得する。遠隔運転装置２００は、車両１からだけでなく、道路管理カメラ４０１から車両１の周囲のオブジェクトに関する情報を取得してもよい。

ステップＳ５０３で、遠隔運転装置２００は、車両１の周囲の実環境を表す画像を生成し、表示装置３１０（例えば、メイン領域３１１）に表示する。具体的に、遠隔運転装置２００は、車両１の地理的位置及びその周囲の固定物に関するデータをメモリ２０２から読み出す。例えば、遠隔運転装置２００は、車両１の運転者視点における地図データをメモリ２０２から読み出す。メモリ２０２には、これらのデータが事前に格納されている。

その後、遠隔運転装置２００は、オブジェクトに関する情報に含まれるオブジェクトの種類に基づいて、このオブジェクトを表すための仮想オブジェクトを決定する。例えば、オブジェクトの種類が普通車両の場合に、遠隔運転装置２００は、このオブジェクトを表すために普通車両の仮想オブジェクトを使用することを決定する。

その後、遠隔運転装置２００は、オブジェクトの地理的位置（すなわち、３次元空間において占める領域）に基づいて仮想オブジェクトの表示サイズを決定してもよい。その後、遠隔運転装置２００は、背景データのうちオブジェクトの地理的位置に対応する表示位置に、車両１の周囲のオブジェクトを表す仮想オブジェクトを表示する。この仮想オブジェクトは、オブジェクトの種類に対応するモデルであってもよい。画像の具体例は後述する。

ステップＳ５０４で、遠隔運転装置２００は、オペレータからの操作入力を取得する。上述のように、オペレータ（操作主体）は、ＡＩであってもよいし、遠隔運転装置２００の使用者（人間）であってもよい。操作入力は、例えば加速、減速、及び操舵の少なくとも１つに関する操作を含んでもよい。ステップＳ５０５で、遠隔運転装置２００は、操作入力に基づいて、ステップＳ５０３で表示した画像を更新する。

ステップＳ５０６で、遠隔運転装置２００は、ステップＳ５０３で表示された画像に含まれる情報を車両１へ送信し、車両１はこの情報を受信することによって取得する。この情報とともに、車両１への操作指示が送信されてもよい。また、この情報とともに、ステップＳ５０４で取得された操作入力に関する情報が送信されてもよい。操作入力に関する情報は、遠隔運転装置２００の使用者による操作子への操作状態と、遠隔運転装置２００の操作主体による操作内容との少なくとも一方を含んでもよい。遠隔運転装置２００の使用者による操作子への操作状態とは、使用者が遠隔運転装置２００の操作子（ステアリングホイール３３０、アクセルペダル３４０、ブレーキペダル３５０など）を使用しているか否かの状態のことである。例えば、使用者がステアリングホイール３３０を把持している場合に、その回転量によらず、ステアリングホイール３３０は使用されている。使用者がアクセルペダル３４０に足をのせている場合に、その開度によらず、アクセルペダル３４０は使用されている。遠隔運転装置２００の使用者による操作子への操作状態とは、遠隔運転装置２００の使用者が、遠隔運転装置２００の操作子に対する操作量を与えずに使用しているか否かの状態を含んでよい。遠隔運転装置２００の操作主体による操作内容とは、操作対象の操作子と、この操作子の操作量とを含む情報であってもよい。操作内容は、遠隔運転装置２００のオペレータからの操作入力に基づいて、遠隔運転装置２００によって生成される。

ステップＳ５０７で、車両１は、ステップＳ５０６で取得した情報に基づいて画像を生成し、表示装置９２に表示する。この画像の具体例は後述する。

図６を参照して、ステップＳ５０３で遠隔運転装置２００の表示装置３１０に表示される画像６００と、ステップＳ５０７で車両１の表示装置９２に表示される画像６５０との一例について説明する。画像６００は、図４の実環境４００を仮想的に表現したものである。仮想オブジェクト６１０は、対向車両４０２を表す仮想オブジェクトである。車両の３次元モデルが仮想オブジェクトとして使用される。仮想オブジェクト６２０は、歩行者４０３を表す仮想オブジェクトである。大人の３次元モデルが仮想オブジェクトとして使用される。これらの仮想オブジェクトは、車両１の運転者視点の地図上に、それぞれのオブジェクトの地理的位置に対応する表示位置に表示される。図６の例では、車両１の運転者視点の地図を表示するが、これに代えて車両１を後方から見た視点の地図を表示してもよい。この場合に、遠隔運転装置２００は、画像６００に車両１を表す仮想オブジェクトを表示してもよい。

画像６００では、対向車両４０２の過去の軌道が実線６１１で示され、対向車両４０２の将来の予測軌道が破線６１２で示される。遠隔運転装置２００は、対向車両４０２の過去の地理的位置に基づいて対向車両４０２の過去の軌道を生成する。過去の軌道を生成するために、遠隔運転装置２００は、対向車両４０２の直近の地理的位置を一定期間分（例えば、５秒分）記憶しておいてもよい。対向車両４０２の将来の予測軌道は、ステップＳ７０２で受信するか、ステップＳ７０４で生成することによって取得される。同様に、画像６００では、歩行者４０３の過去の軌道が実線６２１で示され、歩行者４０３の将来の予測軌道が破線６２２で示される。

画像６００は、車両１の予測軌道を破線６３１Ｌ、６３１Ｒで示す。この予測軌道は、遠隔運転装置２００のオペレータによる操作入力に基づいて、遠隔運転装置２００によって生成される。破線６３１Ｌは、車両１の左端の予測軌道を示し、破線６３１Ｒは、車両１の右端の予測軌道を示す。このように両端の予測軌道を示すことによって、遠隔運転装置２００のオペレータは、車両１の車幅を認識しやすくなる。また、画像６００には、車両１の推奨の軌道６３２も表示される。推奨の軌道６３２は、車両１や道路管理カメラ４０１から得られた情報に基づいて、遠隔運転装置２００によって生成される。推奨の軌道６３２は、遠隔運転装置２００の使用者に向けた推奨情報の一例である。画像６００は、推奨情報の他の例として、操作子（アクセルペダル３４０、ブレーキペダル３５０及びステアリングホイール３３０）の操作量を表示してもよい。

車両１の表示装置９２に表示される画像６５０は、遠隔運転装置２００の表示装置３１０に表示される画像６００と同じ情報を含む。このように遠隔運転装置２００の使用者が見ている画像６００と同じ情報を含む画像６５０を車両１の運転者に向けて表示することによって、運転者は、車両１がどのような情報に基づいて遠隔運転されているかを把握できる。さらに、画像６５０は、遠隔運転装置２００のオペレータによる車両１の操作状態及び／又は操作内容を示す領域６５１を含んでもよい。領域６５１は、ステップＳ５０６で送信された操作状態及び／又は操作内容に基づいて車両１によって生成されてもよい。これに代えて、遠隔運転装置２００が操作状態及び／又は操作内容に基づいて領域６５１の画像を生成し、その画像を受信した車両１が画像６５０に重畳してもよい。

領域６５１は、操作対象の操作子（アクセルペダル「ＡＰ」、ブレーキペダル「ＢＰ」及びステアリングホイール「ＳＴＲ」）と、その操作子の操作量を示す。また、遠隔運転装置２００の使用者がアクセルペダル３４０に足を置いていることが、「ＡＰ」の文字のハイライトによって示される。同様に、遠隔運転装置２００の使用者がステアリングホイール３３０を把持していることが、「ＳＴＲ」の文字のハイライトによって示される。この例では、遠隔運転装置２００の使用者がブレーキペダル３５０に足を置いていないため、「ＢＰ」の文字はハイライトされない。遠隔運転装置２００のオペレータがＡＩである場合に、そのことを示す表示が領域６５１に含まれてもよい。図６の例では、領域６５１は車両１で表示される画像６５０のみに含まれるが、遠隔運転装置２００で表示される画像６００に含まれてもよい。

遠隔運転装置２００は、図６の画像６００に代えて又はこれと同時に、図７の画像７００を表示してもよい。画像７００は、車両１の地理的位置及びその周囲の俯瞰図である。図６と同様に、地図上に仮想オブジェクト６１０、６２０が表示されている。画像７００では、車両１を表す仮想オブジェクト６３０と、車両１の過去の軌道を表す実線６３３とがさらに表示されている。仮想オブジェクト６３０の表示サイズ（全長及び全幅）は、車両１の大きさに応じて決定される。車両１の大きさは、ステップＳ７０１で車両１から受信されてもよいし、事前にメモリ２０２に格納されていてもよい。遠隔運転装置２００は、過去又は将来の軌道を表す実線６１１、６２１、６３２及び破線６１２、６２２、６３１Ｌ、６３２Ｒをすべて非表示としてもよいし、一部のみを表示してもよい。車両１は、図６の画像６５０に代えて又はこれと同時に、図７の画像７５０を表示してもよい。

車両１で表示される画像６５０は、車両１の予測軌道（破線６３１Ｌ、６３１Ｒ）を含む。この予測軌道が、車両１が物体（例えば、他の車両やガードレールなど）に衝突する予測軌道である場合に、車両１は、画像６５０に車両１の予測軌道を表示しなくてもよい。これによって、車両１の運転者に不要な警戒心を与えることを防げる。これに対して、車両１が物体（例えば、他の車両やガードレールなど）に衝突する予測軌道である場合に、遠隔運転装置２００は、画像６００に車両１の予測軌道を表示する。これによって、遠隔運転装置２００の使用者は、車両１の進路を変更する必要があることを把握できる。

上述の実施形態では、遠隔運転装置２００の操作対象物が車両１である場合について説明した。本発明の操作対象物は車両１に限られず、他の移動体にも適用可能できる。操作対象物が車両以外の場合に、遠隔運転装置２００は一般的に遠隔制御装置と呼ばれうる。

＜実施形態のまとめ＞
＜構成１＞
遠隔操作装置（２００）から遠隔操作サービスを受ける移動体（１）の表示装置（９２）を制御する制御装置（２）であって、
前記遠隔操作装置によって生成され前記遠隔操作装置の表示装置（３１０）に表示される情報を取得する取得手段（Ｓ５０６）と、
前記情報を前記移動体の表示装置に表示する制御手段（Ｓ５０７）と、
を備える制御装置。
この構成によれば、遠隔操作サービスを受ける移動体の使用者の安心感が向上する。
＜構成２＞
前記情報は、前記遠隔操作装置の使用者に向けた推奨情報（６３２）を含む、構成１に記載の制御装置。
この構成によれば、移動体の使用者は、遠隔操作装置の使用者にどのような推奨情報が表示されるかを把握できる。
＜構成３＞
前記情報は、前記遠隔操作装置の使用者による操作子への操作状態を含む、構成１又は２に記載の制御装置。
この構成によれば、移動体の使用者は、遠隔操作装置の使用者による操作子への操作状態を把握できる。
＜構成４＞
前記情報は、前記遠隔操作装置の操作主体による操作入力に基づく前記移動体の予測軌道（６３１Ｌ、６３１Ｒ）を含む、構成１乃至３の何れか１つに記載の制御装置。
この構成によれば、移動体の使用者は、移動体の予測軌道を把握できる。
＜構成５＞
前記情報は、前記遠隔操作装置の操作主体による前記移動体の操作内容（６５１）を含む、構成１乃至４の何れか１つに記載の制御装置。
この構成によれば、移動体の使用者は、移動体に対する操作内容を把握できる。
＜構成６＞
前記操作内容は、操作対象の操作子と、前記操作子の操作量を含む、構成５に記載の制御装置。
この構成によれば、移動体の使用者は、移動体に対する操作内容の詳細を把握できる。
＜構成７＞
前記情報は、前記移動体の幅（６３１Ｌ、６３１Ｒ、６３０）を示す情報を含む、構成１乃至６の何れか１つに記載の制御装置。
この構成によれば、移動体の使用者は、移動体と他のオブジェクトとの距離を把握できる。
＜構成８＞
前記制御手段は、前記移動体が物体に衝突する予測軌道を前記情報が含む場合に、前記予測軌道を前記移動体の前記表示装置に表示しない、構成１乃至７の何れか１つに記載の制御装置。
この構成によれば、移動体の使用者は、不要に警戒しなくて済む。
＜構成９＞
コンピュータを構成１乃至８の何れか１つに記載の制御装置の各手段として機能させるためのプログラム。
この構成によれば、プログラムの形態で上記構成を実現できる。
＜構成１０＞
遠隔操作装置（２００）から遠隔操作サービスを受ける移動体（１）の表示装置（９２）を制御する制御方法であって、
前記遠隔操作装置によって生成され前記遠隔操作装置の表示装置（３１０）に表示される情報を取得する取得工程（Ｓ５０６）と、
前記情報を前記移動体の表示装置に表示する制御工程（Ｓ５０７）と、
を有する制御方法。
この構成によれば、遠隔操作サービスを受ける移動体の使用者の安心感が向上する。

発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。

１車両、２００遠隔運転装置、４０２対向車両、４０３歩行者

Claims

遠隔操作装置から遠隔操作サービスを受ける移動体の表示装置を制御する制御装置であって、
前記遠隔操作装置によって生成され前記遠隔操作装置の使用者に向けて表示される、遠隔運転サービスを提供するための視覚情報を取得する取得手段と、
前記視覚情報を前記移動体の表示装置に表示する制御手段と、
を備える制御装置。
前記視覚情報は、前記遠隔操作装置の使用者に向けた推奨情報を含む、請求項１に記載の制御装置。
前記視覚情報は、前記遠隔操作装置の使用者による操作子への操作状態を含む、請求項１又は２に記載の制御装置。
前記視覚情報は、前記遠隔操作装置の操作主体による操作入力に基づく前記移動体の予測軌道を含む、請求項１乃至３の何れか１項に記載の制御装置。
前記視覚情報は、前記遠隔操作装置の操作主体による前記移動体の操作内容を含む、請求項１乃至４の何れか１項に記載の制御装置。
前記操作内容は、操作対象の操作子と、前記操作子の操作量を含む、請求項５に記載の制御装置。
前記視覚情報は、前記移動体の幅を示す情報を含む、請求項１乃至６の何れか１項に記載の制御装置。
前記制御手段は、前記移動体が物体に衝突する予測軌道を前記視覚情報が含む場合に、前記予測軌道を前記移動体の前記表示装置に表示しない、請求項１乃至７の何れか１項に記載の制御装置。
コンピュータを請求項１乃至８の何れか１項に記載の制御装置の各手段として機能させるためのプログラム。
遠隔操作装置から遠隔操作サービスを受ける移動体の表示装置を制御する制御方法であって、
前記遠隔操作装置によって生成され前記遠隔操作装置の使用者に向けて表示される、遠隔運転サービスを提供するための視覚情報を取得する取得工程と、
前記視覚情報を前記移動体の表示装置に表示する制御工程と、
を有する制御方法。