Nothing Special   »   [go: up one dir, main page]

JP6762863B2 - 撮像装置、画像処理装置、表示システム、および車両 - Google Patents

撮像装置、画像処理装置、表示システム、および車両 Download PDF

Info

Publication number
JP6762863B2
JP6762863B2 JP2016239449A JP2016239449A JP6762863B2 JP 6762863 B2 JP6762863 B2 JP 6762863B2 JP 2016239449 A JP2016239449 A JP 2016239449A JP 2016239449 A JP2016239449 A JP 2016239449A JP 6762863 B2 JP6762863 B2 JP 6762863B2
Authority
JP
Japan
Prior art keywords
image
distance
display
vehicle
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016239449A
Other languages
English (en)
Other versions
JP2018098567A (ja
Inventor
朋弘 嶋津
朋弘 嶋津
和也 武本
和也 武本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2016239449A priority Critical patent/JP6762863B2/ja
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to EP22206620.1A priority patent/EP4155128A1/en
Priority to US16/467,715 priority patent/US11010934B2/en
Priority to EP17878733.9A priority patent/EP3554062B1/en
Priority to PCT/JP2017/042292 priority patent/WO2018105417A1/ja
Publication of JP2018098567A publication Critical patent/JP2018098567A/ja
Priority to JP2020151631A priority patent/JP6974564B2/ja
Application granted granted Critical
Publication of JP6762863B2 publication Critical patent/JP6762863B2/ja
Priority to US17/231,908 priority patent/US11587267B2/en
Priority to US18/156,210 priority patent/US11961162B2/en
Priority to US18/604,250 priority patent/US20240221246A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Description

本開示は、撮像装置、画像処理装置、表示システム、および車両に関する。
従来、例えば車両等の移動体の外部領域の映像を表示する技術が知られている。例えば、特許文献1には、車両に備えられたカメラの映像を表示するモニタへの電源供給を制御する技術が開示されている。
特開2009−40113号公報
従来、移動体の外部領域の映像を表示する技術について改善の余地があった。
本開示は、移動体の外部領域の映像を表示する技術の利便性を向上させる画像処理装置、撮像装置、および表示システムに関する。
本開示の一実施形態に係る撮像装置は、車両の後方を撮像して第1映像を生成する撮像素子と、第1映像上の表示領域に含まれる路面部分に、車両の予測進路を示すガイド画像を合成する制御部と、を備え、第1映像内の検出対象とガイド画像との間に、路面から高さ方向に所定の距離延び、路面から高さ方向に距離が離れるほど透過率が高くなる面を表した第1認識壁画像を合成する。
本開示の一実施形態に係る画像処理装置は、車両の後方を撮像した第1映像を取得する通信部と、第1映像上の表示領域に含まれる路面部分に、車両の予測進路を示すガイド画像を合成する制御部と、を備え、第1映像内の検出対象とガイド画像との間に、路面から高さ方向に所定の距離延び、路面から高さ方向に距離が離れるほど透過率が高くなる面を表した第1認識壁画像を合成する。
本開示の一実施形態に係る表示システムは、車両の後方を撮像して第1映像を生成する撮像素子と、第1映像上の表示領域に含まれる路面部分に、車両の予測進路を示すガイド画像を合成する制御部と、ガイド画像が合成された表示領域の映像を表示する表示装置と、を備え、第1映像内の検出対象とガイド画像との間に、路面から高さ方向に所定の距離延び、路面から高さ方向に距離が離れるほど透過率が高くなる面を表した第1認識壁画像を合成する。
本開示の一実施形態に係る車両は、表示システムを備える。表示システムは、車両の後方を撮像して第1映像を生成する撮像素子と、第1映像上の表示領域に含まれる路面部分に、車両の予測進路を示すガイド画像を合成する制御部と、ガイド画像が合成された表示領域の映像を表示する表示装置と、を備え、第1映像内の検出対象とガイド画像との間に、路面から高さ方向に所定の距離延び、路面から高さ方向に距離が離れるほど透過率が高くなる面を表した第1認識壁画像を合成する。
本開示の一実施形態に係る画像処理装置、撮像装置、および表示システムよれば、移動体の外部領域の映像を表示する技術の利便性が向上する。
本発明の一実施形態に係る表示システムの概略構成を示すブロック図である。 表示システムを備える車両を左側方から見た図である。 図1の表示装置の外観を概略的に示す図である。 第1映像の第1例を示す図である。 図4の第1映像の表示領域に対応する第2映像の第1例を示す図である。 検出対象に重畳される第3マーカの例を示す図である。 検出対象の周囲に表示される第1マーカおよび第2マーカの第1例を示す図である。 検出対象の周囲に表示される第1マーカおよび第2マーカの第2例を示す図である。 検出対象の周囲に表示される第1マーカおよび第2マーカの第3例を示す図である。 第1映像の第2例を示す図である。 図10の第1映像の表示領域に対応する第2映像の第2例を示す図である。 第1映像の第3例を示す図である。 図12の第1映像の表示領域に対応する第2映像の第3例を示す図である。 第1映像の第4例を示す図である。 図14の第1映像の表示領域に対応する第2映像の第4例を示す図である。 第1映像の第5例を示す図である。 図16の第1映像の表示領域に対応する第2映像の第5例を示す図である。 図16の第1映像の表示領域に対応する第2映像の他の例を示す図である。 第1映像の第6例を示す図である。 図19の第1映像の表示領域に対応する第2映像の第6例を示す図である。 第2映像の他の例を示す図である。 第2映像の第6例の第1変形例を示す図である。 第2映像の第6例の第2変形例を示す図である 第2映像の第6例の第3変形例を示す図である。 第1映像の第7例を示す図である。 図25の第1映像の表示領域に対応する第2映像の第7例を示す図である。 第1映像の第8例を示す図である。 車両および被検出物の位置関係を示す図である。 図24の第1映像の表示領域に対応する第2映像の第8例を示す図である。 第2映像の第8例の変形例を示す図である。 第30図の表示範囲をワイドビュー表示に変更した例を示す図である。
以下、本発明の実施形態について、図面を参照して説明する。
(表示システム)
図1を参照して、本発明の一実施形態に係る表示システム10について説明する。
図1に示すように、表示システム10は、撮像装置20と、画像処理装置30と、表示装置40と、を備える。撮像装置20および表示システム10の各構成要素は、例えばネットワーク51を介して情報を送受信可能である。ネットワーク51は、例えば無線、有線、またはCAN(Controller Area Network)等を含んでよい。
他の実施形態において、表示システム10の一部または全部の構成要素が、1つの装置として一体的に構成されてよい。例えば、撮像装置20または表示装置40に、画像処理装置30を内蔵させる構成等が考えられる。
図2に示すように、撮像装置20、画像処理装置30、および表示装置40は、移動体50に備えられてよい。本開示における「移動体」は、例えば車両、船舶、および航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、および滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、およびトロリーバス等を含んでよい。産業車両は、例えば農業および建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフトおよびゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット、ボート、およびタンカー等を含んでよい。航空機は、例えば固定翼機および回転翼機等を含んでよい。
撮像装置20は、移動体50の外部領域を撮像可能である。撮像装置20の位置は、移動体50の内部および外部において任意である。例えば図2に示すように、撮像装置20は、移動体50の後方の外部領域を撮像可能な移動体50の後方に位置する。画像処理装置30の位置は、移動体50内において任意である。表示装置40は、対象者60によって視認可能である。表示装置40の位置は、移動体50において任意である。例えば図2に示すように、表示装置40は、移動体50のダッシュボードの中に位置する。
(撮像装置)
撮像装置20について詳細に説明する。例えば図1に示すように、撮像装置20は、撮像光学系21と、撮像素子22と、通信部23と、制御部24とを備える。
撮像光学系21は、被写体像を結像させる。例えば、撮像光学系21は、絞りおよび1つ以上のレンズを含んでよい。
撮像素子22は、2次元配列された複数の画素を有する。撮像素子22は、例えばCCD(Charge Coupled Device)撮像素子またはCMOS(Complementary Metal Oxide Semiconductor)撮像素子を含んでよい。撮像素子22は、撮像光学系21によって結像される被写体像を撮像して、撮像画像を生成可能である。
通信部23は、外部装置と通信可能な通信インタフェースを含んでよい。通信部23は、ネットワーク51を介して情報の送受信が可能であってよい。外部装置は、例えば画像処理装置30を含んでよい。本開示における「通信インタフェース」は、例えば物理コネクタ、および無線通信機を含んでよい。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、および電磁波による伝送に対応した電磁コネクタを含んでよい。電気コネクタは、IEC60603に準拠するコネクタ、USB規格に準拠するコネクタ、RCA端子に対応するコネクタ、EIAJ CP−1211Aに規定されるS端子に対応するコネクタ、EIAJ RC−5237に規定されるD端子に対応するコネクタ、HDMI(登録商標)規格に準拠するコネクタ、およびBNC(British Naval ConnectorまたはBaby-series N Connector等)を含む同軸ケーブルに対応するコネクタを含んでよい。光コネクタは、IEC 61754に準拠する種々のコネクタを含んでよい。無線通信機は、Bluetooth(登録商標)、およびIEEE802.11を含む各規格に準拠する無線通信機を含んでよい。無線通信機は、少なくとも1つのアンテナを含む。
制御部24は、1つ以上のプロセッサを含む。本開示における「プロセッサ」は、特定の処理に特化した専用のプロセッサ、および特定のプログラムを読み込むことによって特定の機能を実行する汎用のプロセッサを含んでよい。専用のプロセッサには、DSP(Digital Signal Processor)および特定用途向けIC(ASIC;Application Specific Integrated Circuit)が含まれてよい。プロセッサには、プログラマブルロジックデバイス(PLD;Programmable Logic Device)が含まれてよい。PLDには、FPGA(Field-Programmable Gate Array)が含まれてよい。制御部24は、1つまたは複数のプロセッサが協働するSoC(System-on-a-Chip)、およびSiP(System In a Package)のいずれかであってよい。
制御部24は、撮像装置20全体の動作を制御する。制御部24は、任意のフレームレートで、撮像素子22に撮像画像を生成させてよい。当該フレームレートは、例えば、表示装置40が表示可能なフレームレートに略一致してよい。制御部24は、生成された撮像画像に対して、所定の画像処理を実行してよい。当該画像処理は、例えば露出調整処理、ホワイトバランス処理、および歪み補正処理等を含んでよい。制御部24は、通信部23を介して画像処理装置30へ、撮像画像を出力する。例えば、制御部24は、上述のフレームレートで撮像画像を順次に出力してよい。以下、上述のフレームレートで出力される各撮像画像を、単にフレームともいう。撮像装置20から出力される当該複数の撮像画像を、第1映像ともいう。例えばフレームレートが60fps(Flame per Seconds)である場合、1秒あたり60枚の撮像画像が第1映像として出力される。
(画像処理装置)
画像処理装置30について詳細に説明する。画像処理装置30は、通信部31と、記憶部32と、制御部33とを備える。
通信部31は、多様な外部装置と通信可能な通信インタフェースを含んでよい。外部装置は、例えば撮像装置20、表示装置40、移動体50に備えられたECU(Electronic Control UnitまたはEngine Control unit)、速度センサ、加速度センサ、回転角センサ、ステアリング舵角センサ、エンジン回転数センサ、アクセルセンサ、ブレーキセンサ、照度センサ、雨滴センサ、走行距離センサ、ミリ波レーダ、超音波ソナー等を用いた障害物検出装置、ETC(Electronic Toll Collection System)受信装置、GPS(Global Positioning System)装置、ナビゲーション装置、インターネット上のサーバ、携帯電話等を含んでよい。
通信部31は、歩車間通信、路車間通信および車車間通信のための通信インタフェースを含んでよい。通信部31は、日本において提供されるDSRC(Dedicated Short-Range Communication:狭帯域通信システム)およびVICS(登録商標)(Vehicle Information and Communication System)の光ビーコンに対応した受信機を含んでよい。通信部31は、他の国の道路交通情報提供システムに対応した受信機を含んでよい。
通信部31は、外部装置から多様な情報を取得可能であってよい。例えば、通信部31は、移動体情報および環境情報を取得可能であってよい。
移動体情報は、移動体50に関する任意の情報を含んでよい。移動体情報は、例えば移動体50の速度、加速度、旋回重力、傾き、方角、および旋回状況、ステアリングホイールの舵角、冷却水の温度、燃料の残量、バッテリの残量、バッテリの電圧、エンジン回転数、ギアポジション、リバース信号の有無、アクセル操作の有無、アクセル開度、ブレーキ操作の有無、ブレーキ踏度、パーキングブレーキの作動有無、前後輪もしくは4輪の回転数差、タイヤ空気圧、ダンパの伸縮量、運転手の目の空間位置、乗員の数および座席位置、シートベルトの装着情報、ドアの開閉、窓の開閉、車内温度、空調の動作有無、空調の設定温度、空調の送風量、外気循環の設定、ワイパーの作動状況、走行モード、外部機器との接続情報、現在時刻、平均燃費、瞬間燃費、各種ランプの点灯状態、移動体50の位置情報、ならびに移動体50の目的地までの経路情報等を含んでよい。各種ランプは、例えばヘッドランプ、フォグランプ、バックランプ、ポジションランプ、およびターンシグナルを含んでよい。
環境情報は、移動体50の外部環境に関する任意の情報を含んでよい。環境情報は、例えば移動体50の周囲の明るさ、天気、気圧、外気温度、地図情報、交通情報、道路工事情報、走行路の制限速度の一時的な変更、他の車両が検出した対象物、および信号機の点灯状態等を含んでよい。
記憶部32は、一時記憶装置および二次記憶装置を含んでよい。記憶部32は、例えば半導体メモリ、磁気メモリ、および光メモリ等を用いて構成されてよい。半導体メモリは、揮発性メモリおよび不揮発性メモリを含んでよい。磁気メモリは、例えばハードディスクおよび磁気テープ等を含んでよい。光メモリは、例えばCD(Compact Disc)、DVD(Digital Versatile Disc)、およびBD(Blu-ray Disc)(登録商標)等を含んでよい。記憶部32は、画像処理装置30の動作に必要な種々の情報およびプログラムを記憶する。
制御部33は、1つ以上のプロセッサを含む。制御部33は、画像処理装置30全体の動作を制御する。
制御部33は、通信部31を介して外部装置から、移動体情報および環境情報を取得してよい。制御部33は、例えば移動体情報に基づいて、移動体50の予測進路を決定してよい。以下、移動体50の予測進路を、第1予測進路ともいう。
制御部33は、通信部31を介して撮像装置20から、第1映像を取得してよい。第1映像は、検出領域と表示領域とを含む。
制御部33は、取得された第1映像上の検出領域内において、検出対象の少なくとも一部を検出してよい。第1映像上の検出領域は、第1映像の各フレームである撮像画像上の少なくとも一部の領域であってよい。第1映像の各フレームは、撮像画像と呼びうる。第1映像上の検出領域は、表示領域より大きくてよい。第1映像上の検出領域は、表示領域を包含してよい。制御部33は、表示領域の内側において検出対象を検出し得る。制御部33は、表示領域の外側であって検出領域の内側において、検出対象を検出し得る。検出領域および表示領域の内側の領域は、第1領域と呼びうる。検出領域の内側であって表示領域の外側の領域は、第2領域と呼び得る。
検出対象は、複数の種類の物体を含んでよい。物体の種類は、例えば人、他の移動体、走行路、車線、白線、側溝、歩道、横断歩道、道路標識、交通標識、ガードレール、壁、および信号機等を含んでよい。制御部33が検出可能な検出対象の種類は、これらに限られない。検出対象の少なくとも一部は、例えば第1映像上の検出対象の一部が他の物体の陰に隠れている場合において、当該検出対象の、当該他の物体の陰に隠れていない部分を含んでよい。例えば、制御部33は、第1映像上で歩行者の下半身が障害物の陰に隠れている場合に、当該歩行者の上半身を検出可能であってよい。検出対象の少なくとも一部の検出には、任意の物体検出アルゴリズムが採用可能であってよい。例えば、制御部33は、第1映像の各フレームである撮像画像を用いたパターンマッチングまたは特徴点抽出等のアルゴリズムによって、検出対象の少なくとも一部を検出してよい。
制御部33は、第1映像上で検出対象の少なくとも一部が検出されると、第1映像に基づいて、当該検出対象の予測進路を決定してよい。以下、検出対象の予測進路を、第2予測進路ともいう。第2予測進路の決定には、任意のアルゴリズムが採用可能であってよい。例えば、制御部33は、第1映像の各フレームである撮像画像上の、検出対象の向きおよび位置の変化に基づいて、第2予測進路を決定してよい。
制御部33は、第1映像上で検出対象の少なくとも一部が検出されると、第1映像に基づいて、移動体50および当該検出対象の相対的位置関係を推定してよい。相対的位置関係は、例えば移動体50と検出対象との間の距離、および、移動体50の第1予測進路と検出対象の第2予測進路との重なりの有無等を含んでよい。移動体50と検出対象との間の距離の推定には、任意のアルゴリズムが採用可能であってよい。例えば、制御部33は、第1映像信号の各フレームである撮像画像を用いて、モーションステレオ法によって、移動体50と検出対象との間の距離を推定してよい。他の実施形態において、制御部33は、通信部31を介して外部装置から、移動体50および当該検出対象の相対的位置関係を示す情報を取得してよい。
制御部33は、移動体50と検出対象との間の距離が減少する場合、当該距離の減少に対して移動体50と検出対象との何れの寄与が大きいかを判定してよい。当該距離の減少に対する移動体50および検出対象の寄与の決定には、任意のアルゴリズムが採用可能であってよい。一例において、制御部33は、移動体情報に基づいて、移動体50の移動速度を検出してよい。制御部33は、例えば第1映像の各フレームである撮像画像上の検出対象の位置の変化に基づいて、当該検出対象の移動速度を検出してよい。制御部33は、当該距離の減少に対して、移動体50および検出対象のうち何れか移動速度が大きい一方の寄与が大きいと判定してよい。他の例において、制御部33は、移動体50の移動速度が基準値未満である場合、当該距離の減少に対して検出対象の寄与が大きいと判定してよい。制御部33は、移動体50の移動速度が基準値以上である場合、当該距離の減少に対して移動体50の寄与が大きいと判定してよい。当該基準値は、任意に定められてよいが、例えば略ゼロに定められてよい。当該距離の減少に対する移動体50および検出対象の寄与に応じた画像処理装置30の動作の詳細については後述する。
制御部33は、第1映像上で検出対象の少なくとも一部が検出されると、第1映像に基づいて、移動体50と当該検出対象とが接触する可能性があるか否かを判定してよい。移動体50と検出対象とが接触する可能性の決定には、任意のアルゴリズムが採用可能であってよい。例えば、制御部33は、移動体50と検出対象との間の距離が所定の閾値未満であるとの条件、および、当該距離の減少速度が所定の閾値以上であるとの条件の少なくとも一方が満たされる場合、移動体50と検出対象とが接触する可能性があると判定してよい。当該可能性の有無に応じた画像処理装置30の動作の詳細については後述する。
制御部33は、撮像装置20から取得された第1映像上の表示領域に対応する第2映像を、表示装置40に表示させてよい。具体的には、制御部33は、通信部31を介して、第2映像を表示装置40へ出力してよい。例えば、制御部33は、移動体情報に基づいて移動体50の後進を検出すると、第2映像を表示装置40に表示させてよい。例えば、制御部33は、変速ギアのシフトポジションに基づいて後進を検出し得る。例えば、制御部33は、後進の際に移動体から出力されるリバース信号に基づいて後進を検出し得る。第2映像は、例えば第1映像の各フレームである撮像画像上の表示領域を切り出した映像であってよい。第1映像上の表示領域は、第1映像の各フレームである撮像画像上の少なくとも一部の領域であってよい。表示領域は、検出領域よりも小さくてよい。表示領域は、検出領域に包含されてよい。表示領域の位置、形状、および大きさは、任意に定め得る。制御部33は、表示領域の位置、形状、および大きさを変化させ得る。表示領域の位置、形状、および大きさが変化することによって、例えば表示領域と検出領域とが略一致してもよい。
制御部33は、種々のマーカを、第2映像に合成して表示装置40に表示させてよい。合成には、上書きおよび混合が含まれる。マーカは、例えば1つ以上の画像を含んでよい。制御部33は、第2映像に重畳するマーカの少なくとも一部の表示態様を、動的に変化させてよい。表示態様は、例えば第2映像上のマーカの少なくとも一部の位置、大きさ、形状、色、および濃淡等を含んでよい。制御部33は、第1映像上で検出された検出対象に対応するマーカを表示する場合、当該検出対象の種類に応じて、当該マーカの表示態様を決定してよい。種々のマーカを表示装置40に表示させる画像処理装置30の動作の詳細については後述する。
(表示装置)
表示装置40について詳細に説明する。表示装置40は、例えば液晶ディスプレイおよび有機EL(Electroluminescence)ディスプレイ等を含んでよい。表示装置40は、例えばネットワーク51を介して画像処理装置30から入力される第2映像を表示してよい。表示装置40は、ユーザによる操作を受付可能なタッチスクリーンとして機能してよい。表示装置40は、ユーザによる操作を受付可能なスイッチおよびキーを含んでよい。スイッチは、物理スイッチおよび電子スイッチを含んでよい。キーは、物理キーおよび電子キーを含んでよい。表示装置40は、自装置に対するユーザの操作を受け付けると、当該操作に基づくユーザ入力を画像処理装置30へ送信してよい。
表示装置40は、移動体50の種々の場所に配置することが可能である。図3Aから図3Eは、移動体50が車両である場合の、表示装置40の配置の例を示す図である。図3Aは、車両のダッシュボード内に格納されたインダッシュボード型の表示装置40aを示す。図3Bは、ダッシュボードの上に配置されたオンダッシュボード型の表示装置40bを示す。図3Bでは、表示装置40bは車両50に組み込まれている。表示装置40bはダッシュボード上に着脱可能に取り付けられていてよい。図3Cは、ルームミラーに内蔵され、必要に応じて映像を表示することが可能な表示装置40cを示す。図4Dは、インスツルメンツパネル内に内蔵された表示装置40dを示す。図4Dにおいて、表示装置40dはスピードメータおよびタコメータ等の計器類に隣接して配置される。一実施形態において、インスツルメンツパネル全体をLCD等の表示装置40dとして、その中にスピードメータおよびタコメータ等の画像と共に第2映像を表示するようにしてよい。図4Eは、携帯型情報端末、例えばタブレット端末を用いた表示装置40eを示す。表示装置40eには、携帯電話のディスプレイを使用しうる。
図4乃至図18を参照して、画像処理装置30が表示装置40に表示させる第2映像および種々のマーカについて、具体的に説明する。本開示において、映像または画像について「上下方向」および「左右方向」との文言は、当該映像または当該画像における2次元方向に対応する。本開示において、映像または画像について「高さ方向」、「水平方向」、および「奥行き方向」との文言は、当該映像または当該画像が映す空間の3次元方向に対応する。
(第1例(参考例))
図4は、画像処理装置30が撮像装置20から取得した第1映像における検出領域61の第1例を示す。図4に示す例では、検出領域61は、上下方向に比べて左右方向に長い。表示領域62は、検出領域61の左右方向における中央に位置する。制御部33は、第1映像上の表示領域62の内側に映っている歩行者63および車両64それぞれを、検出対象として検出してよい。
制御部33は、第1映像上の表示領域62の内側で検出された検出対象と、移動体50と、の相対的位置関係に基づいて、1つ以上の条件が満たされているか否かを判定する。1つ以上の条件は、例えば検出対象が移動体50の第1予測進路65内に位置するとの第1条件を含んでよい。1つ以上の条件は、例えば移動体50の第1予測進路65の少なくとも一部と、検出対象の第2予測進路の少なくとも一部と、が重なるとの第2条件を含んでよい。当該1つ以上の条件が満たされると判定された場合、制御部33は、検出対象に対応する所定のマーカを、第2映像に重畳して表示装置40に表示させてよい。所定のマーカは、第1マーカ、第2マーカ、および第3マーカを含んでよい。
第1例において、制御部33は、歩行者63について当該1つ以上の条件が満たされていると判定し得る。かかる場合、制御部33は、歩行者63に対応するマーカを表示させてよい。制御部33は、車両64について当該1つ以上の条件が満たされていないと判定し得る。かかる場合、制御部33は、車両64に対応するマーカを表示しない。
図5は、図4に示す第1映像の表示領域62に対応する第2映像の例を示す。制御部33は、第1映像の表示領域62のアスペクト比と、表示装置40の画面のアスペクト比とが異なる場合、第1映像の表示領域62を切り出した後、表示装置40の画面のアスペクト比に合わせて変形した第2映像を、表示装置40へ出力してよい。図5に示すように、第2映像上に、歩行者63および車両64が映っている。
制御部33は、例えば図4に示す移動体50の第1予測進路65の少なくとも一部を示すガイド線66を、第2映像に重畳させて表示装置40に表示させてよい。制御部33は、例えばステアリングホイールの舵角の変化に応じて、ガイド線66を動的に変化させてよい。
第1映像は、表示領域62に比べて範囲が広い。制御部33は、表示領域62の範囲を変更し得る。制御部33は、第2映像にアイコン画像67を重畳させて表示装置40に表示させてよい。例えば図5に示すアイコン画像67の輪郭67aは、表示領域62の範囲を変更した際の最大範囲を示す。アイコン画像67の白い長方形67bは、表示領域62を示す。図5に示すアイコン画像67は、表示領域62の最大範囲に対する表示領域62の相対的な位置および大きさを示す。
図6は、例えば第2映像上の歩行者63に重畳されるマーカの例を示す。以下、当該マーカを、第3マーカ68ともいう。第3マーカ68の輪郭線69は、第2映像上で検出された歩行者63の輪郭線に略一致してよい。第3マーカ68の輪郭線69の内側の領域70は、例えば検出対象の種類である「人」に対応する色またはパターンで塗り潰されてよい。制御部33は、第1映像上で歩行者63が検出されると、第2映像上の歩行者63に第3マーカ68を重畳して表示装置40に表示させてよい。かかる構成によれば、対象者60は、第2映像上の歩行者63を容易に視認可能となる。制御部33は、第3マーカ68を表示させてから所定時間が経過すると、当該第3マーカ68を非表示にしてよい。
図7は、例えば第2映像上の歩行者63の周辺に重畳される2種類のマーカの例を示す。以下、当該2種類のマーカそれぞれを、第1マーカ71および第2マーカ72ともいう。制御部33は、例えば第3マーカ68を非表示にした後に、第1マーカ71および第2マーカ72を、第2映像に重畳して表示装置40に表示させてよい。
制御部33は、第2映像上の歩行者63に追従して、第1マーカ71の位置を移動させてよい。対象者60は、第1マーカ71が歩行者63に追従するので、歩行者63を捕らえやすい。第1マーカ71は、歩行者63の周囲に歩行者63から離れて表示される。対象者60は、第1マーカ71が表示装置40に表示されているときに、歩行者63の振る舞いを把握しやすい。制御部33は、第2映像上の第1マーカ71の重畳位置に対して、第2マーカ72の重畳位置を相対的に変化させてよい。制御部33は、第1マーカ71の位置を基準にして、第2マーカを相対的に移動させてよい。
例えば、制御部33は、移動体50と歩行者63との間の距離が減少しているときに、当該距離の減少に対して移動体50の寄与が大きいと判定し得る。かかる場合、制御部33は、第2マーカ72を第1マーカ71に向かって移動させてよい。まず、制御部33は、第1マーカ71から離れた位置に第2マーカ72を表示させる。次に、制御部33は、第1マーカ71との距離が所定距離になるまで、第2マーカ72を第1マーカ71に向かって移動させる。次に、制御部33は、第2マーカ72を消す。次に、制御部33は、再び第1マーカ71から離れた位置に第2マーカ72を表示させ、上述の処理を繰り返す。この例において、第2マーカ72は、第1マーカ71という対象物に向かって移動しているため、対象者60は、第2マーカ72が第1マーカ71に向かって近づいていると理解し得る。
例えば、制御部33は、移動体50と歩行者63との間の距離が減少しているときに、当該距離の減少に対して歩行者63の寄与が大きいと判定し得る。かかる場合、制御部33は、第2マーカ72を第1マーカ71から離れるように移動させてよい。まず、制御部33は、第1マーカ71に近い位置に第2マーカ72を表示させる。次に、制御部33は、第1マーカ71との距離が所定距離になるまで、第2マーカ72を第1マーカ71から離れるように移動させる。次に、制御部33は、第2マーカ72を消す。次に、制御部33は、再び第1マーカ71に近い位置に第2マーカ72を表示させ、上述の処理を繰り返す。この例において、第2マーカ72は、第1マーカ71という対象物から移動しているため、対象者60は、第2マーカ72が第1マーカ71に向かって離れていると理解し得る。
制御部33は、移動体50と歩行者63との間の距離の減少に対する移動体50および歩行者63の寄与の多寡に応じて、第1マーカ71に対する第2マーカ72の移動方向を変更する。対象者60は、第2マーカ72の移動方向に応じて、例えば移動体50が歩行者63に近付いているのか、または歩行者63が移動体50に近付いているのかを識別可能となる。
制御部33は、例えば図8に示すように、第2映像上の第1マーカ71を中心として第2マーカ72の拡大または縮小を繰り返してよい。制御部33は、例えば図9に示すように、歩行者63の輪郭線69と同様の形状を有する第1マーカ71および第2マーカ72を第2映像に重畳してよい。制御部33は、当該第1マーカ71を中心として第2マーカ72の拡大または縮小を繰り返してよい。制御部33は、移動体50と歩行者63との間の距離の減少に対する移動体50および歩行者63の寄与の多寡に応じて、第2マーカ72の拡大または縮小を切り替える。
制御部33は、第1マーカ71および第2マーカ72を表示している検出対象と移動体50との間の距離が所定の閾値未満となった場合、新たなマーカを第2映像に重畳してよい。以下、当該新たなマーカを第4マーカともいう。第4マーカは、任意の画像を含んでよい。例えば、第4マーカは、感嘆符「!」を示す画像を含んでよい。かかる構成によれば、例えば第1マーカ71および第2マーカ72を表示している歩行者63と移動体50とが一定程度以上近付くと、第4マーカが第2映像に重畳して表示される。対象者60は、第4マーカによって、例えば歩行者63が移動体50の近傍に位置することを識別可能となる。他の実施形態において、制御部33は、第1マーカ71および第2マーカ72を表示している検出対象と移動体50との間の距離が所定の閾値未満となった場合、当該第1マーカ71および第2マーカ72の表示態様を変化させてよい。制御部33は、例えば、第1マーカ71および第2マーカ72の色を変化させてよい。かかる構成によっても、対象者60は、マーカの色の変化によって、例えば歩行者63が移動体50の近傍に位置することを識別可能となる。
制御部33は、奥行き方向の前後に並んだ2つの検出対象を検知し得る。制御部33は、前後に位置する2つの検出対象のそれぞれに、第1マーカ71および第2マーカ72を表示させてよい。制御部33は、2つの検出対象に対して、異なる第1マーカ71および第2マーカ72を付し得る。例えば、制御部33は、奥側に位置する第1の検出対象に対して、手前側に位置する第2の検出対象に付す第1マーカ71および第2マーカ72より目立たない第1マーカ71および第2マーカ72を付し得る。例えば、制御部33は、手前側に位置する第2の検出対象に付す第1マーカ71および第2マーカ72より、奥側に位置する第1の検出対象に付す第1マーカ71および第2マーカ72の、色を暗く、透過率を高く、線を細くする等の変更をし得る。
(第2−第4例(参考例))
図10は、画像処理装置30が撮像装置20から取得した第1映像における検出領域61の第2例を示す。図10に示す例では、検出領域61は、上下方向に比べて左右方向に長い。表示領域62は、検出領域61の左右方向における中央に位置する。制御部33は、第1映像上の表示領域62の内側に映っている歩行者63aと、表示領域62の外側であって検出領域61の内側に映っている歩行者63bおよび63cとを、それぞれ検出対象として検出してよい。歩行者63aに関する制御部33の処理は、例えば図4に示す歩行者63に関する処理と同様である。
制御部33は、検出対象が検出された第1映像上の検出位置が、表示領域62の外側且つ検出領域61の内側である場合、検出対象に対応するマーカを第2映像に重畳して表示装置40に表示させてよい。以下、当該マーカを第5マーカともいう。制御部33は、移動体50と当該検出対象とが接触する可能性があると判定された場合に、第5マーカを表示させてよい。制御部33は、当該検出対象が検出された第1映像上の検出位置が、表示領域62よりも右側にある場合、第5マーカを、第2映像上の右端に重畳して表示装置40に表示させてよい。制御部33は、当該検出対象が検出された第1映像上の検出位置が、表示領域62よりも左側にある場合、第5マーカを、第2映像上の左端に重畳して表示装置40に表示させてよい。
第2例において、歩行者63bが検出された検出位置は、表示領域62よりも右側にある。制御部33は、移動体50と歩行者63bとが接触する可能性があると判定し得る。かかる場合、制御部33は、歩行者63bに対応する第5マーカを、第2映像上の右端に重畳して表示装置40に表示させてよい。歩行者63bに対応する第5マーカの詳細については後述する。歩行者63cが検出された検出位置は、表示領域62よりも左側にある。制御部33は、移動体50と歩行者63cとが接触する可能性がないと判定し得る。かかる場合、制御部33は、歩行者63bに対応する第5マーカを表示させなくてよい。
図11は、図10に示す第1映像の表示領域62に対応する第2映像の例を示す。図11に示すように、第2映像上に歩行者63aが映っている。第2映像上に歩行者63bおよび63cは映っていない。
図11に示すように、制御部33は、例えば障害物画像74を第2映像に重畳して表示装置40に表示させてよい。障害物画像57は、移動体50に備えられた超音波ソナー等を用いた障害物検出装置の検出結果を示す。障害物画像74は、画像74aと、画像74bと、画像74cとを含み得る。画像74aは、移動体50を上方から俯瞰した画像である。画像74bは、移動体50の左後方に障害物が検出されたことを示す画像である。画像74cは、移動体50の右後方に障害物が検出されたことを示す画像である。障害物検出装置による障害物の検出結果と、制御部33による検出対象の検出結果とは、必ずしも一致しなくてよい。例えば図11に示す例では、障害物画像74は、移動体50の右後方および左後方に、それぞれ障害物が検出されたことを示す。一方、制御部33は、移動体50の左後方に存在する歩行者63cについては、移動体50と接触する可能性がないと判定し得る。かかる場合、制御部33は、歩行者63cに対応する第5マーカを表示させなくてよい。
歩行者63bに対応する第5マーカ73の例を図11に示す。第5マーカ73は、アイコン画像73aと、帯画像73bと、を含んでよい。アイコン画像73aは、検出対象の種類である「人」に対応する画像であってよい。アイコン画像73aを視認した対象者60は、第2映像よりも右方に人が存在することを認識可能である。帯画像73bは、例えば第2映像上の上下方向に延びる帯状の画像である。帯画像73bは、例えば検出対象の種類である「人」に対応する色またはパターンで塗り潰されてよい。制御部33は、第2映像上の右端領域73c内において、帯画像73bを移動させてよい。制御部33は、帯画像73bの移動速度および幅を変化させてよい。
第5マーカ73について詳細に説明する。制御部33は、移動体50と歩行者63bとの間の距離に応じて、帯画像73bの幅を決定してよい。例えば、制御部33は、当該距離が近付くほど、帯画像73bの幅を太くしてよい。帯画像73bを視認した対象者60は、帯画像73bの幅に基づいて、移動体50と歩行者63bとの間の距離を認識可能である。
制御部33は、移動体50と歩行者63bとの間の距離の減少に対して、例えば移動体50の寄与が大きいと判定し得る。かかる場合、制御部33は、第2映像上の右端領域73c内において、帯画像73bを第1方向に繰り返し移動させる。第1方向は、例えば第2映像上の左右方向において外側から内側に向かう方向であってよい。制御部33は、移動体50と歩行者63bとの間の距離の減少に対して、例えば歩行者63bの寄与が大きいと判定し得る。かかる場合、制御部33は、第2映像上の右端領域73c内において、帯画像73bを第2方向に繰り返し移動させる。第2方向は、例えば第2映像上の左右方向において内側から外側に向かう方向であってよい。帯画像73bを視認した対象者60は、帯画像73bの移動方向に基づいて、移動体50が歩行者63bに近付いているのか、または歩行者63bが移動体50に近付いているのかを認識可能である。
制御部33は、移動体50と歩行者63bとの間の距離の減少速度に応じて、帯画像73bの移動速度を決定してよい。例えば、当該距離の減少速度が速いほど、帯画像73bの移動速度を速くしてよい。帯画像73bを視認した対象者60は、帯画像73bの移動速度に基づいて、移動体50と歩行者63bとの間の距離の減少速度を認識可能である。
制御部33は、第5マーカ73を表示させた状態において、例えば所定のユーザ操作に応じたユーザ入力を検出すると、第1映像上の歩行者63bの検出位置が表示領域62の内側に含まれるように表示領域62を変化させてよい。例えば図12に示すように、制御部33は、第1映像上の表示領域62を左右方向に長くし、表示領域62を検出領域61内の右側に寄せてよい。かかる構成によって、例えば図13に示すように、第2映像上に歩行者63bが映る。
上述した所定のユーザ操作は、任意のユーザ操作を含んでよい。例えば、上述した所定のユーザ操作は、移動体50のステアリングの舵角を変化させる第1ユーザ操作を含んでよい。第5マーカ73は、第2ユーザ操作を受け付けるGUI(Graphic User Interface)として機能してよい。以下、GUIをインタフェース画像ともいう。かかる場合、上述した所定のユーザ操作は、第2ユーザ操作を含んでよい。
制御部33は、第1映像上の歩行者63bの検出位置が表示領域62の内側に含まれるように、表示領域62を自動的に変化させてよい。この場合、制御部33は、第1映像の検出領域61において歩行者63bが検出されなくなるまで、表示領域62の自動変更を維持し得る。
制御部33は、例えば図13に示すように、表示領域62の変化に応じてアイコン画像67を変化させてよい。
制御部33は、例えば表示装置40に対するピンチイン操作およびピンチアウト操作等に応じて、第1映像上の表示領域62を変化させてよい。例えば図14に示すように、制御部33は、表示領域62を検出領域61に略一致させてよい。かかる場合、例えば図15に示すように、検出領域61内の全ての検出対象が表示装置40に表示される。
(第5例(参考例))
図16は、画像処理装置30が撮像装置20から取得した第1映像における検出領域61の第5例を示す。図16に示す例では、検出領域61は、上下方向に比べて左右方向に長い。表示領域62は、検出領域61の左右方向における中央に位置する。制御部33は、移動体50の第1予測進路65内に映っている車両64aと、第1予測進路65外に映っている車両64bおよび歩行者63dとを、それぞれ検出対象として検出してよい。
第5例では、例えば夜間またはトンネル内等、移動体50の外部領域が暗い場合について説明する。移動体50の外部領域が暗い場合、第1映像および第2映像の特性値が低下する場合がある。特性値は、映像の視認性に関する任意のパラメータを含んでよい。例えば、特性値は、例えば映像の輝度値およびコントラスト比のうち少なくとも一方を含んでよい。第2映像の特性値が低下すると、第2映像の視認性が低下し得る。
制御部33は、第2映像上の検出対象に対応する領域に対して、特定画像処理を実行してよい。特定画像処理は、検出対象に対応するマーカを当該領域に重畳する第1処理を含んでよい。以下、当該マーカを第6マーカともいう。第6マーカは、例えば第2映像上の検出対象の輪郭形状に略一致する画像を含んでよい。かかる構成によれば、第2映像上の検出対象に第6マーカが重畳して表示される。このため、対象者60は、第2映像の特性値が低い場合であっても、第2映像上の検出対象を容易に認識可能である。特定画像処理は、第2映像上の検出対象に対応する当該領域の特性値を変化させる第2処理を含んでよい。例えば、制御部33は、第2映像上の当該領域の視認性を向上させるように、当該領域の特性値を変化させてよい。かかる構成によれば、第2映像上の検出対象の視認性が向上する。このため、対象者60は、第2映像の特性値が低い場合であっても、第2映像上の検出対象を容易に認識可能である。
制御部33は、1つ以上の条件が満たされる場合に、上述の特定画像処理を実行してよい。1つ以上の条件は、検出対象が移動体50の第1予測進路65内に位置するとの条件を含んでよい。1つ以上の条件は、移動体50の第1予測進路65と、検出対象の第2予測進路とが重なるとの条件を含んでよい。1つ以上の条件は、移動体50と検出対象との間の距離が所定の閾値未満であるとの条件を含んでよい。1つ以上の条件は、第2映像の少なくとも一部の領域の特性値が、所定の閾値未満であるとの条件を含んでよい。
第5例において、制御部33は、車両64a、64b、および歩行者63dそれぞれについて、上述した1つ以上の条件が満たされると判定し得る。かかる場合、制御部33は、例えば図17に示すように、車両64a、64b、および歩行者63dにそれぞれ対応する3つの第6マーカ75a、75b、および75cを、第2映像に重畳して表示装置40に表示させてよい。制御部33は、明るい場所において、検出対象に第6マーカを重ねて表示させてよい。
制御部33は、ガイド線66の形状を変更してよい。制御部33は、ガイド線66と検出対象とが重なる領域におけるガイド線66の形状を変更してよい。図18は、ガイド線66の形状例の1つである。図18のガイド線66は、ガイド線66と第6マーカ75aが重なっている領域に、ガイド線が表示されていない。ガイド線66の形状例は、消去に限られず、他のデザイン変更を許容する。デザイン変更には、色の変更、透過率の変更、破線等への種別の変更、線の太さの変更、および点滅等が含まれる。制御部33は、第6マーカが表示されていないときに、ガイド線66の形状を変更してよい。制御部33は、検出対象に第1マーカ71および第2マーカ72を表示しているときに、ガイド線66の形状を変更してよい。
以上述べたように、一実施形態に係る表示システム10によれば、第1映像上で検出された検出対象に応じた多様なマーカが、第2映像に重畳して表示装置40に表示される。マーカを視認する対象者60は、移動体50と検出対象との相対的位置関係を一見して認識可能である。このため、移動体50の外部領域の映像を表示する技術の利便性が向上する。
以下に図19乃至31を参照して、画像処理装置30が、第1映像上の表示領域にガイド壁画像80およびその他の画像を合成して表示装置40に表示させる種々の映像の例を、具体的に説明する。
(第6例)
図19は、画像処理装置30が撮像装置20から取得した第1映像における検出領域61の第6例を示す。撮像装置20は、車両である移動体50の後方を撮像するように配置されてよい。図19に示す例では、検出領域61は、上下方向に比べて左右方向に長い。表示領域62は、検出領域61の左右方向における中央に位置する。検出領域61は、上下方向に比べて左右方向に長い形状に限られず、正方形、縦長の矩形、円形等種々の形状が可能である。表示領域62は、種々の位置、大きさ、形状が可能である。例えば、表示領域62は検出領域61の中央に位置するとは限られず、左または右に寄っていてもよい。表示領域62は検出領域61の一部に限られず、検出領域61の全部を表示領域62としてよい。制御部33は、表示装置40に対するピンチイン操作およびピンチアウト操作等に応じて、第1映像上の表示領域62を変化させてよい。
制御部33は、撮像装置20から取得した第1映像上の表示領域に、移動体50の第1予測進路65を示すガイド壁画像80を合成して第2映像を生成する。制御部33は、第2映像にガイド壁画像80を重畳した画像を出力して表示装置40に表示させてよい。ガイド壁画像80は、移動体50が後進するときの予測進路を示すことができる。ガイド壁画像80は、対象者60に対して立体的な印象を与えるマーカである。ガイド壁画像80は、第1映像が映す実空間に配置した、予測進路をガイドする仮想的なガイド壁を、撮像装置20で撮像した場合の第1映像に投影した画像と考えうる。ガイド壁画像80は、対象者60の視野内において、路面から高さ方向に所定の高さまで延びる複数の仮想的な半透明の壁面からなるように視認されうる。ガイド壁画像80は、車両が後進する際に表示装置40に表示されるガイド線を、壁状の表示により立体的に表示したものともいえる。壁状の表示には、面、膜、板等の他の態様による表示を含む。ガイド壁画像80の立体的な表示によって、対象者60は路面上の駐車スペースの位置、障害物等までの距離等を把握することが容易になる。
制御部33は、第1映像の表示領域62内の検出対象を認識しうる。制御部33は、第1映像上の表示領域62の内側であって、第1予測進路65内に映っている検出対象を検出してよい。検出対象を検出した場合、制御部33は認識した検出対象の移動体50側に、仮想的な平面を第1認識壁画像83として合成しうる。第1認識壁画像83は、検出対象が移動したときは、検出対象と共に移動する。
図20は、図19に示す第1映像の表示領域62に対応する第2映像の例を示す。ガイド壁画像80は、第2映像の下端から上側に離れて配置される。ガイド壁画像80は、高さ方向および奥行き方向に延びる2つの側壁画像81a、81bを含んでよい。側壁画像81aは、水平方向の左側に位置し、側壁画像81bは水平方向の右側に位置する。2つの側壁画像81aおよび81bの間の領域は、車両である移動体50が通過する第1予測進路65を示す。側壁画像81aおよび81bの間の間隔は、移動体50の車幅を示すように設定されてよい。図20において側壁画像81aおよび81bは、直線的に表示されている。制御部33は、通信部31から移動体情報を取得して、予測される進路に応じて側壁画像81a、81bを湾曲させてよい。この場合、移動体情報は、ステアリングホイールの舵角を含む。
ガイド壁画像80は、高さ方向および水平方向に延び、移動体50からの奥行き方向の距離を示す複数の距離壁画像82a、82b、82cを含んでよい。距離壁画像82a、82b、82cは、側壁画像81aおよび81bの間を連結しうる。図20には3つの距離壁画像82a、82bおよび82cが示されうる。距離壁画像の数は3つに限られず、2つまたは4つ以上とすることができる。距離壁画像82aと82bとの奥行き方向の間隔は、距離壁画像82bと82cとの間の奥行き方向の間隔よりも狭くてよい。距離壁画像82a、82b、82cの高さ方向の長さは、側壁画像81aおよび81bの高さ方向の長さより長く、または、短くしうる。
ガイド壁画像80の各側壁画像81a、81bおよび距離壁画像82a、82b、82cの外周には枠が表示されてよい。ガイド壁画像80は、奥行き方向に延びる補助線84a、水平方向に延びる補助線84b、および、高さ方向に延びる補助線84cの少なくとも一種類を含んでよい。ガイド壁画像80は、奥行き方向に延びる補助線84a、水平方向に延びる補助線84b、および、高さ方向に延びる補助線84cの全てを含んでよい。
奥行き方向に延びる補助線84aは、側壁画像81a、81bの壁面に表示されうる。水平方向に延びる補助線84bは、距離壁画像82a、82b、82cの壁面に表示されうる。高さ方向に延びる補助線84cは、側壁画像81a、81bおよび距離壁画像82a、82b、82cの壁面に表示されうる。それぞれの補助線84a、84b、84cは、1以上の任意の数表示することができる。補助線84a、84b、84cの補助線が複数の場合、各補助線84a、84b、84cの間の間隔は、等間隔とすることができる。各補助線84a、84b、84cの間の間隔は、路面からの高さ、移動体50からの距離等の条件に応じて異ならせてよい。各側壁画像81a、81bおよび距離壁画像82a、82b、82cの外周に表示される枠は、複数の補助線84a、84b、84cの一部とみなしうる。図20および以下の図において、各補助線84a、84b、84cは、複数存在する場合でも、適宜それぞれ1つのみに符号を付している。
距離壁画像82aは、第1映像が映す実空間に写像したとき、他の距離壁画像82b、82cより移動体50に近い第1距離壁画像である。距離壁画像82aは、他の距離壁画像82b、82cと色を異ならせることができる。例えば、距離壁画像82b、82cは、半透明な白色で表示し、距離壁画像82aは半透明な赤色で表示することができる。側壁画像81a、81bは、半透明な白色で表示することができる。上記色の設定は例示であって、側壁画像81a、81bの色は、距離壁画像82b、82cと異なってよい。
側壁画像81a、81bの透過率は、奥行き方向の位置に応じて変化させてよい。側壁画像81a、81bの透過率は、奥行き方向に手前側ほど低く、奥側ほど高くなるように設定しうる。側壁画像81a、81bは、奥行き方向の位置に応じて彩度または明度を異ならせてよい。例えば、奥行き方向の手前側ほど彩度を高くすることができる。画像の彩度は、画像の色の濃さとも言い換えることができる。透過率、彩度、明度、色度等が連続的に変化することは、グラデーションを有するということができる。
距離壁画像82a、82b、82cの透過率は、路面からの高さに応じて変化させてよい。距離壁画像82a、82b、82cの透過率は、路面から高さ方向に離れるほど高くなるように設定しうる。距離壁画像82a、82b、82cは、路面からの高さに応じて、彩度または明度を異ならせてよい。例えば、路面からの高さ方向に離れるほど彩度を低くすることができる。
第1距離壁画像である距離壁画像82a上の補助線84b、84cは、他の距離壁画像82b、82cの補助線84b、84cと同じ色としてよい。補助線84a、84b、84cは任意の色とすることができる。例えば、距離壁画像82a以外のガイド壁画像80の壁面の色が白色の場合、補助線84a、84b、84cの色は、これら壁面よりも輝度が高い、または、透過率の低い白色としうる。
制御部33は、第1映像の表示領域62内に映っている車両64を検出対象として検出してよい。図20の例において、車両64は第1予測進路65内に位置する。制御部33が検出する検出対象は、車両に限られず、建物、フェンス、道路上の障害物、人、動物等であってよい。検出対象を検出した場合、制御部33は認識した検出対象の移動体50側に第1認識壁画像83を合成しうる。検出対象を検出した場合、制御部33はガイド壁画像80の高さ方向の長さを変更してよい。検出対象を検出した場合、制御部33はガイド壁画像80の高さ方向の長さを短くすることができる。これによって、制御部33は、第1認識壁画像83が表示される場合でも表示を見易くし、且つ、対象者60の注意を検出対象に向けることができる。
第1予測進路65内に位置する検出対象の第1認識壁画像83は、高さ方向および水平方向に延びる。第1認識壁画像83は、任意の色の不透明または半透明な面として表示されうる。図20において、第1認識壁画像83は、車両64の移動体50側に矩形の形状を有する半透明な面として表示される。第1認識壁画像83の水平方向の幅は、車両64の横幅に対応してよい。第1認識壁画像83の水平方向の幅は、車両64の横幅と略一致させることができる。第1認識壁画像83の高さは、所定の値に設定することができる。第1認識壁画像83の透過率は、路面からの高さ方向に応じて変化させてよい。第1認識壁画像83の透過率は、路面から高さ方向に離れるほど高くなるように設定しうる。また、第1認識壁画像83は、路面からの高さ方向の距離に応じて彩度または明度を異ならせてよい。例えば、路面から高さ方向に離れるほど、彩度を低くすることができる。第1認識壁画像83は、水平方向および高さ方向に延びる補助線を含んでよい。
制御部33は、第1認識壁画像83の水平方向に延びる補助線を、第1認識壁画像83の枠内で高さ方向に移動させうる。補助線は、第1認識画像83の枠の下端から現れ、上端で消えるように表示しうる。制御部33は、第1認識壁画像83の水平方向に延びる補助線を高さ方向に移動させることによって、移動体50および車両64との間の相対的な位置および相対的な距離変化の双方、または、何れか一方を表示することができる。例えば、制御部33は、移動体50と車両64との間の距離が狭まりつつあるとき、水平方向に延びる補助線を高さ方向に速く移動させうる。制御部33は、移動体50と車両64との間の距離が近いほど、補助線を高さ方向に速く移動させてよい。制御部33は、検出対象の位置および検出対象からの距離に関わらず、第1認識壁画像83の水平方向に延びる補助線を高さ方向に移動させてよい。
第1認識壁画像83の色は、移動体50から車両64迄の奥行き方向の距離に応じて異なる色とすることができる。例えば、図20に示すように、移動体50と車両64との距離が予め定めた距離よりも離れている場合、制御部33は、第1認識壁画像83の色を青色で表示させることができる。移動体50の後進によって、車両64との距離が短くなっていく場合、制御部33は、第1認識壁画像83の色を、青色から黄色、黄色から赤色というように、変化させてよい。
移動体50と車両64との間の距離が予め定めた距離以上離れている場合、制御部33は第1認識壁画像83を表示しないことができる。移動体50と車両64とが相対的に近づき予め定めた距離以内となったとき、制御部33は、例えば、第2映像内の車両64を強調表示した後、第1認識壁画像83を表示する。強調表示には、車両64の輪郭線の太線表示、車両64の輪郭線の点滅、車両64の画像の塗りつぶし、等を含む。制御部33は、車両64との間の相対位置の変化に応じて表示態様を変えてよい。例えば、車両64が移動体50から相対的に離れていく場合には、第1認識壁画像83を表示しないことができる。
図21は、移動体50の後進によって、移動体50と車両64との間の距離が狭まった状態での第2映像の例を示す図である。第1認識壁画像83は赤色で表示される。これにより、対象者60に対して、これ以上後進すれば車両64に衝突する危険性があることを警告することができる。
制御部33は、検出対象物とガイド壁画像80とが重なる場合、ガイド壁画像80の表示を変更することができる。例えば、図21に示すように、制御部33は、第2映像の車両64と重なるガイド壁画像80を少なくとも部分的に表示させないことができる。より具体的には、制御部33は、車両64と重なり、且つ車両64または第1認識壁画像83よりも奥行き方向に移動体50から離れて位置するガイド壁画像80を、表示装置40に表示させない。このようにすることで、表示装置40は、対象者60に対して画像を見易く且つ直感的に理解しやすく表示することが可能になる。ガイド壁画像80の表示の変更方法は、重なり部分の非表示に限られない。例えば、制御部33は、検出対象物と重なる部分のガイド壁画像80の透過率をより高くすることができる。
(変形例)
ガイド壁画像80は、図20、21に示す一例に限られない。図22から図24は、ガイド壁画像80の変形例を示す。
(第1変形例)
図22に図示する例では、距離壁画像82a、82b、82cの水平方向に延びる補助線84bは、高さ方向において最も低い位置の1つのみを表示しうる。最も低い位置の補助線84bのみを表示した距離壁画像82aは、地表高さの認識を容易にしうる。最も低い位置の補助線84bのみを表示した距離壁画像82aは、認識壁画像との距離の把握を容易にしうる。距離壁画像82a、82b、82cの水平方向の両端には、高さ方向に延びる補助線84cが表示されうる。距離壁画像82a、82b、82cの外周には、下端部に位置する補助線84bと水平方向の両端に位置する高さ方向に延びる補助線84cとが表示されうる。距離壁画像82a、82b、82cは、外周の下端の水平方向に延びる補助線84bおよび左右の両端の高さ方向に延びる補助線84cによって表示してよい。
距離壁画像82a、82b、82cは、半透明な色を有する面を含んで表示しうる。距離壁画像82a、82b、82cは、路面から高さ方向に離れるに従い透過率を高くすること、または、色の濃さを薄くすることができる。移動体50に最も近い距離壁画像82aの外周に位置する補助線84b、84cは、他の補助線と異なる色で表示してよい。異なる色は、例えば赤色とすることができる。また、他の補助線は白色とすることができるがこれに限られない。車両64の手前に表示される第1認識壁画像83は、半透明な任意の色の面として表示され、路面から高さ方向に離れるに従って透過率が高くなるように、または、色の濃さが薄くなるように表示してよい。第1認識壁画像83は上端の境界を視認可能に表示せず、高さ方向に徐々に消えるように表示してよい。
図22に示す例では、ガイド壁画像80の側壁画像81a、81bの奥行き方向に延びる補助線84aは、側壁画像81a、81bの上下の端部にそれぞれ2本のみが表示される。下側の補助線84aは、上側の補助線84aよりも強調表示されうる。強調表示には、より太い線、より透過率の低い線、より輝度の高い線等を用いて表示することを含む。上側の補助線84aと下側の補助線84aとは、同じ表示態様の線としてもよい。同じ態様の線とは、例えば、太さ、透過率、および輝度等において、同様の線である。
奥行き方向に延びる補助線84aは、奥行き方向の最も遠い位置で、だんだんと薄くなり消えるような表示方法を用いて表示されてよい。側壁画像81a、81bは、奥行き方向の最も遠い位置の端部が視認できるように表示してよい。
側壁画像81a、81bには、高さ方向に延びる補助線84cが、少なくとも、最も手前側の端部、および、距離壁画像82a、82b、82cと交差する位置に表示されうる。これらの高さ方向に延びる補助線84cは、他の高さ方向に延びる補助線84cよりも強調表示されてよい。高さ方向に延びる補助線84cは、各々の太さが異なってよい。補助線84cは、距離壁画像82aと交差する位置に表示される補助線84cが距離壁画像82b、82cと交差する位置に表示される補助線84cより太く表示しうる。
(第2変形例)
図23に示すガイド壁画像80は、図22のガイド壁画像80と側壁画像81a、81bが異なる。図23において、ガイド壁画像80の側壁画像81a、81bの奥行き方向に延びる補助線84aは、最も上と最も下のものを含め2本以上が表示されうる。奥行き方向に延びる補助線84aは、高さ方向に最も下に位置する補助線を、他の補助線よりも強調表示してよい。複数の補助線84aは、全て同じ態様の線として表示してよい。図23のガイド壁画像80は、図22のガイド壁画像80で採用しうる透過率の変化、色の変化、および、配色等を採用し得る。
(第3変形例)
図24に示すガイド壁画像80は、図22のガイド壁画像80と側壁画像81a、81bが異なる。図24において、ガイド壁画像80の側壁画像81a、81bの奥行き方向に延びる補助線84aは、下端部に位置する補助線84aのみを表示する。ガイド壁画像80の下端に位置する奥行き方向に延びる補助線84aは、水平方向に延びる補助線84bとともに、第1映像が映す実空間に写像した場合の路面上の線に対応してよい。図24のガイド壁画像80は、図22のガイド壁画像80で採用しうる透過率の変化、色の変化、および、配色等を採用し得る。高さ方向に延びる補助線84cは、各々の太さが異なってよい。補助線84cは、奥行き方向の手前側から奥側に並ぶ補助線84cは、奥側に位置する線ほど細くなってよい。
図20から24の各図に示したガイド壁画像80において、表示装置40は、補助線84a,84b、84cの一部または全てを表示しなくてもよい。
(第7例)
図25は、画像処理装置30が撮像装置20から取得した第1映像における検出領域61の第7例を示す。図25に示す例では、検出領域61は、上下方向に比べて左右方向に長い。表示領域62は、検出領域61の左右方向における中央に位置する。表示領域62は検出領域61の一部に限られず、検出領域61の全部を表示領域62としてよい。
第7例において移動体50は車両であり、駐車場の駐車スペースに向かって後進しているものとすることができる。撮像装置20は移動体50の後方に位置し、後方を撮像しているものとすることができる。制御部33は、検出領域61から、第1予測進路65外であって表示領域62内に少なくとも部分的に映っている車両64bおよび歩行者63を、それぞれ検出対象として検出してよい。図25に示す例では、制御部33は、移動体50の第1予測進路65内に映っている車両64aについて、奥行き方向の距離が予め定めた距離よりも遠いと判断し検出対象としない。
図26は、図25に示す第1映像の表示領域62に対応する第2映像の例を示す。制御部33は、第1映像の表示領域62内の検出対象の車両64bおよび歩行者63を認識し、車両64bおよび歩行者63の移動体50側に、それぞれ仮想的な平面である第1認識壁画像83aおよび83bを表示する。第1認識壁画像83aおよび83bは、高さ方向および奥行き方向に延びる側壁画像81a、81bと平行な半透明の面として表示しうる。制御部33は、車両64bおよび歩行者63と移動体50との間の相対位置の距離変化を取得し、距離が短くなる方向に変化している場合だけ側壁画像81a、81bを表示してよい。移動体50と検出対象との間の距離の推定には、前述の如く任意のアルゴリズムが採用しうる。
制御部33は、検出対象の車両64aおよび歩行者63のガイド壁画像80からの水平方向における距離を推定し、推定された距離に応じて第1認識壁画像83a、83bの表示色を決定してよい。ここで、検出対象とガイド壁画像80との距離とは、ガイド壁画像80の表示する仮想ガイド壁が、第1映像が映す実空間上に存在するとした場合の、検出対象と当該仮想ガイド壁との距離である。制御部33は、ガイド壁画像80を第1映像が映す実空間に写像した位置と検出対象の位置とからそれらの間の第1距離を推定しうる。制御部33は、第1距離に対して閾値を設け、第1認識壁画像83a、83bのそれぞれについて、水平方向の距離が長い方から短い方に順に青色、黄色、赤色等の異なる表示色を用いて表示装置40に表示させてよい。第1認識壁画像83a、83bは、奥行き方向に延びる補助線を有しうる。制御部33は、第1認識壁画像83a、83bの奥行き方向に延びる補助線を、図20の第1認識壁画像83の水平方向に延びる補助線と同様に、第1認識壁画像83の枠内で高さ方向に移動させうる。
制御部33は、検出対象の車両64bおよび歩行者63の奥行き方向における位置として、第1の位置を推定する。制御部33は、車両64bおよび歩行者63にそれぞれ対向する側壁画像81aおよび81bの表示を、第1の位置に対応して少なくとも部分的に変更してよい。表示の変更の態様としては、壁表面の色、明度、彩度等の変更、枠線および/または補助線の色、太さ等の変更、またはそれらの組合せ等を含む。例えば、図26において、車両64bに対向する側壁画像81aの一部81aと、歩行者63に対向する側壁画像81bの一部81bの表示色が変更される。側壁画像81a、81bの一部は、側壁画像81a、81b上の高さ方向に延びる補助線84cにより区分された領域としてよい。側壁画像81aの一部81aおよび側壁画像81bの一部81bの表示色は、第1距離に応じて異なる色としてよい。制御部33は、検出対象が側壁画像81a、81bの表す長さに比べて大きい障害物であるとき、側壁画像81aまたは81bの全体の表示色を変更してよい。大きい障害物としては、トレーラー等の大型車両、建造物等を挙げることができる。
検出対象が移動するとき、制御部33は、当該検出対象の第2予測進路を推定し、当該第2予測進路と側壁画像81a、81bとが交わる位置として第1の位置を推定してよい。制御部33は、第1の位置を、第1映像が映す実空間における第2予測進路と側壁画像81a、81bの実空間への写像との交差する位置として推定することができる。制御部33は、側壁画像81a,81bの表示を第1の位置に対応して少なくとも部分的に変更してよい。この場合も、表示を変更する側壁画像81a、81bの一部81a、81bの表示色は、第1距離に応じて異なる色としてよい。制御部33は、検出対象が非常に大きい障害物であるとき、側壁画像81aまたは81bの全体の表示色を変更してよい。
別の表示態様として、制御部33は、第1認識壁画像83a、83bよりも奥行き方向に奥側に位置する側壁画像81a、81bの部分の表示を変更してよい。さらに別の表示態様として、制御部33は、第2予測進路と側壁画像81a、81bとが交わる位置よりも奥行き方向に奥側に位置する側壁画像81a、81bの部分の表示を変更してよい。
第1認識壁画像83a、83bの表示は路面からの高さに応じて変化させてよい。第1認識壁画像83a、83bの表示は、第6例の第1認識壁画像83と同様に、路面からの高さに応じて透過率、彩度、または、明度等を異なる値に設定しうる。
以上のように、表示システム10は、後進の障害となりうる検出対象の距離および/または位置を、ガイド壁画像80および第1認識壁画像83a、83bを用いて空間的且つ立体的に表現できる。また、移動中の検出対象の予測進路から、衝突の危険性がある位置を立体的に表示することができる。このように、表示システム10は、ガイド壁画像80および第1認識壁画像83a、83bを、高さ方向を有する壁(あるいは平面)として表すことにより、検出対象および警告内容の空間的な立体表現が可能とする。これによって、対象者60にとっての表示、警告内容の把握が容易になる。
(第8例)
図27は、画像処理装置30が撮像装置20から取得した第1映像における検出領域61の第8例を示す。撮像装置20は、車両である移動体50の後方を撮像するように配置されてよい。図27に示す例では、検出領域61は、上下方向に比べて左右方向に長い。表示領域62は、検出領域61の左右方向における中央に位置する。制御部33は、第1映像上の表示領域62の外側であって、検出領域61の内側の領域である第2領域に映っている歩行者63および車両64bを、それぞれ検出対象として検出してよい。第8例では、制御部33は、表示領域62に映っている車両64aについて、奥行き方向の距離が予め定めた距離よりも遠いと判断し検出対象としない。
図28は、第1映像が映す実空間において、高さ方向に沿って上側から見た移動体50ならびに検出対象の歩行者63および車両64bの配置を模式的に示した図である。撮像装置20は、実空間における領域FおよびFに含まれる範囲の被写体を撮像しうる。領域Fおよび領域Fは、第1映像の検出領域61に対応する。領域Fは、第1映像の表示領域62に対応する第1領域である。領域Fは、第1映像の検出領域61の内側であって表示領域62の外側の第2領域に対応する。
図28には、説明のために、第2映像に表示されるガイド壁画像80を、実空間に写像した仮想ガイド壁90が破線により表示されている。仮想側壁91a、91bは、第2映像に表示される側壁画像81a,81bに対応する。仮想距離壁92a、92b、92cは、第2映像に表示される距離壁画像82a,82b,82cに対応する。
また、図28には、説明のために、移動体50の仮想側壁91a,91bに対する検出対象の水平方向の距離を示す仮想線95l〜95lおよび95r〜95rが、破線により示されている。この水平方向の距離は第2距離ともよぶ。仮想線95l〜95lは、移動体50の左側に位置する。仮想線95r〜95rは、移動体50の右側に位置する。仮想線95l〜95lおよび仮想線95r〜95rの間隔は、それぞれ任意に設定できる。仮想線95l〜95lおよび仮想線95r〜95rの間隔は、それぞれ等間隔としてよい。制御部33は、第1映像から検出対象がどの仮想線95l〜95lおよび95r〜95rに最も近いか、あるいは、仮想線95l〜95lおよび95r〜95rのうちどの2つで挟まれた領域内に位置するかを判定することができる。
図27の第1映像に対応する第2映像を図29に例示する。第8例において、ガイド壁画像80は、第6例および第7例で説明したものと同様の表示方法を採用しうる。制御部33は、第1映像の第2領域に検出対象が位置する場合、第2映像における検出対象が存在する側の端部に第2認識壁画像89a、89bを合成する。第2認識壁画像89a、89bは、それぞれ高さ方向および奥行き方向に延びる壁部96a、96bと、奥行き方向および水平方向に延びる床部97a、97bを含んでよい。図29において、壁部96a、96bは第2映像の左右の端部の下端から上端まで延びている。壁部96a、96bは、第2映像の左右の端部の全体ではなく一部のみに沿って上下に延在してよい。同様に、床部97a、97bは、第2映像の下端部の全体または一部に沿って左右方向に延在しうる。床部97a,97bは、ガイド壁画像80と第2映像の下端との間に表示されてよい。
制御部33は、第2認識壁画像89a、89bを、検出対象の第2距離に応じて表示を変化させてよい。表示の変化は、色、透過率、彩度、明度、大きさ等の変化、および、点滅、移動などの動的な表示方法の変化を含む。例えば、複数の実施形態の1つにおいて、表示の変化は色の変化により表してよい。表示の色は、危険度が高い場合を赤色、危険度が中程度の場合を黄色、危険度が低い場合を青色等としうる。図28に示す歩行者63は、移動体50の仮想側壁91bから水平方向右側の3番目の仮想線95r上に位置する。この場合、制御部33は、危険度を中程度として、右側の第2認識壁画像89bの色を黄色としうる。また、図28に示す車両64bは、移動体50の仮想側壁91aから水平方向左側の5番目の仮想線95lよりも離れて位置する。この場合、制御部33は、危険度が低いものと判断して、左側の第2認識壁画像89aの色を青色としうる。複数の実施形態の1つにおいて、表示の変化は、壁部96a、96bに表示される縦方向の補助線96a、96bの横方向への動きを含んでよい。制御部33は、第2距離の長さに応じて、壁部96a、96bの動きの速さを変化させてよい。
第2認識壁画像89a、89bは、半透明とすることができる。第2認識壁画像89a、89bの壁部96a、96bは、上下方向に表示特性を変化させてよい。例えば、第2認識壁画像89a、89bの壁部96a、96bは、下部ほど透過率を低くしてよい。また、第2認識壁画像89a、89bは、下部ほど彩度を高くしてよい。第2認識壁画像89aの床部97a、97bは、左右方向に表示特性を変化させてよい。例えば、第2認識壁画像89aの床部97a、97bは、左右の端部ほど透過率が低く、第2映像の中心に向かうほど透過率を高くしてよい。また、第2認識壁画像89aの床部97a、97bは、左右の端部から第2映像の中心に向かうほど彩度を低くしてよい。画像の彩度は、画像の色の濃さとも言い換えることができる。
制御部33は、検出対象の種別を判断して、当該種別に対応するアイコン画像99a、99bを第2認識壁画像89a、89bの床部97a,97bの上に表示してよい。検出対象の種別は、第1映像から検出される検出対象の画像に基づいて公知の方法で判定することができる。例えば、制御部33は、検出対象の輪郭形状をモデルとなるパターンとマッチングすることによって、物体種別を判定しうる。例えば、歩行者63および車両64bに対しては、それぞれ人および車両を示すアイコンが選択されうる。制御部33は、側壁画像81a、81bを実空間に写像した仮想側壁91a、91bと、実空間における検出対象との、水平方向における距離である第2距離を推定しうる。第2距離は、実空間の仮想線95l〜95l、95r〜95rを第1映像の検出領域61に写像したそれぞれの線と、各検出対象の画像の位置との関係から判定しうる。制御部33は第2距離に応じて、アイコン画像99a、99bを表示する位置を変更しうる。
図29に示す第2映像の表示例では、実空間における仮想線95l〜95l、95r〜95rにそれぞれ対応して、第1距離識別線98l〜98l、98r〜98rが設けられる。第1距離識別線98l〜98l、は、側壁画像81aの左側に位置し、中央から左側に向けて98l、98l、98l、98l、98lの順に付番される。98r〜98rは、側壁画像81bの右側に位置し、中央から右側に向けて98r、98r、98r、98r、98rの順に付番される。第1距離識別線98l〜98l、98r〜98rは、アイコン画像99a、99bが表示される位置を示すものであって、第2映像中に表示されなくてもよい。
図28において、歩行者63は、移動体50の仮想側壁91bから水平方向右側の3番目の仮想線95r上に位置するので、制御部33は、図29の第2映像において歩行者63のアイコン画像99bを、右側の3番目の第1距離識別線98r上に配置してよい。図29に示すように、アイコン画像99bは、第2映像上で奥行き方向に延びる第1距離識別線98r上に、奥行き方向および高さ方向の長さを有する面として、立体的に表示されてよい。立体視したとき、アイコン画像99bは、側壁画像81a、81bおよび第2認識壁画像89a、89bと平行な面として表示されてよい。アイコン画像99bは、第2認識壁画像89bと同様に、第2距離に応じて色、彩度、明度等の表示態様を異ならせてよい。例えば、アイコン画像99bは、黄色で表示しうる。
図28において、車両64bは、移動体50の仮想側壁91aから水平方向左側の5番目の仮想線95lよりも、仮想側壁91aから離れて位置する。この場合、制御部33は、図29の第2映像において車両64bのアイコン画像99aを、左側の第1距離識別線98l上に配置してよい。または、制御部33は、第2映像を立体的にみたとき第2認識壁画像89aの壁部96aと同一面上に見えるように配置してよい。アイコン画像99aは、アイコン画像99bと同様に、第2距離に応じて表示態様を異ならせることができる。例えば、アイコン画像99aは青色で表示しうる。
移動体50と検出対象との双方または何れか一方が移動することにより、移動体50からみた検出対象の相対的位置が変化したとき、第2認識壁画像89a、89bおよびアイコン画像99a、99bの位置および表示態様は変化する。さらに移動体50が表示領域62に入ると、検出対象は第7例で説明した態様により表示されてよい。図28に示す実空間において、車両64bが、領域Fから領域Fに移動する場合の表示の変化の一例について説明する。
はじめに、図28の実空間において、車両64bは仮想線95lの左側に位置するものとする。このとき、図29の第2映像には、前述のように、第2認識壁画像89aが表示されるとともに、第2認識壁画像89aの床部98aの最も左側にアイコン画像99aが表示される。このとき、第2認識壁画像89aおよびアイコン画像99aは、青色で表示することができる。
図28の実空間において、車両64bが、仮想ガイド壁90に向けて近づくに従い、図29の第2映像に表示される第2認識壁画像89aは、表示の態様を変化させる。たとえば、第2認識壁画像89aの色は、青色から黄色、赤色へと順次変化する。同時に、アイコン画像99aは、表示位置を第1距離識別線98l上から第1距離識別線98l上に向けて移動する。アイコン画像99aの色は、青色から黄色、赤色へと順次変化してよい。これによって、対象者60は、第2映像に表示されない外部において車両64bが近付きつつあることを認識しうる。また、立体的な表示方法を使用することによって、対象者60は車両64bの接近を空間的に把握することができ、且つ、情報の見落としの虞を低減することが可能になる。
車両64bが移動体50に向けて近づいているときに、アイコン画像99aは、画面の中央に向かって移動しうる。対象者60は、アイコン画像99aの移動を介して車両64bの移動方向を認識しうる。
さらに、車両64bが、図28の実空間において、領域FからFに入ると、車両64bは第1映像の表示対象領域に入るので、第2映像に含まれ表示装置40に表示される。同時に、第2認識壁画像89aの表示は無くなり、図26に示したように、車両64bのガイド壁画像80側に第1認識壁画像83aが表示される。第2認識壁画像89aが消える際に、制御部33は、対象者60の注意を促すため、第2認識壁画像89aを複数回点滅させてよい。制御部33は、車両64bの移動体50側に第1認識壁画像83aを表示する。さらに、制御部33は、車両64bの第2予測進路を推定し、第2予測進路と側壁画像81a、81bとが交わる位置として第1の位置を推定する。制御部33は、第1の位置を含む側壁画像81aの一部81aの表示を変化させてよい。制御部33は、例えば側壁画像81aの一部81aの色を、車両64bが接近するにつれて、青色、黄色および赤色に順次変化させることができる。これによって、対象者60は、車両64bが近付いていること、および、車両64bの第2予測進路が移動体50の第1予測進路65と重なっていることを、容易に把握することが可能になる。
以上述べたように、本開示の複数の実施形態の1つによれば、ガイド壁画像、第1認識壁画像および第2認識壁画像、アイコン画像等の立体的な表示によって、検出対象の位置の空間的把握が容易になる。さらに、本開示の複数の実施形態の1つによれば、それぞれの壁面の表示態様を変化させることによって注意および警告等の情報を理解しやすく提供することができる。また、立体的な表示を用いることによって、情報の見落としの虞を低減することが可能になる。
(変形例)
図30は、図27の第1映像に対応する第2映像の他の例を示す。図30には、左下部に「ノーマルビュー(Normal View)表示」と「ワイドビュー(Wide View)表示」との間の選択状況を示すビュー表示領域101、102が付加されている。「ノーマルビュー表示」と「ワイドビュー表示」については後述する。図30は、ガイド壁画像80、第2認識壁画像89a、89bおよびアイコン画像99a、99bの表示態様が、図29とは部分的に異なってよい。例えば、図30では、図22と同様の表示態様のガイド壁画像80が表示される。
第2認識壁画像89a、89bの壁部96a、96bは、高さ方向に延びる1本以上の補助線96a、96bを有することができる。図30において壁部96a、96bは複数の補助線96a、96bを有しているが、そのうち1つについてのみ符号を付している。第2認識壁画像89a、89bの壁部96a、96bは、検出対象までの距離を色で表し、奥行き方向の手前から奥側に向けて透過率が異なってよい。壁部96a、96bは、高さ方向に透過率が徐々に高くなり、または、濃さが徐々に薄くなり、高さ方向の所定の位置で消えてよい。
制御部33は、壁部96a、96bの透過率または色の濃さ、および、補助線96a、96aの変化により、所定の距離範囲内に対象物が存在すること、検出対象物までの距離、または検出対象物までの距離の変化を表示することができる。壁部96a、96bの透過率または色の濃さの変化は、グラデーションの変化ということもできる。例えば、制御部33は、壁部96a、96bの補助線96a、96aの移動によって検出対象が所定の距離内に存在していることを表示しうる。制御部33は、壁部96a、96bの手前側の色を最も濃くし、奥行き方向のグラデーションの変化によって検出対象が所定の距離内に存在していることを表示しうる。壁部96a、96bの補助線96a、96bおよび透過率の変化は必須のものではない。制御部33は、壁部96a、96bに補助線96a、96bを表示させないことができる。制御部33は、壁部96a、96bに透過率の変化(グラデーション)を持たさないことができる。
第2認識壁画像89a、89bの床部97a、97bには、第1距離識別線98l、98rに加え、それぞれ1本以上の第2距離識別線100l、100rが設けられる。図30において、複数の第2距離識別線100l、100rが存在するが、それぞれ1つのみに符号を付して示している。第1距離識別線98l、98rおよび第2距離識別線100l、100rは、ディスプレイ上に表示されなくてもよい。第1距離識別線98l、98rは、移動体50から検出対象までの水平方向の距離に対応するのに対して、第2距離識別線100l、100rは、奥行き方向の距離に対応することができる。複数の第2距離識別線100l、100rのそれぞれは、側壁画像81a、81b上の高さ方向に延びるそれぞれの補助線84cを実空間に写像した場合の奥行き方向の距離に対応してよい。
対象者60は、床部97a、97b上のアイコン画像99a、99bの水平および奥行き方向の位置に応じて、検出対象までの水平方向および奥行き方向の位置を把握することが可能になる。アイコン画像99a、99bとしては、検出対象の種別に応じた立体的な画像が用いられる。床部97a、97bは、側壁画像81a、81bの最も手前側の端部よりも手前側であって、側壁画像81a、81bを延長した線の内側に配置されてよい。第2認識壁画像89a、89bとガイド壁画像80との位置関係は、これに限られず適宜変更することができる。
図30において、表示装置40には「ノーマルビュー(Normal View)表示」と「ワイドビュー(Wide View)表示」との選択状況を示すビュー表示領域101、102が、右下部分に示されている。「ノーマルビュー表示」と「ワイドビュー表示」とは、表示する映像の画角が異なっている。複数の実施形態の1つにおいて、「ノーマルビュー表示」は図4に示した第2映像の表示領域62の画角に対応する。複数の実施形態の1つにおいて、「ワイドビュー表示」は、図4に示した第1映像の検出領域61の画角に対応する。「ワイドビュー表示」は第1映像の検出領域61全体の映像である必要は無く、検出領域61から、「第2映像」を包含する画角の映像を切り出したものとしてもよい。図30およびこれより前に示した第2映像は、何れもノーマルビュー表示である。表示中の映像が、「ノーマルビュー表示」と「ワイドビュー表示」との何れであるかは、選択状況を示すビュー表示領域101、102の表示を変えることによって示される。例えば、選択状況を示す領域の表示を変えることには、ビュー表示領域101、102の色を変えること、濃さを変えること、文字の色を変えること等を含む。
制御部33は、第1映像の画像を処理した結果に応じて、または、表示装置40等を介して対象者60からの入力を受けて、「ノーマルビュー表示」と「ワイドビュー表示」とを切り替えることができる。例えば、制御部33は、「ノーマルビュー表示」の状態で、検出対象が接近していることを検出したとき、表示する映像を「ワイドビュー表示」に切り替えるようにしてよい。制御部33は、「ワイドビュー表示」の状態で、所定の範囲内に検出対象がないことを検知したとき、表示する映像を「ノーマルビュー表示」に切り替えるようにしてよい。制御部33は、表示装置40がタッチパネル式のスクリーンを備える場合、表示装置40から対象者60が画面上のビュー表示領域101または102の部分をタッチして選択したことを示す信号を受けて、表示を切り替えてよい。
図31は、図30に示される「ノーマルビュー表示」から、「ワイドビュー表示」に切り替えた映像の一例を示す図である。図31の「ワイドビュー表示」の映像の画角は、図30の「ノーマルビュー表示」の映像の画角よりも水平方向に広い。図31において、図30で表示された「ノーマルビュー表示」の表示範囲外に位置する歩行者63と車両64bとが表示される。また、図31に表示される映像では、図30の「ノーマルビュー表示」に比べ水平方向の画角が広がったので、ガイド壁画像80の左右の側壁画像81aおよび81bの間の間隔が相対的に狭まって表示されている。
図31では、歩行者63と車両64bとが、表示範囲に入ったことにより、第2認識壁画像89a、89bは消えている。制御部33は、第1映像の検出領域61内の検出対象の車両64bおよび歩行者63を認識し、車両64bおよび歩行者63の移動体50側に、それぞれ仮想的な平面である第1認識壁画像83aおよび83bを表示することができる。制御部33は、検出対象の車両64bおよび歩行者63の奥行き方向における位置を推定する。制御部33は、推定した位置に基づいて、車両64bおよび歩行者63のそれぞれに対向する側壁画像81aおよび81bの表示を変更してよい。図31では、歩行者63および車両64bのそれぞれに対応して、側壁画像81bの一部81bと、側壁画像81aの一部81aとの表示が変更される。表示の変更には、種々の態様を含む。例えば、表示の変更には色の変更、周囲を囲む補助線の太さの変更、線種の変更、点滅の開始および停止、ならびに点滅周期の変更等を含む。第1認識壁画像83a、83b、および、側壁画像81a、81bの一部81a、81bは、図26の例と同様の表示方法および表示態様を採用しうる。
以上図30および図31で示したように、複数の実施形態の一つによれば、撮像装置20により撮像した映像を、表示装置40に画角の異なる「ノーマルビュー表示」と「ワイドビュー表示」との間で切り替えて表示することが可能である。「ノーマルビュー表示」においては、対象者60は、表示される映像の範囲外に位置する検出対象の存在およびその位置を、第2認識壁画像89a、89bおよびアイコン画像99a、99bにより、容易に把握することができる。表示装置40が、「ノーマルビュー表示」から「ワイドビュー表示」へ、自動的にまたは手動で切替ることにより、対象者60は、「ノーマルビュー表示」の映像の範囲外で検出された検出対象を、映像で確認することができる。「ワイドビュー表示」においては、ガイド壁画像80および第1認識壁画像83bの表示により、検出対象との位置関係を立体的に把握することが可能になる。このように、複数の実施形態の1つにおける表示システム10は、対象者に対して、周囲の状況把握と危険性の察知を容易にさせることができる。
本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段やステップ等を1つに組み合わせたり、あるいは分割したりすることが可能である。
例えば、上述した実施形態に係る表示システム10の各構成要素および機能は再配置可能であってよい。例えば、画像処理装置30の構成および機能の一部または全部を、撮像装置20および表示装置40の少なくとも一方に包含させてもよい。
上述の実施形態に係る表示システム10の構成要素の一部は、移動体50の外部に位置してよい。例えば、画像処理装置30等は、携帯電話または外部サーバ等の通信機器として実現され、表示システム10の他の構成要素と有線または無線によって接続されてもよい。
10 表示システム
20 撮像装置
21 撮像光学系
22 撮像素子
23 通信部
24 制御部
30 画像処理装置
31 通信部
32 記憶部
33 制御部
40 表示装置
50 移動体
51 ネットワーク
60 対象者
61 検出領域
62 表示領域
63、63a、63b、63c、63d 歩行者
64、64a、64b 車両
65 第1予測進路
66 ガイド線
67 アイコン画像
68 第3マーカ
69 輪郭線
70 領域
71 第1マーカ
72 第2マーカ
73 第5マーカ
73a アイコン画像
73b 帯画像
73c 右端領域
74 障害物画像
75a、75b、75c 第6マーカ
80 ガイド壁画像
81a、81b 側壁画像
82a、82b、82c 距離壁画像
83、83a、83b 第1認識壁画像
84a、84b、84c 補助線
89a、89b 第2認識壁画像
90 仮想ガイド壁
91a、91b 仮想側壁
92a、92b、92c 仮想距離壁
95l〜95l、95r〜95r 仮想線
96a、96b 壁部
97a、97b 床部
98l〜98l、98r〜98r 第1距離識別線
99a、99b アイコン画像
100l、100r 第2距離識別線
101、102 ビュー表示領域

Claims (18)

  1. 車両の後方を撮像して第1映像を生成する撮像素子と、
    前記第1映像上の表示領域に含まれる路面部分に、前記車両の予測進路を示すガイド画像を合成する制御部と、を備え、
    前記第1映像内の検出対象と前記ガイド画像との間に、路面から高さ方向に所定の距離延び、前記路面から高さ方向に距離が離れるほど透過率が高くなる面を表した第1認識壁画像を合成する
    撮像装置。
  2. 請求項1に記載の撮像装置であって、
    前記ガイド画像は奥行き方向に延び、水平方向に互いに所定の間隔を開けて表示する2つの側部画像を含み、
    前記第1認識壁画像は、前記検出対象に対向する前記側部画像の部分に前記面を対向させる、
    撮像装置。
  3. 請求項に記載の撮像装置であって、
    前記ガイド画像は、2つの前記側部画像の一方から他方に向けて延びる距離画像を含み、
    前記第1認識壁画像は、前記検出対象に対向する前記距離画像の部分に前記面を対向させる、
    撮像装置。
  4. 請求項1ないし3のいずれか一項に記載の撮像装置であって、
    前記第1認識壁画像は、前記車両から前記検出対象までの距離に応じて異なる色を示す、
    撮像装置。
  5. 請求項2記載の撮像装置であって、
    前記第1認識壁画像は、前記側部画像から前記検出対象までの距離に応じて異なる色を示す、
    撮像装置。
  6. 請求項1から5のいずれか一項に記載の撮像装置であって、
    前記第1認識壁画像は、前記車両との距離が所定の範囲内の前記検出対象について表示し、前記車両との距離が前記所定の範囲外の前記検出対象について表示しない
    撮像装置。
  7. 請求項に記載の撮像装置であって、
    前記複数の距離画像は、他の前記距離画像よりも前記車両に近い位置に表示する第1距離画像を含み、
    前記第1距離画像は、他の前記距離画像と色が異なる、
    撮像装置。
  8. 請求項1ないし7のいずれか一項に記載の撮像装置であって、
    前記制御部は、前記検出対象と対向する前記ガイド画像の部分の表示を変更する、
    撮像装置。
  9. 請求項1ないし8のいずれか一項に記載の撮像装置であって、
    前記制御部は、前記検出対象の予測進路を推定し、
    前記検出対象の予測進路と前記ガイド画像とが交わる位置に対応する前記ガイド画像の表示を変更する、
    撮像装置。
  10. 請求項8または9に記載の撮像装置であって、
    前記制御部は、前記車両と前記検出対象との距離が所定の範囲内の場合に前記ガイド画像の色を変更する、
    撮像装置。
  11. 請求項1ないし10のいずれか一項に記載の撮像装置であって、
    前記制御部は、前記車両が前記検出対象から相対的に離れていく場合には、前記第1認識壁画像を前記第1映像に合成しない、
    撮像装置。
  12. 請求項1ないし11のいずれか一項に記載の撮像装置であって、
    前記ガイド画像は、高さ方向および奥行き方向に延び、水平方向に前記車両の車幅に対応する距離離れた2つの側部画像と、前記高さ方向および前記水平方向に延び、前記車両の奥行き方向の距離を示す複数の距離画像を含む、
    撮像装置。
  13. 請求項12に記載の撮像装置であって、
    前記ガイド画像は、前記検出対象を検出した際、高さ方向の長さを短くする、
    撮像装置。
  14. 請求項1ないし13のいずれか一項に記載の撮像装置であって、
    前記車両の右後方又は左後方の、前記表示領域に含まれない領域に存在する検出対象を検出する検出手段を有し、
    前記制御部は、前記車両のシフトギアが所定の状態となったことを検出して、前記第1映像の前記表示領域を表示装置に表示させ、
    ガイド画像は、奥行き方向に延び、水平方向に互いに所定の間隔を開けて表示する2つの側部画像を含み、
    前記検出対象の速度が前記車両よりも早い場合に、前記検出対象の前記車両への接近を示す画像を、前記表示領域における前記側部画像の外側に表示させる、
    撮像装置。
  15. 請求項14に記載の撮像装置であって、
    前記車両前への接近を示す画像は、前記表示領域における前記検出対象が存在する側に表示させる、
    撮像装置。
  16. 車両の後方を撮像した第1映像を取得する通信部と、
    前記第1映像上の表示領域に含まれる路面部分に、前記車両の予測進路を示すガイド画像を合成する制御部と、を備え、
    前記第1映像内の検出対象と前記ガイド画像との間に、路面から高さ方向に所定の距離延び、前記路面から高さ方向に距離が離れるほど透過率が高くなる面を表した第1認識壁画像を合成する、
    画像処理装置。
  17. 車両の後方を撮像して第1映像を生成する撮像素子と、
    前記第1映像上の表示領域に含まれる路面部分に、前記車両の予測進路を示すガイド画像を合成する制御部と、
    前記ガイド画像が合成された前記表示領域の映像を表示する表示装置と、を備え、
    前記第1映像内の検出対象と前記ガイド画像との間に、路面から高さ方向に所定の距離延び、前記路面から高さ方向に距離が離れるほど透過率が高くなる面を表した第1認識壁画像を合成する、
    表示システム。
  18. 表示システムを備える車両であって、
    前記表示システムは、
    前記車両の後方を撮像して第1映像を生成する撮像素子と、
    前記第1映像上の表示領域に含まれる路面部分に、前記車両の予測進路を示すガイド画像を合成する制御部と、
    前記ガイド画像が合成された前記表示領域の映像を表示する表示装置と、を備え、
    前記第1映像内の検出対象と前記ガイド画像との間に、路面から高さ方向に所定の距離延び、前記路面から高さ方向に距離が離れるほど透過率が高くなる面を表した第1認識壁画像を合成する、
    車両。
JP2016239449A 2016-12-09 2016-12-09 撮像装置、画像処理装置、表示システム、および車両 Active JP6762863B2 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
JP2016239449A JP6762863B2 (ja) 2016-12-09 2016-12-09 撮像装置、画像処理装置、表示システム、および車両
US16/467,715 US11010934B2 (en) 2016-12-09 2017-11-24 Imaging apparatus, image processing apparatus, display system, and vehicle
EP17878733.9A EP3554062B1 (en) 2016-12-09 2017-11-24 Imaging apparatus
PCT/JP2017/042292 WO2018105417A1 (ja) 2016-12-09 2017-11-24 撮像装置、画像処理装置、表示システム、および車両
EP22206620.1A EP4155128A1 (en) 2016-12-09 2017-11-24 Imaging apparatus, image processing apparatus, display system, and vehicle
JP2020151631A JP6974564B2 (ja) 2016-12-09 2020-09-09 表示制御装置
US17/231,908 US11587267B2 (en) 2016-12-09 2021-04-15 Imaging apparatus, image processing apparatus, display system, and vehicle
US18/156,210 US11961162B2 (en) 2016-12-09 2023-01-18 Imaging apparatus, image processing apparatus, display system, and vehicle
US18/604,250 US20240221246A1 (en) 2016-12-09 2024-03-13 Imaging apparatus, image processing apparatus, display system, and vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016239449A JP6762863B2 (ja) 2016-12-09 2016-12-09 撮像装置、画像処理装置、表示システム、および車両

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2020151631A Division JP6974564B2 (ja) 2016-12-09 2020-09-09 表示制御装置
JP2020151629A Division JP7007438B2 (ja) 2020-09-09 2020-09-09 撮像装置、画像処理装置、表示装置、表示システム、および車両

Publications (2)

Publication Number Publication Date
JP2018098567A JP2018098567A (ja) 2018-06-21
JP6762863B2 true JP6762863B2 (ja) 2020-09-30

Family

ID=62631470

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016239449A Active JP6762863B2 (ja) 2016-12-09 2016-12-09 撮像装置、画像処理装置、表示システム、および車両

Country Status (1)

Country Link
JP (1) JP6762863B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7209189B2 (ja) * 2019-03-25 2023-01-20 パナソニックIpマネジメント株式会社 画像生成装置、カメラ、表示システム、車両及び画像生成方法
JP7503995B2 (ja) 2020-10-14 2024-06-21 株式会社デンソー 表示制御装置、表示装置及び表示制御プログラム
JP7491194B2 (ja) * 2020-11-23 2024-05-28 株式会社デンソー 周辺画像生成装置、表示制御方法
WO2023119462A1 (ja) * 2021-12-22 2023-06-29 日本電気株式会社 管理支援システム、管理支援方法、及び、記録媒体
JP7492985B2 (ja) * 2022-03-22 2024-05-30 本田技研工業株式会社 制御装置、制御方法、及び制御プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3885930B2 (ja) * 2001-07-06 2007-02-28 株式会社デンソー 障害物検知装置
JP2004147083A (ja) * 2002-10-24 2004-05-20 Matsushita Electric Ind Co Ltd 運転支援装置
JP2004345554A (ja) * 2003-05-23 2004-12-09 Clarion Co Ltd 車両後方モニタ装置及び車両後方モニタシステム
JP3894322B2 (ja) * 2003-07-23 2007-03-22 松下電工株式会社 車両用視界モニタシステム
JP4687160B2 (ja) * 2005-03-14 2011-05-25 アイシン精機株式会社 周辺監視装置
JP4623395B2 (ja) * 2008-05-08 2011-02-02 アイシン精機株式会社 車両周辺表示装置
JP5741173B2 (ja) * 2011-04-19 2015-07-01 トヨタ自動車株式会社 画像表示装置、及び、画像表示方法
JP5787168B2 (ja) * 2012-01-13 2015-09-30 アイシン精機株式会社 障害物警報装置

Also Published As

Publication number Publication date
JP2018098567A (ja) 2018-06-21

Similar Documents

Publication Publication Date Title
US11961162B2 (en) Imaging apparatus, image processing apparatus, display system, and vehicle
KR102126824B1 (ko) 주차 지원 정보의 표시 방법 및 주차 지원 장치
CA3069114C (en) Parking assistance method and parking assistance device
JP6762863B2 (ja) 撮像装置、画像処理装置、表示システム、および車両
JP6413477B2 (ja) 画像表示制御装置および画像表示システム
JP6781035B2 (ja) 撮像装置、画像処理装置、表示システム、および車両
JP2021007255A (ja) 撮像装置、画像処理装置、表示システム、および車両
EP3544293B1 (en) Image processing device, imaging device, and display system
KR102023863B1 (ko) 이동체 주위 표시 방법 및 이동체 주위 표시 장치
US11938863B2 (en) Peripheral image generation device and display control method
JP6974564B2 (ja) 表示制御装置
JP7007438B2 (ja) 撮像装置、画像処理装置、表示装置、表示システム、および車両
JP7296490B2 (ja) 表示制御装置及び車両
JP2018085584A (ja) 画像処理装置、撮像装置、および表示システム
JP6759072B2 (ja) 画像処理装置、撮像装置、および表示システム
JP6712942B2 (ja) 画像処理装置、撮像装置、および表示システム
JP6720063B2 (ja) 画像処理装置、撮像装置、および表示システム
JP7259377B2 (ja) 車両用表示装置、車両、表示方法及びプログラム
JP2022121370A (ja) 表示制御装置及び表示制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200727

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200818

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200909

R150 Certificate of patent or registration of utility model

Ref document number: 6762863

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150