JP7377372B2 - 画像処理装置および画像表示装置 - Google Patents
画像処理装置および画像表示装置 Download PDFInfo
- Publication number
- JP7377372B2 JP7377372B2 JP2022553516A JP2022553516A JP7377372B2 JP 7377372 B2 JP7377372 B2 JP 7377372B2 JP 2022553516 A JP2022553516 A JP 2022553516A JP 2022553516 A JP2022553516 A JP 2022553516A JP 7377372 B2 JP7377372 B2 JP 7377372B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- information
- driver
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 58
- 239000002131 composite material Substances 0.000 claims description 131
- 238000000034 method Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 description 34
- 238000010586 diagram Methods 0.000 description 16
- 238000001514 detection method Methods 0.000 description 14
- 230000000052 comparative effect Effects 0.000 description 11
- 230000004069 differentiation Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000002414 leg Anatomy 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
- G09B9/042—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles providing simulation in a real vehicle
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
- G09B9/052—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles characterised by provision for recording or measuring trainee's performance
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
- G09B9/058—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles for teaching control of cycles or motorcycles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Aviation & Aerospace Engineering (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Controls And Circuits For Display Device (AREA)
Description
本発明は、主に画像処理装置に関する。
特許文献1には、車両およびその周辺の様子を示す画像に仮想視点を設け、仮想視点を変更しながら該画像を視認可能とする画像処理技術が記載されている。特許文献1には、このような技術の用途の一例として盗難防止が示されている。
上記画像処理技術により得られる画像の用途の更なる多様化を図るのに際して、一層の技術改良が求められうる。
本発明は、上記画像処理技術により得られる画像の用途の多様化を比較的簡便に実現可能とすることを例示的目的とする。
本発明の一つの側面は画像処理装置に係り、前記画像処理装置は、車両の運転者の姿勢を示す運転者姿勢情報と、該車両の状態を示す車両状態情報とを取得する情報取得手段と、或る車両およびその運転者について、前記運転者姿勢情報に基づく第1の運転者画像と、前記車両状態情報に基づく第1の車両画像とを重ね合わせて第1の合成画像を生成する第1の画像生成手段と、前記或る車両とは独立して走行した車両およびその運転者について、前記運転者姿勢情報に基づく第2の運転者画像と、前記車両状態情報に基づく第2の車両画像とを重ね合わせて第2の合成画像を生成する第2の画像生成手段と、前記第1の合成画像と前記第2の合成画像とを所定情報に基づいて関連付ける関連付け手段と、を備えることを特徴とする。
本発明によれば、上記画像処理技術により得られる画像の用途の多様化に有利となる。
本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。
添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は請求の範囲に係る発明を限定するものでなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。
(画像表示システムの一例)
図1は、実施形態に係る画像表示システムSYの構成例を示す模式図である。画像表示システムSYは、車両1、画像処理装置2および端末3を備えており、本実施形態では、これらはネットワークNを介して相互通信可能とする。
図1は、実施形態に係る画像表示システムSYの構成例を示す模式図である。画像表示システムSYは、車両1、画像処理装置2および端末3を備えており、本実施形態では、これらはネットワークNを介して相互通信可能とする。
車両1は、本実施形態では鞍乗型車両とする。ここで、鞍乗型車両は、運転者が車体を跨いで乗車する型のものを指し、その概念には、典型的な二輪車(スクータ型車両を含む。)の他、三輪車(前一輪且つ後二輪、又は、前二輪且つ後一輪の車両)、四輪バギーのような全地形対応車(ATV)等も含まれる。尚、他の実施形態として、車両1は乗用型車両であってもよい。車両1は、撮像装置11A、撮像装置11B、車両状態検出装置12車両位置特定装置13および通信装置14を備える。
図2に例示されるように、撮像装置11Aは、車両1周辺の様子を示す画像を撮像可能となるように、車体周辺部に複数設けられ、それら複数の撮像装置11Aは、それらの撮像領域が車両1周辺の全域を含むように設けられる。即ち、複数の撮像装置11Aは、互いに隣り合う2つの撮像装置11Aの撮像領域が部分的に互いに重なるように設けられる。図中には、撮像装置11Aの指向方向が破線により模式的に示されるが、撮像装置11Aの実際の検出範囲は図示されたものより広範なものとする。
撮像装置11Bは、運転者を前方および後方のそれぞれから撮像可能となるように、運転者の座席の前後にそれぞれ設けられる。図中には、撮像装置11A同様、撮像装置11Bの指向方向が破線により模式的に示されるが、撮像装置11Bの実際の検出範囲は図示されたものより広範なものとする。詳細については後述とするが、これにより、運転者の姿勢(挙動等を含む。)および付随的に容姿(服装等を含む。)を撮像可能となる。
撮像装置11A及び11Bには、CCD/CMOSイメージセンサ等で構成された公知のカメラが用いられればよい。尚、本実施形態では、一例として、撮像装置11A及び11Bに要するコストの低減のため、単眼カメラが用いられるものとする。
再び図1を参照して、車両状態検出装置12は、車両1の状態を検出可能に車体の各部位に設けられる。車両1の状態は、本実施形態では、車速、転舵角(或いは操舵角)、車体の姿勢、及び、灯体(ヘッドライト、テールライト、ウィンカ等)の状態を含む。車両状態検出装置12は、状態検出装置あるいは単に検出装置と表現されてもよい。
車速は、例えば、単位時間あたりの車輪の回転数に基づいて検出され、このことは、公知の速度センサを用いることにより実現可能である。転舵角は、例えば、車体に対する転舵輪の向き(或いは、車体に対するハンドルバーの向き)に基づいて検出され、このことは、公知の舵角センサを用いることにより実現可能である。車体の姿勢は、例えば、重力方向に対する車体の向きに基づいて検出され、このことは、公知の加速度センサを用いることにより実現可能である。また、灯体の状態は、例えば、光源の導通状態に基づいて検出され、このことは、公知の電流計を用いることにより実現可能である。
車両位置特定装置13は、走行路における車両1の位置を特定する。走行路は、車両1が現に走行中の道路を示し、車両位置特定装置13は、地図データ上における車両1の位置を示す。車両位置特定装置13には、典型的にはGPS(Global Positioning System)センサが用いられうる。車両位置特定装置13は、位置特定装置あるいは単に特定装置と表現されてもよい。
通信装置14は、撮像装置11A及び11Bによる撮像結果、車両状態検出装置12による検出結果、並びに、車両位置特定装置13による特定結果を、ネットワークNを介して画像処理装置2に送信する。通信装置14は、送受信装置等と表現されてもよいし、本実施形態においては単に送信装置と表現されてもよい。
撮像装置11Aによる撮像結果は、車両1周辺の様子を示す情報(以下、車両周辺情報90Aとする。)を示す。本実施形態では、車両周辺情報90Aは画像情報ないし画像データとする。
撮像装置11Bによる撮像結果は、運転者の姿勢を示す情報(以下、運転者姿勢情報90Bとする。)を示す。本実施形態では、運転者姿勢情報90Bは画像情報ないし画像データとする。
車両状態検出装置12による検出結果は、車両1の状態を示す情報(以下、車両状態情報90Cとする。)を示す。本実施形態では、車両状態情報90Cは、車速、転舵角、車体の姿勢、及び、灯体の状態を示す信号群とする。
車両位置特定装置13による特定結果は、車両1の走行路における位置を示す情報(以下、車両位置情報90Dとする。)を示す。本実施形態では、車両位置情報90Dは、GPSに基づいて取得可能であり、地図データ上における座標を示す信号群とする。
上述の情報90A~90Dは、図1に示されるように、車両1からネットワークNを介して画像処理装置2に送信される。
画像処理装置2は、通信部21および演算部22を備える。通信部21は、ネットワークNを介して画像処理装置2を車両1および端末3のそれぞれと通信可能とする。演算部22は、詳細については後述とするが、画像処理を含む所定の演算処理を行う。演算部22は、本実施形態では、CPU及びメモリを含むプロセッサとし、その機能は所定のプログラムを実行することにより実現されるものとする。即ち、このプログラムは、ネットワーク又は記憶媒体を介して読み出され、コンピュータ上で実行されればよい。
尚、他の実施形態として、演算部22は、PLD(プログラマブルロジックデバイス)、ASIC(特定用途向け半導体集積回路)等の半導体装置で構成されてもよい。即ち、演算部22の機能はハードウェアおよびソフトウェアの何れによっても実現可能である。
端末3は、本実施形態では携帯端末(例えばスマートフォン)とし、通信部31、操作部32および表示部33を備える。端末3のユーザは、車両1の運転者であってもよいし、運転者とは異なる第三者であってもよい。通信部31は、ネットワークNを介して端末3を画像処理装置2と通信可能とする。操作部32は、ユーザによる操作入力を受付け可能とし、操作部32には、例えばタッチセンサ式操作パネル、ボタン/スイッチ式操作パネル等、公知の操作パネルが用いられうる。また、表示部33は、画像を表示可能とし、表示部33には、例えば液晶ディスプレイ、有機ELディスプレイ等、公知のディスプレイが用いられうる。操作部32および表示部33は、本実施形態では、一体に設けられたもの(タッチパネル式ディスプレイ)とするが、他の実施形態として個別に設けられてもよい。
詳細については後述とするが、このような画像表示システムSYにおいて、車両1は、画像処理装置2と通信可能であり、撮像装置11A及び11Bによる撮像結果、車両状態検出装置12による検出結果、並びに、車両位置特定装置13による特定結果を画像処理装置2に送信する。画像処理装置2は、これらに基づいて演算部22により所定の画像処理を行って合成画像(以下、合成画像90Xとする。)を生成し、合成画像90Xを端末3に送信する。端末3は画像表示装置として機能し、ユーザは、端末3を用いて、操作部32に操作入力しながら表示部33にて合成画像90Xを視認することができる。
(画像処理方法の一例)
図3は、合成画像90Xを生成するための画像処理方法の一例を示すフローチャートである。本フローチャートの内容は、主に演算部22により実行され、その概要は、上述の情報90A~90Dに基づいて合成画像90Xを生成する、というものである。尚、本フローチャートは、車両1の使用後(非走行時)に実行されるものとするが、車両1の使用時(走行中)に実行されてもよい。
図3は、合成画像90Xを生成するための画像処理方法の一例を示すフローチャートである。本フローチャートの内容は、主に演算部22により実行され、その概要は、上述の情報90A~90Dに基づいて合成画像90Xを生成する、というものである。尚、本フローチャートは、車両1の使用後(非走行時)に実行されるものとするが、車両1の使用時(走行中)に実行されてもよい。
ステップS1000(以下、単に「S1000」という。後述の他のステップについても同様とする。)では、車両周辺情報90Aを取得する。前述のとおり、車両周辺情報90Aは複数の撮像装置11Aにより得られ、それら複数の撮像装置11Aは、それらの撮像領域が車両1周辺の全域を含むように車体周辺部に設けられる。これにより、車両周辺情報90Aは、車両1周辺の全域の様子を示し、いわゆるパノラマビュー(360度パノラマビュー)を示す画像情報ないし画像データとして得られることとなる。詳細については後述とするが、車両周辺情報90Aに対応する車両1周辺の様子を示す画像が、車両周辺画像90Pとして生成される。よって、車両周辺情報90Aを用いた画像処理は、球面座標系を用いることにより比較的簡便に行われうる。
S1010では、運転者姿勢情報90Bを取得する。前述のとおり、運転者姿勢情報90Bは、運転者の座席の前後に設けられた一対の撮像装置11Bにより得られ、それら一対の撮像装置11Bは、運転者を前方および後方から撮像可能に設けられる。よって、運転者姿勢情報90Bは、運転者の姿勢(静止画の場合)、挙動(動画の場合)等、運転者の運転態様を示す画像情報ないし画像データとして得られ、付随的に容姿(例えば、骨格、服装(ウェア、ヘルメット等))を更に示してもよい。詳細については後述とするが、運転者姿勢情報90Bに対応する運転者の画像が、運転者画像90Qとして生成される。よって、運転者姿勢情報90Bについての画像処理は、所定の人体モデルに基づく三次元座標系を用いることにより比較的簡便に行われうる。
S1020では、車両状態情報90Cを取得する。前述のとおり、車両状態情報90Cは、車両1の状態を検出可能に車体の各部位に設けられた車両状態検出装置12により得られ、車両1の状態は、車速、転舵角、車体の姿勢、及び、灯体の状態を含む。詳細については後述とするが、車両状態情報90Cに対応する車両1の画像が、車両画像90Rとして生成される。よって、車両画像90Rについての画像処理は、対応の車両モデルに基づく三次元座標系を用いることにより比較的簡便に行われうる。
S1030では、上述の情報90A~90Cに基づいて画像90P~90Rをそれぞれ生成する。即ち、車両周辺情報90Aに基づいて車両周辺画像90Pを生成し、運転者姿勢情報90Bに基づいて運転者画像90Qを生成し、また、車両状態情報90Cに基づいて車両画像90Rを生成する。
S1040では、画像90P、90Q及び90Rを重ね合わせて合成画像90Xを生成する。前述のとおり、本実施形態では、車両周辺画像90Pは球面座標系で処理され、運転者画像90Qおよび車両画像90Rは三次元座標系で処理される。
ここで、三次元座標系は、典型的には、座標中心から対象までの車体前後方向の距離x、座標中心から対象までの車体左右方向の距離y、及び、座標中心から対象までの車体上下方向の距離zを用いて、座標(x、y、z)で示されうる。また、球面座標系は、典型的には、座標中心から対象までの距離r、座標中心‐対象間を通る線と車体上下方向とが成す角θ、及び、座標中心‐対象間を通る線と車体前後方向とが成す角φを用いて、座標(r、θ、φ)で示されうる。
図4Aは、車両周辺画像90Pを示す模式図である。車両周辺画像90Pは、球面座標系で処理され、座標中心から距離rの位置に描写される。換言すると、パノラマビューとしての車両周辺画像90Pが、半径rの球体の内壁に描かれる形となる。上記rは、車両1より外側の位置となるように設定されればよい。
図4Bは、運転者画像90Qを示す模式図である。運転者画像90Qは、三次元座標系で処理され、例えば所定の人体モデルに基づいて、頭部、肩部、胴体部(胸部および腹部)、腰部、腕部(上腕部および前腕部)、手部、脚部(大腿部および下腿部)、足部等が描写されうる。付随的に、服装が更に描写されてもよい。
図4Cは、車両画像90Rを示す模式図である。車両画像90Rは、三次元座標系で処理され、例えば、車両状態情報90C(車速、転舵角、車体の姿勢、及び、灯体の状態を示す情報)に基づく状態の車両1の画像が描写されうる。例えば、コーナリング中の車両1については、車両画像90Rは、車体が傾いた姿勢で描写されうる。
ここで、車両状態情報90Cは、車体の姿勢を示す情報を含むため、撮像装置11A及び11Bによる撮像結果は、車体の傾き度合いに応じて補正されるとよい。例えば、車体が傾斜角λ1で傾いた姿勢の間に撮像装置11Aにより車両周辺画像90Pが取得された場合には、この画像90Pは角度λ1相当だけ回転処理されうる。撮像装置11A及び11Bによる撮像結果に対する補正処理は、画像処理装置2において行われてもよいが、車両1において行われてもよい。
図4Dは、合成画像90Xを示す模式図である。画像90P~90Rは、座標中心、距離および方向が一致するように合成されればよい。尚、座標中心は、本実施形態では座席の直上の位置とするが、他の実施形態として、他の位置(例えば、車体の何れかの位置)であってもよい。
再び図3を参照して、S1050では、車両位置情報90Dを取得し、また、合成画像90X、其れを構成する画像90P~90R、及び、其れらを生成するための情報90A~90Cに対して、車両1の走行路における位置を示す車両位置情報90Dを付与する。詳細については後述とするが、これにより合成画像90X(或いは、その生成の過程で用いられる情報90A~90C及び/又は画像90P~90R)を他の合成画像90X(或いは、その生成の過程で用いられる情報90A~90C及び/又は画像90P~90R)に関連付けることが可能となる。
S1060では、端末3に合成画像90Xを送信する。端末3のユーザは、操作部32への操作入力により、任意の位置からの視点(以下、仮想視点)で合成画像90Xを表示部33に表示することができる。また、ユーザは、操作部32への操作入力により、合成画像90Xのズームインまたはズームアウトを行うことも可能である。
小括すると、S1000~S1020では、演算部22は、車両周辺情報90A、運転者姿勢情報90Bおよび車両状態情報90Cを取得する情報取得部として機能する。S1030~S1040では、演算部22は、車両周辺画像90P、運転者画像90Qおよび車両画像90Rを生成し、それら画像90P~90Rを重ね合わせて合成画像90Xを生成する画像生成部として機能する。S1050では、演算部22は、車両位置情報90Dを用いて、或る合成画像90Xと、過去に生成された複数の合成画像90Xのうちの任意の1つと、を相互に関連付ける関連付け部として機能する。また、S1060では、演算部22は、合成画像90Xを送信する送信部として機能する。
尚、上記S1000~S1060の説明においては、情報90A~90Dの取得は、演算部22のCPUがメモリから情報90A~90Dを読み出すことを指すものとし、画像処理装置2は、S1000以前に情報90A~90Dを車両1から一括で受信しうる。
(合成画像の一例)
図5Aは、操作部32および表示部33が一体に設けられたタッチパネル式ディスプレイの場合における合成画像90Xの一例を示し、図5Bは、合成画像90Xの他の例(図5Aとは異なる仮想視点での合成画像90Xの例)を示す。表示部33には、操作部32の一部として、仮想視点を変更するためのアイコン8a及び8b、ズームインを行うためのアイコン8c、並びに、ズームアウトを行うためのアイコン8dが表示される。ユーザは、これらのアイコン8a等に対して所定の操作入力(例えば、タップ操作、スワイプ操作、フリック操作等)を行うことにより、所望の仮想視点から車両1およびその周辺の様子を視認することが可能となる。
図5Aは、操作部32および表示部33が一体に設けられたタッチパネル式ディスプレイの場合における合成画像90Xの一例を示し、図5Bは、合成画像90Xの他の例(図5Aとは異なる仮想視点での合成画像90Xの例)を示す。表示部33には、操作部32の一部として、仮想視点を変更するためのアイコン8a及び8b、ズームインを行うためのアイコン8c、並びに、ズームアウトを行うためのアイコン8dが表示される。ユーザは、これらのアイコン8a等に対して所定の操作入力(例えば、タップ操作、スワイプ操作、フリック操作等)を行うことにより、所望の仮想視点から車両1およびその周辺の様子を視認することが可能となる。
仮想視点が変更された場合、合成画像90Xにおける車両画像90Rのサイズが変更され、付随的に運転者画像90Qのサイズも変更されることにより、該変更に伴う合成画像90Xの見え方が変わってしまうことの違和感が低減される場合がある。一方、車両周辺画像90Pは球面座標系で処理されているため、仮想視点の変更の際、合成画像90Xにおける車両周辺画像90Pのサイズは維持されてもよい。
尚、車両周辺画像90Pの画像処理に際して、球面座標系における距離rを比較的大きい値に設定することにより、仮想視点を変更した場合における車両周辺画像90Pの変化の違和感(例えば歪み)を低減可能となる。その場合、画素数が比較的大きい撮像装置11Aが用いられることにより、車両周辺画像90Pは鮮明に表示されうる。
上記S1040(合成画像90Xの生成)に際して、画像90P~90Rは、互いに略同じ時間における様子を示すものであることが求められる。よって、画像90P~90Rおよび其れらを生成するための情報90A~90Cには、本実施形態では車両位置情報90Dが付与される。他の実施形態として、画像90P~90Rおよび情報90A~90Cには、時間(何れのタイミングで撮像された画像か、或いは、何れのタイミングで取得された情報に基づいて生成された画像か)を示す属性情報が関連付けられてもよい。
また、前述のとおり、三次元座標系は、典型的には座標(x、y、z)で示され、球面座標系は、典型的には座標(r、θ、φ)で示されうる。よって、他の実施形態として、公知の座標変換を用いることにより、運転者画像90Qおよび車両画像90Rは、車両周辺画像90P同様、球面座標系で処理されてもよい。或いは、車両周辺画像90Pは、運転者画像90Qおよび車両画像90R同様、三次元座標系で処理されてもよい。
また、本実施形態では、撮像装置11Aとして単眼カメラを用いることとしたが、代替的に複眼カメラを用いることも可能である。これにより、撮像対象を距離情報と共に撮像可能となるため、比較的簡便に車両周辺画像90Pを三次元座標系で処理することも可能となる。
画像表示システムSYによれば、ユーザ(例えば運転者)は、この合成画像90Xを用いて、例えば、運転中の車両1およびその運転者の様子を所望の仮想視点から視認することも可能であるし、或いは、該様子を第三者に見せることも可能である。よって、本実施形態によれば、合成画像90Xは、多様な用途で活用可能であり、一例として、運転操作の練習に活用することも可能である。
(合成画像の管理態様の一例)
図7は、上述のようにして得られる合成画像90Xの管理態様を示す模式図である。合成画像90Xは、例えば車両1、その運転者等で区別されうる識別子ごとに管理され、識別子ごとにデータベースDBに格納される。例えば、或る車両1aおよび或る運転者Uaによる走行態様を示す動画は、複数の合成画像90Xとして、データベースDBaaに格納される。また、或る車両1aおよび他の運転者Ubによる走行態様を示す動画は、複数の合成画像90Xとして、データベースDBabに格納される。他の車両1bおよび或る運転者Uaによる走行態様を示す動画は、複数の合成画像90Xとして、データベースDBbaに格納される。また、他の車両1bおよび他の運転者Ubによる走行態様を示す動画は、複数の合成画像90Xとして、データベースDBbbに格納される。他のデータベースDBac、DBbc等についても同様とする。
図7は、上述のようにして得られる合成画像90Xの管理態様を示す模式図である。合成画像90Xは、例えば車両1、その運転者等で区別されうる識別子ごとに管理され、識別子ごとにデータベースDBに格納される。例えば、或る車両1aおよび或る運転者Uaによる走行態様を示す動画は、複数の合成画像90Xとして、データベースDBaaに格納される。また、或る車両1aおよび他の運転者Ubによる走行態様を示す動画は、複数の合成画像90Xとして、データベースDBabに格納される。他の車両1bおよび或る運転者Uaによる走行態様を示す動画は、複数の合成画像90Xとして、データベースDBbaに格納される。また、他の車両1bおよび他の運転者Ubによる走行態様を示す動画は、複数の合成画像90Xとして、データベースDBbbに格納される。他のデータベースDBac、DBbc等についても同様とする。
上記データベースDBaa等は、識別子ごとに管理されうるが、以下では、単にデータベースDBと示される。尚、個々のデータベースDBに格納される合成画像90Xの枚数は、典型的には、動画の時間およびフレームレートに応じた数量に従う。
(合成画像の活用態様の一例)
図8に例示されるように、演算部22は、データベースDBに格納されている合成画像90Xのうち、互いに異なる識別子に対応する任意の2つを比較用に合成することができる。例えば、演算部22は、或る識別子に対応する合成画像(区別のため「合成画像91X」とする。)と、他の識別子に対応する合成画像(区別のため「合成画像92X」とする。)と、を重ね合わせて、比較用合成画像93Xを生成することができる。
図8に例示されるように、演算部22は、データベースDBに格納されている合成画像90Xのうち、互いに異なる識別子に対応する任意の2つを比較用に合成することができる。例えば、演算部22は、或る識別子に対応する合成画像(区別のため「合成画像91X」とする。)と、他の識別子に対応する合成画像(区別のため「合成画像92X」とする。)と、を重ね合わせて、比較用合成画像93Xを生成することができる。
比較用合成画像93Xは、合成画像91Xおよび合成画像92Xの間に基準以上の差異が存する場合には、その部分が強調されるように表示部33に表示されてもよい。該強調された部分は、比較用合成画像93Xにおいて合成画像91Xおよび合成画像92Xの少なくとも一方に表示されればよい。強調の方法としては、色付け、輪郭のハイライト等、公知の態様が採用可能である。このような表示態様によれば、合成画像91X及び92X間の差異をユーザに視認させ易くすることが可能となる。
合成画像91Xは、車両周辺画像(区別のため「車両周辺画像91P」とする。)と、運転者画像(区別のため「運転者画像91Q」とする。)と、車両画像(区別のため「車両画像91R」とする。)と、が重ね合わされて成る。また、画像91P、91Qおよび91Rをそれぞれ生成するための車両周辺情報、運転者姿勢情報および車両状態情報を、区別のため、それぞれ、「車両周辺情報91A」、「運転者姿勢情報91B」および「車両状態情報91C」とする。また、合成画像91X、其れを構成する画像91P~91R、及び、其れらを生成するための情報91A~91Cに対して付与される車両位置情報を、区別のため「車両位置情報91D」とする。
合成画像92Xは、車両周辺画像(区別のため「車両周辺画像92P」とする。)と、運転者画像(区別のため「運転者画像92Q」とする。)と、車両画像(区別のため「車両画像92R」とする。)と、が重ね合わされて成る。また、画像92P、92Qおよび92Rをそれぞれ生成するための車両周辺情報、運転者姿勢情報および車両状態情報を、区別のため、それぞれ、「車両周辺情報92A」、「運転者姿勢情報92B」および「車両状態情報92C」とする。また、合成画像92X、其れを構成する画像92P~92R、及び、其れらを生成するための情報92A~92Cに対して付与される車両位置情報を、区別のため「車両位置情報92D」とする。
車両位置情報91D及び92Dが同一の位置を示す場合、画像91Q及び91R、並びに、画像92Q及び92Rは、実質的に同一の位置を走行している際のものを示すこととなる。そのため、比較用合成画像93Xは、車両位置情報91D及び92Dが同一の位置を示す場合に合成画像91X及び92Xを合成することにより、生成される。図7の例によれば、比較用合成画像93Xは、或る車両1aおよびその運転者Uaと、該車両1aとは独立して走行した車両1bおよびその運転者Ubと、を並べて(並走させた状態で)単一の画面に表示可能となる。
ここで、上述の場合、比較用合成画像93Xの背景画像は、車両周辺画像91P及び92Pにより形成されることとなってしまうが、該背景画像の形成に画像91P及び92Pの双方は不要である。よって、比較用合成画像93Xの生成に際しては、図8において「91P/92P」と示されるように画像91P及び92Pの一方は省略され、例えば、画像91Pが背景画像として採用されうる。
上記背景画像の形成のため、他の実施形態として、合成画像90Xを生成するS1040(図3参照)において、車両周辺画像90Pは省略されていてもよい。この場合、合成画像91Xの生成に際して車両周辺画像91Pは省略され、また、合成画像92Xの生成に際して車両周辺画像92Pは省略され、そして、比較用合成画像93Xの生成に際して、画像91P及び92Pの一方が背景画像として採用されうる。
また、演算部22は、比較用合成画像93Xの背景画像の形成に際して、車両周辺画像91P及び92Pの一方から他方へ切り替えることも可能とし、背景画像を任意に選択可能とする。
他の実施形態として、比較用合成画像93Xの生成に際して、車両周辺画像91P及び92Pの双方は省略されてもよい。この場合、背景画像には、画像91P及び92Pとは異なる他の画像(例えば、単色画像、他の地域の風景を示す画像、仮想現実の画像など)が用いられてもよい。即ち、車両周辺画像として用いられる背景画像は、現実に車両1周辺の様子を示す画像でなくてもよい。この観点で、演算部22は、車両周辺画像91P及び92Pを含む2以上の車両周辺画像を生成可能であり、比較用合成画像93Xの生成に際しては、その背景画像を、該2以上の車両周辺画像の1つから他の1つに切替え可能とする。これにより、該2以上の車両周辺画像のうちの任意の1つを背景画像とすることができる。
図9は、比較用合成画像93Xを示す模式図である。本実施形態によれば、或る走行態様e1と、それとは独立した走行態様e2とは、端末3の表示部33において単一の画面に並んで/重ねられて表示されることとなる。態様e1は、例えば、データベースDBaaに基づく走行態様(車両1aおよびその運転者Uaの走行態様)を示す。態様e2は、例えば、データベースDBbbに基づく走行態様(車両1aとは独立して走行した車両1bおよびその運転者Ubの走行態様)を示す。例えば、運転者Uaは、端末3のユーザとして比較用合成画像93Xを参照することにより、自身の運転操作と、運転者Ubの運転操作とを比較することが可能となり、運転操作の練習に活用可能となる。
小括すると、画像処理装置2(主に演算部22)は、運転者姿勢情報91B及び92Bと、車両状態情報91C及び92Cと、車両位置情報91D及び92Dとを取得する。画像処理装置2は、或る車両およびその運転者について、運転者姿勢情報91Bに基づく運転者画像91Qと、車両状態情報91Cに基づく車両画像91Rとを重ね合わせて合成画像91Xを生成する。また、画像処理装置2は、上記或る車両とは独立して走行した車両およびその運転者について、運転者姿勢情報92Bに基づく運転者画像92Qと、車両状態情報92Cに基づく車両画像92Rとを重ね合わせて合成画像92Xを生成する。その後、画像処理装置2は、上記或る車両についての車両位置情報91Dと、上記或る車両とは独立して走行した車両についての車両位置情報92Dとに基づいて、合成画像91Xと合成画像92Xとを関連付ける。
このような画像処理によれば、2つの走行態様は、合成画像91X及び92Xに基づいて単一の画面上で(典型的には動画で)比較可能な状態となる。実施形態によれば、合成画像91X及び92Xは端末3に送信され、上記2つの走行態様は、端末3において比較用合成画像93Xとして単一の画面に表示される。これにより、ユーザは、例えば、自身の走行態様を示す合成画像91Xと、他の走行態様を示す合成画像92Xと、が重ねられて表示された比較用合成画像93Xを参照することができ、この画像93Xを運転操作の練習に活用可能となる。
(第1の応用例)
上述の実施形態では、比較用合成画像93Xは、或る車両1aおよびその運転者Uaの走行態様と、該車両1aとは独立して走行した車両1bおよびその運転者Ubの走行態様と、を並べて表示することを例示した(図7参照)。
上述の実施形態では、比較用合成画像93Xは、或る車両1aおよびその運転者Uaの走行態様と、該車両1aとは独立して走行した車両1bおよびその運転者Ubの走行態様と、を並べて表示することを例示した(図7参照)。
しかしながら、比較用合成画像93Xに並べて表示される2つの走行態様は、互いに独立して走行した車両1であればよく、互いに異なる車両及び/又は運転者である必要はない。即ち、比較対象となる車両1は、略同時に走行した互いに異なる車両であってもよいし、互いに異なる期間に走行した同一の車両であってもよい。
よって、ユーザは、自身の走行態様と、他人の走行態様とを比較することも可能であるし、自身の現在の走行態様と、自身の過去の走行態様とを比較することも可能である。また、ユーザは、或る車両(例えば車両1a)を用いた場合の自身の現在または過去の走行態様と、他の車両(例えば車両1b)を用いた場合の自身の現在または過去の走行態様とを比較することも可能である。よって、図7を参照しながら述べた合成画像90Xの管理は、互いに独立して行われた走行について行われればよく、該管理に必要となる識別子は、車両1、その運転者の他、走行の時間帯、走行の場所等、多様な属性情報に基づいて決められうる。
(第2の応用例)
上述の実施形態によれば、車両位置情報91D及び92Dが同一の位置を示す場合、合成画像91X及び92Xが実質的に同一の位置を走行している態様を示すものとして、それらを合成して比較用合成画像93Xを生成する。よって、車両位置情報91D及び92Dは、少なくとも車体前後方向(車両1の進行方向)において同一の位置を示すとよい。
上述の実施形態によれば、車両位置情報91D及び92Dが同一の位置を示す場合、合成画像91X及び92Xが実質的に同一の位置を走行している態様を示すものとして、それらを合成して比較用合成画像93Xを生成する。よって、車両位置情報91D及び92Dは、少なくとも車体前後方向(車両1の進行方向)において同一の位置を示すとよい。
一方、比較用合成画像93Xに並べて表示される2つの走行態様e1及びe2(図9参照)は、それらを参照するユーザにより適切に比較可能となるように、互いに近接して表示されることが好ましい場合がある。よって、比較用合成画像93Xにおいては、走行態様e1及びe2間の距離(車体左右方向での距離)は、ユーザにより指定されたものとなるように固定されてもよい。この場合、動画上では、走行態様e1及びe2は、それらの間の距離が一定となるように表示されることとなる。
尚、走行態様e1及びe2間の距離は、例えば0~1[m(メートル)]等、ユーザにより任意に設定可能とする。走行態様e1及びe2間の距離を0[m(メートル)]とした場合、それらは重なって表示されることとなる。これにより、走行態様e1及びe2を参照するユーザは、それらの差異を詳細に比較することが可能となる。
また、上記走行態様e1及びe2の差異は、端末3の表示部33において、該差異をユーザに通知するための文字、記号、アイコン等により視認可能に表示されてもよい。付随的/代替的に、上記差異を音で示すガイド(例えば音声ガイド)が付されてもよい。
(第3の応用例)
比較用合成画像93Xの表示は、ユーザの要求に基づいて部分的に省略されてもよく、即ち、比較用合成画像93Xを形成する合成画像91X及び92Xのうち、運転者画像91Q及び92Q、並びに、車両画像91R及び92R、の一部は省略されてもよい。
比較用合成画像93Xの表示は、ユーザの要求に基づいて部分的に省略されてもよく、即ち、比較用合成画像93Xを形成する合成画像91X及び92Xのうち、運転者画像91Q及び92Q、並びに、車両画像91R及び92R、の一部は省略されてもよい。
例えば、運転者画像91Q及び92Qが省略され且つ車両画像91R及び92Rが表示された場合、ユーザは、車両1のコーナリング時の車体の傾きを比較可能となる。或いは、運転者画像91Q及び92Qが表示され且つ車両画像91R及び92Rが省略された場合、ユーザは、車両1のコーナリング時の運転者の姿勢を比較可能となる。
車体及び/又は運転者の姿勢は、車両1の車速、コーナリングの曲率(旋回半径)により変わることが考えられる。よって、合成画像91Xと関連付けが可能な合成画像92Xは、所定条件に基づいて、例えば車速、走行の場所等に基づいて、制限されてもよい。
(第4の応用例)
上述の実施形態では、ユーザが比較用合成画像93Xを運転操作の練習に活用する態様を例示したが、その用途は、ここで例示された態様に限られるものではない。例えば、実施形態の内容は、複数の車両1が略同時に走行している態様を示すCG(コンピュータグラフィックス)を生成して仮想上のバイクレース動画を作成する際にも適用可能である。
上述の実施形態では、ユーザが比較用合成画像93Xを運転操作の練習に活用する態様を例示したが、その用途は、ここで例示された態様に限られるものではない。例えば、実施形態の内容は、複数の車両1が略同時に走行している態様を示すCG(コンピュータグラフィックス)を生成して仮想上のバイクレース動画を作成する際にも適用可能である。
この場合、車両位置情報91D及び92Dには、車体前後方向における所定量の位置ズレが許容されてもよい。この許容範囲は、例えば0~5[m(メートル)]等、ユーザにより任意に設定可能とする。
このような用途においては、比較用合成画像93Xの生成に要する合成画像90Xの数量は3以上であってもよく、比較用合成画像93Xは、視聴用合成画像、広告用合成画像、或いは単に合成画像等、多様な表現で換言されもよい。
また、このような用途においては、運転者画像91Q及び92Qは運転者の姿勢を反映していなくてもよく、運転者姿勢情報91B及び92Bは単に運転者情報と表現されてもよい。
以上に示された幾つかの例は、他の応用例の其々に組み合わされてもよく、それらの何れの組合せが実施形態の内容に組み込まれてもよい。
(画像表示システムの変形例)
前述の画像表示システムSYによれば(図1参照)、画像処理装置2の機能は、車両1とは異なる場所(例えばサーバー)において実現され、合成画像90Xの表示および仮想視点の変更は端末3において行われるものとしたが、この態様に限られるものではない。
前述の画像表示システムSYによれば(図1参照)、画像処理装置2の機能は、車両1とは異なる場所(例えばサーバー)において実現され、合成画像90Xの表示および仮想視点の変更は端末3において行われるものとしたが、この態様に限られるものではない。
図6Aは、画像表示システムSYaの構成例を示す。本システムSYaにおいては、画像処理装置2は車両1に搭載される。この場合、車両1から端末3への合成画像90Xの送信は、ネットワークNを介して行われてもよいし、公知の通信手段(例えばblue tооth(登録商標))により行われてもよい。
図6Bは、画像表示システムSYbの構成例を示す。本システムSYbにおいては、画像処理装置2は端末3に設けられる。即ち、端末3は、情報90A~90Dを、ネットワークN等を介して車両1から受け取り、それらに基づいて合成画像90Xを生成して表示部33に表示すればよい。
更に他の例として、端末3は、車載用モニタ(例えば、カーナビゲーションシステム)であってもよい。この場合、運転者は、車両1を運転しながら、その周辺の様子を所望の仮想視点から視認することが可能となる。
(その他)
以上の説明においては、理解の容易化のため、各要素をその機能面に関連する名称で示したが、各要素は、実施形態で説明された内容を主機能として備えるものに限られるものではなく、それを補助的に備えるものであってもよい。
以上の説明においては、理解の容易化のため、各要素をその機能面に関連する名称で示したが、各要素は、実施形態で説明された内容を主機能として備えるものに限られるものではなく、それを補助的に備えるものであってもよい。
(実施形態のまとめ)
第1の態様は画像処理装置(例えば2)に係り、前記画像処理装置は、車両の運転者を示す運転者情報(例えば90B、91B、92B)と、該車両の状態を示す車両状態情報(例えば90C、91C、92C)とを取得する情報取得手段(例えばS1010、S1020、S1050)と、或る車両およびその運転者について、前記運転者情報に基づく第1の運転者画像(例えば91Q)と、前記車両状態情報に基づく第1の車両画像(例えば91R)とを重ね合わせて第1の合成画像(例えば91X)を生成する第1の画像生成手段(例えばS1040)と、前記或る車両とは独立して走行した車両およびその運転者について、前記運転者情報に基づく第2の運転者画像(例えば92Q)と、前記車両状態情報に基づく第2の車両画像(例えば92R)とを重ね合わせて第2の合成画像(例えば92X)を生成する第2の画像生成手段(例えばS1040)と、前記第1の合成画像と前記第2の合成画像とを所定情報に基づいて関連付ける関連付け手段(例えばS1050)と、を備える
ことを特徴とする。これにより、第1~第2の合成画像に基づいて、或る第1の車両の走行態様と、該第1の車両とは独立して走行した第2の車両の走行態様と、を単一の画面上で(典型的には動画で)比較可能な状態にすることができる。尚、第1~第2の車両は、互いに独立して走行したものであればよく、互いに異なる期間に走行した同一の車両であってもよいし、略同時に走行した互いに異なる車両であってもよい。
第1の態様は画像処理装置(例えば2)に係り、前記画像処理装置は、車両の運転者を示す運転者情報(例えば90B、91B、92B)と、該車両の状態を示す車両状態情報(例えば90C、91C、92C)とを取得する情報取得手段(例えばS1010、S1020、S1050)と、或る車両およびその運転者について、前記運転者情報に基づく第1の運転者画像(例えば91Q)と、前記車両状態情報に基づく第1の車両画像(例えば91R)とを重ね合わせて第1の合成画像(例えば91X)を生成する第1の画像生成手段(例えばS1040)と、前記或る車両とは独立して走行した車両およびその運転者について、前記運転者情報に基づく第2の運転者画像(例えば92Q)と、前記車両状態情報に基づく第2の車両画像(例えば92R)とを重ね合わせて第2の合成画像(例えば92X)を生成する第2の画像生成手段(例えばS1040)と、前記第1の合成画像と前記第2の合成画像とを所定情報に基づいて関連付ける関連付け手段(例えばS1050)と、を備える
ことを特徴とする。これにより、第1~第2の合成画像に基づいて、或る第1の車両の走行態様と、該第1の車両とは独立して走行した第2の車両の走行態様と、を単一の画面上で(典型的には動画で)比較可能な状態にすることができる。尚、第1~第2の車両は、互いに独立して走行したものであればよく、互いに異なる期間に走行した同一の車両であってもよいし、略同時に走行した互いに異なる車両であってもよい。
第2の態様では、前記車両状態情報は、車速、転舵角、車体の姿勢、及び/又は、灯体の状態を示す情報を含む
ことを特徴とする。これにより、第1~第2の車両画像は、車速、転舵角、車体の姿勢、及び/又は、灯体の状態を示すことが可能となる。
ことを特徴とする。これにより、第1~第2の車両画像は、車速、転舵角、車体の姿勢、及び/又は、灯体の状態を示すことが可能となる。
第3の態様では、前記情報取得手段は、前記車両の走行路における位置を示す車両位置情報(例えば90D、91D、92D)を更に取得し、前記所定情報は、前記或る車両についての前記車両位置情報および前記或る車両とは独立して走行した車両についての前記車両位置情報である
ことを特徴とする。これにより、第1~第2の合成画像を適切に関連付け可能となる。
ことを特徴とする。これにより、第1~第2の合成画像を適切に関連付け可能となる。
第4の態様では、前記情報取得手段は、前記車両位置情報を、GPS(Global Positioning System)に基づいて取得する
ことを特徴とする。これにより、或る車両およびその運転者と、該或る車両とは独立して走行した車両およびその運転者と、を並べて(並走させた状態で)単一の画面に表示させることが可能となる。
ことを特徴とする。これにより、或る車両およびその運転者と、該或る車両とは独立して走行した車両およびその運転者と、を並べて(並走させた状態で)単一の画面に表示させることが可能となる。
第5の態様では、前記情報取得手段は、更に、前記車両の周辺の様子を示す車両周辺情報(例えば90A、91A、92A)を取得し、前記画像処理装置は、前記車両周辺情報に基づいて車両周辺画像(例えば90P、91P、92P)を生成する第3の画像生成手段(例えばS1000)を更に備え、前記所定情報は前記車両周辺画像である
ことを特徴とする。これにより、車両周辺画像を背景画像として、或る車両およびその運転者と、該或る車両とは独立して走行した車両およびその運転者と、を表示させることが可能となる。
ことを特徴とする。これにより、車両周辺画像を背景画像として、或る車両およびその運転者と、該或る車両とは独立して走行した車両およびその運転者と、を表示させることが可能となる。
第6の態様では、前記第3の画像生成手段は、前記或る車両についての前記車両周辺情報に基づく前記車両周辺画像と、前記或る車両とは独立して走行した車両についての前記車両周辺情報に基づく前記車両周辺画像とを含む2以上の車両周辺画像を生成可能であり、前記関連付け手段は、前記関連付けられる車両周辺画像を、前記2以上の車両周辺画像の1つから他の1つに切替え可能とする
ことを特徴とする。これにより、2以上の車両周辺画像のうちの任意の1つを背景画像とすることができる。
ことを特徴とする。これにより、2以上の車両周辺画像のうちの任意の1つを背景画像とすることができる。
第7の態様では、前記第3の画像生成手段は、前記車両周辺画像を球面座標系で処理する(図4A及び図4D参照)
ことを特徴とする。これにより、車両周辺画像の処理を比較的簡便に実現可能となる。
ことを特徴とする。これにより、車両周辺画像の処理を比較的簡便に実現可能となる。
第8の態様では、前記第1の画像生成手段は、前記第1の車両画像を三次元座標系で処理し、前記第2の画像生成手段は、前記第2の車両画像を三次元座標系で処理する(図4B、図4C及び図4D参照)
ことを特徴とする。これにより、第1~第2の車両画像の処理を比較的簡便に実現可能となる。
ことを特徴とする。これにより、第1~第2の車両画像の処理を比較的簡便に実現可能となる。
第9の態様では、前記運転者情報は、車両の運転者の姿勢を示す運転者姿勢情報(例えば90B、91B、92B)である
ことを特徴とする。これにより、ユーザは、第1~第2の合成画像に基づいて、例えばコーナリング時の運転者の姿勢を比較可能となる。
ことを特徴とする。これにより、ユーザは、第1~第2の合成画像に基づいて、例えばコーナリング時の運転者の姿勢を比較可能となる。
第10の態様は画像表示装置(例えば3)に係り、前記画像表示装置は、上述の画像処理装置(例えば2)と、前記第1の合成画像および前記第2の合成画像を用いて、前記或る車両およびその運転者と、前記或る車両とは独立して走行した車両およびその運転者と、を並べて又は重ねて単一の画面に表示するディスプレイ(例えば33)と、を備える
ことを特徴とする。これにより、或る第1の車両の走行態様と、該第1の車両とは独立して走行した第2の車両の走行態様と、を比較しながら参照することが可能となる。
ことを特徴とする。これにより、或る第1の車両の走行態様と、該第1の車両とは独立して走行した第2の車両の走行態様と、を比較しながら参照することが可能となる。
第11の態様では、前記画像処理装置は、前記第1の合成画像および前記第2の合成画像の少なくとも一方について、それらの間に基準以上の差異が存する部分を強調するように前記ディスプレイに表示させる
ことを特徴とする。これにより、第1の合成画像および第2の合成画像の間の差異をユーザに視認させ易くすることが可能となる。
ことを特徴とする。これにより、第1の合成画像および第2の合成画像の間の差異をユーザに視認させ易くすることが可能となる。
第12の態様は画像表示装置(例えば3)に係り、前記画像表示装置は、上述の画像処理装置(例えば2)に通信可能な画像表示装置であって、前記第1の合成画像および前記第2の合成画像を並べて又は重ねて単一の画面に表示するディスプレイ(例えば33)を備える
ことを特徴とする。これにより、或る第1の車両の走行態様と、該第1の車両とは独立して走行した第2の車両の走行態様と、を比較しながら参照することが可能となる。
ことを特徴とする。これにより、或る第1の車両の走行態様と、該第1の車両とは独立して走行した第2の車両の走行態様と、を比較しながら参照することが可能となる。
第13の態様では、前記ディスプレイの表示内容を任意の位置からの視点に変更するための操作入力を受け付ける操作部(例えば32)を更に備える
ことを特徴とする。これにより、ユーザは、上記第1~第2の車両の走行態様を任意の視点で視認可能となる。尚、実施形態では、ディスプレイと操作部とは、それらが一体に構成されたタッチパネル式ディスプレイにより実現されるものとしたが、他の実施形態として、これらは別体で構成されてもよい。
ことを特徴とする。これにより、ユーザは、上記第1~第2の車両の走行態様を任意の視点で視認可能となる。尚、実施形態では、ディスプレイと操作部とは、それらが一体に構成されたタッチパネル式ディスプレイにより実現されるものとしたが、他の実施形態として、これらは別体で構成されてもよい。
本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。
本願は、2020年9月30日提出の日本国特許出願特願2020-165999を基礎として優先権を主張するものであり、その記載内容の全てを、ここに援用する。
Claims (13)
- 車両の運転者を示す運転者情報と、該車両の状態を示す車両状態情報とを取得する情報取得手段と、
或る車両およびその運転者について、前記運転者情報に基づく第1の運転者画像と、前記車両状態情報に基づく第1の車両画像とを重ね合わせて第1の合成画像を生成する第1の画像生成手段と、
前記或る車両とは独立して走行した車両およびその運転者について、前記運転者情報に基づく第2の運転者画像と、前記車両状態情報に基づく第2の車両画像とを重ね合わせて第2の合成画像を生成する第2の画像生成手段と、
前記第1の合成画像と前記第2の合成画像とを所定情報に基づいて関連付ける関連付け手段と、を備える
ことを特徴とする画像処理装置。 - 前記車両状態情報は、車速、転舵角、車体の姿勢、及び/又は、灯体の状態を示す情報を含む
ことを特徴とする請求項1記載の画像処理装置。 - 前記情報取得手段は、前記車両の走行路における位置を示す車両位置情報を更に取得し、前記所定情報は、前記或る車両についての前記車両位置情報および前記或る車両とは独立して走行した車両についての前記車両位置情報である
ことを特徴とする請求項1または請求項2記載の画像処理装置。 - 前記情報取得手段は、前記車両位置情報を、GPS(Global Positioning System)に基づいて取得する
ことを特徴とする請求項3記載の画像処理装置。 - 前記情報取得手段は、更に、前記車両の周辺の様子を示す車両周辺情報を取得し、
前記画像処理装置は、前記車両周辺情報に基づいて車両周辺画像を生成する第3の画像生成手段を更に備え、
前記所定情報は前記車両周辺画像である
ことを特徴とする請求項1から請求項4の何れか1項記載の画像処理装置。 - 前記第3の画像生成手段は、前記或る車両についての前記車両周辺情報に基づく前記車両周辺画像と、前記或る車両とは独立して走行した車両についての前記車両周辺情報に基づく前記車両周辺画像とを含む2以上の車両周辺画像を生成可能であり、
前記関連付け手段は、前記関連付けられる車両周辺画像を、前記2以上の車両周辺画像の1つから他の1つに切替え可能とする
ことを特徴とする請求項5記載の画像処理装置。 - 前記第3の画像生成手段は、前記車両周辺画像を球面座標系で処理する
ことを特徴とする請求項5または請求項6記載の画像処理装置。 - 前記第1の画像生成手段は、前記第1の車両画像を三次元座標系で処理し、
前記第2の画像生成手段は、前記第2の車両画像を三次元座標系で処理する
ことを特徴とする請求項7記載の画像処理装置。 - 前記運転者情報は、車両の運転者の姿勢を示す運転者姿勢情報である
ことを特徴とする請求項1から請求項8の何れか1項記載の画像処理装置。 - 請求項1から請求項9の何れか1項記載の画像処理装置と、
前記第1の合成画像および前記第2の合成画像を用いて、前記或る車両およびその運転者と、前記或る車両とは独立して走行した車両およびその運転者と、を並べて又は重ねて単一の画面に表示するディスプレイと、を備える
ことを特徴とする画像表示装置。 - 前記画像処理装置は、前記第1の合成画像および前記第2の合成画像の少なくとも一方について、それらの間に基準以上の差異が存する部分を強調するように前記ディスプレイに表示させる
ことを特徴とする請求項10記載の画像表示装置。 - 請求項1から請求項9の何れか1項記載の画像処理装置に通信可能な画像表示装置であって、
前記第1の合成画像および前記第2の合成画像を並べて又は重ねて単一の画面に表示するディスプレイを備える
ことを特徴とする画像表示装置。 - 前記ディスプレイの表示内容を任意の位置からの視点に変更するための操作入力を受け付ける操作部を更に備える
ことを特徴とする請求項10から請求項12の何れか1項記載の画像表示装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020165999 | 2020-09-30 | ||
JP2020165999 | 2020-09-30 | ||
PCT/JP2021/029499 WO2022070618A1 (ja) | 2020-09-30 | 2021-08-10 | 画像処理装置および画像表示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2022070618A1 JPWO2022070618A1 (ja) | 2022-04-07 |
JP7377372B2 true JP7377372B2 (ja) | 2023-11-09 |
Family
ID=80949896
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022553516A Active JP7377372B2 (ja) | 2020-09-30 | 2021-08-10 | 画像処理装置および画像表示装置 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP7377372B2 (ja) |
TW (1) | TWI789030B (ja) |
WO (1) | WO2022070618A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4131945A4 (en) * | 2020-03-31 | 2023-04-19 | Honda Motor Co., Ltd. | IMAGE PROCESSING DEVICE, VEHICLE, IMAGE PROCESSING METHOD AND PROGRAM |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012143447A (ja) | 2011-01-13 | 2012-08-02 | Sharp Corp | ネットワークシステム、コントロール方法、コントローラ、およびコントロールプログラム |
US20170103160A1 (en) | 2015-10-12 | 2017-04-13 | Milsco Manufacturing Company, A Unit Of Jason Incorporated | Customer Comfort Optimization Method, Apparatus, and System |
WO2020100334A1 (ja) | 2018-11-15 | 2020-05-22 | ヤマハ発動機株式会社 | 鞍乗型車両走行データ処理装置、鞍乗型車両走行データ処理方法および鞍乗型車両走行データ処理プログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWM518183U (zh) * | 2015-09-18 | 2016-03-01 | Hua Chuang Automobile Information Technical Ct Co Ltd | 三維行車影像校正裝置 |
US20170300186A1 (en) * | 2016-04-18 | 2017-10-19 | Peter Kuhar | Systems and methods for health management |
-
2021
- 2021-08-10 JP JP2022553516A patent/JP7377372B2/ja active Active
- 2021-08-10 WO PCT/JP2021/029499 patent/WO2022070618A1/ja active Application Filing
- 2021-09-27 TW TW110135717A patent/TWI789030B/zh active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012143447A (ja) | 2011-01-13 | 2012-08-02 | Sharp Corp | ネットワークシステム、コントロール方法、コントローラ、およびコントロールプログラム |
US20170103160A1 (en) | 2015-10-12 | 2017-04-13 | Milsco Manufacturing Company, A Unit Of Jason Incorporated | Customer Comfort Optimization Method, Apparatus, and System |
WO2020100334A1 (ja) | 2018-11-15 | 2020-05-22 | ヤマハ発動機株式会社 | 鞍乗型車両走行データ処理装置、鞍乗型車両走行データ処理方法および鞍乗型車両走行データ処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
TWI789030B (zh) | 2023-01-01 |
JPWO2022070618A1 (ja) | 2022-04-07 |
WO2022070618A1 (ja) | 2022-04-07 |
TW202215365A (zh) | 2022-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5267660B2 (ja) | 画像処理装置、画像処理プログラム、画像処理方法 | |
EP3127041B1 (en) | Method and apparatus for identifying a driver based on sensor information | |
US11610342B2 (en) | Integrated augmented reality system for sharing of augmented reality content between vehicle occupants | |
JP6191241B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN102291541A (zh) | 一种车辆虚拟合成显示系统 | |
WO2020125006A1 (zh) | 增强现实显示设备及应用增强现实显示设备的交互方法 | |
EP3333808B1 (en) | Information processing device | |
JP2009192448A (ja) | 情報表示装置及び情報提供システム | |
US11227494B1 (en) | Providing transit information in an augmented reality environment | |
JP7377372B2 (ja) | 画像処理装置および画像表示装置 | |
WO2015190062A1 (ja) | 車両用表示装置 | |
Kim et al. | Effects on productivity and safety of map and augmented reality navigation paradigms | |
US20180307378A1 (en) | Wearable display, image display apparatus, and image display system | |
Rao et al. | AR-IVI—implementation of in-vehicle augmented reality | |
CN117916706A (zh) | 在行驶期间在机动车中运行智能眼镜的方法、可相应运行的智能眼镜及机动车 | |
CN103076018B (zh) | 图像显示控制系统、图像显示控制方法 | |
JP2018042236A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US12097804B2 (en) | Image processing device, vehicle, image processing method, and storage medium | |
JP7571866B2 (ja) | 車両用表示システム、車両用表示方法、及び車両用表示プログラム | |
JP6993068B2 (ja) | 表示システム | |
JP2023076012A (ja) | 画像表示システム | |
JP2018205625A (ja) | 表示制御装置、表示システムおよび表示制御方法 | |
Syed et al. | A Framework for Cardboard Based Augmented Reality | |
JP2018158664A (ja) | 運転支援装置、運転支援方法およびプログラム | |
Gupta et al. | Motorbike Helmet with Heads-Up Display Navigation and Fall Detection System |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230307 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231023 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231027 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7377372 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |