Nothing Special   »   [go: up one dir, main page]

JP2013156981A - 車両の環境を表示するための視認システムおよび方法 - Google Patents

車両の環境を表示するための視認システムおよび方法 Download PDF

Info

Publication number
JP2013156981A
JP2013156981A JP2013005364A JP2013005364A JP2013156981A JP 2013156981 A JP2013156981 A JP 2013156981A JP 2013005364 A JP2013005364 A JP 2013005364A JP 2013005364 A JP2013005364 A JP 2013005364A JP 2013156981 A JP2013156981 A JP 2013156981A
Authority
JP
Japan
Prior art keywords
vehicle
virtual
dimensional space
environment
arithmetic unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013005364A
Other languages
English (en)
Other versions
JP5590688B2 (ja
Inventor
Gassman Bernd
ガスマン ベルント
Scholl Kay-Ulrich
シヨル カイ−ウルリヒ
Quast Johannes
クヴァスト ヨハネス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harman Becker Automotive Systems GmbH
Original Assignee
Harman Becker Automotive Systems GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harman Becker Automotive Systems GmbH filed Critical Harman Becker Automotive Systems GmbH
Publication of JP2013156981A publication Critical patent/JP2013156981A/ja
Application granted granted Critical
Publication of JP5590688B2 publication Critical patent/JP5590688B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/161Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/32Image data format

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)

Abstract

【課題】車両の環境を表示するための視認システムおよび方法の提供。
【解決手段】複数の画像キャプチャユニットを用いて画像データの形式で、車両の環境の画像を記録するステップと、表示装置を用いて出力画像を表示するステップと、演算ユニットを用いて仮想三次元空間および表面を決定するステップであって、仮想三次元空間は、表面によって少なくとも部分的に範囲を定められるステップと、演算ユニットを用いて表面上への画像データの投影を算出するステップと、演算ユニットを用いて仮想三次元空間においてコンピュータで生成されたグラフィックとして所定のデータから仮想車両オブジェクトを算出するステップと、仮想車両オブジェクトを含む視野体積をレンダリングすることによって演算ユニットを用いて出力画像を生成するステップと、を含む、車両の環境を表示するための視認システムおよび方法。
【選択図】図1

Description

本発明は、車両の環境を表示するための視認システムおよび方法に関する。
グラフィックスパイプラインは、Wikipediaの記事「Bildsynthese」、http://de.wikipedia.org/wiki/Bildsynthese(英語版:「Rendering」(http://en.wikipedia.org/wiki/Rendering)より知られている。仮想の観察者がいる場面では、視野体積は、2つのクリッピング平面によって範囲が定められる。その場面における全てのプリミティブは、仮想の観察者が、奥行き軸zに沿って見ているように変形される。場面が光源を含有する場合、色は、対応する三角形の材料の性質に基づき、各頂点に対して算出される。観察者の眺めから視認可能な場面の体積は、切頂角錐(錐台)である。この錐台は、次のステップで立方体へと変形する。部分的にまたは完全に視野体積の外側にあるプリミティブは、クリッピングおよびカリング技術を用いて、抜き出されるか、または除去される。最後に、頂点座標をスクリーンの所望の描画エリアへ移動させる変形が適用される。z座標は、後の隠れた表面の決定のために必要であるため、同じままである。ラスタリングステップでは、全ての残っているプリミティブが、それらに属するピクセルを彩色することによってラスタリングされる。重なっている三角形の視認可能な部分のみが、表示されるべきであるため、隠れた表面の決定を実行する、zバッファが使用される。
欧州特許第EP 1 720 131 B1号は、実マーカーオブジェクトの識別を伴う、拡張現実システムを示す。拡張現実システムは、本物の言語環境を拡張させるために、実世界環境を見渡し、その画像データを生成し、仮想画像データをレンダリングし、仮想画像データを追加のオブジェクトデータと重畳するように構成される。実環境から受信された実画像データは、処理されかつ操作されてもよく、それによって、ユーザへ、仮想オブジェクトを含む画像を提供するように、「仮想」オブジェクトからのオブジェクトの画像データによって補充されてもよい。
本発明の目的は、可能な限り、車両用の視認システムを改善することである。
本目的は、独立請求項1の特徴を有する視認システムによって達成される。有利な改善点が、従属請求項の主題であり、本説明の中に含まれている。
それに基づいて、車両の視認システムが提供される。視認システムは、画像データの形式で、車両の環境の画像を記録するための、複数の画像キャプチャユニットを有する。視認システムは、出力画像を表示するための表示装置を有する。視認システムは、複数の画像キャプチャユニットおよび表示装置に接続される、演算ユニットを有する。
演算ユニットは、仮想三次元空間および表面を決定するように構成され、表面は、仮想三次元空間の範囲を少なくとも部分的に定める。
演算ユニットは、表面上への画像データの投影を算出するように構成される。
演算ユニットは、仮想三次元空間において、事前に定義されたデータからコンピュータで生成されたグラフィックとして、仮想車両オブジェクトを算出するように構成される。
演算ユニットは、仮想車両オブジェクトを含む視野体積をレンダリングすることによって、出力画像を生成するように構成される。視野体積は、表面によって範囲を定められる。視野体積は、仮想三次元空間の中の視点、および視角、ならびにズーム倍率に基づく。
本発明の特定の実施形態は、説明される通り、例えば、図との関連で、複数の利点を提供する。本システムは、ユーザに、表示部上に出力されてもよい、周辺視野を提供する。視点および視角は、ユーザにいつも環境の最適な視野を提供するように、必要に応じて自由に選択され変更されてもよい。ユーザは、車両オブジェクトを表示することによって、車両位置に対する環境を非常に簡単に捕捉することもでき、それによって、起こり得る衝突を予測することができる。
本発明の目的は、さらに、車両の環境を表示するために、できる限り改善されている方法を特定することである。
本目的は、独立請求項6の特徴を有する方法によって達成される。有利な改善点が、本説明の中に含まれている。
従って、車両の環境を表示するための方法が提供される。
方法では、車両の環境の画像が、複数の画像キャプチャユニットを用いて、画像データの形式で記録される。
方法では、出力画像が、表示装置を用いて表示される。
方法では、仮想三次元空間および表面が、演算ユニットを用いて決定される。仮想三次元空間は、表面によって少なくとも部分的に範囲を定められる。
方法では、表面上への画像データの投影が、演算ユニットを用いて算出される。
方法では、仮想車両オブジェクトは、演算ユニットを用いて、仮想三次元空間の中で、事前に定義されたデータからコンピュータで生成されたグラフィックとして算出される。
方法では、出力画像は、仮想車両オブジェクトを含む視野体積をレンダリングすることによって、演算ユニットを用いて生成される。視野体積は、表面によって範囲を定められる。視野体積は、例えば、表面によって奥行きの範囲を定められる。視野体積は、仮想三次元空間の中の視点、および視角、ならびにズーム倍率に基づく。
下に記載される実施形態は、システムおよび方法の両方に関する。
1つの有利な実施形態に従い、表面は、仮想車両オブジェクト、特に、車両オブジェクトの複数の側面に隣接する。車両オブジェクトは、有利に、表面に隣接するエリアを有する。
有利な実施形態に従い、演算ユニットは、形状を使用して表面を決定するように構成され、形状は、視点の側面から視認して陥凹状の湾曲を、少なくとも部分的に有する。
有利な実施形態に従い、演算ユニットは、車両オブジェクトに隣接し、曲面領域に延在するエリアにおいて、大部分水平であるように表面を決定するように構成される。車両オブジェクトに隣接する表面の領域は、好ましくは、車両オブジェクトの底部エリアと同じ平面上にある。
1つの有利な実施形態に従い、演算ユニットは、底部および壁を有する鉢の形状である表面を決定するように構成される。鉢形状の底部は、大部分は水平に、好ましくは、平面であるように設計される。鉢形状の壁は、曲面となるように設計される。
1つの有利な実施形態に従い、演算ユニットは、3つの空間方向において仮想三次元空間を決定するように構成され、仮想三次元空間は、空間方向のうちの少なくとも2つにおいて、表面によって範囲を定められる。これにより周辺視野が達成され、ユーザが、例えば、鳥瞰的な眺めから、車両の全周囲の環境を、完全にまたはセクションごとに視認することが可能になる。仮想三次元空間は、好ましくは、空間方向のうちの2つにおいて完全に範囲を定められ、もう1つの第3の空間方向において少なくとも部分的に範囲を定められる。
1つの有利な実施形態に従い、演算ユニットは、仮想三次元空間内の固定位置にある車両オブジェクトを決定するように構成される。車両オブジェクトは、好ましくは、例えば、車両の確認された動きの間、車両オブジェクトの仮想車輪を回転および/または旋回させるために、動画化される。
1つの有利な実施形態に従い、演算ユニットは表面上へ画像データを投影することによって、歪みを算出するように構成される。それによって、出力画像の中に環境のできるだけ大きな部分を出力し、運転手が自分の位置を確認するのをより簡単にするために、画像データ領域は圧縮されてもよい。
1つの有利な実施形態に従い、画像キャプチャユニットは、例えば、CMOSカメラまたはCCDカメラ等として設計される。画像キャプチャユニットは、好ましくは、大きな魚眼レンズ(広角度)を有する。1つの有利な実施形態に従い、表示装置は、タッチスクリーンまたは投影機等として設計される。
特に有利な実施形態に従い、演算ユニットは、視野体積を制御するように構成される。
視野体積を制御するために、演算ユニットは、好ましくは、仮想三次元空間の中の第1の座標と、仮想三次元空間の中の第2の座標との間で、視点を変更するように構成される。
視野体積を制御するために、演算ユニットは、好ましくは、仮想三次元空間の中の第1の方向と、仮想三次元空間の中の第2の方向との間で、視角を変更するように構成される。
視野体積を制御するために、演算ユニットは、好ましくは、第1のズーム値と第2のズーム値との間で、ズーム倍率を変更するように構成される。
演算ユニットは、好ましくは、ユーザにより確認された入力に基づき、視点、および/もしくは視角、ならびに/またはズーム倍率を変更するように構成される。演算ユニットは、好ましくは、特に、視点、および/もしくは視角、ならびに/またはズーム倍率を自動的に変更するように構成される。ユーザ入力は、本目的には必ずしも必要ではない。
特に有利な実施形態に従い、演算ユニットは、軌道に沿って連続して視点を変更するように構成される。このタイプの軌道は、例えば、円形状または楕円形状を有する。
特に有利な実施形態に従い、演算ユニットは、衝突確率を判定するように構成される。車両の領域と、環境の中のオブジェクトとの間の衝突の衝突確率は、車両の環境の中のオブジェクトへの、少なくとも1つの確認された距離に基づき判定される。例えば、車両の領域とオブジェクトとの間の距離が測定され、複数の閾値と比較される。例えば、衝突確率は、0(衝突なし)から1(衝突が差し迫っている)までの値の範囲中の値を有する。
1つの有利な実施形態に従い、演算ユニットは、環境の中の車両の動きと関連する、少なくとも1つの信号に基づき、車両の領域と環境の中のオブジェクトとの間の衝突の衝突確率を、加えて判定するように構成される。信号は、好ましくは、制御信号またはセンサ信号である。信号は、好ましくは、特に、前進および後退のギア選択、および/または車両の速度、および/または車両の加速、および/または衛星信号を用いて確認された位置の変化、および/または検知されたブレーキペダル位置、および/または検知されたアクセルペダル位置、および/または設定された方向指示器と関連する。
特に好ましい実施形態に従い、車両の各領域は、少なくとも1つの所定の視野体積と関連する。所定の視野体積は、領域と関連する車両オブジェクトの部分、および関連する部分に隣接する表面の表面領域を有する。演算ユニットは、閾値を衝突確率が上回る時、車両の領域と関連する所定の視野体積を制御するように構成される。そのため、車両の領域と関連する車両オブジェクトの部分、および関連する部分に隣接する表面の表面領域は、出力画像を生成するようにレンダリングされる。
本実施形態は、衝突の危険性がある場合に、車両の領域と、環境の中のオブジェクトとの間の空間を表示する、出力画像が動的に生成されるという利点を達成する。それゆえ、ユーザは、衝突の可能性をより正確に推定する場合がある。
衝突確率による閾値の超過を確認するために、衝突確率は、好ましくは、複数の、特に、固定閾値と比較される。閾値の超過と関連する視点は、表(LUT‐参照テーブル)に基づき確認される。衝突確率は、例えば、値またはベクトルである。例えば、ベクトルは、車両の各領域に対して、関連する衝突確率値を有する。
別の有利な実施形態に従い、演算ユニットは、車両の動きと関連する、信号の複数の動作値を検出するためのインターフェースを有する。例えば、インターフェースは、データバスのセンサノードに接続するためのバス接続、および/またはアナログセンサ信号を評価するためのアナログ/デジタル変換器を有する。
上に記載した実施形態は、個別でも組み合わせても特に有利である。全ての実施形態は、互いに組み合わせられてもよい。幾つかの可能な組み合わせは、図中の例示的実施形態の記述において説明される。しかしながら、可能な実施形態の特徴を組み合わせるために、その中に図示されるこれらの可能性は、最終的なものではない。
例えば、本願発明は以下の項目を提供する。
(項目1)
車両(100)の視認システムであって、
画像データ(RAW)の形式で、上記車両(100)の環境(900)の画像を記録するための、複数の画像キャプチャユニット(110、120、130、140)と、
出力画像(330)を表示するための表示装置(300)と、
上記複数の画像キャプチャユニット(110、120、130、140)、および上記表示装置(300)に接続される、演算ユニット(200)と、を備え、
上記演算ユニット(100)は、
仮想三次元空間(600)および上記仮想三次元空間(600)を少なくとも部分的に限定する表面(690)を決定し、
上記表面(690)上への上記画像データ(RAW)の投影を算出し、
上記仮想三次元空間(600)の中に、所定のデータ(Obj)からコンピュータで生成されたグラフィックとして、仮想車両オブジェクト(500)を算出し、
上記仮想車両オブジェクト(500)を含む視野体積(711、721)をレンダリングすることによって、上記出力画像(330)を生成するように構成され、上記視野体積(711、721)は、上記表面(690)によって範囲を定められ、上記視野体積(690)は、上記仮想三次元空間(600)内の、視点(710、720)、および視角(712、722)、ならびにズーム倍率(724)に基づく、視認システム。
(項目2)
上記視野体積(711、721)を制御するために、上記演算ユニット(200)は、
上記仮想三次元空間(600)内の第1の座標と、上記仮想三次元空間(600)内の第2の座標との間で、上記視点(710、721)を変更し、
上記仮想三次元空間(600)の中の第1の方向と、上記仮想三次元空間(600)の中の第2の方向との間で、上記視角(712、722)を変更し、
かつ/または
第1のズーム値と第2のズーム値との間で、上記ズーム倍率(714、724)を変更するように構成される、上記項目に記載の視認システム。
(項目3)
上記演算ユニット(200)は、
上記車両(100)の上記環境(900)内のオブジェクト(910)までの少なくとも1つの確認された距離(d)に基づき、上記車両(100)の領域(101)と、上記環境(900)内の上記オブジェクト(910)との間の衝突の衝突確率(CP)を判定するように構成される、上記項目のいずれか一項に記載の視認システム。
(項目4)
上記演算ユニット(200)は、
上記環境(900)の中の上記車両(100)の動きと関連付けられた、少なくとも1つの信号(S)に基づき、上記車両(100)の上記領域(101)と、上記環境(900)内の上記オブジェクト(910)との間の上記衝突の上記衝突確率(CP)を判定するように構成される、上記項目のいずれか一項に記載の視認システム。
(項目5)
少なくとも1つの所定の視野体積(711、721)は、上記車両(100)の各領域(101、102、103、104、105、106)と関連付けられ、上記所定の視野体積(711、721)は、上記車両(100)の上記領域(101、102、103、104、105、106)と関連付けられた、上記車両オブジェクト(500)の部分(501、502、503、504、505、506)と、上記関連付けられた部分(501、502、503、504、505、506)に隣接する上記表面(690)の表面領域とを有し、上記演算ユニット(200)は、
上記領域(101、102、103、104、105、106)と関連付けられた上記車両オブジェクト(500)の上記部分(501、502、503、504、505、506)と、上記関連付けられた部分(501、502、503、504、505、506)に隣接する上記表面(690)の上記表面領域とをレンダリングするために、上記衝突確率(CP)による閾値の超過に基づき、上記領域(101、102、103、104、105、106)と関連付けられた、上記所定の視野体積(711、721)を制御するように構成される、上記項目のいずれか一項に記載の視認システム。
(項目6)
車両(100)の環境を表示するための方法であって、
複数の画像キャプチャユニット(110、120、130、140)を用いて、画像データ(RAW)の形式で、上記車両(100)の環境(900)の画像を記録するステップと、
表示装置(300)を用いて、出力画像(330)を表示するステップと、
演算ユニット(200)を用いて、仮想三次元空間(600)および表面(690)を決定するステップであって、上記仮想三次元空間(600)は、上記表面(690)によって少なくとも部分的に範囲を定められる、ステップと、
上記演算ユニット(200)を用いて、上記表面(690)上への上記画像データ(RAW)の投影を算出するステップと、
上記演算ユニット(200)を用いて、上記仮想三次元空間(600)においてコンピュータで生成されたグラフィックとして、所定のデータ(Obj)から仮想車両オブジェクト(500)を算出するステップと、
上記仮想車両オブジェクト(500)を含む視野体積(711、721)をレンダリングすることによって、上記演算ユニット(200)を用いて、上記出力画像(330)を生成するステップであって、上記視野体積(711、721)は、上記表面(690)によって範囲を定められ、上記視野体積(690)は、上記仮想三次元空間(600)の中の視点(710、720)、および視角(712、722)、ならびにズーム倍率(724)に基づく、ステップと、を含む方法。
(適用)
車両(100)の環境を表示するための視認システムおよび方法であって、
複数の画像キャプチャユニット(110、120、130、140)を用いて、画像データ(RAW)の形式で、車両(100)の環境(900)の画像を記録するステップと、
表示装置(300)を用いて、出力画像(330)を表示するステップと、
演算ユニット(200)を用いて、仮想三次元空間(600)および表面(690)を決定するステップであって、仮想三次元空間(600)は、表面(690)によって少なくとも部分的に範囲を定められる、ステップと、
演算ユニット(200)を用いて、表面(690)上への画像データ(RAW)の投影を算出するステップと、
演算ユニット(200)を用いて、仮想三次元空間(600)においてコンピュータで生成されたグラフィックとして、所定のデータ(Obj)から仮想車両オブジェクト(500)を算出するステップと、
仮想車両オブジェクト(500)を含む視野体積(711、721)をレンダリングすることによって、演算ユニット(200)を用いて、出力画像(330)を生成するステップであって、視野体積(711、721)は、表面(690)によって範囲を定められ、視野体積(690)は、仮想三次元空間(600)の中の視点(710、720)、および視角(712、722)、ならびにズーム倍率(724)に基づく、ステップと、を含む、視認システムおよび方法。
本発明は、図面中に図示する例示的実施形態に基づき、下により詳細に説明される。
環境における車両の略図を示す。 コンピュータで生成された車両オブジェクトを含む、三次元空間の略図を示す。 図3a〜図3cは、コンピュータで生成された車両オブジェクトの視点および視角の視野を示す。 鳥瞰的な眺めからの出力画像の略図を示す。 衝突領域に対する出力画像の略図を示す。 視認システムの概略ブロック図を示す。 概略フローチャートを示す。
図1は、環境900における自動車100の概略図を示す。例示的環境900は、オブジェクトとして、鉢植え910、壁920、人930、および別の車両956を有する。車両100は、外形としてのみ図示される。車両100は、環境900においてオブジェクト910、920、930、956と衝突する可能性がある、領域101、102、103、104、105、106を有する。加えて、画像キャプチャユニットとして複数のカメラ110、120、140、160、および複数の距離センサ410、420、430、440、450、460の構成が、概略的に図示されている。
カメラ110、120、140、160は、カメラ110、120、140、160が環境900の画像を記録するように、車両100の中で外側の方へ向けられる。しかしながら、図1の例示的実施形態では、車両100は、カメラ110、120、140、160自体によって記録されない。比較的少数のカメラ110、120、140、160を使用して、車両100の周り全ての環境900の画像を記録するために、カメラ110、120、140、160は、例えば、破線によって図1の中に示される、175°(魚眼レンズ)の非常な広角度を有する。したがって、カメラ110、120、140、160は、周辺視野のために位置している。2つのカメラ、例えば、110および120、の記録領域は重複していてもよい。
各距離センサ410、420、430、440、450、460は、距離を記録するように設計される。距離センサ410、420、430、440、450、460は、例えば、容量でまたは超音波を使用する非接触式の方法で、車両100とオブジェクト910、920、930、956のうちの1つとの間の距離d、d、d、d、dを測定する。
カメラ110、120、140、160および距離センサ410、420、430、440、450、460は、信号、ならびに/またはカメラ110、120、140、160および距離センサ410、420、430、440、450、460の信号を評価するように構成される、データ処理装置200に接続される。図1の例示的実施形態では、演算ユニット200はまた、出力画像330を出力し、ユーザにより制御コマンドを入力するように構成される、タッチスクリーン300に接続される。
図1に図示するシステムは、カメラ110、120、140、160によって記録された環境900を、出力画像330の中でユーザに表示する機能を有する。出力画像330は静止しておらず、代わりに、複数の(可変)距離d、d、d、d、dに基づき、有利に制御される。
出力画像330の生成が、概略的に図2に図示されている。車両100のカメラ110、120、140、160が、外側に向けられているため、車両100自体は、カメラ110、120、140、160によって記録されない。実車両100の代わりに、車両オブジェクト500が、コンピュータで生成されたグラフィックとして、事前に定義されたデータより算出される。コンピュータで生成されたグラフィックは、例えば、同じタイプの車両を示し、車両オブジェクト500の色は、例えば、車両100に適応可能である。車両オブジェクト500は、複数の部分501、502、503、504を有し、車両オブジェクト500の各部分501、502、503、504は、実車両100の領域101、102、103、104と関連付けられる。
車両オブジェクト500は、仮想三次元空間600の中に位置付けられる。仮想三次元空間600は、表面690によって範囲を定められる。図2の例示的実施形態では、表面690は鉢の形状である。表面690の底部610は、大部分が水平である。一方、表面690の壁620は大部分が垂直であり、車両オブジェクト500の方向に、陥凹状の湾曲を有する。
表面690上への画像データの投影が算出され、画像データはカメラ110、120、140、160を用いて記録される。記録された画像データは、図2においては鉢の内部上へ投影される。表面690の形状のために、画像データの歪みが、出力画像330に対して達成される。陥凹セクション620と比較すると、歪みのために、出力画像330において、表面690の大部分が水平なセクション610上に、投影領域を拡大して表示することが可能である。カメラ110、120、140、160が外側の方に向き、実車両100自体をキャプチャしないため、表面690は、車両オブジェクト500の下方に穴650を有する。図2に従う鉢形状の代替として、例えば、半球といった別の形状もまた提供されてもよい。しかしながら、鉢形状は、画像データを歪めるという利点を有する。測定された変数および/または制御変数に応じて、表面690の形状を適合させることもまた、可能である。測定された変数は、例えば、車両速度である。制御変数は、ユーザ入力である。形状は、例えば、大部分が水平な領域610の幅を変えることによって適合する。
出力画像330は、視野体積711、712に基づき生成される。視野体積711、721は、表面690によって三次元空間600の中で範囲を定められる。視野体積711、721は、仮想三次元空間600の中の視点710、720、および視角712、722、ならびにズーム倍率714、724に基づく。視点710、720は、表面690によって包囲される領域に割り当てられなくてはならない。ズーム倍率714、724は、固定されてもよく、または調整可能であってもよい。図2の例示的実施形態では、2つの視野体積711、721は、破線によって概略的に図示されている。
第1の視野体積721は、いわゆる第1のクリッピング平面723、第1のズーム倍率724、第1の視角722、および表面690による範囲設定によって画定される。表面690の湾曲に基づき、第1の視野体積721は、切頂角錐形状から逸脱する。第1のズーム倍率724は、開いている角度によって、簡易化した形態で表示される。また、車両オブジェクト500は、第1の視野体積721の中にも含まれ、そのため、第1の視点から見ると、表面690の領域は、出力画像330において車両オブジェクト500の「背後」に見ることができない。そのため、隠れた表面の決定が実行される。車両オブジェクト500の部分のみが見え、第1の視点720の場合には部分503、502が見える。出力画像330は、第1の視野体積721をレンダリングすることによって生成される。
図2の例示的実施形態はまた、第2の視点710、第2の視角712、第2のクリッピング平面713、および第2のズーム倍率714を有する、第2の視野体積711を示す。第2の視野体積711は、車両オブジェクト500の最前部501、および表面690の大部分が水平な領域610を有する。図2に図示する表面690の湾曲のため、第2の視野体積711はまた、不正確な角錐台、すなわち、正確な錐台ではない形状を有する。第1の視野体積721が、移動の方向に出力画像330として環境900の良好な概観を提供する一方、第2の視野体積711は、車両オブジェクト500のすぐ前の、環境900の非常に詳細な視野を提供する。両方の場合において、車両オブジェクト500のおかげで、ユーザが出力画像330内で自分自身を配向することが、より簡単になる。加えて、他の情報、例えば、メートル表示の距離dまたは警告記号が、出力画像330の中に表示されてもよい(図2には図示せず)。
最も単純な場合には、第1の視野体積721と第2の視野体積711との間で切り替えることが可能であるが、第1の視野体積から第2の視野体積への円滑な変化は、配向を改善する。視点は、有利にも、軌道790に沿って、第1の視点720から第2の視点710へ連続して変更される。また、視角722、712の変更も適合されてもよい。このような変更の例示的実施形態は、図3aから図3cの例によって説明される。
軌道791、792、793、797、798に対する例示的実施形態は、図3で、関連する視角722、732、742における視点720、730、740の変更に対して、図示する。視点720、730、740は、仮想三次元空間600内で変更され、仮想三次元空間600は、加えて、図2に関連して記載した通り、前記表面690および前記車両オブジェクト500を有する。
図3aの車両オブジェクト500は、順に、複数の部分501、504、505、506を有し、車両オブジェクト500の各部分501、504、505、506は、実車両100の領域101、104、105、106と関連付けられる。図3aの例示的実施形態では、視点720は、車両オブジェクト500の周囲にいる観察者の動きをシミュレートする、水平な楕円軌道791上で変更される。図示する開始位置では、車両オブジェクト500の部分504およびそこに隣接する表面690の領域は、出力画像330の中の観察者に対して可視である。一方、車両オブジェクト500の前方にある視点720が優先される場合、車両オブジェクト500の部分501およびそこに隣接する表面690の領域は、出力画像330の中に見ることができる。
加えて、関連する軌道793を有する鳥瞰的な眺めからの視点740、および最下の視点720と鳥瞰的な眺めからの視点740との間の視点730は、各々異なる高さで示されている。また、視点720、730、740の高さの変更も、例えば、円軌道797、798といった軌道によって図示される。図1に従い、衝突の危険が、センサ410、420、430、440、450、460を用いて確認される場合には、投影された画像データによって示される、車両オブジェクト500の部分501と、対応するオブジェクト910との間の衝突の可能性が、出力画像330の中で見えるように、視点720、730、740が軌道791、792、793、797、798に沿って変更される。
図3bおよび図3cは、別の例示的実施形態を示す。車両オブジェクト500は、上方から示されている。図3bの視点720aおよび図3cの720bは、楕円軌道791上にある。図3bの視角728および図3cの729のみが異なる。図3bの場合には、衝突確率は、視角728が、車両オブジェクト500の右部502、503の方を向いているため、領域102、103のうちの1つにおいて、車両の右側で判定される。一方、図3cの場合には、衝突確率は、視角729が、車両オブジェクト500の後部504へ旋回するため、領域104において、車両の後部で判定される。視点720a、720bは保持される。
出力画像330は、図4で概略的に図示され、図4の出力画像330は、表面690を含む、仮想三次元空間600を用いて生成されている。第1の視野体積721からレンダリングされた、図2の第1の視点720からの視野が示されている。カメラ110、120、140、160の画像データから生成され、出力画像330の中に表示されたオブジェクト画像910′、920′、930′、および956′は、鉢形状表面690のために、出力画像330では歪められる。
図2からの第2の視野体積711に対する出力画像330が、図5に概略的に図示されている。出力画像330は、出力画像330の中のオブジェクト910の投影された画像910′に関係して、車両オブジェクト500の上方からの視野を表示することによって、ユーザに対して、車両100とオブジェクト910との間の距離を明確に示す。出力画像330の中に距離指標800を表示することも可能である。
図6は、概略ブロック図として自動車100のためのシステムを示す。システムは、複数のカメラ110から140と、複数の距離センサ410から460と、状態センサ810、820、830、840、850とを有する。カメラ110から140、距離センサ410から460、および状態センサ810、820、830、840、850は、演算ユニット200のインターフェース240に接続される。第1の状態センサ810は、例えば、ギア選択を感知し、関連する第1のセンサ信号Sを出力するように構成される。第2の状態センサ820は、例えば、ハンドルの動きを感知し、関連する第2のセンサ信号Sを出力するように構成される。第3の状態センサ830は、例えば、アクセルペダルの位置を感知し、関連する第3のセンサ信号Sを出力するように構成される。第4の状態センサ840は、例えば、ブレーキ圧を感知し、関連する第4のセンサ信号Sを出力するように構成される。第5の状態センサ850は、例えば、スイッチとして、方向指示器の設定を判定し、関連する第5のセンサ信号Sを出力するように構成される。センサ信号S、S、S、S、Sがアナログ信号として提供される場合には、インターフェース240はアナログ/デジタル変換器を有してもよい。代替的に、センサ410から460、および/もしくは810から850、ならびに/またはカメラ110から140は、データバスを介してインターフェース240に接続されてもよい。
図6の例示的実施形態では、演算ユニット200が、データ接続320を介して表示部300に接続される。表示部300は、例えば、接続320を通してコマンドをユーザが入力することを可能にする、タッチスクリーンである。表示部300は、演算ユニット200によってレンダリングされた出力画像330が表示される、表示領域340を有する。図1に従う車両100の環境900の画像は、カメラ110から140によって記録され、画像データRAWとして、インターフェース240を介して、演算ユニット200のバッファ280へ書き出される。演算ユニット200は、事前に定義されたデータObjがその中に記憶される、記憶装置エリア290を有する。演算ユニット200の論理270は、三次元空間600において仮想車両オブジェクト500の形態で記憶され事前に定義されたデータObjから、コンピュータで生成されたグラフィックを生成するように構成される。例えば、論理270は、この目的のためのグラフィック処理装置を有する。さらに、論理270は、距離センサ410から460、および状態センサ810から850のセンサ信号SからSに応じて、車両オブジェクト500および画像データRAWから、出力画像330を生成するように構成される。三次元空間内の視点および視角は、出力画像330が車両100の環境900の変化に自動的に適応し、重要衝突領域がユーザに自動的に表示されるように、センサ410から460、810から850に応じて制御される。
図7は、方法ステップ1、2、3、4、5、6、7を含む、概略フローチャートを示す。第1の方法ステップ1では、例えば、図6に従うセンサ810、820、830、840、850、およびセンサ信号S、S、S、S、Sを含む状態センサシステムが評価される。状態センサシステムは、センサ信号S、S、S、S、Sを用いて、またはセンサ信号S、S、S、S、Sから得られた情報を用いて、車両100の予測されるさらなる動きのコースをキャプチャする。例えば、ギア選択、特に、前進ギアまたは後退ギア、および/またはハンドルの動き、および/またはアクセルペダルの位置、および/またはブレーキ圧、および/または方向指示器の設定が感知される。方法のステップ1に従う状態センサシステムの評価は、好ましくは、連続して、または、例えば、1秒の半分といった短時間の間隔で行われる。
環境センサシステムは、第2の方法のステップ2において評価される。例えば、図1に従う環境センサシステムは、距離センサ410、420、430、440、450、460を有する。センサとしてカメラ110、120、130、140を使用して、画像データRAWから距離値を得ることも可能である。環境センサシステムによって、センサデータを用いて、またはセンサデータから得られた情報を用いて、環境を評価することが可能になる。特に、環境900の中のオブジェクト910、920、930、956が検出されてもよく、それらの距離d、d、d、d、d、dおよび/または車両100に対する方向、例えば、「右前方」、「右後方」、「中央後方」等を判定する。好ましくは、環境センサシステムを使用して、オブジェクト910、920、930、956と車両100との間の距離dからdに関する命令文を作成してもよい。例えば、超音波距離センサを使用してもよい。代替的に、または超音波距離センサと組み合わせて、オブジェクトが画像データRAWから検出され、および/または人930がサーモパイルを用いて検出される。
第3の方法のステップ3では、状態センサシステムのデータが解釈され、車両100が動くと予想される方向(ギア/ハンドルの動き/方向指示器)、およびどのくらいの速度(アクセルペダル/ブレーキ圧)かが確認される。一方、環境センサシステムは、第4の方法のステップ4において解釈され、例えば、オブジェクト910、920、930、956の方への接近、またはオブジェクト910、920、930、956からの離隔、および/あるいは環境900の中でのその動きの方向が判定されてもよい。
視点710、720および/または視角712、722を有する、所定の視野体積721、711は、第5の方法のステップ5において確認される。目的は、所定の視野体積711、721をレンダリングすることによって、出力画像330を生成することである。所定の視野体積711、721は、仮想車両オブジェクト500を有する。所定の視野体積711、721はまた、視角712、722の方向で面690によって範囲を定められる。表面690上への車両の環境の画像データRAWの投影が算出される。所定の視野体積711、721は、視点710、720、および視角712、722、ならびに、例えば、図2に図示する通り、仮想三次元空間600の中の固定または可変ズーム倍率714、724に基づく。少なくとも1つの視野体積は、図1からの各領域101、102、103、104、105、106と関連する。例えば、図2からの所定の視野体積711は、図1からの領域101と関連する。所定の視野体積711は、車両100の領域101と関連する車両オブジェクト500の部分501、および車両オブジェクト500の関連する部分501に隣接する表面690の表面領域を有する。
視点710、720のどちらに接近するべきかについては、第5の方法のステップ5において判定される。判定するために、例えば、閾値の比較が図7の例示的実施形態において実行される。衝突確率
CP=f(d...d, S...S) ・・・・・・・・・・・・・・・・(1)
は、例えば、ベクトルとして判定される。例えば、ベクトルの各要素は、図1に概略的に図示する通り、特定の車両領域101、102、103、104、105、106の衝突の1つの確率と関連付けられる。例えば、衝突確率CPは、環境センサシステムの距離d、d、d、d、d、d、および車両100の状態センサシステムのセンサ信号S、S、S、S、Sの関数である。
図7の例示的実施形態では、車両100の領域101と関連する車両オブジェクト500の部分501をレンダリングし、関連する部分501に隣接する表面690の表面領域をレンダリングするために、衝突確率CPが閾値を上回る場合、車両100の領域101と関連する所定の視野体積711は制御される。
例えば、視点‐例えば、図2に従う710‐は、入力変数として衝突確率CPのベクトルを有する、参照テーブルLUTからの出力変数として読み出される。代替的に、視点710はまた、別の方法を使用して、例えば、ファジー論理を用いて、状態センサシステムおよび環境センサシステムより確認されてもよい。例えば、センサデータ、またはセンサデータから得られた環境センサシステムの情報は、要素「情報」、および「警告」、ならびに「重要」を使用して、例えば、緊急の形態で格付けすることができる。例えば、各分類、例えば、「情報」、および「警告」、ならびに「重要」は、例えば、それぞれ「>3m」(情報)、または「0.5mから3m」(警告)、あるいは「<0.5m」(重要)といった距離範囲に割り当てられる。
視点‐図2からの710、720等に対応する‐は、図7の例示的実施形態におけるクラスに分割される。クラスIは、例えば、「右前方」、「左前方」、「右後方」、「左後方」といった詳細な視野に対して、いくつかの視点を識別する。クラスIIは、例えば、「前方中央」、「後方中央」といった概観に対して、いくつかの観察者の位置を識別する。クラスIIIは、例えば、「前方上」、「後方上」といった、鳥瞰的な眺めからのいくつかの視点を識別する。クラスI、II、IIIは、例えば、参照テーブルLUTの中に記憶されてもよい。各場合における現在のクラスは、例えば、距離センサ410から460、および適用可能な場合には、環境センサシステムの他の信号、ならびに適用可能な場合には、状態センサシステムのセンサ信号を用いて、距離に基づき制御される。結果的に、現在の視点は、分類(緊急度)、および場所、または衝突する可能性のあるオブジェクトの場所の変化、ならびに車両の動きの方向に応じて決定される。
例えば、危険およびしたがって衝突の確率が、後方領域(図1からの104に対応する)および前方領域(図1からの101に対応する)の両方において高いと、第5のステップ5で判定される場合、または衝突の危険がないことが確認される場合、視点は、移動の方向に投影された画像データを大部分示す、鳥瞰的な眺めから制御される。移動の方向における衝突の危険が、車両100の一側面上にのみ存在する場合、車両オブジェクト500の関連する部分の詳細な視野を有する、視野体積が制御される。一方、移動の方向における衝突の危険が、車両100の両側にある場合、視野体積が車両オブジェクト500の両側部分を含むように、中央に視点を有する視野体積が制御される。
視野体積の変更は、第6のステップ6において制御される。視点は、仮想三次元空間の中の第1の座標と、仮想三次元空間の中の第2の座標との間で変更される。視点は、第1の座標と第2の座標との間の軌道に沿った動きの中で変更される。例えば、軌道は楕円形状を有し、車両オブジェクトは、省略記号の中心に位置付けられる。視点はまた、仮想三次元空間の中の第1の方向と、仮想三次元空間の中の第2の方向との間で変更されてもよい。例えば、ズーム倍率は恒久的に設定されてもよい。
2つの視野体積間の遷移は、視点が継続して前後に揺れないように、論理を用いて調整される。例えば、論理を用いた、詳細な視野を有する視野体積に対する視点への変更は、中央の対応する視点から開始する時のみ許可されるが、そうでない場合には、中央の視点が最初に制御され、詳細な視野を有する視野体積に対する視点は、その後にのみ制御される。
中央の視点から詳細な視野を有する視野体積に対する視点への変更、および/または中央の視点から鳥瞰的な眺めからの視点への変更は、時間の遅延を介し、論理を用いて制御される。衝突の一時的な危険は、環境センサシステムによって検出されるが、遅延の終了前の視点の変更の制御が、既にカウンタ制御によって上書きされているために、遅延を原因とする視点の変更にはつながらない。
視点の変更は、第7のステップ7において動画化される。例えば、軌道に沿った動きが、最初に加速され、第1の視点から開始して、第2の視点に到達する前にブレーキがかかる。これによって、 出力画像の観察者が、眺めの変更の中で自分自身の配向を確認することが可能になり、観察者が新しい視野および起こる可能性がある衝突の危険を捉えることができる。
本発明は、図1から7に図示した実施形態の変形に限定されない。例えば、異なる数のカメラ、例えば、単一のサラウンドカメラ、または車両の上方の環境を表示するための1台のカメラを使用することが可能である。レーダーセンサ等のような、環境センサシステムおよび状態センサシステムの他のセンサを使用することも可能である。図6に従うブロック図の機能性は、自動車のインフォテインメントシステムに対して、特に有利に使用されてもよい。
参照番号の一覧
1, 2, 3, 4, 5, 6, 7 方法のステップ
100 車両
101, 102, 103, 104, 105, 106 車両領域
110, 120, 140, 160 カメラ
200 演算ユニット、処理装置、マイクロコントローラ
240 インターフェース
270 論理、グラフィック処理装置
280 一時記憶装置、バッファ
290 記憶装置
300 表示部、スクリーン、タッチスクリーン
320 接続
330 出力画像
340 表示領域
410, 420, 430, 440, 450,460 距離センサ
500 車両オブジェクト
501, 502, 503, 504, 505,506 車両オブジェクトの部分
600 仮想三次元空間
610 大部分が水平な領域、底部
620 陥凹状領域、壁
650 表面の穴
690 表面
710, 720, 720a, 720b, 730,740 視点
711,721 視野体積
712, 722, 728, 729, 732,742 視角
713,723 クリッピング平面
714,724 ズーム倍率
790, 797, 798 位置の変更
791, 792, 793, 楕円軌道
800 テキスト、警告、距離指標
810, 820, 830, 840, 850 センサ
900 環境
910, 920, 930, 956 オブジェクト
910’, 920’, 930’, 956’ 投影されたオブジェクト
CP 衝突確率
, d, d, d, d 距離
Obj 事前に定義されたデータ、車両オブジェクトデータ
LUT 参照テーブル
RAW 画像データ
, S, S, S, S センサ信号

Claims (6)

  1. 車両(100)の視認システムであって、
    画像データ(RAW)の形式で、前記車両(100)の環境(900)の画像を記録するための、複数の画像キャプチャユニット(110、120、130、140)と、
    出力画像(330)を表示するための表示装置(300)と、
    前記複数の画像キャプチャユニット(110、120、130、140)、および前記表示装置(300)に接続される、演算ユニット(200)と、を備え、
    前記演算ユニット(100)は、
    仮想三次元空間(600)および前記仮想三次元空間(600)を少なくとも部分的に限定する表面(690)を決定し、
    前記表面(690)上への前記画像データ(RAW)の投影を算出し、
    前記仮想三次元空間(600)の中に、所定のデータ(Obj)からコンピュータで生成されたグラフィックとして、仮想車両オブジェクト(500)を算出し、
    前記仮想車両オブジェクト(500)を含む視野体積(711、721)をレンダリングすることによって、前記出力画像(330)を生成するように構成され、前記視野体積(711、721)は、前記表面(690)によって範囲を定められ、前記視野体積(690)は、前記仮想三次元空間(600)内の、視点(710、720)、および視角(712、722)、ならびにズーム倍率(724)に基づく、視認システム。
  2. 前記視野体積(711、721)を制御するために、前記演算ユニット(200)は、
    前記仮想三次元空間(600)内の第1の座標と、前記仮想三次元空間(600)内の第2の座標との間で、前記視点(710、721)を変更し、
    前記仮想三次元空間(600)の中の第1の方向と、前記仮想三次元空間(600)の中の第2の方向との間で、前記視角(712、722)を変更し、
    かつ/または
    第1のズーム値と第2のズーム値との間で、前記ズーム倍率(714、724)を変更するように構成される、請求項1に記載の視認システム。
  3. 前記演算ユニット(200)は、
    前記車両(100)の前記環境(900)内のオブジェクト(910)までの少なくとも1つの確認された距離(d)に基づき、前記車両(100)の領域(101)と、前記環境(900)内の前記オブジェクト(910)との間の衝突の衝突確率(CP)を判定するように構成される、請求項1または2に記載の視認システム。
  4. 前記演算ユニット(200)は、
    前記環境(900)の中の前記車両(100)の動きと関連付けられた、少なくとも1つの信号(S)に基づき、前記車両(100)の前記領域(101)と、前記環境(900)内の前記オブジェクト(910)との間の前記衝突の前記衝突確率(CP)を判定するように構成される、請求項3に記載の視認システム。
  5. 少なくとも1つの所定の視野体積(711、721)は、前記車両(100)の各領域(101、102、103、104、105、106)と関連付けられ、前記所定の視野体積(711、721)は、前記車両(100)の前記領域(101、102、103、104、105、106)と関連付けられた、前記車両オブジェクト(500)の部分(501、502、503、504、505、506)と、前記関連付けられた部分(501、502、503、504、505、506)に隣接する前記表面(690)の表面領域とを有し、前記演算ユニット(200)は、
    前記領域(101、102、103、104、105、106)と関連付けられた前記車両オブジェクト(500)の前記部分(501、502、503、504、505、506)と、前記関連付けられた部分(501、502、503、504、505、506)に隣接する前記表面(690)の前記表面領域とをレンダリングするために、前記衝突確率(CP)による閾値の超過に基づき、前記領域(101、102、103、104、105、106)と関連付けられた、前記所定の視野体積(711、721)を制御するように構成される、請求項2および3に記載の視認システム。
  6. 車両(100)の環境を表示するための方法であって、
    複数の画像キャプチャユニット(110、120、130、140)を用いて、画像データ(RAW)の形式で、前記車両(100)の環境(900)の画像を記録するステップと、
    表示装置(300)を用いて、出力画像(330)を表示するステップと、
    演算ユニット(200)を用いて、仮想三次元空間(600)および表面(690)を決定するステップであって、前記仮想三次元空間(600)は、前記表面(690)によって少なくとも部分的に範囲を定められる、ステップと、
    前記演算ユニット(200)を用いて、前記表面(690)上への前記画像データ(RAW)の投影を算出するステップと、
    前記演算ユニット(200)を用いて、前記仮想三次元空間(600)においてコンピュータで生成されたグラフィックとして、所定のデータ(Obj)から仮想車両オブジェクト(500)を算出するステップと、
    前記仮想車両オブジェクト(500)を含む視野体積(711、721)をレンダリングすることによって、前記演算ユニット(200)を用いて、前記出力画像(330)を生成するステップであって、前記視野体積(711、721)は、前記表面(690)によって範囲を定められ、前記視野体積(690)は、前記仮想三次元空間(600)の中の視点(710、720)、および視角(712、722)、ならびにズーム倍率(724)に基づく、ステップと、を含む方法。
JP2013005364A 2012-01-30 2013-01-16 車両の環境を表示するための視認システムおよび方法 Active JP5590688B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP12000590.5 2012-01-30
EP12000590.5A EP2620917B1 (en) 2012-01-30 2012-01-30 Viewing system and method for displaying an environment of a vehicle

Publications (2)

Publication Number Publication Date
JP2013156981A true JP2013156981A (ja) 2013-08-15
JP5590688B2 JP5590688B2 (ja) 2014-09-17

Family

ID=45562704

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013005364A Active JP5590688B2 (ja) 2012-01-30 2013-01-16 車両の環境を表示するための視認システムおよび方法

Country Status (5)

Country Link
US (1) US9865169B2 (ja)
EP (1) EP2620917B1 (ja)
JP (1) JP5590688B2 (ja)
KR (1) KR101427193B1 (ja)
CN (1) CN103295265B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018174383A (ja) * 2017-03-31 2018-11-08 株式会社Subaru 画像表示装置
JP2019526099A (ja) * 2016-06-27 2019-09-12 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングConti Temic microelectronic GmbH 周辺モデルの写像を作成するための方法、並びに、車両制御システム、及び、対応する車両

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013203404A1 (de) * 2013-02-28 2014-08-28 Robert Bosch Gmbh Verfahren und Vorrichtung zur dreidimensionalen Abbildung zumindest eines Teilbereichs eines Fahrzeugumfelds
US8892358B2 (en) * 2013-03-14 2014-11-18 Robert Bosch Gmbh System and method for distortion correction in three-dimensional environment visualization
US10171775B1 (en) 2013-05-31 2019-01-01 Vecna Technologies, Inc. Autonomous vehicle vision system
TWI528325B (zh) * 2013-10-18 2016-04-01 財團法人資訊工業策進會 影像處理方法及應用影像處理方法之系統
DE102014214667A1 (de) * 2014-07-25 2016-01-28 Bayerische Motoren Werke Aktiengesellschaft Anzeigen von dynamischen sicherheitsrelevanten dreidimensionalen Inhalten auf einer Anzeigeeinrichtung
US20160176340A1 (en) * 2014-12-17 2016-06-23 Continental Automotive Systems, Inc. Perspective shifting parking camera system
EP3199403B1 (en) * 2016-01-28 2022-06-22 Harman Becker Automotive Systems GmbH System and method for external sound synthesis of a vehicle
DE102016212687A1 (de) * 2016-07-12 2018-01-18 Audi Ag Verfahren zum Betreiben einer Anzeigeeinrichtung eines Kraftfahrzeugs
CN107094232B (zh) * 2017-02-13 2018-02-02 罗普特(厦门)科技集团有限公司 基于图像识别的定位装置
DE102017114611A1 (de) * 2017-06-30 2019-01-03 Connaught Electronics Ltd. Verfahren zum Erzeugen zumindest eines fusionierten perspektivischen Bildes eines Kraftfahrzeugs und eines Umgebungsbereiches des Kraftfahrzeugs, Kamerasystem sowie Kraftfahrzeug
JP6962372B2 (ja) * 2017-08-25 2021-11-05 株式会社ソシオネクスト 補正装置、補正プログラム及び記録媒体
FR3071333B1 (fr) 2017-09-15 2021-06-11 Renault Sas Procede d’affichage sur un ecran d’un environnement d’un vehicule automobile, et vehicule automobile dans lequel un tel procede est mis en œuvre
DE102018102047A1 (de) * 2018-01-30 2019-08-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Darstellen eines Umgebungsbereichs eines Kraftfahrzeugs mit virtuellen, länglichen Abstandsmarkierungen in einem Bild, Computerprogrammprodukt, sowie Anzeigesystem
JP7032950B2 (ja) 2018-02-19 2022-03-09 株式会社デンソーテン 車両遠隔操作装置、車両遠隔操作システム及び車両遠隔操作方法
JP2019151304A (ja) * 2018-03-06 2019-09-12 アイシン精機株式会社 周辺監視装置
JP7060418B2 (ja) 2018-03-15 2022-04-26 株式会社デンソーテン 車両遠隔操作装置及び車両遠隔操作方法
JP2019156298A (ja) * 2018-03-15 2019-09-19 株式会社デンソーテン 車両遠隔操作装置及び車両遠隔操作方法
WO2020005757A1 (en) 2018-06-26 2020-01-02 Magic Leap, Inc. Waypoint creation in map detection
CN111376832A (zh) * 2018-12-28 2020-07-07 奥迪股份公司 图像显示方法、装置、计算机设备和存储介质
GB2581191B (en) * 2019-02-08 2022-02-16 Jaguar Land Rover Ltd Image system for a vehicle
JP7000383B2 (ja) * 2019-07-04 2022-01-19 株式会社デンソー 画像処理装置および画像処理方法
US10885819B1 (en) * 2019-08-02 2021-01-05 Harman International Industries, Incorporated In-vehicle augmented reality system
EP3809377A1 (en) * 2019-10-15 2021-04-21 Continental Automotive GmbH Method and device for providing a visualization of a vehicle
WO2021247641A1 (en) * 2020-06-02 2021-12-09 Oceaneering International, Inc. Automatic detection and tracking of pallet pockets for automated pickup

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000064175A1 (fr) * 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Ltd. Dispositif de traitement d'images et systeme de surveillance
JP2002074594A (ja) * 2000-08-25 2002-03-15 Alpine Electronics Inc 障害物検知システム
JP2002083285A (ja) * 2000-07-07 2002-03-22 Matsushita Electric Ind Co Ltd 画像合成装置および画像合成方法
JP2006313549A (ja) * 2005-05-03 2006-11-16 Seac02 Srl 実マーカオブジェクトを識別する拡張現実システム
JP2009026250A (ja) * 2007-07-23 2009-02-05 Panasonic Corp 面成分検出装置、地上面検出装置、及び障害物検出装置
JP2009171129A (ja) * 2008-01-15 2009-07-30 Nissan Motor Co Ltd 車両用駐車支援装置および画像表示方法
US20090268947A1 (en) * 2008-03-31 2009-10-29 Harman Becker Automotive Systems Gimbh Real time environment model generation system
JP2010028803A (ja) * 2008-06-13 2010-02-04 Valeo Vision 駐車補助のための画像表示方法
WO2010137680A1 (ja) * 2009-05-29 2010-12-02 富士通テン株式会社 画像処理装置、電子装置、および、画像処理方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222557B1 (en) * 1998-06-26 2001-04-24 Visual Insights, Inc. Navigation system and method for viewing a 3D data landscape
DE60009000T2 (de) 1999-10-21 2005-03-10 Matsushita Electric Industrial Co., Ltd., Kadoma System zur Einparkhilfe
EP1103420B1 (en) * 1999-11-24 2006-06-21 Donnelly Corporation Rearview mirror assembly with utility functions
FR2853121B1 (fr) * 2003-03-25 2006-12-15 Imra Europe Sa Dispositif de surveillance des alentours d'un vehicule
US7138938B1 (en) * 2005-05-06 2006-11-21 Ford Global Technologies, Llc System and method for preemptively sensing an object and selectively operating both a collision countermeasure system and a parking assistance system aboard an automotive vehicle
JP5038307B2 (ja) * 2005-08-09 2012-10-03 トタル イメルシオン 実在環境内においてデジタルモデルを視覚化する方法、装置、及びコンピュータプログラム
EP2285109B1 (en) * 2008-05-29 2018-11-28 Fujitsu Limited Vehicle image processor, and vehicle image processing system
DE102008034594B4 (de) * 2008-07-25 2021-06-24 Bayerische Motoren Werke Aktiengesellschaft Verfahren sowie Informationssystem zur Information eines Insassen eines Fahrzeuges
CN101425181B (zh) * 2008-12-15 2012-05-09 浙江大学 一种全景视觉辅助泊车系统的标定方法
US8665260B2 (en) * 2009-04-16 2014-03-04 Autodesk, Inc. Multiscale three-dimensional navigation
US20120069153A1 (en) * 2009-05-25 2012-03-22 Panasonic Corporation Device for monitoring area around vehicle

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000064175A1 (fr) * 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Ltd. Dispositif de traitement d'images et systeme de surveillance
JP2002083285A (ja) * 2000-07-07 2002-03-22 Matsushita Electric Ind Co Ltd 画像合成装置および画像合成方法
JP2002074594A (ja) * 2000-08-25 2002-03-15 Alpine Electronics Inc 障害物検知システム
JP2006313549A (ja) * 2005-05-03 2006-11-16 Seac02 Srl 実マーカオブジェクトを識別する拡張現実システム
JP2009026250A (ja) * 2007-07-23 2009-02-05 Panasonic Corp 面成分検出装置、地上面検出装置、及び障害物検出装置
JP2009171129A (ja) * 2008-01-15 2009-07-30 Nissan Motor Co Ltd 車両用駐車支援装置および画像表示方法
US20090268947A1 (en) * 2008-03-31 2009-10-29 Harman Becker Automotive Systems Gimbh Real time environment model generation system
JP2010028803A (ja) * 2008-06-13 2010-02-04 Valeo Vision 駐車補助のための画像表示方法
WO2010137680A1 (ja) * 2009-05-29 2010-12-02 富士通テン株式会社 画像処理装置、電子装置、および、画像処理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019526099A (ja) * 2016-06-27 2019-09-12 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングConti Temic microelectronic GmbH 周辺モデルの写像を作成するための方法、並びに、車両制御システム、及び、対応する車両
JP2018174383A (ja) * 2017-03-31 2018-11-08 株式会社Subaru 画像表示装置

Also Published As

Publication number Publication date
KR20130088065A (ko) 2013-08-07
CN103295265B (zh) 2017-05-17
CN103295265A (zh) 2013-09-11
JP5590688B2 (ja) 2014-09-17
US9865169B2 (en) 2018-01-09
EP2620917B1 (en) 2019-08-28
US20130194256A1 (en) 2013-08-01
KR101427193B1 (ko) 2014-08-07
EP2620917A1 (en) 2013-07-31

Similar Documents

Publication Publication Date Title
JP5590688B2 (ja) 車両の環境を表示するための視認システムおよび方法
US10029700B2 (en) Infotainment system with head-up display for symbol projection
JP6608146B2 (ja) ライブ映像を有する仮想透過型インストルメントクラスタ
US9996980B1 (en) Augmented reality for providing vehicle functionality through virtual features
JP5397373B2 (ja) 車両用画像処理装置、車両用画像処理方法
JP6091759B2 (ja) 車両のサラウンドビューシステム
US9479740B2 (en) Image generating apparatus
CN104204847B (zh) 用于可视化车辆的周围环境的方法和装置
CN107465890B (zh) 车辆的图像处理装置
CN107438538B (zh) 用于显示车辆的车辆周围环境的方法
US20140375812A1 (en) Method for representing a vehicle's surrounding environment
JP2019517049A5 (ja)
JP2013131222A (ja) 自動車のディスプレイを用いた、拡張現実感を生成する方法及びシステム
WO2005088970A1 (ja) 画像生成装置、画像生成方法、および画像生成プログラム
EP3327676B1 (en) Method for displaying object on three-dimensional model
CN110203140A (zh) 汽车增强现实显示方法、电子设备、系统及汽车
JP6693223B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN105006175A (zh) 主动识别交通参与者的动作的方法和系统及相应的机动车
EP3681151A1 (en) Image processing device, image processing method, and image display system
US20230237210A1 (en) 3d multi-object simulation
EP3185173B1 (en) Automated vehicle human-machine interface system based on glance-direction
JP2005269010A (ja) 画像生成装置、画像生成プログラム、及び画像生成方法
WO2017169272A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN110248845B (zh) 用于显示车辆的周围环境的方法和设备
EP3591624B1 (en) Augmented vision in image sequence generated from a moving vehicle

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140415

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140724

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140725

R150 Certificate of patent or registration of utility model

Ref document number: 5590688

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250