JP4156214B2 - 車両周辺画像処理装置及び記録媒体 - Google Patents
車両周辺画像処理装置及び記録媒体 Download PDFInfo
- Publication number
- JP4156214B2 JP4156214B2 JP2001178776A JP2001178776A JP4156214B2 JP 4156214 B2 JP4156214 B2 JP 4156214B2 JP 2001178776 A JP2001178776 A JP 2001178776A JP 2001178776 A JP2001178776 A JP 2001178776A JP 4156214 B2 JP4156214 B2 JP 4156214B2
- Authority
- JP
- Japan
- Prior art keywords
- bird
- eye view
- image
- vehicle
- view image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 141
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 95
- 238000000034 method Methods 0.000 claims description 23
- 239000002131 composite material Substances 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims 1
- 238000006243 chemical reaction Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000009467 reduction Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000791900 Selene vomer Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
- B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
- B60T2201/10—Automatic or semi-automatic parking aid systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Instructional Devices (AREA)
Description
【発明の属する技術分野】
本発明は、例えば車両の周辺を撮影してモニタに表示できる車両周辺画像処理装置及び記録媒体に関するものである。
【0002】
【従来の技術】
従来より、車両の後方の様子を表示する装置として、車両の後部に取り付けたカメラの画像を、そのままモニタに出力する表示装置が知られている。
この表示装置では、車両後方の状態が有る程度分かるが、自車両とモニタに表示されている対象物(例えば駐車枠)の画像の相対位置関係が分かりに難いという問題がある。
【0003】
また、これとは別に、特開平10−211849号公報には、後方カメラで撮影した画像(後方カメラ画像)を鳥瞰図に変換し、自車両をその中に表示するという技術が提案されている。
【0004】
【発明が解決しようとする課題】
この技術の場合には、鳥瞰図の中に自車両を示すので、画像に表示された対象物と自車両の位置関係は、撮影した画像をそのままモニタに表示するものより分かり易くなっているが、カメラの現在の視野の外にあるものは表示できないという別の問題があった。
【0005】
そのため、例えば車両を後退させて駐車枠に入れるような場合には、カメラの視野外に出た駐車枠を表示できないので、依然として、車両を駐車枠に入れる操作が容易ではないという問題があった。
これに対して、既に本願発明者らにより、車両後部に取り付けたカメラから、車両後方の画像を撮影し、画像処理でこれらを上から見た鳥瞰画像に変換し、変換した画像の時間的変化から車両の動きを算出して、カメラの視野外に消えて行く画像領域を算出し、更に現時刻の変換画像を貼り付けて、従来より広い範囲を表示する技術が開発されている。
【0006】
この技術は、それ以前の技術よりも優れているものであるが、画像処理のための演算は膨大なものであるので、演算処理の負担の軽減など、一層の改善が望まれている。
本発明は、前記課題を解決するためになされたものであり、例えばカメラの視野の外に出た部分を推定して描画することができるとともに、その演算処理の負担を軽減することができる車両周辺画像処理装置及び記録媒体を提供することを目的とする。
【0007】
【課題を解決するための手段及び発明の効果】
(1)請求項1の発明は、車両周辺の画像を撮影する撮影手段(例えばカメラ)と、画像を表示する表示手段(例えばモニタ)とを備えた車両に対して、撮影手段により撮影された画像を処理して表示手段に表示する車両周辺画像処理装置に関するものである。
【0008】
本発明では、撮影手段により撮影した画像を、例えば撮影手段を視点として投影した地上面座標系のデータに変換して鳥瞰図画像の画像データを順次作成する。即ち、第1鳥瞰図画像及びそれより後の画像である第2鳥瞰図画像等の画像データを作成する。これにより、画像は、例えばカメラで撮影したままの歪んだ画像ではなく、真上から見下ろした見やすい鳥瞰図画像となる。
【0009】
更に、本発明では、車両の動き量(移動量)を、車両から得られる車両信号(例えば車速信号やヨーレイト信号)に基づいて検出する。この検出した車両の動き量は、第1鳥瞰図画像の動き量に対応しているので、車両の動き量に応じて第1鳥瞰図画像を移動させて移動後鳥瞰図画像の画像データを作成する。
【0010】
そして、(第1鳥瞰図画像より)新しい第2鳥瞰図画像の画像データと、移動後鳥瞰図画像の画像データとを合成して、表示手段に表示する合成鳥瞰図画像の画像データを作成する。
つまり、車両が移動するにつれて、例えばカメラの視野が変化するので、当然、撮影した時間が異なる第1鳥瞰図画像と第2鳥瞰図画像では、画像のずれ(撮影された部分の違い)が発生する。そこで、本発明では、第2鳥瞰図画像に、そのずれの部分(即ち過去に視野内であったが現在視野から消えている部分)の移動後鳥瞰図画像を適宜加味することにより、モニタ等にカメラの視野から消えた部分を表示でき、それによって、車両の周囲の状況をより明確に把握することができる。
【0011】
この様に、本発明では、例えばカメラの現在の視野から外れた領域を表示できるので、例えばバックで駐車する場合に、その操作が極めて容易になるという効果を奏する。
特に、本発明では、画像の時間的変化から車両の動きを算出して移動後鳥瞰図画像を作成するのではなく、車両信号を用いて移動後鳥瞰図画像を作成するので、画像処理のための演算等を簡易化できるという利点がある。
【0012】
よって、マイクロコンピュータ等の負担が軽減するので、全体として処理速度を高めることができる。また、演算処理能力の低いマイクロコンピュータでも処理が可能になるので、コストダウンにも寄与する。
また、本発明では、合成鳥瞰図画像は、第2鳥瞰図画像を表示する表示領域以外に、移動後鳥瞰図画像を加入した画像であり、この合成鳥瞰図画像を、モニタ等の表示手段に表示することができる。
【0013】
これにより、車両の周囲の画像を連続して表示することができる。
つまり、上述した様に、例えばカメラにより現在撮影されている画像は、第2鳥瞰図画像としてモニタに表示可能であるので、それ以前のモニタから消えてしまう画像を、移動後鳥瞰図画像として第2鳥瞰図画像の表示領域以外に加えることにより、カメラの視野から消えた過去の周囲の状況をもモニタに表示することができる。
【0014】
(2)請求項2の発明では、車両信号は車速信号及びヨーレイト信号である。
(3)請求項3の発明では、合成鳥瞰図画像に用いる第2鳥瞰図画像として、最新の鳥瞰図画像を用いる。
本発明では、第2鳥瞰図画像として、新たにカメラ等にて撮影された最新の鳥瞰図画像を用いるので、車両の周辺の状況をより的確に把握することができる。
【0015】
(4)請求項4の発明では、メモリAに、鳥瞰図画像作成手段により作成された鳥瞰図画像を記憶し、メモリBに、合成鳥瞰図画像作成手段により作成された合成鳥瞰図画像を記憶する。
本発明は、各鳥瞰図画像を記憶するメモリを例示したものである。
【0016】
(5)請求項5の発明では、メモリBに記憶された合成鳥瞰図画像を、表示手段に表示する。
これにより、合成鳥瞰図画像をモニタ等に表示することができる。
(6)請求項6の発明では、表示手段に合成鳥瞰図画像を表示する場合には、自車両を示す画像を加えて表示する。
【0017】
本発明では、車両の周囲の状況を示す合成鳥瞰図画像に自車両を示す画像を加えて表示することにより、自車両と例えば駐車枠との位置関係が明瞭となるので、車両の操作が容易になる。
尚、例えばカメラは車両の所定位置に固定されているので、例えばモニタの画面における自車両の位置は常に一定である。従って、モニタの画面の決まった位置に自車両を表示することができ、更には、モニタの画面上に予めプリント等により車両を記載してもよい。
【0018】
また、カメラの視野角も通常は一定であるので、自車両だけでなく、モニタの画面に、カメラの視野角(左右の範囲)も表示してもよい。
(7)請求項7の発明では、シフト位置がバックであると判断された後に、鳥瞰図画像作成手段と車両動き量検出手段と鳥瞰図画像移動手段と合成鳥瞰図画像作成手段による処理を開始する。
(8)請求項8の発明では、撮像手段は車両の前方を撮像するカメラである。
(9)請求項9の発明は、上述した車両周辺画像処理装置による処理を実行させる手段を記憶している記録媒体である。
【0019】
つまり、上述した車両周辺画像処理装置の処理を実行させることができる例えばプログラム等の手段を記憶したものであれば、特に限定はない。
例えば記録媒体としては、マイクロコンピュータとして構成される電子制御装置、マイクロチップ、フロッピィディスク、ハードディスク、光ディスク等の各種の記録媒体が挙げられる。
【0020】
【発明の実施の形態】
以下に、本発明の車両周辺画像処理装置及び記録媒体の実施の形態の例(実施例)を説明する。
(実施例)
a)本実施例の基本的なシステム構成を図1及び図2を用いて説明する。
【0021】
図1に示す様に、本実施例の車両周辺画像処理装置は、自動車の後部に配置されたカメラ(例えばCCDカメラ)1と、ダッシュボードに配置された車載モニタ(例えば液晶ディスプレイ)3と、車速を検出する車速センサ5と、ヨーレイトを検出するヨーレイトセンサ7と、画像処理を行う画像処理ユニット9を備えている。
【0022】
前記画像処理ユニット9は、図2に示す様に、マイクロコンピュータを主要部とする画像データの処理を行う電子装置であり、カメラ1で撮影した画像データの座標変換を行って鳥瞰図画像を作成する座標変換部(鳥瞰図変換回路)11と、作成された鳥瞰図画像の画像データを一時的に蓄える画像メモリAと、車速信号を入力する車速信号入力回路13と、ヨーレイト信号を入力するヨーレイト信号入力回路15と、車速信号及びヨーレイト信号を読み込んで鳥瞰図画像を移動(例えば回転移動)させる等の演算を行うCPU17と、モニタ3に表示する鳥瞰図画像のデータを記憶する画像メモリBとを備えている。
【0023】
ここで、画像メモリBに記憶する鳥瞰図画像の画像データとは、後述する様に、前回(例えば時刻Tに)カメラ1にて撮影され、その画像データに基づいて作成された鳥瞰図画像(第1鳥瞰図画像)を移動させた鳥瞰図画像(移動後鳥瞰図画像)と、新たに(例えば時刻T+1に)カメラ1にて撮影され、その画像データに基づいて作成された鳥瞰図画像(第2鳥瞰図画像)とを合成した鳥瞰図画像(合成鳥瞰図画像)の画像データである。
【0024】
尚、画像処理ユニット3は、カメラ1と一体の構造となっていてもよく、画像処理ユニット9内の各構成は、一部又は全体で一体化してLSIで構成してもよい。い。
b)次に、本実施例における画像処理の手順等を、図3〜図5に基づいて説明する。
【0025】
ここでは、車両を後退(バック)させて駐車枠内に入れる場合を例に挙げる。
▲1▼最初に、カメラ1から入力された画像を、鳥瞰図変換回路11で上空から見た鳥瞰図画像に変換し、画像メモリAに保存する手順を説明する。
まず、カメラ1から出力される原画像(出力画像)を、図3(a)に示すが、この原画像は、車両の後部の上部に配置されたカメラ1により、地上に描かれた駐車枠及びその周囲を撮影した画像であるので、自車両(従ってカメラ1)と駐車枠の各線の位置との距離などに応じて、本来矩形である駐車枠が歪んで表示されている。
【0026】
よって、後に▲2▼にて詳述する様に、原画像の画像データを座標変換して、図3(b)に示す様な歪みのない鳥瞰図画像を作成し、この鳥瞰図画像の画像データを画像メモリAに記憶する。
▲2▼次に、前記カメラ1で撮影された原画像を鳥瞰図画像に変換する手順を説明する。尚、この手順は、以下に説明する様に、従来技術(例えば特開平10−211849号公報)を利用できる。
【0027】
ここでは、通常の透視変換の逆の処理を行うことにより、地上平面における画像(例えば駐車枠)の位置を鳥瞰図として求める。
具体的には、図4に示す様に、地上の画像の位置データをカメラ位置Rからの焦点距離fにあるスクリーン平面Tに投影するときの透視変換を実行する。
【0028】
詳しくは、カメラ1は、Z軸上の点R(0,0,H)に位置し、見下ろし角τで地上面(xy座標面)における画像をモニタしているとする。
従って、ここでは、下記式(1)に示す様にして、スクリーン平面T上の2次元座標(α、β)を、地上面上の座標(鳥瞰図座標)に変換(逆の透視変換)できる。
【0029】
【数1】
【0030】
つまり、上記式(1)を用いることにより、投影画像データを(鳥瞰図画像を示す)モニタ5の画面に対応した画像データに変換してモニタ表示することができる。
▲3▼次に、車速信号とヨーレイト信号を用い、車両の動き量(移動量)に応じて、前記画像メモリAに記憶した鳥瞰図画像を移動(例えば回転移動)させる手順を説明する。
【0031】
ここでは、図5に時刻Tの車両位置を示すが、時刻T+1になるまでの車両の移動距離はL、時刻T+1になるまでに車両が動いた角度はθ1(=回転中心における回転角度θC)とする。
・まず、カメラ1のサンプリング時間が100[ms]の場合、車速信号から得られる車速S[km/h]を用いて、下記式(2)から、車両が移動した距離L[m]を算出できる。
【0032】
また、図5に示す図形の関係があるので、ヨーレイト信号から得られるヨーレイトθ0[度/s]を用いて、下記式(3)から、車両が動いた角度θ1を算出できる。
【0033】
θ1[度]=θ0[度/s]×100[ms]÷1000[ms/s]・・(3)
更に、ここでは、車両の回転中心は後輪車軸の延長線上にあるとしているので、その回転中心は、カメラ位置を原点として算出し、車両の進行方向をY、これに垂直な方向をXとすると、X方向の回転中心位置XC[m]は、下記式(4)から算出できる。
【0034】
XC[m]=L[m]÷TAN(θ1)・・(4)
一方、Y方向の中心位置は、後輪車軸上であるので、カメラ1と後輪車軸までの距離はYC[cm]である。
また、回転中心における回転角度θCは、図5に示す図形の関係から、車両が動いた角度θ1に一致する。
【0035】
・次に、上述した様にして求めた回転中心位置(XC、YC)、回転角度θCを用いて、下記の様にして、鳥瞰図画像を移動する。
画像メモリAに記憶された鳥瞰図画像の画像データは、一旦、画像メモリBにも記憶される。従って、ここでは、画像メモリBに記憶された鳥瞰図画像の画像データを、CPU17の内部メモリに転送し、前記回転中心位置(XC、YC)及び回転角度θCを用いて、鳥瞰図画像を回転移動する。
【0036】
この回転移動を行うための変換式を、下記式(5)に示すが、この変換式を用いたCPU17の内部処理により、回転角度θにて移動させた移動後の座標(XB、YB)に対して、移動前の対応する点(XA、YA)を算出し、(XA、YA)の画素値を(XB、YB)のアドレスメモリに保存する。
【0037】
XA=XB・COSθ+YB・SINθ ・・・(4)
YA=YB・COSθ−XB・SINθ
但し、(XA、YB):移動前の座標
(XB、YB):移動後の座標
θ :回転角度
・そして、全ての座標についてこれらの演算を行うことにより、画像メモリAに記憶された鳥瞰図画像(時刻Tにおける第1鳥瞰図画像)から、移動後の鳥瞰図画像(時刻Tにおける移動後鳥瞰図画像)を作成する。
【0038】
それとともに、新たにカメラ1により撮影した画像に基づいて作成した鳥瞰図画像、即ち、現在の鳥瞰図画像(時刻T+1における第2鳥瞰図画像)を、新たに画像メモリAよりCPU17に転送する。
よって、CPU17では、第2鳥瞰図画像を時刻Tと位置関係が対応する位置(移動後鳥瞰図画像との画像のずれが生じない位置)に書き込み、それによって、移動後鳥瞰図画像と第2鳥瞰図画像とを合成した合成鳥瞰図画像の画像データを作成し、その画像データを画像メモリBに記憶する。
【0039】
尚、合成鳥瞰図画像を作成する際には、自車両の位置やカメラ1の視野角の画像なども加入して画像メモリBに記憶し、その合成鳥瞰図画像をモニタ5の画面に表示してもよいが、自車両の位置やカメラ1の視野角の画像などは画像メモリBに記憶せずに、モニタ5に画像メモリBに記憶した合成鳥瞰図画像を描画する際に、自車両の位置やカメラ1の視野角の画像など加えて描画してもよい。
【0040】
c)次に、前記画像処理ユニット5等にて行われる処理を、図6のフローチャートに基づいて説明する。
図6に示す様に、まず、ステップ100にて、シフト位置がバックであるか否かを判定する。ここで肯定判断されるとステップ110に進み、一方否定判断されるとステップ190に進む。
【0041】
尚、シフト位置は、シフト位置検出センサ(図示せず)からの信号や、他の電子制御装置からの信号により検出することができる。
ステップ190では、以前に描画したカメラ1の視野外の領域の画像を消去し、即ち、現在のカメラ1の画像(鳥瞰図画像)のみを表示し、前記ステップ100に戻る。
【0042】
一方、ステップ110では、カメラ1で撮影した画像の座標変換(前記鳥瞰図変換)を行って、鳥瞰図画像を作成する。
続くステップ120では、前記鳥瞰図画像を画像メモリAに記憶する。尚、このときには、画像メモリBにも同様な鳥瞰図画像を記憶する。
【0043】
続くステップ130では、車速信号及びヨーレイト信号に基づいて、移動距離L及び回転角度θCで示される車両の動き量(移動量)を求める。
続くステップ140では、車両の移動量に基づいて、前記画像メモリBに記憶されている鳥瞰図画像(時刻Tの第1鳥瞰図画像)を移動させて、移動後の鳥瞰図画像(時刻Tの移動後鳥瞰図画像)を求める。
【0044】
続くステップ150では、新たに撮影されて画像メモリAに記憶された(時刻T+1における)第2鳥瞰図画像を、画像メモリAから読み込む。
続くステップ160では、移動後鳥瞰図画像と第2鳥瞰図画像とを合成して合成鳥瞰図画像を作成する。
【0045】
具体的には、図7に示す様に、新たな(第2鳥瞰図画像に対応する)カメラ視野の外に、今回の車両の移動によりカメラ視野外となった部分、即ち、第1鳥瞰図画像を車両の移動量に対応して移動させて形成した移動後鳥瞰図画像の一部(詳しくは第2鳥瞰図画像と重なる部分は除いたもの)を書き込むようにして、合成鳥瞰図画像を作成する。
【0046】
尚、同図で車両は参考にために記載したものであり、実際には、例えばモニタ画面の描画の際に、車両を示す枠等を描画する。
続くステップ170では、合成鳥瞰図画像を、画像メモリBに記憶する。
続くステップ180では、車両を示す画像や視野角を示す画像などを加味して、画像メモリBに記憶した合成鳥瞰図画像をモニタ5に表示し、一旦本処理を終了する。
【0047】
d)この様に、本実施例では、カメラ1で撮影した画像を鳥瞰図画像に変換し、車両信号に基づいて車両の移動量を検出し、その車両の移動量に応じて鳥瞰図画像を移動させて移動後鳥瞰図画像を作成している。そして、移動後鳥瞰図画像と新たに読み込んだ鳥瞰図画像とを合成して合成鳥瞰図画像を作成し、その合成鳥瞰図画像に自車両及び視野角の画像を加えて、モニタ5の画面に表示している。
【0048】
つまり、本実施例では、車両が移動する際にカメラ視野から外れた領域を推定し、合成することによって、通常はカメラ視野外となる表示できない部分も含めて表示することができるので、図8に示す様に、自車両と駐車枠との位置関係が明瞭に把握できる。そのため、バックで駐車する操作などが、極めて容易になるという顕著な効果を奏する。
【0049】
尚、前記図8では、車両が駐車枠に対して、回転移動した後に後方に直線的に移動する際に、本実施例の手法によって演算処理されたモニタ3の表示画面を、(a)、(b)、(c)と順を追って示している。
特に本実施例では、例えば第1及び第2鳥瞰図画像の画像の時間的変化から車両の動きを算出して移動後鳥瞰図画像を作成するのではなく、車速センサ5やヨーレイトセンサ7によって得られた車両信号を用いて移動後鳥瞰図画像を作成するので、その演算処理が容易であるという利点がある。
【0050】
つまり、多くの演算処理が必要な画像のマッチングなどによる画像処理を省略できるので、演算処理の負担が軽減され、速やかに必要な画像をモニタ3に表示することができる。
よって、マイクロコンピュータ等の負担が軽減するので、全体として処理速度を高めることができる。また、演算処理能力の低いマイクロコンピュータでも処理が可能になるので、コストダウンにも寄与する。
【0051】
尚、本発明は前記実施例になんら限定されるものではなく、本発明を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。
(1)例えば前記実施例では、シフト位置をバックで検出して処理を開始しているが、駐車時の切り返し運転による車両の前進時でも処理するため、車速信号で処理の開始・継続を決定してもよい。
【0052】
例えば、時速が10km/hで処理を開始し、この間は処理を実行して鳥瞰図画像を表示するなどである。これにより、切り返しでシフト位置が変化しても、鳥瞰図画像がリセットされることなく継続して表示できる。
(2)更に、本発明のその他の応用例として、車両の前方を撮像するカメラによって、視野外となる車体近傍の合成鳥瞰図画像を表示し、狭い道などでのすり抜けの可否を判断する情報を提供することもできる。
【0053】
(3)また、例えば前記実施例では、車両周辺画像処理装置について述べたが、この装置による処理を実行させる手段を記憶している記録媒体も、本発明の範囲である。
例えば記録媒体としては、マイクロコンピュータとして構成される電子制御装置、マイクロチップ、フロッピィディスク、ハードディスク、光ディスク等の各種の記録媒体が挙げられる。
【0054】
つまり、上述した車両周辺画像処理装置の処理を実行させることができる例えばプログラム等の手段を記憶したものであれば、特に限定はない。
【図面の簡単な説明】
【図1】 実施例の車両周辺画像処理装置の主要構成を示す説明図である。
【図2】 実施例の車両周辺画像処理装置の電気的構成を示す説明図である。
【図3】 実施例の車両周辺画像処理装置により用いられる画像を示し、(a)はカメラにより撮影された画像の説明図、(b)は鳥瞰図画像を示す説明図である。
【図4】 実施例の車両周辺画像処理装置による座標変換の際の位置関係を示す説明図である。
【図5】 実施例の車両周辺画像処理装置による車両の移動量を求めるための手法を示す説明図である。
【図6】 実施例の車両周辺画像処理装置の処理を示すフローチャートである。
【図7】 実施例の車両周辺画像処理装置のよる画像作成の手順を示す説明図である。
【図8】 実施例の車両周辺画像処理装置により表示されるモニタ画像を示す説明図である。
【符号の説明】
1…カメラ
3…車載モニタ(モニタ)
5…車速センサ
7…ヨーレイトセンサ
9…画像処理ユニット
Claims (9)
- 車両周辺の画像を撮影する撮影手段と、画像を表示する表示手段とを備えた車両に対して、前記撮影手段により撮影された画像を処理して前記表示手段に表示する車両周辺画像処理装置において、
前記撮影手段により撮影した画像に基づいて、真上から見下ろした鳥瞰図画像を作成する鳥瞰図画像作成手段と、
前記車両の動き量を、前記車両から得られる車両信号に基づいて検出する車両動き量検出手段と、
前記車両動き量検出手段により検出した車両の動き量に基づいて、前記鳥瞰図画像作成手段により作成された第1鳥瞰図画像を移動させて、移動後鳥瞰図画像を作成する鳥瞰図画像移動手段と、
前記第1鳥瞰図画像より後に撮影されて作成された第2鳥瞰図画像と、前記移動後鳥瞰図画像とを合成して、前記表示手段に表示する合成鳥瞰図画像を作成する合成鳥瞰図画像作成手段と、を備え、
前記合成鳥瞰図画像は、前記第2鳥瞰図画像を表示する表示領域以外に、前記移動後鳥瞰図画像を加入した画像であって、当該合成鳥瞰図画像を前記表示手段に表示することを特徴とする車両周辺画像処理装置。 - 前記車両信号は車速信号及びヨーレイト信号であることを特徴とする請求項1に記載の車両周辺画像処理装置。
- 前記合成鳥瞰図画像に用いる第2鳥瞰図画像として、最新の鳥瞰図画像を用いることを特徴とする請求項1又は2に記載の車両周辺画像処理装置。
- 前記鳥瞰図画像作成手段により作成された鳥瞰図画像を記憶するメモリAと、
前記合成鳥瞰図画像作成手段により作成された合成鳥瞰図画像を記憶するメモリBと、
を備えたことを特徴とする請求項1〜3のいずれかに記載の車両周辺画像処理装置。 - 前記メモリBに記憶された合成鳥瞰図画像を、前記表示手段に表示することを特徴とする請求項4に記載の車両周辺画像処理装置。
- 前記表示手段に前記合成鳥瞰図画像を表示する場合には、自車両を示す画像を加えて表示することを特徴とする請求項1〜5のいずれかに記載の車両周辺画像処理装置。
- シフト位置がバックであると判断された後に、前記鳥瞰図画像作成手段と前記車両動き量検出手段と前記鳥瞰図画像移動手段と前記合成鳥瞰図画像作成手段による処理を開始することを特徴とする請求項1〜5のいずれかに記載の車両周辺画像処理装置。
- 前記撮像手段は前記車両の前方を撮像するカメラであることを特徴とする請求項1〜7のいずれかに記載の車両周辺画像処理装置。
- 請求項1〜8のいずれかに記載の車両周辺画像処理装置による処理を実行させる手段を記憶していることを特徴とする記録媒体。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001178776A JP4156214B2 (ja) | 2001-06-13 | 2001-06-13 | 車両周辺画像処理装置及び記録媒体 |
KR1020037002069A KR100550299B1 (ko) | 2001-06-13 | 2002-03-15 | 차량 주변 이미지 처리 장치 및 기록 매체 |
PCT/JP2002/002525 WO2002104032A1 (fr) | 2001-06-13 | 2002-03-15 | Processeur d'images peripheriques pour vehicule et support d'enregistrement |
DE10292327T DE10292327B4 (de) | 2001-06-13 | 2002-03-15 | Fahrzeugumgebungsbildverarbeitungsvorrichtung und Aufzeichnungsmedium |
US10/333,745 US7317813B2 (en) | 2001-06-13 | 2002-03-15 | Vehicle vicinity image-processing apparatus and recording medium |
CNB028029828A CN1210958C (zh) | 2001-06-13 | 2002-03-15 | 车辆附近图像处理设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001178776A JP4156214B2 (ja) | 2001-06-13 | 2001-06-13 | 車両周辺画像処理装置及び記録媒体 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006132441A Division JP2006252577A (ja) | 2006-05-11 | 2006-05-11 | 地図データ生成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002373327A JP2002373327A (ja) | 2002-12-26 |
JP4156214B2 true JP4156214B2 (ja) | 2008-09-24 |
Family
ID=19019425
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001178776A Expired - Fee Related JP4156214B2 (ja) | 2001-06-13 | 2001-06-13 | 車両周辺画像処理装置及び記録媒体 |
Country Status (6)
Country | Link |
---|---|
US (1) | US7317813B2 (ja) |
JP (1) | JP4156214B2 (ja) |
KR (1) | KR100550299B1 (ja) |
CN (1) | CN1210958C (ja) |
DE (1) | DE10292327B4 (ja) |
WO (1) | WO2002104032A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE112017001515T5 (de) | 2016-03-22 | 2018-12-06 | Denso Corporation | Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Programm |
US10744941B2 (en) | 2017-10-12 | 2020-08-18 | Magna Electronics Inc. | Vehicle vision system with bird's eye view display |
DE112016004694B4 (de) | 2015-10-15 | 2023-05-17 | Denso Corporation | Anzeigesteuervorrichtung und nichtflüchtiges computerlesbares Speichermedium mit darauf gespeichertem Anzeigesteuerprogramm |
Families Citing this family (109)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7107129B2 (en) | 2002-02-28 | 2006-09-12 | Oshkosh Truck Corporation | Turret positioning system and method for a fire fighting vehicle |
US7729831B2 (en) | 1999-07-30 | 2010-06-01 | Oshkosh Corporation | Concrete placement vehicle control system and method |
JP3575364B2 (ja) * | 1999-12-28 | 2004-10-13 | 株式会社豊田自動織機 | 操舵支援装置 |
US7277782B2 (en) | 2001-01-31 | 2007-10-02 | Oshkosh Truck Corporation | Control system and method for electric vehicle |
US7392122B2 (en) | 2002-06-13 | 2008-06-24 | Oshkosh Truck Corporation | Steering control system and method |
US7412307B2 (en) * | 2002-08-02 | 2008-08-12 | Oshkosh Truck Corporation | Refuse vehicle control system and method |
JP3879696B2 (ja) * | 2003-04-25 | 2007-02-14 | 日産自動車株式会社 | 運転支援装置 |
US20050031169A1 (en) * | 2003-08-09 | 2005-02-10 | Alan Shulman | Birds eye view virtual imaging for real time composited wide field of view |
WO2005088970A1 (ja) * | 2004-03-11 | 2005-09-22 | Olympus Corporation | 画像生成装置、画像生成方法、および画像生成プログラム |
JP4380550B2 (ja) * | 2004-03-31 | 2009-12-09 | 株式会社デンソー | 車載用撮影装置 |
JP3898709B2 (ja) * | 2004-05-19 | 2007-03-28 | 本田技研工業株式会社 | 車両用走行区分線認識装置 |
JP3722487B1 (ja) * | 2004-05-19 | 2005-11-30 | 本田技研工業株式会社 | 車両用走行区分線認識装置 |
JP3722486B1 (ja) * | 2004-05-19 | 2005-11-30 | 本田技研工業株式会社 | 車両用走行区分線認識装置 |
JP4744823B2 (ja) * | 2004-08-05 | 2011-08-10 | 株式会社東芝 | 周辺監視装置および俯瞰画像表示方法 |
JP4724522B2 (ja) * | 2004-10-28 | 2011-07-13 | 株式会社デンソー | 車両周囲視界支援システム |
JP2006224873A (ja) * | 2005-02-18 | 2006-08-31 | Denso Corp | 車両周辺監視装置 |
JP4596978B2 (ja) * | 2005-03-09 | 2010-12-15 | 三洋電機株式会社 | 運転支援システム |
US7415134B2 (en) * | 2005-05-17 | 2008-08-19 | Honda Motor Co., Ltd. | Traffic lane marking line recognition system for vehicle |
EP1916846B1 (en) * | 2005-08-02 | 2016-09-14 | Nissan Motor Company Limited | Device and method for monitoring vehicle surroundings |
JP4809019B2 (ja) * | 2005-08-31 | 2011-11-02 | クラリオン株式会社 | 車両用障害物検出装置 |
TW200829466A (en) * | 2007-01-03 | 2008-07-16 | Delta Electronics Inc | Advanced bird view visual system |
JP2007099261A (ja) * | 2005-09-12 | 2007-04-19 | Aisin Aw Co Ltd | 駐車支援方法及び駐車支援装置 |
JP2007124609A (ja) * | 2005-09-28 | 2007-05-17 | Nissan Motor Co Ltd | 車両周囲映像提供装置 |
FR2891934B1 (fr) * | 2005-10-12 | 2008-01-18 | Valeo Electronique Sys Liaison | Dispositif de traitement de donnees video pour un vehicule automobile |
DE102006003538B3 (de) * | 2006-01-24 | 2007-07-19 | Daimlerchrysler Ag | Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive |
JP4661658B2 (ja) * | 2006-03-30 | 2011-03-30 | アイシン・エィ・ダブリュ株式会社 | 運転支援方法、運転支援装置及び運転支援プログラム |
JP4321543B2 (ja) * | 2006-04-12 | 2009-08-26 | トヨタ自動車株式会社 | 車両周辺監視装置 |
EP2018066B1 (en) * | 2006-05-09 | 2019-10-02 | Nissan Motor Co., Ltd. | Vehicle circumferential image providing device and vehicle circumferential image providing method |
JP5309442B2 (ja) | 2006-05-29 | 2013-10-09 | アイシン・エィ・ダブリュ株式会社 | 駐車支援方法及び駐車支援装置 |
JP4232794B2 (ja) * | 2006-05-31 | 2009-03-04 | アイシン・エィ・ダブリュ株式会社 | 運転支援方法及び運転支援装置 |
WO2007149876A2 (en) * | 2006-06-20 | 2007-12-27 | Datalogic Scanning, Inc. | Imaging scanner with multiple image fields |
US20090128630A1 (en) * | 2006-07-06 | 2009-05-21 | Nissan Motor Co., Ltd. | Vehicle image display system and image display method |
JP4497133B2 (ja) * | 2006-07-12 | 2010-07-07 | アイシン・エィ・ダブリュ株式会社 | 運転支援方法及び運転支援装置 |
KR101143176B1 (ko) * | 2006-09-14 | 2012-05-08 | 주식회사 만도 | 조감도를 이용한 주차구획 인식 방법, 장치 및 그를 이용한주차 보조 시스템 |
TW200829464A (en) * | 2007-01-03 | 2008-07-16 | Delta Electronics Inc | Bird view visual system with fish eye improvement and method thereof |
JP4893945B2 (ja) * | 2007-02-06 | 2012-03-07 | 株式会社デンソー | 車両周辺監視装置 |
JP2008219063A (ja) * | 2007-02-28 | 2008-09-18 | Sanyo Electric Co Ltd | 車両周辺監視装置及び方法 |
EP2150437B1 (en) * | 2007-04-30 | 2014-06-18 | Mobileye Technologies Limited | Rear obstruction detection |
JP2008312004A (ja) * | 2007-06-15 | 2008-12-25 | Sanyo Electric Co Ltd | カメラシステム及び機械装置 |
JP5088074B2 (ja) * | 2007-10-01 | 2012-12-05 | 日産自動車株式会社 | 駐車支援装置及び方法 |
JP5380941B2 (ja) * | 2007-10-01 | 2014-01-08 | 日産自動車株式会社 | 駐車支援装置及び方法 |
WO2009057410A1 (ja) * | 2007-10-30 | 2009-05-07 | Nec Corporation | 路面標示画像処理装置,路面標示画像処理方法及びプログラム |
EP2248069B1 (en) | 2008-02-12 | 2013-08-28 | Datalogic ADC, Inc. | Systems and methods for forming a composite image of multiple portions of an object from multiple perspectives |
US8678287B2 (en) * | 2008-02-12 | 2014-03-25 | Datalogic ADC, Inc. | Two-plane optical code reader for acquisition of multiple views of an object |
DE102008046214A1 (de) | 2008-09-08 | 2009-04-30 | Daimler Ag | Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges |
DE102008046544A1 (de) | 2008-09-10 | 2009-05-20 | Daimler Ag | Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges |
DE102009050368A1 (de) | 2008-10-24 | 2010-05-27 | Magna Electronics Europe Gmbh & Co.Kg | Verfahren zum automatischen Kalibrieren einer virtuellen Kamera |
US8322621B2 (en) | 2008-12-26 | 2012-12-04 | Datalogic ADC, Inc. | Image-based code reader for acquisition of multiple views of an object and methods for employing same |
JP5068779B2 (ja) * | 2009-02-27 | 2012-11-07 | 現代自動車株式会社 | 車両周囲俯瞰画像表示装置及び方法 |
US8732592B2 (en) * | 2009-06-08 | 2014-05-20 | Battelle Energy Alliance, Llc | Methods and systems relating to an augmented virtuality environment |
JP5108840B2 (ja) * | 2009-07-29 | 2012-12-26 | クラリオン株式会社 | 車両用周辺監視装置および車両用周辺画像表示方法 |
US8988525B2 (en) * | 2009-08-27 | 2015-03-24 | Robert Bosch Gmbh | System and method for providing guidance information to a driver of a vehicle |
JP4952765B2 (ja) * | 2009-10-21 | 2012-06-13 | トヨタ自動車株式会社 | 車両用夜間視界支援装置 |
EP2491527B1 (en) | 2009-10-22 | 2013-07-31 | Tomtom Belgium N.V. | Method for creating a mosaic image using masks |
WO2011047732A1 (en) * | 2009-10-22 | 2011-04-28 | Tele Atlas B.V. | Method for identifying moving foreground objects in an orthorectified photographic image |
US20110169957A1 (en) * | 2010-01-14 | 2011-07-14 | Ford Global Technologies, Llc | Vehicle Image Processing Method |
JP5479956B2 (ja) * | 2010-03-10 | 2014-04-23 | クラリオン株式会社 | 車両用周囲監視装置 |
JP2011257940A (ja) * | 2010-06-08 | 2011-12-22 | Panasonic Corp | 逆変換テーブル生成方法、逆変換テーブル生成プログラム、画像変換装置、画像変換方法、及び画像変換プログラム |
CN101976429B (zh) * | 2010-10-27 | 2012-11-14 | 南京大学 | 基于游弋图像的水面鸟瞰图成像方法 |
DE102010051206A1 (de) * | 2010-11-12 | 2012-05-16 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum Erzeugen eines Bilds einer Fahrzeugumgebung und Abbildungsvorrichtung |
RU2544775C1 (ru) * | 2011-09-12 | 2015-03-20 | Ниссан Мотор Ко., Лтд. | Устройство обнаружения трехмерных объектов |
CN103797788B (zh) * | 2011-09-13 | 2016-12-21 | 丰田自动车株式会社 | 车载摄像头的光轴掌握装置 |
US9558556B2 (en) * | 2012-02-23 | 2017-01-31 | Nissan Motor Co., Ltd. | Three-dimensional object detection device |
JP2013186245A (ja) * | 2012-03-07 | 2013-09-19 | Denso Corp | 車両周辺監視装置 |
JP6003226B2 (ja) | 2012-05-23 | 2016-10-05 | 株式会社デンソー | 車両周囲画像表示制御装置および車両周囲画像表示制御プログラム |
JP5994437B2 (ja) * | 2012-07-04 | 2016-09-21 | 株式会社デンソー | 車両周囲画像表示制御装置および車両周囲画像表示制御プログラム |
JP2014089513A (ja) * | 2012-10-29 | 2014-05-15 | Denso Corp | 画像生成装置、および画像生成プログラム |
WO2014084256A1 (ja) * | 2012-11-27 | 2014-06-05 | クラリオン株式会社 | 車載画像処理装置 |
DE102012023706A1 (de) * | 2012-12-05 | 2014-06-05 | Daimler Ag | Fahrzeugseitiges Verfahren und fahrzeugseitige Vorrichtung zum Erfassen und Anzeigen von Parklücken für ein Fahrzeug |
JP6024581B2 (ja) * | 2013-04-15 | 2016-11-16 | 株式会社デンソー | 車両用画像処理装置 |
DE102013010233B4 (de) * | 2013-06-18 | 2018-08-30 | Volkswagen Aktiengesellschaft | Verfahren zum Anzeigen von Umgebungsinformationen in einem Fahrzeug und Anzeigesystem für ein Fahrzeug |
US9845191B2 (en) | 2013-08-02 | 2017-12-19 | Oshkosh Corporation | Ejector track for refuse vehicle |
KR20150019192A (ko) * | 2013-08-13 | 2015-02-25 | 현대모비스 주식회사 | Avm 시스템을 위한 영상 합성 장치 및 그 방법 |
DE102013217699A1 (de) * | 2013-09-05 | 2015-03-05 | Robert Bosch Gmbh | Verfahren zum Manövrieren eines Fahrzeuges |
KR102175961B1 (ko) * | 2013-11-29 | 2020-11-09 | 현대모비스 주식회사 | 차량 후방 주차 가이드 장치 |
KR101572065B1 (ko) * | 2014-01-03 | 2015-11-25 | 현대모비스(주) | 영상 왜곡 보정 방법 및 이를 위한 장치 |
JP6375633B2 (ja) * | 2014-02-12 | 2018-08-22 | 株式会社デンソー | 車両周辺画像表示装置、車両周辺画像表示方法 |
US9825706B2 (en) | 2014-02-28 | 2017-11-21 | United Technologies Corporation | Support system for fiber optic components in harsh environment machines |
JP6326869B2 (ja) * | 2014-03-05 | 2018-05-23 | 株式会社デンソー | 車両周辺画像表示装置、車両周辺画像表示方法 |
DE102014204872B4 (de) | 2014-03-17 | 2018-03-22 | Volkswagen Aktiengesellschaft | Verfahren und Anzeigesystem zum Anzeigen von Umgebungsinformationen eines Fahrzeugs |
KR101611194B1 (ko) * | 2014-04-04 | 2016-04-11 | 주식회사 와이즈오토모티브 | 차량 주변 이미지 생성 장치 및 방법 |
KR101670847B1 (ko) * | 2014-04-04 | 2016-11-09 | 주식회사 와이즈오토모티브 | 차량 주변 이미지 생성 장치 및 방법 |
KR102159353B1 (ko) * | 2014-04-24 | 2020-09-23 | 현대모비스 주식회사 | 어라운드 뷰 시스템의 동작방법 |
KR102176773B1 (ko) * | 2014-06-11 | 2020-11-09 | 현대모비스 주식회사 | 자동차의 주차시스템 |
DE102014223941A1 (de) * | 2014-11-25 | 2016-05-25 | Robert Bosch Gmbh | Verfahren zum Kennzeichnen von Kamerabildern eines Parkmanöverassistenten |
JP6464846B2 (ja) | 2015-03-17 | 2019-02-06 | 株式会社デンソー | 車両周囲画像表示制御装置、および車両周囲画像表示制御プログラム |
CN104811663B (zh) * | 2015-04-17 | 2018-09-04 | 浙江吉利汽车研究院有限公司 | 车辆的图像处理方法及处理装置 |
JP6464952B2 (ja) * | 2015-08-04 | 2019-02-06 | 株式会社デンソー | 表示制御装置、表示制御プログラム及び表示制御方法 |
DE102015217258A1 (de) * | 2015-09-10 | 2017-03-16 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Darstellen eines Fahrzeugumfeldes eines Fahrzeuges |
CN106608220B (zh) * | 2015-10-22 | 2019-06-25 | 比亚迪股份有限公司 | 车辆底部影像的生成方法、装置和车辆 |
US20170132476A1 (en) * | 2015-11-08 | 2017-05-11 | Otobrite Electronics Inc. | Vehicle Imaging System |
JP6561824B2 (ja) | 2015-12-18 | 2019-08-21 | 株式会社デンソー | 表示制御装置 |
CN105763854B (zh) * | 2016-04-18 | 2019-01-08 | 扬州航盛科技有限公司 | 一种基于单目摄像头的全景成像系统及其成像方法 |
CN105898228B (zh) * | 2016-04-29 | 2019-07-09 | 北京小米移动软件有限公司 | 用于摄像设备的控制方法及装置 |
GB2553143A (en) * | 2016-08-26 | 2018-02-28 | Jaguar Land Rover Ltd | A Vehicle camera system |
US10594934B2 (en) | 2016-11-17 | 2020-03-17 | Bendix Commercial Vehicle Systems Llc | Vehicle display |
KR101911926B1 (ko) * | 2016-11-25 | 2019-01-03 | 주식회사 와이즈오토모티브 | 주차 보조 장치 및 방법 |
CN106846243A (zh) * | 2016-12-26 | 2017-06-13 | 深圳中科龙智汽车科技有限公司 | 在设备移动过程中获得三维俯视全景图的方法及装置 |
JP6901000B2 (ja) * | 2017-07-07 | 2021-07-14 | 日産自動車株式会社 | 駐車支援方法及び駐車支援装置 |
US10579067B2 (en) * | 2017-07-20 | 2020-03-03 | Huawei Technologies Co., Ltd. | Method and system for vehicle localization |
JP6740991B2 (ja) | 2017-11-10 | 2020-08-19 | 株式会社デンソー | 表示処理装置 |
JPWO2019142660A1 (ja) * | 2018-01-19 | 2021-03-04 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
KR102103418B1 (ko) * | 2018-04-06 | 2020-04-23 | 주식회사 와이즈오토모티브 | 조감도 이미지 생성 장치 및 방법 |
EP3832034B1 (en) * | 2018-07-31 | 2023-08-23 | Sumitomo (S.H.I.) Construction Machinery Co., Ltd. | Excavator |
DE102018214874B3 (de) | 2018-08-31 | 2019-12-19 | Audi Ag | Verfahren und Anordnung zum Erzeugen einer mit Bildinformationen texturierten Umfeldkarte eines Fahrzeugs und Fahrzeug umfassend eine solche Anordnung |
US10922881B2 (en) * | 2018-11-02 | 2021-02-16 | Star Global Expert Solutions Joint Stock Company | Three dimensional/360 degree (3D/360°) real-time full information smart management integrated mapping system (SMIMS) and process of generating the same |
JP7065068B2 (ja) * | 2019-12-13 | 2022-05-11 | 本田技研工業株式会社 | 車両周囲監視装置、車両、車両周囲監視方法およびプログラム |
EP3979632A1 (en) * | 2020-10-05 | 2022-04-06 | Continental Automotive GmbH | Motor vehicle environment display system and method |
CN114185450A (zh) * | 2021-10-18 | 2022-03-15 | 北京鸿合爱学教育科技有限公司 | 鸟瞰图处理方法、装置及电子设备 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0399952A (ja) * | 1989-09-12 | 1991-04-25 | Nissan Motor Co Ltd | 車両用周囲状況モニタ |
US5670935A (en) * | 1993-02-26 | 1997-09-23 | Donnelly Corporation | Rearview vision system for vehicle including panoramic view |
JP3357749B2 (ja) * | 1994-07-12 | 2002-12-16 | 本田技研工業株式会社 | 車両の走行路画像処理装置 |
JP3475507B2 (ja) * | 1994-08-08 | 2003-12-08 | 日産自動車株式会社 | 車両用周囲モニタ装置 |
JPH09193710A (ja) * | 1996-01-24 | 1997-07-29 | Matsushita Electric Ind Co Ltd | カメラシステム表示装置 |
JP3711705B2 (ja) * | 1996-10-15 | 2005-11-02 | いすゞ自動車株式会社 | 車両後方視界支援装置 |
JP3663801B2 (ja) * | 1997-01-30 | 2005-06-22 | いすゞ自動車株式会社 | 車両後方視界支援装置 |
EP2267656A3 (en) * | 1998-07-31 | 2012-09-26 | Panasonic Corporation | Image displaying apparatus und image displaying method |
EP2410742A1 (en) * | 1999-04-16 | 2012-01-25 | Panasonic Corporation | Image processing apparatus and monitoring system |
EP1050866B1 (en) * | 1999-04-28 | 2003-07-09 | Matsushita Electric Industrial Co., Ltd. | Parking assistance device and method |
JP2001010432A (ja) * | 1999-04-28 | 2001-01-16 | Matsushita Electric Ind Co Ltd | 駐車支援装置と駐車支援方法 |
JP3462812B2 (ja) * | 1999-09-22 | 2003-11-05 | 富士重工業株式会社 | 車載カメラの電源制御方法ならびに装置 |
JP3479006B2 (ja) | 1999-09-22 | 2003-12-15 | 富士重工業株式会社 | 車載カメラの検査方法ならびに装置 |
JP3301421B2 (ja) * | 1999-10-20 | 2002-07-15 | 松下電器産業株式会社 | 車両周囲状況提示装置 |
US6515597B1 (en) * | 2000-01-31 | 2003-02-04 | Matsushita Electric Industrial Co. Ltd. | Vicinity display for car |
US6734896B2 (en) * | 2000-04-28 | 2004-05-11 | Matsushita Electric Industrial Co., Ltd. | Image processor and monitoring system |
EP1158804A3 (en) * | 2000-05-24 | 2003-12-17 | Matsushita Electric Industrial Co., Ltd. | Rendering device for generating a display image |
US6870945B2 (en) * | 2001-06-04 | 2005-03-22 | University Of Washington | Video object tracking by estimating and subtracting background |
-
2001
- 2001-06-13 JP JP2001178776A patent/JP4156214B2/ja not_active Expired - Fee Related
-
2002
- 2002-03-15 DE DE10292327T patent/DE10292327B4/de not_active Expired - Fee Related
- 2002-03-15 WO PCT/JP2002/002525 patent/WO2002104032A1/ja active IP Right Grant
- 2002-03-15 US US10/333,745 patent/US7317813B2/en not_active Expired - Lifetime
- 2002-03-15 KR KR1020037002069A patent/KR100550299B1/ko not_active IP Right Cessation
- 2002-03-15 CN CNB028029828A patent/CN1210958C/zh not_active Expired - Fee Related
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE112016004694B4 (de) | 2015-10-15 | 2023-05-17 | Denso Corporation | Anzeigesteuervorrichtung und nichtflüchtiges computerlesbares Speichermedium mit darauf gespeichertem Anzeigesteuerprogramm |
DE112017001515T5 (de) | 2016-03-22 | 2018-12-06 | Denso Corporation | Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Programm |
US10744941B2 (en) | 2017-10-12 | 2020-08-18 | Magna Electronics Inc. | Vehicle vision system with bird's eye view display |
US11242004B2 (en) | 2017-10-12 | 2022-02-08 | Magna Electronics Inc. | Method of generating images for display for vehicular vision system |
US11618383B2 (en) | 2017-10-12 | 2023-04-04 | Magna Electronics Inc. | Vehicular vision system with display of combined images |
Also Published As
Publication number | Publication date |
---|---|
US20030165255A1 (en) | 2003-09-04 |
KR20030024857A (ko) | 2003-03-26 |
DE10292327T5 (de) | 2004-09-23 |
DE10292327B4 (de) | 2009-06-04 |
CN1210958C (zh) | 2005-07-13 |
CN1473433A (zh) | 2004-02-04 |
KR100550299B1 (ko) | 2006-02-08 |
US7317813B2 (en) | 2008-01-08 |
JP2002373327A (ja) | 2002-12-26 |
WO2002104032A1 (fr) | 2002-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4156214B2 (ja) | 車両周辺画像処理装置及び記録媒体 | |
JP3778849B2 (ja) | 車両周辺画像処理装置及び記録媒体 | |
JP4067424B2 (ja) | 車両周辺画像処理装置及びプログラム並びに記録媒体 | |
JP5302227B2 (ja) | 画像処理装置、画像処理システム、および、画像処理方法 | |
US8553081B2 (en) | Apparatus and method for displaying an image of vehicle surroundings | |
WO2003107273A1 (ja) | 運転支援装置 | |
JP2002019556A (ja) | 監視システム | |
JP5914114B2 (ja) | 駐車支援装置、及び駐車支援方法 | |
JP2006268076A (ja) | 運転支援システム | |
JP4192680B2 (ja) | 移動体周辺監視装置 | |
JP2007102798A (ja) | 車両周辺監視システム | |
JP3796417B2 (ja) | 車両周辺画像処理装置及び記録媒体 | |
JP4071463B2 (ja) | 車両周辺画像処理装置 | |
JP3900415B2 (ja) | 車両周辺画像処理装置,プログラム及び記録媒体 | |
JP2006252577A (ja) | 地図データ生成装置 | |
JP2004252837A (ja) | 車両周辺表示装置および車両周辺表示プログラム | |
JP6327115B2 (ja) | 車両周辺画像表示装置、車両周辺画像表示方法 | |
JP3395393B2 (ja) | 車両周囲表示装置 | |
JP3850271B2 (ja) | 車両周辺画像処理装置及び記録媒体 | |
JP3813085B2 (ja) | 車両周辺画像処理装置及び記録媒体 | |
JP2012046124A (ja) | 画像表示システム、画像処理装置、および、画像表示方法 | |
JP7029350B2 (ja) | 画像処理装置および画像処理方法 | |
JP2011118485A (ja) | 方向転換支援装置及び方法 | |
JP2001341600A (ja) | 駐車支援装置 | |
JP4637408B2 (ja) | 車両周辺画像処理装置及び記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060314 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060512 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060704 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060901 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20061219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20070117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070216 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070301 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20070323 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080709 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4156214 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120718 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120718 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130718 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |