Nothing Special   »   [go: up one dir, main page]

JP4670460B2 - Parking support method and parking support device - Google Patents

Parking support method and parking support device Download PDF

Info

Publication number
JP4670460B2
JP4670460B2 JP2005130587A JP2005130587A JP4670460B2 JP 4670460 B2 JP4670460 B2 JP 4670460B2 JP 2005130587 A JP2005130587 A JP 2005130587A JP 2005130587 A JP2005130587 A JP 2005130587A JP 4670460 B2 JP4670460 B2 JP 4670460B2
Authority
JP
Japan
Prior art keywords
image data
vehicle
image
data
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005130587A
Other languages
Japanese (ja)
Other versions
JP2006311151A (en
Inventor
俊宏 森
智氣 窪田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Original Assignee
Aisin AW Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd filed Critical Aisin AW Co Ltd
Priority to JP2005130587A priority Critical patent/JP4670460B2/en
Publication of JP2006311151A publication Critical patent/JP2006311151A/en
Application granted granted Critical
Publication of JP4670460B2 publication Critical patent/JP4670460B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、駐車支援方法及び駐車支援装置に関する。   The present invention relates to a parking assistance method and a parking assistance device.

従来より、自動車を駐車させる際の運転操作を支援する装置として、車両の後端に取り付けられたカメラにより、周辺視界を撮像し、その撮像データを車室内に配設されたディスプレイに表示する装置が知られている(例えば、特許文献1参照)。このような後方カメラは、車両の後端の略中央において取付けられ、その光軸は、下方に所定角度傾けた状態で固定されている。そして、この後方カメラは、車両の後端から後方数メートルを撮像可能になっている。
特開2000−280823号公報
2. Description of the Related Art Conventionally, as a device for assisting driving operation when parking a car, a device attached to the rear end of a vehicle is used to image a peripheral field of view and display the imaged data on a display disposed in a vehicle interior. Is known (see, for example, Patent Document 1). Such a rear camera is mounted substantially at the center of the rear end of the vehicle, and its optical axis is fixed in a state where it is inclined downward by a predetermined angle. And this rear camera can image several meters behind from the rear end of the vehicle.
JP 2000-280823 A

ところが、上記した駐車支援装置は、車両が、駐車枠にバックしながら進入開始した時点では、駐車枠を示す白線や輪止めがディスプレイに表示されていても、車両が駐車枠の終端や輪止めに接近するに従って、白線や輪止めがカメラの視界外に移動してしまう。このため、運転者は、車両が駐車枠に進入した際に、車両の位置と駐車枠との相対位置やずれ量を把握し難い。その結果、タイヤと輪止めとの接触による衝撃が大きくなったり、車両が駐車枠からはみ出てしまう虞があった。   However, when the vehicle starts to enter the parking frame while back on the parking frame, even if the white line indicating the parking frame or the wheel stopper is displayed on the display, the vehicle does not stop or stop the parking frame. As you approach the point, the white line and the wheel stopper will move out of the camera's field of view. For this reason, when the vehicle enters the parking frame, it is difficult for the driver to grasp the relative position and the shift amount between the position of the vehicle and the parking frame. As a result, there is a possibility that the impact due to the contact between the tire and the wheel stop increases, or the vehicle protrudes from the parking frame.

本発明は、上記問題点に鑑みてなされたものであり、その目的は、駐車目標領域内に車両が進入した後も、車両を誘導することができる駐車支援方法及び駐車支援装置を提供することにある。   The present invention has been made in view of the above problems, and an object of the present invention is to provide a parking support method and a parking support device that can guide a vehicle even after the vehicle enters the parking target area. It is in.

上記問題点を解決するために、請求項1に記載の発明は、車両の位置を特定する位置特定手段と、画像データを表示する表示手段と、制御手段とを用い、駐車操作を支援する駐車支援方法であって、前記制御手段が、前記車両に設けられた撮像装置から、前記車両の周辺を撮像した画像データを前記車両が画像更新距離を移動する毎に取得し、取得した前記画像データをその撮像地点と関連付けて過去画像データとして画像データ記憶手段に格納する工程と、前記車両が画像更新距離を移動する毎に、前記車両の現在位置よりも進行方向において後方の前記撮像地点で撮像した前記過去画像データを前記画像データ記憶手段から読出す工程と、当該読出した過去画像データを、前記車両の現在位置における前記撮像装置の撮像視点に視点変換する工程と、前記車両が画像更新距離を移動する毎に、前記車両の現在位置で撮像した現在画像データにおける合成領域と、視点変換した前記過去画像データにおける合成領域とを互いに連続するように合成して画像合成データを生成する工程と、当該画像合成データを前記表示手段に表示する工程とを有し、前記画像合成データを生成する工程では、読出した前記過去画像データの数が多いほど、前記現在画像データにおける合成領域を小さくして前記画像合成データを生成することを要旨とする。 In order to solve the above problems, the invention according to claim 1 is a parking system that supports a parking operation using a position specifying unit that specifies the position of a vehicle, a display unit that displays image data, and a control unit. In the support method, the control unit acquires image data obtained by imaging the periphery of the vehicle from an imaging device provided in the vehicle every time the vehicle moves an image update distance, and the acquired image data Is stored in the image data storage means as past image data in association with the imaging point, and every time the vehicle moves an image update distance, imaging is performed at the imaging point behind the current position of the vehicle in the traveling direction. viewpoint conversion and reading step wherein the past image data from the image data storage unit that, the read out the past image data, the imaging point of view of the imaging device at the current position of the vehicle That step and, every time the vehicle moves an image update distance, current and synthetic regions in the current image data captured by position, to each other continuously and synthesis region in the previous image data viewpoint conversion synthesis of the vehicle and generating an image synthesis data, possess a step of displaying the image synthesis data on the display means, in the step of generating the image synthesis data, the more the number of past image data is large read out, The gist of the present invention is to generate the image composition data by reducing the composition area in the current image data .

請求項2に記載の発明は、車両の位置を特定する位置特定手段と、前記車両に設けられた撮像装置から、前記車両の周辺を撮像した画像データを前記車両が画像更新距離を移動する毎に取得する画像データ取得手段と、取得した前記画像データをその撮像地点と関連付けて過去画像データとして格納する画像データ記憶手段と、前記画像データを表示する表示手段と、前記車両が画像更新距離を移動する毎に、前記車両の現在位置よりも進行方向において後方の前記撮像地点で撮像した前記過去画像データを読出す画像データ読出手段と、当該読出した過去画像データを、前記車両の現在位置における前記撮像装置の撮像視点に視点変換する変換手段と、前記車両が画像更新距離を移動する毎に、前記車両の現在位置で撮像した現在画像データにおける合成領域と、視点変換した前記過去画像データにおける合成領域とを互いに連続するように合成して画像合成データを生成する画像合成手段と、当該画像合成データを前記表示手段に表示する表示制御手段とを備え、前記画像合成手段は、読出した前記過去画像データの数が多いほど、前記現在画像データにおける合成領域を小さくして前記画像合成データを生成することを要旨とする。
請求項3に記載の発明は、請求項2に記載の駐車支援装置において、前記画像データ読出手段は、前記画像データ記憶手段に格納された過去画像データの数が所定数を超える場合には、前記車両の現在位置に近い撮像地点で撮像された前記過去画像データから順に前記所定数の過去画像データを読出すことを要旨とする。
請求項4に記載の発明は、請求項2又は3に記載の駐車支援装置において、前記画像合成データを前記表示手段に表示させるための合成開始信号を受信する受信手段をさらに備え、前記画像データ取得手段は、前記受信手段が前記合成開始信号を受信したときの車両の位置を初期位置として、該初期位置から前記車両が画像更新距離を移動する毎に前記画像データを取得することを要旨とする。
According to a second aspect of the present invention, image data obtained by imaging the periphery of the vehicle from position specifying means for specifying the position of the vehicle and an image pickup device provided in the vehicle is moved each time the vehicle moves an image update distance. The image data acquisition means for acquiring the image data, the image data storage means for storing the acquired image data as past image data in association with the imaging point, the display means for displaying the image data, and the vehicle updating the image update distance. each moving, current and behind the reading image data reading means said past image data imaged by the imaging point in the traveling direction than a position of the vehicle, the read out past image data, at the current position of the vehicle conversion means for viewpoint conversion on image pickup viewpoint of the image pickup device, every time the vehicle moves an image update distance, current image data captured by the current position of the vehicle And synthetic regions in an image synthesizing means for generating a synthesized to the image synthesizing data to each other continuously and synthesis region in the previous image data viewpoint conversion, display control means for displaying the image synthesized data to said display means The image synthesizing means generates the image synthesized data by reducing the synthesis area in the current image data as the number of the read past image data is larger .
According to a third aspect of the present invention, in the parking assist device according to the second aspect, the image data reading means, when the number of past image data stored in the image data storage means exceeds a predetermined number, The gist is to read the predetermined number of past image data sequentially from the past image data captured at an imaging point close to the current position of the vehicle.
According to a fourth aspect of the present invention, in the parking assist apparatus according to the second or third aspect, the image data further comprises a receiving unit that receives a synthesis start signal for causing the display unit to display the image synthesized data. The obtaining means obtains the image data every time the vehicle moves an image update distance from the initial position, with the position of the vehicle when the receiving means receives the synthesis start signal as an initial position. To do.

請求項5に記載の発明は、請求項2〜4のいずれか1項に記載の駐車支援装置において、前記過去画像データにおける合成領域は、現在位置の前記車両の下方にあたる領域であり、前記現在画像データにおける合成領域は、前記車両の近距離範囲にあたる領域であることを要旨とする。 Invention according to claim 5, in the parking assist apparatus according to any one of claims 2-4, combining region before Symbol past image data is lower corresponding to the region of the vehicle current position, the combining region in the current image data is summarized in that a region corresponding to short-distance range of the vehicle.

請求項6に記載の発明は、請求項2〜5のいずれか1項に記載の駐車支援装置において、前記車両の現在位置を示す車両位置指標を、前記画像合成データに重ねて表示する車両位置表示手段をさらに備えたことを要旨とする。 A sixth aspect of the present invention is the parking support apparatus according to any one of the second to fifth aspects, wherein a vehicle position index indicating a current position of the vehicle is displayed in an overlapping manner on the image composite data. The gist is that a display means is further provided.

請求項7に記載の発明は、請求項2〜6のいずれか1項に記載の駐車支援装置において、前記撮像装置から取得した前記画像データの歪曲収差を補正する収差補正手段をさらに備えたことを要旨とする。   A seventh aspect of the present invention is the parking assist device according to any one of the second to sixth aspects, further comprising an aberration correction unit that corrects distortion aberration of the image data acquired from the imaging device. Is the gist.

請求項8に記載の発明は、請求項2〜7のいずれか1項に記載の駐車支援装置において、前記画像データ取得手段は、前記車両の後端部に設けられた前記撮像装置から、前記車両の後方を撮像した画像データを取得することを要旨とする。   According to an eighth aspect of the present invention, in the parking assist device according to any one of the second to seventh aspects, the image data acquisition means includes the imaging device provided at the rear end of the vehicle, and The gist is to acquire image data obtained by imaging the rear of the vehicle.

請求項1に記載の発明によれば、撮像装置が各撮像地点で生成した画像データを、その撮像地点と関連付けて画像データ記憶手段に格納する。また、進行方向において後方の撮像地点で撮像した過去画像データを読み出し、読出した過去画像データを、車両の現在位置における撮像装置の撮像視点に視点変換し、現在画像データの合成領域と、過去画像データの合成領域とを合成した画像合成データを表示手段に表示する。このため、車両の移動により、撮像装置の視界に駐車目標領域の殆どが含まれなくなっても、蓄積した過去画像データの合成領域を表示することにより、車体の下方の駐車目標領域を表示できる。従って、運転者は、駐車目標領域からずれないように、車両を駐車させることができる。また、過去画像データを車両の現在位置における撮像装置の撮像視点に変換するので、過去画像データの合成領域現在画像データの合成領域とともに表示した際に、画像を見やすくすることができる。 According to the first aspect of the present invention, the image data generated by the imaging device at each imaging point is stored in the image data storage unit in association with the imaging point. Further, in the traveling direction reads past image data captured by the rear of the imaging point, the read historical image data, and converts points viewed in the imaging viewpoint of the image capturing apparatus definitive the current position of the vehicle, and combining region of the current image data, The image synthesis data synthesized with the synthesis area of the past image data is displayed on the display means. For this reason, even if most of the parking target area is not included in the field of view of the imaging device due to the movement of the vehicle, the parking target area below the vehicle body can be displayed by displaying the synthesized area of the accumulated past image data. Therefore, the driver can park the vehicle so as not to deviate from the parking target area. Further, since the conversion of the past image data to the imaging point of view of the imaging apparatus definitive the current position of the vehicle, when it is displayed together with the synthesis area of the current image data synthesis area of the past image data, the image can be easily viewed.

請求項2〜請求項4に記載の発明によれば、駐車支援装置は、位置特定手段と、各撮像地点で画像データを取得する画像データ取得手段と、画像データを撮像地点と関連付けて過去画像データとして格納する画像データ記憶手段とを備えている。また、進行方向において後方の撮像地点で撮像した過去画像データを読み出す画像データ読出手段、過去画像データを車両の現在位置における撮像装置の撮像視点に視点変換する変換手段と、現在画像データの合成領域と過去画像データの合成領域とを合成した画像合成データを表示手段に表示する表示制御手段とを備える。このため、車両の移動により、撮像装置の視界に駐車目標領域の殆どが含まれなくなっても、蓄積した過去画像データの合成領域を表示手段に表示することにより、車体の下方にあたる駐車目標領域を表示できる。従って、運転者は、駐車目標領域からずれないように、車両を駐車させることができる。また、過去画像データを車両の現在位置における撮像装置の撮像視点に変換するので、過去画像データの合成領域現在画像データの合成領域とともに表示した際に、画像を見やすくすることができる。 According to the second to fourth aspects of the present invention, the parking assist device includes a position specifying unit, an image data acquiring unit that acquires image data at each imaging point, and a past image that associates the image data with the imaging point. Image data storage means for storing data. Further, the image data reading means for reading the past image data captured by the rear of the imaging point in the traveling direction, and converting means for viewpoint conversion on image pickup viewpoint of the image capturing apparatus historical image data at the current position of the vehicle, the synthesis of the current image data and display control means for displaying an image synthesis data obtained by synthesizing the region and combining region of the past image data to the display unit. For this reason, even if most of the parking target area is not included in the field of view of the imaging device due to the movement of the vehicle, the parking target area corresponding to the lower part of the vehicle body is displayed by displaying the synthesized area of the accumulated past image data on the display means. Can be displayed. Therefore, the driver can park the vehicle so as not to deviate from the parking target area. Further, since the conversion of the past image data to the imaging point of view of the imaging apparatus definitive the current position of the vehicle, when it is displayed together with the synthesis area of the current image data synthesis area of the past image data, the image can be easily viewed.

請求項5に記載の発明によれば、車両から遠い距離の画像データは削除されるため、撮像視点が擬似的に下方に向いた画像合成データを生成することができる。従って、駐車目標領域に車両が進入した際に、撮像視点を擬似的に下方に向かせることで、不必要な範囲の表示を省略し、駐車目標領域に集中した画像を表示手段に表示することができる。 According to the invention of claim 5, since the image data of the distance from vehicles is removed, it is possible to generate an image synthesis data captured viewpoint facing downwards in a pseudo manner. Therefore, when the vehicle enters the parking target area, the imaging viewpoint is artificially turned downward, thereby omitting display of an unnecessary range and displaying an image concentrated on the parking target area on the display means. Can do.

請求項6に記載の発明によれば、駐車支援装置は、車両の現在位置を画像合成データに重ねて表示する車両位置表示手段をさらに備える。このため、運転者は、車両の位置と、駐車目標領域とのずれ量を把握することができるので、駐車目標領域内に車両を駐車させることができる。 According to the invention described in claim 6 , the parking assist device further includes vehicle position display means for displaying the current position of the vehicle superimposed on the image composition data . For this reason, since the driver | operator can grasp | ascertain the deviation | shift amount of the position of a vehicle and a parking target area | region, it can park a vehicle in a parking target area | region.

請求項7に記載の発明によれば、駐車支援装置は、撮像装置から取得した画像データに生じた歪曲収差を補正する収差補正手段を備えている。このため各画像データを表示手段に表示した際に、合成した画像の連続性を良好にすることができるので、ユーザに違和感を与えないようにすることができる。   According to the seventh aspect of the present invention, the parking assist device includes the aberration correction means for correcting the distortion generated in the image data acquired from the imaging device. For this reason, when each image data is displayed on the display means, the continuity of the synthesized image can be improved, so that the user can be prevented from feeling uncomfortable.

請求項8に記載の発明によれば、画像データ取得手段により、車両の後端部に設けられた撮像装置から、車両の後方を撮像した画像データが取得される。このため、車両が駐車目標領域に向ってバックした際に、車両後方を撮像した画像データを用いて合成画像を生成できるので、運転操作が難しい場合に支援を行うことができる。   According to the invention described in claim 8, the image data acquisition means acquires image data obtained by imaging the rear of the vehicle from the imaging device provided at the rear end of the vehicle. For this reason, when the vehicle backs toward the parking target area, a composite image can be generated using image data obtained by imaging the rear of the vehicle, so that support can be provided when a driving operation is difficult.

(第1の実施形態)
以下、本発明の駐車支援装置を、自動車に搭載され、経路案内を行うナビゲーション装置に具体化した第1の実施形態を図1〜図13に従って説明する。図1は、ナビゲーション装置1の構成を説明するブロック図である。
(First embodiment)
Hereinafter, a first embodiment in which the parking assist device of the present invention is embodied in a navigation device mounted on an automobile and performing route guidance will be described with reference to FIGS. FIG. 1 is a block diagram illustrating the configuration of the navigation device 1.

図1に示すように、ナビゲーション装置1は、制御手段としての制御装置2を備えている。この制御装置2は、主制御を行う制御部3、画像データ記憶手段としてのRAM4、ROM5を備えている。制御部3は、ROM5に格納された経路案内プログラム、画像データ保存プログラム、合成データ出力プログラム、駐車案内プログラム等、各種プログラムに従って、各種処理を行う。尚、制御部3は、特許請求の範囲に記載の画像データ取得
手段、位置特定手段、画像データ読出手段、画像合成手段、表示制御手段、車両位置表示手段、収差補正手段及び変換手段を構成する。
As shown in FIG. 1, the navigation device 1 includes a control device 2 as a control means. The control device 2 includes a control unit 3 that performs main control, a RAM 4 as an image data storage unit, and a ROM 5. The control unit 3 performs various processes according to various programs such as a route guidance program, an image data storage program, a composite data output program, and a parking guidance program stored in the ROM 5. The controller 3 constitutes image data acquisition means, position specifying means, image data reading means, image composition means, display control means, vehicle position display means, aberration correction means, and conversion means described in the claims. .

また、ROM5には、輪郭描画データ5aが格納されている。輪郭描画データ5aは、車両Cの輪郭をディスプレイ12に表示するためのデータである。また、輪郭描画データ5aは、車両Cの大きさに応じて設定され、車両Cが小型車である場合には、画面に応じた小型車の大きさの輪郭を描画するようになっている。   The ROM 5 stores contour drawing data 5a. The contour drawing data 5 a is data for displaying the contour of the vehicle C on the display 12. The contour drawing data 5a is set according to the size of the vehicle C, and when the vehicle C is a small vehicle, the contour of the size of the small vehicle according to the screen is drawn.

また、制御装置2は、GPS受信部6及び位置特定手段を構成する自車位置検出部7を備えている。GPS受信部6は、GPS衛星からの電波を受信する。自車位置検出部7は、GPS受信部6から受信した検出データに基づいて、自車位置の絶対位置を示す緯度・経度・高度等の測位データを定期的に算出する。   Moreover, the control apparatus 2 is provided with the own vehicle position detection part 7 which comprises the GPS receiving part 6 and a position specific means. The GPS receiver 6 receives radio waves from GPS satellites. Based on the detection data received from the GPS receiving unit 6, the own vehicle position detection unit 7 periodically calculates positioning data such as latitude, longitude, altitude indicating the absolute position of the own vehicle position.

さらに、制御装置2は、I/F部8を備えている。制御部3は、このI/F部8を介して、車両C(図3参照)に配設された車速センサ20及びジャイロセンサ21から、車両Cの速度及び相対方位を取得し、これらを自車位置検出部7に送信する。自車位置検出部7は、GPS受信部6による測位データにより算出した基準自車位置をもとに、車速及び相対方位に基づき、自律航法による自車位置を算出する。このとき、自車位置検出部7は、図3に示すように、車両Cの後輪Caの車軸Cbの中心点25を、車両用のXY座標系(以下、車両座標系という)上の座標点として算出する。そして、GPS受信部6から測位データを逐次取得しながら、自律航法による自車位置を補正し、自車位置を決定する。尚、車両座標系は、水平面(路面)上の車両Cの位置を示すための座標系である。   Further, the control device 2 includes an I / F unit 8. The control unit 3 acquires the speed and relative orientation of the vehicle C from the vehicle speed sensor 20 and the gyro sensor 21 disposed in the vehicle C (see FIG. 3) via the I / F unit 8 and automatically acquires them. It transmits to the vehicle position detection part 7. The own vehicle position detection unit 7 calculates the own vehicle position by autonomous navigation based on the vehicle speed and the relative direction based on the reference own vehicle position calculated from the positioning data by the GPS receiving unit 6. At this time, as shown in FIG. 3, the vehicle position detection unit 7 sets the center point 25 of the axle Cb of the rear wheel Ca of the vehicle C as coordinates on an XY coordinate system for vehicles (hereinafter referred to as a vehicle coordinate system). Calculate as a point. And while acquiring positioning data from GPS receiving part 6 sequentially, the own vehicle position by autonomous navigation is corrected and the own vehicle position is determined. The vehicle coordinate system is a coordinate system for indicating the position of the vehicle C on the horizontal plane (road surface).

また、図1に示すように、制御装置2は、地図データ記憶部9を備えている。地図データ記憶部9には、地図データとしての経路データ9a及び地図描画データ9bが格納されている。経路データ9aは、各道路の交差点や曲点を示すノードを示すノードデータや、各ノードを接続するリンクを示すリンクデータ等を格納しており、制御部3は、目的地までの経路案内処理を行う際に、この経路データ9a及びROM5に格納された経路案内プログラムに従って経路を探索する。また、制御部3は、上記したように算出した自車位置の座標と、走行軌跡、経路データ9aを照合して、自車位置座標を適切な道路上に位置決めし、自車位置データをさらに補正する。地図描画データ9bは、広範囲から狭範囲の地図を表示するためのデータであって、経路データ9aと関連付けられている。   As shown in FIG. 1, the control device 2 includes a map data storage unit 9. The map data storage unit 9 stores route data 9a and map drawing data 9b as map data. The route data 9a stores node data indicating nodes indicating intersections and turning points of roads, link data indicating links connecting the nodes, and the like. The control unit 3 performs route guidance processing to a destination. When performing the above, the route is searched according to the route data 9a and the route guidance program stored in the ROM 5. In addition, the control unit 3 collates the coordinates of the vehicle position calculated as described above, the travel locus, and the route data 9a, positions the vehicle position coordinates on an appropriate road, and further determines the vehicle position data. to correct. The map drawing data 9b is data for displaying a map from a wide range to a narrow range, and is associated with the route data 9a.

また、制御装置2は、画像データ取得手段を構成する撮像データ取得部10を備えている。撮像データ取得部10は、車両Cに設けられた撮像装置としての後方カメラ22から撮像データを定期的に取得する。撮像データは、後方カメラ22によりアナログ/デジタル変換されたデジタルデータであって、撮像データ取得部10は、各種補正や合成等の画像処理が可能な画像データGとして、制御部3に送信する。制御部3は、その画像データGを取得すると、そのときの自車位置と関連付けて、画像データGをRAM4に一時格納する。   In addition, the control device 2 includes an imaging data acquisition unit 10 that constitutes an image data acquisition unit. The imaging data acquisition unit 10 periodically acquires imaging data from a rear camera 22 as an imaging device provided in the vehicle C. The imaging data is digital data that has been analog / digital converted by the rear camera 22, and the imaging data acquisition unit 10 transmits it to the control unit 3 as image data G that can be subjected to image processing such as various corrections and synthesis. When acquiring the image data G, the control unit 3 temporarily stores the image data G in the RAM 4 in association with the vehicle position at that time.

後方カメラ22は、図2に示すように、車両Cのバックドア等、車両Cの後端の略中央に、光軸Aを下方に向けて取り付けられている。後方カメラ22は、広角レンズ、ミラー等から構成される光学機構と、CCD撮像素子(いずれも図示せず)とを備えている。広角レンズは、例えば左右140度の後方視野を有し、後方カメラ22は、車両Cの後端を含む、後方約3mの撮像範囲F1(周辺視界)を撮像可能になっている。また、後方カメラ22が広角レンズを用いているため、画像データGをナビゲーション装置1のディスプレイ12に表示すると、画面周辺の画像が縮む、いわゆる歪曲収差が生じる。   As shown in FIG. 2, the rear camera 22 is attached to the approximate center of the rear end of the vehicle C, such as a back door of the vehicle C, with the optical axis A facing downward. The rear camera 22 includes an optical mechanism including a wide-angle lens, a mirror, and the like, and a CCD image sensor (none of which is shown). The wide-angle lens has a rear visual field of 140 degrees on the left and right, for example, and the rear camera 22 can image an imaging range F1 (peripheral field of view) about 3 m rearward including the rear end of the vehicle C. In addition, since the rear camera 22 uses a wide-angle lens, when the image data G is displayed on the display 12 of the navigation device 1, so-called distortion occurs in which an image around the screen is shrunk.

さらに、図1に示すように、制御装置2は、I/F部8を介して、車両Cに設けられた
ステアリングセンサ23、シフトセンサ24と接続されている。制御部3は、ステアリングセンサ23,シフトセンサ24から舵角検出信号及びシフトポジション信号を取得する。そして、制御部3は、シフトポジション信号に基づいて、変速機のシフトポジションがリバース状態であるか否かを判断する。シフトポジションがリバースであって、車両Cの後方の画像を単に表示する場合には、制御部3等は、ROM5に格納された駐車案内プログラムに従って、舵角検出信号に基づき、図4に示す撮像画面33をディスプレイ12に表示する。撮像画面33には、車両Cの背景が表示され、その背景に、予想軌跡線31、車幅延長線32が、公知の方法で、重ねて描画されている。予想軌跡線31は、車両Cの舵角及び車幅に応じた進行軌跡を示す。車幅延長線32は、車両Cの車幅を後方に延長した指標である。従って、運転者は、駐車する際に、予想軌跡線31と、車幅延長線32とのずれ量に応じて操舵を行う。
Furthermore, as shown in FIG. 1, the control device 2 is connected to a steering sensor 23 and a shift sensor 24 provided in the vehicle C via the I / F unit 8. The control unit 3 acquires a steering angle detection signal and a shift position signal from the steering sensor 23 and the shift sensor 24. Then, the control unit 3 determines whether or not the shift position of the transmission is in the reverse state based on the shift position signal. When the shift position is reverse and an image behind the vehicle C is simply displayed, the control unit 3 or the like captures the image shown in FIG. 4 based on the steering angle detection signal in accordance with the parking guidance program stored in the ROM 5. A screen 33 is displayed on the display 12. On the imaging screen 33, the background of the vehicle C is displayed, and an expected trajectory line 31 and a vehicle width extension line 32 are overlaid on the background by a known method. The expected trajectory line 31 indicates a travel trajectory according to the steering angle and the vehicle width of the vehicle C. The vehicle width extension line 32 is an index obtained by extending the vehicle width of the vehicle C rearward. Therefore, the driver steers the vehicle according to the amount of deviation between the predicted trajectory line 31 and the vehicle width extension line 32 when parking.

また、ナビゲーション装置1は、上記した、表示手段としてのディスプレイ12を具備している。このディスプレイ12は、タッチパネルであって、車両Cの変速機のシフトポジションがリバースになると、車両Cの後方を撮像した画像データGや、制御部3から送信された画像合成データを出力する。さらに、ディスプレイ12は、変速機のシフトポジションがリバースになっていない場合には、制御部3から送信された地図描画データ9bを出力して、自車位置周辺の地図画面12a(図1参照)を自車位置マーク等と併せて表示する。   Further, the navigation device 1 includes the display 12 as the display means described above. The display 12 is a touch panel, and when the shift position of the transmission of the vehicle C is reversed, the display 12 outputs image data G obtained by imaging the rear of the vehicle C and image composite data transmitted from the control unit 3. Further, when the shift position of the transmission is not reverse, the display 12 outputs the map drawing data 9b transmitted from the control unit 3 and the map screen 12a around the vehicle position (see FIG. 1). Is displayed along with the vehicle position mark.

制御装置2が備える入力信号取得部13は、そのディスプレイ12のタッチパネル操作によって入力された入力信号、ナビゲーション装置1に配設された操作ボタン14を押釦することによって入力された入力信号を取得して、制御部3に送信する。操作ボタン14の中には、画像切換ボタン14aが備えられている。   The input signal acquisition unit 13 included in the control device 2 acquires an input signal input by operating the touch panel of the display 12 and an input signal input by pressing the operation button 14 provided on the navigation device 1. To the control unit 3. In the operation button 14, an image switching button 14a is provided.

この画像切換ボタン14aは、例えば、図3に示すように、車両Cが駐車目標領域Rに駐車するとき等に、駐車目標領域Rがディスプレイ12の画面からはみ出して、視認しずらくなった際に、運転者によって操作される。この画像切換ボタン14aが操作されることにより、入力信号取得部13により合成開始信号が生成され、制御部3は、各画像データGの合成及び出力処理を開始するようになっている。尚、この画像切換ボタン14aは、ナビゲーション装置1の筐体に配設されるのではなく、ディスプレイ12上に表示されてもよい。   For example, as shown in FIG. 3, the image switching button 14 a is displayed when the parking target area R protrudes from the screen of the display 12 when the vehicle C is parked in the parking target area R. It is operated by the driver. When the image switching button 14a is operated, a synthesis start signal is generated by the input signal acquisition unit 13, and the control unit 3 starts synthesis and output processing of each image data G. The image switching button 14a may be displayed on the display 12 instead of being disposed on the casing of the navigation device 1.

また、ナビゲーション装置1は、スピーカ15を備えている。スピーカ15は、制御部3から送信された音声出力信号に基づき、各種案内音声や案内音を出力する。
また、制御装置2は、画像合成手段、車両位置表示手段、収差補正手段及び変換手段を構成する画像処理部11を備えている。画像処理部11は、制御部3から各画像データGを受信して、各画像データGに生じた、広角レンズによる歪曲収差を補正する。また、画像処理部11は、制御部3から受信した画像合成命令に従って、車両Cの現在位置(以下、現在地点と言う)で新たに取得した画像データG1と、その画像データGよりも過去に撮像された過去画像データG2とを合成する。現在の画像データG1に合成する過去画像データG2は、現在地点よりも、車両座標系において、所定距離(画像更新距離)だけ離れた地点で生成されている。
The navigation device 1 includes a speaker 15. The speaker 15 outputs various guidance voices and guidance sounds based on the voice output signal transmitted from the control unit 3.
The control device 2 also includes an image processing unit 11 that constitutes an image composition unit, a vehicle position display unit, an aberration correction unit, and a conversion unit. The image processing unit 11 receives each image data G from the control unit 3 and corrects distortion aberration caused by the wide-angle lens that has occurred in each image data G. Further, the image processing unit 11 newly acquires the image data G1 newly acquired at the current position of the vehicle C (hereinafter referred to as the current point) and the image data G in the past in accordance with the image composition command received from the control unit 3. The captured past image data G2 is synthesized. The past image data G2 to be combined with the current image data G1 is generated at a point separated from the current point by a predetermined distance (image update distance) in the vehicle coordinate system.

画像処理部11は、図5に模式的に示すように、現在の画像データG1を、過去画像データG2の上に、現在の画像データG1が表示側になるように重ねる。このとき、画像処理部11は、画像データG1及び過去画像データG2のうち、連続する領域がそれぞれ撮像された合成領域G1a,G2aが互いに連続するように合成する。これにより生成された画像合成データGAは、現在の画像データG1の合成領域G1a(第1の合成領域)と、過去画像データG2の合成領域G2a(第2の合成領域)の画像がほぼ連続した状態と
なる。
As schematically shown in FIG. 5, the image processing unit 11 superimposes the current image data G1 on the past image data G2 so that the current image data G1 is on the display side. At this time, the image processing unit 11 combines the image data G1 and the past image data G2 so that the combined regions G1a and G2a in which the continuous regions are respectively captured are continuous. In the image composition data GA generated by this, the images of the composition area G1a (first composition area) of the current image data G1 and the composition area G2a (second composition area) of the past image data G2 are substantially continuous. It becomes a state.

さらに、画像処理部11及び制御部3は、図6に模式的に示すように、ディスプレイ12の撮像画面の画素座標を示すxy座標系(以下、画面座標系という)において、画像データG1の合成領域G1aと、過去画像データG2の合成領域G2aとが、表示領域12bに含まれるように、ディスプレイ12に出力する。このとき、画像データG1の非表示領域G1bは表示領域12bに含めない。また、過去画像データG2の非表示領域G2b(図5参照)は、現在の画像データG1の合成領域G1aに隠されて、表示されない。また、このとき、画像処理部11は、各合成領域G1a,G2aを表示領域12bに含めるために、画像データG1及び過去画像データG2のうち、一方又は両方を必要に応じて縮小又は拡大する。   Further, as schematically shown in FIG. 6, the image processing unit 11 and the control unit 3 combine the image data G1 in an xy coordinate system (hereinafter referred to as a screen coordinate system) indicating pixel coordinates of the imaging screen of the display 12. The area G1a and the composite area G2a of the past image data G2 are output to the display 12 so as to be included in the display area 12b. At this time, the non-display area G1b of the image data G1 is not included in the display area 12b. Further, the non-display area G2b (see FIG. 5) of the past image data G2 is hidden by the synthesis area G1a of the current image data G1 and is not displayed. At this time, the image processing unit 11 reduces or enlarges one or both of the image data G1 and the past image data G2 as necessary in order to include the combined regions G1a and G2a in the display region 12b.

次に、本実施形態の処理手順について、図7及び図8に従って説明する。図7は、画像データ保存処理の手順を示し、図8は、画像合成データ出力処理の手順を示す。尚、制御装置2は、この画像データ保存処理及び画像合成データ出力処理を並行して行う。   Next, the processing procedure of this embodiment is demonstrated according to FIG.7 and FIG.8. FIG. 7 shows the procedure of the image data storing process, and FIG. 8 shows the procedure of the image composite data output process. The control device 2 performs the image data storage process and the image composite data output process in parallel.

図7に示す画像データ保存処理は、制御装置2が、ROM5に格納した画像データ保存プログラムに従って行う処理である。まず、制御部3は、変速機のシフトポジションがリバースであるか否かを判断する(ステップS1−1)。具体的には、制御部3が、I/F部8を介して、シフトセンサ24からシフトポジション信号を取得することにより判断する。   The image data saving process shown in FIG. 7 is a process performed by the control device 2 according to the image data saving program stored in the ROM 5. First, the control unit 3 determines whether or not the shift position of the transmission is reverse (step S1-1). Specifically, the control unit 3 makes a determination by acquiring a shift position signal from the shift sensor 24 via the I / F unit 8.

シフトポジションがリバースでない場合には(ステップS1−1においてNO)、ステップS1−1の判断処理を繰り返す。シフトポジションがリバースであると判断した場合には(ステップS1−1においてYES)、制御部3は、自車位置検出部7から自車位置を取得する(ステップS1−2)。そして、制御部3は、取得した自車位置に基づき、車両Cが所定距離だけ移動するたびに、撮像データ取得部10から画像データGを取得する(ステップS1−3)。この所定距離は、例えば、数十〜数百mmであって、本実施形態では約0.5mに設定されている。   If the shift position is not reverse (NO in step S1-1), the determination process in step S1-1 is repeated. When it is determined that the shift position is reverse (YES in step S1-1), the control unit 3 acquires the vehicle position from the vehicle position detection unit 7 (step S1-2). And the control part 3 acquires the image data G from the imaging data acquisition part 10, whenever the vehicle C moves only the predetermined distance based on the acquired own vehicle position (step S1-3). The predetermined distance is, for example, several tens to several hundreds mm, and is set to about 0.5 m in this embodiment.

そして、ステップS1−2で取得した自車位置と、取得した画像データGを関連付けて、RAM4に格納する(ステップS1−4)。さらに、制御部3は、終了トリガがあるか否かを判断する(ステップS1−5)。予め設定した終了トリガがある場合には(ステップS1−5においてYES)、画像データ保存処理を終了する。具体的には、I/F部8を介して、パーキング又はドライブを示すシフトポジション信号の受信や、図示しない車両ECUからのイグニッションモジュールのオフ信号の受信があった場合に処理を終了する。又は、入力信号取得部13を介して、画像切換ボタン14aの入力操作信号を受信した場合に、処理を終了する。終了トリガがない場合には(ステップS1−5においてNO)、ステップS1−2に戻って上記した処理を繰り返す。   Then, the vehicle position acquired in step S1-2 and the acquired image data G are associated with each other and stored in the RAM 4 (step S1-4). Further, the control unit 3 determines whether or not there is an end trigger (step S1-5). If there is a preset end trigger (YES in step S1-5), the image data storage process ends. Specifically, the process ends when a shift position signal indicating parking or driving or an ignition module off signal from a vehicle ECU (not shown) is received via the I / F unit 8. Alternatively, when the input operation signal of the image switching button 14a is received via the input signal acquisition unit 13, the process is terminated. If there is no end trigger (NO in step S1-5), the process returns to step S1-2 and the above-described processing is repeated.

このようなステップS1−2〜ステップS1−5の処理は、前記した所定距離毎に繰り返し行われる。このため、車両Cがバック走行する際には、RAM4には、互いに連続する領域を撮像した各画像データG(画像データG1、過去画像データG2)が蓄積されていく。   Such processing of step S1-2 to step S1-5 is repeatedly performed for each predetermined distance described above. For this reason, when the vehicle C travels backward, the RAM 4 accumulates each image data G (image data G1, past image data G2) obtained by imaging areas that are continuous with each other.

次に、図8に従って、画像合成データ出力処理について説明する。この画像データ出力処理は、制御装置2が、ROM5に格納した合成データ出力プログラムに従って行う処理である。   Next, the image synthesis data output process will be described with reference to FIG. This image data output process is a process performed by the control device 2 in accordance with the composite data output program stored in the ROM 5.

まず、制御部3は、画像データ保存処理と同様に、シフトポジションがリバースである
か否かを判断する(ステップS2−1)。シフトポジションがリバースである場合には(ステップS2−1においてYES)、制御部3は、画像合成を開始するか否かを判断する(ステップS2−2)。即ち、運転者が、例えば、図3に示す車両Cの位置で、画像切換ボタン14aを操作すると、制御部3は、合成開始信号を受信して、画像合成を開始すると判断する(ステップS2−2においてYES)。そして制御部3は、合成開始信号を受信した時点の車両Cの座標(図3の自車位置)を、図9に示す、撮像地点としての初期位置P1とする。このとき、後方カメラ22は、カメラ視点V1(撮像視点)から、車両Cの後方の撮像範囲F1を撮像している。
First, similarly to the image data storage process, the control unit 3 determines whether or not the shift position is reverse (step S2-1). If the shift position is reverse (YES in step S2-1), the control unit 3 determines whether to start image composition (step S2-2). That is, for example, when the driver operates the image switching button 14a at the position of the vehicle C shown in FIG. 3, the control unit 3 receives the synthesis start signal and determines to start image synthesis (step S2- YES in 2). And the control part 3 makes the coordinate (vehicle position of FIG. 3) of the vehicle C at the time of receiving a synthetic | combination start signal the initial position P1 as an imaging point shown in FIG. At this time, the rear camera 22 images the imaging range F1 behind the vehicle C from the camera viewpoint V1 (imaging viewpoint).

画像合成を行わないと判断した場合(ステップS2−2においてNO)には、制御部3は、RAM4から最新の画像データG1を取得し、予想軌跡線31、車幅延長線32とを重ね、図4のような後方画像を表示した撮像画面33をディスプレイ12に表示する。この場合、制御部3は、画像データGを逐次取得し、撮像画面33を更新しながら、画像合成を開始するための信号の受信を待つ。   When it is determined that image composition is not performed (NO in step S2-2), the control unit 3 acquires the latest image data G1 from the RAM 4, and superimposes the predicted locus line 31 and the vehicle width extension line 32, An imaging screen 33 displaying a rear image as shown in FIG. 4 is displayed on the display 12. In this case, the control unit 3 sequentially acquires the image data G and waits for reception of a signal for starting image composition while updating the imaging screen 33.

画像合成を開始すると判断した場合には(ステップS2−2においてYES)、制御部3は、自車位置検出部7から自車位置データを取得する(ステップS2−3)。そして、制御部3は、自車位置と、初期位置P1との座標に基づいて、初期位置P1からの移動距離を演算し、その移動距離が、画像更新距離D1以上になったか否かを判断する(ステップS2−4)。画像更新距離D1とは、RAM4に格納された過去画像データG2と、新たに取得した画像データG1とからなる画像合成データGAを出力して合成画面40をディスプレイ12に表示(又は更新する)タイミングとなる距離であって、本実施形態では、約0.5mに設定されている。   If it is determined that image composition is to be started (YES in step S2-2), the control unit 3 acquires the vehicle position data from the vehicle position detection unit 7 (step S2-3). And the control part 3 calculates the movement distance from the initial position P1 based on the coordinate of the own vehicle position and the initial position P1, and judges whether the movement distance became more than the image update distance D1. (Step S2-4). The image update distance D1 is a timing for outputting (or updating) the composite screen 40 on the display 12 by outputting image composite data GA including the past image data G2 stored in the RAM 4 and the newly acquired image data G1. In this embodiment, it is set to about 0.5 m.

移動距離が画像更新距離D1未満である場合(ステップS2−4においてNO)には、移動距離が画像更新距離D1以上になるまで、自車位置取得(ステップS2−3)及びステップS2−4の判断を繰り返す。   If the movement distance is less than the image update distance D1 (NO in step S2-4), the vehicle position acquisition (step S2-3) and step S2-4 are performed until the movement distance is equal to or greater than the image update distance D1. Repeat judgment.

図10に示すように、車両Cの初期位置P1からの移動距離が画像更新距離D1以上になった場合には(ステップS2−4においてYES)、車両Cが撮像地点としての画像更新地点Sに到達したとして、現在地点の画像データG1をRAM4から取得する(ステップS2−5)。尚、この画像更新地点Sとは、初期位置P1を基準として、画像更新距離D1ごとに設定される地点である。即ち、初期位置P1を始点として、例えば0.5mの地点、1mの地点、1.5mの地点をそれぞれ画像更新地点Sとしている。また、図10に示すように、画像更新地点Sでは、後方カメラ22のカメラ視点V2は、図9に示すカメラ視点V1よりも、X軸方向側(進行方向側)に位置している。さらに、この後方カメラ22の撮像範囲F2は、図9に示す撮像範囲F1と共通する範囲と、異なる範囲とを含んでいる。   As shown in FIG. 10, when the moving distance from the initial position P1 of the vehicle C is equal to or longer than the image update distance D1 (YES in step S2-4), the vehicle C becomes the image update point S as an imaging point. Assuming that the current position has been reached, image data G1 at the current location is acquired from the RAM 4 (step S2-5). The image update point S is a point set for each image update distance D1 with the initial position P1 as a reference. That is, with the initial position P1 as a start point, for example, a 0.5 m point, a 1 m point, and a 1.5 m point are set as image update points S, respectively. As shown in FIG. 10, at the image update point S, the camera viewpoint V2 of the rear camera 22 is located on the X axis direction side (traveling direction side) with respect to the camera viewpoint V1 shown in FIG. Further, the imaging range F2 of the rear camera 22 includes a range common to the imaging range F1 shown in FIG. 9 and a different range.

このとき読出された現在地点の画像データG1は、例えば、図12に示すような撮像画面37を表示する。この撮像画面37では、図3に示す車両Cが駐車目標領域Rに進入し、駐車目標領域Rを区画する白線が、後方カメラ22の撮像範囲F2外に移動した画像を表示している。また、車両Cの後方の他車両等の背景画像が表示されている。   The image data G1 of the current location read at this time displays, for example, an imaging screen 37 as shown in FIG. In the imaging screen 37, the vehicle C shown in FIG. 3 enters the parking target area R, and the white line that partitions the parking target area R displays an image that has moved outside the imaging range F2 of the rear camera 22. In addition, background images of other vehicles behind the vehicle C are displayed.

さらに、制御部3は、初期位置P1、又は一つ前の画像更新地点Sが関連付けられた過去画像データG2を検索し、その過去画像データG2をRAM4から読み出す(ステップS2−6)。具体的には、車両Cが初期位置P1から0.5m離れた画像更新地点Sにいるとき、初期位置P1の座標が関連付けられた画像データGを過去画像データG2として読出す。また、車両Cが初期位置P1から1m離れた画像更新地点Sにいるとき、初期位置P1から0.5mの画像更新地点Sの画像データGを過去画像データG2として読出す
。このとき読出された過去画像データG2は、例えば、図11に示すような撮像画面34のデータである。この過去画像データG2は、現在地点よりも進行方向後方で生成されているため、駐車目標領域Rを区画する白線が、後方カメラ22の撮像範囲F1内に含まれている。
Further, the control unit 3 searches the past image data G2 associated with the initial position P1 or the previous image update point S, and reads the past image data G2 from the RAM 4 (step S2-6). Specifically, when the vehicle C is at an image update point S that is 0.5 m away from the initial position P1, the image data G associated with the coordinates of the initial position P1 is read as past image data G2. When the vehicle C is at the image update point S 1 m away from the initial position P1, the image data G at the image update point S 0.5 m from the initial position P1 is read as past image data G2. The past image data G2 read at this time is data of the imaging screen 34 as shown in FIG. 11, for example. Since the past image data G2 is generated behind the current position in the traveling direction, the white line that defines the parking target area R is included in the imaging range F1 of the rear camera 22.

そして、制御部3は、画像処理部11に画像合成命令を送信して、各画像データGの補正を行う(ステップS2−7)。上記したように、画像処理部11は、各画像データGの歪曲収差を補正する。さらに、画像データG1及び過去画像データG2のうち、バンパーB(図2参照)等の車両Cの後端部が描画された車両後端画像BGを消去する。このとき、車両後端画像BGが表示される領域は一定であるので、車両後端画像BGが表示されるデータ領域を予め設定しておくことで、車両後端画像BGを容易に消去できる。   Then, the control unit 3 transmits an image composition command to the image processing unit 11 to correct each image data G (step S2-7). As described above, the image processing unit 11 corrects the distortion aberration of each image data G. Further, the vehicle rear end image BG in which the rear end portion of the vehicle C such as the bumper B (see FIG. 2) is drawn is deleted from the image data G1 and the past image data G2. At this time, since the area where the vehicle rear end image BG is displayed is constant, the vehicle rear end image BG can be easily deleted by setting a data area where the vehicle rear end image BG is displayed in advance.

また、画像処理部11は、補正した各画像データGを合成する(ステップS2−8)。画像処理部11は、図5のように、過去画像データG2に画像データG1を重ねる。このとき、過去画像データG2の合成領域G2aは、後方カメラ22の撮像範囲F1(図9参照)のうち、図10に示す撮像範囲F3に相当する。撮像範囲F3は、現在のカメラ視点V2よりも、進行方向後方のカメラ視点V1から、現在位置の車両Cの後端部分までを撮像した範囲である。即ち、撮像範囲F3は、現在地点(画像更新地点S)では、車体の下方であって、後方車輪周辺に相当し、例えば車体の下方にある白線等を含む。   The image processing unit 11 combines the corrected image data G (step S2-8). As shown in FIG. 5, the image processing unit 11 superimposes the image data G1 on the past image data G2. At this time, the synthesis region G2a of the past image data G2 corresponds to the imaging range F3 shown in FIG. 10 in the imaging range F1 (see FIG. 9) of the rear camera 22. The imaging range F3 is a range in which images from the camera viewpoint V1 rearward in the traveling direction to the rear end portion of the vehicle C at the current position with respect to the current camera viewpoint V2. That is, the imaging range F3 is below the vehicle body at the current point (image update point S), corresponds to the vicinity of the rear wheel, and includes, for example, a white line below the vehicle body.

さらに、現在地点の画像データG1の合成領域G1aは、図10に示す撮像範囲F2のうち、車両Cの近距離範囲である撮像範囲F4に相当する。撮像範囲F4では、車両Cから近距離範囲の路面や障害物(例えば、車両Cの後方の他車両等)を撮像している。また、撮像範囲F4は、後方カメラ22の本来の撮像範囲F2に比べて、遠距離範囲が削除されている。   Furthermore, the synthesis area G1a of the image data G1 at the current location corresponds to the imaging range F4 that is the short-distance range of the vehicle C in the imaging range F2 shown in FIG. In the imaging range F4, images of road surfaces and obstacles in a short distance range from the vehicle C (for example, other vehicles behind the vehicle C) are captured. In addition, the imaging range F4 has a far-distance range deleted compared to the original imaging range F2 of the rear camera 22.

制御部3は、この画像合成データGAをディスプレイ12に表示する(ステップS2−9)。その結果、図13に示す合成画面40が表示される。合成画面40は、現在の画像データG1による現在画像38と、過去画像データG2による過去画像39とが連続して描画されている。現在画像38は、現在地点での車両Cの後方の背景である。このとき、遠距離範囲の背景画像が表示されないので、後方カメラ22の視点(撮像視点)が擬似的に下方に向いたような画像になっている。換言すると、後方カメラ22の視野角が下方(路面)に向って下がり、光軸Aが擬似的に下方に向って傾斜したような画像になっている。   The control unit 3 displays the image composition data GA on the display 12 (step S2-9). As a result, the composite screen 40 shown in FIG. 13 is displayed. In the composition screen 40, a current image 38 based on the current image data G1 and a past image 39 based on the past image data G2 are continuously drawn. The current image 38 is a background behind the vehicle C at the current location. At this time, since the background image of the long-distance range is not displayed, the image is such that the viewpoint (imaging viewpoint) of the rear camera 22 is artificially directed downward. In other words, the image is such that the viewing angle of the rear camera 22 is lowered downward (road surface), and the optical axis A is artificially inclined downward.

また、過去画像データG2から生成された過去画像39は、現在地点では車両Cの下方に隠れている領域の画像であって、現在地点でのカメラ視点V2では撮像できない領域である。この過去画像39には、車体の下方にあるため実際には隠れて見えない白線等が表示されている。従って、この過去画像39を表示することにより、車両Cの車体を透かして、その下方の路面が表示されたように見える。   Further, the past image 39 generated from the past image data G2 is an image of an area hidden under the vehicle C at the current position, and is an area that cannot be captured at the camera viewpoint V2 at the current position. In the past image 39, a white line or the like that is actually hidden and not visible because it is below the vehicle body is displayed. Therefore, by displaying the past image 39, it appears that the road surface below the vehicle C is displayed through the vehicle body of the vehicle C.

さらに、画像処理部11は、ROM5に格納された輪郭描画データ5aを用いて、過去画像39に、車両輪郭線41を重ねて描画する。車両輪郭線41は、自車位置に応じて、車両Cの車体後方を仮想的に描画している。また、車両輪郭線41は、車体の外郭を示す外形表示線41aと、車両Cの後輪を示す後輪表示線41bとから構成されている。従って、運転者は、車両Cの現在の位置と、現在画像38又は過去画像39に表示された駐車目標領域Rとをディスプレイ12にて視認することによって、駐車目標領域Rとの相対位置やずれ量を把握したり、自車位置と障害物との相対距離を把握する。   Further, the image processing unit 11 draws the vehicle contour line 41 on the past image 39 by using the contour drawing data 5 a stored in the ROM 5. The vehicle outline 41 virtually draws the rear side of the vehicle C according to the vehicle position. The vehicle contour line 41 includes an outer shape display line 41a indicating the outer shape of the vehicle body and a rear wheel display line 41b indicating the rear wheel of the vehicle C. Accordingly, the driver visually recognizes the current position of the vehicle C and the parking target area R displayed in the current image 38 or the past image 39 on the display 12, so that the relative position or deviation from the parking target area R is recognized. Know the amount and the relative distance between the vehicle position and the obstacle.

さらに、制御部3は、終了トリガがあるか否かを判断する(ステップS2−10)。こ
のとき、画像データ合成処理と同様に、画像切換ボタン14aの操作、シフトポジションのリバースからドライブ又はパーキングへの変更、イグニッションモジュールからのオフ信号の受信の有無を判断する。終了トリガが無い場合には(ステップS2−10においてNO)、ステップS2−3に戻り、上記した処理を繰り返す。これにより、例えば、0.5m等の画像更新距離D1ごとに、合成画面40が更新される。終了トリガがある場合には(ステップS2−10においてYES)、画像合成データ出力処理を終了する。
Furthermore, the control unit 3 determines whether or not there is an end trigger (step S2-10). At this time, as in the image data composition process, it is determined whether or not the image switching button 14a is operated, the shift position is changed from reverse to drive or parking, and the off signal is received from the ignition module. If there is no end trigger (NO in step S2-10), the process returns to step S2-3 and the above-described processing is repeated. Thereby, for example, the composite screen 40 is updated every image update distance D1 such as 0.5 m. If there is an end trigger (YES in step S2-10), the image composite data output process ends.

第1の実施形態によれば、以下のような効果を得ることができる。
(1)第1の実施形態では、ナビゲーション装置1の制御装置2は、車両Cに設けられた後方カメラ22から、車両Cの後方の撮像範囲F1を撮像した画像データGを、各撮像地点で取得するようにした。また、制御装置2の制御部3は、取得した画像データGを、自車位置検出部7から取得した自車位置と関連付けてRAM4に格納するようにした。また、制御部3は、車両Cが基準となる位置(初期位置P1又は画像更新地点S)から画像更新距離D1だけ移動した際に、その基準となる位置の座標が関連付けられた過去画像データG2を読出し、現在の画像データG1を重ねて画像合成データGAを生成するようにした。そして、この画像合成データGAをディスプレイ12に表示するようにした。
According to the first embodiment, the following effects can be obtained.
(1) In 1st Embodiment, the control apparatus 2 of the navigation apparatus 1 is the image data G which imaged the imaging range F1 behind the vehicle C from the back camera 22 provided in the vehicle C in each imaging point. I tried to get it. In addition, the control unit 3 of the control device 2 stores the acquired image data G in the RAM 4 in association with the own vehicle position acquired from the own vehicle position detection unit 7. Further, when the vehicle C moves from the reference position (initial position P1 or the image update point S) by the image update distance D1, the past image data G2 in which the coordinates of the reference position are associated. The image synthesis data GA is generated by superimposing the current image data G1. The image composition data GA is displayed on the display 12.

このため、後方カメラ22の撮像範囲F1に駐車目標領域Rの殆どが含まれなくなる位置まで車両Cが移動しても、蓄積した過去画像データG2を合成することにより、車両Cの下方にある、白線等を含む駐車目標領域Rをディスプレイ12に表示できる。従って、運転者は、駐車目標領域Rからずれたりしないように、容易に駐車操作を行うことができる。   For this reason, even if the vehicle C moves to a position where most of the parking target region R is not included in the imaging range F1 of the rear camera 22, the accumulated past image data G2 is combined to be below the vehicle C. A parking target area R including a white line or the like can be displayed on the display 12. Therefore, the driver can easily perform the parking operation so as not to deviate from the parking target area R.

(2)第1の実施形態では、現在地点の画像データG1のうち、車両Cの近距離範囲である合成領域G1aのみが、ディスプレイ12の表示領域12bに出力されるようにした。即ち、画像データG1のうち、車両Cの遠距離範囲である上部の領域を表示しないようにした。そして、合成領域G1aを、過去画像データG2の合成領域G2aと合成することによって、後方カメラ22の視点が下方に向いたような画像合成データGAを生成するようにした。従って、駐車目標領域Rに車両Cが進入した際に、画像データGのうち、遠方の背景画像等の不必要なデータはディスプレイ12に表示されないので、駐車目標領域Rに集中した合成画面40をディスプレイ12に表示することができる。   (2) In the first embodiment, only the composite area G1a that is the short distance range of the vehicle C in the image data G1 at the current point is output to the display area 12b of the display 12. That is, the upper region, which is the long distance range of the vehicle C, is not displayed in the image data G1. Then, the synthesized area G1a is synthesized with the synthesized area G2a of the past image data G2, thereby generating the image synthesized data GA such that the viewpoint of the rear camera 22 faces downward. Therefore, when the vehicle C enters the parking target area R, unnecessary data such as a distant background image is not displayed on the display 12 in the image data G. Therefore, the composite screen 40 concentrated on the parking target area R is displayed. It can be displayed on the display 12.

(3)第1の実施形態では、制御部3及び画像処理部11は、現在地点の自車位置に応じた車両輪郭線41を合成画面40に表示するようにした。このため、車両Cと、駐車目標領域Rとの相対位置を把握し易くなるので、車両Cが駐車目標領域Rからはみ出ないように駐車することができる。   (3) In 1st Embodiment, the control part 3 and the image process part 11 were made to display the vehicle outline 41 according to the own vehicle position of the present location on the synthetic | combination screen 40. FIG. For this reason, since it becomes easy to grasp | ascertain the relative position of the vehicle C and the parking target area | region R, it can park so that the vehicle C may not protrude from the parking target area | region R. FIG.

(4)第1の実施形態では、画像処理部11は、各画像データGの歪曲収差を補正するようにした。このため各画像データGを合成し、ディスプレイ12に表示した際に、画像の連続性を良好にすることができるので、ユーザに違和感を与えないようにすることができる。   (4) In the first embodiment, the image processing unit 11 corrects the distortion aberration of each image data G. For this reason, when the image data G are combined and displayed on the display 12, the continuity of the images can be improved, and the user can be prevented from feeling uncomfortable.

(5)第1の実施形態では、制御部3及び画像処理部11は、画像データG1と、過去画像データG2とを一部重ねた状態で並行に並べて、画像合成データGAを生成するようにした。従って、合成画面40は、2つの画像データGから合成されるので、比較的容易に合成処理を行うことができる。   (5) In the first embodiment, the control unit 3 and the image processing unit 11 generate the image composite data GA by arranging the image data G1 and the past image data G2 in a partially overlapped state in parallel. did. Therefore, since the synthesis screen 40 is synthesized from the two image data G, the synthesis process can be performed relatively easily.

(6)第1の実施形態では、駐車支援装置を、自車位置検出部7を備えるナビゲーション装置1に具体化したので、精度の高い自車位置検出機能を利用して、画像データGの合成を行うことができる。このため、合成画面40内での画像の連続性等が向上できる。   (6) In the first embodiment, since the parking assistance device is embodied in the navigation device 1 including the own vehicle position detection unit 7, the image data G is synthesized using a highly accurate own vehicle position detection function. It can be performed. For this reason, the continuity of the image in the composite screen 40 can be improved.

(第2の実施形態)
以下、本発明を具体化した第2の実施形態を図8と、図14〜図25とに従って説明する。第2の実施形態は、第1の実施形態の画像合成データ出力処理を変更したのみの構成なので、各処理の手順についてのみ説明し、その他の説明は省略する。尚、第2の実施形態では、第1の実施形態の画像データ保存処理(ステップS1−1〜S1−5)において、画像データGを取得するタイミングとなる車両Cの移動距離(所定距離)は、第1の実施形態よりも短い距離(例えば、0.15m)とする。
(Second Embodiment)
Hereinafter, a second embodiment of the present invention will be described with reference to FIG. 8 and FIGS. 14 to 25. Since the second embodiment has a configuration in which the image synthesis data output process of the first embodiment is only changed, only the procedure of each process will be described, and the other description will be omitted. In the second embodiment, in the image data storage process (steps S1-1 to S1-5) of the first embodiment, the moving distance (predetermined distance) of the vehicle C that is the timing for acquiring the image data G is as follows. The distance is shorter than that of the first embodiment (for example, 0.15 m).

図8に示す画像合成データ出力処理では、第1の実施形態と同様に、制御部3はシフトポジションがリバースである場合に(ステップS2−1においてYES)、画像合成を開始するか否かを判断する(ステップS2−2)。   In the image composition data output process shown in FIG. 8, as in the first embodiment, the control unit 3 determines whether or not to start image composition when the shift position is reverse (YES in step S2-1). Judgment is made (step S2-2).

例えば、図14に示す車両Cの位置で、合成開始信号を受信した場合(ステップS2−2においてYES)には、制御部3は、このときの自車位置を初期位置P1に設定する。この初期位置P1で生成された画像データGは、例えば図19に示すような撮像画面43を表示する。撮像画面43には、路面44や、駐車目標領域Rを区画する白線45、障害物等が表示された背景46、バンパーBの画像である車両後端画像BG等が描画されている。尚、図14に示すように、初期位置P1での後方カメラ22の視点をカメラ視点V1、後方カメラ22の撮像する範囲を撮像範囲F1とする。   For example, when a synthesis start signal is received at the position of vehicle C shown in FIG. 14 (YES in step S2-2), control unit 3 sets the vehicle position at this time to initial position P1. The image data G generated at the initial position P1 displays an imaging screen 43 as shown in FIG. 19, for example. On the imaging screen 43, a road surface 44, a white line 45 that partitions the parking target area R, a background 46 on which an obstacle is displayed, a vehicle rear end image BG that is an image of the bumper B, and the like are drawn. Note that, as shown in FIG. 14, the viewpoint of the rear camera 22 at the initial position P1 is a camera viewpoint V1, and the imaging range of the rear camera 22 is an imaging range F1.

続いて、制御部3は、自車位置を取得し(ステップS2−3)、初期位置P1からの移動量が画像更新距離D1に到達したか否かを判断する(ステップS2−4)。尚、第2の実施形態では、この画像更新距離D1を、第1の実施形態よりも短い距離(例えば、0.15m)とする。   Subsequently, the control unit 3 acquires the own vehicle position (step S2-3), and determines whether or not the movement amount from the initial position P1 has reached the image update distance D1 (step S2-4). In the second embodiment, the image update distance D1 is set to a shorter distance (for example, 0.15 m) than in the first embodiment.

図15に示すように、車両Cが初期位置P1から画像更新距離D1だけX軸方向にバック走行したと判断した場合(ステップS2−4においてYES)、制御部3は、撮像地点としての第1の画像更新地点S1に到達したとみなす。そして、現在の自車位置(第1の画像更新地点S1)に関連付けられた画像データGS1をRAM4から取得する(ステップS2−5)。このとき取得した画像データGS1は、例えば、図20に示すような撮像画面47を表示する。このとき、図15に示すように、後方カメラ22のカメラ視点V2は、初期位置P1のカメラ視点V1よりもX軸方向側にあるため、撮像画面47では、図19に示す初期位置P1での撮像画面43に比べて、駐車目標領域Rの一部が、画面外に移動している。   As illustrated in FIG. 15, when it is determined that the vehicle C has traveled back in the X-axis direction from the initial position P1 by the image update distance D1 (YES in step S2-4), the control unit 3 determines the first imaging point. It is assumed that the image update point S1 has been reached. Then, the image data GS1 associated with the current vehicle position (first image update point S1) is acquired from the RAM 4 (step S2-5). The image data GS1 acquired at this time displays, for example, an imaging screen 47 as shown in FIG. At this time, as shown in FIG. 15, the camera viewpoint V2 of the rear camera 22 is on the X axis direction side with respect to the camera viewpoint V1 of the initial position P1, and therefore, on the imaging screen 47, at the initial position P1 shown in FIG. Compared to the imaging screen 43, a part of the parking target area R has moved out of the screen.

また、制御部3は、初期位置P1に関連付けられた過去画像データとしての画像データGFを、RAM4から読出す(ステップS2−6)。そして、画像データGF,GS1を、一つの画面として合成表示させるため、画像処理部11に画像データGF,GS1を送信して、画像データGF,GS1の補正を行う(ステップS2−7)。   Further, the control unit 3 reads image data GF as past image data associated with the initial position P1 from the RAM 4 (step S2-6). Then, in order to synthesize and display the image data GF and GS1 as one screen, the image data GF and GS1 are transmitted to the image processing unit 11 to correct the image data GF and GS1 (step S2-7).

ステップS2−7において、画像処理部11は、画像データGF,GS1の歪曲収差補正及び車両後端画像BGの削除を行う。さらに、画像処理部11は、初期位置P1で生成した画像データGFに対し、座標変換(視点変換)及び合成用画像データの生成を行う。   In step S2-7, the image processing unit 11 corrects the distortion aberration of the image data GF and GS1 and deletes the vehicle rear end image BG. Further, the image processing unit 11 performs coordinate conversion (viewpoint conversion) and generation of composition image data for the image data GF generated at the initial position P1.

座標変換では、図17に模式的に示すように、自車位置Aの撮像画面22a内の画素座標35aを、自車位置Aから自車位置Bまでの移動距離及び移動方向に応じて、画面座標系内で平行移動又は回転移動させて、自車位置Bの撮像画面22a内の画素座標35bに変換してもよい。尚、撮像画面22aと、ディスプレイ12の表示領域12bは、同じ座標系上に位置づけられる。   In the coordinate conversion, as schematically shown in FIG. 17, the pixel coordinates 35a in the imaging screen 22a of the vehicle position A are displayed on the screen according to the movement distance and the movement direction from the vehicle position A to the vehicle position B. The pixel coordinate 35b in the imaging screen 22a of the vehicle position B may be converted by translation or rotation in the coordinate system. The imaging screen 22a and the display area 12b of the display 12 are positioned on the same coordinate system.

或いは、座標変換において、後方カメラ22の撮像画面22aの画素の位置を示す画面座標系と、車両Cの自車位置を示す車両座標系との間に成り立つ関係式を、後方カメラ22の光軸Aの角度及び撮像範囲F1等に基づいて取得しておく。そして、初期位置P1の自車位置(図中、自車位置A)の座標を加味して、撮像画面22a上の画素座標35aを、予め求めた関係式に基づいて、車両座標系の座標点36に変換してもよい。さらに、画像処理部11により、車両系座標の座標点36を、関係式に基づいて、第1の画像更新地点S1(図中、自車位置B)の撮像画面22a内の画素座標35bに変換する。従って、初期位置P1の画像データGFを、現在地点(第1の画像更新地点S1)に応じたカメラ視点V2(撮像視点)に視点変換するので、画像データGFが、現在のカメラ視点V2から撮像されたデータのようにすることができる。ここで現在地点(第1の画像更新地点S1)の画像データGS1は、実際の画像のまま表示するため、座標変換を行わない。   Alternatively, in coordinate conversion, a relational expression established between a screen coordinate system indicating the pixel position of the imaging screen 22a of the rear camera 22 and a vehicle coordinate system indicating the vehicle position of the vehicle C is expressed as an optical axis of the rear camera 22. Obtained based on the angle A, the imaging range F1, and the like. Then, taking the coordinates of the vehicle position (vehicle position A in the figure) of the initial position P1 into consideration, the pixel coordinates 35a on the imaging screen 22a are coordinate points of the vehicle coordinate system based on the relational expression obtained in advance. 36 may be converted. Further, the image processing unit 11 converts the coordinate point 36 of the vehicle system coordinate into the pixel coordinate 35b in the imaging screen 22a of the first image update point S1 (vehicle position B in the figure) based on the relational expression. To do. Accordingly, the image data GF at the initial position P1 is converted to the camera viewpoint V2 (imaging viewpoint) corresponding to the current position (first image update position S1), so that the image data GF is captured from the current camera viewpoint V2. Data can be like. Here, the image data GS1 at the current point (first image update point S1) is displayed as an actual image, and therefore, coordinate conversion is not performed.

次に、画像処理部11は、補正した画像データGF,GS1を合成する(ステップS2−8)。具体的には、画像処理部11は、図18に模式的に示すように、第1の画像更新地点S1での現在の画像データGS1を、初期位置P1の画像データGFの上に重ね、画像合成データGAを生成する。このとき、現在の画像データGS1のうち、予め定めた合成領域Zb(第2の合成領域)と、初期位置P1の画像データGFの予め定めた合成領域Za(第1の合成領域)とが連続するように重ねる。合成領域Za,Zbは、車両Cが画像更新距離D1だけ移動した際に、画像が互いに連続するようなデータ領域をそれぞれ確保する。現在の画像データGS1の合成領域Zbは、初期位置P1の画像データGFの合成領域Zaよりも大きく、現在の画像が占める割合が大きくなっている。また、図15(a)に示すように、現在の画像データGS1の合成領域Zbは、第1の画像更新地点S1での撮像範囲のうち、車両Cから近距離範囲を撮像した撮像範囲F6に相当する。従って、車両Cの近距離範囲のデータ範囲のみが表示されるので、視点が擬似的に下方に向いたようなデータとなる。   Next, the image processing unit 11 combines the corrected image data GF and GS1 (step S2-8). Specifically, as schematically shown in FIG. 18, the image processing unit 11 superimposes the current image data GS1 at the first image update point S1 on the image data GF at the initial position P1, Composite data GA is generated. At this time, a predetermined composite area Zb (second composite area) in the current image data GS1 and a predetermined composite area Za (first composite area) of the image data GF at the initial position P1 are continuous. Repeat as you do. The composite areas Za and Zb respectively secure data areas in which images are continuous with each other when the vehicle C moves by the image update distance D1. The composition area Zb of the current image data GS1 is larger than the composition area Za of the image data GF at the initial position P1, and the ratio occupied by the current image is large. Further, as shown in FIG. 15A, the synthesis region Zb of the current image data GS1 is an imaging range F6 in which a short range is imaged from the vehicle C in the imaging range at the first image update point S1. Equivalent to. Therefore, since only the data range of the short distance range of the vehicle C is displayed, the data is such that the viewpoint is pseudo-pointed downward.

また、図15(a)に示すように、初期位置P1の画像データGFの合成領域Zaは、後方カメラ22の撮像範囲F5に相当する。この撮像範囲F5は、第1の画像更新地点S1では、車体の下方に隠れた駐車目標領域Rに相当する範囲である。   Further, as shown in FIG. 15A, the synthesis area Za of the image data GF at the initial position P1 corresponds to the imaging range F5 of the rear camera 22. This imaging range F5 is a range corresponding to the parking target region R hidden under the vehicle body at the first image update point S1.

さらに制御部3は、図15(b)のように合成した画像合成データGAを、ディスプレイ12に表示する(ステップS2−9)。その結果、図21に示すように、画像合成データGAを出力表示した合成画面48がディスプレイ12に表示される。合成画面48は、初期位置P1での画像データGFに基づく過去画像48aを下部に、第1の画像更新地点S1の現在の画像データGS1に基づく現在画像48bを上部に配置して生成されている。過去画像48aは、第1の画像更新地点S1では、車体下方の領域にあたるため、車体を透過して路面が表示されているように見える。また、合成画面48は、上記したように、後方カメラ22の光軸を下方に向って傾斜させた画面のように見える。   Furthermore, the control unit 3 displays the image composition data GA synthesized as shown in FIG. 15B on the display 12 (step S2-9). As a result, as shown in FIG. 21, a composite screen 48 that outputs and displays the image composite data GA is displayed on the display 12. The composite screen 48 is generated by arranging the past image 48a based on the image data GF at the initial position P1 in the lower part and the current image 48b based on the current image data GS1 of the first image update point S1 in the upper part. . Since the past image 48a corresponds to an area below the vehicle body at the first image update point S1, it seems that the road surface is displayed through the vehicle body. Further, as described above, the composite screen 48 looks like a screen in which the optical axis of the rear camera 22 is inclined downward.

また、ステップS2−7において、過去の画像データGFのみを座標変換しているので、現在位置(第1の画像更新地点S1)の画像データGS1の画像は、カメラ視点V1の変更がない。従って、現在の画像データGS1に基づく画像は、実際のカメラ視点V1から視た画像であるので、正確な情報を得ることができる。   In step S2-7, only the past image data GF is coordinate-transformed, so the image of the image data GS1 at the current position (first image update point S1) does not change the camera viewpoint V1. Therefore, since the image based on the current image data GS1 is an image viewed from the actual camera viewpoint V1, accurate information can be obtained.

また、画像処理部11は、画像合成データGAに、第1の画像更新地点S1での自車位置を示す車両輪郭線49を重ねて表示する。そして、制御部3は、終了トリガの有無を判断し(ステップS2−10)、終了トリガが無い場合には(ステップS2−10においてNO)、ステップS2−3に戻る。   In addition, the image processing unit 11 displays a vehicle outline 49 indicating the position of the vehicle at the first image update point S1 in an overlapping manner on the image composition data GA. And the control part 3 judges the presence or absence of an end trigger (step S2-10), and when there is no end trigger (in step S2-10, NO), it returns to step S2-3.

終了トリガが無い場合、制御部3は、自車位置取得(ステップS2−3)を行って、車両Cの第1の画像更新地点S1からの移動量が、画像更新距離D1以上であるか否か、即ち撮像地点としての第2の画像更新地点S2に到達したか否かを判断する(ステップS2−4)。   When there is no end trigger, the control unit 3 performs own vehicle position acquisition (step S2-3), and whether or not the movement amount of the vehicle C from the first image update point S1 is equal to or greater than the image update distance D1. That is, it is determined whether or not the second image update point S2 as the imaging point has been reached (step S2-4).

図16(a)に示すように、車両Cが第2の画像更新地点S2に到達した場合には(ステップS2−4においてYES)、現在地点(第2の画像更新地点S2)での画像データGS2の取得(ステップS2−5)、RAM4に格納された画像データGS1,GFの読出を行う(ステップS2−6)。即ち、第2の画像更新地点S2から、反X軸方向(反進行方向)において、画像更新距離D1ずつ離間した各地点(例えば、初期位置P1、第1の画像更新地点S1)が関連付けられた画像データGを読出す。   As shown in FIG. 16A, when the vehicle C reaches the second image update point S2 (YES in step S2-4), the image data at the current point (second image update point S2). Acquisition of GS2 (step S2-5) and reading of the image data GS1 and GF stored in the RAM 4 are performed (step S2-6). That is, each point (for example, the initial position P1 and the first image update point S1) that is separated from the second image update point S2 by the image update distance D1 in the anti-X-axis direction (counter travel direction) is associated. Image data G is read.

そして、上記したように、読出した画像データGS1,GFと、現在の画像データGS2の補正を行う(ステップS2−6)。即ち、画像処理部11は、読出した画像データGS1,GFに対して、歪曲収差補正と、第2の画像更新地点S2のカメラ視点V3(図15参照)での撮像画面22a内への座標変換、車両後端画像BGの削除を行う。従って、過去の画像データGS1,GFは、車両Cの現在地点(第2の画像更新地点S2)に応じたカメラ視点V3に視点変換される。さらに、現在地点で取得した画像データG1に対しても、歪曲収差補正及び車両後端画像BGの削除を行う。   Then, as described above, the read image data GS1 and GF and the current image data GS2 are corrected (step S2-6). That is, the image processing unit 11 corrects the distortion of the read image data GS1 and GF, and converts the coordinates into the imaging screen 22a at the camera viewpoint V3 (see FIG. 15) at the second image update point S2. Then, the vehicle rear end image BG is deleted. Accordingly, the past image data GS1 and GF are converted into viewpoints of the camera viewpoint V3 corresponding to the current location of the vehicle C (second image update location S2). Further, the distortion aberration correction and the vehicle rear end image BG are also performed on the image data G1 acquired at the current point.

そして、画像処理部11は、図22に模式的に示すように、現在の画像データGS2の合成領域Zbと、第1の画像更新地点S1の画像データGS1の合成領域Zaと、初期位置P1の画像データGFの合成領域Zaとが互いに連続するように重ねて、画像合成データGBを生成する。(ステップS2−8)。即ち、図16(b)に模式的に示すように、第2の画像更新地点S2の合成領域Zbを最上部に、第1の画像更新地点S1での合成領域Zaを中央部に、初期位置P1での合成領域Zaを最下部にして並べて重ねる。現在の画像データGS2の合成領域Zbは、他の合成領域Zaよりも大きいデータ領域が確保されている。   Then, as schematically illustrated in FIG. 22, the image processing unit 11 includes the synthesis area Zb of the current image data GS2, the synthesis area Za of the image data GS1 of the first image update point S1, and the initial position P1. The image synthesis data GB is generated by overlapping the image data GF with the synthesis area Za so as to be continuous with each other. (Step S2-8). That is, as schematically shown in FIG. 16B, the composite region Zb of the second image update point S2 is at the top, the composite region Za at the first image update point S1 is at the center, and the initial position The synthesis region Za in P1 is arranged at the bottom and is overlapped. In the synthesis area Zb of the current image data GS2, a data area larger than the other synthesis areas Za is secured.

そして、制御部3は、画像合成データGBをディスプレイ12に出力して、図23に示すような合成画面50をディスプレイ12に表示させる(ステップS2−9)。合成画面50は、第2の画像更新地点S2での画像データGS2の合成領域Zbの画像50cを最上部に、第1の画像更新地点S1での画像データGS1の画像50bを中央部に、初期位置P1の画像データGFの画像50aを最下部に配置して生成されている。   Then, the control unit 3 outputs the image composite data GB to the display 12 and displays a composite screen 50 as shown in FIG. 23 on the display 12 (step S2-9). The composite screen 50 is initially displayed with the image 50c of the composite region Zb of the image data GS2 at the second image update point S2 at the top and the image 50b of the image data GS1 at the first image update point S1 at the center. The image 50a of the image data GF at the position P1 is generated at the bottom.

また、画像処理部11は、画像合成データGBに、第2の画像更新地点S2での自車位置を示す車両輪郭線49を重ねて表示する。また、画像50a,50bは車体の下方に隠れた領域である。また合成画面50は、後方カメラ22の視点が擬似的に下方に向いたような画面になっている。しかも、第1の画像更新地点S1で生成した画像合成データGAと比較して、現在地点での画像50cの割合が小さくなっているので、より遠距離範囲の画像が削除され、光軸がより車両C側に傾斜しているような画面になっている。   In addition, the image processing unit 11 displays a vehicle outline 49 indicating the position of the vehicle at the second image update point S2 in an overlapping manner on the image composition data GB. The images 50a and 50b are regions hidden under the vehicle body. Further, the composite screen 50 is a screen in which the viewpoint of the rear camera 22 is artificially turned downward. Moreover, since the ratio of the image 50c at the current point is smaller than the image composition data GA generated at the first image update point S1, the image in the far range is deleted, and the optical axis is more The screen is inclined to the vehicle C side.

そして、制御部3は、終了トリガの有無を判断し(ステップS2−10)、終了トリガが無い場合には(ステップS2−10においてNO)、ステップS2−3に戻る。
このようにして、終了トリガが無い状態で、ステップS2−3〜ステップS2−10が4回目に繰り返された場合には、図24(a)に示すように、車両Cは、初期位置P1からの移動量が、画像更新距離D1の4倍である、撮像地点としての第4の画像更新地点S4に位置している。このとき、RAM4からは、現在の画像データGS4と、4枚の画像データGF,GS1〜GS3が読出され、補正される(ステップS2−6,S2−7)。これにより、過去の画像データGF,GS1〜GS3が、車両Cの現在位置に応じたカメ
ラ視点V5に視点変換される。
And the control part 3 judges the presence or absence of an end trigger (step S2-10), and when there is no end trigger (in step S2-10, NO), it returns to step S2-3.
In this way, when step S2-3 to step S2-10 are repeated for the fourth time in the absence of the end trigger, as shown in FIG. 24 (a), the vehicle C starts from the initial position P1. Is located at a fourth image update point S4 as an imaging point, which is four times the image update distance D1. At this time, the current image data GS4 and the four pieces of image data GF and GS1 to GS3 are read from the RAM 4 and corrected (steps S2-6 and S2-7). As a result, the past image data GF, GS1 to GS3 are converted into the viewpoint of the camera viewpoint V5 corresponding to the current position of the vehicle C.

そして、図24(b)に示すように、画像処理部11は、上記した手順と同様に、現在の画像データGS4と画像データGF,GS1〜GS3を重ねる。画像データGF,GS1〜GS3の合成領域Zaは、ほぼ同じデータ領域である。また、現在の画像データGS4の合成領域Zbは、過去の画像データGF,GS1〜GS3の合成領域Zaよりも大きい
データ領域となっている。
Then, as shown in FIG. 24B, the image processing unit 11 superimposes the current image data GS4 and the image data GF, GS1 to GS3 in the same manner as described above. The synthesis area Za of the image data GF, GS1 to GS3 is almost the same data area. The synthesis area Zb of the current image data GS4 is a data area larger than the synthesis area Za of the past image data GF, GS1 to GS3.

また、過去に生成された画像データGF,GS1〜GS3の合成領域Zaは、図24(
a)に示すように、初期位置P1の合成領域Zaに基づく撮像範囲F5、撮像地点としての第1〜第3の画像更新地点S1〜S3の合成領域Zaに基づく撮像範囲F7,F10,F11にそれぞれ相当する。これらの撮像範囲F5,F7,F10,F11は、第4の画像更新地点S4において、車両Cの後輪部分に相当する領域である。
Further, the synthesis region Za of the image data GF, GS1 to GS3 generated in the past is shown in FIG.
As shown in a), the imaging range F5 based on the composite region Za at the initial position P1, and the imaging ranges F7, F10, and F11 based on the composite region Za of the first to third image update points S1 to S3 as imaging points. Each corresponds. These imaging ranges F5, F7, F10, and F11 are regions corresponding to the rear wheel portion of the vehicle C at the fourth image update point S4.

さらに、現在の画像データG1の合成領域Zbは、図24(a)に示すように、撮像範囲F12に相当する。この撮像範囲F12は、図15(b)、図16(b)に示す合成領域Zbよりもデータ領域が小さく、現在の画像データGS4に対して最低限確保される大きさのデータ領域である。従って、ステップS2−3〜S2−10が4回目まで繰り返されるにつれて、現在の画像データGの合成領域Zbの大きさは、次第に小さくなり、これにより、ディスプレイ12の画面上では、後方カメラ22の視点が擬似的に次第に下方に移動するように見える。   Further, the synthesis area Zb of the current image data G1 corresponds to the imaging range F12 as shown in FIG. The imaging range F12 is a data area having a data area that is smaller than the synthesis area Zb shown in FIGS. 15B and 16B and that is at least assured for the current image data GS4. Therefore, as steps S2-3 to S2-10 are repeated up to the fourth time, the size of the synthesis region Zb of the current image data G gradually decreases, and thus the rear camera 22 of the rear camera 22 is displayed on the screen of the display 12. It seems that the viewpoint gradually moves downward in a pseudo manner.

さらに、ステップS2−3〜ステップS2−10の処理を5回目に繰り返すとき、図25(a)に示すように、車両Cは、撮像地点としての第5の画像更新地点S5に位置している。また、制御部3は、RAM4から、第1〜第4の画像更新地点S1〜S4に関連付けられた4つの画像データGS1〜GS4を読出し、初期位置P1の画像データGFは読出さない。そして、画像処理部11は、各画像データGS1〜GS4と、新たに取得した現在地点の画像データGS5とを補正して(ステップS2−7)、過去の画像データGS1〜GS4を、車両Cの現在地点に応じた視点V6に視点変換し、図25(b)に模式的に示すような画像合成データGDを生成する(ステップS2−8)。即ち、画像処理部11は、各画像データGを合成する際に、RAM4から読出した4つの画像データGと、現在地点の画像データGとを用いる。   Furthermore, when the processing of step S2-3 to step S2-10 is repeated for the fifth time, as shown in FIG. 25A, the vehicle C is located at the fifth image update point S5 as the imaging point. . Further, the control unit 3 reads the four image data GS1 to GS4 associated with the first to fourth image update points S1 to S4 from the RAM 4, and does not read the image data GF at the initial position P1. Then, the image processing unit 11 corrects the image data GS1 to GS4 and the newly acquired image data GS5 at the current location (step S2-7), and the past image data GS1 to GS4 are converted to the vehicle C. The viewpoint is converted to the viewpoint V6 corresponding to the current location, and image synthesis data GD as schematically shown in FIG. 25B is generated (step S2-8). That is, the image processing unit 11 uses the four image data G read from the RAM 4 and the image data G at the current location when combining the image data G.

画像合成データGDは、現在の画像データGS5の合成領域Zbを最上部にして、他の画像データGS1〜GS4の合成領域Zaが連続するように、各画像データGS1〜GS5を重ねて生成されている。   The image composition data GD is generated by superimposing the image data GS1 to GS5 so that the composition region Za of the other image data GS1 to GS4 is continuous with the composition region Zb of the current image data GS5 at the top. Yes.

このように、以下、終了トリガがあると判断するまで、制御部3及び画像処理部11は、RAM4に格納された画像データGのうち、新しい方から5番目までの画像データGを使用して、画像合成データGA〜GDを生成し、ディスプレイ12に出力表示する。   As described above, until it is determined that there is an end trigger, the control unit 3 and the image processing unit 11 use the image data G from the newest one among the image data G stored in the RAM 4. Then, the image synthesis data GA to GD are generated and output and displayed on the display 12.

そして、制御部3が、終了トリガがあると判断すると(ステップS2−10においてYES)、制御部3は、合成データ出力処理を終了する。
第2の実施形態によれば、第1の実施形態の効果に加えて、以下のような効果を得ることができる。
If control unit 3 determines that there is an end trigger (YES in step S2-10), control unit 3 ends the combined data output process.
According to the second embodiment, in addition to the effects of the first embodiment, the following effects can be obtained.

(6)第2の実施形態では、ナビゲーション装置1の制御部3及び画像処理部11は、車両Cが画像更新地点S1〜S5に到達した際に、その地点の画像データGを取得するようにした。また、初期位置P1又は画像更新地点S1〜S4に関連付けられた、過去の画像データGを、現在地点から近い方から、最大4つまで読出すようにした。又、画像処理
部11は、現在地点で取得した画像データGの合成領域Zbと、読み出された各画像データの各合成領域Zaとを、画面内での車両Cの進行方向に沿って、順番に連続するように合成するようにした。このため、画像合成データGA〜GDは、2つ〜最大5つの画像データGから構成されるので、画像の更新距離を短くすることができる。また、合成画面48,50を比較的短い時間間隔で更新することができる。
(6) In the second embodiment, when the vehicle C reaches the image update points S1 to S5, the control unit 3 and the image processing unit 11 of the navigation device 1 acquire the image data G at that point. did. In addition, the past image data G associated with the initial position P1 or the image update points S1 to S4 is read up to a maximum of four from the side closer to the current point. In addition, the image processing unit 11 displays the composite area Zb of the image data G acquired at the current location and the composite areas Za of the read image data along the traveling direction of the vehicle C in the screen. It was made to synthesize | combine so that it might continue in order. For this reason, the image composition data GA to GD are composed of two to a maximum of five image data G, so that the image update distance can be shortened. Further, the composite screens 48 and 50 can be updated at a relatively short time interval.

(7)第2の実施形態では、RAM4から読出した過去の画像データGS1〜GS4を、現在地点でのカメラ視点の撮像画面22a内の座標に変換するようにした。このため、異なるカメラ視点で撮像して生成した画像データを、現在地点のカメラ視点で撮像した画像データGのように変換できるので、合成画面48,50として表示した際に、画像の連続性をより良好にすることができる。このため、運転者等に違和感を与えない。   (7) In the second embodiment, the past image data GS1 to GS4 read from the RAM 4 are converted into coordinates in the imaging screen 22a of the camera viewpoint at the current location. For this reason, image data generated by imaging from different camera viewpoints can be converted as image data G captured from the camera viewpoint of the current location. Can be better. For this reason, it does not give the driver a sense of incongruity.

尚、上記各実施形態は以下のように変更してもよい。
・上記各実施形態では、車両Cが並列駐車する場合についてのみ説明したが、縦列駐車する場合に、現在位置の画像データGと、過去の画像データGとをディスプレイ12に表示してもよい。
In addition, you may change each said embodiment as follows.
In each of the above embodiments, only the case where the vehicle C is parked in parallel has been described. However, when parallel parking is performed, the image data G at the current position and the past image data G may be displayed on the display 12.

・第1の実施形態では、ステップS2−7において、歪曲収差の補正を省略してもよい。このようにすると、処理を簡素化することができるため、制御装置2の負荷を軽減できる。   In the first embodiment, correction of distortion aberration may be omitted in step S2-7. If it does in this way, since processing can be simplified, the load of control device 2 can be reduced.

・第2の実施形態では、最大5つの画像データGから画像合成データを生成するようにしたが、3つ以上であればよい。
・第2の実施形態の座標変換処理は、その他の公知の方法を用いて、カメラ視点を変換した画像データを作成してもよい。
In the second embodiment, the image composition data is generated from the maximum of five image data G, but it is sufficient that the number is three or more.
In the coordinate conversion process of the second embodiment, image data obtained by converting the camera viewpoint may be created using other known methods.

・第2の実施形態では、カメラ視点を同一にする視点変換処理を省略してもよい。また、画像データGの歪曲収差補正を省略してもよい。このようにすると、処理を簡素化することができるため、制御装置2の負荷を軽減できる。   -In 2nd Embodiment, you may abbreviate | omit the viewpoint conversion process which makes a camera viewpoint the same. Further, the correction of distortion aberration of the image data G may be omitted. If it does in this way, since processing can be simplified, the load of control device 2 can be reduced.

・上記各実施形態では、自車位置は、後車軸の中心点25としたが、その他の車両Cの特定位置でもよい。
・上記各実施形態では、画像データGを取得するタイミングとなる車両Cの移動距離(
所定距離)と、画像更新距離D1とを同じ距離としたが、異なる距離にしてもよい。この
とき、画像データGを取得する際の所定距離は、画像更新距離D1よりも短い距離とする。
In each of the above embodiments, the vehicle position is the center point 25 of the rear axle, but may be a specific position of another vehicle C.
In each of the above embodiments, the moving distance of the vehicle C that is the timing for acquiring the image data G (
The predetermined distance) and the image update distance D1 are the same distance, but may be different distances. At this time, the predetermined distance when acquiring the image data G is a distance shorter than the image update distance D1.

・上記各実施形態では、画像更新距離D1を0.15m、0.5mにそれぞれ設定したが、より短い距離に設定してもよい。
・上記各実施形態では、制御部3は、所定距離毎に画像データGを取得し、RAM4に格納するようにしたが、例えば、数十ミリ秒ごとに画像データGを取得し、その時点の車両Cの位置と関連付けてRAM4に格納するようにしてもよい。
In each of the above embodiments, the image update distance D1 is set to 0.15 m and 0.5 m, respectively, but may be set to a shorter distance.
In each of the above embodiments, the control unit 3 acquires the image data G every predetermined distance and stores it in the RAM 4. However, for example, the control unit 3 acquires the image data G every several tens of milliseconds, It may be stored in the RAM 4 in association with the position of the vehicle C.

・第1の実施形態では、制御部3及び画像処理部11は、過去画像データG2を、車両Cの現在位置でのカメラ視点に変換するようにしてもよい。そして、上記各実施形態では、過去の画像データGを、現在地点のカメラ視点よりも上方の視点に変換するようにしてもよい。詳述すると、後方カメラ22が車体の中心軸から水平方向にオフセットされた位置に取付けられた車両であったり、車体が大きい車両の場合には、過去の画像データGを、現在のカメラ視点に座標変換(視点変換)しても、車両の後輪を含む領域を全てディスプレイ12に表示できないことがある。このため、図26に示すように、車両C1がX矢
印方向に後退するときに、現在地点よりも、進行方向(X矢印方向)後方のカメラ視点V1(撮像視点)で撮像範囲E1が撮像された過去の画像データGを、図27に示すように、現在のカメラ視点V2よりも鉛直方向上方の視点V1a(撮像視点)に変換する。視点V1aは、現在のカメラ視点V2の水平方向(X軸方向及びY軸方向)の座標と同じ座標であるが、鉛直方向の座標のみがカメラ視点V2よりも上方である。また、視点V1aの鉛直方向の高さは、少なくとも車両C1の各後輪に相当する領域がディスプレイ12の画面内に収容されるような高さである。このとき、現在地点のカメラ視点V2による撮像範囲E2と、過去地点のカメラ視点V1による撮像範囲E1との間に間隔を設けてもよい。これにより、図28に示すように、過去の画像データGに基づく過去画像60と、現在の画像データGに基づく現在画像61とが表示された合成画面62がディスプレイ12に表示される。過去画像60は、車両C1の各後輪を収容する領域の画像であって、車体の輪郭を示す車両輪郭線63が表示されている。車両輪郭線63には、各後輪を描画した後輪描画線64を有している。現在画像61は、図26及び図27に示す撮像範囲E2に相当する画像である。現在画像61と過去画像60の間には、案内表示部65が表示されている。このように、過去の画像データGを視点変換する際に、現在のカメラ視点V2よりも上方の視点V1aに変換すると、車種や後方カメラ22の取付位置に関わらず、現在地点で車両C1の後輪部分に相当する領域等、所望の領域をディスプレイ12の画面に表示できる。
In the first embodiment, the control unit 3 and the image processing unit 11 may convert the past image data G2 into a camera viewpoint at the current position of the vehicle C. In each of the above embodiments, the past image data G may be converted to a viewpoint that is above the camera viewpoint at the current location. More specifically, when the rear camera 22 is a vehicle mounted at a position offset in the horizontal direction from the center axis of the vehicle body or a vehicle with a large vehicle body, the past image data G is used as the current camera viewpoint. Even if coordinate conversion (viewpoint conversion) is performed, the entire region including the rear wheels of the vehicle may not be displayed on the display 12. For this reason, as shown in FIG. 26, when the vehicle C1 moves backward in the X arrow direction, the imaging range E1 is imaged at the camera viewpoint V1 (imaging viewpoint) behind the current direction from the current position (X arrow direction). As shown in FIG. 27, the past image data G is converted into a viewpoint V1a (imaging viewpoint) vertically above the current camera viewpoint V2. The viewpoint V1a has the same coordinates as the coordinates in the horizontal direction (X-axis direction and Y-axis direction) of the current camera viewpoint V2, but only the coordinates in the vertical direction are above the camera viewpoint V2. The vertical height of the viewpoint V1a is such that at least a region corresponding to each rear wheel of the vehicle C1 is accommodated in the screen of the display 12. At this time, an interval may be provided between the imaging range E2 based on the camera viewpoint V2 at the current location and the imaging range E1 based on the camera viewpoint V1 at the past location. As a result, as shown in FIG. 28, a composite screen 62 on which the past image 60 based on the past image data G and the current image 61 based on the current image data G are displayed is displayed on the display 12. The past image 60 is an image of an area that accommodates each rear wheel of the vehicle C1, and displays a vehicle outline 63 that indicates the outline of the vehicle body. The vehicle outline 63 has a rear wheel drawing line 64 for drawing each rear wheel. The current image 61 is an image corresponding to the imaging range E2 shown in FIGS. A guidance display unit 65 is displayed between the current image 61 and the past image 60. As described above, when the viewpoint of the past image data G is converted to the viewpoint V1a above the current camera viewpoint V2, the rear of the vehicle C1 at the current position regardless of the vehicle type or the mounting position of the rear camera 22. A desired area such as an area corresponding to a ring portion can be displayed on the screen of the display 12.

・上記各実施形態では、制御部3及び画像処理部11は、現在地点の画像データGと、過去の画像データGを用いて、画像合成データを生成するようにした。これ以外に、現在地点の画像データGの一部と、現在地点よりも所定距離だけ後方の地点の画像データGの一部とを、並べてディスプレイ12に表示するようにしてもよい。このようにすると、合成処理による制御装置2の負荷を軽減できる。   In each of the above embodiments, the control unit 3 and the image processing unit 11 generate image composite data using the image data G at the current location and the past image data G. In addition to this, a part of the image data G at the current point and a part of the image data G at the point behind the current point by a predetermined distance may be displayed side by side on the display 12. If it does in this way, the load of the control apparatus 2 by a synthetic | combination process can be reduced.

・後方カメラ22は、後方でなく、車両Cの前方に取り付けられてもよい。この場合にも、このカメラによって生成された画像データGを使用して、車体の下方の領域を表示することができるため、車両C前方の見えにくい障害物を視認しやすくすることができる。   The rear camera 22 may be attached to the front of the vehicle C instead of the rear. Also in this case, since the area below the vehicle body can be displayed using the image data G generated by this camera, it is possible to make it easier to visually recognize an obstacle that is difficult to see in front of the vehicle C.

・上記実施形態では、駐車支援装置を経路案内を行うナビゲーション装置1に具体化したが、経路案内を省略した装置としてもよい。この場合、地図データ記憶部9が省略される。   In the above embodiment, the parking assistance device is embodied as the navigation device 1 that performs route guidance, but may be a device that omits route guidance. In this case, the map data storage unit 9 is omitted.

本実施形態のナビゲーション装置の構成を説明するブロック図。The block diagram explaining the structure of the navigation apparatus of this embodiment. 車両に配設された後方カメラを説明する説明図。Explanatory drawing explaining the rear camera arrange | positioned at the vehicle. 本実施形態の処理を行う際の車両の位置を説明する説明図。Explanatory drawing explaining the position of the vehicle at the time of performing the process of this embodiment. 同ナビゲーション装置のディスプレイに表示された画面の説明図。Explanatory drawing of the screen displayed on the display of the navigation apparatus. 画像データの合成を説明する模式図。The schematic diagram explaining the synthesis | combination of image data. 画像データの合成を説明する模式図。The schematic diagram explaining the synthesis | combination of image data. 本実施形態の処理手順の説明図。Explanatory drawing of the process sequence of this embodiment. 本実施形態の処理手順の説明図。Explanatory drawing of the process sequence of this embodiment. 初期位置での後方カメラの撮像範囲の説明図。Explanatory drawing of the imaging range of a rear camera in an initial position. 画像更新位置での後方カメラの撮像範囲の説明図。Explanatory drawing of the imaging range of a rear camera in an image update position. 初期位置で生成される画像データの説明図。Explanatory drawing of the image data produced | generated by the initial position. 画像更新位置で生成される画像データの説明図。Explanatory drawing of the image data produced | generated at an image update position. 合成画面の説明図。Explanatory drawing of a composite screen. 第2の実施形態の初期位置での撮像範囲の説明図。Explanatory drawing of the imaging range in the initial position of 2nd Embodiment. (a)は、第1の画像更新位置での撮像範囲、(b)は画像合成データの説明図。(A) is an imaging range at the first image update position, and (b) is an explanatory diagram of image synthesis data. (a)は、第2の画像更新位置での撮像範囲、(b)は画像合成データの説明図。(A) is an imaging range at the second image update position, and (b) is an explanatory diagram of image synthesis data. 画像データの座標変換処理の説明図。Explanatory drawing of the coordinate transformation process of image data. 第2の実施形態の画像データの合成を説明する模式図。The schematic diagram explaining the synthesis | combination of the image data of 2nd Embodiment. 初期位置で生成される画像データの説明図。Explanatory drawing of the image data produced | generated in an initial position. 第1の画像更新位置で生成される画像データの説明図。Explanatory drawing of the image data produced | generated by the 1st image update position. 第1の画像更新位置で表示される合成画面の説明図。Explanatory drawing of the synthetic | combination screen displayed in a 1st image update position. 第2の画像更新位置での画像データの合成を説明する模式図。The schematic diagram explaining the synthesis | combination of the image data in the 2nd image update position. 第2の画像更新位置で表示される合成画面の説明図。Explanatory drawing of the synthetic | combination screen displayed in a 2nd image update position. (a)は、第4の画像更新位置での撮像範囲、(b)は画像合成データの説明図。(A) is the imaging range in the 4th image update position, (b) is explanatory drawing of image synthetic data. (a)は、第5の画像更新位置での撮像範囲、(b)は画像合成データの説明図。(A) is the imaging range in the 5th image update position, (b) is explanatory drawing of image synthetic data. 過去画像データ及び現在の画像データの表示範囲の説明図。Explanatory drawing of the display range of past image data and present image data. 過去画像データの視点変換の説明図。Explanatory drawing of the viewpoint conversion of past image data. 過去画像データ及び現在の画像データを表示した画面の説明図。Explanatory drawing of the screen which displayed the past image data and the present image data.

符号の説明Explanation of symbols

1…駐車支援装置としてのナビゲーション装置、2…制御手段としての制御装置、3…画像データ取得手段、位置特定手段、画像データ読出手段、画像合成手段、表示制御手段、車両位置表示手段、収差補正手段、画像変換手段としての制御部、4…画像データ記憶手段としてのRAM、7…位置特定手段を構成する自車位置検出部、10…画像データ取得手段を構成する撮像データ取得部、11…画像データ読出手段、画像合成手段、車両位置表示手段、収差補正手段及び画像変換手段を構成する画像処理部、12…表示手段としてのディスプレイ、22…撮像装置としての後方カメラ、33,34,37,43,47…撮像画面、A…光軸、C,C1…車両、GA〜GD…画像合成データ、F1〜F13…周辺視界としての撮像範囲、G,GF,GS1〜GS5…画像データ、G2…過去画像データ、P1…撮像地点としての初期位置、R…駐車目標領域、S1〜S5…撮像地点としての第1〜第5の画像更新地点、G1a,Zb…第1の合成領域としての合成領域、Za…第2の合成領域としての合成領域。   DESCRIPTION OF SYMBOLS 1 ... Navigation apparatus as parking assistance apparatus, 2 ... Control apparatus as control means, 3 ... Image data acquisition means, position specification means, image data reading means, image composition means, display control means, vehicle position display means, aberration correction A control unit as an image conversion unit, 4... A RAM as an image data storage unit, 7... A vehicle position detection unit constituting a position specifying unit, 10... An imaging data acquisition unit constituting an image data acquisition unit, 11. Image data reading means, image composition means, vehicle position display means, aberration correction means, and image processing section constituting image conversion means, 12 ... display as display means, 22 ... rear camera as imaging device, 33, 34, 37 , 43, 47 ... Imaging screen, A ... Optical axis, C, C1 ... Vehicle, GA-GD ... Image composition data, F1-F13 ... Imaging range as peripheral field of view, G GF, GS1 to GS5... Image data, G2... Past image data, P1... Initial position as an imaging point, R... Zb: a synthesis area as a first synthesis area, Za: a synthesis area as a second synthesis area.

Claims (8)

車両の位置を特定する位置特定手段と、画像データを表示する表示手段と、制御手段とを用い、駐車操作を支援する駐車支援方法であって、
前記制御手段が、
前記車両に設けられた撮像装置から、前記車両の周辺を撮像した画像データを前記車両が画像更新距離を移動する毎に取得し、取得した前記画像データをその撮像地点と関連付けて過去画像データとして画像データ記憶手段に格納する工程と、
前記車両が画像更新距離を移動する毎に、前記車両の現在位置よりも進行方向において後方の前記撮像地点で撮像した前記過去画像データを前記画像データ記憶手段から読出す工程と、
当該読出した過去画像データを、前記車両の現在位置における前記撮像装置の撮像視点に視点変換する工程と、
前記車両が画像更新距離を移動する毎に、前記車両の現在位置で撮像した現在画像データにおける合成領域と、視点変換した前記過去画像データにおける合成領域とを互いに連続するように合成して画像合成データを生成する工程と、
当該画像合成データを前記表示手段に表示する工程とを有し、
前記画像合成データを生成する工程では、読出した前記過去画像データの数が多いほど、前記現在画像データにおける合成領域を小さくして前記画像合成データを生成することを特徴とする駐車支援方法。
A parking support method for supporting a parking operation using a position specifying means for specifying a position of a vehicle, a display means for displaying image data, and a control means,
The control means is
Image data obtained by imaging the periphery of the vehicle is acquired from the imaging device provided in the vehicle every time the vehicle moves an image update distance, and the acquired image data is associated with the imaging point as past image data. Storing in the image data storage means;
Each time the vehicle moves an image update distance, reading the past image data captured at the imaging point behind the current position of the vehicle in the traveling direction from the image data storage means;
The read-out past image data, a step of viewpoint conversion on image pickup viewpoint of the image pickup apparatus at the current position of the vehicle,
Every time the vehicle moves an image update distance, current and synthetic regions in the current image data captured by position, viewpoint conversion was said and synthesis in past image data area synthesized as continuous to each other image synthesis of the vehicle Generating data; and
Possess a step of displaying the image synthesis data on the display means,
The parking assist method , wherein in the step of generating the image composite data, the image composite data is generated by reducing the composite area in the current image data as the number of the read past image data increases .
車両の位置を特定する位置特定手段と、
前記車両に設けられた撮像装置から、前記車両の周辺を撮像した画像データを前記車両が画像更新距離を移動する毎に取得する画像データ取得手段と、
取得した前記画像データをその撮像地点と関連付けて過去画像データとして格納する画像データ記憶手段と、
前記画像データを表示する表示手段と、
前記車両が画像更新距離を移動する毎に、前記車両の現在位置よりも進行方向において後方の前記撮像地点で撮像した前記過去画像データを読出す画像データ読出手段と、
当該読出した過去画像データを、前記車両の現在位置における前記撮像装置の撮像視点に視点変換する変換手段と、
前記車両が画像更新距離を移動する毎に、前記車両の現在位置で撮像した現在画像データにおける合成領域と、視点変換した前記過去画像データにおける合成領域とを互いに連続するように合成して画像合成データを生成する画像合成手段と、
当該画像合成データを前記表示手段に表示する表示制御手段とを備え
前記画像合成手段は、読出した前記過去画像データの数が多いほど、前記現在画像データにおける合成領域を小さくして前記画像合成データを生成することを特徴とする駐車支援装置。
Position specifying means for specifying the position of the vehicle;
Image data acquisition means for acquiring image data obtained by imaging the periphery of the vehicle every time the vehicle moves an image update distance from an imaging device provided in the vehicle;
Image data storage means for storing the acquired image data as past image data in association with the imaging point;
Display means for displaying the image data;
Image data reading means for reading the past image data captured at the imaging point behind the current position of the vehicle every time the vehicle moves an image update distance ;
The read-out past image data, converting means for viewpoint conversion on image pickup viewpoint of the image pickup apparatus at the current position of the vehicle,
Every time the vehicle moves an image update distance, current and synthetic regions in the current image data captured by position, viewpoint conversion was said and synthesis in past image data area synthesized as continuous to each other image synthesis of the vehicle Image composition means for generating data;
Display control means for displaying the image composite data on the display means ,
The parking assist device , wherein the image composition means generates the image composition data by reducing the composition area in the current image data as the number of the read past image data is larger .
請求項2に記載の駐車支援装置において、  In the parking assistance device according to claim 2,
前記画像データ読出手段は、前記画像データ記憶手段に格納された過去画像データの数が所定数を超える場合には、前記車両の現在位置に近い撮像地点で撮像された前記過去画像データから順に前記所定数の過去画像データを読出すことを特徴とする駐車支援装置。  When the number of past image data stored in the image data storage unit exceeds a predetermined number, the image data reading unit sequentially starts from the past image data captured at an imaging point close to the current position of the vehicle. A parking assistance device, wherein a predetermined number of past image data is read.
請求項2又は3に記載の駐車支援装置において、  In the parking assistance device according to claim 2 or 3,
前記画像合成データを前記表示手段に表示させるための合成開始信号を受信する受信手段をさらに備え、  Receiving means for receiving a synthesis start signal for causing the display means to display the image synthesis data;
前記画像データ取得手段は、前記受信手段が前記合成開始信号を受信したときの車両の位置を初期位置として、該初期位置から前記車両が画像更新距離を移動する毎に前記画像データを取得することを特徴とする駐車支援装置。  The image data acquisition means acquires the image data every time the vehicle moves an image update distance from the initial position, with the position of the vehicle when the reception means receives the synthesis start signal as an initial position. A parking assistance device characterized by the above.
請求項2〜4のいずれか1項に記載の駐車支援装置において、
記過去画像データにおける合成領域は、現在位置の前記車両の下方にあたる領域であり、前記現在画像データにおける合成領域は、前記車両の近距離範囲にあたる領域であることを特徴とする駐車支援装置。
In the parking assistance device according to any one of claims 2 to 4 ,
Combining region before Symbol past image data is lower corresponding to the region of the vehicle current position, the combining region of the current image data, the parking assist device which is a region corresponding to short-distance range of the vehicle.
請求項2〜5のいずれか1項に記載の駐車支援装置において、
前記車両の現在位置を示す車両位置指標を、前記画像合成データに重ねて表示する車両位置表示手段をさらに備えたことを特徴とする駐車支援装置。
In the parking assistance device according to any one of claims 2 to 5 ,
A parking assistance device, further comprising vehicle position display means for displaying a vehicle position index indicating the current position of the vehicle in an overlapping manner with the image composite data .
請求項2〜6のいずれか1項に記載の駐車支援装置において、
前記撮像装置から取得した前記画像データの歪曲収差を補正する収差補正手段をさらに備えたことを特徴とする駐車支援装置。
In the parking assistance device according to any one of claims 2 to 6,
A parking assist device, further comprising an aberration correction unit that corrects distortion aberration of the image data acquired from the imaging device.
請求項2〜7のいずれか1項に記載の駐車支援装置において、
前記画像データ取得手段は、前記車両の後端部に設けられた前記撮像装置から、前記車両の後方を撮像した画像データを取得することを特徴とする駐車支援装置。
In the parking assistance device according to any one of claims 2 to 7,
The parking support device, wherein the image data acquisition means acquires image data obtained by imaging the rear of the vehicle from the imaging device provided at a rear end portion of the vehicle.
JP2005130587A 2005-04-27 2005-04-27 Parking support method and parking support device Expired - Fee Related JP4670460B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005130587A JP4670460B2 (en) 2005-04-27 2005-04-27 Parking support method and parking support device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005130587A JP4670460B2 (en) 2005-04-27 2005-04-27 Parking support method and parking support device

Publications (2)

Publication Number Publication Date
JP2006311151A JP2006311151A (en) 2006-11-09
JP4670460B2 true JP4670460B2 (en) 2011-04-13

Family

ID=37477526

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005130587A Expired - Fee Related JP4670460B2 (en) 2005-04-27 2005-04-27 Parking support method and parking support device

Country Status (1)

Country Link
JP (1) JP4670460B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101659606B1 (en) * 2015-01-21 2016-09-30 주식회사 이에스피 Rear-View Camera System
JP6741364B2 (en) * 2017-08-03 2020-08-19 三菱電機株式会社 Vehicle peripheral image display device and vehicle peripheral image display method
DE102018207976A1 (en) * 2018-05-22 2019-11-28 Continental Automotive Gmbh Method and device for displaying a vehicle environment

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003134507A (en) * 2001-10-24 2003-05-09 Nissan Motor Co Ltd Monitor device for rear of vehicle
JP2005001570A (en) * 2003-06-12 2005-01-06 Equos Research Co Ltd Parking support device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003134507A (en) * 2001-10-24 2003-05-09 Nissan Motor Co Ltd Monitor device for rear of vehicle
JP2005001570A (en) * 2003-06-12 2005-01-06 Equos Research Co Ltd Parking support device

Also Published As

Publication number Publication date
JP2006311151A (en) 2006-11-09

Similar Documents

Publication Publication Date Title
EP1777498B1 (en) Vehicle moving distance detecting method, vehicle moving distance detecting device, current vehicle position detecting method, and current vehicle position detecting device
JP4561479B2 (en) Parking support method and parking support device
US7680570B2 (en) Parking assist devices, methods, and programs
JP2006298115A (en) Driving-support method and driving-support device
US20070147664A1 (en) Driving assist method and driving assist apparatus
JP4914458B2 (en) Vehicle periphery display device
JP2007099261A (en) Parking assistance method and parking assistance device
CN103140377A (en) Method for displaying images on a display device and driver assistance system
WO2019097755A1 (en) Display device and computer program
JP2007269060A (en) Drive assisting method and drive assisting device
JP2007266930A (en) Driving assist method and driving support apparatus
JP2008055958A (en) Parking assist method and parking assist device
JP6626069B2 (en) Display device for vehicles
JP2018173399A (en) Display device and computer program
JP2007226300A (en) Driving support method and driving support device
JP4696691B2 (en) Parking support method and parking support device
JP4595649B2 (en) Parking support method and parking support device
JP4670460B2 (en) Parking support method and parking support device
JP2006306241A (en) Parking assisting method and parking assisting device
JP4561470B2 (en) Parking assistance device
JP2006298258A (en) Parking supporting method and parking supporting device
JP4561512B2 (en) Parking support method and parking support device
JP2005233712A (en) Position display system
JP4946045B2 (en) Image display method and driving support device
JP4650142B2 (en) Parking support method and parking support device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101221

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110103

R150 Certificate of patent or registration of utility model

Ref document number: 4670460

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140128

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150128

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees