Nothing Special   »   [go: up one dir, main page]

JP5305750B2 - Vehicle periphery display device and display method thereof - Google Patents

Vehicle periphery display device and display method thereof Download PDF

Info

Publication number
JP5305750B2
JP5305750B2 JP2008159587A JP2008159587A JP5305750B2 JP 5305750 B2 JP5305750 B2 JP 5305750B2 JP 2008159587 A JP2008159587 A JP 2008159587A JP 2008159587 A JP2008159587 A JP 2008159587A JP 5305750 B2 JP5305750 B2 JP 5305750B2
Authority
JP
Japan
Prior art keywords
image
image height
imaging
data
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008159587A
Other languages
Japanese (ja)
Other versions
JP2010003014A (en
Inventor
浩輔 今村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2008159587A priority Critical patent/JP5305750B2/en
Publication of JP2010003014A publication Critical patent/JP2010003014A/en
Application granted granted Critical
Publication of JP5305750B2 publication Critical patent/JP5305750B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide "a vehicle surroundings display apparatus and a display method" for correcting distortion of captured data, and displaying an image having less difference from a real object. <P>SOLUTION: The vehicle surroundings display apparatus has an imaging means for imaging surroundings of a vehicle using an imaging lens and producing imaged data of two dimensional coordinate which is captured by the imaging lens, an image processing means for correcting the captured data, and a displaying means for displaying the captured data which is corrected by the image processing means on a display. The image processing means corrects the imaged data so that a change rate of image height of an object existing in the periphery (a range of H2) is increased, while the change rate of image height of the object existing in the center (a range of H1) decreases. <P>COPYRIGHT: (C)2010,JPO&amp;INPIT

Description

本発明は、撮像カメラによって自車周辺を撮像し、その撮像データをディスプレイ等に表示する機能を備えた車両周辺表示装置に関し、特に、撮像データの歪みを補正する技術に関する。   The present invention relates to a vehicle periphery display device having a function of capturing an image of the periphery of a vehicle with an imaging camera and displaying the captured image data on a display or the like, and particularly relates to a technique for correcting distortion of the image data.

車両周辺表示装置は、車両のコーナーやナンバープレート等に広角レンズを備えた撮像カメラを搭載し、撮像カメラによって撮像された自車周辺の撮像データをディスプレイに表示する。これにより、自車周辺に存在する自動車や通行人その他の障害物等の危険をユーザに察知させることができる。特に、狭い駐車場や車庫に駐停車するときや、道幅の狭い道路を走行するときなど運転者に有効な支援をすることができる。   The vehicle periphery display device is equipped with an imaging camera having a wide-angle lens at a corner or a license plate of the vehicle, and displays imaging data around the vehicle imaged by the imaging camera on a display. As a result, the user can be aware of the dangers of automobiles, passers-by, and other obstacles around the vehicle. In particular, it is possible to provide effective assistance to the driver when parked in a narrow parking lot or garage, or when traveling on a narrow road.

特許文献1は、前方から入射する光を撮像手段に向かわせる第1のモードと、左右方向から入射する光を撮像手段に向かわせる第2のモードに切換え可能な光学装置を含み、自動車の低速走行時や幹線道路進入時に第2のモードへ切り換り、ディスプレイに左右方向の撮像データを表示させている。   Patent Document 1 includes an optical device that can be switched between a first mode in which light incident from the front is directed to the image pickup means and a second mode in which light incident from the left-right direction is directed to the image pickup means. When traveling or entering the main road, the mode is switched to the second mode, and left and right imaging data is displayed on the display.

特開平6−278531号公報JP-A-6-278531

車両の左右両側に壁があるような見通しの悪い交差点では、運転手が進入道路の状況を目視することができる位置まで車両の先頭を交差点に進入させる必要があるため、運転手による進入車両の発見が遅れた場合には、進入車両と衝突するおそれがあった。   At intersections with poor visibility where there are walls on both the left and right sides of the vehicle, it is necessary for the driver to enter the intersection until the driver can see the situation on the approach road. If the discovery was delayed, there was a risk of collision with the approaching vehicle.

そこで、上記のような見通しの悪い交差点などにおける車両前方の左右方向の情況を撮像するために、視野角の広い特殊な広角レンズを用いて表示するワイドビューシステムがある。これにより、視野角が180度もしくはそれ以上のワイドな視野角で左右の視界を撮像することを可能にしている。   Therefore, there is a wide view system that displays using a special wide-angle lens with a wide viewing angle in order to capture the situation in the left-right direction in front of the vehicle at an intersection with poor visibility as described above. As a result, the left and right visual fields can be imaged with a wide viewing angle of 180 degrees or more.

しかし、このような特殊な広角レンズは、複数のレンズを組み合わせて構成されるため、汎用の魚眼レンズと比較して、コストが高くなるという課題がある。さらに、特殊な広角レンズを用いた場合、撮像データを視点変換し、自車の真上から見下ろすような画像(以下、トップビュー画像という)を表示するための計算処理が複雑になるという課題もある。   However, since such a special wide-angle lens is configured by combining a plurality of lenses, there is a problem that the cost is higher than that of a general-purpose fish-eye lens. Furthermore, when a special wide-angle lens is used, there is a problem that the calculation processing for converting the viewpoint of the imaging data and displaying an image looking down from directly above the own vehicle (hereinafter referred to as a top view image) becomes complicated. is there.

他方、魚眼レンズにより物体を撮像した場合、光軸から離れた物体の像高が小さく、光軸近傍の物体の像高が大きくなるような歪みが生じるため、撮像データの周辺部に写る物体は肉眼で見たときよりも小さく表示されるため物体までの距離を予測するのは難しくなる。さらに、撮像データの中央部に写る物体は、その形状に比較的大きな歪みが現れるため、実際の物体とは異なる印象をユーザに与え、違和感が生じてしまう。   On the other hand, when an object is imaged with a fisheye lens, distortion occurs such that the image height of the object far from the optical axis is small and the image height of the object near the optical axis is large. It is difficult to predict the distance to the object because it is displayed smaller than when viewed with. Furthermore, since a relatively large distortion appears in the shape of the object shown in the center of the imaged data, the user is given an impression different from the actual object, and a sense of incongruity occurs.

図1(a)、(b)は、魚眼レンズを用いたときの車両周辺の表示例を模式的に表している。図1(a)は、撮像カメラから比較的遠方にある車両1および車線2を撮像したときの表示例である。光軸から離れた位置すなわち撮像データの周縁部にある車両1のサイズは、肉眼で見たときよりもかなり小さく表示され、実際の位置よりも離れた位置に存在するような錯覚を与えしてしまう。例えば、ユーザが自車を後進させるとき、このような表示では、衝突してしまうおそれがある。   FIGS. 1A and 1B schematically show display examples around the vehicle when a fisheye lens is used. FIG. 1A is a display example when the vehicle 1 and the lane 2 that are relatively far from the imaging camera are imaged. The size of the vehicle 1 at a position away from the optical axis, that is, at the periphery of the imaging data, is displayed much smaller than when viewed with the naked eye, giving the illusion that it exists at a position far from the actual position. End up. For example, when the user reverses the vehicle, such a display may cause a collision.

また図1(b)に示すように、撮像カメラに近距離にある車両1および車線2を撮像したときの表示例である。光軸近傍の位置すなわち撮像データの中央部にある車両1は、周縁に向かい像高が小さくなるために形状が歪んで表示され、車両1の正確な視認をすることができなくなる。例えば、実際にはミニバン車などの小型車が隣接しているときでも、像形が歪んでいるためにワゴン車などの大型車と勘違いしてしまい、違和感が生じ、距離感がつかめない可能性がある。   Moreover, as shown in FIG.1 (b), it is a display example when the vehicle 1 and the lane 2 which are a short distance to the imaging camera are imaged. The vehicle 1 in the vicinity of the optical axis, that is, in the center of the imaging data, is displayed with a distorted shape because the image height decreases toward the periphery, and the vehicle 1 cannot be accurately recognized. For example, even when a small car such as a minivan is actually adjacent, it may be misunderstood as a large car such as a wagon because the image is distorted. is there.

本発明は、このような上記課題を解決するものであり、撮像データの歪を補正し、実際の物体との違和感を抑制した表示を行うことができる車両周辺表示装置を提供することを目的とする。
さらに本発明は、比較的安価な魚眼レンズを利用して歪の少ない表示を行うことができる車両周辺表示装置を提供することを目的とする。
The present invention solves the above-described problems, and an object of the present invention is to provide a vehicle periphery display device capable of correcting the distortion of imaging data and performing display while suppressing a sense of incongruity with an actual object. To do.
Another object of the present invention is to provide a vehicle periphery display device that can perform display with less distortion using a relatively inexpensive fisheye lens.

本発明に係る車両周辺表示装置は、車両周辺を表示するものであって、撮像レンズを用いて車両周辺を撮像し、撮像レンズによって撮像された2次元座標の撮像データを生成する撮像手段と、前記撮像データを補正する画像処理手段と、前記画像処理手段で補正された撮像データをディスプレイに表示する表示手段とを有し、前記画像処理手段は、前記撮像レンズの光軸から一定距離以上にある物体の像高の変化率が増加するように撮像データを補正する。好ましくは、前記画像処理手段はさらに、前記一定距離未満にある物体の像高の変化率が減少するように撮像データを補正する。   The vehicle periphery display device according to the present invention displays the vehicle periphery, images the vehicle periphery using an imaging lens, and generates imaging data of two-dimensional coordinates captured by the imaging lens; Image processing means for correcting the imaging data, and display means for displaying the imaging data corrected by the image processing means on a display, wherein the image processing means is at a certain distance or more from the optical axis of the imaging lens. The imaging data is corrected so that the change rate of the image height of an object increases. Preferably, the image processing unit further corrects the imaging data so that a change rate of an image height of an object that is less than the predetermined distance is reduced.

本発明に係る車両周辺表示装置は、車両周辺を表示するものであって、撮像レンズを用いて車両周辺を撮像し、撮像レンズによって撮像された2次元座標の撮像データを生成する撮像手段と、前記撮像データを補正する画像処理手段と、前記画像処理手段で補正された撮像データをディスプレイに表示する表示手段とを有し、前記画像処理手段は、前記撮像手段の撮像レンズへの物体の入射角が一定のの角度以上にある物体の像高の変化率が増加するように撮像データを補正する。好ましくは画像処理手段はさらに、前記一定の角度未満にある物体の像高の変化率が減少するように撮像データを補正する。   The vehicle periphery display device according to the present invention displays the vehicle periphery, images the vehicle periphery using an imaging lens, and generates imaging data of two-dimensional coordinates captured by the imaging lens; Image processing means for correcting the imaging data, and display means for displaying the imaging data corrected by the image processing means on a display, wherein the image processing means is incident on an imaging lens of the imaging means. The imaging data is corrected so that the rate of change of the image height of an object whose angle is equal to or greater than a certain angle increases. Preferably, the image processing unit further corrects the imaging data so that a change rate of an image height of an object that is less than the certain angle is reduced.

好ましくは前記補正された撮像データは、前記撮像レンズの光軸から一定の距離未満に対応する第1の領域において像高が減少された画像データを含み、前記一定の距離以上に対応する第2の領域において像高が増加された画像データを含む。   Preferably, the corrected imaging data includes image data in which an image height is reduced in a first region corresponding to less than a certain distance from the optical axis of the imaging lens, and a second corresponding to the certain distance or more. Image data in which the image height is increased in the region.

好ましくは前記画像処理手段は、前記撮像手段が次式に従い撮像データを生成するとき、k1、k3、k5、k7、k9の値を補正する(但し、θは光軸と入射光の角度、fは撮像レンズの焦点距離、r(θ)は画像の点と原点の距離での歪曲収差、(Cx、Cy)は撮像データの画像主点、(x、y)は入力画像(画像主点を原点とする)、m、mは水平、垂直方向のピクセル数、k1、k3、k5、k7、k9は係数)。 Preferably, the image processing unit corrects the values of k1, k3, k5, k7, and k9 when the imaging unit generates imaging data according to the following equation (where θ is an angle between the optical axis and incident light, f Is the focal length of the imaging lens, r (θ) is the distortion at the distance between the image point and the origin, (Cx, Cy) is the image principal point of the imaging data, and (x, y) is the input image (image principal point) M u and m v are the number of pixels in the horizontal and vertical directions, and k1, k3, k5, k7, and k9 are coefficients).

Figure 0005305750
Figure 0005305750

さらに本発明に係る車両周辺表示方法は、撮像レンズを用いて車両周辺を撮像し、撮像レンズによって撮像された2次元座標の撮像データを生成し、生成された撮像データを用いて車両周辺を表示するものであって、前記撮像レンズの光軸から一定距離以上にある物体の像高の変化率が増加し、かつ前記一定距離未満にある物体の像高の変化率が減少するように撮像データを補正するステップと、補正された撮像データをディスプレイに表示するステップとを有する。   Furthermore, the vehicle periphery display method according to the present invention images a vehicle periphery using an imaging lens, generates imaging data of two-dimensional coordinates imaged by the imaging lens, and displays the vehicle periphery using the generated imaging data. Imaging data such that the rate of change of the image height of an object that is a certain distance or more from the optical axis of the imaging lens increases and the rate of change of the image height of an object that is less than the certain distance decreases. And a step of displaying the corrected imaging data on a display.

本発明によれば、撮像レンズの光軸から一定の距離未満にある物体の像高の変化率が減少し、かつ一定の距離以上にある物体の像高の変化率が増加するように撮像データを補正するようにしたので、光軸から離れた物体の像高が小さく光軸近傍の像高が大きくなる魚眼レンズのような広角レンズであっても、光学的と距離の影響の歪を抑制し、実際の物体との違和感の少ない車両周辺画像を表示することができる。さらに、車両周辺表示装置に汎用の広角レンズを使用することができるため、低コスト化を図ることができる。さらに、汎用の広角レンズを用いることで、撮像データの画像変換処理が容易となり、トップビュー画像との組み合わせも容易となる。   According to the present invention, the imaging data is such that the rate of change of the image height of an object that is less than a certain distance from the optical axis of the imaging lens decreases and the rate of change of the image height of an object that is greater than a certain distance increases. Therefore, even a wide-angle lens such as a fish-eye lens in which the image height of an object away from the optical axis is small and the image height near the optical axis is large, distortion due to optical and distance effects is suppressed. Thus, it is possible to display a vehicle peripheral image with little discomfort with an actual object. Furthermore, since a general-purpose wide-angle lens can be used for the vehicle periphery display device, the cost can be reduced. Furthermore, by using a general-purpose wide-angle lens, image conversion processing of captured data is facilitated, and a combination with a top view image is also facilitated.

本発明の最良の実施の形態について図面を参照して詳細に説明する。   The best mode for carrying out the present invention will be described in detail with reference to the drawings.

図2は、本発明の実施例に係る車両周辺表示装置の構成を示すブロック図である。車両周辺表示装置10は、車両周辺を撮像する撮像カメラを備えた撮像部20と、撮像部20により撮像された撮像データを受け取り、当該撮像データを補正して画像データを生成する画像処理部30と、生成された画像データをディスプレイに表示する表示制御部40とを含む。   FIG. 2 is a block diagram showing the configuration of the vehicle periphery display device according to the embodiment of the present invention. The vehicle periphery display device 10 includes an imaging unit 20 including an imaging camera that captures the periphery of the vehicle, and an image processing unit 30 that receives imaging data captured by the imaging unit 20, corrects the imaging data, and generates image data. And a display control unit 40 that displays the generated image data on a display.

撮像部20は、少なくとも1つの撮像カメラを含み、撮像カメラは、例えば車両の後部、側方、前方に搭載することができる。撮像カメラは、好ましくは、視野角が大きい魚眼レンズを含み、撮像カメラは、魚眼レンズによって撮像された車両周辺の撮像データを出力する。   The imaging unit 20 includes at least one imaging camera, and the imaging camera can be mounted, for example, at the rear, side, or front of the vehicle. The imaging camera preferably includes a fisheye lens having a large viewing angle, and the imaging camera outputs imaging data around the vehicle imaged by the fisheye lens.

魚眼レンズのように視野角の大きな広角レンズでは、レンズの光軸近傍とその周縁部では、収差等によって歪の度合いが大きく異なる。画像処理部30は、このような歪を補正することで、物体とその像との形状の歪や撮像データの面内の位置に依存して生じる歪等を是正する。画像処理部30は、例えば、コンピュータ装置の汎用の中央処理装置によって実行されたり、あるいは専用の画像処理プロセッサによって実行される。また、画像処理部30は、ハードウエアによる処理のみならず、ハードウエアを制御するプログラムを含むものであってもよい。   In a wide-angle lens with a large viewing angle such as a fisheye lens, the degree of distortion differs greatly depending on aberrations or the like in the vicinity of the optical axis of the lens and its peripheral portion. The image processing unit 30 corrects such a distortion, thereby correcting the distortion of the shape of the object and its image, the distortion generated depending on the position in the plane of the imaging data, and the like. The image processing unit 30 is executed, for example, by a general-purpose central processing unit of a computer device or by a dedicated image processing processor. The image processing unit 30 may include a program for controlling hardware as well as processing by hardware.

図3は、魚眼レンズにより撮像された物体とその像との関係を説明する図である。魚眼レンズLの光軸をZとし、その視野角を約180度としたとき、魚眼レンズLによって半径sで表される三次元空間が撮像可能範囲となる。Mは、魚眼レンズLによって撮像される物体pが存在する計測平面を示し、Iは、物体pが魚眼レンズLによって撮像されたときの像Pが存在する画像平面を示している。(x、y)は、画像平面Iの像の座標、(Cx、Cy)は、画像主点、θは物体pの入射角、φは、像Pのx軸との成す角である。図3に示す物体pと像Pの関係は、次式によって表すことができる。   FIG. 3 is a diagram for explaining the relationship between an object imaged by a fisheye lens and its image. When the optical axis of the fisheye lens L is Z and the viewing angle is about 180 degrees, the three-dimensional space represented by the radius s by the fisheye lens L is an imageable range. M indicates a measurement plane where the object p imaged by the fisheye lens L exists, and I indicates an image plane where the image P exists when the object p is imaged by the fisheye lens L. (X, y) is the coordinates of the image on the image plane I, (Cx, Cy) is the image principal point, θ is the incident angle of the object p, and φ is the angle formed with the x axis of the image P. The relationship between the object p and the image P shown in FIG. 3 can be expressed by the following equation.

Figure 0005305750
Figure 0005305750

ここで、r(θ)は、画像平面Iにおける像Pと原点0の距離であり、歪曲収差を意味する。また、m、mは、水平・垂直方向の単位ピクセル数、fは、魚眼レンズの焦点距離、(U、V)は、歪補正された画像座標である。 Here, r (θ) is the distance between the image P on the image plane I and the origin 0, and means distortion. Also, m u and m v are the number of unit pixels in the horizontal and vertical directions, f is the focal length of the fisheye lens, and (U, V) are image coordinates after distortion correction.

計測平面Mの物体pは、魚眼レンズLによって撮像されると、画像平面Iの像Pに変換される。画像処理部30は、計測平面Mの物体pと、光軸Zが計測平面Mと交差する交点P´までの距離d1と、像Pと原点0までの距離d2の対応から補正を行う。   When the object p on the measurement plane M is imaged by the fisheye lens L, it is converted into an image P on the image plane I. The image processing unit 30 performs correction from the correspondence between the object p on the measurement plane M, the distance d1 to the intersection P ′ where the optical axis Z intersects the measurement plane M, and the distance d2 to the image P and the origin 0.

上記したように、魚眼レンズLで撮像された撮像データは、周辺部の像高が光軸近傍の像高よりも小さくなる。言い換えれば、撮像データの周辺部では、距離d1と距離d2の差分Δdが大きくなり、光軸近傍では、距離d1とd2の差分Δdが小さくなる。本実施例では、周辺部の差分Δdが小さくなるように、光軸近傍の差分Δdが大きくなるようにし、撮像データの全体の歪を緩和する。   As described above, in the image data captured by the fisheye lens L, the image height of the peripheral portion is smaller than the image height near the optical axis. In other words, the difference Δd between the distance d1 and the distance d2 increases in the peripheral portion of the imaging data, and the difference Δd between the distances d1 and d2 decreases in the vicinity of the optical axis. In this embodiment, the difference Δd in the vicinity of the optical axis is increased so as to reduce the difference Δd in the peripheral portion, thereby reducing the overall distortion of the imaging data.

上記の式において、r(θ)は、レンズの光学設計により決定されるものであり、例えば、オイラーの近似式によって表すことが可能である。近似式におけるk1、k3、k5、k7、k9は、係数であり、これらの係数を変更することで、画像平面Iの像(x、y)を補正し、歪補正された画像(U、V)を得ることができる。歪補正された画像(U、V)は、周辺部の差分Δdが小さく、光軸近傍の差分Δdが大きくなり、これにより、画像平面内における位置に依存した歪の度合いが是正される。   In the above equation, r (θ) is determined by the optical design of the lens, and can be represented by, for example, Euler's approximate equation. K1, k3, k5, k7, and k9 in the approximate expression are coefficients. By changing these coefficients, the image (x, y) of the image plane I is corrected, and the distortion-corrected image (U, V) ) Can be obtained. The distortion-corrected image (U, V) has a small difference Δd in the peripheral portion and a large difference Δd in the vicinity of the optical axis, thereby correcting the degree of distortion depending on the position in the image plane.

次に、本実施例の車両周辺表示装置の好ましい補正例について説明する。図4は、魚眼レンズによって撮像された撮像データのディスプレイ上の表示領域を示している。表示領域100の各画素は、図3に示す画像平面Iの像P(すなわち、歪補正された像)に対応する。ここで、光軸近傍の中心領域110の座標をA1,A2、A3、A4とし、これに近接する左右の周辺領域120、130の座標をB1〜B4、B5〜B8とする。   Next, a preferred correction example of the vehicle periphery display device of this embodiment will be described. FIG. 4 shows a display area on the display of the imaging data imaged by the fisheye lens. Each pixel of the display area 100 corresponds to an image P (that is, a distortion-corrected image) on the image plane I shown in FIG. Here, the coordinates of the central region 110 in the vicinity of the optical axis are A1, A2, A3, and A4, and the coordinates of the left and right peripheral regions 120 and 130 adjacent thereto are B1 to B4 and B5 to B8.

図5は、中心領域と周辺領域の具体的な補正例を示している。縦軸は像高、横軸は画角(光軸から物体の距離d1またはd2に対応)である。曲線K1は、魚眼レンズLの光学設計値に従うときの画角と像高の関係を示し、曲線K2は、本実施例による歪補正されたときの画角と像高の関係を示している。画角の範囲H1は、図4に示す中心領域110に対応し、画角の範囲H2は、周辺領域120または130に対応している。画角の範囲H1では、歪補正された像高の変化率が光学設計値の像高の変化率よりも小さくなり、画角の範囲H2では、歪補正された像高の変化率が光学設計値の像高の変化率よりも大きくなっている。   FIG. 5 shows a specific correction example of the central region and the peripheral region. The vertical axis is the image height, and the horizontal axis is the angle of view (corresponding to the distance d1 or d2 of the object from the optical axis). A curve K1 shows the relationship between the angle of view and the image height when following the optical design value of the fisheye lens L, and a curve K2 shows the relationship between the angle of view and the image height when distortion correction is performed according to this embodiment. The field angle range H1 corresponds to the central region 110 shown in FIG. 4, and the field angle range H2 corresponds to the peripheral region 120 or 130. In the angle of view range H1, the change rate of the image height after distortion correction is smaller than the change rate of the image height of the optical design value. In the angle of view range H2, the change rate of the image height after distortion correction is the optical design. It is larger than the rate of change of the image height of the value.

図6は、本実施例により歪補正をしたときの表示を示し、図6(a)は、図1(a)に対応し、図6(b)は図2(b)に対応している。図6(a)と図1(a)と比較すると、歪補正された画像データでは、周辺部の像高変化が大きくされるため、従来よりも車両1が大きく表示されている。これによりユーザは、車両1までの距離感を掴みやすくなる。また、図6(b)と図1(b)を比較すると、歪補正された画像データでは、中心部の像高変化が小さくされるため、従来よりも車両1の形状の歪が小さく表示される。   FIG. 6 shows a display when distortion correction is performed according to the present embodiment. FIG. 6 (a) corresponds to FIG. 1 (a), and FIG. 6 (b) corresponds to FIG. 2 (b). . Compared with FIG. 6A and FIG. 1A, in the image data subjected to the distortion correction, the image height change in the peripheral portion is increased, so that the vehicle 1 is displayed larger than the conventional one. As a result, the user can easily grasp the sense of distance to the vehicle 1. Further, when FIG. 6B is compared with FIG. 1B, in the image data subjected to the distortion correction, the change in the image height at the center is reduced, so that the distortion of the shape of the vehicle 1 is displayed smaller than the conventional one. The

なお、上記例では、1つの中心領域110と、2つの周辺領域120、130を設定したが、設定する範囲や数は、適宜変更することができる。例えば、4つの周辺領域を撮像データの4つのコーナーに設定してもよい。さらに、歪補正を領域毎に複数のレベルで可変するようにしてもよい。例えば、図7に示すように、表示領域100を、光軸からの距離が遠ざかるにつれて複数の楕円領域140、150、160に設定し、各楕円領域140、150、160の像高の変化率を調整するようにしてもよい。   In the above example, one central region 110 and two peripheral regions 120 and 130 are set, but the range and number to be set can be changed as appropriate. For example, four peripheral areas may be set at four corners of the imaging data. Further, the distortion correction may be varied at a plurality of levels for each region. For example, as shown in FIG. 7, the display area 100 is set to a plurality of elliptical areas 140, 150, 160 as the distance from the optical axis increases, and the change rate of the image height of each elliptical area 140, 150, 160 is set. You may make it adjust.

本実施例の車両周辺表示装置10は、撮像部20によって撮像された撮像データを車両真上から視点変換されたトップビュー画像に適用することも可能である。図8はトップビュー画像の表示例である。トップビュー画像200は、車両の前方画像F、左右の画像SR、SL、および後方画像Rを含んでいる。各画像F、SR、SL、Rは、広角レンズを有する撮像カメラによって撮像された撮像データを視点変換したものである。少ない撮像カメラによって自車周辺を撮像するためには、視野角の大きい広角レンズを用いる必要があり、この場合にも、撮像データに歪が生じる。従って、各画像F、SR、SL、Fについて、本実施例の歪補正を適用することで、歪の少ないトップビュー画像を得ることができる。   The vehicle periphery display device 10 according to the present embodiment can also apply the imaging data captured by the imaging unit 20 to a top view image whose viewpoint is converted from directly above the vehicle. FIG. 8 is a display example of a top view image. The top view image 200 includes a front image F, left and right images SR and SL, and a rear image R of the vehicle. Each of the images F, SR, SL, and R is obtained by performing viewpoint conversion on imaging data captured by an imaging camera having a wide-angle lens. In order to image the periphery of the vehicle with a small number of imaging cameras, it is necessary to use a wide-angle lens with a large viewing angle, and in this case as well, distortion occurs in the imaging data. Therefore, a top view image with less distortion can be obtained by applying the distortion correction of the present embodiment to each of the images F, SR, SL, and F.

以上、本発明の好ましい実施の形態について詳述したが、本発明に係わる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。   The preferred embodiments of the present invention have been described in detail above. However, the present invention is not limited to specific embodiments according to the present invention, and various modifications can be made within the scope of the gist of the present invention described in the claims. Deformation / change is possible.

本実施例の車両周辺表示装置は、例えば車両に搭載されたナビゲーション装置やビデオ装置に組み込まれたシステムの一部として機能するものであってもよいし、単体として機能するものであってもよい。さらに車両周辺表示装置は、撮像された物体までの距離を計測する計測技術と相まって、物体への警告を行うものであってもよい。   The vehicle periphery display device according to the present embodiment may function as a part of a system incorporated in a navigation device or a video device mounted on a vehicle, for example, or may function as a single unit. . Furthermore, the vehicle periphery display device may be a device that issues a warning to an object in combination with a measurement technique that measures the distance to the imaged object.

従来の車両周辺表示装置において、図1(a)は遠距離の物体を撮像したときの表示例、図1(b)は近距離の物体を撮像したときの表示例である。In a conventional vehicle periphery display device, FIG. 1A shows a display example when an object at a long distance is imaged, and FIG. 1B shows an example display when an object at a short distance is imaged. 本発明の実施例に係る車両周辺表示装置の構成を示すブロック図である。It is a block diagram which shows the structure of the vehicle periphery display apparatus which concerns on the Example of this invention. 魚眼レンズにより撮像された物体とその像との関係を説明する図である。It is a figure explaining the relationship between the object imaged with the fisheye lens, and its image. 魚眼レンズによって撮像された撮像データのディスプレイ上の表示領域を示す図である。It is a figure which shows the display area on the display of the imaging data imaged with the fisheye lens. 中心領域と周辺領域の補正例を説明する図である。It is a figure explaining the correction example of a center area | region and a periphery area | region. 本実施例の車両周辺表示装置において、図6(a)は遠距離の物体を撮像したときの表示例、図6(b)は近距離の物体を撮像したときの表示例である。In the vehicle periphery display device of the present embodiment, FIG. 6A shows a display example when an image of a long-distance object is imaged, and FIG. 6B shows a display example when an image of a short-distance object is imaged. 本実施例における他の歪補正の方法を説明する図である。It is a figure explaining the other distortion correction method in a present Example. 本実施例を適用したトップビュー画像を示す図である。It is a figure which shows the top view image to which a present Example is applied.

符号の説明Explanation of symbols

1:車両 2:車線
10:車両周辺表示装置 20:撮像部
30:画像処理部 40:表示制御部
100:表示領域 110:中央領域
120、130:周辺領域 200:トップビュー画像
1: vehicle 2: lane 10: vehicle periphery display device 20: imaging unit 30: image processing unit 40: display control unit 100: display region 110: central region 120, 130: peripheral region 200: top view image

Claims (7)

車両周辺を表示する車両周辺表示装置であって、
魚眼レンズを用いて車両周辺を撮像し、魚眼レンズによって撮像された2次元座標の撮像データを生成する撮像手段と、
前記撮像データを補正する画像処理手段と、
前記画像処理手段で補正された撮像データをディスプレイに表示する表示手段とを有し、
前記画像処理手段は、魚眼レンズの光学設計値に従う画角と像高の関係と比較して、前記魚眼レンズの光軸から一定距離以上にある物体の像高の変化率が前記光学設計値の像高の変化率よりも大きく、前記一定距離未満にある物体の像高の変化率が前記光学設計値の像高の変化率よりも小さくなるように撮像データを補正する、
車両周辺表示装置。
A vehicle periphery display device for displaying a vehicle periphery,
An imaging means for imaging the surroundings of the vehicle by using a fisheye lens and image pickup data of the two-dimensional coordinates that have been captured by the fisheye lens,
Image processing means for correcting the imaging data;
Display means for displaying the imaging data corrected by the image processing means on a display;
Wherein the image processing means compares the relationship between the angle and the image height in accordance with the optical design values of the fisheye lens, the image height of the rate of change of the object from the optical axis of the fisheye lens beyond a certain distance of the optical design values The imaging data is corrected so that the change rate of the image height of the object that is larger than the change rate of the image height and less than the certain distance is smaller than the change rate of the image height of the optical design value
Vehicle periphery display device.
前記補正された撮像データは、前記魚眼レンズの光軸から一定の距離未満に対応する第1の領域において像高が減少された画像データを含み、前記一定の距離以上に対応する第2の領域において像高が増加された画像データを含む、請求項1に記載の車両周辺表示装置。The corrected imaging data includes image data in which an image height is reduced in a first region corresponding to less than a certain distance from the optical axis of the fisheye lens, and in a second region corresponding to the certain distance or more. The vehicle periphery display device according to claim 1, comprising image data with an increased image height. 車両周辺を表示する車両周辺表示装置であって、
魚眼レンズを用いて車両周辺を撮像し、魚眼レンズによって撮像された2次元座標の撮像データを生成する撮像手段と、
前記撮像データを補正する画像処理手段と、
前記画像処理手段で補正された撮像データをディスプレイに表示する表示手段とを有し、
前記画像処理手段は、魚眼レンズの光学設計値に従う画角と像高の関係と比較して、前記撮像手段の魚眼レンズへの物体の入射角が一定角度以上にある物体の像高の変化率が前記光学設計値の像高の変化率よりも大きく、前記一定の角度未満にある物体の像高の変化率が前記光学設計値の像高の変化率よりも小さくなるように撮像データを補正する、車両周辺表示装置。
A vehicle periphery display device for displaying a vehicle periphery,
An imaging means for imaging the surroundings of the vehicle by using a fisheye lens and image pickup data of the two-dimensional coordinates that have been captured by the fisheye lens,
Image processing means for correcting the imaging data;
Display means for displaying the imaging data corrected by the image processing means on a display;
Wherein the image processing means compares the angle and an image height relationship in accordance with the optical design values of the fisheye lens, the object changes the incident angle of the object image height in more than a certain angle to the fisheye lens of the image pickup means The imaging data is adjusted such that the rate of change of the image height of the optical design value is larger than the rate of change of the image height of the optical design value, and the rate of change of the image height of the object that is less than the certain angle is smaller than the rate of change of the image height of the optical design value. The vehicle periphery display device to be corrected.
前記補正された撮像データは、前記魚眼レンズの光軸から一定の角度未満に対応する第1の領域において像高が減少された画像データを含み、前記一定の角度以上に対応する第2の領域において像高が増加された画像データを含む、請求項に記載の車両周辺表示装置。 The corrected imaging data was includes image data the image height in the first region is decreased corresponding to less than a certain angle from the optical axis of the fisheye lens, the second corresponding to the above said predetermined angle The vehicle periphery display device according to claim 3 , comprising image data in which an image height is increased in a region. 前記画像処理手段は、前記撮像手段が次式に従い撮像データを生成するとき、k1、k3、k5、k7、k9の値を補正する(但し、θは光軸と入射光の角度、fは魚眼レンズの焦点距離、r(θ)は画像の点と原点の距離での歪曲収差、(Cx、Cy)は撮像データの画像主点、(x、y)は入力画像(画像主点を原点とする)、m、mは水平、垂直方向のピクセル数、k1、k3、k5、k7、k9は係数)、請求項1ないし4いずれか1つに記載の車両周辺表示装置。
Figure 0005305750
The image processing means corrects the values of k1, k3, k5, k7, and k9 when the imaging means generates imaging data according to the following equation (where θ is the angle between the optical axis and the incident light, and f is the fish The focal length of the eye lens, r (θ) is the distortion at the distance between the image point and the origin, (Cx, Cy) is the image principal point of the imaging data, (x, y) is the input image (image principal point is the origin) The vehicle periphery display device according to any one of claims 1 to 4, wherein m u and m v are horizontal and vertical pixel numbers, and k1, k3, k5, k7, and k9 are coefficients).
Figure 0005305750
前記画像処理手段は、前記補正された撮像データを視点変換し、自車を真上から見下ろすような画像データに変換する手段を含む、請求項1または3に記載の車両周辺表示装置。 The vehicle periphery display device according to claim 1, wherein the image processing means includes means for converting the corrected imaging data into a viewpoint and converting the image data into image data such that the own vehicle is looked down from directly above. 魚眼レンズを用いて車両周辺を撮像し、魚眼レンズによって撮像された2次元座標の撮像データを生成し、生成された撮像データを用いて車両周辺を表示する車両周辺表示方法であって、
前記魚眼レンズの光学設計値に従う画角と像高の関係と比較して、前記魚眼レンズの光軸から一定距離以上にある物体の像高の変化率が前記光学設計値の像高の変化率よりも大きく、前記一定距離未満にある物体の像高の変化率が前記光学設計値の像高の変化率よりも小さくなるように撮像データを補正するステップと、
補正された撮像データをディスプレイに表示するステップと、
を有する車両周辺表示方法。
Imaging the surroundings of the vehicle by using a fisheye lens, and image pickup data of the two-dimensional coordinates that have been captured by the fisheye lens, a vehicle peripheral display method for displaying a peripheral vehicle using the generated imaged data,
Compared to the relationship between the angle of view and the image height according to the optical design value of the fisheye lens, the change rate of the image height of an object that is more than a certain distance from the optical axis of the fisheye lens is higher than the change rate of the image height of the optical design value. Correcting the imaging data so that the rate of change of the image height of an object that is large and less than the certain distance is smaller than the rate of change of the image height of the optical design value ;
Displaying the corrected imaging data on a display;
A vehicle periphery display method comprising:
JP2008159587A 2008-06-18 2008-06-18 Vehicle periphery display device and display method thereof Expired - Fee Related JP5305750B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008159587A JP5305750B2 (en) 2008-06-18 2008-06-18 Vehicle periphery display device and display method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008159587A JP5305750B2 (en) 2008-06-18 2008-06-18 Vehicle periphery display device and display method thereof

Publications (2)

Publication Number Publication Date
JP2010003014A JP2010003014A (en) 2010-01-07
JP5305750B2 true JP5305750B2 (en) 2013-10-02

Family

ID=41584709

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008159587A Expired - Fee Related JP5305750B2 (en) 2008-06-18 2008-06-18 Vehicle periphery display device and display method thereof

Country Status (1)

Country Link
JP (1) JP5305750B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101428169B1 (en) 2012-07-09 2014-08-07 현대자동차주식회사 Apparatus and method for correcting image distortion of rear camera
US10281272B2 (en) 2014-10-29 2019-05-07 Hitachi Automotive Systems, Ltd. Optical system that widens an image capture view angle
KR101807090B1 (en) * 2016-06-20 2017-12-08 현대오트론 주식회사 Apparatus and method for revising image distortion
JP2019145977A (en) * 2018-02-20 2019-08-29 マツダ株式会社 Vehicle display device
CN113615151B (en) * 2019-03-26 2024-08-23 索尼半导体解决方案公司 Vehicle-mounted camera apparatus and image distortion correction method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002127852A (en) * 2000-10-27 2002-05-09 Aisin Seiki Co Ltd Vehicle peripheral area display device
JP4766841B2 (en) * 2003-09-08 2011-09-07 株式会社オートネットワーク技術研究所 Camera device and vehicle periphery monitoring device mounted on vehicle
JP4825980B2 (en) * 2007-03-06 2011-11-30 国立大学法人岩手大学 Calibration method for fisheye camera.

Also Published As

Publication number Publication date
JP2010003014A (en) 2010-01-07

Similar Documents

Publication Publication Date Title
US8130270B2 (en) Vehicle-mounted image capturing apparatus
CN102045546B (en) Panoramic parking assist system
JP4695167B2 (en) Method and apparatus for correcting distortion and enhancing an image in a vehicle rear view system
US8514282B2 (en) Vehicle periphery display device and method for vehicle periphery image
WO2009116327A1 (en) Image processing device and method, driving support system, and vehicle
JP5321711B2 (en) Vehicle periphery monitoring device and video display method
TWI578271B (en) Dynamic image processing method and dynamic image processing system
WO2010137265A1 (en) Device for monitoring area around vehicle
JP5213063B2 (en) Vehicle display device and display method
JP5090126B2 (en) In-vehicle imaging device
JP2009081664A (en) Vehicle periphery monitoring apparatus and image display method
EP2061234A1 (en) Imaging apparatus
JP2013183298A (en) Rearward visibility support device for vehicle and rearward visibility support method for vehicle
JP5305750B2 (en) Vehicle periphery display device and display method thereof
JP6167824B2 (en) Parking assistance device
CN110651295A (en) Image processing apparatus, image processing method, and program
US8848050B2 (en) Drive assist display apparatus
US11273763B2 (en) Image processing apparatus, image processing method, and image processing program
CN113508574A (en) Imaging system and method
JP2015184907A (en) Image processor and image processing program
JP5861871B2 (en) Overhead image presentation device
US11377027B2 (en) Image processing apparatus, imaging apparatus, driving assistance apparatus, mobile body, and image processing method
US9067538B2 (en) Drive assist display apparatus
JP2008140401A (en) Driving support device
JP6439233B2 (en) Image display apparatus for vehicle and image processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110404

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120601

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121023

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130625

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130625

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5305750

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees