Nothing Special   »   [go: up one dir, main page]

JP5136071B2 - Vehicle rear monitoring device and vehicle rear monitoring method - Google Patents

Vehicle rear monitoring device and vehicle rear monitoring method Download PDF

Info

Publication number
JP5136071B2
JP5136071B2 JP2008006091A JP2008006091A JP5136071B2 JP 5136071 B2 JP5136071 B2 JP 5136071B2 JP 2008006091 A JP2008006091 A JP 2008006091A JP 2008006091 A JP2008006091 A JP 2008006091A JP 5136071 B2 JP5136071 B2 JP 5136071B2
Authority
JP
Japan
Prior art keywords
vehicle
obstacle
display
area
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008006091A
Other languages
Japanese (ja)
Other versions
JP2009166624A (en
Inventor
聡 知野見
柳  拓良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2008006091A priority Critical patent/JP5136071B2/en
Publication of JP2009166624A publication Critical patent/JP2009166624A/en
Application granted granted Critical
Publication of JP5136071B2 publication Critical patent/JP5136071B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、車両後方の映像を表示手段に表示して車両乗員に提示する車両用後方監視装置および車両後方監視方法に関する。   The present invention relates to a vehicle rear monitoring apparatus and a vehicle rear monitoring method for displaying an image of a vehicle rear on a display means and presenting the image to a vehicle occupant.

従来、この種の車両用後方監視装置として、レンズの焦点距離を変更可能なカメラを車両後部に設置して、車両後退時には短焦点で広角の映像をカメラで撮影してモニタに表示するとともに、車両前進時には長焦点で標準画角の映像をカメラで撮影してモニタに表示するようにしたものが提案されている(例えば、特許文献1参照。)。
特許第2955107号公報
Conventionally, as this type of vehicle rear monitoring device, a camera capable of changing the focal length of the lens is installed at the rear of the vehicle, and when the vehicle is moving backward, a short-focus and wide-angle image is captured and displayed on the monitor. There has been proposed a technique in which a video with a long focus and a standard angle of view is captured by a camera and displayed on a monitor when the vehicle moves forward (see, for example, Patent Document 1).
Japanese Patent No. 2955107

特許文献1に記載の車両用後方監視装置のように、車両前進時に車両後退時よりも狭い画角で撮影した映像をモニタ表示するようにすれば、車両乗員がモニタで確認する後続車両との距離感やスピード感を、ルームミラーなどで確認した場合に近づけることができると考えられる。しかしながら、カメラの画角を狭くして映像を撮影すると、その分、映像として撮影されない死角領域が拡大するため、車両前進時に車両後方の障害物がこの死角領域に入ると、車両後方に障害物が存在することを車両乗員に報知できない、という問題がある。   As in the case of the vehicle rear monitoring apparatus described in Patent Document 1, when a video image captured at a narrower angle of view is displayed on the monitor when the vehicle moves forward, the vehicle occupant can check with the subsequent vehicle that the monitor confirms on the monitor. It is considered that the sense of distance and the sense of speed can be brought closer when confirmed with a room mirror. However, if the image is taken with a narrow angle of view of the camera, the blind spot area that is not captured as an image expands accordingly, so if an obstacle behind the vehicle enters this blind spot area when the vehicle is moving forward, the obstacle behind the vehicle There is a problem that the vehicle occupant cannot be informed that the vehicle is present.

本発明は、以上のような従来技術の問題点を解消すべく創案されたものであって、車両前進時に距離感やスピード感を正しく把握できる映像を表示しながら、車両後方に障害物が存在すればその障害物の存在を車両乗員に認識させることが可能な車両用後方監視装置および車両後方監視方法を提供することを目的としている。   The present invention was devised to solve the above-described problems of the prior art, and there is an obstacle behind the vehicle while displaying an image that can correctly grasp the sense of distance and speed when the vehicle moves forward. Accordingly, an object of the present invention is to provide a vehicular rearward monitoring apparatus and a vehicle rearward monitoring method that allow a vehicle occupant to recognize the presence of the obstacle.

本発明は、撮像手段で撮像した車両後方の所定領域の映像のうち、車両前進時には車両後退時よりも狭い領域の映像を表示対象として抽出して表示手段に表示するとともに、撮像手段で撮像しているが表示対象として抽出されずに表示手段には表示されない映像の輝度パターンの変化をもとに車両後方の障害物を検知し、障害物の存在を車両乗員に報知することで、前記目的を達成する。 According to the present invention, among images of a predetermined area behind the vehicle imaged by the image pickup means, an image of an area narrower than the time of the vehicle reverse is extracted as a display target when the vehicle moves forward and displayed on the display means, and is also imaged by the image pickup means. The object is detected by detecting an obstacle behind the vehicle based on a change in luminance pattern of an image that is not extracted as a display target but not displayed on the display means, and notifies the vehicle occupant of the presence of the obstacle. To achieve.

本発明によれば、車両前進時に車両後方の狭い領域の映像を表示手段に表示する際に、撮像手段で撮像しているが表示手段には表示されない映像に基づいて車両後方の障害物が検知されるので、車両前進時に距離感やスピード感を正しく把握できる映像を表示しながら、車両後方に障害物が存在すればその障害物の存在を車両乗員に認識させることができる。   According to the present invention, when a video of a narrow area behind the vehicle is displayed on the display means when the vehicle moves forward, an obstacle behind the vehicle is detected based on the video imaged by the imaging means but not displayed on the display means. Therefore, when an obstacle exists behind the vehicle, the vehicle occupant can recognize the presence of the obstacle while displaying an image that can correctly grasp the sense of distance and speed when the vehicle moves forward.

以下、本発明の具体的な実施形態について、図面を参照しながら詳細に説明する。   Hereinafter, specific embodiments of the present invention will be described in detail with reference to the drawings.

図1は、本実施形態の車両用後方監視装置の構成を示すブロック図である。本実施形態の車両用後方監視装置は、図1に示すように、映像処理ユニット10の入力側にリアカメラ1が接続され、映像処理ユニット10の出力側にディスプレイ2およびスピーカ3が接続されて構成される。また、映像処理ユニット10には、車速センサ4、シフト位置センサ5、道路情報取得装置6、操作入力デバイス7が接続されている。   FIG. 1 is a block diagram showing the configuration of the vehicle rear monitoring apparatus of the present embodiment. As shown in FIG. 1, the rear monitoring apparatus for a vehicle according to the present embodiment includes a rear camera 1 connected to the input side of the video processing unit 10, and a display 2 and a speaker 3 connected to the output side of the video processing unit 10. Composed. In addition, a vehicle speed sensor 4, a shift position sensor 5, a road information acquisition device 6, and an operation input device 7 are connected to the video processing unit 10.

リアカメラ1は、本実施形態の車両用後方監視装置が搭載される車両(以下、自車両という。)後部の所定位置、例えば自車両のルーフスポイラーなどに設置され、自車両後方の所定領域の映像を撮影する。このリアカメラ1は、レンズおよび受光素子で構成される光学系を持ち、レンズを通して入射される光をCCDやCMOSなどの受光素子で受光して電気信号に変換し、撮影した映像を画素ごとに数値化した映像信号として出力する。このリアカメラ1としては、自車両近傍に接近してきた他車両(障害物)が撮影範囲に含まれるように、広い撮影画角を持つ広角カメラが用いられる。このリアカメラ1で撮影された自車両後方の映像は、映像処理ユニット10に随時入力される。   The rear camera 1 is installed in a predetermined position at the rear of a vehicle (hereinafter referred to as the host vehicle) on which the vehicle rear monitoring device of the present embodiment is mounted, for example, a roof spoiler of the host vehicle, and is installed in a predetermined area behind the host vehicle. Take a picture. The rear camera 1 has an optical system composed of a lens and a light receiving element, receives light incident through the lens by a light receiving element such as a CCD or CMOS, converts the light into an electrical signal, and takes a photographed image for each pixel. Output as a digitized video signal. As the rear camera 1, a wide-angle camera having a wide shooting angle of view is used so that other vehicles (obstacles) approaching the vicinity of the host vehicle are included in the shooting range. The video behind the host vehicle photographed by the rear camera 1 is input to the video processing unit 10 as needed.

ディスプレイ2は、自車両の車室内のセンターコンソールなど、ドライバにとって見易い位置に設置されており、映像処理ユニット10から出力される映像信号に基づいて、自車両後方の映像を表示する。また、スピーカ3は、自車両の車室内の所定位置に設置され、映像処理ユニット10によって自車両後方の障害物が検知されたときに警告音を出力する。   The display 2 is installed at a position that is easy for the driver to see, such as a center console in the passenger compartment of the host vehicle, and displays an image behind the host vehicle based on the video signal output from the video processing unit 10. The speaker 3 is installed at a predetermined position in the passenger compartment of the host vehicle, and outputs a warning sound when an obstacle behind the host vehicle is detected by the video processing unit 10.

車速センサ4は、自車両の走行速度を検出するものであり、シフト位置センサ5は、自車両のシフト位置(ギヤポジションの位置)を検出するものである。これら車速センサ4やシフト位置センサ5による検出信号は、映像処理ユニット10に入力される。   The vehicle speed sensor 4 detects a traveling speed of the host vehicle, and the shift position sensor 5 detects a shift position (gear position) of the host vehicle. Detection signals from the vehicle speed sensor 4 and the shift position sensor 5 are input to the video processing unit 10.

道路情報取得装置6は、自車両が走行している道路に関する情報を取得するものであり、例えば、自車位置を検出してマップマッチングを行う機能を有する車載ナビゲーション装置や、路車間通信により自車両が走行している道路の情報を取得する通信装置などが用いられる。この道路情報取得装置6により取得された情報は、映像処理ユニット10に入力される。   The road information acquisition device 6 acquires information related to the road on which the host vehicle is traveling. For example, the road information acquisition device 6 detects the position of the host vehicle and performs a map matching function. A communication device that acquires information on the road on which the vehicle is traveling is used. Information acquired by the road information acquisition device 6 is input to the video processing unit 10.

操作入力デバイス7は、自車両のドライバによる操作入力を受け付けるものであり、例えば各種の操作ボタンやジョイスティックなどが用いられる。また、ディスプレイ2の表示画面にタッチパネルを設け、このタッチパネルを操作入力デバイス7として用いるようにしてもよい。この操作入力デバイス7を用いた自車両のドライバによる操作入力は、映像処理ユニット10に入力される。   The operation input device 7 receives an operation input by the driver of the host vehicle, and various operation buttons, a joystick, etc. are used, for example. Further, a touch panel may be provided on the display screen of the display 2 and this touch panel may be used as the operation input device 7. An operation input by the driver of the own vehicle using the operation input device 7 is input to the video processing unit 10.

映像処理ユニット10は、所定の処理プログラムが格納されたマイクロコンピュータなどの情報処理装置を備えて構成され、CPUなどの演算装置でこのプログラムを実行することによって、リアカメラ1により撮影された自車両後方の映像をディスプレイ2に表示させるとともに、リアカメラ1の撮影映像のうちでディスプレイ2に表示されない映像を用いて自車両後方の障害物を検知して、自車両のドライバに報知する処理を行う。この映像処理ユニット10は、その構成を機能的に捉えた場合、図2に示すように、映像入力部11と、表示映像抽出部12と、映像出力部13と、障害物検知部14と、障害物報知部15とを備えた構成とされる。   The video processing unit 10 includes an information processing device such as a microcomputer in which a predetermined processing program is stored, and the host vehicle photographed by the rear camera 1 by executing this program with an arithmetic device such as a CPU. A rear image is displayed on the display 2 and an obstacle that is not displayed on the display 2 is detected from images captured by the rear camera 1 to detect an obstacle behind the host vehicle and notify the driver of the host vehicle. . As shown in FIG. 2, the video processing unit 10 has a video input unit 11, a display video extraction unit 12, a video output unit 13, an obstacle detection unit 14, The obstacle notification unit 15 is provided.

映像入力部11は、リアカメラ1による撮影映像のフレームサイズに対応した入力バッファを備える。リアカメラ1により撮影された自車両後方の映像のデータは、この映像入力部11の入力バッファに、フレームごとに随時更新されながら格納される。   The video input unit 11 includes an input buffer corresponding to the frame size of the video shot by the rear camera 1. The data of the video behind the host vehicle photographed by the rear camera 1 is stored in the input buffer of the video input unit 11 while being updated every frame.

表示映像抽出部12は、映像入力部11の入力バッファに格納されたリアカメラ1の撮影映像のうちで、ディスプレイ2に表示させる表示映像を抽出する。ここで、表示映像抽出部12は、シフト位置センサ5の検出信号などに基づいて自車両の進行方向が前進か後退かを判断し、自車両が後退走行中であれば、リアカメラ1により撮影される車両後方の所定領域の映像のうちで比較的広い第1の領域の映像を、ディスプレイ2に表示させる表示映像として抽出し、自車両が前進走行中であれば、第1の領域よりも狭い領域である第2の領域の映像を、ディスプレイ2に表示させる表示映像として抽出する。   The display video extraction unit 12 extracts a display video to be displayed on the display 2 from the captured video of the rear camera 1 stored in the input buffer of the video input unit 11. Here, the display image extraction unit 12 determines whether the traveling direction of the host vehicle is moving forward or backward based on the detection signal of the shift position sensor 5 or the like. The image of the relatively wide first region is extracted as the display image to be displayed on the display 2 from the image of the predetermined region behind the vehicle, and if the host vehicle is traveling forward, it is more than the first region. The video of the second area, which is a narrow area, is extracted as a display video to be displayed on the display 2.

具体的には、表示映像抽出部12は、自車両が後退走行中であれば、自車両近傍の路面を含む広い範囲をドライバが確認できるようにするために、図3に示すように、リアカメラ1で撮影された自車両後方の所定領域の映像Pのうちで、比較的広い範囲(例えば水平画角が120度程度)の映像P1を表示映像として抽出する。一方、自車両が前進走行中であれば、表示映像抽出部12は、後退走行時よりも狭い範囲の映像P2を表示映像として抽出する。これは、前進走行中にあまり広い範囲の映像をディスプレイ2に表示させると、例えば後続車両が映像として映し出されているときに、その後続車両の見え方がルームミラーに映る後続車両の見え方と大きく異なったものとなり、後続車両が実際の位置よりも遠方に存在するものとドライバが誤認する虞があるからである。これを回避するために、表示映像抽出部12は、自車両が前進走行のときは、ディスプレイ2に表示させる映像の画角を例えば30度程度に狭くして、ルームミラーのミラー反射像に近づけるようにしている。なお、自車両が前進走行のときにディスプレイ2に表示させる映像の画角は、ルームミラーの大きさやディスプレイ2の大きさなどに応じて、最適な画角に設定すればよい。   Specifically, as shown in FIG. 3, the display image extraction unit 12 is configured so that the driver can check a wide range including the road surface in the vicinity of the host vehicle when the host vehicle is traveling backward. A video P1 in a relatively wide range (for example, a horizontal angle of view of about 120 degrees) is extracted as a display video from the video P in a predetermined area behind the host vehicle photographed by the camera 1. On the other hand, if the host vehicle is traveling forward, the display image extraction unit 12 extracts the image P2 in a narrower range as the display image than when traveling backward. This is because, when an image of a very wide range is displayed on the display 2 while traveling forward, for example, when the subsequent vehicle is displayed as an image, the appearance of the subsequent vehicle is reflected in the rearview mirror. This is because the driver may misunderstand that the following vehicle exists far from the actual position. In order to avoid this, when the host vehicle is traveling forward, the display image extraction unit 12 narrows the angle of view of the image displayed on the display 2 to, for example, about 30 degrees to bring it closer to the mirror reflection image of the room mirror. I am doing so. Note that the angle of view of the image displayed on the display 2 when the host vehicle is traveling forward may be set to an optimum angle of view according to the size of the room mirror, the size of the display 2, and the like.

映像出力部13は、ディスプレイ2に表示される表示映像のフレームサイズに対応した出力バッファを備える。表示映像抽出部12により抽出された表示映像のデータは、この出力バッファに格納される。映像出力部13は、この出力バッファに格納された表示映像のデータを、ディスプレイ2に随時出力する。これにより、自車両が後退走行中であれば、例えば図4(a)に示すように、自車両後方の比較的広い領域の映像がディスプレイ2に表示され、自車両が前進走行中であれば、例えば図4(b)に示すように、自車両後方の比較的狭い領域の映像が、ルームミラーのミラー反射像と同等の映像サイズに拡大されてディスプレイ2に表示される。   The video output unit 13 includes an output buffer corresponding to the frame size of the display video displayed on the display 2. The display video data extracted by the display video extraction unit 12 is stored in this output buffer. The video output unit 13 outputs the display video data stored in the output buffer to the display 2 as needed. Thus, if the host vehicle is traveling backward, for example, as shown in FIG. 4A, an image of a relatively wide area behind the host vehicle is displayed on the display 2, and if the host vehicle is traveling forward. For example, as shown in FIG. 4B, an image of a relatively narrow area behind the host vehicle is enlarged to an image size equivalent to the mirror reflection image of the rearview mirror and displayed on the display 2.

以上のように、本実施形態の車両用後方監視装置では、自車両が前進走行中であれば、自車両後方の比較的狭い領域の映像をルームミラーの反射像と同等の映像サイズに拡大してディスプレイ2に表示させるようにしているので、例えば自車両に追従する後続車両などをディスプレイ2の表示映像で確認する際に、その後続車両との距離感やスピード感を自車両のドライバに正しく把握させることができる。その一方で、自車両の前進走行中にディスプレイ2に表示される表示映像の画角が狭くなることに伴い、リアカメラ1で撮影はされているものの映像として表示されない自車両後方の死角領域が拡大するため、例えば自車両を追い越そうとしている二輪車などの障害物がこの死角領域に入ると、障害物が存在していることを自車両のドライバに認識させることができなくなるという問題が生じる。そこで、本実施形態の車両用後方監視装置では、映像処理ユニット10に障害物検知部14および障害物報知部15を設け、リアカメラ1の撮影映像のうちでディスプレイ2に表示されない映像を用いて自車両後方の障害物を検知し、障害物が存在する場合にはその旨を自車両のドライバに報知するようにしている。   As described above, in the vehicular rear monitoring apparatus of the present embodiment, if the host vehicle is traveling forward, the image of a relatively narrow area behind the host vehicle is enlarged to a video size equivalent to the reflection image of the room mirror. For example, when confirming, for example, a subsequent vehicle following the host vehicle on the display image of the display 2, the distance and speed feeling with the subsequent vehicle are correctly displayed to the driver of the host vehicle. It can be grasped. On the other hand, as the angle of view of the display image displayed on the display 2 becomes narrower while the host vehicle is traveling forward, there is a blind spot area behind the host vehicle that is captured by the rear camera 1 but not displayed as an image. For example, if an obstacle such as a two-wheeled vehicle trying to pass the host vehicle enters this blind spot area, the driver of the host vehicle cannot recognize that the obstacle exists. . Therefore, in the vehicle rear monitoring apparatus according to the present embodiment, the image processing unit 10 is provided with the obstacle detection unit 14 and the obstacle notification unit 15, and images that are not displayed on the display 2 among the captured images of the rear camera 1 are used. An obstacle behind the host vehicle is detected, and if there is an obstacle, the driver of the host vehicle is notified accordingly.

一般的な乗用車に取り付けられたルームミラーを運転席からみたときに確認できる視野範囲は、車両後方に取り付けられた画角30度のカメラが撮影する視野範囲とほぼ同等である。勿論、ルームミラーの湾曲やリアガラスの大きさ、リアピラーの太さやルームミラーと運転席アイポイント、リアガラスまでの距離などの要素により、対応するカメラ画角は多少変動する。ここで、車幅1.8mの車両後方の中央に取り付けられた画角30度のカメラは、路面に投影したときに長さ3.4m、幅0.9mの三角形領域の死角を持つ。なお、車幅を超える部分についてはドアミラーなどを用いて確認できるため、ここでは死角としていない。   The visual field range that can be confirmed when a rearview mirror attached to a general passenger car is viewed from the driver's seat is substantially the same as the visual field range captured by a camera with an angle of view of 30 degrees attached to the rear of the vehicle. Of course, the corresponding camera angle of view varies somewhat depending on factors such as the curvature of the rearview mirror, the size of the rear glass, the thickness of the rear pillar, the rearview mirror and the driver's seat eye point, and the distance to the rear glass. Here, a camera with an angle of view of 30 degrees attached to the center of the rear of the vehicle having a vehicle width of 1.8 m has a blind spot of a triangular area of 3.4 m in length and 0.9 m in width when projected onto the road surface. In addition, since the part exceeding a vehicle width can be confirmed using a door mirror etc., it is not set as the blind spot here.

本実施形態の車両用後方監視装置では、上述したように、広角カメラであるリアカメラ1により車両後方の広い領域の映像を撮影しているが、自車両が前進走行中であればルームミラーのミラー反射像に近い映像をディスプレイ2に表示させるようにしているので、自車両が前進走行中の場合は、画角30度のカメラで撮影した映像を表示している場合と同等の死角領域が発生する。この死角領域は、例えば自車両後方から自車両を追い越そうとしている二輪車などの障害物が入り込むのに十分な広さを持つため、本実施形態の車両用後方監視装置では、映像処理ユニット10の障害物検知部14によりこの死角領域における障害物有無を判定し、障害物が存在すると判定した場合には障害物報知部15によりその旨を自車両のドライバに報知するようにしている。   In the vehicle rear monitoring apparatus according to the present embodiment, as described above, the rear camera 1 that is a wide-angle camera captures an image of a wide area behind the vehicle. Since an image close to a mirror reflection image is displayed on the display 2, when the host vehicle is traveling forward, a blind spot area equivalent to that when displaying an image captured by a camera with an angle of view of 30 degrees is provided. Occur. Since this blind spot area is large enough for an obstacle such as a two-wheeled vehicle to pass the host vehicle from behind the host vehicle, the image processing unit 10 is used in the vehicle rear monitoring apparatus of the present embodiment. The obstacle detection unit 14 determines the presence / absence of an obstacle in the blind spot area, and when it is determined that an obstacle exists, the obstacle notification unit 15 notifies the driver of the vehicle to that effect.

以下、この障害物検知部14および障害物報知部15による処理の具体例について、さらに詳しく説明する。なお、以下では、自車両が前進走行中であることを前提として障害物検知部14および障害物報知部15による処理の具体例を説明するが、自車両が後退走行中にディスプレイ2に表示される映像範囲よりも広い領域の映像をリアカメラ1で撮影していれば、自車両が後退走行中であっても、障害物検知部14および障害物報知部15が同様の処理を行って、自車両後方に障害物が存在することを自車両のドライバに認識させることも可能である。   Hereinafter, specific examples of processing by the obstacle detection unit 14 and the obstacle notification unit 15 will be described in more detail. In the following, a specific example of processing by the obstacle detection unit 14 and the obstacle notification unit 15 will be described on the assumption that the host vehicle is traveling forward. However, the host vehicle is displayed on the display 2 while the host vehicle is traveling backward. If the rear camera 1 captures an image of an area wider than the image range, the obstacle detection unit 14 and the obstacle notification unit 15 perform the same processing even when the host vehicle is traveling backward, It is also possible for the driver of the host vehicle to recognize that an obstacle exists behind the host vehicle.

障害物検知部14は、リアカメラ1により撮影された自車両後方の所定領域の映像のうち、ディスプレイ2に表示されない自車両後方の映像、つまり、映像入力部11の入力バッファに格納された映像のうちで表示映像抽出部12により表示映像として抽出されない映像を用いて、自車両後方の障害物を検知する。具体的には、障害物検知部14は、例えば、ディスプレイ2に表示されない自車両後方の映像の中で路面を背景とした一部の領域をモニタ領域として設定する。そして、このモニタ領域における映像の輝度パターンの変化をもとに、自車両の後方に接近してくる二輪車などの障害物を検知する。   The obstacle detection unit 14 is an image of the rear of the host vehicle that is not displayed on the display 2 among the images of the predetermined area behind the host vehicle captured by the rear camera 1, that is, the video stored in the input buffer of the video input unit 11. Among them, an obstacle behind the host vehicle is detected using an image that is not extracted as a display image by the display image extracting unit 12. Specifically, the obstacle detection unit 14 sets, for example, a part of the area behind the host vehicle that is not displayed on the display 2 with the road surface as the monitor area. Then, an obstacle such as a two-wheeled vehicle approaching the rear of the host vehicle is detected based on the change in the luminance pattern of the video in the monitor area.

この場合、障害物検知部14は、自車両に接近してくる障害物と路面上にある白線やマンホールなど、自車両から遠ざかる物体とを識別できるように、図5に示すように、自車両からの距離が異なる2つ以上の位置にそれぞれモニタ領域を設定することが望ましい。図5に示す例では、自車両後端から1.5m離れた路面上の横1m、縦0.5mの矩形領域を映す映像範囲を第1モニタ領域M1として設定し、自車両後端から2.5m離れた路面上の横1m、縦0.5mの矩形領域を映す映像範囲を第2モニタ領域M2として設定している。なお、モニタ領域M1,M2となる矩形領域の自車両からの距離は、自車両の走行速度に応じて適宜変更することが望ましい。例えば、低速走行中は高速走行中と比較して後続する二輪車などの障害物が自車両により接近してくることが想定されるため、自車両の走行速度が低下した場合には、モニタ領域M1,M2となる矩形領域を自車両に近い位置に変更する。また、モニタ領域M1,M2は、ディスプレイ2に表示されない自車両後方の路面を背景とした領域であるため、例えば、自車両の進行方向(前進、後退)が変化することに伴ってディスプレイ2に表示される映像範囲が変更された場合や、操作入力デバイス7を用いた自車両のドライバによる操作入力に応じてディスプレイ2に表示される映像範囲が変更された場合、モニタ領域M1,M2となる矩形領域の位置は、変更後の表示映像の映像範囲に応じて適宜変更される。   In this case, as shown in FIG. 5, the obstacle detection unit 14 can identify an obstacle approaching the host vehicle and an object moving away from the host vehicle such as a white line or a manhole on the road surface. It is desirable to set the monitor areas at two or more positions having different distances from each other. In the example shown in FIG. 5, an image range that reflects a rectangular area of 1 m in width and 0.5 m in height on the road surface 1.5 m away from the rear end of the host vehicle is set as the first monitor region M1, and 2 An image range in which a rectangular area of 1 m in width and 0.5 m in length on a road surface separated by 0.5 m is set as the second monitor area M2. In addition, it is desirable that the distance from the host vehicle in the rectangular regions serving as the monitor regions M1 and M2 is appropriately changed according to the traveling speed of the host vehicle. For example, since it is assumed that an obstacle such as a two-wheeled vehicle that follows is closer to the host vehicle during low-speed traveling than that during high-speed traveling, the monitor region M1 is displayed when the traveling speed of the host vehicle decreases. , M2 is changed to a position close to the host vehicle. Further, the monitor areas M1 and M2 are areas with the background of the road behind the host vehicle that is not displayed on the display 2 as a background. For example, the monitor areas M1 and M2 are displayed on the display 2 as the traveling direction (forward, backward) of the host vehicle changes. When the displayed video range is changed, or when the video range displayed on the display 2 is changed according to the operation input by the driver of the host vehicle using the operation input device 7, the monitor areas M1 and M2 are obtained. The position of the rectangular area is appropriately changed according to the video range of the display video after the change.

以上のように設定したモニタ領域M1,M2は、自車両後方に障害物が存在しない場合には、基本的に路面を映している。障害物検知部14は、リアカメラ1の撮影映像のフレームごとに、すなわち映像入力部11に新たなリアカメラ1の撮影映像が格納されるごとに、各モニタ領域M1,M2のそれぞれについて、映像の輝度パターン(輝度値の分布や輝度値の分散)を計算する。また、障害物検知部14は、各モニタ領域M1,M2の輝度パターンの過去所定時間に亘る時間平均を計算する。この輝度パターンの時間平均は、後述する検出ロジックの基準値として用られる。なお、路面の種別が変化するときには路面状態が変化して路面の平均的な輝度および輝度分散が変化することが予想されるので、障害物検知部14は、道路情報取得装置6からの情報に基づいて道路種別が変化したことを検知した場合には、それまでの輝度値パターンの時間平均(基準値)をクリアして、新たに輝度パターンの時間平均(基準値)を算出することが望ましい。   The monitor areas M1 and M2 set as described above basically reflect the road surface when there is no obstacle behind the host vehicle. The obstacle detection unit 14 captures video for each of the monitor areas M1 and M2 for each frame of the captured video of the rear camera 1, that is, each time a new captured video of the rear camera 1 is stored in the video input unit 11. The luminance pattern (luminance value distribution and luminance value variance) is calculated. In addition, the obstacle detection unit 14 calculates the time average over the past predetermined time of the luminance patterns of the monitor areas M1 and M2. The time average of the luminance pattern is used as a reference value for detection logic described later. When the road surface type changes, it is expected that the road surface state will change and the average luminance and luminance variance of the road surface will change. Therefore, the obstacle detection unit 14 uses the information from the road information acquisition device 6. When it is detected that the road type has changed, it is desirable to clear the time average (reference value) of the luminance value pattern so far and newly calculate the time average (reference value) of the luminance pattern. .

障害物検知部14は、リアカメラ1の撮影映像のフレームごとに求めた各モニタ領域M1,M2の輝度パターンを基準値と比較することで、自車両後方に障害物が存在するか否かを判定する。ここで、自車両後方に障害物が存在せず、また、路面上に白線やマンホールなどの物体がない場合は、第1モニタ領域M1および第2モニタ領域M2の双方とも一定の色の路面を映し出しているため、輝度分散値は小さな値となる。したがって、障害物検知部14は、第1モニタ領域M1の輝度分散値と第2モニタ領域M2の輝度分散値との双方が小さな値を維持している間は、自車両後方に障害物が存在しないと判定する。   The obstacle detection unit 14 compares the luminance pattern of each of the monitor areas M1 and M2 obtained for each frame of the captured video of the rear camera 1 with a reference value to determine whether there is an obstacle behind the host vehicle. judge. Here, when there is no obstacle behind the host vehicle and there are no objects such as white lines or manholes on the road surface, both the first monitor area M1 and the second monitor area M2 have road surfaces of a certain color. Since the image is projected, the luminance dispersion value becomes a small value. Therefore, the obstacle detection unit 14 has an obstacle behind the host vehicle while both the luminance dispersion value of the first monitor area M1 and the luminance dispersion value of the second monitor area M2 are kept small. Judge that not.

また、路面上に白線やマンホールなどの物体が存在したり、高架橋などの影が路面に映り込んでいる場合、その路面上を自車両が走行すると、自車両後方の路面の色が一時的に変化する。この場合には、まず、自車両に近い第1モニタ領域M1の輝度パターンが基準値から大きく変化し、その後、第2モニタ領域M2の輝度パターンが基準値から大きく変化することになる。したがって、障害物検知部14は、第1モニタ領域M1の輝度パターンが大きく変化した後に第2モニタ領域M2の輝度パターンが大きく変化した場合には、これら各モニタ領域M1,M2の輝度パターンの変化は路面の色の一時的な変化によるものと判断し、自車両後方に障害物が存在しないと判定する。なお、路面上の白線やマンホール、高架橋などの影の影響により自車両後方の路面の色が一時的に変化する場合、各モニタ領域M1,M2の輝度パターンが大きく変化するタイミングは自車両の走行速度と相関を持つため、第1モニタ領域M1の輝度パターンが大きく変化してから第2モニタ領域M2の輝度パターンが大きく変化するまでのタイミングが、自車両の走行速度と相関がある場合に、各モニタ領域M1,M2の輝度パターンの変化は路面の色の一時的な変化によるものと判断し、自車両後方に障害物が存在しないと判定するようにしてもよい。   In addition, when there is an object such as a white line or manhole on the road surface, or shadows such as viaducts are reflected on the road surface, when the vehicle travels on the road surface, the color of the road surface behind the vehicle temporarily changes. Change. In this case, first, the luminance pattern of the first monitor region M1 close to the host vehicle changes greatly from the reference value, and then the luminance pattern of the second monitor region M2 changes greatly from the reference value. Therefore, when the brightness pattern of the second monitor area M2 changes greatly after the brightness pattern of the first monitor area M1 changes significantly, the obstacle detection unit 14 changes the brightness pattern of each of the monitor areas M1 and M2. Is determined to be due to a temporary change in the color of the road surface, and it is determined that there is no obstacle behind the host vehicle. In addition, when the color of the road surface behind the host vehicle changes temporarily due to the influence of shadows such as white lines on the road surface, manholes, and viaducts, the timing at which the luminance patterns of the monitor areas M1 and M2 change greatly is the driving of the host vehicle. Since there is a correlation with the speed, when the timing from when the luminance pattern of the first monitor area M1 changes greatly to when the luminance pattern of the second monitor area M2 changes greatly is correlated with the traveling speed of the host vehicle, It may be determined that the change in the luminance pattern of each of the monitor areas M1 and M2 is due to a temporary change in the color of the road surface, and it is determined that there is no obstacle behind the host vehicle.

一方、自車両に後方から接近してくる二輪車などの障害物が存在する場合には、まず、第1モニタ領域M1の輝度パターンに大きな変化が現われる前に、第2モニタ領域M2の輝度パターンが基準値から大きく変化する。その後、障害物がさらに自車両後方に近付いたときに、第1モニタ領域M1の輝度パターンが基準値から大きく変化することになる。したがって、障害物検知部14は、第1モニタ領域M1の輝度パターンが大きく変化する前に第2モニタ領域M2の輝度パターンが大きく変化した場合に、自車両後方に二輪車などの障害物が存在すると判定する。   On the other hand, when there is an obstacle such as a two-wheeled vehicle approaching the host vehicle from behind, the luminance pattern of the second monitor region M2 is first displayed before a large change appears in the luminance pattern of the first monitor region M1. It varies greatly from the reference value. Thereafter, when the obstacle further approaches the rear of the host vehicle, the luminance pattern of the first monitor region M1 greatly changes from the reference value. Therefore, the obstacle detection unit 14 determines that there is an obstacle such as a two-wheeled vehicle behind the host vehicle when the luminance pattern of the second monitor region M2 changes greatly before the luminance pattern of the first monitor region M1 changes significantly. judge.

ところで、日射の方向によっては自車両後方の路面に自車両の影が映り込む場合があり、この自車両の影が、以上のような障害物の検知処理に悪影響を及ぼすことも想定される。ここで、自車両の影が第1モニタ領域M1の全域または第2モニタ領域M2の全域に亘って一律に映り込んでいる場合には、基準値となる輝度パターンの時間平均が自車両の影も含めて計算されるため大きな問題は生じないが、自車両の影の境界が第1モニタ領域M1または第2モニタ領域M2内に位置すると、輝度分布に自車両の影の影響が現われて障害物の検知処理に悪影響を及ぼすと考えられる。そこで、障害物検知部14は、自車両の影の境界がモニタ領域M1,M2内に位置しているか否かを判定して、自車両の影の境界が位置していれば、そのモニタ領域の位置を変更することが望ましい。   By the way, depending on the direction of solar radiation, the shadow of the host vehicle may be reflected on the road surface behind the host vehicle, and the shadow of the host vehicle may have an adverse effect on the obstacle detection process as described above. Here, when the shadow of the own vehicle is uniformly reflected over the entire area of the first monitor area M1 or the entire area of the second monitor area M2, the time average of the luminance pattern serving as the reference value is the shadow of the own vehicle. However, if the boundary of the shadow of the own vehicle is located in the first monitor area M1 or the second monitor area M2, the influence of the shadow of the own vehicle appears on the luminance distribution and the obstacle It is thought to have an adverse effect on the object detection process. Therefore, the obstacle detection unit 14 determines whether or not the shadow boundary of the own vehicle is located in the monitor areas M1 and M2, and if the shadow boundary of the own vehicle is located, the monitor area It is desirable to change the position.

図6に、自車両の影Sの境界が第2モニタ領域M2内に位置している例を示す。この図6に示す例では、自車両の影Sの影響により、第2モニタ領域M2の輝度値の分布に2つのピークが現われることになる。障害物検知部14は、このようにモニタ領域の輝度値の分布に2つのピークが現われた場合に、当該モニタ領域内に自車両の影の境界が存在すると判定し、当該モニタ領域の位置を変更する。そして、位置を変更したことで当該モニタ領域の輝度値の分布のピークが1つになれば、その後は、その位置のモニタ領域を用いて上述した障害物の検知処理を行う。   FIG. 6 shows an example in which the boundary of the shadow S of the host vehicle is located in the second monitor region M2. In the example shown in FIG. 6, two peaks appear in the luminance value distribution of the second monitor region M2 due to the influence of the shadow S of the host vehicle. When two peaks appear in the luminance value distribution in the monitor area in this way, the obstacle detection unit 14 determines that the shadow boundary of the own vehicle exists in the monitor area, and determines the position of the monitor area. change. When the position is changed and the peak of the luminance value distribution in the monitor area becomes one, thereafter, the obstacle detection process described above is performed using the monitor area at the position.

図6に示す例では、第2モニタ領域M2の輝度値の分布に2つのピークが現われているので、図7に示すように、第2モニタ領域M2の位置を例えば自車両から離れる方向にずらすか、或いは第2モニタ領域M2を狭くする。そして、その位置で第2モニタ領域M2の輝度値の分布(ヒストグラム)を見て、ピークが1つになった場合は、その位置を第2モニタ領域M2として再設定する。なお、第2モニタ領域M2をもとの位置から重なる領域がない程度にまで移動させてもピークが1つにならない場合は、輝度値の分布に現われる2つのピークは自車両の影Sの影響によるものではなく、自車両後方の障害物の影響によると考えられるので、障害物検知部14は、第2モニタ領域M2の近傍に障害物が存在すると判定する。   In the example shown in FIG. 6, since two peaks appear in the luminance value distribution of the second monitor area M2, as shown in FIG. 7, the position of the second monitor area M2 is shifted in a direction away from the host vehicle, for example. Alternatively, the second monitor area M2 is narrowed. Then, when the luminance value distribution (histogram) in the second monitor region M2 is observed at that position and one peak is obtained, the position is reset as the second monitor region M2. If the peak does not become one even if the second monitor area M2 is moved from the original position to the extent that there is no overlapping area, the two peaks appearing in the luminance value distribution are influenced by the shadow S of the host vehicle. The obstacle detection unit 14 determines that there is an obstacle in the vicinity of the second monitor region M2, because it is considered that the obstacle is behind the vehicle.

障害物検知部14により自車両後方の障害物が検知された場合、障害物検知部14から障害物報知部15に対して障害物検知信号が送られる。障害物報知部15は、障害物検知部14から障害物検知信号が送られると、自車両後方に障害物が存在することを自車両のドライバに報知する処理を行う。具体的には、障害物報知部15は、障害物検知部14により自車両後方の障害物が検知された場合に、例えば、映像出力部13の出力バッファに格納された表示映像上に文字や図形などによる警告を重畳してディスプレイ2に表示させるとともに、警告音をスピーカ3から出力させることにより、自車両後方に障害物が存在することを自車両のドライバに報知する。なお、障害物報知15は、文字や図形などによる警告を表示映像上に重畳する代わりに、映像入力部11に格納されたリアカメラ1の撮影映像のうちの表示映像として抽出されていない映像の中で、障害物検知部14により検知された障害物に相当する映像部分を切り出して、表示映像上に重畳するようにしてもよい。また、障害物検知部14により自車両後方の障害物が検知された場合に、例えば、表示映像抽出部12によって表示映像として抽出される映像範囲を障害物が映る範囲まで拡大し、障害物の映像をディスプレイ2に表示させることも有効である。   When an obstacle behind the host vehicle is detected by the obstacle detection unit 14, an obstacle detection signal is sent from the obstacle detection unit 14 to the obstacle notification unit 15. When an obstacle detection signal is sent from the obstacle detection unit 14, the obstacle notification unit 15 performs a process of notifying the driver of the host vehicle that an obstacle exists behind the host vehicle. Specifically, when the obstacle detection unit 14 detects an obstacle behind the host vehicle, the obstacle notification unit 15 displays, for example, characters or characters on the display video stored in the output buffer of the video output unit 13. A warning by a graphic or the like is superimposed and displayed on the display 2 and a warning sound is output from the speaker 3 to notify the driver of the host vehicle that there is an obstacle behind the host vehicle. In addition, the obstacle notification 15 is an image of a video that is not extracted as a display video out of the video captured by the rear camera 1 stored in the video input unit 11 instead of superimposing a warning by characters, graphics, or the like on the display video. Among them, a video portion corresponding to the obstacle detected by the obstacle detection unit 14 may be cut out and superimposed on the display video. Further, when an obstacle behind the host vehicle is detected by the obstacle detection unit 14, for example, the video range extracted as the display video by the display video extraction unit 12 is expanded to a range where the obstacle is reflected, It is also effective to display an image on the display 2.

ここで、障害物報知部15による自車両のドライバに対する報知の頻度は、自車両の走行速度に応じて変更することが望ましい。すなわち、高速走行中は低速走行中と比較して、自車両後方に二輪車などの障害物が接近していることによる運転の困難度合いが大きくなるので、障害物報知部15は、自車両の走行速度が高いほど、自車両のドライバに対する報知の頻度を上げることが効果的である。なお、自車両が停止している場合は周囲環境の変化による映像の輝度値変化が大きくなることが想定されるので、障害物報知部15によるドライバに対する報知を停止するか、或いは、障害物検知部14による障害物の検知処理自体を停止することが望ましい。   Here, it is desirable to change the frequency of notification to the driver of the host vehicle by the obstacle notification unit 15 according to the traveling speed of the host vehicle. That is, since the degree of difficulty in driving due to the fact that an obstacle such as a two-wheeled vehicle is approaching the rear of the host vehicle is greater during high speed traveling than when traveling at low speed, the obstacle notifying unit 15 It is more effective to increase the frequency of notification to the driver of the host vehicle as the speed is higher. When the host vehicle is stopped, it is assumed that the change in the luminance value of the image due to the change in the surrounding environment is large. Therefore, the notification to the driver by the obstacle notification unit 15 is stopped or the obstacle detection is performed. It is desirable to stop the obstacle detection process itself by the unit 14.

以上、具体的な例を挙げながら詳細に説明したように、本実施形態の車両用後方監視装置は、自車両の前進走行中に、リアカメラ1で撮影された自車両後方の映像から比較的狭い領域の映像を表示映像として抽出し、この表示映像をルームミラー相当に拡大してディスプレイ2に表示させるとともに、リアカメラ1で撮影されてはいるがディスプレイ2には表示されない映像に基づいて、自車両後方の障害物を検知する処理を行って、自車両後方の障害部が検知された場合にはその旨を自車両のドライバに報知するようにしている。したがって、この車両用後方監視装置によれば、自車両の前進走行中に、自車両のドライバが距離感やスピード感を正しく把握できるように自車両後方の映像を表示しながら、自車両後方に障害物が存在すればその障害物の存在を自車両のドライバに確実に認識させることができる。   As described above in detail with reference to specific examples, the vehicle rear monitoring apparatus according to the present embodiment is relatively based on an image behind the host vehicle captured by the rear camera 1 while the host vehicle is traveling forward. A video of a narrow area is extracted as a display video, and this display video is enlarged to be equivalent to a room mirror and displayed on the display 2, and based on a video that is captured by the rear camera 1 but is not displayed on the display 2, A process of detecting an obstacle behind the host vehicle is performed, and when an obstacle part behind the host vehicle is detected, the driver of the host vehicle is notified accordingly. Therefore, according to the vehicle rear monitoring device, while the host vehicle is traveling forward, the driver of the host vehicle can display the rear image of the host vehicle so that the driver can correctly grasp the sense of distance and speed. If there is an obstacle, the driver of the host vehicle can surely recognize the presence of the obstacle.

なお、以上説明した車両用後方監視装置は、本発明の一適用例を例示したものであり、本発明の技術的範囲が以上の実施形態で説明した内容に限定されることを意図するものではない。つまり、本発明の技術的範囲は、以上の実施形態で開示した具体的な技術事項に限らず、この開示から容易に導きうる様々な変形、変更、代替技術なども含むものである。例えば、上述した車両用後方監視装置では、リアカメラ1で撮影されているがディスプレイ2には表示されない映像の一部にモニタ領域を設定し、このモニタ領域における映像の輝度パターンの変化をもとに自車両後方の障害物を検知するようにしているが、例えば、リアカメラ1で撮影されているがディスプレイ2には表示されない映像に対してパターンマッチングやエッジ検出などの画像処理を行って、自車両後方の障害物を検知するようにしてもよい。   The vehicle rear monitoring apparatus described above is an example of an application of the present invention, and is not intended to limit the technical scope of the present invention to the contents described in the above embodiments. Absent. That is, the technical scope of the present invention is not limited to the specific technical matters disclosed in the above embodiments, but includes various modifications, changes, alternative techniques, and the like that can be easily derived from this disclosure. For example, in the vehicle rear monitoring apparatus described above, a monitor area is set for a part of an image captured by the rear camera 1 but not displayed on the display 2, and a change in the luminance pattern of the image in the monitor area is performed. For example, an image processing such as pattern matching or edge detection is performed on an image captured by the rear camera 1 but not displayed on the display 2, for example, An obstacle behind the host vehicle may be detected.

本発明を適用した車両用後方監視装置の構成を示すブロック図である。It is a block diagram which shows the structure of the vehicle rear monitoring apparatus to which this invention is applied. 映像処理ユニットの機能構成を示す機能ブロック図である。It is a functional block diagram which shows the function structure of a video processing unit. リアカメラの撮影映像とディスプレイに表示される表示映像との関係を示す図である。It is a figure which shows the relationship between the picked-up image of a rear camera, and the display image displayed on a display. ディスプレイに表示される表示映像の一例を示す図であり、(a)は自車両が後退走行中にディスプレイに表示される表示映像の例、(b)は自車両が前進走行中にディスプレイに表示される表示映像の例である。It is a figure which shows an example of the display image displayed on a display, (a) is an example of the display image displayed on a display when the own vehicle is traveling backward, (b) is displayed on the display while the own vehicle is traveling forward. It is an example of the display image displayed. 自車両後方の障害物を検知する処理の具体例を説明する図であり、ディスプレイに表示されない映像範囲にモニタ領域を設定した様子を示す図である。It is a figure explaining the example of the process which detects the obstruction behind the own vehicle, and is a figure which shows a mode that the monitor area | region was set to the video range not displayed on a display. モニタ領域内に自車両の影の境界が位置する場合の例を示す図である。It is a figure which shows the example in case the boundary of the shadow of the own vehicle is located in a monitor area | region. モニタ領域の位置を変更した様子を示す図である。It is a figure which shows a mode that the position of the monitor area | region was changed.

符号の説明Explanation of symbols

1 リアカメラ
2 ディスプレイ
3 スピーカ
10 映像処理ユニット
11 映像入力部
12 表示映像抽出部
13 映像出力部
14 障害物検知部
15 障害物報知部
P リアカメラの撮影映像
P1 後退走行時の表示映像
P2 前進走行時の表示映像
M1 第1モニタ領域
M2 第2モニタ領域
DESCRIPTION OF SYMBOLS 1 Rear camera 2 Display 3 Speaker 10 Video processing unit 11 Video input part 12 Display video extraction part 13 Video output part 14 Obstacle detection part 15 Obstacle notification part P Rear camera image | video P1 Display image at the time of reverse travel P2 Forward travel Display image at the time M1 1st monitor area M2 2nd monitor area

Claims (11)

車両後方の所定領域の映像を撮像する撮像手段と、
前記撮像手段が撮像した映像のうち、車両後退時には第1の領域の映像、車両前進時には前記第1の領域よりも狭い第2の領域の映像を、それぞれ表示対象として抽出する表示映像抽出手段と、
前記表示映像抽出手段が表示対象として抽出した映像を表示する表示手段と、
前記撮影手段が撮像した映像のうち、車両前進時には前記表示映像抽出手段によって表示対象として抽出されなかった映像の輝度パターンの変化をもとに、車両後方の障害物を検知する障害物検知手段と、
前記障害物検知手段が車両後方の障害物を検知したときに、障害物の存在を車両乗員に報知する報知手段と、を備えることを特徴とする車両用後方監視装置。
Imaging means for imaging an image of a predetermined area behind the vehicle;
Display video extraction means for extracting, as a display object, a video of a first area when the vehicle is moving backward, and a video of a second area that is narrower than the first area when the vehicle moves forward, among the videos captured by the imaging means; ,
Display means for displaying the video extracted as a display target by the display video extraction means;
Obstacle detection means for detecting an obstacle behind the vehicle based on a change in luminance pattern of a video that is not extracted as a display target by the display video extraction means when the vehicle moves forward among images captured by the imaging means ,
A vehicle rear monitoring device, comprising: an informing means for informing the vehicle occupant of the presence of an obstacle when the obstacle detecting means detects an obstacle behind the vehicle.
前記障害物検知手段は、前記撮影手段が撮像した映像のうち、前記表示手段に表示されない車両後方の路面を背景とした一部の領域をモニタ領域として設定し、当該モニタ領域における映像の輝度パターンの変化をもとに、車両後方の障害物を検知することを特徴とする請求項1に記載の車両用後方監視装置。   The obstacle detection means sets, as a monitor area, a part of the image captured by the photographing means with the road surface behind the vehicle not displayed on the display means as a background, and a luminance pattern of the image in the monitor area The vehicle rear monitoring apparatus according to claim 1, wherein an obstacle behind the vehicle is detected based on the change of the vehicle. 前記障害物検知手段は、前記モニタ領域の輝度パターンの過去所定時間に亘る時間平均を基準値として求め、前記モニタ領域の現在の輝度パターンを前記基準値と比較して、車両後方の障害物を検知することを特徴とする請求項2に記載の車両用後方監視装置。   The obstacle detection means obtains an average of the luminance pattern of the monitor area over a past predetermined time as a reference value, compares the current luminance pattern of the monitor area with the reference value, and detects an obstacle behind the vehicle. The vehicle rear monitoring device according to claim 2, wherein the vehicle rear monitoring device is detected. 前記障害物検知手段は、道路種別の変化が検知されるたびに、前記基準値を新たに算出することを特徴とする請求項3に記載の車両用後方監視装置。   The vehicular rear monitoring apparatus according to claim 3, wherein the obstacle detection unit newly calculates the reference value every time a change in road type is detected. 前記障害物検知手段は、車両からの距離が異なる複数の位置に前記モニタ領域を設定し、これら複数のモニタ領域の輝度パターンが変化する順番をもとに、前記車両後方の障害物が車両に接近する障害物であるか否かを判定することを特徴とする請求項2乃至4の何れか1項に記載の車両用後方監視装置。   The obstacle detection means sets the monitor areas at a plurality of positions at different distances from the vehicle, and the obstacles behind the vehicle are applied to the vehicle based on the order in which the luminance patterns of the plurality of monitor areas change. The vehicle rear monitoring apparatus according to any one of claims 2 to 4, wherein it is determined whether or not the obstacle is approaching. 前記障害物検知手段は、前記複数のモニタ領域の輝度パターンが変化するタイミングが車両の走行速度と相関がある場合に、路面の色の変化を検知していると判断することを特徴とする請求項5に記載の車両用後方監視装置。   The obstacle detection means determines that a change in the color of the road surface is detected when a timing at which a luminance pattern of the plurality of monitor areas changes correlates with a traveling speed of the vehicle. Item 6. The vehicle rear monitoring apparatus according to Item 5. 前記障害物検知手段は、前記表示対象となる領域が変更されたときに、前記モニタ領域の位置を変更することを特徴とする請求項2乃至6の何れか1項に記載の車両用後方監視装置。   The vehicle rear monitoring according to any one of claims 2 to 6, wherein the obstacle detection means changes the position of the monitor area when the area to be displayed is changed. apparatus. 前記障害物検知手段は、前記モニタ領域の輝度パターンをもとに車両の影の境界が当該モニタ領域内に位置しているか否かを判定し、車両の影の境界が位置している場合に、前記モニタ領域の位置を変更することを特徴とする請求項2乃至7の何れか1項に記載の車両用後方監視装置。   The obstacle detection means determines whether or not the vehicle shadow boundary is located in the monitor area based on the luminance pattern of the monitor area, and when the vehicle shadow boundary is located The vehicle rear monitoring device according to any one of claims 2 to 7, wherein the position of the monitor region is changed. 前記報知手段は、障害物の存在を車両乗員に報知する頻度を車両の走行速度に応じて変更することを特徴とする請求項1乃至8の何れか1項に記載の車両用後方監視装置。   The vehicular rear monitoring apparatus according to any one of claims 1 to 8, wherein the notification unit changes a frequency of notifying a vehicle occupant of the presence of an obstacle according to a traveling speed of the vehicle. 前記報知手段は、車両の走行速度が高いほど、障害物の存在を車両乗員に報知する頻度を上げることを特徴とする請求項9に記載の車両用後方監視装置。   The vehicle rear monitoring apparatus according to claim 9, wherein the notification unit increases the frequency of notifying the vehicle occupant of the presence of an obstacle as the traveling speed of the vehicle increases. 車両後方の所定領域を撮像手段で撮像し、当該撮像手段が撮像した映像のうちで、車両前進時には車両後退時よりも狭い領域の映像を表示対象として抽出して表示手段に表示するとともに、表示対象として抽出されずに前記表示手段に表示されない映像の輝度パターンの変化をもとに車両後方の障害物を検知して、障害物の存在を車両乗員に報知することを特徴とする車両後方監視方法。 Imaging a predetermined region of the vehicle rear by the imaging means, of the image that the imaging means has captured, and displays on the display means extracts the image of the area smaller than when the vehicle backward for display at the time of forward traveling of the vehicle, the display Vehicle rear monitoring characterized in that an obstacle behind the vehicle is detected based on a change in luminance pattern of an image that is not extracted as a target and is not displayed on the display means, and the presence of the obstacle is notified to the vehicle occupant. Method.
JP2008006091A 2008-01-15 2008-01-15 Vehicle rear monitoring device and vehicle rear monitoring method Expired - Fee Related JP5136071B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008006091A JP5136071B2 (en) 2008-01-15 2008-01-15 Vehicle rear monitoring device and vehicle rear monitoring method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008006091A JP5136071B2 (en) 2008-01-15 2008-01-15 Vehicle rear monitoring device and vehicle rear monitoring method

Publications (2)

Publication Number Publication Date
JP2009166624A JP2009166624A (en) 2009-07-30
JP5136071B2 true JP5136071B2 (en) 2013-02-06

Family

ID=40968322

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008006091A Expired - Fee Related JP5136071B2 (en) 2008-01-15 2008-01-15 Vehicle rear monitoring device and vehicle rear monitoring method

Country Status (1)

Country Link
JP (1) JP5136071B2 (en)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6077210B2 (en) * 2011-12-22 2017-02-08 トヨタ自動車株式会社 Vehicle rearward monitoring device
KR101551058B1 (en) 2014-02-12 2015-09-07 현대자동차주식회사 Apparatus for controlling vehicle based on driving condition and method thereof
JP6565148B2 (en) * 2014-09-05 2019-08-28 アイシン精機株式会社 Image display control device and image display system
JP6552285B2 (en) * 2015-06-05 2019-07-31 アルパイン株式会社 In-vehicle display device and vehicle rear image display method
JP6590691B2 (en) * 2015-12-25 2019-10-16 株式会社小松製作所 Work vehicle and display control method
JP6730615B2 (en) * 2016-07-12 2020-07-29 株式会社Jvcケンウッド Vehicle display control device, vehicle display system, vehicle display control method and program
WO2018151151A1 (en) * 2017-02-20 2018-08-23 京セラ株式会社 Image processing device, image-capture device, and mobile body
JP6927787B2 (en) * 2017-07-25 2021-09-01 矢崎エナジーシステム株式会社 On-board unit and driving support device
CN111971682B (en) * 2018-04-16 2024-07-05 三菱电机株式会社 Road surface detection device, image display device, obstacle detection device, road surface detection method, image display method, and obstacle detection method
JP7039133B2 (en) * 2018-04-17 2022-03-22 マレリ株式会社 Image display device

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10109590A (en) * 1996-10-07 1998-04-28 Nippon Buyuutec:Kk Automobile
JP3341605B2 (en) * 1996-12-05 2002-11-05 日産自動車株式会社 Image processing device for vehicles
JP4287532B2 (en) * 1999-03-01 2009-07-01 矢崎総業株式会社 Vehicle rear side monitoring device
JP4254045B2 (en) * 2000-10-17 2009-04-15 株式会社明電舎 Road stationary obstacle detection method
JP2004173048A (en) * 2002-11-21 2004-06-17 Auto Network Gijutsu Kenkyusho:Kk Onboard camera system

Also Published As

Publication number Publication date
JP2009166624A (en) 2009-07-30

Similar Documents

Publication Publication Date Title
JP5136071B2 (en) Vehicle rear monitoring device and vehicle rear monitoring method
KR100936558B1 (en) Perimeter monitoring apparatus and image display method for vehicle
JP5099451B2 (en) Vehicle periphery confirmation device
JP6307895B2 (en) Vehicle periphery monitoring device
US8330816B2 (en) Image processing device
JP4513318B2 (en) Rear side image control apparatus and method
JP5953824B2 (en) Vehicle rear view support apparatus and vehicle rear view support method
JP5213063B2 (en) Vehicle display device and display method
JP6081034B2 (en) In-vehicle camera control device
TWI533694B (en) Obstacle detection and display system for vehicle
JP5966513B2 (en) Rear side photographing device for vehicle
JP2009231937A (en) Surroundings monitoring device for vehicle
JP4798576B2 (en) Attachment detection device
JP3464368B2 (en) Rear side monitoring device for vehicles
JP2005309660A (en) Device supporting vehicle in turning right or left
JP6439233B2 (en) Image display apparatus for vehicle and image processing method
JP4799236B2 (en) In-vehicle display system
JP5245471B2 (en) Imaging apparatus, and image processing apparatus and method
JP2009006824A (en) Onboard unit and traveling control method
KR101543119B1 (en) Method for providing drive composite image
JP6586972B2 (en) Image display apparatus for vehicle and image processing method
JP4598011B2 (en) Vehicle display device
JP6555240B2 (en) Vehicle shooting display device and vehicle shooting display program
JP2007156919A (en) Road section line detector
JP6429101B2 (en) Image determination apparatus, image processing apparatus, image determination program, image determination method, moving object

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120403

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120522

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121016

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121029

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151122

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees