JP5136071B2 - Vehicle rear monitoring device and vehicle rear monitoring method - Google Patents
Vehicle rear monitoring device and vehicle rear monitoring method Download PDFInfo
- Publication number
- JP5136071B2 JP5136071B2 JP2008006091A JP2008006091A JP5136071B2 JP 5136071 B2 JP5136071 B2 JP 5136071B2 JP 2008006091 A JP2008006091 A JP 2008006091A JP 2008006091 A JP2008006091 A JP 2008006091A JP 5136071 B2 JP5136071 B2 JP 5136071B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- obstacle
- display
- area
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、車両後方の映像を表示手段に表示して車両乗員に提示する車両用後方監視装置および車両後方監視方法に関する。 The present invention relates to a vehicle rear monitoring apparatus and a vehicle rear monitoring method for displaying an image of a vehicle rear on a display means and presenting the image to a vehicle occupant.
従来、この種の車両用後方監視装置として、レンズの焦点距離を変更可能なカメラを車両後部に設置して、車両後退時には短焦点で広角の映像をカメラで撮影してモニタに表示するとともに、車両前進時には長焦点で標準画角の映像をカメラで撮影してモニタに表示するようにしたものが提案されている(例えば、特許文献1参照。)。
特許文献1に記載の車両用後方監視装置のように、車両前進時に車両後退時よりも狭い画角で撮影した映像をモニタ表示するようにすれば、車両乗員がモニタで確認する後続車両との距離感やスピード感を、ルームミラーなどで確認した場合に近づけることができると考えられる。しかしながら、カメラの画角を狭くして映像を撮影すると、その分、映像として撮影されない死角領域が拡大するため、車両前進時に車両後方の障害物がこの死角領域に入ると、車両後方に障害物が存在することを車両乗員に報知できない、という問題がある。 As in the case of the vehicle rear monitoring apparatus described in Patent Document 1, when a video image captured at a narrower angle of view is displayed on the monitor when the vehicle moves forward, the vehicle occupant can check with the subsequent vehicle that the monitor confirms on the monitor. It is considered that the sense of distance and the sense of speed can be brought closer when confirmed with a room mirror. However, if the image is taken with a narrow angle of view of the camera, the blind spot area that is not captured as an image expands accordingly, so if an obstacle behind the vehicle enters this blind spot area when the vehicle is moving forward, the obstacle behind the vehicle There is a problem that the vehicle occupant cannot be informed that the vehicle is present.
本発明は、以上のような従来技術の問題点を解消すべく創案されたものであって、車両前進時に距離感やスピード感を正しく把握できる映像を表示しながら、車両後方に障害物が存在すればその障害物の存在を車両乗員に認識させることが可能な車両用後方監視装置および車両後方監視方法を提供することを目的としている。 The present invention was devised to solve the above-described problems of the prior art, and there is an obstacle behind the vehicle while displaying an image that can correctly grasp the sense of distance and speed when the vehicle moves forward. Accordingly, an object of the present invention is to provide a vehicular rearward monitoring apparatus and a vehicle rearward monitoring method that allow a vehicle occupant to recognize the presence of the obstacle.
本発明は、撮像手段で撮像した車両後方の所定領域の映像のうち、車両前進時には車両後退時よりも狭い領域の映像を表示対象として抽出して表示手段に表示するとともに、撮像手段で撮像しているが表示対象として抽出されずに表示手段には表示されない映像の輝度パターンの変化をもとに車両後方の障害物を検知し、障害物の存在を車両乗員に報知することで、前記目的を達成する。 According to the present invention, among images of a predetermined area behind the vehicle imaged by the image pickup means, an image of an area narrower than the time of the vehicle reverse is extracted as a display target when the vehicle moves forward and displayed on the display means, and is also imaged by the image pickup means. The object is detected by detecting an obstacle behind the vehicle based on a change in luminance pattern of an image that is not extracted as a display target but not displayed on the display means, and notifies the vehicle occupant of the presence of the obstacle. To achieve.
本発明によれば、車両前進時に車両後方の狭い領域の映像を表示手段に表示する際に、撮像手段で撮像しているが表示手段には表示されない映像に基づいて車両後方の障害物が検知されるので、車両前進時に距離感やスピード感を正しく把握できる映像を表示しながら、車両後方に障害物が存在すればその障害物の存在を車両乗員に認識させることができる。 According to the present invention, when a video of a narrow area behind the vehicle is displayed on the display means when the vehicle moves forward, an obstacle behind the vehicle is detected based on the video imaged by the imaging means but not displayed on the display means. Therefore, when an obstacle exists behind the vehicle, the vehicle occupant can recognize the presence of the obstacle while displaying an image that can correctly grasp the sense of distance and speed when the vehicle moves forward.
以下、本発明の具体的な実施形態について、図面を参照しながら詳細に説明する。 Hereinafter, specific embodiments of the present invention will be described in detail with reference to the drawings.
図1は、本実施形態の車両用後方監視装置の構成を示すブロック図である。本実施形態の車両用後方監視装置は、図1に示すように、映像処理ユニット10の入力側にリアカメラ1が接続され、映像処理ユニット10の出力側にディスプレイ2およびスピーカ3が接続されて構成される。また、映像処理ユニット10には、車速センサ4、シフト位置センサ5、道路情報取得装置6、操作入力デバイス7が接続されている。
FIG. 1 is a block diagram showing the configuration of the vehicle rear monitoring apparatus of the present embodiment. As shown in FIG. 1, the rear monitoring apparatus for a vehicle according to the present embodiment includes a rear camera 1 connected to the input side of the
リアカメラ1は、本実施形態の車両用後方監視装置が搭載される車両(以下、自車両という。)後部の所定位置、例えば自車両のルーフスポイラーなどに設置され、自車両後方の所定領域の映像を撮影する。このリアカメラ1は、レンズおよび受光素子で構成される光学系を持ち、レンズを通して入射される光をCCDやCMOSなどの受光素子で受光して電気信号に変換し、撮影した映像を画素ごとに数値化した映像信号として出力する。このリアカメラ1としては、自車両近傍に接近してきた他車両(障害物)が撮影範囲に含まれるように、広い撮影画角を持つ広角カメラが用いられる。このリアカメラ1で撮影された自車両後方の映像は、映像処理ユニット10に随時入力される。
The rear camera 1 is installed in a predetermined position at the rear of a vehicle (hereinafter referred to as the host vehicle) on which the vehicle rear monitoring device of the present embodiment is mounted, for example, a roof spoiler of the host vehicle, and is installed in a predetermined area behind the host vehicle. Take a picture. The rear camera 1 has an optical system composed of a lens and a light receiving element, receives light incident through the lens by a light receiving element such as a CCD or CMOS, converts the light into an electrical signal, and takes a photographed image for each pixel. Output as a digitized video signal. As the rear camera 1, a wide-angle camera having a wide shooting angle of view is used so that other vehicles (obstacles) approaching the vicinity of the host vehicle are included in the shooting range. The video behind the host vehicle photographed by the rear camera 1 is input to the
ディスプレイ2は、自車両の車室内のセンターコンソールなど、ドライバにとって見易い位置に設置されており、映像処理ユニット10から出力される映像信号に基づいて、自車両後方の映像を表示する。また、スピーカ3は、自車両の車室内の所定位置に設置され、映像処理ユニット10によって自車両後方の障害物が検知されたときに警告音を出力する。
The
車速センサ4は、自車両の走行速度を検出するものであり、シフト位置センサ5は、自車両のシフト位置(ギヤポジションの位置)を検出するものである。これら車速センサ4やシフト位置センサ5による検出信号は、映像処理ユニット10に入力される。
The vehicle speed sensor 4 detects a traveling speed of the host vehicle, and the shift position sensor 5 detects a shift position (gear position) of the host vehicle. Detection signals from the vehicle speed sensor 4 and the shift position sensor 5 are input to the
道路情報取得装置6は、自車両が走行している道路に関する情報を取得するものであり、例えば、自車位置を検出してマップマッチングを行う機能を有する車載ナビゲーション装置や、路車間通信により自車両が走行している道路の情報を取得する通信装置などが用いられる。この道路情報取得装置6により取得された情報は、映像処理ユニット10に入力される。
The road information acquisition device 6 acquires information related to the road on which the host vehicle is traveling. For example, the road information acquisition device 6 detects the position of the host vehicle and performs a map matching function. A communication device that acquires information on the road on which the vehicle is traveling is used. Information acquired by the road information acquisition device 6 is input to the
操作入力デバイス7は、自車両のドライバによる操作入力を受け付けるものであり、例えば各種の操作ボタンやジョイスティックなどが用いられる。また、ディスプレイ2の表示画面にタッチパネルを設け、このタッチパネルを操作入力デバイス7として用いるようにしてもよい。この操作入力デバイス7を用いた自車両のドライバによる操作入力は、映像処理ユニット10に入力される。
The operation input device 7 receives an operation input by the driver of the host vehicle, and various operation buttons, a joystick, etc. are used, for example. Further, a touch panel may be provided on the display screen of the
映像処理ユニット10は、所定の処理プログラムが格納されたマイクロコンピュータなどの情報処理装置を備えて構成され、CPUなどの演算装置でこのプログラムを実行することによって、リアカメラ1により撮影された自車両後方の映像をディスプレイ2に表示させるとともに、リアカメラ1の撮影映像のうちでディスプレイ2に表示されない映像を用いて自車両後方の障害物を検知して、自車両のドライバに報知する処理を行う。この映像処理ユニット10は、その構成を機能的に捉えた場合、図2に示すように、映像入力部11と、表示映像抽出部12と、映像出力部13と、障害物検知部14と、障害物報知部15とを備えた構成とされる。
The
映像入力部11は、リアカメラ1による撮影映像のフレームサイズに対応した入力バッファを備える。リアカメラ1により撮影された自車両後方の映像のデータは、この映像入力部11の入力バッファに、フレームごとに随時更新されながら格納される。 The video input unit 11 includes an input buffer corresponding to the frame size of the video shot by the rear camera 1. The data of the video behind the host vehicle photographed by the rear camera 1 is stored in the input buffer of the video input unit 11 while being updated every frame.
表示映像抽出部12は、映像入力部11の入力バッファに格納されたリアカメラ1の撮影映像のうちで、ディスプレイ2に表示させる表示映像を抽出する。ここで、表示映像抽出部12は、シフト位置センサ5の検出信号などに基づいて自車両の進行方向が前進か後退かを判断し、自車両が後退走行中であれば、リアカメラ1により撮影される車両後方の所定領域の映像のうちで比較的広い第1の領域の映像を、ディスプレイ2に表示させる表示映像として抽出し、自車両が前進走行中であれば、第1の領域よりも狭い領域である第2の領域の映像を、ディスプレイ2に表示させる表示映像として抽出する。
The display video extraction unit 12 extracts a display video to be displayed on the
具体的には、表示映像抽出部12は、自車両が後退走行中であれば、自車両近傍の路面を含む広い範囲をドライバが確認できるようにするために、図3に示すように、リアカメラ1で撮影された自車両後方の所定領域の映像Pのうちで、比較的広い範囲(例えば水平画角が120度程度)の映像P1を表示映像として抽出する。一方、自車両が前進走行中であれば、表示映像抽出部12は、後退走行時よりも狭い範囲の映像P2を表示映像として抽出する。これは、前進走行中にあまり広い範囲の映像をディスプレイ2に表示させると、例えば後続車両が映像として映し出されているときに、その後続車両の見え方がルームミラーに映る後続車両の見え方と大きく異なったものとなり、後続車両が実際の位置よりも遠方に存在するものとドライバが誤認する虞があるからである。これを回避するために、表示映像抽出部12は、自車両が前進走行のときは、ディスプレイ2に表示させる映像の画角を例えば30度程度に狭くして、ルームミラーのミラー反射像に近づけるようにしている。なお、自車両が前進走行のときにディスプレイ2に表示させる映像の画角は、ルームミラーの大きさやディスプレイ2の大きさなどに応じて、最適な画角に設定すればよい。
Specifically, as shown in FIG. 3, the display image extraction unit 12 is configured so that the driver can check a wide range including the road surface in the vicinity of the host vehicle when the host vehicle is traveling backward. A video P1 in a relatively wide range (for example, a horizontal angle of view of about 120 degrees) is extracted as a display video from the video P in a predetermined area behind the host vehicle photographed by the camera 1. On the other hand, if the host vehicle is traveling forward, the display image extraction unit 12 extracts the image P2 in a narrower range as the display image than when traveling backward. This is because, when an image of a very wide range is displayed on the
映像出力部13は、ディスプレイ2に表示される表示映像のフレームサイズに対応した出力バッファを備える。表示映像抽出部12により抽出された表示映像のデータは、この出力バッファに格納される。映像出力部13は、この出力バッファに格納された表示映像のデータを、ディスプレイ2に随時出力する。これにより、自車両が後退走行中であれば、例えば図4(a)に示すように、自車両後方の比較的広い領域の映像がディスプレイ2に表示され、自車両が前進走行中であれば、例えば図4(b)に示すように、自車両後方の比較的狭い領域の映像が、ルームミラーのミラー反射像と同等の映像サイズに拡大されてディスプレイ2に表示される。
The
以上のように、本実施形態の車両用後方監視装置では、自車両が前進走行中であれば、自車両後方の比較的狭い領域の映像をルームミラーの反射像と同等の映像サイズに拡大してディスプレイ2に表示させるようにしているので、例えば自車両に追従する後続車両などをディスプレイ2の表示映像で確認する際に、その後続車両との距離感やスピード感を自車両のドライバに正しく把握させることができる。その一方で、自車両の前進走行中にディスプレイ2に表示される表示映像の画角が狭くなることに伴い、リアカメラ1で撮影はされているものの映像として表示されない自車両後方の死角領域が拡大するため、例えば自車両を追い越そうとしている二輪車などの障害物がこの死角領域に入ると、障害物が存在していることを自車両のドライバに認識させることができなくなるという問題が生じる。そこで、本実施形態の車両用後方監視装置では、映像処理ユニット10に障害物検知部14および障害物報知部15を設け、リアカメラ1の撮影映像のうちでディスプレイ2に表示されない映像を用いて自車両後方の障害物を検知し、障害物が存在する場合にはその旨を自車両のドライバに報知するようにしている。
As described above, in the vehicular rear monitoring apparatus of the present embodiment, if the host vehicle is traveling forward, the image of a relatively narrow area behind the host vehicle is enlarged to a video size equivalent to the reflection image of the room mirror. For example, when confirming, for example, a subsequent vehicle following the host vehicle on the display image of the
一般的な乗用車に取り付けられたルームミラーを運転席からみたときに確認できる視野範囲は、車両後方に取り付けられた画角30度のカメラが撮影する視野範囲とほぼ同等である。勿論、ルームミラーの湾曲やリアガラスの大きさ、リアピラーの太さやルームミラーと運転席アイポイント、リアガラスまでの距離などの要素により、対応するカメラ画角は多少変動する。ここで、車幅1.8mの車両後方の中央に取り付けられた画角30度のカメラは、路面に投影したときに長さ3.4m、幅0.9mの三角形領域の死角を持つ。なお、車幅を超える部分についてはドアミラーなどを用いて確認できるため、ここでは死角としていない。 The visual field range that can be confirmed when a rearview mirror attached to a general passenger car is viewed from the driver's seat is substantially the same as the visual field range captured by a camera with an angle of view of 30 degrees attached to the rear of the vehicle. Of course, the corresponding camera angle of view varies somewhat depending on factors such as the curvature of the rearview mirror, the size of the rear glass, the thickness of the rear pillar, the rearview mirror and the driver's seat eye point, and the distance to the rear glass. Here, a camera with an angle of view of 30 degrees attached to the center of the rear of the vehicle having a vehicle width of 1.8 m has a blind spot of a triangular area of 3.4 m in length and 0.9 m in width when projected onto the road surface. In addition, since the part exceeding a vehicle width can be confirmed using a door mirror etc., it is not set as the blind spot here.
本実施形態の車両用後方監視装置では、上述したように、広角カメラであるリアカメラ1により車両後方の広い領域の映像を撮影しているが、自車両が前進走行中であればルームミラーのミラー反射像に近い映像をディスプレイ2に表示させるようにしているので、自車両が前進走行中の場合は、画角30度のカメラで撮影した映像を表示している場合と同等の死角領域が発生する。この死角領域は、例えば自車両後方から自車両を追い越そうとしている二輪車などの障害物が入り込むのに十分な広さを持つため、本実施形態の車両用後方監視装置では、映像処理ユニット10の障害物検知部14によりこの死角領域における障害物有無を判定し、障害物が存在すると判定した場合には障害物報知部15によりその旨を自車両のドライバに報知するようにしている。
In the vehicle rear monitoring apparatus according to the present embodiment, as described above, the rear camera 1 that is a wide-angle camera captures an image of a wide area behind the vehicle. Since an image close to a mirror reflection image is displayed on the
以下、この障害物検知部14および障害物報知部15による処理の具体例について、さらに詳しく説明する。なお、以下では、自車両が前進走行中であることを前提として障害物検知部14および障害物報知部15による処理の具体例を説明するが、自車両が後退走行中にディスプレイ2に表示される映像範囲よりも広い領域の映像をリアカメラ1で撮影していれば、自車両が後退走行中であっても、障害物検知部14および障害物報知部15が同様の処理を行って、自車両後方に障害物が存在することを自車両のドライバに認識させることも可能である。
Hereinafter, specific examples of processing by the
障害物検知部14は、リアカメラ1により撮影された自車両後方の所定領域の映像のうち、ディスプレイ2に表示されない自車両後方の映像、つまり、映像入力部11の入力バッファに格納された映像のうちで表示映像抽出部12により表示映像として抽出されない映像を用いて、自車両後方の障害物を検知する。具体的には、障害物検知部14は、例えば、ディスプレイ2に表示されない自車両後方の映像の中で路面を背景とした一部の領域をモニタ領域として設定する。そして、このモニタ領域における映像の輝度パターンの変化をもとに、自車両の後方に接近してくる二輪車などの障害物を検知する。
The
この場合、障害物検知部14は、自車両に接近してくる障害物と路面上にある白線やマンホールなど、自車両から遠ざかる物体とを識別できるように、図5に示すように、自車両からの距離が異なる2つ以上の位置にそれぞれモニタ領域を設定することが望ましい。図5に示す例では、自車両後端から1.5m離れた路面上の横1m、縦0.5mの矩形領域を映す映像範囲を第1モニタ領域M1として設定し、自車両後端から2.5m離れた路面上の横1m、縦0.5mの矩形領域を映す映像範囲を第2モニタ領域M2として設定している。なお、モニタ領域M1,M2となる矩形領域の自車両からの距離は、自車両の走行速度に応じて適宜変更することが望ましい。例えば、低速走行中は高速走行中と比較して後続する二輪車などの障害物が自車両により接近してくることが想定されるため、自車両の走行速度が低下した場合には、モニタ領域M1,M2となる矩形領域を自車両に近い位置に変更する。また、モニタ領域M1,M2は、ディスプレイ2に表示されない自車両後方の路面を背景とした領域であるため、例えば、自車両の進行方向(前進、後退)が変化することに伴ってディスプレイ2に表示される映像範囲が変更された場合や、操作入力デバイス7を用いた自車両のドライバによる操作入力に応じてディスプレイ2に表示される映像範囲が変更された場合、モニタ領域M1,M2となる矩形領域の位置は、変更後の表示映像の映像範囲に応じて適宜変更される。
In this case, as shown in FIG. 5, the
以上のように設定したモニタ領域M1,M2は、自車両後方に障害物が存在しない場合には、基本的に路面を映している。障害物検知部14は、リアカメラ1の撮影映像のフレームごとに、すなわち映像入力部11に新たなリアカメラ1の撮影映像が格納されるごとに、各モニタ領域M1,M2のそれぞれについて、映像の輝度パターン(輝度値の分布や輝度値の分散)を計算する。また、障害物検知部14は、各モニタ領域M1,M2の輝度パターンの過去所定時間に亘る時間平均を計算する。この輝度パターンの時間平均は、後述する検出ロジックの基準値として用られる。なお、路面の種別が変化するときには路面状態が変化して路面の平均的な輝度および輝度分散が変化することが予想されるので、障害物検知部14は、道路情報取得装置6からの情報に基づいて道路種別が変化したことを検知した場合には、それまでの輝度値パターンの時間平均(基準値)をクリアして、新たに輝度パターンの時間平均(基準値)を算出することが望ましい。
The monitor areas M1 and M2 set as described above basically reflect the road surface when there is no obstacle behind the host vehicle. The
障害物検知部14は、リアカメラ1の撮影映像のフレームごとに求めた各モニタ領域M1,M2の輝度パターンを基準値と比較することで、自車両後方に障害物が存在するか否かを判定する。ここで、自車両後方に障害物が存在せず、また、路面上に白線やマンホールなどの物体がない場合は、第1モニタ領域M1および第2モニタ領域M2の双方とも一定の色の路面を映し出しているため、輝度分散値は小さな値となる。したがって、障害物検知部14は、第1モニタ領域M1の輝度分散値と第2モニタ領域M2の輝度分散値との双方が小さな値を維持している間は、自車両後方に障害物が存在しないと判定する。
The
また、路面上に白線やマンホールなどの物体が存在したり、高架橋などの影が路面に映り込んでいる場合、その路面上を自車両が走行すると、自車両後方の路面の色が一時的に変化する。この場合には、まず、自車両に近い第1モニタ領域M1の輝度パターンが基準値から大きく変化し、その後、第2モニタ領域M2の輝度パターンが基準値から大きく変化することになる。したがって、障害物検知部14は、第1モニタ領域M1の輝度パターンが大きく変化した後に第2モニタ領域M2の輝度パターンが大きく変化した場合には、これら各モニタ領域M1,M2の輝度パターンの変化は路面の色の一時的な変化によるものと判断し、自車両後方に障害物が存在しないと判定する。なお、路面上の白線やマンホール、高架橋などの影の影響により自車両後方の路面の色が一時的に変化する場合、各モニタ領域M1,M2の輝度パターンが大きく変化するタイミングは自車両の走行速度と相関を持つため、第1モニタ領域M1の輝度パターンが大きく変化してから第2モニタ領域M2の輝度パターンが大きく変化するまでのタイミングが、自車両の走行速度と相関がある場合に、各モニタ領域M1,M2の輝度パターンの変化は路面の色の一時的な変化によるものと判断し、自車両後方に障害物が存在しないと判定するようにしてもよい。
In addition, when there is an object such as a white line or manhole on the road surface, or shadows such as viaducts are reflected on the road surface, when the vehicle travels on the road surface, the color of the road surface behind the vehicle temporarily changes. Change. In this case, first, the luminance pattern of the first monitor region M1 close to the host vehicle changes greatly from the reference value, and then the luminance pattern of the second monitor region M2 changes greatly from the reference value. Therefore, when the brightness pattern of the second monitor area M2 changes greatly after the brightness pattern of the first monitor area M1 changes significantly, the
一方、自車両に後方から接近してくる二輪車などの障害物が存在する場合には、まず、第1モニタ領域M1の輝度パターンに大きな変化が現われる前に、第2モニタ領域M2の輝度パターンが基準値から大きく変化する。その後、障害物がさらに自車両後方に近付いたときに、第1モニタ領域M1の輝度パターンが基準値から大きく変化することになる。したがって、障害物検知部14は、第1モニタ領域M1の輝度パターンが大きく変化する前に第2モニタ領域M2の輝度パターンが大きく変化した場合に、自車両後方に二輪車などの障害物が存在すると判定する。
On the other hand, when there is an obstacle such as a two-wheeled vehicle approaching the host vehicle from behind, the luminance pattern of the second monitor region M2 is first displayed before a large change appears in the luminance pattern of the first monitor region M1. It varies greatly from the reference value. Thereafter, when the obstacle further approaches the rear of the host vehicle, the luminance pattern of the first monitor region M1 greatly changes from the reference value. Therefore, the
ところで、日射の方向によっては自車両後方の路面に自車両の影が映り込む場合があり、この自車両の影が、以上のような障害物の検知処理に悪影響を及ぼすことも想定される。ここで、自車両の影が第1モニタ領域M1の全域または第2モニタ領域M2の全域に亘って一律に映り込んでいる場合には、基準値となる輝度パターンの時間平均が自車両の影も含めて計算されるため大きな問題は生じないが、自車両の影の境界が第1モニタ領域M1または第2モニタ領域M2内に位置すると、輝度分布に自車両の影の影響が現われて障害物の検知処理に悪影響を及ぼすと考えられる。そこで、障害物検知部14は、自車両の影の境界がモニタ領域M1,M2内に位置しているか否かを判定して、自車両の影の境界が位置していれば、そのモニタ領域の位置を変更することが望ましい。
By the way, depending on the direction of solar radiation, the shadow of the host vehicle may be reflected on the road surface behind the host vehicle, and the shadow of the host vehicle may have an adverse effect on the obstacle detection process as described above. Here, when the shadow of the own vehicle is uniformly reflected over the entire area of the first monitor area M1 or the entire area of the second monitor area M2, the time average of the luminance pattern serving as the reference value is the shadow of the own vehicle. However, if the boundary of the shadow of the own vehicle is located in the first monitor area M1 or the second monitor area M2, the influence of the shadow of the own vehicle appears on the luminance distribution and the obstacle It is thought to have an adverse effect on the object detection process. Therefore, the
図6に、自車両の影Sの境界が第2モニタ領域M2内に位置している例を示す。この図6に示す例では、自車両の影Sの影響により、第2モニタ領域M2の輝度値の分布に2つのピークが現われることになる。障害物検知部14は、このようにモニタ領域の輝度値の分布に2つのピークが現われた場合に、当該モニタ領域内に自車両の影の境界が存在すると判定し、当該モニタ領域の位置を変更する。そして、位置を変更したことで当該モニタ領域の輝度値の分布のピークが1つになれば、その後は、その位置のモニタ領域を用いて上述した障害物の検知処理を行う。
FIG. 6 shows an example in which the boundary of the shadow S of the host vehicle is located in the second monitor region M2. In the example shown in FIG. 6, two peaks appear in the luminance value distribution of the second monitor region M2 due to the influence of the shadow S of the host vehicle. When two peaks appear in the luminance value distribution in the monitor area in this way, the
図6に示す例では、第2モニタ領域M2の輝度値の分布に2つのピークが現われているので、図7に示すように、第2モニタ領域M2の位置を例えば自車両から離れる方向にずらすか、或いは第2モニタ領域M2を狭くする。そして、その位置で第2モニタ領域M2の輝度値の分布(ヒストグラム)を見て、ピークが1つになった場合は、その位置を第2モニタ領域M2として再設定する。なお、第2モニタ領域M2をもとの位置から重なる領域がない程度にまで移動させてもピークが1つにならない場合は、輝度値の分布に現われる2つのピークは自車両の影Sの影響によるものではなく、自車両後方の障害物の影響によると考えられるので、障害物検知部14は、第2モニタ領域M2の近傍に障害物が存在すると判定する。
In the example shown in FIG. 6, since two peaks appear in the luminance value distribution of the second monitor area M2, as shown in FIG. 7, the position of the second monitor area M2 is shifted in a direction away from the host vehicle, for example. Alternatively, the second monitor area M2 is narrowed. Then, when the luminance value distribution (histogram) in the second monitor region M2 is observed at that position and one peak is obtained, the position is reset as the second monitor region M2. If the peak does not become one even if the second monitor area M2 is moved from the original position to the extent that there is no overlapping area, the two peaks appearing in the luminance value distribution are influenced by the shadow S of the host vehicle. The
障害物検知部14により自車両後方の障害物が検知された場合、障害物検知部14から障害物報知部15に対して障害物検知信号が送られる。障害物報知部15は、障害物検知部14から障害物検知信号が送られると、自車両後方に障害物が存在することを自車両のドライバに報知する処理を行う。具体的には、障害物報知部15は、障害物検知部14により自車両後方の障害物が検知された場合に、例えば、映像出力部13の出力バッファに格納された表示映像上に文字や図形などによる警告を重畳してディスプレイ2に表示させるとともに、警告音をスピーカ3から出力させることにより、自車両後方に障害物が存在することを自車両のドライバに報知する。なお、障害物報知15は、文字や図形などによる警告を表示映像上に重畳する代わりに、映像入力部11に格納されたリアカメラ1の撮影映像のうちの表示映像として抽出されていない映像の中で、障害物検知部14により検知された障害物に相当する映像部分を切り出して、表示映像上に重畳するようにしてもよい。また、障害物検知部14により自車両後方の障害物が検知された場合に、例えば、表示映像抽出部12によって表示映像として抽出される映像範囲を障害物が映る範囲まで拡大し、障害物の映像をディスプレイ2に表示させることも有効である。
When an obstacle behind the host vehicle is detected by the
ここで、障害物報知部15による自車両のドライバに対する報知の頻度は、自車両の走行速度に応じて変更することが望ましい。すなわち、高速走行中は低速走行中と比較して、自車両後方に二輪車などの障害物が接近していることによる運転の困難度合いが大きくなるので、障害物報知部15は、自車両の走行速度が高いほど、自車両のドライバに対する報知の頻度を上げることが効果的である。なお、自車両が停止している場合は周囲環境の変化による映像の輝度値変化が大きくなることが想定されるので、障害物報知部15によるドライバに対する報知を停止するか、或いは、障害物検知部14による障害物の検知処理自体を停止することが望ましい。
Here, it is desirable to change the frequency of notification to the driver of the host vehicle by the
以上、具体的な例を挙げながら詳細に説明したように、本実施形態の車両用後方監視装置は、自車両の前進走行中に、リアカメラ1で撮影された自車両後方の映像から比較的狭い領域の映像を表示映像として抽出し、この表示映像をルームミラー相当に拡大してディスプレイ2に表示させるとともに、リアカメラ1で撮影されてはいるがディスプレイ2には表示されない映像に基づいて、自車両後方の障害物を検知する処理を行って、自車両後方の障害部が検知された場合にはその旨を自車両のドライバに報知するようにしている。したがって、この車両用後方監視装置によれば、自車両の前進走行中に、自車両のドライバが距離感やスピード感を正しく把握できるように自車両後方の映像を表示しながら、自車両後方に障害物が存在すればその障害物の存在を自車両のドライバに確実に認識させることができる。
As described above in detail with reference to specific examples, the vehicle rear monitoring apparatus according to the present embodiment is relatively based on an image behind the host vehicle captured by the rear camera 1 while the host vehicle is traveling forward. A video of a narrow area is extracted as a display video, and this display video is enlarged to be equivalent to a room mirror and displayed on the
なお、以上説明した車両用後方監視装置は、本発明の一適用例を例示したものであり、本発明の技術的範囲が以上の実施形態で説明した内容に限定されることを意図するものではない。つまり、本発明の技術的範囲は、以上の実施形態で開示した具体的な技術事項に限らず、この開示から容易に導きうる様々な変形、変更、代替技術なども含むものである。例えば、上述した車両用後方監視装置では、リアカメラ1で撮影されているがディスプレイ2には表示されない映像の一部にモニタ領域を設定し、このモニタ領域における映像の輝度パターンの変化をもとに自車両後方の障害物を検知するようにしているが、例えば、リアカメラ1で撮影されているがディスプレイ2には表示されない映像に対してパターンマッチングやエッジ検出などの画像処理を行って、自車両後方の障害物を検知するようにしてもよい。
The vehicle rear monitoring apparatus described above is an example of an application of the present invention, and is not intended to limit the technical scope of the present invention to the contents described in the above embodiments. Absent. That is, the technical scope of the present invention is not limited to the specific technical matters disclosed in the above embodiments, but includes various modifications, changes, alternative techniques, and the like that can be easily derived from this disclosure. For example, in the vehicle rear monitoring apparatus described above, a monitor area is set for a part of an image captured by the rear camera 1 but not displayed on the
1 リアカメラ
2 ディスプレイ
3 スピーカ
10 映像処理ユニット
11 映像入力部
12 表示映像抽出部
13 映像出力部
14 障害物検知部
15 障害物報知部
P リアカメラの撮影映像
P1 後退走行時の表示映像
P2 前進走行時の表示映像
M1 第1モニタ領域
M2 第2モニタ領域
DESCRIPTION OF SYMBOLS 1
Claims (11)
前記撮像手段が撮像した映像のうち、車両後退時には第1の領域の映像、車両前進時には前記第1の領域よりも狭い第2の領域の映像を、それぞれ表示対象として抽出する表示映像抽出手段と、
前記表示映像抽出手段が表示対象として抽出した映像を表示する表示手段と、
前記撮影手段が撮像した映像のうち、車両前進時には前記表示映像抽出手段によって表示対象として抽出されなかった映像の輝度パターンの変化をもとに、車両後方の障害物を検知する障害物検知手段と、
前記障害物検知手段が車両後方の障害物を検知したときに、障害物の存在を車両乗員に報知する報知手段と、を備えることを特徴とする車両用後方監視装置。 Imaging means for imaging an image of a predetermined area behind the vehicle;
Display video extraction means for extracting, as a display object, a video of a first area when the vehicle is moving backward, and a video of a second area that is narrower than the first area when the vehicle moves forward, among the videos captured by the imaging means; ,
Display means for displaying the video extracted as a display target by the display video extraction means;
Obstacle detection means for detecting an obstacle behind the vehicle based on a change in luminance pattern of a video that is not extracted as a display target by the display video extraction means when the vehicle moves forward among images captured by the imaging means ,
A vehicle rear monitoring device, comprising: an informing means for informing the vehicle occupant of the presence of an obstacle when the obstacle detecting means detects an obstacle behind the vehicle.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008006091A JP5136071B2 (en) | 2008-01-15 | 2008-01-15 | Vehicle rear monitoring device and vehicle rear monitoring method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008006091A JP5136071B2 (en) | 2008-01-15 | 2008-01-15 | Vehicle rear monitoring device and vehicle rear monitoring method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009166624A JP2009166624A (en) | 2009-07-30 |
JP5136071B2 true JP5136071B2 (en) | 2013-02-06 |
Family
ID=40968322
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008006091A Expired - Fee Related JP5136071B2 (en) | 2008-01-15 | 2008-01-15 | Vehicle rear monitoring device and vehicle rear monitoring method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5136071B2 (en) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6077210B2 (en) * | 2011-12-22 | 2017-02-08 | トヨタ自動車株式会社 | Vehicle rearward monitoring device |
KR101551058B1 (en) | 2014-02-12 | 2015-09-07 | 현대자동차주식회사 | Apparatus for controlling vehicle based on driving condition and method thereof |
JP6565148B2 (en) * | 2014-09-05 | 2019-08-28 | アイシン精機株式会社 | Image display control device and image display system |
JP6552285B2 (en) * | 2015-06-05 | 2019-07-31 | アルパイン株式会社 | In-vehicle display device and vehicle rear image display method |
JP6590691B2 (en) * | 2015-12-25 | 2019-10-16 | 株式会社小松製作所 | Work vehicle and display control method |
JP6730615B2 (en) * | 2016-07-12 | 2020-07-29 | 株式会社Jvcケンウッド | Vehicle display control device, vehicle display system, vehicle display control method and program |
WO2018151151A1 (en) * | 2017-02-20 | 2018-08-23 | 京セラ株式会社 | Image processing device, image-capture device, and mobile body |
JP6927787B2 (en) * | 2017-07-25 | 2021-09-01 | 矢崎エナジーシステム株式会社 | On-board unit and driving support device |
CN111971682B (en) * | 2018-04-16 | 2024-07-05 | 三菱电机株式会社 | Road surface detection device, image display device, obstacle detection device, road surface detection method, image display method, and obstacle detection method |
JP7039133B2 (en) * | 2018-04-17 | 2022-03-22 | マレリ株式会社 | Image display device |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10109590A (en) * | 1996-10-07 | 1998-04-28 | Nippon Buyuutec:Kk | Automobile |
JP3341605B2 (en) * | 1996-12-05 | 2002-11-05 | 日産自動車株式会社 | Image processing device for vehicles |
JP4287532B2 (en) * | 1999-03-01 | 2009-07-01 | 矢崎総業株式会社 | Vehicle rear side monitoring device |
JP4254045B2 (en) * | 2000-10-17 | 2009-04-15 | 株式会社明電舎 | Road stationary obstacle detection method |
JP2004173048A (en) * | 2002-11-21 | 2004-06-17 | Auto Network Gijutsu Kenkyusho:Kk | Onboard camera system |
-
2008
- 2008-01-15 JP JP2008006091A patent/JP5136071B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009166624A (en) | 2009-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5136071B2 (en) | Vehicle rear monitoring device and vehicle rear monitoring method | |
KR100936558B1 (en) | Perimeter monitoring apparatus and image display method for vehicle | |
JP5099451B2 (en) | Vehicle periphery confirmation device | |
JP6307895B2 (en) | Vehicle periphery monitoring device | |
US8330816B2 (en) | Image processing device | |
JP4513318B2 (en) | Rear side image control apparatus and method | |
JP5953824B2 (en) | Vehicle rear view support apparatus and vehicle rear view support method | |
JP5213063B2 (en) | Vehicle display device and display method | |
JP6081034B2 (en) | In-vehicle camera control device | |
TWI533694B (en) | Obstacle detection and display system for vehicle | |
JP5966513B2 (en) | Rear side photographing device for vehicle | |
JP2009231937A (en) | Surroundings monitoring device for vehicle | |
JP4798576B2 (en) | Attachment detection device | |
JP3464368B2 (en) | Rear side monitoring device for vehicles | |
JP2005309660A (en) | Device supporting vehicle in turning right or left | |
JP6439233B2 (en) | Image display apparatus for vehicle and image processing method | |
JP4799236B2 (en) | In-vehicle display system | |
JP5245471B2 (en) | Imaging apparatus, and image processing apparatus and method | |
JP2009006824A (en) | Onboard unit and traveling control method | |
KR101543119B1 (en) | Method for providing drive composite image | |
JP6586972B2 (en) | Image display apparatus for vehicle and image processing method | |
JP4598011B2 (en) | Vehicle display device | |
JP6555240B2 (en) | Vehicle shooting display device and vehicle shooting display program | |
JP2007156919A (en) | Road section line detector | |
JP6429101B2 (en) | Image determination apparatus, image processing apparatus, image determination program, image determination method, moving object |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101222 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120403 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120522 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121016 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121029 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151122 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |