Nothing Special   »   [go: up one dir, main page]

JP2010257378A - Vehicle surroundings monitoring apparatus - Google Patents

Vehicle surroundings monitoring apparatus Download PDF

Info

Publication number
JP2010257378A
JP2010257378A JP2009109081A JP2009109081A JP2010257378A JP 2010257378 A JP2010257378 A JP 2010257378A JP 2009109081 A JP2009109081 A JP 2009109081A JP 2009109081 A JP2009109081 A JP 2009109081A JP 2010257378 A JP2010257378 A JP 2010257378A
Authority
JP
Japan
Prior art keywords
vehicle
sampling period
distance
speed
relative speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009109081A
Other languages
Japanese (ja)
Other versions
JP4975776B2 (en
Inventor
Makoto Aimura
誠 相村
Shinji Nagaoka
伸治 長岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2009109081A priority Critical patent/JP4975776B2/en
Publication of JP2010257378A publication Critical patent/JP2010257378A/en
Application granted granted Critical
Publication of JP4975776B2 publication Critical patent/JP4975776B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a vehicle surroundings monitoring apparatus for preventing the generation of the delay of the calculation timing of a relative speed between a vehicle and an object. <P>SOLUTION: The vehicle surroundings monitoring apparatus includes: a distance calculation means 24 for calculating a distance between the same object and a vehicle in picking up each image captured by cameras 2R and 2L in a sampling period Tw; a relative speed calculation means 24 for calculating a relative speed between the vehicle and the object by using the degree of change of the distance between the object and the vehicle in the sampling period Tw; an object exclusion means 25 for excluding the object from the monitoring object when the relative speed is equal to or more than a prescribed speed; and a sampling period setting means 26 for setting the sampling period Tw to a short time according as the vehicle speed of the vehicle is low. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、車両に搭載された撮像手段により撮像された画像に基づいて、車両の周辺を監視する車両周辺監視装置に関する。   The present invention relates to a vehicle periphery monitoring device that monitors the periphery of a vehicle based on an image captured by an imaging unit mounted on the vehicle.

従来より、例えば、車両に搭載されたカメラにより所定のサンプリング期間内で撮像された時系列画像から、同一の対象物の画像部分を抽出して、各画像の撮像時における対象物と車両間の距離を検出し、サンプリング期間内における距離の変化度合いから車両と対象物との相対速度を算出するようにした車両周辺監視装置が知られている(例えば、特許文献1参照)。   Conventionally, for example, an image portion of the same object is extracted from a time-series image captured within a predetermined sampling period by a camera mounted on the vehicle, and between the object and the vehicle at the time of capturing each image. There is known a vehicle periphery monitoring device that detects a distance and calculates a relative speed between a vehicle and an object from a degree of change in the distance within a sampling period (see, for example, Patent Document 1).

特許文献1に記載された車両周辺監視装置においては、車両と対象物間の距離及び相対速度から算出される対象物が車両に到達するまでの予想時間が、予め設定された判定時間以内になるときに、車両と対象物との接触可能性があると判断して、次の段階の接触判定処理を実行するようにしている。   In the vehicle periphery monitoring device described in Patent Document 1, the expected time until the object arrives at the vehicle calculated from the distance and relative speed between the vehicle and the object is within a predetermined determination time. Sometimes, it is determined that there is a possibility of contact between the vehicle and the object, and the contact determination process in the next stage is executed.

特開2001−6096号公報JP 2001-6096 A

上述した特許文献1には、車両と対象物との相対速度を算出する際に用いる時系列画像のサンプリング期間の具体的な設定については記載されていない。そして、対象物の時系列画像を用いて車両と対象物との相対速度を算出する場合に、時系列画像のサンプリング期間を一定にすると、車両と対象物間の距離が長いほどサンプリング期間における距離の変化が小さくなるため、相対速度の算出精度が低くなる。   Patent Document 1 described above does not describe a specific setting of the sampling period of the time-series image used when calculating the relative speed between the vehicle and the object. And when calculating the relative speed between the vehicle and the object using the time-series image of the object, if the sampling period of the time-series image is constant, the longer the distance between the vehicle and the object, the longer the distance in the sampling period Therefore, the relative speed calculation accuracy is lowered.

そのため、時系列画像のサンプリング期間を一定にするときには、車両からの距離が長い対象物との相対速度の算出精度を高く維持するために、サンプリング期間をある程度長い時間に設定する必要がある。   Therefore, when the sampling period of the time-series image is made constant, it is necessary to set the sampling period to a relatively long time in order to maintain high calculation accuracy of the relative speed with the object having a long distance from the vehicle.

しかし、このように時系列画像のサンプリング期間を長い時間に設定すると、車両の近くに存在する対象物との相対速度を算出するときに、相対速度の算出タイミングが遅れて対象物の検知が遅れるおそれがある。   However, when the sampling period of the time-series image is set to a long time as described above, the calculation of the relative speed is delayed and the detection of the target is delayed when calculating the relative speed with the target existing near the vehicle. There is a fear.

そこで、本発明は、車両と対象物との相対速度の算出タイミングが遅れることを防止した車両周辺監視装置を提供することを目的とする。   Accordingly, an object of the present invention is to provide a vehicle periphery monitoring device that prevents the calculation timing of the relative speed between the vehicle and the object from being delayed.

本発明は上記目的を達成するためになされたものであり、車両に搭載された撮像手段により撮像された画像を用いて車両の周辺を監視する車両周辺監視装置に関する。   The present invention has been made to achieve the above object, and relates to a vehicle periphery monitoring device that monitors the periphery of a vehicle using an image captured by an imaging unit mounted on the vehicle.

そして、本発明の第1の態様は、所定のサンプリング期間内の異なる時点で前記撮像手段により撮像された複数の画像から検出された同一の対象物について、各画像の撮像時における該対象物と前記車両間の距離を算出する距離算出手段と、前記サンプリング期間における前記距離算出手段による前記車両と前記対象物との算出距離の変化度合いを用いて、前記車両と前記対象物との相対速度を算出する相対速度算出手段と、前記相対速度が所定速度以上であるときに、前記対象物を監視対象から除外する対象物除外手段と、前記車両の車速を検出する車速検出手段と、前記車両の車速が低いほど、前記サンプリング期間を短い時間に設定するサンプリング期間設定手段とを備えたことを特徴とする。   The first aspect of the present invention relates to the same object detected from a plurality of images picked up by the image pickup means at different points in time within a predetermined sampling period, A relative speed between the vehicle and the object is calculated using a distance calculation means for calculating the distance between the vehicles and a degree of change in the calculated distance between the vehicle and the object by the distance calculation means during the sampling period. A relative speed calculating means for calculating; an object excluding means for excluding the object from a monitoring target when the relative speed is equal to or greater than a predetermined speed; a vehicle speed detecting means for detecting a vehicle speed of the vehicle; A sampling period setting means for setting the sampling period to a shorter time as the vehicle speed is lower is provided.

かかる本発明によれば、前記サンプリング期間設定手段により、前記車両の車速が低いほど前記サンプリング期間を短い時間に設定することによって、高速道路を走行している場合のように前記車両の車速が高く、遠方の対象物を監視する必要があるときは、前記サンプリング期間を長く設定して前記車両との相対速度の算出精度を維持することができる。また、市街地の狭い道路を走行している場合のように前記車両の車速が低く、近くの対象物を監視する必要があるときには、前記サンプリング期間を短く設定して前記車両との相対速度の算出タイミングが遅れることを抑制することができる。   According to the present invention, the sampling period setting means sets the sampling period to a shorter time as the vehicle speed of the vehicle is lower, thereby increasing the vehicle speed of the vehicle as when traveling on a highway. When it is necessary to monitor a distant object, it is possible to maintain the calculation accuracy of the relative speed with the vehicle by setting the sampling period longer. In addition, when the vehicle speed is low and it is necessary to monitor a nearby object, such as when driving on a narrow road in an urban area, the sampling period is set short to calculate the relative speed with the vehicle. Delay in timing can be suppressed.

次に、本発明の第2の態様は、所定の制御周期毎に、所定のサンプリング期間内の異なる時点で前記撮像手段により撮像された複数の画像から検出された同一の対象物について、各画像の撮像時における該対象物と前記車両間の距離を算出する距離算出手段と、前記サンプリング期間における前記距離算出手段による前記車両と前記対象物との算出距離の変化度合いを用いて、前記車両と前記対象物との相対速度を算出する相対速度算出手段と、前記相対速度が所定速度以上であるときに、前記対象物を監視対象から除外する対象物除外手段と、前記車両の車速を検出する車速検出手段と、前回の制御周期で前記距離算出手段により算出された前記対象物と前記車両間の距離が短いほど、今回の制御周期における前記サンプリング期間を短い時間に設定するサンプリング期間設定手段とを備えたことを特徴とする。   Next, according to the second aspect of the present invention, each image of the same object detected from a plurality of images imaged by the imaging means at different time points within a predetermined sampling period for each predetermined control period. Distance calculation means for calculating the distance between the object and the vehicle at the time of imaging, and the degree of change in the calculated distance between the vehicle and the object by the distance calculation means during the sampling period, A relative speed calculating means for calculating a relative speed with respect to the object; an object excluding means for excluding the object from a monitoring target when the relative speed is equal to or higher than a predetermined speed; and detecting a vehicle speed of the vehicle. The sampling period in the current control cycle is shorter as the distance between the object calculated by the vehicle speed detection unit and the distance calculation unit in the previous control cycle and the vehicle is shorter. Characterized in that a sampling period setting means for setting between.

かかる本発明によれば、今回の制御周期における前記車両と対象物間の距離は、前回の制御周期で前記距離算出手段により算出された前記車両と対象物間の距離と同程度になると想定される。そして、前記車両と対象物間の距離が長いほど、前記サンプリング期間を長くして前記サンプリング期間における前記車両と対象物との距離の変化量を大きくすることにより、前記車両と対象物との相対速度の算出精度を維持する必要がある。それに対して、前記車両と対象物間の距離が短いときには、前記サンプリング期間を短い時間に設定しても、前記サンプリング期間における前記車両と対象物との距離の変化量が大きくなるため、前記車両と対象物との相対速度の算出精度が高くなる。   According to the present invention, the distance between the vehicle and the object in the current control cycle is assumed to be approximately the same as the distance between the vehicle and the object calculated by the distance calculation unit in the previous control cycle. The The longer the distance between the vehicle and the object, the longer the sampling period and the greater the amount of change in the distance between the vehicle and the object in the sampling period. It is necessary to maintain speed calculation accuracy. On the other hand, when the distance between the vehicle and the object is short, even if the sampling period is set to a short time, the amount of change in the distance between the vehicle and the object during the sampling period becomes large. The accuracy of calculating the relative speed between the object and the object increases.

そこで、前記サンプリング期間設定手段により、前回の制御周期で算出された前記車両と対象物間の距離が短いほど、今回の制御周期における前記サンプリング期間を短い時間に設定することによって、前記車両と対象物間の距離が長いときに前記サンプリング期間を長く設定して相対速度の算出精度を維持すると共に、前記車両と対象物間の距離が短いときには前記サンプリング期間を短く設定して相対速度の算出タイミングが遅れることを抑制することができる。   Therefore, by setting the sampling period in the current control cycle to a shorter time as the distance between the vehicle and the object calculated in the previous control period is shorter by the sampling period setting means, the vehicle and the target are set. When the distance between objects is long, the sampling period is set long to maintain the relative speed calculation accuracy, and when the distance between the vehicle and the object is short, the sampling period is set short to calculate the relative speed. Can be delayed.

本発明の車両周囲監視装置の構成図。The block diagram of the vehicle periphery monitoring apparatus of this invention. 図1に示した車両周囲監視装置の車両への取り付け態様の説明図。Explanatory drawing of the attachment aspect to the vehicle of the vehicle periphery monitoring apparatus shown in FIG. 図1に示した画像処理ユニットにおける処理手順を示したフローチャート。3 is a flowchart showing a processing procedure in the image processing unit shown in FIG. 1. 対応画像抽出手段による画像の抽出処理と、画像間の視差の説明図。Explanatory drawing of the image extraction process by a corresponding image extraction means, and the parallax between images. 図3に示した注意喚起判定処理のフローチャート。FIG. 4 is a flowchart of an attention determination process shown in FIG. 3. 図5に示した監視対象物判定処理のフローチャート。6 is a flowchart of monitoring object determination processing shown in FIG. 5. サンプリング期間の設定方法の説明図。Explanatory drawing of the setting method of a sampling period. 車速の相違による車両と対象物との相対速度の算出誤差の変化を示した説明図。Explanatory drawing which showed the change of the calculation error of the relative speed of a vehicle and a target object by the difference in vehicle speed.

本発明の実施の形態について、図1〜8を参照して説明する。図1は本発明の車両周囲監視装置の構成図であり、本発明の車両周囲監視装置は画像処理ユニット1により構成されている。画像処理ユニット1には、遠赤外線を検出可能な赤外線カメラ2R,2L(本発明の撮像手段に相当する)、車両のヨーレートを検出するヨーレートセンサ3、車両の走行速度を検出する車速センサ4(本発明の車速検出手段に相当する)、運転者によるブレーキの操作量を検出するブレーキセンサ5、音声により注意喚起を行うためのスピーカ6、及び、赤外線カメラ2R,2Lにより得られた画像を表示すると共に、接触の可能性が高い対象物を運転者に視認させる表示を行うための表示装置7が接続されている。   Embodiments of the present invention will be described with reference to FIGS. FIG. 1 is a configuration diagram of a vehicle surroundings monitoring apparatus according to the present invention. The vehicle surroundings monitoring apparatus according to the present invention includes an image processing unit 1. The image processing unit 1 includes infrared cameras 2R and 2L (corresponding to the imaging means of the present invention) that can detect far infrared rays, a yaw rate sensor 3 that detects the yaw rate of the vehicle, and a vehicle speed sensor 4 that detects the traveling speed of the vehicle ( (Corresponding to vehicle speed detecting means of the present invention), brake sensor 5 for detecting the amount of brake operation by the driver, speaker 6 for alerting by voice, and images obtained by infrared cameras 2R and 2L are displayed. In addition, a display device 7 is connected for performing a display that allows the driver to visually recognize an object with a high possibility of contact.

図2を参照して、赤外線カメラ2R,2Lは、車両10の前部に、車両10の車幅方向の中心部に対してほぼ対象な位置に配置され、2台の赤外線カメラ2R,2Lの光軸を互いに平行とし、各赤外線カメラ2R,2Lの路面からの高さを等しくして固定されている。なお、赤外線カメラ2R,2Lは、撮像物の温度が高い程出力レベルが高くなる(輝度が大きくなる)特性を有している。また、表示装置7は、車両10のフロントウィンドウの運転者側の前方位置に画面7aが表示されるように設けられている。   Referring to FIG. 2, infrared cameras 2R and 2L are disposed at the front portion of vehicle 10 at a substantially target position with respect to the center portion of vehicle 10 in the vehicle width direction, and two infrared cameras 2R and 2L are arranged. The optical axes are parallel to each other, and the infrared cameras 2R and 2L are fixed at the same height from the road surface. The infrared cameras 2R and 2L have a characteristic that the output level increases (the luminance increases) as the temperature of the imaged object increases. Further, the display device 7 is provided so that the screen 7 a is displayed at a front position on the driver side of the front window of the vehicle 10.

また、図1を参照して、画像処理ユニット1は、マイクロコンピュータ(図示しない)等により構成された電子ユニットであり、赤外線カメラ2R,2Lから出力されるアナログの映像信号をデジタルデータに変換して画像メモリ(図示しない)に取り込み、該画像メモリに取り込んだ車両前方の画像に対して該マイクロコンピュータにより各種演算処理を行う機能を有している。   Referring to FIG. 1, an image processing unit 1 is an electronic unit composed of a microcomputer (not shown) and converts analog video signals output from infrared cameras 2R and 2L into digital data. The microcomputer has a function of performing various arithmetic processes by the microcomputer with respect to the image in front of the vehicle captured in the image memory (not shown).

そして、該マイクロコンピュータに、車両監視用プログラムを実行させることによって、該マイクロコンピュータが、赤外線カメラ2Rにより撮像された第1画像から、実空間上の対象物の第1画像部分を抽出する対象物抽出手段20、赤外線カメラ2Lにより撮像された第2画像から、該第1画像部分と相関性を有する第2画像部分を抽出する対応画像抽出手段21、対象物抽出手段20により抽出された第1画像部分と対応画像抽出手段21により抽出された第2画像部分との視差を算出する視差算出手段22、視差に基づいて車両と対象物間の距離を算出する距離算出手段23、車両と対象物との相対速度を算出する相対速度算出手段24、相対速度が所定速度以上である対象物を監視対象から除外する対象物除外手段25、相対速度算出手段24により相対速度を算出する際に用いられる画像の時系列データを取得するサンプリング期間を設定するサンプリング期間設定手段26、及び車両10と対象物との接触可能性を判定する接触判定手段27として機能する。   Then, by causing the microcomputer to execute a vehicle monitoring program, the microcomputer extracts the first image portion of the object in real space from the first image captured by the infrared camera 2R. Extraction means 20 and corresponding image extraction means 21 for extracting a second image portion having a correlation with the first image portion from the second image captured by the infrared camera 2L, and the first object extracted by the object extraction means 20 Parallax calculating means 22 for calculating the parallax between the image portion and the second image portion extracted by the corresponding image extracting means 21, distance calculating means 23 for calculating the distance between the vehicle and the object based on the parallax, the vehicle and the object Relative speed calculation means 24 for calculating the relative speed with respect to the object, object exclusion means 25 for excluding an object whose relative speed is equal to or higher than a predetermined speed from the monitoring target, relative speed Sampling period setting means 26 for setting a sampling period for acquiring time-series data of images used when calculating the relative speed by the output means 24, and contact determination means 27 for determining the possibility of contact between the vehicle 10 and the object. Function as.

次に、図3に示したフローチャートに従って、画像処理ユニット1による車両10の周辺の監視処理について説明する。画像処理ユニット1は、所定の制御周期毎に図3に示したフローチャートによる処理を実行して車両10の周辺を監視する。   Next, monitoring processing around the vehicle 10 by the image processing unit 1 will be described according to the flowchart shown in FIG. The image processing unit 1 monitors the periphery of the vehicle 10 by executing the process according to the flowchart shown in FIG.

画像処理ユニット1は、先ずSTEP1で赤外線カメラ2R,2Lから出力される赤外線画像のアナログ信号を入力し、続くSTEP2で該アナログ信号をA/D変換によりデジタル化したグレースケール画像を画像メモリに格納する。   The image processing unit 1 first inputs an analog signal of an infrared image output from the infrared cameras 2R and 2L in STEP1, and then stores a grayscale image obtained by digitizing the analog signal by A / D conversion in an image memory in STEP2. To do.

なお、STEP1〜STEP2では、赤外線カメラ2Rによるグレースケール画像(以下、右画像という。)と、赤外線カメラ2Lによるグレースケール画像(以下、左画像という。)とが取得される。そして、右画像と左画像では、同一の対象物の画像部分の水平位置にずれ(視差)が生じるため、この視差に基づいて実空間における車両10から該対象物までの距離を算出することができる。   In STEP1 to STEP2, a grayscale image (hereinafter referred to as a right image) obtained by the infrared camera 2R and a grayscale image (hereinafter referred to as a left image) obtained by the infrared camera 2L are acquired. Since the right image and the left image have a shift (parallax) in the horizontal position of the image portion of the same object, the distance from the vehicle 10 to the object in real space can be calculated based on this parallax. it can.

続くSTEP3で、画像処理ユニット1は、右画像を基準画像として2値化処理(輝度が閾値以上の画素を「1(白)」とし、該閾値よりも小さい画素を「0(黒)」とする処理)を行って2値画像を生成する。次のSTEP4〜STEP6は、対象物抽出手段20による処理である。対象物抽出手段20は、STEP4で、2値画像に含まれる各白領域の画像部分をランレングスデータ(2値画像のx(水平)方向に連続する白の画素のラインのデータ)化する。また、対象物抽出手段20は、STEP5で、2値画像のy(垂直)方向に重なる部分があるラインを一つの画像部分としてラベリングし、STEP6で、ラベリングした画像部分を監視対象物の画像候補として抽出する。   In subsequent STEP 3, the image processing unit 1 binarizes the right image as a reference image (pixels with luminance equal to or higher than a threshold value are set to “1 (white)”, and pixels smaller than the threshold value are set to “0 (black)”. To generate a binary image. The next STEP 4 to STEP 6 are processes by the object extraction means 20. In STEP 4, the object extraction means 20 converts the image portion of each white area included in the binary image into run length data (data of white pixel lines continuous in the x (horizontal) direction of the binary image). Further, the object extraction unit 20 labels a line having a portion overlapping in the y (vertical) direction of the binary image as one image part in STEP 5, and in STEP 6, the labeled image part is an image candidate of the monitoring object. Extract as

次のSTEP7で、画像処理ユニット1は、各画像候補の重心G、面積S、及び外接四角形の縦横比ASPECTを算出する。なお、具体的な算出方法については、前掲した特開2001−6096号公報等に記載された一般的なものであるため、ここでは説明を省略する。そして、画像処理ユニット1は、続くSTEP8〜STEP9と、STEP20〜STEP22を平行して実行する。   In the next STEP 7, the image processing unit 1 calculates the gravity center G, area S, and circumscribing aspect ratio ASPECT of each image candidate. Note that a specific calculation method is a general method described in JP 2001-6096 A and the like described above, and thus description thereof is omitted here. Then, the image processing unit 1 executes the following STEP 8 to STEP 9 and STEP 20 to STEP 22 in parallel.

STEP8で、画像処理ユニット1は、所定のサンプリング周期毎に赤外線カメラ2R,2Lにより撮像された画像に基づく2値画像から抽出された画像部分について、同一性判定を行い、同一の対象物の画像であると判定された画像部分の位置(重心位置)の時系列データをメモリに格納する(時刻間追跡)。また、STEP9で、画像処理ユニット1は、車速センサ4により検出される車速VCAR及びヨーレートセンサ3により検出されるヨーレートYRを読み込み、ヨーレートYRを時間積分することにより、車両10の回頭角θrを算出する。   In STEP 8, the image processing unit 1 performs identity determination on image portions extracted from binary images based on images taken by the infrared cameras 2R and 2L at predetermined sampling periods, and images of the same object The time-series data of the position of the image portion determined to be (centroid position) is stored in the memory (time tracking). In STEP 9, the image processing unit 1 reads the vehicle speed VCAR detected by the vehicle speed sensor 4 and the yaw rate YR detected by the yaw rate sensor 3, and calculates the turning angle θr of the vehicle 10 by time integration of the yaw rate YR. To do.

また、STEP20〜STEP21は対応画像抽出手段21による処理である。図4を参照して、対応画像抽出手段21は、STEP20で、対象物抽出手段20により抽出された監視対象物の画像候補の中の一つを選択して、右画像のグレースケール画像30から対応する探索画像30a(選択された候補画像の外接四角形で囲まれる領域全体の画像)を抽出する。続くSTEP21で、対応画像抽出手段20は、左画像のグレースケール画像31から探索画像30aに対応する画像を探索する探索領域32を設定し、探索画像30aとの相間演算を実行して対応画像31aを抽出する。   Further, STEP 20 to STEP 21 are processes by the corresponding image extraction means 21. Referring to FIG. 4, in step 20, the corresponding image extraction unit 21 selects one of the monitoring subject image candidates extracted by the target object extraction unit 20, and selects from the grayscale image 30 of the right image. A corresponding search image 30a (an image of the entire region surrounded by a circumscribed rectangle of the selected candidate image) is extracted. In subsequent STEP 21, the corresponding image extracting means 20 sets a search area 32 for searching for an image corresponding to the search image 30a from the grayscale image 31 of the left image, executes an interphase operation with the search image 30a, and executes the correlation image 31a. To extract.

続くSTEP22は、視差算出手段22による処理である。視差算出手段22は、探索画像30aの重心位置と対応画像31aの重心位置との差を視差dxとして算出し、STEP10に進む。   The subsequent STEP 22 is processing by the parallax calculation means 22. The parallax calculation means 22 calculates the difference between the centroid position of the search image 30a and the centroid position of the corresponding image 31a as the parallax dx, and proceeds to STEP10.

STEP10は距離算出手段23による処理である。距離算出手段23は、探索画像30a及び対応画像31aに対応する実空間上の対象物と車両10との距離を、視差算出手段22により算出された視差dxを用いて以下の式(1)により算出する。   STEP 10 is processing by the distance calculation means 23. The distance calculating unit 23 uses the parallax dx calculated by the parallax calculating unit 22 to calculate the distance between the object in the real space corresponding to the search image 30a and the corresponding image 31a and the vehicle 10 according to the following equation (1). calculate.

Figure 2010257378
Figure 2010257378

但し、Z:対象物と車両10との距離、f:赤外線カメラ2R,2Lの焦点距離、p:赤外線カメラ2R,2Lの画素ピッチ、D:赤外線カメラ2R,2Lの基線長、dx:視差。   Where Z: distance between the object and the vehicle 10, f: focal length of the infrared cameras 2R and 2L, p: pixel pitch of the infrared cameras 2R and 2L, D: base line length of the infrared cameras 2R and 2L, dx: parallax.

続くSTEP11〜STEP14は、接触判定手段27による処理である。STEP11で、接触判定手段27は、探索画像30aの座標(x,y)とSTEP10で算出された対象物と車両10との距離zを、実空間座標(X,Y,Z)に変換して、探索画像10aに対応する実空間上の対象物の位置の座標を算出する。なお、実空間座標(X,Y,Z)は、図2に示したように、赤外線カメラ2R,2Lの取り付け位置の中点の位置を原点0として、Xを車両10の車幅方向、Yを鉛直方向、Zを車両10の前方向に設定されている。また、画像座標は、画像の中心を原点とし、水平方向がx、垂直方向がyに設定されている。   Subsequent STEP 11 to STEP 14 are processes by the contact determination means 27. In STEP 11, the contact determination means 27 converts the coordinates (x, y) of the search image 30a and the distance z between the object calculated in STEP 10 and the vehicle 10 into real space coordinates (X, Y, Z). Then, the coordinates of the position of the object in the real space corresponding to the search image 10a are calculated. As shown in FIG. 2, the real space coordinates (X, Y, Z) are set such that the midpoint position of the attachment positions of the infrared cameras 2R, 2L is the origin 0, X is the vehicle width direction of the vehicle 10, and Y Is set in the vertical direction, and Z is set in the front direction of the vehicle 10. The image coordinates are set such that the center of the image is the origin, the horizontal direction is x, and the vertical direction is y.

次のSTEP12で、接触判定手段27は、車両10が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う。また、STEP13で、接触判定手段27は、所定のモニタ期間内で撮像された複数の画像から得られた回頭角補正後の同一の対象物の実空間位置の時系列データから、対象物と車両10との相対的な移動ベクトルを算出する。   In the next STEP 12, the contact determination unit 27 performs a turning angle correction for correcting a positional deviation on the image due to the turning of the vehicle 10. Further, in STEP 13, the contact determination means 27 determines the object and the vehicle from the time series data of the real space position of the same object after turning angle correction obtained from a plurality of images captured within a predetermined monitoring period. A relative movement vector with respect to 10 is calculated.

なお、対象物の実空間座標(X,Y,Z)及び移動ベクトルの具体的な算出方法については、前掲した特開2001−6096号公報に詳説されているので、ここでは説明を省略する。   The specific calculation method of the real space coordinates (X, Y, Z) and the movement vector of the object is described in detail in the above-mentioned Japanese Patent Application Laid-Open No. 2001-6096, and will not be described here.

続くSTEP14で、接触判定手段27は、車両10と対象物との接触可能性を判断して、注意喚起を行う必要があるか否かを判定する「注意喚起判定処理」を実行する。「注意喚起判定処理」においては、注意喚起を行う必要があると判定されたときに、スピーカ6による注意喚起音の出力と、表示装置7への注意喚起表示を行う。   In subsequent STEP 14, the contact determination unit 27 determines the possibility of contact between the vehicle 10 and the object, and executes “attention call determination processing” for determining whether or not it is necessary to call attention. In “attention call determination processing”, when it is determined that it is necessary to call attention, an output of a warning sound by the speaker 6 and a warning display on the display device 7 are performed.

次に、図5に示したフローチャートに従って、図3のSTEP14における「注意喚起判定処理」について説明する。   Next, the “attention calling determination process” in STEP 14 of FIG. 3 will be described according to the flowchart shown in FIG.

図5のSTEP30で、接触判定手段27は、対象物抽出手段20により抽出されて、図3のSTEP13で移動ベクトルが推定された対象物が、監視対象物であるか否かを判定する「監視対象物判定処理」を実行する。「監視対象物判定処理」の詳細については後述する。   In STEP 30 of FIG. 5, the contact determination means 27 determines whether or not the object extracted by the object extraction means 20 and whose movement vector is estimated in STEP 13 of FIG. 3 is a monitoring object. "Object determination processing" is executed. Details of the “monitoring object determination process” will be described later.

そして、「監視対象物判定処理」により、対象物が監視対象物であると判定されたときはSTEP32に進む。一方、「監視対象物判定処理」により、対象物が監視対象物でないと判定されたときにはSTEP36に進み、この場合は、スピーカ6による注意喚起音の出力と、表示装置7への注意喚起表示は行われない。   When it is determined by the “monitoring object determination process” that the object is a monitoring object, the process proceeds to STEP 32. On the other hand, when it is determined by the “monitoring object determination process” that the object is not the monitoring object, the process proceeds to STEP 36. In this case, the output of the alert sound by the speaker 6 and the alert display on the display device 7 are as follows. Not done.

STEP32で、接触判定手段27は、対象物が車両10の周囲に設定された接近判定領域内に存在するか否かを判定する。そして、対象物が接近判定領域内に存在しているときは、次のSTEP33からSTEP34に進み、接触判定手段27は、注意喚起が必要であるか否かを判断する。   In STEP 32, the contact determination unit 27 determines whether or not the target object exists within the approach determination region set around the vehicle 10. When the object is present in the approach determination area, the process proceeds from the next STEP 33 to STEP 34, and the contact determination means 27 determines whether or not an alert is necessary.

STEP34において、接触判定手段27は、ブレーキセンサ5の出力から運転者によるブレーキ操作が行われているか否かを判断する。そして、ブレーキ操作が行われ、且つ、車両10の加速度(ここでは減速方向を正する)が予め設定された加速度閾値よりも大きいとき(適切なブレーキ操作がなされていると想定される)は、注記喚起は不要であると判定する。それに対して、ブレーキ操作が行われていないか、或いは車両10の加速度が加速度閾値以下であるときには、注意喚起が必要であると判定する。   In STEP 34, the contact determination unit 27 determines whether or not a brake operation is performed by the driver from the output of the brake sensor 5. When the brake operation is performed and the acceleration of the vehicle 10 (correcting the deceleration direction here) is larger than a preset acceleration threshold value (it is assumed that an appropriate brake operation is performed). It is determined that no alert is required. On the other hand, when the brake operation is not performed or when the acceleration of the vehicle 10 is equal to or less than the acceleration threshold value, it is determined that an alert is necessary.

そして、STEP34で注意喚起が必要であると判定されたときは、次のSTEP35からSTEP50に分岐し、接触判定手段27は、スピーカ6による注意喚起音の出力と、表示装置7への注意喚起表示を行う。それに対して、STEP34で注意喚起が不要であると判定されたときには、次のSTEP35からSTEP36に進んで図3のSTEP1に戻る。そのため、この場合には、接触判定手段27は、スピーカ6による注意喚起音の出力と、表示装置7への注意喚起表示を行わない。   When it is determined in STEP 34 that attention is required, the next branch from STEP 35 to STEP 50 is made, and the contact determination means 27 outputs a warning sound from the speaker 6 and displays a warning on the display device 7. I do. On the other hand, when it is determined in STEP 34 that alerting is unnecessary, the process proceeds from STEP 35 to STEP 36 and returns to STEP 1 in FIG. Therefore, in this case, the contact determination unit 27 does not perform the output of the alert sound by the speaker 6 and the alert display on the display device 7.

また、STEP32で、対象物が接近判定領域内に存在しないと判断されたときには、次のSTEP33からSTEP40に分岐する。STEP40で、接触判定手段27は、対象物が接近判定領域外から接近判定領域内に進入して自車両10と接触する(侵入接触)可能性を判定する。   If it is determined in STEP 32 that the object does not exist in the approach determination area, the process branches from STEP 33 to STEP 40. In STEP 40, the contact determination means 27 determines the possibility that the target object enters the access determination area from outside the access determination area and comes into contact with the host vehicle 10 (intrusion contact).

そして、侵入接触の可能性が高いと判定したときは、次のSTEP41からSTEP34に進む。一方、侵入接触の可能性が低いと判定したときには、次のSTEP41からSTEP36に進み、この場合には、接触判定手段27は、スピーカ6による注意喚起音の出力と、表示装置7への注意喚起表示を行わない。   And when it determines with the possibility of an intrusion contact being high, it progresses to STEP34 from the next STEP41. On the other hand, when it is determined that the possibility of intrusion contact is low, the process proceeds from STEP 41 to STEP 36. In this case, the contact determination unit 27 outputs an alert sound from the speaker 6 and alerts the display device 7. Do not display.

なお、STEP32における接近判定、STEP34の注意喚起出力判定、及びSTEP40の侵入接触判定の各処理の詳細は、前掲した特開2001−6096号公報に記載された衝突判定、警報出力判定、及び侵入衝突判定と同様の処理であるため、ここでは詳細な説明を省略する。   Note that details of each process of the approach determination in STEP 32, the alert output determination in STEP 34, and the intrusion contact determination in STEP 40 are the collision determination, alarm output determination, and intrusion collision described in JP 2001-6096 A mentioned above. Since the process is the same as the determination, detailed description is omitted here.

次に、図6に示したフローチャートに従って、図5のSTEP30における「監視対象物判定処理」について説明する。   Next, the “monitoring object determination process” in STEP 30 of FIG. 5 will be described according to the flowchart shown in FIG.

図6のSTEP60は、サンプリング期間設定手段26による処理である。サンプリング期間設定手段26は、図7(a)に示した車速(VCAR)とサンプリング期間(Tw)の対応マップa1に、車速センサ4により検出される車両の車速VCARを適用して、対応するサンプリング期間Twを取得する。そして、サンプリング期間設定手段26は、取得したサンプリング期間Twを、今回の制御サイクルにおけるサンプリング期間として設定する。   STEP 60 in FIG. 6 is processing by the sampling period setting means 26. The sampling period setting means 26 applies the vehicle speed VCAR detected by the vehicle speed sensor 4 to the correspondence map a1 of the vehicle speed (VCAR) and the sampling period (Tw) shown in FIG. The period Tw is acquired. Then, the sampling period setting unit 26 sets the acquired sampling period Tw as a sampling period in the current control cycle.

続くSTEP61〜STEP63は、相対速度算出手段24による処理である。相対速度算出手段24は、STEP61で、サンプリング期間Tw以上の車両10と対象物間の距離の時系列データが取得されるのを待ってSTEP62に進む。そして、相対速度算出手段24は、STEP62で距離の時系列データから、外れ値(算出距離が他のデータから極端に乖離したデータ等)を除去する。   Subsequent STEP 61 to STEP 63 are processes by the relative speed calculation means 24. The relative speed calculation means 24 waits for the time series data of the distance between the vehicle 10 and the object in the sampling period Tw or more to be acquired in STEP 61 and proceeds to STEP 62. Then, the relative speed calculation unit 24 removes outliers (data in which the calculated distance is extremely different from other data) from the time series data of the distance in STEP 62.

そして、相対速度算出手段24は、以下の式(2)により車両10と対象物との相対速度Vsを算出する。   Then, the relative speed calculation unit 24 calculates the relative speed Vs between the vehicle 10 and the object by the following equation (2).

Figure 2010257378
Figure 2010257378

但し、Vs:車両10と対象物との相対速度、Tw:サンプリング期間、Z(0):最新の距離算出値、Z(N-1):Z(0)の算出時からTw前の時点における距離算出値。   Where Vs: relative speed between the vehicle 10 and the object, Tw: sampling period, Z (0): latest distance calculation value, Z (N-1): Z (0) calculation time before Tw Distance calculated value.

ここで、図8を算出して、車速VCARに応じた車両10と対象物との相対速度の算出誤差の変化について説明する。図8は縦軸を速度(V)に設定し、横軸を車両10の車速VCARに設定して、車速VCARによる車両10と他車両及び歩行者との相対速度の算出誤差の変化を示したものである。   Here, FIG. 8 is calculated, and the change in the calculation error of the relative speed between the vehicle 10 and the object according to the vehicle speed VCAR will be described. FIG. 8 shows changes in the relative speed calculation error between the vehicle 10 and other vehicles and pedestrians according to the vehicle speed VCAR, with the vertical axis set to speed (V) and the horizontal axis set to the vehicle speed VCAR of the vehicle 10. Is.

また、図8は、他車両及び歩行者が、車両10との接触までの余裕時間の設定に応じて定まる監視対象距離を隔てた位置に存在するものとし、サンプリング期間Twを、想定される車速VCARの最大値VCAR_maxにおける相対速度の算出誤差が、許容範囲Wm,Wpとなる一定値に設定して、車両10と他車両及び歩行者との相対速度を算出したものである。   Further, FIG. 8 shows that the other vehicle and the pedestrian exist at positions separated by the monitoring target distance determined according to the setting of the allowance time until contact with the vehicle 10, and the sampling period Tw is set to the assumed vehicle speed. The relative speed between the vehicle 10, the other vehicle, and the pedestrian is calculated by setting the relative speed calculation error at the maximum value VCAR_max of the VCAR to a constant value within the allowable ranges Wm and Wp.

図8において、Vmは車両10と他車両との実際の相対速度、Vpは車両10と歩行者との実際の相対速度、Vs_thは相対速度の判定閾値、e1,e2は車両10と他車両との相対速度の算出値、e3は車両10と他車両との相対速度の算出値、Emは車両10と他車両との相対速度の算出誤差、Epは車両10と歩行者との相対速度の算出誤差を示している。   In FIG. 8, Vm is the actual relative speed between the vehicle 10 and the other vehicle, Vp is the actual relative speed between the vehicle 10 and the pedestrian, Vs_th is a relative speed determination threshold value, e1, e2 are the vehicle 10 and the other vehicle. , E3 is a calculated value of the relative speed between the vehicle 10 and the other vehicle, Em is a calculation error of the relative speed between the vehicle 10 and the other vehicle, Ep is a calculation of the relative speed between the vehicle 10 and the pedestrian. Indicates an error.

図8から、車速VCARが低くなるに従って、相対速度の算出誤差Em,Epが減少することがわかる。そのため、車速VCARが低い範囲においては、必要以上の精度が得られるサンプリング期間Twの設定となっている。   It can be seen from FIG. 8 that the relative speed calculation errors Em and Ep decrease as the vehicle speed VCAR decreases. For this reason, in the range where the vehicle speed VCAR is low, the sampling period Tw is set such that an accuracy higher than necessary is obtained.

そこで、サンプリング期間設定手段26により、STEP60で、図7(a)に示した車速とサンプリング期間の対応マップa1に従って、車速VCARが低いほどサンプリング期間Twを短い時間に設定することによって、車速VCARが高い範囲での相対速度の算出精度を高く維持すると共に、車速VCARが低い範囲での相対速度の算出時間を短くすることができる。そして、これにより、車速VCARが低いときに、車両10と対象物との相対速度の算出タイミングが遅れることを抑制することができる。   Therefore, the sampling period setting means 26 sets the sampling period Tw to a shorter time as the vehicle speed VCAR is lower in STEP 60 according to the vehicle speed / sampling period correspondence map a1 shown in FIG. It is possible to maintain high calculation accuracy of the relative speed in the high range and shorten the calculation time of the relative speed in the range where the vehicle speed VCAR is low. Thus, when the vehicle speed VCAR is low, it is possible to suppress a delay in the calculation timing of the relative speed between the vehicle 10 and the object.

続くSTEP64〜STEP65、及びSTEP70は、対象物除外手段25による処理である。対象物除外手段25は、STEP64で、車両10と対象物との相対速度Vsが判定閾値Vs_th以下であるか否かを判断する。   Subsequent STEP 64 to STEP 65 and STEP 70 are processes by the object exclusion means 25. The object excluding means 25 determines whether or not the relative speed Vs between the vehicle 10 and the object is equal to or less than the determination threshold value Vs_th in STEP64.

そして、相対相度Vsが判定閾値Vs_th以下であるときはSTEP65に進み、対象物除外手段25は、対象物が監視対象物であると判定する。そして、STEP66に進んで図5の処理に戻る。一方、相対速度Vsが判定閾値Vs_thよりも高いときにはSTEP70に分岐し、対象物除外手段25は、対象物が監視対象物ではないと判定する。そして、STEP66に進んで図5の処理に戻る。   When the relative phase Vs is equal to or less than the determination threshold value Vs_th, the process proceeds to STEP 65, and the target object exclusion unit 25 determines that the target object is a monitoring target object. Then, the process proceeds to STEP 66 and returns to the process of FIG. On the other hand, when the relative speed Vs is higher than the determination threshold value Vs_th, the process branches to STEP 70, and the object exclusion means 25 determines that the object is not a monitoring object. Then, the process proceeds to STEP 66 and returns to the process of FIG.

ここで、車両10の車速VCARが低いほどサンプリング期間Twを短い時間に設定することによって、図5のSTEP30における「監視対象物判定処理」の処理時間が短くなると、STEP31以下の各判定処理の実行タイミングが早くなるため、STEP50による注意喚起が遅れることを抑制することができる。   Here, by setting the sampling period Tw to a shorter time as the vehicle speed VCAR of the vehicle 10 is lower, the processing time of the “monitoring object determination processing” in STEP 30 of FIG. Since the timing is advanced, it is possible to suppress delay in alerting by STEP50.

なお、本実施の形態では、図7(a)に示したマップにより、車両10の車速VCARが低いほどサンプリング期間Twを短い時間に設定したが、予め設定したサンプリング期間の初期値に、車速VCARが低いほど小さくなる係数k1(0<k1≦1)を乗ずることによって、車速10の車速VCARが低いほどサンプリング期間Twを短い時間に設定するようにしてもよい。   In this embodiment, according to the map shown in FIG. 7A, the sampling period Tw is set to be shorter as the vehicle speed VCAR of the vehicle 10 is lower. However, the vehicle speed VCAR is set to the initial value of the preset sampling period. The sampling period Tw may be set to a shorter time as the vehicle speed VCAR of the vehicle speed 10 is lower by multiplying the coefficient k1 (0 <k1 ≦ 1) which becomes smaller as the vehicle speed becomes lower.

また、図7(b)に示した、前回の制御周期で算出された車両10と対象物との距離L(n-1)と、サンプリング期間Twとの対応マップにより、前回の制御周期で算出された車両10と対象物との距離L(n-1)が短いほど、今回の制御周期におけるサンプリング期間Twを短く設定するようにしてもよい。この場合、算出された距離L(n-1)には誤差が含まれるため、この誤差を考慮して、例えばb3に示したように、サンプリング期間Twを階段状に設定してもよい。   Moreover, it calculates with the last control cycle by the correspondence map of the distance L (n-1) between the vehicle 10 and the object calculated with the previous control cycle and the sampling period Tw shown in FIG. 7B. The shorter the distance L (n−1) between the vehicle 10 and the target object, the shorter the sampling period Tw in the current control cycle may be set. In this case, since the calculated distance L (n-1) includes an error, the sampling period Tw may be set stepwise as shown in b3, for example, in consideration of this error.

また、予め設定したサンプリング期間の初期値に、前回の制御周期で算出された車両10と対象物との距離L(n-1)が短いほど小さくなる係数k2(0<k2≦1)を乗ずることによって、前回の制御周期で算出された車両10と対象物との距離L(n-1)が短いほど、今回の制御周期におけるサンプリング期間Twを短い時間に設定するようにしてもよい。   Further, the initial value of the preset sampling period is multiplied by a coefficient k2 (0 <k2 ≦ 1) that becomes smaller as the distance L (n−1) between the vehicle 10 and the object calculated in the previous control cycle becomes shorter. Accordingly, the sampling period Tw in the current control cycle may be set to a shorter time as the distance L (n−1) between the vehicle 10 and the object calculated in the previous control cycle is shorter.

なお、本実施の形態において、距離算出手段23は、2台の赤外線カメラ2R,2Lを備え、右画像と左画像間の同一対象物の画像部分の視差を用いて、車両10と対象物との距離を算出したが、例えば、特開2007−213561号公報に記載されているように、1台のカメラにより撮像された時系列画像間における同一対象物の画像部分の大きさの変化率を用いて、車両と対象物との距離を算出するようにしてもよい。   In the present embodiment, the distance calculation unit 23 includes two infrared cameras 2R and 2L, and uses the parallax of the image portion of the same object between the right image and the left image, and the vehicle 10 and the object. For example, as described in Japanese Patent Application Laid-Open No. 2007-213561, the rate of change in the size of the image portion of the same object between time-series images captured by one camera is calculated. It may be used to calculate the distance between the vehicle and the object.

また、レーザーレーダやミリ波レーダ等の測距手段により、車両10と対象物との距離を算出するようにしてもよい。   Further, the distance between the vehicle 10 and the object may be calculated by distance measuring means such as a laser radar or a millimeter wave radar.

また、本実施の形態においては、車両前方を撮像する構成を示したが、車両の後方や側方等、他の方向を撮像して対象物との接触可能性を判断するようにしてもよい。   Moreover, in this Embodiment, although the structure which images a vehicle front was shown, you may make it judge the contact possibility with a target object by imaging other directions, such as back and a side of a vehicle. .

また、本実施の形態においては、本発明の撮像手段として赤外線カメラ2R,2Lを用いたが、可視画像を撮像する可視カメラを用いてもよい。   Further, in the present embodiment, the infrared cameras 2R and 2L are used as the imaging means of the present invention, but a visible camera that captures a visible image may be used.

1…画像処理ユニット、2R,2L…赤外線カメラ、3…ヨーレートセンサ、4…車速センサ、5…ブレーキセンサ、6…スピーカ、7…表示装置、20…対象物抽出手段、21…対応画像抽出手段、22…視差算出手段、23…距離算出手段、24…相対速度算出手段、25…対象物抽出手段、26…サンプリング期間設定手段、27…接触判定手段。   DESCRIPTION OF SYMBOLS 1 ... Image processing unit, 2R, 2L ... Infrared camera, 3 ... Yaw rate sensor, 4 ... Vehicle speed sensor, 5 ... Brake sensor, 6 ... Speaker, 7 ... Display apparatus, 20 ... Object extraction means, 21 ... Corresponding image extraction means , 22 ... parallax calculation means, 23 ... distance calculation means, 24 ... relative speed calculation means, 25 ... object extraction means, 26 ... sampling period setting means, 27 ... contact determination means.

Claims (2)

車両に搭載された撮像手段により撮像された画像を用いて車両の周辺を監視する車両周辺監視装置であって、
所定のサンプリング期間内の異なる時点で前記撮像手段により撮像された複数の画像から検出された同一の対象物について、各画像の撮像時における該対象物と前記車両間の距離を算出する距離算出手段と、
前記サンプリング期間における前記距離算出手段による前記車両と前記対象物との算出距離の変化度合いを用いて、前記車両と前記対象物との相対速度を算出する相対速度算出手段と、
前記相対速度が所定速度以上であるときに、前記対象物を監視対象から除外する対象物除外手段と、
前記車両の車速を検出する車速検出手段と、
前記車両の車速が低いほど、前記サンプリング期間を短い時間に設定するサンプリング期間設定手段とを備えたことを特徴とする車両周辺監視装置。
A vehicle periphery monitoring device that monitors the periphery of a vehicle using an image captured by an imaging means mounted on the vehicle,
Distance calculation means for calculating the distance between the object and the vehicle at the time of imaging of the same object detected from a plurality of images taken by the imaging means at different times within a predetermined sampling period When,
Relative speed calculation means for calculating a relative speed between the vehicle and the object using the degree of change in the calculated distance between the vehicle and the object by the distance calculation means during the sampling period;
Object exclusion means for excluding the object from the monitoring object when the relative speed is equal to or higher than a predetermined speed;
Vehicle speed detecting means for detecting the vehicle speed of the vehicle;
A vehicle periphery monitoring device, comprising: a sampling period setting means for setting the sampling period to a shorter time as the vehicle speed of the vehicle is lower.
車両に搭載された撮像手段により撮像された画像を用いて車両の周辺を監視する車両周辺監視装置であって、
所定の制御周期毎に、所定のサンプリング期間内の異なる時点で前記撮像手段により撮像された複数の画像から検出された同一の対象物について、各画像の撮像時における該対象物と前記車両間の距離を算出する距離算出手段と、
前記サンプリング期間における前記距離算出手段による前記車両と前記対象物との算出距離の変化度合いを用いて、前記車両と前記対象物との相対速度を算出する相対速度算出手段と、
前記相対速度が所定速度以上であるときに、前記対象物を監視対象から除外する対象物除外手段と、
前記車両の車速を検出する車速検出手段と、
前回の制御周期で前記距離算出手段により算出された前記対象物と前記車両間の距離が短いほど、今回の制御周期における前記サンプリング期間を短い時間に設定するサンプリング期間設定手段とを備えたことを特徴とする車両周辺監視装置。
A vehicle periphery monitoring device that monitors the periphery of a vehicle using an image captured by an imaging means mounted on the vehicle,
For the same object detected from a plurality of images captured by the imaging means at different points in time during a predetermined control period, between the object and the vehicle at the time of capturing each image A distance calculating means for calculating the distance;
Relative speed calculation means for calculating a relative speed between the vehicle and the object using the degree of change in the calculated distance between the vehicle and the object by the distance calculation means in the sampling period;
Object exclusion means for excluding the object from the monitoring object when the relative speed is equal to or higher than a predetermined speed;
Vehicle speed detecting means for detecting the vehicle speed of the vehicle;
A sampling period setting unit that sets the sampling period in the current control cycle to a shorter time as the distance between the object and the vehicle calculated by the distance calculation unit in the previous control cycle is shorter. A vehicle periphery monitoring device.
JP2009109081A 2009-04-28 2009-04-28 Vehicle periphery monitoring device Active JP4975776B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009109081A JP4975776B2 (en) 2009-04-28 2009-04-28 Vehicle periphery monitoring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009109081A JP4975776B2 (en) 2009-04-28 2009-04-28 Vehicle periphery monitoring device

Publications (2)

Publication Number Publication Date
JP2010257378A true JP2010257378A (en) 2010-11-11
JP4975776B2 JP4975776B2 (en) 2012-07-11

Family

ID=43318182

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009109081A Active JP4975776B2 (en) 2009-04-28 2009-04-28 Vehicle periphery monitoring device

Country Status (1)

Country Link
JP (1) JP4975776B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110595542A (en) * 2019-09-23 2019-12-20 徐州徐工筑路机械有限公司 Cold regeneration construction distance measurement method, device and system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1145398A (en) * 1997-07-25 1999-02-16 Toyota Motor Corp Self-lane object detection device and vehicle travel controller provided with the device
JP2006330979A (en) * 2005-05-25 2006-12-07 Nissan Motor Co Ltd Preceding vehicle information acquiring device
JP2006347403A (en) * 2005-06-16 2006-12-28 Mitsubishi Fuso Truck & Bus Corp Relative velocity calculation device and inter-vehicle distance controller
JP2007030603A (en) * 2005-07-25 2007-02-08 Mazda Motor Corp Vehicle travel assisting device
JP2007172035A (en) * 2005-12-19 2007-07-05 Fujitsu Ten Ltd Onboard image recognition device, onboard imaging device, onboard imaging controller, warning processor, image recognition method, imaging method and imaging control method
JP2008276308A (en) * 2007-04-25 2008-11-13 Sanyo Electric Co Ltd Video image processing apparatus, video image processing system, and navigation device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1145398A (en) * 1997-07-25 1999-02-16 Toyota Motor Corp Self-lane object detection device and vehicle travel controller provided with the device
JP2006330979A (en) * 2005-05-25 2006-12-07 Nissan Motor Co Ltd Preceding vehicle information acquiring device
JP2006347403A (en) * 2005-06-16 2006-12-28 Mitsubishi Fuso Truck & Bus Corp Relative velocity calculation device and inter-vehicle distance controller
JP2007030603A (en) * 2005-07-25 2007-02-08 Mazda Motor Corp Vehicle travel assisting device
JP2007172035A (en) * 2005-12-19 2007-07-05 Fujitsu Ten Ltd Onboard image recognition device, onboard imaging device, onboard imaging controller, warning processor, image recognition method, imaging method and imaging control method
JP2008276308A (en) * 2007-04-25 2008-11-13 Sanyo Electric Co Ltd Video image processing apparatus, video image processing system, and navigation device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110595542A (en) * 2019-09-23 2019-12-20 徐州徐工筑路机械有限公司 Cold regeneration construction distance measurement method, device and system

Also Published As

Publication number Publication date
JP4975776B2 (en) 2012-07-11

Similar Documents

Publication Publication Date Title
JP4733756B2 (en) Vehicle periphery monitoring device
JP4631096B2 (en) Vehicle periphery monitoring device
JP4815488B2 (en) Vehicle periphery monitoring device
JP4203512B2 (en) Vehicle periphery monitoring device
US8810653B2 (en) Vehicle surroundings monitoring apparatus
JP4173902B2 (en) Vehicle periphery monitoring device
JP5687702B2 (en) Vehicle periphery monitoring device
JP2007193445A (en) Periphery monitoring device for vehicle
JP2003134508A (en) Information providing device for vehicle
JP4528283B2 (en) Vehicle periphery monitoring device
JP2010097541A (en) Vehicular periphery monitoring apparatus
JP2008027309A (en) Collision determination system and collision determination method
JP4864953B2 (en) Vehicle periphery monitoring device
JP3999088B2 (en) Obstacle detection device
JP5004923B2 (en) Vehicle driving support device
JP2009193390A (en) Vehicle periphery monitor device, vehicle, and program and method for monitoring vehicle periphery
JP4765113B2 (en) Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method
JP6087240B2 (en) Vehicle periphery monitoring device
JP4975776B2 (en) Vehicle periphery monitoring device
US9030560B2 (en) Apparatus for monitoring surroundings of a vehicle
JP5430213B2 (en) Vehicle periphery monitoring device
JP5399887B2 (en) Vehicle periphery monitoring device
JP2008236029A (en) Vehicle-surroundings monitoring system, method and program
JP5904927B2 (en) Vehicle periphery monitoring device
JP2010093570A (en) Vehicle periphery monitoring device

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120403

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120411

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4975776

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150420

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250