JP2010257378A - Vehicle surroundings monitoring apparatus - Google Patents
Vehicle surroundings monitoring apparatus Download PDFInfo
- Publication number
- JP2010257378A JP2010257378A JP2009109081A JP2009109081A JP2010257378A JP 2010257378 A JP2010257378 A JP 2010257378A JP 2009109081 A JP2009109081 A JP 2009109081A JP 2009109081 A JP2009109081 A JP 2009109081A JP 2010257378 A JP2010257378 A JP 2010257378A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- sampling period
- distance
- speed
- relative speed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 29
- 238000005070 sampling Methods 0.000 claims abstract description 66
- 238000004364 calculation method Methods 0.000 claims abstract description 48
- 230000007717 exclusion Effects 0.000 claims abstract description 7
- 238000003384 imaging method Methods 0.000 claims description 12
- 238000012806 monitoring device Methods 0.000 claims description 9
- 238000000034 method Methods 0.000 description 30
- 238000012545 processing Methods 0.000 description 24
- 238000000605 extraction Methods 0.000 description 15
- 230000001133 acceleration Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 4
- 230000003111 delayed effect Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000016507 interphase Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、車両に搭載された撮像手段により撮像された画像に基づいて、車両の周辺を監視する車両周辺監視装置に関する。 The present invention relates to a vehicle periphery monitoring device that monitors the periphery of a vehicle based on an image captured by an imaging unit mounted on the vehicle.
従来より、例えば、車両に搭載されたカメラにより所定のサンプリング期間内で撮像された時系列画像から、同一の対象物の画像部分を抽出して、各画像の撮像時における対象物と車両間の距離を検出し、サンプリング期間内における距離の変化度合いから車両と対象物との相対速度を算出するようにした車両周辺監視装置が知られている(例えば、特許文献1参照)。 Conventionally, for example, an image portion of the same object is extracted from a time-series image captured within a predetermined sampling period by a camera mounted on the vehicle, and between the object and the vehicle at the time of capturing each image. There is known a vehicle periphery monitoring device that detects a distance and calculates a relative speed between a vehicle and an object from a degree of change in the distance within a sampling period (see, for example, Patent Document 1).
特許文献1に記載された車両周辺監視装置においては、車両と対象物間の距離及び相対速度から算出される対象物が車両に到達するまでの予想時間が、予め設定された判定時間以内になるときに、車両と対象物との接触可能性があると判断して、次の段階の接触判定処理を実行するようにしている。
In the vehicle periphery monitoring device described in
上述した特許文献1には、車両と対象物との相対速度を算出する際に用いる時系列画像のサンプリング期間の具体的な設定については記載されていない。そして、対象物の時系列画像を用いて車両と対象物との相対速度を算出する場合に、時系列画像のサンプリング期間を一定にすると、車両と対象物間の距離が長いほどサンプリング期間における距離の変化が小さくなるため、相対速度の算出精度が低くなる。
そのため、時系列画像のサンプリング期間を一定にするときには、車両からの距離が長い対象物との相対速度の算出精度を高く維持するために、サンプリング期間をある程度長い時間に設定する必要がある。 Therefore, when the sampling period of the time-series image is made constant, it is necessary to set the sampling period to a relatively long time in order to maintain high calculation accuracy of the relative speed with the object having a long distance from the vehicle.
しかし、このように時系列画像のサンプリング期間を長い時間に設定すると、車両の近くに存在する対象物との相対速度を算出するときに、相対速度の算出タイミングが遅れて対象物の検知が遅れるおそれがある。 However, when the sampling period of the time-series image is set to a long time as described above, the calculation of the relative speed is delayed and the detection of the target is delayed when calculating the relative speed with the target existing near the vehicle. There is a fear.
そこで、本発明は、車両と対象物との相対速度の算出タイミングが遅れることを防止した車両周辺監視装置を提供することを目的とする。 Accordingly, an object of the present invention is to provide a vehicle periphery monitoring device that prevents the calculation timing of the relative speed between the vehicle and the object from being delayed.
本発明は上記目的を達成するためになされたものであり、車両に搭載された撮像手段により撮像された画像を用いて車両の周辺を監視する車両周辺監視装置に関する。 The present invention has been made to achieve the above object, and relates to a vehicle periphery monitoring device that monitors the periphery of a vehicle using an image captured by an imaging unit mounted on the vehicle.
そして、本発明の第1の態様は、所定のサンプリング期間内の異なる時点で前記撮像手段により撮像された複数の画像から検出された同一の対象物について、各画像の撮像時における該対象物と前記車両間の距離を算出する距離算出手段と、前記サンプリング期間における前記距離算出手段による前記車両と前記対象物との算出距離の変化度合いを用いて、前記車両と前記対象物との相対速度を算出する相対速度算出手段と、前記相対速度が所定速度以上であるときに、前記対象物を監視対象から除外する対象物除外手段と、前記車両の車速を検出する車速検出手段と、前記車両の車速が低いほど、前記サンプリング期間を短い時間に設定するサンプリング期間設定手段とを備えたことを特徴とする。 The first aspect of the present invention relates to the same object detected from a plurality of images picked up by the image pickup means at different points in time within a predetermined sampling period, A relative speed between the vehicle and the object is calculated using a distance calculation means for calculating the distance between the vehicles and a degree of change in the calculated distance between the vehicle and the object by the distance calculation means during the sampling period. A relative speed calculating means for calculating; an object excluding means for excluding the object from a monitoring target when the relative speed is equal to or greater than a predetermined speed; a vehicle speed detecting means for detecting a vehicle speed of the vehicle; A sampling period setting means for setting the sampling period to a shorter time as the vehicle speed is lower is provided.
かかる本発明によれば、前記サンプリング期間設定手段により、前記車両の車速が低いほど前記サンプリング期間を短い時間に設定することによって、高速道路を走行している場合のように前記車両の車速が高く、遠方の対象物を監視する必要があるときは、前記サンプリング期間を長く設定して前記車両との相対速度の算出精度を維持することができる。また、市街地の狭い道路を走行している場合のように前記車両の車速が低く、近くの対象物を監視する必要があるときには、前記サンプリング期間を短く設定して前記車両との相対速度の算出タイミングが遅れることを抑制することができる。 According to the present invention, the sampling period setting means sets the sampling period to a shorter time as the vehicle speed of the vehicle is lower, thereby increasing the vehicle speed of the vehicle as when traveling on a highway. When it is necessary to monitor a distant object, it is possible to maintain the calculation accuracy of the relative speed with the vehicle by setting the sampling period longer. In addition, when the vehicle speed is low and it is necessary to monitor a nearby object, such as when driving on a narrow road in an urban area, the sampling period is set short to calculate the relative speed with the vehicle. Delay in timing can be suppressed.
次に、本発明の第2の態様は、所定の制御周期毎に、所定のサンプリング期間内の異なる時点で前記撮像手段により撮像された複数の画像から検出された同一の対象物について、各画像の撮像時における該対象物と前記車両間の距離を算出する距離算出手段と、前記サンプリング期間における前記距離算出手段による前記車両と前記対象物との算出距離の変化度合いを用いて、前記車両と前記対象物との相対速度を算出する相対速度算出手段と、前記相対速度が所定速度以上であるときに、前記対象物を監視対象から除外する対象物除外手段と、前記車両の車速を検出する車速検出手段と、前回の制御周期で前記距離算出手段により算出された前記対象物と前記車両間の距離が短いほど、今回の制御周期における前記サンプリング期間を短い時間に設定するサンプリング期間設定手段とを備えたことを特徴とする。 Next, according to the second aspect of the present invention, each image of the same object detected from a plurality of images imaged by the imaging means at different time points within a predetermined sampling period for each predetermined control period. Distance calculation means for calculating the distance between the object and the vehicle at the time of imaging, and the degree of change in the calculated distance between the vehicle and the object by the distance calculation means during the sampling period, A relative speed calculating means for calculating a relative speed with respect to the object; an object excluding means for excluding the object from a monitoring target when the relative speed is equal to or higher than a predetermined speed; and detecting a vehicle speed of the vehicle. The sampling period in the current control cycle is shorter as the distance between the object calculated by the vehicle speed detection unit and the distance calculation unit in the previous control cycle and the vehicle is shorter. Characterized in that a sampling period setting means for setting between.
かかる本発明によれば、今回の制御周期における前記車両と対象物間の距離は、前回の制御周期で前記距離算出手段により算出された前記車両と対象物間の距離と同程度になると想定される。そして、前記車両と対象物間の距離が長いほど、前記サンプリング期間を長くして前記サンプリング期間における前記車両と対象物との距離の変化量を大きくすることにより、前記車両と対象物との相対速度の算出精度を維持する必要がある。それに対して、前記車両と対象物間の距離が短いときには、前記サンプリング期間を短い時間に設定しても、前記サンプリング期間における前記車両と対象物との距離の変化量が大きくなるため、前記車両と対象物との相対速度の算出精度が高くなる。 According to the present invention, the distance between the vehicle and the object in the current control cycle is assumed to be approximately the same as the distance between the vehicle and the object calculated by the distance calculation unit in the previous control cycle. The The longer the distance between the vehicle and the object, the longer the sampling period and the greater the amount of change in the distance between the vehicle and the object in the sampling period. It is necessary to maintain speed calculation accuracy. On the other hand, when the distance between the vehicle and the object is short, even if the sampling period is set to a short time, the amount of change in the distance between the vehicle and the object during the sampling period becomes large. The accuracy of calculating the relative speed between the object and the object increases.
そこで、前記サンプリング期間設定手段により、前回の制御周期で算出された前記車両と対象物間の距離が短いほど、今回の制御周期における前記サンプリング期間を短い時間に設定することによって、前記車両と対象物間の距離が長いときに前記サンプリング期間を長く設定して相対速度の算出精度を維持すると共に、前記車両と対象物間の距離が短いときには前記サンプリング期間を短く設定して相対速度の算出タイミングが遅れることを抑制することができる。 Therefore, by setting the sampling period in the current control cycle to a shorter time as the distance between the vehicle and the object calculated in the previous control period is shorter by the sampling period setting means, the vehicle and the target are set. When the distance between objects is long, the sampling period is set long to maintain the relative speed calculation accuracy, and when the distance between the vehicle and the object is short, the sampling period is set short to calculate the relative speed. Can be delayed.
本発明の実施の形態について、図1〜8を参照して説明する。図1は本発明の車両周囲監視装置の構成図であり、本発明の車両周囲監視装置は画像処理ユニット1により構成されている。画像処理ユニット1には、遠赤外線を検出可能な赤外線カメラ2R,2L(本発明の撮像手段に相当する)、車両のヨーレートを検出するヨーレートセンサ3、車両の走行速度を検出する車速センサ4(本発明の車速検出手段に相当する)、運転者によるブレーキの操作量を検出するブレーキセンサ5、音声により注意喚起を行うためのスピーカ6、及び、赤外線カメラ2R,2Lにより得られた画像を表示すると共に、接触の可能性が高い対象物を運転者に視認させる表示を行うための表示装置7が接続されている。
Embodiments of the present invention will be described with reference to FIGS. FIG. 1 is a configuration diagram of a vehicle surroundings monitoring apparatus according to the present invention. The vehicle surroundings monitoring apparatus according to the present invention includes an
図2を参照して、赤外線カメラ2R,2Lは、車両10の前部に、車両10の車幅方向の中心部に対してほぼ対象な位置に配置され、2台の赤外線カメラ2R,2Lの光軸を互いに平行とし、各赤外線カメラ2R,2Lの路面からの高さを等しくして固定されている。なお、赤外線カメラ2R,2Lは、撮像物の温度が高い程出力レベルが高くなる(輝度が大きくなる)特性を有している。また、表示装置7は、車両10のフロントウィンドウの運転者側の前方位置に画面7aが表示されるように設けられている。
Referring to FIG. 2,
また、図1を参照して、画像処理ユニット1は、マイクロコンピュータ(図示しない)等により構成された電子ユニットであり、赤外線カメラ2R,2Lから出力されるアナログの映像信号をデジタルデータに変換して画像メモリ(図示しない)に取り込み、該画像メモリに取り込んだ車両前方の画像に対して該マイクロコンピュータにより各種演算処理を行う機能を有している。
Referring to FIG. 1, an
そして、該マイクロコンピュータに、車両監視用プログラムを実行させることによって、該マイクロコンピュータが、赤外線カメラ2Rにより撮像された第1画像から、実空間上の対象物の第1画像部分を抽出する対象物抽出手段20、赤外線カメラ2Lにより撮像された第2画像から、該第1画像部分と相関性を有する第2画像部分を抽出する対応画像抽出手段21、対象物抽出手段20により抽出された第1画像部分と対応画像抽出手段21により抽出された第2画像部分との視差を算出する視差算出手段22、視差に基づいて車両と対象物間の距離を算出する距離算出手段23、車両と対象物との相対速度を算出する相対速度算出手段24、相対速度が所定速度以上である対象物を監視対象から除外する対象物除外手段25、相対速度算出手段24により相対速度を算出する際に用いられる画像の時系列データを取得するサンプリング期間を設定するサンプリング期間設定手段26、及び車両10と対象物との接触可能性を判定する接触判定手段27として機能する。
Then, by causing the microcomputer to execute a vehicle monitoring program, the microcomputer extracts the first image portion of the object in real space from the first image captured by the
次に、図3に示したフローチャートに従って、画像処理ユニット1による車両10の周辺の監視処理について説明する。画像処理ユニット1は、所定の制御周期毎に図3に示したフローチャートによる処理を実行して車両10の周辺を監視する。
Next, monitoring processing around the vehicle 10 by the
画像処理ユニット1は、先ずSTEP1で赤外線カメラ2R,2Lから出力される赤外線画像のアナログ信号を入力し、続くSTEP2で該アナログ信号をA/D変換によりデジタル化したグレースケール画像を画像メモリに格納する。
The
なお、STEP1〜STEP2では、赤外線カメラ2Rによるグレースケール画像(以下、右画像という。)と、赤外線カメラ2Lによるグレースケール画像(以下、左画像という。)とが取得される。そして、右画像と左画像では、同一の対象物の画像部分の水平位置にずれ(視差)が生じるため、この視差に基づいて実空間における車両10から該対象物までの距離を算出することができる。
In STEP1 to STEP2, a grayscale image (hereinafter referred to as a right image) obtained by the
続くSTEP3で、画像処理ユニット1は、右画像を基準画像として2値化処理(輝度が閾値以上の画素を「1(白)」とし、該閾値よりも小さい画素を「0(黒)」とする処理)を行って2値画像を生成する。次のSTEP4〜STEP6は、対象物抽出手段20による処理である。対象物抽出手段20は、STEP4で、2値画像に含まれる各白領域の画像部分をランレングスデータ(2値画像のx(水平)方向に連続する白の画素のラインのデータ)化する。また、対象物抽出手段20は、STEP5で、2値画像のy(垂直)方向に重なる部分があるラインを一つの画像部分としてラベリングし、STEP6で、ラベリングした画像部分を監視対象物の画像候補として抽出する。
In
次のSTEP7で、画像処理ユニット1は、各画像候補の重心G、面積S、及び外接四角形の縦横比ASPECTを算出する。なお、具体的な算出方法については、前掲した特開2001−6096号公報等に記載された一般的なものであるため、ここでは説明を省略する。そして、画像処理ユニット1は、続くSTEP8〜STEP9と、STEP20〜STEP22を平行して実行する。
In the next STEP 7, the
STEP8で、画像処理ユニット1は、所定のサンプリング周期毎に赤外線カメラ2R,2Lにより撮像された画像に基づく2値画像から抽出された画像部分について、同一性判定を行い、同一の対象物の画像であると判定された画像部分の位置(重心位置)の時系列データをメモリに格納する(時刻間追跡)。また、STEP9で、画像処理ユニット1は、車速センサ4により検出される車速VCAR及びヨーレートセンサ3により検出されるヨーレートYRを読み込み、ヨーレートYRを時間積分することにより、車両10の回頭角θrを算出する。
In STEP 8, the
また、STEP20〜STEP21は対応画像抽出手段21による処理である。図4を参照して、対応画像抽出手段21は、STEP20で、対象物抽出手段20により抽出された監視対象物の画像候補の中の一つを選択して、右画像のグレースケール画像30から対応する探索画像30a(選択された候補画像の外接四角形で囲まれる領域全体の画像)を抽出する。続くSTEP21で、対応画像抽出手段20は、左画像のグレースケール画像31から探索画像30aに対応する画像を探索する探索領域32を設定し、探索画像30aとの相間演算を実行して対応画像31aを抽出する。
Further,
続くSTEP22は、視差算出手段22による処理である。視差算出手段22は、探索画像30aの重心位置と対応画像31aの重心位置との差を視差dxとして算出し、STEP10に進む。
The
STEP10は距離算出手段23による処理である。距離算出手段23は、探索画像30a及び対応画像31aに対応する実空間上の対象物と車両10との距離を、視差算出手段22により算出された視差dxを用いて以下の式(1)により算出する。
STEP 10 is processing by the distance calculation means 23. The
但し、Z:対象物と車両10との距離、f:赤外線カメラ2R,2Lの焦点距離、p:赤外線カメラ2R,2Lの画素ピッチ、D:赤外線カメラ2R,2Lの基線長、dx:視差。
Where Z: distance between the object and the vehicle 10, f: focal length of the
続くSTEP11〜STEP14は、接触判定手段27による処理である。STEP11で、接触判定手段27は、探索画像30aの座標(x,y)とSTEP10で算出された対象物と車両10との距離zを、実空間座標(X,Y,Z)に変換して、探索画像10aに対応する実空間上の対象物の位置の座標を算出する。なお、実空間座標(X,Y,Z)は、図2に示したように、赤外線カメラ2R,2Lの取り付け位置の中点の位置を原点0として、Xを車両10の車幅方向、Yを鉛直方向、Zを車両10の前方向に設定されている。また、画像座標は、画像の中心を原点とし、水平方向がx、垂直方向がyに設定されている。
Subsequent STEP 11 to STEP 14 are processes by the contact determination means 27. In STEP 11, the contact determination means 27 converts the coordinates (x, y) of the search image 30a and the distance z between the object calculated in STEP 10 and the vehicle 10 into real space coordinates (X, Y, Z). Then, the coordinates of the position of the object in the real space corresponding to the search image 10a are calculated. As shown in FIG. 2, the real space coordinates (X, Y, Z) are set such that the midpoint position of the attachment positions of the
次のSTEP12で、接触判定手段27は、車両10が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う。また、STEP13で、接触判定手段27は、所定のモニタ期間内で撮像された複数の画像から得られた回頭角補正後の同一の対象物の実空間位置の時系列データから、対象物と車両10との相対的な移動ベクトルを算出する。
In the next STEP 12, the
なお、対象物の実空間座標(X,Y,Z)及び移動ベクトルの具体的な算出方法については、前掲した特開2001−6096号公報に詳説されているので、ここでは説明を省略する。 The specific calculation method of the real space coordinates (X, Y, Z) and the movement vector of the object is described in detail in the above-mentioned Japanese Patent Application Laid-Open No. 2001-6096, and will not be described here.
続くSTEP14で、接触判定手段27は、車両10と対象物との接触可能性を判断して、注意喚起を行う必要があるか否かを判定する「注意喚起判定処理」を実行する。「注意喚起判定処理」においては、注意喚起を行う必要があると判定されたときに、スピーカ6による注意喚起音の出力と、表示装置7への注意喚起表示を行う。
In subsequent STEP 14, the
次に、図5に示したフローチャートに従って、図3のSTEP14における「注意喚起判定処理」について説明する。 Next, the “attention calling determination process” in STEP 14 of FIG. 3 will be described according to the flowchart shown in FIG.
図5のSTEP30で、接触判定手段27は、対象物抽出手段20により抽出されて、図3のSTEP13で移動ベクトルが推定された対象物が、監視対象物であるか否かを判定する「監視対象物判定処理」を実行する。「監視対象物判定処理」の詳細については後述する。
In
そして、「監視対象物判定処理」により、対象物が監視対象物であると判定されたときはSTEP32に進む。一方、「監視対象物判定処理」により、対象物が監視対象物でないと判定されたときにはSTEP36に進み、この場合は、スピーカ6による注意喚起音の出力と、表示装置7への注意喚起表示は行われない。 When it is determined by the “monitoring object determination process” that the object is a monitoring object, the process proceeds to STEP 32. On the other hand, when it is determined by the “monitoring object determination process” that the object is not the monitoring object, the process proceeds to STEP 36. In this case, the output of the alert sound by the speaker 6 and the alert display on the display device 7 are as follows. Not done.
STEP32で、接触判定手段27は、対象物が車両10の周囲に設定された接近判定領域内に存在するか否かを判定する。そして、対象物が接近判定領域内に存在しているときは、次のSTEP33からSTEP34に進み、接触判定手段27は、注意喚起が必要であるか否かを判断する。
In
STEP34において、接触判定手段27は、ブレーキセンサ5の出力から運転者によるブレーキ操作が行われているか否かを判断する。そして、ブレーキ操作が行われ、且つ、車両10の加速度(ここでは減速方向を正する)が予め設定された加速度閾値よりも大きいとき(適切なブレーキ操作がなされていると想定される)は、注記喚起は不要であると判定する。それに対して、ブレーキ操作が行われていないか、或いは車両10の加速度が加速度閾値以下であるときには、注意喚起が必要であると判定する。
In STEP 34, the
そして、STEP34で注意喚起が必要であると判定されたときは、次のSTEP35からSTEP50に分岐し、接触判定手段27は、スピーカ6による注意喚起音の出力と、表示装置7への注意喚起表示を行う。それに対して、STEP34で注意喚起が不要であると判定されたときには、次のSTEP35からSTEP36に進んで図3のSTEP1に戻る。そのため、この場合には、接触判定手段27は、スピーカ6による注意喚起音の出力と、表示装置7への注意喚起表示を行わない。
When it is determined in STEP 34 that attention is required, the next branch from STEP 35 to STEP 50 is made, and the contact determination means 27 outputs a warning sound from the speaker 6 and displays a warning on the display device 7. I do. On the other hand, when it is determined in STEP 34 that alerting is unnecessary, the process proceeds from STEP 35 to STEP 36 and returns to STEP 1 in FIG. Therefore, in this case, the
また、STEP32で、対象物が接近判定領域内に存在しないと判断されたときには、次のSTEP33からSTEP40に分岐する。STEP40で、接触判定手段27は、対象物が接近判定領域外から接近判定領域内に進入して自車両10と接触する(侵入接触)可能性を判定する。
If it is determined in
そして、侵入接触の可能性が高いと判定したときは、次のSTEP41からSTEP34に進む。一方、侵入接触の可能性が低いと判定したときには、次のSTEP41からSTEP36に進み、この場合には、接触判定手段27は、スピーカ6による注意喚起音の出力と、表示装置7への注意喚起表示を行わない。
And when it determines with the possibility of an intrusion contact being high, it progresses to STEP34 from the next STEP41. On the other hand, when it is determined that the possibility of intrusion contact is low, the process proceeds from STEP 41 to STEP 36. In this case, the
なお、STEP32における接近判定、STEP34の注意喚起出力判定、及びSTEP40の侵入接触判定の各処理の詳細は、前掲した特開2001−6096号公報に記載された衝突判定、警報出力判定、及び侵入衝突判定と同様の処理であるため、ここでは詳細な説明を省略する。
Note that details of each process of the approach determination in
次に、図6に示したフローチャートに従って、図5のSTEP30における「監視対象物判定処理」について説明する。
Next, the “monitoring object determination process” in
図6のSTEP60は、サンプリング期間設定手段26による処理である。サンプリング期間設定手段26は、図7(a)に示した車速(VCAR)とサンプリング期間(Tw)の対応マップa1に、車速センサ4により検出される車両の車速VCARを適用して、対応するサンプリング期間Twを取得する。そして、サンプリング期間設定手段26は、取得したサンプリング期間Twを、今回の制御サイクルにおけるサンプリング期間として設定する。
STEP 60 in FIG. 6 is processing by the sampling period setting means 26. The sampling period setting means 26 applies the vehicle speed VCAR detected by the vehicle speed sensor 4 to the correspondence map a1 of the vehicle speed (VCAR) and the sampling period (Tw) shown in FIG. The period Tw is acquired. Then, the sampling
続くSTEP61〜STEP63は、相対速度算出手段24による処理である。相対速度算出手段24は、STEP61で、サンプリング期間Tw以上の車両10と対象物間の距離の時系列データが取得されるのを待ってSTEP62に進む。そして、相対速度算出手段24は、STEP62で距離の時系列データから、外れ値(算出距離が他のデータから極端に乖離したデータ等)を除去する。
Subsequent STEP 61 to STEP 63 are processes by the relative speed calculation means 24. The relative speed calculation means 24 waits for the time series data of the distance between the vehicle 10 and the object in the sampling period Tw or more to be acquired in STEP 61 and proceeds to STEP 62. Then, the relative
そして、相対速度算出手段24は、以下の式(2)により車両10と対象物との相対速度Vsを算出する。
Then, the relative
但し、Vs:車両10と対象物との相対速度、Tw:サンプリング期間、Z(0):最新の距離算出値、Z(N-1):Z(0)の算出時からTw前の時点における距離算出値。 Where Vs: relative speed between the vehicle 10 and the object, Tw: sampling period, Z (0): latest distance calculation value, Z (N-1): Z (0) calculation time before Tw Distance calculated value.
ここで、図8を算出して、車速VCARに応じた車両10と対象物との相対速度の算出誤差の変化について説明する。図8は縦軸を速度(V)に設定し、横軸を車両10の車速VCARに設定して、車速VCARによる車両10と他車両及び歩行者との相対速度の算出誤差の変化を示したものである。 Here, FIG. 8 is calculated, and the change in the calculation error of the relative speed between the vehicle 10 and the object according to the vehicle speed VCAR will be described. FIG. 8 shows changes in the relative speed calculation error between the vehicle 10 and other vehicles and pedestrians according to the vehicle speed VCAR, with the vertical axis set to speed (V) and the horizontal axis set to the vehicle speed VCAR of the vehicle 10. Is.
また、図8は、他車両及び歩行者が、車両10との接触までの余裕時間の設定に応じて定まる監視対象距離を隔てた位置に存在するものとし、サンプリング期間Twを、想定される車速VCARの最大値VCAR_maxにおける相対速度の算出誤差が、許容範囲Wm,Wpとなる一定値に設定して、車両10と他車両及び歩行者との相対速度を算出したものである。 Further, FIG. 8 shows that the other vehicle and the pedestrian exist at positions separated by the monitoring target distance determined according to the setting of the allowance time until contact with the vehicle 10, and the sampling period Tw is set to the assumed vehicle speed. The relative speed between the vehicle 10, the other vehicle, and the pedestrian is calculated by setting the relative speed calculation error at the maximum value VCAR_max of the VCAR to a constant value within the allowable ranges Wm and Wp.
図8において、Vmは車両10と他車両との実際の相対速度、Vpは車両10と歩行者との実際の相対速度、Vs_thは相対速度の判定閾値、e1,e2は車両10と他車両との相対速度の算出値、e3は車両10と他車両との相対速度の算出値、Emは車両10と他車両との相対速度の算出誤差、Epは車両10と歩行者との相対速度の算出誤差を示している。 In FIG. 8, Vm is the actual relative speed between the vehicle 10 and the other vehicle, Vp is the actual relative speed between the vehicle 10 and the pedestrian, Vs_th is a relative speed determination threshold value, e1, e2 are the vehicle 10 and the other vehicle. , E3 is a calculated value of the relative speed between the vehicle 10 and the other vehicle, Em is a calculation error of the relative speed between the vehicle 10 and the other vehicle, Ep is a calculation of the relative speed between the vehicle 10 and the pedestrian. Indicates an error.
図8から、車速VCARが低くなるに従って、相対速度の算出誤差Em,Epが減少することがわかる。そのため、車速VCARが低い範囲においては、必要以上の精度が得られるサンプリング期間Twの設定となっている。 It can be seen from FIG. 8 that the relative speed calculation errors Em and Ep decrease as the vehicle speed VCAR decreases. For this reason, in the range where the vehicle speed VCAR is low, the sampling period Tw is set such that an accuracy higher than necessary is obtained.
そこで、サンプリング期間設定手段26により、STEP60で、図7(a)に示した車速とサンプリング期間の対応マップa1に従って、車速VCARが低いほどサンプリング期間Twを短い時間に設定することによって、車速VCARが高い範囲での相対速度の算出精度を高く維持すると共に、車速VCARが低い範囲での相対速度の算出時間を短くすることができる。そして、これにより、車速VCARが低いときに、車両10と対象物との相対速度の算出タイミングが遅れることを抑制することができる。 Therefore, the sampling period setting means 26 sets the sampling period Tw to a shorter time as the vehicle speed VCAR is lower in STEP 60 according to the vehicle speed / sampling period correspondence map a1 shown in FIG. It is possible to maintain high calculation accuracy of the relative speed in the high range and shorten the calculation time of the relative speed in the range where the vehicle speed VCAR is low. Thus, when the vehicle speed VCAR is low, it is possible to suppress a delay in the calculation timing of the relative speed between the vehicle 10 and the object.
続くSTEP64〜STEP65、及びSTEP70は、対象物除外手段25による処理である。対象物除外手段25は、STEP64で、車両10と対象物との相対速度Vsが判定閾値Vs_th以下であるか否かを判断する。
Subsequent STEP 64 to STEP 65 and
そして、相対相度Vsが判定閾値Vs_th以下であるときはSTEP65に進み、対象物除外手段25は、対象物が監視対象物であると判定する。そして、STEP66に進んで図5の処理に戻る。一方、相対速度Vsが判定閾値Vs_thよりも高いときにはSTEP70に分岐し、対象物除外手段25は、対象物が監視対象物ではないと判定する。そして、STEP66に進んで図5の処理に戻る。
When the relative phase Vs is equal to or less than the determination threshold value Vs_th, the process proceeds to STEP 65, and the target
ここで、車両10の車速VCARが低いほどサンプリング期間Twを短い時間に設定することによって、図5のSTEP30における「監視対象物判定処理」の処理時間が短くなると、STEP31以下の各判定処理の実行タイミングが早くなるため、STEP50による注意喚起が遅れることを抑制することができる。
Here, by setting the sampling period Tw to a shorter time as the vehicle speed VCAR of the vehicle 10 is lower, the processing time of the “monitoring object determination processing” in
なお、本実施の形態では、図7(a)に示したマップにより、車両10の車速VCARが低いほどサンプリング期間Twを短い時間に設定したが、予め設定したサンプリング期間の初期値に、車速VCARが低いほど小さくなる係数k1(0<k1≦1)を乗ずることによって、車速10の車速VCARが低いほどサンプリング期間Twを短い時間に設定するようにしてもよい。 In this embodiment, according to the map shown in FIG. 7A, the sampling period Tw is set to be shorter as the vehicle speed VCAR of the vehicle 10 is lower. However, the vehicle speed VCAR is set to the initial value of the preset sampling period. The sampling period Tw may be set to a shorter time as the vehicle speed VCAR of the vehicle speed 10 is lower by multiplying the coefficient k1 (0 <k1 ≦ 1) which becomes smaller as the vehicle speed becomes lower.
また、図7(b)に示した、前回の制御周期で算出された車両10と対象物との距離L(n-1)と、サンプリング期間Twとの対応マップにより、前回の制御周期で算出された車両10と対象物との距離L(n-1)が短いほど、今回の制御周期におけるサンプリング期間Twを短く設定するようにしてもよい。この場合、算出された距離L(n-1)には誤差が含まれるため、この誤差を考慮して、例えばb3に示したように、サンプリング期間Twを階段状に設定してもよい。 Moreover, it calculates with the last control cycle by the correspondence map of the distance L (n-1) between the vehicle 10 and the object calculated with the previous control cycle and the sampling period Tw shown in FIG. 7B. The shorter the distance L (n−1) between the vehicle 10 and the target object, the shorter the sampling period Tw in the current control cycle may be set. In this case, since the calculated distance L (n-1) includes an error, the sampling period Tw may be set stepwise as shown in b3, for example, in consideration of this error.
また、予め設定したサンプリング期間の初期値に、前回の制御周期で算出された車両10と対象物との距離L(n-1)が短いほど小さくなる係数k2(0<k2≦1)を乗ずることによって、前回の制御周期で算出された車両10と対象物との距離L(n-1)が短いほど、今回の制御周期におけるサンプリング期間Twを短い時間に設定するようにしてもよい。 Further, the initial value of the preset sampling period is multiplied by a coefficient k2 (0 <k2 ≦ 1) that becomes smaller as the distance L (n−1) between the vehicle 10 and the object calculated in the previous control cycle becomes shorter. Accordingly, the sampling period Tw in the current control cycle may be set to a shorter time as the distance L (n−1) between the vehicle 10 and the object calculated in the previous control cycle is shorter.
なお、本実施の形態において、距離算出手段23は、2台の赤外線カメラ2R,2Lを備え、右画像と左画像間の同一対象物の画像部分の視差を用いて、車両10と対象物との距離を算出したが、例えば、特開2007−213561号公報に記載されているように、1台のカメラにより撮像された時系列画像間における同一対象物の画像部分の大きさの変化率を用いて、車両と対象物との距離を算出するようにしてもよい。
In the present embodiment, the
また、レーザーレーダやミリ波レーダ等の測距手段により、車両10と対象物との距離を算出するようにしてもよい。 Further, the distance between the vehicle 10 and the object may be calculated by distance measuring means such as a laser radar or a millimeter wave radar.
また、本実施の形態においては、車両前方を撮像する構成を示したが、車両の後方や側方等、他の方向を撮像して対象物との接触可能性を判断するようにしてもよい。 Moreover, in this Embodiment, although the structure which images a vehicle front was shown, you may make it judge the contact possibility with a target object by imaging other directions, such as back and a side of a vehicle. .
また、本実施の形態においては、本発明の撮像手段として赤外線カメラ2R,2Lを用いたが、可視画像を撮像する可視カメラを用いてもよい。
Further, in the present embodiment, the
1…画像処理ユニット、2R,2L…赤外線カメラ、3…ヨーレートセンサ、4…車速センサ、5…ブレーキセンサ、6…スピーカ、7…表示装置、20…対象物抽出手段、21…対応画像抽出手段、22…視差算出手段、23…距離算出手段、24…相対速度算出手段、25…対象物抽出手段、26…サンプリング期間設定手段、27…接触判定手段。
DESCRIPTION OF
Claims (2)
所定のサンプリング期間内の異なる時点で前記撮像手段により撮像された複数の画像から検出された同一の対象物について、各画像の撮像時における該対象物と前記車両間の距離を算出する距離算出手段と、
前記サンプリング期間における前記距離算出手段による前記車両と前記対象物との算出距離の変化度合いを用いて、前記車両と前記対象物との相対速度を算出する相対速度算出手段と、
前記相対速度が所定速度以上であるときに、前記対象物を監視対象から除外する対象物除外手段と、
前記車両の車速を検出する車速検出手段と、
前記車両の車速が低いほど、前記サンプリング期間を短い時間に設定するサンプリング期間設定手段とを備えたことを特徴とする車両周辺監視装置。 A vehicle periphery monitoring device that monitors the periphery of a vehicle using an image captured by an imaging means mounted on the vehicle,
Distance calculation means for calculating the distance between the object and the vehicle at the time of imaging of the same object detected from a plurality of images taken by the imaging means at different times within a predetermined sampling period When,
Relative speed calculation means for calculating a relative speed between the vehicle and the object using the degree of change in the calculated distance between the vehicle and the object by the distance calculation means during the sampling period;
Object exclusion means for excluding the object from the monitoring object when the relative speed is equal to or higher than a predetermined speed;
Vehicle speed detecting means for detecting the vehicle speed of the vehicle;
A vehicle periphery monitoring device, comprising: a sampling period setting means for setting the sampling period to a shorter time as the vehicle speed of the vehicle is lower.
所定の制御周期毎に、所定のサンプリング期間内の異なる時点で前記撮像手段により撮像された複数の画像から検出された同一の対象物について、各画像の撮像時における該対象物と前記車両間の距離を算出する距離算出手段と、
前記サンプリング期間における前記距離算出手段による前記車両と前記対象物との算出距離の変化度合いを用いて、前記車両と前記対象物との相対速度を算出する相対速度算出手段と、
前記相対速度が所定速度以上であるときに、前記対象物を監視対象から除外する対象物除外手段と、
前記車両の車速を検出する車速検出手段と、
前回の制御周期で前記距離算出手段により算出された前記対象物と前記車両間の距離が短いほど、今回の制御周期における前記サンプリング期間を短い時間に設定するサンプリング期間設定手段とを備えたことを特徴とする車両周辺監視装置。 A vehicle periphery monitoring device that monitors the periphery of a vehicle using an image captured by an imaging means mounted on the vehicle,
For the same object detected from a plurality of images captured by the imaging means at different points in time during a predetermined control period, between the object and the vehicle at the time of capturing each image A distance calculating means for calculating the distance;
Relative speed calculation means for calculating a relative speed between the vehicle and the object using the degree of change in the calculated distance between the vehicle and the object by the distance calculation means in the sampling period;
Object exclusion means for excluding the object from the monitoring object when the relative speed is equal to or higher than a predetermined speed;
Vehicle speed detecting means for detecting the vehicle speed of the vehicle;
A sampling period setting unit that sets the sampling period in the current control cycle to a shorter time as the distance between the object and the vehicle calculated by the distance calculation unit in the previous control cycle is shorter. A vehicle periphery monitoring device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009109081A JP4975776B2 (en) | 2009-04-28 | 2009-04-28 | Vehicle periphery monitoring device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009109081A JP4975776B2 (en) | 2009-04-28 | 2009-04-28 | Vehicle periphery monitoring device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010257378A true JP2010257378A (en) | 2010-11-11 |
JP4975776B2 JP4975776B2 (en) | 2012-07-11 |
Family
ID=43318182
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009109081A Active JP4975776B2 (en) | 2009-04-28 | 2009-04-28 | Vehicle periphery monitoring device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4975776B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110595542A (en) * | 2019-09-23 | 2019-12-20 | 徐州徐工筑路机械有限公司 | Cold regeneration construction distance measurement method, device and system |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1145398A (en) * | 1997-07-25 | 1999-02-16 | Toyota Motor Corp | Self-lane object detection device and vehicle travel controller provided with the device |
JP2006330979A (en) * | 2005-05-25 | 2006-12-07 | Nissan Motor Co Ltd | Preceding vehicle information acquiring device |
JP2006347403A (en) * | 2005-06-16 | 2006-12-28 | Mitsubishi Fuso Truck & Bus Corp | Relative velocity calculation device and inter-vehicle distance controller |
JP2007030603A (en) * | 2005-07-25 | 2007-02-08 | Mazda Motor Corp | Vehicle travel assisting device |
JP2007172035A (en) * | 2005-12-19 | 2007-07-05 | Fujitsu Ten Ltd | Onboard image recognition device, onboard imaging device, onboard imaging controller, warning processor, image recognition method, imaging method and imaging control method |
JP2008276308A (en) * | 2007-04-25 | 2008-11-13 | Sanyo Electric Co Ltd | Video image processing apparatus, video image processing system, and navigation device |
-
2009
- 2009-04-28 JP JP2009109081A patent/JP4975776B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1145398A (en) * | 1997-07-25 | 1999-02-16 | Toyota Motor Corp | Self-lane object detection device and vehicle travel controller provided with the device |
JP2006330979A (en) * | 2005-05-25 | 2006-12-07 | Nissan Motor Co Ltd | Preceding vehicle information acquiring device |
JP2006347403A (en) * | 2005-06-16 | 2006-12-28 | Mitsubishi Fuso Truck & Bus Corp | Relative velocity calculation device and inter-vehicle distance controller |
JP2007030603A (en) * | 2005-07-25 | 2007-02-08 | Mazda Motor Corp | Vehicle travel assisting device |
JP2007172035A (en) * | 2005-12-19 | 2007-07-05 | Fujitsu Ten Ltd | Onboard image recognition device, onboard imaging device, onboard imaging controller, warning processor, image recognition method, imaging method and imaging control method |
JP2008276308A (en) * | 2007-04-25 | 2008-11-13 | Sanyo Electric Co Ltd | Video image processing apparatus, video image processing system, and navigation device |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110595542A (en) * | 2019-09-23 | 2019-12-20 | 徐州徐工筑路机械有限公司 | Cold regeneration construction distance measurement method, device and system |
Also Published As
Publication number | Publication date |
---|---|
JP4975776B2 (en) | 2012-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4733756B2 (en) | Vehicle periphery monitoring device | |
JP4631096B2 (en) | Vehicle periphery monitoring device | |
JP4815488B2 (en) | Vehicle periphery monitoring device | |
JP4203512B2 (en) | Vehicle periphery monitoring device | |
US8810653B2 (en) | Vehicle surroundings monitoring apparatus | |
JP4173902B2 (en) | Vehicle periphery monitoring device | |
JP5687702B2 (en) | Vehicle periphery monitoring device | |
JP2007193445A (en) | Periphery monitoring device for vehicle | |
JP2003134508A (en) | Information providing device for vehicle | |
JP4528283B2 (en) | Vehicle periphery monitoring device | |
JP2010097541A (en) | Vehicular periphery monitoring apparatus | |
JP2008027309A (en) | Collision determination system and collision determination method | |
JP4864953B2 (en) | Vehicle periphery monitoring device | |
JP3999088B2 (en) | Obstacle detection device | |
JP5004923B2 (en) | Vehicle driving support device | |
JP2009193390A (en) | Vehicle periphery monitor device, vehicle, and program and method for monitoring vehicle periphery | |
JP4765113B2 (en) | Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method | |
JP6087240B2 (en) | Vehicle periphery monitoring device | |
JP4975776B2 (en) | Vehicle periphery monitoring device | |
US9030560B2 (en) | Apparatus for monitoring surroundings of a vehicle | |
JP5430213B2 (en) | Vehicle periphery monitoring device | |
JP5399887B2 (en) | Vehicle periphery monitoring device | |
JP2008236029A (en) | Vehicle-surroundings monitoring system, method and program | |
JP5904927B2 (en) | Vehicle periphery monitoring device | |
JP2010093570A (en) | Vehicle periphery monitoring device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111012 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120403 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120411 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4975776 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150420 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |