Nothing Special   »   [go: up one dir, main page]

JP6281460B2 - 物体検出装置 - Google Patents

物体検出装置 Download PDF

Info

Publication number
JP6281460B2
JP6281460B2 JP2014193891A JP2014193891A JP6281460B2 JP 6281460 B2 JP6281460 B2 JP 6281460B2 JP 2014193891 A JP2014193891 A JP 2014193891A JP 2014193891 A JP2014193891 A JP 2014193891A JP 6281460 B2 JP6281460 B2 JP 6281460B2
Authority
JP
Japan
Prior art keywords
captured image
vehicle
distance
movement direction
direction based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014193891A
Other languages
English (en)
Other versions
JP2016066181A (ja
Inventor
崇弘 馬場
崇弘 馬場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2014193891A priority Critical patent/JP6281460B2/ja
Priority to US15/513,520 priority patent/US10217024B2/en
Priority to PCT/JP2015/076117 priority patent/WO2016047495A1/ja
Publication of JP2016066181A publication Critical patent/JP2016066181A/ja
Application granted granted Critical
Publication of JP6281460B2 publication Critical patent/JP6281460B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/269Analysis of motion using gradient-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323Alternative operation using light waves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10044Radar image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、レーダおよびカメラを用いて物体を検出する技術に関する。
車両の衝突回避システムでは、他の車両や歩行者等の物体を精度よく検出することが求められる。そこで、レーダおよびカメラを用いて物体に関する情報である物体を検出する構成が提案されている(特許文献1参照)。具体的には、特許文献1に記載の構成では、ミリ波レーダおよび単眼カメラによりそれぞれ独立して物体が検出され、それら物体の位置関係が判断基準を満たしている場合(特に、近接している場合)に、それらの物体が同一物体であると判定される。
特開2014−122873号公報
しかしながら、上記システムでは、レーダおよびカメラを用いて検出された物体が近接していると、これらが異なる物体であるとしても同一の物体であると誤認識する虞があった。
そこで、このような問題点を鑑み、レーダおよびカメラを用いて物体を検出する技術において、同一物体であるか否かの判定を良好に実施できるようにすることを本発明の目的とする。
本発明の物体検出装置において第1軌跡推定手段は、電磁波を送受信することによって物体の位置を検出する電磁波センサによって検出された第1の物体の軌跡を推定し、オプティカルフロー取得手段は、カメラにて得られた撮像画像を画像処理することによって撮像画像中の多数の特徴点のオプティカルフローを取得する。
また、移動方向一致判定手段は、多数の特徴点のうちの第1の物体の周囲に存在する複数の特徴点におけるオプティカルフローに基づく移動方向と、第1の物体の軌跡による移動方向とが一致するか否かを判定する。そして、同一判定手段は、第1の物体の軌跡による移動方向とオプティカルフローに基づく移動方向とが一致することを条件として、複数の特徴点にて特定される物体を表す第2の物体、および第1の物体が同一の物体であると判定する。
このような物体検出装置によれば、電磁波センサによって検出された第1の物体の軌跡と、画像処理によるオプティカルフローとを利用して、第1の物体および第2の物体が同一の物体であるか否かを判定するので、第1の物体と第2の物体とが同一であるか否かをより精度よく判定することができる。
なお、本発明において「多数」とは「複数」よりも多い概念であり、「多数」は「複数」が2以上である場合、3以上であることを示す。また、各請求項の記載は、可能な限りにおいて任意に組み合わせることができる。この際、一部構成を除外してもよい。
本発明が適用された衝突軽減装置1の概略構成を示すブロック図である。 衝突軽減ECU7が実行する衝突軽減処理を示すフローチャートである。 誤差領域を示す平面図である。 衝突軽減処理のうちの同一判定処理を示すフローチャートである。 オプティカルフローを示す画像図である。 オプティカルフローを精度よく利用可能な領域を示す平面図である。
以下に本発明にかかる実施の形態を図面と共に説明する。
[本実施形態の構成]
本発明が適用された衝突軽減装置1は、車両等の移動体に搭載された装置である。衝突軽減装置1は、レーダおよびカメラ画像を用いて物体(他車両や歩行者等の物体に関する情報)を検出し、この物体と衝突する虞がある場合に、衝突を回避または衝突する際の衝撃を軽減するために、自車両を制動する等の制御を行う機能を有する。特に、本実施形態の衝突軽減装置1においては、レーダによって検出された物体とカメラによって検出された物体とが、1つの物体(同一物体)であるのか、異なる物体であるのかを精度よく認識する機能を備えている。
衝突軽減装置1は、図1に示すように、ミリ波レーダ2と、単眼カメラ3と、ブレーキECU4と、エンジンECU5と、報知装置6と、衝突軽減ECU7と、を備える。衝突軽減装置1において、衝突軽減ECU7は、ミリ波レーダ2、単眼カメラ3、ブレーキECU4、エンジンECU5および報知装置6のそれぞれと通信可能に接続されている。なお、通信を実現するための構成は、特に限定されない。
ミリ波レーダ2は、ミリ波を利用して物体(他車両や歩行者等)を検出するためのレーダであって、自車両(衝突軽減装置1が搭載された車両)の前側における中央(先端位置)に取り付けられている。ミリ波レーダ2は、ミリ波を水平面内でスキャンしながら自車両から前方に向けて送信し、反射してきたミリ波を受信することによって得られる送受信データを、レーダ信号として衝突軽減ECU7へ送信する。
単眼カメラ3は、1台のCCDカメラを備え、自車両の車室内の前側における中央に取り付けられている。単眼カメラ3は、CCDカメラで撮像した画像のデータを、画像信号として衝突軽減ECU7へ送信する。
ブレーキECU4は、自車両の制動を制御する電子制御装置であって、CPU、ROM、RAMなどを備える。具体的には、ブレーキECU4は、ブレーキ液圧回路に設けられた増圧制御弁および減圧制御弁を開閉するアクチュエータであるブレーキACTを、ブレーキペダルの踏込量を検出するセンサの検出値に応じて制御する。また、ブレーキECU4は、衝突軽減ECU7からの指示に従い、自車両の制動力を増加させるようにブレーキACTを制御する。
エンジンECU5は、エンジンの始動/停止、燃料噴射量、点火時期等を制御する電子制御装置であって、CPU、ROM、RAMなどを備える。具体的には、エンジンECU5は、吸気管に設けられたスロットルを開閉するアクチュエータであるスロットルACTを、アクセルペダルの踏込量を検出するセンサの検出値に応じて制御する。また、エンジンECU5は、衝突軽減ECU7からの指示に従い、内燃機関の駆動力を減少させるようにスロットルACTを制御する。
報知装置6は、衝突軽減ECU7から警報信号を受信すると、音や光などで車両の運転者に対する報知を行う。
衝突軽減ECU7は、衝突軽減装置1を統括制御する電子制御装置であって、CPU、ROM、RAMなどを備える。衝突軽減ECU7は、CPUのマスタクロックに基づく一定時間ごとに、ミリ波レーダ2からのレーダ信号および単眼カメラ3からの画像信号を取り入れる。
[本実施形態の処理]
次に、衝突軽減装置1による物体検出方法および衝突軽減方法について説明する。衝突軽減ECU7には、衝突軽減装置1による物体検出を実現するため、および衝突を軽減するためのプログラムである衝突軽減プログラムが記憶されている。以下、衝突軽減プログラムに従い衝突軽減ECU7が実行する衝突軽減処理について、図2のフローチャートを用いて説明する。なお、図2に示す処理は、所定周期で繰り返し実行される。
衝突軽減処理では、図2に示すように、まず、ミリ波レーダ2から送信されるレーダ信号(ミリ波レーダ2による検出情報)に基づいて、物体を検出する(S110)。具体的には、衝突軽減ECU7は、レーダ信号に基づいて、まず、自車両から物体までの直線距離と、その物体の水平方位位置(自車両の前方方向を基準とする角度位置)と、を算出(特定)する。
そして、これらの算出値に基づき、図3に示すように、XY平面における物体の位置座標(X座標およびY座標)を、XY平面における物体の検出点Prとして算出(特定)する。このXY平面は、自車両の車幅方向(横方向)をX軸、自車両の車長方向(前方方向)をY軸、としたものである。ミリ波レーダ2により物体の幅方向において複数の検出点が得られた物体について、物体の検出点Prは、例えば、それらの複数の検出点の中央に設定される。
また、このXY平面では、自車両の先端位置(ミリ波レーダ2が設けられた位置)が基準点Poとして設定され、物体の検出点Prは基準点Poに対する相対位置を表す。なお、図3は、自車両の前方かつ右寄りに位置する物体の例である。また、このS110において、物体の検出点Prに加え、物体との相対速度等を算出してもよい。また、以下の説明では、S110で検出した物体(ミリ波レーダ2による検出情報に基づいて検出した物体に関する情報)を「レーダ物体」という。
続いて、図3に示すように、S110で算出したレーダ物体の検出点Prを中心とするレーダ誤差領域21を設定する(S120)。具体的には、衝突軽減ECU7は、レーダ物体の検出点PrのX座標およびY座標を基準として、X座標およびY座標のそれぞれについて、ミリ波レーダ2の特性に基づきあらかじめ設定されている想定誤差分(Δθ)の幅を持たせた領域を、レーダ誤差領域21として設定する。
続いて、単眼カメラ3から送信される画像信号(単眼カメラ3による撮像画像)に基づいて、物体を検出する(S130)。具体的には、衝突軽減ECU7は、画像信号の表す撮像画像を解析して物体を識別する。この識別は、例えば、あらかじめ登録されている物体モデルを用いたマッチング処理により行われる。
物体モデルは、物体の種類(車両、歩行者等)ごとに用意されているため、物体の種類(種別)も特定される。そして、衝突軽減ECU7は、撮像画像における物体の上下方向の位置に基づいて、前述したXY平面におけるY座標を特定し、撮像画像における物体の左右方向の位置に基づいて、その物体の水平方位位置(自車両の前方方向を基準とする角度位置)を特定する。
すなわち、自車両の前方方向における物体の位置が遠い(Y座標が大きい)ほど、撮像画像におけるその物体の下端位置が高くなる傾向にある。このため、撮像画像における物体の下端位置の高さに基づいて、Y座標を特定することができる。ただし、このような特定方法は、物体の下端位置が正確に検出されない場合に、Y座標の検出精度が下がるという特性がある。
また、自車両の前方方向(詳細にはX=0の直線)を基準とする物体の角度方向のずれ(傾き)が大きいほど、単眼カメラ3の無限遠点(FOE:Focus of Expansion)を基準とするその物体の左右方向へのずれが大きくなる傾向にある。このため、撮像画像における無限遠点から物体の中心を通る鉛直線までの距離に基づいて、物体の水平方位位置を特定することができる。
つまり、このS130においては、図3に示すように、XY平面における物体のY座標および水平方位位置(角度位置)を、XY平面における物体の検出点Piとして特定する。なお、物体の検出点Piは、例えば物体の幅方向の中心に設定される。また、物体の検出点Piは基準点Poに対する相対位置を表す。なお、以下の説明では、S130で検出した物体(単眼カメラ3による撮像画像に基づいて検出した物体に関する情報)を「画像物体」という。
続いて、図3に示すように、S130で算出した画像物体の検出点Piを中心とする画像誤差領域22を設定する(S140)。具体的には、衝突軽減ECU7は、検出点PiのY座標および水平方位位置を基準として、Y座標および水平方位位置のそれぞれについて、単眼カメラ3の特性に基づきあらかじめ設定されている想定誤差分の幅を持たせた領域を、画像誤差領域22として設定する。
続いて、同一判定処理を実施する(S150)。同一判定処理は、レーダ物体と画像物体とが同一の物体であるか否かを判定する処理である。
同一判定処理では、図4に示すように、まず、レーダ物体の横方向(X方向)の移動速度を演算する(S310)。この処理では、例えばレーダ物体の過去における位置の履歴を利用してレーダ物体の軌跡を求め、この軌跡における単位時間当たりのX方向の成分をさらに求める。
続いて、オプティカルフローを演算する(S320)。この処理では、図5に示すように、例えば、撮像画像のエッジ(隣接する画素の輝度の差が所定値以上となる部位)に多数の特徴点を設定し、これら多数の特徴点が時系列に従ってどのように移動するかをベクトルとして求める。
例えば、このオプティカルフローにおいて、白線や樹木等の静止物は、FOEから出現するように移動することが検出される。また、飛び出し歩行者や自転車等の撮像画像左右から移動してくる移動物は、FOEとは異なる消失点に対して移動するよう検出される。
続いて、オプティカルフローによってFOEとは異なる消失点に対して移動する物体(フロー物体)について、位置および距離を取得する(S325)。なお、フロー物体の位置および距離は、画像物体と同様の手法で求めればよい。
続いて、フロー物体が撮像画像の左右端かつ近距離の領域である設定領域に位置しているか否かを判定する(S330)。この処理では、図6に示すように、撮像画像において、カメラ軸(中心軸)から左右に角度θ(例えば45度程度)の領域を除くとともに、距離Dを超える領域を除いた領域を設定領域41とする。
設定領域41内においては、同じ速度で移動する物体が他の位置にある場合よりも、動きが大きく認識される。よって、設定領域41は、オプティカルフローによって物体の動きが精度よく認識できる領域といえる。
そして、フロー物体がこの設定領域41内に位置するか否かを判定する。なお、設定領域41は、図5に示すように、撮像画像においては、左右の端部の下部にそれぞれ矩形で設定されることになる。
フロー物体が設定領域41内に位置していなければ(S330:NO)、S350の処理に移行する。また、フロー物体が設定領域41内に位置していれば(S330:YES)、レーダ物体の横方向の移動速度とフロー物体の横方向の移動速度とが一致するか否かを判定する(S340)。なお、ここでいう一致とは、完全に一致している必要はなく、予め設定された許容誤差範囲内であれば一致していると判定する。
レーダ物体の横方向の移動速度とフロー物体の横方向の移動速度とが一致していなければ(S340:NO)、後述するS370の処理に移行する。また、レーダ物体の横方向の移動速度とフロー物体の横方向の移動速度とが一致していれば(S340:YES)、XY平面において、レーダ誤差領域21と画像誤差領域22とに重複部(重なり領域)が存在するか否かを判定する(S350)。重複部が存在すれば(S350:YES)、レーダ物体と画像物体とを同一物体として設定し(S360)、同一判定処理を終了する。
また、重複部が存在しなければ(S350:NO)、レーダ物体と画像物体とを同一ではない他の物体として設定し(S370)、同一判定処理を終了する。
続いて、図2に戻り、検出した物体の位置に応じた衝突軽減制御を行う(S190)。例えば、物体に衝突する可能性がある場合(衝突する可能性の値が所定の閾値以上である場合等)に、報知装置6へ警報信号を送信して、運転者に対する報知を行わせる。また、物体に衝突する可能性が高い場合には、エンジンECU5へ内燃機関の駆動力を減少させる指示を行い、また、ブレーキECU4へ自車両の制動力を増加させる指示を行う。
[本実施形態による効果]
上記の衝突軽減装置1において衝突軽減ECU7は、電磁波を送受信することによって物体の位置を検出する電磁波センサによって検出された第1の物体(レーダ物体)の軌跡を推定し、カメラにて得られた撮像画像を画像処理することによって撮像画像中の多数の特徴点のオプティカルフローを取得する。また、多数の特徴点のうちの第1の物体の周囲に存在する複数の特徴点におけるオプティカルフローに基づく移動方向と、第1の物体の軌跡による移動方向とが一致するか否かを判定する。
そして、第1の物体の軌跡による移動方向とオプティカルフローに基づく移動方向とが一致することを条件として、複数の特徴点にて特定される物体を表す第2の物体(フロー物体)、および第1の物体が同一の物体であると判定する。
このような衝突軽減装置1によれば、電磁波センサによって検出された第1の物体の軌跡と、画像処理によるオプティカルフローとを利用して、第1の物体および第2の物体が同一の物体であるか否かを判定するので、第1の物体と第2の物体とが同一であるか否かをより精度よく判定することができる。
また、上記の衝突軽減装置1において衝突軽減ECU7は、第2の物体までの距離を取得する。また、第2の物体までの距離が予め設定された距離閾値未満であるか否かを判定し、また第2物体の撮像画像中の位置が撮像画像の左右の端部を含む左右端領域に位置するか否かを判定する。そして、第2の物体までの距離が距離閾値未満であり、かつ第2物体の撮像画像中の位置が撮像画像の左右の端部を含む左右端領域に位置する場合に、各移動方向が一致するか否かを判定する。
このような衝突軽減装置1によれば、オプティカルフローによって物体の動きが精度よく認識できる位置(距離が距離閾値未満であり、かつ左右端領域内)であるときに、オプティカルフローを利用して同一の物体であるか否かを判定することができる。よって、より精度よく第1の物体と第2の物体とが同一であるか否かを判定することができる。
また、上記の衝突軽減装置1において衝突軽減ECU7は、第1の物体について、車両の車幅方向をX軸、車両の車長方向をY軸、としたXY平面における基準点に対する第1の物体の相対位置を表す検出点である第1の検出点を含む第1領域を特定する。また、第2の物体について、XY平面における基準点に対する第2の物体の相対位置を表す検出点である第2の検出点を含む第2領域を特定する。そして、第2の物体までの距離が距離閾値未満、かつ第2物体の撮像画像中の位置が撮像画像の左右の端部を含む左右端領域に位置する場合に、XY平面において、第1領域と第2領域とに重複部が存在すること、かつ第1の物体の軌跡による移動方向とオプティカルフローに基づく移動方向とが一致することを条件として、第1の物体と第2の物体とが同一の物体であると判定する。
このような衝突軽減装置1によれば、第1の物体の軌跡による移動方向とオプティカルフローに基づく移動方向とが一致することだけでなく、XY平面において、第1領域と第2領域とに重複部が存在することも、同一の物体であると判定する際の条件とするので、第1の物体と第2の物体とが同一であるか否かをより精度よく判定することができる。
また、上記の衝突軽減装置1において衝突軽減ECU7は、第2の物体までの距離が距離閾値以上、または第2物体の撮像画像中の位置が撮像画像の左右の端部を含む左右端領域に位置しない場合に、XY平面において、第1領域と第2領域とに重複部が存在することを条件として、第1の物体と第2の物体とが同一の物体であると判定する。
このような衝突軽減装置1によれば、オプティカルフローによって物体の動きが精度よく認識できない可能性がある場合(距離が距離閾値以上であり、かつ左右端領域外である場合)に、オプティカルフローを用いることなく第1の物体と第2の物体とが同一の物体であるか否かを判定することができる。
[その他の実施形態]
本発明は、上記の実施形態によって何ら限定して解釈されない。また、上記の実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、各請求項に係る発明の理解を容易にする目的で使用しており、各請求項に係る発明の技術的範囲を限定する意図ではない。上記実施形態における1つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を1つの構成要素に統合させたりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。また、上記実施形態の構成の一部を、課題を解決できる限りにおいて省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。
上述した衝突軽減装置1の他、当該衝突軽減装置1を構成要素とするシステム、当該衝突軽減装置1としてコンピュータを機能させるためのプログラム、このプログラムを記録した媒体、衝突軽減方法など、種々の形態で本発明を実現することもできる。
例えば、上記実施形態において、S310、S320、S340の処理では、横方向の移動速度を利用したが、物体や特徴点の移動の軌跡(移動ベクトル)を用いて処理を実施してもよい。
なお、上記実施形態では、第2の物体までの距離が距離閾値未満、かつ第2物体の撮像画像中の位置が撮像画像の左右の端部を含む左右端領域に位置する場合(S330:NO)に、S340の処理に移行するよう構成したが、S330の処理を省略し、常にS340の処理を実施するようにしてもよい。
[実施形態の構成と本発明の手段との対応関係]
上記実施形態において衝突軽減ECU7は、本発明でいう物体検出装置に相当する。また、衝突軽減ECU7が実行する処理のうちのS110、S120の処理は本発明でいう第1特定手段に相当し、上記実施形態においてS130、S140の処理は本発明でいう第2特定手段に相当する。
さらに、上記実施形態においてS310の処理は本発明でいう第1軌跡推定手段に相当し、上記実施形態においてS320の処理は本発明でいうオプティカルフロー取得手段に相当する。また、上記実施形態においてS340の処理は本発明でいう移動方向一致判定手段に相当し、上記実施形態においてS310、S340、S350、S360の処理は本発明でいう同一判定手段に相当する。
さらに、上記実施形態においてS325の処理は本発明でいう距離取得手段に相当し、上記実施形態においてS330の処理は本発明でいう領域判定手段に相当する。
1…衝突軽減装置、2…ミリ波レーダ、3…単眼カメラ、4…ブレーキECU、5…エンジンECU、6…報知装置、7…衝突軽減ECU、21…レーダ誤差領域、22…画像誤差領域、41…設定領域。

Claims (5)

  1. 車両に搭載される物体検出装置(7)であって、
    電磁波を送受信することによって物体の位置を検出する電磁波センサによって検出された第1の物体の軌跡を推定する第1軌跡推定手段(S310)と、
    カメラにて得られた撮像画像を画像処理することによって撮像画像中の多数の特徴点のオプティカルフローに基づく移動方向を取得するオプティカルフロー取得手段(S320)と、
    前記多数の特徴点のうちの前記第1の物体の周囲に存在する複数の特徴点におけるオプティカルフローに基づく移動方向と、前記第1の物体の軌跡による移動方向とが一致するか否かを判定する移動方向一致判定手段(S340)と、
    前記第1の物体の軌跡による移動方向と前記オプティカルフローに基づく移動方向とが一致することを条件として、前記複数の特徴点にて特定される物体を表す第2の物体、および前記第1の物体が同一の物体であると判定する同一判定手段(S310、S340、S350、S360)と、
    を備えたことを特徴とする物体検出装置。
  2. 請求項1に記載の物体検出装置において、
    前記第2の物体までの距離を取得する距離取得手段(S325)と、
    前記第2の物体までの距離が予め設定された距離閾値未満であるか否かを判定し、また前記第2物体の撮像画像中の位置が撮像画像の左右の端部を含む左右端領域に位置するか否かを判定する領域判定手段(S330)と、
    を備え、
    前記移動方向一致判定手段は、前記第2の物体までの距離が前記距離閾値未満であり、かつ前記第2物体の撮像画像中の位置が撮像画像の左右の端部を含む左右端領域に位置する場合に、前記各移動方向が一致するか否かを判定すること
    を特徴とする物体検出装置。
  3. 請求項1または請求項2に記載の物体検出装置において、
    前記第1の物体について、前記車両の車幅方向をX軸、前記車両の車長方向をY軸、としたXY平面における基準点に対する前記第1の物体の相対位置を表す検出点である第1の検出点を含む第1領域を特定する第1特定手段(S110、S120)と、
    前記第2の物体について、前記XY平面における前記基準点に対する前記第2の物体の相対位置を表す検出点である第2の検出点を含む第2領域を特定する第2特定手段(S130、S140)と、
    を備え、
    前記同一判定手段は、前記XY平面において、前記第1領域と前記第2領域とに重複部が存在すること、かつ前記第1の物体の軌跡による移動方向と前記オプティカルフローに基づく移動方向とが一致することを条件として、前記第1の物体と前記第2の物体とが同一の物体であると判定すること
    を特徴とする物体検出装置。
  4. 請求項2に記載の物体検出装置において、
    前記第1の物体について、前記車両の車幅方向をX軸、前記車両の車長方向をY軸、としたXY平面における基準点に対する前記第1の物体の相対位置を表す検出点である第1の検出点を含む第1領域を特定する第1特定手段(S110、S120)と、
    前記第2の物体について、前記XY平面における前記基準点に対する前記第2の物体の相対位置を表す検出点である第2の検出点を含む第2領域を特定する第2特定手段(S130、S140)と、
    を備え、
    前記同一判定手段は、前記第2の物体までの距離が前記距離閾値以上、または前記第2物体の撮像画像中の位置が撮像画像の左右の端部を含む左右端領域に位置しない場合に、前記XY平面において、前記第1領域と前記第2領域とに重複部が存在することを条件として、前記第1の物体と前記第2の物体とが同一の物体であると判定すること
    を特徴とする物体検出装置。
  5. 請求項4に記載の物体検出装置において、
    前記同一判定手段は、前記第2の物体までの距離が前記距離閾値未満、かつ前記第2物体の撮像画像中の位置が撮像画像の左右の端部を含む左右端領域に位置する場合に、前記XY平面において、前記第1領域と前記第2領域とに重複部が存在すること、かつ前記第1の物体の軌跡による移動方向と前記オプティカルフローに基づく移動方向とが一致することを条件として、前記第1の物体と前記第2の物体とが同一の物体であると判定すること
    を特徴とする物体検出装置。
JP2014193891A 2014-09-24 2014-09-24 物体検出装置 Active JP6281460B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014193891A JP6281460B2 (ja) 2014-09-24 2014-09-24 物体検出装置
US15/513,520 US10217024B2 (en) 2014-09-24 2015-09-15 Object detection apparatus
PCT/JP2015/076117 WO2016047495A1 (ja) 2014-09-24 2015-09-15 物体検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014193891A JP6281460B2 (ja) 2014-09-24 2014-09-24 物体検出装置

Publications (2)

Publication Number Publication Date
JP2016066181A JP2016066181A (ja) 2016-04-28
JP6281460B2 true JP6281460B2 (ja) 2018-02-21

Family

ID=55581022

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014193891A Active JP6281460B2 (ja) 2014-09-24 2014-09-24 物体検出装置

Country Status (3)

Country Link
US (1) US10217024B2 (ja)
JP (1) JP6281460B2 (ja)
WO (1) WO2016047495A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106170676B (zh) * 2015-07-14 2018-10-09 深圳市大疆创新科技有限公司 用于确定移动平台的移动的方法、设备以及系统
JP6708730B2 (ja) * 2016-02-23 2020-06-10 株式会社日立製作所 移動体
JP2017194926A (ja) * 2016-04-22 2017-10-26 株式会社デンソー 車両制御装置、車両制御方法
WO2018021444A1 (ja) * 2016-07-29 2018-02-01 株式会社デンソー 物標検出装置
JP6547785B2 (ja) * 2016-07-29 2019-07-24 株式会社デンソー 物標検出装置
US9996752B2 (en) * 2016-08-30 2018-06-12 Canon Kabushiki Kaisha Method, system and apparatus for processing an image
US10580156B2 (en) * 2016-09-23 2020-03-03 Mine Vision Systems, Inc. System and method for measuring geometric change in a subterranean structure
JP6988200B2 (ja) * 2017-06-29 2022-01-05 株式会社デンソー 車両制御装置
US11067686B2 (en) * 2017-12-01 2021-07-20 Electromagnetic Systems, Inc. Obstacle position and extent measurement by automotive radar
EP3518001B1 (en) * 2018-01-25 2020-09-16 Aptiv Technologies Limited Method for increasing the reliability of determining the position of a vehicle on the basis of a plurality of detection points
CN108764338B (zh) * 2018-05-28 2021-05-04 上海应用技术大学 一种应用于视频分析的行人跟踪方法
CN108761461B (zh) * 2018-05-29 2022-02-18 南京信息工程大学 基于天气雷达回波时序图像的降水预报方法
KR20200040391A (ko) * 2018-10-10 2020-04-20 주식회사 만도 차량용 레이더의 보완 장치 및 방법
DE102018127990A1 (de) * 2018-11-08 2020-05-14 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Verarbeitungseinheit zur Ermittlung von Information in Bezug auf ein Objekt in einem Umfeld eines Fahrzeugs
CN110738846B (zh) * 2019-09-27 2022-06-17 同济大学 基于雷达与视频组群的车辆行为监测系统及其实现方法
KR20210085256A (ko) * 2019-12-30 2021-07-08 삼성전자주식회사 사용자의 위치를 제공하기 위한 전자 장치 및 방법
JP7490428B2 (ja) * 2020-04-07 2024-05-27 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、および記憶媒体
CN112001991B (zh) * 2020-10-27 2021-01-26 中国空气动力研究与发展中心高速空气动力研究所 一种高速风洞动态油流图谱图像处理方法
DE102020214033A1 (de) * 2020-11-09 2022-05-12 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Steuern einer Sicherheitseinrichtung eines Fahrzeugs und Sicherheitssystem für ein Fahrzeug
DE102020214031A1 (de) * 2020-11-09 2022-05-12 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Steuern einer Sicherheitseinrichtung eines Fahrzeugs und Sicherheitssystem für ein Fahrzeug
CN112560972B (zh) * 2020-12-21 2021-10-08 北京航空航天大学 基于毫米波雷达先验定位和视觉特征融合的目标检测方法
GB202101727D0 (en) * 2021-02-08 2021-03-24 Offshore Survival Systems Ltd Location apparatus

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4428277B2 (ja) * 2005-04-07 2010-03-10 トヨタ自動車株式会社 物体検出装置
JP2007187618A (ja) * 2006-01-16 2007-07-26 Omron Corp 物体識別装置
JP5410730B2 (ja) * 2008-10-09 2014-02-05 日立オートモティブシステムズ株式会社 自動車の外界認識装置
JP5910046B2 (ja) * 2011-12-05 2016-04-27 トヨタ自動車株式会社 障害物検出装置
JP5812064B2 (ja) 2012-11-22 2015-11-11 株式会社デンソー 物標検出装置
JP5884794B2 (ja) 2013-08-29 2016-03-15 株式会社デンソー 衝突可能性判定装置およびプログラム

Also Published As

Publication number Publication date
WO2016047495A1 (ja) 2016-03-31
US20170300780A1 (en) 2017-10-19
JP2016066181A (ja) 2016-04-28
US10217024B2 (en) 2019-02-26

Similar Documents

Publication Publication Date Title
JP6281460B2 (ja) 物体検出装置
JP5892129B2 (ja) 道路形状認識方法、道路形状認識装置、プログラムおよび記録媒体
JP6303956B2 (ja) 軸ずれ量推定装置
JP5884794B2 (ja) 衝突可能性判定装置およびプログラム
JP6265095B2 (ja) 物体検出装置
JP6281459B2 (ja) 物体検出装置
JP6885721B2 (ja) 物体検出装置、物体検出方法
US9945927B2 (en) Object detection apparatus
KR101562875B1 (ko) 목표물 검출 장치 및 프로그램
US20140139369A1 (en) Object detection apparatus
JP6394228B2 (ja) 物体検出装置
US10871565B2 (en) Object detection apparatus and object detection method
JP6614108B2 (ja) 車両制御装置、車両制御方法
US11086007B2 (en) Target detection device
US11407390B2 (en) Vehicle control apparatus and vehicle control method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170327

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180108

R151 Written notification of patent or utility model registration

Ref document number: 6281460

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250