JP4205825B2 - 対象物認識装置 - Google Patents
対象物認識装置 Download PDFInfo
- Publication number
- JP4205825B2 JP4205825B2 JP31433099A JP31433099A JP4205825B2 JP 4205825 B2 JP4205825 B2 JP 4205825B2 JP 31433099 A JP31433099 A JP 31433099A JP 31433099 A JP31433099 A JP 31433099A JP 4205825 B2 JP4205825 B2 JP 4205825B2
- Authority
- JP
- Japan
- Prior art keywords
- edge
- candidate
- recognized
- horizontal
- horizontal edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Description
【発明の属する技術分野】
この発明は、自車両の前方にある対象物を認識する対象物認識装置に関し、特に、自車両の前方を走行する先行車両を認識するのに適した対象物認識装置に関する。
【0002】
【従来の技術】
近年、車両走行の安全性を向上させるため、自車両の前方にある対象物の位置や大きさを判断し、これに応じて自車両走行を適切に制御する装置が提案されている。前方にある対象物の情報を取得する方法として、画像情報から水平方向エッジおよび垂直方向エッジを抽出し、抽出されたエッジのそれぞれについて、そのエッジが認識すべき対象物(たとえば、先行車両)を示すかどうか判断し、対象物を示すと判断されたエッジに基づいて対象物を認識する方法が知られている。
【0003】
特開平10-97699号公報では、画像内の左右ガイドライン(実施例では、白線)を認識し、この左右ガイドラインにはさまれた領域内において水平エッジを抽出し、抽出された水平エッジに基づいて障害物が存在する存在可能性領域を推定し、該存在可能性領域内で垂直エッジを抽出し、抽出された垂直エッジに基づき障害物を判定する。ここで、水平エッジにより推定された存在可能性領域のすべてについて、所定のしきい値を超える垂直エッジのX座標上の点が2つ未満の場合、対象物は存在しないと判断される。
【0004】
特開平9-16782号公報では、予め撮像領域を格子状に区分しておき、検出された縦エッジ点を含む領域を縦エッジ領域とし、検出された横エッジ点を含む領域を横エッジ領域とし、縦エッジ領域群および横エッジ領域群の交点を特定し、交点が4つ以上存在して長方形を成すことができる場合、その長方形を物体と認識している。
【0005】
【発明が解決しようとする課題】
しかし、特開平10-97699号公報のものでは、たとえば対象物の一部が背景色に似て十分なコントラストの差がなく、存在可能性領域において2つ以上の垂直エッジを得ることができない場合には、実際には対象物が存在しても「対象物無し」と誤って認識されることがあった。また、特開平9-16782号公報のものでは、コントラスト不足などにより、検出された縦および横のエッジの交点が4点以上得られなかった場合には、実際には対象物が存在しても「対象物無し」と誤って認識されることがあった。
【0006】
この発明は、上記問題点を解決するものであり、対象物の外形を認識するのに所望の水平および垂直エッジのいずれかが得られなかった場合でも、得られた水平または垂直エッジから対象物の外形を認識できる装置を提供することを目的とする。
【0007】
【課題を解決するための手段】
上記の課題を解決するため、請求項1の発明の対象物認識装置は、対象物の位置を特定する対象物位置特定手段と、対象物を撮像する撮像装置と、前記特定された対象物の位置および予め決められた認識すべき対象物の大きさに基づいて、前記撮像装置により得られた画像上に処理領域を設定する処理領域設定手段と、処理領域に含まれる画素の輝度値に基づいて、前記処理領域から水平エッジを抽出する水平エッジ抽出手段と、認識すべき対象物の予め設定された特徴に基づいて、前記抽出された水平エッジのそれぞれが、該認識すべき対象物を示すかどうか判定するエッジ判定手段とを備え、前記対象物を示すと判定された水平エッジから、対象物の外形を表す水平エッジを選択し、該水平エッジに基づいて対象物の外形を認識する。
【0008】
この発明によると、背景などの周囲の環境の影響により所望の垂直エッジが得られなかった場合にも、水平エッジのみから対象物の外形を認識することができるので、対象物の外形を認識できる確度が向上する。
【0009】
また、請求項2の発明は、請求項1の対象物認識装置において、処理領域に含まれる画素の輝度値に基づいて、前記処理領域から垂直エッジを抽出する垂直エッジ抽出手段と、認識すべき対象物の予め設定された特徴に基づいて、前記抽出された垂直エッジのそれぞれが、該認識すべき対象物を示すかどうか判定する垂直エッジ判定手段と、前記対象物を示すと判定された水平エッジから対象物の外形を表す水平エッジを選択し、該水平エッジに基づいて対象物の端候補を選択する水平エッジ端候補選択手段と、前記対象物を示すと判定された垂直エッジから対象物の外形を表す垂直エッジを選択し、該垂直エッジに基づいて対象物の端候補を選択する垂直エッジ端候補選択手段とを備え、前記水平エッジ端候補選択手段により選択された端候補および前記垂直エッジ端候補選択手段により選択された端候補に基づいて対象物の外形を認識する。
【0010】
請求項2の発明によると、水平エッジから選択された端候補および垂直エッジから選択された端候補に基づいて対象物の外形を認識するので、対象物の外形を認識するのに所望の水平エッジまたは所望の垂直エッジが得られなかった場合でも、得られた方のエッジから対象物の外形を認識することができ、対象物の外形を認識できる確度が向上する。
【0011】
請求項3の発明は、請求項2の対象物認識装置において、水平エッジ端候補選択手段が、対象物を示すと判定された水平エッジから、対象物の上端、下端、左端および右端の位置を表す水平エッジを選択し、該水平エッジに基づいて対象物の上端、下端、左端および右端候補を選択し、垂直エッジ端候補選択手段が、対象物を示すと判定された垂直エッジから、対象物の上端、下端、左端および右端の位置を表す垂直エッジを選択し、該垂直エッジに基づいて対象物の上端、下端、左端および右端候補を選択し、対象物認識手段が、前記水平エッジ端候補選択手段により選択された上端、下端、左端および右端候補および前記垂直エッジ端候補選択手段により選択された上端、下端、左端および右端候補に基づいて、対象物の上端、下端、左端および右端の位置を認識する。
【0012】
請求項3の発明によると、水平エッジから選択された上下左右端候補および垂直エッジから選択された上下左右端候補に基づいて対象物の外形を認識するので、所望の水平エッジまたは所望の垂直エッジが得られなかった場合にも、得られた方のエッジから対象物の外形を認識することができ、特に外形が箱形に近似できる対象物を認識できる確度が向上する。
【0013】
請求項4の発明は、請求項3の発明において、垂直エッジ端候補選択手段が、左端候補および右端候補のいずれかまたは両方が選択できなかったならば、該選択されなかった端候補については、前記水平エッジ端候補選択手段により選択された端候補を対象物の端の位置として認識する。
【0014】
請求項4の発明によると、対象物の外形を認識するのに所望の垂直エッジが得られなくても、水平エッジから対象物の外形を認識することができるので、特に水平エッジを比較的多く抽出できる対象物を認識する確度が向上する。
【0015】
請求項5の発明は、請求項4の対象物認識装置において、水平エッジ端候補選択手段が、対象物の左端および右端候補を選択できなかったならば、過去に認識された対象物の位置に基づいて推定した左端および右端を、対象物の左端および右端候補として選択する。
【0016】
請求項5の発明によると、対象物の外形を認識するのに所望の水平エッジが得られなくても、過去に認識された対象物の位置に基づいて対象物の端候補を推定できるので、対象物を認識する確度が向上する。
【0017】
請求項6の発明は、請求項4または請求項5の対象物認識装置において、垂直エッジ端候補選択手段が、水平エッジ端候補選択手段により選択された左端および右端候補の近傍にある、対象物の左端および右端の位置を表す垂直エッジを選択し、該垂直エッジに基づいて対象物の左端および右端候補を選択する。
【0018】
請求項6の発明によると、水平エッジからの対象物の左端および右端候補に基づいて、対象物の左端および右端の位置を表す垂直エッジを選択するので、特に水平エッジを比較的多く抽出できる対象物の外形を正確に認識することができる。
【0019】
【発明の実施の形態】
次に図面を参照してこの発明の実施の形態を説明する。図1は、この発明の一実施例の対象物認識装置の全体的なブロック図である。この実施例においては、この発明の対象物認識装置により認識すべき対象物を先行車両とする。
【0020】
図1の撮像装置1は、自車両の前方を画像として撮像する装置である。撮像装置1は典型的には2次元のCCDであり、2次元に配列されたフォトセンサのアレイであってもよい。夜間の使用を考慮すると赤外線を用いた撮像装置にするのがよい。この場合、レンズの前に赤外線透過性のフィルタを置き、赤外線の光源を用いて一定の周期で対象物を照射し、対象物から反射する赤外線を感知するようにするのがよい。撮像装置1により撮像された画像はアナログ・デジタル変換器(図示せず)を介してデジタルデータに変換され、画像記憶部2に格納される。
【0021】
対象物位置特定部3は、典型的にはレーザレーダまたはミリ波レーダであり、レーザまたはミリ波を対象物に照射し、対象物からの反射波を受信して、自車両から対象物までの距離および自車両に対する対象物の相対的な方位を測定する。レーダは、単一ビームを自車両前方のある角度の範囲にわたって走査するスキャン型レーダを用いることができ、または複数ビームを車両前方のある角度の範囲にわたって照射する複数ビーム型のレーダを用いてもよい。レーダからのビームがカバーする角度の範囲は、認識すべき対象物が撮像装置1により撮像される可能性のある範囲に合わせて設定される。この実施例では認識すべき対象物が先行車両なので、レーダは、少なくとも自車両が走行する自車線領域をカバーするよう設定される。または、1サイクル前に撮像装置1により撮像され、特定された先行車両の位置情報に基づいて、自車両前方の先行車両に確実にビームを照射させるよう、レーダのビームの方位を随時変向させるようにしてもよい。特定された先行車両の距離Dおよび方位θは、図1の対象物位置記憶部4に記憶される。
【0022】
他の実施例では、対象物位置特定部3を、一対の光学式撮像装置を用いて実現することができる。図2は、その場合の三角計測法による距離の計測原理を説明する図である。簡単に説明するため、図2における一対の撮像装置は、それぞれ一次元のラインセンサとする。ラインセンサ28およびレンズ26は、他方の撮像装置を構成するラインセンサ29およびレンズ27と所定の間隔すなわち基線長Bだけ左右方向に間隔をおいて配置されており、それぞれレンズ26、27の焦点距離fに配置されている。
【0023】
レンズ26、27のある平面から距離Dにある対象物の像が、ラインセンサ28ではレンズ26の光軸からd1ずれた位置に形成され、ラインセンサ29ではレンズ27の光軸からd2だけずれた位置に形成されるとすると、レンズ26、27の面から対象物25までの距離Dは、三角計測法の原理により、D=B・f/(d1+d2)で求められる。撮像された画像はデジタル化されるので、距離(d1+d2)はデジタル的に算出される。ラインセンサ28および29で得られる画像の片方または両方をシフトさせながら両画像のそれぞれ対応する画素の輝度を示すデジタル値の差の絶対値の総和を求め、これを相関値とする。相関値が最小値になるときの画像のシフト量が両画像の間の位置ずれ、すなわち(d1+d2)を示す。観念的には図2に示すようにラインセンサ28および29から得られる2つの画像を重なり合わせるために2つの画像を相対的に移動させねばならない距離が(d1+d2)である。自車両に対する対象物25の方位θは、たとえばレンズ27の光軸を基準とすると、tanθ=d2/fのように求めることができる。
【0024】
上記の一対の撮像装置による距離の計測は、たとえば撮像された画像を多数のウィンドウに細分し、ウィンドウごとに計測される。計測された距離を、予め計測して保持されたウィンドウごとの道路までの距離と比較し、道路までの距離よりも短ければ、そのウィンドウについての計測距離を対象物までの距離と判断することができる。たとえば、撮像された画像のうち、ハンドル角などを考慮して自車線領域と考えられるウィンドウを走査して距離を計測することにより、自車両前方にある先行車両までの距離を計測することができる。
【0025】
対象物位置特定部3を、上記に説明したレーダおよび一対の撮像装置を併用して実現することができる。たとえば、一対の撮像装置により撮像された画像による距離および方位の計測が困難な状況(前方の先行車両が自車両から遠方にある、またはトンネルなど薄暗い場所を走行していて先行車両の撮像が不安定となるような状況)ではレーダによって計測するというようにしてもよい。また、レーダによる距離および方位の計測は、自車両前方の一定の角度範囲に限定され、撮像装置ほど広い視界をカバーするのが困難なことがあるので、撮像装置により計測された先行車両の方位に合わせて、レーダのビームの向きを随時変えるようにしてもよい。しかしながら、この実施例では、対象物位置特定部3をミリ波レーダまたはレーザレーダのようなレーダにより実現し、自車両前方の先行車両の位置(距離および方位)を特定する。
【0026】
図1の対象物認識部21は、撮像装置1により得られた画像内に処理領域を設定し、処理領域から抽出されたエッジを使用して先行車両の認識を行う。対象物認識部21による処理は、撮像装置1から取り込んだ画像および対象物位置特定部3により計測された対象物の位置に基づいて、ある検出時間間隔(たとえば、100ミリ秒)で実行される。以下、対象物認識部21による対象物認識の方法を詳細に説明する。
【0027】
図1の処理領域設定部5は、対象物位置記憶部4に記憶された対象物の位置および予め決められた認識すべき対象物の大きさに基づいて、画像記憶部2に記憶された撮像画像内に処理領域を設定する。予め決められた認識すべき対象物の大きさは、処理領域設定部5により予め保持されており、認識すべき対象物全体を囲むことができるよう設定されている。
【0028】
処理領域の設定方法を、図3および図4を参照して説明する。図3は、前方を走行する先行車両40を撮像した画像である。図3に示すように、撮像した画像においてxおよびy軸を定め、処理領域30を座標(Xa1,Ya1)および(Xa2,Ya2)を使用して設定する。
【0029】
図4は、この処理領域30を設定する方法を示しており、図4の(a)は、処理領域を特定するx座標すなわちXa1およびXa2を求める方法を示す図であり、図4の(b)は、処理領域を特定するy座標すなわちYa1およびYa2を求める方法を示す図である。
【0030】
図4の撮像装置1は、自車両に搭載されている撮像装置1を示しており、自車両前方を走行する先行車両40を撮像する。fは、撮像装置1に備えられたレンズ45の焦点距離であり、レンズの特性により定まる値である。WおよびHは、予め決められた先行車両の幅および高さであり、たとえばWは2メートル、Hは2.5メートルのように設定することができる。Dおよびθは、対象物位置記憶部4に格納された先行車両の自車両からの距離および自車両に対する相対的な方位を示す。hは、道路から自車両に搭載された撮像装置1のレンズ45の中心までの高さを示し、撮像装置1の自車両内の位置により定まる。
【0031】
処理領域設定部5は、これらのパラメータW、H、hを用い、対象物位置記憶部4に記憶されたDおよびθを抽出して、以下の式により処理領域30を特定する座標(Xa1、Ya1)および(Xa2,Ya2)を算出する。
【0032】
【数1】
Xa1=(D×tanθ − (W/2)) × (f/D) 式(1)
Xa2=(D×tanθ + (W/2)) × (f/D) 式(2)
Ya1=(H−h) × (f/D) 式(3)
Ya2=−(h × (f/D)) 式(4)
【0033】
または、Ya1およびYa2については、自車両のピッチングを考慮して、以下のようにピッチング余裕分のαを加えるようにしてもよい。
【0034】
【数2】
Ya1=(H−h) × (f/D)+α 式(5)
Ya2=−(h × (f/D)+α) 式(6)
【0035】
こうして、座標(Xa1、Ya1)および(Xa2,Ya2)を使用して、撮像された画像内に処理領域30が図3のように設定され、またはピッチングを加味して図5のように設定される。
【0036】
図1の水平エッジ抽出部7および垂直エッジ抽出部9は、処理領域設定部5により設定された処理領域内から、それぞれ水平方向のエッジおよび垂直方向のエッジを抽出する。この実施例では、水平方向および垂直方向の両方についてエッジを抽出する。水平および垂直エッジの両方とも基本的にが同じ方法で抽出されるので、ここでは水平エッジの抽出について説明する。ここで抽出されるエッジは、画像において輝度が変化する部分を示す。図6に、水平エッジ抽出部7により実行される、エッジを抽出するフローチャートを示す。最初に、水平エッジ抽出部7は、処理領域30内のそれぞれの画素に対して水平方向にフィルタリング処理を行い、水平方向に輝度差のあるエッジ部分を強調する(ステップ61)。図7の(a)は、水平方向のエッジを検出するための水平エッジ用フィルタの例であり、以下に述べる計算の都合上、図7の(b)のようにフィルタのそれぞれの要素に座標を付す。
【0037】
処理領域30内を図7の水平エッジ用フィルタで走査し、処理領域30内のそれぞれの画素の輝度値に対して以下の式(7)の計算を施すことにより、水平方向のエッジを検出する。
【0038】
【数3】
【0039】
ここで、xおよびyは、処理領域30内の画素の位置を特定する座標を示す。G(x,y)は、撮像されてデジタルデータに変換されたときの座標(x,y)にある画素の輝度値を示し、P(x,y)は、フィルタリング処理を行った後の座標(x,y)にある画素の輝度値を示す。F(i,j)は、図7の(a)に示す水平エッジ用フィルタの座標(i,j)にあるフィルタ要素の値を示す。水平エッジ用フィルタは、水平方向のエッジを強調するよう値が定められているので、上記の計算をそれぞれの画素に対して行うことにより、水平エッジを検出することができる。
【0040】
他の実施形態では、式(7)の代わりに、以下の式(8)のように単純に垂直方向に隣あった画素間で輝度値の引き算を行う微分処理によりフィルタリング処理を行うことができる。ここで、nは任意の整数であり、たとえばn=1である。
【0041】
【数4】
P(x,y)=G(x,y-n)−G(x,y+n) 式(8)
【0042】
次に、フィルタリング処理が行われたそれぞれの画素の輝度値Pに基づいて、輝度ヒストグラムを算出する(ステップ63)。この実施例で使用する輝度値は、256の階調(真黒「0」から真白「255」の間)を持つデジタルデータとして表される。図8は輝度ヒストグラムの例を示し、横軸は輝度値を示し、右にいくほど高い輝度値を示す。縦軸は、それぞれの輝度値をもつ画素数を示す。
【0043】
このヒストグラムに基づいて、低輝度側の画素数と高輝度側の画素数が所定の割合となる輝度値を2値化しきい値として設定する(ステップ65)。たとえば、処理領域30の全画素数に対し、先行車両を示すエッジを構成する画素数の割合を予めある程度推定し、ある輝度値以上でその割合になる値をヒストグラムから求めて2値化しきい値とすることができる。この2値化しきい値を使用し、たとえば高輝度側を「1」、低輝度側を「0」として、処理領域30内のそれぞれの画素が2値化される(ステップ67)。こうして2値化された画素のうち、値「1」を持つ画素をエッジ点と呼ぶ。2値化しきい値の設定には既知の様々な方法があり、ここで用いる方法はその一例であり、ここで用いる方法はその一例であり、他の方法を用いてもよい。
【0044】
次に、2値化によって得られた値「1」を持つ画素すなわちエッジ点を抽出し、エッジ点が連続していれば1つのまとまった水平エッジとしてグループ化する。エッジ点をグループ化する手法として、この実施例ではテンプレートを使用したラベリング処理を利用する。このラベリング処理を、図9を参照して説明する。
【0045】
図9の(a)のT1〜T3はテンプレートにおける位置を示す。図9の(b)のV1〜V3は、あるエッジ点にT2が合うようテンプレートが置かれた時の、T1〜T3の位置にそれぞれ対応する画素の値(1またはゼロ)をそれぞれ示す。図9の(c)のL1〜L3は、あるエッジ点にT2が合うようテンプレートが置かれた時の、T1〜T3の位置にそれぞれ対応する画素に付与されたラベルを示す。
【0046】
また、図9の(d)の表は、あるエッジ点にT2が合うようテンプレートが置かれたときの、T1〜T3の位置に対応する画素の値に基づいて、T2の位置に対応するエッジ点にどのようなラベルL2が付与されるかを示したものである。たとえば、T1〜T3の位置に対応する画素の値V1〜V3が条件4を満たせば、T2に対応するエッジ点のラベルL2には、T1に対応する画素のラベルL1と同じラベルが付与される。なお、条件1が満たされた時に付与されるラベル「L」は、まだ使用されていない新たなクラスタラベルを示す。図9の(e)に示すように、テンプレートのT2が処理領域30内のエッジ点に順次置かれるよう処理領域30を走査し、エッジ点にラベルL2を付与していく。
【0047】
図10は、ラベル付与の処理を説明するための図である。図10の(a)は、2値化された画素(値ゼロは単なる「・」で示されている)を示す画像の一部の例である。画素のうち値1をもつエッジ点にテンプレートのT2が合うようテンプレートが置かれ、上記のようにラベル付与処理を行うと、図10の(b)に示すように連続したエッジ点に同じラベルが付与される。
【0048】
図9の(d)の条件5を満たす場合には、テンプレートのT1およびT3に対応するラベルを連結し、テンプレートT3に対応するラベルをテンプレートT1に対応するラベルに置き換える。たとえば、図10の(b)のエッジ点91と92およびエッジ点92と93は図9の(d)の条件5を満たすので、結果としてラベルDおよびラベルEをもつエッジ点のすべてが、ラベルCに付与しなおされる(図10の(c))。このラベルを連結する処理は、処理領域30内のすべてのエッジ点を走査してラベルを付与した後に行ってもよい。ラベルを連結することにより、連続するエッジ点はもれなく同じラベルが付与された1つのエッジ群となる。図10の(c)には、ラベルA、BおよびCの3つのエッジ群が示される。このように、水平方向のそれぞれのエッジ群すなわち水平エッジが抽出される。
【0049】
垂直エッジ抽出部9は、図6のステップ61のフィルタリング処理で、水平エッジ用フィルタの代わりに図11に示す垂直エッジ用フィルタを使用することをのぞき、水平エッジと同様の手法で処理領域30内の垂直エッジを抽出する。
【0050】
図1に戻り、水平エッジ判定部11は、認識すべき対象物の予め設定された特徴に基づいて、水平エッジ抽出部9により抽出されたエッジが、認識すべき対象物を示すかどうか判定する。たとえば水平エッジの場合、この実施例のように認識すべき対象物が先行車両とすると、先行車両が画像に表されたときの特徴、すなわち箱形で水平エッジが比較的多く、しかも直線的なエッジを持っていることなどに基づいてエッジ判定を行うことができる。具体的には、
1)処理領域設定部5により設定された処理領域の境界線上の画素を含むエッジは、先行車両以外のものを示すエッジと判定する。
【0051】
2)水平エッジ抽出部7により抽出された水平エッジの直線性を調べ、直線性の悪いエッジは、先行車両以外のものを示すエッジと判定する。
【0052】
3)水平エッジ抽出部7により抽出された水平エッジの傾きを調べ、傾きが大きいエッジは先行車両以外のものを示すエッジと判定する。
【0053】
図12は、上記1)〜3)の水平エッジのパターンの例を示す。図12の(a)は撮像された画像を示し、先行車両40の手前に路面標識120が、向こう側に山の稜線130が、サイドに白線140が写し出されている。路面標識120は、処理領域30を横切るようにして広がっている。図12の(b)は、水平エッジ抽出部7により図12の(a)の画像に対して抽出された水平エッジの2値化画像を示す。この2値化画像には、先行車両40を示すエッジだけでなく路面標識120を示すエッジ125および126、山の稜線130の一部を示すエッジ135〜137、および白線140を示すエッジ145および146が抽出されている。
【0054】
処理領域30は、前述したように先行車両を囲むよう設定されているので、処理領域を横切る水平エッジは先行車両以外のものを示すと判定することができる。具体的には、処理領域30は、前述したように座標(Xa1,Ya1)および(Xa2,Ya2)で特定されるので、水平エッジ判定部11は、水平エッジを構成する画素のx座標値を調べ、x座標値がXa1またはXa2を持つエッジ点があるならば、その水平エッジを処理領域30の境界線を横切るエッジと判断し、その水平エッジは先行車両以外のものを示すと判定する。図12の(b)の例では、エッジ125または126が、x座標値Xa1またはXa2を持つエッジを含むので、エッジ125および126を先行車両以外のものを示すと判定する。
【0055】
さらに、先行車両を示す水平エッジは水平方向に曲線を描くことはないので、水平エッジ判定部11は、このような直線性の悪いエッジ135〜137は、先行車両以外のものを示すと判定する。水平エッジ判定部11は、抽出された水平エッジを構成するエッジ点のそれぞれのy座標値の分散を算出し、y座標が、予め決められた所定値以上にわたって分散するならば、その水平エッジは先行車両以外のものを示すと判定する。
【0056】
さらに、先行車両を示す水平エッジは水平方向に大きな傾きを持つことはないので、水平エッジ判定部11は、このような傾きの大きいエッジ145および146は、先行車両以外のものを示すと判定する。水平エッジ判定部11は、水平エッジを構成するエッジ点のxおよびy座標を用いて最小二乗法による直線近似を行い、その傾きを調べ、傾きが予め決められた所定値以上であるならば、その水平エッジは先行車両以外のものを示すと判定する。
【0057】
こうして水平エッジを判定することにより、先行車両を示すと判定された水平エッジと先行車両以外のものを示すと判定された水平エッジとは、それぞれ区別できるよう水平エッジ記憶部12に記憶される。たとえば、先行車両を示すと判定された水平エッジを構成するエッジ点の画素の値を「1」のまま記憶し、先行車両以外のものを示すと判定された水平エッジを構成するエッジ点の画素の値をゼロに反転して記憶する。または、先行車両以外のものを示すと判定された水平エッジを構成するエッジ点にのみ何らかのフラグを付けて記憶し、その後の処理に使用しないようにすることもできる。図12の(c)は、先行車両以外のものを示すと判定されたエッジ125および126、135〜137、145および146を除外した後の水平エッジを示す2値化画像である。
【0058】
処理領域の境界線上の画素を含む水平エッジを示すものとして、たとえば背景の建築物、路面上の停止線等の標識が考えられ、直線性の悪い水平エッジを示すものとして、たとえば樹木などの自然物、店の看板として使用される旗などが考えられ、傾きの大きい水平エッジを示すものとして、たとえばガードレール、追い越し禁止車線、路側構造体などが考えられる。上記の処理を行うことにより、このような先行車両以外のものを示す水平エッジに基づいた先行車両の誤認識をなくすことができる。
【0059】
こうして、認識すべき対象物の予め設定された特徴に基づいて、水平エッジが認識すべき対象物を示すかどうか判定することができる。上記の1)〜3)の判定条件は、そのうちのいずれかを使用して判定してもよく、またはいくつかを併用して判定してもよい。さらに、認識すべき対象物の特徴を表すような新たな判定条件を加えて判定するようにしてもよい。上記の予め設定された特徴は、認識すべき対象物が何であるかに依存して、たとえば対象物の大きさ、形状、輪郭などの対象物の特徴に応じて変えることができる。
【0060】
垂直エッジ判定部13は、水平エッジ判定部11によるものと同様の手法で、垂直エッジ抽出部9により抽出されたエッジが、先行車両を示すかどうか判定する。先行車両を示すと判定された垂直エッジと先行車両以外のものを示すと判定された垂直エッジとは、それぞれ区別できるよう垂直エッジ記憶部14に記憶される。
【0061】
図1に戻り、対象物外形認識部15は、水平エッジ記憶部12および垂直エッジ記憶部14にそれぞれ記憶された、対象物を示すと判定されたエッジに基づいて対象物の外形を認識する。この実施例では認識すべき対象物が先行車両であるので、画像に表されたときに対象物を箱形ですることができ、したがって対象物の外形を上端、下端、左端および右端の位置で認識する。
【0062】
図13は、対象物外形認識部15の詳細を示すブロック図である。図14の(a)は、水平エッジ判定部11により先行車両を示すと判定された水平エッジを表す2値化画像である。図14の(b)は、図14の(a)に対応するヒストグラムであり、図のようにy軸を定め、処理領域30内の水平エッジを構成するエッジ点のy座標ごとの数を表す。水平エッジ端候補選択部31は、このヒストグラムを算出し、所定値P1以上のエッジ点を有する水平エッジで、かつ処理領域30の上の境界線Ya1および下の境界線Ya2に最も近い水平エッジ131および132をそれぞれ選択し、この水平エッジに対応するy座標値をそれぞれ先行車両の上端候補および下端候補として選択する。所定値P1は、処理領域30の水平方向の幅および認識すべき対象物の水平方向の幅に応じて定められる。所定値P1以上のエッジ点を有し、処理領域30の境界線に最も近い水平エッジを選択するのは、そのような水平エッジが先行車両の上端および下端の位置を最もよく表すからである。図14の(b)のヒストグラムでは、先行車両の上端候補はYch1により特定され、下端候補はYch2により特定される。
【0063】
次に、水平エッジ端候補選択部31は、図14の(b)のヒストグラムに基づいて、上端候補Ych1および下端候補Ych2の間に存在し、最も先行車両の特徴を表す水平エッジを選択する。この実施例では、所定値P1以上の最も多くのエッジ点を有する(すなわち、水平方向に最も長い)水平エッジ133を選択し、その水平エッジ133の左端および右端に対応するx座標値を、それぞれ先行車両の左端候補および右端候補として選択する。最も長い水平エッジを選択するのは、この実施例のように認識すべき対象物が先行車両である場合、画像にほぼ箱形で表されるので、最も長い水平エッジが先行車両の左端および右端の位置を最もよく表すと考えることができるからである。ここで使用される所定値P1は、上記の上端および下端候補を選択するための所定値P1よりも大きな値でもよい。また、左端および右端候補を選択するための水平エッジは、先に選択された上端および下端候補を選択するための水平エッジと同じであってもよい。図14の(a)では、先行車両の左端候補はXch1により特定され、右端候補はXch2により特定される。こうして、水平エッジのみから先行車両の上端、下端、左端および右端候補がそれぞれ選択される。
【0064】
先行車両の左端および右端の位置を表す水平エッジを選択することができない場合(たとえば、上端候補Ych1および下端候補Ych2のいずれかまたは両方を選択できないために、左端および右端候補を選択するための水平エッジを選択することができない場合)には、水平エッジ端候補選択部31は、所定回数前(前述したように、対象物認識処理はある時間間隔ごとに実行される)に認識された先行車両の上端、下端、左端および右端の位置を表すxおよびy座標値に基づいて、今回認識される先行車両の上端、下端、左端および右端を推定し、以下の式のように、それぞれ推定された端推定値pY1、pY2、pX1およびpX2を先行車両の上端、下端、左端および右端候補とすることができる。
【0065】
【数5】
Ych1=pY1
Ych2=pY2
Xch1=pX1
Xch2=pX2
【0066】
端推定値は、所定回数前に認識された先行車両の上端、下端、左端および右端の位置そのものをそれぞれ用いることもでき、または車体の挙動を検出する手段により得られる車体の挙動値(たとえば、舵角やヨー)や相対速度の変化に基づいて補正された値を用いてもよい。また、対象物情報記憶部18に時系列に記憶されている過去複数回にわたって認識された先行車両の位置に基づいて推定した値であってもよい。
【0067】
また、水平エッジ端候補選択部31が、水平エッジから上端および下端候補を選択することができたが、左端および右端候補を選択できなかった場合(たとえば、上端および下端候補より大きい所定値を使用して左端および右端候補を選択する場合に、その所定値以上の水平エッジを選択できなかった場合)、上端および下端は水平エッジから選択されたものを候補とし、左端および右端は、上記の左端推定値pX1および右端推定値pX2を候補とするようにしてもよい。
【0068】
図15の(a)は、垂直エッジ判定部13により先行車両を示すと判定された垂直エッジを表す2値化画像である。図15の(b)は、図15の(a)に対応するヒストグラムであり、図のようにx軸を定め、処理領域30内の水平エッジを構成するエッジ点のx座標ごとの数を表す。垂直エッジ端候補選択部33はこのヒストグラムを算出し、水平エッジ端候補選択部31により選択された左端候補Xch1および右端候補Xch1の近傍にそれぞれあり、所定値P2以上の最も多くのエッジ点を有する(すなわち、垂直方向に最も長い)垂直エッジ141および142をそれぞれ選択する。このように、認識すべき対象物が先行車両の場合は水平エッジが比較的多く抽出されるので、先行車両の左端および右端を表す水平エッジに基づいて垂直エッジを選択するのが好ましい。また、最も長い垂直エッジを選択するのは、それが認識すべき先行車両の左端および右端の位置を最もよく表すと考えることができるからである。選択されたそれぞれの垂直エッジに対応するx座標値Xcv1およびXcv2が、それぞれ先行車両の左端および右端候補として選択される。
【0069】
次に、垂直エッジ端候補選択部33は、垂直エッジ141および142の上端のy座標値のうち、より上方のy座標値を持つ方の垂直エッジ(ここでは、エッジ141の上端よりもエッジ142の上端の方が画像においてより上方にあるので、エッジ142)を選択し、そのy座標値Ycv1を先行車両の上端候補として選択する。さらに、垂直エッジ141および142の下端のy座標値のうち、より下方のy座標値Ycv2をもつ方の垂直エッジ(ここでは、エッジ141)を選択し、そのy座補値を先行車両の下端候補として選択する。左端および右端にあるそれぞれの垂直エッジのうち、より上方およびより下方にある端をそれぞれ先行車両の上端および下端候補とするのは、先行車両を垂直方向に大きめに判断した方が、先行車両の位置の認識に余裕をもたせられるからである。こうして、垂直エッジのみから先行車両の上端、下端、左端および右端候補がそれぞれ選択される。
【0070】
図13に戻り、端認識部35は、水平エッジ端候補選択部31により端候補に選択されたYch1、Ych2、Xch1およびXch2、および垂直エッジ端候補選択部33により端候補に選択されたYcv1、Ycv2、Xcv1およびXcv2に基づいて、先行車両の上端、下端、左端および右端の位置を認識する。これを、図16のフローチャートを参照しつつ説明する。
【0071】
垂直エッジ端候補選択部33が先行車両の左端および右端候補の両方とも選択できた場合には、これら選択された左端候補Xcv1および右端候補Xcv2を、それぞれ先行車両の左端X1および右端X2と認識する(ステップ161および162)。垂直エッジ端候補選択部33により選択された左端および右端候補は、先行車両の左端および右端の位置を表す水平エッジに基づいて選択されたものなので、それらを先行車両の左端および右端の位置と認識することにより、もっとも正確に先行車両の外形を認識することができる。
【0072】
先行車両の上端および下端については、上端候補Ych1およびYcv1のうち画像においてより上方にある方を先行車両の上端Y1と認識し、下端候補Ych2およびYcv2のうち画像においてより下方にある方を先行車両の下端Y2と認識する(ステップ162)。先行車両を垂直方向に大きめに認識する方が、先行車両の位置の認識に余裕をもたせることができるので、このようにより上方およびより下方にある端候補を先行車両の上端および下端と認識するのが好ましい。または、上端候補Ych1およびYcv1のうち、過去に認識された先行車両の位置に基づいて推定された上端推定値pY1に近い方を先行車両の上端Y1と認識し、下端候補Ych2およびYcv2のうち、下端推定値pY2に近い方を先行車両の下端Y2と認識するようにしてもよい。特に、先行車両との相対速度が変わらない場合には、過去に認識された先行車両の位置に基づいて先行車両の上端および下端の位置を正確に認識することができる。
【0073】
次に、垂直エッジ端候補選択部33が先行車両の左端候補を選択できなかった場合、水平エッジ端候補選択部31により選択された左端候補Xch1を先行車両の左端X1と認識し、垂直エッジ端候補選択部33により選択された右端候補Xcv2を先行車両の右端X2と認識する(ステップ163および164)。先行車両の上端Y1および下端Y2は、上記のステップ162と同様に認識される。
【0074】
図17は、垂直エッジから左端候補を選択できない場合を示す。図17の(a)は、処理領域30内に先行車両40が写っている画像を示す。図17の(b)は、水平エッジ端候補選択部31により選択された上端、下端、左端および右端候補を示す。図17の(c)は、垂直エッジ端候補選択部33により選択された上端、下端および右端候補を示し、左端候補は左側の垂直エッジが選択できなかったために選択されていない。図17の(d)は、端認識部35により、水平エッジ端候補選択部31で選択された左端候補Xch1が先行車両の左端X1として認識されたことを示す図であり、こうして先行車両40の外形100を認識することができる。
【0075】
同様に、垂直エッジ端候補選択部33が先行車両の右端候補を選択できなかった場合、水平エッジ端候補選択部31により選択された右端候補Xch2を先行車両の右端X2と認識し、垂直エッジ端候補選択部33により選択された左端候補Xcv1を先行車両の左端X1と認識する(ステップ165および166)。また、先行車両の上端Y1および下端Y2は、上記のステップ162と同様に認識される。
【0076】
次に、垂直エッジ端候補選択部33が先行車両の左端および右端候補の両方を選択できなかった場合、水平エッジ端候補選択部31により上端、下端、左端および右端候補が選択されているならば、選択された水平エッジの上端、下端、左端および右端候補Ych1、Ych2、Xch1およびXch2を、それぞれ先行車両の上端、下端、左端および右端Y1、Y2、X1およびX2と認識する(ステップ167および168)。垂直エッジ端候補選択部33により端候補がまったく選択されていないので、水平エッジのみに基づいて先行車両の上端、下端、左端および右端の位置を認識する。こうして、水平エッジのみから先行車両の外形を認識することができる。
【0077】
図18は、垂直エッジから先行車両の左端および右端候補の両方を選択できない場合を示す。図18の(a)は、処理領域30内に先行車両40が写っている画像を示す。図18の(b)は、水平エッジ端候補選択部31により選択された上端、下端、左端および右端候補を示す。図18の(c)は、垂直エッジ端候補選択部33が垂直エッジを全く選択できなかったために上端、下端、左端および右端候補のすべてが選択されていないことを示す。図18の(d)は、端認識部35により、水平エッジ端候補選択部31により選択された上端、下端、左端および右端候補Ych1、Ych2、Xch1およびXch2が、先行車両の上端、下端、左端および右端Y1、Y2、X1およびX2と認識されたことを示す図であり、こうして先行車両40の外形100が認識される。認識すべき対象物が先行車両であり、比較的多くの水平エッジが抽出されるので、水平エッジのみからでも先行車両の外形を認識することができる。
【0078】
最後に、垂直エッジ端候補選択部33が左端および右端候補の両方を選択できず、かつ水平エッジ端候補選択部31が上端、下端、左端および右端候補を選択できずに過去に認識された先行車両の位置に基づく端推定値を使用しているならば、「先行車両無し」と判断する(ステップ167および169)。垂直エッジからも水平エッジからも先行車両の端を示す端候補を選択できないので、先行車両が存在しないとみなすことができるからである。
【0079】
このように、垂直エッジから左端および右端候補のいずれかまたは両方を選択できなくても、水平エッジから上端、下端、左端および右端候補を選択して対象物の外形を認識することができるので、対象物の外形を認識できる確度が向上する。また、水平エッジから上端、下端、左右端候補のいずれかを選択できなくても、過去に認識された対象物の位置に基づいて対象物の上端、下端、左端および右端を推定して端候補とするので、対象物の外形を認識できる確度が向上する。したがって、実際には対象物が存在するにかかわらず、水平エッジまたは垂直エッジから上端、下端、左端および右端候補を選択できないがために「対象物無し」と誤って認識されることがなくなり、対象物を認識する確度が向上する。
【0080】
図1に戻り、対象物情報出力部17は、対象物外形認識部15により認識された先行車両の外形情報すなわち先行車両の上下左右端の位置を車両走行制御装置19に出力する。さらに、対象物情報出力部17は、対象物外形認識部15から受け取った先行車両に関する情報を対象物情報記憶部18に記憶し、記憶された情報は、前述したように水平エッジ端候補選択部31により過去の先行車両情報に基づいて端を推定するときに使用される。
【0081】
車両走行制御装置19は、受け取ったこれらの情報に基づいて車両の走行制御を行う。たとえば、先行車両までの距離が適切であるよう自車両を制御したり、先行車両との車間距離がある所定値以下になった場合に運転者に音声やアラームで警告を発したり、自車両のエンジンを制御して強制的に減速させたりなどの制御をすることができる。
【0082】
図1に示した処理領域設定部5、水平エッジ抽出部7、垂直エッジ抽出部9、水平エッジ判定部11、垂直エッジ判定部13、水平エッジ記憶部12、垂直エッジ記憶部14、対象物外形認識部15、対象物情報出力部17および車両走行制御装置19は、中央演算処理装置(CPU)、制御プログラムおよび制御データを格納する読み出し専用メモリ、CPUの演算作業領域を提供し様々なデータを一時記憶することができるランダムアクセスメモリ(RAM)で構成することができる。画像記憶部2、対象物位置記憶部4、水平エッジ記憶部12、垂直エッジ記憶部14および対象物情報記憶部18は、1つのRAMのそれぞれ異なる記憶領域を使用して実現することができる。また、各種の演算で必要となるデータの一時記憶領域も同じRAMの一部分を使用して実現することができる。
【0083】
また、この発明の対象物認識装置をエンジンの電子制御ユニット(ECU)、ブレーキ制御ECUその他のECUとLAN接続して対象物認識装置からの出力を車両の全体的な制御に利用することができる。
【0084】
【発明の効果】
請求項1の発明によると、背景などの周囲の環境の影響により所望の垂直エッジが得られなかった場合にも、水平エッジのみから対象物の外形を認識することができるので、対象物の外形を認識できる確度が向上する。
【0085】
請求項2の発明によると、水平エッジから選択された端候補および垂直エッジから選択された端候補に基づいて対象物の外形を認識するので、対象物の外形を認識するのに所望の水平エッジまたは所望の垂直エッジが得られなかった場合でも、得られ方のエッジから対象物の外形を認識することができ、対象物の外形を認識できる確度が向上する。
【0086】
請求項3の発明によると、水平エッジから選択された上下左右端候補および垂直エッジから選択された上下左右端候補に基づいて対象物の外形を認識するので、所望の水平エッジまたは所望の垂直エッジが得られなかった場合でも、得られ方のエッジから対象物の外形を認識することができ、特に外形が箱形に近似できる対象物を認識できる確度が向上する。
【0087】
請求項4の発明によると、対象物の外形を認識するのに所望の垂直エッジが得られなくても、水平エッジから対象物の外形を認識することができるので、特に水平エッジを比較的多く抽出できる対象物を認識する確度が向上する。
【0088】
請求項5の発明によると、対象物の外形を認識するのに所望の水平エッジが得られなくても、過去に認識された対象物の位置に基づいて対象物の端候補を推定できるので、対象物を認識する確度が向上する。
【0089】
請求項6の発明によると、水平エッジからの対象物の左端および右端候補に基づいて対象物の左端および右端の位置を表す垂直エッジを選択するので、特に水平エッジを比較的多く抽出できる対象物の外形を正確に認識することができる。
【図面の簡単な説明】
【図1】この発明の一実施例の全体的な構成を示すブロック図。
【図2】三角計測法による距離の計測原理を説明するための図。
【図3】処理領域を示す図。
【図4】処理領域の設定方法を説明するための図。
【図5】ピッチング余裕分を加えた処理領域を示す図。
【図6】エッジ抽出方法を示すフローチャート。
【図7】(a)水平エッジ抽出用フィルタおよびフィルタ要素の座標を示す図。
【図8】フィルタ画像の輝度ヒストグラムを示す図。
【図9】エッジをグループ化するための(a)〜(c)テンプレート、(d)エッジ点にラベルを付与する条件および(e)テンプレートの走査を示す図。
【図10】エッジをグループ化するための、エッジ点にラベルを付与する方法を説明する図。
【図11】垂直エッジ用フィルタを示す図。
【図12】抽出された水平エッジが、認識すべき対象物を示すか否かを判断する方法を説明するための図であり、例として処理領域の境界線上の画素を含む水平エッジ、直線性の悪い水平エッジおよび傾きの大きい水平エッジを示す図。
【図13】対象物外形認識部の詳細を示すブロック図。
【図14】水平エッジ端候補選択部による対象物の上下左右端候補の選択を説明するための図。
【図15】垂直エッジ端候補選択部による対象物の上下左右端候補の選択を説明するための図。
【図16】端認識部による対象物の外形を認識する方法を示すフローチャート。
【図17】垂直エッジ端候補選択部が左端候補を選択できない場合を示す図。
【図18】垂直エッジ端候補選択部が左端候補および右端候補の両方を選択できない場合を示す図。
【符号の説明】
1 撮像装置 3 対象物位置特定部
5 処理領域設定部 7,9 エッジ抽出部
11,13 エッジ判定部 15 対象物外形認識部
30 処理領域 40 先行車両
Claims (1)
- 対象物の位置を特定する対象物位置特定手段と、
前記対象物を撮像する撮像装置と、
前記特定された対象物の位置および予め決められた認識すべき対象物の大きさに基づいて、前記撮像装置により得られた画像上に処理領域を設定する処理領域設定手段と、
前記処理領域に含まれる画素の輝度値に基づいて、前記処理領域から水平エッジおよび垂直エッジを抽出するエッジ抽出手段と、
前記認識すべき対象物の予め設定された特徴に基づいて、前記抽出された水平エッジおよび垂直エッジのそれぞれが、該認識すべき対象物を示すかどうか判定するエッジ判定手段と、
前記対象物を示すと判定された水平エッジから、該対象物の上端、下端、左端および右端の位置を表す水平エッジを選択し、該水平エッジに基づいて該対象物の上端、下端、左端および右端候補を選択する水平エッジ端候補選択手段であって、前記水平エッジ端候補選択手段が前記対象物の左端および右端候補を選択できなかったならば、過去に認識された対象物の位置に基づいて推定した左端および右端を、該左端および右端候補として選択する水平エッジ端候補選択手段と、
前記対象物を示すと判定された垂直エッジから、該対象物の上端、下端、左端および右端の位置を表す垂直エッジを選択し、該垂直エッジに基づいて該対象物の上端、下端、左端および右端候補を選択する垂直エッジ端候補選択手段と、
前記対象物の外形を認識する対象物認識手段と、を備え、
前記対象物認識手段は、
前記垂直エッジ端候補選択手段が左端候補および右端候補の両方を選択できたならば、該選択された左端および右端候補を、前記対象物の左端および右端として認識すると共に、前記水平エッジ端候補選択手段によって選択された前記上端候補および前記垂直エッジ端候補選択手段によって選択された前記上端候補のうち、前記画像においてより上方に位置する上端候補を、前記対象物の上端として認識し、前記水平エッジ端候補選択手段によって選択された前記下端候補および前記垂直エッジ端候補選択手段によって選択された前記下端候補のうち、前記画像においてより下方に位置する下端候補を、前記対象物の下端として認識し、
前記垂直エッジ端候補選択手段が左端候補および右端候補のいずれかを選択できなかったならば、該選択された左端または右端候補については、該左端または右端候補を前記対象物の左端または右端として認識し、該選択されなかった左端または右端候補については、前記水平エッジ端候補選択手段により選択された左端または右端候補を、該対象物の左端または右端として認識し、さらに、前記水平エッジ端候補選択手段によって選択された前記上端候補および前記垂直エッジ端候補選択手段によって選択された前記上端候補のうち、前記画像においてより上方に位置する上端候補を、前記対象物の上端として認識し、前記水平エッジ端候補選択手段によって選択された前記下端候補および前記垂直エッジ端候補選択手段によって選択された前記下端候補のうち、前記画像においてより下方に位置する下端候補を、前記対象物の下端として認識し、
前記垂直エッジ端候補選択手段が左端候補および右端候補の両方を選択できなかったならば、前記水平エッジ端候補選択手段により選択された左端および右端候補を、該対象物の左端および右端として認識すると共に、前記水平エッジ端候補選択手段によって選択された前記上端および下端候補を、前記対象物の上端および下端として認識し、
前記認識された対象物の上端、下端、左端および右端の位置により、該対象物の外形を認識する、
対象物認識装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP31433099A JP4205825B2 (ja) | 1999-11-04 | 1999-11-04 | 対象物認識装置 |
US09/691,545 US6788817B1 (en) | 1999-11-04 | 2000-10-18 | Object recognition system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP31433099A JP4205825B2 (ja) | 1999-11-04 | 1999-11-04 | 対象物認識装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008143377A Division JP4571204B2 (ja) | 2008-05-30 | 2008-05-30 | 対象物認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001134771A JP2001134771A (ja) | 2001-05-18 |
JP4205825B2 true JP4205825B2 (ja) | 2009-01-07 |
Family
ID=18052043
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP31433099A Expired - Fee Related JP4205825B2 (ja) | 1999-11-04 | 1999-11-04 | 対象物認識装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6788817B1 (ja) |
JP (1) | JP4205825B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11989949B1 (en) * | 2023-03-31 | 2024-05-21 | Geotab Inc. | Systems for detecting vehicle following distance |
US12125222B1 (en) | 2023-03-31 | 2024-10-22 | Geotab Inc. | Systems for determining and reporting vehicle following distance |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19832974A1 (de) * | 1998-07-22 | 2000-01-27 | Siemens Ag | Vorrichtung und Verfahren zur Erstellung eines virtuellen Anlagenmodells |
DE10157958B4 (de) * | 2000-11-29 | 2012-11-15 | Omron Corp. | Bildverarbeitungsverfahren und-vorrichtung |
JP3898000B2 (ja) * | 2001-06-28 | 2007-03-28 | いすゞ自動車株式会社 | 車両姿勢角計測装置 |
JP2003016429A (ja) | 2001-06-28 | 2003-01-17 | Honda Motor Co Ltd | 車両周辺監視装置 |
JP3861781B2 (ja) * | 2002-09-17 | 2006-12-20 | 日産自動車株式会社 | 前方車両追跡システムおよび前方車両追跡方法 |
JP3864945B2 (ja) * | 2003-09-24 | 2007-01-10 | アイシン精機株式会社 | 路面走行レーン検出装置 |
JP2005249715A (ja) * | 2004-03-08 | 2005-09-15 | Topcon Corp | 測量方法及び測量機 |
JP4427389B2 (ja) * | 2004-06-10 | 2010-03-03 | 株式会社トプコン | 測量機 |
EP2765533A1 (en) * | 2004-07-26 | 2014-08-13 | Automotive Systems Laboratory, Inc. | Vulnerable road user protection system |
KR100619758B1 (ko) * | 2004-11-10 | 2006-09-07 | 엘지전자 주식회사 | 로봇청소기의 움직임 추적장치 및 방법 |
JP4730027B2 (ja) * | 2005-09-06 | 2011-07-20 | トヨタ自動車株式会社 | 車両用物標判定装置 |
US7852207B2 (en) * | 2006-02-14 | 2010-12-14 | Current Technologies, Llc | Method for establishing power line communication link |
CN101029824B (zh) * | 2006-02-28 | 2011-10-26 | 东软集团股份有限公司 | 基于车辆特征的车辆定位方法和装置 |
CN101030259B (zh) * | 2006-02-28 | 2011-10-26 | 东软集团股份有限公司 | Svm分类器、利用svm分类器识别车辆图像的方法和装置 |
JP4876676B2 (ja) * | 2006-03-30 | 2012-02-15 | 株式会社豊田中央研究所 | 位置計測装置、方法及びプログラム、並びに移動量検出装置、方法及びプログラム |
JP4754434B2 (ja) * | 2006-08-09 | 2011-08-24 | 本田技研工業株式会社 | 路面推定装置 |
JP4858280B2 (ja) * | 2007-04-10 | 2012-01-18 | 株式会社明電舎 | コンテナ車両傾き角度検出装置 |
KR20090099750A (ko) * | 2008-03-18 | 2009-09-23 | 주식회사 두올테크 | 자원 통합 관리 장치 |
US8610620B2 (en) * | 2009-12-08 | 2013-12-17 | Toyota Jidosha Kabushiki Kaisha | Object detecting apparatus and object detecting method |
US9342500B2 (en) | 2010-03-15 | 2016-05-17 | Michael V. Liguori | Object memory management system |
TWI417207B (zh) * | 2010-12-28 | 2013-12-01 | Automotive Res & Testing Ct | Image - based obstacle detection reversing warning system and method |
US8824733B2 (en) | 2012-03-26 | 2014-09-02 | Tk Holdings Inc. | Range-cued object segmentation system and method |
US8768007B2 (en) | 2012-03-26 | 2014-07-01 | Tk Holdings Inc. | Method of filtering an image |
EP2911028B1 (en) * | 2012-10-22 | 2018-07-25 | Yamaha Hatsudoki Kabushiki Kaisha | Distance measurement device and vehicle using same |
JP6117164B2 (ja) * | 2014-09-30 | 2017-04-19 | 富士フイルム株式会社 | 画像読取装置及び方法、並びに読取領域表示装置及び方法、並びにプログラム |
DE102016200995B4 (de) | 2015-01-28 | 2021-02-11 | Mando Corporation | System und Verfahren zum Erfassen von Fahrzeugen |
CN108304750B (zh) * | 2017-01-13 | 2020-11-06 | 比亚迪股份有限公司 | 前方车辆识别方法、装置及车辆 |
CN110517318B (zh) | 2019-08-28 | 2022-05-17 | 昆山国显光电有限公司 | 定位方法和装置、存储介质 |
CN110619337B (zh) * | 2019-09-06 | 2023-04-28 | 南京工程学院 | 一种受电弓滑板的亚像素边缘提取和识别方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07104159B2 (ja) * | 1986-07-19 | 1995-11-13 | スズキ株式会社 | 絶対車間距離検出方式 |
JP2862199B2 (ja) * | 1993-05-25 | 1999-02-24 | 松下電器産業株式会社 | 車両認識装置 |
US5487116A (en) * | 1993-05-25 | 1996-01-23 | Matsushita Electric Industrial Co., Ltd. | Vehicle recognition apparatus |
JP3125550B2 (ja) * | 1993-12-24 | 2001-01-22 | 日産自動車株式会社 | 移動車の前方認識装置ならびに車輌用走行制御装置 |
JP3430641B2 (ja) * | 1994-06-10 | 2003-07-28 | 日産自動車株式会社 | 車間距離検出装置 |
JP3399104B2 (ja) * | 1994-07-27 | 2003-04-21 | 日産自動車株式会社 | 先行車検出装置及び接近警報装置 |
WO1996034363A1 (fr) * | 1995-04-26 | 1996-10-31 | Hitachi, Ltd. | Processeur d'images pour vehicule |
JP3267105B2 (ja) | 1995-06-28 | 2002-03-18 | トヨタ自動車株式会社 | 物体認識装置 |
JPH0995194A (ja) * | 1995-09-29 | 1997-04-08 | Aisin Seiki Co Ltd | 車両前方の物体検出装置 |
JPH09142236A (ja) * | 1995-11-17 | 1997-06-03 | Mitsubishi Electric Corp | 車両の周辺監視方法と周辺監視装置及び周辺監視装置の故障判定方法と周辺監視装置の故障判定装置 |
JPH09264954A (ja) * | 1996-03-29 | 1997-10-07 | Fujitsu Ten Ltd | レーダを用いた画像処理システム |
JPH1097699A (ja) | 1996-09-19 | 1998-04-14 | Toyota Motor Corp | 車両用障害物検出装置 |
JP3619628B2 (ja) * | 1996-12-19 | 2005-02-09 | 株式会社日立製作所 | 走行環境認識装置 |
JPH1166488A (ja) * | 1997-08-21 | 1999-03-09 | Honda Motor Co Ltd | 白線認識装置 |
-
1999
- 1999-11-04 JP JP31433099A patent/JP4205825B2/ja not_active Expired - Fee Related
-
2000
- 2000-10-18 US US09/691,545 patent/US6788817B1/en not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11989949B1 (en) * | 2023-03-31 | 2024-05-21 | Geotab Inc. | Systems for detecting vehicle following distance |
US12125222B1 (en) | 2023-03-31 | 2024-10-22 | Geotab Inc. | Systems for determining and reporting vehicle following distance |
Also Published As
Publication number | Publication date |
---|---|
JP2001134771A (ja) | 2001-05-18 |
US6788817B1 (en) | 2004-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4205825B2 (ja) | 対象物認識装置 | |
JP4391624B2 (ja) | 物体認識装置 | |
JP4118452B2 (ja) | 物体認識装置 | |
JP6519262B2 (ja) | 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム | |
JP6550881B2 (ja) | 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム | |
JP4650079B2 (ja) | 物体検出装置、および方法 | |
JP4028135B2 (ja) | 物体検出装置 | |
JP2001134772A (ja) | 対象物認識装置 | |
JP2001134769A (ja) | 対象物認識装置 | |
JP5820774B2 (ja) | 路面境界推定装置及びプログラム | |
CN108363065A (zh) | 物体检测系统 | |
US20060115113A1 (en) | Method for the recognition and tracking of objects | |
US11064177B2 (en) | Image processing apparatus, imaging apparatus, mobile device control system, image processing method, and recording medium | |
KR102536037B1 (ko) | 차량의 주변 환경에 있는 물체와 관련된 정보를 결정하기 위한 방법 및 처리 유닛 | |
JP6687039B2 (ja) | 物体検出装置、機器制御システム、撮像装置、物体検出方法、及びプログラム | |
CN109886064A (zh) | 确定可驾驶空间的边界的方法 | |
JP4340000B2 (ja) | 対象物認識装置 | |
JP3807583B2 (ja) | 道路領域判定装置 | |
JP2002334330A (ja) | 車両認識装置 | |
JP4580005B2 (ja) | 対象物認識装置 | |
JP4571204B2 (ja) | 対象物認識装置 | |
JP3586938B2 (ja) | 車載用距離測定装置 | |
JP3605955B2 (ja) | 車輌判別装置 | |
JP3726309B2 (ja) | 車両認識装置及びそれを用いた車両接近報知装置 | |
JP7043787B2 (ja) | 対象物検知システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051205 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080111 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080321 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080422 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080521 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20080521 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080627 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080715 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080905 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081014 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081017 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111024 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111024 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121024 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |