JP5996421B2

JP5996421B2 - 障害物検出装置及びそれを用いた車両

Info

Publication number: JP5996421B2
Application number: JP2012282684A
Authority: JP
Inventors: 吉田　睦; 睦吉田
Original assignee: Yamaha Motor Co Ltd
Current assignee: Yamaha Motor Co Ltd
Priority date: 2012-12-26
Filing date: 2012-12-26
Publication date: 2016-09-21
Anticipated expiration: 2032-12-26
Also published as: JP2014126990A

Description

本発明は、画像センサにより走路上の障害物を検出する障害物検出装置及びそれを備えた車両に関する。

従来、ゴルフ場内の走路を走行するゴルフカートには自動走行機能を有しているものがある。自動走行は電磁誘導線から発生する磁界を検出することで行われる。また、ゴルフカートの前面に超音波センサを設けて、ゴルフカート前方の障害物を検出する障害物検出装置を備えるものもある。超音波センサにより障害物が検出されると、ゴルフカートは減速または停止の制御が実施される。

（１）特許文献１の技術
特許文献１に記載のゴルフカートには自動走行装置が搭載されている。これにより、走路上に設けられた誘導線に従って走路を自動走行することができる。超音波センサにより障害物までの距離を計測し、その距離に応じて障害物の有無を判定する。

特開２００３−５８３２号公報

従来のゴルフカートは、図１６に示すように、車両前方の距離Ｌ_１の範囲内に障害物が存在するか否かで、走行速度の制御をしている。この距離Ｌ_１は、走路外の障害物が含まれない範囲に設定されている。しかしながら、ゴルフカートの走行速度を上げると、制動距離が長くなるので、より前方の障害物を検出しなければならない。

そこで、走行速度を上げる場合、図１７に示すように、車両前方の距離Ｌ_２の範囲内に障害物が存在するか否かの判定結果を基に、走行速度の制御をする。しかしながら、障害物の判定距離を長くすることで走路外にある障害物を検出してしまうことがある。走路外の障害物の検出によりゴルフカートが減速または停止され、走行速度を上げたにもかかわらずゴルフカートの走行効率が悪くなる問題がある。

本発明は、このような事情に鑑みてなされたものであって、障害物が走路内に存在するか否かを判定することができる障害物検出装置及びそれを用いた車両を提供することを目的とする。

上記目的を達成するために、本発明は次のような構成をとる。
すなわち、本発明に係る障害物検出装置は、走路の地面領域と走路外の地面領域との間で画像情報の特性が異なる場合において、前方の画像を撮影する画像センサと、前記画像内の障害物を検出する障害物検出部と、前記画像内の前記障害物の地面領域を設定する障害物地面領域設定部と、前記画像内の前記障害物の地面領域と前記走路の地面領域との前記特性の類似度を算出する類似度算出部とを備える。

本発明によれば、画像センサが前方の画像を撮影する。障害物検出部は、撮影された画像内の障害物を検出する。障害物地面領域設定部は、撮影された画像内において、検出された障害物の地面領域を設定する。類似度判定部は画像内の前記障害物の地面領域と走路の地面領域との類似度を算出する。算出された類似度の値が大きければ、障害物地面領域と走路地面領域とが類似しているので、障害物が走路上に存在すると判定することができる。また、算出された類似度の値が小さければ、障害物地面領域と走路地面領域とが類似していないので、障害物が走路上に存在しないと判定することができる。このように、検出された障害物が走路内に存在するのか、または、走路外に存在するのかを判定することができる。

また、前方の物体との距離情報を検出する距離情報検出部を備え、前記障害物検出部は前記距離情報を基に前記画像内の障害物を検出することが好ましい。距離情報を用いて障害物を検出するので、障害物の検出精度を向上させることができる。

また、前記画像センサを平行ステレオの位置関係で複数個備え、各画像センサの画像を基に視差画像を作成する視差画像作成部を備えることが好ましい。画像センサを平行ステレオの位置関係で複数個備え、さらに、各画像センサの画像を基に視差画像を作成する視差画像作成部を備えるので、車両前方の画像情報および画像情報と関係づけられた距離情報を精度よく取得することができる。

また、前記障害物の地面領域の実空間上における面積と同じ面積を有する走路の地面領域を前記画像内に設定する走路地面領域設定部を備えることが好ましい。障害物の地面領域と走路の地面領域とが実空間上で同じ面積であるので、それぞれの濃度値を基に適切に類似度を算出することができる。

また、前記走路地面領域設定部は、前記障害物の地面領域の実空間上における面積を算出する面積算出部と、算出された面積と実空間上において同じ大きさの走路の地面領域を前記画像内に設定する地面領域設定部ととを備えることが好ましい。この構成によれば、走路の地面領域を実空間上で障害物の地面領域と同じ面積を有するように適切に設定することができる。

また、障害物の地面領域の濃度値と走路の地面領域の濃度値とをそれぞれ諧調を低減して量子化したヒストグラムに対して正規化する正規化部を備えることが好ましい。障害物地面領域の濃度値と、走路地面領域の濃度値とをそれぞれ諧調を低減して量子化したヒストグラムを作成する。これらのヒストグラムに対して正規化するので、類似度算出の演算量の低減により類似度の算出時間を低減し、さらに、類似度の精度を向上することができる。

また、前記類似度と予め定められた閾値と比較することで、障害物が走路上に存在するか否かを判定する比較部を備えることが好ましい。類似度と予め定められた閾値と比較することで、障害物が走路上に存在するか否かを容易に判定することができる。

また、本発明に係る車両は、上記障害物検出装置を備える車両である。上記障害物検出装置を備えるので、検出された障害物が走路上に存在するのかしないのかを精度良く判定することができる。走路外にある障害物を検出した場合でも、障害物が走路外にあることを適切に認識することができるので、走路外にある障害物のために車両を減速または停止するのを防止することができる。これにより、車両の走行効率を向上させることができる。

また、前記障害物までの距離と第１距離とを比較することで車両の減速制御を実施するか否かを判定し、前記障害物までの距離と前記第１距離よりも長い第２距離とを比較することで障害物の地面領域と車両の地面領域との類似度を算出するか否かの判定をする障害物距離判定部を備えることが好ましい。

検出された障害物までの距離に対して２段階の距離基準で車両の車速制御を実施する。障害物までの距離と第１段階の第１距離とを比較して車両の減速制御を実施するか否かを判定する。これにより、障害物と車両との距離が近い場合は車両の減速制御を実施することができ、車両と障害物との衝突を回避することができる。

また、障害物までの距離と第１段階よりも長い第２段階の第２距離とを比較して障害物の地面領域と車両の地面領域との類似度を算出するか否かの判定をする。これにより、障害物と車両との距離がある程度離れている場合は、障害物地面領域と走路地面領域との類似度を算出し、障害物が走路上に有るか否かを判定した上で、車両の車速制御を実施することができる。

本発明によれば、障害物が走路内に存在するのか走路外に存在するのかを判定することができる障害物検出装置及びそれを用いた車両を提供することができる。

実施例１に係る車両の前面図である。実施例に係る車両の構成を示すブロック図である。実施例１に係る障害物検出装置の構成を示すブロック図である。障害物領域設定を示す説明図である。障害物地面領域および走路地面領域を示す説明図である。実施例１に係る障害物判定の流れを示すフローチャートである。実施例２に係る車両の前面図である。実施例２に係る障害物検出装置の構成を示すブロック図である。実施例２に係る障害物検出を示す説明図である。実施例２に係る障害物検出装置の一部構成を示すブロック図である。障害物地面領域および走路地面領域を示す説明図である。障害物地面領域の濃度ヒストグラムを示す説明図である。走路地面領域の濃度ヒストグラムを示す説明図である。障害物地面領域の濃度ヒストグラムを示す説明図である。実施例２に係る障害物検出の流れを示すフローチャートである。従来例に係る障害物検出領域を示す説明図である。従来例に係る障害物検出領域を示す説明図である。

以下、図面を参照して本発明の実施例１を説明する。本発明における車両の実施形態として、自動走行するゴルフカートを挙げる。車両は４輪車に限られず、３輪車でもよいし、モノレール型でもよい。また、車両はゴルフカートに限られず、工場や果樹園で走行する無人搬送車も含まれる。なお、以下の説明で、前後および左右とは車両１の前進する方向を基準としている。

１．車両の概略構成
図１および図２を参照する。図１は、実施例に係る車両１の前面図であり、図２は車両１の構成を示す機能ブロック図である。車両１はゴルフ場内を自動または手動走行するゴルフカートである。車両１は、走路に埋め込まれた誘導線から発せられる電磁波に誘導されて自動走行することができる。車両１の前面中央部に画像センサ３が設けられている。画像センサ３の一例として可視光カメラが挙げられる。

また、車両１には、車両１が走行する走路上の障害物を検出する障害物検出装置５と、車両１が誘導線に沿って自動走行するのを制御する自動走行制御部７と、障害物検出装置５が障害物を検出すると運転者および周囲に警告を発生する警告出力部８と、障害物の検出により減速または停止の制御をする車速制御部９と、車輪を駆動し、車速制御部９により回転数が制御される駆動モータ１１とが設けられている。本実施例において、車両１はモータで駆動されるがこれに限らず、エンジンにより駆動されてもよい。

２．障害物検出装置の構成
次に図３を参照して車両１に備えられた障害物検出装置５の構成を説明する。図３は、障害物検出装置の構成を示すブロック図である。

障害物検出装置５は、車両１の前方の画像を撮影する画像センサ３と、画像センサ３により撮影された画像を基に障害物を検出する障害物検出部１５と、検出された障害物の地面領域を設定する障害物地面領域設定部１７と、障害物の地面領域と走路の地面領域とのテキスチャの類似度から障害物が走路上に存在するか否かを判定する障害物判定部２３とを備える。障害物検出部１５、障害物地面領域設定部１７、障害物判定部２３はマイクロプロセッサまたはＦＰＧＡ（Field Programmable Gate Array;再構成可能なゲートアレイ）で構成される。次にそれぞれの構成部について順に説明する。

障害物検出部１５は、画像センサ３から送られる画像に対して、例えばテンプレートマッチングにより障害物を検出する。テンプレートの一例として、人および車両の形状のものが挙げられる。また、テンプレートマッチングの他にも、ＨＯＧ（Histograms of Oriented Gradients）特徴を用いて人や車両などの物体を障害物として検出してもよい。

障害物地面領域設定部１７は、検出された障害物の地面領域を設定する。障害物地面領域設定部１７は、検出された障害物の画像上の領域を設定する障害物領域設定部１９と、設定された障害物領域の下方画素領域を障害物地面領域として設定する地面領域設定部２１とを有する。

図４を参照して説明する。図４は障害物領域設定を示す説明図である。障害物領域設定部１９は、検出された障害物Ｂｓ１の画像ＤＰ１上のｕｖ座標の最大値と最小値を抽出することで、障害物を外接矩形で囲む障害物領域Ｂａ１を設定する。

地面領域設定部２１は、設定された障害物領域Ｂａ１の直下の下方画素領域を障害物地面領域Ｂｇ１として設定する。障害物地面領域Ｂｇ１のｕ軸方向の幅は、障害物領域Ｂａ１の幅と同じ大きさで設定する。障害物地面領域Ｂｇ１のｖ軸方向の高さは、予め決められた大きさで設定する。設定された障害物地面領域Ｂｇ１の各画素の濃度値のデータが障害物判定部２３へ出力される。

障害物判定部２３は、障害物地面領域Ｂｇ１と走路地面領域Ｃｇ１との類似度Ｓを基に、障害物が走路上に存在するか否かの判定をする。障害物判定部２３は、画像内の障害物地面領域Ｂｇ１と走路地面領域Ｃｇ１との類似度Ｓを算出する類似度算出部２５と、算出された類似度Ｓを閾値Ｔと比較する比較部２７とを有する。

類似度算出部１９は、予め定められた走路地面領域Ｃｇ１の画素の濃度ヒストグラムと障害物地面領域Ｂｇ１の画素の濃度ヒストグラムとの類似度Ｓを算出する。走路地面領域Ｃｇ１は画像Ｄｐ１において、ｕ軸方向において中央部に位置し、ｖ軸方向において下部に位置する。すなわち、車両１（画像センサ３）に直近の中央手前を撮影した部分を走路地面領域Ｃｇ１と定めている。走路地面領域Ｃｇ１は走路Ｒｄ上を撮影している。障害物地面領域Ｂｇ１と走路地面領域Ｃｇ１との類似度Ｓを算出することで、障害物地面領域Ｂｇ１と走路Ｒｄとの類似度を算出することになる。

類似度Ｓは、例えば、下式に示されるバタチャリア（Bhattacharyya）係数を用いることで算出することができる。通常、濃度値は０〜２５５の２５６段階の値を取りうる。この場合、ｑの値は０〜２５５の値を取り、Ｎの値は２５６である。

比較部２７は、算出された類似度Ｓを予め定められた閾値Ｔと比較する。類似度Ｓが閾値Ｔよりも大きければ、障害物Ｂｓ１は走路Ｒｄ上に存在すると判定する。類似度Ｓが閾値Ｔ以下であれば、障害物Ｂｓ１は走路Ｒｄ上に存在しないと判定する。障害物Ｂｓ１は走路Ｒｄ上に存在すると判定された場合、判定信号が警告出力部８および車速制御部９へ送られる。障害物Ｂｓ１は走路Ｒｄ上に存在しないと判定された場合、判定信号は出力されない。

次に、実施例１における障害物検出の動作を図６を用いて説明する。図６は障害物検出の処理手順を示すフローチャートである。

車両１の前面に設けられた画像センサ３により画像を撮影する（ステップＳ０１）。次に、障害物検出部１５は、撮影された画像Ｄｐ１内の障害物Ｂｓ１を検出する（ステップＳ０２）。障害物領域設定部１９は、検出された障害物Ｂｓ１を囲む外接矩形の領域を障害物領域Ｂａ１として設定する（ステップＳ０３）。地面領域設定部２１は、障害物領域Ｂａ１の下方の予め決められた大きさの領域を障害物地面領域Ｂｇ１として設定する（ステップＳ０４）。画像ＤＰ１内の中央下部の予め決められた領域を走路地面領域Ｃｇ１として、この走路地面領域Ｃｇ１の画素の濃度値と障害物地面領域Ｂａ１の画素の濃度値とのそれぞれのヒストグラムの類似度Ｓを算出する（ステップＳ０５）。算出された類似度Ｓにより、検出された障害物Ｂｓ１が車両１の走路上に有るか否かの障害物判定をする（ステップＳ０６）。類似度Ｓが閾値Ｔよりも大きければ障害物Ｂｓ１は走路Ｒｄ上にあると判定され、類似度Ｓが閾値Ｔ以下であれば障害物Ｂｓ１は走路Ｒｄ上に無いと判定する。

なお、障害物Ｂｓ１が走路Ｒｄ上に存在するとの判定に応じて、スピーカ等で構成される警告出力部８から操縦者および周囲に対して警報を発する。また、障害物Ｂｓ１が走路Ｒｄ上に存在するとの判定に応じて、車速制御部９が減速の制御およびブレーキ制動を実施し、駆動モータ１１および車輪の回転が制動され、車両１が減速または停止する。

このように、実施例１によれば、検出された障害物Ｂｓ１の地面領域Ｂｇ１の濃度値と、走路地面領域Ｃｇ１すなわち走路Ｒｄ領域の濃度値との類似度Ｓを算出する。この類似度Ｓを基に検出した障害物Ｂｓ１が走路Ｒｄ上に存在するか否かを判別するので、走路上に存在する障害物を精度良く判別することができる。また、障害物が走路上に存在すると判別された場合だけ、車両１の減速制御が実施されるので、車両１の走行効率を上げることができる。

次に、図７および図８を参照して実施例２に係る障害物検出装置について説明する。図７は実施例２における車両の前面図である。図８は実施例２における障害物検出装置の構成を示すブロック図である。実施例２において、実施例１に示した符号と同一の符号で示した部分は、実施例１と同様の構成であるのでここでの説明は省略する。また、以下に記載した以外の車両および障害物検出装置の構成は実施例１と同様である。

実施例２の特徴は、検出された障害物が走路上に存在するか否かの判定精度をより向上させた点である。実施例１では画像情報を基に障害物が走路上に存在するか否かの判定をしていたが、実施例２では画像情報にさらに距離情報を加えて障害物が走路上に存在するか否かの判定をする。

実施例２における障害物検出装置６は、ステレオカメラ４と、メモリ１０と、視差画像作成部１２と、距離画像演算部１３と、障害物検出部１４と、障害物距離判定部１６と、障害物地面領域設定部１８と、走路地面領域設定部２６と、障害物判定部２４とを有する。視差画像作成部１２、距離画像演算部１３、障害物検出部１４、障害物距離判定部１６、障害物地面領域設定部１８、走路地面領域設定部２６、および、障害物判定部２４は、マイクロプロセッサまたはＦＰＧＡで構成される。

ステレオカメラ４は、車両１の前面中央部に設けられた２個の画像センサ４ａ、４ｂで構成される。ステレオカメラ４は、左画像センサ４ａおよび右画像センサ４ｂで構成される。左画像センサ４ａおよび右画像センサ４ｂのいずれかを基準カメラとする。なお、ステレオカメラ３は２台の画像センサに限られず、３台以上の画像センサを用いてもよい。

ステレオカメラ４の画像センサ４ａ、４ｂは予め定められた幾何条件の下で設置されている。本実施例では、画像センサ４ａ、４ｂは水平方向に一定距離を保たれて設置されている。すなわち、画像センサ４ａ、４ｂは平行ステレオである。画像センサ４ａ、４ｂは、ＣＣＤやＣＭＯＳなど一般的な可視光センサである。各画像センサ４ａ、４ｂは、それぞれ撮像された画像の行の位置が一致するように、すなわち、エピポーラ線が一致するように、予めカメラキャリブレーションが実施されている。なお、左画像センサ４ａで撮影された画像を左画像とし、右画像センサ４ｂで撮影された画像を右画像とする。

メモリ１０は、ステレオカメラ４の各画像センサが撮影した画像を一旦、保管する画像バッファである。保管された、画像センサ４ａ、４ｂの各画像は順に視差画像作成部１２へ出力される。

視差画像作成部１２は、入力される左画像および右画像からステレオマッチングにより視差画像を作成する。ステレオマッチングの方法は、例えば、ＳＡＤを用いる方法またはハミング距離を用いる方法が挙げられる。

距離画像演算部１３は、視差画像を基に、各画素が表示する物体までの実空間上の距離を演算する。視差画像から距離を演算する方法は、従来から利用されている平行ステレオ法を用いる。すなわち、２台の撮像センサ４ａ、４ｂ間の距離、および、２台の撮像センサ４ａ、４ｂの焦点距離と視差画像を用いることで、基準画像である左画像の各画素に距離情報が付された距離画像を演算することができる。

障害物検出部１４は、実空間上の予め定められた空間内に点が検出されれば、そこになにかしらの障害物が存在すると判定する。図９を参照して説明する。図９は、障害物検出を示す説明図である。車両１の進行方向の実空間ＸＹＺにおいて、予め定められた検出範囲の空間Ｓｐ内で、車両１からほぼ同じ距離にある点群ＰＧを検出する。これらの点群ＰＧを障害物として検出し、基準画像内の対応する障害物のｕｖ座標の最大値と最小値とを抽出することで、障害物を外接矩形で囲む障害物領域Ｂａ２を設定する。また、点群ＰＧまでの距離Ｌ_０を距離画像から検出する。

障害物距離判定部１６は、検出された障害物までの距離Ｌ_０と予め定められた閾値とを比較して、障害物までの距離Ｌ_０に応じて車両１の車速制御を実施するか否かを判定する。障害物までの距離Ｌ_０が第１の閾値Ｌ_１より小さければ、車両１を減速する判定を行い、車速制御部９へ減速の指示をする。閾値Ｌ_１は、カーブにおいても走路脇の樹木および構造物と車両１との距離が最低でも確保されている距離が好ましい。すなわち、走路上に障害物が存在しない場合、車両１から距離Ｌ_１の範囲内には、障害物が検出されない距離である。

また、自動走行時の車速は、制動距離が距離Ｌ_１に対して十分余裕を持つように設定される。なお、車両１がＧＰＳを備えることにより、自車両の位置を認識できる場合は、車両１が走行するコースごとに第１の閾値Ｌ_１を用意してもよい。

また第１の閾値Ｌ_１に加えて、障害物距離判定部１６は検出された障害物までの距離Ｌ_０と第２の閾値Ｌ_２とも比較する。第２の閾値Ｌ_２は第１の閾値Ｌ_１よりも大きい。障害物までの距離Ｌ_０が第１の閾値Ｌ_１以上で第２の閾値Ｌ_２よりも小さい場合、障害物地面領域と走路地面領域とのテキスチャの類似度を判定する処理が実施される。障害物までの距離Ｌ_０が第２の閾値Ｌ_２以上の場合、車両１と障害物との距離が遠いので、車両１の車速制御は実施されない。

走路地面領域設定部１８は、障害物距離判定部１６より障害物地面領域設定の指示が入力されると、実施例１と同様に、検出された障害物の地面領域を設定する。図１１を参照する。図１１は、障害物地面領域および走路地面領域を示す説明図である。障害物領域設定部２０は、検出された点群ＰＧに対応する画像Ｄｐ２上の障害物Ｂｓ２のｕｖ座標の最大値と最小値を抽出することで、障害物Ｂｓ２を外接矩形で囲む障害物領域Ｂａ２を設定する。また、検出範囲の空間Ｓｐ内で樹木が検出された場合も同様に、検出された点群に対応する画像Ｄｐ２上の障害物Ｂｓ３のｕｖ座標の最大値と最小値を抽出することで、障害物Ｂｓ３を外接矩形で囲む障害物領域Ｂａ３を設定する。

地面領域設定部２２は、設定された障害物領域Ｂａ２およびＢａ３の直下の下方画素領域を障害物地面領域Ｂｇ２およびＢｇ３として設定する。障害物地面領域Ｂｇ２、Ｂｇ３のｕ軸方向の幅は、それぞれ、障害物領域Ｂａ２、Ｂａ３の幅と同じ大きさで設定する。障害物地面領域Ｂｇ２、Ｂｇ３のｖ軸方向の高さは、予め決められた大きさで設定する。予め決められた大きさとして、例えば、実空間上で５０ｃｍ程度に対応する大きさである。すなわち、障害物地面領域Ｂｇ２、Ｂｇ３は、障害物領域Ｂａ２、Ｂａ３の下方に実空間上で５０ｃｍ程度の大きさの領域を画像Ｄｐ２に投影した画素領域である。なお、図９には、障害物地面領域Ｂｇ２および走路地面領域Ｃｇ２の実空間上において対応する領域が示されている。

走路地面領域設定部２６は、実空間上で障害物地面領域と同じ面積の領域を、画像上に走路地面領域として設定する。走路地面領域設定部２６は、面積算出部２８と地面領域設定部２９とを備える。

面積算出部２８は、距離画像を基に、画像Ｄｐ２上に設定された障害物地面領域Ｂｇ２およびＢｇ３の実空間上の面積を算出する。

地面領域設定部２９は、面積算出部２８が算出した面積と同じ大きさの領域を、画像Ｄｐ２においてｕ軸方向において中央部に位置し、ｖ軸方向において下部に位置する走路地面領域Ｃｇ２を設定する。すなわち、走路地面領域Ｃｇ２の実空間における地面上での面積が、障害物地面領域Ｂｇ２の実空間における地面上での面積とほぼ同じになるように、走路地面領域Ｃｇ２を撮影画像Ｄｐ２上に設定する。撮影画像Ｄｐ２内においては、車両１から遠方の物体は車両１の近辺の物体よりも小さく写るので、走路地面領域Ｃｇ２は、障害物地面領域Ｂｇ２よりも大きくなる。また同様に、障害物地面領域Ｂｇ３の実空間における地面上での面積とほぼ同じ面積の車両前方の走路地面領域Ｃｇ３（図示省略）を撮影画像Ｄｐ２上に設定する。設定された各障害物地面領域の各画素の濃度値のデータが障害物判定部２３へ出力される。

障害物判定部２４は、正規化部３０と、走路地面領域と障害物地面領域とのテキスチャの類似度を算出する類似度算出部３１と、比較部２７とを有する。

正規化部３０は、障害物地面領域Ｂｇ２、Ｂｇ３および走路地面領域Ｃｇ２、Ｃｇ３の濃度値のヒストグラムを正規化する。このヒストグラムは量子化されたものを用いる。すなわち、障害物地面領域Ｂｇ２、Ｂｇ３の濃度値と走路地面領域Ｃｇ２、Ｃｇ３の濃度値とをそれぞれ諧調を低減して量子化したヒストグラムに対して正規化する。通常、濃度値は０〜２５５の２５６段階の値を取りうるのを、例えば、８段階に量子化する。これにより、類似度の算出のデータ量を抑制することができるので、高速に類似度の判定をすることができる。また、走路地面領域Ｃｇ２、Ｃｇ３に含まれる画素数と、障害物地面領域Ｂｇ２、Ｂｇ３に含まれる画素数とは異なるが、正規化することにより、量子化されたヒストグラムの総和を１になるようにすることで、２つの領域を均等に扱うことができ、類似度の精度を向上させることができる。図１２は、障害物地面領域Ｂｇ２の濃度ヒストグラムを示す説明図であり、図１３は、走路地面領域Ｃｇ２の濃度ヒストグラムを示す説明図である。車両１および障害物Ｂｓ２も共に、例えば舗装された走路上にあるので、どちらのヒストグラムも類似している。図１４は、障害物地面領域Ｂｇ３の濃度ヒストグラムを示す説明図である。障害物Ｂｓ３は、走路外の例えば芝生上にあるので、障害物地面領域Ｂｇ３の濃度ヒストグラムは、走路上の走路地面領域Ｃｇ２の濃度ヒストグラムとは異なる傾向を持つ。

類似度算出部３１は、正規化された障害物地面領域Ｂｇ２の濃度値のヒストグラムと正規化された走路地面領域Ｃｇ２の濃度値のヒストグラムとの類似度Ｓ’を算出することで、障害物地面領域Ｂｇ２と走路Ｒｄとの類似度Ｓ’を算出する。類似度Ｓ’の算出には、実施例１と同様にバタチャリア（Bhattacharyya）係数を用いる。実施例２において、数式１におけるｑの値は０〜７の値を取り、Ｎの値は濃度値の量子化数である８である。また、正規化された障害物地面領域Ｂｇ３の濃度値のヒストグラムと正規化された走路地面領域Ｃｇ３の濃度値のヒストグラムとの類似度Ｓ’’も算出される。

比較部２７は、算出された類似度Ｓ’を予め定められた閾値Ｔ_２と比較する。類似度Ｓ’が閾値Ｔ_２よりも大きければ、障害物Ｂｓ２は走路Ｒｄ上に存在すると判定する。類似度Ｓ’が閾値Ｔ_２以下であれば、障害物Ｂｓ２は走路Ｒｄ上に存在しないと判定する。障害物Ｂｓ２が走路Ｒｄ上に存在すると判定された場合、判定信号が警告出力部８および車速制御部９へ送られる。障害物Ｂｓ２は走路Ｒｄ上に存在しないと判定された場合、判定信号は出力されない。

地面テキスチャの類似度Ｓ’が予め定められた閾値Ｔ_２よりも大きければ、検出された障害物Ｂｓ２は走路Ｒｄ上にあると判断されるので、減速制御を実施する。地面テキスチャの類似度Ｓ’が予め定められた閾値Ｔ_２以下であれば、検出された障害物Ｂｓ２は走路Ｒｄ上に無いと判断されるので、減速制御は実施されない。図１１の場合、障害物地面領域Ｂｇ２と走路地面領域Ｃｇ２との類似度Ｓ’は閾値Ｔ_２よりも大きいと判定され、障害物Ｂｓ２は走路Ｒｄ上に存在すると判定される。また、障害物地面領域Ｂｇ３と走路地面領域Ｃｇ３との類似度Ｓ’’は閾値Ｔ_２以下であると判定され、障害物Ｂｓ３は走路Ｒｄ上に存在しないと判定される。

次に、実施例２における障害物検出の動作を図１５を用いて説明する。図１５は障害物検出の処理手順を示すフローチャートである。

車両１の前面に設けられたステレオカメラ４により車両前方の複数の画像を撮影する（ステップＳ１１）。次に、撮影された左画像および右画像を基にステレオマッチングを行い視差画像を作成する（ステップＳ１２）。作成された視差画像を基に、基準カメラの画像Ｄｐ２の各画素に実空間における距離情報を付した距離画像を演算する（ステップＳ１３）。予め定められた検出空間Ｓｐの範囲内の距離が一定な点群ＰＧを障害物として検出する（ステップＳ１４）。検出された障害物までの距離Ｌ_０と第１閾値Ｌ_１とを比較する（ステップＳ１５）。

距離Ｌ_０が第１閾値Ｌ_１未満であれば（ステップＳ１５のＹｅｓ）、車両１と障害物との距離が接近しているので、車速制御部９が減速の制御を実施する（ステップＳ１６）。距離Ｌ_０が第１閾値Ｌ_１以上であれば（ステップＳ１５のＮｏ）、さらに、検出された障害物までの距離Ｌ_０と第２閾値Ｌ_２とを比較する（ステップＳ２１）。

障害物までの距離Ｌ_０が第２閾値Ｌ_２以上であれば（ステップＳ２１のＮｏ）、車両１と障害物とが十分に離れているので、車両１の車速制御は行わず、再びステップＳ１１の処理に戻る。

障害物までの距離Ｌ_０が第２閾値Ｌ_２未満であれば（ステップＳ２１のＹｅｓ）、障害物が走路上に存在するか否かを判定するステップに進む。基準画像Ｄｐ２において検出された点群ＰＧと対応する障害物Ｂｓ２を囲む外接矩形の領域を障害物領域Ｂａ２として設定する（ステップＳ２２）。障害物領域Ｂａ２の下方の予め決められた大きさの領域を障害物地面領域Ｂｇ２として設定する（ステップＳ２３）。設定された障害物地面領域Ｂｇ２の実空間（ＸＹＺ空間）上の面積を算出する（ステップＳ２４）。算出された障害物地面領域Ｂｇ２の実空間上の面積と同じ面積の領域を、画像Ｄｐ２（ｕｖ平面）上のｕ軸方向の中央部かつｖ軸方向の下部に走路地面領域Ｃｇ２を設定する（ステップＳ２５）。

次に、障害物地面領域Ｂｇ２の画素の濃度値のヒストグラムと走路地面領域Ｃｇ２の画素の濃度値のヒストグラムとを正規化する（ステップＳ２６）。正規化されたそれぞれのヒストグラムの類似度Ｓ’を算出する（ステップＳ２７）。算出された類似度Ｓ’を予め定められた閾値Ｔ_２と比較する（ステップＳ２８）。類似度Ｓ’が閾値Ｔ_２よりも大きい場合（ステップＳ２８のＹｅｓ）、障害物地面領域Ｂｇ２と走路地面領域Ｃｇ２とのそれぞれのテキスチャが類似しているので、障害物が走路上に存在すると判定される。そこで、車速制御部９が減速の制御およびブレーキ制動を実施する（ステップＳ１６）。これにより、駆動モータ１１および車輪の回転が制動され、車両１が減速または停止する。また、障害物Ｂｓ２が走路Ｒｄ上に存在するとの判定に応じて、スピーカ等で構成される警告出力部８から操縦者および周囲に対して警報を発する。

類似度Ｓ’が閾値Ｔ_２以下の場合（ステップＳ２８のＮｏ）、障害物地面領域Ｂｇ２と走路地面領域Ｃｇ２とのそれぞれのテキスチャが類似していないので、障害物が走路上に存在しないと判定される。そこで、車両１の車速制御は行わず、再びステップＳ１１の処理に戻る。また、障害物が複数個検出された場合、すなわち、障害物Ｂｓ２の他にも、障害物Ｂｓ３が検出された場合でも、それぞれの障害物に対して、上記ステップに従って各障害物が走路Ｒｄ上に存在するか否かが判別される。

このように、実施例２によれば、検出された障害物Ｂｓ２の地面領域Ｂｇ２の濃度値の量子化したヒストグラムと、走路地面領域Ｃｇ２の濃度値の量子化したヒストグラムとを正規化するので、類似度算出のデータ量を抑制することができ、類似度Ｓ’の算出を高速にすることができる。さらに、画素数の異なる２つの領域を均等に扱うことができるので、類似度の精度を向上することができる。また、障害物地面領域Ｂｇ２と走路地面領域Ｃｇ２の実空間上の面積が等しいので、濃度値のヒストグラムの傾向を偏りなく検出することができ、類似度Ｓ’の精度を向上することができる。

さらに、類似度Ｓ’を基に、検出した障害物Ｂｓ２が走路Ｒｄ上に存在するか否かを判別することができるので、走路上に存在する障害物を精度良く判別することができる。また、障害物Ｂｓ２が走路Ｒｄ上に存在すると判別された場合だけ、車両１の減速制御が実施されるので、車両１の走行効率を上げることができる。

本発明は、上記実施例のものに限らず、次のように変形実施することができる。

（１）上記実施例２において、ステレオカメラ４を採用して視差画像を作成し、ステレオマッチングを実施することで距離情報を取得していた。これに限られず、距離情報を、例えば、レーダースキャナにより取得してもよい。この場合、単眼の画像センサにより取得された画像とレーダースキャナにより取得された距離情報とを予め対応づけされている必要がある。

（２）上記実施例において、障害物検出装置５または６は車両に備えられていたがこれに限られない。他にも、例えば、自律走行するロボット用のビジョンシステムや視覚障害者の支援システムなどに採用してもよい。

１ … 車両
３ … 画像センサ
４ａ … 左画像センサ
４ｂ … 右画像センサ
５、６ … 障害物検出装置
１２ … 視差画像作成部
１３ … 距離画像演算部
１４、１５ … 障害物検出部
１６ … 障害物距離判定部
１７、１８ … 障害物地面領域設定部
２５、３１ … 類似度算出部
２６ … 走路地面領域設定部
２７ … 比較部
２８ … 面積算出部
２９ … 地面領域設定部
３０ … 正規化部

Claims

走路の地面領域と走路外の地面領域との間で画像情報の特性が異なる場合において、
前方の画像を撮影する画像センサと、
前記画像内の障害物を検出する障害物検出部と、
前記画像内の前記障害物の地面領域を設定する障害物地面領域設定部と、
前記画像内の前記障害物の地面領域と前記走路の地面領域との前記特性の類似度を算出する類似度算出部と
を備える障害物検出装置。
請求項１に記載の障害物検出装置において、
前方の物体との距離情報を検出する距離情報検出部を備え、
前記障害物検出部は前記距離情報を基に前記画像内の障害物を検出する
障害物検出装置。
請求項１または２に記載の障害物検出装置において、
前記画像センサを平行ステレオの位置関係で複数個備え、
各画像センサの画像を基に視差画像を作成する視差画像作成部を備える
障害物検出装置。
請求項２または３に記載の障害物検出装置において、
前記障害物の地面領域の実空間上における面積と同じ面積を有する走路の地面領域を前記画像内に設定する走路地面領域設定部
を備える障害物検出装置。
請求項４に記載の障害物検出装置において、前記走路地面領域設定部は、
前記障害物の地面領域の実空間上における面積を算出する面積算出部と、
算出された面積と実空間上において同じ大きさの走路の地面領域を前記画像内に設定する地面領域設定部と
を備える障害物検出装置。
請求項１から５のいずれか１つに記載の障害物検出装置において、
障害物の地面領域の濃度値と走路の地面領域の濃度値とをそれぞれ諧調を低減して量子化したヒストグラムに対して正規化する正規化部
を備える障害物検出装置。
請求項１から６のいずれか１つに記載の障害物検出装置において、
前記類似度と予め定められた閾値と比較することで、障害物が走路上に存在するか否かを判定する比較部
を備える障害物検出装置。
請求項１から７のいずれか１つに記載の障害物検出装置を備えた車両。
請求項８に記載の車両において、
前記障害物までの距離と第１距離とを比較することで車両の減速制御を実施するか否かを判定し、前記障害物までの距離と前記第１距離よりも長い第２距離とを比較することで障害物の地面領域と車両の地面領域との類似度を算出するか否かの判定をする障害物距離判定部
を備える車両。