JP2002008019A - 軌道認識装置及び軌道認識装置を用いた鉄道車両 - Google Patents
軌道認識装置及び軌道認識装置を用いた鉄道車両Info
- Publication number
- JP2002008019A JP2002008019A JP2000186724A JP2000186724A JP2002008019A JP 2002008019 A JP2002008019 A JP 2002008019A JP 2000186724 A JP2000186724 A JP 2000186724A JP 2000186724 A JP2000186724 A JP 2000186724A JP 2002008019 A JP2002008019 A JP 2002008019A
- Authority
- JP
- Japan
- Prior art keywords
- rail
- point
- vehicle
- image
- recognition device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 claims description 65
- 238000001514 detection method Methods 0.000 claims description 53
- 238000003384 imaging method Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 4
- 238000000034 method Methods 0.000 description 76
- 238000012545 processing Methods 0.000 description 29
- 238000010586 diagram Methods 0.000 description 12
- 238000000605 extraction Methods 0.000 description 11
- 238000012423 maintenance Methods 0.000 description 6
- 230000007423 decrease Effects 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 自車軌道に関する情報を精度よく認識するこ
とのできる軌道認識装置を提供する。 【解決手段】 ポイント検出部60は、距離画像生成部
30からの距離画像、レール候補点抽出部40からの方
向画像に関する情報、及びレール検出部50で検出した
左右の自車走行レールに関する情報を入力し、左右の自
車走行レール間に手前側から順に設定した検索窓内のレ
ール候補点に基づきリード部を直線として検出し、この
リード部と自車走行レールとの交点に基づいてポイント
を検出するとともに距離画像に基づいてポイントまでの
距離を検出する。
とのできる軌道認識装置を提供する。 【解決手段】 ポイント検出部60は、距離画像生成部
30からの距離画像、レール候補点抽出部40からの方
向画像に関する情報、及びレール検出部50で検出した
左右の自車走行レールに関する情報を入力し、左右の自
車走行レール間に手前側から順に設定した検索窓内のレ
ール候補点に基づきリード部を直線として検出し、この
リード部と自車走行レールとの交点に基づいてポイント
を検出するとともに距離画像に基づいてポイントまでの
距離を検出する。
Description
【0001】
【発明の属する技術分野】本発明は、軌道上を走行する
車両に搭載された撮像手段で捉えた進行方向の画像を用
いて自車軌道を認識する軌道認識装置及び軌道認識装置
を用いた保守用車両に関する。
車両に搭載された撮像手段で捉えた進行方向の画像を用
いて自車軌道を認識する軌道認識装置及び軌道認識装置
を用いた保守用車両に関する。
【0002】
【従来の技術】一般に、鉄道車両では、営業運転終了後
に保守用車両等が営業用本線を走行する場合、営業時に
使われる「列車集中管理(ATC/ATS)」装置等は
使われないので、搭乗者が自車軌道を確認しながら進路
を進める必要がある。
に保守用車両等が営業用本線を走行する場合、営業時に
使われる「列車集中管理(ATC/ATS)」装置等は
使われないので、搭乗者が自車軌道を確認しながら進路
を進める必要がある。
【0003】このような搭乗者の負担を軽減し、安全性
を向上するための技術として、例えば本出願人による特
開2000−030054号公報には、画像内で周囲の
輝度の平均値と異なる領域の中央点或いは最も輝度の異
なる点を軌道候補点として抽出することで軌道(レー
ル)の軌跡を追跡し、抽出した複数のレールにおいて自
車走行レールに隣接レールが合流或いは分岐する個所を
ポイントとして認識する技術が開示されており、このよ
うな軌道認識装置を保守用車両等の鉄道車両に適用して
車両制御や搭乗者に対する軌道情報の表示制御等を行う
技術が開示されている。
を向上するための技術として、例えば本出願人による特
開2000−030054号公報には、画像内で周囲の
輝度の平均値と異なる領域の中央点或いは最も輝度の異
なる点を軌道候補点として抽出することで軌道(レー
ル)の軌跡を追跡し、抽出した複数のレールにおいて自
車走行レールに隣接レールが合流或いは分岐する個所を
ポイントとして認識する技術が開示されており、このよ
うな軌道認識装置を保守用車両等の鉄道車両に適用して
車両制御や搭乗者に対する軌道情報の表示制御等を行う
技術が開示されている。
【0004】また、特開2000−030055号公報
には、自車軌道(自車走行レール)上のポイント位置に
所定範囲の小領域を設定し、この小領域内での輝度分布
の横方向及び縦方向のエッジを検出し、これらを比較す
ることによりポイントの開閉状態を検出する技術が開示
されており、このような軌道認識装置を保守用車両等の
鉄道車両に適用して車両制御や搭乗者に対する軌道情報
の表示制御等を行う技術が開示されている。
には、自車軌道(自車走行レール)上のポイント位置に
所定範囲の小領域を設定し、この小領域内での輝度分布
の横方向及び縦方向のエッジを検出し、これらを比較す
ることによりポイントの開閉状態を検出する技術が開示
されており、このような軌道認識装置を保守用車両等の
鉄道車両に適用して車両制御や搭乗者に対する軌道情報
の表示制御等を行う技術が開示されている。
【0005】
【発明が解決しようとする課題】しかしながら、上述の
特開2000−030054号公報に開示されたよう
に、自車走行レールとともに隣接レールを追跡し、自車
走行レールに隣接レールが合流或いは分岐する個所をポ
イントとして認識する場合、ポイントを精度よく認識す
ることが困難なことがある。例えば、駅近辺等のように
自車走行レールに対して隣接レールが比較的離間して配
設されている区間では隣接レールを一定の画像枠の中に
捕らえることが困難なことがあり、このような場合、ポ
イントを精度よく認識することが困難となる。また、遠
方で自車走行レールから分岐するレール(隣接レール)
は認識が困難であるためこのような場合においてもポイ
ントを精度よく認識することが困難となる。さらに、上
述のように周囲に対する輝度の絶対値評価に基づいてレ
ールの追跡を行う場合、外光などの影響でレール上の絶
対輝度が変化した際にレールの追跡が困難となることが
あり、このような場合においてもポイントを精度よく認
識することが困難となる。
特開2000−030054号公報に開示されたよう
に、自車走行レールとともに隣接レールを追跡し、自車
走行レールに隣接レールが合流或いは分岐する個所をポ
イントとして認識する場合、ポイントを精度よく認識す
ることが困難なことがある。例えば、駅近辺等のように
自車走行レールに対して隣接レールが比較的離間して配
設されている区間では隣接レールを一定の画像枠の中に
捕らえることが困難なことがあり、このような場合、ポ
イントを精度よく認識することが困難となる。また、遠
方で自車走行レールから分岐するレール(隣接レール)
は認識が困難であるためこのような場合においてもポイ
ントを精度よく認識することが困難となる。さらに、上
述のように周囲に対する輝度の絶対値評価に基づいてレ
ールの追跡を行う場合、外光などの影響でレール上の絶
対輝度が変化した際にレールの追跡が困難となることが
あり、このような場合においてもポイントを精度よく認
識することが困難となる。
【0006】また、上述の特開2000−030055
号公報に開示されたように、輝度分布のエッジ検出に基
づいてポイントの開閉識別を行った場合においても、外
光等の影響でレール上の絶対輝度が変化した場合等にレ
ールのエッジ検出(レールと敷設面との仕分け)が困難
となり開閉識別の精度が低下する虞がある。
号公報に開示されたように、輝度分布のエッジ検出に基
づいてポイントの開閉識別を行った場合においても、外
光等の影響でレール上の絶対輝度が変化した場合等にレ
ールのエッジ検出(レールと敷設面との仕分け)が困難
となり開閉識別の精度が低下する虞がある。
【0007】本発明は上記事情に鑑みてなされたもの
で、自車軌道に関する情報を精度よく認識することので
きる軌道認識装置及び軌道認識装置を用いた鉄道車両を
提供することを目的とする。
で、自車軌道に関する情報を精度よく認識することので
きる軌道認識装置及び軌道認識装置を用いた鉄道車両を
提供することを目的とする。
【0008】
【課題を解決するための手段】上記課題を解決するた
め、請求項1記載の発明による軌道認識装置は、撮像手
段で捕らえた自車の進行方向の画像を用いて自車軌道を
認識する軌道認識装置であって、上記画像に基づいて左
右一対の自車走行レールを検出するレール検出手段と、
上記画像上における上記左右の自車走行レール間を検索
して隣接レールのリード部を検出するとともに、このリ
ード部に基づいて上記自車走行レールが隣接レールと合
流或いは分岐するポイントを検出するポイント検出手段
と、を備えたことを特徴とする。
め、請求項1記載の発明による軌道認識装置は、撮像手
段で捕らえた自車の進行方向の画像を用いて自車軌道を
認識する軌道認識装置であって、上記画像に基づいて左
右一対の自車走行レールを検出するレール検出手段と、
上記画像上における上記左右の自車走行レール間を検索
して隣接レールのリード部を検出するとともに、このリ
ード部に基づいて上記自車走行レールが隣接レールと合
流或いは分岐するポイントを検出するポイント検出手段
と、を備えたことを特徴とする。
【0009】また、請求項2記載の発明による軌道認識
装置は、請求項1記載の発明において、上記画像上の各
画素における輝度の連続性を評価してレール候補点を抽
出するレール候補点抽出手段を備え、上記ポイント検出
手段は、上記レール候補点に基づいて上記リード部を検
出することを特徴とする。
装置は、請求項1記載の発明において、上記画像上の各
画素における輝度の連続性を評価してレール候補点を抽
出するレール候補点抽出手段を備え、上記ポイント検出
手段は、上記レール候補点に基づいて上記リード部を検
出することを特徴とする。
【0010】また、請求項3記載の発明による軌道認識
装置は、請求項2記載の発明において、上記ポイント検
出手段は、上記左右の自車走行レール間に複数の検索窓
を設定し、上記レール候補点に基づいて上記検索窓毎に
上記リード部の候補となる直線検出を行うことを特徴と
する。
装置は、請求項2記載の発明において、上記ポイント検
出手段は、上記左右の自車走行レール間に複数の検索窓
を設定し、上記レール候補点に基づいて上記検索窓毎に
上記リード部の候補となる直線検出を行うことを特徴と
する。
【0011】また、請求項4記載の発明による軌道認識
装置は、請求項3記載の発明において、上記検索窓は、
上記自車走行レールに掛からない位置に設定されること
を特徴とする。
装置は、請求項3記載の発明において、上記検索窓は、
上記自車走行レールに掛からない位置に設定されること
を特徴とする。
【0012】また、請求項5記載の発明による軌道認識
装置は、請求項3または請求項4記載の発明において、
上記ポイント検出手段は、検出した上記直線が上記左右
の自車走行レールとクロスしない場合には、この直線を
リード部から除外することを特徴とする。
装置は、請求項3または請求項4記載の発明において、
上記ポイント検出手段は、検出した上記直線が上記左右
の自車走行レールとクロスしない場合には、この直線を
リード部から除外することを特徴とする。
【0013】また、請求項6記載の発明による軌道認識
装置は、請求項3乃至請求項5の何れかに記載の発明に
おいて、上記ポイント検出手段は、検出した上記直線が
上記検索窓の左半分に位置し且つ左側の上記自車走行レ
ールの傾きに近い傾きを有する場合、或いは、上記直線
が上記検索窓の右半分に位置し且つ右側の上記自車走行
レールの傾きに近い傾きを有する場合には、この直線を
リード部から除外することを特徴とする。
装置は、請求項3乃至請求項5の何れかに記載の発明に
おいて、上記ポイント検出手段は、検出した上記直線が
上記検索窓の左半分に位置し且つ左側の上記自車走行レ
ールの傾きに近い傾きを有する場合、或いは、上記直線
が上記検索窓の右半分に位置し且つ右側の上記自車走行
レールの傾きに近い傾きを有する場合には、この直線を
リード部から除外することを特徴とする。
【0014】また、請求項7記載の発明による軌道認識
装置は、請求項1乃至請求項7の何れかに記載の発明に
おいて、上記ポイント検出手段は、検出した上記リード
部の上記自車走行レールに対する左右一対の交点のうち
自車に近い交点の位置を上記ポイントとして設定するこ
とを特徴とする。
装置は、請求項1乃至請求項7の何れかに記載の発明に
おいて、上記ポイント検出手段は、検出した上記リード
部の上記自車走行レールに対する左右一対の交点のうち
自車に近い交点の位置を上記ポイントとして設定するこ
とを特徴とする。
【0015】また、請求項8記載の発明による軌道認識
装置は、請求項1乃至請求項7の何れかに記載の発明に
おいて、上記画像上に上記ポイントを基準とした評価領
域を設定し、上記評価領域内の各画素における輝度の連
続性を評価して上記ポイントの開閉識別を行う開閉識別
手段を備えたことを特徴とする。
装置は、請求項1乃至請求項7の何れかに記載の発明に
おいて、上記画像上に上記ポイントを基準とした評価領
域を設定し、上記評価領域内の各画素における輝度の連
続性を評価して上記ポイントの開閉識別を行う開閉識別
手段を備えたことを特徴とする。
【0016】また、請求項9記載の発明による軌道認識
装置は、撮像手段で捉えた自車の進行方向の画像を用い
て自車軌道を認識する軌道認識装置であって、上記画像
に基づいて左右一対の自車走行レールを検出するレール
検出手段と、上記自車走行レールが隣接レールと合流或
いは分岐するポイントを検出するポイント検出手段と、
上記画像上に上記ポイントを基準とした評価領域を設定
し、上記評価領域内の各画素における輝度の連続性を評
価して上記ポイントの開閉状態を識別する開閉識別手段
と、を備えたことを特徴とする。
装置は、撮像手段で捉えた自車の進行方向の画像を用い
て自車軌道を認識する軌道認識装置であって、上記画像
に基づいて左右一対の自車走行レールを検出するレール
検出手段と、上記自車走行レールが隣接レールと合流或
いは分岐するポイントを検出するポイント検出手段と、
上記画像上に上記ポイントを基準とした評価領域を設定
し、上記評価領域内の各画素における輝度の連続性を評
価して上記ポイントの開閉状態を識別する開閉識別手段
と、を備えたことを特徴とする。
【0017】また、請求項10記載の軌道認識装置は、
請求項8または請求項9記載の軌道認識装置において、
上記開閉識別手段は、上記評価領域内の各画素における
輝度の連続性の評価に基づいてレールを表す画素の抽出
を行い、上記レールを表す画素が上記自車走行レールを
横切る方向にレール幅以上連続しているとき、上記ポイ
ントが閉じていると判定することを特徴とする。
請求項8または請求項9記載の軌道認識装置において、
上記開閉識別手段は、上記評価領域内の各画素における
輝度の連続性の評価に基づいてレールを表す画素の抽出
を行い、上記レールを表す画素が上記自車走行レールを
横切る方向にレール幅以上連続しているとき、上記ポイ
ントが閉じていると判定することを特徴とする。
【0018】また、請求項11記載の発明による軌道認
識装置を用いた鉄道車両は、請求項1乃至請求項10の
何れかに記載の軌道認識装置を用いた鉄道車両であっ
て、上記軌道認識装置で認識したポイントに関する情報
に基づいて車両制御或いは搭乗者への表示制御の少なく
とも何れか一方を行う制御手段を備えたことを特徴とす
る。
識装置を用いた鉄道車両は、請求項1乃至請求項10の
何れかに記載の軌道認識装置を用いた鉄道車両であっ
て、上記軌道認識装置で認識したポイントに関する情報
に基づいて車両制御或いは搭乗者への表示制御の少なく
とも何れか一方を行う制御手段を備えたことを特徴とす
る。
【0019】
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図面は本発明の実施の一形態に係
わり、図1は軌道車両に搭載された軌道認識装置を示す
機能ブロック図、図2はレール候補点抽出処理のフロー
チャート、図3は画像上の検索領域を示す説明図、図4
は各検索方向への輝度の連続性を評価する際の小領域を
表す説明図、図5は輝度の連続性の検索方向とその評価
値との関係を表す図表、図6はレール候補点の方向画像
を表す説明図、図7は基準点検出処理のフローチャー
ト、図8は方向画像における基準点検索領域を示す説明
図、図9,10はレール追跡処理のフローチャート、図
11はレール代表点の検索ラインを示す説明図、図12
はポイント検出処理のフローチャート、図13は検索窓
を示す説明図、図14は開閉識別処理のフローチャート
である。
施の形態を説明する。図面は本発明の実施の一形態に係
わり、図1は軌道車両に搭載された軌道認識装置を示す
機能ブロック図、図2はレール候補点抽出処理のフロー
チャート、図3は画像上の検索領域を示す説明図、図4
は各検索方向への輝度の連続性を評価する際の小領域を
表す説明図、図5は輝度の連続性の検索方向とその評価
値との関係を表す図表、図6はレール候補点の方向画像
を表す説明図、図7は基準点検出処理のフローチャー
ト、図8は方向画像における基準点検索領域を示す説明
図、図9,10はレール追跡処理のフローチャート、図
11はレール代表点の検索ラインを示す説明図、図12
はポイント検出処理のフローチャート、図13は検索窓
を示す説明図、図14は開閉識別処理のフローチャート
である。
【0020】図1において、符号1は鉄道等の軌道上を
走行する車両であり、本形態においては軌道周りの保守
点検用の車両である。この車両1には、自車走行レール
を検出して自車が走行する軌道(以下、自車軌道と称
す)の認識を行う軌道認識装置2が搭載されている。軌
道認識装置2は、車両1の進行方向の対象物を異なる視
点で撮像する撮像手段としてのステレオカメラ10と、
ステレオカメラ10からの信号に基づき一対の画像(元
画像ともいう)を生成する画像取込部20と、一対の元
画像をステレオ処理して画像全体にわたる距離分布(距
離画像)を生成する距離画像生成部30と、距離画像に
基づいて立体物を検出する立体物検出部35と、一方の
画像の各画素における輝度の連続性を評価してレール候
補点を抽出するレール候補点抽出手段としてのレール候
補点抽出部40と、レール候補点に基づいて左右の自車
走行レールを検出するレール検出手段としての自車走行
レール検出部50と、左右の自車走行レール間に存在す
る隣接レールのリード部をレール候補点に基づいて検出
し、このリード部に基づいて自車走行レールが隣接レー
ルと合流或いは分岐する個所をポイントとして検出する
ポイント検出手段としてのポイント検出部60と、ポイ
ントに基づいて画像上に評価領域を設定するとともにこ
の評価領域内の各画素における輝度の連続性を評価して
ポイントにおけるリード部の開閉状態を識別する開閉識
別手段としての開閉識別部70と、を備えて構成されて
いる。
走行する車両であり、本形態においては軌道周りの保守
点検用の車両である。この車両1には、自車走行レール
を検出して自車が走行する軌道(以下、自車軌道と称
す)の認識を行う軌道認識装置2が搭載されている。軌
道認識装置2は、車両1の進行方向の対象物を異なる視
点で撮像する撮像手段としてのステレオカメラ10と、
ステレオカメラ10からの信号に基づき一対の画像(元
画像ともいう)を生成する画像取込部20と、一対の元
画像をステレオ処理して画像全体にわたる距離分布(距
離画像)を生成する距離画像生成部30と、距離画像に
基づいて立体物を検出する立体物検出部35と、一方の
画像の各画素における輝度の連続性を評価してレール候
補点を抽出するレール候補点抽出手段としてのレール候
補点抽出部40と、レール候補点に基づいて左右の自車
走行レールを検出するレール検出手段としての自車走行
レール検出部50と、左右の自車走行レール間に存在す
る隣接レールのリード部をレール候補点に基づいて検出
し、このリード部に基づいて自車走行レールが隣接レー
ルと合流或いは分岐する個所をポイントとして検出する
ポイント検出手段としてのポイント検出部60と、ポイ
ントに基づいて画像上に評価領域を設定するとともにこ
の評価領域内の各画素における輝度の連続性を評価して
ポイントにおけるリード部の開閉状態を識別する開閉識
別手段としての開閉識別部70と、を備えて構成されて
いる。
【0021】また、自車走行レール検出部50は、自車
走行レール検出の基準となる一対のレール基準点をレー
ル候補点に基づいて検出する基準点検出部51と、レー
ル基準点に順次連なるレール代表点を順次検出して自車
軌道を認識するレール追跡部52と、を備えて構成され
ている。
走行レール検出の基準となる一対のレール基準点をレー
ル候補点に基づいて検出する基準点検出部51と、レー
ル基準点に順次連なるレール代表点を順次検出して自車
軌道を認識するレール追跡部52と、を備えて構成され
ている。
【0022】ここで、レール追跡部52、ポイント検出
部60、及び、開閉識別部70で認識された自車軌道に
関する情報は、車両1の制御手段としての制御部100
に出力され、制御部100は、軌道情報に基づく様々な
車両制御や搭乗者への軌道情報の表示等を行う。
部60、及び、開閉識別部70で認識された自車軌道に
関する情報は、車両1の制御手段としての制御部100
に出力され、制御部100は、軌道情報に基づく様々な
車両制御や搭乗者への軌道情報の表示等を行う。
【0023】ステレオカメラ10を構成する2台のCC
Dカメラ10a,10bは、互いに、同期が取れたモノ
クロ或いはカラーのCCDカメラであり、一方のCCD
カメラ10aをステレオ処理の際の基準画像を撮像する
メインカメラ、他方のCCDカメラ10bをステレオ処
理の際の比較画像を撮像するサブカメラとして、所定の
基線長で互いの撮像面垂直軸が平行となるよう配置され
ている。
Dカメラ10a,10bは、互いに、同期が取れたモノ
クロ或いはカラーのCCDカメラであり、一方のCCD
カメラ10aをステレオ処理の際の基準画像を撮像する
メインカメラ、他方のCCDカメラ10bをステレオ処
理の際の比較画像を撮像するサブカメラとして、所定の
基線長で互いの撮像面垂直軸が平行となるよう配置され
ている。
【0024】画像取込部20は、CCDカメラ10a,
10bからの2系統のアナログ信号を所定の輝度階調の
デジタル画像データに変換して一対の画像(元画像)を
生成する。この場合、画像は実空間の上下左右と画像の
上下左右が等しくなるものとし、その画像座標系は、画
像の左上を原点とし、水平走査方向をX軸、垂直走査方
向をY軸とする。
10bからの2系統のアナログ信号を所定の輝度階調の
デジタル画像データに変換して一対の画像(元画像)を
生成する。この場合、画像は実空間の上下左右と画像の
上下左右が等しくなるものとし、その画像座標系は、画
像の左上を原点とし、水平走査方向をX軸、垂直走査方
向をY軸とする。
【0025】距離画像生成部30は、元画像に対し、基
準画像と比較画像との各画像の小領域毎にシティブロッ
ク距離を計算して互いの相関を求めることで対応する小
領域を特定するステレオマッチングを行い、対象物まで
の距離に応じて生じる画素のズレ(=視差)を距離デー
タとする距離画像を生成する。
準画像と比較画像との各画像の小領域毎にシティブロッ
ク距離を計算して互いの相関を求めることで対応する小
領域を特定するステレオマッチングを行い、対象物まで
の距離に応じて生じる画素のズレ(=視差)を距離デー
タとする距離画像を生成する。
【0026】立体物検出部35は、距離画像に基づき、
短冊状の領域に対して距離方向にヒストグラムを生成し
て立体物を検出する。なお、上述の距離画像の生成や立
体物の検出は、例えば本出願人による特開平6−266
828号公報に詳述されている。
短冊状の領域に対して距離方向にヒストグラムを生成し
て立体物を検出する。なお、上述の距離画像の生成や立
体物の検出は、例えば本出願人による特開平6−266
828号公報に詳述されている。
【0027】次に、レール候補点抽出部40によるレー
ル候補点抽出処理について、図2に示すフローチャート
を用いて説明する。ここで、レール候補点抽出部40
は、画像取込部20内の画像メモリにストアされている
一対の画像のうちの一方の画像(基準画像)が入力さ
れ、画像上の指定画像範囲(図3参照)内の各画素に順
次注目し、注目画素がレール候補点であるか否かの判定
を行うものである。
ル候補点抽出処理について、図2に示すフローチャート
を用いて説明する。ここで、レール候補点抽出部40
は、画像取込部20内の画像メモリにストアされている
一対の画像のうちの一方の画像(基準画像)が入力さ
れ、画像上の指定画像範囲(図3参照)内の各画素に順
次注目し、注目画素がレール候補点であるか否かの判定
を行うものである。
【0028】レール候補点抽出処理では、先ず、ステッ
プS101で、画像上の指定画像範囲内の各画素のうち
のある画素に注目し、今回の注目画素を中心として左右
方向に連続する所定個数の画素の輝度の変化量が設定値
以上であるか否かを調べる。
プS101で、画像上の指定画像範囲内の各画素のうち
のある画素に注目し、今回の注目画素を中心として左右
方向に連続する所定個数の画素の輝度の変化量が設定値
以上であるか否かを調べる。
【0029】ここで、車両1の進行方向を撮像した際
に、自車走行レールは、レールの特性上、常に画像下部
を起点として略上方向に延出される。また、レールがカ
ーブする際の曲率は一般に小さいため、たとえ自車走行
レールがカーブしている場合においても、自車走行レー
ルが画像の左右方向に連続することは考えにくい。さら
に、自車走行レールに合流或いは分岐するレールは、緩
やかに自車走行レールに合流或いは分岐するので、この
ようなレールにおいても画像の左右方向に連続すること
は考えにくい。従って、自車軌道に関わるレールが画像
の左右方向に連続するとは考えにくく、注目画素が自車
軌道に関わるレールをあらわす場合、注目画素の左右方
向に連続する画素列はレールを横切ることとなる。そし
て、このような場合、撮像されたレール面の輝度は敷設
面等の輝度に対して明らかに異なるため、上記画素列に
おける各画素の輝度変化は大きくなる。
に、自車走行レールは、レールの特性上、常に画像下部
を起点として略上方向に延出される。また、レールがカ
ーブする際の曲率は一般に小さいため、たとえ自車走行
レールがカーブしている場合においても、自車走行レー
ルが画像の左右方向に連続することは考えにくい。さら
に、自車走行レールに合流或いは分岐するレールは、緩
やかに自車走行レールに合流或いは分岐するので、この
ようなレールにおいても画像の左右方向に連続すること
は考えにくい。従って、自車軌道に関わるレールが画像
の左右方向に連続するとは考えにくく、注目画素が自車
軌道に関わるレールをあらわす場合、注目画素の左右方
向に連続する画素列はレールを横切ることとなる。そし
て、このような場合、撮像されたレール面の輝度は敷設
面等の輝度に対して明らかに異なるため、上記画素列に
おける各画素の輝度変化は大きくなる。
【0030】そこで、ステップS101では、注目画素
の左右方向に連続する画素列の輝度の変化量が設定値よ
りも小さいと判断した場合には、今回の注目画素は自車
軌道に関わるレールを表す画素ではないと判断してステ
ップS102に進み、今回の注目画素をレール候補点か
ら除外した後、ステップS108に進む。
の左右方向に連続する画素列の輝度の変化量が設定値よ
りも小さいと判断した場合には、今回の注目画素は自車
軌道に関わるレールを表す画素ではないと判断してステ
ップS102に進み、今回の注目画素をレール候補点か
ら除外した後、ステップS108に進む。
【0031】一方、ステップS101において、注目画
素を中心として左右方向に連続する画素列の輝度の変化
量が所定値以上であると判断した場合には、ステップS
103に進む。ステップS103では、注目画素に対す
る複数方向への輝度の連続性の評価を行う。この場合、
例えば注目画素に対して異なる8方向(−90°(90
°)、−68°、−45°、−23°、0°、23°、
45°、68°)への輝度の連続性の評価を行う。
素を中心として左右方向に連続する画素列の輝度の変化
量が所定値以上であると判断した場合には、ステップS
103に進む。ステップS103では、注目画素に対す
る複数方向への輝度の連続性の評価を行う。この場合、
例えば注目画素に対して異なる8方向(−90°(90
°)、−68°、−45°、−23°、0°、23°、
45°、68°)への輝度の連続性の評価を行う。
【0032】具体的に説明すると、ステップS103で
は、先ず、図4(a)〜(h)に示すように、注目画素
(図中太枠で表示)を中心として各検索方向に連続する
例えば3×5画素の小領域を設定する。なお、小領域の
長手方向の長さは、画像上に表されるレール幅よりも大
きくなるよう設定されるものである。
は、先ず、図4(a)〜(h)に示すように、注目画素
(図中太枠で表示)を中心として各検索方向に連続する
例えば3×5画素の小領域を設定する。なお、小領域の
長手方向の長さは、画像上に表されるレール幅よりも大
きくなるよう設定されるものである。
【0033】そして、各小領域毎に、隣接画素との輝度
の差分の平均値(差分値Diff)と輝度の分散値De
vとを算出し、これらのうち何れか大きい方を注目画素
の検索方向への輝度の連続性の評価値として設定する。
の差分の平均値(差分値Diff)と輝度の分散値De
vとを算出し、これらのうち何れか大きい方を注目画素
の検索方向への輝度の連続性の評価値として設定する。
【0034】ここで、図4に示すように小領域内の各画
素の輝度をPm,n(m=0〜5,n=0〜2)とする
と、差分値Diffは、例えば、
素の輝度をPm,n(m=0〜5,n=0〜2)とする
と、差分値Diffは、例えば、
【数1】 によって算出され、また、分散値Devは、例えば、
【数2】 但し、
【数3】 によって算出される。なお、各式から明らかなように、
評価値は、輝度の連続性が高くなる程小さな値となる。
評価値は、輝度の連続性が高くなる程小さな値となる。
【0035】次に、ステップS104では、注目画素に
対する各検索方向への輝度の連続性の評価値の中から最
大値と最小値とを抽出する。
対する各検索方向への輝度の連続性の評価値の中から最
大値と最小値とを抽出する。
【0036】続くステップS105、S106は、抽出
された評価値の最大値と最小値とに基づいて、注目画素
がレール候補点であるか否かを判別するものである。
された評価値の最大値と最小値とに基づいて、注目画素
がレール候補点であるか否かを判別するものである。
【0037】ここで、注目画素がレールを表している場
合、レールが連続する方向にのみ輝度の連続性は高くな
り、レールを横切る他の方向への連続性は低くなる。従
って、注目画素がレール候補点である場合、図5(a)
に示すように、ある検索方向にのみ輝度の連続性の評価
値が低い値を示し、他の検索方向への評価値は高い値を
示す。
合、レールが連続する方向にのみ輝度の連続性は高くな
り、レールを横切る他の方向への連続性は低くなる。従
って、注目画素がレール候補点である場合、図5(a)
に示すように、ある検索方向にのみ輝度の連続性の評価
値が低い値を示し、他の検索方向への評価値は高い値を
示す。
【0038】また、注目画素が砂利等の敷設面を表して
いる場合、全ての方向に対して輝度の連続性が低くなる
ため、図5(b)に示すように、全ての検索方向に対し
て評価値は高い値を示す。
いる場合、全ての方向に対して輝度の連続性が低くなる
ため、図5(b)に示すように、全ての検索方向に対し
て評価値は高い値を示す。
【0039】また、注目画素がコンクリート等の敷設面
を表している場合、全ての方向に対して輝度の連続性が
高くなるため、図5(c)に示すように、全ての検索方
向に対して評価値は低い値を示す。
を表している場合、全ての方向に対して輝度の連続性が
高くなるため、図5(c)に示すように、全ての検索方
向に対して評価値は低い値を示す。
【0040】そこで、先ず、ステップS105におい
て、評価値の最小値が規定値a1よりも大きいか否かを
調べることにより、注目画素の輝度に所定の連続性があ
るか否かを調べ、評価値の最小値が規定値a1よりも大
きいと判断した場合には、注目画素は全方向に対して輝
度の連続性の低い砂利等を示す画素であると判断してス
テップS102に進む。
て、評価値の最小値が規定値a1よりも大きいか否かを
調べることにより、注目画素の輝度に所定の連続性があ
るか否かを調べ、評価値の最小値が規定値a1よりも大
きいと判断した場合には、注目画素は全方向に対して輝
度の連続性の低い砂利等を示す画素であると判断してス
テップS102に進む。
【0041】一方、ステップS105において、評価値
の最小値が規定値a1以下であると判断した場合にはス
テップS106に進み、評価値の最大値と最小値との差
が規定値a2よりも小さいか否かを調べる。すなわち、
ステップS106では、輝度の連続性を有する注目画素
において、この輝度の連続性が所定の方向に特化された
ものであるかを調べる。
の最小値が規定値a1以下であると判断した場合にはス
テップS106に進み、評価値の最大値と最小値との差
が規定値a2よりも小さいか否かを調べる。すなわち、
ステップS106では、輝度の連続性を有する注目画素
において、この輝度の連続性が所定の方向に特化された
ものであるかを調べる。
【0042】そして、ステップS106において、評価
値の最大値と最小値との差が規定値a2よりも小さいと
判断した場合には、注目画素は全方向に対して輝度の連
続性の高いコンクリート等を示す画素であると判断して
ステップS102に進む。
値の最大値と最小値との差が規定値a2よりも小さいと
判断した場合には、注目画素は全方向に対して輝度の連
続性の高いコンクリート等を示す画素であると判断して
ステップS102に進む。
【0043】一方、ステップS106において、評価値
の最大値と最小値との差が規定値a2以上であると判断
した場合には、この注目画素はある方向に特化した輝度
の連続性を有するレール候補点であると判断してステッ
プS107に進む。
の最大値と最小値との差が規定値a2以上であると判断
した場合には、この注目画素はある方向に特化した輝度
の連続性を有するレール候補点であると判断してステッ
プS107に進む。
【0044】続くステップS107では、レール候補点
であると判断された注目画素における輝度の連続方向を
検出する。この輝度の連続方向検出は、レール候補点で
ある注目画素の複数方向への輝度の連続性の評価値に基
づいて行われるもので、評価値が最小となる方向が輝度
の連続方向として設定される。
であると判断された注目画素における輝度の連続方向を
検出する。この輝度の連続方向検出は、レール候補点で
ある注目画素の複数方向への輝度の連続性の評価値に基
づいて行われるもので、評価値が最小となる方向が輝度
の連続方向として設定される。
【0045】そして、ステップS102或いはステップ
S107からステップS108に進むと、ステップS1
08では、指定画像範囲内に次の注目画素があるか否
か、すなわち、指定画像範囲内にレール候補点か否かを
未判定の画素があるか否かを調べ、未判定の画素がある
と判断した場合には、次の画素を注目画素として設定し
た後、ステップS101に戻る。一方、指定画像範囲内
に未判定の画素がないと判断した場合には、そのままル
ーチンを抜ける。
S107からステップS108に進むと、ステップS1
08では、指定画像範囲内に次の注目画素があるか否
か、すなわち、指定画像範囲内にレール候補点か否かを
未判定の画素があるか否かを調べ、未判定の画素がある
と判断した場合には、次の画素を注目画素として設定し
た後、ステップS101に戻る。一方、指定画像範囲内
に未判定の画素がないと判断した場合には、そのままル
ーチンを抜ける。
【0046】このような処理により、レール候補点抽出
部40では、図6に示すように、輝度の連続方向の情報
を持ったレール候補点からなる画像のような形態のレー
ル候補点分布情報(方向画像)を生成する。
部40では、図6に示すように、輝度の連続方向の情報
を持ったレール候補点からなる画像のような形態のレー
ル候補点分布情報(方向画像)を生成する。
【0047】次に、基準点検出部51による自車走行レ
ールの基準点検出処理について、図7に示すフローチャ
ートを用いて説明する。基準点検出部51は、立体物検
出部35から立体物に関する情報が入力されるとともに
レール候補点抽出部40から方向画像に関する情報が入
力され、方向画像の下方(車両1の足元側)に設定され
た基準点検索ライン上における左右の自車走行レールの
座標を検出し、この検出された一対の座標を自車走行レ
ール追跡の際の基準となるレール代表点(以下、レール
基準点と称する)とするものである。ここで、レール基
準点の検出は、図8に示すように、基準点検索領域内の
レール候補点に基づいて行われるもので、基準点検索領
域は基準点検索ラインに沿って設定されるものである。
ールの基準点検出処理について、図7に示すフローチャ
ートを用いて説明する。基準点検出部51は、立体物検
出部35から立体物に関する情報が入力されるとともに
レール候補点抽出部40から方向画像に関する情報が入
力され、方向画像の下方(車両1の足元側)に設定され
た基準点検索ライン上における左右の自車走行レールの
座標を検出し、この検出された一対の座標を自車走行レ
ール追跡の際の基準となるレール代表点(以下、レール
基準点と称する)とするものである。ここで、レール基
準点の検出は、図8に示すように、基準点検索領域内の
レール候補点に基づいて行われるもので、基準点検索領
域は基準点検索ラインに沿って設定されるものである。
【0048】基準点検出処理がスタートすると、先ず、
ステップS201で、基準点検索領域内のレール候補点
の中から、所定高さ(所定低さ)を有する立体物に対応
するレール候補点を除去する。すなわち、敷設面に対し
て所定高さを有する立体物は、壁面,柱,信号機,側溝
等の可能性が高くレールである可能性が低い。そこで、
ステップS201では、先ず、立体物検出部35で検出
された立体物のうち所定高さを有する立体物を抽出し、
抽出した立体物に対応するレール候補点を基準点検出処
理の対象から除外することにより、処理の高速化を図る
と共に検出精度の向上を図る。
ステップS201で、基準点検索領域内のレール候補点
の中から、所定高さ(所定低さ)を有する立体物に対応
するレール候補点を除去する。すなわち、敷設面に対し
て所定高さを有する立体物は、壁面,柱,信号機,側溝
等の可能性が高くレールである可能性が低い。そこで、
ステップS201では、先ず、立体物検出部35で検出
された立体物のうち所定高さを有する立体物を抽出し、
抽出した立体物に対応するレール候補点を基準点検出処
理の対象から除外することにより、処理の高速化を図る
と共に検出精度の向上を図る。
【0049】続くステップS202では、今回の基準点
検出処理がシステム起動直後の処理であるか否かを調
べ、今回の処理がシステム起動直後の処理であると判断
した場合にはステップS205に進む。
検出処理がシステム起動直後の処理であるか否かを調
べ、今回の処理がシステム起動直後の処理であると判断
した場合にはステップS205に進む。
【0050】一方、ステップS202において、今回の
処理がシステム起動直後の処理でないと判断した場合に
はステップS203に進み、前回の処理でレール基準点
が検出されたか否かを調べる。そして、前回の処理でレ
ール基準点が検出されていると判断した場合にはステッ
プS203からステップS204に進む一方、前回の処
理でレール基準点が検出されなかったと判断した場合に
はステップS203からステップS205に進む。
処理がシステム起動直後の処理でないと判断した場合に
はステップS203に進み、前回の処理でレール基準点
が検出されたか否かを調べる。そして、前回の処理でレ
ール基準点が検出されていると判断した場合にはステッ
プS203からステップS204に進む一方、前回の処
理でレール基準点が検出されなかったと判断した場合に
はステップS203からステップS205に進む。
【0051】ステップS204では、前回検出したレー
ル基準点を今回のレール基準点検出の予測点に設定した
後、ステップS206に進む。
ル基準点を今回のレール基準点検出の予測点に設定した
後、ステップS206に進む。
【0052】一方、ステップS205では、車両1が直
線レール上にいるときの基準点検索ライン上における理
論上のレール座標を今回のレール基準点検出の予測点に
設定した後、ステップS206に進む。すなわち、今回
の処理がシステム起動直後の処理である場合や前回の処
理でレール基準点が検出されなかった場合には、車両1
が直線レール上にいると仮定し、カメラの取付位置や取
付方向等から一義的に定まる基準点検索ライン上のレー
ル座標を今回のレール基準点検出の予測点として代用す
る。
線レール上にいるときの基準点検索ライン上における理
論上のレール座標を今回のレール基準点検出の予測点に
設定した後、ステップS206に進む。すなわち、今回
の処理がシステム起動直後の処理である場合や前回の処
理でレール基準点が検出されなかった場合には、車両1
が直線レール上にいると仮定し、カメラの取付位置や取
付方向等から一義的に定まる基準点検索ライン上のレー
ル座標を今回のレール基準点検出の予測点として代用す
る。
【0053】ステップS206では、基準点検索領域内
において、輝度の連続方向が同一であって直線状に分布
しているレール候補点に対してHough変換処理(直
線検出処理)を行う。
において、輝度の連続方向が同一であって直線状に分布
しているレール候補点に対してHough変換処理(直
線検出処理)を行う。
【0054】続くステップS207では、ステップS2
06で検出した直線群のデータに基づき、左右のレール
基準点の候補となる座標対を求める。具体的には、実空
間において左右のレール間距離は一定であり且つ左右の
レールは互いに平行であることに着目し、ステップS2
06で検出した直線群の中から、画像上において理論上
互いの距離が実際のレール間距離に対応するとともに互
いに平行となる直線対を選別し、選別された直線対が基
準点検索ラインと交わる座標対を左右のレール基準点の
候補とする。
06で検出した直線群のデータに基づき、左右のレール
基準点の候補となる座標対を求める。具体的には、実空
間において左右のレール間距離は一定であり且つ左右の
レールは互いに平行であることに着目し、ステップS2
06で検出した直線群の中から、画像上において理論上
互いの距離が実際のレール間距離に対応するとともに互
いに平行となる直線対を選別し、選別された直線対が基
準点検索ラインと交わる座標対を左右のレール基準点の
候補とする。
【0055】続くステップS208では、抽出したレー
ル基準点候補の座標対の中から、ステップS204或い
はステップS205で設定した予測点に最も近いもの
を、今回のレール基準点として設定した後、ルーチンを
抜ける。
ル基準点候補の座標対の中から、ステップS204或い
はステップS205で設定した予測点に最も近いもの
を、今回のレール基準点として設定した後、ルーチンを
抜ける。
【0056】次に、レール追跡部52によるレール追跡
処理について、図9に示すフローチャートを用いて説明
する。レール追跡部51は、画像取込部20内の画像メ
モリにストアされている一対の画像のうちの一方の画像
(基準画像)、立体物検出部35からの立体物に関する
情報、レール候補点抽出部40からの方向画像に関する
情報、及び基準点検出部51からのレール基準点に関す
る情報が入力され、基準画像及び方向画像に基づき、レ
ール基準点を起点として遠方に順次自車走行レールの代
表点検索を行うレール追跡処理を行うものである。
処理について、図9に示すフローチャートを用いて説明
する。レール追跡部51は、画像取込部20内の画像メ
モリにストアされている一対の画像のうちの一方の画像
(基準画像)、立体物検出部35からの立体物に関する
情報、レール候補点抽出部40からの方向画像に関する
情報、及び基準点検出部51からのレール基準点に関す
る情報が入力され、基準画像及び方向画像に基づき、レ
ール基準点を起点として遠方に順次自車走行レールの代
表点検索を行うレール追跡処理を行うものである。
【0057】具体的には、画像上に設定された各検索ラ
イン(図11参照)毎に、すでに決定している手前のレ
ール代表点に基づいて当該検索ライン上におけるレール
代表点を予測し、その予測位置を中心とする検索ライン
上の所定範囲の中から、後述する3つの評価指標に基づ
いて最終的なレール代表点を決定する。ここで、本実施
の形態では、各検索ラインの間隔は、車両1に対して遠
方となる程狭い間隔に設定されている。
イン(図11参照)毎に、すでに決定している手前のレ
ール代表点に基づいて当該検索ライン上におけるレール
代表点を予測し、その予測位置を中心とする検索ライン
上の所定範囲の中から、後述する3つの評価指標に基づ
いて最終的なレール代表点を決定する。ここで、本実施
の形態では、各検索ラインの間隔は、車両1に対して遠
方となる程狭い間隔に設定されている。
【0058】レール追跡処理がスタートすると、先ず、
ステップS301で、レール追跡処理の高速化及び精度
向上を図るため、画像上の画素の中から所定高さ(所定
低さ)を有する立体物に対応する画素を除去すると共
に、レール候補点抽出部40にて抽出された方向画像上
のレール候補点の中から所定高さ(所定低さ)を有する
立体物に対応するものを除去する。
ステップS301で、レール追跡処理の高速化及び精度
向上を図るため、画像上の画素の中から所定高さ(所定
低さ)を有する立体物に対応する画素を除去すると共
に、レール候補点抽出部40にて抽出された方向画像上
のレール候補点の中から所定高さ(所定低さ)を有する
立体物に対応するものを除去する。
【0059】続くステップS302では、今回レール代
表点検索を行う検索ラインが、車両1の近傍に位置する
検索ラインであるか否かを調べ、今回の検索ラインが車
両1の近傍にあると判断した場合にはステップS303
に進む。
表点検索を行う検索ラインが、車両1の近傍に位置する
検索ラインであるか否かを調べ、今回の検索ラインが車
両1の近傍にあると判断した場合にはステップS303
に進む。
【0060】ステップS303では、すでに決定されて
いる1つ手前のレール代表点に基づき、今回の検索ライ
ン上におけるレール代表点(座標)を予測する。この予
測位置は、手前のレール代表点から該レール代表点の輝
度の連続方向に延ばした直線と今回の検索ラインとの交
点を検出することにより行う。
いる1つ手前のレール代表点に基づき、今回の検索ライ
ン上におけるレール代表点(座標)を予測する。この予
測位置は、手前のレール代表点から該レール代表点の輝
度の連続方向に延ばした直線と今回の検索ラインとの交
点を検出することにより行う。
【0061】一方、ステップS302において、今回の
検索ラインが車両1に対して所定の遠方に位置する検索
ラインであると判断するとステップS304に進む。ス
テップS304では、手前数点のレール代表点に基づ
き、今回の検索ライン上におけるレール代表点を予測す
る。このレール代表点の予測は、手前数点のレール代表
点から、今回の検索ライン上でのレール位置を線形予測
することにより行う。
検索ラインが車両1に対して所定の遠方に位置する検索
ラインであると判断するとステップS304に進む。ス
テップS304では、手前数点のレール代表点に基づ
き、今回の検索ライン上におけるレール代表点を予測す
る。このレール代表点の予測は、手前数点のレール代表
点から、今回の検索ライン上でのレール位置を線形予測
することにより行う。
【0062】続くステップS305〜ステップS309
までの処理は、ステップS303或いはステップS30
4で予測した左右のレール代表点の予測位置を中心とし
て検索ライン上にそれぞれ設定された左右一対の検索領
域の中から、評価指標に基づいて最終的なレール代表点
を評価・判定するものである。評価指標としては、手前
からの位置の連続性の評価値(ステップS305)と、
手前からの輝度パターンの連続性の評価値(ステップS
306)と、手前からの方向性の連続性の評価値(ステ
ップS307)が用いられている。
までの処理は、ステップS303或いはステップS30
4で予測した左右のレール代表点の予測位置を中心とし
て検索ライン上にそれぞれ設定された左右一対の検索領
域の中から、評価指標に基づいて最終的なレール代表点
を評価・判定するものである。評価指標としては、手前
からの位置の連続性の評価値(ステップS305)と、
手前からの輝度パターンの連続性の評価値(ステップS
306)と、手前からの方向性の連続性の評価値(ステ
ップS307)が用いられている。
【0063】ステップS305では、先ず、上記検索領
域内に存在する各レール候補点(以下、レール検索点と
称す)について、すでに決定されている手前のレール代
表点からの位置の連続性を示す評価値E0(x)とし
て、レール代表点に対する予測位置の一致度(ずれ)を
求める。
域内に存在する各レール候補点(以下、レール検索点と
称す)について、すでに決定されている手前のレール代
表点からの位置の連続性を示す評価値E0(x)とし
て、レール代表点に対する予測位置の一致度(ずれ)を
求める。
【0064】ここで、各レール検索点における評価値E
0(x)は、例えば次式によって算出される。
0(x)は、例えば次式によって算出される。
【0065】
【数4】 但し、 X:検索ライン上でのレール代表点の予測位置 x:検索ライン上でのレール検索点の位置 すなわち、評価値E0(x)は、各レール検索点がレー
ル代表点の予測位置からずれている程大きな値となる。
ル代表点の予測位置からずれている程大きな値となる。
【0066】続くステップS306では、手前からの輝
度パターンの連続性を示す評価値E1(x)として、す
でに決定されている手前のレール代表点を中心とする設
定領域内の輝度パターンに対して、今回の検索ライン上
における各レール検索点を中心とする設定領域内の輝度
パターンの一致度(ずれ)を求める。
度パターンの連続性を示す評価値E1(x)として、す
でに決定されている手前のレール代表点を中心とする設
定領域内の輝度パターンに対して、今回の検索ライン上
における各レール検索点を中心とする設定領域内の輝度
パターンの一致度(ずれ)を求める。
【0067】すなわち、レール周辺の輝度パターンはレ
ール長手方向のいずれの位置においても類似しているこ
とに着目し、手前のレール代表点を中心とする設定領域
内の輝度パターンと各レール検索点を中心とする設定領
域内の輝度パターンとの一致度の評価を行うことで、各
レール検索点がレール代表点である可能性についての評
価を行おうとするものである。ここで、本実施の形態で
は、画像上でのレール幅を考慮して、上記設定領域を、
例えば左右に細長な5×3画素の領域に設定する。
ール長手方向のいずれの位置においても類似しているこ
とに着目し、手前のレール代表点を中心とする設定領域
内の輝度パターンと各レール検索点を中心とする設定領
域内の輝度パターンとの一致度の評価を行うことで、各
レール検索点がレール代表点である可能性についての評
価を行おうとするものである。ここで、本実施の形態で
は、画像上でのレール幅を考慮して、上記設定領域を、
例えば左右に細長な5×3画素の領域に設定する。
【0068】各レール検索点における評価値E1(x)
は、例えば次式によって算出される。
は、例えば次式によって算出される。
【0069】
【数5】 但し、 xr,yr:手前の検索ラインでのレール代表点の座標 x,y:各レール検索点の座標 Px,y:各レール検索点における輝度 続くステップS307では、手前からの方向性の連続性
を示す評価値E2(x)として、手前のレール代表点に
対する各レール検索点の方向と、手前のレール代表点に
おける輝度の連続方向とを比較して方向の一致度(ず
れ)を求める。
を示す評価値E2(x)として、手前のレール代表点に
対する各レール検索点の方向と、手前のレール代表点に
おける輝度の連続方向とを比較して方向の一致度(ず
れ)を求める。
【0070】ここで、各レール検索点における評価値E
2(x)は、例えば次式によって算出される。
2(x)は、例えば次式によって算出される。
【0071】
【数6】 続くステップS308では、各レール検索点における評
価値E0(x),E1(x),E2(x)に基づいて総合
評価を行い、最終的なレール代表点を決定する。すなわ
ち、各レール検索点毎に評価値E0(x),E1(x),
E2(x)を所定に合計した評価値E(x)を求め、評
価値E(x)が最も小さいレール検索点を最終的なレー
ル代表点(座標)とする。但し、この評価値E(x)が
所定の閾値の条件を満たしていない場合には、レール代
表点が未検出であったものとする。
価値E0(x),E1(x),E2(x)に基づいて総合
評価を行い、最終的なレール代表点を決定する。すなわ
ち、各レール検索点毎に評価値E0(x),E1(x),
E2(x)を所定に合計した評価値E(x)を求め、評
価値E(x)が最も小さいレール検索点を最終的なレー
ル代表点(座標)とする。但し、この評価値E(x)が
所定の閾値の条件を満たしていない場合には、レール代
表点が未検出であったものとする。
【0072】そして、ステップS309では、ステップ
S308で求めたレール代表点の左右1画素以内の領域
にレール代表点を表す画素よりも輝度が暗い画素がある
か否かを調べ、レール代表点を表す画素よりも輝度が暗
い画素があると判断した場合には、最も暗い輝度を有す
る画素の座標にレール代表点の座標を補正した後、ステ
ップS310に進む。
S308で求めたレール代表点の左右1画素以内の領域
にレール代表点を表す画素よりも輝度が暗い画素がある
か否かを調べ、レール代表点を表す画素よりも輝度が暗
い画素があると判断した場合には、最も暗い輝度を有す
る画素の座標にレール代表点の座標を補正した後、ステ
ップS310に進む。
【0073】なお、上記ステップS309の補正は、例
えば夜間にレールを撮像した際にレールの鏡面部分が一
般に敷設面等に対して暗く写ることに起因するものであ
るが、撮像条件等によっては、レールの鏡面部分は敷設
面等に対して明るく写ることがある。従って、このよう
にレールの鏡面部分が敷設面等に対して明るく写る撮像
条件下では、ステップS308で求めたレール代表点の
座標を、左右1画素以内の領域で最も輝度が明るい画素
の座標に補正してもよい。
えば夜間にレールを撮像した際にレールの鏡面部分が一
般に敷設面等に対して暗く写ることに起因するものであ
るが、撮像条件等によっては、レールの鏡面部分は敷設
面等に対して明るく写ることがある。従って、このよう
にレールの鏡面部分が敷設面等に対して明るく写る撮像
条件下では、ステップS308で求めたレール代表点の
座標を、左右1画素以内の領域で最も輝度が明るい画素
の座標に補正してもよい。
【0074】ステップS310では、ステップS308
において、左右のレール代表点のうち一方のみしか検出
できなかったか否かを調べ、一方のみしか検出できなか
ったと判断した場合には、ステップS311に進む。
において、左右のレール代表点のうち一方のみしか検出
できなかったか否かを調べ、一方のみしか検出できなか
ったと判断した場合には、ステップS311に進む。
【0075】ステップS311では、左右のレール代表
点のうち検出できた一方のレール代表点から、左右レー
ル間隔、及び、レール方向の相対差を用いて他方のレー
ル代表点を補完設定した後、ステップS312に進む。
点のうち検出できた一方のレール代表点から、左右レー
ル間隔、及び、レール方向の相対差を用いて他方のレー
ル代表点を補完設定した後、ステップS312に進む。
【0076】続くステップS312では、同じ側のレー
ル代表点が検出不可能な状態が規定回数続いたか否かを
調べ、規定回数続いていないと判断した場合にはステッ
プS318に進む一方、規定回数続いたと判断した場合
にはそのままルーチンを抜ける。すなわち、同じ側のレ
ール代表点が規定回数続けて検出できなかった場合に
は、以後検出されるレール代表点の信頼性が低下するた
め、レール追跡処理を終了する。
ル代表点が検出不可能な状態が規定回数続いたか否かを
調べ、規定回数続いていないと判断した場合にはステッ
プS318に進む一方、規定回数続いたと判断した場合
にはそのままルーチンを抜ける。すなわち、同じ側のレ
ール代表点が規定回数続けて検出できなかった場合に
は、以後検出されるレール代表点の信頼性が低下するた
め、レール追跡処理を終了する。
【0077】一方、ステップS310においてレール代
表点の検出が一方のみの検出ではないと判断してステッ
プS313に進むと、ステップS313では、ステップ
S308において、左右のレール代表点が両方とも検出
不可能であったか否かを調べる。
表点の検出が一方のみの検出ではないと判断してステッ
プS313に進むと、ステップS313では、ステップ
S308において、左右のレール代表点が両方とも検出
不可能であったか否かを調べる。
【0078】そして、ステップS313において、左右
のレール代表点が両方とも検出不可能であったと判断し
た場合には、ステップS314に進み、ステップS30
3或いはステップS304で求めたレール代表点の予測
位置を用いてレール代表点の補完処理を行った後、ステ
ップS315に進む。
のレール代表点が両方とも検出不可能であったと判断し
た場合には、ステップS314に進み、ステップS30
3或いはステップS304で求めたレール代表点の予測
位置を用いてレール代表点の補完処理を行った後、ステ
ップS315に進む。
【0079】続くステップS315では、レール代表点
が左右両方とも検出不可能な状態が規定回数続いたか否
かを調べ、規定回数続いていないと判断した場合にはス
テップS318に進む一方、規定回数続いたと判断した
場合にはそのままルーチンを抜ける。すなわち、レール
代表点が左右両方とも規定回数続けて検出できなかった
場合には、以後検出されるレール代表点の信頼性が低下
するため、レール追跡処理を終了する。
が左右両方とも検出不可能な状態が規定回数続いたか否
かを調べ、規定回数続いていないと判断した場合にはス
テップS318に進む一方、規定回数続いたと判断した
場合にはそのままルーチンを抜ける。すなわち、レール
代表点が左右両方とも規定回数続けて検出できなかった
場合には、以後検出されるレール代表点の信頼性が低下
するため、レール追跡処理を終了する。
【0080】一方、ステップS313において左右両方
のレール代表点が検出できたと判断してステップS31
6に進むと、ステップS316では、検出された左右の
レール代表点間の間隔が、実空間でのレール間隔に基づ
く画像上のレール間隔に対して適切な値であるか否かを
調べ、レール代表点間の間隔が適切な値であると判断し
た場合にはステップS318に進む一方、レール代表点
間の間隔が適切な値でないと判断した場合にはステップ
S317に進む。
のレール代表点が検出できたと判断してステップS31
6に進むと、ステップS316では、検出された左右の
レール代表点間の間隔が、実空間でのレール間隔に基づ
く画像上のレール間隔に対して適切な値であるか否かを
調べ、レール代表点間の間隔が適切な値であると判断し
た場合にはステップS318に進む一方、レール代表点
間の間隔が適切な値でないと判断した場合にはステップ
S317に進む。
【0081】ステップS317では、左右のレール代表
点のうち評価値E(x)が大きい方のレール代表点を無
効とした後、ステップS311に進み、無効とされなか
ったレール代表点(一方のレール代表点)から、左右レ
ール間隔、及び、レール方向の相対差を用いて他方のレ
ール代表点を補完する。
点のうち評価値E(x)が大きい方のレール代表点を無
効とした後、ステップS311に進み、無効とされなか
ったレール代表点(一方のレール代表点)から、左右レ
ール間隔、及び、レール方向の相対差を用いて他方のレ
ール代表点を補完する。
【0082】ステップS312、ステップS314、或
いはステップS315からステップS318に進むと、
ステップS318では、レール代表点の検索処理を自車
に対して遠方に位置する規定の検索ラインまで行ったか
否かを調べ、規定の検索ラインまでレール代表点の検索
を行ったと判断した場合には、そのままルーチンを抜け
る。
いはステップS315からステップS318に進むと、
ステップS318では、レール代表点の検索処理を自車
に対して遠方に位置する規定の検索ラインまで行ったか
否かを調べ、規定の検索ラインまでレール代表点の検索
を行ったと判断した場合には、そのままルーチンを抜け
る。
【0083】一方、ステップS318において、規定の
検索ラインまでレール代表点の検索処理を行っていない
と判断した場合にはステップS302に戻り、今回の検
索ラインよりも1つ遠方の検索ラインについて同様の検
索処理を繰り返す。
検索ラインまでレール代表点の検索処理を行っていない
と判断した場合にはステップS302に戻り、今回の検
索ラインよりも1つ遠方の検索ラインについて同様の検
索処理を繰り返す。
【0084】次に、ポイント検出部60によるポイント
検出処理について、図12に示すフローチャートを用い
て説明する。ポイント検出部60には、距離画像生成部
30の画像メモリにストアされている距離画像、レール
候補点抽出部40からの方向画像に関する情報、及びレ
ール追跡部52からのレール代表点に関する情報が入力
される。そして、これらの入力情報に基づいて、左右の
自車走行レール間に存在するレール候補点群を抽出し、
さらにこれを直線近似して、自車軌道に対して分岐又は
合流する隣接軌道のレールリード部を検出する。そし
て、検出されたリード部に基づいて自車走行レール上の
ポイントを特定するとともに距離画像に基づいてポイン
トまでの距離を検出する。
検出処理について、図12に示すフローチャートを用い
て説明する。ポイント検出部60には、距離画像生成部
30の画像メモリにストアされている距離画像、レール
候補点抽出部40からの方向画像に関する情報、及びレ
ール追跡部52からのレール代表点に関する情報が入力
される。そして、これらの入力情報に基づいて、左右の
自車走行レール間に存在するレール候補点群を抽出し、
さらにこれを直線近似して、自車軌道に対して分岐又は
合流する隣接軌道のレールリード部を検出する。そし
て、検出されたリード部に基づいて自車走行レール上の
ポイントを特定するとともに距離画像に基づいてポイン
トまでの距離を検出する。
【0085】ポイント検出処理がスタートすると、先
ず、ステップS401で、左右の自車走行レール間に矩
形の検索窓を設定する。ここで、図13(a),(b)
に示すように、検索窓の奥行きは、例えば前後に連なる
3個のレール代表点に対応して設定される。また、検索
窓の幅は、対応するレール代表点のうち画像平面上にお
いてそれぞれ最も内側に位置する左右のレール代表点間
の幅よりも小さくなるよう設定される。このように、検
索窓は自車走行レールに掛からない位置に設定される。
ず、ステップS401で、左右の自車走行レール間に矩
形の検索窓を設定する。ここで、図13(a),(b)
に示すように、検索窓の奥行きは、例えば前後に連なる
3個のレール代表点に対応して設定される。また、検索
窓の幅は、対応するレール代表点のうち画像平面上にお
いてそれぞれ最も内側に位置する左右のレール代表点間
の幅よりも小さくなるよう設定される。このように、検
索窓は自車走行レールに掛からない位置に設定される。
【0086】すなわち、リード部の長さは短い場合でも
30m程度(車両1両分)あることから、検索窓の奥行
きは、実空間投影した際に30m以下となるよう設定す
る必要がある。そこで、本実施の形態では、画像上の7
0m先に相当する位置で前後に連なる3個のレール代表
点間距離が実空間では20m程度の長さを表すことか
ら、検索窓の奥行きを前後に連なる3個のレール代表点
に対応して設定する。また、検索窓を自車走行レールに
掛からない位置に設定して自車走行レールをリード部と
して誤検出することを防止するため、検索窓の幅を対応
する各レール代表点のうち画像平面上においてそれぞれ
最も内側に位置する左右のレール代表点間の幅よりも小
さくなるよう設定する。
30m程度(車両1両分)あることから、検索窓の奥行
きは、実空間投影した際に30m以下となるよう設定す
る必要がある。そこで、本実施の形態では、画像上の7
0m先に相当する位置で前後に連なる3個のレール代表
点間距離が実空間では20m程度の長さを表すことか
ら、検索窓の奥行きを前後に連なる3個のレール代表点
に対応して設定する。また、検索窓を自車走行レールに
掛からない位置に設定して自車走行レールをリード部と
して誤検出することを防止するため、検索窓の幅を対応
する各レール代表点のうち画像平面上においてそれぞれ
最も内側に位置する左右のレール代表点間の幅よりも小
さくなるよう設定する。
【0087】続くステップS402では、設定された検
索窓内において、輝度の連続方向が同一であって直線状
に分布しているレール候補点に対してHough変換処
理(直線検出処理)を行い、リード部の候補となる直線
を検出する。
索窓内において、輝度の連続方向が同一であって直線状
に分布しているレール候補点に対してHough変換処
理(直線検出処理)を行い、リード部の候補となる直線
を検出する。
【0088】続くステップS403では、ステップS4
02の処理により検索窓内で直線が検出されたか否かを
調べ、直線が検出されていない場合にはそのままステッ
プS408にジャンプする。
02の処理により検索窓内で直線が検出されたか否かを
調べ、直線が検出されていない場合にはそのままステッ
プS408にジャンプする。
【0089】一方、ステップS402の処理により検索
窓内で直線が検出されていると判断してステップS40
3からステップS404に進むと、ステップS404で
は、検出された直線を表す方程式を算出した後、ステッ
プS405に進む。
窓内で直線が検出されていると判断してステップS40
3からステップS404に進むと、ステップS404で
は、検出された直線を表す方程式を算出した後、ステッ
プS405に進む。
【0090】ステップS405では、検索窓付近のレー
ル代表点に基づく自車走行レールの曲線方程式から左右
の自車走行レールの接線方程式を算出した後、ステップ
S406に進む。
ル代表点に基づく自車走行レールの曲線方程式から左右
の自車走行レールの接線方程式を算出した後、ステップ
S406に進む。
【0091】ステップS406では、検出した直線がリ
ード部であるか否かの判断を行う。具体的には、ステッ
プS406では、先ず、直線の傾きと左右の自車走行レ
ール(左右の自車走行レールの接線)の傾きとを比較
し、直線を延長した際に左右の自車走行レールとクロス
するか否かを調べる。そして、直線が自車走行レールと
クロスしない場合には、この直線はリード部ではないと
判断する。さらに、ステップS406では、自車走行レ
ールとクロスする直線に対し、この直線が検索窓の左半
分に位置し且つ左側の自車走行レールの傾きに近い傾き
を有するか否か、及び、この直線が検索窓の右半分に位
置し且つ右側の自車走行レールの傾きに近い傾きを有す
るか否かを調べる。そして、直線が検索窓の左半分に位
置し且つ左側の自車走行レールの傾きに近い傾きを有す
る場合、或いは、直線が検索窓の右半分に位置し且つ右
側の自車走行レールの傾きに近い傾きを有する場合に
は、この直線はリード部ではないと判断する。
ード部であるか否かの判断を行う。具体的には、ステッ
プS406では、先ず、直線の傾きと左右の自車走行レ
ール(左右の自車走行レールの接線)の傾きとを比較
し、直線を延長した際に左右の自車走行レールとクロス
するか否かを調べる。そして、直線が自車走行レールと
クロスしない場合には、この直線はリード部ではないと
判断する。さらに、ステップS406では、自車走行レ
ールとクロスする直線に対し、この直線が検索窓の左半
分に位置し且つ左側の自車走行レールの傾きに近い傾き
を有するか否か、及び、この直線が検索窓の右半分に位
置し且つ右側の自車走行レールの傾きに近い傾きを有す
るか否かを調べる。そして、直線が検索窓の左半分に位
置し且つ左側の自車走行レールの傾きに近い傾きを有す
る場合、或いは、直線が検索窓の右半分に位置し且つ右
側の自車走行レールの傾きに近い傾きを有する場合に
は、この直線はリード部ではないと判断する。
【0092】そして、ステップS406において、検出
した直線がリード部ではないと判断した場合にはステッ
プS408にジャンプする一方、検出した直線がリード
部であると判断した場合にはステップS407に進む。
した直線がリード部ではないと判断した場合にはステッ
プS408にジャンプする一方、検出した直線がリード
部であると判断した場合にはステップS407に進む。
【0093】ステップS407では、ステップS40
4,S405で求めた方程式からリード部と自車走行レ
ールとの交点を求めた後、ステップS408に進む。
4,S405で求めた方程式からリード部と自車走行レ
ールとの交点を求めた後、ステップS408に進む。
【0094】ステップS406或いはステップS407
からステップS408に進むと、ステップS408で
は、今回の検索窓よりも遠方に次のレール代表点がある
か否かを調べ、次のレール代表点があると判断した場合
にはステップS401に戻る。ここで、ステップS40
8からステップS401に戻ると、ステップS401で
は、図13(a)に一点鎖線で示すように、検出窓を前
回の検索窓よりも遠方にシフトさせ、1つ先のレール代
表点を含む3個のレール代表点に対応させて検索窓を設
定する。この場合、新たに設定された検索窓は、前回設
定された検索窓に対して一部重畳する。
からステップS408に進むと、ステップS408で
は、今回の検索窓よりも遠方に次のレール代表点がある
か否かを調べ、次のレール代表点があると判断した場合
にはステップS401に戻る。ここで、ステップS40
8からステップS401に戻ると、ステップS401で
は、図13(a)に一点鎖線で示すように、検出窓を前
回の検索窓よりも遠方にシフトさせ、1つ先のレール代
表点を含む3個のレール代表点に対応させて検索窓を設
定する。この場合、新たに設定された検索窓は、前回設
定された検索窓に対して一部重畳する。
【0095】一方、ステップS408において、次のレ
ール代表点がないと判断した場合にはステップS409
に進み、ステップS409では、先ず、各検索窓毎に検
出されたリード部の中から、同一のリード部として少な
くとも3個以上の異なる検索窓で連続して検出されたリ
ード部を抽出する。そして、各検索窓毎に算出された抽
出リード部の自車走行レールとの交点を統計処理し、統
計処理された左右一対の交点のうち自車に近い交点の位
置をポイントの位置として設定する。
ール代表点がないと判断した場合にはステップS409
に進み、ステップS409では、先ず、各検索窓毎に検
出されたリード部の中から、同一のリード部として少な
くとも3個以上の異なる検索窓で連続して検出されたリ
ード部を抽出する。そして、各検索窓毎に算出された抽
出リード部の自車走行レールとの交点を統計処理し、統
計処理された左右一対の交点のうち自車に近い交点の位
置をポイントの位置として設定する。
【0096】続くステップS410では、距離画像生成
部30から入力された距離画像に基づいて、各ポイント
位置までの実距離を算出した後、ルーチンを抜ける。
部30から入力された距離画像に基づいて、各ポイント
位置までの実距離を算出した後、ルーチンを抜ける。
【0097】次に、開閉識別部70によるポイント位置
におけるリード部の開閉識別処理について、図14に示
すフローチャートを用いて説明する。開閉識別部70
は、画像取込部20内の画像メモリにストアされている
一対の画像のうちの一方の画像(基準画像)、及びポイ
ント検出部60からのポイントに関する情報が入力さ
れ、ポイントの位置に基づいて、ポイントの開閉識別を
行うための評価領域を画像上に設定する。そして、この
評価領域内の各画素における輝度の連続性を評価してポ
イントの開閉状態を識別するものである。
におけるリード部の開閉識別処理について、図14に示
すフローチャートを用いて説明する。開閉識別部70
は、画像取込部20内の画像メモリにストアされている
一対の画像のうちの一方の画像(基準画像)、及びポイ
ント検出部60からのポイントに関する情報が入力さ
れ、ポイントの位置に基づいて、ポイントの開閉識別を
行うための評価領域を画像上に設定する。そして、この
評価領域内の各画素における輝度の連続性を評価してポ
イントの開閉状態を識別するものである。
【0098】リード部の開閉識別は自車に対して手前側
のポイントから順次行われるもので、開閉識別処理がス
タートすると、先ず、ステップS501では、リード部
の開閉状態を未識別のポイントがあるか否かを調べる。
そして、ステップS501において、未識別のポイント
がないと判断した場合にはそのままルーチンを抜ける。
のポイントから順次行われるもので、開閉識別処理がス
タートすると、先ず、ステップS501では、リード部
の開閉状態を未識別のポイントがあるか否かを調べる。
そして、ステップS501において、未識別のポイント
がないと判断した場合にはそのままルーチンを抜ける。
【0099】一方、ステップS501で未識別のポイン
トがあると判断した場合にはステップS502に進み、
未識別のポイントのうち最も手前のポイントに対して開
閉識別を行うべく、上記ポイントを中心とした評価領域
を設定する。
トがあると判断した場合にはステップS502に進み、
未識別のポイントのうち最も手前のポイントに対して開
閉識別を行うべく、上記ポイントを中心とした評価領域
を設定する。
【0100】続くステップS503では、設定された評
価領域内の各画素に対して輝度の連続性の評価を行い、
上記各画素の中からレールを表す画素(以下、レール表
示点と称す)を抽出する。
価領域内の各画素に対して輝度の連続性の評価を行い、
上記各画素の中からレールを表す画素(以下、レール表
示点と称す)を抽出する。
【0101】ここで、レール表示点の抽出は、上述のレ
ール候補点抽出処理と略同様の処理により行われる。す
なわち、このレール表示点抽出処理では、先ず、評価領
域内の画素に対して順次注目し、注目画素に対する複数
方向への輝度の連続性の評価を行う。この際、レール表
示点の検出精度を向上するため、例えば注目画素に対し
て12×2画素の小領域を36方向設定し、各検索方向
への小領域毎に輝度の連続性の評価値を求める。そし
て、輝度の連続性の評価値の最小値と最大値とに基づい
て、注目画素がある方向に特化した輝度の連続性を有す
る画素であるか否かを調べ、注目画素がある方向に特化
した輝度の連続性を有する画素である場合には、その注
目画素をレール表示点として抽出する。
ール候補点抽出処理と略同様の処理により行われる。す
なわち、このレール表示点抽出処理では、先ず、評価領
域内の画素に対して順次注目し、注目画素に対する複数
方向への輝度の連続性の評価を行う。この際、レール表
示点の検出精度を向上するため、例えば注目画素に対し
て12×2画素の小領域を36方向設定し、各検索方向
への小領域毎に輝度の連続性の評価値を求める。そし
て、輝度の連続性の評価値の最小値と最大値とに基づい
て、注目画素がある方向に特化した輝度の連続性を有す
る画素であるか否かを調べ、注目画素がある方向に特化
した輝度の連続性を有する画素である場合には、その注
目画素をレール表示点として抽出する。
【0102】続くステップS504では、評価領域内の
レール表示点が自車走行レールを横切る方向にレール幅
以上連続しているか否かを調べる。そして、ステップS
504において、評価領域内のレール表示点が自車走行
レールを横切る方向にレール幅以上連続していると判断
した場合にはステップS505に進み、このポイントに
おいてリード部は自車走行レールに連結されている(ポ
イントが閉じている)と判定した後、ステップS501
に戻る。
レール表示点が自車走行レールを横切る方向にレール幅
以上連続しているか否かを調べる。そして、ステップS
504において、評価領域内のレール表示点が自車走行
レールを横切る方向にレール幅以上連続していると判断
した場合にはステップS505に進み、このポイントに
おいてリード部は自車走行レールに連結されている(ポ
イントが閉じている)と判定した後、ステップS501
に戻る。
【0103】一方、ステップS504において、評価領
域内のレール表示点が自車走行レールを横切る方向にレ
ール幅以上連続していないと判断した場合には、ステッ
プS506に進み、このポイントにおいてリード部は自
車走行レールに連結されていない(ポイントが開いてい
る)と判定した後、ステップS501に戻る。
域内のレール表示点が自車走行レールを横切る方向にレ
ール幅以上連続していないと判断した場合には、ステッ
プS506に進み、このポイントにおいてリード部は自
車走行レールに連結されていない(ポイントが開いてい
る)と判定した後、ステップS501に戻る。
【0104】このような実施の形態によれば、ポイント
の検出は、左右の自車走行レール間を検索して隣接レー
ルのリード部を検出することにより行うので、ポイント
の検出精度を向上することができる。すなわち、走行環
境や撮像条件等によっては検出が困難となる隣接レール
の検出を行うことなくポイント検出を行うことができる
ので、ポイントの検出精度を向上することができる。ま
た、隣接レールの追跡処理等を行う必要がないため、ポ
イント検出処理時の負荷を軽減することができる。
の検出は、左右の自車走行レール間を検索して隣接レー
ルのリード部を検出することにより行うので、ポイント
の検出精度を向上することができる。すなわち、走行環
境や撮像条件等によっては検出が困難となる隣接レール
の検出を行うことなくポイント検出を行うことができる
ので、ポイントの検出精度を向上することができる。ま
た、隣接レールの追跡処理等を行う必要がないため、ポ
イント検出処理時の負荷を軽減することができる。
【0105】また、リード部の検出は、各画素における
輝度の連続性を評価して抽出したレール候補点を用いて
行うので、外光等による影響を低減することができ、ポ
イントの検出精度を向上することができる。
輝度の連続性を評価して抽出したレール候補点を用いて
行うので、外光等による影響を低減することができ、ポ
イントの検出精度を向上することができる。
【0106】また、リード部の検出は、自車走行レール
間で自車走行レールに掛からない位置に設定した検索窓
内で検出したリード部の候補となる直線に基づいて行う
ので、自車走行レールをリード部として誤検出すること
を防止でき、ポイントの検出精度を向上することができ
る。
間で自車走行レールに掛からない位置に設定した検索窓
内で検出したリード部の候補となる直線に基づいて行う
ので、自車走行レールをリード部として誤検出すること
を防止でき、ポイントの検出精度を向上することができ
る。
【0107】また、リード部の候補として検出した直線
が左右の自車走行レールとクロスしない場合には、この
直線をリード部から除外することにより、リード部の検
出精度を向上することができ、ポイントの検出精度を向
上することができる。
が左右の自車走行レールとクロスしない場合には、この
直線をリード部から除外することにより、リード部の検
出精度を向上することができ、ポイントの検出精度を向
上することができる。
【0108】また、リード部の候補として検出した直線
が検索窓の左半分に位置し且つ左側の自車走行レールの
傾きに近い傾きを有する場合、或いは、上記直線が検索
窓の右半分に位置し且つ右側の自車走行レールの傾きに
近い傾きを有する場合には、この直線をリード部から除
外することにより、リード部の検出精度を向上すること
ができ、ポイントの検出精度を向上することができる。
が検索窓の左半分に位置し且つ左側の自車走行レールの
傾きに近い傾きを有する場合、或いは、上記直線が検索
窓の右半分に位置し且つ右側の自車走行レールの傾きに
近い傾きを有する場合には、この直線をリード部から除
外することにより、リード部の検出精度を向上すること
ができ、ポイントの検出精度を向上することができる。
【0109】また、ポイントの開閉識別は、ポイントを
基準とした評価領域を設定し、この評価領域内の各画素
における輝度の連続性を評価して行うので、外光等によ
る影響を低減することができる。
基準とした評価領域を設定し、この評価領域内の各画素
における輝度の連続性を評価して行うので、外光等によ
る影響を低減することができる。
【0110】また、ポイントの開閉識別は、各画素の輝
度の連続性の評価に基づいて抽出したレールを表す画素
が自車走行レールを横切る方向にレール幅以上連続して
いるか否かにより行うものであるので、容易且つ短時間
で行うことができる。
度の連続性の評価に基づいて抽出したレールを表す画素
が自車走行レールを横切る方向にレール幅以上連続して
いるか否かにより行うものであるので、容易且つ短時間
で行うことができる。
【0111】また、上述のように構成された軌道認識装
置2を、保守用車両等のような営業運転終了後に営業用
本線等を走行する鉄道車両1に搭載することにより、認
識したポイントに関する情報を効果的に有効利用するこ
とができる。
置2を、保守用車両等のような営業運転終了後に営業用
本線等を走行する鉄道車両1に搭載することにより、認
識したポイントに関する情報を効果的に有効利用するこ
とができる。
【0112】また、本実施の形態において、ステレオカ
メラを使用して自車進行方向の風景における輝度データ
と距離データを取得したが、本発明はこれに限定される
ものではなく、例えば単眼カメラとレーダーの組合せに
より、それぞれ輝度データと距離データを取得するよう
にしてもよい。この場合、本実施の形態の説明における
立体物の検出やポイントまでの距離はレーダによって検
出されることになる。
メラを使用して自車進行方向の風景における輝度データ
と距離データを取得したが、本発明はこれに限定される
ものではなく、例えば単眼カメラとレーダーの組合せに
より、それぞれ輝度データと距離データを取得するよう
にしてもよい。この場合、本実施の形態の説明における
立体物の検出やポイントまでの距離はレーダによって検
出されることになる。
【0113】
【発明の効果】以上説明したように本発明によれば、自
車軌道に関する情報を精度よく認識することのできる軌
道認識装置及び軌道認識装置を用いた鉄道車両を提供す
ることができる。
車軌道に関する情報を精度よく認識することのできる軌
道認識装置及び軌道認識装置を用いた鉄道車両を提供す
ることができる。
【図1】軌道車両に搭載された軌道認識装置を示す機能
ブロック図
ブロック図
【図2】レール候補点抽出処理のフローチャート
【図3】画像上の検索領域を示す説明図
【図4】各検索方向への輝度の連続性を評価する際の小
領域を表す説明図
領域を表す説明図
【図5】輝度の連続性の検索方向とその評価値との関係
を表す図表
を表す図表
【図6】レール候補点の方向画像を表す説明図
【図7】基準点検出処理のフローチャート
【図8】方向画像における基準点検索領域を示す説明図
【図9】レール追跡処理のフローチャート
【図10】レール追跡処理のフローチャート
【図11】レール代表点の検索ラインを示す説明図
【図12】ポイント検出処理のフローチャート
【図13】検索窓を示す説明図
【図14】開閉識別処理のフローチャート
1 車両(鉄道車両) 2 軌道認識装置 10 ステレオカメラ(撮像手段) 40 レール候補点抽出部 50 自車走行レール検出部(レール検出手段) 60 ポイント検出部(ポイント検出手段) 70 開閉識別部(開閉識別手段) 100 制御部(制御手段)
Claims (11)
- 【請求項1】 撮像手段で捕らえた自車の進行方向の画
像を用いて自車軌道を認識する軌道認識装置であって、 上記画像に基づいて左右一対の自車走行レールを検出す
るレール検出手段と、 上記画像上における上記左右の自車走行レール間を検索
して隣接レールのリード部を検出するとともに、このリ
ード部に基づいて上記自車走行レールが隣接レールと合
流或いは分岐するポイントを検出するポイント検出手段
と、を備えたことを特徴とする軌道認識装置。 - 【請求項2】 上記画像上の各画素における輝度の連続
性を評価してレール候補点を抽出するレール候補点抽出
手段を備え、 上記ポイント検出手段は、上記レール候補点に基づいて
上記リード部を検出することを特徴とする請求項1に記
載の軌道認識装置。 - 【請求項3】 上記ポイント検出手段は、上記左右の自
車走行レール間に複数の検索窓を設定し、上記レール候
補点に基づいて上記検索窓毎に上記リード部の候補とな
る直線検出を行うことを特徴とする請求項2に記載の軌
道認識装置。 - 【請求項4】 上記検索窓は、上記自車走行レールに掛
からない位置に設定されることを特徴とする請求項3に
記載の軌道認識装置。 - 【請求項5】 上記ポイント検出手段は、検出した上記
直線が上記左右の自車走行レールとクロスしない場合に
は、この直線をリード部から除外することを特徴とする
請求項3または請求項4に記載の軌道認識装置。 - 【請求項6】 上記ポイント検出手段は、検出した上記
直線が上記検索窓の左半分に位置し且つ左側の上記自車
走行レールの傾きに近い傾きを有する場合、或いは、上
記直線が上記検索窓の右半分に位置し且つ右側の上記自
車走行レールの傾きに近い傾きを有する場合には、この
直線をリード部から除外することを特徴とする請求項3
乃至請求項5の何れかに記載の軌道認識装置。 - 【請求項7】 上記ポイント検出手段は、検出した上記
リード部の上記自車走行レールに対する左右一対の交点
のうち自車に近い交点の位置を上記ポイントとして設定
することを特徴とする請求項1乃至請求項6の何れかに
記載の軌道認識装置。 - 【請求項8】 上記画像上に上記ポイントを基準とした
評価領域を設定し、上記評価領域内の各画素における輝
度の連続性を評価して上記ポイントの開閉識別を行う開
閉識別手段を備えたことを特徴とする請求項1乃至請求
項7の何れかに記載の軌道認識装置。 - 【請求項9】 撮像手段で捉えた自車の進行方向の画像
を用いて自車軌道を認識する軌道認識装置であって、 上記画像に基づいて左右一対の自車走行レールを検出す
るレール検出手段と、上記自車走行レールが隣接レール
と合流或いは分岐するポイントを検出するポイント検出
手段と、 上記画像上に上記ポイントを基準とした評価領域を設定
し、上記評価領域内の各画素における輝度の連続性を評
価して上記ポイントの開閉状態を識別する開閉識別手段
と、を備えたことを特徴とする軌道認識装置。 - 【請求項10】 上記開閉識別手段は、上記評価領域内
の各画素における輝度の連続性の評価に基づいてレール
を表す画素の抽出を行い、上記レールを表す画素が上記
自車走行レールを横切る方向にレール幅以上連続してい
るとき、上記ポイントが閉じていると判定することを特
徴とする請求項8または請求項9に記載の軌道認識装
置。 - 【請求項11】 請求項1乃至請求項10の何れかに記
載の軌道認識装置を用いた鉄道車両であって、 上記軌道認識装置で認識したポイントに関する情報に基
づいて車両制御或いは搭乗者への表示制御の少なくとも
何れか一方を行う制御手段を備えたことを特徴とする軌
道認識装置を用いた鉄道車両。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000186724A JP2002008019A (ja) | 2000-06-21 | 2000-06-21 | 軌道認識装置及び軌道認識装置を用いた鉄道車両 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000186724A JP2002008019A (ja) | 2000-06-21 | 2000-06-21 | 軌道認識装置及び軌道認識装置を用いた鉄道車両 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2002008019A true JP2002008019A (ja) | 2002-01-11 |
Family
ID=18686832
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000186724A Pending JP2002008019A (ja) | 2000-06-21 | 2000-06-21 | 軌道認識装置及び軌道認識装置を用いた鉄道車両 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2002008019A (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008059323A (ja) * | 2006-08-31 | 2008-03-13 | Fuji Heavy Ind Ltd | 壁検出装置 |
JP2016192109A (ja) * | 2015-03-31 | 2016-11-10 | 公益財団法人鉄道総合技術研究所 | 障害物検知方法およびその装置 |
JP2018039288A (ja) * | 2016-09-05 | 2018-03-15 | 株式会社明電舎 | 分岐器進入可否判定装置及び分岐器進入可否判定方法 |
WO2019203354A1 (ja) * | 2018-04-20 | 2019-10-24 | 株式会社東芝 | 軌道識別装置 |
JP2019218022A (ja) * | 2018-06-22 | 2019-12-26 | 株式会社東芝 | 線路検出装置 |
CN112399942A (zh) * | 2018-06-26 | 2021-02-23 | 株式会社东芝 | 检测区域数据库制作装置 |
CN112508893A (zh) * | 2020-11-27 | 2021-03-16 | 中国铁路南宁局集团有限公司 | 基于机器视觉的铁路双轨间微小异物检测方法及系统 |
US11210548B2 (en) | 2017-04-21 | 2021-12-28 | Kabushiki Kaisha Toshiba | Railroad track recognition device, program, and railroad track recognition method |
WO2022123641A1 (ja) * | 2020-12-08 | 2022-06-16 | 三菱電機株式会社 | レール検出装置及びレール検出方法 |
CN116866501A (zh) * | 2023-09-04 | 2023-10-10 | 天亿纵横智能科技(天津)有限公司 | 一种用于动车底部检测的车厢底部大图图像合成系统 |
-
2000
- 2000-06-21 JP JP2000186724A patent/JP2002008019A/ja active Pending
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008059323A (ja) * | 2006-08-31 | 2008-03-13 | Fuji Heavy Ind Ltd | 壁検出装置 |
JP2016192109A (ja) * | 2015-03-31 | 2016-11-10 | 公益財団法人鉄道総合技術研究所 | 障害物検知方法およびその装置 |
JP2018039288A (ja) * | 2016-09-05 | 2018-03-15 | 株式会社明電舎 | 分岐器進入可否判定装置及び分岐器進入可否判定方法 |
US11210548B2 (en) | 2017-04-21 | 2021-12-28 | Kabushiki Kaisha Toshiba | Railroad track recognition device, program, and railroad track recognition method |
CN112004732B (zh) * | 2018-04-20 | 2022-06-21 | 株式会社东芝 | 铁路轨道识别装置 |
WO2019203354A1 (ja) * | 2018-04-20 | 2019-10-24 | 株式会社東芝 | 軌道識別装置 |
JP2019188918A (ja) * | 2018-04-20 | 2019-10-31 | 株式会社東芝 | 軌道識別装置 |
CN112004732A (zh) * | 2018-04-20 | 2020-11-27 | 株式会社东芝 | 铁路轨道识别装置 |
JP7080706B2 (ja) | 2018-04-20 | 2022-06-06 | 株式会社東芝 | 軌道識別装置 |
JP2019218022A (ja) * | 2018-06-22 | 2019-12-26 | 株式会社東芝 | 線路検出装置 |
CN112399942A (zh) * | 2018-06-26 | 2021-02-23 | 株式会社东芝 | 检测区域数据库制作装置 |
CN112399942B (zh) * | 2018-06-26 | 2023-09-08 | 株式会社东芝 | 检测区域数据库制作装置 |
CN112508893A (zh) * | 2020-11-27 | 2021-03-16 | 中国铁路南宁局集团有限公司 | 基于机器视觉的铁路双轨间微小异物检测方法及系统 |
CN112508893B (zh) * | 2020-11-27 | 2024-04-26 | 中国铁路南宁局集团有限公司 | 基于机器视觉的铁路双轨间微小异物检测方法及系统 |
JPWO2022123641A1 (ja) * | 2020-12-08 | 2022-06-16 | ||
WO2022123641A1 (ja) * | 2020-12-08 | 2022-06-16 | 三菱電機株式会社 | レール検出装置及びレール検出方法 |
CN116866501A (zh) * | 2023-09-04 | 2023-10-10 | 天亿纵横智能科技(天津)有限公司 | 一种用于动车底部检测的车厢底部大图图像合成系统 |
CN116866501B (zh) * | 2023-09-04 | 2023-11-14 | 天亿纵横智能科技(天津)有限公司 | 一种用于动车底部检测的车厢底部大图图像合成系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3596314B2 (ja) | 物体端の位置計測装置および移動体の通行判断装置 | |
US7612800B2 (en) | Image processing apparatus and method | |
KR102485480B1 (ko) | 가상 주차선 생성에 의한 주차 지원 장치 및 그 방법 | |
Jung et al. | A lane departure warning system using lateral offset with uncalibrated camera | |
Wohlfeil | Vision based rail track and switch recognition for self-localization of trains in a rail network | |
KR101569919B1 (ko) | 차량의 위치 추정 장치 및 방법 | |
US20070127778A1 (en) | Object detecting system and object detecting method | |
WO2016129403A1 (ja) | 物体検知装置 | |
JP4407920B2 (ja) | 障害物認識方法及び障害物認識装置 | |
JP6597792B2 (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム | |
JP4872769B2 (ja) | 路面判別装置および路面判別方法 | |
CN107909012B (zh) | 一种基于视差图的实时车辆跟踪检测方法与装置 | |
JPH11252587A (ja) | 物体追跡装置 | |
JP2006105661A (ja) | ステレオ画像による平面推定方法 | |
JP6139088B2 (ja) | 車両検知装置 | |
JP4123138B2 (ja) | 車両検知方法及び車両検知装置 | |
JP2002008019A (ja) | 軌道認識装置及び軌道認識装置を用いた鉄道車両 | |
JP2003281700A (ja) | 割り込み車両検出装置及びその方法 | |
JP3629935B2 (ja) | 移動体の速度計測方法およびその方法を用いた速度計測装置 | |
JP2002002485A (ja) | 軌道認識装置及び軌道認識装置を用いた鉄道車両 | |
JP2007179386A (ja) | 白線認識方法及び白線認識装置 | |
Espino et al. | Rail and turnout detection using gradient information and template matching | |
JPH11345392A (ja) | 障害物検出装置及び障害物検出方法 | |
JPH10320559A (ja) | 車両用走行路検出装置 | |
JP4739699B2 (ja) | ナンバープレート認識装置及び方法 |