JP2006127384A - 白線認識方法及び白線認識装置並びに白線認識システム - Google Patents

Abstract

【課題】複雑な画像処理を必要とせずに、車両と白線との位置関係を認識する技術を提供することが目的とされる。
【解決手段】白線認識システムは、撮像装置１及び白線認識装置２を備える。撮像装置１は、設置された位置から視野７を撮像する。白線認識装置２は画像処理部２２及び制御部２４を備え、画像処理部２２は抽出部及び演算部を有する。抽出部は、撮像された画像に基づいて、白線のエッジ及び車両のサイドのエッジを抽出する。演算部は、抽出部で抽出された結果に基づいて、白線のエッジとサイドのエッジとの距離ｄを算出する。制御部２４は、当該距離が所定の閾値α以下であると判断した場合には、自車両の運転を支援するための信号Ｓ２を出力する。
【選択図】図１

Description

この発明は、白線を認識する技術に関し、特に白線と車両との位置関係を検出する技術に関する。

従来から、車両のフロントやバックに設けられたカメラで撮像された画像に基づいて、白線を認識し、車両との位置関係を検出していた。これによれば、車両が走行している車線から逸脱しそうな時に、例えば運転者に警告などすることで、車線の逸脱を防止していた。

白線と車両との位置関係を認識するための画像処理において、車両のフロントやバックから撮像された画像を用いた場合、複雑な画像処理が必要とされるため演算量が増大していた。

また、画像処理の演算時間を短縮することが望まれるため、画像処理が複雑になるほど演算装置（例えば、ＣＰＵ（Central Processing Unit）など）として高速に演算できるものが必要とされ、これに伴いコストが増大していた。

本発明は、上述した事情に鑑みてなされたものであり、複雑な画像処理を必要とせずに、車両と白線との位置関係を認識する技術を提供することが目的とされる。

この発明の請求項１にかかる白線認識方法は、（ａ）車両のサイドの少なくともいずれか一方で撮像された、白線を含む視野範囲の画像を取得するステップと、（ｂ）前記画像に基づいて前記白線のエッジを抽出するステップと、（ｃ）前記ステップ（ｂ）で抽出した結果に基づいて、前記白線の前記エッジと、前記サイドのエッジとの距離を算出するステップとを備える。

この発明の請求項２にかかる白線認識方法は、請求項１記載の白線認識方法であって、前記ステップ（ａ）では、前記サイドをも含む前記視野範囲の前記画像が取得され、前記ステップ（ｂ）では、前記画像に基づいて更に前記サイドの前記エッジをも抽出する。

この発明の請求項３にかかる白線認識方法は、請求項１または請求項２記載の白線認識方法であって、前記ステップ（ｃ）では、前記サイドの前記エッジの所定の位置について前記距離が算出される。

この発明の請求項４にかかる白線認識方法は、請求項１乃至請求項３のいずれか一つに記載の白線認識方法であって、（ｄ）前記ステップ（ｃ）で算出された前記距離が所定の閾値以下である場合に、前記車両の運転を支援するステップを更に備える。

この発明の請求項５にかかる白線認識装置は、車両のサイドの少なくともいずれか一方で撮像された、白線を含む視野範囲の画像に基づいて、前記白線のエッジを抽出する抽出部と、前記抽出部で抽出された結果に基づいて、前記白線の前記エッジと、前記サイドのエッジとの距離を算出する演算部と、前記抽出部及び前記演算部を制御する制御部とを備える。

この発明の請求項６にかかる白線認識装置は、請求項５記載の白線認識装置であって、前記抽出部は、前記サイドをも含む前記視野範囲の前記画像に基づいて、更に前記サイドの前記エッジをも抽出する。

この発明の請求項７にかかる白線認識装置は、請求項５または請求項６記載の白線認識装置であって、前記演算部は、前記サイドの前記エッジの所定の位置について前記距離を算出する。

この発明の請求項８にかかる白線認識装置は、請求項５乃至請求項７のいずれか一つに記載の白線認識装置であって、前記制御部は、前記演算部で算出された前記距離が所定の閾値以下である場合に、前記車両の運転を支援する。

この発明の請求項９にかかる白線認識システムは、請求項５乃至請求項８のいずれか一つに記載の白線認識装置と、前記視野範囲を撮像する撮像装置とを有する。

この発明の請求項１にかかる白線認識方法、請求項５にかかる白線認識装置もしくは請求項９にかかる白線認識システムによれば、サイドのエッジと白線のエッジとの距離を算出することで、複雑な画像処理を必要とせずに白線と車両との位置関係を容易に認識することができる。よって、演算の速度が向上し、例えば車線の逸脱などを運転者により早く認知させることができる。しかも、高速で演算できる高価な演算装置の必要性が低減され、以ってコストが低減される。

この発明の請求項２にかかる白線認識方法もしくは請求項６にかかる白線認識装置によれば、白線の認識に並行して車両のサイドのエッジをも認識することで、両者の距離を精度良く算出できる。

この発明の請求項３にかかる白線認識方法もしくは請求項７にかかる白線認識装置によれば、サイドのエッジと白線のエッジとの距離を、所定の位置について算出するだけでよく、以って演算の速度がより向上される。

この発明の請求項４にかかる白線認識方法もしくは請求項８にかかる白線認識装置によれば、運転者が意図しないにも拘わらず車両が白線を越えて移動することが、運転の支援によって回避される。

図１は、本発明にかかる白線認識システムを概念的に示すブロック図である。白線認識システムは、撮像装置１、白線認識装置２及び表示器３を備える。

白線認識システムを車両に適用した態様が、図２には上面図で、図３には側面図でそれぞれ示されている。撮像装置１は、車両のサイドに設置される。図２及び図３では、左サイドのドアハンドルに撮像装置１を設置した場合が示されている。例えば、ドアミラーに撮像装置１を内蔵してもよい。そして、撮像装置１は、設置された位置から視野７を撮像する。

表示器３は、図２で示されるように例えば車内に設けられ、撮像装置１で撮像された視野７の画像を表示する。表示器３は、例えば運転者が視認できる位置に設けられる。視野７の画像を表示器３に表示した場合が、図４及び図５に例示されている。この画像では、撮像装置を設けた車両（以下、自車両という）４のサイド４２及び白線７１が映し出されている。図５では、図４で示される場合に比べて、車両４が白線７１に近づいた場合が示されている。また、図４及び図５には、画像の歪みが点線によって示されており、後述する図８〜１１においても同様である。

白線認識装置２は、ＡＤＣ（Analog Digital Converter）２１、画像処理部２２、画像メモリ（例えばＶＲＡＭ（Video Random Access Memory））２３、制御部２４及びＤＡＣ（Digital Analog Converter）２５を備え、図６で示されるフローチャートに従って、画像の処理を行う。

まず、撮像装置１で撮像された視野７の画像（図４，図５）が、アナログ信号Ｐａ１によりＡＤＣ２１に入力される（ステップ１０１）。この内容は、車両のサイドの少なくとも一方で撮像された視野７の画像を、白線認識装置１が取得すると把握できる。

ＡＤＣ２１は、入力された画像をアナログ信号Ｐａ１からデジタル信号Ｐｄ１へと変換し、これを画像処理部２２に与える。

図７は、画像処理部２２を概念的に示すブロック図である。画像処理部２２は、抽出部２２１及び演算部２２２を有する。画像のデジタル信号Ｐｄ１は、抽出部２２１に入力される。

抽出部２２１は、デジタル信号Ｐｄ１に基づいて、白線７１のエッジ７１１及び自車両４のサイド４２のエッジ４２１を抽出する（ステップ１０２）。

演算部２２２は、抽出部２２１で抽出された結果に基づいて、白線７１のエッジ７１１と、サイド４２のエッジ４２１との距離ｄを算出する（ステップ１０３）。具体的には、図４及び図５で示されるように、エッジ４２１上の位置ｙ１，ｙ２，・・・，ｙｍ，・・・，ｙｎの各々において、エッジ７１１とエッジ４２１との画面の水平方向の距離ｄ（ｙ１），ｄ（ｙ２），・・・，ｄ（ｙｍ），・・・，ｄ（ｙｎ）を求め、これら距離の平均値を距離ｄとして算出する。距離ｄ（ｙ１），ｄ（ｙ２），・・・，ｄ（ｙｍ），・・・，ｄ（ｙｎ）には、例えば画像の歪みを補正したものを採用してもよい。

これらの画像処理（ステップ１０２，１０３）は、制御部２４から画像処理部２２に入力される制御指令Ｓに基づいて行われる。制御指令Ｓは、例えば白線認識装置の外部から入力される信号Ｓ１に従って制御部２４で発生される。信号Ｓ１には、例えば操舵角、自車両４の速度やウィンカ信号などが含まれる。これらの内容は、図７では破線によって示されている。

画像処理部２２で画像処理された結果、すなわち距離ｄは、制御部２４に与えられる。これに並行して、制御部２４には距離に関する所定の閾値αが入力される。所定の閾値αは、予め制御部２４に記憶されていても良い。

制御部２４は、距離ｄが所定の閾値αより大きいと判断した場合（ステップ１０４）には、再びステップ１０１に戻って、ステップ１０１〜ステップ１０４を繰り返す。すなわち、自車両４が白線７１を越えて、走行している車線を逸脱する可能性が低いため、運転の判断をそのまま運転者に任せる。

一方、距離ｄが所定の閾値α以下であると判断した場合（ステップ１０４）、すなわち自車両４が白線７１を越えて車線を逸脱する可能性が高いと判断した場合には、制御部２４は、自車両４の運転を支援する（ステップ１０５）ための信号Ｓ２を出力する。

運転の支援には、例えば表示器３への警告文の表示や、別途設けられたスピーカからの警告音の出力が採用できる。さらには、自車両４が白線７１を越えて車線を逸脱しないように、ステアリングに荷重をかけることで、運転を支援してもよい。一方、制御部２４に入力された信号Ｓ１にウィンカ信号が含まれる場合には、運転者自らの判断で車線を変更するので、上記した運転支援を行わなくてもよい。

このように運転を支援することで、運転者が意図しないにも拘わらず自車両４が白線７１を越えて移動することが、運転の支援によって回避される。

上述した内容によれば、サイド４２のエッジ４２１と白線７１のエッジ７１１との距離ｄを算出することで、複雑な画像処理を必要とせずに白線７１と車両４との位置関係を容易に認識することができる。よって、演算の速度が向上し、車線の逸脱などを運転者により早く認知させることができる。しかも、コストが低減できる。

演算部２２２で算出される距離ｄには、例えば、エッジ４２１上の所定の位置における、エッジ７１１とエッジ４２１との画面の水平方向の距離を採用してもよい。具体的には、図８及び図９で示されるようにエッジ４２１上の所定の位置ｙｍにおいて、エッジ７１１とエッジ４２１との画面の水平方向の距離ｄ（ｙｍ）を求め、これを距離ｄとして算出する。図９では、図８で示される場合に比べて、車両４が白線７１に近づいた場合が示されている。

これによれば、サイド４２のエッジ４２１と白線７１のエッジ７１１との距離ｄ（ｙｍ）を、所定の位置ｙｍについて算出するだけでよく、以って演算の速度がより向上される。

車両４が白線７１を越えて車線を逸脱する可能性を、上述では距離ｄを用いて判断したが、例えば白線７１のエッジ７１１の位置を用いて判断してもよい。具体的な態様を、図１０及び図１１に従って説明する。

図１０及び図１１で示されるように、画面にｘ軸が設定され、その原点が画面の右端とされる。このとき、ｘ軸の正の方向は、画面の右端から左端へと向かう。ｘ軸及びその原点の設定は、これに限らずその他の場合であってもよい。そして、画像処理部２２では、抽出部２２１は白線７１のエッジ７１１だけを抽出し、これを演算部２２２に与える。演算部２２２は、エッジ７１１と交わるｘ軸上の位置ｘ１を算出し、これを制御部２４に与える。

制御部２４には、さらに位置に関する所定の閾値αが与えられる。制御部２４は、位置ｘ１が所定の閾値αより大きいと判断した場合には、運転の判断をそのまま運転者に任せる。一方、位置ｘ１が所定の閾値α以下であると判断した場合には、運転支援を行うための信号Ｓ２を出力する。図１０では位置ｘ１が所定の閾値αより大きい場合が、図１１では位置ｘ１が所定の閾値α以下である場合がそれぞれ示されている。

上述した所定の閾値αには、例えばサイド４２のエッジ４２１が交わるｘ軸上の位置ｘ２から、所定の距離ｌだけ隔たった位置が採用される。例えば、サイド４２のエッジ４２１を抽出部２２１で抽出して、演算部で位置ｘ２を求め、位置ｘ２と所定の距離ｌとの和を求めることで所定の閾値αが得られる。なお、所定の閾値αは位置ｘ１を算出する毎に求める必要はなく、例えば一旦算出した後はそれを制御部２４で記憶しておいてもよい。

このような態様によれば、白線７１のエッジ７１１の位置ｘ１を算出するだけでよく、以って演算の速度がより向上される。

図１に戻って、撮像装置１で撮像された視野７の画像の表示器３への表示は、次のようにして行われる。画像のデジタル信号Ｐｄ２が、画像処理部２２からＤＡＣ２５へと与えられる。デジタル信号Ｐｄ２は、ＡＤＣ２１から画像処理部２２に入力されたデジタル信号Ｐｄ１と同じであってもよいし、例えば画像処理部２２で画像処理されたものであってもよい。

ＤＡＣ２５は、デジタル信号Ｐｄ２をアナログ信号Ｐａ２に変換し、これを表示器３に入力する。表示器３は、アナログ信号Ｐａ２に基づく画像を表示する。画像を表示器３に表示する際には、例えば画像メモリ２３が用いられる。

上述では図２で示されるように、撮像装置１を特に車両の左サイドに設置した場合について説明したが、例えば車両の右サイドに設置する場合や、両サイドに設置する場合であってもよい。

また上述では、本発明にかかる画像処理の技術が明確となるように、撮像装置１で撮像した画像を表示器３で表示させた態様（図４，図５，図８〜１１）について説明した。しかし、上述した画像処理の技術は、例えばＣＰＵなどで行われるものであって、表示器３で画像を表示することを必須とするものではない。

本発明にかかる白線認識システムを概念的に示すブロック図である。 白線認識システムを車両に適用した態様を概念的に示す上面図である。 白線認識システムを車両に適用した態様を概念的に示す側面図である。 撮像した画像を示す図である。 撮像した画像を示す図である。 本発明にかかる画像の処理方法を示すフローチャートである。 画像処理部を概念的に示すブロック図である。 撮像した画像を示す図である。 撮像した画像を示す図である。 撮像した画像を示す図である。 撮像した画像を示す図である。

符号の説明

１ 撮像装置
２ 白線認識装置
４ 車両
７ 視野
２４ 制御部
４２ 車両のサイド
７１ 白線
２２１ 抽出部
２２２ 演算部
４２１，７１１ エッジ
ｄ 距離
ｙｍ 所定の位置
α 所定の閾値

Claims (9)

1. （ａ）車両のサイドの少なくともいずれか一方で撮像された、白線を含む視野範囲の画像を取得するステップと、
   （ｂ）前記画像に基づいて前記白線のエッジを抽出するステップと、
   （ｃ）前記ステップ（ｂ）で抽出した結果に基づいて、前記白線の前記エッジと、前記サイドのエッジとの距離を算出するステップと
   を備える、白線認識方法。
2. 前記ステップ（ａ）では、前記サイドをも含む前記視野範囲の前記画像が取得され、
   前記ステップ（ｂ）では、前記画像に基づいて更に前記サイドの前記エッジをも抽出する、請求項１記載の白線認識方法。
3. 前記ステップ（ｃ）では、前記サイドの前記エッジの所定の位置について前記距離が算出される、請求項１または請求項２記載の白線認識方法。
4. （ｄ）前記ステップ（ｃ）で算出された前記距離が所定の閾値以下である場合に、前記車両の運転を支援するステップを
   更に備える、請求項１乃至請求項３のいずれか一つに記載の白線認識方法。
5. 車両のサイドの少なくともいずれか一方で撮像された、白線を含む視野範囲の画像に基づいて、前記白線のエッジを抽出する抽出部と、
   前記抽出部で抽出された結果に基づいて、前記白線の前記エッジと、前記サイドのエッジとの距離を算出する演算部と、
   前記抽出部及び前記演算部を制御する制御部と
   を備える、白線認識装置。
6. 前記抽出部は、前記サイドをも含む前記視野範囲の前記画像に基づいて、更に前記サイドの前記エッジをも抽出する、請求項５記載の白線認識装置。
7. 前記演算部は、前記サイドの前記エッジの所定の位置について前記距離を算出する、請求項５または請求項６記載の白線認識装置。
8. 前記制御部は、前記演算部で算出された前記距離が所定の閾値以下である場合に、前記車両の運転を支援する、請求項５乃至請求項７のいずれか一つに記載の白線認識装置。
9. 請求項５乃至請求項８のいずれか一つに記載の白線認識装置と、
   前記視野範囲を撮像する撮像装置と
   を有する、白線認識システム。
   

Images