JP2023046108A - 車両の運転支援装置 - Google Patents

Abstract

【課題】車載カメラの画像認識精度が低下した場合に実行中の自動運転支援機能を維持し得る運転支援装置を提供する。【解決手段】自車両Ｍの周囲画像を第１走行環境情報として取得するカメラ装置１０と、自車両の周囲の立体物データを第２走行環境情報として取得するレーダ装置３７と、第１走行環境情報に基づき区画線１０２を認識し、第２走行環境情報に基づき道路端１０４を認識し、かつ自車両と区画線及び道路端の各相対距離Ａ、Ｂから区画線と道路端との距離Ｃを算出する画像認識ユニット１３と、区画線及び道路端情報に基づき車両走行制御する走行制御ユニット１４とを備え、画像認識ユニットは第１走行環境情報に基づく区画線の認識不可状況のとき、認識不可直前の区画線と道路端の距離と、レーダ装置が継続認識中の道路端と自車両と相対距離に基づき推定道路区画線を設定し、走行制御ユニットは推定道路区画線に基づき自車両の走行を制御する。【選択図】図４

Description

この発明は、車載カメラ装置及び車載レーダ装置によって取得された周囲環境情報に基づいて運転支援を行う車両の運転支援装置に関するものである。

近年、自動車等の車両においては、運転者の運転操作を必要とせずに車両を自動的に走行させる自動運転制御技術の開発が進められている。また、この種の自動運転制御技術を利用して運転者の運転操作を支援するための各種の走行制御を実行し得る運転支援装置が、種々提案されており、一般に実用化されつつある。

この種の従来の運転支援装置においては、車両の周囲環境を認識し周囲情報として取得するための周囲環境認識装置として、例えば車載カメラ装置や車載レーダ装置等のセンシングデバイスが用いられている。

このうち、車載カメラ装置は、電子的な画像を取得し、取得された電子画像に基づいて、車両の周囲環境、例えば道路上に標示される区画線等（以下、単に区画線等という）や、道路上に存在する縁石等の立体物のほか、歩行者、他車両等を認識する。

また、車載レーダ装置は、車両の周囲に向けて電波を出力し、物体からの反射波を受信し、受信波を解析することにより、車両の周囲に存在する立体物、例えば道路端の縁石やガードレール等のほか、歩行者、他車両等を認識する。

この種の周囲環境認識装置を搭載し、道路形状や区画線等を認識し、取得した情報に基づいて車両の自動運転を支援するための技術が、例えば特開２０１５－４５６２２号公報、特開２００４－１３９３３８号公報等によって、種々開示されている。

上記特開２０１５－４５６２２号公報等によって開示されている運転支援装置は、車載レーダ装置及び車載カメラ装置を備えている。車載レーダ装置を用いて得られる検出情報に基づいて路端形状を認識する。車載カメラ装置を用いて得られる画像情報に基づいて道路上の車線境界線である車線形状を認識する。そして、認識された路端形状と認識された車線形状とを比較し、両者の一致度に応じて、車両の走行中の道路形状を特定する。

上記特開２００４－１３９３３８号公報等によって開示されている運転支援装置は、車載カメラ装置及び車載レーダ装置を備えている。そして、車線認識の方法として、車載カメラ装置の取得画像情報の輝度変化により車線を認識する方法と、車載カメラ装置の取得画像に基づくパターンマッチングによる車線認識方法とのいずれかを選択するのに際して、車載レーダ装置の受光量情報に基づいて適切な選択を行う。

特開２０１５－４５６２２号公報 特開２００４－１３９３３８号公報

ところが、周囲環境認識装置としての車載カメラ装置は、周囲環境の天候条件や周囲環境の光の条件によっては、区画線等や周囲立体物（道路端縁石等）の画像認識精度が低下してしまうという問題点があった。具体的には、例えば降雨、降雪、霧の発生等のいわゆる悪天候時や、逆光時、薄暮時等の低照度又は低輝度下において、車載カメラ装置における画像認識精度が低下する傾向があることが判っている。このように、周囲認識を充分に行うことができない場合には、運転支援装置における支援機能を継続することが困難になってしまうという問題点がある。

しかしながら、上記特開２０１５－４５６２２号公報、上記特開２００４－１３９３３８号公報等によって開示されている従来の運転支援装置においては、車載カメラ装置による画像認識の精度低下、或いは何らかの理由による画像認識の一時的な失陥などが生じた場合に、運転支援機能を継続させるための考慮を欠いていた。

本発明は、車両の自動運転支援機能の実行中に、車載カメラ装置による画像認識の精度が一時的に低下し、或いは何らかの理由により画像認識が一時的に失陥した場合であっても、実行中の自動運転支援機能を維持し継続させ得る車両の運転支援装置を提供することを目的とする。

上記目的を達成するために、本発明の一態様の車両の運転支援装置は、自車両の周囲を撮像した画像データを第１の走行環境情報として取得するカメラ装置と、前記自車両の周囲に出力した電波の対象物からの反射波をセンシングして認識した立体物データを第２の走行環境情報として取得するレーダ装置と、前記カメラ装置によって取得された第１の走行環境情報に基づいて道路区画線を認識すると共に、前記レーダ装置によって取得された第２の走行環境情報に基づいて道路端を認識し、かつ前記自車両と前記道路区画線との間の相対距離情報と前記自車両と前記道路端との間の相対距離情報とから前記道路区画線と前記道路端との間の距離を算出する画像認識ユニットと、前記画像認識ユニットによって認識された前記道路区画線及び前記道路端に関する各情報に基づいて車両の走行を制御する走行制御ユニットと、を具備し、前記画像認識ユニットは、前記第１の走行環境情報に基づく前記道路区画線の認識ができない状況となったときには、前記道路区画線の認識不可状況となる直前における前記道路区画線と前記道路端との間の前記距離情報と、前記レーダ装置により継続して認識されている前記道路端と前記自車両との相対距離情報とに基づいて、前記道路区画線の延長位置に相当する推定道路区画線を設定し、前記走行制御ユニットは、前記推定道路区画線に基づいて前記自車両の走行を制御する。

本発明によれば、車両の自動運転支援機能の実行中に、車載カメラ装置による画像認識の精度低下或いは何らかの理由により画像認識が一時的に失陥した場合であっても、実行中の自動運転支援機能を維持し継続させ得る車両の運転支援装置を提供することができる。

本発明の一実施形態の運転支援装置の概略構成を示すブロック構成図 本発明の一実施形態の運転支援装置が備えるセンサデバイス（カメラ、レーダ、ソナー）の監視領域を概念的に示す図 本発明の一実施形態の運転支援装置を搭載した自車両が道路上を走行している様子を概念的に示す説明図 本発明の一実施形態の運転支援装置１の作用を示すフローチャート。

以下、図示の実施の形態によって本発明を説明する。以下の説明に用いる各図面は模式的に示すものであり、各構成要素を図面上で認識できる程度の大きさで示すために、各部材の寸法関係や縮尺等を構成要素毎に異ならせて示している場合がある。したがって、本発明は、各図面に記載された各構成要素の数量や各構成要素の形状や各構成要素の大きさの比率や各構成要素の相対的な位置関係等に関して、図示の形態のみに限定されるものではない。

なお、本実施形態の以下の説明においては、車両の通行区分を進行方向に向かって左側とする左側通行を基本とした道路システムとして例示している。したがって、右側通行を基本とする道路システムに、本発明の構成を適用するには、左右を入れ替えて考慮すれば容易に応用することができる。

まず、本発明の一実施形態の運転支援装置の概略的な構成を、図１、図２を用いて以下に説明する。図１は、本発明の一実施形態の運転支援装置の概略構成を示すブロック構成図である。図２は、本発明の一実施形態の運転支援装置が備えるセンサデバイス（カメラ、レーダ、ソナー）の監視領域を概念的に示す図である。

図１に示すように、運転支援装置１は、例えば、車両（当該運転支援装置１を搭載している車両を指す。以下、自車両Ｍという。図２、図３参照）の車室内の前部の上部中央に固定された車載カメラ装置であるカメラユニット１０を有して構成されている。

このカメラユニット１０は、ステレオカメラ１１と、画像処理ユニット（ＩＰＵ）１２と、画像認識ユニット（画像認識＿ＥＣＵ）１３と、走行制御ユニット（走行＿ＥＣＵ）１４と、を有して構成されている。

ステレオカメラ１１は、メインカメラ１１ａと、サブカメラ１１ｂと、を有する。メインカメラ１１ａ及びサブカメラ１１ｂは、例えば、車幅方向の中央を挟んで左右対称な位置に配置されている。また、メインカメラ１１ａ及びサブカメラ１１ｂは、例えば、ＣＭＯＳイメージセンサ等によって構成され、互いに同期された所定の撮像周期にて、車外前方の領域Ａｆ（図２参照）の走行環境を異なる視点からステレオ撮像する。

ＩＰＵ１２は、ステレオカメラ１１によって撮像した走行環境画像データ（車両の走行中の周囲環境を表す画像データ）に対し所定の画像処理を施し、画像上に表された立体物や道路面上に標示される区画線等（以下、単に区画線等という）などの各種対象物のエッジを検出する。これにより、ＩＰＵ１２は、車両周囲の立体物や区画線を認識する。そして、ＩＰＵ１２は、左右の画像上において対応するエッジの位置ズレ量から距離情報を求め、距離情報を含む画像情報（距離画像情報）を生成する。

画像認識＿ＥＣＵ１３は、ＩＰＵ１２から受信した距離画像情報などに基づき、自車両Ｍが走行する走行路（自車走行路）の左右を区画する区画線の道路曲率〔１／ｍ〕、及び左右区画線間の幅（車線幅）を求める。この道路曲率及び車線幅の求め方は種々知られている。例えば、画像認識＿ＥＣＵ１３は、道路曲率を走行環境情報に基づき輝度差による二値化処理にて、左右の区画線を認識し、最小自乗法による曲線近似式などにて左右区画線の曲率を所定区間毎に求める。さらに、画像認識＿ＥＣＵ１３は、左右両区画線の曲率の差分から車線幅を算出する。

そして、画像認識＿ＥＣＵ１３は、左右区画線の曲率と車線幅とに基づき、車線中央、車線中央から自車両Ｍの車幅方向中央までの距離である自車横位置偏差等を算出する。

また、画像認識＿ＥＣＵ１３は、距離画像情報に対して所定のパターンマッチングなどを行い、道路に沿って延在するガードレール、縁石及び周辺車両等の立体物の認識を行う。ここで、画像認識＿ＥＣＵ１３における立体物の認識では、例えば、立体物の種別、立体物の高さ、立体物までの距離、立体物の速度、立体物と自車両Ｍとの相対速度、立体物同士の相対的な距離（例えば道路端の縁石等と、その近傍にある区画線等との間の横方向距離など）などの認識が行われる。

これら画像認識＿ＥＣＵ１３において認識された各種情報は、第１の走行環境情報として走行＿ＥＣＵ１４に出力される。

このように、本実施形態において、画像認識＿ＥＣＵ１３は、ステレオカメラ１１及びＩＰＵ１２とともに、車両周囲の第１の走行環境情報を認識する走行環境認識手段であり周囲環境認識装置としての機能を実現する。

走行＿ＥＣＵ１４は、運転支援装置１を統括制御するための制御ユニットである。この走行＿ＥＣＵ１４には、各種の制御ユニットとして、コックピット制御ユニット（ＣＰ＿ＥＣＵ）２１、と、エンジン制御ユニット（Ｅ／Ｇ＿ＥＣＵ）２２と、トランスミッション制御ユニット（Ｔ／Ｍ＿ＥＣＵ）２３と、ブレーキ制御ユニット（ＢＫ＿ＥＣＵ）２４と、パワーステアリング制御ユニット（ＰＳ＿ＥＣＵ）２５とがＣＡＮ（Controller Area Network）等の車内通信回線を介して接続されている。

さらに、走行＿ＥＣＵ１４には、各種のセンサ類として、ロケータユニット３６と、車載レーダ装置３７（左前側方センサ３７ｌｆと、右前側方センサ３７ｒｆと、左後側方センサ３７ｌｒと、右後側方センサ３７ｒｒ）、後方センサ３８と、が接続されている。

ＣＰ＿ＥＣＵ２１には、運転席の周辺に配設されたヒューマン・マシーン・インターフェース（ＨＭＩ）３１が接続されている。ＨＭＩ３１は、例えば、各種の運転支援制御の実行を指示するためのスイッチ、運転モードの切り換えを行うためのモード切換スイッチ、ドライバの保舵状態を検出するステアリングタッチセンサ、ドライバの顔認証や視線等を検出するドライバモニタリングシステム（ＤＭＳ）、タッチパネル式のディスプレイ、コンビネーションメータ及びスピーカ等を有して構成されている。

ＣＰ＿ＥＣＵ２１は、走行＿ＥＣＵ１４からの制御信号を受信すると、先行車等に対する各種警報、運転支援制御の実施状況及び自車両Ｍの走行環境等に関する各種情報を、ＨＭＩ３１を通じた表示や音声等により、ドライバに適宜報知する。また、ＣＰ＿ＥＣＵ２５は、ＨＭＩ３１を通じてドライバにより入力された各種運転支援制御に対するオン／オフ操作状態等の各種入力情報を、走行＿ＥＣＵ１４に出力する。

Ｅ／Ｇ＿ＥＣＵ２２の出力側には、電子制御スロットルのスロットルアクチュエータ３２等が接続されている。また、Ｅ／Ｇ＿ＥＣＵ２２の入力側には、図示しないアクセルセンサ等の各種センサ類が接続されている。

Ｅ／Ｇ＿ＥＣＵ２２は、走行＿ＥＣＵ１４からの制御信号或いは各種センサ類からの検出信号等に基づき、スロットルアクチュエータ３２に対する駆動制御を行う。これにより、Ｅ／Ｇ＿ＥＣＵ２２は、エンジンの吸入空気量を調整し、所望のエンジン出力を発生させる。また、Ｅ／Ｇ＿ＥＣＵ２２は、各種センサ類において検出されたアクセル開度等の信号を、走行＿ＥＣＵ１４に出力する。

Ｔ／Ｍ＿ＥＣＵ２３の出力側には、油圧制御回路３３が接続されている。また、Ｔ／Ｍ＿ＥＣＵ２３の入力側には、図示しないシフトポジションセンサ等の各種センサ類が接続されている。Ｔ／Ｍ＿ＥＣＵ２３は、Ｅ／Ｇ＿ＥＣＵ２２において推定されたエンジントルク信号や各種センサ類からの検出信号等に基づき、油圧制御回路３３に対する油圧制御を行う。これにより、Ｔ／Ｍ＿ＥＣＵ２３は、自動変速機に設けられている摩擦係合要素やプーリ等を動作させ、エンジン出力を所望の変速比にて変速する。また、Ｔ／Ｍ＿ＥＣＵ２３は、各種センサ類において検出されたシフトポジション等の信号を、走行＿ＥＣＵ１４に出力する。

ＢＫ＿ＥＣＵ２４の出力側には、各車輪に設けられているブレーキホイールシリンダに出力するブレーキ液圧を各々調整するためのブレーキアクチュエータ３４が接続されている。また、ＢＫ＿ＥＣＵ２４の入力側には、図示しないブレーキペダルセンサ、ヨーレートセンサ、前後加速度センサ及び車速センサ等の各種センサ類が接続されている。

ＢＫ＿ＥＣＵ２４は、走行＿ＥＣＵ１４からの制御信号或いは各種センサ類からの検出信号に基づき、ブレーキアクチュエータ３４に対する駆動制御を行う。これにより、ＢＫ＿ＥＣＵ２４は、自車両Ｍに対する強制的な制動制御やヨーレート制御等を行うためのブレーキ力を各車輪に適宜発生させる。また、ＢＫ＿ＥＣＵ２４は、各種センサにおいて検出されたブレーキ操作状態、ヨーレート、前後加速度及び車速（自車速）等の信号を、走行＿ＥＣＵ１４に出力する。

ＰＳ＿ＥＣＵ２５の出力側には、ステアリング機構にモータの回転力による操舵トルクを付与する電動パワステモータ３５が接続されている。また、ＰＳ＿ＥＣＵ２５の入力側には、操舵トルクセンサや舵角センサ等の各種センサ類が接続されている。

ＰＳ＿ＥＣＵ２５は、走行＿ＥＣＵ１４からの制御信号或いは各種センサ類からの検出信号に基づき、電動パワステモータ３５に対する駆動制御を行う。これにより、ＰＳ＿ＥＣＵ２５は、ステアリング機構に対する操舵トルクを発生させる。また、ＰＳ＿ＥＣＵ２５は、各種センサ類において検出された操舵トルク及び舵角等の信号を、走行＿ＥＣＵ１４に出力する。

ロケータユニット３６は、ＧＮＳＳセンサ３６ａと、高精度道路地図データベース（道路地図ＤＢ）３６ｂと、を有して構成されている。

ＧＮＳＳセンサ３６ａは、複数の測位衛星から発信される測位信号を受信することにより、自車両Ｍの位置（緯度、経度、高度等）を測位する。

道路地図ＤＢ３６ｂは、ＨＤＤ、ＳＳＤなどの大容量記憶媒体であり、高精度な道路地図情報（ダイナミックマップ）が記憶されている。この道路地図ＤＢ３６ｂは、自動運転を行う際に必要とする車線データとして、車線幅データ、車線中央位置座標データ、車線の進行方位角データ、制限速度などを保有している。この車線データは、道路地図上の各車線に、数メートル間隔で格納されている。また、道路地図ＤＢは、各種施設や駐車場等の情報を保有している。道路地図ＤＢ３６ｂは、例えば、走行＿ＥＣＵ１４からの要求信号に基づき、ＧＮＳＳセンサ３６ａにおいて測位された自車位置を基準とする設定範囲の道路地図情報を、第３の走行環境情報として走行＿ＥＣＵ１４に出力する。

このように、本実施形態において、道路地図ＤＢ３６ｂは、ＧＮＳＳセンサ３６ａとともに、車両周囲の第３の走行環境情報を認識する走行環境認識手段であり周囲環境認識装置としての機能を実現する。

左前側方センサ３７ｌｆ、右前側方センサ３７ｒｆ、左後側方センサ３７ｌｒ、右後側方センサ３７ｒｒは、車載レーダ装置３７を構成する複数のセンサであり、例えばミリ波レーダによって構成されている。

ここで、各ミリ波レーダは、出力した電波に対し、物体からの反射波を解析することにより、主として歩行者や併走車等の立体物のほか、道路端（例えば路肩側の端部）に設けられる構造物等（例えば縁石、ガードレール、建物等の壁、植栽等の立体物等）を検出する。具体的には、各レーダは、立体物に関する情報として、立体物の横幅、立体物の代表点の位置（自車両Ｍとの相対位置、相対距離）及び相対速度等を検出する。

なお、左前側方センサ３７ｌｆ及び右前側方センサ３７ｒｆは、例えば、フロントバンパの左右側部にそれぞれ配設されている。左前側方センサ３７ｌｆ及び右前側方センサ３７ｒｆは、ステレオカメラ１１の画像では認識することが困難な自車両Ｍの左右斜め前方及び側方の領域Ａｌｆ、Ａｒｆ（図２参照）に存在する立体物を第２の走行環境情報として検出する。

また、左後側方センサ３７ｌｒ及び右後側方センサ３７ｒｒは、例えば、リアバンパの左右側部にそれぞれ配設されている。左後側方センサ３７ｌｒ及び右後側方センサ３７ｒｒは、左前側方センサ３７ｌｆ及び右前側方センサ３７ｒｆでは認識することが困難な自車両Ｍの左右斜め側方及び後方の領域Ａｌｒ、Ａｒｒ（図２参照）に存在する立体物を第２の走行環境情報として検出する。

このように、本実施形態において、車載レーダ装置３７（前側方センサ３７ｌｆ、右前側方センサ３７ｒｆ、左後側方センサ３７ｌｒ及び右後側方センサ３７ｒｒ）は、車両周囲の第２の走行環境情報を認識する走行環境認識手段であり周囲環境認識装置としての機能を実現する。そして、これらセンサ３７ｌｆ、３７ｒｆ、３７ｌｒ，３７ｒｒの取得情報は、画像認識＿ＥＣＵ１３へと送られる。

後方センサ３８は、例えば、ソナー装置によって構成されている。この後方センサ３８は、例えば、リアバンパに配設されている。後方センサ３８は、左後側方センサ３７ｌｒ及び右後側方センサ３７ｒｒでは認識することが困難な自車両Ｍの後方の領域Ａｒ（図２参照）に存在する立体物を第４の走行環境情報として検出する。

このように、本実施形態において、後方センサ３８は、車両周囲の第４の走行環境情報を認識する走行環境認識手段であり周囲環境認識装置としての機能を実現する。

なお、画像認識＿ＥＣＵ１３において認識された第１の走行環境情報、ロケータユニット３６において認識された第３の走行環境情報、左前側方センサ３７ｌｆと右前側方センサ３７ｒｆと左後側方センサ３７ｌｒと右後側方センサ３７ｒｒとにおいて認識された第２の走行環境情報及び後方センサ３８において認識された第４の走行環境情報にそれぞれ含まれる車外の各対象の座標は、何れも、走行＿ＥＣＵ１４において、自車両Ｍの中心を原点とする三次元座標系（図２参照）の座標に変換される。

走行＿ＥＣＵ１４には、運転モードとして、手動運転モードと、走行制御のためのモードである第１の走行制御モード及び第２の走行制御モードと、退避モードと、が設定されている。これらの各運転モードは、例えば、ＨＭＩ３１に設けられているモード切換スイッチに対する操作状況等に基づき、走行＿ＥＣＵ１４において選択的に切換可能となっている。

ここで、手動運転モードとは、ドライバによる保舵を必要とする運転モードであり、例えば、ドライバによるステアリング操作、アクセル操作およびブレーキ操作などの運転操作に従って、自車両Ｍを走行させる運転モードである。

また、第１の走行制御モードも同様に、ドライバによる保舵を必要とする運転モードである。すなわち、第１の走行制御モードは、ドライバによる運転操作を反映しつつ、例えば、Ｅ／Ｇ＿ＥＣＵ２２、ＢＫ＿ＥＣＵ２４、ＰＳ＿ＥＣＵ２５などの制御を通じて、主として、先行車追従制御（ＡＣＣ：Adaptive Cruise Control）と、車線中央維持（ＡＬＫＣ：Active Lane Keep Centering）制御および車線逸脱抑制（Active Lane Keep Bouncing）制御と、を適宜組み合わせて行うことにより、目標走行経路に沿って自車両Ｍを走行させる、いわば半自動運転モードである。

ここで、先行車追従制御は、基本的には、画像認識＿ＥＣＵ１３から入力される第１の走行環境情報に基づいて行われる。すなわち、先行車追従制御は、例えば、画像認識＿ＥＣＵ１３からの第１の走行環境情報に含まれる先行車情報等に基づいて行われる。

また、車線中央維持制御および車線逸脱抑制制御は、基本的には、画像認識＿ＥＣＵ１３或いはロケータユニット３６のうちの少なくとも何れか一方から入力される第１、第３の走行環境情報に基づいて行われる。すなわち、車線中央維持制御および車線逸脱抑制制御は、例えば、画像認識＿ＥＣＵ１３或いはロケータユニット３６からの第３の走行環境情報に含まれる車線区画線情報等に基づいて行われる。

また、第２の走行制御モードとは、ドライバによる保舵、アクセル操作およびブレーキ操作を必要とすることなく、例えば、Ｅ／Ｇ＿ＥＣＵ２２、ＢＫ＿ＥＣＵ２４、ＰＳ＿ＥＣＵ２５などの制御を通じて、主として、先行車追従制御と、車線中央維持制御および車線逸脱抑制制御とを適宜組み合わせて行うことにより、目標ルート（ルート地図情報）に従って自車両Ｍを走行させるいわゆるハンズオフ機能を実現する自動運転モードである。

退避モードは、例えば、第２の走行制御モードによる走行中に、当該モードによる走行が継続不能となり、且つ、ドライバに運転操作を引き継ぐことができなかった場合（すなわち、手動運転モード、または、第１の走行制御モードに遷移できなかった場合）に、自車両Ｍを路側帯などに自動的に停止させるためのモードである。

また、走行＿ＥＣＵ１４は、上述の各運転モードにおいて、自車両Ｍと衝突する可能性の高い自車走行路上の先行車等の障害物に対し、適宜、緊急ブレーキ（ＡＥＢ（Autonomous Emergency Braking）：衝突被害軽減ブレーキ）制御を行う。

なお、ロケータユニット３６、画像認識＿ＥＣＵ１３、走行＿ＥＣＵ１４、ＣＰ＿ＥＣＵ２１、Ｅ／Ｇ＿ＥＣＵ２２、Ｔ／Ｍ＿ＥＣＵ２３、ＢＫ＿ＥＣＵ２４、ＰＳ＿ＥＣＵ２５等の全部又は一部は、ハードウエアを含むプロセッサにより構成されている。

ここで、プロセッサは、例えば、中央処理装置（ＣＰＵ；Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）や、不揮発性メモリ（Non-volatile memory）、不揮発性記憶装置（Non-volatile storage）等のほか、非一過性の記録媒体（non-transitory computer readable medium）等を備える周知の構成及びその周辺機器等によって構成されている。

ＲＯＭや不揮発性メモリ、不揮発性記憶装置等には、ＣＰＵが実行するソフトウエアプログラムやデータテーブル等の固定データ等が予め記憶されている。そして、ＣＰＵがＲＯＭ等に格納されたソフトウエアプログラムを読み出してＲＡＭに展開して実行し、また、当該ソフトウエアプログラムが各種データ等を適宜参照等することによって、上記各構成部や構成ユニット（３６、１３、１４、２１、２２、２３、２４、２５）等の各機能が実現される。

また、プロセッサは、ＦＰＧＡ（Field Programmable Gate Array）などの半導体チップなどにより構成されていてもよい。また、上記各構成部や構成ユニット（３６、１３、１４、２１、２２、２３、２４、２５）等は電子回路によって構成してもよい。

さらに、ソフトウエアプログラムは、コンピュータプログラム製品として、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等の可搬型板媒体や、カード型メモリ、ＨＤＤ（Hard Disk Drive）装置，ＳＳＤ（Solid State Drive）装置等の非一過性の記憶媒体（non-transitory computer readable medium）等に、全体あるいは一部が記録されている形態としてもよい。

このように構成された本実施形態の運転支援装置１の作用について、図３、図４を用いて以下に説明する。図３は、本実施形態の運転支援装置１を搭載した自車両Ｍが道路上を走行している様子を概念的に示す説明図である。図４は、本実施形態の運転支援装置１の作用を示すフローチャートである。

図３において、本実施形態の運転支援装置１を搭載した自車両を符号Ｍで示している。また、図３の符号１０１は、自車両Ｍが走行中の自車線を示す。図３の符号１０２は、自車線１０１の左側の区画線を示す（以下、左側区画線１０２という）。図３の符号１０３は、自車線１０１の右側（道路中央側）の区画線を示す。なお、図３は、片側一車線の道路を例示している。したがって、自車線１０１の右側区画線１０３は、即ち当該道路の中央線を示している。図３の符号１０４は、自車線１０１の左側の道路端を示す（以下、左側道路端１０４という）。ここで、左側道路端１０４は、具体的には、例えば道路と歩道等との境界に設けられる縁石やガードレール若しくは壁などの立体物が相当する。図３の符号１０５は、左側区画線１０２と左側道路端１０４との間の領域（路肩若しくは路側帯）を示す。

なお、図３において、符号Ａは、自車両Ｍと左側区画線１０２との相対距離（横方向距離）を示す。図３において、符号Ｂは、自車両Ｍと左側道路端１０４との相対距離（横方向距離）を示す。図３において、符号Ｃは、左側区画線１０２と左側道路端１０４との間の横方向距離を示す。図３において、符号Ｄは、自車両Ｍと自車線１０１の横方向距離、即ち自車線１０１の車線幅を示す。

ここで、まず、本実施形態の運転支援装置１を搭載した自車両Ｍが、図３に示すように、自車線１０１上を走行しているものとする。このとき、自車両Ｍの運転支援装置１は、第１の走行制御モード又は第２の走行制御モードに設定されているものとする。つまり、例えば、先行車追従制御（ＡＣＣ）、車線中央維持（ＡＬＫＣ）制御、車線逸脱抑制（ＡＬＫＢ）制御など、所定の自動運転支援機能を実行しているものとする。さらに、ハンズオフ機能（第２の走行制御モード）を実行していてもよい。

このような状態にある運転支援装置１は、図４のステップＳ１１において、カメラユニット１０を動作させて区画線情報（主に左側区画線１０２に関する情報）を取得する。同時に、車載レーダ装置を動作させて道路端情報（主に左側道路端１０４に関する情報）を取得する。さらに、ロケータユニット３６により現在走行中の道路に関する情報（道路情報；車線幅Ｄを含む各種情報等）を取得する。

ここで、例えば、カメラユニット１０は、取得された一対の画像データに基づいて、ＩＰＵ１２において所定の演算処理がなされることにより、自車両Ｍと左側区画線１０２との相対距離（横方向距離Ａ）に関する情報が算出され取得される。

自車両Ｍと左側道路端１０４との相対距離（横方向距離Ｂ）は、車載レーダ装置のうち左前側方センサ３７ｌｆ又は左後側方センサ３７ｌｒにより取得された情報に基づき、画像認識＿ＥＣＵ１３において行われる所定の演算処理により算出され取得される。

また、自車両Ｍと自車線１０１の横方向距離（車線幅Ｄ）は、カメラユニット１０により取得される左側区画線１０２と右側区画線１０３との各距離情報に基づき、画像認識＿ＥＣＵ１３において行われる所定の演算処理により算出され取得される。なお、車線幅Ｄの情報は、ロケータユニット３６の道路地図情報ＤＢ３６ｂから取得してもよい。

次に、ステップＳ１２において、画像認識＿ＥＣＵ１３は、上述のステップＳ１１の処理にて取得した各情報に基づき、各対象物間の相対的な関係（例えば対象物同士の間の距離情報など）を算出する。具体的には、左側区画線１０２と左側道路端１０４との間の横方向の距離Ｃは、カメラユニット１０による取得情報（距離Ａ）と車載レーダ装置による取得情報（距離Ｂ）とに基づき、画像認識＿ＥＣＵ１３において所定の演算処理が施されて算出され取得される。

続いて、ステップＳ１３において、画像認識＿ＥＣＵ１３は、カメラユニット１０による画像認識精度が低下しているか否かの確認を行う。この場合において、カメラユニット１０による画像認識精度が低下しているか否かの判断は、例えば、左側区画線１０２のエッジ検出が不安定になったか否か、若しくは検出不能となったか否か等により判断する。ここで、画像認識精度が低下していると判断された場合には、次のステップＳ１４の処理に進む。また、画像認識精度が低下していない（平常である）と判断された場合には、ステップＳ１９の処理に進む。

ステップＳ１４において、画像認識＿ＥＣＵ１３は、カメラユニット１０による画像認識処理を停止、若しくは処理結果を参照せず、車載レーダ装置による左側道路端１０４の情報の取得処理は継続して行う。

次いで、ステップＳ１５において、画像認識＿ＥＣＵ１３は、上述のステップＳ１２の処理にて算出済みの相対距離情報に基づき、左側区画線１０２の推定位置を算出する。

ステップＳ１６において、画像認識＿ＥＣＵ１３は、上述のステップＳ１５の処理にて算出した左側区画線１０２の推定位置情報をカメラユニット１０の画像認識＿ＥＣＵ１３へと送信する。これにより、カメラユニット１０により認識不能となった時点から先の左側区画線１０２の位置が推定される。こうして推定される区画線を推定区画線というものとする。

ステップＳ１７において、画像認識＿ＥＣＵ１３は、自車進行方向に対して横方向の左側道路端１０４の位置の安定度を判定する。ここで、左側道路端１０４としては、上述したように、例えば縁石やガードレール、あるいは建物等の壁などが相当する。具体的には、例えば、高速自動車道や自動車専用道路等の高規格幹線道路であれば、左側道路端１０４の縁石やガールレールなどは、比較的安定した形状で連続して延在している。

なお、高規格幹線道路であっても、入出口、ジャンクション、サービスエリア、パーキングエリア、料金所（以下、道路施設等という）近傍領域では、本線からの分岐路或いは合流路が存在し、また車線減少或いは車線増加が存在するため、自車両の走行車線の左側区画線が一時的に途切れる箇所がある。さらに、高規格幹線道路では、所定の間隔で非常駐車帯や路線バス停留所など（以下、これらも道路施設等に含めるものとする）が設置されている箇所がある。このような道路施設等の存在する箇所では、一時的に、左側道路端１０４の位置は安定していないものと考えられる。しかしながら、これらの道路施設等の情報は、道路地図情報に含まれていることから、運転支援装置１は、予め認識することができる。

一方、一般道路の場合には、道路端１０４の縁石やガードレールなどは、道路に面した商業施設や住宅地などへの出入りのために、断続した形態で形成されていることが多い。また、一般道路では、道路端１０４に建物や壁面が構築されている場合もある。この場合にも、壁などは、道路に沿って断続した形態で形成されている場合が多くある。

さらに、例えば、一般道路の場合には、道路周囲に構造物が存在せず、道路端１０４を認識し得ないといった状況もあり得る。具体的には、例えば、河川堤防上の道路や広域農道などが想定される。このような場合には、カメラユニット１０によっても、車載レーダ装置によっても、いずれのデバイスによっても、道路端１０４を認識し得ない。

したがって、これらのことを加味して、左側道路端１０４の位置の安定度を、段階的に規定し、車載レーダ装置の検出結果とロケータ情報に基づいて対応する安定度レベルを判定するようにしている。

具体的には、例えば高規格幹線道路を走行中であって、車載レーダ装置の検出結果が安定しており、かつロケータ情報から自車両Ｍの近傍に道路施設等が存在しない場合は、安定度レベル＝０と規定する。

また、例えば高規格幹線道路を走行中であって、車載レーダ装置の検出結果が安定しており、かつロケータ情報から自車両Ｍの近傍に道路施設等が存在していることが判明している場合は、安定度レベル＝１と規定する。

さらに、例えば一般道路を走行中であって、車載レーダ装置の検出結果が断続的に不安定ではあるものの、道路端１０４を継続的に認識し得ている場合には、安定度レベル＝２と規定する。

そして、例えば一般道路を走行中であって、車載レーダ装置によって道路端１０４を認識し得ない場合には、安定度レベル＝３と規定する。なお、ここで示した安定度レベルの規定は、単なる例示であって、上述の例に限られることはない。

ステップＳ１８において、画像認識＿ＥＣＵ１３は、上述の判定結果がレベル＝０であるか否かの確認を行う。ここで、レベル＝０であれば、左側道路端１０４の形状が安定しており、左側区画線１０２の推定位置が信頼できるものと判断されるので、ステップＳ１９の処理に進む。また、レベル＝０以外であれば、ステップＳ２０の処理に進む。

ステップＳ１９において、画像認識＿ＥＣＵ１３は、実行中の自動運転支援機能のうち、例えば車線逸脱抑制（ＡＬＫＢ）制御、先行車追従制御（ＡＣＣ）制御の実行を維持する。また、第２の走行制御モードに設定されている場合は、ハンズオフ機能の実行を維持する。つまり、道路端１０４の安定度レベル＝０の状況にあるときは、これらの自動運転支援機能を許容し得るということである。なお、これらの自動運転支援機能は単なる例示である。その後、元の処理に復帰する（リターン）。

ステップＳ２０において、画像認識＿ＥＣＵ１３は、上述の判定結果がレベル＝１であるか否かの確認を行う。ここで、レベル＝１であれば、ステップＳ２１の処理に進む。また、レベル＝０又はレベル＝１以外であれば、ステップＳ２２の処理に進む。

ステップＳ２１において、画像認識＿ＥＣＵ１３は、実行中の自動運転支援機能のうち、例えば車線逸脱抑制（ＡＬＫＢ）制御、先行車追従制御（ＡＣＣ）制御の実行を維持する。また、第２の走行制御モードに設定されている場合は、ハンズオフ機能の実行をオフにする。つまり、道路端１０４の安定度レベル＝１の状況にあるときは、これらのうちのいくつかの自動運転支援機能を許容し得る（オン維持）一方、いくつかの機能は許容し得ない（オフ）ということである。なお、これらの自動運転支援機能は単なる例示である。その後、元の処理に復帰する（リターン）。

なお、ここで、自動運転支援機能をオフにする場合は、予め運転者に対しその旨の警報表示を行うようにするのが望ましい。以下の処理ステップにおいて機能オフを行う場合も同様である。

ステップＳ２２において、画像認識＿ＥＣＵ１３は、上述の判定結果がレベル＝２であるか否かの確認を行う。ここで、レベル＝２であれば、ステップＳ２３の処理に進む。また、レベル＝０又はレベル＝１又はレベル＝２以外であれば、ステップＳ２４の処理に進む。

ステップＳ２３において、画像認識＿ＥＣＵ１３は、実行中の自動運転支援機能のうち、例えば先行車追従制御（ＡＣＣ）制御の実行を維持すると共に、車線逸脱抑制（ＡＬＫＢ）制御の実行をオフにする。また、第２の走行制御モードに設定されている場合は、ハンズオフ機能の実行をオフにする。つまり、道路端１０４の安定度レベル＝２の状況にあるときは、これらのうちのいくつかの自動運転支援機能を許容し得る（オン維持）一方、いくつかの機能は許容し得ない（オフ）ということである。なお、これらの自動運転支援機能は単なる例示である。その後、元の処理に復帰する（リターン）。

ステップＳ２４において、画像認識＿ＥＣＵ１３は、上述の判定結果がレベル＝３であることを確認し、全ての自動運転支援機能の実行をオフにする。つまり、道路端１０４の安定度レベル＝３の状況にあるときは、これらの自動運転支援機能は全て許容することができないということである。なお、これらの自動運転支援機能は単なる例示である。その後、元の処理に復帰する（リターン）。

以上説明したように上記一実施形態によれば、画像認識＿ＥＣＵ１３は、カメラユニット１０によって取得された第１の走行環境情報に基づいて左側区画線１０２を認識すると共に、車載レーダ装置によって取得された第２の走行環境情報に基づいて左側道路端１０４を認識する。これと同時に、画像認識＿ＥＣＵ１３は、自車両Ｍと左側区画線１０２との間の相対距離情報Ａと、自車両Ｍと左側道路端１０４との間の相対距離情報Ｂとを取得する算出する。そして、画像認識＿ＥＣＵ１３は、左側区画線１０２と左側道路端１０４との間の距離Ｃを算出する。

そして、画像認識＿ＥＣＵ１３は、カメラユニット１０により第１の走行環境情報に基づく左側区画線１０２の認識ができない状況となったときには、左側区画線１０２の認識不可状況となる直前における左側区画線１０２と道路端１０４との間の距離Ｃと、車載レーダ装置により継続して認識されている道路端１０４と自車両Ｍとの相対距離Ｂとに基づいて、左側区画線１０２の延長位置に相当する推定道路区画線を設定する。このとき、推定道路区画線の設定は、ロケータユニット３６により取得される第３の走行環境情報をも加味してもよい。

こうして設定された推定道路区画線に基づいて、走行制御ユニット（走行＿ＥＣＵ）１４は、自車両Ｍの走行を制御する。

この場合において、走行制御ユニット（走行＿ＥＣＵ）１４は、車載レーダ装置により取得される第２の走行環境情報に基づいて認識される道路端１０４の安定度を判定し、安定度レベルに応じて自動運転支援機能の継続及び解除を設定する。

この構成により、本実施形態の運転支援装置１は、自車両Ｍの自動運転支援機能の実行中において、カメラユニット１０による画像認識精度が一時的に低下し、或いは何らかの理由により画像認識が一時的に失陥した場合であっても、実行中の自動運転支援機能を維持し継続させることができる。

また、自車両Ｍの周囲環境に応じて、実行中の自動運転機能を継続させ、若しくは実行中の自動運転機能を停止し解除させることによって、より安全な運転を継続することができる。

なお、上述の一実施形態においては、図３に示すように、自車両Ｍは片側一車線道路を走行中の場合の例示で説明したが、これに限られることはない。例えば、片側二車線道路において、自車両Ｍが中央寄りの追越車線を走行中においても、本発明は同様に適用し得る。即ち、この場合において、自車両Ｍの左側区画線は、道路端直近の区画線では無く、自車両Ｍの走行している車線（追越車線）の左側に隣接する車線（走行車線）における右側区画線が相当する。この場合にも、自車両Ｍが認識している左側区画線と道路端（縁石等）との距離情報に基づいて、自車両Ｍの左側区画線の推定は、上述の一実施形態と全く同様に可能である。

このことから、自車両Ｍが片側三車線道路の中央より車線を走行している場合であっても同様に適用できる。また、この場合には、右側中央分離帯を道路端として認識する制御とすれば、上述の一実施形態の左右を入れ替えて考えることにより、同様に適用することができる。

本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用を実施することができることは勿論である。さらに、上記実施形態には、種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせによって、種々の発明が抽出され得る。例えば、上記一実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題が解決でき、発明の効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。この発明は、添付のクレームによって限定される以外にはそれの特定の実施態様によって制約されない。

１…運転支援装置
１０…カメラユニット
１１…ステレオカメラ
１１ａ…メインカメラ
１１ｂ…サブカメラ
１３…画像認識ユニット（画像認識＿ＥＣＵ）
１４…走行制御ユニット（走行＿ＥＣＵ）
２１…コックピット制御ユニット（ＣＰ＿ＥＣＵ）
２２…エンジン制御ユニット（Ｅ／Ｇ＿ＥＣＵ）
２３…トランスミッション制御ユニット（Ｔ／Ｍ＿ＥＣＵ）
２４…ブレーキ制御ユニット（ＢＫ＿ＥＣＵ）
２５…パワーステアリング制御ユニット（ＰＳ＿ＥＣＵ）
３１…ヒューマン・マシーン・インターフェース（ＨＭＩ）
３２…スロットルアクチュエータ
３３…油圧制御回路
３４…ブレーキアクチュエータ
３５…電動パワステモータ
３６…ロケータユニット
３６ａ…ＧＮＳＳセンサ
３６ｂ…道路地図情報ＤＢ
３７…車載レーダ装置
３７ｌｆ…左前側方センサ
３７ｌｒ…左後側方センサ
３７ｒｆ…右前側方センサ
３７ｒｒ…右後側方センサ
３８…後方センサ
１０１…自車線
１０２…左側区画線
１０３…右側区画線
１０４…左側道路端
Ｍ…自車両

Claims (3)

1. 自車両の周囲を撮像した画像データを第１の走行環境情報として取得するカメラ装置と、
   前記自車両の周囲に出力した電波の対象物からの反射波をセンシングして認識した立体物データを第２の走行環境情報として取得するレーダ装置と、
   前記カメラ装置によって取得された第１の走行環境情報に基づいて道路区画線を認識すると共に、前記レーダ装置によって取得された第２の走行環境情報に基づいて道路端を認識し、かつ前記自車両と前記道路区画線との間の相対距離情報と前記自車両と前記道路端との間の相対距離情報とから前記道路区画線と前記道路端との間の距離を算出する画像認識ユニットと、
   前記画像認識ユニットによって認識された前記道路区画線及び前記道路端に関する各情報に基づいて車両の走行を制御する走行制御ユニットと、
   を具備し、
   前記画像認識ユニットは、前記第１の走行環境情報に基づく前記道路区画線の認識ができない状況となったときには、
   前記道路区画線の認識不可状況となる直前における前記道路区画線と前記道路端との間の前記距離情報と、前記レーダ装置により継続して認識されている前記道路端と前記自車両との相対距離情報とに基づいて、前記道路区画線の延長位置に相当する推定道路区画線を設定し、
   前記走行制御ユニットは、前記推定道路区画線に基づいて前記自車両の走行を制御することを特徴とする車両の運転支援装置。
2. 前記周囲環境認識装置は、さらに、
   道路地図情報を有し測位信号に基づいて自車位置を測位し第３の走行環境情報として取得するロケータユニットを具備し、
   前記画像認識ユニットは、前記第３の走行環境情報をも加味して前記推定道路区画線を設定することを特徴とする請求項１に記載の車両の運転支援装置。
3. 前記走行制御ユニットは、前記レーダ装置により取得される前記第２の走行環境情報に基づいて認識される前記道路端の安定度を判定し、安定度レベルに応じて自動運転支援機能の継続及び解除を設定することを特徴とする請求項１に記載の車両の運転支援装置。

Images