JP2021047609A - 周辺認識装置、周辺認識方法、およびプログラム - Google Patents

Abstract

【課題】カメラによる道路区画線の認識結果の採否を、他のセンサの検出結果によって適切に決定すること。【解決手段】車両に搭載され、前記車両の周辺を撮像するカメラによって取得された画像に基づいて、前記車両に対する道路区画線の位置を認識する画像解析部と、前記車両に搭載され、前記車両の周辺を検出範囲とし、前記カメラとは異なる物体検出装置によって取得された複数の物標位置から、線状に並ぶ一群の物標位置の延在方向である第１延在方向を特定する特定部と、前記車両の走行制御の基準とする基準走路を決定する決定部であって、前記第１延在方向と、前記画像解析部によって認識された道路区画線の延在方向である第２延在方向とが合致する場合に、前記画像解析部によって認識された道路区画線に基づいて前記基準走路を決定する決定部と、を備える周辺認識装置。【選択図】図２

Description

本発明は、周辺認識装置、周辺認識方法、およびプログラムに関する。

従来、物体の位置情報を検出するレーダ手段と、物体の位置大きさ情報を検出する撮像手段と、レーダ手段および撮像手段による検出結果が所定のフュージョン条件を満たす場合にレーダ手段によって検出した物体と撮像手段によって検出した物体を同一物体としてフュージョンして位置情報および大きさ情報を有するフュージョン物標を生成するフュージョン処理手段と、を備え、生成されたフュージョン物標についてフュージョン条件の更新判定時にレーダ手段による検出結果に対して撮像手段による検出結果がフュージョン条件を満たさない場合には、大きさ情報が過去に取得したフュージョン物標の大きさ情報に基づく推定により補間された仮フュージョン物標を生成してフュージョン物標を更新する物体検出装置の発明が開示されている（特許文献１参照）。

特開２００７−２２６６８０号公報

上記従来の技術は、他車両などの立体物を検出する際にカメラとレーダのセンサフュージョンを行うものであり、カメラによる道路区画線の認識結果の採否を、他のセンサの検出結果によって適切に行うものではない。

本発明は、このような事情を考慮してなされたものであり、カメラによる道路区画線の認識結果の採否を、他のセンサの検出結果によって適切に決定することが可能な周辺認識装置、周辺認識方法、およびプログラムを提供することを目的の一つとする。

この発明に係る周辺認識装置、周辺認識方法、およびプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係る周辺認識装置は、車両に搭載され、前記車両の周辺を撮像するカメラによって取得された画像に基づいて、前記車両に対する道路区画線の位置を認識する画像解析部と、前記車両に搭載され、前記車両の周辺を検出範囲とし、前記カメラとは異なる物体検出装置によって取得された複数の物標位置から、線状に並ぶ一群の物標位置の延在方向である第１延在方向を特定する特定部と、前記車両の走行制御の基準とする基準走路を決定する決定部であって、前記第１延在方向と、前記画像解析部によって認識された道路区画線の延在方向である第２延在方向とが合致する場合に、前記画像解析部によって認識された道路区画線に基づいて前記基準走路を決定する決定部と、を備えるものである。

（２）：上記（１）の態様において、前記車両の位置を地図情報に当てはめることで、前記車両に対する前記車両が存在する道路の延在方向である第３延在方向を認識する地図ベース認識部を更に備え、前記決定部は、前記第１延在方向と前記第２延在方向とが合致し、且つ、前記第２延在方向と前記第３延在方向とが合致しない場合、前記画像解析部によって認識された道路区画線に基づいて前記基準走路を決定するものである。

（３）：上記（２）の態様において、前記決定部は、前記第１延在方向と前記第２延在方向とが合致せず、且つ、前記第２延在方向と前記第３延在方向とが合致しない場合、前記地図ベース認識部により認識された道路区画線に基づいて前記基準走路を決定するものである。

（４）：上記（１）から（３）のいずれかの態様において、前記特定部は、前記複数の物標位置から、所定の長さ以上に延在し、且つ静止していると推定される物標に対応する物標位置を、前記線状に並ぶ一群の物標位置として特定するものである。

（５）：上記（１）から（４）のいずれかの態様において、前記特定部は、前記複数の物標位置のうち線状に並ぶ物標位置に対して、所定の手法によって間引き処理を行って数を減らして、前記線状に並ぶ一群の物標位置を特定するものである。

（６）：上記（１）から（５）のいずれかの態様において、前記特定部は、前記線状に並ぶ一群の物標位置に対して一次近似を行うことで、前記第１延在方向を特定するものである。

（７）：上記（１）から（６）のいずれかの態様において、前記決定部は、前記車両の左右においてそれぞれ認識される、前記線状に並ぶ一群の物標位置のうち、前記車両の進行方向に近い側の前記線状に並ぶ一群の物標位置に基づいて特定された前記第１延在方向と、前記第２延在方向とが合致する場合に、前記画像解析部によって認識された道路区画線に基づいて前記基準走路を決定するものである。

（８）：上記（１）から（７）のいずれかの態様において、前記決定部は、前記車両の左右においてそれぞれ認識される、前記線状に並ぶ一群の物標位置のうち、数が多い方の前記線状に並ぶ一群の物標位置に基づいて特定された前記第１延在方向と、前記第２延在方向とが合致する場合に、前記画像解析部によって認識された道路区画線に基づいて前記基準走路を決定するものである。

（９）：本発明の他の態様に係る周辺認識方法は、コンピュータが、車両に搭載され、前記車両の周辺を撮像するカメラによって取得された画像に基づいて、前記車両に対する道路区画線の位置を認識し、前記車両に搭載され、前記車両の周辺を検出範囲とし、前記カメラとは異なる物体検出装置によって取得された複数の物標位置から、線状に並ぶ一群の物標位置の延在方向である第１延在方向を特定し、前記第１延在方向と、前記画像解析部によって認識された道路区画線の延在方向である第２延在方向とが合致する場合に、前記画像に基づいて認識された道路区画線に基づいて前記車両の走行制御の基準とする基準走路を決定するものである。

（１０）：本発明の他の態様に係るプログラムは、コンピュータに、車両に搭載され、前記車両の周辺を撮像するカメラによって取得された画像に基づいて、前記車両に対する道路区画線の位置を認識させ、前記車両に搭載され、前記車両の周辺を検出範囲とし、前記カメラとは異なる物体検出装置によって取得された複数の物標位置から、線状に並ぶ一群の物標位置の延在方向である第１延在方向を特定させ、前記第１延在方向と、前記画像解析部によって認識された道路区画線の延在方向である第２延在方向とが合致する場合に、前記画像に基づいて認識された道路区画線に基づいて前記車両の走行制御の基準とする基準走路を決定させるものである。

上記（１）〜（１０）の態様によれば、カメラによる道路区画線の認識結果の採否を、他のセンサの検出結果によって適切に決定することができる。

上記（２）または（３）の態様によれば、カメラ画像と物標位置情報との比較に加えて、地図情報とカメラ画像との比較に基づいて基準走路を決定するため、カメラによる道路区画線の認識結果の採否を、より適切に決定することができる。

上記（４）の態様によれば、道路に沿った静止物に限定したカメラ画像と比較することができる。

上記（５）の態様によれば、間引いた後の処理の負荷を軽減することができる。

上記（６）の態様によれば、第１延在方向を大局的に低負荷で計算することができる。

上記（７）の態様によれば、車両の進行方向に沿った物標位置に基づいて特定された第１延在方向を第２延在方向と比較するため、カメラによる道路区画線の認識結果の採否を、より適切に決定することができる。

上記（８）の態様によれば、車両の左右いずれかに偏在する物標位置のうち数が多い物標位置（すなわち、車両に近い側の物標位置）に基づいて特定された第１延在方向を第２延在方向と比較するため、カメラによる道路区画線の認識結果の採否を、より適切に決定することができる。

実施形態に係る周辺認識装置を利用した車両システムの構成図である。 第１実施形態に係る自動運転制御装置の第１制御部および第２制御部の機能構成図である。 画像解析部および物標延在方向特定部の機能について説明するための図である。 あるレイヤで光を照射した場合に得られる物標位置と、それらに付与されるフラグの一例を示す図である。 基準走路決定部により実行される処理の流れの一例を示すフローチャートである。 カメラ画像に基づいて基準走路を決定する場面について説明するための図である。 カメラ画像に基づいて基準走路を決定する場面について説明するための図である。 カメラ画像に基づいて基準走路を決定する場面について説明するための図である。 地図情報に基づいて基準走路を決定する場面について説明するための図である。 画像解析部、物標延在方向特定部、および基準走路決定部による処理の流れの一例を示すフローチャートである。 物標位置の絞り込み処理について説明するための図である。 ベクトルを生成する処理について説明するための図である。 実施形態の自動運転制御装置のハードウェア構成の一例を示す図である。

以下、図面を参照し、本発明の周辺認識装置、周辺認識方法、およびプログラムの実施形態について説明する。

［全体構成］
図１は、実施形態に係る周辺認識装置を利用した車両システム１の構成図である。車両システム１が搭載される車両は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジンなどの内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。周辺認識装置は、車両の走行を制御する車両制御装置の一部であってもよいし、車両制御装置とは別体の装置であってもよい。以下の説明では、周辺認識装置が車両制御装置の一部であるものとする。

車両システム１は、例えば、カメラ１０と、レーダ装置１２と、ＬＩＤＡＲ１４と、物体認識装置１６と、通信装置２０と、ＨＭＩ（Human Machine Interface）３０と、車両センサ４０と、ナビゲーション装置５０と、ＭＰＵ（Map Positioning Unit）６０と、運転操作子８０と、自動運転制御装置（Automated Driving Control Device）１００と、走行駆動力出力装置２００と、ブレーキ装置２１０と、ステアリング装置２２０とを備える。これらの装置や機器は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図１に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。

カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。カメラ１０は、車両システム１が搭載される車両（以下、自車両Ｍ）の任意の箇所に取り付けられる。前方を撮像する場合、カメラ１０は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。カメラ１０は、例えば、周期的に繰り返し自車両Ｍの周辺を撮像する。カメラ１０は、ステレオカメラであってもよい。

レーダ装置１２は、自車両Ｍの周辺にミリ波などの電波を放射すると共に、物体によって反射された電波（反射波）を検出して少なくとも物体の位置（距離および方位）を検出する。レーダ装置１２は、自車両Ｍの任意の箇所に取り付けられる。レーダ装置１２は、ＦＭ−ＣＷ（Frequency Modulated Continuous Wave）方式によって物体の位置および速度を検出してもよい。

ＬＩＤＡＲ（Light Detection and Ranging）１４は、自車両Ｍの周辺に光を照射し、散乱光を測定する。ＬＩＤＡＲ１４は、発光から受光までの時間に基づいて、対象までの距離を検出する。照射される光は、例えば、パルス状のレーザー光である。ＬＩＤＡＲ１４は、自車両Ｍの任意の箇所に取り付けられる。

ＬＩＤＡＲ１４は、光の照射方向を、仰角または俯角（以下、上下方向の照射方向φ）と、方位角（水平方向の照射方向θ）との双方について変更可能である。ＬＩＤＡＲ１４は、例えば、照射方向φを固定して照射方向θを変えながらスキャンを行い、次いで上下方向の照射方向φを変更し、変更した角度で照射方向φを固定して照射方向θを変えながらスキャンを行う、という動作を繰り返し行う。以下、照射方向φのことを「レイヤ」と称する。ＬＩＤＡＲ１４は、例えば、レイヤを固定して照射方向θを変えながら行う一回のスキャン（サイクル）を、全てのレイヤについて行うことを１回のスキャンとして行う。レイヤは、例えばＬ１〜Ｌｎまで有限数で設定される（ｎは自然数）。レイヤの変更は、例えば、前回のサイクルで照射した光が今回のサイクルにおける検知に干渉しないように、Ｌ０→Ｌ４→Ｌ２→Ｌ５→Ｌ１…というように角度に関して不連続に行われる。なお、これに限らず、レイヤの変更が角度に関して連続的に行われても構わない。ＬＩＤＡＲ１４は、例えば、｛φ，θ，ｄ，ｐ｝を一つの単位とするデータセット（ライダーデータ）を物体認識装置１６に出力する。ｄは距離であり、ｐは反射光の強度である。

物体認識装置１６は、カメラ１０、レーダ装置１２、およびＬＩＤＡＲ１４のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度などを認識する。物体認識装置１６は、認識結果を自動運転制御装置１００に出力する。また、物体認識装置１６は、カメラ１０、レーダ装置１２、およびＬＩＤＡＲ１４の検出結果をそのまま、或いは所定の加工処理を行って自動運転制御装置１００に出力する。例えば、物体認識装置１６は、ＬＩＤＡＲ１４の出力する物標位置のデータに対してフラグを付与する処理を行う。これについては後述する。

通信装置２０は、例えば、セルラー網やＷｉ−Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＤＳＲＣ（Dedicated Short Range Communication）などを利用して、自車両Ｍの周辺に存在する他車両と通信し、或いは無線基地局を介して各種サーバ装置と通信する。

ＨＭＩ３０は、自車両Ｍの乗員に対して各種情報を提示すると共に、乗員による入力操作を受け付ける。ＨＭＩ３０は、各種表示装置、スピーカ、ブザー、タッチパネル、スイッチ、キーなどを含む。

車両センサ４０は、自車両Ｍの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、自車両Ｍの向きを検出する方位センサ等を含む。

ナビゲーション装置５０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）受信機５１と、ナビＨＭＩ５２と、経路決定部５３とを備える。ナビゲーション装置５０は、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置に第１地図情報５４を保持している。ＧＮＳＳ受信機５１は、ＧＮＳＳ衛星から受信した信号に基づいて、自車両Ｍの位置を特定する。自車両Ｍの位置は、車両センサ４０の出力を利用したＩＮＳ（Inertial Navigation System）によって特定または補完されてもよい。ナビＨＭＩ５２は、表示装置、スピーカ、タッチパネル、キーなどを含む。ナビＨＭＩ５２は、前述したＨＭＩ３０と一部または全部が共通化されてもよい。経路決定部５３は、例えば、ＧＮＳＳ受信機５１により特定された自車両Ｍの位置（或いは入力された任意の位置）から、ナビＨＭＩ５２を用いて乗員により入力された目的地までの経路（以下、地図上経路）を、第１地図情報５４を参照して決定する。第１地図情報５４は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。地図上経路は、ＭＰＵ６０に出力される。ナビゲーション装置５０は、地図上経路に基づいて、ナビＨＭＩ５２を用いた経路案内を行ってもよい。ナビゲーション装置５０は、例えば、乗員の保有するスマートフォンやタブレット端末等の端末装置の機能によって実現されてもよい。ナビゲーション装置５０は、通信装置２０を介してナビゲーションサーバに現在位置と目的地を送信し、ナビゲーションサーバから地図上経路と同等の経路を取得してもよい。

ＭＰＵ６０は、例えば、推奨車線決定部６１を含み、ＨＤＤやフラッシュメモリなどの記憶装置に第２地図情報６２を保持している。推奨車線決定部６１は、ナビゲーション装置５０から提供された地図上経路を複数のブロックに分割し（例えば、車両進行方向に関して１００［ｍ］毎に分割し）、第２地図情報６２を参照してブロックごとに推奨車線を決定する。推奨車線決定部６１は、左から何番目の車線を走行するといった決定を行う。推奨車線決定部６１は、地図上経路に分岐箇所が存在する場合、自車両Ｍが、分岐先に進行するための合理的な経路を走行できるように、推奨車線を決定する。

第２地図情報６２は、第１地図情報５４よりも高精度な地図情報である。第２地図情報６２は、例えば、車線の中央の情報あるいは車線の境界の情報等を含んでいる。また、第２地図情報６２には、道路情報、交通規制情報、住所情報（住所・郵便番号）、施設情報、電話番号情報などが含まれてよい。第２地図情報６２は、通信装置２０が他装置と通信することにより、随時、アップデートされてよい。

運転操作子８０は、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ステアリングホイール、異形ステア、ジョイスティックその他の操作子を含む。運転操作子８０には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、自動運転制御装置１００、もしくは、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０のうち一部または全部に出力される。

自動運転制御装置１００は、例えば、第１制御部１２０と、第２制御部１９０とを備える。第１制御部１２０と第２制御部１９０は、それぞれ、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め自動運転制御装置１００のＨＤＤやフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ−ＲＯＭなどの着脱可能な記憶媒体に格納されており、記憶媒体（非一過性の記憶媒体）がドライブ装置に装置に装着されることで自動運転制御装置１００のＨＤＤやフラッシュメモリにインストールされてもよい。

図２は、第１実施形態に係る自動運転制御装置１００の第１制御部１２０および第２制御部１９０の機能構成図である。第１制御部１２０は、例えば、認識部１３０と、行動計画生成部１８０とを備える。第１制御部１２０は、例えば、ＡＩ（Artificial Intelligence；人工知能）による機能と、予め与えられたモデルによる機能とを並行して実現する。例えば、「交差点を認識する」機能は、ディープラーニング等による交差点の認識と、予め与えられた条件（パターンマッチング可能な信号、道路標示などがある）に基づく認識とが並行して実行され、双方に対してスコア付けして総合的に評価することで実現されてよい。これによって、自動運転の信頼性が担保される。

認識部１３０の各部と行動計画生成部１８０は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ−ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることで記憶装置にインストールされてもよい。

認識部１３０は、例えば、物体認識部１４０と、画像解析部１５０と、物標延在方向特定部１５２と、地図ベース認識部１５４と、基準走路決定部１５６と、自車位置認識部１６０とを備える。これらのうち、少なくとも画像解析部１５０と、物標延在方向特定部１５２と、地図ベース認識部１５４と、基準走路決定部１５６と、自車位置認識部１６０とを含むものが、「周辺認識装置」の一例である。

物体認識部１４０は、カメラ１０、レーダ装置１２、およびＬＩＤＡＲ１４から物体認識装置１６を介して入力された情報に基づいて、自車両Ｍの周辺にある物体の位置、および速度、加速度等の状態を認識する。物体とは、他車両、歩行者、自転車、その他の障害物である。物体の位置は、例えば、自車両Ｍの代表点（重心や駆動軸中心など）を原点とし、自車両Ｍの中心軸をＸ軸とする絶対座標上の位置として認識され、制御に使用される。物体の位置は、その物体の重心やコーナー等の代表点で表されてもよいし、表現された領域で表されてもよい。物体の「状態」とは、物体の加速度やジャーク、あるいは「行動状態」（例えば車線変更をしている、またはしようとしているか否か）を含んでもよい。

［基準走路の認識］
画像解析部１５０、および物標延在方向特定部１５２の機能について、図３を用いて説明する。図３は、画像解析部１５０および物標延在方向特定部１５２の機能について説明するための図である。図中、Ｒ_Ｍは自車両Ｍの代表点であり、ＸＹ軸は前述した絶対座標の座標軸を表している。

画像解析部１５０は、カメラ１０によって取得された画像に基づいて、自車両Ｍに対する道路区画線Ｒｌの位置を認識する。道路区画線Ｒｌとは、実線または破線の形状で道路に描画された白線や黄線であり、車線を区分するものである。画像解析部１５０は、例えば、画像平面を絶対座標系で表される実平面に変換し、絶対座標系上で、隣接画素（或いは隣接画素群）との輝度差（または色彩差）が大きい画素（或いは画素群）であるエッジ点Ｅｐを抽出し、一次近似などの手法で直線状に並ぶエッジ点Ｅｐに絞り込み、一般的な道路区画線の幅である所定幅Ｗｄをもって所定長さ以上に亘って延在する一組のエッジ点Ｅｐの列Ｌ_Ｅｐを、道路区画線の輪郭として認識する。そして、画像解析部１５０は、輪郭で区画される領域を道路区画線Ｒｌとして認識する。これに代えて画像解析部１５０は、画像平面上で直接的に道路区画線Ｒｌを認識してもよいし、エッジ点Ｅｐの列Ｌ_Ｅｐを単独で道路区画線Ｒｌの一方の輪郭とみなしてもよい（必ずしも所定幅Ｗｄをもつ一組のエッジ点Ｅｐの列Ｌ_Ｅｐに絞り込まなくてもよい）。画像解析部１５０は、認識した道路区画線Ｒｌの延在方向Ｄ_Ｒｌ（第２延在方向）を道路区画線Ｒｌごとに特定しておく。図は、道路区画線Ｒｌ（１）、Ｒｌ（２）、Ｒｌ（３）のそれぞれに対応する延在方向Ｄ_Ｒｌ（１）、Ｄ_Ｒｌ（２）、Ｄ_Ｒｌ（３）が認識されていることを示している。

物標延在方向特定部１５２は、カメラ１０とは異なる物体検出装置の一例であるＬＩＤＡＲ１４によって取得された複数の物標位置（例えば、照射角度および距離で表される）を、絶対座標系上の位置に変換した情報（例えばポイントクラウドデータと称される）に基づいて、以下の処理を行う。物標延在方向特定部１５２は、線状に並ぶ一群の物標位置Ｇ_Ｔｇの延在方向Ｄ_Ｔｇ（第１延在方向）を、自車両Ｍの左右の構造物Ｓｔのそれぞれについて特定する。物標延在方向特定部１５２が特定しようとする一群の物標位置Ｇ_Ｔｇとは、道路に平行に存在する、静止している構造物Ｓｔの各部の位置である。構造物Ｓｔは、例えば縁石やガードレール、側壁などである。図は、構造物Ｓｔ（Ｌ）、Ｓｔ（Ｒ）のそれぞれに対応する延在方向Ｄ_Ｔｇ（Ｌ）、Ｄ_Ｔｇ（Ｒ）が認識されていることを示している。

物標延在方向特定部１５２が取得する物標位置には、物標認識装置１６によって、例えば、道路面を表すフラグ（ＦＳ）、移動体を表すフラグ（ＤＹ）、静止物を表すフラグ（ＳＡ）、不明であることを示すフラグ（ＵＫ）などが付与されている。物標認識装置１６は、例えば、ポイントクラウドデータに対してＲＡＮＳＡＣ（Random Sample Consensus）などのロバスト推定手法による平面抽出処理を行い、物標位置が道路面（上に物体が存在しないもの）を表すか否かを判定し、道路面を表すと判定した場合に、物標位置に対してフラグ（ＦＳ）を付与する。また、物標認識装置１６は、カルマンフィルタなどの手法を用いて時系列で物標位置を追跡し、同じ物体を表す物標位置を時系列で特定することで、物標位置に対してフラグ（ＤＹ）、フラグ（ＳＡ）、またはフラグ（ＵＫ）を付与する。図４は、あるレイヤで光を照射した場合に得られる物標位置と、それらに付与されるフラグの一例を示す図である。図示するように、構造物Ｓｔ（Ｌ）およびＳｔ（Ｒ）の一部である物標位置に対してはフラグ（ＳＡ）が、道路面の一部である物標位置に対してはフラグ（ＦＳ）が、他車両ｍ１、ｍ２などの移動体の一部である物標位置に対してはフラグ（ＤＹ）が、それぞれ付与される。物標延在方向特定部１５２は、例えば、物標認識装置１６から取得した物標位置を、フラグ（ＳＡ）またはフラグ（ＵＫ）が付与された物標位置に絞り込んでから、上記のように延在方向Ｄ_Ｔｇを特定する処理を行う。なお、詳細な延在方向Ｄ_Ｔｇの求め方については後述する。上記した物標延在方向特定部１５２の機能のうち一部または全部は、物体認識装置１６に搭載されてもよいし、物体認識装置１６の機能のうち一部または全部を物標延在方向特定部１５２が備えてもよい。

地図ベース認識部１５４は、自車両Ｍの位置を地図情報（例えば第２地図情報６２）に当てはめることで、自車両Ｍに対する道路区画線の位置を認識する。地図ベース認識部１５４は、ナビゲーション装置５０により特定される自車両Ｍの位置、カメラ１０により撮像された画像、車両センサ４０に含まれる方位センサの出力などを地図情報と照合し、自車両Ｍが地図におけるどの道路、どの車線を、どの方向に走行しているかを認識する。例えば、地図ベース認識部１５４は、自車両Ｍの地上座標系（緯度経度を軸とする座標系）における向きと、地図情報において自車両Ｍが存在することが認識された道路（車線）の延在方向との角度差に基づいて、地図情報における道路（車線）の延在方向Ｄ_Ｍｐ（第３延在方向）を認識する。

基準走路決定部１５６は、行動計画生成部１８０が自車両Ｍの走行制御の基準とする基準走路を決定する。図５は、基準走路決定部１５６により実行される処理の流れの一例を示すフローチャートである。なお、本フローチャートの処理と並行して、延在方向Ｄ_Ｔｇ（第１延在方向）、延在方向Ｄ_Ｒｌ（第２延在方向）、および延在方向Ｄ_Ｍｐ（第３延在方向）を求める処理が繰り返し実行されており、本フローチャートの処理では、それらのうち直近で求められた情報を用いて処理を行うものとする。

まず、基準走路決定部１５６は、第１フラグと第２フラグの双方をＦａｌｓｅに設定する（ステップＳ１００）。第１フラグとは、延在方向Ｄ_Ｔｇ（第１延在方向）と延在方向Ｄ_Ｒｌ（第２延在方向）が合致しない場合にＴｒｕｅ、合致する場合にＦａｌｓｅが設定されるフラグである。第２フラグとは、延在方向Ｄ_Ｒｌ（第２延在方向）と延在方向Ｄ_Ｍｐ（第３延在方向）が合致しない場合にＴｒｕｅ、合致する場合にＦａｌｓｅが設定されるフラグである。これらは以降の処理でＴｒｕｅまたはＦａｌｓｅに設定されるが、デフォルト値としてＦａｌｓｅが設定される。合致するとは、例えば角度差が閾値（例えば数度程度の値）以内であることを意味する。

次に、基準走路決定部１５６は、延在方向Ｄ_Ｔｇ（第１延在方向）と延在方向Ｄ_Ｒｌ（第２延在方向）が合致しないかどうかを判定する（ステップＳ１０２）。

延在方向Ｄ_Ｔｇ（第１延在方向）と延在方向Ｄ_Ｒｌ（第２延在方向）が合致しないと判定した場合、基準走路決定部１５６は、第１フラグをＴｒｕｅに変更する（ステップＳ１０４）。延在方向Ｄ_Ｔｇ（第１延在方向）と延在方向Ｄ_Ｒｌ（第２延在方向）が合致する場合、或いは、延在方向Ｄ_Ｔｇ（第１延在方向）が確定していない場合、基準走路決定部１５６は、第１フラグをＦａｌｓｅのまま維持する。延在方向Ｄ_Ｔｇ（第１延在方向）が確定していない場合とは、例えば、条件を満たす一群の物標位置Ｇ_Ｔｇが特定できなかった場合である。

ステップＳ１０４の処理において、基準走路決定部１５６は、自車両Ｍの左右に存在することが想定される二つの延在方向Ｄ_Ｔｇ（第１延在方向）と、一以上の延在方向Ｄ_Ｒｌ（第２延在方向）とのそれぞれを比較し、部分的に合致している場合、延在方向Ｄ_Ｔｇ（第１延在方向）と延在方向Ｄ_Ｒｌ（第２延在方向）が合致すると判定する。但し、自車両Ｍの左側にある延在方向Ｄ_Ｔｇ（第１延在方向）と、自車両Ｍの右側にある延在方向Ｄ_Ｒｌ（第２延在方向）のみが合致する場合、基準走路決定部１５６は、これらが合致しないと判定してもよい。図３の例では、以下のいずれか一つの条件が満たされた場合に、基準走路決定部１５６が延在方向Ｄ_Ｔｇ（第１延在方向）と延在方向Ｄ_Ｒｌ（第２延在方向）が合致すると判定する。
（条件１）延在方向Ｄ_Ｔｇ（Ｌ）と延在方向Ｄ_Ｒｌ（１）が合致する。
（条件２）延在方向Ｄ_Ｔｇ（Ｒ）と延在方向Ｄ_Ｒｌ（２）またはＤ_Ｒｌ（３）が合致する。

上記では、基準走路決定部１５６は、「部分的に（左右のいずれか一方について）合致している」場合、延在方向Ｄ_Ｔｇ（第１延在方向）と延在方向Ｄ_Ｒｌ（第２延在方向）が「合致する」と判定するものとしたが、これに代えて、基準走路決定部１５６は、左右の双方について合致しなければ、延在方向Ｄ_Ｔｇ（第１延在方向）と延在方向Ｄ_Ｒｌ（第２延在方向）が「合致しない」と判定してもよい。

次に、基準走路決定部１５６は、延在方向Ｄ_Ｒｌ（第２延在方向）と延在方向Ｄ_Ｍｐ（第３延在方向）が合致しないかどうかを判定する（ステップＳ１０６）。本ステップにおいて、互いに複数の延在方向Ｄ_Ｒｌ（第２延在方向）が存在する場合、一部の延在方向Ｄ_Ｒｌ（第２延在方向）が延在方向Ｄ_Ｍｐ（第３延在方向）と合致する場合に「合致する」と判定してもよいし、全ての延在方向Ｄ_Ｒｌ（第２延在方向）が延在方向Ｄ_Ｍｐ（第３延在方向）と合致する場合にのみ「合致する」と判定してもよい。延在方向Ｄ_Ｒｌ（第２延在方向）と延在方向Ｄ_Ｍｐ（第３延在方向）が合致しないと判定した場合、基準走路決定部１５６は、第２フラグをＴｒｕｅに変更する（ステップＳ１０８）。延在方向Ｄ_Ｒｌ（第２延在方向）と延在方向Ｄ_Ｍｐ（第３延在方向）が合致する場合、或いは、延在方向Ｄ_Ｍｐ（第３延在方向）が得られていない場合、基準走路決定部１５６は、第２フラグをＦａｌｓｅのまま維持する。延在方向Ｄ_Ｍｐ（第３延在方向）が得られていない場合とは、例えば、自車両Ｍが存在する位置に対応する地図情報が無い場合である。

次に、基準走路決定部１５６は、第１フラグ、第２フラグ共にＦａｌｓｅであるか否かを判定する（ステップＳ１１０）。第１フラグ、第２フラグ共にＦａｌｓｅである場合、すなわち、第１延在方向と第２延在方向が合致し、且つ第２延在方向と第３延在方向が合致する場合、基準走路決定部１５６は、地図情報に基づいて基準走路を決定する（ステップＳ１１２）。

ステップＳ１１０で否定的な判定結果を得た場合、基準走路決定部１５６は、第１フラグがＦａｌｓｅであり、且つ第２フラグがＴｒｕｅであるか否かを判定する（ステップＳ１１４）。第１フラグがＦａｌｓｅであり、且つ第２フラグがＴｒｕｅである場合、すなわち、第１延在方向と第２延在方向が合致し、且つ第２延在方向と第３延在方向が合致しない場合、基準走路決定部１５６は、カメラ１０の画像（カメラ画像）に基づいて基準走路を決定する（ステップＳ１１６）。

ステップＳ１１４で否定的な判定結果を得た場合、基準走路決定部１５６は、第１フラグがＴｒｕｅであり、且つ第２フラグがＦａｌｓｅであるか否かを判定する（ステップＳ１１８）。第１フラグがＴｒｕｅであり、且つ第２フラグがＦａｌｓｅである場合、すなわち、第１延在方向と第２延在方向が合致せず、且つ第２延在方向と第３延在方向が合致する場合、基準走路決定部１５６は、地図情報に基づいて基準走路を決定する（ステップＳ１１２）。

ステップＳ１１８で否定的な判定結果を得た場合、基準走路決定部１５６は、第１フラグがＴｒｕｅであり、且つ第２フラグがＴｒｕｅであるか否かを判定する（ステップＳ１２０）。第１フラグがＴｒｕｅであり、且つ第２フラグがＴｒｕｅである場合、すなわち、第１延在方向と第２延在方向が合致せず、且つ第２延在方向と第３延在方向も合致しない場合、基準走路決定部１５６は、地図情報に基づいて基準走路を決定する（ステップＳ１１２）。なお、ステップＳ１２０で否定的な判定結果を得た場合、基準走路決定部１５６は、エラー情報を行動計画生成部１８０に出力する（ステップＳ１２２）。この場合、行動計画生成部１８０は、運転者に手動運転を要求する情報を出力したり、自車両Ｍを減速させて停止させる処理を行う。

図６〜８は、カメラ画像に基づいて基準走路を決定する場面について説明するための図である。図６に示す例では、延在方向Ｄ_Ｔｇ（Ｌ）と延在方向Ｄ_Ｒｌ（１）が合致し、延在方向Ｄ_Ｔｇ（Ｒ）と延在方向Ｄ_Ｒｌ（２）およびＤ_Ｒｌ（３）が合致している。道路区画線Ｒｌ（２）の方が道路区画線Ｒｌ（３）よりも自車両Ｍに近いため、この場合、基準走路決定部１５６は、道路区画線Ｒｌ（１）およびＲｌ（２）の位置に基づいて基準走路ＲＲを決定する。例えば、基準走路決定部１５６は、道路区画線Ｒｌ（１）の右側端部と、道路区画線Ｒｌ（２）の左側端部とで区画される領域を基準走路ＲＲとする。

図７に示す例では、延在方向Ｄ_Ｔｇ（Ｌ）と延在方向Ｄ_Ｒｌ（１）が合致しているが、道路区画線Ｒｌ（２）がかすれているため延在方向Ｄ_Ｒｌ（２）が特定できておらず、延在方向Ｄ_Ｔｇ（Ｒ）と延在方向Ｄ_Ｒｌ（３）のみが合致している。但し、道路区画線Ｒｌ（１）とＲｌ（３）の間隔から二車線分の車線が存在することが認識されている。この場合、基準走路決定部１５６は、道路区画線Ｒｌ（１）およびＲｌ（３）の位置に基づいて基準走路ＲＲを決定する。例えば、基準走路決定部１５６は、道路区画線Ｒｌ（１）の右側端部と、道路区画線Ｒｌ（３）の左側端部とで区画される領域を道路幅方向に二分割して基準走路ＲＲを設定する。

図８に示す例では、延在方向Ｄ_Ｔｇ（Ｌ）と延在方向Ｄ_Ｒｌ（１）が合致しているが、道路に射している影の影響で、延在方向Ｄ_Ｒｌ（２）と延在方向Ｄ_Ｒｌ（３）が本来の道路区画線Ｒｌの延在方向とは異なる方向に誤認識されている。この結果、延在方向Ｄ_Ｒｌ（２）と延在方向Ｄ_Ｒｌ（３）は共に延在方向Ｄ_Ｔｇ（Ｒ）と合致していない。この場合、基準走路決定部１５６は、道路区画線Ｒｌ（１）の位置に基づいて基準走路ＲＲを決定する。例えば、基準走路決定部１５６は、道路区画線Ｒｌ（１）の右側端部を左端として、一般的な車線幅を有する領域を基準走路ＲＲとする。

図９は、地図情報に基づいて基準走路を決定する場面について説明するための図である。図９に示す例では、道路に射している影の影響で、延在方向Ｄ_Ｒｌ（１）、延在方向Ｄ_Ｒｌ（２）、および延在方向Ｄ_Ｒｌ（３）が本来の道路区画線Ｒｌの延在方向とは異なる方向に誤認識されている。この結果、延在方向Ｄ_Ｒｌ（１）と延在方向Ｄ_Ｔｇ（Ｒ）は合致せず、且つ延在方向Ｄ_Ｒｌ（２）と延在方向Ｄ_Ｒｌ（３）は共に延在方向Ｄ_Ｔｇ（Ｒ）と合致していない。この場合、基準走路決定部１５６は、地図ベース認識部１５４を介して地図情報から、例えば「走行中の車線は直線、且つ自車両Ｍの進行方向と合致している」という情報を取得し、自車両Ｍの位置および進行方向を基準として基準走路ＲＲを決定する。

自車位置認識部１６０は、基準走路ＲＲに対する自車両Ｍの位置および姿勢を認識する。自車位置認識部１６０は、例えば、自車両Ｍの代表点の基準走路ＲＲの中央部からの乖離、および自車両Ｍの進行方向が基準走路ＲＲの中央線に対してなす角度を、基準走路ＲＲに対する自車両Ｍの位置および姿勢として認識する。これに代えて、自車位置認識部１６０は、基準走路ＲＲのいずれかの側端部に対する自車両Ｍの代表点の位置などを、走行車線に対する自車両Ｍの位置として認識してもよい。

［行動計画生成］
行動計画生成部１８０は、原則的には自車両Ｍが基準走路決定部１５６により決定された基準走路ＲＲを走行し、更に、自車両Ｍの周辺状況に対応できるように、自車両Ｍが自動的に（運転者の操作に依らずに）将来走行する目標軌道を生成する。目標軌道は、例えば、速度要素を含んでいる。例えば、目標軌道は、自車両Ｍの到達すべき地点（軌道点）を順に並べたものとして表現される。軌道点は、道なり距離で所定の走行距離（例えば数［ｍ］程度）ごとの自車両Ｍの到達すべき地点であり、それとは別に、所定のサンプリング時間（例えば０コンマ数［ｓｅｃ］程度）ごとの目標速度および目標加速度が、目標軌道の一部として生成される。また、軌道点は、所定のサンプリング時間ごとの、そのサンプリング時刻における自車両Ｍの到達すべき位置であってもよい。この場合、目標速度や目標加速度の情報は軌道点の間隔で表現される。行動計画生成部１８０は、自車両Ｍに基準走路ＲＲを走行させる場合、基準走路ＲＲの幅方向に関する中央線上に目標軌道を生成し、目標軌道の情報を第２制御部１９０に出力する。また、行動計画生成部１８０は、自車両Ｍの進行方向先に障害物が存在する場合、まず基準走路ＲＲ内で回避可能か否かを判定し、回避可能である場合は基準走路ＲＲ内に回避のための目標軌道を生成し、回避可能でない場合に車線変更制御に切り替える。これらが、「車両の走行制御の基準とする」ことの一例である。

行動計画生成部１８０は、目標軌道を生成するにあたり、自動運転のイベントを設定してよい。自動運転のイベントには、定速走行イベント、低速追従走行イベント、車線変更イベント、分岐イベント、合流イベント、テイクオーバーイベントなどがある。行動計画生成部１８０は、起動させたイベントに応じた目標軌道を生成する。

行動計画生成部１８０は、自動運転を実行している間、自動運転レベルを定義する。自動運転レベルとは、運転者に課せられる注意義務の程度を表すものであり、例えば、前方監視義務の有無、ステアリングホイールの把持義務の有無などによって段階的に定義される。前方監視義務が有る状態をアイズオン、無い状態をアイズオフと称する。また、ステアリングホイールの把持義務が有る状態をハンズオン、無い状態をハンズオフと称する。

アイズオンにおいて、行動計画生成部１８０は、自車両Ｍの車室内を撮像するカメラ（不図示）が撮像し、運転席に着座した乗員（運転者）を含む画像を解析することで、運転者が自車両Ｍの前方を視認しているか否かを判定する。運転者が自車両Ｍの前方を視認していないと判定した場合、行動計画生成部１８０は、ＨＭＩ３０を用いて運転者に警告を発し、それでも運転者が自車両Ｍの前方を視認しない場合は自動運転を停止したり、自車両Ｍを減速させて停止させたりする。アイズオフの場合、行動計画生成部１８０は、このような処理を行わない。

ハンズオンにおいて、行動計画生成部１８０は、ステアリングホイールに取り付けられた把持センサ（圧力センサ、静電容量センサなど）の検出結果を参照し、運転者がステアリングホイールを把持しているか否かを判定する。運転者がステアリングホイールを把持していないと判定した場合、行動計画生成部１８０は、ＨＭＩ３０を用いて運転者に警告を発し、それでも運転者がステアリングホイールを把持しない場合は自動運転を停止したり、自車両Ｍを減速させて停止させたりする。ハンズオフの場合、行動計画生成部１８０は、このような処理を行わない。

一般に、アイズオフの方がハンズオフよりも運転者に課せられる注意義務が小さい（自動運転レベルが高い）と考えられる。従って、自動運転レベルとして想定されるものは、例えば、自動運転レベルが高いものから順に、＜アイズオフ・ハンズオフ＞、＜アイズオン・ハンズオフ＞、＜アイズオン・ハンズオン＞の３つが考えられる。なお、この３つはあくまで一例であり、自動運転レベルは如何様にも定義することができる。例えば、運転者の睡眠を許容する、更に高い自動運転レベルが定義されてもよい。

行動計画生成部１８０は、例えば、基準走路決定部１５６の処理過程を一つの要素として、自動運転レベルを決定する。具体的に、行動計画生成部１８０は、例えば自動車専用道路を直進しているなどのシーン条件を満たすことを前提として、前述した第１フラグと第２フラグが共にＦａｌｓｅである場合に＜アイズオフ・ハンズオフ＞、第１フラグと第２フラグの一方がＦａｌｓｅ、他方がＴｒｕｅである場合に＜アイズオン・ハンズオフ＞、第１フラグと第２フラグが共にＴｒｕｅである場合に＜アイズオン・ハンズオン＞に自動運転レベルを設定する。また、前述したように、行動計画生成部１８０は、自車両Ｍの左右の延在方向が共に合致した場合（図６または図７の場面）、左右の一方のみが合致した場合（図８の場面）に比して、自動運転レベルを高くするようにしてもよい。これによって、自動運転制御装置１００は、道路状況の認識度合いに基づいて適切に自動運転レベルを定めることができる。

第２制御部１９０は、行動計画生成部１８０によって生成された目標軌道を、予定の時刻通りに自車両Ｍが通過するように、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０を制御する。

第２制御部１９０は、例えば、取得部１９２と、速度制御部１９４と、操舵制御部１９６とを備える。取得部１９２は、行動計画生成部１８０により生成された目標軌道（軌道点）の情報を取得し、メモリ（不図示）に記憶させる。速度制御部１９４は、メモリに記憶された目標軌道に付随する速度要素に基づいて、走行駆動力出力装置２００またはブレーキ装置２１０を制御する。操舵制御部１９６は、メモリに記憶された目標軌道の曲がり具合に応じて、ステアリング装置２２０を制御する。速度制御部１９４および操舵制御部１９６の処理は、例えば、フィードフォワード制御とフィードバック制御との組み合わせにより実現される。一例として、操舵制御部１９６は、自車両Ｍの前方の道路の曲率に応じたフィードフォワード制御と、目標軌道からの乖離に基づくフィードバック制御とを組み合わせて実行する。

走行駆動力出力装置２００は、車両が走行するための走行駆動力（トルク）を駆動輪に出力する。走行駆動力出力装置２００は、例えば、内燃機関、電動機、および変速機などの組み合わせと、これらを制御するＥＣＵ（Electronic Control Unit）とを備える。ＥＣＵは、第２制御部１９０から入力される情報、或いは運転操作子８０から入力される情報に従って、上記の構成を制御する。

ブレーキ装置２１０は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキＥＣＵとを備える。ブレーキＥＣＵは、第２制御部１９０から入力される情報、或いは運転操作子８０から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置２１０は、運転操作子８０に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置２１０は、上記説明した構成に限らず、第２制御部１９０から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。

ステアリング装置２２０は、例えば、ステアリングＥＣＵと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングＥＣＵは、第２制御部１９０から入力される情報、或いは運転操作子８０から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。

［より詳細な処理例］
以下、基準走路決定のための、より詳細な処理内容について説明する。図１０は、画像解析部１５０、物標延在方向特定部１５２、および基準走路決定部１５６による処理の流れの一例を示すフローチャートである。

まず、物標延在方向特定部１５２が、フラグ（ＳＡ）またはフラグ（ＵＫ）が付与された物標位置から二群の物標位置に絞り込む（ステップＳ２００）。図１１は、物標位置の絞り込み処理について説明するための図である。図示するように、物標延在方向特定部１５２が取得した物標位置の出現頻度をＹ軸方向にまとめると、自車両Ｍの左右方向（ここではいずれか一方を正、他方を負と定義する）のそれぞれにおいて、構造物Ｓｔの位置に対応するピークが出現する。物標延在方向特定部１５２は、それぞれのピークから例えばプラスマイナス１σの範囲内にある二群の物標位置に絞り込む。これによって、外れ値を適切に除外することができる。

図１０に戻り、物標延在方向特定部１５２は、二群の物標位置に絞り込んだそれぞれの群の物標位置について、Ｘ方向の間隔が規定値以上となるように物標位置を間引く（ステップＳ２０２）。次に、物標延在方向特定部１５２は、間引いた後のそれぞれの群の物標位置に対して、最小二乗法を適用して一次方程式に近似する（一次近似する；ステップＳ２０４）。次に、物標延在方向特定部１５２は、近似した一次方程式上で、自車両Ｍとの距離＝ゼロの地点を起点として、等間隔に物標位置を再生成する（ステップＳ２０６）。こうすることで、例えば三次方程式に近似する処理を行う場合に比して、処理負荷を軽減することができる。道路区画線Ｒｌと構造物Ｓｔの合致判定を行う処理において、数値的な厳密性はさほど要求されないため、一次近似を行うことで、処理負荷を軽減しつつ大局的な判断を行うことが可能となる。

次に、画像解析部１５０と物標延在方向特定部１５２のそれぞれは、ステップＳ２０６で再生成された物標位置と、カメラ画像から認識された道路区画線の輪郭であるエッジ点列のうち短い方を選択し（ステップＳ２０８）、短い方に合わせて第１延在方向と第２延在方向のそれぞれを表すベクトルを生成する（ステップＳ２１０）。図１２は、ベクトルを生成する処理について説明するための図である。図中、→Ｄ_Ｔｇは第１延在方向を示すベクトル（長さの概念を含む）であり、→Ｄ_Ｒｌは第２延在方向を示すベクトル（長さの概念を含む）である。図示するように、再生成された物標位置Ｔｇ＊とエッジ点Ｅｐのうち延在する長さが短い方である再生成された物標位置Ｔｇ＊に合わせてそれぞれのベクトルが生成される。

そして、基準走路決定部１５６は、第１延在方向を示すベクトルと第２延在方向を示すベクトルとのコサイン類似度を算出し、第１延在方向と第２延在方向が合致するか否かを判定する（ステップＳ２１２）。このステップＳ２１２の処理は、図５のステップＳ１０２の処理に対応している。前述したように、延在方向同士が合致するとは、例えば角度差が閾値（例えば数度程度の値）以内であることであり、コサイン類似度を用いて判定を行う場合は、コサイン類似度が上記閾値に対応した基準値以上である場合に、延在方向同士が合致すると判定すればよい。ステップＳ２１０で二つのベクトルの長さを揃えたのは、コサイン類似度を求めるためである。

上記実施形態では、第１延在方向として、延在方向Ｄ_Ｔｇ（Ｌ）、Ｄ_Ｔｇ（Ｒ）の双方を用いて基準走路を決定するものとしたが、それらのうち一方のみを用いて基準走路を決定してもよい。例えば、基準走路決定部１５６は、延在方向Ｄ_Ｔｇ（Ｌ）と延在方向Ｄ_Ｔｇ（Ｒ）が合致する（定義は前述の通りでよい）か否かを判定し、合致する場合は元になった物標位置が多い方を選択し、合致しない場合は自車両Ｍの進行方向により近い方を選択してもよい。この場合、基準走路決定部１５６は、第２延在方向である一以上の延在方向Ｄ_Ｒｌのそれぞれについて、選択した延在方向Ｄ_Ｔｇと合致するか否かを判定する。「進行方向により近い方」とは、例えば、自車両Ｍの代表点から進行方向に仮想線を設定した場合に、先に交差する方という意味である。

［ハードウェア構成］
図１３は、実施形態の自動運転制御装置１００のハードウェア構成の一例を示す図である。図示するように、自動運転制御装置１００は、通信コントローラ１００−１、ＣＰＵ１００−２、ワーキングメモリとして使用されるＲＡＭ（Random Access Memory）１００−３、ブートプログラムなどを格納するＲＯＭ（Read Only Memory）１００−４、フラッシュメモリやＨＤＤ（Hard Disk Drive）などの記憶装置１００−５、ドライブ装置１００−６などが、内部バスあるいは専用通信線によって相互に接続された構成となっている。通信コントローラ１００−１は、自動運転制御装置１００以外の構成要素との通信を行う。記憶装置１００−５には、ＣＰＵ１００−２が実行するプログラム１００−５ａが格納されている。このプログラムは、ＤＭＡ（Direct Memory Access）コントローラ（不図示）などによってＲＡＭ１００−３に展開されて、ＣＰＵ１００−２によって実行される。これによって、認識部１３０、行動計画生成部１８０、第２制御部１９０のうち一部または全部が実現される。

以上説明した実施形態によれば、車両（自車両Ｍ）に搭載され、車両の周辺を撮像するカメラ（１０）によって取得された画像に基づいて、車両に対する道路区画線の位置を認識する画像解析部（１５０）と、車両に搭載され、車両の周辺を検出範囲とし、カメラとは異なる物体検出装置（例えばＬＩＤＡＲ１４）によって取得された複数の物標位置から、線状に並ぶ一群の物標位置の延在方向である第１延在方向を特定する特定部（物標延在方向特定部１５２）と、車両の走行制御の基準とする基準走路（ＲＲ）を決定する決定部（基準走路決定部１５６）であって、第１延在方向と、画像解析部によって認識された道路区画線の延在方向である第２延在方向とが合致する場合に、前記画像解析部によって認識された道路区画線に基づいて前記基準走路を決定する決定部と、を備えることにより、カメラによる道路区画線の認識結果の採否を、他のセンサの検出結果によって適切に行うことができる。

上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶した記憶装置と、
ハードウエアプロセッサと、を備え、
前記ハードウェアプロセッサは、前記記憶装置に記憶されたプログラムを実行することで、
車両に搭載され、前記車両の周辺を撮像するカメラによって取得された画像に基づいて、前記車両に対する道路区画線の位置を認識し、
前記車両に搭載され、前記車両の周辺を検出範囲とし、前記カメラとは異なる物体検出装置によって取得された複数の物標位置から、線状に並ぶ一群の物標位置の延在方向である第１延在方向を特定し、
前記第１延在方向と、前記画像解析部によって認識された道路区画線の延在方向である第２延在方向とが合致する場合に、前記画像解析部によって認識された道路区画線に基づいて前記車両の走行制御の基準とする基準走路を決定する
ように構成されている、周辺認識装置。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１０ カメラ
１２ レーダ装置
１４ ＬＩＤＡＲ
１６ 物体認識装置
３０ ＨＭＩ
５４ 第１地図情報
６２ 第２地図情報
１００ 自動運転制御装置
１２０ 第１制御部
１３０ 認識部
１４０ 物体認識部
１５０ 画像解析部
１５２ 物標延在方向特定部
１５４ 地図ベース認識部
１５６ 基準走路決定部
１６０ 自車位置認識部
１９０ 第２制御部

Claims (10)

1. 車両に搭載され、前記車両の周辺を撮像するカメラによって取得された画像に基づいて、前記車両に対する道路区画線の位置を認識する画像解析部と、
   前記車両に搭載され、前記車両の周辺を検出範囲とし、前記カメラとは異なる物体検出装置によって取得された複数の物標位置から、線状に並ぶ一群の物標位置の延在方向である第１延在方向を特定する特定部と、
   前記車両の走行制御の基準とする基準走路を決定する決定部であって、前記第１延在方向と、前記画像解析部によって認識された道路区画線の延在方向である第２延在方向とが合致する場合に、前記画像解析部によって認識された道路区画線に基づいて前記基準走路を決定する決定部と、
   を備える周辺認識装置。
2. 前記車両の位置を地図情報に当てはめることで、前記車両に対する前記車両が存在する道路の延在方向である第３延在方向を認識する地図ベース認識部を更に備え、
   前記決定部は、前記第１延在方向と前記第２延在方向とが合致し、且つ、前記第２延在方向と前記第３延在方向とが合致しない場合、前記画像解析部によって認識された道路区画線に基づいて前記基準走路を決定する、
   請求項１記載の周辺認識装置。
3. 前記決定部は、前記第１延在方向と前記第２延在方向とが合致せず、且つ、前記第２延在方向と前記第３延在方向とが合致しない場合、前記地図ベース認識部により認識された道路区画線に基づいて前記基準走路を決定する、
   請求項２記載の周辺認識装置。
4. 前記特定部は、前記複数の物標位置から、所定の長さ以上に延在し、且つ静止していると推定される物標に対応する物標位置を、前記線状に並ぶ一群の物標位置として特定する、
   請求項１から３のうちいずれか１項記載の周辺認識装置。
5. 前記特定部は、前記複数の物標位置のうち線状に並ぶ物標位置に対して、所定の手法によって間引き処理を行って数を減らして、前記線状に並ぶ一群の物標位置を特定する、
   請求項１から４のうちいずれか１項記載の周辺認識装置。
6. 前記特定部は、前記線状に並ぶ一群の物標位置に対して一次近似を行うことで、前記第１延在方向を特定する、
   請求項１から５のうちいずれか１項記載の周辺認識装置。
7. 前記決定部は、前記車両の左右においてそれぞれ認識される、前記線状に並ぶ一群の物標位置のうち、前記車両の進行方向に近い側の前記線状に並ぶ一群の物標位置に基づいて特定された前記第１延在方向と、前記第２延在方向とが合致する場合に、前記画像解析部によって認識された道路区画線に基づいて前記基準走路を決定する、
   請求項１から６のうちいずれか１項記載の周辺認識装置。
8. 前記決定部は、前記車両の左右においてそれぞれ認識される、前記線状に並ぶ一群の物標位置のうち、数が多い方の前記線状に並ぶ一群の物標位置に基づいて特定された前記第１延在方向と、前記第２延在方向とが合致する場合に、前記画像解析部によって認識された道路区画線に基づいて前記基準走路を決定する、
   請求項１から７のうちいずれか１項記載の周辺認識装置。
9. コンピュータが、
   車両に搭載され、前記車両の周辺を撮像するカメラによって取得された画像に基づいて、前記車両に対する道路区画線の位置を認識し、
   前記車両に搭載され、前記車両の周辺を検出範囲とし、前記カメラとは異なる物体検出装置によって取得された複数の物標位置から、線状に並ぶ一群の物標位置の延在方向である第１延在方向を特定し、
   前記第１延在方向と、前記画像解析部によって認識された道路区画線の延在方向である第２延在方向とが合致する場合に、前記画像に基づいて認識された道路区画線に基づいて前記車両の走行制御の基準とする基準走路を決定する、
   周辺認識方法。
10. コンピュータに、
    車両に搭載され、前記車両の周辺を撮像するカメラによって取得された画像に基づいて、前記車両に対する道路区画線の位置を認識させ、
    前記車両に搭載され、前記車両の周辺を検出範囲とし、前記カメラとは異なる物体検出装置によって取得された複数の物標位置から、線状に並ぶ一群の物標位置の延在方向である第１延在方向を特定させ、
    前記第１延在方向と、前記画像解析部によって認識された道路区画線の延在方向である第２延在方向とが合致する場合に、前記画像に基づいて認識された道路区画線に基づいて前記車両の走行制御の基準とする基準走路を決定させる、
    プログラム。

Images