JP6397934B2

JP6397934B2 - 走行制御装置

Info

Publication number: JP6397934B2
Application number: JP2016564540A
Authority: JP
Inventors: 横山　篤; 篤横山; 健太前田
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2014-12-19
Filing date: 2014-12-19
Publication date: 2018-09-26
Anticipated expiration: 2034-12-19
Also published as: JPWO2016098238A1; WO2016098238A1; US10493985B2; US20170327112A1

Description

本発明は、車両に搭載されたカメラ等の撮像手段を介して取得した画像から、車両周辺の歩行者の動きを認識し、認識結果に基づき車両の走行を制御する装置に関する。

従来、カメラ等の撮像手段を車両に搭載し、取得した画像から車両周囲の状況を認識できるようにして、車両の走行を制御する制御装置が知られている。例えば、特許文献１には、車両周辺の画像から歩行者の姿勢を判別し、車両との接触を回避すべき対象となる歩行者を迅速に判定して、運転者への情報提示や車両挙動の制御を行う車両周辺監視装置が開示されている。また例えば、特許文献２には、歩行者の歩幅の変化や両脚支持時間などを求め、歩行者が急な停止を推定して予測進路を求め、車両の走行を制御する走行支援方法が開示されている。

特開２００７−２７９８０８号特開２００９−０１２５２１号

特許文献１に記載のような車両周辺監視装置にあっては、抽出された歩行者の姿勢を判別し、抽出された歩行者が車両との接触を回避すべき回避対象であるか否かを判定し、この判定結果に応じて、車両制御を行うとする。しかし、特許文献１に記載されている車両周辺監視装置の接触回避方法では、現在の歩行者の姿勢から歩行者の進路を予測するため、歩行者の速度の大きさや速度の方向が変化する場合に、歩行者の進路を予測することは難しい。

特許文献２に記載のような走行支援方法にあっては、自車両前方の撮影映像から抜き出した画素パターンの情報を取得して、自車両の進行経路に接近している歩行者の歩幅の減少変化や両脚支持時間などを求め、歩行者が停止するかどうかを判断する。そして、その範囲を進入禁止範囲として、これを回避する回避経路を決定し、自車両が回避経路に沿って走行するように、自車両の走行を制御する。しかし、歩幅が減少する変化によって歩行者が停止するか否かを予測するが、歩行者の速度方向の変化を予測することは難しい。また、歩幅が変化すれば、おおよそ同時に歩行速度も変化するため、歩行速度の変化、すなわち歩行者の加速度情報を用いて自車両の走行を制御する。このため等加速度運動より複雑な歩行者の進路を予測することは難しい。

本発明は、このような問題点を解決することを課題としてなされたものであり、歩行者の進路の変化を精度よく求め、適切に車両の走行を制御することができる走行制御装置を提供することを目的とする。

上記の目的を達成するために、本発明の車両制御装置は、現在と過去の身体角度の変化に応じて、該車両の速度を変化させることを特徴とする。

上記記載の本発明の解決手段によって、歩行者の進路の変化を精度よく求め、車両の走行を適切に制御することができる走行制御装置を提供することができる。

本発明の主な構成要素と情報の流れを説明する図本発明の制御方法を示す図本発明の歩行者の姿勢認識方法を示す図本発明の制御方法を示す図

以下、図を参照して本発明を実施するための形態について説明する。図１は、本発明による走行制御装置の一実施の形態を示す図である。図１では、走行制御装置１を構成する周辺環境検出装置２と車両制御装置３と、その周辺装置とを示すブロック図である。

周辺環境検出装置２は、自車両の周辺環境を検出する手段であり、自車両の周囲環境に関する情報を取得する外環境認識装置２１と、外環境認識装置２１の画像データや電気信号から障害物の存在判定や障害物の種類、形状を識別する周辺環境認識部２２からなる。例えば、外環境認識装置２１は、自車両前方の周囲環境を撮影する車載カメラである。また例えば、外環境認識装置２１は、自車両の前方、後方、右側方、左側方の周囲環境をそれぞれ撮影する４個の車載カメラである。車載カメラにより得られた画像データは、周辺環境認識部２２に入力される。外環境認識装置２１としては、車載カメラ以外にもミリ波やレーザーを用いて物体との距離を計測するレーダ、超音波を用いて物体との距離を計測するソナー等を用いることもできる。

周辺環境認識部２２は、外環境認識装置２１から入力された画像データやレーダ等の電気信号を用いて、自車両周辺の静止立体物、移動体、路面ペイント、標識等の物体の形状や位置を検出する。周辺環境認識部２２は、特に姿勢検出手段として、歩行者の身体の角度を検出する機能を有する。

静止立体物とは、例えば、車両、壁、ポール、縁石、建造物などである。また、移動体とは、例えば、歩行者、車両、自転車、バイクなどである。以降、静止立体物と移動体の二つをまとめて障害物と呼ぶ。物体の形状や位置は、パターンマッチング手法やその他の手法を用いて検出される。物体の位置は、例えば、自車両の前方を撮影する車載カメラの位置に原点を有する座標系を用いて表現される。歩行者については、車載カメラ方向への投影面積、身体、上半身、頭部のそれぞれの位置と向き、視線の向き、脚と地面の接地点等の情報が検出される。

外環境認識装置２１は、画像データ以外にも、認識した物体との距離、物体の形状や方角等の情報を、アナログデータのまま、もしくはＡ／Ｄ変換されて、専用線などを用いて車両制御装置３に出力する。

図１に例示される車両制御装置３は、自車両を制御するコンピュータであって、不図示の記憶媒体に記憶されたプログラムを実行することにより、目標経路生成部３１、衝突予測部３２、車両制御部３３として機能する。なお、車両制御装置３は記憶部３４を有している。記憶部３４は、歩行者の過去の身体の角度を記憶する機能を有している。

車両制御装置３は、自車両の操舵装置１０２、駆動装置１０３、および制動装置１０４と、自車両に設けられた周辺環境検出装置２、音発生装置１０５、表示装置１０６に接続されている。また、車両制御装置３は、自車両の情報通信線ＣＡＮ（不図示）などに接続されており、そのＣＡＮを介して自車両の車速、舵角などの車両情報が入力される。

操舵装置１０２は、車両制御装置３の駆動指令により電動のアクチュエータなどで舵角を制御することの可能な電動パワーステアリング等で構成される。駆動装置１０３は、車両制御装置３の駆動指令により駆動力を制御することが可能なエンジンシステムや電動パワートレインシステム等で構成される。制動装置１０４は、車両制御装置３の駆動指令により電動や油圧のアクチュエータなどで制動力を制御することの可能な電動ブレーキや油圧ブレーキ等で構成される。音発生装置１０５は、スピーカー等で構成され、運転者に対する警報や音声ガイダンス等の出力に用いられる。表示装置１０６は、ナビゲーション装置等のディスプレイ、メーターパネル、警告灯等で構成される。表示装置１０６には、車両制御装置３の操作画面のほか、自車両が障害物に衝突する危険があることなどを運転者に視覚的に伝える警告画面等が表示される。

目標経路生成部３１は、現在の自車位置から目標位置に自車両を移動するための経路を生成する。例えば、一般道を走行する場合には、地図データを持つナビゲーション装置等を利用して目的地を設定し、目的地に向かって走行する際の自車両と障害物との位置関係や車線位置等の情報から経路を生成する。

衝突予測部３２は、目標経路生成部３１が生成した経路に沿って自車両が走行したときに、自車両が障害物と衝突するか否かを判断する。衝突予測部３２は、周辺環境認識部２２の認識結果に基づいて移動体の移動進路を推測する。移動体の移動進路に関して、特に歩行者に関しては、後述する歩行者の姿勢、および姿勢の変化に基づいて進路を予測する。さらに、自車両の経路と移動体の予測進路との交点で自車両が移動体と衝突するか否かを判定する。

車両制御部３３は、目標経路生成部３１で生成した目標経路に沿って自車両を制御する。車両制御部３３は、目標経路に基づいて目標舵角と目標速度を演算する。なお、衝突予測部３２において自車両と障害物との衝突が予測される場合には、自車両が障害物に衝突しないように目標舵角と目標速度を演算する。そして、車両制御部３３は、その目標舵角を実現するための目標操舵トルクを操舵装置１０２へ出力する。また、車両制御部３３は、目標速度を実現するための目標エンジントルクや目標ブレーキ圧を駆動装置１０３や制動装置１０４へ出力する。

以下、図２と図３を用いて、自車両が歩行者の近傍を通過する場合のシーンを例にとって、自車両が直進する場合の走行制御装置１の動作について説明する。運転者は図示しない自動運転ボタンを予め操作して自動運転モードを開始している。

周辺環境認識部２２には、毎フレームごとに外環境認識装置２１から自車両の周囲を撮像した画像データが入力される。周辺環境認識部２２は、外環境認識装置２１から入力された画像データを用いて、走行スペース２３０を算出する。こここで、外環境認識装置２１としては、自車両の前方の周囲環境を撮影する車載カメラが挙げられる。

図３は、周辺環境検出装置２が一定間隔の時刻T＝t1，T＝t2，T＝t3に生成した自車両の前方に関する画像の一例を示したものである。以降の説明では、T＝t3を現在の時刻とし、符号の添え字1,2,3は、それぞれ時刻T＝t1，T＝t2，T＝t3の情報を示すものとする。図３（ａ）に例示する前方画像では、自車両２００の前方左側には歩行者２０６が自車両と平行、かつ反対方向に直進している。

外環境認識装置２１からの前方画像と、前方画像に対して公知のパターンマッチング手法等を用いて、歩行者２０６とを検出して、それらの位置に関する情報などを取得する。例えば、周辺環境認識部２２は、歩行者２０６の輪郭を直線でつないだ形状データとして認識する。また、周辺環境認識部２２は、時刻Ｔ(t1，t2，t3)の画像の差分から歩行者２０６の移動方向を検出して、その移動速度を表す速度ベクトルＶ１, Ｖ２，Ｖ３を取得する。

周辺環境認識部２２には、歩行者の形状に関する情報が予め設定されており、車両などの他の障害物と区別して認識される。図３に示すように、歩行者の上半身の概中心位置Ｂ，頭部の概中心位置Ｈが認識される。また、図３（ｃ）に示すように、歩行者の上半身の方向Ｄｂ、頭部の方向Ｄｈ、視線の各方向Ｄｅが認識される。また、外環境認識装置２１に対する歩行者の頭部の投影面積Ａｈ、上半身の投影面積Ａｂが認識される。また、歩行者の脚と地面の該接地点Ｆが認識される。また、上半身の倒立角θ（概中心位置Ｂと概接地点Ｆを結ぶ線と、鉛直方向との成す角）も認識される。頭部の方向Ｄｈ、視線の各方向Ｄｅは、外環境認識装置２１に対する投影面積Ａや左右の肩を結ぶ線分の方向などで推定できる。

周辺環境認識部２２は、例えば、図４に示す前方画像に基づいて、障害物の存在しない走行可能スペース２３０を設定する。目標経路生成部３１は目標経路の生成処理を開始する。目標経路生成部３１は、周辺環境認識部２２が検出した走行可能スペース２３０を走行するような目標経路２３１を演算する。なお、歩行者等の移動体には大きさがあるため、目標経路２３１は幅を持った帯状の進路となる。目標経路生成部３１は、直進区間の経路を直線で表し、旋回経路の場合はクロソイド曲線と円弧とを組み合わせて近似する。

衝突予測部３２は、自車両２００が目標経路２３１に沿って移動したときに障害物と衝突するか否かを判定する。衝突予測部３２は、周辺環境認識部２２が検出した移動体の移動方向、例えば歩行者２０６の移動方向などに基づいて、歩行者２０６が通過すると推測される推測進路４００を演算する。なお、歩行者等の移動体には大きさがあるため、推測進路４００は幅を持った帯状の進路となる。

図２（ａ）は、衝突予測部３２が生成した歩行者２０６の推測進路４００の一例を示す図である。本例の推測進路４００は、歩行者２０６が速度ベクトルＶ３の示す方向にそのまま直進すると推定した例である。

衝突予測部３２は、前記のように周辺環境認識部２２から、歩行者の上半身中心位置Ｂ，頭部中心位置Ｈ，上半身の方向Ｄｂ、頭部の方向Ｄｈ、視線の方向Ｄｅ、頭部の投影面積Ａｈ、上半身の投影面積Ａｂ、接地点Ｆ、上半身の倒立角θの情報を得る。車両制御装置３は、これらの情報の少なくとも過去１回分を記憶部３４に記憶しておく。すなわち、現在時刻Ｔ＝ｔ３に加えて、時刻Ｔ＝ｔ２時点の情報を記憶しておく。図２（ａ）の場合、現在時刻Ｔ＝ｔ３と過去時刻Ｔ＝ｔ２との間で、各身体の方向Ｄｂ，Ｄｈ，Ｄｅや倒立角θに変化が少ないシーンである。この場合、衝突予測部３２は、速度ベクトルＶ３の方向をこのまま維持すると予測する。

衝突予測部３２は、自車両２００が障害物に衝突するおそれがある位置として、目標経路２３１と推測進路４００との衝突予測交点４０１を算出する。衝突予測部３２は、自車両２００の目標経路２３１と歩行者２０６の推測進路４００の衝突予測交点４０１に自車両と歩行者がそれぞれ到達するまでの時間を算出し、両者がそれぞれ衝突予測交点４０１に到達したときの位置関係から自車両２００と歩行者２０６とが衝突するか否かを判定する。図２（ａ）の場合、目標経路２３１と推測進路４００の衝突予測交点４０１が存在しないため、衝突予測部３２は、自車両２００が歩行者２０６に衝突しないという判定結果を車両制御部３３に出力する。この場合、車両制御部３３は、目標経路生成部３１が生成した目標経路２３１に沿って自車両２００を誘導する。その場合、車両制御部３３は、自車両２００が目標経路２３１に沿って移動するように目標速度と目標舵角とを決定し、その目標舵角を操舵装置１０２へ出力し、目標速度を駆動装置１０３および制動装置１０４に出力する。ただし、歩行者が横転するなど、突如目標経路３２１に近づく可能性も考慮して、車両制御部３３は、自車両２００を減速させてもよい。同様の理由により、車両制御部３３は、目標経路２３１を歩行者から遠ざけるように再計算してもよい。

次に、自車両２００が歩行者２０６と衝突すると判定される場合について、図３（ｂ）、図４（ａ）を用いて説明する。周辺環境認識部２２が図３（ｂ）に示すような画像データ、および歩行者に関する情報を出力したとする。

歩行者が進路を変更する場合、身体的負荷の少ない部位から変化の兆候が現れる。最初に視線の方向Ｄｅ，次に頭部の方向Ｄｈ，そして上半身の方向Ｄｂ、最後に身体全体の方向という順序で体の向きが変化する。さらに、直進している歩行者が方向転換する場合、歩行速度が変化する前に、上半身の倒立角θも変化する。したがって、歩行速度や歩行加速度の情報を用いることに加えて、周辺環境検出装置２によって、各部位の方向や角度の変化が取得できれば、歩行者の進路変更をより正確に、かつ早いタイミングで予測することができる。

図３（ｂ）に示す例では、時刻ｔ２の時点において、視線の方向Ｄｅ２と頭部の方向Ｄｈ２が上半身の方向Ｄｂ２や速度ベクトルＶ２よりも左方向を向いている。この時点でも、歩行者２０６が左側へ方向転換する可能性を推測できる。時刻ｔ３の時点において、上半身の向きも速度ベクトルＶ２よりも左方向を向く。また、倒立角θ３も左側へ倒れる方向に変化する。これらの方向や角度の変化から歩行者２０６が左側へ方向転換すると判定できる。

この場合、目標経路３２１上で自車両２００が障害物と衝突する恐れがあると衝突予測部３２が判定し、車両制御部３３は、前進経路３００上の交点４０１から余裕距離ＹＬだけ手前で自車両２００を減速、場合によっては停止させて歩行者２０６との衝突を回避する。このときの目標速度は、自車両２００が歩行者２０６に衝突しないという判定結果を得られる場合よりも低速に設定する。

ここで、余裕距離ＹＬは、衝突予測交点４０１における歩行者２０６の進行方向に基づいて変化させることが望ましい。例えば、自車両２００の速度ベクトルと歩行者２０６の速度ベクトルが直交している場合と、平行している場合を比較すると、直交している場合の方がより衝突リスクが高い状況であると言える。そのため、自車両２００の速度ベクトルと歩行者２０６の速度ベクトルが直交している場合には、自車両２００の速度ベクトルと歩行者２０６の速度ベクトルが直交していない場合よりも余裕距離ＹＬを長く確保し、自車両２００の目標速度を低下させることで、より十分な余裕をもって歩行者２０６との衝突を回避できる。

先述した実施例では、衝突を避けるために、歩行者２０６の予測進路に応じて自車両２００を減速させたが、減速する代わりに若しくは減速と合わせて自車両２００の目標経路を変更してもよい。すなわち、車両制御部３３は、目標経路２３１を歩行者から遠ざけるように再計算してもよい。ただし、このときの目標経路２３１は、前記自車両２００が歩行者２０６に衝突しないという判定結果を得られる場合よりも歩行者２０６から遠ざける方向に設定する。

なお、衝突予測部３２の判定結果は、車両２００を制御しなくても、音発生装置１０５や表示装置１０６を介して運転者へ通知しても良い。この場合、歩行者２０６の方向や角度が、衝突リスクが高まる方向へ変化するほど、音発生装置１０５の発生タイミングを早く、または音量を大きく制御する。または、歩行者２０６の方向や角度が、衝突リスクが高まる方向へ変化するほど、表示装置１０６に表示するタイミングを早く、または表示の輝度を高く、表示面積を大きく制御する。

図２（ｂ）と図４（ｂ）は、歩行者２０６が自車両２００に近づく方向に歩行している場合の例を示している。図２（ｂ）の場合では、現在時刻Ｔ＝ｔ３と過去時刻Ｔ＝ｔ２との間で、各身体の方向Ｄｂ，Ｄｈ，Ｄｅや倒立角θに変化が少ないシーンである。この場合、衝突予測部３２は、速度ベクトルＶ３の方向をこのまま維持すると予測する。歩行者２０６は、自車両の走行スペース２３０へ進入することが予測される。一方、図４（ｂ）の場合では、頭部の方向Ｄｈや上半身の方向Ｄｂが自車両２００の目標経路２３１と平行方向に変化すると予測される。したがって、車両制御部３３は、図２（ｂ）の場合の方が、図４（ｂ）の場合よりも、目標速度を低下させる。または、目標経路生成部３１が目標経路を左側へ変更する。

以上のように、走行制御装置１は、歩行者の姿勢や視線の変化、特に身体の向きの変化や倒立角の変化を用いることにより、歩行者の進路の変化を精度よく求め、車両の走行を適切に制御する。これにより、歩行者が等速度運動、または等加速度運動よりも複雑な進路変更をする場合でも、精度よく、早いタイミングで歩行者の運動を予測できる。また、歩行者の姿勢や視線の変化に基づき、歩行者の進行方向と自車両２００の進行方向とが直角に近づくと予測されるほど、自車両２００の速度を低く制御する。これにより、より安全は走行制御を実現できる走行制御装置を提供できる。

１走行制御装置
２周辺環境検出装置
３車両制御装置
２１外環境認識装置
２２周辺環境認識部
３１目標経路生成部
３２衝突予測部
３３車両制御部
３４記憶部
１０２操舵装置
１０３駆動装置
１０４制動装置
１０５音発生装置
１０６表示装置
２００自車両
２０６歩行者
２３０走行可能スペース
２３１目標経路
４００推定進路
４０１衝突予測交点
Ａセンサに対する投影面積
Ｂ上半身の位置
Ｄｅ視線の方向
Ｄｂ上半身の方向
Ｄｈ頭部の方向
Ｆ接地点
Ｈ頭部の位置
Ｖ速度ベクトル
θ 倒立角

Claims

車両に搭載された撮像手段によって取得した画像から、前記車両の周辺に存在する歩行者を検出する周辺環境検出手段と、
該周辺環境検出手段により検出された現在の歩行者の上半身の向きを検出する姿勢検出手段と、
該歩行者の過去の上半身の向きを記憶する姿勢記憶手段と、
上半身の向きの変化に応じて、該車両の速度及び/又は目標経路を変化させる車両制御手段とを備えた走行制御装置において、
前記車両制御手段は、前記車両の進行方向に対して、該上半身の向きが時間変化に伴い垂直方向に変化するほど、該車両の速度を遅く、または該車両の経路を該歩行者から遠ざけるように制御し、
更に、前記姿勢検出手段は、前記上半身の向きに加えて、歩行者の視線及び歩行者の頭部の向きを検出し、
前記姿勢記憶手段は、前記歩行者の視線及び前記歩行者の頭部の向きを記憶し、
前記車両制御手段は、前記上半身の向きの変化に加えて、歩行者の視線の向きの変化、および歩行者の頭部の向きの変化を用いて前記歩行者の進行方向を推定し、前記車両の進行方向に対して、前記歩行者の進行方向が垂直方向に変化するほど、前記車両の速度を遅く、又は前記車両の経路を前記歩行者から遠ざけるようにすることを特徴とする走行制御装置。
請求項１において、
前記姿勢検出手段は、前記周辺環境検出手段の検出方向に対する前記歩行者の頭部の投影面積から前記歩行者の頭部の向きを求め、前記周辺環境検出手段の検出方向に対する前記歩行者の上半身の投影面積によって前記歩行者の上半身の向きを求めることを特徴とする走行制御装置。
請求項２において、
前記姿勢検出手段は、歩行者の脚と地面の接地点と、歩行者の上半身の概中心点との間を結ぶ線と、鉛直方向とのなす角度である倒立角を検出し、
前記車両制御手段は、前記車両の進行方向に近づく方向に前記歩行者の倒立角が倒れる方向に変化するほど、該車両の速度を遅く制御することを特徴とする走行制御装置。