JP7230596B2 - 自動車用演算システム - Google Patents

Description

ここに開示する技術は、例えば自動車の自動運転のために用いられる自動車用演算システムに関する。

昨今、ニューラルネットワークを用いた深層学習を利用して、車内外の環境認識を行う技術が自動車に対しても利用されるようになっている。

例えば、特許文献１には、車両の装備に対する乗員の状態を推定する推定装置であって、ニューラルネットワークを利用した深層学習により構築されたモデルを記憶する記憶部と、装備を含む画像を入力し、モデルを用いて乗員の状態を推定し、乗員の特定部位の骨格位置を示す第１の情報と、装備に対する乗員の状態を示す第２の情報と、を出力する処理部とを備える推定装置が開示されている。

特開２０１８－１３２９９６号公報

ところで、昨今では、国家的に自動運転システムの開発が推進されている。自動運転システムでは、一般に、カメラ等により車外環境情報が取得され、取得された車外環境情報に基づいて自動車が走行すべき経路が算出される。この経路の算出においては、車外環境の認定が重要であり、この車外環境の認定において、深層学習を利用することが検討されている。

ここで、自動運転を担う演算装置における機能安全のソフトウェア設計のコンセプトとして、プログラムを構成する複数のモジュールの機能安全の適用に関し、例えば、自動車用機能安全規格（ＩＳＯ ２６２６２）では、ハザードを評価する指標としてＡＳＩＬ（Automotive Safety Integrity Level）が提案されている。ＡＳＩＬでは、ＡＳＩＬ－ＡからＡＳＩＬ－Ｄまでの各機能安全レベルに見合った設計レベルでの開発が要求されている。

これに対し、深層学習を利用した車外環境の認定及び経路の算出は、未だ発展途上の状態であり、ＡＳＩＬ－Ｂ程度に留まるとされている。このため、自動運転機能を有する自動車においてＡＳＩＬ－Ｄ程度の機能安全レベルを満たすためには、演算装置を、深層学習を利用する機能のみで構成するのでは不十分である。

ここに開示された技術は、斯かる点に鑑みてなされたものであり、その目的とするところは、深層学習を利用する機能を有する自動車用演算システムにおいて、機能安全レベルを向上させることにある。

前記課題を解決するために、ここに開示された技術では、自動車に搭載される自動車用演算システムを対象として、車外環境の情報を取得する車外情報取得手段からの出力を基にして、深層学習を利用して道路と障害物を含む車外環境を推定し、推定された車外環境を基にして道路上であって障害物を回避する第１経路を生成する第１経路生成部を有し、当該第１経路に沿って走行する際の自動車の目標運動を決定し、当該目標運動を実現するための制御信号を駆動力と制動力と操舵角を生成する各アクチュエータに出力する主演算装置と、前記車外情報取得手段からの出力を基にして、走行中の自動車が予め設定した基準を満たす停車位置に停車するまでの走行経路である第３経路を生成する停車経路生成部を有し、当該第３経路に沿って走行させるためのバックアップ目標運動を決定し、当該バックアップ目標運動を実現するためのバックアップ制御信号を前記各アクチュエータに出力するバックアップ演算装置とを有し、前記主演算装置の故障が生じた場合に、前記バックアップ制御信号を前記制御信号に優先して前記各アクチュエータに出力する、という構成とした。

この構成によると、主演算装置に故障が発生した場合にも、バックアップ制御信号を制御信号に優先して各アクチュエータに出力させることで、自動車を予め設定した基準を満たす停車位置まで移動させるので、例えば、自動車を安全な位置に緊急停止等させることができる。すなわち、安全を担保するための安全機能を実現することができ、ひいては、機能安全レベルを向上させることができる。

前記自動車用演算システムの一実施形態では、前記主演算装置は、前記車外情報取得手段からの出力を基にして、深層学習を利用せずに、所定のルールにより道路と障害物を含む車外の対象物を認識し、認識された車外の対象物を基にして道路上であって障害物を回避する安全領域を特定するとともに当該安全領域を走行する第２経路を生成する第２経路生成部を有し、前記主演算装置は、前記第１経路が前記安全領域を逸脱している場合に、前記第１経路に代えて、前記第２経路に沿って走行する際の自動車の目標運動を決定し、当該目標運動を実現するための制御信号を前記各アクチュエータに出力する。

この構成によると、深層学習による車外環境の推定とは別に、所定のルールにより車外の対象物が認定される。ここでいう、所定のルールとは、従来より自動車等に採用されている物標等の認定方法であって、所定のルールに基づく対象物の認定機能は、ＡＳＩＬ－Ｄ相当の機能安全レベルである。このため、対象物認定部の結果を基にして算出される安全領域は、安全性の高い領域であるといえる。

そして、目標運動決定部は、深層学習により推定された車外環境に基づいて算出された第１経路が安全領域を逸脱している場合に、主演算装置の出力として、第２経路に沿って走行する際の自動車の目標運動を実現するための制御信号を各アクチュエータに出力する。これにより、深層学習を利用する機能を有する演算装置において、機能安全レベルを向上させることができる。

前記自動車用演算システムの一実施形態では、前記主演算装置は、前記車外情報取得手段からの出力を基にして、深層学習を利用せずに、所定のルールにより道路と障害物を含む車外の対象物を認識し、認識された車外の対象物を基にして道路上であって障害物を回避する安全領域を設定する安全領域設定部を備え、前記第１経路生成部は、前記安全領域を通過するように前記第１経路を設定する。

これにより、第１経路生成部で生成される経路も、所定のルールに基づいて設定された安全領域を通過するようになるので、機能安全レベルを向上させることができる。

以上説明したように、ここに開示された技術によると、深層学習を利用する機能を有する演算装置において、機能安全レベルを向上させることができる。

実施形態１に係る自動車用演算システムの機能構成を示すブロック図である。 演算システムにより設定される走行経路の一例を示す図である。 第１演算部により設定される安全領域と第２演算部により設定される安全領域とを比較する図である。 深層学習により推定された車外環境に基づいて算出された経路候補と安全領域との関係の一例を示す図である。 深層学習により推定された車外環境に基づいて算出された経路候補と安全領域との関係を示す別の図である。 演算システムの動作処理を示すフローチャートである。 自動車の運転経路を決定する際のフローチャートである。 自動車の運転経路を決定する際のフローチャートである。 実システムへの導入例の機能構成を示すブロック図である。 実システムへの導入例の機能構成を示すブロック図である。

以下、例示的な実施形態について、図面を参照しながら詳細に説明する。

（実施形態１）
図１は、本実施形態１に係る自動車用演算システムＳＹ（以下、単に演算システムＳＹともいう）の構成を示す。演算システムＳＹは、例えば、四輪の自動車１に搭載される演算システムである。自動車１は、運転者によるアクセル等の操作に応じて走行するマニュアル運転と、運転者の操作をアシストして走行するアシスト運転と、運転者の操作なしに走行する自動運転とが可能な自動車である。尚、以下の説明では、演算システムＳＹが搭載された自動車１を他の車両と区別するために、自車両１ということがある。

演算システムＳＹは、複数のセンサ等からの出力に基づいて、自動車１の目標運動を決定して、デバイスの作動制御を行う。

演算システムＳＹに自動車１の車外環境の情報を出力するセンサ等で構成される車外情報取得手段Ｍ１は、例えば、（１）自動車１のボディ等に設けられかつ車外環境を撮影する複数のカメラ５０と、（２）自動車１のボディ等に設けられかつ車外の物標等を検知する複数のレーダ５１と、（３）自動車１の絶対速度を検出する車速センサ５２と、（４）自動車１のアクセルペダルの踏み込み量を検出するアクセル開度センサ５３と、（５）自動車１のステアリングホイールの回転角度（操舵角）を検出する操舵角センサ５４と、（６）自動車１のブレーキペダルの踏み込み量を検出するブレーキセンサ５５と、（７）全地球測位システム（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ：ＧＰＳ）を利用して、自動車１の位置（車両位置情報）を検出する位置センサ５６と、を含んでいる。

各カメラ５０は、例えば、自動車１の周囲を水平方向に３６０°撮影できるようにそれぞれ配置されている。各カメラ５０は、車外環境を示す光学画像を撮像して画像データを生成する。各カメラ５０は、生成した画像データを主演算装置１００に出力する。カメラ５０は、車外環境の情報を取得する情報取得手段の一例である。

各レーダ５１は、カメラ５０と同様に、検出範囲が自動車１の周囲を水平方向に３６０°広がるようにそれぞれ配置されている。レーダ５１の種類が特に限定されず、例えば、ミリ波レーダや赤外線レーダを採用することができる。レーダ５１は、車外環境の情報を取得する情報取得手段の一例である。

演算システムＳＹに自動車１の車内環境の情報を出力するセンサ等で構成される車内情報取得手段Ｍ２は、（１）自動車１の車内ミラーやダッシュボード等に設けられかつ運転者の表情や姿勢、社内環境等を撮影する車内カメラ５８と、（２）運転者の生体情報（体温、心拍数、呼吸等）を取得する車内センサ５９と、を含んでいる。

演算システムＳＹが制御する対象は、例えば、エンジン１０と、ブレーキ２０と、ステアリング３０と、トランスミッション４０とを含んでいる。以下の説明では、説明の便宜上、演算システムＳＹが制御する対象（エンジン１０、ブレーキ２０、ステアリング３０及びトランスミッション４０を含む）を総称して、アクチュエータ類ＡＣと呼ぶものとする。

エンジン１０は、動力駆動源であり、内燃機関（ガソリンエンジン、ディーゼルエンジン）を含む。演算システムＳＹは、自動車１を加速又は減速させる必要がある場合に、エンジン１０に対してエンジン出力変更信号を出力する。エンジン１０は、マニュアル運転時には、運転者のアクセルペダルの操作量等により制御されるが、アシスト運転や自動運転時には、演算システムＳＹから出力された目標運動を示す目標運動信号（以下、単に目標運動信号という）に基づいて制御される。尚、図示は省略しているが、エンジン１０の回転軸には、エンジン１０の出力により発電する発電機が連結されている。

ブレーキ２０は、ここでは電動ブレーキである。演算システムＳＹは、自動車１を減速させる必要がある場合に、ブレーキ２０に対してブレーキ要求信号を出力する。ブレーキ要求信号を受けたブレーキ２０は、該ブレーキ要求信号に基づいてブレーキアクチュエータ（図示省略）を作動させて、自動車１を減速させる。ブレーキ２０は、マニュアル運転時には、運転者のブレーキペダルの操作量等により制御されるが、アシスト運転や自動運転時には、演算システムＳＹから出力された目標運動信号に基づいて制御される。

ステアリング３０は、ここではＥＰＳ（Ｅｌｅｃｔｒｉｃ Ｐｏｗｅｒ Ｓｔｅｅｒｉｎｇ）である。演算システムＳＹは、自動車１の進行方向を変更する必要がある場合に、ステアリング３０に対して操舵方向変更信号を出力する。ステアリング３０は、マニュアル運転時には、運転者のステアリングホイール（所謂ハンドル）の操作量等により制御されるが、アシスト運転や自動運転時には、演算システムＳＹから出力された目標運動信号に基づいて制御される。

トランスミッション４０は、有段式のトランスミッションである。主演算装置１００は、出力すべき駆動力に応じて、トランスミッション４０に対してギヤ段変更信号を出力する。トランスミッション４０は、マニュアル運転時には、運転者のシフトレバーの操作や運転者のアクセルペダルの操作量等により制御されるが、アシスト運転や自動運転時には、主演算装置１００により算出された目標運動に基づいて制御される。

演算システムＳＹは、マニュアル運転時には、アクセル開度センサ５３等の出力に基づく制御信号をエンジン１０等に出力する。一方で、演算システムＳＹは、アシスト運転時や自動運転時には、自動車１の走行経路を設定して、自動車１が該走行経路を走行するように、エンジン１０等に制御信号を出力する。

＜１．演算システムの構成＞
図１に示すように、演算システムＳＹは、主演算装置１００と、バックアップ演算装置３００と、モニタリング手段４００と、異常検出部４５０と、選択手段５００とを備える。

主演算装置１００は、アシスト運転や自動運転をする場合に、車外情報取得手段Ｍ１からの出力に基づいて、自動車１の目標運動を決定し、アクチュエータ類ＡＣをその目標運動に沿って動作させるための制御信号を出力する。

バックアップ演算装置３００は、車外情報取得手段Ｍ１からの出力に基づいて安全停車経路（第３経路に相当）を生成し、その安全停車経路を走行させるための目標運動であるバックアップ目標運動を決定する。さらに、バックアップ演算装置３００は、アクチュエータ類ＡＣをそのバックアップ目標運動に沿って動作させるための制御信号であるバックアップ制御信号を出力する。ここで、安全停車経路とは、走行中の自動車が予め設定した基準を満たす安全停車位置ＴＰに停車するまでの走行経路を指すものとする。安全停車位置ＴＰは、例えば、自動車１が安全に停車できる位置であれば特に限定されないが、例えば、道路上において自動車１が通過していない領域である無車両領域や、路肩８（図３参照）等が例示される。バックアップ目標運動には、例えば、後述する異常検出部４５０で異常が検出された場合に、（１）直ちに車速を徐行速度レベルに落として、安全停車位置ＴＰまでハザード・クラクションを吹鳴しながらゆっくり走る、（２）周囲の交通量にあわせてなるべく周囲に差し障りがないように走りつつ、安全停車位置ＴＰまで自車両１を走行させる、ための目標運動が含まれる。

主演算装置１００及びバックアップ演算装置３００は、それぞれが、１つ又は複数のチップで構成されたマイクロプロセッサであって、ＣＰＵやメモリ等を有している。そうすることで、両方ともに故障するリスクを低減できる。尚、図１においては、本実施形態に係る機能（後述する経路生成機能）を発揮するための構成を示しており、主演算装置１００及びバックアップ演算装置３００が有する全ての機能を示しているわけではない。

モニタリング手段４００は、車内情報取得手段Ｍ２からの出力を基にして、運転者の状態をモニタリングし、その結果を異常検出部４５０に出力する。

異常検出部４５０は、主演算装置１００の故障の検出ができるように構成されている。主演算装置１００の故障検出方法は、特に限定されないが、例えば、従来から知られている、ハードウェア冗長性回路（例えば、デュアルコア型ロックステップ等）、チップ内の演算結果の監視、チップ内の異常状態を示すフラグレジスタの監視、チップ内のテスト回路（ＬＢＩＳＴ（Logic build-in self-test）回路）、チップ間の相互監視等を適用することができる。また、異常検出部４５０は、車内情報取得手段Ｍ２から受けた運転者の情報をもとに、運転者の異常を検出することができるように構成されている。

選択手段５００は、例えば、セレクター回路で実現され、異常検出部４５０の検出結果を基に、主演算装置１００から出力された制御信号、または、バックアップ演算装置３００から出力されたバックアップ制御信号のいずれかを選択して、自動車１のアクチュエータ類ＡＣに出力する。具体的に、選択手段５００は、通常運転時は、主演算装置１００から出力された制御信号を選択する一方で、主演算装置１００または運転者のいずれかに異常が検出された場合、バックアップ演算装置３００から出力されたバックアップ制御信号を選択して出力する。

以下、演算システムＳＹの各構成要素について、より具体的に説明する。

－１－１．主演算装置の構成－
主演算装置１００は、第１演算部１１０と、第２演算部１２０と、目標運動決定部１３０と、エネルギーマネジメント部１４０とを備える。

第１演算部１１０は、深層学習を利用して車外環境を推定し、推定した車外環境を基にした経路である第１経路を生成する機能を有する。すなわち、第１演算部１１０は、第１経路生成部としての機能を包含している。具体的に、第１演算部１１０は、車外環境推定部１１１と、第１安全領域設定部１１２と、第１経路算出部１１３とを含む。なお、「第１経路」については、後述する「２．演算システムの動作」において具体例を示して説明する。

車外環境推定部１１１は、カメラ５０及びレーダ５１からの出力を基にして、深層学習を用いた画像認識処理により車外環境を推定する。具体的には、車外環境推定部１１１は、カメラ５０からの画像データを基に深層学習により物体識別情報を構築するとともに、該物体識別情報にレーダによる測位情報を統合して車外環境を表す３Dマップを作成する。また、該３Dマップに対して、深層学習に基づく各物体の挙動予測等を統合して環境モデルを生成する。深層学習では、例えば、多層ニューラルネットワーク（ＤＮＮ：Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）が用いられる。多層ニューラルネットワークとして、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）がある。

第１安全領域設定部１１２は、車外環境推定部１１１で推定された車外環境（例えば、３Ｄマップ）に対して、第１安全領域ＳＡ１（図３参照）を設定する。この第１安全領域ＳＡ１は、深層学習を利用して構築されたモデルを用いて、自車両が通過可能な領域として設定される。モデルは、例えば、自動車１の車種毎に予め構築されたモデルを、運転者の過去の運転履歴等を基に再構築することで構築される。尚、第１安全領域ＳＡ１は、いわゆるフリースペースを指し、例えば、道路上であって、他の車両や歩行者等の動的な障害物、及び中央分離体やセンターポールなどの静的な障害物が存在しない領域をいう。第１安全領域ＳＡ１は、緊急駐車が可能な路肩８のスペースを含んでいてもよい。

第１経路算出部１１３は、強化学習を利用して、第１安全領域設定部１１２で設定された第１安全領域ＳＡ１内を通るような第１経路候補を算出する。強化学習は、一連のシミュレーションの結果（ここでは経路候補）に対して評価関数を設定し、ある目的に適ったシミュレーションには良い評価を与え、そうでない結果に対しては低い評価を与えることで、目的に適った経路候補を学習する機能である。実際の算出方法については後述する。

第２演算部１２０は、車外情報取得手段Ｍ１（例えば、カメラ５０及びレーダ５１）からの出力を基にして、深層学習を利用せずに、所定のルールにより車外の物体を認識し、認識された車外の物体を基にして安全領域を特定する機能を有する。加えて、第２演算部１２０は、その特定された安全領域を通る第２経路を生成する機能を有する。すなわち、第２演算部１２０は、第２経路生成部としての機能を包含する。具体的に、第２演算部１２０は、対象物認定部１２１（物体認識部に相当）と、第２安全領域設定部１２２（安全領域特定部に相当）と、第２経路算出部１２３とを含む。

対象物認定部１２１は、対象物認定ルール（所定のルールに相当）に基づいて対象物を認定する。対象物は、例えば、道路上に存在する、走行車両、駐車車両、歩行者等である。対象物認定部１２１は、自車両と対象物との間の相対距離や相対速度についても認定する。また、対象物認定部１２１は、カメラ５０及びレーダ５１からの出力を基にして、走行路（区画線等を含む）についても認定する。

第２安全領域設定部１２２は、対象物認定部１２１が認定した対象物との衝突を回避可能な領域として、第２安全領域ＳＡ２を設定する。この第２安全領域ＳＡ２は、例えば、対象物の周囲数ｍを回避不能範囲とみなす等の所定のルールに基づいて設定される。第２安全領域設定部１２２は、走行車両の速度や歩行者の速度を考慮して第２安全領域ＳＡ２を設定可能に構成されている。尚、「対象物認定ルール」及び「所定のルール」は、従来より自動車等に採用されている物標等の認定方法及びその回避方法をルールベースに落とし込んだものであって、ＡＳＩＬ－Ｄ相当の機能安全レベルである。また、第２安全領域ＳＡ２は、第１安全領域ＳＡ１と同様に、いわゆるフリースペースを指し、例えば、道路上であって、他の車両や歩行者等の動的な障害物、及び中央分離体やセンターポールなどの静的な障害物が存在しない領域をいう。第２安全領域ＳＡ２は、緊急駐車が可能な路肩８のスペースを含んでいてもよい。

第２経路算出部１２３は、第２安全領域設定部１２２で設定された第２安全領域ＳＡ２内を通るような第２経路を算出する。実際の算出方法については後述する。

目標運動決定部１３０は、第１及び第２演算部１１０，１２０からの出力を受けて自動車１の目標運動を決定する。目標運動決定部１３０は、特に、第１及び第２安全領域ＳＡ１，ＳＡ２の情報、並びに第１経路候補及び第２経路候補の情報を受けて自動車１の目標運動を決定する。具体的に、目標運動決定部１３０は、自動車１が走行すべき経路を設定して、該経路を自動車１が走行するように、アクチュエータ類ＡＣ（主にエンジン１０、ブレーキ２０、ステアリング３０、トランスミッション４０）への要求作動量（例えば、エンジントルクやブレーキアクチュエータの作動量等）を決定する。

エネルギーマネジメント部１４０は、目標運動決定部１３０で決定された目標運動を達成する上で、最もエネルギー効率がよくなるようにアクチュエータ類ＡＣの制御量を算出する。具体的に例示すると、例えば、エネルギーマネジメント部１４０は、目標運動決定部１３０で決定されたエンジントルクを達成する上で、最も燃費が向上するような、吸排気バルブ（図示省略）の開閉タイミングやインジェクタ（図示省略）の燃料噴射タイミング等を算出する。

目標運動決定部１３０で決定された目標運動のデータ、及び、エネルギーマネジメント部１４０で算出された制御量のデータは、アクチュエータ類ＡＣを制御するための制御信号として選択手段５００に出力される。

－１－２．バックアップ演算装置の構成－
バックアップ演算装置３００は、バックアップ演算部３１０と、目標運動決定部３３０と、エネルギーマネジメント部３４０とを備える。

バックアップ演算部３１０は、車外情報取得手段Ｍ１からの出力を基にして、安全停車位置ＴＰまで経路である安全経路を生成する機能を有する。すなわち、バックアップ演算部３１０は、停車経路生成部としての機能を包含している。具体的に、バックアップ演算部３１０は、車外環境推定部３１１と、第３安全領域設定部３１２と、安全経路算出部３１３とを含む。なお、「安全経路」については、後述する「２．演算システムの動作」において具体例を示して説明する。

車外環境推定部３１１は、第２演算部１２０の対象物認定部１２１で認定された対象物のデータを利用して、車外環境を推定する。また、対象物認定部１２１からの出力を基にして、走行路（区画線等を含む）や、自動車１が安全に停車できる位置である安全停車位置ＴＰについても認定する。安全停車位置ＴＰは、例えば、自動車１が安全に停車できる位置であれば特に限定されないが、例えば、路肩８（図３参照）や、道路上において自動車１が通過していない領域である無車両領域、等が例示される。尚、例えば、自車両１の周囲数ｍに他の車両がいないことが確認された場合、自車両１の現在位置または少し進んだ先が、安全停車位置ＴＰとなり得る場合もある。そのような場所に停車させる場合は、例えば、ハザード等の報知手段を作動させながら自動車１を停車させる。

第３安全領域設定部３１２は、車外環境推定部３１１が認定した対象物との衝突を回避可能な領域として、第３安全領域ＳＡ３を設定する。この第３安全領域ＳＡ３は、例えば、対象物の周囲数ｍを回避不能範囲とみなす等の所定のルールに基づいて設定される。尚、第３安全領域設定部３１２と、第２安全領域設定部１２２とが、同じような構成となってもよい。その場合、第３安全領域ＳＡ３と第２安全領域ＳＡ２とが同じ領域として指定される場合がある。また、第２安全領域設定部１２２と、第３安全領域設定部３１２とを共通の回路で実現してもよい。ただし、故障への耐性を高める観点からは、第２安全領域設定部１２２と第３安全領域設定部３１２とを別々に分けて設けるのが好ましい。ここでの「所定のルール」についても、前述の「所定のルール」と同様であり、ＡＳＩＬ－Ｄ相当の機能安全レベルである。

安全経路算出部３１３は、第３安全領域設定部３１２で設定された第３安全領域ＳＡ３内を通り、かつ、安全停車位置ＴＰまでの走行経路である安全経路ＲＳを算出する。実際の算出方法については後述する。

目標運動決定部３３０は、バックアップ演算部３１０からの出力を受けて自動車１の目標運動を決定する。目標運動決定部３３０は、特に、第３安全領域ＳＡ３及び安全停車位置ＴＰの情報を受けて自動車１の目標運動を決定する。具体的に、目標運動決定部３３０は、自動車１が安全停車位置ＴＰまで走行すべき安全経路を設定して、該安全経路を自動車１が走行するように、アクチュエータ類ＡＣ（主にエンジン１０、ブレーキ２０、ステアリング３０）への要求作動量（例えば、エンジントルクやブレーキアクチュエータの作動量等）を決定する。

エネルギーマネジメント部３４０は、自車両１や運転者の異常状態の有無等を加味しつつ、目標運動決定部３３０で決定された目標運動を達成する上で、最も安全でかつエネルギー効率がよくなるようにアクチュエータ類ＡＣ（後述のエンジン１０等）の制御量を算出する。具体的に例示すると、例えば、エネルギーマネジメント部１４０は、目標運動決定部１３０で決定されたエンジントルクを達成する上で、最も燃費が向上するような、吸排気バルブ（図示省略）の開閉タイミングやインジェクタ（図示省略）の燃料噴射タイミング等を算出する。また、例えば、運転者に異常がある場合には、エネルギーマネジメント部１４０は、運転者に対する負担ができるだけ小さくなるようなアクチュエータ類ＡＣの制御方法を算出する。

目標運動決定部１３０で決定された目標運動のデータ、及び、エネルギーマネジメント部１４０で算出された制御量のデータは、アクチュエータ類ＡＣを制御するための制御信号として選択手段５００に出力される。

＜２．演算システムの動作＞
次に、図面を参照しつつ、演算システムの動作について説明する。

－２－１．第１経路、第２経路の算出－
ここでは、図２を参照しながら、第１経路及び第２経路の算出方法について説明する。前述のとおり、第１経路及び第２経路は、ともに、主演算装置１００で算出される。

図２の例では、第１安全領域ＳＡ１については図示を省略しているが、算出される第１経路は第１安全領域ＳＡ１内を通る経路である。尚、第１経路の算出が行われるのは、自動車１の運転モードがアシスト運転か自動運転のときであり、マニュアル運転のときには第１経路の算出は実行されない。

まず、第１経路算出部１２１は、図２に示すように、走行路情報に基づいて、グリッド点設定処理を実行する。グリッド点設定処理において、主演算装置１００は、先ず走行路５の形状（即ち、走行路５の延びる方向，走行路幅等）を特定し、走行路５上にグリッド点Ｇｎ（ｎ＝１，２，・・・Ｎ）を含むグリッド領域ＲＷを設定する。

グリッド領域ＲＷは、走行路５に沿って自車両１の周囲から自車両１の所定距離前方まで延びる。この距離（縦方向長さ）Ｌは、自車両１の現在の車速に基づいて計算される。本実施形態では、距離Ｌは、現在の車速（Ｖ）で所定の固定時間ｔ（例えば、３秒）に走行すると予想される距離である（Ｌ＝Ｖ×ｔ）。しかしながら、距離Ｌは、所定の固定距離（例えば、１００ｍ）であってもよいし、車速（及び加速度）の関数であってもよい。また、グリッド領域ＲＷの幅Ｗは、走行路５の幅に設定される。

グリッド領域ＲＷは、走行路５の延伸方向Ｘと幅方向（横方向）Ｙとに沿ってそれぞれ延びる複数のグリッド線によって多数の矩形のグリッド区画に分割される。Ｘ方向とＹ方向のグリッド線の交点がグリッド点Ｇｎである。グリッド点ＧｎのＸ方向の間隔、及びＹ方向の間隔は、それぞれ固定値に設定される。本実施形態では、例えば、Ｘ方向のグリッド間隔は１０ｍ、Ｙ方向のグリッド間隔は０．８７５ｍである。

尚、グリッド間隔を、車速等に応じて可変値としてもよい。また、図２では、走行路５が直線区間であるため、グリッド領域ＲＷ及びグリッド区画が矩形状に設定されている。走行路が曲線区間を含む場合には、グリッド領域及びグリッド区画は、矩形状に設定されてもよいし、矩形状にならなくてもよい。

次に、第１経路算出部１１３は、第２経路候補の計算において、外部信号に応じて、グリッド領域ＲＷ内の所定のグリッド点ＧＴを目標到達位置ＰＥに設定すると共に、目標到達位置ＰＥ（ＧＴ）での目標速度を設定する。外部信号は、例えば、自車両１に搭載されたナビゲーションシステム（図示省略）から送信される目的地（パーキングエリア等）への誘導指示信号である。

次に、第１経路算出部１１３は、経路設定のための演算処理を実行する。この演算処理において、第１経路算出部１１３は、まず複数の第１経路候補Ｒ１ｍ（ｍ＝1，２，３・・・）を計算する経路候補計算処理を実行する。この処理は、従前のステートラティス法を用いた経路候補の計算と同様である。

経路候補の計算の概略を説明する。第１経路算出部１１３は、自車両１の現在位置ＰＳ（始点）からグリッド領域ＲＷ内の各グリッド点Ｇｎ（終点）までの経路候補を作成する。また、第１経路算出部１１３は、終点における速度情報を設定する。

始点と終点は、１又は複数のグリッド点Ｇｎを介して、又はグリッド点Ｇｎを介さないで、連結される。第１経路算出部１１３は、各第１経路候補Ｒ１ｍについて、グリッド点間を経路曲線パターンでフィッティングすることにより位置情報を計算し、速度変化パターンに適合するように速度変化プロファイルを計算する。速度変化パターンは、急加速（例えば、０．３Ｇ）、緩加速（例えば、０．１Ｇ）、車速維持、緩減速（例えば、－０．１Ｇ）、急加速（例えば、－０．３Ｇ）の組み合わせで生成され、グリッド毎ではなく当該第１経路候補Ｒ１ｍの所定長さ（例えば、５０ｍ～１００ｍ）にわたって設定される。

さらに、第１経路算出部１１３は、各経路候補について、サンプリング点ＳＰを設定し、各サンプリング点ＳＰでの速度情報を計算する。図２には、多数の経路候補のうち、３つの第１経路候補Ｒ１１，Ｒ１２，Ｒ１３のみが示されている。尚、本実施形態では、各第１経路候補Ｒ１ｍは、始点から固定時間（例えば、３秒）後の到達位置までの経路である。

次に、第１経路算出部１１３は、得られた第１経路候補Ｒ１ｍの経路コストを計算する。各第１経路候補Ｒ１ｍの経路コストの計算において、第１経路算出部１１３は、例えば、各サンプリング点ＳＰについて、車両１の運動による慣性力Ｆｉ，障害物（ここでは、他車両３）との衝突確率Ｐｃ，及びこの衝突により乗員が受ける衝撃力Ｆｃ（又は衝突に対する反作用力）を計算し、これらの値に基づいて乗員に掛かる外力ＦＣを計算して、第１経路候補Ｒ１ｍ上のすべてのサンプリング点ＳＰでの外力ＦＣ（絶対値）の合計値を、第１経路候補Ｒ１ｍの経路コスト（候補経路コスト）ＥＰｍとして算出することができる。

そして、第１経路算出部１１３は、すべての第１経路候補Ｒ１ｍをそれぞれの経路コスト情報とともに、目標運動決定部１３０に出力する。

以上のようにして、第１経路が設定される。

第２経路も基本的には前述の第１経路と同様に算出される。ただし、第２経路は、経路コストが最も小さい経路が選択されて、目標運動決定部１３０に出力される。

ここで、本実施形態１では、目標運動決定部１３０に出力される経路として、第１演算部１１０で算出される第１経路と第２演算部１２０で算出される第２経路とがあるが、目標運動決定部１３０は、基本的には、第１経路を採用するようにしている。これは、深層学習や強化学習を利用して設定される第１経路の方が、運転者の意思を反映した経路、すなわち、障害物を回避するに当たって慎重過ぎるなどの冗長さを運転者に感じさせない経路となりやすいためである。

しかしながら、深層学習を利用した車外環境の認定は、未だ発展途上の状態である。すなわち、深層学習を利用して構築された環境モデルは、環境モデルの基となった情報と類似するような範囲については正確な情報を算出することができるが、実際の車外環境等が環境モデルと大きく異なると、実際の車外環境と乖離した車外環境を推定することがある。

例えば、図３には、第１安全領域設定部１１２で設定される第１安全領域ＳＡ１と、第２安全領域設定部１２２で設定される第２安全領域ＳＡ２とを示す。第１安全領域ＳＡ１は、図３におけるハッチングをした部分であり、第２安全領域ＳＡ２は、図３におけるハッチングをした部分から点線で示す枠よりも内側を除いた部分である（図４参照）。図３に示すように、第１安全領域ＳＡ１では他車両３の一部まで安全領域に設定されている。これは、深層学習による画像認定において他車両３の車幅を正確に推定できなかった場合等に起こり得る。

このように、深層学習を利用した車外環境の認定では、実際の車外環境と乖離した車外環境を推定することがあるため、自動車用機能安全規格（ＩＳＯ ２６２６２）で提案されている機能安全レベル（ＡＳＩＬ）においては、深層学習を利用した機能はＡＳＩＬ－Ｂに相当するものとされている。このため、機能安全レベルを向上させる工夫が必要である。

そこで、本実施形態１では、演算装置１００の目標運動決定部１３０は、第１経路が第２安全領域ＳＡ２内にあるときには、該第１経路を自動車１（自車両１）が走行すべき経路として選択して、自動車１が第１経路を通るように該自動車１の目標運動を決定する一方、第１経路が第２安全領域ＳＡ２を逸脱しているときには、該第１経路を自動車１が走行すべき経路としては選択しないようにしている。より具体的には、目標運動決定部１３０は、第１経路を算出する際に、経路候補として設定される複数の第１経路候補Ｒ１ｎ（ｎ＝１，２，３・・・）の全てが第２安全領域ＳＡ２から逸脱しているときには、第２経路候補を自動車１が走行すべき経路として選択する。

例えば、図４に示すように、第１経路算出部１１３により、第１経路候補Ｒ１１，Ｒ１２，Ｒ１３が設定されたとする。この３つの第１経路候補Ｒ１１～Ｒ１３のうち経路Ｒ１１と経路Ｒ１２については、経路の一部が第２安全領域ＳＡ２を逸脱しているが、経路Ｒ１３については、第２安全領域ＳＡ２内を通っている。このときには、目標運動決定部１３０は、第２安全領域ＳＡ２を逸脱した経路Ｒ１１，Ｒ１２は、自動車１が走行すべき経路としては選択せず、経路Ｒ１３を自動車１が走行すべき経路として選択する。

一方で、図５に示すように、第１経路算出部１１３により、第１経路候補Ｒ１４，Ｒ１５，Ｒ１６が設定されたとする。この３つの第１経路候補Ｒ１４～Ｒ１６は、全て経路の一部が第２安全領域ＳＡ２を逸脱している。このときには、目標運動決定部１３０は、第２演算部１２０で算出される複数の第２経路候補のうち最も経路コストが小さい第２経路候補Ｒ２を自動車１が走行すべき経路として選択する。

対象物認定部１２１は、従来より存在する所定のルールに基づいて対象物の認定を行うため、対象物の大きさ等を精度良く認定できる。また、第２安全領域設定部１２２は、対象物の周囲数ｍを回避不能範囲とみなす等の所定のルールに基づいて第２安全領域ＳＡ２を設定するため、第２経路候補は、他車両３を回避する場合でも、他車両３との間に十分な距離を確保することができる経路となる。すなわち、第２演算部１２０の機能はＡＳＩＬ－Ｄ相当にすることができる。このため、目標運動決定部１３０が、第１経路候補を算出する際に、経路候補として設定される複数の第１経路候補Ｒ１ｎの全てが第２安全領域ＳＡ２から逸脱しているときには、第２経路候補を自動車１が走行すべき経路として選択することで、自動車１が安全性の高い経路を走行できるようになる。これにより、深層学習を利用する機能を有する演算装置１００において、機能安全レベルを向上させることができる。

－２－２．安全経路の算出－
ここでは、安全経路の算出方法について説明する。前述のとおり、安全経路は、バックアップ演算装置３００で算出される。

安全経路は、基本的には前述の第２経路と同様に算出されるので、ここでは、相違点を中心に説明するものとし、共通する構成や動作について、説明を省略する場合がある。

まず、走行路５上にグリッド点Ｇｎ（ｎ＝１，２，・・・Ｎ）を含むグリッド領域ＲＷを設定し、複数の経路候補を計算する経路候補計算処理を実行する点は共通の技術を適用することができる。

そして、安全経路算出部３１３が、第３安全領域設定部３１２で特定された第３安全領域ＳＡ３内にある経路候補の中から、自動車１（自車両１）が走行すべき安全経路を算出する。

ここで、前述のとおり、バックアップ演算装置３００では、自動車１が安全に停車できる位置である安全停車位置ＴＰが設定され、第３安全領域ＳＡ３内を通って安全停車位置ＴＰまで向かう走行経路が安全経路ＲＳ（図４参照）として設定される。したがって、原則として、安全経路ＲＳは、第３安全領域ＳＡ３内を通って安全停車位置ＴＰまで向かう経路候補のうち、経路コストが最も小さい経路が選択されて、目標運動決定部３３０に出力される。

尚、バックアップ演算装置３００が出力する安全経路ＲＳを使用するシーンとして想定されるのは、主演算装置１００に故障等の不具合が発生したり、運転者が運転を継続することが困難になった場合のように、異常事態が発生している場合である。そこで、バックアップ演算装置３００が、異常情報を加味して、安全停車位置ＴＰ及び／または安全経路ＲＳを設定するようにしてもよい。

例えば、主演算装置１００での故障が検出され、運転の継続に支障をきたす可能性がある場合には、十分に速度を落とし、できるだけ早く車を停めることができる場所に移動させた方がよいと判断できる場合がある。そのような場合に、バックアップ演算装置３００が、例えば、図４に示すように、最も近くで車両が安全に停車できる路肩８を安全停車位置ＴＰに設定し、その路肩８までの最短ルートを安全経路ＲＳに設定するとよい。

また、退避可能な路肩がない場合、ハザードランプを点灯し、周囲に異常状態を警告した後に同一車線内で減速し、停車してもよい。

また、例えば、自車両１は故障していないが、運転者が急な病気等により運転不能になっていることが確認された場合に、例えば、ナビゲーションシステムやＧＰＳ測定結果等と連携して、病院や最寄りの公共施設を安全停車位置ＴＰに設定し、各自車両１の位置において特定される第３安全領域ＳＡ３を通りつつ、設定された安全停車位置ＴＰまで車両を自動走行させるようにしてもよい。このように、安全経路算出部３１３は、自車両１の異常状態や、運転者の状態も加味しつつ安全経路ＲＳを設定するようにしてもよい。

－２－３．演算システムの処理動作－
次に、自動車１の運転経路を決定する際の演算システムＳＹの処理動作について図６～図８のフローチャートを参照しながら説明する。尚、自動車１の運転モードは、アシスト運転又は自動運転であるものとする。

図６に示すように、演算システムＳＹにおいて、アシスト運転又は自動運転の動作が開始されると、主演算装置１００による処理（ステップＳ１００）と、バックアップ演算装置３００による処理（ステップＳ２００）とが並行して実行される。

（Ａ）主演算装置による処理
ここでは、図７を参照しながら、ステップＳ１００の主演算装置１００による処理について説明する。

まず、ステップＳ１０１において、主演算装置１００は、車外情報取得手段Ｍ１（各カメラ５０、各レーダ５１、及び各センサ５２～５６）からの情報を読み込む。

次に、主演算装置１００（第１演算部１１０、第２演算部１２０）は、第１経路候補の算出と第２経路候補の算出とを並行して行う。

ステップＳ１０２では、第１演算部１１０は、深層学習を利用して車外環境を推定する。

次のステップＳ１０３では、第１演算部１１０は、第１安全領域ＳＡ１を設定する。

次のステップＳ１０４では、第１演算部１１０は、強化学習を使用して第１経路候補を算出し、目標運動決定部１３０に出力する。

一方で、ステップＳ１０５では、第２演算部１２０は、所定のルールに基づいて対象物の認定をする。

ステップＳ１０６では、第２演算部１２０は、第２安全領域ＳＡ２を設定する。

ステップＳ１０７では、第２演算部１２０は、所定のルールに基づいて第２経路候補を算出し、目標運動決定部１３０に出力する。

続く、ステップＳ１０８において、目標運動部１３０では、第１演算部１１０から受けた第１経路候補が、第２安全領域ＳＡ２内にあるか否かを判定する。このステップＳ１０８において、第１演算部１１０から受けた第１経路候補の中に、その全走行経路にわたって第２安全領域ＳＡ２に含まれる経路がある場合（ＹＥＳ判定）、フローはステップＳ１０９に進む。一方で、ステップＳ１０８において、第１演算部１１０から受けた第１経路候補の全てにおいて、その経路内の少なくとも一部が第２安全領域ＳＡ２から逸脱する場合（ＮＯ判定）、フローはステップＳ１１０に進む。

ステップＳ１０９では、目標運動決定部１３０は、第１経路候補を自動車１が走るべき経路として選択する。一方、ステップＳ１１０では、目標運動決定部１３０は、第２経路候補を自動車１が走るべき経路として選択する。

次のステップＳ１１１では、目標運動決定部１３０は、ステップＳ１０９での選択結果に基づく自動車１の目標運動を算出する。

続くステップＳ１１２では、エネルギーマネジメント部１４０は、ステップＳ１１１で算出された目標運動を達成しかつエネルギー効率が最大となるように、目標制御量を設定する。具体的に、エネルギーマネジメント部１４０は、例えば、目標運動決定部１３０で決定された要求駆動力を出力するにあたり、エンジン１０の燃料消費量が最も少なくなるように、トランスミッション４０の段数と、吸排気バルブ（図示省略）の開閉タイミングやインジェクタ（図示省略）の燃料噴射タイミング等を算出する。また、エネルギーマネジメント部１４０は、目標の制動力を出力するにあたり、エンジンブレーキが最小となるように、エンジン１０に接続された前記発電機の回生発電量や冷房用コンプレッサの駆動負荷を強めることにより前記制動力を生成する。また、エネルギーマネジメント部１４０は、コーナリング時に自動車１にかかる転がり抵抗が最も小さくなるように、車速と舵角とを制御する。具体的には、ローリングと自動車１の前部が沈み込むピッチングとを同期して発生させてダイアゴナルロール姿勢が生じるように、制動力の発生と操舵タイミングとを調整する。ダイアゴナルロール姿勢が生じることにより、前側の旋回外輪にかかる荷重が増大して、小さな舵角で旋回でき、自動車１にかかる転がり抵抗を小さくすることができる。

次のステップＳ１１３では、演算装置１００は、アクチュエータ類ＡＣの制御量がステップＳ１１２で算出した目標制御量となるように、各アクチュエータ類ＡＣの運転制御をおこなう。ステップＳ１１３の後、フローは図６のステップＳ３００に進む。

（Ｂ）バックアップ演算装置による処理
ここでは、図８を参照しながら、ステップＳ２００のバックアップ演算装置３００による処理について説明する。

まず、ステップＳ３０１において、バックアップ演算装置３００は、車外情報取得手段Ｍ１を基にして認定された対象物の情報を取得する。例えば、バックアップ演算装置３００は、第２演算部１２０の対象物認定部１２１で認定された対象物の情報を取得する。尚、バックアップ演算装置３０が、第２演算部１２０の対象物認定部１２１と同様の機能を有して、自装置内で、車外情報取得手段Ｍ１を基にして認定された対象物の情報を取得するようにしてもよい。

次に、ステップＳ３０４において、バックアップ演算部３１０では、車を安全に停車させることができるフリースペースを探索し、そのフリースペースの中から安全停車位置ＴＰを設定する。または、バックアップ演算部３１０は、ＧＰＳやカーナビゲーション等と連携し、運転者に異常がある場合に安全停車位置ＴＰとして設定する最寄りの施設情報を取得する。

ステップＳ３０５では、バックアップ演算部３１０は、第３安全領域ＳＡ３を設定する。

続くステップＳ３０８において、目標運動部１３０では、バックアップ演算部３１０から受けた安全経路の中から、第３安全領域ＳＡ３内にある経路を選択し、その選択された安全経路を自動車１が走るべき経路として設定する。

次のステップＳ３１１では、目標運動決定部３３０は、ステップＳ３０８で選択された経路を自動車１に走行させるための目標運動を算出する。

続くステップＳ３１２では、エネルギーマネジメント部３４０は、ステップＳ３１１で算出された目標運動を達成しかつエネルギー効率が最大となるように、目標制御量を設定し、フローは図６のステップＳ３００に進む。

図６に戻り、ステップＳ３００において、演算システムＳＹでは、異常検出部４５０において、運転者及び／または自車両１に異常が検出されたか否かが判断される。

ステップＳ３００において、異常検出部４５０で異常が検出されていない場合（ＮＯ判定）、フローは、ステップＳ４００の「通常運転モード」に進む。ステップＳ４００の「通常運転モード」では、選択手段５００は、主演算装置から出力された目標運動を実現するための制御信号を選択して出力する。

一方で、ステップＳ３００において、異常検出部４５０で異常が検出された場合（ＹＥＳ判定）、フローは、ステップＳ５００の安全運転モードに進む。ステップＳ４００の「通常」運転モードでは、選択手段５００は、主演算装置から出力された目標運動を実現するための制御信号を選択して出力する。

以上をまとめると、自動車１に搭載される自動車用演算システムＳＹは、主演算装置１００と、バックアップ演算装置３００と、選択手段５００とを備えている。主演算装置１００は、車外環境の情報を取得する車外情報取得手段Ｍ１からの出力を基にして、深層学習を利用して車外環境を推定し、推定した車外環境を基にして第１経路を生成する第１経路算出部１１３（経路生成部に相当）を有し、第１経路算出部１１３の出力を用いて目標運動を決定し、該目標運動を実現するための制御信号を出力する。バックアップ演算装置３００は、車外情報取得手段Ｍ１からの出力を基にして、車両が安全に停車できる安全停車位置ＴＰに停車するまでの走行経路である安全経路を生成する安全経路算出部３１３（安全経路生成部に相当）を有し、該安全経路を走行させるためのバックアップ目標運動を決定し、該バックアップ目標運動を実現するためのバックアップ制御信号を出力する。選択手段５００は、主演算装置１００から出力された制御信号およびバックアップ演算装置３００から出力されたバックアップ制御信号を受け、通常運転時は、主演算装置１００から出力された制御信号を選択して出力する一方で、主演算装置１００の故障が検出された場合に、バックアップ演算装置３００から出力されたバックアップ制御信号を選択して出力する。

この構成によると、深層学習を利用する機能を有する主演算装置１００において、機能安全レベルを向上させることができる。

（その他の実施形態）
上述の実施形態は単なる例示に過ぎず、本開示の範囲を限定的に解釈してはならない。本開示の範囲は請求の範囲によって定義され、請求の範囲の均等範囲に属する変形や変更は、全て本開示の範囲内のものである。すなわち、ここに開示された技術は、上記実施形態に限られるものではなく、請求の範囲の主旨を逸脱しない範囲で代用が可能である。

例えば、前述の実施形態１及び２では、目標運動決定部１３０で目標運動を決定したあと、エネルギーマネジメント部１４０により目標運動を達成しかつエネルギー効率が最大となるように目標制御量を設定していた。これに限らず、エネルギーマネジメント部１４０は省略してもよい。すなわち、目標運動決定部１３０が目標運動を達成する目標制御量を設定してもよい。

例えば、上記実施形態では、主演算装置１００と、バックアップ演算装置３００とが、それぞれ、異なるチップで構成されているものとしたが、これに限定されない。例えば、主演算装置とバックアップ演算装置とが、物理的には分離された構成をとりつつ、同一の筐体またはパッケージに格納されていてもよい。

また、異常検出部４５０は、車外情報取得手段Ｍ１の出力自体や、車内情報取得手段Ｍ２からの出力自体に異常があることを検出することができるように構成されていてもよい。例えば、カメラ５０が故障したり、カメラ５０からの信号入力が途絶えた場合のように、主演算装置１００での経路生成に支障が出るような状態が発生したときに、その状態を検出できるように構成されていてもよい。そして、異常検出部４５０において、カメラ５０等の車外情報取得手段Ｍ１の出力に異常が検出された場合に、選択手段５００が、バックアップ演算装置３００から出力されたバックアップ制御信号を選択して出力するように構成されていてもよい。

また、上記実施形態では、選択手段５００が設けられているものとしたが、これに限定されない。例えば、異常検出部４５０の検出結果が、主演算装置１００と、バックアップ演算装置３００との両方に与えるようにしてよい。そして、通常運転時は、バックアップ演算装置３００の出力を停止させ、主演算装置１００の制御信号をアクチュエータ類ＡＣに出力させる。一方で、主演算装置の故障が検出された場合には、主演算装置１００の出力を停止させ、バックアップ演算装置３００から出力されたバックアップ制御信号をアクチュエータ類ＡＣに出力させるように構成されていてもよい。

また、第１演算部１１０の第１経路生成部７０５に、第２演算部１２０の第２安全領域設定部１２２で設定された安全領域の情報を与えるようにしてもよい。そして、第１演算部１１０の第１経路算出部１１３において、第２安全領域設定部１２２で設定された安全領域も加味して、第１経路が設定されるようにしてもよい。

（実システムへの導入例）
図９Ａ及び図９Ｂを参照しながら、実システムへの導入例について説明する。なお、以下の説明では、図９Ａ及び図９Ｂをまとめて、単に図９と呼ぶものとする。

－１．概要－
まず、本開示に係る自動車用演算システムＳＹ（以下、単に演算システムＳＹという）は、機能的には、（１）車外環境、車内環境（運転者の状態を含む）を認知するための構成（以下、認知系ブロックＢ１ともいう）と、（２）認知系ブロックＢ１での認知結果に基づいて各種状態・状況等を判断し、自動車１の動作を決定するための構成（以下、判断系ブロックＢ２ともいう）と、（３）判断系ブロックＢ２での決定を基に、具体的にアクチュエータ類に伝達する信号・データ等を生成するための構成（以下、操作系ブロックＢ３ともいう）、とに分かれている。本開示の技術は、認知系ブロックＢ１、判断系ブロックＢ２及び操作系ブロックＢ３が、１つのユニットに集約されて、実現されている点に特徴を有する。

また、本演算システムＳＹは、（１）通常運転時における自動運転を実現するための認知系ブロックＢ１、判断系ブロックＢ２及び操作系ブロックＢ３とで構成された主演算部７００と、（２）主に主演算部７００の認知系ブロックＢ１及び判断系ブロックＢ２を補完する機能を有するセーフティ機能部８００と、（３）主演算部７００やセーフティ機能部８００の機能が失陥した場合等の異常事態が発生した際に、自動車１を安全な位置まで移動させるバックアップセーフティ機能部９００とを備えている。

本演算システムＳＹにおいて、主演算部７００の認知系ブロックＢ１および判断系ブロックＢ２では、ニューラルネットワークを利用した深層学習により構築された各種モデルを利用して処理を実行する。このようなモデルを使用した処理を行うことで、車両状態、車外環境、運転者の状態等の総合的な判断に基づく運転制御、すなわち、大量の入力情報をリアルタイムで協調させて制御することができるようになる。一方で、前述のとおり、深層学習を利用した車外環境の認定及び経路の算出は、未だ発展途上の状態であり、ＡＳＩＬ－Ｂ程度に留まるとされている。なお、図９では、参考情報として、各ブロックのＡＳＩＬ情報を記載しているが、本記載に限定されるものではなく、各ブロックが図９とは異なる機能安全レベルを有していてもよい。

そこで、本演算システムＳＹでは、主演算部７００で実行される深層学習により、ある特定の許容範囲を逸脱するような判断や処理（以下、単に逸脱処理という）が導き出される可能性を想定し、そのような逸脱処理を監視するとともに、逸脱処理を検出した場合には、ＡＳＩＬ－Ｄ相当の機能安全レベルを実現するセーフティ機能部８００による判断や処理に置き換えるまたは補完するものである。

具体的に、例えば、セーフティ機能部８００は、
（１）従来より自動車等に採用されている物標等の認定方法に基づいて、車外にある物体（本開示では、対象物と呼んでいる）を認識する、
（２）従来より自動車等に採用されている方法で、車両が安全に通過できる安全領域を設定し、その安全領域を通過するような経路を自動車が通過すべき走行経路として設定する、
ように構成されている。このような、いわゆるルールベースの判断や処理を行うことにより、ＡＳＩＬ－Ｄ相当の機能安全レベルを実現することができる。

そして、本演算システムＳＹは、主演算部７００とセーフティ機能部８００とが、同一の入力情報（車外情報取得手段Ｍ１や車内情報取得手段Ｍ２で取得された情報を含む）に基づいて、同一の目的の処理（例えば、経路生成）を、並列に進めるようにしている点に特徴がある。これにより、主演算部７００から逸脱処理が導き出されることを監視することができるとともに、必要に応じて、セーフティ機能部８００による判断や処理の方を採用したり、主演算部７００に再演算をさせたりすることができるようになっている。

主演算部７００とセーフティ機能部８００とは、両機能をあわせて（以下、両機能をあわせたものを車両制御機能ともいう）、それを１つ又は複数のチップで構成するようにしてもよいし、主演算部７００とセーフティ機能部８００のそれぞれを独立したチップで構成するようにしてもよい。

前述の実施形態では、主演算部７００による逸脱処理の対応例として、主演算部７００によりセーフティ機能部８００が設定した安全領域を逸脱する経路が設定された場合について、セーフティ機能部８００で生成されたルールベースの経路に置き換える例を示している。

さらに、本演算システムＳＹでは、主演算部７００及びセーフティ機能部８００の両方が故障するような事態にも対処できるように、バックアップセーフティ機能部９００（バックアップ演算装置３０に相当）を設けている。バックアップセーフティ機能部９００は、車外情報に基づいてルールベースで経路を生成し、安全な位置に停車させるまでの車両制御を実行する機能を、主演算部７００及びセセーフティ機能部８００とは別構成として用意したものである。したがって、主演算部７００及びセーフティ機能部８００とは、別々の装置（チップ）で構成されるのが好ましい。

これにより、例えば、主演算部７００とセーフティ機能部８００とを共通のチップで構成した場合に、そのチップ自体に故障が発生しても、車両を安全な場所に停車させることができる。換言すると、このようなバックアップセーフティ機能部９００を設けることで、車両制御機能またはバックアップ機能の故障を、他方の機能によって補完し、故障時の安全動作を確保することができる。

－２．構成－
以下において、図９を参照しつつ、本演算システムＳＹの具体的構成について、実施形態との対比を交えつつ説明する。なお、実施形態と共通の構成については、共通の符号を使用して説明する場合がある。また、共通の構成についての詳細説明を省略する場合がある。

演算システムＳＹには、自動車の車外環境の情報を取得する車外情報取得手段Ｍ１、及び、車内環境の情報を取得する車内情報取得手段Ｍ２のそれぞれで取得されたデータが入力信号として与えられる。また、演算システムＳＹへの入力信号として、クラウドコンピューティングのように、車外ネットワーク（例えば、インターネット等）に接続されたシステムやサービスからの情報が入力されるようにしてもよい（図９では「外部入力」と記載）。

車外情報取得手段Ｍ１として、例えば、（１）複数のカメラ５０、（２）複数のレーダ５１、（３）車速センサ５２等のメカセンサー５２０、（４）アクセル開度センサ５３、操舵角センサ５４、ブレーキセンサ５５等のドライバ入力部５３０、（５）ＧＰＳ等の測位システムを含む位置センサ５６等が例示される。

車内情報取得手段Ｍ２として、例えば、車内カメラ５８、車内センサ５９等が例示される。車内センサ５９には、例えば、アクセルペダル、ブレーキペダル、ステアリング、各種スイッチ等の各種操作対象物への運転者の操作を検出するセンサを含む。なお、図９では、車内情報取得手段Ｍ２の図示を省略している。

－２－１．主演算部－
ここでは、主演算部７００の構成例及び主演算部７００による深層学習を用いた経路生成について説明する。

図９に示すように、主演算部７００は、カメラ５０及び／またはレーダ５１の入力に基づいて、車外の物体（対象物）を認識する物体認識部７０１を有する。物体認識部７０１は、カメラ５０で撮像された社外の画像（映像を含む）や、レーダ５１を用いた反射波のピークリストにより、車外の物体を認識する機能を有する。また、主演算部７００は、実施形態に示したとおり、深層学習を利用して、認識された物体が何かを判別する機能を有する。物体認識部７０１には、従来から知られている画像や電波に基づく物体認識技術を適用することができる。

物体認識部７０１で認識された結果は、マップ生成部７０２に送られる。マップ生成部７０２では、自車両の周囲を複数の領域（例えば、前方、左右方向、後方）に分け、各領域ごとにマップ作成処理を行う。マップ作成処理では、それぞれの領域に対して、カメラ５０で認識された物体情報と、レーダ５１で認識された物体情報とを統合し、マップに反映させる。

マップ生成部７０２で生成されたマップは、車外環境推定部７０３（車外環境推定部１１１に相当）において、深層学習を用いた画像認識処理により車外環境の推定に使用される。具体的に、車外環境推定部７０３では、深層学習を利用して構築された環境モデル７０４に基づく画像認識処理により車外環境を表す３Ｄマップを作成する。深層学習では、多層ニューラルネットワーク（ＤＮＮ：Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）が用いられる。多層ニューラルネットワークとして、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）がある。より具体的に、車外環境推定部７０３では、（１）各領域ごとのマップが結合され、自車両１の周囲を表した統合マップが生成され、（２）その統合マップ内の動体物に対し、自車両１との距離、方向、相対速度の変位が予測され、（３）その結果が、車外環境モデル７０４に組み込まれる。さらに、車外環境推定部７０３では、（４）車内または車外から取り込んだ高精度地図情報、ＧＰＳ等で取得された位置情報・車速情報・6軸情報の組み合わせによって統合マップ上での自車両１の位置を推定するとともに、（５）前述の経路コストの計算を行い、（６）その結果が、各種センサで取得された自車両１の運動情報とともに車外環境モデル７０４に組み込まれる。これらの処理により、車外環境推定部７０３では、随時、車外環境モデル７０４が更新され、経路生成部７０５による経路生成に使用される。

ＧＰＳ等の測位システムの信号、車外ネットワークから送信される例えばカーナビゲーション用のデータは、経路探索部７０６に送られる。経路探索部７０６は、ＧＰＳ等の測位システムの信号、車外ネットワークから送信される例えばナビゲーション用のデータを用いて、車両の広域経路を探索する。

経路生成部７０５では、車外環境モデル７０４と、経路探索部７０６の出力とを基にして、車両の走行経路を生成する。主演算部７００による具体的な経路探索方法については、実施形態の「２－１．第１経路、第２経路の算出」において、第１経路の算出方法として例示している。ここまでの機能が、深層学習による経路生成の一例であり、ＡＳＩＬ－Ｂ相当の機能安全レベルを実現する経路生成である。

－２－２．セーフティ機能部－
ここでは、セーフティ機能部８００の構成及びセーフティ機能部８００によるルールベースの経路生成について説明する。

図９に示すように、セーフティ機能部８００は、主演算部７００と同じ、カメラ５０及び／またはレーダ５１の入力に基づいて、車外の物体（対象物）を認識する物体認識部８０１を有する。セーフティ機能部８００では、主演算部７００と同様の手法により車外の物体を認識した後に、深層学習を利用せずに、従来から知られているルールベースの手法により認識された物体が何かを判別するようにしている。例えば、従来から知られており、ＡＳＩＬ－Ｄ相当の機能安全レベルを実現している識別機を通して、認識された物体が何かを判別する。

物体認識部８０１で認識された結果は、動体と静止物とに分類される。図９では、８０２の符号を付して「動体・静止物分類」と記載した回路ブロックで実行される。具体的に、ここでは、（１）自車両の周囲が複数の領域（例えば、前方、左右方向、後方）に分けられ、（２）各領域で、カメラ５０で認識された物体情報と、レーダ５１で認識された物体情報とが統合され、（３）各領域に対する導体及び静止物との分類情報が生成される。そして、（４）各領域ごとの分類結果が統合され、（５）自車両周辺の導体及び静止物との分類情報として、例えば、例えば、図２に示されるようなグリッドマップ上で管理される。また、動体物に対しては、（６）自車両との距離、方向、相対速度が予測され、その結果が動体物の付属情報として組み込まれるとともに、（７）車内または車外から取り込んだ高精度地図情報、ＧＰＳ等で取得された位置情報・車速情報・６軸情報の組み合わせによって、動体・静止物に対する自車両の位置が推定される。また、セーフティ機能部８００では、車速情報・６軸情報に基づく車両状態を検出し、自車両１の付属情報として経路生成に使用する。セーフティ機能部８００では、ここで推定された動体・静止物に対する自車両の位置と、安全領域の探索結果に基づいて、経路が生成される。なお、ここでの安全領域は、実施形態における第２安全領域ＳＡ２が相当する。安全領域の設定は、上記実施形態における安全領域設定部１２２による第２安全領域ＳＡ２と同様である。また、経路生成についても、第２経路算出部１２３による経路生成と同様であり、ここではその詳細説明を省略する。ここまでの機能が、ルールベースによる経路生成の一例であり、ＡＳＩＬ－Ｄ相当の機能安全レベルを実現する経路生成である。

主演算部７００及びセーフティ機能部８００で生成された経路は、目標運動決定部７１０に送られ、両経路の比較結果等に応じて最適な目標運動が決定される。例えば、前述の実施形態に記載しているように、主演算部７００で生成した経路が、セーフティ機能部８００で探索された安全領域から外れる時には、セーフティ機能部８００で生成された経路が採用される。目標運動決定部７３０、車両運動エネルギー操作部７４０、エネルギーマネジメント部７５０は、前述の実施形態の目標運動決定部１３０、エネルギーマネジメント部１４０に相当するものであり、ここではその詳細説明を省略する。

－２－３．バックアップセーフティ機能部－
ここでは、バックアップセーフティ機能部９００の構成及びバックアップセーフティ機能部９００によるルールベースの経路生成について説明する。バックアップセーフティ機能部９００は、ルールベースで最低限の安全停車位置への移動動作、停車動作ができるようにするために必要な構成を備えたものとなっている。大枠の構成は、セーフティ機能部８００を同じような機能で実現することができる。

図９に示すように、バックアップセーフティ機能部９００では、物体認識部８０１で認識された結果を基に、動体と静止物とが分類される。図９では、９０３の符号を付して「動体・静止物分類」と記載した回路ブロックで実行される。物体認識部８０１は、図９に示すように、セーフティ機能部８００と共通のものを使用してもよいし、個別に、バックアップセーフティ機能部９００に設けられていてもよい。さらに、バックアップセーフティ機能部９００は、車両状態を計測する車両状態計測部９０１と、運転者の操作状態を把握するドライバ操作認知部９０２とを備えている。車両状態計測部９０１は、自車両１の付属情報として経路生成に使用するために、車速情報・６軸情報に基づく車両状態を取得する。ドライバ操作認知部９０２は、モニタリング手段４００に相当する機能である。それ以外の機能については、主演算部７００及びセーフティ機能部８００とは独立して設けられているものの、実質的な機能は、これまで説明してきた構成と同様であり、ここではその詳細説明を省略する。

ここに開示された技術は、自動車に搭載される自動車用演算システムとして有用である。

ＳＹ 演算システム
１００ 主演算装置
１１０ 第１演算部（第１経路生成部）
１２０ 第２演算部（第２経路生成部）
３００ バックアップ演算装置
Ｍ１ 車外情報取得手段
ＡＣ アクチュエータ類

Claims (3)

1. 自動車に搭載される自動車用演算システムであって、
   車外環境の情報を取得する車外情報取得手段からの出力を基にして、深層学習を利用して道路と障害物を含む車外環境を推定し、推定された車外環境を基にして道路上であって障害物を回避する第１経路を生成する第１経路生成部を有し、当該第１経路に沿って走行する際の自動車の目標運動を決定し、当該目標運動を実現するための制御信号を駆動力と制動力と操舵角を生成する各アクチュエータに出力する主演算装置と、
   前記車外情報取得手段からの出力を基にして、走行中の自動車が予め設定した基準を満たす停車位置に停車するまでの走行経路である第３経路を生成する停車経路生成部を有し、当該第３経路に沿って走行させるためのバックアップ目標運動を決定し、当該バックアップ目標運動を実現するためのバックアップ制御信号を前記各アクチュエータに出力するバックアップ演算装置とを有し、
   前記主演算装置の故障が生じた場合に、前記バックアップ制御信号を前記制御信号に優先して前記各アクチュエータに出力し、
   前記主演算装置は、前記車外情報取得手段からの出力を基にして、深層学習を利用せずに、所定のルールにより道路と障害物を含む車外の対象物を認識し、認識された車外の対象物を基にして道路上であって障害物を回避する安全領域を特定するとともに当該安全領域を走行する第２経路を生成する第２経路生成部を有し、
   前記主演算装置は、前記第１経路が前記安全領域を逸脱している場合に、前記第１経路に代えて、前記第２経路に沿って走行する際の自動車の目標運動を決定し、当該目標運動を実現するための制御信号を前記各アクチュエータに出力する
   ことを特徴とする自動車用演算システム。
2. 自動車に搭載される自動車用演算システムであって、
   車外環境の情報を取得する車外情報取得手段からの出力を基にして、深層学習を利用して道路と障害物を含む車外環境を推定し、推定された車外環境を基にして道路上であって障害物を回避する第１経路を生成する第１経路生成部を有し、当該第１経路に沿って走行する際の自動車の目標運動を決定し、当該目標運動を実現するための制御信号を駆動力と制動力と操舵角を生成する各アクチュエータに出力する主演算装置と、
   前記車外情報取得手段からの出力を基にして、走行中の自動車が予め設定した基準を満たす停車位置に停車するまでの走行経路である第３経路を生成する停車経路生成部を有し、当該第３経路に沿って走行させるためのバックアップ目標運動を決定し、当該バックアップ目標運動を実現するためのバックアップ制御信号を前記各アクチュエータに出力するバックアップ演算装置とを有し、
   前記主演算装置の故障が生じた場合に、前記バックアップ制御信号を前記制御信号に優先して前記各アクチュエータに出力し、
   前記主演算装置は、前記車外情報取得手段からの出力を基にして、深層学習を利用せずに、所定のルールにより道路と障害物を含む車外の対象物を認識し、認識された車外の対象物を基にして道路上であって障害物を回避する安全領域を設定する安全領域設定部を備え、
   前記第１経路生成部は、前記安全領域を通過するように前記第１経路を設定する
   ことを特徴とする自動車用演算システム。
3. 自動車に搭載される自動車用演算システムであって、
   車外環境の情報を取得する車外情報取得手段からの出力を基にして、深層学習を利用して道路と障害物を含む車外環境を推定し、推定された車外環境を基にして道路上であって障害物を回避する第１経路を生成する経路生成部を有し、当該第１経路に沿って走行する際の自動車の目標運動を決定し、当該目標運動を実現するための制御信号を駆動力と制動力と操舵角を生成する各アクチュエータに出力する主演算装置と、
   前記車外情報取得手段からの出力を基にして、走行中の自動車が予め設定した基準を満たす停車位置に停車するまでの走行経路である第３経路を生成する停車経路生成部を有し、当該第３経路に沿って走行させるためのバックアップ目標運動を決定し、当該バックアップ目標運動を実現するためのバックアップ制御信号を前記各アクチュエータに出力するバックアップ演算装置とを有し、
   前記車外情報取得手段の出力に異常が生じた場合に、前記バックアップ制御信号を前記制御信号に優先して前記各アクチュエータに出力し、
   前記主演算装置は、前記車外情報取得手段からの出力を基にして、深層学習を利用せずに、所定のルールにより道路と障害物を含む車外の対象物を認識し、認識された車外の対象物を基にして道路上であって障害物を回避する安全領域を特定するとともに当該安全領域を走行する第２経路を生成する第２経路生成部を有し、
   前記主演算装置は、前記第１経路が前記安全領域を逸脱している場合に、前記第１経路に代えて、前記第２経路に沿って走行する際の自動車の目標運動を決定し、当該目標運動を実現するための制御信号を前記各アクチュエータに出力する
   ことを特徴とする自動車用演算システム。

Images