JP6722280B2 - 自律走行車の交通予測における予測軌跡の評価フレームワーク - Google Patents

Description

本発明の実施形態は、一般的に自律走行車（ＡＤＶ：ａｕｔｏｎｏｍｏｕｓ ｄｒｉｖｉｎｇ ｖｅｈｉｃｌｅ）を動作させることに関する。より具体的には、本発明の実施形態は、自律走行車の交通予測を評価することに関する。

自律走行モードで（例えば、運転者（ｈｕｍａｎ ｄｒｉｖｅｒｓ）なしで）動作させる車両で乗員、特に運転者は、いくつかの運転と関連して担当している点から軽減されることができる。自律走行モードで動作させるとき、自律走行車はオンボードセンサを使用してさまざまな場所にナビゲートすることができ、その結果、最小限のヒューマンコンピュータインタラクションで、又はいくつかの場合、乗客なしに車両が移動することが許容される。

交通予測は、自律走行車のソフトウェアを作成する際に解決すべき非常に重要な問題である。感知モジュールがセンサデータを収集し、構造化された検出対象（例えば、車両、サイクリスト及び歩行者）を生成する間に、予測モジュールは、実際にこのような対象の動作を実際予測しなければならない。予測結果は、近い将来に対象が存在可能な時間−空間位置を示す予測軌跡を含む。具体的なカテゴリー的レベルで予測の「行動」を評価することは簡単ですが、予測軌跡と実際軌跡との間の実際の類似度を数値的客観的に測定することは非常に困難である。

本発明の実施形態は、自律走行車両の軌跡予測を評価するためのコンピュータ実現方法、非一時的機械可読媒体及びデータ処理システムを提供する。

本発明の一実施形態によれば、自律走行車両の軌跡予測を評価するためのコンピュータに実現される方法は、自律走行車（ＡＤＶ）周辺の走行環境内の対象を感知する感知データに基づく予測方法を用いて生成された対象の予測軌跡を受信するステップと、予測軌跡の複数の軌跡点から選択された少なくとも一部の軌跡点について、選択された軌跡点から複数の特徴を抽出するステップと、抽出された特徴にＤＮＮ（ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）モデルを適用して類似度スコアを生成するステップであって、前記類似度スコアは、前記予測軌跡と、前記ＤＮＮモデルによってモデル化された以前の実際軌跡との間の類似度を示す、ステップと、類似度スコアに基づいて予測方法の精度を決定するステップとを含む。

本発明の他の実施形態では、非一時的機械可読媒体は、プロセッサによって実行されるときにプロセッサに動作を実行させるコマンドを記憶する。動作は、自律走行車（ＡＤＶ）周辺の走行環境内の対象を感知する感知データに基づく予測方法を用いて生成された対象の予測軌跡を受信することと、予測軌跡の複数の軌跡点から選択された少なくとも一部の軌跡点について、選択された軌跡点から複数の特徴を抽出することと、抽出された特徴にＤＮＮモデルを適用して類似度スコアを生成することであって、前記類似度スコアは、前記予測軌跡と、前記ＤＮＮモデルによってモデル化された以前の実際軌跡との間の類似度を示す、ことと、類似度スコアに基づいて予測方法の精度を決定することとを含む。

本発明の別の実施形態では、データ処理システムは、プロセッサと、前記プロセッサに接続されてコマンドを記憶するためのメモリとを含み、前記コマンドは、前記プロセッサによって実行されるとき、前記プロセッサに動作を実行させる。動作は、自律走行車（ＡＤＶ）周辺の走行環境内の対象を感知する感知データに基づく予測方法を用いて生成された対象の予測軌跡を受信することと、予測軌跡の複数の軌跡点から選択された少なくとも一部の軌跡点について、選択された軌跡点から複数の特徴を抽出することと、抽出された特徴にＤＮＮモデルを適用して類似度スコアを生成することであって、前記類似度スコアは、前記予測軌跡と、前記ＤＮＮモデルによってモデル化された以前の実際軌跡との間の類似度を示す、ことと、類似度スコアに基づいて予測方法の精度を決定することとを含む。

本発明の実施形態は、同一の符号（参照番号）が同一の要素を示す添付図面において例示として説明されるが、これに限定されない。

一実施形態に係るネットワークシステムを示すブロック図である。 一実施形態に係る自律走行車の一例を示すブロック図である。 一実施形態に係る自律走行車と一緒に使用される感知や計画システムの一例を示すブロック図である。 一実施形態に係るデータ分析システムを示すブロック図である。 実際軌跡と予測軌跡の一例を示す図である。 一実施形態に係るＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の一例を示すブロック図である。 一実施形態に係るＤＮＮを訓練するプロセスを示すフローチャートである。 一実施形態に係る自律走行車の予測方法を評価するプロセスを示すフローチャートである。 一実施形態に係るデータ処理システムを示すブロック図である。

以下、検討した詳細を参照して本発明の様々な実施形態及び態様を説明し、添付の図面は、前記様々な実施形態を示す。以下の説明及び図面は、本発明の例示であり、本発明を限定するものとして解釈されるべきではない。本発明の様々な実施形態の完全な理解を提供するために、多くの詳細が記載されている。しかしながら、場合によって、本発明の実施形態の説明の簡潔さから、周知又は従来の詳細は記載されていない。

本明細書において、「一実施形態」又は「実施形態」とは、当該実施形態に説明した特定の特徴、構造、又は特性を本発明の少なくとも１つの実施形態に含めることができることを意味する。本明細書にわたって記載の「一実施形態では／一実施形態において」という語句は、必ずしもすべて同じ実施形態を指すとは限らない。

自律走行のソフトウェアシステムでは、感知及び予測モジュールは、「客観的な」情報と「主観的な」情報とを抽出する２つの重要なモジュールである。感知モジュールが未加工のセンサデータから対象の存在、速度、位置、及び方向などの客観的な情報を抽出する際に、予測モジュールは、「予測」の計算を担当する。これらの予測には、行動レベルの予測が含まれる。例えば、特定の瞬間に、特定の車線の特定の速度の検出車両が、現在車線で隣接車線に変更することである。これらの予測は、空間的―時間的軌跡点でより具体化される。点の軌跡は、下流モジュール（例えば、運行（モーション）計画及び制御）によって大きく影響を受けて、安全かつ合理的な自律走行の決定を下す。

感知モジュールは、ポイントクラウド（ｐｏｉｎｔ−ｃｌｏｕｄ）、カメラ画像、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）及び／又はレーダーを含むが、これらに限定されない未加工のセンサデータを使用する。感知モジュールは、感知対象を検出して、位置、速度、及び方向などの情報を利用して補完する。これらの情報は、より「客観的」である。予測モジュールは、近い将来にこれらのすべての対象の動作を予測することを担当する。そのような予測は、対象が、現在車線を維持するか、他の車に変更するか、又は停止するかのようなメタ−行動レベル（ｍｅｔａ−ｂｅｈａｖｉｏｒ ｌｅｖｅｌ）で、通常、最初に計算される。そのような行動レベルの予測が行われた後で、これらの予測は、具体的な実際軌跡に説明される。軌跡は、「軌跡点」の集合で表現され、各点は、対象の未来位置とその時点での予測速度と方向を示す。本発明の実施形態は、予測軌跡と、対象としての実際軌跡との間の類似度を体系的に計算するものである。

一部の実施形態によれば、予測軌跡を生成するために使用される予測方法の精度を評価するために、ＤＮＮを訓練し、これを利用して、評価ネットワークを訓練することで、類似度の評価の問題を解決し、このネットワークを利用して予測軌跡と実際軌跡との間の差異や類似度を決定する。一実施形態では、予測軌跡は負例（ｎｅｇａｔｉｖｅ ｅｘａｍｐｌｅ）として使用され、実際軌跡は、正例（ｐｏｓｉｔｉｖｅ ｅｘａｍｐｌｅ）として利用される。ＤＮＮネットワークは設計された特徴を持つ例により構築される。予測軌跡の形が実際軌跡の分布と異なる場合には、ネットワークは「実際」の軌跡と「予測」の軌跡とを区別して差別化する識別能力を持っている。したがって、よりよい軌跡を生成する改善がなされた場合には、予測軌跡が、ネットワークに提供され、訓練されたネットワークは、予定値に近いスコア（例えば、１）を付与することで、より大きい程度で「予測軌跡」を「実際軌跡」として分類させる。本構成では、予測軌跡と実際軌跡との間の類似度を評価する総括的かつ新しい方法である。

本発明の一実施形態によれば、予測軌跡が受信されたとき、予測軌跡の軌跡点のうちの少なくとも一部から複数の特徴のセットが抽出される。予測軌跡は自律走行車（ＡＤＶ）周辺の走行環境内の対象を感知する感知データに基づく予測方法又はアルゴリズムを使用して予測される。抽出された特徴は、所定のＤＮＮモデルに供給され、類似度スコアを生成する。類似度スコアは、予測軌跡と、ＤＮＮモデル訓練用の以前の実際軌跡との間の差異や、類似度を示す。類似度スコアは、予測軌跡を予測した予測方法を評価するために使用することができる。

例えば、類似度スコアが１に近いほど、対応する対象が近い将来に動く可能性が高い実際軌跡に、予測軌跡が近いことを示しており、これは予測方法が対象の潜在的な動きを正確に予測することを意味する。そうでない場合には、類似度スコアが−１に近いほど、実際軌跡が予測軌跡から逸脱することを示しており、これは予測方法を改善したり、変更する必要があることを意味する。ＤＮＮモデルを使用して評価スコアとして類似度スコアを体系的に生成することにより、対象の軌跡を予測するための予測方法を体系的に評価することができる。その結果、予測方法は、スコアに基づいて微調整されて改善されることができる。

本発明の他の実施形態によれば、ＤＮＮモデル又はモデルたちは、過去にキャプチャされた予測軌跡とそれに対応する実際軌跡を含む大量の過去の走行統計に基づいて訓練することができる。予測軌跡と対応する実際軌跡の各ペアについて、予測特徴セットが予測軌跡から抽出され、実際特徴のセットが、それに対応する実際軌跡から抽出される。ＤＮＮネットワーク又はモデルは、予測特徴と実際特徴に基づいて訓練される。ＤＮＮモデルを訓練するために、実際特徴は正例として活用される一方、予測特徴は負例に活用される。モデルは、類似度スコアを生成するために、対応する特徴を考慮して予測特徴に基づいて訓練することができる。類似度スコアは、予測特徴で表示された軌跡と、実際特徴で表示された実際軌跡との間の差異や類似度を示す。所定の第１の値（例えば、１）に近い類似度スコアは、予測軌跡が対応する実際軌跡と類似していることを示す。所定の第２の値（例えば、−１）に近い類似度スコアは、予測軌跡が対応する実際軌跡と異なっていることを示す。大量の予測軌跡とそれに対応する実際軌跡を使用してＤＮＮモデル又はモデルをより正確に訓練することができる。

図１は本発明に係る一実施形態に係る自律走行車のネットワーク配置を示すブロック図である。図１を参照して、ネットワーク配置１００はネットワーク１０２によって１つ以上のサーバ１０３〜１０４に通信可能に接続することができる自律走行車１０１を含む。１つの自律走行車を示すが、ネットワーク１０２によって複数の自律走行車は互いに接続され、及び／又はサーバ１０３〜１０４に接続されることができる。ネットワーク１０２は、任意のタイプのネットワーク、例えば有線又は無線のローカルエリアネットワーク（ＬＡＮ）、例えばインターネット、セルラーネットワーク、衛星ネットワークの広域ネットワーク（ＷＡＮ）又はその組み合わせであってもよい。サーバ１０３〜１０４は任意のタイプのサーバ又はサーバクラスタ、例えばＷｅｂサーバ又はクラウドサーバ、アプリケーションサーバ、バックエンドサーバ又はその組み合わせであってもよい。サーバ１０３〜１０４は、データ分析サーバ、内容サーバ、交通情報サーバ、地図（マップ）及び興味のあるポイント（ＭＰＯＩ）サーバ又は位置サーバ等であってもよい。

自律走行車とは、自律モードになるように配置できる車両を指し、前記自律モードで車両が運転者からの入力が非常に少ない又はない場合にもナビゲーションして環境を通過する。このような自律走行車は、センサシステムを含んでもよく、前記センサシステムは車両走行環境に関連する情報を検出するように配置される１つ以上のセンサを有する。前記車両及びその関連するコントローラは検出した情報を使用してナビゲーションし環境を通過する。自律走行車１０１は、手動モード、完全自律モード又は部分自律モードで運行することができる。

一実施形態において、自律走行車１０１は、感知及び計画システム１１０と、車両制御システム１１１と、無線通信システム１１２と、ユーザインターフェースシステム１１３と、センサシステム１１５とを含むが、これらに制限されない。自律走行車１０１は、通常の車両に含まれるある一般的な構成要素（部材）、例えばエンジン、車輪、ハンドル、変速器等をさらに含んでもよく、前記構成要素は、車両制御システム１１１及び／又は感知及び計画システム１１０により多種の通信信号及び／又はコマンド（例えば加速度信号又はコマンド、減速信号又はコマンド、ステアリング信号又はコマンド、ブレーキ信号又はコマンド等）を使用して制御することができる。

構成要素１１０〜１１５は、相互接続部材、バス、ネットワーク又はそれらの組み合わせを介して互いに通信可能に接続することができる。例えば、構成要素１１０〜１１５は、コントローラローカルエリアネットワーク（ＣＡＮ）バスを介して互いに通信可能に接続することができる。ＣＡＮバスは、マイクロコントローラ及び装置がホストコンピューターのない使用において互いに通信することを許可するような車両バス標準として設計される。それはメッセージに基づくプロトコルであり、最初に自動車内における複数の電線のために設計されたが、数多くのその他の環境（状況）にも用いられる。

現在、図２を参照して、一実施形態において、センサシステム１１５は、１つ以上のカメラ２１１と、全地球測位システム（ＧＰＳ）ユニット２１２と、慣性計測ユニット（ＩＭＵ）２１３と、レーダーユニット２１４と、ＬＩＤＡＲ（光検出及び測距）ユニット２１５とを含むが、これらに制限されない。ＧＰＳシステム２１２は、送受信機を含んでもよく、前記送受信機は、自律走行車の位置に関する情報を提供するように動作することができる。ＩＭＵユニット２１３は、慣性加速度に基づいて自律走行車の位置及び方向変化を感知することができる。レーダーユニット２１４は、無線信号を利用して自律走行車のローカル環境内の対象を感知するシステムを示すことができる。いくつかの実施形態において、対象を感知する以外、レーダーユニット２１４は、さらに対象の速度及び／又は進行方向を感知することができる。ＬＩＤＡＲユニット２１５はレーザを使用して自律走行車の所在する環境における対象を感知することができる。その他のシステム構成要素以外、ＬＩＤＡＲユニット２１５は１つ以上のレーザ光源、レーザースキャナ及び１つ以上の検出器をさらに含んでもよい。カメラ２１１は、自律走行車の周辺環境の画像をキャプチャするための１つ以上の装置を含んでもよい。カメラ２１１は、スチルカメラ及び／又はビデオカメラであってもよい。カメラは、例えば回転及び／又は傾斜のプラットフォームに取り付けられる、機械的に移動可能なものであってもよい。

センサシステム１１５は、その他のセンサ、例えばソナーセンサ、赤外線センサ、ステアリングセンサ、スロットルセンサ、ブレーキセンサ、及びオーディオセンサ（例えばマイクロフォン）をさらに含んでもよい。オーディオセンサは、自律走行車周辺の環境から音をキャプチャするように配置されてもよい。ステアリングセンサは、ハンドル、車両の車輪又はその組み合わせのステアリング角を感知するように配置できる。スロットルセンサ及びブレーキセンサは、それぞれ車両のスロットル位置及びブレーキ位置を感知する。いくつかの場合、スロットルセンサ及びブレーキセンサは、集積型スロットル／ブレーキセンサに一体化されてもよい。

一実施形態において、車両制御システム１１１は、ステアリングユニット２０１と、スロットルユニット２０２（加速ユニットとも呼ばれる）と、ブレーキユニット２０３とを含むが、これらに制限されない。ステアリングユニット２０１は、車両の方向又は進行方向を調整することに用いられる。スロットルユニット２０２は、モーター又はエンジンの速度を制御して、続いて車両の速度及び加速度を制御することに用いられる。ブレーキユニット２０３は、摩擦を提供することによって車両の車輪又はタイヤをスローダウンして車両を減速させることに用いられる。注意すべきなのは、図２に示すような構成要素はハードウェア、ソフトウェア又はその組み合わせで実現されることができる。

図１を再び参照して、無線通信システム１１２は、自律走行車１０１と、例えば装置、センサ、その他の車両等の外部システムとの間に通信することを可能にする。例えば、無線通信システム１１２は、１つ以上の装置に直接に又は通信ネットワークを介して無線通信し、例えばネットワーク１０２によってサーバ１０３〜１０４に通信できる。無線通信システム１１２は、任意のセルラー通信ネットワーク又は無線ローカルエリアネットワーク（ＷＬＡＮ）（例えばＷｉＦｉ）を使用して他の構成要素やシステムに通信することができる。無線通信システム１１２は、例えば赤外線リンク、ブルートゥース等を使用して装置（例えば、乗客の移動装置、表示装置、車両１０１内のスピーカー）に直接に通信できる。ユーザインターフェースシステム１１３は、車両１０１内で実行される周辺装置の一部であってもよく、例えばキーボード、タッチスクリーンディスプレイ装置、マイクロフォン、及びスピーカー等を含む。

自律走行車１０１の一部又は全ての機能は、特に自律走行モードで操作する場合、感知及び計画システム１１０により制御したり管理したりすることができる。感知及び計画システム１１０は、必要なハードウェア（例えば、プロセッサ、メモリ、メモリ）、及びソフトウェア（例えば、オペレーティングシステム、計画及びルーティングプログラム）を含み、センサシステム１１５、車両制御システム１１１、無線通信システム１１２、及び／又はユーザインターフェースシステム１１３から情報を受信し、受信された情報を処理し、出発地から目的地までのルートや経路を計画し、そして計画及び制御情報に基づいて車両１０１を運行させる。あるいは、感知及び計画システム１１０と車両制御システム１１１とは一体化されてもよい。

例えば、乗客のユーザとして、例えばユーザインターフェースによって旅程の出発位置及び目的位置を指定することができる。感知及び計画システム１１０は旅程関連データを取得する。例えば、感知及び計画システム１１０は、ＭＰＯＩサーバから位置及び経路情報を取得することができ、前記ＭＰＯＩサーバはサーバ１０３〜１０４の一部であってもよい。位置サーバは、位置サービスを提供し、かつＭＰＯＩサーバは地図サービス及びある位置のＰＯＩを提供する。あるいは、このような位置及びＭＰＯＩ情報は、感知及び計画システム１１０の永続的記憶装置にローカルでキャッシュされることができる。

自律走行車１０１がルートに沿って移動する時に、感知及び計画システム１１０は、さらに交通情報システムやサーバ（ＴＩＳ）からリアルタイム交通情報を取得することができる。注意すべきなのは、サーバ１０３〜１０４は、第三者エンティティにより動作されることができる。あるいは、サーバ１０３〜１０４の機能は、感知及び計画システム１１０と一体化されてもよい。リアルタイム交通情報、ＭＰＯＩ情報、位置情報、及びセンサシステム１１５が検出又は感知したリアルタイムなローカル環境データ（例えば、障害物、対象、付近車両）に基づいて、感知及び計画システム１１０は、安全で効果的に指定した目的地に到達するように、最適なルートを計画し、かつ計画したルートにより例えば車両制御システム１１１を介して車両１０１を運行することができる。

サーバ１０３は、様々なクライアントにデータ分析サービスを実行するためのデータ分析システムであってもよい。一実施形態では、データ分析システム１０３は、データコレクタ１２１と機械学習エンジン１２２を含む。データコレクタ１２１は、自律走行車や運転者によって運行される一般的な車両を含む、様々な車両からの走行統計１２３を収集する。走行統計１２３は、異なる時点で発行された走行コマンド（例えば、スロットルコマンド、ブレーキコマンド、ステアリングコマンド）と、車両のセンサによってキャプチャされた車両の応答（例えば、速度、加速、減速、方向）を示す情報を含む。走行統計１２３は、異なる時点での走行環境、例えば、ルート（出発と目的地の位置を含む）、ＭＰＯＩ、道路状態、天候状態などを説明する情報をさらに含んでもよい。

走行統計１２３に基づいて、機械学習エンジン１２２は、様々な目的のために、ルール、アルゴリズム及び／又は予測モデル１２４のセットを生成又は訓練させる。例えば、モデル１２４は、対象の予測軌跡と対象の実際軌跡との間の類似度を決定するための１つ以上のＤＮＮモデルを含んでもよい。ＤＮＮは走行統計に基づいて訓練され、これを利用して評価ネットワークを訓練して類似度評価の問題を解決する。ＤＮＮモデルは、予測軌跡を生成するために使用される予測方法の精度を評価するために、予測軌跡と実際軌跡との間の差異や類似度を決定するために使用される。走行統計１２３は、ＡＤＶの永続記憶装置にキャプチャされ、記憶されることができる１つ以上の予測方法又はアルゴリズムを使用して、さまざまなＡＤＶが感知した様々な対象の予測軌跡を含んでもよい。また、それぞれのＡＤＶは永続記憶装置に記憶されることもある感知データに基づいて、対象の実際軌跡をキャプチャすることができる。

一実施形態では、ＤＮＮモデル１２４を訓練させるためには、予測軌跡は負例として、且つ、実際軌跡は正例として機械学習エンジン１２２によって使用される。ＤＮＮネットワークは設計された特徴を持つ例により構築される。予測軌跡の形が実際軌跡の分布と異なる場合には、ネットワークは「実際」の軌跡と「予測」の軌跡とを区別して差別化する識別能力を持っている。したがって、よりよい軌跡を生成する改善がなされた場合には、予測軌跡が、ネットワークに提供され、訓練されたネットワークは、予定値に近いスコア（例えば、１）を付与することで、より大きい程度で「予測軌跡」を「実際軌跡」として分類させる。ＤＮＮモデル１２４は、例えば、予測評価システム又はモジュール１２５によって、将来の軌跡の予測を評価するために使用することができる。

図３は、一実施形態に係る自律走行車と一緒に使用される感知や計画システムの一例を示すブロック図である。システム３００は、図１の自律走行車１０１の一部として実現することができ、感知及び計画システム１１０、制御システム１１１と、センサシステム１１５を含むが、これに限定されない。図３に示すように、感知や計画システム１１０は、位置決めモジュール３０１は、感知モジュール３０２、予測モジュール３０３、決定モジュール３０４、計画モジュール３０５、制御モジュール３０６、データコレクタ３０７及び予測評価モジュール３０８を含むが、これに限定されない。

モジュール３０１〜３０８の一部又は全部は、ソフトウェア、ハードウェア、又はこれらの組み合わせで実現されてもよい。例えば、これらのモジュールは、永続記憶装置３５２に設置され、メモリ３５１にロードされ、複数のプロセッサ（図示せず）によって実行されることができる。これらのモジュールの一部又は全部は、図２の車両制御システム１１１の一部又はすべてのモジュールと通信可能に連接又は統合されることができる。モジュール３０１〜３０８の一部は、統合モジュールとして一緒に統合されてもよい。

位置決めモジュール３０１は、（例えば、ＧＰＳユニット２１２を利用して）自律走行車１０１の現在の位置を決定し、ユーザの行程やルートに関連する任意のデータを管理する。位置決めモジュール３０１（地図及び経路モジュールとも呼ばれる）は、ユーザの行程やルートに関連する任意のデータを管理する。ユーザは、例えば、ユーザインタフェースを介してログインして行程の出発位置と目的地を指定することができる。位置決めモジュール３０１は、地図及び経路情報３１１のような自律走行車１０１の他の構成要素と通信して行程関連データを取得する。例えば、位置決めモジュール３０１は、位置サーバ、及び地図とＰＯＩ（ＭＰＯＩ）サーバから位置と経路情報を獲得することができる。位置サーバは、位置情報サービスを提供し、ＭＰＯＩサーバは地図サービスと地図及び経路情報３１１の一部としてキャッシュすることができる特定の場所のＰＯＩを提供する。自律走行車１０１がルートに沿って移動する間に、位置決めモジュール３０１は、交通情報システム、又はサーバからリアルタイムの交通情報も取得することができる。

センサシステム１１５で提供されたセンサデータと、位置決めモジュール３０１で取得された位置決め情報とに基づいて、感知モジュール３０２によって周辺環境の感知が決定される。感知情報は、一般的な運転者が彼の走行する車両の周囲をどのように感知するかを示すことができる。感知は車線で構成（例えば、直線又は曲線の車線）、信号灯の信号、他の車両の相対的な位置、歩行者、建物、横断歩道又は他の交通関連の標識（例えば、停止標識、譲歩標識）などを、例えば、対象の形を含んでもよい。

感知モジュール３０２は、自律走行車の環境で対象及び／又は特徴を識別するためには、１つ以上のカメラによってキャプチャされた画像を処理し、分析するコンピュータビジョンシステム、又はコンピュータビジョンシステムの機能が含まれてもよい。対象は、交通信号、道路境界、他の車両、歩行者、及び／又は障害物などを含んでもよい。コンピュータビジョンシステムは、対象感知アルゴリズム、ビデオ、追跡、及び他のコンピュータビジョン技術を使用することができる。一部の実施形態では、コンピュータビジョンシステムは、環境をマッピングして、対象を追跡し、対象の速度推定などを行うことができる。感知モジュール３０２は、レーダー及び／又はＬＩＤＡＲのような他のセンサによって提供される他のセンサのデータに基づいて対象を検出することもできる。

それぞれの対象については、予測モジュール３０３は、状況下で対象がどのような行動をするかを予測する。予測は、地図／経路情報３１１と交通ルール３１２のセットを考慮して、その時点での走行環境を感知する感知データに基づいて実行される。例えば、対象が逆方向の車両であり、現在の走行環境が交差点を含む場合、予測モジュール３０３は、車両がすぐに前進するか、又は回転するかを予測するものである。感知データが、交差点が信号を持たないことを示す場合には、予測モジュール３０３は、車両が交差点に進入する前に、完全に停止しなければならないと予測することができる。感知データが、車両が現在左折専用車線又は右折専用車線であることを示す場合、予測モジュール３０３は、車両がそれぞれ左折又は右折をする可能性がより高いと予測することができる。

それぞれの対象については、決定モジュール３０４は、対象をどのように処理するかについての決定をする。例えば、特定の対象（例えば、交差ルートにある他の車）だけでなく、対象を記述するメタデータ（例えば、速度、方向、ステアリング角度）に対して、決定モジュール３０４は、対象をどの方式で対面するかを決定する（例えば、追い越し、譲歩、停止、通過）。決定モジュール３０４は、永続記憶装置３５２に記憶することができる交通ルール又は走行ルール３１２のようなルールのセットに基づいて、これらの決定を下すことができる。

感知された対象のそれぞれの決定に基づいて、計画モジュール３０５は、自律走行車へのパス又はルートだけでなく、走行パラメータ（例えば、距離、速度、及び／又は回転角度）を計画する。つまり、与えられた対象については、決定モジュール３０４は、対象の処理を決定し、計画モジュール３０５は、それをどのように行うかを決定する。例えば、与えられた対象については、決定モジュール３０４は、対象を通過することを決定することができるが、計画モジュール３０５は、対象の左側又は右側に通過するかを決定することができる。計画及び制御データは、計画モジュール３０５によって生成され、自律走行車１０１が、次の移動のサイクル（例えば、次のルート／経路セグメント）でどのように動くのかを記述する情報を含む。例えば、計画及び制御データは、自律走行車１０１が時速３０マイル（ｍｐｈ）の速度で１０ｍ移動し、２５ｍｐｈの速度で右側車線に変更するよう指示することができる。

計画及び制御データに基づいて、制御モジュール３０６は、計画及び制御データによって定義されたルート又はパスに沿って、車両制御システム１１１に適切なコマンド又は信号を送信することにより、自律走行車を制御や走行させる。計画及び制御データには、パス、又はルート上の時間に応じた異なる点において、適切な車両設定又は走行パラメータ（例えば、スロットル、ブレーキ、及びステアリングコマンド）を使用して、ルート又はパスの第１地点で第２地点まで車両を走行することができる十分な情報が含まれている。

一実施形態において、計画ステップでは、多数の計画サイクル又はコマンドサイクルは、例えば、１００ミリ秒（ｍｓ）の時間間隔ごとに実行される。計画サイクル又はコマンドサイクルごとに複数の制御コマンドが計画及び制御データに基づいて発行される。つまり、１００ｍｓ毎に、計画モジュール３０５は、後続のルートセグメント又はパスセグメントを計画し、後続のルートセグメント又はパスセグメントは、例えば目標位置とＡＤＶが目標位置に到達するのに必要な時間を含んでもよい。代替的に、計画モジュール３０５は、特定の速度、方向、及び／又はステアリング舵角等を追加で特定することができる。一実施形態では、計画モジュール３０５は、例えば、５秒のような所定の後続期間ルートセグメント又はパスセグメントを計画する。各計画サイクルについては、計画モジュール３０５は、前のサイクルで計画された目標位置に基づいて、現在のサイクル（例えば、次の５秒）の目標位置を計画する。その後、制御モジュール３０６は、現在のサイクルの計画及び制御データに基づいて、１つ以上の制御コマンド（例えば、スロットル、ブレーキ、ステアリング制御コマンド）を発生させる。

決定モジュール３０４と計画モジュール３０５は、統合モジュールとして統合されることができる。決定モジュール３０４／計画モジュール３０５は、自律走行車の走行ルートを決定するためのナビゲーションシステムやナビゲーションシステムの機能を含んでもよい。例えば、ナビゲーションシステムは、一連の速度及び進行方向（ｄｉｒｅｃｔｉｏｎａｌ ｈｅａｄｉｎｇ）を決定して、大体において最終的な目的地に至る車線経路に沿って自律走行車を進ませる同時に、感知された障害物を実質的に避ける経路に沿って自律走行車を移動することができる。目的地は、ユーザインタフェースシステム１１３を介してユーザ入力に応じて設定されることができる。ナビゲーションシステムは、自律走行車が運行されている間、走行経路を動的に更新することができる。ナビゲーションシステムは、自律走行車のための走行ルートを決定するためにＧＰＳシステム、及び１つ又は複数の地図からのデータを統合することができる。

決定モジュール３０４／計画モジュール３０５は、自律走行車の環境での潜在的な障害物を識別、評価、回避したり交渉するための衝突回避システム又は衝突回避システムの機能をさらに含んでもよい。例えば、衝突回避システムは、緊急回避操作、ステアリング操作、制動操作などを行うために、制御システム１１１の複数のサブシステムを操作して、自律走行車のナビゲーションの変化を実行することができる。衝突回避システムは、周辺の交通パターン、道路状況等に基づいて、実現可能な障害物回避操作を自動的に決定することができる。衝突回避システムは、自律走行車が緊急回避して進入する隣接領域で、車両、建築の障害物などを、他のセンサシステムが検出したときに、緊急回避操作が行われないように構成することができる。衝突回避システムは、使用可能であり、自律走行車両の乗員の安全を最大限にする操作を自動的に選択することができる。衝突回避システムは、自律走行車両の乗客室において最低限の加速を引き起こすと予想される回避操作を選択することができる。

一実施形態によれば、データコレクタ３０７は、モジュール３０１〜３０６からのデータを収集し、永続記憶装置３５２にデータを記憶する。例えば、データコレクタ３０７は、感知モジュール３０２から、実際軌跡を収集し、収集された実際軌跡を、実際軌跡３１３の一部として永続記憶装置３５２に記憶する。データコレクタ３０７は、予測モジュール３０３から予測軌跡をより収集し、予測軌跡を予測軌跡３１４の一部として永続記憶装置３５２に記憶することができる。実際軌跡３１３及び予測軌跡３１４は、ＤＮＮモデル（３１５、また、予測評価モデルたちとも呼ばれる）のようなＤＮＮモデルを訓練させることに利用されて、例えば、図１の予測評価機１２５の一部として実現することができるオプションの予測評価モジュール又はシステム３０８によって予測モジュール３０３の性能を評価することができる。代替的に、実際軌跡３１３及び予測軌跡３１４は、データ分析システム１０３のようなデータ分析システムによってＤＮＮモデルを訓練するために中央処理されてもよい。

図４は、一実施形態に係るデータ分析システムを示すブロック図である。システム４００は、図１のシステム１０３の一部として実現されることができる。図４に示すように、システム４００は、機械学習エンジン１２２、データコレクタ１２１及び予測評価モジュール３０８を含み、メモリ４０２にロードされて複数のプロセッサ４０１によって実行されることができる。一実施形態では、データコレクタ１２１は、異なる走行環境下で、様々な道路上で走行する様々なＡＤＶから走行統計情報を収集する。それぞれのＡＤＶは、対象の実際軌跡をキャプチャしてＡＤＶの各予測モジュールによって予測された対応の予測軌跡を記憶しながら、対象の軌跡を感知して予測する。実際軌跡及び予測軌跡は、データコレクタ１２１によって収集され、既知の実際軌跡３１３と既知の予測軌跡３１４との一部として永続記憶装置４０３内に記憶される。「既知の軌跡」という用語は、ＤＮＮモデル３１５のような予測評価モデルを訓練する目的で軌跡の訓練セットとして利用される、既存の軌跡を指す。

機械学習エンジン１２２は、既知の実際軌跡３１３と既知の予測軌跡３１４とに基づいて、既知の実際軌跡３１３及び既知の予測軌跡３１４から抽出された特徴に基づいてＤＮＮモデル３１５を訓練させるように構成されている。一実施形態によれば、ＤＮＮモデル又はモデル３１５は、既知の予測軌跡３１４と、過去にキャプチャされた予測軌跡に対応する既知の実際軌跡３１３とを含む訓練多くの以前の走行統計に基づいて訓練することができる。

図５に示すように、本実施形態において、対象が車線５００を移動しながら、例えば感知モジュール３０２によって対象の既知の実際軌跡５０１がキャプチャされ、ＡＤＶの予測モジュール３０３によって対象の既知の予測軌跡５０２が生成されると仮定する。予測軌跡５０２は、車線点（ｌａｎｅ ｐｏｉｎｔ）とも呼ばれる軌跡点５１１のような軌跡点のシーケンスを含む。各軌跡点は軌跡点を説明するメタデータ・セットと関連付けられる。メタデータは、対応する軌跡点によって示される特定の瞬間に、対象の移動している車線、対象の速度、対象の進行方向及び／又は対象の位置などを特定する情報を含んでもよい。

予測軌跡と対応する実際軌跡の少なくともいくつかの対の軌跡点のに対し、予測特徴のセットが予測軌跡５０２から抽出され、実際特徴のセットが対応する実際軌跡５０１から抽出される。ＤＮＮネットワーク又はモデルは、予測特徴と実際特徴に基づいて訓練される。ＤＮＮモデルを訓練するために、実際特徴は正例として活用される一方、予測特徴は負例に活用される。

一実施形態において、軌跡点の特徴は、物理的属性のセットと軌跡関連属性のセットを含む。物理的属性は、軌跡の始点の相対的な進行方向、速度、相対位置（例えば、緯度と経度）、及び対応する軌跡点で表示される特定の瞬間の対象の到着時間を含むが、これらに限定されない。軌跡関連属性は、対象が移動する特定の車線を識別するための車線識別子（ＩＤ）、車線方向（例えば、回転又は左折／右折）、車線の境界線及び縁石（ｃｕｒｂ ｏｆ ｔｈｅ ｌａｎｅ）までの距離、当該瞬間での対象の進行方向と車線方向との間の差異、及び／又は当該瞬間での軌跡点と車線中心線との間の距離を含むが、これらに限定されない。

図５に示された例では、車線ＩＤは車線５００を十分に識別可能なものである。車線５００の方向は、その瞬間の車線５００の基準線（５１０、通常は中心線）の方向に基づいて決定されるものである。例えば、軌跡点５１１によって示されたその瞬間の車線方向は、軌跡点５１１に対応する基準線の角度に基づいて測定される。軌跡点５１１と車線５００の縁石との間の距離は、軌跡点５１１と縁石５０３及び／又は縁石５０４との間の距離に基づいて測定される。物理的属性と軌跡関連属性は、図６に示すようにＤＮＮモデルの複数の入力に提供される。

ＤＮＮは、入力と出力の層の間に隠された複数のレイヤーを持つ人工ニューラルネットワーク（ＡＮＮ、ａｒｔｉｆｉｃｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）である。浅い（ｓｈａｌｌｏｗ）ＡＮＮと同様に、ＤＮＮは、複雑な非線形関係をモデル化することができる。ＤＮＮアーキテクチャは、対象が画像プリミティブ（ｉｍａｇｅ ｐｒｉｍｉｔｉｖｅ）の階層構成で表現されているコンポジションモデル（ｃｏｍｐｏｓｉｔｉｏｎａｌ ｍｏｄｅｌ）を生成する。追加の層を使用すると、下位レイヤの特徴構成を実現することができるので、同様のパフォーマンスの浅いネットワークよりも少ない数のデバイスに複雑なデータをモデル化することができる。ディープアーキテクチャ（ｄｅｅｐ ａｒｃｈｉｔｅｃｔｕｒｅ）は、いくつかの基本的なアプローチの多様な変形が含まれる。それぞれのアーキテクチャは、特定の分野で成功的である。すべて同じデータセットで評価されていないため、複数のアーキテクチャの性能を比較することがいつもできるとは限らない。

図６に示すように、既知の実際軌跡と既知の予測軌跡の物理的属性６０１と軌跡関連属性６０２は、ＤＮＮモデル６００の入力にそれぞれ正例と負例として提供される。ＤＮＮモデル６００の出力は、実際軌跡と予測軌跡との間の差異を表す類似度スコア６０３を生成する。ＤＮＮモデルは、様々な軌跡の大量の特徴に基づいて訓練することができる。既知の予測軌跡と既知の実際軌跡が与えられれば、ＤＮＮモデルの出力から類似度スコアが得られる。類似度スコアは予想類似度スコアと比較される。計算された類似度スコアが予想類似度スコアに十分に近くない場合には、計算された類似度スコアが期待されたスコアに近づくまでＤＮＮモデルが繰り返し訓練される。

モデルは、類似度スコアを生成するために、対応する特徴を考慮して予測特徴に基づいて学習することができる。類似度スコアは予測特徴で表現された軌跡と実際特徴で表現された実際軌跡との間の差異や類似度を示す。所定の第１の値（例えば、１）に近い類似度スコアは、予測軌跡が対応する実際軌跡と類似していることを示す。所定の第２の値（例えば、−１）に近い類似度スコアは、予測軌跡が対応する実際軌跡と異なっていることを示す。大量の予測軌跡とその実際軌跡を使用して、ＤＮＮモデル又はモデルをより正確に訓練させることができる。

ＤＮＮモデル３１５が訓練されて生成されると、図４を再度参照するように、ＤＮＮモデル３１５は、未知の予測軌跡４１５によって表現された将来の予測を評価するために使用することができる。未知の予測軌跡４１５は、予測モジュール３０３によって予測されることができる。一実施形態では、特徴抽出器４１１は、未知の予測軌跡４１５の少なくとも一部の軌跡点から予測特徴を抽出するように構成されている。抽出された特徴は、上述したように、物理的属性のセットと軌跡関連属性のセットを含む。抽出された特徴は、ＤＮＮモデル３１５に供給され、類似度スコアを生成する。軌跡評価モジュール４１２は、予測モジュールが使用した予測方法又はアルゴリズムの性能を評価する。

例えば、類似度スコアが１に近いほど、対応する対象が、近い将来に動く可能性が高い実際軌跡に予測軌跡が近いことを示しており、これは予測方法が対象の潜在的な動きを正確に予測できることを意味する。それと反対に、類似度スコアが−１に近い場合、これは実際軌跡が予測軌跡から逸脱することを示しており、これは予測方法を改善する必要があることを意味する。ＤＮＮモデルを使用して評価スコアとして類似度スコアを体系的に生成することにより、対象の軌跡を予測するための予測方法を体系的に評価することができる。その結果、予測方法は、スコアに基づいて微調整されて改善される。一実施形態では、類似度スコアは、選択された軌跡点ごとに計算される。選択された軌跡点の類似度スコアの平均は、予測軌跡の最終類似度スコアを表すことに使用することができる。同様に、特定の予測方法を使用して予測された予測軌跡の一部又は全部の類似度スコアの平均は、予測方法の最終的な評価スコアとして使用することができる。

図７は、一実施形態に係る予測軌跡を評価するためのＤＮＮを訓練するプロセスを示すフローチャートである。プロセス７００は、ソフトウェア、ハードウェア、又はこれらの組み合わせを含む処理ロジックによって実行されることができる。例えば、プロセス７００は、図４のシステム４００によって実行されることができる。図７に示すように、ステップ７０１において、処理ロジックは、ＡＤＶ周辺の走行環境の対象を感知する感知データに応答して生成された予測軌跡（例えば、既知の予測軌跡）を受信する。ステップ７０２において、処理ロジックは、予測軌跡の軌跡点のうちの少なくとも一部から予測特徴を抽出する。ステップ７０３において、処理ロジックは、対象が実際に移動した対象の実際軌跡（例えば、既知の実際軌跡）を受信する。それに応答して、ステップ７０４において、処理ロジックは、実際軌跡の軌跡点のうちの少なくとも一部から、実際特徴を抽出する。ステップ７０５において、処理ロジックは、抽出された予測特徴を負例であり、実際特徴を正例としてＤＮＮモデルを訓練する。

図８は、一実施形態に基づいてＤＮＮを使用して予測軌跡を評価するプロセスを示すフローチャートである。プロセス８００は、ソフトウェア、ハードウェア、又はこれらの組み合わせを含む処理ロジックによって実行されることができる。例えば、プロセス８００は、図４のシステム４００によって実行されることができる。図８に示すように、ステップ８０１において、処理ロジックは、ＡＤＶ周辺の走行環境における対象を感知する感知データに基づく予測方法又はアルゴリズムを使用して生成された予測軌跡（例えば、未知の予測軌跡）を受信する。予測軌跡の軌跡点のうちの少なくとも一部について、ステップ８０２において、処理ロジックは、選択された軌跡点から特徴セットを抽出する。ステップ８０３において、処理ロジックは、所定のＤＮＮモデルを適用して特徴をカテゴリー化して類似度スコアを生成する。類似度スコアは、予測軌跡と１つ以上の以前の実際軌跡との間の類似度を示す。ステップ８０４において、処理ロジックは、類似度スコアに基づいて予測方法又はアルゴリズムの性能や精度を決定する。

上記図示された構成要素の一部又は全部は、ソフトウェア、ハードウェア、又はこれらの組み合わせにより実現されることができる。例えば、これらの構成要素は、本明細書全体に記載されたプロセス又はステップを実行するためには、プロセッサ（図示せず）によってメモリにロードされて実行されることができる永続記憶装置にインストールされて記憶されるソフトウェアとして実現ことができる。代替的に、これらの構成要素は、集積回路（例えば、特定用途向け集積回路又はＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）又はフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＰＧＡ）のような専用のハードウェアにプログラムされたり内蔵された実行可能コードとして実現されることができ、これは、アプリケーションから対応するドライバ及び／又はオペレーティングシステムを介してアクセスすることができる。さらに、これらの構成要素は１つ以上の特定のコマンドを使用してソフトウェア構成要素によってアクセス可能なコマンドセットの一部としてプロセッサ又はプロセッサコアの特定のハードウェアロジックとして実現することができる。

図９は、本発明の一実施形態と一緒に使用することができるデータ処理システムの一例を示すブロック図である。例えば、システム（１５００）は、例えば、図４のシステム４００及び／又は図１の任意のサーバ１０３〜１０４又は感知や計画システム１１０のような、上述された任意のプロセス又は方法を実行する上述したデータ処理システムのうちの任意のものを示すことができる。システム（１５００）は、多数の異なる構成要素を含んでもよい。これらの構成要素は、集積回路（ＩＣ）、集積回路（ＩＣ）の一部であり、個別の電子装置、又はコンピュータシステムのマザーボード又はアドインカードなどの回路基板に適用される他のモジュールとして実現されることがあるか、コンピュータシステムのシャーシ内に含まれる他の構成要素として実現されることができる。

さらに、システム１５００は、コンピュータシステムの多数の構成要素の高レベルビューを示すことを目的とする。しかしながら、いくつかの実現形態では、付加的構成要素が存在する場合があることを理解すべきである。また、他の実現形態において示される構成要素が異なる配置を有してもよい。システム１５００は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、サーバ、携帯電話、メディアプレーヤー、パーソナルディジタルアシスタント（ＰＤＡ）、スマート腕時計、パーソナルコミュニケーター、ゲーム装置、ネットワークルータ又はハブ、無線アクセスポイント（ＡＰ）又はリピーター、セットトップボックス、又はそれらの組み合わせを示してもよい。また、単一の機器又はシステムのみを示したが、用語「機器」又は「システム」は、さらに、独立又は共同で１つ（又は複数）のコマンドセットを実行することにより本明細書に説明される任意の１種又は複数種の方法を実行する機器又はシステムの任意のセットを含むことを理解すべきである。

一実施形態において、システム１５００は、バス又は相互接続部材１５１０によって接続されたプロセッサ１５０１、メモリ１５０３及び装置１５０５〜１５０８を備える。プロセッサ１５０１は、単一のプロセッサコア又は複数のプロセッサコアを含む単一のプロセッサ又は複数のプロセッサであってもよい。プロセッサ１５０１は、マイクロプロセッサ、中央処理装置（ＣＰＵ）等のような１つ又は複数の汎用プロセッサであってもよい。より具体的には、プロセッサ１５０１は、複雑コマンドセット計算（ＣＩＳＣ）マイクロプロセッサ、縮小コマンドセットコンピュータ（ＲＩＳＣ）マイクロプロセッサ、超長コマンド語（ＶＬＩＷ）マイクロプロセッサ、又は他のコマンドセットを実現するプロセッサ、又はコマンドセットの組み合わせを実現するプロセッサであってもよい。プロセッサ１５０１は、さらに、専用集積回路（ＡＳＩＣ）、セルラ又はベースバンドプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、ネットワークプロセッサ、グラフィックプロセッサ、通信プロセッサ、暗号プロセッサ、コプロセッサ、組み込みプロセッサのような１つ又は複数の専用プロセッサ、あるいはコマンド処理可能な任意の他のタイプのロジックであってもよい。

プロセッサ１５０１（超低電圧プロセッサのような低電力マルチコアプロセッサソケットであってもよい）は、前記システムの各種の構成要素と通信するための主処理ユニット及び中央ハブとして用いられてもよい。このようなプロセッサは、システムオンチップ（ＳｏＣ）として実現されることができる。プロセッサ１５０１は、本明細書に説明されるステップ及びステップを実行するためのコマンドを実行するように構成される。また、システム１５００は、選択可能なグラフィックサブシステム１５０４と通信するグラフィックインターフェースをさらに含み、グラフィックサブシステム１５０４は、表示コントローラ、グラフィックプロセッサ及び／又は表示装置をさらに備えてもよい。

プロセッサ１５０１は、メモリ１５０３と通信してもよく、メモリ１５０３は、一実施形態において複数のメモリによって所定量のシステムメモリを提供する。メモリ１５０３は、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）又は他のタイプのメモリのような１つ又は複数の揮発性記憶装置（又はメモリ）を備えてもよい。メモリ１５０３は、プロセッサ１５０１又は任意の他の装置により実行されるコマンド列を含む情報を記憶できる。例えば、複数種のオペレーティングシステム、装置ドライバー、ファームウェア（例えば、基本入出力システム又はＢＩＯＳ）及び／又はアプリケーションの実行可能なコード及び／又はデータはメモリ１５０３にロードされてもよく、プロセッサ１５０１により実行される。オペレーティングシステムは、ロボットオペレーティングシステム（ＲＯＳ）、Ｍｉｃｒｏｓｏｆｔ^(R)会社からのＷｉｎｄｏｗｓ^(R)オペレーティングシステム、アップル会社からのＭａｃ ＯＳ^(R)／ｉＯＳ^(R)、Ｇｏｏｇｌｅ^(R)会社からのＡｎｄｒｏｉｄ^(R)、Ｌｉｎｕｘ、Ｕｎｉｘ又は他のリアルタイム又は組み込みオペレーティングシステムのような任意のタイプのオペレーティングシステムであってもよい。

システム１５００は、ＩＯ装置、例えば装置１５０５〜１５０８をさらに備えてもよく、ネットワークインターフェース装置１５０５、選択可能な入力装置１５０６及び他の選択可能なＩＯ装置１５０７を備えてもよい。ネットワークインターフェース装置１５０５は、無線送受信機及び／又はネットワークインターフェースカード（ＮＩＣ）を備えてもよい。前記無線送受信機は、ＷｉＦｉ送受信機、赤外送受信機、ブルートゥース送受信機、ＷｉＭａｘ送受信機、無線セルラーホン送受信機、衛星送受信機（例えば、全地球測位システム（ＧＰＳ）送受信機）又は他の無線周波数（ＲＦ）送受信機又はそれらの組み合わせであってもよい。ＮＩＣはイーサネットカードであってもよい。

入力装置１５０６は、マウス、タッチパッド、タッチスクリーン（それは表示装置１５０４と一体化されてもよい）、ポインタデバイス（例えばスタイラス）及び／又はキーボード（例えば、物理キーボード又はタッチスクリーンの一部として表示された仮想キーボード）を備えてもよい。例えば、入力装置１５０６は、タッチスクリーンに接続されるタッチスクリーンコントローラを含んでもよい。タッチスクリーン及びタッチスクリーンコントローラは、例えば複数種のタッチ感度技術（静電容量技術、抵抗技術、赤外技術及び表面音波技術を含むが、それらに限定されない）のいずれか、及びタッチスクリーンの１つ又は複数の接触点を決定するための他の近接センサアレイ又は他の素子を用いてそのタッチ点及び移動又は断続を検出することができる。

ＩＯ装置１５０７は音声装置を備えてもよい。音声装置は、スピーカ及び／又はマイクロホンを含んでもよく、それにより音声感知、音声コピー、デジタル記録及び／又は電話機能のような音声サポートの機能を促進する。他のＩＯ装置１５０７は、汎用シリアルバス（ＵＳＢ）ポート、パラレルポート、シリアルポート、印刷機、ネットワークインターフェース、バスブリッジ（例えば、ＰＣＩ−ＰＣＩブリッジ）、センサ（例えば、加速度計、ジャイロスコープ、磁力計、光センサ、コンパス、近接センサ等のような動きセンサ）又はそれらの組み合わせをさらに備えてもよい。装置１５０７は、結像処理サブシステム（例えば、カメラ）をさらに備えてもよく、前記結像処理サブシステムは、カメラ機能（例えば、写真及びビデオ断片の記録）を促進するための電荷カップリング装置（ＣＣＤ）又は相補型金属酸化物半導体（ＣＭＯＳ）光学センサのような光学センサを備えてもよい。あるセンサは、センサハブ（図示せず）によって相互接続部材１５１０に接続されてもよく、キーボード又は熱センサのような他の装置は、組み込みコントローラ（図示せず）により制御されてもよく、これはシステム１５００の特定配置又は設計により決められる。

データ、アプリケーション、１つ又は複数のオペレーティングシステム等のような情報の永続記憶を提供するために、大容量メモリ（図示せず）は、プロセッサ１５０１に接続されてもよい。様々な実施形態において、薄型化と軽量化のシステム設計を実現しかつシステムの応答能力を向上させるために、このような大容量メモリは、ソリッドステート装置（ＳＳＤ）によって実現されることができる。なお、他の実施形態において、大容量メモリは、主にハードディスクドライブ（ＨＤＤ）で実現されてもよく、少量のＳＳＤ記憶量は、ＳＳＤキャッシュとして、停電イベント期間にコンテキスト状態及び他のこのような情報の不揮発性記憶を実現し、それによりシステム動作が再開する時に通電を速く実現することができる。さらに、フラッシュデバイスは、例えばシリアルペリフェラルインターフェース（ＳＰＩ）によってプロセッサ１５０１に接続されてもよい。このようなフラッシュデバイスは、システムソフトウェアの不揮発性記憶に用いられてもよく、前記システムソフトウェアは、前記システムのＢＩＯＳ及び他のファームウェアを備える。

記憶装置１５０８は、任意の１種又は複数種の本明細書に記載の方法又は機能を実現する１つ又は複数のコマンドセット又はソフトウェア（例えば、モジュール、ユニット及び／又はロジック１５２８）が記憶されるコンピュータアクセス可能な記憶媒体１５０９（機械可読記憶媒体又はコンピュータ可読記憶媒体とも呼ばれる）を備えてもよい。処理モジュール／ユニット／ロジック１５２８は、例えば、制御モジュール３０５又は機械学習エンジン１２２のような上記構成要素のいずれかを示してもよい。処理モジュール／ユニット／ロジック１５２８は、さらにデータ処理システム１５００により実行される期間にメモリ１５０３内及び／又はプロセッサ１５０１内に完全又は少なくとも部分的に存在してもよく、ここで、メモリ１５０３及びプロセッサ１５０１も、機器アクセス可能な記憶媒体を構成する。処理モジュール／ユニット／ロジック１５２８は、さらにネットワークによってネットワークインターフェース装置１５０５を経由して送受信されてもよい。

コンピュータ可読記憶媒体１５０９は、以上に説明されたいくつかのソフトウェア機能の一部を永続的に記憶してもよい。コンピュータ可読記憶媒体１５０９は、例示的な実施形態において単一の媒体として示されたが、用語「コンピュータ可読記憶媒体」は、前記１つ又は複数のコマンドセットが記憶される単一の媒体又は複数の媒体（例えば、集中型又は分散型データベース、及び／又は関連するキャッシュ及びサーバ）を備えることを理解すべきである。用語「コンピュータ可読記憶媒体」は、さらにコマンドセットを記憶又はコーディング可能な任意の媒体を備えることを理解すべきであり、前記コマンドセットは、機器により実行されかつ前記機器に本発明の任意の１種又は複数種の方法を実行させる。従って、用語「コンピュータ可読記憶媒体」は、ソリッドステートメモリ及び光学媒体と磁気媒体又は任意の他の非一時的機械可読媒体を備えるが、それらに限定されないことを理解すべきである。

本明細書に記載の処理モジュール／ユニット／ロジック１５２８、構成要素及び他の特徴は、ディスクリートハードウェア構成要素として実現されてもよく、又はハードウェア構成要素（例えばＡＳＩＣｓ、ＦＰＧＡ、ＤＳＰ又は類似装置）の機能に統合されてもよい。さらに、処理モジュール／ユニット／ロジック１５２８は、ハードウェア装置内のファームウェア又は機能回路として実現されてもよい。また、処理モジュール／ユニット／ロジック１５２８は、ハードウェア装置及びソフトウェア構成要素の任意の組み合わせで実現されてもよい。

なお、システム１５００は、データ処理システムの各種の構成要素を有するように示されているが、構成要素に相互接続させる任意の具体的な構造又は方式を限定するものではないことに注意すべき、それは、このような詳細が本発明の実施形態に密接な関係がないためである。また、より少ない構成要素又はより多くの構成要素を有するネットワークコンピュータ、ハンドヘルドコンピュータ、携帯電話、サーバ及び／又は他のデータ処理システムは、本発明の実施形態と共に使用されてもよい。

上記詳細な説明の一部は、コンピュータメモリにおけるデータビットに対する演算のアルゴリズム及び記号表現で示される。これらのアルゴリズムの説明及び表現は、データ処理分野における当業者によって使用され、それらの作業実質を所属分野の他の当業者に最も効果的に伝達する方法である。ここで、アルゴリズムは、通常、所望の結果につながる首尾一貫した動作列（ｓｅｑｕｅｎｃｅ ｏｆ ｏｐｅｒａｔｉｏｎｓ）と考えられる。これらの動作とは、物理量に対して物理的動作を行う必要となるステップを指す。

ただし、これらの全ての及び類似の用語は、いずれも適切な物理量に関連付けられ、かつただこれらの量に適用される適切なラベルであることに注意すべきである。特に断らない限り、本出願の全体にわたって用語（例えば、添付している特許請求の範囲に説明された用語）による説明とは、コンピュータシステム又は類似の電子計算装置の動作及び処理であり、前記コンピュータシステム又は電子計算装置は、コンピュータシステムのレジスタ及びメモリに物理（例えば、電子）量としてデータを示し、かつ前記データをコンピュータシステムメモリ又はレジスタ又は他のこのような情報メモリ、伝送又は表示装置内において類似に物理量として示される他のデータに変換する。

本発明の実施形態は、さらに本明細書における動作を実行するためのコンピュータプログラムに関する。このようなコンピュータプログラムは、非一時的コンピュータ可読記憶媒体に記憶される。機器可読媒体は、機器（例えば、コンピュータ）可読な形態で情報を記憶する任意の機構を備える。例えば、機器可読（例えば、コンピュータ可読）媒体は、機器（例えば、コンピュータ）可読記憶媒体（例えば、読み出し専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリメモリ）を備える。

上記図面に示される手順又は方法は、ハードウェア（例えば、回路、専用ロジック等）、ソフトウェア（例えば、非一時的コンピュータ可読記憶媒体に具現化される）、又は両方の組み合わせを含む処理ロジックにより実行されてもよい。前記手順又は方法は、本明細書において特定の順序に応じて説明されるが、説明された動作の一部は、異なる順序に応じて実行されてもよい。また、いくつかの動作は、順番ではなく並行に実行されてもよい。

本発明の実施形態は、いずれかの特定のプログラミング言語を参照して説明されていないが、複数種のプログラミング言語で本明細書に記載の本発明の実施形態の教示を実現できることを理解すべきである。

以上の明細書では、本発明の具体的な例示的な実施形態を参照してその実施形態を説明した。明らかなように、添付している特許請求の範囲に記載の本発明のより広い趣旨及び範囲を逸脱しない限り、様々な変形が可能である。従って、限定的なものではなく例示的なものとして本明細書及び図面を理解すべきである。

Claims (22)

1. 自律走行車両の軌跡予測を評価するためのコンピュータ実現方法であって、
   自律走行車（ＡＤＶ）周辺の走行環境内の対象を感知する感知データに基づく予測方法を用いて生成された対象の予測軌跡を受信するステップと、
   前記予測軌跡の複数の軌跡点から選択された少なくとも一部の軌跡点について、前記選択された軌跡点から複数の特徴を抽出するステップと、
   前記抽出された特徴にＤＮＮ（ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）モデルを適用して類似度スコアを生成するステップであって、前記類似度スコアは、前記予測軌跡と、前記ＤＮＮモデルによってモデル化された以前の実際軌跡との間の類似度を示す、ステップと、
   前記類似度スコアに基づいて前記予測方法の精度を決定するステップと、を含む、方法。
2. 前記受信された予測軌跡は、前記予測方法を用いて、１つ又は複数のＡＤＶによって予測された複数の予測軌跡の１つである、請求項１に記載の方法。
3. 各軌跡点の前記抽出された特徴は、物理的属性のセットを含み、前記物理的属性は、前記軌跡点の相対的な進行方向と速度とを含む、請求項１に記載の方法。
4. 各軌跡点の前記物理的属性は、前記予測軌跡の出発点に対する前記軌跡点の位置と、前記対象が前記軌跡の目的点に達する到達時間とをさらに含む、請求項３に記載の方法。
5. 各軌跡点の前記抽出された特徴は、軌跡関連属性のセットを含み、
   前記軌跡関連属性は、
   前記対象の移動している車線を識別するための車線識別子（ＩＤ）と、
   車線が左へ曲がるか、右へ曲がるか否かを示す指示と、
   前記対象と前記車線の縁石との間の距離とを含む、請求項１に記載の方法。
6. 前記軌跡関連属性は、
   前記対象の進行方向と前記車線の車線方向との間の差異と、
   前記対象と前記車線の基準線との間の距離とをさらに含む、請求項５に記載の方法。
7. 前記ＤＮＮモデルを生成するステップをさらに含み、
   前記ＤＮＮモデルを生成するステップは、
   前記対象の感知データに基づいて予測された前記対象の第２の予測軌跡を受信するステップと、
   前記第２の予測軌跡から予測特徴を抽出するステップと、
   前記対象が実際に移動した実際軌跡を受信するステップと、
   前記実際軌跡の実際特徴を抽出するステップと、
   負例としての前記予測特徴と、正例としての前記実際特徴とに基づいて、前記ＤＮＮモデルを訓練して生成するステップとをさらに含む、請求項１に記載の方法。
8. 非一時的機械可読媒体であって、
   前記非一時的機械可読媒体はコマンドを記憶しており、前記コマンドは、自律走行車（ＡＤＶ）に実装されたプロセッサによって実行されるとき、
   前記自律走行車（ＡＤＶ）周辺の走行環境内の対象を感知する感知データに基づく予測方法を用いて生成された対象の予測軌跡を受信することと、
   前記予測軌跡の複数の軌跡点から選択された少なくとも一部の軌跡点について、前記選択された軌跡点から複数の特徴を抽出することと、
   前記抽出された特徴にＤＮＮモデルを適用して類似度スコアを生成することであって、
   前記類似度スコアは、前記予測軌跡と、前記ＤＮＮモデルによってモデル化された以前の実際軌跡との間の類似度を示す、ことと、
   前記類似度スコアに基づいて前記予測方法の精度を決定することとを含む動作を、前記プロセッサに実行させる、非一時的機械可読媒体。
9. 非一時的機械可読媒体であって、
   前記非一時的機械可読媒体はコマンドを記憶しており、前記コマンドは、自律走行車（ＡＤＶ）とネットワークを介して通信可能なサーバに実装されたプロセッサによって実行されるとき、
   前記自律走行車（ＡＤＶ）周辺の走行環境内の対象を感知する感知データに基づく予測方法を用いて生成された対象の予測軌跡を受信することと、
   前記予測軌跡の複数の軌跡点から選択された少なくとも一部の軌跡点について、前記選択された軌跡点から複数の特徴を抽出することと、
   前記抽出された特徴にＤＮＮモデルを適用して類似度スコアを生成することであって、
   前記類似度スコアは、前記予測軌跡と、前記ＤＮＮモデルによってモデル化された以前の実際軌跡との間の類似度を示す、ことと、
   前記類似度スコアに基づいて前記予測方法の精度を決定することとを含む動作を、前記プロセッサに実行させる、非一時的機械可読媒体。
10. 前記受信された予測軌跡は、前記予測方法を用いて、１つ又は複数のＡＤＶによって予測された複数の予測軌跡の１つである、請求項８または９に記載の機械可読媒体。
11. 各軌跡点の前記抽出された特徴は、物理的属性のセットを含み、前記物理的属性は、前記軌跡点の相対的な進行方向と速度とを含む、請求項８または９に記載の機械可読媒体。
12. 各軌跡点の前記物理的属性は、前記予測軌跡の出発点に対する前記軌跡点の位置と、前記対象が前記軌跡の目的点に達する到達時間とをさらに含む、請求項１１に記載の機械可読媒体。
13. 各軌跡点の前記抽出された特徴は、軌跡関連属性のセットを含み、
    前記軌跡関連属性は、
    前記対象の移動している車線を識別するための車線識別子（ＩＤ）と、
    車線が左へ曲がるか、右へ曲がるか否かを示す指示と、
    前記対象と前記車線の縁石との間の距離とを含む、請求項８または９に記載の機械可読媒体。
14. 前記軌跡関連属性は、
    前記対象の進行方向と前記車線の車線方向との間の差異と、
    前記対象と前記車線の基準線との間の距離とをさらに含む、請求項１３に記載の機械可読媒体。
15. 前記動作は、前記ＤＮＮモデルを生成することをさらに含み、
    前記ＤＮＮモデルを生成することは、
    前記対象の感知データに基づいて予測された前記対象の第２の予測軌跡を受信することと、
    前記第２の予測軌跡から予測特徴を抽出することと、
    前記対象が実際に移動した実際軌跡を受信すること、
    前記実際軌跡の実際特徴を抽出することと、
    負例としての前記予測特徴と、正例としての前記実際特徴とに基づいて、前記ＤＮＮモデルを訓練して生成することとを含む、請求項８または９に記載の機械可読媒体。
16. データ処理システムであって、
    プロセッサと、
    前記プロセッサに連接されてコマンドを記憶するメモリとを含み、
    前記コマンドは、前記プロセッサによって実行されるとき、前記プロセッサに動作を実行させ、
    前記動作は、
    自律走行車（ＡＤＶ）周辺の走行環境内の対象を感知する感知データに基づく予測方法を用いて生成された対象の予測軌跡を受信することと、
    前記予測軌跡の複数の軌跡点から選択された少なくとも一部の軌跡点について、前記選択された軌跡点から複数の特徴を抽出することと、
    前記抽出された特徴にＤＮＮモデルを適用して類似度スコアを生成することであって、
    前記類似度スコアは、前記予測軌跡と、前記ＤＮＮモデルによってモデル化された以前の実際軌跡との間の類似度を示す、ことと、
    前記類似度スコアに基づいて前記予測方法の精度を決定することとを含む、データ処理システム。
17. 前記受信された予測軌跡は、前記予測方法を用いて、１つ又は複数のＡＤＶによって予測された複数の予測軌跡の１つである、請求項１６に記載のデータ処理システム。
18. 各軌跡点の前記抽出された特徴は、物理的属性のセットを含み、
    前記物理的属性は、前記軌跡点の相対的な進行方向と速度とを含む、請求項１６に記載のデータ処理システム。
19. 各軌跡点の前記物理的属性は、前記予測軌跡の出発点に対する前記軌跡点の位置と、前記対象が前記軌跡の目的点に達する到達時間とをさらに含む、請求項１８に記載のデータ処理システム。
20. 軌跡点の前記抽出された特徴は、軌跡関連属性のセットを含み、
    前記軌跡関連属性は、
    前記対象の移動している車線を識別するための車線識別子（ＩＤ）と、
    車線が左へ曲がるか、右へ曲がるか否かを示す指示と、
    前記対象と前記車線の縁石との間の距離とを含む、請求項１６に記載のデータ処理システム。
21. 前記軌跡関連属性は、
    前記対象の進行方向と前記車線の車線方向との間の差異と、
    前記対象と前記車線の基準線との間の距離とをさらに含む、請求項２０に記載のデータ処理システム。
22. 前記動作は、前記ＤＮＮモデルを生成することをさらに含み、
    前記ＤＮＮモデルを生成することは、
    前記対象の感知データに基づいて予測された前記対象の第２の予測軌跡を受信することと、
    前記第２の予測軌跡から予測特徴を抽出することと、
    前記対象が実際に移動した実際軌跡を受信することと、
    前記実際軌跡の実際特徴を抽出することと、
    負例としての前記予測特徴と、正例としての前記実際特徴とに基づいて、前記ＤＮＮモデルを訓練して生成することとを含む、請求項１６に記載のデータ処理システム。