Nothing Special   »   [go: up one dir, main page]

JP2019506647A - モーション計画に基づく自律走行車の走行方法およびシステム - Google Patents

モーション計画に基づく自律走行車の走行方法およびシステム Download PDF

Info

Publication number
JP2019506647A
JP2019506647A JP2018517840A JP2018517840A JP2019506647A JP 2019506647 A JP2019506647 A JP 2019506647A JP 2018517840 A JP2018517840 A JP 2018517840A JP 2018517840 A JP2018517840 A JP 2018517840A JP 2019506647 A JP2019506647 A JP 2019506647A
Authority
JP
Japan
Prior art keywords
autonomous vehicle
state
vehicle
information
conditions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018517840A
Other languages
English (en)
Other versions
JP6602967B2 (ja
Inventor
ヂュアン、リー
ヤン、グアン
ワン、ジンガオ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu USA LLC
Original Assignee
Baidu USA LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu USA LLC filed Critical Baidu USA LLC
Publication of JP2019506647A publication Critical patent/JP2019506647A/ja
Application granted granted Critical
Publication of JP6602967B2 publication Critical patent/JP6602967B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0231Circuits relating to the driving or the functioning of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14Adaptive cruise control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/035Bringing the control units into a predefined state, e.g. giving priority to particular actuators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/175Autonomous driving
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0019Control system elements or transfer functions
    • B60W2050/0026Lookup tables or parameter maps
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/0075Automatic parameter input, automatic initialising or calibrating means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/0075Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0095Automatic control mode change
    • B60W2050/0096Control during transition between modes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/06Direction of travel
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • B60W2520/105Longitudinal acceleration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20Ambient conditions, e.g. wind or rain
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/10Historical data

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

【解決手段】一実施形態において、自律走行車の自律走行制御は、複数の状態中で自律走行車の第1の状態を決定し、自律走行車の現在情報と履歴情報に基づいて、1つ以上の条件を満たしているかどうかを決定することにより提供される。自律走行車の次の状態及び、自律車両の第1の状態から次の状態への遷移は、満たしていると判定された複数の条件に基づいて決定される。自律走行車の遷移に基づいて、複数の動作計画うちの1つが選択される。
【選択図】図1

Description

本願の実施形態は、一般的に自律走行車を走行させることに関するものである。特に、本願の実施形態は、自律走行車のための走行モーション計画(driving motion plan)を自律的に選択することに関するものである。
自律走行モード(例えば、運転者なしに)で動作している車両において、搭乗者、特に運転者は、運転に関連する担当事項の一部から軽減されることができる。自律走行モードで走行する際、車両はオンボードセンサを用いて様々な位置へナビゲートすることができ、その結果、最小限の人間とのインタラクションで、又は、一部の場合、乗客なしに車両の移動が可能となる。
モーション計画と制御は、自律走行において重要な動作である。しかし、従来のモーション計画動作は、与えられたルートを完了する難しさを、さまざまなタイプの車両の機能の違いを考慮せずに、主にルートの曲率(curvature)と速度により推定する。同じモーション計画と制御は、すべてのタイプの車両に適用されるが、これは一部の状況では、正確かつ円滑でない可能性がある。
本発明の実施形態は、同様の参照番号で同様の要素を示す添付の図面において、例示として説明され、これに限定されない。
一実施形態に係るネットワークシステムを示すブロック図である。
一実施形態に係る自律走行車の一例を示すブロック図である。
一実施形態に係る自律走行車とともに使用される感知及び計画システムの一例を示すブロック図である。
一実施形態に係る図3Aに示された感知及び計画システムの部分をより詳細に示すブロック図である。
一実施形態に係る自律走行車の異なる状態を示す状態図である。
一実施形態に係る自律走行車の状態間の遷移(transition)及び対応するモーション計画を含むルックアップテーブルである。
一実施形態に係る自律走行車に関連する条件と自律走行車の対応する次のステップとを含むルックアップテーブルである。
一実施形態に係る自律走行車の走行モーション計画を決定するための例示的なプロセスを示すフローチャートである。
一実施形態に係るデータ処理システムを示すブロック図である。
以下、検討した詳細を参照して様々な実施形態及び態様を説明し、添付の図面は、前記様々な実施形態を示す。以下の説明及び図面は、例示であり、限定するものとして解釈されるべきではない。様々な実施形態の完全な理解を提供するために、多くの詳細が記載される。しかしながら、場合によって、実施形態の説明の簡潔さから、周知又は従来の詳細は記載されていない。
本明細書において、「一実施形態」又は「実施形態」とは、当該実施形態に説明した特定の特徴、構造、又は特性を本発明の少なくとも1つの実施形態に含めることができることを意味する。本明細書を通じて使用される「一実施形態において」という語句は、必ずしもすべて同じ実施形態を指すとは限らない。
一部の実施形態によると、自律走行制御は、自律走行車の変化状態について提供される。自律走行車の現在情報と自律走行車の履歴情報に基づいて、複数の状態から自律走行車の第1の状態が決定される。また、自律走行車の現在情報と自律走行車の履歴情報に基づいて、1つ以上の条件を満たしていると判断される。満たしていると判定された1つ以上の条件に基づいて、複数の状態中から自律走行車の次の状態が決定され、第1の状態から次の状態への自律走行車の遷移が決定される。その後、自律走行車の遷移に基づいて、メモリに記憶された複数のモーション計画のうちの1つのモーション計画が選択される。その後、自律走行車が、選択されたモーション計画に基づいて駆動または制御される。モーション計画は、例えば、速度、方向、曲率、停止距離、車路変更速度と距離、車両の追い越しまたは譲歩するかどうかなど、自律走行車を制御または駆動する方法に関する情報またはパラメータを含む。異なる走行環境やシナリオについては、適切なモーション計画が自律走行車を制御するために使用される。モーション計画は、同一または類似する環境または走行条件において、車両を制御する特定の履歴をさらに含む。
図1は本発明に係る一実施形態に係る自律走行車のネットワーク配置を示すブロック図である。図1を参照して、ネットワーク配置100は、ネットワーク102によって1つ以上のサーバ103〜104に通信可能に接続することができる自律走行車101を含む。1つの自律走行車を示すが、ネットワーク102によって、複数の自律走行車は互いに接続され、及び/又はサーバ103〜104に接続されることができる。ネットワーク102は、任意のタイプのネットワーク、例えば有線又は無線のローカルエリアネットワーク(LAN)、例えばインターネットのようなの広域ネットワーク(WAN)、セルラーネットワーク、衛星ネットワーク又はその組み合わせであってもよい。サーバ103〜104は、任意のタイプのサーバ又はサーバクラスタ、例えばWebサーバ又はクラウドサーバ、アプリケーションサーバ、バックエンドサーバ又はその組み合わせであってもよい。サーバ103〜104は、データ分析サーバ、内容サーバ、交通情報サーバ、マップ(マップ)及び興味のあるポイント(MPOI)サーバ又は位置サーバ等であってもよい。図1の実施形態において、サーバ103は、マシンラーニングエンジン(機器学習エンジン)122、データコレクタ121、走行統計123及び有限状態機械(finite state machine:FSM)のようなアルゴリズム/モデル124を含む。FSMは、自律走行車の状態(state/status)を決定するために使用されることができる。車両の状態に基づいて、車両を走行させるためのモーション計画が選択される。モーション計画には、特に、同一または類似の走行環境での車両の過去の走行経験や走行統計を考慮して、車両を計画して制御する方法に関する十分な情報が含まれる。
自律走行車とは、運転者からの入力が非常に少ない又はない場合に案内して環境を通過する自律走行モードに設置される車両である。自律走行車は、車両が走行している環境にかかる情報を検出するように配置される1つまたは複数のセンサを含むセンサシステムを備える。車両及びその関連しているコントローラが、検出された情報で案内して環境を通過する。自律走行車101が手動モード、完全自律走行モードまたは部分自律走行モードで運転されることができる。
一実施形態において、自律走行車101は、感知及び計画システム110と、車両制御システム111と、無線通信システム112と、ユーザインターフェースシステム113と、インフォテイメントシステム114と、センサシステム115とを含むが、これらに限定されない。自律走行車101は、通常の車両に含まれるある一般的な構成要素(部材)、例えばエンジン、車輪、ハンドル、変速器等をさらに含んでもよく、前記構成要素は、車両制御システム111及び/又は感知及び計画システム110により多種の通信信号及び/又はコマンド(例えば、加速信号又はコマンド、減速信号又はコマンド、ステアリング信号又はコマンド、ブレーキ信号又はコマンド等)を使用して制御されることができる。
構成要素110〜115は、インターコネクト、バス、ネットワーク又はそれらの組み合わせを介して互いに通信可能に接続することができる。例えば、構成要素110〜115は、コントローラローカルエリアネットワーク(CAN)バスを介して互いに通信可能に接続することができる。CANバスは、マイクロコントローラ及び装置がホストコンピューターのない応用において互いに通信することを許可するような車両バス標準として設計される。それは、最初に自動車内における複数の電線のために設計されたメッセージに基づくプロトコルであるが、他のたくさんの環境(状況)にも用いられる。
図2を参照すると、一実施形態において、センサシステム115は、1つ以上のカメラ211と、全地球測位システム(GPS)ユニット212と、慣性計測ユニット(IMU)213と、レーダーユニット214と、光検出及び測距(LIDAR)ユニット215とを含むが、これらに限定されない。GPSシステム212は、送受信機を含んでもよく、前記送受信機は、自律走行車の位置に関する情報を提供するように操作されることができる。IMUユニット213は、慣性加速度に基づいて自律走行車の位置及び方向変化を感知することができる。レーダーユニット214は、無線信号を利用して自律走行車のローカル環境内の対象を感知するシステムを示すことができる。いくつかの実施形態において、対象を感知する以外、レーダーユニット214は、さらに対象の速度及び/又は走行方向を感知することができる。LIDARユニット215は、レーザを使用して自律走行車の位置する環境における対象を感知することができる。その他のシステム構成要素以外、LIDARユニット215は、1つ以上のレーザ光源、レーザースキャナ及び1つ以上の検出器をさらに含んでもよい。カメラ211は、自律走行車の周辺環境の画像をキャプチャするための1つ以上の装置を含んでもよい。カメラ211は、スチルカメラ及び/又はビデオカメラであってもよい。カメラは、例えば回転及び/又は傾斜のプラットフォームに取り付けられる、機械的に移動可能なものであってもよい。
センサシステム115は、その他のセンサ、例えばソナーセンサ、赤外線センサ、ステアリング(転向)センサ、スロットルセンサ、ブレーキ(制動)センサ、及びオーディオセンサ(例えばマイクロフォン)をさらに含んでもよい。オーディオセンサは、自律走行車周辺の環境から音をキャプチャするように配置されてもよい。ステアリングセンサは、ハンドル、車両の車輪又はその組み合わせのステアリング角を感知するように配置されてもよい。スロットルセンサ及びブレーキセンサは、それぞれ車両のスロットル位置及びブレーキ位置を感知する。いくつかの場合、スロットルセンサ及びブレーキセンサは、集積型スロットル/ブレーキセンサに一体化されてもよい。
一実施形態において、車両制御システム111は、ステアリングユニット201と、スロットルユニット202(加速ユニットとも呼ばれる)と、ブレーキユニット203とを含むが、これらに限定されない。ステアリングユニット201は、車両の方向又は走行方向を調整することに用いられる。スロットルユニット202は、モーター又はエンジンの速度を制御して、さらに車両の速度及び加速度を制御することに用いられる。ブレーキ(制動)ユニット203は、摩擦を提供することによって車両の車輪又はタイヤをスローダウンして車両を減速させることに用いられる。注意すべきなのは、図2に示すような構成要素はハードウェア、ソフトウェア又はその組み合わせで実現されることができる。
図1を再び参照すると、無線通信システム112は、自律走行車101と、例えば装置、センサ、その他の車両等の外部システムとの間の通信を可能にする。例えば、無線通信システム112は、1つ以上の装置に直接に又は通信ネットワークを介して無線通信し、例えばネットワーク102によってサーバ103〜104に通信できる。無線通信システム112は、任意のセルラー通信ネットワーク又は無線ローカルエリアネットワーク(WLAN)(例えばWiFi(登録商標))を使用して他の構成要素やシステムに通信できる。無線通信システム112は、例えば赤外線リンク、ブルートゥース(登録商標)等を使用して装置(例えば、乗客の移動装置、車両101内の表示装置、スピーカー)に直接に通信できる。ユーザインターフェースシステム113は、車両101内で実行される周辺装置の一部であってもよく、例えばキーワード、タッチスクリーンディスプレイ装置、マイクロフォン、及びスピーカー等を含む。
自律走行車101の一部又は全ての機能は、特に自律走行モードで動作する場合、感知及び計画システム110により制御されたり管理されたりすることができる。感知及び計画システム110は、必要なハードウェア(例えば、プロセッサ、メモリ、記憶装置)、及びソフトウェア(例えば、オペレーティングシステム、計画及びルーティングプログラム)を含み、センサシステム115、車両制御システム111、無線通信システム112、及び/又はユーザインターフェースシステム113から情報を受信し、受信された情報を処理し、出発地から目的地までのルートや経路を計画し、そして計画及び制御情報に基づいて車両101を走行させる。あるいは、感知及び計画システム110と車両制御システム111とは一体化されてもよい。
例えば、乗客であるユーザは、例えばユーザインターフェースによって行程の出発位置及び目的位置を指定することができる。感知及び計画システム110は、行程関連データを取得する。例えば、感知及び計画システム110は、MPOIサーバから位置及び経路情報を取得することができ、前記MPOIサーバは、サーバ103〜104の一部であってもよい。位置サーバは、位置サービスを提供し、かつMPOIサーバは、マップサービス及びある位置のPOIを提供する。あるいは、このような位置及びMPOI情報は、感知及び計画システム110の永続記憶装置にローカルでキャッシュされることができる。
自律走行車101が経路に沿って走行する期間に、感知及び計画システム110は、さらに交通情報システムやサーバ(TIS)からリアルタイム交通情報を取得できる。注意すべきなのは、サーバ103〜104は、第三者のエンティティにより動作されることができる。あるいは、サーバ103〜104の機能は、感知及び計画システム110と一体化されてもよい。リアルタイム交通情報、MPOI情報、位置情報、及びセンサシステム115が検出又は感知したリアルタイムなローカル環境データ(例えば、障害物、対象、付近車両)に基づいて、感知及び計画システム110は、指定された目的地に安全で効果的に到達するように、最適な経路を計画し、かつ計画した経路により、例えば車両制御システム111を介して車両101を走行させることができる。
一実施形態によると、自律走行車101は、車両101の乗客に情報とエンターテインメント(entertainment)を提供するインフォテイメントシステム114をさらに含んでもよい。情報及びエンターテイメントコンテンツは、ローカルおよび/またはリモートに記憶されたコンテンツ情報(例えば、サーバ103乃至104によって提供される)に基づいて、受信され、コンパイルされて、レンダリングされる。例えば、情報はネットワーク102を介して任意のサーバ103乃至104からリアルタイムでストリーミングされて車両101のディスプレイ装置上に表示される。情報は、例えば、複数のカメラでリアルタイムにキャプチャされたローカル情報に増強される(augmented)ことができ、次に、増強されたコンテンツは、仮想現実の方法で表示されてもよい。
図3Aは、一実施形態に係る自律走行車とともに使用される感知及び計画システムの一例を示すブロック図である。システム300Aは、図1の自律走行車101の一部として実装することができ、感知および計画システム110、制御システム111と、センサシステム115を含むが、これに限定されない。図3Aを参照すると、感知及び計画システム110は、ローカリゼーション(位置決め)モジュール301は、感知モジュール302、決定モジュール303、計画モジュール304、制御モジュール305、マップ及びルート情報311、走行/交通ルール312、モーション計画313を含むが、これらに限定されない。
モジュール301〜305の一部または全部は、ソフトウェア、ハードウェア、またはそれらの組み合わせによって実現されてもよい。例えば、これらのモジュールは、永続記憶装置352にインストールされ、メモリ351にロードされて1つまたは複数のプロセッサ(図示せず)によって実行されてもよい。注意すべきなのは、一部またはすべてのモジュールは、図2に示す車両制御システム111における一部またはすべてのモジュールに通信可能に接続されたり、統合されたりしてもよい。また、モジュール301〜305の一部は、1つの集積モジュールとして一体化されてもよい。
ローカリゼーションモジュール301(マップ及びルートモジュールとも呼ばれる)は、ユーザの行程やルートに関連する任意のデータを管理する。ユーザは、例えば、ユーザインタフェースを介してログインして行程の出発位置と目的地を指定することができる。位置決めモジュール301は、マップ及び経路情報311のような自律走行車300の他の構成要素と通信して行程関連データを取得する。たとえば、位置決めモジュール301は、位置サーバ、およびマップとPOI(MPOI)サーバから位置と経路情報を取得することができる。位置サーバは、位置サービスを提供し、MPOIサーバは、マップサービスと、マップ及び経路情報311との一部としてキャッシュすることができる特定位置のPOIとを提供する。自律走行車300が経路に沿って移動する間に、位置決め(localization)モジュール301は、交通情報システム、またはサーバからリアルタイムの交通情報も取得することができる。
センサシステム115により提供されたセンサデータ、及び位置決めモジュール301により得られた位置決め情報に基づいて、感知モジュール302は周辺環境に対する感知(perception)を決定する。感知情報は、普通の運転者が運転している車両周辺から感知したもの(状況)を示すことができる。感知情報は、例えば対象の形式で現される車線配置(例えば、直線又はカーブ)、トラフィック信号、他の車両の相対位置、歩行者、建物、横断歩道又はその他の交通関連標識(例えば、停止標識、譲歩標識)などを含んでもよい。例えば、対象の形により含んでもよい。
感知モジュール302は、自律走行車の環境で対象および/または特徴を識別するように、1つ以上のカメラによってキャプチャされた画像を処理及び分析するためのコンピュータビジョンシステム、またはコンピュータビジョンシステムの機能を含んでもよい。対象は、交通信号、道路境界、他の車両、歩行者、および/または障害物などを含んでもよい。コンピュータビジョンシステムは、対象認識アルゴリズム、ビデオ追跡、および他のコンピュータビジョン技術を使用することができる。一部の実施形態において、コンピュータビジョンシステムは、環境をマッピングし、対象を追跡し、対象の速度推定などを行うことができる。感知モジュール302は、レーダーおよび/またはLIDARのような他のセンサによって提供される他のセンサのデータに基づいて対象を検出することもできる。
それぞれの対象については、決定モジュール303は、対象をどのように処理するかを決定する。例えば、特定の対象(例えば、クロスロードにある他の車)だけでなく、対象を記述するメタデータ(例えば、速度、方向、転回角度)に対して、決定モジュール303は、対象をどの方式で対処するかを決定する(例えば、追い越し、譲歩、停止、通過)。決定モジュール303は、永続記憶装置352に記憶できる交通規則や運転規則のような規則のセットに基づいて、これらの決定を下すことができる。
感知された各対象に対する決定に基づいて、計画モジュール304は、自律走行車に対するルートまたは経路だけでなく、走行パラメータ(例えば、距離、速度、および/または転回角度)を計画する。つまり、与えられた対象について、決定モジュール303は、対象の処理を決定し、計画モジュール304は、それをどのように実行するかを決定する。例えば、与えられた対象について、決定モジュール303は、対象を通過することに決定し、これに対し、計画モジュール304は、対象の左側または右側から通過するかを決定することができる。計画及び制御データは、計画モジュール304によって生成され、車両300が次の移動のサイクル(例えば、次のルート/経路セグメント)でどのように動くのかを記述する情報を含む。たとえば、計画および制御データは、車両300が時速30マイル(mph)の速度で10 m移動し、25 mphの速度で右側車線に変更するよう指示することができる。
計画及び制御データに基づいて、制御モジュール305は、計画及び制御データによって定義された経路またはルートに沿って、車両制御システム111に適切なコマンドまたは信号を送信することにより、自律走行車を制御し走行させる。計画及び制御データには、ルートまたは経路上の異なる時点において、適切な車両設定または走行パラメータ(例えば、スロットル、ブレーキ、およびステアリングコマンド)を使用して、経路またはルートの第1の地点から第2の地点まで車両を走行させることができる十分な情報が含まれている。
注意すべきなのは、決定モジュール303と計画モジュール304は、1つの集積モジュールとして一体化されてもよい。決定モジュール303/計画モジュール304は、自律走行車の走行経路を決定するためのナビゲーションシステムまたはナビゲーションシステムの機能を含んでもよい。例えば、ナビゲーションシステムは、一連の速度と進行方向(directional heading)を決定して、感知された障害物を実質的に避ける経路に沿って自律走行車の移動を行いながら、大体的に最終的な目的地に至る道によるルートに沿って、自律走行車を走行させることができる。目的地は、ユーザインタフェースシステム113を介するユーザ入力に応じて設定されることができる。ナビゲーションシステムは、自律走行車が動作される間に、走行経路を動的に更新することができる。ナビゲーションシステムは、自律走行車の走行経路を決定するために、GPSシステムおよび1つまたは複数のマップからのデータを統合することができる。
決定モジュール303/計画モジュール304は、自律走行車の環境における潜在的な障害物を識別、評価、回避したり、その他の方式で迂回するための衝突回避システムまたは衝突回避システムの機能をさらに含んでもよい。例えば、衝突回避システムは、方向転換操作、転回操作、ブレーキ操作などを行うために、制御システム111の1つまたは複数のサブシステムを操作して、自律走行車のナビゲーションの変化を実行することができる。衝突回避システムは、周辺の交通パターン、道路状況等に基づいて、実現可能な障害物回避操作を自動的に決定することができる。衝突回避システムは、自律走行車が方向転換して進入する隣接領域で、他のセンサシステムにより車両、建物の障害物などが検出されたときに、方向転換操作を行わないように構成することができる。衝突回避システムは、使用可能であり、自律走行車の乗員の安全を最大限にする操作を自動的に選択することができる。衝突回避システムは、自律走行車の乗客室において最低限の加速を引き起こすと予想される回避操作を選択することができる。
図3Bは、一実施形態に係る計画モジュール304を含む感知及び計画システムの詳細部分を示すブロック図である。システム300Bは、図1の自律走行車101の一部として実装することができ、感知および計画システム110、制御システム111及びセンサシステム115を含むが、これに限定されない。図3Bを参照すると、計画モジュール304は、モーション計画セレクタ350を含むが、これに限定されない。モーション計画セレクタ350は、車両の状態352、データアクセス354、および有限状態機械(FSM)356を含むが、これに限定されない。システム300Bは、モーション計画313、軌跡最適化器358および車両情報360をさらに含んでもよい。
一実施形態において、車両の状態352は、データアクセス354に自律走行車の現在状態を提供する。車両が最初に起動するとき、車両の現在状態は、初期状態にある。モーション計画モニター350は、自律走行車の現在状態、速度、加速度、それぞれのアップストリーム(上流)モジュールの故障時間の累積など、データアクセス354に提供された車両情報360を読み取ることができる。モーション計画モニター350は、例えば、計画サイクルごとにデータアクセス354から車両情報360を受信することができる。車両情報360は、ゲートウェイモジュールであり、センサなどのハードウェアを介して情報を収集する。データアクセス354は、情報を結合し、情報を内部データに変換し、データをFSM356にプッシングする結合器である。
一実施形態において、FSM356は、データアクセス354から受信された車両情報360に基づいて自律走行車の現在状態(status)または状態(state)を提供する。FSM356は、現在状態を提供した後、車両の状態を更新することができる。FSM356は、現在の車両の状態に応じて、モーション計画313から、適切なモーション計画を選択することができ、選択されたモーション計画を軌跡最適化器358に提供することができる。モーションプラン313は、メモリ351のようなメモリに記憶することができる。軌跡最適化器358は、モーション計画セレクタ350の出力に応じて最適化処理を行うことができる。
モーション計画は、例えば、速度、方向、曲率、停止距離、車路変更速度と距離、車両を追い越しまたは譲歩するかどうかなどのような、自律走行車を制御または駆動する方法に関する情報またはパラメータを含む。異なる走行環境やシナリオについては、適切なモーション計画が自律走行車を制御するために使用される。モーション計画313は、様々な走行環境下で駆動される様々な車両から収集された走行統計に基づいて、オフラインでデータ分析システム103のようなデータ分析システムによって生成され、コンパイルされる。
背景として、車両が道路上で移動するときには、例えば、天気予報、日光、交通、道路状況等に応じて、運転条件が多様で複雑になる可能性がある。従来の自律走行システムは、感知により環境情報を読み出し、且つ現在状態に応じて、いくつかのルールに基づいて計画を選択する。このような従来の自律走行システムは、単純な状況で動作することができる。しかし、これらのシステムを使用する場合、本発明者は、車両の動きを最適化がたびたび円滑しない場合があることを発見した。例えば、車両の走行速度が0mphに示された場合、これは2つの異なる状況、すなわち(1)車両が特定の速度から減速されたということ、または(2)車両が今始動され、まだ停止中であることを示すことができる。車両の現在状態を基礎とする従来の自律走行システムを利用すれば、同じモーション計画が、両方の環境に適用されて、円滑しない結果を起こす可能性がある。
一実施形態に係る自律走行システムでは、異なる状態または状況がシステムに定義される。図4は、自律走行システムの異なる状態だけでなく、状態間の遷移を示す状態図400を示す。特定の条件を満たしているとき、自律走行システムは、以下に詳細に説明されたように、これらの状態間で遷移することができる。各状態は、後述されるように、選択される特定のモーション計画と合わせることができる。また、各状態の定義は、現在のシステムに応じて異なる場合があり、システムの発展につれて、変更されることもできる。
図4に示すように、自律走行システムは、初期状態402、正常状態404、異常状態406、停止状態408及び終了状態410のような状態を含むが、これに限定されない。車両が動作し始めるとき、初期状態402から正常状態404への遷移412に対して、特定の条件が検査される。自律走行システムは、例えば遷移412中に、車両を作動させるためのモーション計画を選択することもできる。
図4にさらに示されたように、自律走行システムは、正常状態404から異常状態406に遷移416したり、または、正常状態404から停止状態408に遷移414したりすることができる。例えば、自律走行システムが正常状態406にあり、車両が停止標識または信号灯に接近するとき、自律走行システムは、特定の条件を満たしている場合、車両を停止するように制御することができる。他の例では、自律走行システムが正常状態406にあり、マッピングシステムのような制御モジュールが所定の期間内にデータを受信されていないときは、自律走行システムは、異常状態406に遷移することができる。本例では、その条件は、マッピングシステムが予め設定された期間の間、データを受信したかどうかに該当する。この条件を満たしていると、自律走行システムは、車両を制御して駐停車するのような処理を実行することができる。
自律走行システムは、異常状態406から停止状態408に遷移420したり、または、異常状態406から正常状態404に遷移418したりすることができる。それぞれの場合に、特定の条件を満たしている場合、特定のモーション計画が実行される。
最後に、自律走行システムは、車両の任務が完了された場合、正常状態404から終了状態410に遷移426することができる。代替的に、異常状態406から正常状態404または停止状態424への遷移が成功的でないときに、自律走行システムは、異常状態406から終了状態410に遷移422するとか、停止状態408から終了状態410に遷移424するとかしてもよい。
自律走行システムでは、状態間の遷移が行われる場合は、エッジ(edge)が状態間に生成される(built)。各エッジは、属性としての満足セットを含んでもよい。2つの状態の間にエッジが存在する場合には、2つの状態の間の遷移が行われることができる。一部の実施形態において、2つの状態の間にエッジがある場合にのみ、状態間の遷移が行われることができる。状態間の各エッジに対して、満足セットに基づいて満足すべきの1つ以上の条件だけでなく、遷移のための関連計画を有することもできる。
一実施形態において、図5及び図6にそれぞれ示されたルックアップテーブル500、600のようなルックアップテーブルは、状態間の遷移を実装するために使用することができる。ルックアップテーブル500は、自律走行車の状態間の遷移及び計画A−Hのような対応モーション計画を含んでもよい。ルックアップテーブル500に示すように、状態間の各エッジについては、遷移のための対応モーションプランがある。
ルックアップテーブル600は、自律走行車に関する条件の1つ以上のカテゴリと自律走行車の対応する後続のステップを含んでもよい。一実施形態において、条件のカテゴリは、どのように多い条件を通過すべきかを示すバイナリ(2進数)を含んでもよい。様々なタイプの条件がある。各条件を判断し、結果バイナリが出力される。条件を通過すると、1が配分され、条件が成立しない場合は、0が配分される。その結果、各条件のカテゴリには、車両がある状態から別の状態に渡って行くために通過しなければならない条件のセットを示すバイナリが含まれる。ルックアップテーブル600は、条件に基づいて、どのような状態が後続状態であるかを決定するために使用される。現在状態および/または車両が遷移する次の状態に基づいて、次の道路セグメントにおいて車両を駆動するために、例えば、図3の動作プランセレクタ350によって、モーション計画が選択される。
例示的な条件は、予め決定された速度よりも低い低速度、通常の速度、および予め決定された速度よりも速い高速度のような速度タイプを含んでもよい。条件には、決定モジュールが5回以上失敗した場合のような、エラータイプも含まれてもよい。毎サイクルごとに、モジュールからの結果を受信しなければならない。メッセージが5サイクルの期間内に受信されていない場合、エラーが発生したと仮定する。エラータイプの条件の他の例は、ルーティングモジュールが5回以上失敗する場合である。例えば、所定期間の間にルーティング通信が受信されない場合は、車両が異常状態に遷移するようにしてもよい。もちろん、エラータイプの条件は、5サイクルに限定されず、他の制限を使用してもよい。
条件は、雨、雪などのような車両の走行環境の天気をさらに含んでもよい。条件は、車両が走行する方向(例えば、前進または後進)を含むことができ、車両が前進ではなく、後進をする場合、モーション計画が相違してもよい。一条件は、車両が異常状態に遷移できる衝突状態にあるかどうかであってもよい。
他の条件には、加速または減速を含んでもよい。例えば、車両が高加速度または通常の加速度よりも高い加速度により高速度または通常速度よりも高い速度で移動する場合には、モーション計画は保守的な計画であってもよい。一方、車両が低速度かつ高加速度または通常加速度よりも高い加速度により移動する場合には、モーション計画はより積極的であってもよい。もちろん、ここに列挙された条件は、単に例示的な条件だけであり、他の条件が条件の項目に使用されてもよい。
一実施形態において、条件のカテゴリについて、1つのカテゴリは、別のカテゴリのサブセットになってはいけない。この実施形態において、各カテゴリの条件は、重畳することはできるが、1つのカテゴリのすべての条件が、他のカテゴリに含まれてはいけない。
ルックアップテーブル600において、条件の各カテゴリは、複数の条件を示すセットと同じであり、各条件は、バイナリで表現される。現在状態について、後続状態は、複数の条件を満たしているバイナリが発生したとき決定される。結果となるバイナリは、条件カテゴリの列と一致し、列の対応状況は、後続状態に決定される。
一実施形態において、自律走行システムは、車両からの電流情報と、過去のサイクルに関する情報のような履歴情報の組み合わせを用いて、車両の第1の状態を決定し、1つ以上の条件を満たしているかを決定する。軌跡、速度、履歴データなどの情報を含む履歴情報は、過去のサイクルから記憶される。自律走行システムは、過去のサイクルの最後の状態及び最後の状態のための条件をさらに記憶することができる。
一例では、車両が地点aから地点bに移動する場合には、車両が地点bに到達する前に、車両は、初期速度で移動し、車両が地点bに到達すると、車両は0mphの速度で走行する。初期速度を記憶することで、自律走行システムは、車両が今静止したか、または今移動するかを決定することができる。履歴情報は、車両がすぐに移動し始めるか、または停止しようとするのかを決定するために、コンテキスト(context)として使用されてもよい。条件の満足度を決定する際に履歴情報を考慮することにより、後続状態を決定することができる。
前述した構成により、履歴状態および情報に対する知識を利用して、自律走行システムは、自律走行車の現在状況では、合理的かつ一般的に最適なモーション計画を選択することができる。モーション計画は、速度、方向、曲率、停止距離、車線変更速度及び距離、車両が他の車両を追い越しまたは譲歩するかのような自律走行車を制御または走行させる方法に関する情報またはパラメータを含む。
一実施形態において、モーション計画は、車両のシャーシ(chassis)情報(例えば、速度、加速度/減速度、方向、位置など)、感知情報(例えば、障害物の位置、速度、方向、およびそのモーション(動き)軌跡)、検出情報(例えば、依存性モジュールの状態)及び、その履歴情報を考慮することができる。履歴情報は、計画された軌跡及び対応する状況の履歴リストであってもよい。モーション計画の出力は、計画された位置だけでなく、速度、方向、およびステーションを含むポイントベクトルである。
一実施形態において、それぞれの状態は、自体のモーション計画を有する。それぞれの状態は、今後の異なる遷移に応じて、異なるパラメータまたはアルゴリズムを具体的に有することができる。例えば、現在状態を「正常」状態に仮定すると、現在状態は「異常」状態から遷移してきた状態である場合には、細心なモーション計画または保守的なモーション計画を選択してもよい。現在状態が「初期」状態から遷移してきた状態である場合には、システムは、道路の外にあると検出し、(例えば、駐車場から)道路に位置するようにするモーション計画を選択する。現在状態が「正常」状態から遷移されてきた状態である場合には、車両が道路上に良好にあることを意味し、システムが変更事項を報告するまで、使用されているモーション計画を維持する。
一実施形態において、状態、状態のモーション計画および状態の満足セット(satisfying set)は、JSON(Java(登録商標)Script Object Notation)のファイルで構成されてもよい。そのため、自律走行システムが容易に構成できるという有利な効果がある。
注意すべきな点は、前記図示された構成要素の一部または全部は、ソフトウェア、ハードウェア、またはこれらの組み合わせにより実現されることができる。たとえば、これらの構成要素は、本明細書全体に記載されたプロセスまたはステップを実行するために、プロセッサ(図示せず)によってメモリにロードされて実行されることができる永続記憶装置にインストールされて記憶されるソフトウェアとして実現ことができる。代案として、これらの構成要素は、集積回路(例えば、特定用途向け集積回路またはASIC)、デジタル信号プロセッサ(DSP)またはフィールドプログラマブルゲートアレイ(Field Programmable Gate Array、FPGA)のような専用のハードウェアにプログラムされたり内蔵された実行可能コードとして実現されることができ、これは、アプリケーションから対応するドライバおよび/またはオペレーティングシステムを介してアクセスすることができる。さらに、これらの構成要素は、1つ以上の特定のコマンドを使用してソフトウェアコンポーネントによってアクセス可能なコマンドセットの一部であり、プロセッサまたはプロセッサコアの特定のハードウェアロジックとして実現することができる。ルックアップテーブル500及び600は、永続記憶装置に保持され、メモリにロードされ、次の計画区間(セグメント)のモーション計画を選択する際に、モーション計画セレクタ350によってアクセスされてもよい。
図7は、一実施形態に係る自律走行車の走行モーション計画を決定するための例示的なプロセスを説明するフローチャートである。これに関連して、以下の実施形態は、一般的にフローチャート(flowchart)、流れ図(flow diagram)、構造図、またはブロック図として図示されたプロセス700として説明することができる。フローチャートは、動作を順次的なプロセスとして記述することができるが、多くの動作が並列にまたは同時に行うことも可能である。また、動作の順序を再排列することもできる。これらの動作が完了すると、プロセスが終了される。プロセスは、方法、手順(ステップ)など該当する。
プロセス700は、ハードウェア(例えば、回路、専用ロジックなど)、ソフトウェア(例えば、非一時的なコンピュータ可読媒体上に実装される)、またはそれらの組み合わせを含む処理ロジックによって実行されることができる。
図7を参照すると、ブロック701において、自律走行車の現在情報と自律車両の履歴情報とに基づいて、複数の状態中の自律走行車の第1の状態を決定する。状態は、例えば、初期状態、停止状態、正常状態、異常状態または終了状態(図4の状態402、404、406、408、および410)を含んでもよい。現在情報は、例えば、自律走行車の現在軌跡、自律走行車の現在速度、自律走行車が現在加速中であるかどうかを示す情報、自律走行車が現在の減速中かどうかを示す情報、自律走行車の現在状態を含んでもよい。履歴情報は、例えば、自律走行車の過去軌跡、自律走行車の過去速度、自律走行車が過去に加速中であるかどうかを示す情報、自律走行車が過去に減速中であるかどうかを示す情報、自律走行車の過去状態、および自律走行車によって満たしている過去の条件を含んでもよい。
ブロック702において、現在情報と履歴情報に基づいて、1つ以上の条件を満たしているかを決定する。複数の条件は、例えば、(a)自律走行車の速度、(b)自律走行車のエラー、(c)自律走行車の動作環境における天気に関する情報、(d)自律走行車の走行方向、(e)自律走行車が衝突に関連されていることを示す情報、および(f)自律走行車が加速または減速中であるかどうかを示す情報を含んでもよい。
ブロック703において、満たしていると判定された複数の条件に基づいて、複数の状態中の自律走行車の次の状態を決定する。自律走行車の次の状態は、自律走行車の複数の条件と次の状態との間の対応関係を記憶する第1のルックアップテーブル(例えば、図6のルックアップテーブル600)を使用して決定することができる。複数の条件は、第1のルックアップテーブルに2進数で表現されてもよい。
また、ブロック703において、満たしていると判定された複数の条件に基づいて、第1の状態から次の状態への遷移を決定する。
ブロック704において、自律走行車の遷移に基づいて、複数のモーション計画のうちの1つを選択する。複数のモーション計画は、メモリ(例えば、図3Aのメモリ351)に記憶される。モーション計画は、自律走行車の遷移と動作計画との間の対応関係を記憶する第2のルックアップテーブル(例えば、図5のルックアップテーブル500)を使用して、複数のモーション計画から選択することができる。
図8は、本出願の一実施形態と組み合わせて使用されるデータ処理システムを例示的に示すブロック図である。例えば、システム800は、前記プロセス又は方法のいずれか(例えば、図1の感知及び計画システム110、及びサーバ103〜104のいずれか)を実行する前記任意のデータ処理システムを示してもよい。システム800は、複数の異なる構成要素を含んでもよい。これらの構成要素は、集積回路(IC)、集積回路の一部、分散型電子装置又は回路基板(例えば、コンピュータシステムのマザーボード又はアドインカード)に適用された他のモジュール、又は他の方式でコンピュータシステムのシャーシに組み込まれた構成要素として実現されることができる。
さらに、システム800は、コンピュータシステムの複数の構成要素の高レベルビューを示すことを目的とする。しかしながら、いくつかの実現形態では、付加的構成要素が存在する場合があることを理解すべきである。また、他の実現形態において示される構成要素が異なる配置を有してもよい。システム800は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、サーバ、携帯電話、メディアプレーヤー、パーソナルディジタルアシスタント(PDA)、スマート腕時計、パーソナルコミュニケーター、ゲーム装置、ネットワークルータ又はハブ、無線アクセスポイント(AP)又はリピーター、セットトップボックス、又はそれらの組合せを示してもよい。また、単一の機器又はシステムのみを示したが、用語「機器」又は「システム」は、さらに、独立又は共同で1つ(又は複数)のコマンドセットを実行することにより本明細書に説明される任意の1種又は複数種の方法を実行する機器又はシステムの任意のセットを含むことを理解すべきである。
一実施形態において、システム800は、バス又は相互接続部材1510によって接続されたプロセッサ1501、メモリ1503及び装置1505〜1508を備える。プロセッサ1501は、単一のプロセッサコア又は複数のプロセッサコアを含む単一のプロセッサ又は複数のプロセッサを示してもよい。プロセッサ1501は、マイクロプロセッサ、中央処理装置(CPU)等のような1つ又は複数の汎用プロセッサを示してもよい。より具体的には、プロセッサ1501は、複雑コマンドセット計算(CISC)マイクロプロセッサ、縮小コマンドセットコンピュータ(RISC)マイクロプロセッサ、超長コマンド語(VLIW)マイクロプロセッサ、又は他のコマンドセットを実現するプロセッサ、又はコマンドセットの組合せを実現するプロセッサであってもよい。プロセッサ1501は、さらに、専用集積回路(ASIC)、セルラ又はベースバンドプロセッサ、フィールドプログラマブルゲートアレイ(FPGA)、デジタル信号プロセッサ(DSP)、グラフィックプロセッサ、ネットワークプロセッサ、通信プロセッサ、ネットワークプロセッサ、暗号プロセッサ、コプロセッサ、組み込みプロセッサのような1つ又は複数の専用プロセッサ、あるいはコマンド処理可能な任意の他のタイプのロジックであってもよい。
プロセッサ1501(超低電圧プロセッサのような低電力マルチコアプロセッサソケットであってもよい)は、前記システムの各種の構成要素と通信するための主処理ユニット及び中央ハブとして用いられてもよい。このようなプロセッサは、システムオンチップ(SoC)として実現されることができる。プロセッサ1501は、本明細書に説明される動作及びステップを実行するためのコマンドを実行するように構成される。また、システム800は、選択可能なグラフィックサブシステム1504と通信するグラフィックインターフェースをさらに含んでもよく、グラフィックサブシステム1504は、ディスプレイコントローラ、グラフィックプロセッサ及び/又は表示装置をさらに備えてもよい。
プロセッサ1501は、メモリ1503と通信してもよく、メモリ1503は、一実施形態において複数のメモリによって所定量のシステムメモリを提供する。メモリ1503は、ランダムアクセスメモリ(RAM)、ダイナミックRAM(DRAM)、シンクロナスDRAM(SDRAM)、スタティックRAM(SRAM)又は他のタイプのメモリのような1つ又は複数の揮発性記憶装置(又はメモリ)を備えてもよい。メモリ1503は、プロセッサ1501又は任意の他の装置により実行されるコマンド列を含む情報を記憶できる。例えば、複数種のオペレーティングシステム、装置ドライバー、ファームウェア(例えば、基本入出力システム又はBIOS)及び/又はアプリケーションの実行可能なコード及び/又はデータは、メモリ1503にロードされて、プロセッサ1501により実行されてもよい。オペレーティングシステムは、ロボットオペレーティングシステム(ROS)、Microsoft(登録商標)会社からのWindows(登録商標)オペレーティングシステム、アップル会社からのMacOS(登録商標)/iOS(登録商標)、Google(登録商標)会社からのAndroid(登録商標)、Linux(登録商標)、Unix(登録商標)又は他のリアルタイム又は組み込みオペレーティングシステムのような任意のタイプのオペレーティングシステムであってもよい。
システム800は、IO装置、例えば装置1505〜1508をさらに備えてもよく、ネットワークインターフェース装置1505、選択可能な入力装置1506及び他の選択可能なIO装置1507を備えてもよい。ネットワークインターフェースデバイス1505は、無線送受信機(無線トランシーバ)及び/又はネットワークインターフェースカード(NIC)を備えてもよい。前記無線送受信機は、WiFi送受信機、赤外送受信機、ブルートゥース送受信機、WiMax送受信機、無線セルラーホン送受信機、衛星送受信機(例えば、全地球測位システム(GPS)送受信機)又は他の無線周波数(RF)送受信機又はそれらの組合せであってもよい。NICは、イーサネット(登録商標)カードであってもよい。
入力装置1506は、マウス、タッチパッド、タッチスクリーン(それは表示装置1504と集積されてもよい)、ポインタデバイス(例えばスタイラス)及び/又はキーボード(例えば、物理キーボード、又はタッチスクリーンの一部として表示された仮想キーボード)を備えてもよい。例えば、入力装置1506は、タッチスクリーンに接続されるタッチスクリーンコントローラを含んでもよい。タッチスクリーン及びタッチスクリーンコントローラは、例えば複数種のタッチ感度技術(容量式、抵抗式、赤外式及び表面音波の技術を含むが、それらに限定されない)のいずれか、及びタッチスクリーンの1つ又は複数の接触点を決定するための他の近接センサアレイ又は他の素子を用いて、そのタッチ点及び移動又は断続を検出することができる。
IO装置1507は、音声装置を備えてもよい。音声装置は、スピーカ及び/又はマイクロホンを含んでもよく、それにより音声認識、音声コピー、デジタル記録及び/又は電話機能のような音声サポートの機能を促進する。他のIO装置1507は、汎用シリアルバス(USB)ポート、パラレルポート、シリアルポート、印刷機、ネットワークインターフェース、バスブリッジ(例えば、PCI〜PCIブリッジ)、センサ(例えば、加速度計、ジャイロスコープ、磁力計、光センサ、コンパス、近接センサ等のようなモーションセンサ)又はそれらの組合せをさらに備えてもよい。装置1507は、結像処理サブシステム(例えば、カメラ)をさらに備えてもよく、前記結像処理サブシステムは、カメラ機能(例えば、写真及びビデオ断片の記録)を促進するための電荷カップリング装置(CCD)又は相補型金属酸化物半導体(CMOS)光学センサのような光学センサを備えてもよい。あるセンサは、センサハブ(図示せず)によって相互接続部材1510に接続されてもよく、キーボード又は熱センサのような他の装置は、組み込みコントローラ(図示せず)により制御されてもよく、これはシステム800の特定配置又は設計により決められる。
データ、アプリケーション、1つ又は複数のオペレーティングシステム等のような情報の永続記憶を提供するために、大容量メモリ(図示せず)が、プロセッサ1501に接続されてもよい。様々な実施形態において、薄型化と軽量化のシステム設計を実現しかつシステムの応答能力を向上させるために、このような大容量メモリは、ソリッドステート装置(SSD)によって実現されることができる。なお、他の実施形態において、大容量メモリは、主にハードディスクドライブ(HDD)で実現されてもよく、少量のSSD記憶量は、SSDキャッシュとして、停電イベント期間にコンテキスト状態及び他のこのような情報の不揮発性記憶を実現し、それによりシステム動作が再開する時に通電を速く実現することができる。さらに、フラッシュデバイスは、例えばシリアルペリフェラルインターフェース(SPI)によってプロセッサ1501に接続されてもよい。このようなフラッシュデバイスは、システムソフトウェアの不揮発性記憶に用いられてもよく、前記システムソフトウェアは、前記システムのBIOS及び他のファームウェアを備える。
記憶装置1508は、任意の1種又は複数種の本明細書に記載の方法又は機能を実現する1つ又は複数のコマンドセット又はソフトウェア(例えば、モジュール、ユニット及び/又はロジック1528)が記憶されるコンピュータアクセス可能な記憶媒体1509(機械可読記憶媒体又はコンピュータ可読媒体とも呼ばれる)を備えてもよい。処理モジュール/ユニット/ロジック1528は、例えば、計画モジュール304及び/又は制御モジュール305のような前記構成要素のいずれかを示してもよい。処理モジュール/ユニット/ロジック1528は、さらにデータ処理システム800、メモリ1503及びプロセッサ1501により実行される期間に、メモリ1503内及び/又はプロセッサ1501内に完全又は少なくとも部分的に存在してもよく、ここで、メモリ1503及びプロセッサ1501も、機器アクセス可能な記憶媒体を構成する。処理モジュール/ユニット/ロジック1528は、さらにネットワークによってネットワークインターフェース装置1505を経由して送受信されてもよい。
コンピュータ可読記憶媒体1509は、以上に説明されたいくつかのソフトウェア機能の一部を永続的に記憶してもよい。コンピュータ可読記憶媒体1509は、例示的な実施形態において単一の媒体として示されたが、用語「コンピュータ可読記憶媒体」は、前記1つ又は複数のコマンドセットが記憶される単一の媒体又は複数の媒体(例えば、集中型又は分散型データベース、及び/又は関連するキャッシュ及びサーバ)を備えることを理解すべきである。用語「コンピュータ可読記憶媒体」は、さらにコマンドセットを記憶又はコーディング可能な任意の媒体を備えることを理解すべきであり、前記コマンドセットは、機器により実行されかつ前記機器に本発明の任意の1種又は複数種の方法を実行させる。従って、用語「コンピュータ可読記憶媒体」は、ソリッドステートメモリ及び光学媒体と磁気媒体又は任意の他の非一時的機械可読媒体を備えるが、それらに限定されないことを理解すべきである。
本明細書に記載の処理モジュール/ユニット/ロジック1528、構成要素及び他の特徴は、ディスクリートハードウェア構成要素として実現されてもよく、又はハードウェア構成要素(例えばASICS、FPGA、DSP又は類似装置)の機能に統合されてもよい。さらに、処理モジュール/ユニット/ロジック1528は、ハードウェア装置内のファームウェア又は機能回路として実現されてもよい。また、処理モジュール/ユニット/ロジック1528は、ハードウェア装置及びソフトウェアコンポーネントの任意の組合せで実現されてもよい。
なお、システム800は、データ処理システムの各種の構成要素を有するように示されるが、構成要素の相互接続のいかなる特定のアーキテクチャー又は方式を示すものではないことに注意すべきであり、それは、このような詳細が本発明の実施形態に密接な関係がないためである。また、より少ない構成要素又はより多くの構成要素を有するネットワークコンピュータ、ハンドヘルドコンピュータ、携帯電話、サーバ及び/又は他のデータ処理システムは、本発明の実施形態と共に使用されてもよい。
前記詳細な説明の一部は、コンピュータメモリにおけるデータビットに対する演算のアルゴリズム及び記号表現で示される。これらのアルゴリズムの説明及び表現は、データ処理分野における当業者によって使用され、それらの作業実質を所属分野の他の当業者に最も効果的に伝達する方法である。ここで、アルゴリズムは、通常、所望の結果につながる首尾一貫した動作列(sequence of operations)と考えられる。これらの動作とは、物理量に対して物理的動作を行う必要となるステップを指す。
ただし、これらの全ての及び類似の用語は、いずれも適切な物理量に関連付けられ、かつただこれらの量に適用される適切なラベルであることに注意すべきである。特に断らない限り、本出願の全体にわたって用語(例えば、添付している特許請求の範囲に説明された用語)による説明とは、コンピュータシステム又は類似の電子計算装置の動作及び処理であり、前記コンピュータシステム又は電子計算装置は、コンピュータシステムのレジスタ及びメモリに物理(例えば、電子)量としてデータを示し、かつ前記データをコンピュータシステムメモリ又はレジスタ又は他のこのような情報記憶装置、伝送又は表示装置内において類似に物理量として示される他のデータに変換する。
本発明の実施形態は、さらに本明細書における動作を実行するためのコンピュータプログラムに関する。このようなコンピュータプログラムは、非揮発性のコンピュータ可読媒体に記憶される。機器可読媒体は、機器(例えば、コンピュータ)可読な形態で情報を記憶する任意の機構を備える。例えば、機器可読(例えば、コンピュータ可読)媒体は、機器(例えば、コンピュータ)可読記憶媒体(例えば、読み出し専用メモリ(「ROM」)、ランダムアクセスメモリ(「RAM」)、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリメモリ)を備える。
前記図面に示される手順又は方法は、ハードウェア(例えば、回路、専用ロジック等)、ソフトウェア(例えば、非揮発性のコンピュータ可読媒体に具現化される)、又は両方の組合せを含む処理ロジックにより実行されてもよい。前記手順又は方法は、本明細書において特定の順序に応じて説明されるが、説明された動作の一部は、異なる順序に応じて実行されてもよい。また、いくつかの動作は、順番ではなく並行に実行されてもよい。
本発明の実施形態は、いずれかの特定のプログラミング言語を参照して説明されていないが、複数種のプログラミング言語で本明細書に記載の本発明の実施形態の教示を実現できることを理解すべきである。
以上の明細書では、本発明の具体的な例示的な実施形態を参照してその実施形態を説明した。明らかなように、添付している特許請求の範囲に記載の本発明のより広い趣旨及び範囲を逸脱しない限り、様々な変形が可能である。従って、限定的なものではなく例示的なものとして本明細書及び図面を理解すべきである。
図2を参照すると、一実施形態において、センサシステム115は、1つ以上のカメラ211と、全地球測位システム(GPS)ユニット212と、慣性計測ユニット(IMU)213と、レーダーユニット214と、光検出及び測距(LIDAR)ユニット215とを含むが、これらに限定されない。GPSユニット212は、送受信機を含んでもよく、前記送受信機は、自律走行車の位置に関する情報を提供するように操作されることができる。IMUユニット213は、慣性加速度に基づいて自律走行車の位置及び方向変化を感知することができる。レーダーユニット214は、無線信号を利用して自律走行車のローカル環境内の対象を感知するシステムを示すことができる。いくつかの実施形態において、対象を感知する以外、レーダーユニット214は、さらに対象の速度及び/又は走行方向を感知することができる。LIDARユニット215は、レーザを使用して自律走行車の位置する環境における対象を感知することができる。その他のシステム構成要素以外、LIDARユニット215は、1つ以上のレーザ光源、レーザースキャナ及び1つ以上の検出器をさらに含んでもよい。カメラ211は、自律走行車の周辺環境の画像をキャプチャするための1つ以上の装置を含んでもよい。カメラ211は、スチルカメラ及び/又はビデオカメラであってもよい。カメラは、例えば回転及び/又は傾斜のプラットフォームに取り付けられる、機械的に移動可能なものであってもよい。
図1を再び参照すると、無線通信システム112は、自律走行車101と、例えば装置、センサ、その他の車両等の外部システムとの間の通信を可能にする。例えば、無線通信システム112は、1つ以上の装置に直接に又は通信ネットワークを介して無線通信し、例えばネットワーク102によってサーバ103〜104に通信できる。無線通信システム112は、任意のセルラー通信ネットワーク又は無線ローカルエリアネットワーク(WLAN)(例えばWiFi(登録商標))を使用して他の構成要素やシステムに通信できる。無線通信システム112は、例えば赤外線リンク、ブルートゥース(登録商標)等を使用して装置(例えば、乗客の移動装置、車両101内の表示装置、スピーカー)に直接に通信できる。ユーザインターフェースシステム113は、車両101内で実行される周辺装置の一部であってもよく、例えばキーボード、タッチスクリーンディスプレイ装置、マイクロフォン、及びスピーカー等を含む。
モジュール301〜305の一部または全部は、ソフトウェア、ハードウェア、またはそれらの組み合わせによって実現されてもよい。例えば、これらのモジュールは、永続記憶装置35にインストールされ、メモリ351にロードされて1つまたは複数のプロセッサ(図示せず)によって実行されてもよい。注意すべきなのは、一部またはすべてのモジュールは、図2に示す車両制御システム111における一部またはすべてのモジュールに通信可能に接続されたり、統合されたりしてもよい。また、モジュール301〜305の一部は、1つの集積モジュールとして一体化されてもよい。
それぞれの対象については、決定モジュール303は、対象をどのように処理するかを決定する。例えば、特定の対象(例えば、クロスロードにある他の車)だけでなく、対象を記述するメタデータ(例えば、速度、方向、転回角度)に対して、決定モジュール303は、対象をどの方式で対処するかを決定する(例えば、追い越し、譲歩、停止、通過)。決定モジュール303は、永続記憶装置35に記憶できる交通規則や運転規則のような規則のセットに基づいて、これらの決定を下すことができる。
図4にさらに示されたように、自律走行システムは、正常状態404から異常状態406に遷移416したり、または、正常状態404から停止状態408に遷移414したりすることができる。例えば、自律走行システムが正常状態40にあり、車両が停止標識または信号灯に接近するとき、自律走行システムは、特定の条件を満たしている場合、車両を停止するように制御することができる。他の例では、自律走行システムが正常状態40にあり、マッピングシステムのような制御モジュールが所定の期間内にデータを受信されていないときは、自律走行システムは、異常状態406に遷移することができる。本例では、その条件は、マッピングシステムが予め設定された期間の間、データを受信したかどうかに該当する。この条件を満たしていると、自律走行システムは、車両を制御して駐停車するのような処理を実行することができる。
最後に、自律走行システムは、車両の任務が完了された場合、正常状態404から終了状態410に遷移426することができる。代替的に、異常状態406から正常状態404または停止状態408への遷移が成功的でないときに、自律走行システムは、異常状態406から終了状態410に遷移422するとか、停止状態408から終了状態410に遷移424するとかしてもよい。
一実施形態において、システム800は、バス又は相互接続部材1510によって接続されたプロセッサ1501、メモリ1503及び装置1505〜1508を備える。プロセッサ1501は、単一のプロセッサコア又は複数のプロセッサコアを含む単一のプロセッサ又は複数のプロセッサを示してもよい。プロセッサ1501は、マイクロプロセッサ、中央処理装置(CPU)等のような1つ又は複数の汎用プロセッサを示してもよい。より具体的には、プロセッサ1501は、複雑コマンドセット計算(CISC)マイクロプロセッサ、縮小コマンドセットコンピュータ(RISC)マイクロプロセッサ、超長コマンド語(VLIW)マイクロプロセッサ、又は他のコマンドセットを実現するプロセッサ、又はコマンドセットの組合せを実現するプロセッサであってもよい。プロセッサ1501は、さらに、専用集積回路(ASIC)、セルラ又はベースバンドプロセッサ、フィールドプログラマブルゲートアレイ(FPGA)、デジタル信号プロセッサ(DSP)、グラフィックプロセッサ、ネットワークプロセッサ、通信プロセッサ、暗号プロセッサ、コプロセッサ、組み込みプロセッサのような1つ又は複数の専用プロセッサ、あるいはコマンド処理可能な任意の他のタイプのロジックであってもよい。
システム800は、IO装置、例えば装置1505〜1508をさらに備えてもよく、ネットワークインターフェース装置1505、選択可能な入力装置1506及び他の選択可能なIO装置1507を備えてもよい。ネットワークインターフェースデバイス1505は、無線送受信機(無線トランシーバ)及び/又はネットワークインターフェースカード(NIC)を備えてもよい。前記無線送受信機は、WiFi送受信機、赤外送受信機、ブルートゥース送受信機、WiMax送受信機、無線セルラーホン送受信機、衛星送受信機(例えば、全地球測位システム(GPS)送受信機)又は他の無線周波数(RF)送受信機又はそれらの組合せであってもよい。NICは、イーサネット(登録商標)カードであってもよい。
O装置1507は、音声装置を備えてもよい。音声装置は、スピーカ及び/又はマイクロホンを含んでもよく、それにより音声認識、音声コピー、デジタル記録及び/又は電話機能のような音声サポートの機能を促進する。他のIO装置1507は、汎用シリアルバス(USB)ポート、パラレルポート、シリアルポート、印刷機、ネットワークインターフェース、バスブリッジ(例えば、PCI〜PCIブリッジ)、センサ(例えば、加速度計、ジャイロスコープ、磁力計、光センサ、コンパス、近接センサ等のようなモーションセンサ)又はそれらの組合せをさらに備えてもよい。装置1507は、結像処理サブシステム(例えば、カメラ)をさらに備えてもよく、前記結像処理サブシステムは、カメラ機能(例えば、写真及びビデオ断片の記録)を促進するための電荷カップリング装置(CCD)又は相補型金属酸化物半導体(CMOS)光学センサのような光学センサを備えてもよい。あるセンサは、センサハブ(図示せず)によって相互接続部材1510に接続されてもよく、キーボード又は熱センサのような他の装置は、組み込みコントローラ(図示せず)により制御されてもよく、これはシステム800の特定配置又は設計により決められる。

Claims (24)

  1. 自律走行車を走行させるためのコンピュータ実施方法において、
    前記自律走行車の現在情報および前記自律走行車の履歴情報に基づいて、複数の状態の中から前記自律走行車の第1の状態を判断するステップと、
    前記現在情報および前記履歴情報に基づいて、1つまたは複数の条件を満たしているかどうかを決定するステップと、
    満たしていると判定された前記1つまたは複数の条件に基づいて、前記複数の状態から前記自律走行車の次の状態を決定し、前記自律走行車の前記第1の状態から前記次の状態への遷移を決定するステップと、
    前記自律走行車の前記遷移に基づいて、複数のモーション計画のうちの1つを選択するステップであって、前記選択されたモーション計画は、その後に前記自律走行車を制御するのに使用される、ステップとを含む、方法。
  2. 請求項1に記載の方法において、
    前記状態は、初期状態、停止状態、正常状態、異常状態または終了状態を含む、方法。
  3. 請求項1に記載の方法において、
    前記1つまたは複数の条件は、(a)前記自律走行車の速度、(b)前記自律走行車のエラー、(c)前記自律走行車の運行環境における天気に関する情報、(d)前記自律走行車の走行方向、(e)前記自律走行車が衝突に関連されていることを示す情報、または(f)前記自律走行車が加速または減速中であるかどうかを示す情報のうち少なくとも一つを含む、方法。
  4. 請求項1に記載の方法において、
    前記自律走行車の前記次の状態は、前記1つまたは複数の条件と前記自律走行車の前記次の状態との間の対応関係を記憶している第1のルックアップテーブルを使用して決定される、方法。
  5. 請求項4に記載の方法において、
    前記1つまたは複数の条件は、前記第1のルックアップテーブルに2進数で表現される、方法。
  6. 請求項1に記載の方法において、
    前記モーション計画は、前記自律走行車の前記遷移と前記モーション計画との間の対応関係を記憶している第2のルックアップテーブルを使用して、前記複数のモーション計画から選択される、方法。
  7. 請求項1に記載の方法において、
    前記現在情報は、前記自律走行車の現在軌跡、前記自律走行車の現在速度、前記自律走行車が現在に加速中であるかどうかを示す情報、前記自律走行車が現在に減速中であるかどうかを示す情報、および前記自律走行車の現在状態を含む、方法。
  8. 請求項1に記載の方法において、
    前記履歴情報は、前記自律走行車の過去軌跡、前記自律走行車の過去速度、前記自律走行車が過去に加速中であったかどうかを示す情報、前記自律走行車が過去に減速中であったかどうかを示す情報、前記自律走行車の過去状態、及び前記自律走行車によって満たしている過去の条件を含む、方法。
  9. コマンドを記憶し、
    前記コマンドがプロセッサによって実行されるとき、前記プロセッサに動作を実行させる、非一時的機械可読媒体であって、
    前記動作は、
    自律走行車の現在情報および前記自律走行車の履歴情報に基づいて、複数の状態の中から前記自律走行車の第1の状態を判断することと、
    前記現在情報および前記履歴情報に基づいて、1つまたは複数の条件を満たしているかどうかを決定することと、
    満たしていると判定された前記1つまたは複数の条件に基づいて、前記複数の状態から前記自律走行車の次の状態を決定し、前記自律走行車の前記第1の状態から前記次の状態への遷移を決定することと、
    前記自律走行車の前記遷移に基づいて、複数のモーション計画のうちの1つを選択することであって、前記選択されたモーション計画は、その後に前記自律走行車を制御するのに使用される、こととを含む、非一時的機械可読媒体。
  10. 請求項9に記載の非一時的機械可読媒体において、
    前記状態は、初期状態、停止状態、正常状態、異常状態または終了状態を含む、非一時的機械可読媒体。
  11. 請求項9に記載の非一時的機械可読媒体において、
    前記1つまたは複数の条件は、(a)前記自律走行車の速度、(b)前記自律走行車のエラー、(c)前記自律走行車の運行環境における天気に関する情報、(d)前記自律走行車の走行方向、(e)前記自律走行車が衝突に関連されていることを示す情報、または(f)前記自律走行車が加速または減速中であるかどうかを示す情報のうち少なくとも一つを含む、非一時的機械可読媒体。
  12. 請求項9に記載の非一時的機械可読媒体において、
    前記自律走行車の前記次の状態は、前記1つまたは複数の条件と前記自律走行車の前記次の状態との間の対応関係を記憶している第1のルックアップテーブルを使用して決定される、非一時的機械可読媒体。
  13. 請求項12に記載の非一時的機械可読媒体において、
    前記1つまたは複数の条件は、前記第1のルックアップテーブルに2進数で表現される、非一時的機械可読媒体。
  14. 請求項9に記載の非一時的機械可読媒体において、
    前記モーション計画は、前記自律走行車の前記遷移と前記モーション計画との間の対応関係を記憶している第2のルックアップテーブルを使用して、前記複数のモーション計画から選択される、非一時的機械可読媒体。
  15. 請求項9に記載の非一時的機械可読媒体において、
    前記現在情報は、前記自律走行車の現在軌跡、前記自律走行車の現在速度、前記自律走行車が現在に加速中であるかどうかを示す情報、前記自律走行車が現在に減速中であるかどうかを示す情報、および前記自律走行車の現在状態を含む、非一時的機械可読媒体。
  16. 請求項9に記載の非一時的機械可読媒体において、
    前記履歴情報は、前記自律走行車の過去軌跡、前記自律走行車の過去速度、前記自律走行車が過去に加速中であったかどうかを示す情報、前記自律走行車が過去に減速中であったかどうかを示す情報、前記自律走行車の過去状態、及び前記自律走行車によって満たしている過去の条件を含む、非一時的機械可読媒体。
  17. プロセッサと、
    前記プロセッサに接続され、コマンドを記憶するメモリを含み、
    前記コマンドが前記プロセッサによって実行されるとき、前記プロセッサに動作を実行させる、データ処理システムであって、
    前記動作は、
    自律走行車の現在情報および前記自律走行車の履歴情報に基づいて、複数の状態の中から前記自律走行車の第1の状態を判断することと、
    前記現在情報および前記履歴情報に基づいて、1つまたは複数の条件を満たしているかどうかを決定することと、
    満たしていると判定された前記1つまたは複数の条件に基づいて、前記複数の状態から前記自律走行車の次の状態を決定し、前記自律走行車の前記第1の状態から前記次の状態への遷移を決定することと、
    前記自律走行車の前記遷移に基づいて、複数のモーション計画のうちの1つを選択することであって、前記選択されたモーション計画は、その後に前記自律走行車を制御するのに使用される、こととを含む、システム。
  18. 請求項17に記載のシステムにおいて、
    前記状態は、初期状態、停止状態、正常状態、異常状態または終了状態を含む、システム。
  19. 請求項17に記載のシステムにおいて、
    前記1つまたは複数の条件は、(a)前記自律走行車の速度、(b)前記自律走行車のエラー、(c)前記自律走行車の運行環境における天気に関する情報、(d)前記自律走行車の走行方向、(e)前記自律走行車が衝突に関連されていることを示す情報、または(f)前記自律走行車が加速または減速中であるかどうかを示す情報のうち少なくとも一つを含む、システム。
  20. 請求項17に記載のシステムにおいて、
    前記自律走行車の前記次の状態は、前記1つまたは複数の条件と前記自律走行車の前記次の状態との間の対応関係を記憶している第1のルックアップテーブルを使用して決定される、システム。
  21. 請求項20に記載のシステムにおいて、
    前記1つまたは複数の条件は、前記第1のルックアップテーブルに2進数で表現される、システム。
  22. 請求項17に記載のシステムにおいて、
    前記モーション計画は、前記自律走行車の前記遷移と前記モーション計画との間の対応関係を記憶している第2のルックアップテーブルを使用して、前記複数のモーション計画から選択される、システム。
  23. 請求項17に記載のシステムにおいて、
    前記現在情報は、前記自律走行車の現在軌跡、前記自律走行車の現在速度、前記自律走行車が現在に加速中であるかどうかを示す情報、前記自律走行車が現在に減速中であるかどうかを示す情報、および前記自律走行車の現在状態を含む、システム。
  24. 請求項17に記載のシステムにおいて、
    前記履歴情報は、前記自律走行車の過去軌跡、前記自律走行車の過去速度、前記自律走行車が過去に加速中であったかどうかを示す情報、前記自律走行車が過去に減速中であったかどうかを示す情報、前記自律走行車の過去状態、及び前記自律走行車によって満たしている過去の条件を含む、システム。
JP2018517840A 2016-12-30 2017-05-24 モーション計画に基づく自律走行車の走行方法およびシステム Active JP6602967B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/396,214 US10459441B2 (en) 2016-12-30 2016-12-30 Method and system for operating autonomous driving vehicles based on motion plans
US15/396,214 2016-12-30
PCT/US2017/034146 WO2018125275A1 (en) 2016-12-30 2017-05-24 Method and system for operating autonomous driving vehicles based on motion plans

Publications (2)

Publication Number Publication Date
JP2019506647A true JP2019506647A (ja) 2019-03-07
JP6602967B2 JP6602967B2 (ja) 2019-11-06

Family

ID=62709790

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018517840A Active JP6602967B2 (ja) 2016-12-30 2017-05-24 モーション計画に基づく自律走行車の走行方法およびシステム

Country Status (6)

Country Link
US (1) US10459441B2 (ja)
EP (1) EP3359436B1 (ja)
JP (1) JP6602967B2 (ja)
KR (1) KR102070530B1 (ja)
CN (1) CN108602509B (ja)
WO (1) WO2018125275A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022239250A1 (ja) * 2021-05-14 2022-11-17 三菱電機株式会社 行動決定装置、行動決定方法、行動決定プログラム、設計支援装置、設計支援方法および設計支援プログラム

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201703967D0 (en) * 2017-03-13 2017-04-26 Computational Eng Sg Decision aid system for remotely controlled/partially autonomous vessels
JP6624158B2 (ja) * 2017-05-22 2019-12-25 株式会社デンソー 電子制御装置
JP6653381B2 (ja) * 2017-05-22 2020-02-26 バイドゥドットコム タイムズ テクノロジー (ベイジン) カンパニー リミテッドBaidu.com Times Technology (Beijing) Co., Ltd. 自律走行車の制御フィードバックに基づくマップ更新方法およびシステム
DE102017208762A1 (de) * 2017-05-23 2018-11-29 Bayerische Motoren Werke Aktiengesellschaft Fahrsystem zum automatisierten Fahren mit Mitteln zum Markieren von Bereichen am Lenkrad und entsprechendes Verfahren
US10571916B2 (en) * 2017-07-14 2020-02-25 Uatc, Llc Control method for autonomous vehicles
JP6974465B2 (ja) * 2017-07-18 2021-12-01 パイオニア株式会社 制御装置、制御方法、およびプログラム
US11150667B2 (en) * 2017-09-27 2021-10-19 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Nonreputable authenticated traffic signs
GB2587135B (en) * 2018-03-23 2022-09-14 Jaguar Land Rover Ltd Vehicle controller and control method
CN109211257B (zh) * 2018-08-31 2021-07-16 北京图森智途科技有限公司 一种无人驾驶车行驶路线规划方法和系统
US10908613B2 (en) * 2018-10-15 2021-02-02 Baidu Usa Llc Optimal longitudinal trajectory generation under varied lateral acceleration constraints
CN112868022B (zh) * 2018-10-16 2024-08-20 法弗人工智能有限公司 自动驾驶车辆的驾驶场景
US11294381B2 (en) * 2018-11-21 2022-04-05 Toyota Motor North America, Inc. Vehicle motion adaptation systems and methods
KR102133418B1 (ko) * 2018-11-27 2020-07-14 (주)언맨드솔루션 자율주행 시스템
US11180145B2 (en) 2018-11-29 2021-11-23 Baidu Usa Llc Predetermined calibration table-based vehicle control system for operating an autonomous driving vehicle
US10882534B2 (en) * 2018-11-29 2021-01-05 Baidu Usa Llc Predetermined calibration table-based vehicle throttle/brake assist system for L2 autonomous driving
US11055857B2 (en) * 2018-11-30 2021-07-06 Baidu Usa Llc Compressive environmental feature representation for vehicle behavior prediction
US10940851B2 (en) * 2018-12-12 2021-03-09 Waymo Llc Determining wheel slippage on self driving vehicle
CN113165174B (zh) * 2018-12-13 2024-05-24 西门子股份公司 包括可到达性分析的自动化系统
CN109655075B (zh) * 2019-01-16 2021-09-14 北京百度网讯科技有限公司 无人车定位方法及设备
KR102634361B1 (ko) * 2019-04-01 2024-02-08 현대자동차주식회사 차량을 이용한 4차원 효과 제공 장치 및 방법
JP7193623B2 (ja) * 2019-04-23 2022-12-20 日立Astemo株式会社 車両制御装置及びコンピュータプログラム
CN112424847B (zh) * 2019-06-14 2023-02-17 北京航迹科技有限公司 用于监控车辆的系统和方法
CN110304074B (zh) * 2019-06-28 2020-07-31 电子科技大学 一种基于分层状态机的混合式驾驶方法
SE544208C2 (en) * 2019-08-23 2022-03-01 Scania Cv Ab Method and control arrangement for vehicle motion planning and control algorithms
CN112748720A (zh) * 2019-10-29 2021-05-04 北京百度网讯科技有限公司 自动驾驶车辆的控制方法、装置、设备及存储介质
US11643105B2 (en) 2020-02-21 2023-05-09 Argo AI, LLC Systems and methods for generating simulation scenario definitions for an autonomous vehicle system
US11429107B2 (en) 2020-02-21 2022-08-30 Argo AI, LLC Play-forward planning and control system for an autonomous vehicle
CN111391849B (zh) * 2020-03-11 2021-10-29 三一机器人科技有限公司 车辆控制方法、装置、车辆和可读存储介质
CN113492872B (zh) * 2020-03-20 2023-07-04 际络科技(上海)有限公司 驾驶模式切换方法、系统以及计算机可读存储介质
US11577644B2 (en) * 2020-06-18 2023-02-14 Baidu Usa Llc L3-level auto-emergency light system for ego vehicle harsh brake
CN112158199B (zh) * 2020-09-25 2022-03-18 阿波罗智能技术(北京)有限公司 巡航控制方法、装置、设备、车辆及介质
US11648959B2 (en) 2020-10-20 2023-05-16 Argo AI, LLC In-vehicle operation of simulation scenarios during autonomous vehicle runs
CN114913710B (zh) * 2021-02-07 2023-12-05 清华大学 人车交互决策方法及装置、存储介质、终端
US12019449B2 (en) 2021-02-18 2024-06-25 Argo AI, LLC Rare event simulation in autonomous vehicle motion planning
CN113183953B (zh) * 2021-05-28 2024-03-08 北京理工大学 基于分布式驱动底盘的车辆碰后主动安全控制方法及系统
CN113485347B (zh) * 2021-07-16 2023-11-21 上海探寻信息技术有限公司 一种运动轨迹的优化方法、系统
CN113501008B (zh) * 2021-08-12 2023-05-19 东风悦享科技有限公司 一种基于强化学习算法的自动驾驶行为决策方法
KR102606714B1 (ko) * 2021-11-16 2023-11-29 주식회사 베이리스 차량 제동 거리를 이용한 자율 주행 제어 시스템 및 그 제어 방법
US20240267779A1 (en) * 2023-02-03 2024-08-08 Tusimple, Inc. Autonomous vehicle communication gateway manager
CN117236646B (zh) * 2023-11-10 2024-03-12 杭州一喂智能科技有限公司 车辆调度方法、装置、电子设备和计算机可读介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140244096A1 (en) * 2013-02-27 2014-08-28 Electronics And Telecommunications Research Institute Apparatus and method for cooperative autonomous driving between vehicle and driver
US20150120124A1 (en) * 2013-10-30 2015-04-30 Volkswagen Ag Process and device to enable or disable an automatic driving function
JP2015199439A (ja) * 2014-04-09 2015-11-12 日立オートモティブシステムズ株式会社 走行制御装置、車載用表示装置、及び走行制御システム
US9511767B1 (en) * 2015-07-01 2016-12-06 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle action planning using behavior prediction

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5229941A (en) 1988-04-14 1993-07-20 Nissan Motor Company, Limtied Autonomous vehicle automatically running on route and its method
US5646845A (en) 1990-02-05 1997-07-08 Caterpillar Inc. System and method for controlling an autonomously navigated vehicle
JPH0619307B2 (ja) 1990-12-30 1994-03-16 株式会社堀場製作所 自動車自動運転ロボットの制御方法
MXPA05004988A (es) * 2002-11-08 2005-12-05 Arbitration Forums Inc Un sistema y procedimiento para subrogacion electronica, manejo de flujo de trabajo entre organizaciones, procesamiento de transaccion entre organizaciones e interaccion de usuario con en una red informatica optimizada.
US9818136B1 (en) * 2003-02-05 2017-11-14 Steven M. Hoffberg System and method for determining contingent relevance
US7590589B2 (en) * 2004-09-10 2009-09-15 Hoffberg Steven M Game theoretic prioritization scheme for mobile ad hoc networks permitting hierarchal deference
KR100598075B1 (ko) 2004-11-03 2006-07-10 한국전자통신연구원 Ifft/fft 프로세서에 있어서 룩업테이블을 이용한데이터변환 방법
US20100228427A1 (en) 2009-03-05 2010-09-09 Massachusetts Institute Of Technology Predictive semi-autonomous vehicle navigation system
JP2012073173A (ja) * 2010-09-29 2012-04-12 Navitime Japan Co Ltd 目的地履歴登録システム、サーバ装置、目的地履歴登録装置、目的地履歴登録方法、および、プログラム
US9783230B2 (en) * 2011-04-19 2017-10-10 Ford Global Technologies, Llc Trailer backup assist system with off-shoot correction
US9708000B2 (en) * 2011-04-19 2017-07-18 Ford Global Technologies, Llc Trajectory planner for a trailer backup assist system
US8996224B1 (en) * 2013-03-15 2015-03-31 Google Inc. Detecting that an autonomous vehicle is in a stuck condition
US10037689B2 (en) * 2015-03-24 2018-07-31 Donald Warren Taylor Apparatus and system to manage monitored vehicular flow rate
US8849494B1 (en) * 2013-03-15 2014-09-30 Google Inc. Data selection by an autonomous vehicle for trajectory modification
KR101751163B1 (ko) 2013-03-15 2017-06-26 폭스바겐 악티엔 게젤샤프트 차량의 경로 판정 시스템 및 그 방법
US9975550B2 (en) * 2013-05-31 2018-05-22 Toyota Jidosha Kabushiki Kaisha Movement trajectory predicting device and movement trajectory predicting method
US9809219B2 (en) * 2014-01-29 2017-11-07 Continental Automotive Systems, Inc. System for accommodating a pedestrian during autonomous vehicle operation
US9079587B1 (en) * 2014-02-14 2015-07-14 Ford Global Technologies, Llc Autonomous control in a dense vehicle environment
US20150260531A1 (en) 2014-03-12 2015-09-17 Logawi Data Analytics, LLC Route planning system and methodology which account for safety factors
US9229453B1 (en) * 2014-08-29 2016-01-05 GM Global Technology Operations LLC Unified motion planner for autonomous driving vehicle in avoiding the moving obstacle
US9751558B2 (en) * 2015-03-25 2017-09-05 Ford Global Technologies, Llc Handwheel obstruction detection and inertia compensation
US9840240B2 (en) * 2015-04-09 2017-12-12 Ford Global Technologies, Llc Trailer backup aid speed limiting via braking
JP2017001532A (ja) * 2015-06-10 2017-01-05 富士重工業株式会社 車両の走行制御装置
US9821801B2 (en) * 2015-06-29 2017-11-21 Mitsubishi Electric Research Laboratories, Inc. System and method for controlling semi-autonomous vehicles
US20170011465A1 (en) * 2015-07-08 2017-01-12 Here Global B.V. Method and apparatus for providing fee rate based on safety score
US9834224B2 (en) * 2015-10-15 2017-12-05 International Business Machines Corporation Controlling driving modes of self-driving vehicles
US9755941B2 (en) * 2015-11-04 2017-09-05 Veniam, Inc. Adaptive rate control for vehicular networks
US9720415B2 (en) * 2015-11-04 2017-08-01 Zoox, Inc. Sensor-based object-detection optimization for autonomous vehicles
US9849364B2 (en) * 2016-02-02 2017-12-26 Bao Tran Smart device
US10188024B2 (en) * 2016-05-02 2019-01-29 Cnh Industrial America Llc System for conducting an agricultural operation using an autonomous vehicle
US10152891B2 (en) * 2016-05-02 2018-12-11 Cnh Industrial America Llc System for avoiding collisions between autonomous vehicles conducting agricultural operations
US9829883B1 (en) * 2016-10-17 2017-11-28 Ford Global Technologies, Llc Trailer backup assist system having remote control and user sight management
US10502318B2 (en) * 2016-11-29 2019-12-10 Nio Usa, Inc. Remote locking system for an autonomous vehicle

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140244096A1 (en) * 2013-02-27 2014-08-28 Electronics And Telecommunications Research Institute Apparatus and method for cooperative autonomous driving between vehicle and driver
US20150120124A1 (en) * 2013-10-30 2015-04-30 Volkswagen Ag Process and device to enable or disable an automatic driving function
JP2015199439A (ja) * 2014-04-09 2015-11-12 日立オートモティブシステムズ株式会社 走行制御装置、車載用表示装置、及び走行制御システム
US9511767B1 (en) * 2015-07-01 2016-12-06 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle action planning using behavior prediction

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022239250A1 (ja) * 2021-05-14 2022-11-17 三菱電機株式会社 行動決定装置、行動決定方法、行動決定プログラム、設計支援装置、設計支援方法および設計支援プログラム

Also Published As

Publication number Publication date
US10459441B2 (en) 2019-10-29
CN108602509B (zh) 2021-10-26
JP6602967B2 (ja) 2019-11-06
US20180188727A1 (en) 2018-07-05
CN108602509A (zh) 2018-09-28
EP3359436A1 (en) 2018-08-15
KR20180092314A (ko) 2018-08-17
EP3359436B1 (en) 2020-08-26
WO2018125275A1 (en) 2018-07-05
EP3359436A4 (en) 2018-11-21
KR102070530B1 (ko) 2020-01-28

Similar Documents

Publication Publication Date Title
JP6602967B2 (ja) モーション計画に基づく自律走行車の走行方法およびシステム
CN110794823B (zh) 预测自动驾驶车辆的对象移动的方法和系统
JP6499806B2 (ja) 自律走行車のステアリング率の動的調整
KR102078488B1 (ko) 차량 주변의 컨텍스트에 기초하여 차량의 하나 이상의 궤적을 예측하는 방법 및 시스템
CN107943016B (zh) 用于自主车辆的群体驾驶风格学习框架
JP6619778B2 (ja) 自律走行車の車両交通行動を予測して運転決定をするための方法及びシステム
US10816973B2 (en) Utilizing rule-based and model-based decision systems for autonomous driving control
KR102096726B1 (ko) 자율 주행 차량의 운행을 위한 제어 오류 보정 계획 방법
CN108255170B (zh) 动态地调整自动驾驶车辆的速度控制率的方法
JP2021501714A (ja) 自動運転車両のための低速シーンにおける歩行者インタラクションシステム
JP2020514145A (ja) シミュレーションに基づく自動運転車の感知要求の評価方法
JP2018531385A6 (ja) 自律走行車を運行させるための制御エラー補正計画方法
JP2019500256A (ja) 自律走行車の移動をシミュレートするための物理モデル及び機械学習結合方法
JP2019500661A (ja) 自律走行車を完全に停止させるための速度制御
JP2019503523A (ja) 自律走行車のための車両の位置点の配信方法
JP2019189213A (ja) 自動運転車における車線後処理
JP6932196B2 (ja) 自動運転車両のための螺旋経路に基づく3ポイントターン計画
WO2020132938A1 (en) Methods for obstacle filtering for non-nudge planning system in autonomous driving vehicle
JP2021501713A (ja) 自動運転車両のための制御主導型の3ポイントターン計画
JP6892516B2 (ja) 列挙に基づく自動運転車両の3ポイントターン計画
JP2020529348A (ja) 自動運転車両のためのスピード制御コマンド自動較正システム
CN111629947B (zh) 自动驾驶车辆的用于生成参考线的方法和系统
CN112041637A (zh) 用于3级自动驾驶车辆的无地图且基于摄像机的车道标识取样方法
CN111801638B (zh) 基于枚举的自动驾驶车辆的三点转弯规划

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180413

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190903

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190917

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191009

R150 Certificate of patent or registration of utility model

Ref document number: 6602967

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250