Nothing Special   »   [go: up one dir, main page]

JP7268481B2 - 情報処理装置、自律走行車両、情報処理方法及びプログラム - Google Patents

情報処理装置、自律走行車両、情報処理方法及びプログラム Download PDF

Info

Publication number
JP7268481B2
JP7268481B2 JP2019096229A JP2019096229A JP7268481B2 JP 7268481 B2 JP7268481 B2 JP 7268481B2 JP 2019096229 A JP2019096229 A JP 2019096229A JP 2019096229 A JP2019096229 A JP 2019096229A JP 7268481 B2 JP7268481 B2 JP 7268481B2
Authority
JP
Japan
Prior art keywords
autonomous vehicle
moving image
travel
travel plan
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019096229A
Other languages
English (en)
Other versions
JP2020189579A (ja
Inventor
晃年 軸丸
敦子 小林
健嗣 藤原
隆 山崎
瑞季 木内
雅行 後藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2019096229A priority Critical patent/JP7268481B2/ja
Priority to US16/822,205 priority patent/US20200371532A1/en
Priority to CN202010237839.2A priority patent/CN111976742B/zh
Publication of JP2020189579A publication Critical patent/JP2020189579A/ja
Application granted granted Critical
Publication of JP7268481B2 publication Critical patent/JP7268481B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0285—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using signals transmitted via a public communication network, e.g. GSM network
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0013—Planning or execution of driving tasks specially adapted for occupant comfort
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3667—Display of a road map
    • G01C21/367—Details, e.g. road map scale, orientation, zooming, illumination, level of detail, scrolling of road map or positioning of current position marker
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B60W2520/105—Longitudinal acceleration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/14—Yaw
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/16—Pitch
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/18—Roll

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Navigation (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • User Interface Of Digital Computer (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Description

本発明は、情報処理装置、自律走行車両、情報処理方法及びプログラムに関する。
近年、自律走行が可能な車両に関する技術の開発が進められている。例えば、特許文献１には、運転席乗員の顔の向きを検出し、運転席乗員がサブタスクを実行していると判定した場合には、運転席の斜め前も含む前方領域に配置されるディスプレイにサブタスクに対応する画面を表示する情報提供装置が記載されている。なお、サブタスクとは、映画やテレビ番組等といった動画鑑賞や、音楽の視聴、ニュースの確認、ゲームをすること、写真や画像データの閲覧、ＳＮＳ（social networking service）の利用、地図参照、書籍
を読むこと等といった事柄を指すものとされている。
特開２０１７－２２２２７１号公報
本発明は、自律走行が可能な車両において、よりエンターテイメント性の高い体験を乗車するユーザに提供することを目的とする。
本発明の第１の態様に係る情報処理装置は、走行経路および走行スケジュールを含む自律走行車両の走行計画を生成することと、前記自律走行車両の車室内に設けられる表示装置に表示する動画を生成することと、を実行する制御部を備える。また、前記制御部は、前記走行計画に沿って前記自律走行車両が走行する際の前記自律走行車両の挙動の少なくとも一部と走行中に前記表示装置に表示される前記動画の少なくとも一部とが連動するように、前記走行計画又は前記動画を生成する。
本発明の第２の態様に係る情報処理方法は、走行経路および走行スケジュールを含む自律走行車両の走行計画を生成することと、前記自律走行車両の車室内に設けられる表示装置に表示する動画を生成することと、をコンピュータが実行する。また、当該コンピュータは、前記走行計画に沿って前記自律走行車両が走行する際の前記自律走行車両の挙動の少なくとも一部と走行中に前記表示装置に表示される前記動画の少なくとも一部とが連動するように、前記走行計画又は前記動画を生成する。
本発明の第３の態様に係るプログラムは、走行経路および走行スケジュールを含む自律走行車両の走行計画を生成することと、前記自律走行車両の車室内に設けられる表示装置に表示する動画を生成することと、をコンピュータに実行させる。また、前記コンピュータに、前記走行計画に沿って前記自律走行車両が走行する際の前記自律走行車両の挙動の少なくとも一部と走行中に前記表示装置に表示される前記動画の少なくとも一部とが連動するように、前記走行計画又は前記動画を生成させる。
本発明によれば、自律走行が可能な車両において、よりエンターテイメント性の高い体験を乗車するユーザに提供することができる。
図１は、本実施形態に係る車両の機能構成の一例を概略的に示すブロック図である。 図２は、動画生成処理の一例を示すフローチャートである。 図３は、走行計画と動画を説明するための図である。 図４は、走行計画を説明するための図である。 図５は、動画を説明するための図である。 図６は、車両の走行中に実行される動画表示処理の一例を示すフローチャートである。 図７は、動画生成処理の変形例を示すフローチャートである。 図８は、変形例に係るシステムの概略構成を示す図である。
本発明の第１の形態に係る情報処理装置は、自律走行が可能な車両（「自律走行車両」とも呼ぶ）の走行計画を生成すると共に、自律走行車両のユーザである乗員が車内で視聴するための動画のデータを生成する。ここで、走行計画は、自律走行車両が走行する走行経路と、走行経路上の各地点に到達する予定時刻を含む走行スケジュールを含む。また、情報処理装置は、走行計画に沿って自律走行車両が走行する際の自律走行車両の挙動の少なくとも一部と、生成する動画の少なくとも一部とが連動するように、走行計画又は動画を生成する。
自律走行車両の内部には、表示装置が設けられる。表示装置は、例えば、インストルメントパネル等に設けられる液晶モニタやタッチパネル、スクリーンに映像を投影するプロジェクター、フロントガラスやコンバイナーに映像を投影するヘッドアップディスプレイ、ＨＭＤ（Head Mount Display）等である。ユーザは、表示装置に表示される動画を視聴することができる。
動画は、映画や、２次元又は３次元のＣＧ（Computer Graphics）アニメーション、Ｖ
Ｒ（Virtual Reality）動画等の映像コンテンツである。本実施形態に係る情報処理装置
は、所定のアルゴリズムに基づいて動画を描画してもよいし、素材となる既存の動画データの少なくとも一部を連結して１つの動画を生成してもよい。また、情報処理装置は、例えばＰｒｏｃｅｓｓｉｎｇのような画像処理やアニメーションの出力に適したプログラミング環境におけるプログラムとして動画を生成し、プログラムを実行することで動画を再生するようにしてもよい。いずれの場合も、情報処理装置は、自律走行車両の走行時の挙動の少なくとも一部と連動するように、動画の内容の少なくとも一部を生成する。ここで、挙動とは、自律走行車両にかかる加減速度やヨーレート、ピッチレート、ロールレートの変化であってもよい。情報処理装置は、例えば、予め定められる目的地までの走行経路に基づいて、交差点を曲がるタイミングに合わせて、動画上の移動経路がカーブしたり、何らかのキャラクターが動作する様子を描画した動画を生成するようにしてもよい。
なお、動画の内容は、例えば空中や海底、宇宙、その他の現実又は空想上の場所を模した仮想空間内を乗員目線（一人称視点とも呼ぶ）で視点（カメラ）が移動することによって周囲の風景が変化する、疑似的な走行動画であってもよい。また、動画は、いわゆる一人称視点で表される、移動に伴う風景の変化を表現するものに限らず、何らかのキャラクターの動作を表現したものや、抽象的な形状や模様、色彩等が、車両の挙動と連動して変化するようなものであってもよい。また、動画は、映像だけでなく、図示していないスピーカーから出力される音響効果とも連動するものであってもよい。
また、自律走行車両は、現在地から、例えばユーザによって入力される目的地までの走行経路を決定する。地図情報及び自車両の位置情報を用いた経路の探索には、公知の方法
を採用することができる。
上記の情報処理装置によれば、自律走行車両に乗車して動画を視聴するユーザは、走行により受ける加速度に連動して内容が変化する動画を楽しむことができる。すなわち、ユーザに対し、乗車している車両は車道を走行していながら、よりエンターテイメント性の高い体験を提供することができる。
また、自律走行車両の走行時においては、情報処理装置は、例えば、道路の混雑状況に応じた減速や車線変更、または道路上の障害物回避のような外乱に対応するための自律走行車両の挙動に応じて、動画の内容を変更してもよい。例えば、情報処理装置は、自律走行車両の挙動に影響を与える外乱に応じて、動画上の進行方向に現れる障害物やキャラクターをリアルタイムに描画したり、これを回避するような視点の変化をリアルタイムに描画してもよい。
また、走行経路は、動画の内容の演出を加味して決定されるようにしてもよい。例えば、ユーザから視聴を希望する動画のジャンルや筋書きの選択を受け、選択されたジャンルや筋書きに好適な走行経路が選択される。例えば、予め定められる動画の内容の要所において自律走行車両に大きな加速度を生じさせられるカーブを含む径路や、振動を生じさせられる未舗装の道路を含む径路等が敢えて選択され得るようにしてもよい。また、自律走行車両は道路の混雑情報を別途取得し、動画の内容の要所に合わせて自律走行車両の加減速度や操舵角を変更し易いように、混雑していない経路が選択されるようにしてもよい。
以下、本発明の具体的な実施形態について図面に基づいて説明する。本実施形態に記載されている構成部品の寸法、材質、形状、その相対配置等は、特に記載がない限りは発明の技術的範囲をそれらのみに限定する趣旨のものではない。
＜実施形態＞
図１は、本実施形態に係る車両１００の機能構成の一例を概略的に示すブロック図である。車両１００は、自律走行を行う自律走行車両である。車両１００は、通信部１０１、記憶部１０２、センサ１０３、位置情報取得部１０４、駆動部１０５、制御部１０６、および表示装置１０７を含んで構成される。例えば、通信部１０１、記憶部１０２、位置情報取得部１０４、制御部１０６は、情報処理装置１０に含まれる。なお、情報処理装置１０はいわゆるコンピュータであり、例えば通信部１０１、記憶部１０２、又は位置情報取得部１０４は、情報処理装置１０の外部モジュールとして接続される構成であってもよい。なお、車両１００は、モータを原動機とする電気自動車である。ただし、車両１００の原動機は、電動モータに限定されるものではなく、内燃機関であってもよい。また、車両１００は、原動機としてモータおよび内燃機関の両方を有するハイブリッド車両であってもよい。
通信部１０１は、車両１００をネットワークに接続するための通信装置である。通信部１０１は、例えば３Ｇ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ）やＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ
Ｅｖｏｌｕｔｉｏｎ）等の移動体通信サービスを利用して、ネットワーク経由で、他のサーバ装置等と通信を行うことができる。車両１００は、通信部１０１を介して地図情報や車道の混雑情報を取得してもよい。なお、通信部１０１は、他の車両と車々間通信を行うための通信装置をさらに有していてもよい。
記憶部１０２は、情報を一時的に又は非一時的に記憶する装置であり、磁気ディスクやフラッシュメモリ等の記憶媒体により構成される。記憶部１０２には、例えば地図情報や車道の混雑情報が記憶される。また、記憶部１０２には、ユーザの行先である目的地や、後述する走行計画生成部１０６３によって生成される車両１００の走行計画、後述する動
画生成部１０６４によって生成される動画が記憶される。
センサ１０３は、車両１００の周囲の状況をセンシングするための装置である。具体的には、センサ１０３は、ステレオカメラ、レーザスキャナ、ＬＩＤＡＲ、レーダ等を含んで構成される。センサ１０３が取得した、車両１００の周囲の状況に関する情報は、制御部１０６に送信される。位置情報取得部１０４は、車両１００の現在位置を取得する装置であり、具体的にはＧＰＳ（Global Positioning System）受信器などを含んで構成され
る。位置情報取得部１０４が取得した車両１００の現在位置に関する情報は、制御部１０６に送信される。
制御部１０６は、車両１００の制御するための演算処理を行う機能を有する。制御部１０６は、例えば、マイクロコンピュータによって構成される。制御部１０６は、機能モジュールとして、環境検出部１０６１、走行制御部１０６２、走行計画生成部１０６３、及び動画生成部１０６４を有している。各機能モジュールは、制御部１０６が有するＲＯＭ等の記憶部に記憶されたプログラムを、ＣＰＵ等のプロセッサによって実行することで実現してもよい。また、一部または全部の機能はＡＳＩＣやＦＰＧＡのようなハードウェア回路によって実現されてもよい。
環境検出部１０６１は、センサ１０３が取得した情報に基づいて、車両１００の周囲の環境を検出する。例えば、環境検出部１０６１は、自車両の周囲に存在する他車両等の物体（人や動物を含む）を検出する。また、環境検出部１０６１は、道路における車線の数や位置、道路の構造、道路標識等の、車両１００の自律走行に必要となる種々の対象を検出する。また、環境検出部１０６１は、検出した物体をトラッキングしてもよい。この場合、例えば、１ステップ前に検出した物体の座標と、現在の該物体の座標との差分から、該物体の相対速度を求めてもよい。
また、走行制御部１０６２は、記憶部１０２に記憶された走行計画、位置情報取得部１０４が取得した車両１００の位置情報、および、環境検出部１０６１が検出した周囲環境のデータに基づいて、車両１００の走行を制御する車両制御装置である。例えば、走行制御部１０６２は、走行計画に含まれる走行経路上を該走行計画に含まれる走行スケジュールに沿って車両１００を走行させる。また、環境検出部１０６１によって、車両１００が衝突する可能性がある物体が検出された場合、走行制御部１０６２が、該物体との衝突を回避するよう車両１００を走行させる衝突回避制御を実行する。なお、上記のように車両１００を自律走行させる方法については、公知の方法を採用することができる。走行制御部が車両１００の走行を制御するために生成する指令である制御情報は、駆動部１０５へ出力されると共に、動画生成部１０６４にも出力される。
また、走行計画生成部１０６３は、例えば記憶部１０２に記憶されている地図情報や混雑情報、ユーザの目的地、位置情報取得部１０４から取得する位置情報を用いて自車両の走行計画を生成する。走行計画には、走行経路及び走行スケジュールが含まれる。なお、走行計画生成部１０６３は、動画の演出を加味して走行経路や走行スケジュールを決定してもよい。
動画生成部１０６４は、表示装置１０７に表示させる動画を生成する。また、動画生成部１０６４は、走行計画に沿って車両１００が走行する際の車両１００の挙動の少なくとも一部と走行中に表示装置１０７に表示される動画の少なくとも一部とが連動するように動画を生成する。
駆動部１０５は、原動機であるモータ、および、車両１００を走行させるための機構（例えば、インバータ、ブレーキ、およびステアリング機構）を含んで構成される。駆動部
１０５は、走行制御部１０６２が車両１００の走行を制御するために生成した指令に基づいて該車両１００を走行させる。これによって、車両１００の自律走行が実現される。
表示装置１０７は車室内に設けられる映像出力装置であり、例えばインストルメントパネル等に設けられる液晶モニタやタッチパネル、スクリーンに映像を投影するプロジェクター、フロントガラスやコンバイナーに映像を投影するヘッドアップディスプレイ、ＨＭＤ（Head Mount Display）等である。タッチパネルの場合は、ユーザの操作を受ける入力装置としても機能する。
（処理フロー）
以下、情報処理装置の制御部１０６が実行する処理について説明する。図２は、動画生成処理の一例を示すフローチャートである。まず、車両１００の走行計画生成部１０６３は、位置情報を取得すると共に、ユーザの目的地を取得する（図２：Ｓ１０１）。位置情報は、位置情報取得部１０４から例えば記憶部１０２を介して取得する。ユーザの目的地は、例えばユーザの操作に基づいて記憶部１０２に保持されているものとする。
そして、走行計画生成部１０６３が走行計画を生成すると共に、動画生成部１０６４が動画を生成する（図２：Ｓ１０２）。図３は、走行計画と動画を説明するための図である。図４は、走行計画の一例を説明するための図である。図３は、車両１００の現在位置Ｐ、目的地Ｇを含む模式的な地図を表している。また、図３においては、破線の矢印で走行計画に含まれる車両１００の走行経路を示している。走行経路は、道路上の経路を一意に特定するための情報であり、例えば交差点のような分岐点を示す識別情報又は緯度及び経度と対応する座標を含む位置情報を順に保持するデータ列として記憶部１０２に記憶するようにしてもよい。
また、図３において走行経路上の通過地点及び目的地に記載された時刻は走行スケジュールの一例であり、各地点を通過する予測時刻又は各地点へ到着する予測時刻を表している。図４に示す走行スケジュールは、例えば道路上の通過地点について、現在地からの距離や予定する走行速度を用いて算出され、通過地点を示す情報と通過予定時刻との組み合わせを複数含むデータ列として記憶部１０２に記憶される。具体的には、図３では、車両１００が、１０：００に現在地Ｐに存在し、目的地Ｇへ移動する場合、交差点である地点Ｂを１０：１５に右折し、交差点である地点Ｃを１０：２５に左折し、目的地Ｇには１０：４０に到着する計画になっている。なお、現在位置から目的地Ｇまでの走行経路は、図３における破線で示す経路に限られるものではない。つまり、走行計画生成部１０６３は、現在位置から目的地Ｇに至る複数の経路のうち、車両１００の移動中において、ユーザに対してよりエンターテイメント性の高い体験を提供することが可能な経路を走行経路として選択し、走行計画を生成してもよい。また、走行計画は道路の混雑状況等に基づいて適宜修正されるものであってもよい。以上のような走行経路及び走行スケジュールを含む走行計画に基づいて、走行制御部１０６２は車両１００を制御する。
また、図３において各吹き出し内に示す画像は、走行経路上における各通過地点を車両１００が走行した時点において表示装置１０７に表示される動画のシーンの一例を表している。また、図５は、動画の一例を示す図である。図５においては、再生開始からの経過時間を各場面の左に記載している。すなわち、再生開始から１５分間は、宇宙空間を直進する宇宙船から見える進行方向の景色を描いた場面が描画されている。そして、１５分経過時点において、宇宙船が進行方向を右に変更するときの景色を描いた場面が描画されている。その後、再生開始後２５分までの間は、宇宙船が岩石群を縫って揺れながら航行するときの景色を描いた場面が描画されている。そして、２５分経過時点において、宇宙船が進行方向を左に変更するときの景色を描いた場面が描画されている。その後、再生開始後２５分までの間は、宇宙船が直進するときの景色を描いた場面が描画されている。
動画生成部１０６４は、走行経路及び走行スケジュールに基づいて、例えば車両１００の加減速又はヨーレート、ピッチレート若しくはロールレートを含む挙動が変化するタイミングと、その変化の方向および変化量とを算出し、当該タイミングと、変化の方向および変化量に連動して、ユーザが視聴する映像の内容が変化する動画を生成することができる。例えば、交差点の地図情報から求められる旋回半径や、予定される車速に応じて内容が変化する動画が生成される。すなわち、図５は、走行経路上の車両１００の右折または左折と連動して視点の進行方向を変更し、仮想空間を一人称視点で視点が移動するようになっている。例えば、動画は、走行計画に含まれる、移動開始から１５分後の地点Ｂにおける車両１００の右折に連動して、動画における視点の進行方向が右に変化し、走行計画に含まれる、移動開始から２５分後の地点Ｃにおける車両１００の左折に連動して、動画における視点の進行方向が左に変化する内容になっている。
また、例えば、地点Ｂと地点Ｃとの間の区間は未舗装の道路であるものとする。当該区間を走行する車両１００には、舗装道路と比較して大きな揺れが生じると予測される。すなわち、車両１００には、上下方向の加減速度、ピッチやロールの短周期での変動といった挙動が生じるところ、当該区間を走行する予定の時間帯には、視聴者の乗る宇宙船が、岩石群（図５における、０：１５～０：２５の映像を示す図中の各菱形状物体は岩石を表すものとする）を縫って宇宙空間を航行する内容の映像を示す動画が生成されている。なお、動画の内容は、その少なくとも一部が車両１００の挙動の少なくとも一部と連動するものであれば、特に限定されないが、一人称視点で表現された、視点が移動することによって周囲の風景が変化する、疑似的な走行動画が好適である。
図６は、車両１００の走行中に実行される動画表示処理の一例を示すフローチャートである。車両１００の走行中において、動画生成部１０６４は、動画を表示装置１０７に表示させる（図６：Ｓ２０１）。本ステップでは、基本的に図２の動画生成処理において生成された、走行計画に基づく動画が、データとして表示装置１０７に出力される。一方、走行制御部１０６２は、走行計画に含まれる走行経路上を走行スケジュールに沿って車両１００を走行させるため、結果として動画の内容と車両１００の挙動とが連動するようになっている。
また、車両１００の走行中において、動画生成部１０６４は外乱が生じたか判断する（図６：Ｓ２０２）。例えば、環境検出部１０６１によって、車両１００が衝突する可能性がある物体が検出された場合、走行制御部１０６２が、該物体との衝突を回避するよう車両１００を走行させる衝突回避制御を実行する。このように、周囲の状況に応じて走行制御部１０６２が走行を制御する場合、動画生成部１０６４は外乱が生じたと判断するものとする。なお、例えば環境検出部１０６１が、車両１００にかかる加減速度又はヨーレートを検出し、所定の閾値以上である場合に外乱が生じたと判断してもよい。
Ｓ２０２において外乱が生じたと判断された場合（Ｓ２０２：ＹＥＳ）、動画生成部１０６４は外乱に応じて動画を変更する（図６：Ｓ２０３）。本ステップでは、動画生成部１０６４は、例えば車両１００にかかる加減速度又はヨーレートに応じて動画の内容を変更して描画する。例えば、駐車中の他の車両を避けて車両１００の進行方向が変更される場合、何らかの障害物や、登場するキャラクターの攻撃を避ける内容の動画をリアルタイムに描画するようにしてもよい。このように、動画は実際の道路の状況に応じて適宜変更されるものであってもよい。
Ｓ２０３の後、又はＳ２０２において外乱が生じたと判断されなかった場合（Ｓ２０２：ＮＯ）、動画生成部１０６４は、動画の生成及び出力を終了するか判断する（図６：Ｓ２０４）。本ステップでは、動画生成部１０６４は、例えばユーザが動画の再生を停止す
る操作を行った場合や、車両１００が目的地に到着した場合等に、動画の生成及び出力を終了すると判断する。そして、動画の生成及び出力を終了すると判断された場合（Ｓ２０４：ＹＥＳ）、動画表示処理を終了する。一方、動画の生成及び出力を終了しないと判断された場合（Ｓ２０４：ＮＯ）、動画生成部１０６４はＳ２０１に戻って処理を繰り返し、動画生成処理において走行計画都とともに生成された動画の再生を継続する。
（変形例１）
図７は、動画生成処理の変形例を示すフローチャートである。本変形例においては、ユーザが視聴を希望する動画の種類や筋書きが記憶部１０２にさらに記憶されるものとする。動画の種類や筋書きは予め複数用意され、各々が車両１００に生じさせるべき加減速度又はヨーレート、ピッチレート若しくはロールレート等を含むコンテンツ情報が定義されるようにしてもよい。また、コンテンツ情報には、加減速度又はヨーレート、ピッチレート若しくはロールレートを車両１００に生じさせる順序又は時間帯が定められていてもよい。このような演出が定義された、いわゆる動画のコンテとして表されるコンテンツ情報を用いることで、本変形例では、予め展開が定められた映像コンテンツに沿った走行経路を選択することができる。
車両１００の走行計画生成部１０６３は、位置情報を取得すると共に、ユーザの目的地を取得する（図７：Ｓ３０１）。本ステップは、図２に示したＳ１０１と同様である。
次に、走行計画生成部１０６３は、ユーザによる動画に関する選択を示す情報を取得する（図７：Ｓ３０２）。なお、例えばユーザの操作に応じて、予めユーザが視聴を希望する動画のジャンルや筋書きの選択を受け、記憶部１０２に保持しているものとする。また、動画のジャンルや筋書きと対応付けて、動画の内容の演出が定義され、予め記憶部１０２に保持されているものとする。例えば、ユーザは、宇宙空間を航行する宇宙船の動画を選択したものとする。また、宇宙船の動画は、物語の中盤において岩石群を縫って航行する演出を含み、この場面においてはヨーレートの短周期での変動、又は上下方向の加減速度やピッチ、ロールの短周期での変動といった挙動を車両１００に生じさせるべきことが定義されているものとする。
その後、走行計画生成部１０６３が走行計画を生成すると共に、動画生成部１０６４が動画を生成する（図７：Ｓ３０３）。本ステップは、図２に示したＳ１０２とほぼ同様であるが、走行計画生成部１０６３は、動画の演出を加味して走行経路を決定する。例えば、予め定められる動画の内容の要所において、所望の挙動を車両１００に生じさせられる走行経路が選択される。したがって、自律走行車両に大きな加速度を生じさせられるカーブを含む径路や、振動を生じさせられる未舗装の道路を含む径路等が敢えて選択され得る。例えば、ユーザが上述の宇宙船の動画を選択した場合は、上下方向の加減速度やピッチ、ロールの短周期での変動といった挙動を車両１００に生じさせることができる未舗装の道路を含む経路が選択され得る。
本変形例によれば、予め定められた動画のシナリオに沿った車両１００の挙動を実現し易い走行経路を選択することができる。
（変形例２）
図８は、変形例に係るシステムの概略構成を示す図である。システム１は、自律走行可能な複数の車両１００と、管理サーバ２００と、を含んで構成される。車両管理システム１においては、各車両１００と、管理サーバ２００とが、ネットワークＮ１によって相互に接続される。ネットワークＮ１には、例えば、インターネット等の世界規模の公衆通信網であるＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）や、携帯電話等の電話通信網が採用されてもよい。
本変形例においては管理サーバ２００において走行計画及び動画が生成され、ネットワークＮ１を介して車両１００に送信される。すなわち、図１に示した制御部１０６の走行計画生成部１０６３及び動画生成部１０６４の機能は、情報処理装置である管理サーバ２００によって実現される。
また、図１に示した機能ブロックの少なくとも一部に関して、複数の装置が異なる機能を分担して実現するようにしてもよいし、複数の装置が同じ機能を並列に実行するようにしてもよい。
＜その他の実施形態＞
上記の実施形態及び変形例はあくまでも一例であって、本発明はその要旨を逸脱しない範囲内で適宜変更して実施し得る。また、本開示において説明した処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。
また、１つの装置が行うものとして説明した処理が、複数の装置によって分担して実行されてもよい。あるいは、異なる装置が行うものとして説明した処理が、１つの装置によって実行されても構わない。コンピュータシステムにおいて、各機能をどのようなハードウェア構成（サーバ構成）によって実現するかは柔軟に変更可能である。
本発明は、上記の実施形態で説明した機能を実装したコンピュータプログラムをコンピュータに供給し、当該コンピュータが有する１つ以上のプロセッサがプログラムを読み出して実行することによっても実現可能である。このようなコンピュータプログラムは、コンピュータのシステムバスに接続可能な非一時的なコンピュータ可読記憶媒体によってコンピュータに提供されてもよいし、ネットワークを介してコンピュータに提供されてもよい。非一時的なコンピュータ可読記憶媒体は、例えば、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスクドライブ（ＨＤＤ）等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤディスク、ブルーレイディスク等）など任意のタイプのディスク、読み込み専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気カード、フラッシュメモリ、光学式カード、電子的命令を格納するために適した任意のタイプの媒体を含む。
１００・・車両
１０６・・制御部
１０７・・表示装置

Claims (7)

  1. 走行経路および走行スケジュールを含む自律走行車両の走行計画を生成することと、
    前記自律走行車両の車室内に設けられる表示装置に表示する動画を生成することと、
    を実行する制御部を備え、
    前記制御部は、
    前記走行計画に沿って前記自律走行車両が走行する際に発生すると予測される前記自律走行車両の上下方向における加減速度の変化の少なくとも一部を含む前記自律走行車両の挙動の少なくとも一部と前記動画の少なくとも一部とが連動するように前記走行計画に基づいて前記動画を生成し、
    前記自律走行車両が前記走行計画に沿って走行する時に、前記自律走行車両の挙動の少なくとも一部と予め生成された前記動画の少なくとも一部とが連動するように、前記動画を前記表示装置に表示させる
    情報処理装置。
  2. 前記制御部は、
    走行中の前記自律走行車両の挙動を制御する制御情報を生成し、
    前記制御情報に基づいて、前記自律走行車両の挙動と連動するように、前記自律走行車両の走行中に前記動画を変更する
    請求項１に記載の情報処理装置。
  3. 前記制御部は、前記動画の内容に対応して前記自律走行車両において生じさせるべき加減速度又はヨーレート、ピッチレート若しくはロールレートを含むコンテンツ情報を取得し、
    前記コンテンツ情報に基づいて、走行中の前記自律走行車両において生じる加減速度又はヨーレート、ピッチレート若しくはロールレートが、前記動画の内容と少なくとも一部の時点において対応するように前記走行計画を生成する
    請求項１又は２に記載の情報処理装置。
  4. 請求項１から３のいずれか一項に記載の情報処理装置と、
    前記表示装置と、
    を備える自律走行車両。
  5. 走行経路および走行スケジュールを含む自律走行車両の走行計画を生成することと、
    前記自律走行車両の車室内に設けられる表示装置に表示する動画を生成することと、
    をコンピュータが実行し、
    前記走行計画に沿って前記自律走行車両が走行する際に発生すると予測される前記自律走行車両の上下方向における加減速度の変化の少なくとも一部を含む前記自律走行車両の挙動の少なくとも一部と前記動画の少なくとも一部とが連動するように前記走行計画に基づいて前記動画を生成し、
    前記自律走行車両が前記走行計画に沿って走行する時に、前記自律走行車両の挙動の少なくとも一部と予め生成された前記動画の少なくとも一部とが連動するように、前記動画を前記表示装置に表示させる
    情報処理方法。
  6. 走行経路および走行スケジュールを含む自律走行車両の走行計画を生成することと、
    前記自律走行車両の車室内に設けられる表示装置に表示する動画を生成することと、
    をコンピュータに実行させ、
    前記走行計画に沿って前記自律走行車両が走行する際に発生すると予測される前記自律走行車両の上下方向における加減速度の変化の少なくとも一部を含む前記自律走行車両の挙動の少なくとも一部と前記動画の少なくとも一部とが連動するように前記走行計画に基づいて前記動画を生成させ、
    前記自律走行車両が前記走行計画に沿って走行する時に、前記自律走行車両の挙動の少なくとも一部と予め生成された前記動画の少なくとも一部とが連動するように、前記動画を前記表示装置に表示させる
    プログラム。
  7. 走行経路および走行スケジュールを含む自律走行車両の走行計画を生成すること、
    を実行する制御部を備え、
    前記制御部は、前記走行計画に沿って前記自律走行車両が走行する際の前記自律走行車両の挙動の少なくとも一部と、走行中に前記自律走行車両の車室内に設けられる表示装置に表示される動画であって予め定められた動画の少なくとも一部とが連動するように、前記走行計画を生成する
    情報処理装置。
JP2019096229A 2019-05-22 2019-05-22 情報処理装置、自律走行車両、情報処理方法及びプログラム Active JP7268481B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019096229A JP7268481B2 (ja) 2019-05-22 2019-05-22 情報処理装置、自律走行車両、情報処理方法及びプログラム
US16/822,205 US20200371532A1 (en) 2019-05-22 2020-03-18 Information processing device, autonomous vehicle, information processing method and program
CN202010237839.2A CN111976742B (zh) 2019-05-22 2020-03-30 信息处理装置、自动驾驶车辆、信息处理方法和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019096229A JP7268481B2 (ja) 2019-05-22 2019-05-22 情報処理装置、自律走行車両、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2020189579A JP2020189579A (ja) 2020-11-26
JP7268481B2 true JP7268481B2 (ja) 2023-05-08

Family

ID=73442043

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019096229A Active JP7268481B2 (ja) 2019-05-22 2019-05-22 情報処理装置、自律走行車両、情報処理方法及びプログラム

Country Status (3)

Country Link
US (1) US20200371532A1 (ja)
JP (1) JP7268481B2 (ja)
CN (1) CN111976742B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114291106A (zh) * 2021-12-30 2022-04-08 阿波罗智联(北京)科技有限公司 用于车辆的信息展示方法、装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150100179A1 (en) 2013-10-03 2015-04-09 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US20150286275A1 (en) 2014-04-08 2015-10-08 Eon Reality, Inc. Interactive virtual reality systems and methods
JP2017091170A (ja) 2015-11-09 2017-05-25 株式会社デンソー 提示制御装置及び提示制御方法
JP2017146963A (ja) 2016-02-18 2017-08-24 国立大学法人名古屋大学 仮想空間表示システム
JP2019049831A (ja) 2017-09-08 2019-03-28 パナソニックＩｐマネジメント株式会社 映像表示制御装置、映像表示システムおよび映像表示制御方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6445287B1 (en) * 2000-02-28 2002-09-03 Donnelly Corporation Tire inflation assistance monitoring system
US8890674B2 (en) * 2011-06-07 2014-11-18 Continental Automotive Systems, Inc. Driver assistance detection system
US9858832B1 (en) * 2013-03-14 2018-01-02 Allstate Insurance Company Interactive driver development
WO2017018844A1 (ko) * 2015-07-30 2017-02-02 삼성전자 주식회사 자율 주행 차량 및 그의 동작 방법
JP5957744B1 (ja) * 2015-07-31 2016-07-27 パナソニックＩｐマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
JP6337382B2 (ja) * 2016-05-19 2018-06-06 本田技研工業株式会社 車両制御システム、交通情報共有システム、車両制御方法、および車両制御プログラム
US9956876B2 (en) * 2016-05-25 2018-05-01 Baidu Usa Llc System and method for providing content in autonomous vehicles based on real-time traffic information
CN110383340B (zh) * 2016-08-19 2023-07-04 莫维迪厄斯有限公司 使用稀疏体积数据进行路径规划
US10186065B2 (en) * 2016-10-01 2019-01-22 Intel Corporation Technologies for motion-compensated virtual reality
JP6493923B2 (ja) * 2016-11-08 2019-04-03 本田技研工業株式会社 情報表示装置、情報表示方法、および情報表示プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150100179A1 (en) 2013-10-03 2015-04-09 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US20150286275A1 (en) 2014-04-08 2015-10-08 Eon Reality, Inc. Interactive virtual reality systems and methods
JP2017091170A (ja) 2015-11-09 2017-05-25 株式会社デンソー 提示制御装置及び提示制御方法
JP2017146963A (ja) 2016-02-18 2017-08-24 国立大学法人名古屋大学 仮想空間表示システム
JP2019049831A (ja) 2017-09-08 2019-03-28 パナソニックＩｐマネジメント株式会社 映像表示制御装置、映像表示システムおよび映像表示制御方法

Also Published As

Publication number Publication date
US20200371532A1 (en) 2020-11-26
JP2020189579A (ja) 2020-11-26
CN111976742A (zh) 2020-11-24
CN111976742B (zh) 2023-12-01

Similar Documents

Publication Publication Date Title
US10991159B2 (en) Providing a virtual reality transportation experience
US11927455B2 (en) Providing information to users of a transportation system using augmented reality elements
EP3244591B1 (en) System and method for providing augmented virtual reality content in autonomous vehicles
US10705536B2 (en) Method and system to manage vehicle groups for autonomous vehicles
JP4257661B2 (ja) ナビゲーション装置
EP3249552A1 (en) System and method for providing content in autonomous vehicles based on real-time traffic information
WO2012090325A1 (ja) ナビゲーション装置
KR102210140B1 (ko) 센서 데이터로부터 생성된 물체를 평활화하기 위한 맵 정보의 이용
JPWO2007142084A1 (ja) ナビゲーション装置
US11150102B2 (en) Virtual-space-image providing device and program for providing virtual space image
JP7268481B2 (ja) 情報処理装置、自律走行車両、情報処理方法及びプログラム
JP2007255989A (ja) ナビゲーションシステム、経路探索サーバ、端末装置および地図表示方法
JPWO2017208898A1 (ja) ナビゲーションシステムおよびナビゲーションプログラム
JP5232380B2 (ja) 地図表示装置
JP2019117435A (ja) 画像生成装置
JP2018157319A (ja) コンテンツ視聴装置、コンテンツ提供方法、及び移動体
JP6399745B2 (ja) 映像処理装置及びプログラム
JP7333445B2 (ja) 画像生成装置
Silvéria Virtual windshields: merging reality and digital content to improve the driving experience
CN117549740A (zh) 导航调整方法、装置、计算机设备及存储介质
WO2023175080A2 (en) System and method
JP2022187788A (ja) 仮想環境提供システム、及び仮想環境提供方法
CN118414532A (zh) 在旅途中选择用于显示的内容以缓解晕动症的方法、装置和计算机程序产品
JP2022164079A (ja) 運転支援装置、運転支援方法及びプログラム
JP2021154951A (ja) 評価装置、評価方法及び評価プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210729

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220725

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230207

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20230207

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230214

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20230221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230404

R151 Written notification of patent or utility model registration

Ref document number: 7268481

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151