JP2022504599A - リモートロボット制御を提供する方法及びシステム - Google Patents
リモートロボット制御を提供する方法及びシステム Download PDFInfo
- Publication number
- JP2022504599A JP2022504599A JP2021519702A JP2021519702A JP2022504599A JP 2022504599 A JP2022504599 A JP 2022504599A JP 2021519702 A JP2021519702 A JP 2021519702A JP 2021519702 A JP2021519702 A JP 2021519702A JP 2022504599 A JP2022504599 A JP 2022504599A
- Authority
- JP
- Japan
- Prior art keywords
- robot
- environment
- virtual
- virtualized environment
- virtualized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/02—Hand grip control means
- B25J13/025—Hand grip control means comprising haptic means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/085—Force or torque sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J5/00—Manipulators mounted on wheels or on carriages
- B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1689—Teleoperation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/005—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with signals other than visual, e.g. acoustic, haptic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Automation & Control Theory (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Aviation & Aerospace Engineering (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Manipulator (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
Description
(関連出願の相互参照)
本願は、2018年10月10日に提出された米国特許出願第16/156,969号の優先権を要求し、その全ての内容は引用によって本明細書に組み込まれていている。
一態様によれば、1つ又は複数のプロセッサ及びメモリを有するコンピューティング機器であって、前記コンピューティング機器はロボットに通信可能に結合され、第1組のプリプログラミングされた経路計画命令に基づいて前記ロボット用の計画経路を生成するように構成され、前記ロボットは、前記コンピューティング機器から受信された前記計画経路及びローカルに記憶されている経路実行命令に基づいて物理環境においてナビゲーションをするように構成されるコンピューティング機器において、混合イニシアチブ型ロボット制御を提供する方法を実行する。前記方法は、コンピューティング機器に結合される表示生成モジュールにより、制御ユーザインタフェースを表示することであって、現在前記ロボットを取り囲んでいる第1物理環境に対応する仮想化環境において仮想ポインタ対象を表示することを含み、前記仮想化環境は、前記ロボットと一緒に配置される第1のセンサ群から受信されたストリーミング環境データに基づいて生成されて更新されたものである、ことと、仮想化環境において前記仮想ポインタ対象を表示すると同時に、触覚対応型入力デバイスにより第1ユーザ入力を検出することであって、前記仮想化環境における前記仮想ポインタ対象の移動経路に沿った1つ又は複数の位置において第1移動入力及び1つ又は複数のマーク入力を検出することを含む、ことと、前記第1ユーザ入力を検出したことに応答して、前記第1移動入力に基づいて、仮想化環境において、前記仮想化環境における1つ又は複数の模擬表面により制限される第1移動経路に沿って前記仮想ポインタ対象を移動し、前記仮想化環境における第1移動経路の模擬材料及び/又は構造特徴に基づいて、前記触覚対応型入力デバイスにより触覚フィードバックを生成し、仮想化環境における1つ又は複数のマーク入力の位置に対応する仮想化環境の少なくとも一部を修正し、前記仮想化環境の代わりに、修正した仮想化環境を第1物理環境における、前記コンピューティング機器が前記第1組のプリプログラミングされた経路計画命令に基づいて実行する前記ロボットの経路計画の環境基礎とする、ことと、を含む。
様々な基本的なシステムサービスを処理してハードウェア関連タスクを実行するためのプロセスを含むオペレーティングシステム1116と、
ロボット102を他のコンピューティング機器に接続するためのネットワーク通信モジュール1118と、
ユーザインタフェース1110に関連する1つ又は複数の出力デバイス1112(例えば、ディスプレイ、スピーカーなど)を経由してロボット102で情報を呈示するための呈示モジュール1120と、
1つ又は複数の入力デバイス1114のうちの1つの入力装置からの1つ又は複数のユーザ入力又はインタラクションを検出し、検出した入力又はインタラクションを解釈するための入力処理モジュール1122と、
ロボット102のRGBDカメラ106を制御するためのカメラ制御ユニット1113と、ロボットのロボット操作ユニット1126を制御するためのロボット機能制御ユニット1117と、経路プランナの高レベルの命令に基づいて経路を実行するための経路実行ユニット1119と、本明細書に記載のロボット102の機能を実現させるための他のユニットと、を備える、ロボット102の機能を制御するロボット制御ユニット1124、
以上のようなプログラム、モジュール及びデータ構造、又はこれらの部分集合又は上位集合が記憶される。
様々な基本的なシステムサービスを処理してハードウェア関連タスクを実行するためのプロセスを含むオペレーティングシステム1216と、
サーバ110を他のコンピューティング機器(例えば、ユーザ側機器1300及びロボット102(カメラ106を含む))に接続するためのネットワーク通信モジュール1218と、
ユーザインタフェース1210に関連する1つ又は複数の出力デバイス1212(例えば、ディスプレイ、スピーカーなど)を経由してサーバ110で情報を呈示するための呈示モジュール1220と、
1つ又は複数の入力デバイス1214のうちの1つの入力装置からの1つ又は複数のユーザ入力又はインタラクションを検出し、検出した入力又はインタラクションを解釈するための入力処理モジュール1222と、
仮想化環境において対象セグメンテーションを実行する対象セグメンテーションモジュール1228と、ロボットから受信された画像及びデプスデータストリームに基づいて仮想化環境を生成して更新するためのKinectFusionモジュール1230と、触覚対応型入力デバイスにより提供されたユーザ入力に基づいて、仮想化環境における入力の位置により、触覚フィードバックを生成するように構成される触覚レンダリングモジュール1232と、仮想化環境において反力及び摩擦力レンダリング、対象インタラクションモデルを生成するための物理シミュレーションモジュール1234と、仮想化環境及び仮想化環境に存在する触覚マーク及び仮想対象に基づいて計画経路を生成するための経路計画モジュール1236と、ロボットを、経路実行を実行するように制御するコントローラモジュール1238と、ネットワーク遅延に基づいて経路計画を調整するネットワーク遅延補償モジュール1240と、本明細書に記載のサーバ110の他の機能を実現させる他のモジュール1242と、を備える、サーバ110の機能を制御するサーバ側モジュール1226、
以上のようなプログラム、モジュール及びデータ構造、又はこれらの部分集合又は上位集合が記憶される。
様々な基本的なシステムサービスを処理してハードウェア関連タスクを実行するためのプロセスを含むオペレーティングシステム1316と、
サーバ110を他のコンピューティング機器に接続するためのネットワーク通信モジュール1318と、
ユーザインタフェース1310に関連する1つ又は複数の出力デバイス1312(例えば、ディスプレイ、スピーカー、触覚対応型入力デバイス114など)を経由してユーザ側機器1300で情報を呈示するための呈示モジュール1220と、
1つ又は複数の入力デバイス1314(例えば、触覚対応型入力デバイス114)のうちの1つの入力装置からの1つ又は複数のユーザ入力又はインタラクションを検出し、検出した入力又はインタラクションを解釈するための入力処理モジュール1222と、
文字処理、描画などのような種々のユーザレベルの機能を実現させるためのアプリケーションプログラム1324と、
ユーザ層モジュール138と、本明細書に記載のユーザ側機器の他の機能を実現させる他のモジュール1330と、を備える、ユーザ側モジュール1326、
以上のようなプログラム、モジュール及びデータ構造、又はこれらの部分集合又は上位集合が記憶される。
104 ローカルサイト
105 リモートサイト
106 カメラ
108 作業者
110 サーバ
114 入力デバイス
116 仮想対象
118 ポインタ対象
120 中央演算機器
138 ユーザ層モジュール
200 複合現実システム構造
302 グラフィック処理ユニット
306 ポイントクラウド
700 ユーザインタフェース
702 可視レンダリング領域
704 ターゲット
705 ポインタ
706 対象タイプ選択領域
708 道路標識
710 対象形状選択領域
712 表面材料選択領域
714 表面テクスチャ選択領域
716 ステージング領域
718 仮想ドーム
718 ドーム
722 クラック
724 障害物
726 立方体
800 方法
805 ポイント
Claims (20)
- 混合イニシアチブ型ロボット制御を提供する方法であって、
1つ又は複数のプロセッサ及びメモリを有するコンピューティング機器であって、前記コンピューティング機器はロボットに通信可能に結合され、第1組のプリプログラミングされた経路計画命令に基づいて前記ロボット用の計画経路を生成するように構成され、前記ロボットは、前記コンピューティング機器から受信された前記計画経路及びローカルに記憶されている経路実行命令に基づいて物理環境においてナビゲーションをするように構成されるコンピューティング機器においては、
前記コンピューティング機器に結合される表示生成モジュールにより、制御ユーザインタフェースを表示することであって、現在前記ロボットを取り囲んでいる第1物理環境に対応する仮想化環境において仮想ポインタ対象を表示することを含み、前記仮想化環境は、前記ロボットと一緒に配置される第1のセンサ群から受信されたストリーミング環境データに基づいて生成されて更新されたものである、ことと、
前記仮想化環境において前記仮想ポインタ対象を表示すると同時に、触覚対応型入力デバイスにより第1ユーザ入力を検出することであって、前記仮想化環境における前記仮想ポインタ対象の移動経路に沿った1つ又は複数の位置において第1移動入力及び1つ又は複数のマーク入力を検出することを含む、ことと、
前記第1ユーザ入力を検出したことに応答して、
前記第1移動入力に基づいて、前記仮想化環境において、前記仮想化環境における1つ又は複数の模擬表面により制限される第1移動経路に沿って前記仮想ポインタ対象を移動し、
前記仮想化環境における前記第1移動経路の模擬材料及び/又は構造特徴に基づいて、前記触覚対応型入力デバイスにより触覚フィードバックを生成し、
前記仮想化環境における前記1つ又は複数のマーク入力の位置に対応する仮想化環境の少なくとも一部を修正し、前記仮想化環境の代わりに、修正した仮想化環境を前記第1物理環境における、前記コンピューティング機器が前記第1組のプリプログラミングされた経路計画命令に基づいて実行する前記ロボットの経路計画の環境基礎とする、ことと、を含む、混合イニシアチブ型ロボット制御を提供する方法。 - 前記仮想化環境における前記第1移動経路の模擬材料及び/又は構造特徴に基づいて、前記触覚対応型入力デバイスにより触覚フィードバックを生成することは、
前記仮想化環境における第1ポインタ対象の第1位置から第2位置までの移動に基づいて、前記第1ポインタ対象の移動期間において力フィードバックを生成するためのプロキシ位置を更新することを含み、
前記仮想化環境における前記第1ポインタ対象の第1位置から第2位置までの移動に基づいて、前記第1ポインタ対象の移動期間において力フィードバックを生成するためのプロキシ位置を更新することは、
前記第1位置が、前記第1移動経路に沿った前記仮想化環境との初期接触に対応すると決定したことに基づいて、前記第1位置に最も近い表面ポイントを位置決めするように前記プロキシ位置を更新する、ことと、
前記第1位置が、前記第1移動経路に沿った前記仮想化環境との初期接触ではないと決定したことに基づいて、前記第1位置に対応する接線制約平面と、第1位置から接線制約平面に降下する法線との交点に最も近い表面ポイントを位置決めするように前記プロキシ位置を更新する、ことと、を含む
請求項1に記載の方法。 - 前記仮想化環境における前記1つ又は複数のマーク入力の位置に対応する前記仮想化環境の少なくとも一部を修正することは、前記ロボットが従う経路をマーキングすることを含み、且つ前記第1組のプリプログラミングされた経路計画命令に基づいて生成された計画経路は、マーキングされた経路である
請求項1に記載の方法。 - 前記仮想化環境における前記1つ又は複数のマーク入力の位置に対応する前記仮想化環境の少なくとも一部を修正することは、前記ロボットが越えることを防止する境界をマーキングすることを含み、且つ前記第1組のプリプログラミングされた経路計画命令に生成された前記計画経路は、前記境界を越えない
請求項1に記載の方法。 - 前記仮想化環境における前記1つ又は複数のマーク入力の位置に対応する前記仮想化環境の少なくとも一部を修正することは、前記ロボットが回避する1つ又は複数の仮想障害物を配置することを含み、且つ前記第1組のプリプログラミングされた経路計画命令に基づいて生成された前記計画経路は、前記ロボットが前記1つ又は複数の仮想障害物と接触することを防止する
請求項1に記載の方法。 - 前記仮想化環境における前記1つ又は複数のマーク入力の位置に対応する前記仮想化環境の少なくとも一部を修正することは、前記第1物理環境における物理対象に対応する位置に1つ又は複数の仮想通路を配置することを含み、前記1つ又は複数の仮想通路が存在しない場合、前記第1組のプリプログラミングされた経路計画命令に基づいて生成された経路は、前記ロボットの前記物理対象との接触を防止し、前記1つ又は複数の仮想通路が存在する場合、前記第1組のプリプログラミングされた経路計画命令に基づいて生成された計画経路は、ナビゲーション期間で前記ロボットの前記物理対象との接触を防止しない
請求項1に記載の方法。 - 前記仮想化環境における前記1つ又は複数のマーク入力の位置に対応する前記仮想化環境の少なくとも一部を修正することは、前記仮想化環境における前記1つ又は複数のマーク入力の位置から前記仮想化環境をセグメンテーションすることと、前記第1組のプリプログラミングされた経路計画命令に基づいて、セグメンテーション結果に対応する1つ又は複数の物理対象をナビゲーションターゲットとしてマーキングすることと、を含む
請求項1に記載の方法。 - 混合イニシアチブ型ロボット制御を提供するコンピューティング機器であって、
1つ又は複数のプロセッサと、
命令を記憶するメモリと、を備え、
前記コンピューティング機器は、ロボットに通信可能に結合され、第1組のプリプログラミングされた経路計画命令に基づいて前記ロボット用の計画経路を生成するように構成され、
前記ロボットは、前記コンピューティング機器から受信された前記計画経路及びローカルに記憶された経路実行命令に基づいて物理環境においてナビゲーションをするように構成され、
前記命令は前記1つ又は複数のプロセッサにより実行される時、前記プロセッサに操作を実行させ、前記操作は、
前記コンピューティング機器に結合される表示生成モジュールにより、制御ユーザインタフェースを表示することであって、現在前記ロボットを取り囲んでいる第1物理環境に対応する仮想化環境において仮想ポインタ対象を表示することを含み、前記仮想化環境は、前記ロボットと一緒に配置される第1のセンサ群から受信されたストリーミング環境データに基づいて生成されて更新されたものである、ことと、
前記仮想化環境において前記仮想ポインタ対象を表示すると同時に、触覚対応型入力デバイスにより第1ユーザ入力を検出することであって、前記仮想化環境における前記仮想ポインタ対象の移動経路に沿った1つ又は複数の位置において第1移動入力及び1つ又は複数のマーク入力を検出することを含む、ことと、
前記第1ユーザ入力を検出したことに応答して、
前記第1移動入力に基づいて、前記仮想化環境において、前記仮想化環境における1つ又は複数の模擬表面により制限される第1移動経路に沿って前記仮想ポインタ対象を移動し、
前記仮想化環境における前記第1移動経路の模擬材料及び/又は構造特徴に基づいて、前記触覚対応型入力デバイスにより触覚フィードバックを生成し、
前記仮想化環境における前記1つ又は複数のマーク入力の位置に対応する仮想化環境の少なくとも一部を修正し、前記仮想化環境の代わりに、修正した仮想化環境を前記第1物理環境における、前記コンピューティング機器が前記第1組のプリプログラミングされた経路計画命令に基づいて実行する前記ロボットの経路計画の環境基礎とする、ことと、を含む、
混合イニシアチブ型ロボット制御を提供するコンピューティング機器。 - 前記仮想化環境における前記第1移動経路の模擬材料及び/又は構造特徴に基づいて、前記触覚対応型入力デバイスにより触覚フィードバックを生成することは、
前記仮想化環境における第1ポインタ対象の第1位置から第2位置までの移動に基づいて、前記第1ポインタ対象の移動期間において力フィードバックを生成するためのプロキシ位置を更新することを含み、
前記仮想化環境における前記第1ポインタ対象の第1位置から第2位置までの移動に基づいて、前記第1ポインタ対象の移動期間において、力フィードバックを生成するためのプロキシ位置を更新することは、
前記第1位置が、前記第1移動経路に沿った前記仮想化環境との初期接触に対応すると決定したことに基づいて、前記第1位置に最も近い表面ポイントを位置決めするように前記プロキシ位置を更新する、ことと、
前記第1位置が、前記第1移動経路に沿った前記仮想化環境との初期接触ではないと決定したことに基づいて、前記第1位置に対応する接線制約平面と、第1位置から接線制約平面に降下する法線との交点に最も近い表面ポイントを位置決めするように前記プロキシ位置を更新する、ことと、を含む
請求項8に記載のコンピューティング機器。 - 前記仮想化環境における前記1つ又は複数のマーク入力の位置に対応する前記仮想化環境の少なくとも一部を修正することは、前記ロボットが従う経路をマーキングすることを含み、且つ前記第1組のプリプログラミングされた経路計画命令に基づいて生成された計画経路は、マーキングされた経路である
請求項8に記載のコンピューティング機器。 - 前記仮想化環境における前記1つ又は複数のマーク入力の位置に対応する前記仮想化環境の少なくとも一部を修正することは、前記ロボットが越えることを防止する境界をマーキングすることを含み、且つ前記第1組のプリプログラミングされた経路計画命令に生成された前記計画経路は、前記境界を越えない
請求項8に記載のコンピューティング機器。 - 前記仮想化環境における前記1つ又は複数のマーク入力の位置に対応する前記仮想化環境の少なくとも一部を修正することは、前記ロボットが回避する1つ又は複数の仮想障害物を配置することを含み、且つ前記第1組のプリプログラミングされた経路計画命令に基づいて生成された前記計画経路は、前記ロボットが前記1つ又は複数の仮想障害物と接触することを防止する
請求項8に記載のコンピューティング機器。 - 前記仮想化環境における前記1つ又は複数のマーク入力の位置に対応する前記仮想化環境の少なくとも一部を修正することは、前記第1物理環境における物理対象に対応する位置に1つ又は複数の仮想通路を配置することを含み、前記1つ又は複数の仮想通路が存在しない場合、前記第1組のプリプログラミングされた経路計画命令に基づいて生成された経路は、前記ロボットの前記物理対象との接触を防止し、前記1つ又は複数の仮想通路が存在する場合、前記第1組のプリプログラミングされた経路計画命令に基づいて生成された計画経路は、ナビゲーション期間で前記ロボットの前記物理対象との接触を防止しない
請求項8に記載のコンピューティング機器。 - 前記仮想化環境における前記1つ又は複数のマーク入力の位置に対応する前記仮想化環境の少なくとも一部を修正することは、前記仮想化環境における前記1つ又は複数のマーク入力の位置から前記仮想化環境をセグメンテーションすることと、前記第1組のプリプログラミングされた経路計画命令に基づいて、セグメンテーション結果に対応する1つ又は複数の物理対象をナビゲーションターゲットとしてマーキングすることと、を含む
請求項8に記載のコンピューティング機器。 - 混合イニシアチブ型ロボット制御を提供するコンピュータ読み取り可能な記憶媒体であって、前記コンピュータ読み取り可能な記憶媒体には命令が記憶されており、前記命令は、コンピューティング機器の1つ又は複数のプロセッサにより実行される時、前記コンピューティング機器に操作を実行させ、
前記コンピューティング機器は、ロボットに通信可能に結合され、第1組のプリプログラミングされた経路計画命令に基づいて前記ロボット用の計画経路を生成するように構成され、
前記ロボットは、前記コンピューティング機器から受信された前記計画経路及びローカルに記憶された経路実行命令に基づいて物理環境においてナビゲーションをするように構成され、
前記操作は、
前記コンピューティング機器に結合される表示生成モジュールにより、制御ユーザインタフェースを表示することであって、現在前記ロボットを取り囲んでいる第1物理環境に対応する仮想化環境において仮想ポインタ対象を表示することを含み、前記仮想化環境は、前記ロボットと一緒に配置される第1のセンサ群から受信されたストリーミング環境データに基づいて生成されて更新されたものである、ことと、
前記仮想化環境において前記仮想ポインタ対象を表示すると同時に、触覚対応型入力デバイスにより第1ユーザ入力を検出することであって、前記仮想化環境における前記仮想ポインタ対象の移動経路に沿った1つ又は複数の位置において第1移動入力及び1つ又は複数のマーク入力を検出することを含む、ことと、
前記第1ユーザ入力を検出したことに応答して、
前記第1移動入力に基づいて、前記仮想化環境において、前記仮想化環境における1つ又は複数の模擬表面により制限される第1移動経路に沿って前記仮想ポインタ対象を移動し、
前記仮想化環境における前記第1移動経路の模擬材料及び/又は構造特徴に基づいて、前記触覚対応型入力デバイスにより触覚フィードバックを生成し、
前記仮想化環境における前記1つ又は複数のマーク入力の位置に対応する仮想化環境の少なくとも一部を修正し、前記仮想化環境の代わりに、修正した仮想化環境を第1物理環境における、前記コンピューティング機器が前記第1組のプリプログラミングされた経路計画命令に基づいて実行する前記ロボットの経路計画の環境基礎とする、ことと、を含む、混合イニシアチブ型ロボット制御を提供するコンピュータ読み取り可能な記憶媒体。 - 前記仮想化環境における前記第1移動経路の模擬材料及び/又は構造特徴に基づいて、前記触覚対応型入力デバイスにより触覚フィードバックを生成することは、
前記仮想化環境における第1ポインタ対象の第1位置から第2位置までの移動に基づいて、前記第1ポインタ対象の移動期間において力フィードバックを生成するためのプロキシ位置を更新することを含み、
前記仮想化環境における前記第1ポインタ対象の第1位置から第2位置までの移動に基づいて、前記第1ポインタ対象の移動期間において力フィードバックを生成するためのプロキシ位置を更新することは、
前記第1位置が、前記第1移動経路に沿った前記仮想化環境との初期接触に対応すると決定したことに基づいて、前記第1位置に最も近い表面ポイントを位置決めするように前記プロキシ位置を更新する、ことと、
前記第1位置が、前記第1移動経路に沿った前記仮想化環境との初期接触ではないと決定したことに基づいて、前記第1位置に対応する接線制約平面と、第1位置から接線制約平面に降下する法線との交点に最も近い表面ポイントを位置決めするように前記プロキシ位置を更新する、ことと、を含む
請求項15に記載のコンピュータ読み取り可能な記憶媒体。 - 前記仮想化環境における前記1つ又は複数のマーク入力の位置に対応する前記仮想化環境の少なくとも一部を修正することは、前記ロボットが従う経路をマーキングすることを含み、且つ前記第1組のプリプログラミングされた経路計画命令に基づいて生成された計画経路は、マーキングされた経路である
請求項15に記載のコンピュータ読み取り可能な記憶媒体。 - 前記仮想化環境における前記1つ又は複数のマーク入力の位置に対応する前記仮想化環境の少なくとも一部を修正することは、前記ロボットが越えることを防止する境界をマーキングすることを含み、且つ前記第1組のプリプログラミングされた経路計画命令に生成された前記計画経路は、前記境界を越えない
請求項15に記載のコンピュータ読み取り可能な記憶媒体。 - 前記仮想化環境における前記1つ又は複数のマーク入力の位置に対応する前記仮想化環境の少なくとも一部を修正することは、前記ロボットが回避する1つ又は複数の仮想障害物を配置することを含み、且つ前記第1組のプリプログラミングされた経路計画命令に基づいて生成された前記計画経路は、前記ロボットが前記1つ又は複数の仮想障害物と接触することを防止する
請求項15に記載のコンピュータ読み取り可能な記憶媒体。 - 前記仮想化環境における前記1つ又は複数のマーク入力の位置に対応する前記仮想化環境の少なくとも一部を修正することは、前記第1物理環境における物理対象に対応する位置に1つ又は複数の仮想通路を配置することを含み、前記1つ又は複数の仮想通路が存在しない場合、前記第1組のプリプログラミングされた経路計画命令に基づいて生成された経路は、前記ロボットの前記物理対象との接触を防止し、前記1つ又は複数の仮想通路が存在する場合、前記第1組のプリプログラミングされた経路計画命令に基づいて生成された計画経路は、ナビゲーション期間で前記ロボットの前記物理対象との接触を防止しない
請求項15に記載のコンピュータ読み取り可能な記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/156,979 | 2018-10-10 | ||
US16/156,979 US10816994B2 (en) | 2018-10-10 | 2018-10-10 | Method and system for providing remote robotic control |
PCT/CN2019/092147 WO2020073680A1 (en) | 2018-10-10 | 2019-06-20 | Method and system for providing remote robotic control |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022504599A true JP2022504599A (ja) | 2022-01-13 |
JP7311172B2 JP7311172B2 (ja) | 2023-07-19 |
Family
ID=70161271
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021519702A Active JP7311172B2 (ja) | 2018-10-10 | 2019-06-20 | リモートロボット制御を提供する方法及びシステム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10816994B2 (ja) |
EP (1) | EP3847535B1 (ja) |
JP (1) | JP7311172B2 (ja) |
CN (1) | CN112805673B (ja) |
WO (1) | WO2020073680A1 (ja) |
Families Citing this family (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7244985B2 (ja) * | 2017-05-19 | 2023-03-23 | 川崎重工業株式会社 | 操作装置及び操作システム |
WO2019178548A1 (en) | 2018-03-15 | 2019-09-19 | Nvidia Corporation | Determining drivable free-space for autonomous vehicles |
US11407111B2 (en) * | 2018-06-27 | 2022-08-09 | Abb Schweiz Ag | Method and system to generate a 3D model for a robot scene |
US12296459B2 (en) | 2018-11-21 | 2025-05-13 | Dusty Robotics, Inc. | Mobile printing robot and related methods |
CN113811886B (zh) | 2019-03-11 | 2024-03-19 | 辉达公司 | 自主机器应用中的路口检测和分类 |
CN114008685A (zh) * | 2019-06-25 | 2022-02-01 | 辉达公司 | 用于自主机器应用的路口区域检测和分类 |
WO2021025715A1 (en) * | 2019-08-07 | 2021-02-11 | Boston Dynamics, Inc. | Navigating a mobile robot |
KR20190104483A (ko) * | 2019-08-21 | 2019-09-10 | 엘지전자 주식회사 | 로봇 시스템 및 그 제어 방법 |
WO2021042051A1 (en) | 2019-08-31 | 2021-03-04 | Nvidia Corporation | Map creation and localization for autonomous driving applications |
EP4028220A4 (en) | 2019-09-13 | 2023-10-04 | Dusty Robotics, Inc. | Mobile robot printing with wind protection |
US12286115B2 (en) | 2019-12-31 | 2025-04-29 | Nvidia Corporation | Three-dimensional intersection structure prediction for autonomous driving applications |
CN111775183A (zh) * | 2020-07-29 | 2020-10-16 | 浙江树人学院(浙江树人大学) | 一种智能互动机器人及其互动方法 |
WO2022067342A2 (en) | 2020-09-25 | 2022-03-31 | Apple Inc. | Methods for interacting with virtual controls and/or an affordance for moving virtual objects in virtual environments |
CN119440253A (zh) | 2020-09-25 | 2025-02-14 | 苹果公司 | 用于操纵环境中的对象的方法 |
US11978266B2 (en) | 2020-10-21 | 2024-05-07 | Nvidia Corporation | Occupant attentiveness and cognitive load monitoring for autonomous and semi-autonomous driving applications |
FR3116747B1 (fr) | 2020-11-30 | 2023-04-21 | Mbda France | Système et procédé d’apprentissage de mouvement pour programmer au moins un dispositif robotisé. |
JP7452706B2 (ja) * | 2020-12-01 | 2024-03-19 | オムロン株式会社 | 作業現場でモバイルロボットをシミュレーションする装置及び方法 |
CN116670627A (zh) | 2020-12-31 | 2023-08-29 | 苹果公司 | 对环境中的用户界面进行分组的方法 |
US20240066586A1 (en) * | 2021-01-18 | 2024-02-29 | Makita Corporation | Rebar tying robot |
CN112987735B (zh) * | 2021-02-24 | 2022-06-14 | 同济大学 | 一种基于Delaunay三角形的移动机器人安全路径规划方法 |
CN115344009A (zh) * | 2021-05-13 | 2022-11-15 | 灵动科技(北京)有限公司 | 用于机器人的调度系统和方法、机器人以及定制方法 |
US12299251B2 (en) | 2021-09-25 | 2025-05-13 | Apple Inc. | Devices, methods, and graphical user interfaces for presenting virtual objects in virtual environments |
JP2023058243A (ja) * | 2021-10-13 | 2023-04-25 | avatarin株式会社 | 動画配信システム、サーバ装置及びプログラム |
CN114265503B (zh) * | 2021-12-22 | 2023-10-13 | 吉林大学 | 一种应用于笔式振动触觉反馈装置的纹理渲染方法 |
US20230316634A1 (en) * | 2022-01-19 | 2023-10-05 | Apple Inc. | Methods for displaying and repositioning objects in an environment |
US12272005B2 (en) | 2022-02-28 | 2025-04-08 | Apple Inc. | System and method of three-dimensional immersive applications in multi-user communication sessions |
US12321666B2 (en) | 2022-04-04 | 2025-06-03 | Apple Inc. | Methods for quick message response and dictation in a three-dimensional environment |
CN114721392A (zh) * | 2022-04-14 | 2022-07-08 | 深圳优地科技有限公司 | 机器人的路径规划方法、装置、机器人及存储介质 |
CN114578831B (zh) * | 2022-04-28 | 2022-07-26 | 深圳鹏行智能研究有限公司 | 机器人的控制方法、控制装置、机器人和存储介质 |
US12112011B2 (en) | 2022-09-16 | 2024-10-08 | Apple Inc. | System and method of application-based three-dimensional refinement in multi-user communication sessions |
US12148078B2 (en) | 2022-09-16 | 2024-11-19 | Apple Inc. | System and method of spatial groups in multi-user communication sessions |
US12099653B2 (en) | 2022-09-22 | 2024-09-24 | Apple Inc. | User interface response based on gaze-holding event assessment |
CN116833999A (zh) * | 2023-05-31 | 2023-10-03 | 广州数控设备有限公司 | 一种机器人远程控制系统和方法 |
US12118200B1 (en) | 2023-06-02 | 2024-10-15 | Apple Inc. | Fuzzy hit testing |
US12113948B1 (en) | 2023-06-04 | 2024-10-08 | Apple Inc. | Systems and methods of managing spatial groups in multi-user communication sessions |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140168073A1 (en) * | 2011-06-15 | 2014-06-19 | University Of Washington Through Its Center For Commericialization | Methods and Systems for Haptic Rendering and Creating Virtual Fixtures from Point Clouds |
JP2015536489A (ja) * | 2012-09-24 | 2015-12-21 | ロブアート ゲーエムベーハーROBART GmbH | 床面を自律式に点検または処理するロボットおよび方法 |
JP2017054475A (ja) * | 2015-09-11 | 2017-03-16 | 富士ゼロックス株式会社 | 遠隔操作装置、方法及びプログラム |
WO2018144846A1 (en) * | 2017-02-02 | 2018-08-09 | Brain Corporation | Systems and methods for assisting a robotic apparatus |
DE102017104427A1 (de) * | 2017-03-02 | 2018-09-06 | RobArt GmbH | Verfahren zur Steuerung eines autonomen, mobilen Roboters |
JP2018156649A (ja) * | 2017-03-16 | 2018-10-04 | フォルヴェルク・ウント・ツェーオー、インターホールディング・ゲーエムベーハーVorwerk & Compagnie Interholding Gesellshaft Mit Beschrankter Haftung | 自律走行床処理装置の動作方法 |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5502638A (en) | 1992-02-10 | 1996-03-26 | Honda Giken Kogyo Kabushiki Kaisha | System for obstacle avoidance path planning for multiple-degree-of-freedom mechanism |
JP3210121B2 (ja) | 1992-02-10 | 2001-09-17 | 本田技研工業株式会社 | 移動体の障害物回避経路探索方法 |
JPH0887609A (ja) | 1994-07-21 | 1996-04-02 | Matsushita Electric Ind Co Ltd | 画像処理装置 |
US5999881A (en) | 1997-05-05 | 1999-12-07 | General Electric Company | Automated path planning |
EP1972415B1 (en) | 2007-03-23 | 2019-01-02 | Honda Research Institute Europe GmbH | Robots with collision avoidance functionality |
JP5060619B2 (ja) | 2007-06-08 | 2012-10-31 | 本田技研工業株式会社 | モーション計画方法、モーション計画システム及び記録媒体 |
CN101459857B (zh) | 2007-12-10 | 2012-09-05 | 华为终端有限公司 | 通信终端 |
CN101458083B (zh) | 2007-12-14 | 2011-06-29 | 财团法人工业技术研究院 | 结构光视觉导航系统与方法 |
JP4730440B2 (ja) | 2009-01-01 | 2011-07-20 | ソニー株式会社 | 軌道計画装置及び軌道計画方法、並びにコンピューター・プログラム |
IT1395018B1 (it) * | 2009-07-22 | 2012-09-05 | Surgica Robotica S R L | Apparecchiatura per procedure chirurgiche minimamente invasive |
KR101667029B1 (ko) | 2009-08-10 | 2016-10-17 | 삼성전자 주식회사 | 로봇의 경로 계획방법 및 장치 |
KR101691939B1 (ko) | 2009-08-10 | 2017-01-02 | 삼성전자주식회사 | 로봇의 경로 계획방법 및 장치 |
KR101667031B1 (ko) | 2009-11-02 | 2016-10-17 | 삼성전자 주식회사 | 로봇의 경로 계획 장치 및 그 방법 |
CN101887271A (zh) | 2010-07-19 | 2010-11-17 | 东莞职业技术学院 | 一种移动机器人的路径规划方法 |
US20130063560A1 (en) | 2011-09-12 | 2013-03-14 | Palo Alto Research Center Incorporated | Combined stereo camera and stereo display interaction |
CN102699914B (zh) | 2012-05-15 | 2015-01-21 | 郑州大学 | 一种机器人 |
JP5931685B2 (ja) | 2012-10-12 | 2016-06-08 | 日本電信電話株式会社 | ロボット協調搬送計画装置、方法、プログラム |
US8972057B1 (en) | 2013-01-09 | 2015-03-03 | The Boeing Company | Systems and methods for generating a robotic path plan in a confined configuration space |
US20140320392A1 (en) * | 2013-01-24 | 2014-10-30 | University Of Washington Through Its Center For Commercialization | Virtual Fixtures for Improved Performance in Human/Autonomous Manipulation Tasks |
CN103302668B (zh) | 2013-05-22 | 2016-03-16 | 东南大学 | 基于Kinect的空间遥操作机器人的控制系统及其方法 |
WO2015030786A1 (en) | 2013-08-30 | 2015-03-05 | Hewlett-Packard Development Company, L.P. | Augmented reality device interfacing |
US9947230B2 (en) | 2015-08-03 | 2018-04-17 | Amber Garage, Inc. | Planning a flight path by identifying key frames |
CN106527424B (zh) * | 2016-09-20 | 2023-06-09 | 深圳银星智能集团股份有限公司 | 移动机器人及移动机器人的导航方法 |
CN106774347A (zh) * | 2017-02-24 | 2017-05-31 | 安科智慧城市技术(中国)有限公司 | 室内动态环境下的机器人路径规划方法、装置和机器人 |
CN108422435B (zh) | 2018-03-21 | 2020-05-12 | 烟台朗文汽车零部件有限公司 | 一种基于增强现实的远程监测及控制系统 |
-
2018
- 2018-10-10 US US16/156,979 patent/US10816994B2/en active Active
-
2019
- 2019-06-20 JP JP2021519702A patent/JP7311172B2/ja active Active
- 2019-06-20 CN CN201980062164.8A patent/CN112805673B/zh active Active
- 2019-06-20 WO PCT/CN2019/092147 patent/WO2020073680A1/en unknown
- 2019-06-20 EP EP19870230.0A patent/EP3847535B1/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140168073A1 (en) * | 2011-06-15 | 2014-06-19 | University Of Washington Through Its Center For Commericialization | Methods and Systems for Haptic Rendering and Creating Virtual Fixtures from Point Clouds |
JP2015536489A (ja) * | 2012-09-24 | 2015-12-21 | ロブアート ゲーエムベーハーROBART GmbH | 床面を自律式に点検または処理するロボットおよび方法 |
JP2017054475A (ja) * | 2015-09-11 | 2017-03-16 | 富士ゼロックス株式会社 | 遠隔操作装置、方法及びプログラム |
WO2018144846A1 (en) * | 2017-02-02 | 2018-08-09 | Brain Corporation | Systems and methods for assisting a robotic apparatus |
DE102017104427A1 (de) * | 2017-03-02 | 2018-09-06 | RobArt GmbH | Verfahren zur Steuerung eines autonomen, mobilen Roboters |
JP2018156649A (ja) * | 2017-03-16 | 2018-10-04 | フォルヴェルク・ウント・ツェーオー、インターホールディング・ゲーエムベーハーVorwerk & Compagnie Interholding Gesellshaft Mit Beschrankter Haftung | 自律走行床処理装置の動作方法 |
Also Published As
Publication number | Publication date |
---|---|
US10816994B2 (en) | 2020-10-27 |
US20200117213A1 (en) | 2020-04-16 |
JP7311172B2 (ja) | 2023-07-19 |
EP3847535B1 (en) | 2023-06-14 |
EP3847535A4 (en) | 2021-11-10 |
CN112805673B (zh) | 2023-05-23 |
WO2020073680A1 (en) | 2020-04-16 |
EP3847535A1 (en) | 2021-07-14 |
CN112805673A (zh) | 2021-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7092445B2 (ja) | リモートロボット制御を提供する方法及びシステム | |
JP7311172B2 (ja) | リモートロボット制御を提供する方法及びシステム | |
CN112771476B (zh) | 提供远程机器人控制的方法和系统 | |
US11507195B2 (en) | Augmented reality interaction techniques | |
CN113096252A (zh) | 一种混合增强教学场景中多移动机制融合方法 | |
US6529210B1 (en) | Indirect object manipulation in a simulation | |
Frank et al. | Toward mobile mixed-reality interaction with multi-robot systems | |
Kato et al. | Multi-touch interface for controlling multiple mobile robots | |
Liu et al. | An augmented reality interaction interface for autonomous drone | |
Cancedda et al. | Mixed reality-based user interaction feedback for a hand-controlled interface targeted to robot teleoperation | |
Luo et al. | Teleoperation of a fast omnidirectional unmanned ground vehicle in the cyber-physical world via a VR interface | |
Zand et al. | TiltWalker: operating a telepresence robot with one-hand by tilt controls on a smartphone | |
Barber et al. | Sketch-based robot programming | |
Ren et al. | Augmented Reality Based Actuated Monitor Manipulation from Dual Point of View | |
Piumsomboon | Natural hand interaction for augmented reality. | |
Tara et al. | Improving the visual momentum of tethered viewpoint displays using spatial cue augmentation | |
Simsarian | A system for mobile robotic telepresence employing VR as the communication medium: Interface metaphors | |
Wang | Teleoperation of a Fast Omnidirectional Unmanned Ground Vehicle in the Cyber-Physical World via a VR Interface | |
複数台の移動型ロボットを操作するための | MULTI-TOUCH INTERFACE FOR CONTROLLING MULTIPLE MOBILE ROBOTS | |
Atherton | Supporting Remote Manipulation: An Ecological Approach |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210409 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210409 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220510 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220531 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220826 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230301 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230606 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230629 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7311172 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |