Nothing Special   »   [go: up one dir, main page]

JP5444209B2 - フレームマッピングおよびフォースフィードバックの方法、装置およびシステム - Google Patents

フレームマッピングおよびフォースフィードバックの方法、装置およびシステム Download PDF

Info

Publication number
JP5444209B2
JP5444209B2 JP2010503625A JP2010503625A JP5444209B2 JP 5444209 B2 JP5444209 B2 JP 5444209B2 JP 2010503625 A JP2010503625 A JP 2010503625A JP 2010503625 A JP2010503625 A JP 2010503625A JP 5444209 B2 JP5444209 B2 JP 5444209B2
Authority
JP
Japan
Prior art keywords
observer
coordinate system
axis
tool
robot arm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010503625A
Other languages
English (en)
Other versions
JP2010524548A (ja
JP2010524548A5 (ja
Inventor
フィールディング,ティム
ニューフック,ペリー
Original Assignee
ニューロアーム サージカル リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ニューロアーム サージカル リミテッド filed Critical ニューロアーム サージカル リミテッド
Publication of JP2010524548A publication Critical patent/JP2010524548A/ja
Publication of JP2010524548A5 publication Critical patent/JP2010524548A5/ja
Application granted granted Critical
Publication of JP5444209B2 publication Critical patent/JP5444209B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/37Master-slave robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • A61B34/76Manipulators having means for providing feel, e.g. force or tactile feedback
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1689Teleoperation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B2034/305Details of wrist mechanisms at distal ends of robotic arms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06Measuring instruments not otherwise provided for
    • A61B2090/064Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40137Force sensation feedback from simulated tool
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40182Master has different configuration than slave manipulator
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40401Convert workspace of master to workspace of slave
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/45Nc applications
    • G05B2219/45117Medical, radio surgery manipulator

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Robotics (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Description

関係出願の相互参照
本出願は、参照により本明細書に組み入れてある、2007年4月16日出願の米国特許仮出願整理番号60/912144号の優先権を主張するものである。
本発明の方法、装置およびシステムがそれに関係する処理手順において使用することのできる手術ロボットの一例が、参照により本明細書に組み入れてある、米国特許第7155316号に開示されている。
本発明の方法、装置およびシステムは、全体的には手術ロボット技術の分野に関係し、より具体的には、スレーブマニピュレータの実際の位置および方位に関係なく、スレーブマニピュレータの表示位置がオペレータに対して直感的にわかるように、スレーブマニピュレータの動きをディスプレイを介してオペレータに提示することのできるやり方で、オペレータがマスターマニピュレータを制御することによって、スレーブマニピュレータの動きを制御するための技法に関係する。本発明の方法、装置およびシステムは、また、フォースフィードバックシステムに関する。
広義においては、本発明の技法は、オペレータによってマスターマニピュレータまたは制御装置を介して指令されるときに、スレーブマニピュレータ(例えば、特許文献1(316特許)に開示されているロボットアームなどの多自由度を有するロボットアーム)の動きを、以下のように制御することに関係する。
オペレータが、ディスプレイを介してスレーブマニピュレータの実際の動きを目視しながら、マスターマニピュレータを操作することによって、スレーブマニピュレータに動くように指令する場合には、マスターマニピュレータの実際の位置および方位に対するスレーブマニピュレータの実際の位置および方位に関係なく、オペレータに対するその動きの表示が直感的にわかるように、スレーブマニピュレータが動き、スレーブマニピュレータの位置および方位は、任意の時間においてマスターマニピュレータの位置および方位と独立であり、ディスプレイは、表示される情報のある実際の場所に対応しない場所にある(例えば、オペレータは、(他の部屋にある)スレーブマニピュレータの隣の別の部屋に設置されたステレオカメラシステムを使用して撮られた、スレーブマニピュレータのステレオ表示を介して、スレーブマニピュレータを目視する)。
スレーブマニピュレータの動きをこのような方法で制御すると、オペレータおよび/またはオペレータが操作しているマスターマニピュレータに対するスレーブマニピュレータの実際の位置および方位に関係なく、スレーブマニピュレータの動きに対する直感的な感覚を、オペレータに与える。例えば、器具(例えば、手術用ツール)を保持するスレーブマニピュレータ(または、複数のマスターマニピュレータがある場合には、複数のスレーブマニピュレータ)が、表示される画像(複数を含む)を撮る実際の顕微鏡の下でオペレータがツールを保持しているかのごとく、同じ相対位置および方位において、オペレータに見える。
すなわち、本発明の技法の一部の態様は、少なくとも1つの医療用ロボットアームに使用するように構成された制御システムに具現化され、この制御システムは、少なくとも次のことを実行するように構成される。すなわち、医療用ロボットアームのツールの計算による動きを決定し、この場合に、計算による動きの決定は、ユーザからの入力を提供する制御装置から受け取る入力値に基づくとともに、計算による動きはツールの方位と、観測者基準構造の方位とに基づく観測者座標系で表わされること;および計算による動きに応じて医療用ロボットアームを動かす操作信号を出力することである。操作信号は、医療用ロボットアームを適切に動かすのに十分な情報を含む、任意好適な形式のデータであればよい。例えば、操作信号は、制御システムによって医療ロボットアームの局所コントローラに出力されるか、または直接、個々の関節アクチュエータに出力される、一組の関節変位および/または関節速度を表わしてもよい。
本発明の技法は、直感的にわかる方法で、オペレータにフォースフィードバック(force feedback)を提供することにも関する。フォースフィードバックは、スレーブマニピュレータにおいて測定される実際の力(ツール先端の力など)から、またはオペレータがプログラムすることができるか、またはスレーブマニピュレータの関節における(速度制限および関節角度制限を含む)制限の結果として存在する、仮想の力から、または実際の力と仮想の力の組合せから導出してもよい。実際の力は、手術用ツールを力センサとフレキシブル連結器を介してエンドエフェクタに結合することによってツール先端の力を測定するように構成されたスレーブマニピュレータによって測定してもよい。
フレキシブル連結器は、ツール先端力に、力センサを迂回する荷重経路を与えることなく、手術用ツールの操作を容易にすることができる。例えば、フレキシブル連結器は、その中心軸まわりの回転以外のすべての方向において順応性(compliant)をもたせて、それによって、ツール先端の力のいずれの成分をも(例えば、ロボットアームのエンドエフェクタを介して)ロボットアームに伝達しないように構成してもよい。結果的に、所与のツール先端力の全部が、力センサを介して作用する力によってバランスさせることができ、力センサにより測定される値から、そのツール先端力の計算を達成することができる。
本発明の方法、装置(例えば、コンピュータ可読媒体)、およびシステム(例えば、制御システムなどのコンピュータシステム)のいずれの態様も、前記の機能、ステップ、および/または特徴を備える(comprise/include/contain/have)のではなく、それらからなる(consist of)か、または本質的にそれらからなる(consist essentially of)としてもよい。すなわち、いずれの請求項においても、「consist of」または「consist essentially of」という語句を、所与の請求項の範囲を、オープンエンド形連結動詞を使用してそうしない場合の範囲から変更するために、上記のオープンエンド形連結動詞のいずれによって代用してもよい。
以下の図面は、限定としてではなく、例として示される。同一の参照数字は、必ずしも同一の構造、システム、または表示を示すものではない。むしろ、同一の参照数字は、類似の特徴または類似の機能を備える特徴を示すのに使用される。図を分かり易くするために、各態様のすべての特徴が、その態様が表われるすべての図に常に示されるわけではない。図に示されるコントーラ装置、マニピュレータ、およびツールは、縮尺通りに描かれており、記述された要素の寸法が、互いに相対的に正確であることを意味している。
図1は、本発明の態様での使用に好適な医療用ロボットシステムの斜視図である。 図2は、図1のロボットシステムの概略図である。本発明の態様に関係するいくつかの座標系。 図3は、図1のロボットシステムを制御するために、リモートオペレータが使用することのできる、ワークステーションを示す斜視図である。コントローラ装置座標系も図示されている。 図4は、図1のロボットシステムを制御するのに使用することのできる、(ハンドコントローラとして示されている)コントローラ装置ならびに関連する座標系の斜視図である。 図5は、観測者基準構造に対する場所を図示する概略図である。 図6は、本発明の態様に関係する、いくつかの座標系を示す概略図である。 図7は、観測者座標系の位置合せを図示する、本発明の態様での使用に好適な医療用ロボットアームの透視図である。
図8は、対応する観測者座標系の位置合せを示す、本発明の態様での使用に好適な、2本腕医療用ロボットシステムの上面図である。 図9は、観測者座標系の位置合せを示す、本発明の態様での使用に好適な医療用ロボットアームの上面図である。 図10は、観測者座標系の位置合せを示す、本発明の態様での使用に好適な医療用ロボットアームの上面図である。 図11は、本発明の態様での使用に好適な医療用ロボットアームのエンドエフェクタの側面図、上面図および端面図である。エンドエフェクタは、ツールを保持している。 図12は、エンドエフェクタに結合されているセンサによって測定される、ツール先端の力を示す、図11のエンドエフェクタの側面図である。 図13は、図11のエンドエフェクタの分解組立図である。 図14は、本発明の方法、装置、およびシステムでの使用に好適な、オーバヘッドカメラおよび医療用ロボットアームの典型的な配置を示す図である。
用語「comprise」(および、「comprises」や「comprising」などのcompriseのすべての形態)、「have」(および「has」や「having」などのhaveのすべての形態)、「include」(および「includes」や「including」などのincludeのすべての形態)および「contain」(および「contains」や「containing」などのcontainのすべての形態)は、オープンエンド形連結動詞である。すなわち、あるステップを含む方法は、少なくとも記載のステップを含むが、その記載のステップだけを有することに限定はされない。
同様に、あるステップを実行するためのマシン可読命令を含む(comprising)コンピュータ可読媒体は、少なくとも記載のステップを実施するためのマシン可読命令を有するが、追加の不記載のステップを実施するためのマシン可読命令を有する媒体をも範囲に含む、コンピュータ可読媒体である。さらに、少なくともある機能を実行するように構成されたコンピュータシステムは、記載の機能だけを実行することに限定されるものではなく、システムが記載の機能を実行するように構成されている限り、明記されていない方法、または複数の方法で構成されてもよい。
用語「a」および「an」は、本明細書では、そうではないと明白に断らない限りは、1つまたは2つ以上と定義される。用語「another」は、少なくとも第2の、または2つ以上と定義される。
一部の態様においては、特許文献1(316特許)に開示されるもののような手術ロボットは、顕微鏡から見た手術シーンの画像を示す仮想顕微鏡ディスプレイを使用するオペレータによって、制御が可能である。オペレータは、そのシーンにおいて、仮想顕微鏡視界と整合して位置している、2つのハンドコントローラを使用して、マニピュレータ(ロボットのロボットアーム)を制御する。その効果は、仮想顕微鏡視界において手術用ツールを保持するマニピュレータが、外科医が実際の顕微鏡下で手術用ツールを保持しているかのような同じ相対位置と方位において、オペレータに見えることである。
そのような態様においては、外科医による、所与のマニピュレータの直感的な制御を達成するために、マニピュレータは、オペレータ入力に対して、外科医(オペレータ)がその手で行う動きを模倣する方向に応答しなくてはならない。外科医が、その手を自分の体から遠ざかる方向に押した場合には、その外科医は、顕微鏡視界におけるマニピュレータも、同じ視覚的方向に離れて行くことを期待するであろう。視覚的観点は、マニピュレータ上のいかなる物理基準フレームに対しても直接はマッピングされないので、仮想観測者基準フレームを作成して、オペレータが期待するものを、マニピュレータが実行するものの中にマッピングする。この基準フレームマッピングによって、ツールの動きをオペレータに対して直感的にわかるように維持しながら、ハンドコントローラスタイラスおよび手術用ツールを、独立して配向させることができる。
直感的マッピングを作成する目標には次のものがある:(a)ユーザに、まっすぐ近づくか、または遠ざかるスタイラスの動きから、処置を行う間、ロボットアームがそれに結合されている基台(ロボットベースとも呼ばれる)にまっすぐ近づくか、またはそれから遠ざかるツールの動きを発生させること、および(b)スタイラスの軸に沿った方向のスタイラスの動きから、ツールの軸に沿ったツールの動きを発生させることである。本発明のフレームマッピングを達成するのに使用することのできる、変換方式の決定は、参照により組み入れてある同時係属の国際出願PCT/US08/60538に開示されている位置決め方法によることを含め、任意好適な方法によって行うことができる。
そのような態様においては、ロボットベースから遠ざかる方向を常に指すとともに、仮想顕微鏡フレームにおいてオペレータに対して、オペレータからまっすぐに遠ざかる方向を指すように見える正方向X軸を、仮想観測者フレームは有する。ハンドコントローラ基準フレームの正方向Z軸は、スタイラスの後端から先端へと、ハンドコントローラスタイラス軸に沿った方向にある。ツールの正方向Z軸は、ツールホルダから先端に向かうツール軸に沿っており、したがって、スタイラスのZ軸にだけ沿う動きは、ツールのZ軸にだけ沿った動きを生成する。
そのような態様においては、仮想観測者フレーム基準軸「X」は、オペレータから遠ざかる方向を常に指すように定義され、この軸は、オペレータに示される顕微鏡画像の下部から上部へ向かう方向として、位置づけられる。実際上は、観測者フレームは、マニピュレータエンドエフェクタ上のツール軸と整列された仮想フレームであり、次の特徴を有する:「Z」は、ハンドコントローラ上のスタイラス軸にマッピングされて、ツールの長さ方向に沿って定義され;「X」は、上述のようにマッピングされて、ツール先端において、上から見たときのその軸の投影が、顕微鏡視界のX軸と常に整列するように定義され;「Y」軸は、座標フレームの右手の法則から決まる。
したがって、この仮想観測者フレームは、ツール先端フレームであるが、ツールX軸のロボットベースX−Y平面上への投影が、ロボットベースX軸と整列するように、ツールZ軸の回りに回転されている。マニピュレータの動きに伴って、この仮想観測者フレームは、X軸を顕微鏡カメラX軸と整列させたままに維持するために、常時ではないとしても、頻繁に更新される。このフレームは、ツールおよびマニピュレータの方位、またはツールフレームの方位とは独立である。その結果、カメラ観測者フレームにおけるXおよびYのハンドコントローラ指令は、顕微鏡カメラ画像内で見られるときに、常に意図するXおよびYの動きを生じ、スタイラスのZ移動は、常にツール軸に沿っていることになる。
1.0 観測者フレームマッピング
以下の説明は、特許文献1(316特許)に開示されているタイプの手術ロボットでの使用に好適な、本発明のフレームマッピング技法の態様を実施する方法の一例に関する。
図1は、本発明のフレームマッピング技法での使用に好適なロボットシステムを示す。医療用ロボットアーム100および第2の医療用ロボットアーム101が共通ベースである、システムべース10に装着されている。各ロボットアームは、医療(例えば、外科)処置に好適な(計器としても特徴づけることもできる)ツールを有してもよい。
図2は、本発明の態様に関係するいくつかの座標系を示している。観測者基準構造200は、(例えば医療処置の持続期間の間、)リモートオペレータに提示される画像の方位に固定されたままとなる、任意の構造とすることができる。すなわち、オペレータに医療処置の間に使用される画像を提供するオーバヘッドカメラに対して固定されている任意の構造が、観測者基準構造200としての役割を果たすことができる。図1および図2に示された態様においては、システムベース10は、カメラ21の方位に対して固定されたままとなり、したがって観測者基準構造200として好適である。図14は、医療用ロボットアーム100によって実施される処置を受ける患者の上方に設置されたオーバヘッドカメラ21を示しており、これはステレオ視カメラであってもよい。その他の好適な観測者基準構造200としては、オーバヘッドカメラ21およびオーバヘッドカメラ21に取り付けられた構造があげられる。
基準構造座標系210の方位は、観測者基準構造200の方位に固定されるとともに、その座標系が概して水平であって、外科処置が行われる患者の領域を指す方向に向いているX軸を有するように、選択される。この対象領域は、外科処置の間、観測者基準構造200に対して場所が概して固定されたままとなる。そのような方位によって、基準構造座標系210のX軸と、オーバヘッドカメラによってオペレータに提示される画像との間の相関が得られる。この方位の選択は、基準構造座標系210が画像の垂直軸と対応して、+X方向が画像の上部を指すようにされる。Z軸は、上方を指すように選択され、結果として得られるY軸方向は、右手座標系の慣用規則に従う。
観測者座標系250の方位は、ツール400の方位および観測者基準構造200の方位から決定される。一部の態様においては、観測者座標系250のZ軸は、ツール400のツール軸460に整列し、観測者座標系250のX軸は、基準構造座標系210のX−Y平面におけるその投影が、基準構造座標系210のX軸に平行であり、かつ同一方向を指すように整列される。図6は観測者座標系250を示しており、この座標系は、(1)ツール軸460と整列されたZ軸、および(2)基準構造座標系210のX軸に対して平行であるとともに、同一方向を指す基準構造座標系210のX−Y平面における投影269を有するX軸、を有するように方位を決められている。結果として得られる観測者座標系250のY軸方向は、右手座標系の慣用規則に従う。図7〜図11は、観測者座標系250の整列をさらに示す。図11は、医療用ロボットアームのエンドエフェクタ110、ツール400、ツール軸460、およびツール軸460に整列された軸260を有する座標系250の、側面図、上面図および端面図を示す。
顕微鏡外科処置においての使用に好適なロボットアームのような、同時に作動する複数のロボットアームを含むシステムにおいては、各ロボットアームは固有の観測者座標系を有し、各観測者座標系の方位は、観測者基準構造の方位およびそれぞれのロボットアームのツールの方位に依存する。一部の態様においては、複数の観測者座標系は方位が変わることがあるが、そのすべてのものが、基準構造座標系のX−Y平面におけるその投影が、基準構造座標系のX軸と平行であり、かつそれと同一方向を指すように整列された、それぞれの観測者座標系のX軸を有することになる。
図8は2本腕構成(医療用ロボットアーム100および第2の医療用ロボットアーム101)を示しており、この構成は以下を有する:(1)ツール400のツール軸460に整列された観測者座標系250であって、この観測者座標系250のX軸は、基準構造座標系210のX−Y平面におけるそのX軸の投影が、基準構造座標系210のX軸と平行であって、かつそれと同一方向を指すように整列されている、および(2)ツール401のツール軸461に整列された観測者座標系251であって、この観測者座標系そのX軸は、基準構造座標系210のX−Y平面におけるそのX軸の投影が、基準構造座標系210のX軸と平行であって、かつそれと同一方向を指すように整列されている。
図3は、リモートオペレータが、医療用ロボットアーム100および第2の医療用ロボットアーム101の一部の態様を制御する上で好適な、ワークステーションを示す。ビデオカメラ、磁気共鳴撮像システム、またはその他のデータ提示システムからの情報を目視するために、複数のビデオモニタがオペレータに対して利用可能である。視界装置(viewing instrument)22は、オーバヘッドステレオカメラからの高解像度画像を提供してもよい。一部の態様においては、視界装置22は、双眼顕微鏡である。コントローラ装置300および第2のコントローラ装置301は、医療用ロボットアーム100および第2の医療用ロボットアーム101のそれぞれに対して、所望する挙動のユーザ入力を与える。各コントローラ装置は、コントローラ装置座標系(350、351)と対応している。
図4は、コントローラ装置300および第2のコントローラ装置301の一態様の別の視野を示す。コントローラ装置座標系350のZ軸は、観測者座標系250のZ軸がツール400のツール軸460と整列されていたのと同様に、コントローラ装置300の垂直軸と整列されている。+X軸は、オペレータから遠ざかる方向を指すように整列されており、Y軸の方位は、右手座標系の慣用規則に従う。このコントローラ装置座標系350の整列によって、ワークステーションにおけるオペレータの視点から見た、コントローラ装置座標系350のX軸、Y軸およびZ軸が、観測者基準構造から見た観測者座標系250のX軸、Y軸およびZ軸に対して同一の方位となる(図6を参照)。観測者座標系250は、視界装置22に表示される対象領域の画像を提供するオーバヘッドカメラの方位に固定されているので、コントローラ装置座標系350のX軸、Y軸およびZ軸は、オペレータが対象領域を目視するときにオペレータに見える方向と直感的に関係している。
したがって、コントローラ装置座標系350において表わされたコントローラ装置300への入力信号は、観測者座標系250において表わされたツールの計算による動きに直接、マッピングすることができ、生成された動きは、オペレータに対して直感的にわかるものとなる。例えば、オペレータがコントローラ装置300をオペレータの体から遠ざかる方向に動かすことによって生成される、コントローラ装置座標系350のX軸における(任意単位の)+2の動きは、観測者座標系250のX方向における(同一単位での)+2の、ツール400の計算による動きに直接、マッピングすることができる。
逆キネマティクス問題を解いた後に、適当な制御信号を出力して、ロボットアーム100を作動させて、観測者基準構造200からまっすぐに遠ざかる方向のツール400の動きを得ることができる。この動きは、視界装置22上では、オペレータに対して、スクリーンの上部に向かうツール400の動きとして現れ、コントローラ装置のオペレータの動きとよく一致することになる。一部の態様では、同じ方向を維持しながら、計算による動きの絶対値を拡大縮小してもよい(例えば、上記の例において、観測者座標系250のX方向における+2の代わりに+1の、ツール400の計算による動きにマッピングする)。
図5は、本発明の技法の態様の観測者座標系およびコントローラ装置座標系の使用により得られる直感的な関係を説明している。一部の態様においては、観測者基準構造は、それが主外科医であるかのように、患者の近くに配置される。補助外科医の配置は、人間の主外科医がいる場合に行われるのと同様にすることができる。リモートワークステーションからロボットシステムを制御するオペレータは、手でツールを操作して、双眼鏡を通して対象領域を目視している、人間の外科医と同じ眺望が提示され、この双眼鏡は、顕微鏡ヘッドによって撮像された画像の左右の視界を外科医に提示する。ロボットシステムオペレータは、コントローラ装置を通して、ロボットのツールを、あたかもそれがオペレータのすぐ前にあるツールであるかのように操作し、(人間の外科医の顕微鏡によって撮像される視界に対応する、)ステレオカメラによって撮像される左右の視界を提示する双眼顕微鏡を通して対象領域を目視する。
2.0 フォースフィードバックに使用される観測者フレームマッピング
前述した座標系の決定は、直感的にわかる方法でオペレータに対してフォースフィードバックを提供する上でも有用である。一部の態様においては、典型的にはセンサの装着方位と関連するセンサ座標系において測定される、測定による力を、観測者座標系の数式に変換して、次いでそれをコントローラ装置座標系にマッピングしてもよい。測定による力を、仮想の力と組み合わせてもよく、この仮想の力は、オペレータに追加の情報を提供し、例えば、仮想衝突、関節制限(joint limits)および動きの逸脱源(motion divergence sources)に基づいてもよい。
この制御システムは、ロボットアーム、ツール、およびオペレータフォースフィードバックに関係するその他の構造の3次元モデルを含むように構成してもよい。一部の態様においては、ツール同士の衝突は許容するが、その他の衝突を禁止してもよい。意図する動きが、モデル同士の衝突を引き起こすことになる場合には、マニピュレータの動きが一時停止されて、コントローラ装置に対して、指令による動きの反対の方向にフィードバックの力がフィードバックされる。衝突検出アルゴリズムについては、当該技術においてよく知られており、衝突回避限界を決定するために、これらのアルゴリズムを使用することは、当業者には理解されるであろう。コントローラ装置にかけられるフィードバック力は、衝突回避限界により指令される距離に比例させてもよい。物理的な構造とは関連しない、追加の除外限界をモデル化して、オペレータが入力してもよい。
一部の態様においては、関節制限が衝突と同様な方法で取り扱われる。関節が、関節制限に対して指定された近傍の範囲に入ると、マニピュレータの動きが一時停止されて、コントローラ装置に対して指令による動きと反対の方向に力がフィードバックされる。コントローラ装置にかけられるこのフィードバックの力は、指令された関節角度が限界を超えた分の角度に比例させてもよい。
実際のマニピュレータ位置が、指令された位置から逸脱するか、または遅れるときに、動きの逸脱(motion divergence)が発生する。このことは、指令による動きがマニピュレータのアクチュエータが処理するのに速すぎる場合、または何かがマニピュレータに押し当てられている場合に発生する可能性がある。一部の態様においては、指令された軌道と実際の軌道との間に逸脱が発生するときに、コントローラ装置に対して指令による動きに対して反対の方向に力がフィードバックされる。コントローラ装置にかけられるフィードバック力は、逸脱誤差に比例させてもよい。
一部の態様においては、コントローラ装置に対してかけられるフォースフィードバックは、仮想衝突、関節制限、および動き逸脱源に基づく。それぞれの仮想フォースフィードバック源は、スケーリングして、次いで合計するか、または合計した力をスケーリングしてもよい。制御システムは、非ゼロ値だけを監視し、合計するように構成してもよい。
図12は、測定によるツール先端力を提供することのできる医療用ロボットアームの一部を示す図である。ツール先端力901がツール400に作用し、その結果として、第1のセンサ120および第2のセンサ122によって測定可能な力が生じる。ツール400は、第1のツール保持具150および第2のツール保持具152によって保持されおり、これらの保持具は、第1のセンサ120および第2のセンサ122にそれぞれ結合されている。第1のセンサ120および第2のセンサ122は、エンドエフェクタ110に装着されている。また、フレキシブル連結器130がエンドエフェクタ110に結合されて、エンドエフェクタツール作動歯車140を介してツール400の作動が可能になる。しかしながら、フレキシブル連結器130は、その中心軸の回りの回転を除いて、すべての方向に順応するように設計されており、したがって、ツール先端力901のいかなる成分をも、エンドエフェクタ110に伝達しない。したがって、ツール先端力901の全体が、第1のセンサ120および第2のセンサ122を介して作用する力によってバランスされ、ツール先端力901の計算は、第1のセンサ120および第2のセンサ122により測定される値から行うことができる。
図13は、分解組立図で示された、図2に示す構成要素を表わす。ある態様においては、第1のセンサ120および第2のセンサ122は、それぞれが円筒状センサ内部に複数のシリコン歪ゲージを使用する、6軸センサである。第1のセンサ120および第2のセンサ122は市販の力センサとしてもよいが、磁気共鳴映像法(MRI)環境との整合性のために、利用可能な候補が制限されたり、修正を必要とすることがある。測定による力のフィードバックを組み込んだ医療用ロボットアームの一部の態様においては、第1のセンサ120および第2のセンサ122は、強磁性体をチタンで置き換えることによってMR対応にした、ATIインダストリアルオートメーション(ATI Industrial Automation)社の、Nano17力/トルクセンサの修正版である。
一部の態様における測定による力の測定と処理は以下のとおりである。
各力センサは電気信号を出力し、この電気信号は各センサに固有の較正マトリックスを通され、最終出力は、各センサに対する6軸の力およびトルクである。次いで、2つの力センサ出力の座標方位が、X/Y/Z軸の力が各センサに対して同じ方向を表わすように整列される。コントローラ装置がユーザに対してトルクをフィードバックしない場合には、トルクは無視される。次いで、2つのセンサからの力が、合計実際力を計算するために合計され、この合計実際力はバイアス力、ツールおよび保持具の重力、ツール作動力、およびツール先端力の組合せである。これらの力は、以下のように取り扱われる。
センサにおける(時間経過に対する)ドリフトが原因で、バイアス力が存在することがあり、新規のツールを走査した後に消去してもよい。(ツール交換後に)スタイラスが使用可能にされると、力センサからの力が読み取られて、ゼロに設定される。ツールが方位を変えない場合には、これによって、重力による力も消去されるが、方位の変化にともなって、ツール/保持具にかかる重力による力の成分(X/Y/Z)が変化して、有害なフォースフィードバックを生じさせることになる。これを避けるために、重力補償が用いられる。初期位置においては、重力による力は、(例えば初期化ファイルからの)ツールの質量と、(ロボットキネマティクスからの)ツールの方位とから既知である。方位が変化するにつれて、計算された重力ベクトルにおける変化を、検知された力に単純に加えて、重力による力が消去される。
(初期化ファイルからの)質量と、(ロボットキネマティクスから)ツールおよび保持具の方位を知ることによって、それらの重力の力が数学的に計算されて消去され、ユーザがツール/保持具の重量を感じないようになり、それによって疲労が最小化されるとともにツール先端力の知覚が最大化される。
本発明の方法の態様は、任意好適なコンピュータ可読媒体(例えば、実体的なコンピュータ可読媒体(tangible computer readable media))に記憶されるソフトウエアとしてコーディングしてもよく、それらの媒体としては、それに限定はされないが、ハードドライブ媒体、光学媒体、RAM、SRAM、DRAM、SDRAM、ROM、EPROM、EEPROM、テープ媒体、カートリッジ媒体、フラッシュメモリ、メモリスティック、および/またはその他を含む、任意好適な形態のメモリまたはデータ記憶装置がある。実体的なコンピュータ可読媒体としては、情報を記憶または転送することのできる、任意の物理的媒体があげられる。そのような態様は、あるステップ(複数を含む)を実行するためのコンピュータ実行可能な(例えばマシン可読の)命令を有する(または命令がコーディングされている)、実体的なコンピュータ可読媒体として特徴づけられる。
「実体的なコンピュータ可読媒体」という用語は、搬送波などの無線伝送媒体を含まない。しかしながら、「コンピュータ可読媒体」の用語は、無線伝送媒体をその範囲に含み、本発明の方法の一部の態様には、上述のコンピュータ可読命令を搬送する無線伝送媒体を含めてもよい。ソフトウエアは、当該技術において知られている任意の技法によって書き込むことができる。例えば、ソフトウエアは、いずれか1つまたは2つ以上のコンピュータ言語(例えば、アッセンブリ(ASSEMBLY)、パスカル(PASCAL)、フォートラン(FORTRAN)、ベーシック(BASIC)、C、C++、C#、JAVA(登録商標)、Perl、Python)によるか、またはそれに限定はされないが、Matlab(登録商標)、R、S−plus(登録商標)、およびSAS(登録商標)などの科学パッケージを使用して書き込むことができる。コードは、それを共通プラットフォーム(例えば、Microsoft(登録商標)、Linux(登録商標)、Apple Macintosh(登録商標)OS X、Unix(登録商標))にコンパイルさせるためのものであってもよい。
OpenGL(登録商標)などのよく確立されたプラットフォーム間ライブラリを利用して、本発明の方法、装置およびシステムを実行してもよい。現代のシングルプロセッサおよびマルチプロセッサベースのハードウエアプラットフォーム上で、計算時間を低減するために、適用可能な場合にはいつでも、マルチスレッディングを使用してもよい。上記で考察し、図に示したように、ソフトウエアには、ソフトウエアを実行するときにユーザにより直感的な感覚を提供することのできる、GUIを含めてもよい。スクリーンタッチ、マウスおよび/またはキーボードによって異なるフィールドにアクセスしてもよい。ポップアップウィンドウ、音響アラート、または当該技術において知れられている任意その他の技法を介して、アラーム、キュー、その他を行ってもよい。
上記の章で説明したステップの一部(全部までを含む)を、ファームウエアおよび/または実行ソフトウエアでプログラミングされた、プロセッサ(例えば、1つまたは2つ以上の集積回路)を有するコンピュータを使用して実施してもよい。上記の章で説明したステップの一部(全部までを含む)を、コンピュータシステムの一例(例えば制御システム)である、分散コンピューティング環境を使用して実施してもよい。分散コンピューティング環境においては、任意好適な数の接続媒体(例えば、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、またはそれには限定されないが、Ethernet(登録商標)、企業内コンピュータネットワーク、イントラネットおよびインターネットを含むその他コンピュータネットワーク)によって接続されたものなど、複数のコンピュータを使用してもよく、コンピュータ間の接続は有線または無線とすることができる。
サーバーおよびユーザ端末は、任意のコンピュータシステムの一部とすることができる。さらに、好適なコンピュータシステムの態様は、特定用途向け集積回路(ASIC)または大規模集積(VLSI)回路上に実装してもよく、またさらに(あるいは代替的に)、リソースの仮想化、仮想コンピューティング、および/またはクラウドコンピューティング(cloud computing)を使用して指定された機能を達成するように構成してもよい。実際に、当業者であれば、本開示と整合性のあるコンピュータシステムにおいて上述した機能を達成するために、論理演算を実行することのできる任意の数の好適な構造を利用することができる。
よく知られた処理技法、構成要素および機器の説明は、不必要な詳細さにおいて、本発明の方法、装置およびシステムを不必要に曖昧にしないように、省略されている。本発明の方法、装置およびシステムの説明は、例示的であり、限定的ではない。請求の範囲に含まれるが、本明細書に明白に記載されていない、ある種の置換、修正、追加および/または再配設が、この開示に基づいて、当業者には明白になる。さらに、実動する態様の開発においては、開発者の特定の目的を達成するために、実装毎に変わる、システム関連またはビジネス関連の制約への準拠などの、多数の実装固有の決定を行わなければならないことが、理解されるであろう。そのような開発努力は複雑で時間がかかるが、それでも、本開示の利益を有する当業者には、定型的な業務であろう。
添付の特許請求の範囲は、所与の請求項に「means for」および/または「step for」の語句(複数を含む)を用いて、ミーンズ・プラス・ファンクション(means-plus- function)の限定が明示的に記載されない限り、そのような限定を含むものとは解釈すべきではない。

Claims (19)

  1. 医療用ロボットシステムのロボットアーム(100)の動きを制御するための方法であって、該ロボットアームはツール(400)に動作可能に関連しており、前記医療用ロボットシステムは:
    少なくとも1つのロボットアームを有するオペレータ制御下の医療用ロボット、
    前記ツールの画像を提供するように構成されるカメラ(21)、および、
    前記カメラに対して固定された方位を有する基準構造(200)を含み、
    前記方法は:
    a.ツールの所望の動きを表わす、コントローラ装置(300)からの入力値を受け取ること、但し、前記入力値はコントローラ装置座標系(350)で表わされる;
    b.前記入力値に基づいて、前記ツールの計算による動きを決定すること、但し、前記計算による動きは、ツール(400)の軸(460)と固定関係に配向された第1軸(260)、および、前記第1軸に直角に配向された第2軸を含む、観測者座標系で表わされ、前記基準構造に関連して決定される直角座標系(210)のXおよびY軸で決定される平面への前記第2軸の投影が、X軸と平行であり、かつそれと同一方向を指すように整列され;
    c.前記計算による動きおよびロボットアームの位置に基づいて、ロボットアームの指令による動きを決定すること;および
    d.前記指令による動きに応じて、前記ロボットアームを動かす操作信号を出力すること、
    を含む。
  2. 入力値を、入力絶対値と入力方向を有する入力ベクトルとしてコントローラ装置座標系で表わすことが可能であり;
    計算による動きを、計算による動きの絶対値と計算による動きの方向とを有する、計算による動きのベクトルとして観測者座標系で表わすことが可能であり;かつ
    前記計算による動きの方向は前記入力方向に等しい、請求項1に記載の方法。
  3. 観測者座標系で表わされ、仮想力値に基づく、計算による観測者力値を決定すること;および
    前記計算による観測者力値に応じて、コントローラ装置にフィードバック信号を出力すること
    をさらに含む、
    請求項1または2に記載の方法。
  4. 観測者座標系で表わされ、ロボット用アームからの測定による力値に基づく、計算による観測者力値を決定すること;および
    前記計算による観測者力値に応じて、コントローラ装置にフィードバック信号を出力すること
    をさらに含む、請求項1または2に記載の方法。
  5. 前記測定による力値は、前記ロボットアーム上の場所において測定された力を表わし、センサ座標系で表わされており、計算による観測者力値の決定は、前記測定による力値と前記ロボットアームの位置とに基づく、請求項4に記載の方法。
  6. 計算による観測者力値も仮想力値に基づいている、請求項4または5に記載の方法。
  7. 仮想力値の計算が、1つまたは2つ以上の計算による仮想衝突、1つまたは2つ以上の関節制限、動きの逸脱、またはこれらの組み合わせを使用することを含む、請求項3または6に記載の方法。
  8. 医療用ロボットが2つのロボットアーム(100、101)を含み、それぞれがツール(400、401)に動作可能に関連しており、前記方法が、
    第2のツールの第2の所望の動きを表わす第2のコントローラ装置(301)からの第2の入力値を受け取ること、但し、前記第2の入力値は第2のコントローラ装置座標系(351)で表わされる;
    前記第2の入力値に基づいて、第2のツール(401)の第2の計算による動きを決定すること、但し、前記第2の計算による動きは、第2の観測者座標系(251)で表され、前記第2の観測者座標系は、前記第2のツール(401)の軸(460)と固定関係に配向された第1軸(260)、および、前記第1軸に直角に配向された第2軸を含む、観測者座標系で表わされ、前記基準構造に関連して決定される直角座標系(210)のXおよびY軸で決定される平面への前記第2軸の投影が、X軸と平行であり、かつそれと同一方向を指すように整列され; 前記第2の計算による動きおよび前記第2のロボットアームの位置に基づいて、前記第2のロボットアームの第2の指令による動きを決定すること;および
    前記第2の指令による動きに応じて、前記第2のロボットアームを動かす第2の操作信号を出力すること、
    をさらに含む、請求項1〜7のいずれか一項に記載の方法。
  9. 第2の観測者座標系で表わされ、第2の仮想力値に基づく、第2の計算による観測者力値を決定すること;および
    前記第2の計算による観測者力値に応じて、コントローラ装置に第2のフィードバック信号を出力すること
    をさらに含む、請求項8に記載の方法。
  10. 第2の観測者座標系で表わされ、第2の医療用ロボットアームからの第2の測定による力値に基づく、第2の計算による観測者力値を決定すること;および
    前記第2の計算による観測者力値に応じて、コントローラ装置に第2のフィードバック信号を出力すること
    をさらに含む、請求項8に記載の方法。
  11. 前記第2の測定による力値は、前記第2のロボットアーム上の場所において測定された力を表わし、センサ座標系で表わされて、前記第2の計算による観測者力値の決定は、前記第2の測定による力値と前記第2のロボットアームの位置とに基づく、請求項10に記載の方法。
  12. 第2の計算による観測者力値も第2の仮想力値に基づいている、請求項10または11に記載の方法。
  13. 第2の仮想力値の計算が、1つまたは2つ以上の計算による仮想衝突、1つまたは2つ以上の関節制限、動きの逸脱、または、これらの組み合わせを使用することを含む、請求項9または12に記載の方法。
  14. 観測者座標系が、第1の軸および第2の軸の両方に直角な第3の軸をさらに含む、請求項1に記載の方法。
  15. コントローラ装置座標系が3つの直角な軸を含み、コントローラ装置から受け取る入力値がツールの計算による動きに直接マッピングされる、請求項14に記載の方法。
  16. コントローラ装置座標系が3つの直角な軸を含み、観測者の視点から見たコントローラ装置座標系(350)のそれぞれの軸が、基準構造(200)の視点から見た観測者座標系(250)の対応する軸に同一に配向される、請求項14に記載の方法。
  17. 請求項1〜16のいずれか一項に記載の方法を実行するための機械可読命令を含む、コンピュータ可読媒体。
  18. 医療用ロボットシステムの少なくとも1つのロボットアーム(100、101)の動きを制御するように構成された制御システムであって、該ロボットアームはツール(400、401)に動作可能に関連しており、前記医療用ロボットシステムは:
    少なくとも1つのロボットアームを有するオペレータ制御下の医療用ロボット、
    前記ツールの画像を提供するように構成されるカメラ(21)、および、
    前記カメラに対して固定された方位を有する基準構造(200)を含み、
    前記制御システムは:
    前記医療用ロボットに動作可能に関連するコンピュータ機器であって、前記コンピュータ機器は、請求項1〜16のいずれか一項に記載の方法を実装するように構成され、および、
    前記コンピュータ機器に動作可能に関連し、ロボットアームの所望の動きの入力を受け取るように構成された、少なくとも1つのコントローラ装置(300、301)、
    を含む。
  19. ツールの画像を表示するように構成された視界装置(22)をさらに含む、請求項18に記載の制御システム。
JP2010503625A 2007-04-16 2008-04-16 フレームマッピングおよびフォースフィードバックの方法、装置およびシステム Expired - Fee Related JP5444209B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US91214407P 2007-04-16 2007-04-16
US60/912,144 2007-04-16
PCT/IB2008/003363 WO2009034477A2 (en) 2007-04-16 2008-04-16 Frame mapping and force feedback methods, devices and systems

Publications (3)

Publication Number Publication Date
JP2010524548A JP2010524548A (ja) 2010-07-22
JP2010524548A5 JP2010524548A5 (ja) 2011-06-16
JP5444209B2 true JP5444209B2 (ja) 2014-03-19

Family

ID=40452631

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010503625A Expired - Fee Related JP5444209B2 (ja) 2007-04-16 2008-04-16 フレームマッピングおよびフォースフィードバックの方法、装置およびシステム

Country Status (6)

Country Link
US (2) US8554368B2 (ja)
EP (1) EP2148629B1 (ja)
JP (1) JP5444209B2 (ja)
CA (1) CA2684475C (ja)
IL (1) IL201558A0 (ja)
WO (1) WO2009034477A2 (ja)

Families Citing this family (114)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8944070B2 (en) 1999-04-07 2015-02-03 Intuitive Surgical Operations, Inc. Non-force reflecting method for providing tool force information to a user of a telesurgical system
US9789608B2 (en) 2006-06-29 2017-10-17 Intuitive Surgical Operations, Inc. Synthetic representation of a surgical robot
EP4018910A1 (en) 2006-06-13 2022-06-29 Intuitive Surgical Operations, Inc. Minimally invasive surgical system
US9718190B2 (en) 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
US10008017B2 (en) 2006-06-29 2018-06-26 Intuitive Surgical Operations, Inc. Rendering tool information as graphic overlays on displayed images of tools
US10258425B2 (en) 2008-06-27 2019-04-16 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view of articulatable instruments extending out of a distal end of an entry guide
US20090192523A1 (en) 2006-06-29 2009-07-30 Intuitive Surgical, Inc. Synthetic representation of a surgical instrument
US9138129B2 (en) 2007-06-13 2015-09-22 Intuitive Surgical Operations, Inc. Method and system for moving a plurality of articulated instruments in tandem back towards an entry guide
US9469034B2 (en) 2007-06-13 2016-10-18 Intuitive Surgical Operations, Inc. Method and system for switching modes of a robotic system
US9084623B2 (en) 2009-08-15 2015-07-21 Intuitive Surgical Operations, Inc. Controller assisted reconfiguration of an articulated instrument during movement into and out of an entry guide
US8903546B2 (en) 2009-08-15 2014-12-02 Intuitive Surgical Operations, Inc. Smooth control of an articulated instrument across areas with different work space conditions
US9089256B2 (en) 2008-06-27 2015-07-28 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide
US8620473B2 (en) 2007-06-13 2013-12-31 Intuitive Surgical Operations, Inc. Medical robotic system with coupled control modes
US8864652B2 (en) 2008-06-27 2014-10-21 Intuitive Surgical Operations, Inc. Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the positioning and orienting of its tip
DE102008047575B4 (de) * 2008-09-17 2012-09-27 Leica Biosystems Nussloch Gmbh Gerät zur Handhabung mindestens eines Objektträgers
US9492927B2 (en) 2009-08-15 2016-11-15 Intuitive Surgical Operations, Inc. Application of force feedback on an input device to urge its operator to command an articulated instrument to a preferred pose
US8918211B2 (en) * 2010-02-12 2014-12-23 Intuitive Surgical Operations, Inc. Medical robotic system providing sensory feedback indicating a difference between a commanded state and a preferred pose of an articulated instrument
US8623028B2 (en) 2009-09-23 2014-01-07 Intuitive Surgical Operations, Inc. Surgical port feature
US20110071541A1 (en) 2009-09-23 2011-03-24 Intuitive Surgical, Inc. Curved cannula
US8888789B2 (en) 2009-09-23 2014-11-18 Intuitive Surgical Operations, Inc. Curved cannula surgical system control
US8465476B2 (en) 2009-09-23 2013-06-18 Intuitive Surgical Operations, Inc. Cannula mounting fixture
CN104799890B (zh) * 2009-11-13 2017-03-22 直观外科手术操作公司 弯曲套管和机器人操纵器
CN102686366B (zh) 2010-08-31 2015-02-25 松下电器产业株式会社 主从机器人的控制装置及主从机器人的控制装置的控制方法
US9119655B2 (en) 2012-08-03 2015-09-01 Stryker Corporation Surgical manipulator capable of controlling a surgical instrument in multiple modes
US9921712B2 (en) 2010-12-29 2018-03-20 Mako Surgical Corp. System and method for providing substantially stable control of a surgical tool
US8918214B2 (en) * 2011-01-19 2014-12-23 Harris Corporation Telematic interface with directional translation
JP2012171088A (ja) * 2011-02-24 2012-09-10 Olympus Corp マスタ操作入力装置及びマスタスレーブマニピュレータ
JP6021484B2 (ja) 2011-08-04 2016-11-09 オリンパス株式会社 医療用マニピュレータ
CN103732173B (zh) 2011-08-04 2016-03-09 奥林巴斯株式会社 手术器具和医疗用机械手
JP5931497B2 (ja) 2011-08-04 2016-06-08 オリンパス株式会社 手術支援装置およびその組立方法
JP5841451B2 (ja) 2011-08-04 2016-01-13 オリンパス株式会社 手術器具およびその制御方法
JP6081061B2 (ja) 2011-08-04 2017-02-15 オリンパス株式会社 手術支援装置
JP6000641B2 (ja) 2011-08-04 2016-10-05 オリンパス株式会社 マニピュレータシステム
JP6021353B2 (ja) 2011-08-04 2016-11-09 オリンパス株式会社 手術支援装置
JP6009840B2 (ja) 2011-08-04 2016-10-19 オリンパス株式会社 医療機器
JP5936914B2 (ja) 2011-08-04 2016-06-22 オリンパス株式会社 操作入力装置およびこれを備えるマニピュレータシステム
CN103717169B (zh) 2011-08-04 2016-11-16 奥林巴斯株式会社 医疗用机械手及其控制方法
CN103648425B (zh) 2011-08-04 2016-10-19 奥林巴斯株式会社 医疗用机械手和手术支援装置
JP5953058B2 (ja) 2011-08-04 2016-07-13 オリンパス株式会社 手術支援装置およびその着脱方法
JP6005950B2 (ja) 2011-08-04 2016-10-12 オリンパス株式会社 手術支援装置及びその制御方法
US9387048B2 (en) 2011-10-14 2016-07-12 Intuitive Surgical Operations, Inc. Catheter sensor systems
US9452276B2 (en) 2011-10-14 2016-09-27 Intuitive Surgical Operations, Inc. Catheter with removable vision probe
US20130303944A1 (en) 2012-05-14 2013-11-14 Intuitive Surgical Operations, Inc. Off-axis electromagnetic sensor
JP5893330B2 (ja) * 2011-10-18 2016-03-23 オリンパス株式会社 操作入力装置および操作入力装置の初期化方法
AU2013215493A1 (en) * 2012-01-30 2014-08-21 Google Inc. Apparatus and method for acquiring underwater images
WO2013150599A1 (ja) * 2012-04-02 2013-10-10 株式会社安川電機 ロボットシステム及び作業設備
US9226796B2 (en) 2012-08-03 2016-01-05 Stryker Corporation Method for detecting a disturbance as an energy applicator of a surgical instrument traverses a cutting path
KR102603224B1 (ko) * 2012-08-03 2023-11-16 스트리커 코포레이션 로봇 수술을 위한 시스템 및 방법
US20140148673A1 (en) 2012-11-28 2014-05-29 Hansen Medical, Inc. Method of anchoring pullwire directly articulatable region in catheter
US10507066B2 (en) 2013-02-15 2019-12-17 Intuitive Surgical Operations, Inc. Providing information of tools by filtering image areas adjacent to or on displayed images of the tools
US9884426B2 (en) * 2013-06-27 2018-02-06 De-Sta-Co Europe Gmbh Boom utilized in a geometric end effector system
US9289265B2 (en) * 2013-07-10 2016-03-22 The Johns Hopkins University MRI-compatible, integrated force and torque sensors and systems that incorporate the sensors
EP3120979A4 (en) * 2014-03-14 2017-11-08 Sony Corporation Robot arm device, robot arm control method and program
EP2923669B1 (en) 2014-03-24 2017-06-28 Hansen Medical, Inc. Systems and devices for catheter driving instinctiveness
CN107427327A (zh) 2014-09-30 2017-12-01 奥瑞斯外科手术机器人公司 具有虚拟轨迹和柔性内窥镜的可配置机器人外科手术系统
US10314463B2 (en) 2014-10-24 2019-06-11 Auris Health, Inc. Automated endoscope calibration
CN104546144B (zh) * 2015-01-22 2016-09-14 中国科学院重庆绿色智能技术研究院 一种可切换式的七自由度力反馈遥操作手
US9962833B2 (en) * 2015-04-07 2018-05-08 Mtm Robotics, Llc System and method for adjusting end-effector actuation based on relative position with respect to gravitational force
CA2984092C (en) 2015-05-01 2023-01-03 Titan Medical Inc. Instrument collision detection and feedback
DE102015109371A1 (de) * 2015-06-12 2016-12-15 avateramedical GmBH Vorrichtung und Verfahren zur robotergestützten Chirurgie
US9833907B1 (en) * 2015-06-22 2017-12-05 X Development Llc Proximity-based binding
US10022872B2 (en) 2015-10-06 2018-07-17 Mtm Robotics, Llc Self-contained modular manufacturing tool responsive to locally stored historical data
US10220516B2 (en) 2015-10-06 2019-03-05 Mtm Robotics, Llc System and method for self-contained independently controlled modular manufacturing tools
US10252421B2 (en) 2015-10-06 2019-04-09 Mtm Robotics Llc Self-contained modular manufacturing tool
US10025299B2 (en) 2015-10-06 2018-07-17 Mtm Robotics, Llc System and method for self-contained modular manufacturing device having nested controllers
US11096751B2 (en) * 2015-10-13 2021-08-24 National University Corporation, Okayama University Puncture robot
US10639108B2 (en) 2015-10-30 2020-05-05 Auris Health, Inc. Process for percutaneous operations
US9955986B2 (en) 2015-10-30 2018-05-01 Auris Surgical Robotics, Inc. Basket apparatus
US9949749B2 (en) 2015-10-30 2018-04-24 Auris Surgical Robotics, Inc. Object capture with a basket
JP6817607B2 (ja) * 2015-11-05 2021-01-20 国立大学法人九州大学 微細作業支援システム及び微細作業用マニピュレータ
US10143526B2 (en) 2015-11-30 2018-12-04 Auris Health, Inc. Robot-assisted driving systems and methods
CN105476713B (zh) * 2015-12-28 2017-12-26 苏州点合医疗科技有限公司 一种基于底托避让套管式防缠绕微创减压机械手的骨科手术机器人
AU2016380277B2 (en) 2015-12-31 2021-12-16 Stryker Corporation System and methods for performing surgery on a patient at a target site defined by a virtual object
EP4410230A3 (en) 2016-01-12 2024-09-04 Intuitive Surgical Operations, Inc. Staged force feedback transitioning between control states
CN108472086B (zh) * 2016-02-26 2021-07-09 直观外科手术操作公司 使用虚拟边界避免碰撞的系统和方法
JP6733239B2 (ja) * 2016-03-18 2020-07-29 セイコーエプソン株式会社 制御装置及びロボットシステム
EP3432821A4 (en) * 2016-03-25 2019-11-20 Intuitive Surgical Operations Inc. SURGICAL PLATFORM WITH MULTIPLE ARMS
US11129683B2 (en) 2016-07-14 2021-09-28 Intuitive Surgical Operations, Inc. Systems and methods for controlling a surgical instrument
KR20230167129A (ko) * 2016-07-14 2023-12-07 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 컴퓨터 보조 원격조작 시스템에서의 2차 기구 제어
US10531929B2 (en) * 2016-08-16 2020-01-14 Ethicon Llc Control of robotic arm motion based on sensed load on cutting tool
US10390895B2 (en) 2016-08-16 2019-08-27 Ethicon Llc Control of advancement rate and application force based on measured forces
US9931025B1 (en) * 2016-09-30 2018-04-03 Auris Surgical Robotics, Inc. Automated calibration of endoscopes with pull wires
EP3554414A1 (en) 2016-12-16 2019-10-23 MAKO Surgical Corp. Techniques for modifying tool operation in a surgical robotic system based on comparing actual and commanded states of the tool relative to a surgical site
US10244926B2 (en) 2016-12-28 2019-04-02 Auris Health, Inc. Detecting endolumenal buckling of flexible instruments
KR102695556B1 (ko) 2017-05-12 2024-08-20 아우리스 헬스, 인코포레이티드 생검 장치 및 시스템
KR102341451B1 (ko) 2017-06-28 2021-12-23 아우리스 헬스, 인코포레이티드 기기의 삽입 보상을 위한 로봇 시스템, 방법 및 비일시적 컴퓨터 가독 저장 매체
US10426559B2 (en) 2017-06-30 2019-10-01 Auris Health, Inc. Systems and methods for medical instrument compression compensation
US10145747B1 (en) 2017-10-10 2018-12-04 Auris Health, Inc. Detection of undesirable forces on a surgical robotic arm
EP3684282B1 (en) 2017-12-06 2024-02-21 Auris Health, Inc. Systems to correct for uncommanded instrument roll
US11510736B2 (en) 2017-12-14 2022-11-29 Auris Health, Inc. System and method for estimating instrument location
US20200367984A1 (en) * 2018-01-04 2020-11-26 Covidien Lp Robotic surgical systems including torque sensors
WO2019160865A1 (en) 2018-02-13 2019-08-22 Auris Health, Inc. System and method for driving medical instrument
KR20210069670A (ko) 2018-09-28 2021-06-11 아우리스 헬스, 인코포레이티드 동시 내시경술 및 경피 의료 절차를 위한 로봇 시스템 및 방법
US10765487B2 (en) 2018-09-28 2020-09-08 Auris Health, Inc. Systems and methods for docking medical instruments
CN109955284B (zh) * 2019-03-11 2020-11-27 燕山大学 两转一移三自由度力反馈装置
WO2020256502A2 (ko) * 2019-06-21 2020-12-24 한국과학기술원 그리퍼 및 이를 포함하는 수술용 마스터 장치
KR102283670B1 (ko) 2019-06-21 2021-07-30 한국과학기술원 슬레이브 장치를 제어하기 위한 수술용 마스터 장치
KR102284387B1 (ko) * 2019-06-21 2021-08-02 한국과학기술원 수술 시스템
KR102285586B1 (ko) 2019-06-21 2021-08-04 한국과학기술원 수술용 마스터 장치에 사용되는 그리퍼
WO2020263629A1 (en) 2019-06-27 2020-12-30 Auris Health, Inc. Systems and methods for a medical clip applier
WO2020263949A1 (en) 2019-06-28 2020-12-30 Auris Health, Inc. Medical instruments including wrists with hybrid redirect surfaces
US11896330B2 (en) 2019-08-15 2024-02-13 Auris Health, Inc. Robotic medical system having multiple medical instruments
US10959792B1 (en) * 2019-09-26 2021-03-30 Auris Health, Inc. Systems and methods for collision detection and avoidance
US11737845B2 (en) 2019-09-30 2023-08-29 Auris Inc. Medical instrument with a capstan
US11737835B2 (en) 2019-10-29 2023-08-29 Auris Health, Inc. Braid-reinforced insulation sheath
CN114901192A (zh) 2019-12-31 2022-08-12 奥瑞斯健康公司 用于经皮进入的对准技术
CN114901200A (zh) 2019-12-31 2022-08-12 奥瑞斯健康公司 高级篮式驱动模式
WO2021137072A1 (en) 2019-12-31 2021-07-08 Auris Health, Inc. Anatomical feature identification and targeting
EP4084717A4 (en) 2019-12-31 2024-02-14 Auris Health, Inc. DYNAMIC PULLEY SYSTEM
KR20220123087A (ko) 2019-12-31 2022-09-05 아우리스 헬스, 인코포레이티드 경피 접근을 위한 정렬 인터페이스
WO2022003485A1 (en) 2020-06-29 2022-01-06 Auris Health, Inc. Systems and methods for detecting contact between a link and an external object
US11357586B2 (en) * 2020-06-30 2022-06-14 Auris Health, Inc. Systems and methods for saturated robotic movement
US20230330865A1 (en) * 2020-09-07 2023-10-19 The Board Of Trustees Of The Leland Stanford Junior University Drift-Based Adaptive Workspace Mapping Controller in Haptic Interaction
CN114211493B (zh) * 2021-12-23 2023-10-27 武汉联影智融医疗科技有限公司 机械臂的远程控制系统和方法

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4725965A (en) * 1986-07-23 1988-02-16 American Telephone And Telegraph Company Method for calibrating a SCARA robot
US4831549A (en) * 1987-07-28 1989-05-16 Brigham Young University Device and method for correction of robot inaccuracy
US4843287A (en) * 1987-12-31 1989-06-27 Westinghouse Electric Corp. Path contriving system for look-ahead sensor in a robotic control system
US4833381A (en) * 1987-12-31 1989-05-23 Westinghouse Electric Corp. Optical automatic seam tracker and real time control system for an industrial robot
JP2770982B2 (ja) * 1989-05-25 1998-07-02 株式会社豊田中央研究所 マニピユレータの位置と力の協調制御装置
US5297238A (en) * 1991-08-30 1994-03-22 Cimetrix Incorporated Robot end-effector terminal control frame (TCF) calibration method and device
JPH05282029A (ja) * 1992-04-02 1993-10-29 Fanuc Ltd ツール座標定義方式
US5524180A (en) * 1992-08-10 1996-06-04 Computer Motion, Inc. Automated endoscope system for optimal positioning
FR2709656B1 (fr) 1993-09-07 1995-12-01 Deemed Int Sa Installation pour opération de microchirurgie assistée par ordinateur et procédés mis en Óoeuvre par ladite installation.
JP3540362B2 (ja) * 1994-06-14 2004-07-07 オリンパス株式会社 手術用マニピュレータの制御システム及びその制御方法
US5876325A (en) * 1993-11-02 1999-03-02 Olympus Optical Co., Ltd. Surgical manipulation system
US5542180A (en) * 1994-02-03 1996-08-06 Npk Construction Equipment, Inc. Heavy duty shear with anti-jam feature
US6364888B1 (en) * 1996-09-09 2002-04-02 Intuitive Surgical, Inc. Alignment of master and slave in a minimally invasive surgical apparatus
US6810281B2 (en) * 2000-12-21 2004-10-26 Endovia Medical, Inc. Medical mapping system
US6522906B1 (en) * 1998-12-08 2003-02-18 Intuitive Surgical, Inc. Devices and methods for presenting and regulating auxiliary information on an image display of a telesurgical system to assist an operator in performing a surgical procedure
US6424885B1 (en) * 1999-04-07 2002-07-23 Intuitive Surgical, Inc. Camera referenced control in a minimally invasive surgical apparatus
US6053808A (en) 1999-07-26 2000-04-25 3Com Corporation Exhaust vent for an electronic chassis
WO2001062173A2 (en) * 2000-02-25 2001-08-30 The Board Of Trustees Of The Leland Stanford Junior University Methods and apparatuses for maintaining a trajectory in sterotaxi for tracking a target inside a body
US20040243147A1 (en) * 2001-07-03 2004-12-02 Lipow Kenneth I. Surgical robot and robotic controller
US6898484B2 (en) * 2002-05-01 2005-05-24 Dorothy Lemelson Robotic manufacturing and assembly with relative radio positioning using radio based location determination
EP1531749A2 (en) 2002-08-13 2005-05-25 Microbotics Corporation Microsurgical robot system
EP1633534B1 (en) * 2003-04-28 2018-09-12 Nikon Metrology NV Cmm arm with exoskeleton
US6822412B1 (en) * 2003-06-11 2004-11-23 Zhongxue Gan Method for calibrating and programming of a robot application
US10555775B2 (en) * 2005-05-16 2020-02-11 Intuitive Surgical Operations, Inc. Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery
US8073528B2 (en) * 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
US8108072B2 (en) * 2007-09-30 2012-01-31 Intuitive Surgical Operations, Inc. Methods and systems for robotic instrument tool tracking with adaptive fusion of kinematics information and image information
EP2289453B1 (en) * 2005-06-06 2015-08-05 Intuitive Surgical Operations, Inc. Laparoscopic ultrasound robotic surgical system
GB2428110A (en) * 2005-07-06 2007-01-17 Armstrong Healthcare Ltd A robot and method of registering a robot.
US20070106307A1 (en) * 2005-09-30 2007-05-10 Restoration Robotics, Inc. Methods for implanting follicular units using an automated system
US7962192B2 (en) * 2005-09-30 2011-06-14 Restoration Robotics, Inc. Systems and methods for aligning a tool with a desired location or object
CN101291635B (zh) * 2005-10-20 2013-03-27 直观外科手术操作公司 医用机器人系统中的计算机显示屏上的辅助图像显示和操纵
US20070129626A1 (en) * 2005-11-23 2007-06-07 Prakash Mahesh Methods and systems for facilitating surgical procedures
US20080027580A1 (en) * 2006-07-28 2008-01-31 Hui Zhang Robot programming method and apparatus with both vision and force
US8473031B2 (en) * 2007-12-26 2013-06-25 Intuitive Surgical Operations, Inc. Medical robotic system with functionality to determine and display a distance indicated by movement of a tool robotically manipulated by an operator
US20100331856A1 (en) * 2008-12-12 2010-12-30 Hansen Medical Inc. Multiple flexible and steerable elongate instruments for minimally invasive operations

Also Published As

Publication number Publication date
IL201558A0 (en) 2010-05-31
WO2009034477A2 (en) 2009-03-19
US9044257B2 (en) 2015-06-02
WO2009034477A3 (en) 2010-02-04
CA2684475C (en) 2016-01-12
EP2148629A2 (en) 2010-02-03
CA2684475A1 (en) 2009-03-19
US8554368B2 (en) 2013-10-08
JP2010524548A (ja) 2010-07-22
EP2148629A4 (en) 2011-03-09
US20140142593A1 (en) 2014-05-22
US20110160745A1 (en) 2011-06-30
EP2148629B1 (en) 2012-06-06

Similar Documents

Publication Publication Date Title
JP5444209B2 (ja) フレームマッピングおよびフォースフィードバックの方法、装置およびシステム
US10765485B2 (en) Medical support arm device and method of controlling medical support arm device
JP6555248B2 (ja) 医療用アーム装置、キャリブレーション方法及びプログラム
JP6787623B2 (ja) 非常に器用なシステムのユーザインタフェース
JP7251669B2 (ja) 制御システム及び制御方法、並びにアームシステム
Xu et al. Visual-haptic aid teleoperation based on 3-D environment modeling and updating
Zhang et al. Hamlyn CRM: A compact master manipulator for surgical robot remote control
WO2016152046A1 (en) Medical support arm device and method of controlling medical support arm device
Bihlmaier et al. Ros-based cognitive surgical robotics
CN116723916A (zh) 臂和身体协调
US20230028689A1 (en) System and method for inter-arm registration
JP7249221B2 (ja) センサ位置姿勢キャリブレーション装置及びセンサ位置姿勢キャリブレーション方法
US20230110248A1 (en) Stereoscopic visualization camera and integrated robotics platform with force/torque sensor non-linearity correction
Zhang et al. Direct manipulation of tool‐like masters for controlling a master–slave surgical robotic system
Mihelj et al. yControl-open architecture controller for Yaskawa Motoman MH5 robot
Phlippen et al. Development and evaluation of a straightforward method to identify the elastic structure of a lightweight robot
Bihlmaier et al. Intraoperative robot-based camera assistance
Cortes et al. Robotic research platform for image-guided surgery assistance
Grespan et al. Surgical Robot Simulation and Control
Zamora-Esquivel et al. Hand-Eye Calibration Using Camera’s IMU Sensor in Quadric Geometric Algebra (QGA)
Kumar et al. Investigating Teleoperation of UR5 Robot Using Haptic Device for Different Network Configuration
Nandikolla et al. Research Article Teleoperation Robot Control of a Hybrid EEG-Based BCI Arm Manipulator Using ROS
Hu et al. A study of visual servo system based on binocular camera
Bilgincan et al. Development of an R-Cube-Based General Purpose Haptic Device System
Cortes et al. In the context of surgery, it is very common to face challenging scenarios during the preoperative plan implementation. The surgical technique’s complexity, the human anatomical variability and the occurrence of unexpected situations generate issues for the

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110418

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110418

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121211

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130311

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130318

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130611

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131220

R150 Certificate of patent or registration of utility model

Ref document number: 5444209

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees