JP2021510327A - コンピュータビジョンを利用したロボット外科システムのツールの位置および状態の判定 - Google Patents

Abstract

ロボット外科システムおよびロボット外科システムを制御する方法が、本明細書で開示される。１つの開示された方法は、固定参照フレームにおいて、撮像装置を用いて手術部位内のツールのツール姿勢を視覚的に捕捉することと、固定参照フレームにおいて、ツールを支持するリンケージのアーム姿勢をリンケージの既知の形状から判定することと、固定参照フレームにおいて、制御信号に応答して、リンケージを操作してツールを所望のツール姿勢に移動させることと、を含む。

Description

遠隔外科システムなどのロボット外科システムは、より少ない痛み、より短い入院期間、通常の活動へのより迅速な復帰、瘢痕の最小化、回復時間の低減、および組織へのより少ない損傷を含む、従来の観血的外科技術に勝る多くの利点を提供する低侵襲外科処置を実行するために使用される。

ロボット外科システムは、手術部位の画像捕捉装置によって捕捉された画像を視認する外科医による入力装置の動きに応答して、画像捕捉装置、ステープラ、電気外科器具などの、取り付けられた器具またはツールを移動させる、複数のロボットアームを有することができる。ロボット外科処置中、各ツールは、自然または切開のいずれかの開口部を通して患者に挿入され、手術部位で組織を操作するように配置される。開口部は、外科器具が、協働してロボット外科処置を行うために使用され得、画像捕捉装置が、手術部位を視認し得るように、患者の身体の周りに位置付けられる。

ロボット外科処置中、手術部位内のツールの位置を正確に把握および制御することが重要である。したがって、ロボット外科処置中、手術部位内のツールの位置を検出および制御するためのシステムおよび方法が引き続き必要とされている。

本開示は、外科手術部位内でツール姿勢を視覚的に捕捉することから外科ロボットを制御することに関する。開示された方法では、撮像装置が、手術部位内のツールのツール姿勢を捕捉する。次いで、外科ロボットは、ツールを支持するリンケージのアーム姿勢を判定する。次いで、外科ロボットは、アームを操作して、臨床医からの入力に応答してツールを所望のツール姿勢に移動させる。ツール姿勢を視覚的に判定すると、手術部位内のツールの位置の精度と解像度が向上する。改善された精度と解像度は、精密な動きを完了するために使用でき、自動化されたアクションを完了するのに役立ち得る。ツール姿勢を視覚的に判定することで、荷重と関節の動的パフォーマンスによって引き起こされる運動学モデルの不一致も解消される。

本明細書で開示されるいくつかの方法では、視覚的に捕捉されたツールの姿勢に基づいて、ツールの機能が有効化および無効化される。ツールのエンドエフェクタが手術部位の有効化されたゾーン内にあるときに、ツールの機能が有効化され得る。有効化されたゾーンは、標的組織の場所、標的組織のサイズ、標的組織に対する非標的組織の近接性、またはツールの機能のタイプに基づいて判定され得る。外科ロボットは、ディスプレイを含むユーザインターフェースによって制御され得る。ディスプレイは、手術部位のグラフィック表現を示し、ツールの機能の有効化されたゾーンと有効化／無効化ステータスの視覚的なしるしを提供することができる。例えば、ディスプレイは、ツールの機能が有効化されているときにある色を示し、ツールの機能が無効化されているときに別の色を示す境界を有することができる。追加的または代替的に、ディスプレイは、ツールの機能が有効化されているときにツールをある色で示し、ツールの機能が無効化されているときに別の色でツールを示すことができる。ツールが有効化されたゾーンにあるとき、外科ロボットは、ツールを使用して手術部位内で自動化タスクを完了することができると考えられる。特定の方法では、ユーザインターフェースは、臨床医の注視を追跡して、臨床医の注視が、ツールの機能を有効化する前に、ディスプレイ上の有効化されたゾーンの表示に焦点を合わせているか、または向けられていることを確認することができる。ツールが有効化されたゾーン内にあることを要求することにより、および／またはツールの機能を作動させる前に臨床医の注視が有効化されたゾーンに向けられることにより、ツールが有効化されたゾーンの外にあるときに、ツールの不注意または意図しない作動を減らすことにより、ロボット外科処置中の安全性を高めることができると考えられる。

特定の方法では、撮像装置の視野の中心は、外科処置中に重心を自動的に追跡することができる。追跡重心は、ツールの重心、ツールの重心と標的組織の間の点、または複数のツールの重心の間の点とすることができる。追跡重心は、手術部位内のアクティブなツールに自動的に割り当てることも、臨床医によって選択的に割り当てることもできる。外科処置中に重心を自動的に追跡することにより、臨床医が、撮像装置の移動に集中することを必要とせずに、処置に集中することができる。本方法は、ロボット外科システムのユーザインターフェースから制御信号を受信することを含み得る。

本開示の一態様では、外科ロボットを制御する方法は、撮像装置を用いて、固定参照フレームにおいて、手術部位内の第１のツールの第１のツール姿勢を視覚的に捕捉することと、固定参照フレームにおいて、第１のツールを支持する第１のリンケージの第１のアーム姿勢を第１のリンケージの既知の形状から判定することと、第１の制御信号に応答して、固定参照フレームにおいて、第１のリンケージを操作して、第１ツールを所望の第１のツール姿勢に移動させることと、を含む。

態様では、固定参照フレームにおいて、第１のツールの第１のツール姿勢を視覚的に捕捉することは、撮像装置によって画定されたフレーム内に固定参照フレームを画定することを含む。固定参照フレームにおいて、第１のツールの第１のツール姿勢を視覚的に捕捉することは、撮像装置の第１のレンズおよび第２のレンズの両方を用いて第１のツール姿勢を捕捉することを含み得る。

一部の態様では、第１のツール姿勢を視覚的に捕捉することは、第１のツール上の１つ以上のマーカーの位置を識別することを含む。第１のツール姿勢を視覚的に捕捉することは、光の赤外スペクトル内の１つ以上のマーカーの位置を捕捉することを含み得る。

特定の態様では、本方法は、撮像装置を用いて、固定参照フレームにおいて、手術部位内の第２のツールの第２のツール姿勢を視覚的に捕捉することと、固定参照フレームにおいて、第２のツールを支持する第２のリンケージの第２のアーム姿勢を第２のリンケージの既知の形状から判定することと、第２の制御信号に応答して、固定参照フレームにおいて、第２のリンケージを操作して第２のツールを所望の第２のツール姿勢に移動させることと、を含む。第１のアーム姿勢を判定することおよび前記第２のアーム姿勢を判定することが、完全に固定参照フレーム内で行われ得る。

本開示の別の態様において、外科システムのツールの機能を制御する方法は、撮像装置を用いて、手術部位の画像を捕捉することと、標的組織に対する手術部位内のツールの距離を判定することと、ツールが標的組織からの所定の距離内にあるときに、ツールの機能の作動を有効化することと、制御信号に応答して、ツールの機能を作動させて、ツールを操作することと、を含む。

態様では、ツールの機能の作動を有効化することは、機能が有効化されていることを外科システムに従事している診療所に視覚的しるしを提供することを含む。視覚的しるしを提供することは、外科システムのディスプレイの境界の色を変更することを含み得る。

一部の態様では、本方法は、ツールが標的組織からの所定の距離を超えているときに、ツールの機能の作動を無効化することを含み得る。機能の作動を無効化することは、機能が無効化される外科システムに従事している臨床医に視覚的なしるしを提供することを含み得る。視覚的しるしを提供することは、外科システムのディスプレイの境界の色を変更することを含み得る。

特定の態様では、本方法は、ツールが標的組織からの所定の距離内にあるときに、外科システムがツールを用いて手術部位内で自動化タスクを完了することを含み得る。自動化タスクを完了することは、ツールが標的組織から所定の距離内にあるときに、標的組織を縫合することを含み得る。

特定の態様では、本方法は、ツールの機能の作動を有効化する前に、外科システムとインターフェースする臨床医の注視が外科システムのディスプレイ上の有効化されたゾーンに向けられていることを確認することを含み得る。ツールの機能を作動させて、組織を操作することは、ツールで組織を挟持すること、ツールで組織に電気外科エネルギーを送達すること、ツールで組織をステープル留めすること、ツールで組織を縫合すること、または組織にツールの刃先もしくはナイフを進めることのうちの少なくとも１つを含み得る。

本開示の別の態様では、外科システムは、撮像装置と、ツールと、処理ユニットと、を含む。撮像装置は、手術部位の画像を捕捉するように構成されている。ツールは、制御信号に応答して組織を操作するように構成されている機能を有する。処理ユニットは、撮像装置およびツールと通信し、捕捉された画像から標的組織に対するツールの距離を判定することと、ツールが標的組織の所定の距離内に配置されたときにツールの機能の作動を可能にすることと、を行うように構成されている。

態様では、外科システムは、手術部位の表示を提供するように構成されているディスプレイを含む。処理ユニットは、手術部位の表示内の所定の距離によって画定される有効化されたゾーンの表示を提供するように構成され得る。処理ユニットは、ツールの機能が有効化されたときに、ディスプレイ上に視覚的しるしを提供するように構成され得る。ディスプレイは、ツールの機能が有効化されたときに、ディスプレイの境界の色を変更するように構成され得る。

一部の態様では、外科システムは、外科部位の表示を提供するように構成されているディスプレイを含む。処理ユニットは、ツールの機能の作動を有効化する前に、臨床医の注視がディスプレイに向けられていることを確認するように構成され得る。処理ユニットは、ツールが標的組織の所定の距離内にあるときに自動化タスクを完了するように構成され得る。処理ユニットは、ツールが標的組織から所定の距離を超えて配置されたときに、ツールの機能の作動を防止するように構成され得る。

本開示の別の態様では、撮像装置を操作する方法は、撮像装置の視野内で追跡重心を識別することと、追跡重心を撮像装置の視界の中心にポージングするために撮像装置の姿勢を操作することと、追跡重心が撮像装置の視野内で移動するように、視野内で第１のツールを移動させることと、第１のツールが視野内で移動するときに追跡重心を追跡し、追跡重心を撮像装置の視野の中心に維持することと、を含む。

態様では、追跡重心を識別することは、追跡重心を、第１のツールの第１のツール重心として画定することを含む。代替的に、追跡重心を識別することは、追跡重心を、第１のツールの第１のツール重心と標的組織との間の点として画定することを含み得る。追跡重心は、第１のツール重心と標的組織の重心との間の線の中点であり得る。

いくつかの態様では、本方法は、追跡重心が撮像装置の視界内で移動するように、視野内で第２のツールを移動させることをさらに含む。追跡重心を識別することは、追跡重心を、第１のツールの第１のツール重心と第２のツールの第２のツール重心との間の点として画定することを含み得る。追跡重心は、第１のツール重心と第２のツール重心との間の線の中点であり得る。代替的に、追跡重心を識別することは、追跡重心を、第１のツールの第１のツール重心、第２のツールの第２のツール重心、および標的組織の間で三角測量された点として画定することを含み得る。

特定の態様では、撮像装置の姿勢を操作することは、撮像装置を支持する外科ロボットのアームを移動させることを含む。追跡重心を追跡することは、追跡重心が視界の中心から所定の距離だけずれるまで、撮像装置の視野の再入場を遅らせることを含み得る。追跡重心を追跡することは、撮像装置の視界の移動速度を制限することを含み得る。

本開示の別の態様において、外科システムは、第１のツールと、アームと、撮像装置と、を含む。第１のツールは、追跡重心を少なくとも部分的に画定する。アームは、手術部位内で移動可能である。撮像装置は、アームに支持され、視界を有する。撮像装置は、追跡重心を視界の中心に維持するように操作されるように構成されている。

態様では、追跡重心は、第１のツールの第１のツール重心で画定される。代替的に、追跡重心は、第１のツールの第１のツール重心と手術部位内の標的との間の点で画定され得る。

一部の態様では、外科システムは、第２のツールを含む。追跡重心は、第１のツールの第１のツール重心と第２のツールの第２のツール重心との間の点で画定され得る。追跡重心は、第１のツールの第１のツール重心、第２のツールの第２のツール重心、および手術部位内の標的の間の点で三角測量され得る。

本明細書における方法は、既存のシステムの有効性を改善するために、既存のロボット外科システムのソフトウェアで実装することができることが想定される。加えて、本明細書で詳述されている一部の方法は、特殊な機器で強化することができる。

さらに、矛盾しない程度に、本明細書に記載される態様のいずれかを、本明細書に記載される他の態様のいずれかまたは全てと併せて使用することができる。

本開示の様々な態様を、本明細書に組み込まれ、その一部を構成する図面を参照して下で説明する。
本開示による、ユーザインターフェースおよびロボットシステムの概略図である。 図１のロボットシステムのリンケージの斜視図である。 図１のロボットシステムのツールが挿入された手術部位の概略図である。 ツールのツール姿勢に応答して、図３のツールの機能を有効化する方法を示すフローチャートである。 図１のユーザインターフェースのディスプレイの図である。 図１のロボットシステムのツールが挿入された手術部位の概略図であり、撮像装置の視野の中心を向けるための重心を示す。

ここで本開示の実施形態が図面を参照して詳細に記載され、図面の中で同様の参照番号は、いくつかの図の各々において同一のまたは対応する要素を示す。本明細書に使用される際、「臨床医」という用語は、医師、看護師、または任意の他の医療提供者を指し、医療支援従事者を含み得る。本説明全体を通じて、「近位」という用語は、臨床医または外科ロボットアームに最も近い装置の部分または装置の構成要素を指し、「遠位」という用語は、臨床医または外科ロボットアームから最も遠い装置の部分または装置の構成要素を指す。

図１を参照すると、本開示によるロボット外科システム１は、ロボットシステム１０、処理ユニット３０、およびユーザインターフェース４０として概略的に示されている。ロボットシステム１０は概して、リンケージまたはアーム１２およびロボットベース１８を含む。アーム１２は、組織に作用するように構成されているエンドエフェクタ２２を有するツール２０を移動可能に支持する。アーム１２はそれぞれ、ツール２０を支持する端部１４を有する。加えて、アーム１２の端部１４は、手術部位「Ｓ」を撮像する撮像装置１６を含むことができる。ユーザインターフェース４０は、処理ユニット３０を介してロボットベース１８と通信する。

ユーザインターフェース４０は、３次元画像を表示するように構成される表示装置４４を含む。表示装置４４は、手術部位「Ｓ」の３次元画像を表示し、３次元画像は、アーム１２の端部１４に配置された撮像装置１６により捕捉されるデータを含み得るか、および／または手術現場の周りに配置された撮像装置（例えば、手術部位「Ｓ」内に配置された撮像装置、患者に隣接して配置された撮像装置、リンケージまたはアーム５２の遠位端に配置された撮像装置５６）により捕捉されるデータを含み得る。撮像装置（例えば、撮像装置１６、５６）は、手術部位「Ｓ」の視覚画像、赤外線画像、超音波画像、Ｘ線画像、熱画像、および／または任意の他の既知のリアルタイム画像を捕捉してもよい。撮像装置は、捕捉した撮像データを処理ユニット３０に送信し、処理ユニット３０は、撮像データからリアルタイムで手術部位「Ｓ」の３次元画像を作成し、その３次元画像を表示するために表示装置４４に送信する。

ユーザインターフェース４０は、制御アーム４３に支持される入力ハンドル４２も含み、制御アーム４３により、臨床医がロボットシステム１０を操作することができる（例えば、アーム１２、アーム１２の端部１４、および／またはツール２０を移動させる）。入力ハンドル４２の各々は、処理ユニット３０と通信し、そこに制御信号を送信し、そこからフィードバック信号を受信する。追加的または代替的に、入力ハンドル４２の各々は、外科医がアーム１２の端部１４に支持されたツール２０のエンドエフェクタ２２を操作すること（例えば、挟持する、把持する、発射する、開く、閉じる、回転させる、突き出す、スライスするなど）を可能にする入力装置（図示せず）を含み得る。

入力ハンドル４２の各々は、手術部位「Ｓ」内でアーム１２の端部１４を移動させるために、所定の作業空間を通して可動である。表示装置４４上の３次元画像は、入力ハンドル４２の移動により、アーム１２の端部１４が表示装置４４上で見られるように移動するように配向される。表示装置上の３次元画像の配向は、患者の上からの視野に対して鏡映または回転され得ると理解されよう。加えて、表示装置４４上の３次元画像のサイズは、手術部位「Ｓ」の実際の構造よりも大きくまたは小さく縮尺変更されて、臨床医が手術部位「Ｓ」内の構造をより良好な視野を有するようにし得ると理解されよう。入力ハンドル４２が移動されると、ツール２０、したがって、エンドエフェクタ２２が下記に詳述するように手術部位「Ｓ」内で移動する。本明細書で詳説するように、ツール２０の移動はまた、ツール２０を支持するアーム１２の端部１４の移動を含み得る。

ロボット外科システム１の構成および動作の詳細な考察については、その内容全体が参照により本明細書に組み込まれる米国特許第８，８２８，０２３号を参照することができる。

図２を参照すると、ロボットシステム１０は、その上でツール２０（図１）を支持し、患者「Ｐ」（図１）の小切開に対して、ツール２０を小切開内に維持しながら、複数の配向でツール２０を選択的に移動させるように構成されている。アーム１２は、アーム１２に様々な自由度を提供するために互いに枢動可能に接続された複数の細長い部材またはリンク１１０、１２０、１３０、１４０を含む。特に、アーム１２は、第１のリンク１１０、第２のリンク１２０、第３のリンク１３０、および第４のリンク１４０を含む。

第１のリンク１１０は、第１の端部１１０ａおよび第２の端部１１０ｂを有する。第１の端部１１０ａは、固定構造に回転可能に結合される。固定構造は、所定の位置にロックされた可動カート１０２、手術台、支柱、手術室の壁、または手術室に存在する他の構造であり得る。第１のモータ「Ｍ１」は、第１の端部１１０ａに動作可能に結合され、第１のリンク１１０の長手方向軸を横切る第１の端部１１０ａを通過する第_１の回転軸Ａ_１周りで第１のリンク１１０を回転させる。第１のリンク１１０の第２の端部１１０ｂは、第２のリンク１２０の第１の端部１２０ａに動作可能に結合された第２のモータ「Ｍ２」を有し、モータ「Ｍ２」の作動が、第１のリンク１１０の第２の端部１１０ｂおよび第２のリンク１２０の第１の端部１２０ａを通して画定される第２の回転軸Ａ_２周りで第１のリンク１１０に対する第２のリンク１２０の回転をもたらすようにする。第２の回転軸Ａ_２は、第１のリンク１１０の長手方向軸および第２のリンク１２０の長手方向軸を横切ることができると想定される。

第２のリンク１２０の第２の端部１２０ｂは、第３のリンク１３０の第１の端部１３０ａに動作可能に結合され、第３のリンク１３０が、第２のリンクの第２の端部１２０ｂおよび第３のリンク１３０の第１の端部１３０ａを通過する第_３の回転軸Ａ_３周りで第２のリンク１２０に対して回転するようにする。第３の回転軸Ａ_３は、第２の回転軸Ａ_２と平行である。第２の回転軸Ａ_２周りの第２リンク１２０の回転は、第３の回転軸Ａ_３周りの第３のリンク１３０の回転に影響を与え、第１および第３のリンク１１０、１３０が互いに実質的に平行な関係を維持するようにする。第１のリンクと第３のリンクとの間の実質的に平行な関係を維持する例示的なメカニズムの詳細な説明については、２０１８年１月１０日に出願された、米国仮特許出願第６２／６１５，５７８号［代理人整理番号＃３５５８７２．ＵＳＰ１（２０３−１０５４２ＰＲＯ）］、発明の名称「ＳＵＲＧＩＣＡＬ ＲＯＢＯＴＩＣ ＡＲＭＳ ＡＮＤ ＰＵＬＬＥＹ ＡＳＳＥＭＢＬＩＥＳ ＴＨＥＲＥＯＦ」、および２０１９年１月９日に出願された、国際特許出願第ＰＣＴ／ＵＳ２０１９／１２８３９号［代理人整理番号＃３５５８７２ＷＯ０１］、発明の名称「ＳＵＲＧＩＣＡＬ ＲＯＢＯＴＩＣ ＡＲＭＳ ＡＮＤ ＰＵＬＬＥＹ ＡＳＳＥＭＢＬＩＥＳ ＴＨＥＲＥＯＦ」が参照され得、その内容全体が参照により本明細書に組み込まれる。

第３のリンク１３０の第２の端部１３０ｂは、第４のリンク１４０の第１の端部１４０ａに動作可能に結合される。第４のリンク１４０は、第３のリンク１３０の第２の端部１３０ｂおよび第４のリンク１４０の第１の端部１４０ａを通過する第_４の回転軸Ａ_４周りで第３のリンク１３０に対して回転可能である。

図３をさらに参照すると、第４のリンク１４０が、スライダ１４２を支持するレールの形態であるとすることができる。スライダ１４２は、第４のリンク１４０の長手方向軸に平行な軸に沿ってスライド可能であり、ツール２０を支持する。

外科処置中に、ロボットシステム１０は、ユーザインターフェース４０から入力コマンドを受信し、ツール２０を移動させて、エンドエフェクタ２２が移動し、手術部位「Ｓ」内の組織を操作および／またはこれに作用するようにする。具体的には、ロボットアーム１２のリンク１１０、１２０、１３０、１４０は、互いに対して回転され、スライダ１４２は、入力コマンドに応答して、手術部位「Ｓ」内でツール２０を配置および配向するように並進される。ロボットアーム１２を制御するために、ロボットシステム１０は、入力コマンドからツール２０の所望のツール姿勢を計算し、ツール２０のツール姿勢を捕捉し、ロボットアーム１２を操作して、ツール２０を所望のツール姿勢に移動させる。所望のツール姿勢から、ロボットシステム１０は、ロボットアーム１２の必要なアーム姿勢を計算して、所望のツール姿勢を達成する。次に、ロボットアーム１２は、どのリンク１１０、１２０、１３０、１４０を操作して必要なアームポーズに到達するか、つまり、ユーザインターフェース４０（図１）によって捕捉された入力に応答して、手術部位「Ｓ」内のツール２０の所望のツール姿勢に到達するかを判定する。

ロボットアーム１２のアームポーズを判定するために、ロボットシステム１０は、手術部位「Ｓ」内に配置された撮像装置または内視鏡２００を使用して、手術部位「Ｓ」内のツール２０の位置および配向またはツール姿勢を捕捉する。本明細書で以下に詳述するように、内視鏡２００は、手術部位内でツール姿勢を捕捉するものとして説明されるが、撮像装置を使用することができ、撮像装置のそれぞれが２次元または３次元画像を捕捉するために単一または複数のレンズを含み得ることが考えられる。

内視鏡２００は、手術部位「Ｓ」内で静止しているか、手術室内の臨床医によって操作され得るか、または内視鏡２００の位置および配向が外科処置中に操作され得るように別のロボットアーム１２に取り付けられ得る。ロボットシステム１０は、内視鏡２００を使用して、既知の技術を使用して手術部位「Ｓ」内のツール２０のツール姿勢を視覚的に捕捉する。ツール２０は、明確な色、明確なマーキング、明確な形状、またはそれらの組み合わせを使用することを含み得るが、これらに限定されない、ツール姿勢を捕捉するのを助けるためのしるしを含み得る。ツール２０のツール姿勢は、内視鏡２００に対してカメラフレームにおいて捕捉され、手術部位「Ｓ」のフレーム、ツール２０のフレーム、ロボットアーム１２のフレーム、または任意の他の所望の参照フレームに変換され得る。ツール２０のツール姿勢を固定フレームに変換することが有益であり得ると想定される。

ロボットシステム１０は、ツール２０のツール姿勢から、ロボットアーム１２の既知の運動学を使用して、ツール２０のツール姿勢から始まり、第１のリンク１１０に向かって動作するロボットアーム１２のアーム姿勢を計算することができる。ツール２０のツール姿勢からロボットアーム１２のアーム姿勢を計算することにより、ツール２０を手術部位「Ｓ」内で所望のツール姿勢に移動させる解決策は、負荷がかかっているときのロボットアーム１２またはツール２０の変形を明らかにする。さらに、ツール姿勢からアーム姿勢を計算することにより、アーム１２の第１のリンク１１０（図２）が結合されている固定構造（例えば、可動カート１０２）の位置を知る必要がなく、ツール２０を所望のツール姿勢に移動させる解決策を判定する。解決策を計算する際に、ロボットシステム１０は、アーム１２と他のアーム１２、手術室内の臨床医、患者、または手術室内の他の構造との任意の起こり得る衝突を明らかにする。さらに、共通フレーム、例えば単一の内視鏡のカメラフレームにおいてツール姿勢および／またはアーム姿勢を計算することにより、ツールおよび／またはアームの姿勢を、アーム、例えばアーム１２のそれぞれの運動学を使用して同時に計算でき、リンク、例えばリンク１１０の場所を計算して、アーム１２の起こり得る衝突を推定する。

ロボットシステム１０は、内視鏡２００を用いて複数のツール２０のツール姿勢を同時に捕捉するために使用され得ると考えられる。複数のツール２０のツール姿勢を捕捉することにより、それらのツール２０の相互作用とツール２０のエンドエフェクタ２２を高精度で制御することができる。この高精度制御は、自動化タスク、例えば組織の縫合を完了するために使用され得る。単一の内視鏡２００を使用して複数のツール２０のツール姿勢を捕捉することにより、自動化タスクの期間に対して、高精度のツール姿勢をカメラフレームから別のフレームに変換する必要性を減らすことで、自動化タスクの速度と精度を高めることができると想定される。

２つ以上のカメラおよび／または内視鏡２００を使用して、手術部位「Ｓ」内のツール２０のツール姿勢を同時に捕捉することができると考えられる。複数のカメラが使用されるときに、ツール２０の位置および配向を、それらのカメラのうちの１つによって画定されるフレーム以外のフレームに変換することが有益であり得ることが理解されよう。

捕捉されたツール姿勢からアーム姿勢を判定することにより、捕捉されたツール姿勢およびアーム１２の運動学からアーム１２のそれぞれを支持する可動カート１０２の位置を判定することが可能になると考えられる。外科処置が完了した後、外科処置の効率を判定し、可動カート１０２の位置を記録することができる。外科処置中の可動カート１０２の位置を高効率レーティングと比較することにより、所与の処置に対する可動カート１０２のガイドまたは推奨位置が提供されて、将来の外科処置の効率を上げることができる。外科処置の効率が上がると、手術結果を改善しながら、費用、手術時間、および回復時間を短縮することができる。

引き続き図３、およびさらに図４を参照すると、捕捉された姿勢に応答して、ツール２０の機能を有効および無効化する方法が、本開示に従って開示される。外科処置中、内視鏡２００は、手術部位「Ｓ」内の解剖学的構造の位置を判定するために使用される。解剖学的構造の位置は、標的組織「Ｔ」が手術部位「Ｓ」内で識別できるように、術前スキャンに登録することができる。標的組織「Ｔ」は、外科処置の前および／または最中に識別でき、外科手術を行う臨床医または外科処置から離れた臨床医によって識別することができる。

標的組織「Ｔ」が識別されると、標的組織「Ｔ」周りに有効化されたゾーン「ＥＺ」が作成され、ツール２０の機能の作動は、ツール２０のエンドエフェクタ２２が有効化されたゾーン「ＥＺ」内にあるときに制限される。ツール２０の機能の作動をエンドエフェクタ２２が有効化されたゾーン「ＥＺ」内にあるときに制限することにより、ツール２０の不注意または意図しない作動を防止することができる。

有効化されたゾーン「ＥＺ」は、標的組織「Ｔ」に隣接する手術部位「Ｓ」内の幾何学的な場所に基づく。有効化されたゾーン「ＥＺ」のサイズは、ツール２０の１つまたは複数の機能（例えば、挟持すること、電気外科エネルギーの送達、ステープル留め、縫合、ナイフを進めることなど）に基づくことができる。有効化されたゾーン「ＥＺ」は、標的組織「Ｔ」への他の解剖学的構造の近接性に基づくこともできる。例えば、他の解剖学的構造が標的組織「Ｔ」から離れているときに、他の解剖学的構造が標的組織「Ｔ」に近いかまたは接触しているときよりも、有効化されたゾーン「ＥＺ」が大きくなることがある。有効化されたゾーン「ＥＺ」は、外科処置の前または最中に手動で設定することができ、またはツール２０の機能に基づいて自動的に設定することができる。所与の外科処置について、標的組織「Ｔ」は、手術部位「Ｓ」を有する複数の場所にあり得ることが考えられる。そのような外科処置中、手術部位「Ｓ」は、各標的組織「Ｔ」周りに有効化されたゾーン「ＥＺ」を含み得る。

図５をさらに参照すると、有効化されたゾーン「ＥＺ」のグラフィック表示をディスプレイ４４に示すことができる。有効化されたゾーン「ＥＺ」を標的組織「Ｔ」周りに雲のように示すことができるか、または有効化されたゾーン「ＥＺ」の外側の領域が曇って見えるようにはっきりと示すことができる。追加的にまたは代替的に、有効化されたゾーン「ＥＺ」をディスプレイ４４上の別の形態の視覚的描写によって表すことができる。

外科処置中、ツール２０のツール姿勢は、上記に詳述したようにカメラによって捕捉される。ロボットシステム１０が、ツール姿勢から、エンドエフェクタ２２が有効化されたゾーン「ＥＺ」の外側にあると判定したときに、ロボットシステム１０は、臨床医がツール２０の機能を作動させることを防止する。ディスプレイ４４はまた、ツール２０の機能が無効化されているという視覚的指標を提供し得ることが考えられる。例えば、ディスプレイ４４上の境界４５の色が赤であってもよく、ツール２０またはツール２０の一部（例えば、エンドエフェクタ２２）の色が赤であってもよい。追加的または代替的に、ユーザインターフェース４０の入力ハンドル４２（図１）上の作動ボタン（図示せず）は、ツール２０の機能が無効化されていることの視覚的指標（例えば、バックライトの色が赤色）を提供してもよい。

ロボットシステム１０が、ツール姿勢から、エンドエフェクタ２２が有効化されたゾーン「ＥＺ」に入ったことを判定すると、ロボットシステム１０は、ツール２０の機能を有効化する。ツール２０が有効化されたゾーン「ＥＺ」に入ると、ディスプレイ４４が、ツール２０の機能が有効化されていることの視覚的指標を提供してもよい。例えば、ディスプレイ４４上の境界４５が緑色であってもよく、ツール２０またはツール２０の一部（例えば、エンドエフェクタ２２）が緑色であってもよい。追加的または代替的に、ユーザインターフェース４０の入力ハンドル４２（図１）上の作動ボタン（図示せず）は、ツール２０の機能が有効化されていることの視覚的指標（例えば、バックライトが緑色）を提供してもよい。

外科処置中、複数のツール２０が手術部位「Ｓ」内にあることが想定される。ツール２０は、標的組織「Ｔ」の有効化されたゾーン「ＥＺ」に対するそれぞれのツールのエンドエフェクタ２２の位置に基づいて、ツール２０の機能を独立して有効化してもよい。代替的に、複数のツールが手術部位「Ｓ」内にある場合、ツール２０の機能は、両方のエンドエフェクタ２２が有効化されたゾーン「ＥＺ」内に配置されるときにのみ有効化され得ると考えられる。このような方法で機能の有効化を制限することは、ツール２０が協働して標的組織「Ｔ」に作用するときに好ましいことがある。

本方法は、ツール２０の機能を有効化する前に、ユーザインターフェース４０に従事する臨床医の注視がディスプレイ４４上の有効化されたゾーン「ＥＺ」に向けられていることを確認することを含み得る。具体的には、外科処置中、ユーザインターフェース４０は、それに従事している臨床医の注視を追跡する。内視鏡２００が、ツール２０のうちの１つのエンドエフェクタ２２が有効化されたゾーン「ＥＺ」に入ることを判定すると、ユーザインターフェース４０は、ユーザインターフェース４０に従事する臨床医の注視が標的組織「Ｔ」および／または有効化されたゾーン「ＥＺ」の表示を含むディスプレイ４４の一部に向けられていることを確認する。ツール２０の機能を有効化する前に、臨床医の注視が標的組織「Ｔ」または有効化されたゾーン「ＥＺ」に向けられることを要求することで、外科処置にさらなるレベルの安全性を提供する。

上記で詳述したように、内視鏡２００は、手術部位「Ｓ」周りに移動可能とすることができる。内視鏡２００が手術部位「Ｓ」周りに移動すると、内視鏡２００の位置が静止するまで、ツール２０の機能は無効化されると考えられる。内視鏡２００が手術部位「Ｓ」周りで移動する際に、ツール２０の機能を無効化することにより、外科処置にさらなるレベルの安全性を提供する。

図６を参照すると、外科処置中、撮像装置または内視鏡２００の視野の中心および／または視界を変更する方法が、上記に詳述したロボット外科システム１を利用して説明される。外科処置中、手術部位「Ｓ」の視野は、手術部位「Ｓ」内のツール２０のエンドエフェクタ２２を追跡することができる。ツール２０のエンドエフェクタ２２を追跡することにより、ユーザインターフェース４０に従事する臨床医の注意または焦点を外科処置に向け、内視鏡２００の視野の中心を向けることによって気を散らすこと、または浪費することがないようにすることができる。

内視鏡２００は、ロボットシステム１０（図２）のアーム１２上に配置され、ロボットシステム１０が、外科処置中に内視鏡２００を操作することができる。最初に、内視鏡２００は、関心領域に向けられた内視鏡の視野の中心を伴って手術部位「Ｓ」に導入される。関心領域は、手術部位「Ｓ」へのツール２０のエンドエフェクタ２２の入口点とすることができ、または手術部位「Ｓ」内の標的組織「Ｔ」に向けられることができる。加えて、内視鏡２００の視界を、手術部位「Ｓ」の広い領域を包含するように設定することができる。

内視鏡２００の視界および視野の中心「ＣＶ」が設定されると、ツール２０のエンドエフェクタ２２は、内視鏡２００の視界「ＦＶ」内にもたらされる。次いで、内視鏡２００を使用して、上記に詳述したようにツール２０のツール姿勢を判定する。ツール姿勢から、エンドエフェクタ２２の重心「Ｃ_１」を判定することができる。内視鏡２００の視野の中心は、重心「Ｃ_１」が内視鏡２００によって追跡されるように、エンドエフェクタ２２の重心「Ｃ_１」に向けられるように中心直しがされる。本明細書で使用されるように、重心は、特徴など、または数学的に計算可能な場所を含み得ることが理解される。

外科処置中、エンドエフェクタ２２の重心「Ｃ_１」が、手術部位「Ｓ」周りに移動することが理解されよう。重心「Ｃ_１」が移動すると、内視鏡２００の視野の中心「ＣＶ」は、エンドエフェクタ２２の重心「Ｃ_１」を追跡するように中心直しをする。外科処置中、内視鏡２００の視野の中心「ＣＶ」の中心直しをすることにより、臨床医の注意および焦点を外科処置に向けることができる。

中心直しは、ディスプレイ４４（図１）を見る臨床医の気をそらさせないような方法で視野の中心「ＣＶ」が移動するような方法で行うことができる。中心直しは、中心直しの速度を制御して、視野の中心「ＣＶ」の中心直し中に知覚的に適切な体験を確実にすることができるような方法で行われる。中心直しは、中心直しがスムーズな方法で生じるように、重心「Ｃ_１」の滞留時間を実装することができる。中心直しは、内視鏡２００の視野の中心「ＣＶ」の最大速度を有することもできる。加えて、中心直しはまた、移動の開始時および終了時における内視鏡２００の視野の中心「ＣＶ」の加速／減速を形成して、視野の中心「ＣＶ」の中心直しをユーザインターフェース４０に従事する臨床医に快適に保つことができる。さらに、中心直しが、エンドエフェクタ２２への視野の中心「ＣＶ」の継続的な追跡を防止するために、ヒステリシスの形態を組み込んでもよい。例えば、中心直しは、エンドエフェクタ２２の重心、例えば、重心「Ｃ_１」が、内視鏡の視野の中心「ＣＶ」から、所定の距離、例えば、約３ｃｍだけオフセットされるまで発生しなくてもよい。中心直しを、完全に自動化することができるか、または臨床医の裁量で選択的に作動させることができると想定される。

内視鏡２００の視野の中心は、エンドエフェクタ２２の重心「Ｃ_１」と標的組織「Ｔ」との間の中央の重心「Ｃ_２」を追跡できることが考える。加えて、内視鏡２００は、エンドエフェクタ２２の重心「Ｃ_１」と標的組織「Ｔ」との間の距離に基づいて、エンドエフェクタ２２が標的組織に近づくにつれて、内視鏡２００がズームインするか、視界「ＦＶ」のサイズを縮小するようにその視界「ＦＶ」を調整することができる。加えて、エンドエフェクタ２２が標的組織「Ｔ」から離れるように移動するにつれて、内視鏡２００はズームアウトするか、視界「ＦＶ」のサイズを拡大する。

手術部位「Ｓ」内で２つのツール２０を用いた外科処置中、内視鏡２００の視野の中心「ＣＶ」は、第１のエンドエフェクタ２２の重心「Ｃ_１」と第２のエンドエフェクタ２２の重心「Ｃ_３」の重心との間の中央の重心「Ｃ_４」を追跡することができる。内視鏡２００の視野の中心「ＣＶ」で重心「Ｃ_４」を追跡することにより、第１および第２のエンドエフェクタ２２の相互作用を臨床医が見ることができる。加えて、内視鏡２００は、重心「Ｃ_１」と重心「Ｃ_３」との間の距離に基づいてズームインおよびズームアウトするようにその視界「ＦＶ」を変更することができる。代替的に、内視鏡２００の視野の中心「ＣＶ」は、第１のエンドエフェクタ２２の重心「Ｃ_１」および標的組織「Ｔ」との間の中央の重心「Ｃ_２」を追跡し、第２のエンドエフェクタ２２の重心「Ｃ_３」を無視することができる。内視鏡２００の視野の中心「ＣＶ」を用いた重心「Ｃ_４」の追跡に、ある形態のヒステリシスが導入されてもよいことが理解されよう。

手術部位「Ｓ」内に３つ以上のツール２０を用いた外科処置中、内視鏡２００の視野の中心「ＣＶ」は、２つのツール２０に関して上記で詳述したものと同様の方法で、アクティブなエンドエフェクタ２２の重心（例えば、重心「Ｃ_１」および「Ｃ_３」）の間の中央の重心（例えば、重心「Ｃ_４」）を追跡することができる。アクティブなエンドエフェクタ２２が手術部位「Ｓ」内で変化すると、内視鏡２００の視野の中心「ＣＶ」は、アクティブなエンドエフェクタ２２の間の重心に中心直しをする。

本開示のいくつかの実施形態が図面に示されているが、本開示は当該技術分野が許容するものと同程度に広い範囲であるとされるべきであり、本明細書が同様に読み取られるべきであると意図されているので、本開示は、これらの実施形態に限定されることを意図していない。上記実施形態の任意の組み合わせがさらに考えられ、添付の特許請求の範囲に含まれる。したがって、上記の説明は、限定的であるとして解釈されるべきではなく、特定の実施形態の単なる例示として解釈されるべきである。当業者は、本明細書に添付される特許請求の範囲内での他の修正を想定するであろう。

Claims (40)

1. 外科ロボットを制御する方法であって、
   撮像装置を用いて、固定参照フレームにおいて、手術部位内の第１のツールの第１のツール姿勢を視覚的に捕捉することと、
   前記固定参照フレームにおいて、前記第１のリンケージの既知の形状から、前記第１のツールを支持する第１のリンケージの第１のアーム姿勢を判定することと、
   第１の制御信号に応答して、前記固定参照フレームにおいて、前記第１のリンケージを操作して、前記第１のツールを所望の第１のツール姿勢に移動させることと、を含む、方法。
2. 前記固定参照フレームにおいて、前記第１のツールの前記第１のツール姿勢を視覚的に捕捉することが、前記撮像装置によって画定されるフレームにおける前記固定参照フレームを画定することを含む、請求項１に記載の方法。
3. 前記固定参照フレームにおいて、前記第１のツールの第１のツール姿勢を視覚的に捕捉することが、前記撮像装置の第１のレンズおよび第２のレンズの両方を用いて前記第１のツール姿勢を捕捉することを含む、請求項１に記載の方法。
4. 前記第１のツール姿勢を視覚的に捕捉することが、前記第１のツール上の１つ以上のマーカーの位置を識別することを含む、請求項１に記載の方法。
5. 前記第１のツール姿勢を視覚的に捕捉することが、光の赤外スペクトル内の前記１つ以上のマーカーの前記位置を捕捉することを含む、請求項４に記載の方法。
6. 前記撮像装置を用いて、前記固定参照フレームにおいて、前記手術部位内の第２のツールの第２のツール姿勢を視覚的に捕捉することと、
   前記固定参照フレームにおいて、前記第２のリンケージの既知の形状から、前記第２のツールを支持する第２のリンケージの第２のアーム姿勢を判定することと、
   第２の制御信号に応答して、前記固定参照フレームにおいて、前記第２のリンケージを操作して、前記第２のツールを所望の第２のツール姿勢に移動させることと、をさらに含む、請求項１に記載の方法。
7. 前記第１のアーム姿勢を判定することおよび前記第２のアーム姿勢を判定することが、完全に前記固定参照フレーム内で行われる、請求項６に記載の方法。
8. ロボット外科システムのユーザインターフェースから前記制御信号を受信することをさらに含む、請求項１に記載の方法。
9. 外科システムのツールの機能を制御する方法であって、
   撮像装置を用いて、手術部位の画像を捕捉することと、
   標的組織に対する前記手術部位内の前記ツールの距離を判定することと、
   前記ツールが前記標的組織から所定の距離内にあるときに、前記ツールの機能の作動を有効化することと、
   制御信号に応答して、前記ツールの前記機能を作動させて、前記ツールを用いて組織を操作することと、を含む、方法。
10. 前記ツールの機能の前記作動を有効化することが、前記外科システムに従事している臨床医に、前記機能が有効化されている視覚的しるしを提供することを含む、請求項９に記載の方法。
11. 視覚的しるしを提供することが、前記外科システムのディスプレイの境界の色を変更することを含む、請求項１０に記載の方法。
12. 前記ツールが前記標的組織からの前記所定の距離を超えているときに、前記ツールの前記機能の作動を無効化することをさらに含む、請求項９に記載の方法。
13. 前記機能の作動を無効化することが、前記外科システムに従事している臨床医に、前記機能が無効化されている視覚的なしるしを提供することを含む、請求項１２に記載の方法。
14. 視覚的しるしを提供することが、前記外科システムのディスプレイの境界の色を変更することを含む、請求項１３に記載の方法。
15. 前記ツールが前記標的組織からの前記所定の距離内にあるときに、前記外科システムが、前記ツールを用いて前記手術部位内で自動化タスクを完了することをさらに含む、請求項９に記載の方法。
16. 前記自動化タスクを完了することは、前記ツールが前記標的組織からの前記所定の距離内にあるときに、前記標的組織を縫合することを含む、請求項１５に記載の方法。
17. 前記ツールの機能の前記作動を有効化する前に、前記外科システムに従事する臨床医の注視が前記外科システムのディスプレイ上の有効化されたゾーンに向けられていることを確認することをさらに含む、請求項９に記載の方法。
18. 前記ツールの前記機能を作動させて、前記組織を操作することが、前記ツールで組織を挟持すること、前記ツールで組織に電気外科エネルギーを送達すること、前記ツールで組織をステープル留めすること、前記ツールで組織を縫合すること、または組織に前記ツールの刃先を進めることのうちの少なくとも１つを含む、請求項９に記載の方法。
19. 外科システムであって、
    手術部位の画像を捕捉するように構成されている撮像装置と、
    機能を有するツールであって、前記機能が、制御信号に応答して組織を操作するように構成されている、ツールと、
    前記撮像装置および前記ツールと通信する処理ユニットと、を含み、前記処理ユニットが、
    前記捕捉画像から標的組織に対する前記ツールの距離を判定することと、
    前記ツールが前記標的組織の所定の距離内に配置されているときに、前記ツールの前記機能の作動を有効化することと、を行うように構成されている、外科システム。
20. 前記手術部位の表示を提供するように構成されているディスプレイをさらに含む、請求項１９に記載の外科システム。
21. 前記処理ユニットが、前記手術部位の前記表示内の前記所定の距離によって画定される有効化されたゾーンの表示を提供するように構成されている、請求項２０に記載の外科システム。
22. 前記処理ユニットは、前記ツールの前記機能が有効化されているときに、前記ディスプレイ上に視覚的しるしを提供するように構成されている、請求項２０に記載の外科システム。
23. 前記ディスプレイは、前記ツールの前記機能が有効化されているときに、前記ディスプレイの境界の色を変更するように構成されている、請求項２２に記載の外科システム。
24. 前記手術部位の表示を提供するように構成されているディスプレイをさらに含み、前記処理ユニットが、前記ツールの前記機能の作動を有効化する前に、臨床医の注視が前記ディスプレイに向けられていることを確認するように構成されている、請求項１９に記載の外科システム。
25. 前記処理ユニットは、前記ツールが前記標的組織の前記所定の距離内にあるときに自動化タスクを完了するように構成されている、請求項１９に記載の外科システム。
26. 前記処理ユニットは、前記ツールが前記標的組織からの前記所定の距離を超えて配置されたときに、前記ツールの前記機能の作動を防止するように構成されている、請求項１９に記載の外科システム。
27. 撮像装置を操作する方法であって、
    前記撮像装置の視界内で追跡重心を識別することと、
    前記追跡重心を前記撮像装置の前記視界の中心に配置するために前記撮像装置の姿勢を操作することと、
    前記追跡重心が前記撮像装置の前記視界内で移動するように、前記視界内で第１のツールを移動させることと、
    前記第１のツールが前記視界内で移動するときに前記追跡重心を追跡し、前記追跡重心を前記撮像装置の前記視界の中心に維持することと、を含む、方法。
28. 前記追跡重心を識別することが、前記追跡重心を、前記第１のツールの第１のツール重心として画定することを含む、請求項２７に記載の方法。
29. 前記追跡重心を識別することが、前記追跡重心を、前記第１のツールの第１のツール重心と標的組織との間の点として画定することを含む、請求項２７に記載の方法。
30. 前記追跡重心が前記撮像装置の前記視界内で移動するように、前記視界内で第２のツールを移動させることをさらに含む、請求項２７に記載の方法。
31. 前記追跡重心を識別することが、前記追跡重心を、前記第１のツールの第１のツール重心と前記第２のツールの第２のツール重心との間の点として画定することを含む、請求項３０に記載の方法。
32. 前記追跡重心を識別することが、前記追跡重心を、前記第１のツールの第１のツール重心、前記第２のツールの第２のツール重心、および標的組織の間で三角測量された点として画定することを含む、請求項３０に記載の方法。
33. 前記撮像装置の前記姿勢を操作することが、前記撮像装置を支持する外科ロボットのアームを移動させることを含む、請求項２７に記載の方法。
34. 前記追跡重心を追跡することが、前記追跡重心が前記視界の中心から所定の距離だけずれるまで、前記撮像装置の前記視界の中心を直すことを遅らせることを含む、請求項２７に記載の方法。
35. 前記追跡重心を追跡することが、前記撮像装置の前記視界の移動速度を制限することを含む、請求項２７に記載の方法。
36. 外科システムであって、
    追跡重心を少なくとも部分的に画定する第１のツールと、
    手術部位内で移動可能なアームと、
    前記アームに支持され、視界を有する撮像装置であって、前記追跡重心を前記視界の中心に維持するように操作されるように構成されている撮像装置と、を含む、外科システム。
37. 前記追跡重心が、前記第１のツールの第１のツール重心で画定される、請求項３６に記載の外科システム。
38. 前記追跡重心が、前記第１のツールの第１のツール重心と前記手術部位内の標的との間の点で画定される、請求項３６に記載の外科システム。
39. 第２のツールをさらに含み、前記追跡重心が、前記第１のツールの第１のツール重心と前記第２のツールの第２のツール重心との間の点で画定される、請求項３６に記載の外科システム。
40. 第２のツールをさらに含み、前記追跡重心が、前記第１のツールの第１のツール重心、前記第２のツールの第２のツール重心、および前記手術部位内の標的の間の点で三角測量される、請求項３６に記載の外科システム。

Images