KR20200099138A - 의료 기구 항행 및 표적 선정을 위한 시스템 및 방법 - Google Patents

Abstract

특정 측면은 의료 기구 항행 및 표적 지정을 위한 시스템 및 기술에 관한 것이다. 한 측면에서, 시스템은 세장형 본체 및 적어도 한 개의 센서를 가지는 의료 기구, 디스플레이, 프로세서, 및 관강내 조직망의 매핑된 부분의 모델 및 상기 모델에 대한 표적의 위치를 저장하는 메모리를 포함한다. 프로세서는 적어도 한 개의 센서의 데이터에 기초하여 모델에 대한 의료 기구의 원위 단부의 위치 및 방향을 결정하고, 디스플레이의 적어도 한 부분에 모델, 표적의 위치, 의료 기구의 원위 단부의 위치 및 방향의 렌더링을 표시하도록 구성될 수 있다. 렌더링은 표적을 향하는 관점에 기초할 수 있고 의료 기구의 관점과 다를 수 있다.

Description

의료 기구 항행 및 표적 선정을 위한 시스템 및 방법

관련 출원(들)과의 상호 참조

본 출원은 2017년 12월 8일에 출원된 미국 특허 가출원 제62/596,710호에 대한 이익을 주장하며, 상기 가출원은 그 전문이 참조로서 본 명세서에 병합된다.

기술분야

본 명세서의 시스템 및 방법은 의료 기구 항행과 표적 선정에 관한 것이고, 더 자세하게는 의료 기구 항행 동안 관강내 조직망 내부 영역을 표적으로 선정하는 것을 지원하는 기술에 관한 것이다.

내시경술(가령, 기관지경 술)과 같은 의료 시술은 진단 및/또는 치료의 목적을 위해 (기도와 같은) 환자의 관강내 조직망의 내부를 접근하고 시각화하는 단계를 수반할 수 있다. 의료 시술 동안 수술 로봇 시스템이 수술 도구의 삽입 및/또는 조작을 제어하기 위해 사용될 수 있다. 수술 로봇 시스템은 시술 동안 그리고 그 전에 수술 도구의 위치지정을 제어하기 위해 사용되는 조작기 조립체를 포함하는 적어도 한 개의 로봇 암을 포함할 수 있다. (생체 검사 시술과 같은) 특정 의료 시술은 관강내 조직망 안의 (표적 결절과 같은) 표적과 근접하게 의료 도구의 원위 단부를 위치시키는 단계를 수반할 수 있다. 표적에 대한 의료 도구의 위치 및/또는 방향 정보를 제공하는 피드백 메커니즘을 병합하여 시술 동안 의료 도구의 조작을 지원하는 것이 바람직할 수 있다.

본 개시 내용의 시스템, 방법 및 장치는 각각 여러 개의 혁신적인 측면을 갖고 있으며, 이들 중 단일의 하나가 본 명세서에 개시된 원하는 속성들을 단독으로 책임지지 않는다.

하나의 측면에서, 제공된 시스템은 세장형 본체와 적어도 한 개의 센서를 가지는 의료 기구; 디스플레이; 프로세서; 및 관강내 조직망의 매핑된 부분의 모델과 상기 모델에 대한 표적의 위치를 저장하는 메모리를 포함하고, 상기 메모리는 컴퓨터 실행 가능 명령어를 더 포함하고, 상기 명령어가 실행되면, 상기 프로세서는: 상기 적어도 한 개의 센서의 데이터에 기초하여, 상기 모델에 대한 상기 의료 기구의 원위 단부의 위치 및 방향을 결정하고, 및 적어도 상기 디스플레이의 부분에, 상기 모델, 상기 표적의 위치, 및 상기 의료 기구의 원위 단부의 위치 및 방향의 렌더링을 표시하고, 상기 렌더링은 표적을 향한 관점에 기초하며 의료 기구의 관점과는 다르다.

또 다른 측면에서, 저장된 명령어를 포함하는 비일시적 컴퓨터 판독 가능 저장 매체가 제공되고, 상기 명령어가 실행되면, 적어도 한 개의 컴퓨터 장치는: 의료 기구의 적어도 한 개의 센서의 데이터에 기초하여 관강내 조직망의 매핑된 부분의 모델에 대한 의료 기구의 원위 단부의 위치 및 방향을 결정하고, 및 적어도 디스플레이의 한 부분에, 상기 모델, 상기 모델에 대한 표적의 위치, 및 의료 기구의 원위 단부의 위치 및 방향의 렌더링을 나타내고, 상기 렌더링은 표적을 향한 관점에 기초하며 의료 기구의 관점과는 다르다.

또 다른 측면에서, 의료 기구를 항행하는 방법이 제공되고, 상기 방법은: 의료 기구의 적어도 한 개의 센서의 데이터에 기초하여 관강내 조직망의 매핑된 부분의 모델에 대한 의료 기구의 원위 단부의 위치 및 방향을 결정하는 단계, 및 적어도 디스플레이의 한 부분에, 상기 모델, 상기 모델에 대한 표적의 위치, 및 의료 기구의 원위 단부의 위치 및 방향의 렌더링을 나타내는 단계를 포함하고, 상기 렌더링은 표적을 향한 관점에 기초하며 의료 기구의 관점과는 다르다.

본 개시 내용의 측면들은 이후에 첨부 도면과 함께 설명되며, 이는 도시를 위해 제공된 것이고 개시된 측면을 제한하려는 것이 아니며, 동일한 명칭은 동일한 요소를 나타낸다.
도 1은 진단 및/또는 치료 목적의 기관지 내시경 시술(들)을 위해 배치된 카트-기반의(cart-based) 로봇 시스템의 실시예를 도시한다.
도 2는 도 1의 로봇 시스템의 추가 측면들을 도시한다.
도 3은 요관경 시술을 위해 배치된 도 1의 로봇 시스템의 실시예를 도시한다.
도 4는 혈관 시술을 위해 배치된 도 1의 로봇 시스템의 실시예를 도시한다.
도 5는 기관지 내시경 시술을 위해 배치된 테이블-기반의(table-based) 로봇 시스템의 실시예를 도시한다.
도 6은 도 5의 로봇 시스템의 대안적인 뷰(view)를 제공한다.
도 7은 로봇 암(들)을 집어 넣도록 구성된 시스템의 예를 도시한다.
도 8은 요관경 시술을 위해 구성된 테이블-기반의 로봇 시스템의 실시예를 도시한다.
도 9는 복강경 시술을 위해 구성된 테이블-기반의 로봇 시스템의 실시예를 도시한다.
도 10은 도 5 내지 도 9의 테이블-기반의 로봇 시스템의 피치(pitch) 또는 기울기가 조정된 실시예를 도시한다.
도 11은 도 5 내지 도 10의 테이블-기반 로봇 시스템에서 테이블과 기둥 사이의 인터페이스의 상세한 도면을 제공한다.
도 12는 예시적인 기구 드라이버를 도시한다.
도 13은 예시적인 의료 기구와 함께 쌍을 이루는 기구 드라이버를 도시한다.
도 14는 드라이버 유닛들의 축이 기구의 세장형 샤프트의 축과 평행을 이루는 기구 드라이버 및 기구의 대안적인 설계를 도시한다.
도 15는 예시적인 실시예에 따라 가령, 도 13 및 도 14의 기구의 위치와 같이 도 1 내지 도 10의 로봇 시스템의 한 개 이상의 요소들의 위치를 추정하는 국소화 시스템(localization system)을 나타내는 블록도를 도시한다.
도 16은 로봇-제어식 의료 기구에 의해 항행될 수 있는 예시적인 관강내 조직망을 도시한다.
도 17은 도 16의 관강내 조직망의 예시적인 모델을 도시한다.
도 18은 도 16의 관강내 조직망 위에 중첩된 도 17의 모델의 뷰이고, 상기 모델은 관강내 조직망의 매핑된 부분에 해당한다.
도 19는 관강내 조직망 안에서 항행하는 의료 기구의 예시를 제공한다.
도 20은 의료 기구의 예시의 원위 단부를 도시한다.
도 21은 의료 기구의 위치를 결정하는 예시적인 전자기식(EM) 시스템의 특정 구성 요소를 도시한다.
도 22는 하나의 실시예에 따라 예시적인 의료 로봇 시스템을 위한 디스플레이를 포함하는 예시 명령 콘솔을 도시한다.
도 23은 관강내 조직망 한 부분의 뼈대-기반 모델의 예시를 도시한다.
도 24A는 본 개시 내용의 측면에 따라 의료 기구 항행의 한 개 이상의 뷰를 렌더링하는 방법의 예시를 도시하는 순서도이다.
도 24B는 본 개시 내용의 측면에 따라 뼈대-기반 모델을 사용해 관강내 조직망 내부의 의료 기구의 위치를 결정하기 위한 방법의 또 다른 예시를 도시하는 순서도이다.
도 25는 본 개시 내용의 측면에 따라 항행 피드백을 로봇 시스템의 사용자에게 제공하기 위해 디스플레이되는 렌더링 이미지의 예시를 도시한다.
도 26은 본 개시 내용의 측면에 따라 사용자로부터 입력을 수신하기 위해 사용될 수 있는 입력 장치의 예시를 도시한다.
도 27은 본 개시 내용의 측면에 따라 관강내 조직망의 모델 안의 의료 기구의 렌더링 뷰의 예시이다.
도 28A 내지 도 28D는 본 개시 내용의 측면에 따라 회전 명령에 기초하여 생성된 일련의 변경된 렌더링 뷰를 도시한다.
도 29A 내지 도 29B는 본 개시 내용의 측면에 따라 고도 명령에 기초하여 생성된 일련의 변경된 렌더링 뷰를 도시한다.
도 30은 본 개시 내용의 측면에 따라 토글 관점 명령어에 기초하여 생성된 변경된 렌더링 뷰를 도시한다.
도 31은 본 개시 내용의 측면에 따라 의료 시술 동안 디스플레이에 렌더링될 수 있는 뷰의 또 다른 예시이다.
도 32는 본 개시 내용의 측면에 따라 의료 시술 동안 디스플레이에 렌더링될 수 있는 뷰의 또 다른 예시이다.

1. 개요.

본 개시내용의 측면들은 복강경술과 같은 최소 침습 시술 및 내시경술과 같은 비침습적 시술을 포함해 다양한 의료 시술을 수행할 수 있는 로봇-구동형 의료 시스템(robotically-enabled medical system)에 통합될 수 있다. 내시경 시술들 중에, 본 시스템은 기관지 내시경 검사, 요관 내시경 검사, 소화기 내시경 검사 등을 수행할 수 있다.

폭넓은 시술을 수행하는 것 이외에도, 본 시스템은 향상된 촬상 및 안내(enhanced imaging and guidance)와 같은 추가적인 장점을 제공하여 의사에게 도움을 줄 수 있다. 또한, 본 시스템은 의사가 불편한 팔 동작과 자세를 취할 필요 없이 인체공학적인 자세로 시술을 수행하게 한다. 더욱이, 본 시스템은 단일 사용자에 의해 한 개 이상의 시스템 기구가 제어될 수 있도록 하여 의사가 사용 편리성이 향상된 시술을 수행할 수 있게 한다.

이하 다양한 실시예가 예시를 위해 도면과 결합되어 후술된다. 개시된 개념들의 다양한 다른 구현이 가능하며, 개시된 구현들로 다양한 장점이 달성될 수 있다는 것을 인식할 필요가 있다. 본 명세서에는 참조를 위해 또한 여러 섹션의 위치 파악에 도움을 주기 위해 항목들이 포함되어 있다. 이 항목들은 이에 대해 설명된 개념들의 범위를 한정 지으려는 의도가 아니다. 이러한 개념은 명세서 전반에 걸쳐 적용될 수 있다.

A. 로봇 시스템 - 카트(cart).

로봇-구동형 의료 시스템은 특정 시술에 따라 다양한 방식으로 구성될 수 있다. 도 1은 진단 및/또는 치료 목적의 기관지 내시경 시술을 수행하기 위해 배치된 카트 기반 로봇-구동형 시스템(10)의 일 실시예를 도시한다. 기관지 내시경 검사 시, 시스템(10)은 기관지 내시경 검사를 위한 시술-전용 기관지경(procedure-specific bronchoscope)일 수 있는 조향가능한 내시경(13)과 같은 의료 기구를, 인체의 개구부 접근 지점(즉, 본 예시에서는 테이블 위 환자의 입)으로 이동시켜 진단 및/또는 치료 도구를 전달할 수 있도록 한 개 이상의 로봇 암(arm)(12)을 갖는 카트(11)를 포함할 수 있다. 도시된 바와 같이, 접근 지점으로의 접근성을 제공하기 위해서 카트(11)는 환자의 상체에 가깝게 위치될 수 있다. 이와 유사하게, 접근 지점에 대해 기관지경을 위치시키도록 로봇 암(12)이 작동될 수 있다. 도 1과 같은 배치는 위내시경, 위장 시술(GI)을 위한 특수 내시경으로 위장(GI) 시술을 수행할 때에도 활용될 수 있다. 도 2는 카트의 실시예의 예를 더 상세하게 도시한다.

도 1을 계속 참조하여, 카트(11)를 올바르게 위치시킨 후, 로봇 암(12)은 조향가능한 내시경(13)을 로봇식(robotically)이나 수동식으로 또는 이 두 방식을 결합하여 환자에 삽입할 수 있다. 도시된 바와 같이, 조향가능한 내시경(13)은 내부 리더 부분(inner leader portion)과 외부 쉬스 부분(outer sheath portion), 적어도 2개의 텔레스코핑 부분(telescoping part)을 포함할 수 있고, 각각의 부분은 기구 드라이버의 세트(28)로부터 별개의 기구 드라이버에 결합되며, 각각의 기구 드라이버는 개개의 로봇 암의 원위 단부에 결합된다. 리더 부분을 쉬스 부분과 동축 정렬시킬 수 있는 이러한 기구 드라이버(28)의 선형 배치는 한 개 이상의 로봇 암(12)을 다른 각도 및/또는 위치로 조작해서 공간에 재위치될 수 있는 "가상 레일(29)"을 형성한다. 본 명세서에서 설명되는 가상 레일은 도면에 점선으로 도시되며, 이에 따라 점선은 시스템의 어떠한 물리적인 구조도 나타내지 않는다. 가상 레일(29)을 따른 기구 드라이버(28)의 이동은 외부 쉬스 부분에 대해 내부 리더 부분을 상대적으로 짧아지게(telescope)하거나, 내시경(13)을 전진 또는 환자로부터 후퇴시킨다. 가상 레일(29)의 각도는 임상적 적용이나 의사의 선호방식에 따라 조정, 변환, 및 회전될 수 있다. 예를 들어, 기관지 내시경 검사에서, 도시된 바와 같은 가상 레일(29)의 각도와 위치는 내시경(13)에 대한 의사의 접근성과, 환자의 입안에서 내시경(13)을 구부릴때 발생하는 마찰의 최소화의 절충을 나타낸다.

내시경(13)은 삽입한 후 표적지점 또는 수술 부위에 도달할 때까지 로봇시스템의 정확한 명령을 이용하여 환자의 기관과 폐로 진입될 수 있다. 환자의 폐 조직망(lung network)을 통한 항행(navigation)을 향상시키며 및/또는 의도한 표적지점에 도달하기 위해, 내시경(13)은 외부 쉬스 부분으로부터 내부 리더 부분을 신축적으로(telescopically) 연장되도록 조작될 수 있어, 향상된 연접(articulation) 및 더 큰 곡률 반경(굽힘 반지름, bend radius)을 얻을 수 있다. 또한 별개의 기구 드라이버(28)를 사용함으로써 리더 부분과 쉬스 부분이 서로 독립적으로 구동될 수 있다.

예를 들어, 내시경(13)은 환자의 폐 내의 병변 또는 결절과 같은 표적 부위로 생검바늘을 전달하도록 할 수 있다. 바늘은 내시경의 길이를 따라 이어지는 작업 채널 아래에 배치되어 조직 샘플을 채취할 수 있으며 병리학자에 의해 검사된다. 병리조직검사 결과에 따라, 추가 생검이 필요한 경우 내시경의 작업 채널 아래에 추가 도구를 배치시킬 수 있다. 결절이 악성인 것으로 확인되면, 내시경(13)은 내시경적으로(endoscopically) 도구를 전달하여 암 잠재성이 있는 조직을 절제한다. 어떤 경우에는, 진단과 치료적 처치가 별개의 시술로 진행되어야 할 필요가 있다. 이 상황에서, 내시경(13)은 표적 결절 부위를 "표시하는" 표식을 제공하는 데에도 사용될 수 있다. 다른 경우에는, 진단과 치료적 처치가 같은 시술 중에 수행될 수 있다.

또한, 시스템(10)은 이동식 타워(30)를 포함할 수 있고, 이는 지원 케이블을 통해 카트(11)에 연결될 수 있어, 제어, 전자공학, 유체공학, 광학, 센서를 위한 지원을 제공하고 및/또는 카트(11)에 전력을 공급할 수 있다. 타워(30)에 이러한 기능의 배치는 더 작은 형상 계수(form factor)를 갖는 카트(11)를 허용하며, 이는 수술 담당 의사와 의료진이 더 쉽게 카트를 조정하고 및/또는 재위치시킬 수 있게 한다. 그뿐만 아니라, 카트/테이블과 지원타워(30) 간의 기능의 분리는 수술실 환경이 복잡해지는 것을 줄이고 임상 워크플로우를 개선해 준다. 카트(11)는 환자에 가깝게 놓여 있을 수 있는 반면, 타워(30)는 수술에 방해가 되지 않도록 멀찍하게 놓여있을 수도 있다.

전술된 바와 같은 로봇시스템을 지원하기 위해서, 타워(30)는 예컨대 지속형 자기 저장 스토리지 드라이브(persistent magnetic storage drive), 솔리드 스테이트 드라이브(solid state drive) 등과 같은 비일시적 컴퓨터 판독 가능 저장 매체 내에, 컴퓨터 프로그램 명령어를 저장하는 컴퓨터 기반 제어 시스템의 구성요소(들)를 포함할 수 있다. 이러한 명령어의 실행은, 이 실행이 타워(30)나 카트(11) 중 어디에서 실행되든지 간에, 전체 시스템 또는 서브시스템(sub-system)(들)을 제어할 수 있다. 예를 들어, 컴퓨터 시스템의 프로세서를 통해 명령어가 실행되면, 로봇 시스템의 구성요소들은 관련 캐리지와 암 마운트(arm mount)를 작동시키고 로봇 암을 작동시키며 의료 기구를 제어할 수 있다. 예를 들어, 제어 신호의 수신에 응답하여, 로봇 암 조인트(joint)의 모터가 암을 움직여 특정 자세를 취하도록 할 수 있다.

또한, 타워(30)는 내시경(13)을 통해 배치될 수 있는 시스템에 제어된 세척(irrigation) 및 흡인 기능을 제공하기 위해 펌프, 유량계, 밸브 제어부 및/또는 액체 액세스를 포함할 수 있다. 이 구성요소들은 또한 타워(30)의 컴퓨터 시스템을 이용하여 제어될 수 있다. 일부 실시예에서, 세척 및 흡인 기능은 별도 케이블(들)을 통해 내시경(13)에 직접 전달될 수도 있다.

타워(30)는 필터링되고 보호된 전력을 카트(11)로 공급하도록 설계된 전압 및 서지 보호기(voltage and surge protector)를 포함할 수 있어, 전력 변압기 및 다른 보조 전기 구성요소들을 카트(11)에 구비할 필요성을 없애주어 더 작고 더 이동가능한 카트(11)를 유도한다.

또한, 타워(30)는 로봇시스템(10) 전반에 걸쳐 배치된 센서들을 위한 지원 장비를 포함할 수 있다. 예를 들어, 타워(30)는 로봇시스템(10)에 걸쳐 광센서 또는 카메라로부터 수신되는 데이터를 감지, 수신, 처리하기 위해 광전 장치를 포함할 수 있다. 제어시스템과 결합하여, 이러한 광전 장치는 타워(30)에 포함해 시스템 전반에 걸쳐 배치된 여러 개의 콘솔에 디스플레이하기 위한 실시간 이미지를 생성하는 데 사용될 수 있다. 유사하게, 타워(30)는 배치된 전자기식(EM) 센서로부터 수신된 신호들을 수신하고 처리하는 전자 서브시스템을 포함할 수 있다. 타워(30)는 또한 의료 기구 안팎의 EM 센서 감지를 위해 EM 전자기장 발생기를 수용하고 배치하는데 사용될 수 있다.

또한, 타워(30)는 카트 위에 탑재된 콘솔과 같이 시스템 다른 부분에 있는 다른 콘솔과 더불어 콘솔(31)을 포함할 수 있다. 콘솔(31)은 의료진을 위해 사용자 인터페이스와 터치스크린과 같은 디스플레이 스크린을 포함할 수 있다. 시스템(10)의 콘솔들은 일반적으로 로봇 제어뿐 아니라 내시경(13)의 항행 및 국소 정보(navigational and localization information)와 같이 수술 전 그리고 시술의 실시간 정보를 모두 제공하도록 설계된다. 콘솔(31)이 의사가 이용할 수 있는 유일한 콘솔이 아닌 경우, 이는 간호사와 같은 다른 작동자가 환자의 건강상태 또는 바이털(vitals), 시스템 작동상태를 모니터링하고, 항행 및 국소 정보와 같은 시술-전용 데이터를 제공하는데 사용될 수 있다.

타워(30)는 한 개 이상의 케이블이나 커넥션(미도시)을 통해 카트(11) 및 내시경(13)에 결합될 수 있다. 일부 실시예에서는, 타워(30)로부터의 지원기능이 단일 케이블을 통해 카트(11)로 제공될 수 있으며, 이를 통해 수술실 환경이 간소화되고 정돈될 수 있다. 다른 실시예에서는, 특정 기능이 별도의 케이블이나 커넥션에 결합될 수 있다. 예를 들어, 단일 전력 케이블을 통해서 카트에 전력이 공급될 수 있는 한편, 제어, 광학, 유체공학 및/또는 항행에 대한 지원은 별도 케이블을 통해서 제공될 수 있다.

도 2는 도 1의 카트 기반의 로봇-구동형 시스템의 카트의 실시예를 상세하게 도시 한다. 카트(11)는 일반적으로 긴 지지 구조체(elongated support structure: 14)(주로 "컬럼(column)"이라 지칭), 카트 베이스(15), 컬럼(14) 윗부분의 콘솔(16)을 포함한다. 컬럼(14)은 한 개 이상의 로봇 암(12)(도 2에서는 3개가 도시됨)의 배치를 지원하는 한 개 이상의 캐리지, 예컨대 캐리지(17) (대안적으로 "암 지지부(arm support)"라 칭함)을 포함할 수 있다. 캐리지(17)는 환자에 대한 더 좋은 위치설정을 위해 로봇 암(12)의 베이스를 조정하도록 직각 축을 따라 회전하는 개별적으로 구성가능한 아암 마운트들을 포함할 수 있다. 또한, 캐리지(17)는 캐리지(17)가 컬럼(14)을 따라 수직으로 이동하게 하는 캐리지 인터페이스(19)를 포함한다.

캐리지 인터페이스(19)는 슬롯, 예컨대 슬롯(20)을 통해 컬럼(14)에 연결되어 있고, 이 슬롯은 컬럼(14)의 대향 측면에 위치되어 캐리지(17)의 수직 이동을 안내한다. 슬롯(20)은 카트 베이스(15)에 대해 다양한 수직 높이로 캐리지를 위치시키고 유지하는 수직 이동 인터페이스를 포함한다. 캐리지(17)의 수직 이동은 카트(11)가 로봇 암(12)의 도달점을 조정할 수 있게 하여 다양한 테이블 높이, 환자의 크기, 의사의 선호를 충족시킬 수 있게 한다. 이와 유사하게, 캐리지(17) 상의 개별적으로 구성가능한 암 마운트는 로봇 암(12)의 로봇 암 베이스(21)의 각도를 다양한 구성으로 변경시킬 수 있다.

일부 실시예에서, 슬롯(20)은 캐리지(17)가 수직으로 이동될 때 먼지와 액체가 컬럼(14)의 안쪽 공간과 수직 이동 계면에 들어가는 것을 방지하기 위해 슬롯 표면과 동일 평면에 있고 이와 평행한 슬롯 덮개가 추가될 수 있다. 슬롯 덮개는 슬롯(20)의 수직 상부와 하부 부근에 위치된 스풀 스프링 쌍(pairs of spring spools)을 통해 배치될 수 있다. 덮개는 스풀에 감겨있는 상태를 유지하다가 캐리지(17)가 상하로 수직 이동될 때 감겨 있는 상태(coiled state)로부터 수축 및 연장하도록 배치된다. 스풀의 스프링 부하는 캐리지(17)가 스풀 쪽으로 이동될 때 덮개를 스풀 쪽으로 수축하도록 힘을 제공하면서도, 캐리지(17)가 스풀에서 멀어지는 방향으로 이동할 때에는 기밀한 밀폐를 제공한다. 캐리지(17)가 이동할 때 덮개가 적절하게 연장 및 수축할 수 있도록, 예를 들어 캐리지 인터페이스(19)의 브래킷(bracket)을 이용해서 커버를 캐리지(17)와 연결시킬 수 있다.

컬럼(14)은 내부적으로, 예를 들어 콘솔(16)로부터 입력된 사용자 입력 대해 발생된 제어 신호들에 응답하여, 수직 정렬된 리드 스크루(lead screw)를 이용해 캐리지(17)를 기계적인 방식으로 이동시키도록 설계된 기어와 모터와 같은 메커니즘을 포함할 수 있다.

로봇 암(12)는 일반적으로 로봇 암 베이스(21) 및 앤드 이펙터(end effector)(22)를 포함할 수 있고, 이는 일련의 조인트(24)에 의해 연결되는 일련의 연결장치(23)에 의해 분리되며, 각각의 조인트는 독립적인 액추에이터를 포함하고, 각각의 액추에이터는 독립적으로 제어가능한 모터를 포함한다. 독립적으로 제어가능한 각각의 조인트는 로봇 암에 적용가능한 독립적인 자유도를 나타낸다. 각각의 암(12)은 7개의 조인트를 가지며, 따라서 7 자유도를 제공한다. 다수의 조인트는 그 개수만큼의 자유도를 유도하며, 이는 "잉여(redundant)" 자유도를 허용한다. 잉여 자유도는 로봇 암(12)이 다양한 연결장치의 위치와 조인트의 각도를 이용해서 특정 위치, 방향 및 공간의 궤도에 각각의 앤드 이펙터(22)를 위치시킬 수 있게 한다. 이를 통해 시스템은 공간 내 원하는 지점으로부터 의료 기구를 위치 및 지향시킬 수 있으면서도, 의사가 암 조인트를 환자로부터 멀리 떨어진 임상적으로 유리한 위치로 옮겨, 접근성은 높이고 암의 충돌을 피할 수 있도록 한다.

카트 베이스(15)는 지면 위의 컬럼(14), 캐리지(17), 암(12)의 무게 균형을 맞춰준다. 따라서, 카트 베이스(15)는 전자기기, 모터, 전원 장치와 같은 더 무거운 구성요소들뿐 아니라 카트의 이동 및/또는 부동을 가능케 하는 구성요소들을 수용한다. 예를 들어, 카트 베이스(15)는 시술 전 카트가 수술실 주위를 쉽게 이동하게 하는 롤링가능한 바퀴 모양의 캐스터(caster)(25)를 포함한다. 적절한 위치에 도달한 후, 수술중에는 바퀴 잠금장치를 사용해서 캐스터(25)를 움직이지 않도록 하여 카트(11)를 한 위치에 고정시킬 수 있다.

컬럼(14)의 수직 단부에 위치된 콘솔(16)은 사용자 입력을 수신하는 사용자 인터페이스와, 수술전 그리고 수술중의 데이터를 의사에게 보여주는 디스플레이 스크린(또는 예를 들어 터치스크린(26)과 같은 이중 목적용 기기)을 둘 다 허용한다. 터치스크린(26)상의 잠재적 수술 전 데이터는 수술 전 계획, 수술 전 컴퓨터 단층 촬영(CT) 스캔으로부터 도출되는 항행 및 맵핑 데이터 및/또는 수술 전 환자 면담을 통해 얻은 메모를 포함할 수 있다. 디스플레이 상의 수술중 데이터로는 도구, 센서로부터 제공되는 광학 정보, 센서로 감지되는 좌표 정보뿐만 아니라, 호흡, 심박수 및/또는 맥박과 같은 환자의 바이털 수치가 포함될 수 있다. 의사가 캐리지(17) 반대편에서 컬럼(14)의 측면으로부터 콘솔에 접근할 수 있도록 콘솔(16)이 위치되고 경사질 수 있다. 이 위치에서 의사는 콘솔(16), 로봇 암(12), 환자를 볼 수 있는 동시에 카트(11) 뒤에서 콘솔(16)을 작동할 수 있다. 또한, 도시된 바와 같이, 콘솔(16)은 카트(11)의 조작과 고정을 돕는 핸들(27)을 포함한다.

도 3은 요관경검사를 위해 배치된 로봇-구동형 시스템(10)의 실시예를 도시한다. 요관경 시술시, 카트(11)는 환자의 요도와 요관에서 하복부까지 거쳐갈 수 있도록 설계된 시술전용 내시경인 요관경(32)을 주입하도록 위치될 수 있다. 요관경 검사에서, 민감한 해부 부위의 마찰과 압박이 가해지는 것을 줄이기 위해 요관경(32)을 환자의 요도와 직접적으로 정렬하는 것이 바람직하다. 도시된 바와 같이, 카트(11)는 테이블 아랫부분과 정렬될 수 있어 환자의 요도로의 직접적인 선형 접근을 위해 로봇 암(12)이 요관경(32)을 배치할 수 있다. 테이블의 아랫부분부터, 로봇 암(12)은 가상 레일(33)을 따라 요관경(32)을 요도를 통해 환자의 하복부 내로 바로 주입시킬 수 있다.

요도에 삽입한 후, 기관지경 검사에서와 유사한 제어 기술을 이용해서, 진단 및/또는 치료적 적용을 위해 요관경(32)이 방광, 요관 및/또는 신장 내로 항행될 수 있다. 예를 들어, 요관경(32)이 요관 및 신장 내로 진입되어 요관경(32)의 작업 채널 아래에 배치된 레이저 또는 초음파 쇄석 기기를 이용하여 신장 결석을 제거할 수 있다. 쇄석술 완료 후, 신장결석의 파편은 요관경(32) 아래에 배치된 바스켓을 사용해서 제거될 수 있다.

도 4는 혈관 시술을 위해 유사하게 배치된 로봇-구동형 시스템의 실시예를 도시한다. 혈관 시술에서, 시스템(10)은 카트(11)가 조향가능한 카테터와 같은 의료 기구(34)를 환자의 다리의 넙다리동맥의 접근 지점으로 전달할 수 있도록 구성될 수 있다. 넙다리동맥은 더 넓은 직경과, 환자 심장까지 비교적 덜 우회되고 굴곡진 경로를 제공하며, 이는 항행을 단순화한다. 요관경 시술에서와 마찬가지로, 카트(11)는 환자의 다리와 하복부 쪽으로 위치될 수 있어 로봇 암(12)이 환자의 허벅지/엉덩이 부위의 넙다리동맥의 접근 지점으로 직접적인 선형 접근을 할 수 있는 가상 레일(35)을 제공할 수 있다. 동맥 안으로 삽입한 후, 기구 드라이버(28)를 이동시켜 의료 기구(34)를 지향시키거나 및 삽입할 수 있다. 대안적으로, 카트를 환자의 상복부 주위에 위치시켜, 예를 들어 어깨와 손목 부근의 경동맥과, 상완동맥과 같은 다른 혈관의 접근 지점들에 도달하도록 할 수도 있다.

B. 로봇 시스템 - 테이블.

로봇-구동형 의료 시스템의 실시예는 환자의 테이블에 또한 통합될 수 있다. 테이블의 통합은 카트를 제거함으로써 수술실 내 주요 장비의 양을 줄여서 환자 접근성을 높여준다. 도 5는 기관지 내시경 시술을 위해 배치된 로봇-구동형 시스템의 실시예를 도시한다. 시스템(36)은 바닥 위 ("테이블" 또는 "침대"로 도시된) 플랫폼(38)을 지탱하는 지지 구조체 또는 컬럼(37)을 포함한다. 카트-기반 시스템과 같이, 시스템(36)의 로봇 암(39)의 앤드 이펙터는 기구 드라이버(42)들의 선형 정렬로부터 형성된 가상 레일(41)을 따라 또는 이를 통과해 도 5의 기관지 내시경(40)과 같은 세장형 의료 기구를 조작하도록 설계된 기구 드라이버(42)들을 포함한다. 실제로는 테이블(38) 주변으로 방사기 및 탐지기를 위치시킴으로써 형광 투시 영상을 제공하는 C-암(C-arm)을 환자의 상복부 영역 위로 위치시킬 수 있다.

도 6은 설명을 위해 환자 및 의료 기구가 없는 시스템(36)의 대안적인 도면을 제공한다. 도시된 바와 같이, 컬럼(37)은 한 개 이상의 로봇 암(39)이 기반을 둔 링-모양으로 도시된 한 개 이상의 캐리지(43)를 시스템(36)안에 포함할 수 있다. 캐리지(43)는 컬럼(37)을 따라 이어진 수직의 컬럼 인터페이스(44)를 따라 이동할 수 있어서 환자에 도달하기 좋은 여러 지점으로 로봇 암(39)을 위치시킬 수 있다. 캐리지(들)(43)은 컬럼(37) 안에 위치된 기계식 모터를 이용해 컬럼(37) 주변을 회전함으로써 로봇 암(39)이 가령, 환자의 양 측면과 같은 테이블(38)의 여러 면을 접근할 수 있도록 허용한다. 복수의 캐리지가 있는 실시예에서 캐리지는 개별적으로 컬럼에 위치될 수 있고 서로 다른 캐리지와는 독립적으로 이동 및/또는 회전할 수 있다. 캐리지(43)가 컬럼(37)을 둘러싸거나 원형일 필요는 없지만, 도시된 바와 같은 고리 모양은 캐리지(43)의 컬럼(37) 주변의 회전을 용이하게 해주며 동시에 구조적인 균형을 유지시켜 준다. 캐리지(43)의 회전 및 이동을 통해 시스템은 내시경, 복강경과 같은 의료 기구를 환자의 다른 접근 지점에 정렬시킬 수 있다.

암(39)은 개별적으로 회전 및/또는 신축적으로 연장할 수 있는 일련의 조인트로 구성된 암 마운트(45) 세트를 통해 캐리지 위에 탑재되어 로봇 암(39)에 추가적인 구성 용이성(configurability)을 제공할 수 있다. 뿐만 아니라, 암 마운트(45)는 캐리지(43)위에 위치되어, 캐리지(43)가 적당히 회전되었을 때, 암 마운트(45)가 (도 6에 도시된 바와 같이) 테이블(38)의 동일면, (도 9에 도시된 바와 같이) 테이블(38)의 반대면, 또는 테이블(38)의 인접면(미도시) 중 하나로 위치될 수 있다.

컬럼(37)은 구조적으로 테이블(38)을 지지해주며 캐리지의 수직 이동을 위한 경로를 제공한다. 내부적으로, 컬럼(37)은 캐리지의 수직 이동을 안내하기 위한 리드 스크루와 상기 캐리지를 리드 스크루 기반의 기계적인 방식으로 이동시키는 모터를 갖출 수 있다. 컬럼(37)은 또한 전력 및 제어 신호를 캐리지(43)와 그 위 장착된 로봇 암(39)으로 전송할 수 있다.

테이블 베이스(46)는 도 2에 도시된 카트(11)의 카트 베이스(15)와 유사한 기능을 제공하며, 테이블/침대(38), 컬럼(37), 캐리지(43) 및 로봇 암(39)의 균형을 맞추기 위해 더 무거운 구성요소들을 수용한다. 테이블 베이스(46) 또한 강성 캐스터와 통합되어 시술 중에 안정성을 제공할 수 있다. 캐스터는 테이블 베이스(46)의 맨 아래 배치되어 베이스(46)의 양쪽에서 반대 방향으로 연장되며 시스템(36)이 이동되어야 할 때는 수축할 수 있다.

도 6을 계속 참조하여, 시스템(36)은 또한 타워(미도시)를 포함하여 시스템(36)의 기능을 테이블과 타워로 나누어 형상 계수 및 테이블의 규모를 줄일 수 있다. 상기 개시된 실시예와 같이 타워는 프로세싱, 컴퓨팅 및 제어 능력, 전력, 유체공학 및/또는 광학 및 센서 프로세싱과 같은 다양한 지원 기능을 테이블에 제공할 수 있다. 타워는 또한 환자에게서 멀찍하게 놓여있을 수 있도록 이동 가능하여 의사의 접근성을 높이고 수술실을 간소화시킬 수 있다. 또한 구성요소를 타워에 둠으로써 테이블 베이스에 로봇 암을 보관할 수 있는 잠재적인 보관 공간을 확보할 수 있다. 타워는 또한 키보드 및/또는 펜던트와 같은 사용자 입력을 위한 사용자 인터페이스와 실시간 영상, 항행 및 추적 정보와 같은 수술전 및 수술중 정보를 보여주기 위한 디스플레이 스크린 (또는 터치스크린)을 모두 제공하는 콘솔을 포함할 수 있다.

일부 실시예에서, 로봇 암이 사용되지 않을 때 테이블 베이스에 넣어 보관할 수 있다. 도 7은 테이블 기반 시스템의 실시예에서 로봇 암을 넣어둔 시스템(47)을 도시한다. 시스템(47)에서, 캐리지(48)는 베이스(49)안으로 수직으로 이동되어 로봇 암(50), 암 마운트(51) 및 캐리지(48)를 베이스(49)안으로 집어 넣을 수 있다. 베이스 덮개(52)는 캐리지(48), 암 마운트(51), 및 암(50)을 컬럼(53) 주변으로 배치하기 위해 이동 및 수축되어 열릴 수 있으며 사용 중이지 않을 때는 보호를 위해 닫아서 보관할 수 있다. 베이스 덮개(52)는 닫혀 있을 때 먼지나 액체가 들어가는 것을 방지하기 위해 개구부 가장자리를 따라 막(54)으로 밀폐될 수 있다.

도 8은 요관경 검사 시술을 위해 구성된 로봇-구동형 테이블-기반 시스템의 실시예를 도시한다. 요관경 검사시, 테이블(38)은 회전 부분(55)을 포함하여 환자를 컬럼(37) 및 테이블 베이스(46)로부터 오프각(off-angle)으로 위치시킬 수 있다. 회전 부분(55)은 회전 부분(55)의 아래 부분을 컬럼(37)으로부터 멀리 위치시키기 위해 (가령, 환자의 머리 아래에 위치한) 피벗 점(pivot point)을 중심으로 회전 또는 피벗할 수 있다. 예를 들어, 회전 부분(55)을 피벗시키면, 테이블(38) 밑에 컬럼(미도시)과 공간의 충돌 없이 환자의 하복부 위로 C-암(미도시)을 위치시킬 수 있다. 캐리지(35)(미도시)를 컬럼(37) 주변으로 회전시키면, 로봇 암(39)은 요도에 도달하기 위해 가상 레일(57)을 따라 요관 내시경(56)을 환자의 서혜부 안으로 직접 삽입할 수 있다. 요관 내시경 검사에서, 또한 발걸이(58)는 시술 중 환자의 다리 위치를 지탱하고 환자의 서혜부 영역에 용이한 접근을 제공하기 위해서 테이블(38)의 회전 부분(55)에 고정될 수 있다.

복강경 시술 시, 환자의 복벽의 작은 절개(들)을 통해 (한 개 이상의 절개 크기를 수용하기 위해 세장형 모양을 가지는) 최소 침습 기구가 환자의 해부부위 안으로 삽입될 수 있다. 환자의 복강(abdominal cavity)이 팽창된 후에, 주로 복강경이라 지칭되는 기구가 잡기, 절단, 제거, 봉합 등과 같은 수술 작업을 수행하기 위해 진입될 수 있다. 도 9는 복강 내시경 시술을 위해 구성된 로봇-구동형 테이블-기반 시스템의 실시예를 도시한다. 도 9에 도시된 바와 같이 시스템(36)의 캐리지(43)는 로봇 암(39) 한 쌍을 테이블(38)의 반대 쪽에 위치시키기 위해 회전 및 수직 조정될 수 있어서 복강경(59)이 암 마운트(45)를 통해 환자의 양 측면에서 최소 절개부위를 통과해 환자의 복강에 도달하도록 위치될 수 있다.

복강경 시술을 용이하게 하기 위해, 로봇-구동형 테이블 시스템은 또한 플랫폼을 원하는 각도로 기울일 수 있다. 도 10은 피치 또는 기울기가 조정된 로봇-구동형 의료 시스템의 실시예를 도시한다. 도 10에 도시된 바와 같이, 시스템(36)은 테이블의 한 부분이 다른 한 부분보다 바닥에서 더 멀어지도록 테이블(38)을 기울 일 수 있다. 뿐만 아니라, 암 마운트(45)는 상기 기울임과 일치하도록 회전하여 암(39)이 테이블(38)과 동일한 평면 관계를 유지하도록 할 수 있다. 더 가파른 각도를 수용하기 위해, 컬럼(37)은 또한 컬럼(37)의 수직 연장을 가능케 하는 텔레스코핑 부분(60)을 포함하여 테이블(38)이 바닥에 닿거나 베이스(46)와 충돌하는 것을 방지한다.

도 11은 테이블(38)과 컬럼(37) 사이의 인터페이스를 자세하게 도시한다. 피치 회전 메커니즘(61)은 테이블(38)의 피치 각을 컬럼(37)에 대해 상대적으로 다자유도로 변경하도록 설정될 수 있다. 피치 회전 메커니즘(61)은 직교 축(1, 2)을 컬럼-테이블 인터페이스에 위치시킴으로써 활성화될 수 있고, 각 축은 전자 피치 명령어에 반응하는 별도의 모터(3, 4)에 의해 작동된다. 한 개의 스크루(5)를 따라 회전하면 한 개의 축(1)에서의 기울기 조정이 활성화되고, 반면 또 다른 스크루(6)를 따라 회전하면 또 다른 축(2)에서의 기울기 조정을 활성화 시킬 수 있다.

예를 들어, 피치 조정은 테이블을 트렌델렌버그(Trendelenburg) 자세 즉, 하복부 수술을 위해 환자의 하복부를 환자의 상복부보다 바닥에서 더 높이 위치시켜야 할 때 특히 유용하다. 트렌델렌버그 자세는 중력으로 환자의 내부 기관을 환자의 상복부 쪽으로 쏠리도록 해서 최소 침습 도구가 삽입되어 복강경의 전립선 절제술과 같은 하복부 수술적 절차를 시행할 수 있도록 복강을 비운다.

C. 기구 드라이버 및 인터페이스.

시스템의 로봇 암의 앤드 이펙터는 (i) 의료 기구를 작동시키기 위한 전기 기계적 수단이 결합된 기구 드라이버(대안적으로는 "기구 드라이브 메커니즘" 또는 "기구 장치 조작기") 및 (ii) 모터와 같은 전기 기계적 구성요소가 전혀 없을 수도 있는 제거 가능한 또는 분리 가능한 의료 기구를 포함한다. 이러한 이분법은 의료 시술에 사용되는 의료 기구를 멸균해야 하는 필요성, 및 복잡한 기계 조립체 및 예민한 전기 장치로 인해 고가의 주요 장비를 충분히 멸균하지 못하는 상황으로 인해 추진될 수 있다. 따라서, 의료 기구는 의사 또는 의료진이 개별적인 멸균 또는 처분을 하기 위해 기구 드라이버(및 즉, 시스템)에서 분리, 제거 및 교체될 수 있도록 설계될 수 있다. 그에 반해, 기구 드라이버는 교체 또는 멸균될 필요가 없으며, 보호하기 위해 드랩(drape) 처리될 수 있다.

도 12는 예시적인 기구 드라이버를 도시한다. 로봇 암의 원위 단부에 위치된 기구 드라이버(62)는 드라이브 샤프트(64)를 통해 의료 기구에 제어된 토크를 제공하기 위해 평행 축으로 배치된 한 개 이상의 드라이브 유닛(63)을 포함한다. 각 드라이브 유닛(63)은 기구와 상호 작용하는 개별적인 드라이브 샤프트(64), 모터 샤프트 회전을 원하는 토크로 전환하는 기어 헤드(65), 드라이브 토크를 발생시키는 모터(66), 모터 샤프트의 속도를 측정하고 제어 회로로 피드백을 제공하는 인코더(67) 및 제어 신호를 수신하고 드라이브 유닛을 작동시키는 제어 회로(68)를 포함한다. 각각의 드라이브 유닛(63)은 독립적으로 제어 및 동력화되기 때문에 기구 드라이버(62)는 복수의(도 12에서는 4개로 도시됨) 독립적인 드라이브 출력량을 의료 기구에 제공할 수 있다. 작동 시, 제어 회로(68)는 제어 신호를 수신하고, 모터 신호를 모터(66)로 전송하고, 인코더(67)로 측정된 모터 속도 결과와 원하는 속도를 비교한 후 원하는 토크를 발생시키기 위해 모터 신호를 조절한다.

멸균 환경이 요구되는 시술을 위해서 로봇 시스템은 기구 드라이버와 의료 기구 사이에 멸균 드랩과 연결된 멸균 어댑터와 같은 드라이브 인터페이스와 결합할 수 있다. 멸균 어댑터의 주 목적은 드라이브 샤프트와 드라이브 입력 사이의 물리적인 분리, 및 따라서 무균성을 유지하면서도 기구 드라이버의 드라이브 샤프트에서 기구의 드라이브 입력으로 각 운동(angular motion)을 전송하는 것이다. 따라서, 예시적인 멸균 어댑터는 기구 드라이버의 드라이브 샤프트와 기구의 드라이브 입력과 정합하도록 의도된 일련의 회전 입력 및 출력으로 구성될 수 있다. 투명 또는 반투명 플라스틱과 같은 얇고 유연한 소재로 구성된 멸균 드랩은 멸균 어댑터와 연결되어 기구 드라이버, 로봇 암, (카트-기반 시스템에서는) 카트 또는 (테이블 기반 시스템에서는) 테이블과 같은 주요 장비를 덮도록 설계된다. 드랩의 사용은 주요 장비가 멸균이 요구되지 않은 영역 (즉, 비 살균 현장)에 위치되어 있으면서도 환자에 가깝게 위치될 수 있도록 할 수 있다. 멸균 드랩의 반대 쪽은 멸균이 요구되는 영역 (즉, 멸균 현장)에서 의료 기구가 환자와 인터페이스 될 수 있다.

D. 의료 기구.

도 13은 예시적인 의료 기구와 함께 쌍을 이루는 기구 드라이버를 도시한다. 로봇 시스템과 함께 사용하기 위해 설계된 다른 기구와 마찬가지로, 의료 기구(70)는 세장형 샤프트(71) (또는 세장형 본체) 및 기구 베이스(72)를 포함한다. 기구 베이스(72)는 의사와 수동적인 상호 작용을 의도한 설계 때문에 "기구 핸들"로 또한 지칭되며, 회전가능한 드라이브 입력(73), 즉, 리셉터클(receptacles), 풀리(pulleys) 또는 스풀(spools)을 포함할 수 있으며 이는 로봇 암(76)의 원위 단부에 위치된 기구 드라이버(75) 상의 드라이브 인터페이스를 통해 연장되는 드라이브 출력(74)과 정합되도록 설계된다. 물리적으로 연결되거나, 래치(latched)되거나, 및/또는 결합되면, 기구 베이스(72)의 정합된 드라이브 입력(73)은 기구 드라이버(75)의 드라이브 출력(74)과 회전 축을 공유할 수 있어서, 드라이브 출력(74)으로부터 드라이브 입력(73)으로 토크를 전송할 수 있다. 일부 실시예에서, 드라이브 출력(74)은 드라이브 입력(73) 상의 리셉터클과 정합하도록 설계된 스플라인(splines)을 포함할 수 있다.

세장형 샤프트(71)는 가령, 내시경 시술의 경우 해부학적 개구나 내강 또는 가령, 복강 내시경 시술의 경우 최소 침습 절개를 통해 전달될 수 있도록 설계된다. 세장형 샤프트(71)는 (내시경과 유사한 성질을 가진) 연성 또는 (복강경과 유사한 성질을 가진) 강성이거나 연성과 강성 부분의 맞춤 조합으로 이뤄질 수 있다. 복강경을 위한 설계 시, 강성 세장형 샤프트의 원위 단부는 회전의 축을 가진 클레비스(clevis)로 형성된 조인트 팔목을 포함하는 앤드 이펙터 및 가령, 그래스퍼(grasper) 또는 가위와 같은 수술 도구와 연결될 수 있고, 이는 기구 드라이버(75)의 드라이브 출력(74)으로부터 수신한 토크에 응답하여 드라이브 입력이 회전할 때 텐던의 힘을 기반으로 작동될 수 있다. 내시경을 위한 설계 시, 연성 세장형 샤프트의 원위 단부는 기구 드라이버(75)의 드라이브 출력(74)으로부터 수신한 토크를 기반으로 연접되며 구부러질 수 있는 조향가능한 또는 제어 가능한 구부림 부분을 포함할 수 있다.

기구 드라이버(75)의 토크는 샤프트(71)을 따라 위치한 텐던을 사용해 세장형 샤프트(71) 아래로 전송된다. 풀 와이어와 같은 이러한 개별 텐던은 기구 핸들(72) 안에 개별적인 드라이브 입력(73)과 각각 고정되어 있다. 텐던은 핸들(72)로부터 세장형 샤프트(71)를 따라 한 개 이상의 풀 내강으로 전달되며 세장형 샤프트(71)의 원위 부분에 앵커(anchor)된다. 복강경 검사에서, 이러한 텐던은 손목, 그래스퍼 또는 가위와 같이 원위 탑재된 앤드 이팩터와 결합될 수 있다. 상술된 배치에서, 드라이브 입력(73)에 가하는 토크는 텐던에 장력을 전달하며, 따라서 앤드 이팩터가 특정 방식으로 작동하게 만든다. 복강경 검사에서, 텐던은 조인트가 축을 따라 회전하게 만들수 있으며 따라서 앤드 이팩터가 한 방향 또는 다른 방향으로 움직이도록 만들 수 있다. 대안적으로, 텐던은 세장형 샤프트(71)의 원위 단부에 위치한 그래스퍼의 한 개 이상의 죠(jaw)와 연결될 수 있고, 텐던의 장력은 그래스퍼를 오므리게 만든다.

내시경술에서, 텐던은 접착제, 제어 링(control ring), 또는 다른 기계적인 고정을 통해 세장형 샤프트(71)를 따라 (가령 원위 단부에서) 위치된 구부림 또는 연접 부분에 결합될 수 있다. 구부림 부분의 원위 단부에 고정적으로 부착되어 있을 때, 드라이브 입력(73)에 가해진 토크는 텐던을 따라 전송되어 더 부드러운 구부림 부분 (가끔 연접가능한 부분 또는 부위라고 지칭됨) 이 구부러지거나 연접하게 만든다. 구부러지지 않는 부분의 경우, 내시경 샤프트의 벽을 따라 (또는 그 내부에) 개별적인 텐던을 전달하는 개별적인 풀 내강을 와선 또는 나선형으로 하는 것이 풀 와이어의 장력으로 인한 반지름 방향 힘의 균형을 맞추는데 이로울 수 있다. 와선의 각도 및/또는 꼬임의 간격은 특정 목적을 위해 조정 또는 조작될 수 있고, 더 타이트한 와선은 하중 부하 시 샤프트 압축이 덜한 반면, 더 적은 양의 와선은 하중 부하 시 샤프트 압축이 더 크지만 또한 구부림을 제한한다. 이와 반대로, 원하는 구부림 또는 연접 가능 부분에 제어된 연접을 허용하기 위해 풀 내강은 세장형 샤프트(71)의 세로축과 평행으로 지향될 수 있다.

내시경에서, 세장형 샤프트(71)는 로봇식 시술을 지원하기 위해 여러 개의 구성 요소를 수용한다. 샤프트는 수술 도구, 세척, 및/또는 흡인을 샤프트(71)의 원위 단부에 위치한 수술 부위까지 배포하기 위한 작업 채널을 포함할 수 있다. 샤프트(71)는 또한 원위 선단에 광학 카메라를 포함할 수 있는 광학 조립체까지/부터 신호를 전송하기 위해 와이어 및/또는 광섬유를 수용할 수 있다. 샤프트(71)는 또한 근위 방향으로 위치된 광원으로부터 발광 다이오드와 같은 광을 샤프트의 원위 단부까지 전달하기 위해 광섬유를 수용할 수 있다.

기구(70)의 원위 단부에서, 원위 선단은 또한 작업채널의 개구부를 포함해 진단 및/또는 치료를 위한 도구, 세척 및 흡인을 수술 부위로 전달할 수 있다. 원위 선단은 또한 내부 해부학적 공간의 이미지를 캡처하기 위해 파이버스코프(fiberscope) 또는 디지털 카메라와 같은 카메라를 위한 포트를 포함할 수 있다. 이와 관련되어, 원위 선단은 또한 카메라 이용 시 해부학적 공간을 비추기 위해 광원을 위한 포트를 포함할 수 있다.

도 13의 예시에서, 드라이브 샤프트 축들, 및 따라서 드라이브 입력 축들은 세장형 샤프트의 축과 직각을 이룬다. 하지만 상기 배치는 세장형 샤프트(71)의 롤 능력을 어렵게 만든다. 드라이브 입력(73)을 고정으로 유지하면서 세장형 샤프트(71)를 자신의 축을 따라 롤하면 텐던이 드라이브 입력(73)을 넘어 연장되어 세장형 샤프트(71) 내 풀 내강으로 들어가면서 텐던의 원치않는 엉킴을 유발한다. 텐던의 엉킴은 결과적으로 내시경 시술 동안 연성 세장형 샤프트의 움직임을 예측하기 위해 만들어진 제어 방법에 지장을 줄 수 있다.

도 14는 드라이브 유닛의 축이 기구의 세장형 샤프트의 축과 평행을 이루는 기구 드라이버 및 기구의 대안적인 설계를 도시한다. 도시된 바와 같이, 원형의 기구 드라이버(80)는 네 개의 드라이브 유닛을 포함하고 이들의 드라이브 출력(81)은 로봇 암(82)의 단부에 평행으로 정렬된다. 드라이브 유닛 및 이들 각자의 드라이브 출력(81)은 기구 드라이버(80)의 회전 조립체(83) 안에 수용되고 이는 조립체(83) 안에 드라이브 유닛 중 하나에 의해 구동된다. 회전 드라이브 유닛에 의해 제공된 토크에 대응하여 회전 조립체(83)는 기구 드라이버의 비회전 부분(84)에 회전 조립체(83)를 연결하는 원형 베어링(bearing)을 따라 회전한다. 전력 및 제어 신호는 브러쉬 방식의(brushed) 슬립링 연결(미도시)의 회전을 통해 유지될 수 있는 전기 접점을 통해서 기구 드라이버(80)의 비회전 부분(84)에서 회전 조립체(83)로 통신될 수 있다. 다른 실시예에서, 회전 조립체(83)는 비회전 부분(84)에 통합되어 있는 별도의 드라이브 유닛에 반응할 수 있고 따라서 다른 드라이브 유닛과 평행하지 않는다. 회전 메커니즘(83)은 기구 드라이버(80)가 드라이브 유닛 및 대응되는 드라이브 출력(81)을 하나의 구성으로써 기구 드라이버 축(85)을 중심으로 회전시키도록 허용한다.

앞서 개시된 실시예와 같이, 기구(86)는 세장형 샤프트 부분(88) 및 기구 드라이버(80) 안에 있는 드라이브 출력(81)을 수신하도록 구성된 (리셉터클, 풀리, 및 스풀과 같은) 복수의 드라이브 입력(89)을 포함하는 (설명을 목적으로 투명한 외부 스킨으로 도시된) 기구 베이스(87)로 구성될 수 있다. 이전에 개시된 실시예와는 달리 기구 샤프트(88)는 기구 베이스(87)의 중심으로부터 연장되며 축은 도 13의 설계와 같이 직각을 이루기 보다는 드라이브 입력(89)의 축과 대체적으로 평행을 이룬다.

기구 드라이버(80)의 회전 조립체(83)와 정합되면, 기구 베이스(87) 및 기구 샤프트(88)를 포함하는 의료 기구(86)는 기구 드라이버 축(85)을 중심으로 회전 조립체(83)와 함께 결합하여 회전한다. 기구 샤프트(88)는 기구 베이스(87)의 중앙에 위치되어 있기 때문에, 부착되었을 때, 기구 샤프트(88)는 기구 드라이버 축(85)과 동축이 된다. 따라서 회전 조립체(83)가 회전하면 기구 샤프트(88)는 자신의 세로 축을 중심으로 회전한다. 더욱이, 기구 베이스(87)가 기구 샤프트(88)과 함께 회전하므로, 기구 베이스(87) 안에서 드라이브 입력(89)과 연결된 모든 텐던은 회전 중에 엉키지 않는다. 따라서, 드라이브 출력(81), 드라이브 입력(89), 및 기구 샤프트(88) 축들의 병렬성은 제어 텐던의 어떠한 엉킴 없이 샤프트 회전이 가능하도록 해준다.

E. 항행 및 제어.

전통적인 내시경은 관강 내(endoluminal) 안내를 집도의사에게 제공하기 위해 (가령, C-암으로 전달될 수 있는) 형광 투시 및 다른 방사선 기반의 영상기법 방식의 사용을 수반할 수 있다. 반대로, 본 개시내용에서 구상된 로봇 시스템은 비-방사선-기반(non-radiation-based) 항행 및 국소화 방법을 제공하여 의사의 방사선 노출을 감소시키고 수술실 내 장비의 양을 줄여줄 수 있다. 본 명세서에 사용될 때, 용어 "국소화"는 기준 좌표계에서 물체의 위치를 결정 및/또는 관찰하는 것을 지칭할 수 있다. 무 방사선(radiation-free) 수술 환경을 성취하기 위해 수술 전 매핑, 컴퓨터 시각, 실시간 EM 추적 및 로봇 명령 데이터와 같은 기술들이 개별적으로 또는 조합으로 사용될 수 있다. 방사선 기반 영상기법이 여전히 사용되는 다른 경우에는, 수술 전 매핑, 컴퓨터 시각, 실시간 EM 추적 및 로봇 명령 데이터가 개별적으로 또는 조합으로 사용되어 방사선-기반 영상기법만을 통해 취득되는 정보를 향상시킬 수 있다.

도 15는 예시적인 실시예에 따라 기구의 위치와 같이 로봇 시스템의 한 개 이상의 요소의 위치를 추정하는 국소화 시스템(90)(또한 "상태 융합 모듈(state fusion module)"로 지칭됨)을 도시하는 블록도이다. 국소화 시스템(90)은 한 개 이상의 명령어를 실행하도록 구성된 한 개 이상의 컴퓨터 장치의 세트일 수 있다. 컴퓨터 장치는 상술된 한 개 이상의 구성요소 안에서 프로세서 (또는 프로세서들) 및 컴퓨터 판독 가능 메모리로 구현될 수 있다. 예시적인 것이며 한정적인 것이 아닌 것으로서 컴퓨터 장치는 도 1에 도시된 타워(30), 도 1 내지 4에 도시된 카트, 도 5 내지 10에 도시된 침대, 등에 있을 수 있다.

도 15에 도시된 바와 같이, 국소화 시스템(90)은 입력 데이터(91) 내지 (94)를 처리하는 국소화 모듈(95)을 포함하여 의료 기구의 원위 선단에 대한 위치 데이터(96)를 생성할 수 있다. 위치 데이터(96)는 기준계(frame of reference)에 상대적인 기구의 원위 단부의 위치 및/또는 방향을 나타내는 데이터 또는 로직(logic)일 수 있다. 기준계는 가령, 전자기장 발생기와 같은 (전자기장 발생기에 관해 후술되는 내용 참고) 환자의 해부 구조 또는 정해진 물체에 상대적인 기준계일 수 있다.

다양한 입력 데이터 (91) 내지 (94)는 이제부터 매우 자세하게 설명된다. 수술 전 매핑은 저선량(low dose) CT 스캔 수집물의 사용을 통해 성취될 수 있다. 수술 전 CT 스캔은 가령, 환자의 내부 해부구조의 절취도(cutaway view)의 "절편(slices)"으로 시각화된 3차원 영상으로 재건될 수 있다. 종합해서 분석될 때, 해부구조의 체강, 공간 및 환자의 폐 조직과 같은 환자의 해부구조를 위한 이미지-기반 모델이 생성될 수 있다. 중심선 기하학("center-line geometry")과 같은 기법이 결정되고 및 CT 영상으로부터 근사화되어(approximated) 모델 데이터(91)라고 지칭되는 (수술 전 CT 스캔만을 사용해 생성될 때는 "수술 전 모델 데이터"로 또한 지칭됨) 환자의 해부구조의 3차원 입체를 만들 수 있다. 중심선 기하학의 사용은 미국 특허 출원 제14/523,760호에 설명되며, 상기 출원은 그 전문이 본 명세서에 병합된다. 조직망 위상학적 모델 또한 CT 영상으로부터 도출될 수 있으며 특히 기관지경 시술에 적합하다.

일부 실시예에서 기구는 시각 데이터 (92)를 제공하기 위해 카메라가 갖춰져 있을 수 있다. 국소화 모듈(95)은 시각 데이터를 처리해 한 개 이상의 시각 기반 위치 추적을 가능케 한다. 예를 들어, 수술 전 모델 데이터가 시각 데이터(92)와 함께 사용되어 (가령, 내시경 또는 내시경의 작업 채널을 통해 전진되는 기구와 같은) 의료 기구의 컴퓨터 시각 기반 추적을 가능케 할 수 있다. 예를 들어, 수술 전 모델 데이터(91)를 사용해, 로봇 시스템은 내시경의 예상 이동 경로를 기반으로 상기 모델로부터 예상되는 내시경 이미지의 라이브러리를 생성할 수 있고, 각 이미지는 모델 내 위치와 연결된다. 수술중에, 해당 라이브러리는 로봇 시스템에 의해 참조되어 (내시경 원위 단부에 카메라와 같은) 카메라에서 캡처된 실시간 이미지와 이미지 라이브러리의 있는 이미지와 비교해 국소화를 지원할 수 있다.

다른 컴퓨터 시각-기반 추적 기법은 카메라, 및 따라서 내시경의 움직임을 결정하기 위해 특징점 추적(feature tracking)을 사용한다. 국소화 모듈(95)의 일부 기능은 수술 전 모델 데이터(91)에서 해부학적 내강에 대응하는 원형 기하학적 구조를 식별하고 상기 기하학적 구조의 변화를 추적해 어느 해부학적 내강이 선택되었는지 뿐만 아니라 카메라의 상대적인 회전 및/또는 병진 움직임을 결정할 수 있다. 위상 지도의 사용은 시각-기반 알고리즘 또는 기법을 더 향상시킬 수 있다.

또 다른 시각-기반 기법인 광학 흐름은 시각 데이터(92) 내 비디오 시퀀스에서 이미지 픽셀의 변위 및 병진을 분석해서 카메라 움직임을 추론할 수 있다. 광학 흐름 기법의 예시로 움직임 감지, 물체 분할 산출, 휘도(luminance), 동작 보정 인코딩, 스테레오 시차 측정 등을 포함할 수 있다. 복수의 프레임의 다수의 반복 비교를 통해 카메라 (및 따라서 내시경)의 움직임과 위치가 결정될 수 있다.

국소화 모듈(95)은 실시간 EM 추적을 사용해 환자의 해부 구조에 정합된 수술 전 모델로 표현되는 전체 좌표계 내에서 내시경의 실시간 위치를 생성할 수 있다. EM 추적에서, (내시경 도구와 같은) 의료 기구의 한 개 이상의 위치 및 방향에 내장된 한 개 이상의 센서 코일을 포함하는 EM 센서 (또는 트랙커(tracker))는 알려진 장소에 위치된 한 개 이상의 정적 전자기장 발생기에 의해 생성된 전자기장 안에서의 변동을 측정한다. EM 센서에 의해 감지된 위치 정보는 EM 데이터(93)로 저장된다. 전자기장 발생기 (또는 송신기)는 환자와 가깝게 위치되어 상기 내장된 센서가 감지할 수 있는 저강도(low intensity) 전자기장을 생성할 수 있다. 전자기장은 EM 센서의 센서 코일 내 저전류를 유도하며 이는 EM 센서와 전자기장 발생기 사이의 거리와 각도를 결정하기 위해 분석될 수 있다. 좌표계 안에서의 한 위치를 환자의 해부구조의 수술 전 모델 안에서의 위치와 정렬하는 기하학적 변환을 결정하기 위해 상기 거리와 방향은 수술중 환자의 해부구조 (즉, 수술 전 모델)에 "정합"될 수 있다. 정합이 되면, (가령 내시경의 원위 선단과 같이) 의료 기구의 한 개 이상의 위치에 내장된 EM 트래커가 환자의 해부구조를 통과하는 의료 기구의 진행을 실시간으로 표시할 수 있다.

로봇 명령어 및 운동학 데이터(94) 또한 국소화 모듈(95)에서 사용되어 로봇 시스템을 위한 국소화 데이터(96)를 제공할 수 있다. 연접 명령어로 인한 장치의 피치 및 요 결과는 수술 전 교정(calibration)동안 결정될 수 있다. 수술중에, 상기 교정 측정은 알려진 삽입 깊이 정보와 함께 사용되어 기구의 위치를 추정할 수 있다. 대안적으로 상기 산출은 EM, 시각, 및/또는 위상학적 모델링과 함께 분석되어 조직망 내 의료 기구의 위치를 추정할 수 있다.

도 15에 도시된 바와 같이, 여러 다른 입력 데이터가 국소화 모듈(95)에 의해서 사용될 수 있다. 예를 들어, 도 15에 도시되지는 않았지만, 모양-감지 섬유를 활용하는 기구가 국소화 모듈(95)이 사용할 수 있도록 형상 데이터를 제공하여 기구의 위치와 형상을 결정할 수 있다.

국소화 모듈(95)은 입력 데이터 (91) 내지 (94)의 조합(들)을 사용할 수 있다. 일부 경우에, 상기 조합은 국소화 모듈(95)이 각각의 입력 데이터 (91) 내지 (94)로부터 결정된 위치에 대한 확신 가중치를 부여하는 확률론적 기법을 사용할 수 있다. 따라서, (전자기장 간섭이 있는 경우와 같이) EM 데이터를 신뢰할 수 없을 때, EM 데이터(93)에 의해 결정된 위치의 확신도는 감소할 수 있고 국소화 모듈(95)은 시각 데이터(92) 및/또는 로봇 명령 및 운동학 데이터(94)에 더 많이 의존할 수 있다.

전술된 바와 같이, 본 명세서에 설명된 로봇 시스템은 한 개 이상의 전술된 기술의 조합을 결합하도록 설계될 수 있다. 로봇 시스템의 컴퓨터-기반 제어 시스템은 타워, 침대 및/또는 카트에 기반하며, 예컨대 지속형 자기 저장 스토리지 드라이브(persistent magnetic storage drive), 솔리드 스테이트 드라이브(solid state drive) 또는 이와 같은 비일시적 컴퓨터 판독 가능 저장 매체 내에, 컴퓨터 프로그램 명령어를 저장할 수 있고, 실행 시, 시스템은 센서 데이터와 사용자 명령어를 수신 및 분석하고, 시스템 전반적으로 명령 신호를 생성하고, 및 전체 좌표계 안에서 기구의 위치, 해부학적 지도 등과 같은 항행 및 국소화 데이터를 보여준다.

2. 항행 동안의 표적 선정.

본 명세서의 실시예는 의료 기구의 항행 동안 관강내 조직망 내 특정 영역을 표적으로 선정하는 시스템 및 기술에 관한 것이다. 특정 의료 시술은 의료기구를 표적 영역 (또한 본 명세서에서는 간단하게 "표적"이라고 지칭됨) 근처의 기 설정된 위치까지 구동하는 단계를 수반할 수 있다. 예를 들어, 환자의 수술 전 촬영을 통해 진단 및/또는 치료를 위한 관심 영역 (가령, 결절, 병변, 등)을 드러낼 수 있다. 일 구현에서, 의료 시술은 의료 기구를 표적 결절의 임계 작업 거리 안으로 항행시키고 표적 결절에 대한 생검을 시행하는 단계를 수반할 수 있다. 하지만, 본 명세서에 설명되는 표적 선정 방법 및 기술은 생검 시술에만 한정되는 것이 아니고 의료 기구를 표적까지 항행하는 단계를 수반하는 모든 의료 절차에 적용될 수 있다.

특정 실시예에서, 의료 기구가 관강내 조직망 사이로 항행될 때, 상기 기구의 위치가 결정되고, 기구의 위치를 나타내는 시각적인 표시가 전시되어 (가령, 플롯 또는 다른 방식으로 전시되어) 시각적인 피드백을 제공할 수 있다. 시각적인 표시는 또한 표적 및/또는 의료 기구에 대한 관강내 조직망의 모양을 시각화시키기 위해 사용될 수 있다.

A. 예시적인 관강내 조직망 및 모델.

도 16은 본 명세서에 설명된 방법 및 시스템을 사용해 항행될 수 있는 환자의 관강내 조직망(130)의 예시를 도시한다. 도시된 실시예에서, 관강내 조직망(130)은 환자의 폐 안의 기도의 기관지 조직망이다. 도시된 바와 같이, 관강내 조직망(130)은 분지형 구조(branched structure)로 배치된 복수의 내강(132)을 포함한다. 도시된 관강내 조직망(130)은 복수의 분지형 내강(132)을 포함하지만, 일부 경우, 관강내 조직망(130)은 단일의 내강(132)만 포함할 수도 있다. 즉, 일부 경우 관강내 조직망(130)은 내강(132)의 분지형 배열을 포함할 필요가 없을 수 있다. 도시의 편의를 위해 도 16은 관강내 조직망(130)을 2차원 구조로 표현한다. 이것은 본 개시 내용을 2차원 관강내 조직망으로 제한하려는 의도로 이해해서는 안 된다. 일반적으로, 관강내 조직망(130)은 3차원 구조를 포함할 수 있다.

도 16에서는 특정한 관강내 조직망(130)이 도시되었으나, 본 명세서에 설명된 기구 항행 및 표적 선정 방법 및 시스템은 폭넓은 종류의 관강내 조직망(130)의 항행 동안 구현될 수 있다. 이러한 관강내 조직망(130)은 예를 들어, 기관지 조직망, 신장 조직망, (동맥 및 정맥과 같은) 심혈관 조직망, 위장관, 요로 등을 포함할 수 있다. 본 명세서에 설명된 기구 항행 및 표적 선정 방법 및 시스템은 분지형 및 무분지형 관강내 조직망(130) 모두의 항행을 위해 구현될 수도 있다.

도 17은 도 16의 관강내 조직망(130)의 예시 모델(150)을 도시한다. 특정 구현에서, 모델(150)은 관강내 조직망(130)의 수술 전 이미지로부터 구성될 수 있다. 하지만, 다른 구현에서, 모델(150)은 의료 시술 동안 촬영한 수술중 이미지를 사용해 생성될 수 있고 또는 수술중 이미지뿐만 아니라 수술 전 이미지를 사용해 만들어질 수도 있다. 아래 더 자세히 후술되는 바와 같이, 일부 경우, 모델은 관강내 조직망(130) 사이로 의료 기구의 항행을 용이하게 하기 위해 사용될 수 있다. 일부 경우, 모델(150)은 관강내 조직망(130)의 항행 이전 및/또는 동안 사용자에게 보여질 수 있다.

모델(150)은 의료 기구에 의해 항행되는 관강내 조직망(130)의 한 개 이상의 부분의 표현일 수 있다. 일부 구현에서, 모델(150)은 한 개 이상의 다양한 수술 전 촬상 및 매핑 기술을 이용해 관강내 조직망의 항행 전에 생성될 수 있다. 예를 들어, 수술 전 매핑은 저선량(low dose) CT 스캔 수집물을 사용해 성취될 수 있다. 전술된 바와 같이, 수술 전 CT 스캔은 2-차원 이미지를 생성할 수 있고, 각각의 이미지는 환자의 내부 해부 구조의 절취도(cutaway view)의 "절편(slices)"을 나타낸다. 종합해서 분석될 때, 해부 구조의 체강, 공간, 및 환자의 폐 조직과 같은 환자의 해부 구조에 대한 이미지-기반 모델이 생성될 수 있다. 수술 중 CT 스캔의 사용을 포함해, 모델(150)을 생성하는 다른 방법들 또한 가능하다.

도시된 실시예에서, 모델(150)은 복수의 분절(152)을 포함한다. 모델(150)의 분지(152)는 관강내 조직망(130)의 적어도 일부의 내강(132)과 부합한다. 따라서, 만약 관강내 조직망(130)이 내강(132)의 분지형 배열을 포함하면, 수술 전 모델(150)도 이와 부합하는 분절(152)의 분지형 배열을 포함할 수 있다. 만약 관강내 조직망(130)이 단일 내강(132)을 포함하면, 수술 전 모델(150) 또한 이와 부합하는 단일 분지(152)를 포함할 수 있다. 일반적으로, 수술 전 모델(150)은 관강내 조직망(130)의 적어도 일부에 부합하는 3차원 모양을 포함한다. 모델(150)은 3-차원 모양을 포함할 수 있긴 하지만, 도시의 편의상 도 17은 모델(150)을 2차원 모양으로 도시한다. 일부 경우에는, 3차원 모델(150)의 횡단면이 2차원 디스플레이 상에 전시될 수 있다.

도 16의 관강내 조직망(130)과 도 17의 모델(150)을 비교한 것으로서, 일부 경우, 모델(150)은 관강내 조직망(130)의 일부만 표현하거나 또는 그에 부합할 수 있다는 것을 확인할 수 있다. 이는 도 18의 관강내 조직망(130) 위에 중첩된 모델(150)의 뷰에서 더 자세히 도시된다. 일부 경우, 모델(150)을 생성하기 위해 사용되는 촬상 및 매핑 기술의 제약이 관강내 조직망(130) 전체와 일치하는 모델의 생성을 방해할 수 있다. 예를 들어, 관강내 조직망 안에 특정 분지형 내강(132)은 너무 작아서 보통 촬상 및 매핑 기술로 명확하게 묘사 및 분석될 수 없을 수 있다. 이처럼, 모델(150)은 관강내 조직망(130)을 완전하게 표현하지 않고, 예를 들어, 관강내 조직망(130)의 다양한 부분이 모델(150)에서는 매핑되지 않고 및/또는 표현되지 않을 수 있다.

예를 들어, 도 18에 도시된 바와 같이, 모델(150)은 관강내 조직망(130)의 매핑된 부분(155)과 일치할 수 있다. 모델(150)에서 표현되지 않았을 수 있는 관강내 조직망(130)의 매핑되지 않은 부분(135)은 매핑 부분(155)을 지나 연장될 수 있다.

일부 실시예에서, 모델(150)은 관강내 조직망을 포함하는 장기의 외부 표면의 표현을 또한 포함할 수 있다. 예를 들어, 폐의 경우, 모델은 적어도 기도의 일부와 또한 폐의 외부 표면의 표현을 포함할 수 있다.

B. 의료 기구를 통한 관강내 조직망의 항행.

도 19는 예를 들어, 관강내 조직망(230) 안에 위치되는 쉬스(215) 및 리더(245)를 포함하는 의료 기구의 예시를 제공할 수 있다. 도시된 바와 같이, (전술된 관강내 조직망(130)과 유사할 수 있는) 관강내 조직망(230)은 (내강(132)과 유사할 수 있는) 기도(250)의 분지형 구조를 포함할 수 있다. 이 예시에서, 쉬스(215)는 진단 및/또는 치료를 위한 (결절(255)과 같은) 표적 또는 관심 영역을 향해 관강내 조직망(230) 사이로 (지향, 안내, 이동 등과 같이) 항행된다. 도시된 예시에서, 결절(255)은 관강내 조직망(230) 및 기도(250)의 말초 부위에 위치될 수 있다. 쉬스(215)는 제1 지름을 가지고 따라서 그것의 원위 단부는 쉬스(215)의 제1 지름보다 더 작은 지름을 가질 수 있는 결절(255) 주변의 더 작은 지름의 기도를 통과하여 위치되지 못할 수 있다. 따라서, 리더(245)는 쉬스(215)의 작업 채널을 통해 안내되거나 또는 그 안에 위치될 수 있고, 결절(255)까지 남은 거리만큼 기도(250) 사이로 전진될 수 있다. 예를 들어, 리더(245)는 쉬스(215)의 작업 채널 및/또는 기도(250)을 통해 구동될 수 있는 연접 카테터를 포함할 수 있다. 리더(245)는 생검 바늘, 생검 브러쉬, 조직 샘플링 집게 등과 같은 기구가 결절(255)의 표적 조직 부위까지 통과할 수 있는 내강을 가질 수 있다. 이러한 구현에서, 쉬스(215)의 원위 단부와 리더(245)의 원위 단부 모두에 기도(250) 내 위치를 추적하기 위한 EM 기구 센서 (및/또는 다른 위치 센서)가 제공될 수 있다. 다른 실시예에서, 쉬스(215)의 전반적인 지름은 리더(245)없이 말초 부위에 도달할 수 있을 만큼 작거나, 또는 말초 부위 근처 (가령, 2.5-3 cm 이내로)로 근접할 수 있을 만큼 작아서 가령, 비-조향 리더(245)를 통해 의료 기구를 배치할 수 있다. 쉬스(215)를 통해 배치되는 의료 기구는 EM 기구 센서 (및/또는 다른 위치 센서)가 갖춰져 있을 수 있다.

도 19의 예시에서 전술된 바와 같이, 결절(255)은 관강내 조직망(230)의 말초 부위에 위치된다. 이는 (가령, 관강내 조직망(230)의 수술 전 이미지 및/또는 의료 시술 동안 촬영된 관강내 조직망(230)의 수술 중 이미지로부터 구성될 수 있고, 도 17 및 도 18에 도시된 관강내 조직망(130)의 예시 모델(150)과 비슷할 수 있는) 관강내 조직망(230)의 모델로 표현되지 않은 영역 안에 있을 수 있다. 즉, 결절(255)은 일부 경우 (도 18에 도시된 관강내 조직망(130)의 매핑되지 부분(135)과 비슷한) 관강내 조직망(230)의 매핑되지 않은 부분 안에 위치될 수 있다. 다른 예시에서, 결절(255)은 관강내 조직망(230)과 인접하게 위치될 수 있고, 따라서 모델(150) 밖에 위치될 수 있다.

도 20은 예시적인 의료 기구(300)의 원위 단부의 구체적인 뷰를 제공한다. 의료 기구(300)는 도 19의 쉬스(215) 또는 리더(245)의 표현이다. 의료 기구(300)는 본 명세서 전반에 걸쳐 설명되는 도 1의 내시경(13), 도 3의 요관경(32), 도 9의 복강경(59) 등을 포함하지만 이에 한정되지 않는 여하한 의료 기구일 수 있다. 도 20에서, 기구(300)의 원위 단부는 촬상 기기(315), 광원(310) 및 EM 기구 센서를 형성하는 EM 센서 코일(305)의 단부를 포함한다. 원위 단부는 기구(300)의 작업 채널(320)의 개구부를 더 포함하고, 이를 통해 생검 바늘, 생검 브러쉬, 집게, 등과 같은 수술 (또는 의료) 기구가 기구 샤프트를 따라 (가령, 기구(300)의 근위 단부에서) 삽입될 수 있어서 기구(300)의 원위 단부 또는 선단 주변 부위에 접근성을 허용한다.

EM 코일(305) (또한 EM 위치 센서(305)로 지칭됨)은 기구(300)의 원위 단부에 위치할 수 있고, EM 추적 시스템과 (이하 도 21을 참조) 함께 사용되어 관강내 조직망 안에 위치되어 있는 동안 기구(300)의 원위 단부의 위치 및 방향을 감지할 수 있다. 일부 실시예에서, 코일(305)은 전자기장의 감도를 제공하기 위해 다른 축을 따라 기울어질 수 있고, 이를 통해, 개시된 항행 시스템에 완전한 자유도(DoF) 6: 위치 자유도3, 각도 자유도3을 측정할 수 있는 능력을 제공할 수 있다. 다른 실시예에서, 단일 코일(305)만 기구 샤프트를 따라 축이 배향된 원위 단부 상에 또는 그 안에 배치될 수 있다. 이러한 시스템의 회전대칭(rotational symmetry) 때문에, 단일 코일(305)의 이러한 배열은 축을 따르는 롤에 둔감할 수 있어서, 이러한 구현의 경우 5 자유도만이 감지될 수 있다. EM 코일(305)은 EM 데이터를 제공하도록 구성될 수 있고, 상기 데이터로부터 항행 및 국소화 시스템은 (예를 들어, 도 15의 시스템(90) 및 EM 데이터(93) 참조) 기구(300)의 위치를 결정 또는 추정할 수 있다. 일부 구현에서, EM 코일(305)은 기구(300)의 위치를 감지 또는 결정하기 위한 다른 종류의 위치 센서를 대체하여 또는 그와 더불어 사용될 수 있다.

도 21은 EM 코일(305)에 의해 생성된 EM 데이터를 기초하여 의료 기구의 위치를 결정하기 위한 예시적인 EM 시스템(400)의 특정 구성요소를 도시한다. 시스템(400)은 전자기장 발생기(410) 및 기구(300)(미도시) 상에 위치된 EM 코일(305)을 포함할 수 있다. 시스템(400)은 환자를 지탱하는 테이블을 포함하는 수술환경에서 구현될 수 있다. 특정 추가적인 장치/요소가 또한 포함될 수 있지만, 도 21에는 도시되지 않았다. 예를 들어, 또한 환경은: 의료 기구의 움직임을 안내하도록 구성된 로봇 시스템, 수술 (또는 의료) 로봇 시스템의 작동을 제어하기 위한 명령 센터/콘솔, 및 EM 제어기를 포함할 수 있다. EM 제어기는 전자기장 발생기(410)에 추가로 연결되어 전자기장을 생성하기 위한 제어 신호를 제공할 수 있다. 특정 구현에서, EM제어기는 전자기장 발생기(410) 및/또는 (도 1에 도시된 카트(11) 및/또는 타워(30)와 같은) 환경의 다른 장치를 포함해 시스템의 한 개 이상의 다른 처리 장치와 공간적으로 또는 완전하게 병합될 수 있다.

EM 제어기가 포함되면, 전자기장을 생성하도록 전자기장 발생기(410)를 제어할 수 있다. 전자기장은 가변 전자기장일 수 있다. 예를 들어, 전자기장은 실시예에 따라 시간-가변 및/또는 공간-가변적일 수 있다. 전자기장 발생기(410)는 도 2에 도시된 카트(11)와 유사한 카트 상에 위치될 수 있고 또는 한 개 이상의 지지 컬럼을 통해 테이블의 레일에 부착될 수 있다. 다른 실시예에서, 전자기장 발생기(410)는 예를 들어, 도 1의 수술 (또는 의료) 로봇 시스템(10)에 도시된 것과 유사한 로봇 암에 탑재될 수 있고, 이는 환자 주변으로 유연한 설치 옵션을 제공할 수 있다.

EM 공간 측정 시스템은 예를 들어, (도 20에 도시된) EM 코일(305)과 같은 EM 센서 코일이 내장된 또는 제공된 물체의 전자기장 안에서의 위치를 결정할 수 있다. 본 명세서에 설명된 바와 같이 제어된 가변 전자기장 안에 EM 센서가 위치되면, EM 센서 안에 포함된 센서 코일에서 전압이 유도된다. 이러한 유도된 전압은 EM 공간 측정 시스템에 의해 사용되어 EM 센서 및 따라서 EM 센서를 포함하고 있는 물체의 위치와 방향을 산출할 수 있다. 상기 자기장은 저자장(low field strength)이며 사람의 조직을 안전하게 통과할 수 있기 때문에, 광 공간 측정 시스템의 가시선 제한(line-of-sight constraint) 없이 물체의 위치 측정이 가능하다.

전자기장은 전자기장 발생기(410)의 좌표계와 상대적으로 정의될 수 있고, 관강내 조직망(130)의 모델(150)의 좌표계는 전자기장의 좌표계와 매핑 (또는 정합)될 수 있다. 따라서 기구의 위치는, 기구 상에 위치한 EM 기구 센서(305)의 전자기장 내 위치로 결정되는 것과 같이, 모델의 좌표계 안에서 하지만 위치 결정을 하기 위해 모델에 의존하지 않고 결정될 수 있다.

시스템(400)은 따라서 EM 데이터(93) 출력할 수 있고, 이는 기구의 위치를 결정하기 위해 국소화 시스템(90)에 의해 활용될 수 있다. 전술된 바와 같이, EM 데이터(93)는 모델(150)과 매핑된 또는 정합된 좌표계 안의 위치를 결정하기 위해 사용될 수 있는 양식을 제공할 수 있다.

도 20으로 돌아가서, 기구(300)는 해부학적 공간의 부분을 밝히기 위한 광을 제공하는 광원(310)을 포함할 수 있다. 각각의 광원(310)은 설정된 파장 또는 파장 대역의 광을 방출하도록 구성된 한 개 이상의 발광 장치일 수 있다. 상기 파장은, 몇 개만 예를 들자면, 가시광선, 적외선, (가령, 형광 투시를 위한) 엑스레이와 같은 적합한 임의의 파장일 수 있다. 일부 실시예에서, 광원(310)은 기구(300)의 원위 단부에 위치한 발광 다이오드(LED)를 포함할 수 있다. 일부 실시예에서, 광원(310)은 예를 들어, 엑스레이 발전기와 같은 원격 광원으로부터 원위 단부(300)를 통해 광을 전송하기 위해 내시경의 길이를 통해 연장되는 한 개 이상의 광섬유를 포함할 수 있다. 예를 들어, 원위 단부는 서로 동일한 또는 다른 파장의 광을 방출하도록 각각 구성된 복수의 광원(310)을 포함할 수 있다.

촬상 장치(315)는 예를 들어, 전하 결합 소자(charge-coupled device, CCD) 또는 상보성 금속산화물 반도체(complementary metal-oxide semiconductor, CMOS) 영상 센서와 같이 수신한 광을 나타내는 에너지를 전기 신호로 변환시키도록 구성된 임의의 감광성 기질 또는 구조를 포함할 수 있다. 촬상 장치(315)의 일부 예시들은 기구(300)의 원위 단부의 이미지를 나타내는 광을 기구(300)의 원위 단부와 상대적으로 근위 부분에 위치된 접안렌즈 및/또는 이미지 센서로 전송하도록 구성된 가령, 섬유 광학 다발과 같은 한 개 이상의 광학 섬유를 포함할 수 있다. 촬상 장치(315)는 다양한 광학 설계를 위해 한 개 이상의 렌즈 및/또는 파장 통과(pass) 또는 차단(cutoff) 필터를 추가적으로 포함할 수 있다. 광원(310)으로부터 방출된 광을 통해 촬상 장치(315)는 환자의 관강내 조직망 내부의 이미지를 캡처할 수 있다. 이 이미지들은 그다음 개별적인 프레임 또는 (가령, 비디오와 같은) 일련의 연속적인 프레임으로 컴퓨터 시스템 또는 도 22에 도시된 명령 콘솔(500)과 같은 컴퓨터 시스템의 구성 요소(들)로 전송될 수 있다.

도 22는 본 명세서에서 설명된 시스템의 특정 구현과 같이 사용될 수 있는 명령 콘솔(500)의 예를 도시한다. 도시된 바와 같이, 일부 실시예에서, 명령 콘솔(500)은 콘솔 베이스(501), (한 개 이상의 모니터와 같은) 디스플레이(들)(502), 및 (키보드(503) 및/또는 조이스틱(504)과 같은) 한 개 이상의 제어 모듈을 포함한다. (의사와 같은) 사용자(505)는 명령 콘솔(500)을 (가령, 인체공학적인 자세로) 사용해 (도 1 내지 도15와 관련하여 설명된 시스템과 같은) 로봇 시스템 및/또는 관련 시스템/서브 시스템을 원격으로 제어할 수 있다. 예를 들어, 사용자(505)는 명령 콘솔(500)을 사용해 환자의 관강내 조직망 내 기구를 항행할 수 있다. 명령 콘솔(500)은 또한 관강내 조직망의 항행을 지원하기 위해 사용될 수 있는 정보를 사용자(505)에게 보여줄 수 있다.

디스플레이(502)는 (가령, LCD 디스플레이, LED 디스플레이, 터치 감지 디스플레이와 같은) 전자 모니터, (고글, 안경과 같은) 관찰 장치(viewing device), 및/또는 (관찰 장치의 가상 현실과 같은) 다른 디스플레이 장치를 포함할 수 있다. 일부 실시예에서, 한 개 이상의 디스플레이(502)이 환자의 관강내 조직망(130)의 모델(150)을 디스플레이 할 수 있다. 디스플레이(502)는 또한 관강내 조직망(130) 안의 기구 상에 위치된 카메라 또는 다른 감지 기기로부터 수신된 이미지 정보를 보여줄 수 있다. 일부 실시예에서, 기구의 모델 또는 표현이 모델(150)과 함께 디스플레이되어 수술 또는 의료 시술의 상태를 표시하는 것을 돕는다.

일부 실시예에서, 콘솔 베이스(501)는, 예를 들어, 환자의 관강내 조직망에 위치된 의료 기구로부터 수신된 카메라 영상 및 트랙킹 센서 데이터와 같은 신호를 판독하고 처리하는 것을 담당하는 중앙 처리 장치(CPU 또는 프로세서), 메모리 장치 (컴퓨터 판독 가능 메모리), 데이터 버스, 및 관련 데이터 통신 포트를 포함한다. 일부 경우, 본 명세서에서 설명된 기구 항행 및 표적 선정 기술은 콘솔 베이스(501)의 프로세서에 의해 실행된다. 콘솔 베이스(501)는 또한 제어 모듈(503, 504)를 통해 사용자(505)로부터 제공된 명령과 지시를 처리할 수 있다. 일 예시에서, 전술되었고 도 22에 도시된 바와 같이, 제어 모듈(503)은 키보드를 포함할 수 있고, 제어 모듈(504)는 제어기를 포함할 수 있다. 제어 모듈은 컴퓨터 마우스, 트랙 패드, 트랙 볼, 제어 패드, 소형 원격 제어기와 같은 제어기, 및 손짓과 손가락 움직임을 캡처하는 (가령, 동작 센서나 카메라와 같은) 센서 등 다른 기기를 포함할 수 있다. 제어기는 (가령, 연접, 운전, 물 세척 등과 같이) 기구의 작동과 매핑된 (버튼, 조이스틱, 십자 패드(directional pad)와 같은) 사용자 입력 세트를 포함할 수 있다. 콘솔 베이스(500)의 제어 모듈 (503, 504)를 사용하여, 사용자(505)는 관강내 조직망(130) 사이로 기구를 항행할 수 있다. 한 개 이상의 제어 모듈(503) 및 (504)는 예를 들어, 햅틱 앤진을 통해 사용자에게 햅틱 피드백을 제공하도록 구성될 수 있다.

C. 뼈대-기반 관강내 조직망 모델링 및 항행의 예시.

도 23은 관강내 조직망 일부에 대한 뼈대-기반 모델 예를 도시한다. 특히, 뼈대-기반 모델(150)은 관강내 조직망(130)을 복수의 개별적인 분절(152)을 포함할 수 있는 "뼈대"(154)로 모델링한 구현을 도시한다. 도 23에 도시된 모델(150)은 국소화 시스템(90)에 (도 15 참조) 의해 사용되어 의료 기구의 원위 단부의 위치와 방향을 산출할 수 있다. 모델의 각각의 분절(152)에 고유의 "분절 ID"를 할당할 수 있고, 뼈대(154)를 형성하는 각각의 분절(152)은 관강내 조직망(130)의 모델(150) 내부의 해당 내강 (가령 도 16의 내강(132))의 중심선에 대하여 정의될 수 있다. 특정 의료 시술 동안, 의료 기구는 관강내 조직망(130) 사이로 적어도 일부의 의료 시술 동안 항행될 수 있다. 따라서, 의료 기구의 원위 단부가 모델(150)에 의해 정의된 체적 안에 있는 동안, 의료 기구의 원위 단부의 위치는 국소화 시스템(90)에 의해 뼈대(154)를 따라 지점으로 추정될 수 있다.

시스템은 뼈대(154)를 포함하는 모델(150)을 사용해 의료 기구의 원위 단부의 위치를 정의할 수 있다. 예를 들어, 위치는 의료 기구의 원위 단부가 위치하는 (관강내 조직망(130)의) 내강(132)과 일치하는 분절(152)을 식별하고 분절(152)을 따라 의료 기구의 원위 단부의 깊이를 결정함으로써 정의될 수 있다. 따라서, 의료 기구의 원위 단부의 위치는 두 개의 정보 - 즉, 분절(152)의 분절 ID와 분절(152)을 따라 원위 단부의 깊이에 의해 정의될 수 있다. 시스템은 의료 기구의 원위 단부의 위치를 식별된 분절(152)을 따라 위치하는 것으로 산출할 수 있다. 접근 지점과 가까운 내강의 지름은 의료 기구의 지름보다 크지만, 의료 기구가 관강내 조직망(130) 안으로 더 전진하면서, 각각의 분절(152)과 대응되는 기도 분지의 내강의 지름은 의료 기구의 지름과 크기에 있어서 비슷할 수 있다. 따라서, 의료 기구의 원위 단부의 위치를 뼈대(154)를 따라 지점으로 선택하는 것은 항행의 목적으로는 정확도가 충분할 수 있다. 의료 기구의 원위 단부의 방향은 예를 들어, EM 위치 센서(305)를 사용해 측정된 EM 데이터, 의료 기구 등 안에 위치한 형상 감지 섬유에 의해 생성된 데이터와 같은 위치/방향 데이터를 사용해 결정될 수 있다.

도 24A는 본 개시 내용의 측면에 따라 의료 기구 항행을 위해 한 개 이상의 뷰를 렌더링하는 수술 로봇 시스템 또는 그 것의 구성 요소(들)에 의해 작동 가능한 방법의 예시를 도시하는 순서도이다. 예를 들어, 도 24A에 도시된 방법(600)의 단계들은 수술 로봇 시스템의 프로세서에 의하여 실행될 수 있다. 편의상, 방법(600)은 시스템의 프로세서에 의하여 실행되는 것으로 설명된다.

방법(600)은 블록(601)에서 시작한다. 프로세서는 시스템의 부분으로 포함될 수 있고, 상기 시스템은 세장형 본체 및 적어도 한 개의 (도 20의 EM 센서(305)와 같은) 센서를 가지는 (도 20의 기구(300)와 같은) 의료 기구, 디스플레이, 프로세서, 및 관강내 조직망의 매핑된 부분의 (도 17, 18, 또는 23의 모델(150)과 같은) 모델 및 상기 모델에 대한 표적의 위치를 저장하는 메모리를 포함한다. 블록(605)에서, 프로세서는 적어도 한 개의 센서로부터 수신한 데이터에 기초하여 모델에 대한 의료 기구의 원위 단부의 위치 및 방향을 결정한다. 블록(610)에서, 프로세서는 디스플레이의 적어도 한 부분에 모델, 표적의 위치, 및 의료 기구의 원위 단부의 위치 및 방향을 렌더링 한다. 렌더링은 표적을 향한 관점에 기초할 수 있고 의료 기구의 관점과는 다를 수 있다. 방법(600)은 블록(615)에서 종료한다.

도 24B는 본 개시 내용의 측면에 따라 뼈대-기반 모델을 사용해 관강내 조직망 안의 의료 기구의 위치를 결정하는 또 다른 예시 방법을 도시하는 순서도이다. 방법(650)은 도 1 내지 도 15에 도시된 시스템 및 다른 것들과 같은 특정 로봇 시스템에서 구현될 수 있다. 방법(650)은 도 15의 항행 또는 국소화 시스템(90)과 같은 항행 시스템에서 또는 그에 의해 구현될 수 있다. 일부 실시예에서, 한 개 이상의 컴퓨터 장치는 방법(650)을 실행하도록 구성될 수 있다. 컴퓨터 장치는 앞서 전술된 한 개 이상의 구성요소 안의 프로세서 (또는 프로세서들) 및 컴퓨터 판독 가능 메모리에 의해 구현될 수 있다. 컴퓨터 판독 가능 메모리는 프로세서(들)에 의해 실행되어 방법(650)을 수행할 수 있는 명령어를 저장할 수 있다. 명령어는 한 개 이상의 소프트웨어 모듈을 포함할 수 있다. 한정적인 것이 아닌 예시적인 것으로, 컴퓨터 장치는 도 1에 도시된 타워(30), 도 1 내지 도 4에 도시된 카트, 도 5 내지 도 10에 도시된 침대, 도 22에 도시된 명령 콘솔(500), 도 22에 도시된 한 개 이상의 디스플레이(502) 등에 있을 수 있다.

방법(650)은 블록(651)에서 시작한다. 방법(650)은 예를 들어, 도 18에 도시된 바와 같은 관강내 조직망(130) 사이로 예를 들어, 의료 기구가 항행될 때 실행될 수 있다. 방법(650)은 따라서, 일부 구현에서 의료 기구가 관강내 조직망(130) 안으로 진입될 때 트리거될 수 있다. 일부 구현에서, 방법(650)은 예를 들어, 사용자 입력 또는 명령어가 수신되면 수동적으로 트리거될 수 있다. 일부 구현에서, 방법(650)은 의료 기구의 원위 단부가 관강내 조직망(130)의 매핑된 부분 안에 (가령, 모델(150)과 같은 모델 안에) 위치될 때 실행된다. 전술된 바와 같이, 방법(650)은 (가령 기관지 조직망, 신장 조직망, (동맥 및 정맥과 같은) 심혈관 조직망 등)과 같은 분지형 관강내 조직망 및 (단일 내강과 같은) 무분지형(non-branched) 관강내 조직망 (가령, 위장관, 요로 등)이 포함된 다양한 관강내 조직망의 항행을 위해 구현될 수 있다.

방법(650)은 관강내 조직망(130)의 모델(150) 안에 의료 기구의 원위 단부의 위치를 결정하는 단계를 수반할 수 있다. 모델(150)은 (분절(152)와 같은) 복수의 분절을 포함하는 (뼈대(154)와 같은) 뼈대를 포함할 수 있다. 각각의 분절은 관강내 조직망의 매핑된 부분의 해당 내강의 중심선에 대하여 정의될 수 있다. 뼈대(154)를 포함하는 모델(150)은 관강내 조직망(130)의 수술전 (및/또는 수술중) 이미지 (가령 CT 스캔)에 기초하여 만들어질 수 있다. 블록(655)에서, 시스템은 의료 기구의 원위 단부가 위치된 분절을 식별한다. 시스템은 한 개 이상의 (모델 데이터(91), 시각 데이터(92), EM 데이터(93), 및/또는 로봇 명령 및 운동학 데이터(94)와 같은) 입력 데이터를 이용해 의료 기구의 원위 단부의 상태 (즉, 분절의 분절 ID 및 분절을 따르는 깊이)를 결정할 수 있다. 의료 기구의 원위 단부의 위치 및/또는 방향은 상기 상태에 기초하여 결정될 수 있다.

블록(660)에서, 시스템은 블록(655)에서 식별된 분절의 뼈대를 따라 의료 기구의 원위 단부의 깊이를 결정할 수 있다. 일 구현에서, 시스템은 로봇 명령 및 운동학 데이터(94)에 기초하여 환자 안에 삽입된 의료 기구의 길이를 산출하고 접근 지점에서 식별된 분절까지 산출된 경로를 따라 기구의 원위 단부의 깊이를 결정할 수 있다. 시스템은 그다음 경로와 깊이 데이터에 기초하여 식별된 분절을 따라 의료 기구의 원위 단부의 깊이를 결정한다. 다른 실시예에서, 의료 기구의 원위 단부의 깊이는 경로 데이터를 사용하지 않고 모델 데이터(91), 시각 데이터(92), EM 데이터(93), 및/또는 로봇 명령 및 운동학 데이터(94)에 기초하여 식별될 수 있다. 블록(665)에서, 시스템은 식별된 분절 및 결정된 깊이에 기초하여 의료 기구의 원위 단부의 위치를 결정할 수 있다. 의료 기구의 원위 단부의 위치는 결정된 깊이에서 식별된 분절의 뼈대를 따라 위치하도록 결정될 수 있다. 특정 구현에서, 모델로 정의된 체적 안에서 의료 기구의 원위 단부의 위치를 결정하면, 시스템은 그에 반응하여 의료 기구의 원위 단부의 결정된 위치가 뼈대를 따라 위치하도록 제한할 수 있다. 방법(650)은 블록(670)에서 종료한다.

뼈대-기반 모델(150)에 기초하여 결정된 위치는 여러 항행-관련 표적 지정 어플리케이션에서 사용될 수 있다. 예를 들어, 시스템은 결정된 의료 기구의 원위 단부의 위치 및 표적의 위치에 기초하여 의료 기구의 원위 단부와 표적 사이의 거리를 결정할 수 있다. 표적의 위치는 수술 전 CT 스캔에 기초하여 결정되거나 관강내 조직망의 수술중 CT 스캔에 기초하여 수술 로봇 시스템의 사용자에 의해 선택될 수 있다. 예를 들어, 시스템은 의료 기구의 원위 단부의 위치와 표적의 위치 사이의 유클리드 거리(Euclidean distance)를 결정할 수 있다.

아래 더 자세하게 후술되는 바와 같이, 시스템은 모델에 대한 의료 기구의 원위 단부의 위치를 디스플레이 상에 렌더링할 수 있다. 전술된 바와 같이, 렌더링된 의료 기구의 원위 단부의 위치는 관강내 조직망의 뼈대-기반 모델을 사용하여 결정된 위치에 기반할 수 있다.

뼈대-기반 항행의 사용과 관련된 본 개시 내용의 특정 측면들은 의료 기구의 원위 단부가 관강내 조직망의 모델 내 위치될 때 의료 기구의 원위 단부를 위치시키는 단계에 대한 시스템의 정확성을 향상시킬 수 있다. 예를 들어, 도 15와 연결되어 설명된 바와 같이, 국소화 시스템(90)은 여러 종류의 입력 데이터 (가령, 모델 데이터(91), 시각 데이터(92), EM 데이터(93), 및/또는 로봇 명령 및 운동학 데이터(94))를 사용해 의료 기구의 원위 단부의 위치를 결정할 수 있다. (가령, 모델 안의 식별된 분절에 대한 위치 및 식별된 분절의 중심선을 따라 깊이를 정의함으로써) 의료 기구의 원위 단부의 위치를 뼈대 상의 위치로 추정함으로써, 뼈대 기반 모델을 사용하지 않고 의료 기구의 원위 단부의 위치를 추정할 때 발생하는 오류를 감소시킬 수 있다. 전술된 바와 같이, 이는 의료 기구의 원위 단부가 관강내 조직망의 매핑된 부분 안에 위치되어 있을 때 의료 기구의 원위 단부는 관강내 조직망 안에 위치할 가능성이 높다는 것으로부터 기인할 수 있다.

뼈대-기반 모델을 사용함으로써 정정될 수 있는 하나의 잠재적 오류의 원인은 조직 변형으로 인한 오류이다. 예를 들어, 내강이 (수술 전에 결정될 수 있는) 매핑된 위치로부터 변형되면, 내강의 부분의 위치는 내강의 부분의 매핑된 위치로부터 이동될 수 있다. 이러한 변형은 의료 기구 및/또는 자연적인 생물학적인 현상의 과정 등으로 인해 내강에 가해지는 물리적인 힘으로 인해 발생할 수 있다. 변형 동안, 입력 데이터는 의료 기구의 원위 단부의 위치가 관강내 조직망 밖으로 이동했다는 것을 표시할 수 있다. 의료 기구의 원위 단부의 위치를 모델의 뼈대를 따라 위치하도록 추정함으로써, 이러한 변형 오류가 감소될 수 있다.

의료 기구의 원위 단부의 국소화 단계에서 뼈대-기반 모델 뿐만 아니라 여러 종류의 입력 데이터를 사용하는 것은 단일 유형의 입력 데이터를 사용하는 국소화 방법보다 더 나을 수 있다. 하지만 본 개시 내용의 측면은 단일 유형의 입력 데이터를 사용하는 국소화 시스템에도 또한 적용될 수 있다. (EM 유일 시스템, 시각-유일 시스템, 또는 형상 감지 섬유와 같은) 단일 유형 입력 데이터 시스템은 전술된 변형 오류의 종류 같은, 특정 오류가 발생하기가 더 쉬울 수 있다. 단일 유형의 입력 데이터 시스템을 뼈대-기반 모델과 결합함으로써, 이러한 오류가 감소될 수 있다. 시스템은, 특정 실시예에서, 단일의 센서로부터 (가령, EM 센서 또는 형상 감지 섬유 중 하나로 부터) 수신된 데이터만을 기초하여 의료 기구의 원위 단부를 표현하는 위치 데이터를 결정하도록 구성될 수 있다.

D. 의료 기구 항행을 위해 렌더링 뷰의 예시.

도 25는 본 개시 내용의 측면에 따라 로봇 시스템의 사용자에게 항행 피드백을 제공하기 위해 전시된 렌더링 이미지의 예시를 도시한다. 도 25에 도시된 이미지(700)는 도 22에 도시된 디스플레이(502)와 같은 디스플레이에 렌더링 될 수 있다. 다른 실시예에서, 이미지(700)는 또한 한 개 이상의 다른 디스플레이 기술, 가령 (홀로그래픽 영상 프로젝터와 같은) 프로젝터, (증강 현실 안경 또는 가상현실 헤드셋과 같이 머리에 착용하는 디스플레이와 같은) 웨어러블 디스플레이, (고주파 모니터(high-frequency monitors)와 같은) 3D 모니터 등을 이용해 렌더링 될 수 있다. 특정 로봇 수술 시스템은 의료 시술 동안 의료 기구의 항행을 지원하기 위해 한 개 이상의 렌더링 이미지를 제공하여 위치 및/또는 안내 정보를 시스템의 사용자에게 제공할 수 있다. 도 25의 예시에서, 렌더링된 이미지는 제1에서 제5뷰 (705) 내지 (725)까지를 포함하고, 이들은 각각 위치 및/또는 항행 안내 정보를 제공하는 시각적인 정보를 렌더링할 수 있다. 렌더링된 이미지(700)에서 다섯 개의 뷰 (705) 내지 (725)가 도시되었지만, 뷰의 다른 개수의 뷰가 렌더링될 수 있고, 특정 구현에서, 위치, 크기, 뷰의 개수 등은 사용자에 의해 선택 또는 변경될 수 있다.

제1 내지 제5뷰 (705) 내지 (725) 중 한 개 이상은 수술 전 및/또는 수술중 데이터에 기초하여 생성될 수 있다. 예를 들어, 뷰 (705) 내지 (725) 중 두 개가 관강내 조직망의 스캔을 제공할 수 있고, 관강내 조직망 안의 의료 기구의 적어도 부분의 위치를 표현할 수 있다. 다른 뷰는 도 20의 촬상 장치(415)와 같은 의료 기구에 위치된 촬상 장치로 캡처된 이미지의 렌더링 뷰를 제공할 수 있다. 스캔 및/또는 촬상 장치가 캡처한 이미지는 사용자에게 의료 기구의 원위 단부의 위치의 표현을 사실상 실시간으로 제공해 줄 수 있다.

본 개시 내용의 측면은 추가적인 이미지 렌더링에 관한 것이고, 이는 관강내 조직망의 모델, 의료 기구, 및/또는 표적에 기초하여 가상으로 렌더링 될 수 있다. 전술된 바와 같이, 시스템은 관강내 조직망의 수술전 및/또는 수술중 스캔에 기초하여 관강내 조직망의 모델 (가령 도 17, 18 또는 23의 모델(150))을 생성할 수 있다. 또한, 시스템은 의료 기구의 원위 단부의 위치를 한 개 이상의 입력 데이터 종류 (가령, 모델 데이터(91), 시각 데이터(92), EM 데이터(93), 및/또는 로봇 명령 및 운동학 데이터(94))에 기초하여 결정할 수 있다. 따라서, 디스플레이의 적어도 한 부분에 (가령, 렌더링 이미지(700)에서 제1 에서 제5 뷰 (705) 내지 (725) 중에 한 곳에) 전시하기 위해 모델의 시각적인 표현, 의료 기구의 원위 단부의 위치 및/또는 방향, 및 표적이 렌더링될 수 있다.

또한, 문자 및/또는 시각 정보가 항행을 지원하기 위해 디스플레이의 한 부분에 중첩될 수 있다. 예를 들어, 의료 기구의 원위 단부의 결정된 위치 및 방향과 표적의 위치에 기초하여, 시스템은: 의료 기구의 원위 단부와 표적 사이의 거리, 및 의료 기구의 삽입 방향과 표적 사이의 각도 중 한 개 이상을 결정하고 디스플레이할 수 있다. 제공될 수 있는 추가적인 정보의 종류의 실시예가 더 자세하게 후술 된다.

시스템의 사용자는 명령어를 통해 의료 기구의 움직임을 제어하고 및/또는 입력 장치(800)를 통해 렌더링된 이미지(700)의 한 개 이상의 측면을 조정할 수 있다. 도 26은 본 개시 내용의 측면에 따라 사용자로부터 입력을 수신하기 위해 사용될 수 있는 입력장치의 예시를 도시한다. (제어기와 같은) 입력 장치(800)는 복수의 사용자 입력 요소(805) 내지 (815)를 포함할 수 있다. 사용자 입력 요소 (805) 내지 (810)은 의료 기구의 원위 단부의 움직임과 관련된 예를 들어 의료 기구의 원위 단부를 전진/수축 및/또는 연접하기 위한 명령어와 같은 사용자 입력 명령어를 수신하도록 구성될 수 있다. 사용자 입력 요소(815)는 사용자 입력 명령어를 수신해 디스플레이에 렌더링된 한 개 이상의 뷰를 수정하도록 구성될 수 있다.

도 26의 예시에서, 사용자 입력 요소(815)는 사용자에 의해 구동되도록 구성된 버튼일 수 있다. 하지만, 다른 실시예들은, 한 개 이상의 축, 트리거 버튼 등을 가지는 조이스틱과 같은 다른 종류의 입력 요소를 포함할 수 있다. 수술 로봇 시스템의 맥락에서, 더 간소화된 제어 방식은 사용자의 인지 부하를 줄여주어, 의료 시술동안 사용자가 시스템 제어에 있어서 시술에 더 결정적인 요소에 집중할 수 있도록 해준다. 예를 들어, 사용자는 사용자 입력 요소 (805) 및 (810)을 사용해 의료 기구의 원위 단부의 움직임을 제어할 수 있다. 따라서, 디스플레이 안에서 렌더링되는 특정 뷰의 선택 또는 변경을 단일의 버튼으로 연결시킴으로써, 사용자는 디스플레이된 뷰의 변경으로 의료 기구의 움직임의 제어하는 것을 헷갈려 하지 않을 수 있다. 이처럼, 특정 실시예에서, 디스플레이에 렌더링되는 한 개 이상의 뷰의 변경은 사용자 입력 요소(815)을 통해 특정 종류의 사용자 상호작용과 매핑될 수 있다. 가능한 사용자 상호 작용의 종류의 예로 사용자 입력 요소(815)를 제1 임계 기간보다 적게 작동, 사용자 입력 요소(815)를 제1 임계 기간 보다 길게 작동, 사용자 입력 요소(815)를 제2 임계 기간 안에 두 번 작동, 등을 포함한다. 다른 구현들은 여러 개의 사용자 입력 요소를 포함할 수 있고, 각각의 사용자 입력 요소는 렌더링된 뷰를 수정하기 위한 한 개 이상의 명령어와 매핑되어 있다.

도 27은 렌더링 뷰의 예시이고, 상기 뷰는 본 개시 내용의 측면에 따라 의료 시술 동안 디스플레이될 수 있다. 특히, 뷰(900)는 적어도 디스플레이의 한 부분 안에 렌더링되어 관강내 조직망의 모델(905) 안에 위치한 의료 기구의 원위 단부(910)의 상대적인 위치의 시각화를 제공할 수 있다. 렌더링된 뷰(900)는 또한 (생검 시술을 위한 표적 결절과 같은) 표적(920)을 포함할 수 있다. 표적(920)은 모델(905) 내부 또는 옆의 영역일 수 있고, 의료 시술은 의료 기구의 원위 단부(910)를 표적(920)에서 임계 거리 이내에서 구동하는 단계를 수반할 수 있다. 생검 예시에서, 표적(920)으로부터 임계 거리 내에 있을 때, 한 개 이상의 (생검 바늘과 같은) 도구가 의료 기구로부터 배치되어 표적(920)에서 한 개 이상의 조직 샘플을 채취할 수 있다. 이러한 예시에서, 표적(920)은 환자의 폐 내부의 병변 또는 결절일 수 있다.

전술된 바와 같이, 모델(905) 및 표적(920)은 (CT스캔, MRI, 등과 같은) 관강내 조직망의 수술 전 및/또는 수술 중 스캔에 기초하여 생성될 수 있다. 특정 의료 시술을 위해, 의료 기구는 표적(920)의 임계 거리 안으로까지 관강내 조직망을 항행하여 갈 수 있도록 구성된 세장형 본체를 가질 수 있다. 의료 기구는 의료 기구의 원위 단부(910)에 또는 그 근처에 위치되고 및 출력 신호를 생성하도록 구성된 적어도 한 개의 센서 (가령, EM 센서 코일(305) 및/또는 촬상 장치(415), 도 20 참조) 를 포함할 수 있다. 시스템은 적어도 한 개의 센서로부터의 신호 출력에 기초하여 의료 기구의 원위 단부(910)의 위치를 표시하는 데이터를 생성하도록 구성될 수 있다. 시스템은 위치 데이터에 기초하여 모델(905)에 대한 의료 기구의 원위 단부(910)의 위치 및/또는 방향을 결정하도록 구성될 수 있다. 특정 실시예에서, 시스템은 전술된 바와 같이 관강내 조직망의 뼈대-기반 모델에 기초하여 의료 기구의 원위 단부(910)의 위치 및/또는 방향을 결정할 수 있다. 따라서, 시스템은 식별된 모델의 분절 및 식별된 분절의 뼈대를 따라 결정된 의료 기구의 원위 단부(910)의 깊이에 기초하여 의료 기구의 원위 단부(910)의 위치를 결정할 수 있다.

시스템은 그다음, 적어도 디스플레이의 한 부분에, 모델(905), 표적(920)의 위치, 및 의료 기구의 원위 단부(910)의 위치 및 방향의 렌더링을 표시할 수 있다. 도 27에 도시된 렌더링이 한 예시이다. 특정 구현에서, 렌더링은 표적(920)을 향한 관점에 기초하며, 의료 기구의 관점과는 다르다. 본 명세서에 사용될 때, 용어 "관점"은 일반적으로 렌더링된 이미지가 보이는 렌더링 이미지에 대한 위치를 지칭한다.

일 예시에서, 렌더링된 이미지는 의료 기구의 원위 단부(910)에 중심을 두기보다 표적(920)에 중심을 두고 있을 수 있다. 전술된 바와 같이, 렌더링은 디스플레이의 한 부분에 의료 기구의 원위 단부(910) 상에 위치된 촬상 장치에 의해 캡처된 이미지 같은 다른 뷰와 더불어 보여질 수 있다. 촬상 장치에 의해 캡처된 이미지와 더불어 의료 시술의 보완적인 시각화를 제공하기 위해, 렌더링 뷰(900)는 의료 기구의 원위 단부(910)에 대한 3인칭 관점에서 생성될 수 있다. 본 예시에서, 촬상 장치에 의해 캡처된 이미지는 의료 기구의 원위 단부(910)의 관점에서 "1인칭" 관점으로 고려될 수 있다.

모델(905)의 모양 때문에, 렌더링 뷰(900)가 생성된 관점은 렌더링 뷰(900)에서 보이는 물체에 영향을 줄 수 있다. 예를 들어, 상기 관점과 가까운 모델(905)의 부분은 해당 가까운 부분 뒤에 위치된 다른 물체의 시야를 가로막을 수 있다. 사용자가 의료 기구를 구동시키고자 하는 모델(905)의 부분 또는 표적이 시야로부터 가려져 있을 때, 렌더링 뷰(900)는 사용자가 의료 기구를 항행하는 것을 지원하지 못할 수 있다. 따라서, 시스템은 가려진 물체들을 시야로 가져오기 위해 (도 26의 사용자 입력 요소(815)와 같은) 사용자 입력 요소의 작동에 기초하여, 렌더링된 이미지(900)의 관점을 변경하도록 구성될 수 있다. 또 다른 실시예에서, 모델(905)의 부분이 한 개 이상의 렌더링된 물체의 시야를 가로막을 때 시스템은 모델(905)의 적어도 한 부분을 반투명 (또는 대안적으로 완전 투명하게) 렌더링하도록 구성될 수 있다.

일 구현에서, 시스템은 사용자 입력 요소를 통해 사용자 입력 요소와 사용자 상호작용의 제1 종류를 수신하도록 구성될 수 있다. 시스템은 사용자 입력 요소와 사용자의 상호작용의 제 1 종류에 기초하여 렌더링 명령어의 제1 종류를 생성할 수 있다. 렌더링 명령어의 제1 종류를 생성하는 것에 대한 반응으로, 시스템은 상기 모델의 변경된 뷰, 표적의 위치, 및 의료 기구의 원위 단부의 위치 및 방향을 디스플레이의 부분 안에 나타나게 할 수 있다.

특정 실시예에서, 시스템은 퍼지 논리(fuzzy logic) 또는 머신 러닝과 같은 알고리즘을 이용해 모델의 시야를 변경하기 위한 방법을 자동으로 선택할 수 있다. 예를 들어, 시스템은 의료 시술 동안 사용자 입력을 이용해 의료 시술 동안 사용자가 선호하는 특정 관점을 결정할 수 있다. 일부 실시예에서, 시스템은 사용자별로 순응적으로 관점을 조정할 수 있고, 따라서, 현재 사용자를 위해서는 이전 입력만을 사용해 렌더링된 이미지를 어떻게 조정 또는 변경할지 결정할 수 있다. 다른 실시예에서, 시스템은 변경된 뷰를 자동으로 생성하는데 사용될 수 있는 전체적인 통계를 생성하기 위해 사용자 입력들을 모아서 복수의 사용자에 대한 사용자 행동을 추론할 수 있다. 전체적인 통계 및 사용자별 통계에 또한 가중치를 주어 사용자 풀(pool)의 특정 통계와 추가적으로 병합하는 사용자별 알고리즘을 생성할 수 있다.

전술된 바와 같이, 시스템은 사용자가 사용자 입력 요소로 소통할 때 여러 다른 사용자 상호작용 종류를 감지할 수 있다. 시스템은 사용자 입력 요소를 통한 각각의 사용자 상호작용의 종류를 렌더링 뷰(900)의 다른 변경들과 매핑시킬 수 있다. 예를 들어, 시스템은 사용자 입력 요소를 통해 감지될 수 있는 사용자 상호작용의 종류 각각에 대해 그와 대응되는 렌더링 명령어의 다른 종류들을 생성할 수 있다. 따라서, 시스템은 사용자 입력 요소를 통한 사용자 상호작용의 제1 종류에 반응하여 렌더링 명령어의 제1 종류를 생성할 수 있다.

일 구현에서, 렌더링 명령어의 제1 종류는 관점을 표적을 향해 회전시키는 회전 명령어를 포함할 수 있다. 변경된 뷰는 표적을 회전의 중심으로 한 상태로 모델, 표적의 위치, 및 의료 기구의 원위 단부의 위치와 회전의 회전된 뷰를 포함할 수 있다. 따라서, 렌더링 뷰(900)의 관점은 회전 명령어에 대한 반응하여 표적을 중심으로 회전할 수 있다.

도 28A 내지 28D는 본 개시 내용의 측면에 따라 회전 명령에 기초해 생성된 일련의 변경된 렌더링 뷰를 도시한다. 일 실시예에서, 사용자 상호작용의 제1종류는 사용자 입력 요소를 임계 기간보다 오랫동안 작동시키는 사용자를 포함할 수 있다. 예를 들어, 사용자는 버튼을 임계 기간보다 길게 (아래로 잡고) 누를 수 있다. 버튼이 임계 기간보다 더 긴 시간 동안 작동되면, 시스템은 렌더링 뷰의 관점의 회전을 개시할 수 있다. 시스템은 버튼의 작동이 유지되는 동안 렌더링된 뷰의 회전을 지속할 수 있다. 버튼을 해제하면, 시스템은 렌더링 뷰의 관점의 회전을 멈출 수 있다.

도 28A 내지 도 28D에서 도시된 바와 같이, 회전 명령에 반응하여 생성된 각각의 렌더링 뷰는 표적을 관통하고 뷰가 회전할 때 중심이 되는 회전 축과 기 설정된 각도를 형성하는 관점을 가지도록 생성될 수 있다. 예를 들어, 도 28A 내지 28D에 도시된 바와 같이, 좌표 시스템은 표적을 원점으로 두고 정의될 수 있다. 도 28A 내지 도 28D의 각각의 뷰는 표적의 중심을 관통하는 회전축을 중심으로 회전될 수 있다. 추가로, 각각의 렌더링 뷰의 관점은 관점이 회전할 때 중심으로 하는 축과 동일한 각도를 형성할 수 있다.

하지만, 도 28A 내지 도 28D의 예시에서 관점과 기준면 사이의 각도가 일정하기 때문에, 특정 가로막힌 물체들은 회전 명령만을 사용해서는 여전히 렌더링 이미지 안에서 보기 힘들 수 있다. 따라서, 시스템은 사용자 입력 요소와 사용자의 상호작용의 제2 종류를 감지할 수 있다. 예를 들어, 시스템은 사용자 입력 요소와 사용자의 상호작용의 제2 종류에 기초하여 렌더링 명령어의 제2 종류를 생성할 수 있다. 일부 구현에서, 상기 렌더링 명령어의 제2 종류는 상기 회전 축과 상기 표적을 향한 관점 사이의 각도를 변경하기 위해 고도 명령어를 포함한다. 렌더링 명령어의 제2 종류를 생성하는 것에 반응하여, 상기 시스템은 상기 회전 축과 표적을 향하는 관점 사이의 변경된 각도를 포함하는 상기 모델의 렌더링을 디스플레이의 한 부분 안에 나타낼 수 있다.

도 29A 내지 도 29B는 본 개시 내용의 측면에 따라 고도 명령에 기초하여 생성된 일련의 변경된 렌더링 뷰를 도시한다. 일 실시예에서, 사용자 상호작용의 제 2종류는 사용자 입력 요소를 임계 기간보다 짧게 작동시키는 사용자를 포함할 수 있다. 예를 들어, 사용자는 버튼을 눌렀다가 임계 기간이 경과하기 전에 뗄 수 있다. 시스템이 사용자 상호작용의 제2 종류를 감지하면, 시스템은 렌더링 뷰의 관점의 고도의 변화를 개시할 수 있다. 시스템이 사용자 상호작용의 제2 종류를 감지할 때마다 시스템은 두 개 이상의 기 설정된 고도 각도를 교대할 수 있다.

시스템은 또한 사용자 입력 요소를 통해 사용자 입력의 제3 종류를 감지할 수 있다. 예를 들어, 사용자 상호작용의 제3 종류는 "더블-클릭" 탭(들), 또는 유사한 손동작(들)일 수 있고, 상기 버튼은 임계 기간 (제1 및 제2 종류의 사용자 상호작용을 감지하기 위해 사용되는 임계치와 다를 수 있음) 안에 작동될 수 있다. 도 30은 본 개시 내용의 측면에 따라 토글 관점 명령어에 기초하여 생성된 변경된 렌더링 뷰를 도시한다. 예를 들어, 시스템은 의료 기구의 원위 단부의 관점으로 (도 27 내지 도 29에 도시된) "3인칭" 렌더링 뷰에서 "1인칭" 렌더링 뷰 사이를 토글 할 수 있다. 시스템은 사용자 입력 요소를 통한 사용자 상호작용의 제3 종류에 기초하여 제3 종류의 렌더링 명령어를 생성할 수 있다. 렌더링 명령의 제3 종류는 렌더링 모델의 디스플레이된 관점을 토글 시키도록 구성된 토글 관점 명령어를 포함할 수 있다. 관점을 토글 시키는 것은 현재 관점 (즉, 의료 기구의 관점과는 다른 관점)에서 의료 기구의 관점으로 관점을 변경하는 단계를 포함할 수 있다. 렌더링 명령의 제3 종류를 생성하는 것에 반응하여, 시스템은 디스플레이의 한 부분에 의료 기구의 관점에서 모델의 렌더링을 표시할 수 있다. 다른 실시예에서, 시스템은 사용자 상호작용의 제1 종류 (즉, 사용자 입력 요소를 임계 기간보다 더 길게 작동시키는 것)을 감지하면 그에 반응하여 "3인칭" 렌더링 뷰 와 "1인칭" 렌더링 뷰 사이를 토글하도록 구성될 수 있다.

의료 기구의 관점을 기초로 한 렌더링 이미지는 사용자에게 관강내 조직망의 내부의 시각적인 표현을 이는 제공할 수 있고, 이는 의료 기구의 원위 단부 상에 위치된 촬상 장치로 촬영된 이미지에 상응한다. 특정 상황에서 촬상 장치에 의해 생성된 이미지는 관강내 조직망의 모양, 광원에서 방출되어 촬상 장치로 다시 반사되는 빛의 희미함, 및/또는 촬상 장치의 시야를 방해하는 물질(들) (예를 들어, 피, 먼지, 병상 등) 때문에 시스템의 사용자가 판독하기 어려울 수 있다. 따라서, 사용자는 항행을 지원하기 위해 촬상 장치에 의해 캡처된 이미지를 볼 때 의료 기구의 원위 단부의 관점에서의 모델 렌더링을 참고할 수 있다.

시스템은 또한 의료 기구의 항행을 지원하기 위해, 한 개 이상의 렌더링 이미지 상에 중첩된 추가적인 시각화 및/또는 설명을 제공할 수 있다. 도 31은 본 개시 내용의 측면에 따라 의료 시술 동안 보여질 수 있는 렌더링 뷰의 또 다른 예시이다. 렌더링 이미지(1000)는 의료 기구의 현재 삽입 방향을 따라 의료 기구의 원위 단부(910)와 표적(920)의 표면 ("경계면" 또는 간략하게 "경계"로 또한 지칭됨) 사이의 거리를 나타내는 제1 표시(1005)를 포함한다. 렌더링 이미지(1000)는 또한 의료 기구의 현재 삽입 방향을 따라 표적(920)의 두께를 나타내는 제2 표시(1010)를 포함한다. 제1 및 제2 표시 (1005) 및 (1010)은 의료 기구의 현재 삽입 방향을 따라 생검을 실시하기에 의료 기구의 원위 단부(910)의 위치가 적합한지에 관한 정보를 사용자에게 제공할 수 있다. 다른 실시예에서, 제1 표시(1005)는 의료 기구의 원위 단부(910)와 표적(920) 내부의 가장 짙은 위치 사이의 거리를 표현할 수 있다. 도시된 실시예에서, 시스템은 표적(920)의 위치를 표시하는 "T1" 문자 꼬리표를 추가로 렌더링할 수 있다.

시스템은 또한 렌더링 모델 위로 그래픽 표시자(1015)를 렌더링할 수 있다. 예를 들어, 시스템은 의료 기구의 원위 단부(910)의 위치와 방향에 기초하여, 의료 기구의 원위 단부(910)로부터 의료 기구의 현재 삽입 방향으로 연장되는 그래픽 표시자(1015)의 렌더링을 나타낼 수 있다. 특정 실시예에서, 시스템은 의료 기구의 원위 단부(910)가 표적(920)의 임계 거리 이내에 있는 것에 반응하여 그래픽 표시자를 렌더링할 수 있다. 시스템은 또한 적어도 한 개의 센서의 데이터에 기초하여, 의료 기구의 원위 단부(910)의 위치와 방향 중 적어도 한개의 변화를 결정할 수 있고, 의료 기구의 원위 단부(910)의 위치와 방향 중 적어도 한개의 변화를 결정한 것에 반응하여, 시스템은 그래픽 표시자(1015)가 표적(920)을 교차한다고 결정할 수 있다.

시스템은 상기 선이 표적(920)을 교차한다는 결정에 반응하여 그래픽 표시자(1015)에 대한 변화를 렌더링할 수 있다. 한 예시에서, 시스템은 그래픽 표시자(1015)가 표적(920)의 부분을 교차하는지 여부에 기초하여 그래픽 표시자(1015)의 색을 변경할 수 있다. 이 색의 변화는 사용자에게 삽입 방향이 표적(920)과 정렬된다는 것을 시각적인 표시로 제공할 수 있다. 의료 기구가 표적(920)과 정렬되고 표적(920)의 임계 거리 안에 있을 때, 의료 도구는 의료 기구의 원위 단부(910)로부터 배치되어, 예를 들어, 표적(920)의 생검을 시행할 수 있다.

시스템은 또한 그래픽 표시자(1015)가 표적(920)의 특정 부분을 교차하면 그에 반응하여 그래픽 표시자(1015)의 색을 변경할 수 있다. 예를 들어, 사용자는 생검을 위해 표적(920)의 한 부분을 선택하거나 또는 생검을 위해 표적(920)의 중심을 선택할 수 있다. 따라서, 그래픽 표시자(1015)가 표적(920)의 선택된 부분을 교차할 때, 시스템은 그래픽 표시자(1015)의 디스플레이된 색을 변경하여 의료 기구가 생검을 위해 표적(920)의 선택된 영역에 위치되었다는 것을 신호로 나타낼 수 있다. 특정 경우에, 표적(920)은 또한 더 큰 주 본체 부분, 및 주 본체 부분에 합쳐진 더 작은 보조 본체 부분을 포함해 균일하지 않은 모양을 가질 수 있다. 주 본체 부분은 보조 본체 부분보다 더 큰 부피를 가질 수 있다. 보조 본체 부분이 임계 부피보다 적을 경우, 보조 본체 부분의 생검을 시행하기 위해 의료 기구를 정렬시키는 게 현실적이지 못할 수 있다. 따라서, 시스템은 표적(920)의 중심을 주 본체 부분의 중심에 대하여 정의할 수 있다. 시스템은 그 다음 그래픽 표시자(1015)가 주 본체 부분의 중심을 교차하면 그에 반응하여 그래픽 표시자(1015)의 색을 변경할 수 있다.

도 31에 도시된 실시예에서, 그래픽 표시자(1015)는 의료 기구의 원위 단부(910)로부터 연장되는 선일 수 있다. 하지만, 다른 실시예에서, 그래픽 표시자는 의료 기구에 의해 연장되는 원기둥, 원뿔, 투사된 점 또는 표면 상의 다른 모양이거나 또는 여하한 다른 적합한 표시자 일 수 있다는 것을 이해해야 한다. 또한, 이러한 각각의 표시자는 적합한 색깔, 명암 또는 (점 또는 파선과 같은) 무늬를 사용해서 렌더링 될 수 있다. 도 32는 본 개시 내용의 측면에 따라 의료 시술 동안 디스플레이되는 원뿔 모양의 그래픽 표시자와 함께 렌더링 되는 뷰의 또 다른 예시이다. 전술된 바와 같이, 도 32의 실시예에서, 그래픽 표시자(1020)는 원뿔이다. 원뿔은 원뿔의 개구를 정의하는 각도로 형성될 수 있고, 상기 개구는 의료 기구의 원위 단부(910)의 방향에 있어서 추정되는 오류 범위에 기초한다. 본 명세서에서 사용될 때, 원뿔의 개구는 일반적으로 원뿔의 측면 사이의 최대 각 또는 원뿔의 축과 원뿔의 측면 사이 각의 두 배를 지칭한다. 예를 들어, 시스템은 의료 기구 상에 위치하는 한 개 이상의 EM 센서를 통해 감지된 EM 데이터에 기초하여 의료 기구의 원위 단부(910)의 방향에 있어서 추정되는 오류를 결정할 수 있다. 측정된 방향의 오류는 따라서 추정된 오류에 기초하여 원뿔의 개구를 변경함으로써 사용자에게 전달될 수 있다. 다른 실시예에서, 원뿔(1020)의 개구는 의료 기구의 원위 단부(910)과 표적(920) 사이의 거리와 관련 (및 그것에 따라 조정)될 수 있다. 예를 들어, 의료 기구의 원위 단부(910)와 표적(920) 사이의 거리가 줄어들 때 원뿔의 개구의 크기도 줄어들 수 있다.

3. 시스템 구현 및 용어.

본 명세서에 개시된 구현은 의료 기구 항행 및 표적 선정을 위한 시스템, 방법 및 장치를 제공한다.

본 명세서에서 사용될 때 용어 "결합," "결합하는," "결합된" 또는 단어 결합의 다른 변이는 간접적인 연결 또는 직접적인 연결 중 하나를 나타낸다. 예를 들어, 만약 제1 구성요소가 제2 구성요소에 "결합"되어 있다면, 제1 구성요소는 또 다른 구성요소를 통해 제2 구성요소에 간접적으로 연결되어 있거나 제2 구성요소에 직접적으로 연결되어 있을 수 있다.

본 명세서에서 설명된 모델링 및/또는 렌더링 기능은 프로세서 판독 가능 또는 컴퓨터 판독 가능 매체에 하나 이상의 명령어로 저장될 수 있다. 용어 "컴퓨터 판독 가능 매체"는 컴퓨터나 프로세서에 의해 접근될 수 있는 임의의 이용 가능한 매체를 지칭한다. 예시적인 것이며 한정적인 것이 아닌 것으로서, 이러한 매체는 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 전기적으로 삭제 가능한 불휘발성 메모리 (EEPROM), 플래시 메모리, 컴팩트 디스크 읽기 전용 메모리 (CD-ROM)이나 다른 광 디스크 저장소, 자기 디스크 저장소 또는 다른 자기 저장 디바이스 또는 컴퓨터에 의해 접근가능한 명령이나 데이터 구조(data structure) 형태로 원하는 프로그램 코드를 저장하기 위해 사용될 수 있는 임의의 다른 매체를 포함할 수 있다. 주목해야 하는 것은 컴퓨터 판독 가능 매체는 유형이며 비일시적일 수 있다. 본 명세서에서 사용될 때, 용어 "코드"는 컴퓨터 장치나 프로세서에 의해 실행가능한 소프트웨어, 명령, 코드 또는 데이터를 지칭할 수 있다.

본 명세서에서 개시된 방법은 설명된 방법을 달성하기 위한 하나 이상의 단계 또는 동작을 포함한다. 방법 단계 및/또는 동작들은 청구항의 범위를 벗어나지 않고 서로 대체될 수 있다. 즉, 기술된 방법의 올바른 실행에 요구되는 단계 또는 동작의 특정순서가 명시되지 않는 한, 특정 단계 및/또는 동작의 순서 및/또는 사용은 청구항의 범위를 벗어나지 않고 변경될 수 있다.

본 명세서에서 사용될 때 용어 "복수"는 두 개 이상을 의미한다. 예를 들어, 복수의 구성요소는 두 개 이상의 구성요소를 나타낸다. 용어 "결정"은 광범위한 동작을 포함하며, 따라서, "결정"은 산출, 컴퓨팅, 처리, 도출, 조사, (표, 데이터베이스 또는 다른 데이터 구조의 검색과 같은) 검색, 확인 등을 포함할 수 있다. 또한 "결정"은 (정보를 수신하는 것과 같은) 수신, (메모리 안의 데이터에 접근하는 것과 같은) 접근 등을 포함할 수 있다. 또한 "결정"은 해결, 설정, 선택, 확보 등을 포함할 수 있다.

"기초하여(based on)"라는 구는 달리 언급하지 않는 한 "이에 한하여 기초하여(based only on)"를 의미하지 않는다. 즉, 구 "기초하여"는 "이에 한하여 기초하여" 및 "적어도 이에 기초하여(based at least on)"를 모두 설명한다.

본 명세서에서 사용될 때, 용어 "대략"은 길이, 두께, 양, 기간 또는 그 외 측정 가능한 값의 측정 범위를 지칭한다. 이러한 측정 범위는 특정값에서 +/-10% 이하, 바람직하게는 +/-5% 이하, 더 바람직하게는 +/-1% 이하 및 심지어 더 바람직하게는 +/-0.1% 이하로의 분산을 포함하고 이러한 분산은 본 명세서에 개시된 장치, 시스템, 및 기술이 기능할 수 있는 한도까지만 적절하다.

개시된 구현의 이전 설명은 당해 분야에서 통상의 지식을 가진 자가 본 발명을 만들고 사용할 수 있도록 제공된다. 당해 분야에서 통상의 지식을 가진 자라면 상기 구현의 다양한 변경이 가능하다는 것을 손쉽게 이해할 것이며, 본 명세서에서 정의된 일반적인 사상은 본 발명의 범위를 벗어나지 않고 다른 구현에 적용될 수 있다. 예를 들어, 당해 분야에 통상의 지식을 가진 자는 여러 개의 상응하는 대안적 또는 동일한 구조적 세부사항, 가령 도구 구성요소를 고정, 탑재, 결합, 또는 정합하는 동일한 방식, 특정 작동 움직임을 일으키는 동일한 메커니즘, 및 전기 에너지를 전달하기 위한 동일한 메커니즘을 적용할 수 있다는 것을 이해할 것이다. 따라서 본 발명은 본 명세서에 설명된 구현에만 한정 지으려는 의도가 아니며 본 명세서에 개시된 원리 및 새로운 기술과 일관된 폭넓은 범위에 부합하기 위한 것이다.

Claims (51)

1. 시스템에 있어서,
   세장형 본체와 적어도 한 개의 센서를 가지는 의료 기구;
   디스플레이;
   프로세서; 및
   관강내 조직망의 매핑된 부분의 모델과 상기 모델에 대한 표적의 위치를 저장하는 메모리를 포함하고,
   상기 메모리는 컴퓨터 실행 가능 명령어를 더 포함하고, 상기 명령어가 실행되면, 상기 프로세서는:
   상기 적어도 한 개의 센서의 데이터에 기초하여, 상기 모델에 대한 상기 의료 기구의 원위 단부의 위치 및 방향을 결정하고, 및
   적어도 상기 디스플레이의 부분에, 상기 모델, 상기 표적의 위치, 및 상기 의료 기구의 원위 단부의 위치 및 방향의 렌더링을 표시하고, 상기 렌더링은 표적을 향한 관점에 기초하며 의료 기구의 관점과는 다른
   시스템.
2. 제1 항에 있어서,
   사용자 입력 요소를 더 포함하고, 상기 메모리는 컴퓨터 실행 가능 명령어를 더 저장하고, 상기 명령어로 인해 프로세서는:
   상기 사용자 입력 요소를 통해 상기 사용자 입력 요소와 사용자의 상호작용의 제1 종류를 수신하고,
   상기 사용자 입력 요소와 사용자의 상호작용의 제1 종류에 기초하여 렌더링 명령어의 제1 종류를 생성하고, 및
   상기 렌더링 명령어의 제1 종류 생성에 대한 반응으로, 디스플레이의 부분 안에 상기 모델의 변경된 뷰, 표적의 위치, 및 의료 기구의 원위 단부의 위치 및 방향의 렌더링을 나타나게 하는
   시스템.
3. 제2 항에 있어서,
   상기 렌더링 명령어의 제1 종류는 상기 표적을 향한 관점을 회전하기 위한 회전 명령어를 포함하고, 및
   상기 변경된 뷰는 상기 표적을 상기 회전의 중심으로 하여 상기 모델의 회전된 뷰, 상기 표적의 위치, 및 상기 의료 기구의 원위 단부의 위치 및 방향을 포함하는
   시스템.
4. 제2 항에 있어서,
   상기 메모리는 컴퓨터 실행 가능 명령어를 더 저장하고, 상기 명령어로 인해 상기 프로세서는:
   상기 사용자 입력 요소와 사용자의 상호작용의 제2 종류를 상기 사용자 입력 요소를 통해 수신하고;
   상기 사용자 입력 요소와 사용자의 상호작용의 제2 종류에 기초하여 렌더링 명령어의 제2 종류를 생성하고, - 상기 렌더링 명령어의 제2 종류는 상기 표적을 중심으로 둔 기준면과 상기 표적을 향한 관점 사이의 각도를 변경하기 위한 높이 명령어를 포함함 -; 및
   상기 렌더링 명령어의 제2 종류를 생성하는 것에 반응하여, 상기 기준면과 상기 표적을 향한 관점 사이의 변경된 각도를 가지는 모델의 렌더링을 디스플레이의 한 부분 안에 나타내는
   시스템.
5. 제4 항에 있어서,
   상기 사용자 입력 요소는 버튼을 포함하고,
   상기 제1 사용자 상호작용 종류는 상기 버튼을 임계 기간보다 더 길게 작동시키는 것을 포함하고, 및
   상기 제2 사용자 상호작용 종류는 상기 버튼을 임계 기간보다 더 짧게 작동시키는 것을 포함하는
   시스템.
6. 제2 항에 있어서,
   상기 렌더링 명령어의 제1 종류는
   토글 관점 명령어를 포함하여 상기 렌더링의 관점을 의료 기구의 관점과는 다른 관점에서 의료 기구의 관점으로 토글하고, 및
   상기 변경된 뷰는 상기 의료 기구의 관점에서 모델의 렌더링을 포함하는
   시스템.
7. 제1 항에 있어서,
   상기 메모리는 컴퓨터 실행 가능 명령어를 더 저장하고, 상기 명령어로 인해 상기 프로세서는:
   상기 의료 기구의 원위 단부의 위치 및 방향에 기초하여, 상기 의료 기구의 원위 단부로부터 의료 기구의 현재 삽입 방향으로 연장되는 그래픽 표시자의 렌더링을 표시하고,
   상기 적어도 한 개의 센서의 데이터에 기초하여, 상기 의료 기구의 원위 단부의 위치 및 방향 중 적어도 한 개의 변화를 결정하고,
   상기 의료 기구의 원위 단부의 위치 및 방향 중 적어도 한 개의 변화의 결정에 반응하여, 상기 그래픽 표시자가 상기 표적을 교차하는 것을 결정하고, 및
   상기 선이 상기 표적을 교차한다는 결정에 반응하여 상기 그래픽 표시자의 변화의 렌더링을 표시하는
   시스템.
8. 제1 항에 있어서,
   상기 메모리는 컴퓨터 실행 가능 명령어를 더 저장하고, 상기 명령어로 인해 상기 프로세서는:
   상기 적어도 한 개의 센서의 데이터에 기초하여, 상기 의료 기구의 원위 단부가 상기 표적의 임계 거리 내에 위치한다는 것을 결정하고 ; 및
   상기 의료 기구의 원위 단부가 표적의 임계 거리 이내에 위치하는 결정에 반응하여 그래픽 표시자를 렌더링하고, 상기 그래픽 표시자는 상기 의료 기구의 원위 단부로부터 상기 의료 기구의 삽입 방향으로 연장되는
   시스템.
9. 제8 항에 있어서,
   상기 그래픽 표시자는: 선, 원통, 또는 원뿔에서 선택되는
   시스템.
10. 제8 항에 있어서,
    상기 그래픽 표시자는 원뿔이며, 상기 원뿔의 개구는 상기 의료 기구의 원위 단부의 방향에 있어서 추정되는 오류 범위에 기초하는
    시스템.
11. 제8 항에 있어서,
    상기 메모리는 컴퓨터 실행 가능 명령어를 더 저장하고, 상기 명령어로 인해 상기 프로세서는:
    상기 의료 기구의 원위 단부의 위치와 방향 중 적어도 한 개의 변화를 결정하면 그에 반응하여 상기 그래픽 표시자가 상기 표적의 중심을 교차하는 것을 결정하고, 및
    상기 그래픽 표시자가 상기 표적의 중심을 교차하는 것을 결정하면 그에 반응하여 상기 그래픽 표시자의 색상 변화의 렌더링을 표시하는
    시스템.
12. 제11 항에 있어서,
    상기 표적은 주 본체 부분 및 주 본체 부분에 합쳐진 보조 본체 부분을 포함하고, 상기 주 본체 부분은 상기 보조 본체 부분보다 더 큰 부피를 가지고, 상기 표적의 중심은 상기 주 본체 부분의 중심에 대해 정의되는
    시스템.
13. 제1 항에 있어서,
    상기 모델은 복수의 분절을 포함하는 뼈대를 포함하고 - 각각의 상기 분절은 상기 관강내 조직망의 매핑된 부분의 해당 내강의 중심선에 대하여 정의됨 -,
    상기 메모리는 컴퓨터 실행 가능 명령어를 더 저장하고, 상기 명령어로 인해 상기 프로세서는:
    상기 의료 기구의 원위 단부가 위치된 분절을 식별하고,
    상기 식별된 분절을 따라 상기 의료 기구의 원위 단부의 깊이를 결정하고, 및
    상기 식별된 분절 및 깊이에 기초하여 상기 의료 기구의 원위 단부의 위치를 결정하는
    시스템.
14. 제13 항에 있어서,
    상기 메모리는 컴퓨터 실행 가능 명령어를 더 저장하고, 상기 명령어로 인해 상기 프로세서는:
    상기 결정된 의료 기구의 원위 단부의 위치 및 상기 표적의 위치에 기초하여 상기 의료 기구의 원위 단부와 표적 사이의 거리를 결정하는
    시스템.
15. 제13 항에 있어서,
    상기 메모리는 컴퓨터 실행 가능 명령어를 더 저장하고, 상기 명령어로 인해 상기 프로세서는:
    상기 디스플레이의 적어도 또 다른 부분에, 상기 의료 기구의 원위 단부의 상기 결정된 위치에 기초하여 상기 의료 기구의 원위 단부의 위치의 렌더링을 표시하는
    시스템.
16. 제13 항에 있어서,
    상기 메모리는 컴퓨터 실행 가능 명령어를 더 저장하고, 상기 명령어로 인해 상기 프로세서는:
    상기 모델로 정의된 체적 안에서 상기 의료 기구의 원위 단부의 위치를 결정하고, 및
    상기 의료 기구의 원위 단부의 결정된 위치가 상기 뼈대를 따라 위치되도록 제한하는
    시스템.
17. 제13 항에 있어서,
    상기 적어도 한 개의 센서는: 전자유도식(EM) 센서 또는 형상 감지 섬유 중 한 개를 포함하고, 및
    상기 메모리는 컴퓨터 실행 가능 명령어를 더 저장하고, 상기 명령어로 인해 상기 프로세서는 상기 EM 센서 또는 형상 감지 섬유 중 한 개로부터 수신된 데이터만 기초하여 위치 데이터를 생성하도록 구성된
    시스템.
18. 저장된 명령어를 포함하는 비일시적 컴퓨터 판독가능 저장 매체에 있어서,
    상기 명령어가 실행되면, 적어도 한 개의 컴퓨터 장치는:
    의료 기구의 적어도 한 개의 센서의 데이터에 기초하여 관강내 조직망의 매핑된 부분의 모델에 대한 의료 기구의 원위 단부의 위치 및 방향을 결정하고, 및
    적어도 디스플레이의 한 부분에, 상기 모델, 상기 모델에 대한 표적의 위치, 및 상기 의료 기구의 원위 단부의 위치 및 방향의 렌더링을 나타내고, 상기 렌더링은 표적을 향한 관점에 기초하며 의료 기구의 관점과는 다른
    비일시적 컴퓨터 판독가능 저장 매체.
19. 제18 항에 있어서,
    저장된 명령어를 더 포함하고, 상기 명령어가 실행되면, 적어도 한 개의 컴퓨터 장치는:
    상기 사용자 입력 요소와 사용자의 상호작용의 제1 종류를 상기 사용자 입력 요소를 통해 수신하고;
    상기 사용자 입력 요소와 사용자의 상호작용의 제1 종류에 기초하여 렌더링 명령어의 제1 종류를 생성하고; 및
    상기 렌더링 명령어의 제1 종류를 생성하는 것에 반응하여, 상기 모델의 변경된 뷰, 상기 표적의 위치, 및 상기 의료 기구의 원위 단부의 위치 및 방향의 렌더링을 상기 디스플레이의 한 부분 안에 표시하는
    비일시적 컴퓨터 판독가능 저장 매체.
20. 제19 항에 있어서,
    상기 렌더링 명령어의 제1 종류는 상기 표적을 향한 관점을 회전하기 위한 회전 명령어를 포함하고, 및
    상기 변경된 뷰는 상기 표적을 상기 회전의 중심으로 하여 상기 모델의 회전된 뷰, 상기 표적의 위치, 및 상기 의료 기구의 원위 단부의 위치 및 방향을 포함하는
    비일시적 컴퓨터 판독가능 저장 매체.
21. 제19 항에 있어서,
    저장된 명령어를 더 포함하고, 상기 명령어가 실행되면, 적어도 한 개의 컴퓨터 장치는:
    상기 사용자 입력 요소와 사용자의 상호작용의 제2 종류를 상기 사용자 입력 요소를 통해 수신하고;
    상기 사용자 입력 요소와 사용자의 상호작용의 제2 종류에 기초하여 렌더링 명령어의 제2 종류를 생성하고, - 상기 렌더링 명령어의 제2 종류는 상기 표적을 중심으로 둔 기준면과 상기 표적을 향한 관점 사이의 각도를 변경하기 위한 높이 명령어를 포함함 -; 및
    상기 렌더링 명령어의 제2 종류를 생성하는 것에 반응하여, 상기 기준면과 상기 표적을 향한 관점 사이의 변경된 각도를 가지는 모델의 렌더링을 디스플레이의 한 부분 안에 나타내는
    비일시적 컴퓨터 판독가능 저장 매체.
22. 제21 항에 있어서,
    상기 사용자 입력 요소는 버튼을 포함하고,
    상기 제1 사용자 상호작용 종류는 상기 버튼을 임계 기간보다 더 길게 작동시키는 것을 포함하고, 및
    상기 제2 사용자 상호작용 종류는 상기 버튼을 임계 기간보다 더 짧게 작동시키는 것을 포함하는
    비일시적 컴퓨터 판독가능 저장 매체.
23. 제19 항에 있어서,
    상기 렌더링 명령어의 제1 종류는 토글 관점 명령어를 포함하여 상기 렌더링의 관점을 상기 의료 기구의 관점과는 다른 관점에서 의료 기구의 관점으로 토글하고, 및
    상기 변경된 뷰는 상기 의료 기구의 관점에서 모델의 렌더링을 포함하는
    비일시적 컴퓨터 판독가능 저장 매체.
24. 제18 항에 있어서,
    저장된 명령어를 더 포함하고, 상기 명령어가 실행되면 적어도 한 개의 컴퓨터 장치는:
    상기 의료 기구의 원위 단부의 위치 및 방향에 기초하여, 상기 의료 기구의 원위 단부로부터 의료 기구의 현재 삽입 방향으로 연장되는 그래픽 표시자의 렌더링을 표시하고,
    상기 적어도 한 개의 센서의 데이터에 기초하여, 상기 의료 기구의 원위 단부의 위치 및 방향 중 적어도 한 개의 변화를 결정하고,
    상기 의료 기구의 원위 단부의 위치 및 방향 중 적어도 한 개의 변화의 결정에 반응하여, 상기 그래픽 표시자가 상기 표적을 교차하는 것을 결정하고, 및
    상기 선이 상기 표적을 교차한다는 결정에 반응하여 상기 그래픽 표시자의 변화의 렌더링을 표시하는
    비일시적 컴퓨터 판독가능 저장 매체.
25. 제18 항에 있어서,
    저장된 명령어를 더 포함하고, 상기 명령어가 실행되면 적어도 한 개의 컴퓨터 장치는:
    상기 적어도 한 개의 센서의 데이터에 기초하여, 상기 의료 기구의 원위 단부가 상기 표적의 임계 거리 내에 위치한다는 것을 결정하고; 및
    상기 의료 기구의 원위 단부가 표적의 임계 거리 이내에 위치하는 결정에 반응하여 그래픽 표시자를 렌더링하고, 상기 그래픽 표시자는 상기 의료 기구의 원위 단부로부터 상기 의료 기구의 삽입 방향으로 연장되는
    비일시적 컴퓨터 판독가능 저장 매체.
26. 제25 항에 있어서,
    상기 그래픽 표시자는: 선, 원통, 또는 원뿔에서 선택되는
    비일시적 컴퓨터 판독가능 저장 매체.
27. 제25 항에 있어서,
    상기 그래픽 표시자는 원뿔이며, 상기 원뿔의 개구는 상기 의료 기구의 원위 단부의 방향에 있어서 추정되는 오류 범위에 기초하는
    비일시적 컴퓨터 판독가능 저장 매체.
28. 제25 항에 있어서,
    저장된 명령어를 더 포함하고, 상기 명령어가 실행되면 적어도 한 개의 컴퓨터 장치는:
    상기 의료 기구의 원위 단부의 위치와 방향 중 적어도 한 개의 변화를 결정하면 그에 반응하여 상기 그래픽 표시자가 상기 표적의 중심을 교차하는 것을 결정하고, 및
    상기 그래픽 표시자가 상기 표적의 중심을 교차하는 것을 결정하면 그에 반응하여 상기 그래픽 표시자의 색상 변화의 렌더링을 표시하는
    비일시적 컴퓨터 판독가능 저장 매체.
29. 제28 항에 있어서,
    상기 표적은 주 본체 부분 및 주 본체 부분에 합쳐진 보조 본체 부분을 포함하고, 상기 주 본체 부분은 상기 보조 본체 부분보다 더 큰 부피를 가지고, 상기 표적의 중심은 상기 주 본체 부분의 중심에 대해 정의되는
    비일시적 컴퓨터 판독가능 저장 매체.
30. 제28 항에 있어서,
    상기 모델은 복수의 분절을 포함하는 뼈대를 포함하고 - 각각의 상기 분절은 상기 관강내 조직망의 매핑된 부분의 해당 내강의 중심선에 대하여 정의됨 -,
    상기 비일시적 컴퓨터 판독가능 저장 매체는 저장된 명령어를 더 포함하고, 상기 명령어가 실행되면 적어도 한 개의 컴퓨터 장치는:
    상기 의료 기구의 원위 단부가 위치된 분절을 식별하고,
    상기 식별된 분절을 따라 상기 의료 기구의 원위 단부의 깊이를 결정하고, 및
    상기 식별된 분절 및 깊이에 기초하여 상기 의료 기구의 원위 단부의 위치를 결정하는
    비일시적 컴퓨터 판독가능 저장 매체.
31. 제30 항에 있어서,
    저장된 명령어를 더 포함하고, 상기 명령어가 실행되면 적어도 한 개의 컴퓨터 장치는:
    상기 결정된 의료 기구의 원위 단부의 위치 및 상기 표적의 위치에 기초하여 상기 의료 기구의 원위 단부와 표적 사이의 거리를 결정하는
    비일시적 컴퓨터 판독가능 저장 매체.
32. 제30 항에 있어서,
    저장된 명령어를 더 포함하고, 상기 명령어가 실행되면 적어도 한 개의 컴퓨터 장치는:
    상기 디스플레이의 적어도 또 다른 부분에, 상기 의료 기구의 원위 단부의 상기 결정된 위치에 기초하여 상기 의료 기구의 원위 단부의 위치의 렌더링을 표시하는
    비일시적 컴퓨터 판독가능 저장 매체.
33. 제30 항에 있어서,
    저장된 명령어를 더 포함하고, 상기 명령어가 실행되면 적어도 한 개의 컴퓨터 장치는:
    상기 모델로 정의된 체적 안에서 상기 의료 기구의 원위 단부의 위치를 결정하고, 및
    상기 의료 기구의 원위 단부의 결정된 위치가 상기 뼈대를 따라 위치되도록 제한하는
    비일시적 컴퓨터 판독가능 저장 매체.
34. 제30 항에 있어서,
    상기 적어도 한 개의 센서는: 전자유도식(EM) 센서 또는 형상 감지 섬유 중 한 개를 포함하고, 및
    상기 메모리는 컴퓨터 실행 가능 명령어를 더 저장하고, 상기 명령어로 인해 상기 프로세서는 상기 EM 센서 또는 형상 감지 섬유 중 한 개로부터 수신된 데이터만 기초하여 위치 데이터를 생성하도록 구성된
    비일시적 컴퓨터 판독가능 저장 매체.
35. 의료 기구를 항행하는 방법에 있어서,
    상기 의료 기구의 적어도 한 개의 센서의 데이터에 기초하여 관강내 조직망의 매핑된 부분의 모델에 대한 상기 의료 기구의 원위 단부의 위치 및 방향을 결정하는 단계, 및
    적어도 디스플레이의 한 부분에, 상기 모델, 상기 모델에 대한 표적의 위치, 및 상기 의료 기구의 원위 단부의 위치 및 방향의 렌더링을 나타내는 단계를 포함하고, 상기 렌더링은 표적을 향한 관점에 기초하며 의료 기구의 관점과는 다른
    방법.
36. 제35 항에 있어서,
    상기 사용자 입력 요소와 사용자의 상호작용의 제1 종류를 상기 사용자 입력 요소를 통해 수신하는 단계;
    상기 사용자 입력 요소와 사용자의 상호작용의 제1 종류에 기초하여 렌더링 명령어의 제1 종류를 생성하는 단계; 및
    상기 렌더링 명령어의 제1 종류를 생성하는 단계에 반응하여, 상기 모델의 변경된 뷰, 상기 표적의 위치, 및 상기 의료 기구의 원위 단부의 위치 및 방향의 렌더링을 상기 디스플레이의 한 부분 안에 표시하는 단계를
    더 포함하는 방법.
37. 제36 항에 있어서,
    상기 렌더링 명령어의 제1 종류는 상기 표적을 향한 관점을 회전하기 위한 회전 명령어를 포함하고, 및
    상기 변경된 뷰는 상기 표적을 상기 회전의 중심으로 하여 상기 모델의 회전된 뷰, 상기 표적의 위치, 상기 의료 기구의 원위 단부의 위치 및 방향을 포함하는
    방법.
38. 제36 항에 있어서,
    상기 사용자 입력 요소를 통해 상기 사용자 입력 요소와 사용자의 상호작용의 제2 종류를 수신하는 단계;
    상기 사용자 입력 요소와 사용자의 상호작용의 제2 종류에 기초하여 렌더링 명령어의 제2 종류를 생성하는 단계, - 상기 렌더링 명령어의 제2 종류는 상기 표적을 중심으로 둔 기준면과 상기 표적을 향한 관점 사이의 각도를 변경하기 위한 높이 명령어를 포함함 -; 및
    상기 렌더링 명령어의 제2 종류를 생성하는 단계에 반응하여, 상기 기준면과 상기 표적을 향한 관점 사이의 변경된 각도를 가지는 모델의 렌더링을 디스플레이의 한 부분 안에 나타내는 단계를 더 포함하는
    방법.
39. 제38 항에 있어서,
    상기 사용자 입력 요소는 버튼을 포함하고,
    상기 제1 사용자 상호작용 종류는 상기 버튼을 임계 기간보다 더 길게 작동시키는 것을 포함하고, 및
    상기 제2 사용자 상호작용 종류는 상기 버튼을 임계 기간보다 더 짧게 작동시키는 것을 포함하는
    방법.
40. 제36 항에 있어서,
    상기 렌더링 명령어의 제1 종류는 토글 관점 명령어를 포함하여 상기 렌더링의 관점을 상기 의료 기구의 관점과는 다른 관점에서 의료 기구의 관점으로 토글하고, 및
    상기 변경된 뷰는 상기 의료 기구의 관점에서 모델의 렌더링을 포함하는
    방법.
41. 제35 항에 있어서,
    상기 의료 기구의 원위 단부의 위치 및 방향에 기초하여, 상기 의료 기구의 원위 단부로부터 의료 기구의 현재 삽입 방향으로 연장되는 그래픽 표시자의 렌더링을 나타내는 단계,
    상기 적어도 한 개의 센서의 데이터에 기초하여, 상기 의료 기구의 원위 단부의 위치 및 방향 중 적어도 한 개의 변화를 결정하는 단계,
    상기 의료 기구의 원위 단부의 위치 및 방향 중 적어도 한 개의 변화의 결정에 반응하여, 상기 그래픽 표시자가 상기 표적을 교차하는 것을 결정하는 단계, 및
    상기 선이 상기 표적을 교차한다는 결정에 반응하여 상기 그래픽 표시자의 변화의 렌더링을 표시하는 단계를 더 포함하는
    방법.
42. 제35 항에 있어서,
    상기 적어도 한 개의 센서의 데이터에 기초하여, 상기 의료 기구의 원위 단부가 상기 표적의 임계 거리 내에 위치한다는 것을 결정하는 단계; 및
    상기 의료 기구의 원위 단부가 표적의 임계 거리 이내에 위치하는 결정에 반응하여 그래픽 표시자를 렌더링하는 단계를 더 포함하고,
    상기 그래픽 표시자는 상기 의료 기구의 원위 단부로부터 상기 의료 기구의 삽입 방향으로 연장되는
    방법.
43. 제42 항에 있어서,
    상기 그래픽 표시자는: 선, 원통, 또는 원뿔에서 선택되는
    방법.
44. 제42 항에 있어서,
    상기 그래픽 표시자는 원뿔이며, 상기 원뿔의 개구는 상기 의료 기구의 원위 단부의 방향에 있어서 추정되는 오류 범위에 기초하는
    방법.
45. 제42 항에 있어서,
    상기 의료 기구의 원위 단부의 위치와 방향 중 적어도 한 개의 변화를 결정하면 그에 반응하여 상기 그래픽 표시자가 상기 표적의 중심을 교차하는 것을 결정하는 단계, 및
    상기 그래픽 표시자가 상기 표적의 중심을 교차하는 것을 결정하면 그에 반응하여 상기 그래픽 표시자의 색상 변화의 렌더링을 표시하는 단계를 더 포함하는
    방법.
46. 제45 항에 있어서,
    상기 표적은 주 본체 부분 및 주 본체 부분에 합쳐진 보조 본체 부분을 포함하고, 상기 주 본체 부분은 상기 보조 본체 부분보다 더 큰 부피를 가지고, 상기 표적의 중심은 상기 주 본체 부분의 중심에 대해 정의되는
    방법.
47. 제35 항에 있어서,
    상기 모델은 복수의 분절을 포함하는 뼈대를 포함하고 - 각각의 상기 분절은 상기 관강내 조직망의 매핑된 부분의 해당 내강의 중심선에 대하여 정의됨 -,
    상기 방법은:
    상기 의료 기구의 원위 단부가 위치된 분절을 식별하는 단계;
    상기 식별된 분절을 따라 상기 의료 기구의 원위 단부의 깊이를 결정하는 단계; 및
    상기 식별된 분절 및 깊이에 기초하여 상기 의료 기구의 원위 단부의 위치를 결정하는 단계를 더 포함하는
    방법.
48. 제47 항에 있어서,
    상기 결정된 의료 기구의 원위 단부의 위치 및 상기 표적의 위치에 기초하여 상기 의료 기구의 원위 단부와 표적 사이의 거리를 결정하는 단계를 더 포함하는
    방법.
49. 제47 항에 있어서,
    상기 디스플레이의 적어도 또 다른 부분에, 상기 의료 기구의 원위 단부의 상기 결정된 위치에 기초하여 상기 의료 기구의 원위 단부의 위치의 렌더링을 표시하는 단계를 더 포함하는
    방법.
50. 제47 항에 있어서,
    상기 모델로 정의된 체적 안에서 상기 의료 기구의 원위 단부의 위치를 결정하는 단계, 및
    상기 의료 기구의 원위 단부의 결정된 위치가 상기 뼈대를 따라 위치되도록 제한하는 단계를 더 포함하는
    방법.
51. 제47 항에 있어서,
    상기 적어도 한 개의 센서는: 전자유도식(EM) 센서 또는 형상 감지 섬유 중 한 개를 포함하고, 및
    상기 메모리는 컴퓨터 실행 가능 명령어를 더 포함하고, 상기 명령어로 인해 상기 프로세서는 상기 EM 센서 또는 형상 감지 섬유 중 한 개로부터 수신된 데이터만 기초하여 위치 데이터를 생성하도록 구성된
    방법.
    

Images