KR20180068336A - 훈련 또는 보조 기능들을 갖는 수술 시스템 - Google Patents
훈련 또는 보조 기능들을 갖는 수술 시스템 Download PDFInfo
- Publication number
- KR20180068336A KR20180068336A KR1020187016122A KR20187016122A KR20180068336A KR 20180068336 A KR20180068336 A KR 20180068336A KR 1020187016122 A KR1020187016122 A KR 1020187016122A KR 20187016122 A KR20187016122 A KR 20187016122A KR 20180068336 A KR20180068336 A KR 20180068336A
- Authority
- KR
- South Korea
- Prior art keywords
- surgical
- tss
- input
- engine
- procedure
- Prior art date
Links
- 238000012549 training Methods 0.000 title description 14
- 230000006870 function Effects 0.000 title description 9
- 238000001356 surgical procedure Methods 0.000 claims abstract description 207
- 238000000034 method Methods 0.000 claims abstract description 109
- 230000004044 response Effects 0.000 claims abstract description 15
- 230000001360 synchronised effect Effects 0.000 claims abstract description 6
- 230000011218 segmentation Effects 0.000 claims description 33
- 230000000694 effects Effects 0.000 claims description 29
- 230000008569 process Effects 0.000 claims description 25
- 238000004088 simulation Methods 0.000 claims description 24
- 238000004422 calculation algorithm Methods 0.000 claims description 23
- 238000013528 artificial neural network Methods 0.000 claims description 21
- 238000005094 computer simulation Methods 0.000 claims description 21
- 230000009471 action Effects 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 claims description 10
- 230000000977 initiatory effect Effects 0.000 claims description 9
- 238000009877 rendering Methods 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 claims description 7
- 238000012805 post-processing Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 5
- 238000012986 modification Methods 0.000 claims description 5
- 230000004048 modification Effects 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims description 3
- 229910052709 silver Inorganic materials 0.000 claims 1
- 239000004332 silver Substances 0.000 claims 1
- 230000033001 locomotion Effects 0.000 description 56
- 230000000875 corresponding effect Effects 0.000 description 32
- 238000011156 evaluation Methods 0.000 description 26
- 230000015654 memory Effects 0.000 description 26
- 239000012636 effector Substances 0.000 description 23
- 238000010586 diagram Methods 0.000 description 22
- 230000007246 mechanism Effects 0.000 description 22
- 230000008859 change Effects 0.000 description 17
- 230000003993 interaction Effects 0.000 description 17
- 238000012545 processing Methods 0.000 description 14
- 210000003484 anatomy Anatomy 0.000 description 10
- 230000007704 transition Effects 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 9
- 239000013598 vector Substances 0.000 description 9
- 230000001276 controlling effect Effects 0.000 description 8
- 210000001519 tissue Anatomy 0.000 description 8
- 210000004247 hand Anatomy 0.000 description 7
- 230000002093 peripheral effect Effects 0.000 description 7
- 201000010099 disease Diseases 0.000 description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 230000000153 supplemental effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000002224 dissection Methods 0.000 description 4
- 230000036541 health Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000001994 activation Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000002405 diagnostic procedure Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000036961 partial effect Effects 0.000 description 3
- 210000002307 prostate Anatomy 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 210000000707 wrist Anatomy 0.000 description 3
- 206010019909 Hernia Diseases 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000003064 k means clustering Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000005291 magnetic effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000003032 molecular docking Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000002271 resection Methods 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 230000008685 targeting Effects 0.000 description 2
- 241000283074 Equus asinus Species 0.000 description 1
- 206010049816 Muscle tightness Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 230000003872 anastomosis Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000001124 body fluid Anatomy 0.000 description 1
- 239000010839 body fluid Substances 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 210000002808 connective tissue Anatomy 0.000 description 1
- 208000031513 cyst Diseases 0.000 description 1
- 238000002674 endoscopic surgery Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000011471 prostatectomy Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000009958 sewing Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001954 sterilising effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000008733 trauma Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/35—Surgical robots for telesurgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/37—Master-slave robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
- G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
- G09B23/285—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for injections, endoscopy, bronchoscopy, sigmoidscopy, insertion of contraceptive devices or enemas
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
- G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
- G09B23/30—Anatomical models
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/102—Modelling of surgical devices, implants or prosthesis
- A61B2034/104—Modelling the effect of the tool, e.g. the effect of an implanted prosthesis or for predicting the effect of ablation or burring
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
- A61B2034/254—User interfaces for surgical systems being adapted depending on the stage of the surgical procedure
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
- A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Robotics (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Business, Economics & Management (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- Medicinal Chemistry (AREA)
- Algebra (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Theoretical Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Computational Mathematics (AREA)
- Gynecology & Obstetrics (AREA)
- General Business, Economics & Management (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Pulmonology (AREA)
- Biophysics (AREA)
Abstract
원격 조종 수술 시스템(TSS)을 지원하기 위한 시스템들, 방법들, 및 유형적으로 구현된 소프트웨어 명령어들. TSS의 감시된 이벤트들을 포함하는 수술 입력이 수신된다. 수술 절차의 현재 단계는 수술 입력에 기초하여 독자적으로 결정된다. 외과의 보조에 대한 호출은 맥락 관련 보조가 TSS의 외과의 콘솔에 제공될 수 있는지에 응답하여, 검출될 수 있으며, 맥락 관련 보조는 수술 절차와 단계 동기화된다.
Description
우선권의 주장
본 출원은 2016년 8월 12일에 출원된 미국 가특허 출원 제62/374,670호에 대한 우선권의 이득을 주장하고, 2015년 11월 12일에 출원된 미국 가특허 출원 제62/254,556호에 대한 우선권의 이득을 주장하며, 그것의 각각은 본원에 전체적으로 참조로 포함된다.
발명의 분야
발명의 양태들은 수술과 관련하여 사용되는 의료 디바이스들과 연관된다. 더 구체적으로, 양태들은 수술 직원을 자동으로 보조하거나 조언하기 위해 수술 수행 데이터를 수집하고 평가하도록 로봇 보조 수술 시스템을 제어하는 것과 연관된다.
최소 침습 원격 조종 수술 시스템들(teleoperated surgical systems)(TSSs)은 외과의가 원격 위치(살균 필드 외부)로부터 환자에 조작하는 것을 허용할 뿐만 아니라, 내부 수술 부위에 작업할 때 외과의의 재주를 증가시키기 위해 개발되었다. TSS에서, 외과의에게는 종종 제어 콘솔에서의 수술 부위의 이미지가 제공된다. 적절한 뷰어 또는 디스플레이 상에서 수술 부위의 이미지를 보는 동안, 외과의는 제어 콘솔의 마스터 입력 또는 제어 디바이스들을 조작함으로써 환자에 수술 절차들을 수행한다. 마스터 입력 디바이스들 각각은 서보 기계 작동/관절 수술 기구의 모션을 제어한다. 수술 절차 동안, TSS는 마스터 입력 디바이스들의 조작에 응답하여, 외과의에 대한 다양한 기능들, 예를 들어, 니들(needle)을 유지하거나 구동하는 것, 혈관을 붙잡는 것, 조직을 절개하는 것, 조직을 봉합하는 것 등을 수행하는 엔드 이펙터들을 갖는 다양한 수술 기구들 또는 도구들의 기계 작동 및 제어를 제공할 수 있다.
TSS를 사용하기 위해 외과의를 훈련하고 TSS를 사용하여 수술들에서 외과의들을 보조하는 것이 바람직하다. 실제 해결법들은 적절한 경우, 자동화된 수술 평가 및 자동화된 수술 보조를 용이하기 위해 요구된다.
이하의 개요는 기본 이해를 제공하기 위해 창의적 발명 대상의 특정 양태들을 소개한다. 이러한 개요는 창의적 발명 대상의 광범위한 개관이 아니고, 가장 중요하거나 대단히 중대한 요소들을 식별하거나 창의적 발명 대상의 범위를 기술하도록 의도되지 않는다. 이러한 개요는 창의적 발명 대상의 다양한 양태들 및 실시예들과 관련 있는 정보를 포함하지만, 그것의 유일한 목적은 아래의 더 상세한 설명에 대한 도입부로서 일부 양태들 및 실시예들을 포괄적 형태로 제시하는 것이다.
본 발명의 일 양태는 원격 조종 수술 시스템(TSS)을 위한 외과의 지원 시스템에 관한 것이다. TSS는 일반적으로 수술 절차를 수행하기 위해 전기기계 수술 시스템에 영향을 미치는 수술 제어 입력을 수락하는 외과의 입력 인터페이스를 포함한다.
일부 실시예들에서, 외과의 지원 시스템은 가상 수술 환경 엔진, 및 보조 엔진을 포함하며, 그것의 각각은 컴퓨팅 하드웨어를 사용하여 구현될 수 있다.
가상 수술 환경 엔진은 TSS의 감시된 이벤트들을 포함하는 수술 입력을 수신하는 수술 입력 평가기 엔진, 및 수술 입력에 기초하여 수술 절차의 현재 단계를 결정하는 세그멘터 엔진을 포함한다.
보조 엔진은 TSS의 외과의 입력 인터페이스에 통신 결합되는 TSS 인터페이스, 외과의 보조에 대한 호출을 검출하는 보조 호출 검출기, 및 외과의 보조에 대한 호출에 응답하여 TSS 인터페이스를 통해 맥락 관련 보조를 송신하는 보조 렌더링 엔진을 포함한다. 맥락 관련 보조는 수술 절차와 단계 동기화된다. 단계 동기화는 엄격한 시간 정렬보다는 오히려, 수술 프로세스 흐름에 관한 정렬을 언급한다. 일부 실시예들에서, 단계 동기화는 보조가 수술 절차의 다음 단계를 위한 외과의 또는 수술 팀을 준비하기 위해 제공될 수 있도록 단계 오프세팅(stage-offsetting)을 지원한다.
유리하게, 단계 동기화는 외과의에게 맥락 관련 보조를 제공하며, 그것은 즉시 이용가능하게 이루어질 수 있다. 보조의 예들은 수술 절차의 현재(또는 다음) 부분들의 자동으로 큐잉된 전문적 비디오 세그먼트들, 일부 경우들에서 수술중에 호출될 수 있는, 수술 절차의 현재 또는 다음 부분의 주문형 시뮬레이션, 자동화된 전문 시스템으로부터의 시나리오 특정 수술 기술 조언, 및 수술 절차의 특정 부분에서 전문지식을 갖기 위해 이전에 평가된 인간 전문 보조원에의 통지를 포함한다. 상술한 예들은 예시를 위해 제공되고, 그들이 첨부된 청구항들에서 분명히 호출되지 않는 한, 그리고 호출되는 정도까지 범위 제한적인 것으로 간주되지 않는다.
일부 실시예들에서, 가상 수술 환경 엔진은 TSS의 수술 입력에 기초하여 수술 절차의 계산 모델을 처리하기 위해 시뮬레이터 엔진을 구현하도록 추가로 구성된다. 예를 들어, 시뮬레이터 엔진은 가상 수술 환경에서 TSS를 계산적으로 표현하는 TSS 모델; 및 환자의 신체 특성들, 및 TSS 모델의 조작에 영향을 받는 환자로의 변경들에 기초하여 환자를 계산적으로 표현하는 환자 모델을 포함할 수 있다.
일부 실시예들에서, 외과의 지원 시스템은 수술 입력 및 수술 절차의 현재 단계에 액세스하고, 현재 단계를 포함하는 수술 절차의 복수의 상이한 단계에 대응하는 수술 입력의 복수의 시간 및 공간 메트릭들을 계산하도록 구성되는 수술 기술 평가기 엔진을 포함한다. 수술 기술 평가기 엔진은 수술 제어 입력을 생성하는 외과의의 수술 수행의 품질을 표현하는 수술 단계 특정 수행 점수를 발생시킬 수 있다.
도 1은 최소 침습 원격 조종 수술 시스템(TSS)의 평면도이다.
도 2는 외과의의 콘솔의 사시도이다.
도 3은 전자 장치 카트의 사시도이다.
도 4는 TSS의 개략적 예시이다.
도 5a는 TSS의 예시적 도해이다.
도 5b는 수술 시스템의 환자 측 카트의 사시도이다.
도 5c는 수술 장면의 예시적 도면이다.
도 6은 수술 기구의 정면도이다.
도 7은 기구 조작기의 사시도이다.
도 8은 수술 계획 도구의 개략적 예시이다.
도 9는 다양한 실시예들에 따른 가상 수술 환경, 데이터 로깅 시스템, 외과의 평가 시스템, 및 보조 시스템을 포함하는 부가 지원 시스템들을 갖는 TSS를 특징으로 하는 진보된 수술 시스템을 예시하는 도해이다.
도 10은 일 실시예에 따른 도 9의 시스템의 가상 수술 환경의 동작 구성요소들, 및 그들의 상호작용들을 예시하는 도해이다.
도 11은 일 실시예에 따른 도 10의 가상 수술 환경의 수술 입력 평가기의 동작 구성요소들, 및 그들의 상호작용들을 예시하는 도해이다.
도 12는 일 실시예에 따른 도 10의 가상 수술 환경의, 동작 구성요소들 및 그들의 상호작용들을 포함하는, 세그멘터를 예시하는 도해이다.
도 13은 일 실시예에 따른 도 10의 가상 수술 환경의 시뮬레이터의 동작 구성요소들, 및 그들의 상호작용들을 예시하는 도해이다.
도 14는 일 실시예에 따른 도 9의 시스템의 외과의 평가기의 동작 구성요소들, 및 그들의 상호작용들을 예시하는 도해이다.
도 15는 예시적 실시예에 따른 도 9의 시스템의 데이터 로깅 시스템의 동작 구성요소들, 및 그들의 상호작용들을 예시하는 도해이다.
도 16은 일부 실시예들에 따른 도 9의 시스템의 보조 엔진의 동작 구성요소들, 및 그들의 상호작용들을 예시하는 도해이다.
도 17은 일반 목적 머신의 예시적 형태로 컴퓨터 시스템을 예시하는 블록도이며, 일반 목적 머신은 본원에 설명되는 실시예들의 양태들을 수행하기 위해 특수 목적 머신으로 변환될 수 있다.
도 18은 도 17에 도시된 것과 같은 컴퓨팅 디바이스의 예시적 하드웨어 및 소프트웨어 아키텍처를 예시하는 도해이며, 여기서 하드웨어 구성요소들과 소프트웨어 구성요소들 사이의 다양한 인터페이스들이 도시된다.
도 19a 내지 도 19c는 일부 실시예들에 따라 수술 기구가 상이한 예시적 수술 기구 작동 상태들로 도시되는 예시적 수술 기구 및 액추에이터 어셈블리를 도시하는 예시적 도해들이다.
도 20은 일부 실시예들에 따른 도 9의 시스템과 같은 TSS 지원 시스템을 동작시키는 예시적 방법을 예시하는 프로세스 흐름도이다.
도 21a 내지 도 21c는 외과의가 TSS의 수술 장면 내에서 수술 기구들을 더 정확히 제어할 수 있는 관점을 달성할 시에 외과의를 보조하기 위해 도 14의 외과의 평가기의 제어 설정 조정기에 영향을 받는 수술 장면 수평선 변경들을 도시하는 예시적 도면들이다.
도 22a 내지 도 22b는 외과의가 TSS의 수술 장면 내에서 관련 정보를 더 잘 관찰할 수 있는 관점을 달성할 시에 외과의를 보조하기 위해 도 14의 외과의 평가기의 제어 설정 조정기에 영향을 받는 수술 장면 이차원 위치 변경들을 도시하는 예시적 도면들이다.
도 23a 내지 도 23b는 외과의가 TSS의 수술 장면 내에서 관련 정보를 더 잘 관찰할 수 있는 관점을 달성할 시에 외과의를 보조하기 위해 도 14의 외과의 평가기의 제어 설정 조정기에 영향을 받는 수술 장면 줌 레벨 변경들을 도시하는 예시적 도면들이다.
도 2는 외과의의 콘솔의 사시도이다.
도 3은 전자 장치 카트의 사시도이다.
도 4는 TSS의 개략적 예시이다.
도 5a는 TSS의 예시적 도해이다.
도 5b는 수술 시스템의 환자 측 카트의 사시도이다.
도 5c는 수술 장면의 예시적 도면이다.
도 6은 수술 기구의 정면도이다.
도 7은 기구 조작기의 사시도이다.
도 8은 수술 계획 도구의 개략적 예시이다.
도 9는 다양한 실시예들에 따른 가상 수술 환경, 데이터 로깅 시스템, 외과의 평가 시스템, 및 보조 시스템을 포함하는 부가 지원 시스템들을 갖는 TSS를 특징으로 하는 진보된 수술 시스템을 예시하는 도해이다.
도 10은 일 실시예에 따른 도 9의 시스템의 가상 수술 환경의 동작 구성요소들, 및 그들의 상호작용들을 예시하는 도해이다.
도 11은 일 실시예에 따른 도 10의 가상 수술 환경의 수술 입력 평가기의 동작 구성요소들, 및 그들의 상호작용들을 예시하는 도해이다.
도 12는 일 실시예에 따른 도 10의 가상 수술 환경의, 동작 구성요소들 및 그들의 상호작용들을 포함하는, 세그멘터를 예시하는 도해이다.
도 13은 일 실시예에 따른 도 10의 가상 수술 환경의 시뮬레이터의 동작 구성요소들, 및 그들의 상호작용들을 예시하는 도해이다.
도 14는 일 실시예에 따른 도 9의 시스템의 외과의 평가기의 동작 구성요소들, 및 그들의 상호작용들을 예시하는 도해이다.
도 15는 예시적 실시예에 따른 도 9의 시스템의 데이터 로깅 시스템의 동작 구성요소들, 및 그들의 상호작용들을 예시하는 도해이다.
도 16은 일부 실시예들에 따른 도 9의 시스템의 보조 엔진의 동작 구성요소들, 및 그들의 상호작용들을 예시하는 도해이다.
도 17은 일반 목적 머신의 예시적 형태로 컴퓨터 시스템을 예시하는 블록도이며, 일반 목적 머신은 본원에 설명되는 실시예들의 양태들을 수행하기 위해 특수 목적 머신으로 변환될 수 있다.
도 18은 도 17에 도시된 것과 같은 컴퓨팅 디바이스의 예시적 하드웨어 및 소프트웨어 아키텍처를 예시하는 도해이며, 여기서 하드웨어 구성요소들과 소프트웨어 구성요소들 사이의 다양한 인터페이스들이 도시된다.
도 19a 내지 도 19c는 일부 실시예들에 따라 수술 기구가 상이한 예시적 수술 기구 작동 상태들로 도시되는 예시적 수술 기구 및 액추에이터 어셈블리를 도시하는 예시적 도해들이다.
도 20은 일부 실시예들에 따른 도 9의 시스템과 같은 TSS 지원 시스템을 동작시키는 예시적 방법을 예시하는 프로세스 흐름도이다.
도 21a 내지 도 21c는 외과의가 TSS의 수술 장면 내에서 수술 기구들을 더 정확히 제어할 수 있는 관점을 달성할 시에 외과의를 보조하기 위해 도 14의 외과의 평가기의 제어 설정 조정기에 영향을 받는 수술 장면 수평선 변경들을 도시하는 예시적 도면들이다.
도 22a 내지 도 22b는 외과의가 TSS의 수술 장면 내에서 관련 정보를 더 잘 관찰할 수 있는 관점을 달성할 시에 외과의를 보조하기 위해 도 14의 외과의 평가기의 제어 설정 조정기에 영향을 받는 수술 장면 이차원 위치 변경들을 도시하는 예시적 도면들이다.
도 23a 내지 도 23b는 외과의가 TSS의 수술 장면 내에서 관련 정보를 더 잘 관찰할 수 있는 관점을 달성할 시에 외과의를 보조하기 위해 도 14의 외과의 평가기의 제어 설정 조정기에 영향을 받는 수술 장면 줌 레벨 변경들을 도시하는 예시적 도면들이다.
이러한 설명 및 발명의 양태들, 실시예들, 구현들, 또는 응용들을 예시하는 첨부 도면들은 제한적인 것으로 해석되지 않아야 한다 ― 청구항들은 보호된 발명을 정의한다. 다양한 기계, 구성, 구조, 전기, 및 동작 변경들은 이러한 설명 및 청구항들의 범위로부터 벗어나는 것 없이 이루어질 수 있다. 일부 사례들에서, 널리 공지된 회로들, 구조들, 또는 기술들은 본 발명을 모호하게 하지 않도록 상세히 도시되거나 설명되지 않았다. 2개 이상의 도면들에서의 비슷한 번호들은 동일 또는 유사한 요소들을 표현한다.
일 실시예, 구현, 또는 응용을 참조하여 상세히 설명되는 요소들은 실현가능할 때마다, 그들이 구체적으로 도시되거나 설명되지 않는 다른 실시예들, 구현들, 또는 응용들에 포함될 수 있다. 예를 들어, 요소가 일 실시예를 참조하여 상세히 설명되고 제2 실시예를 참조하여 설명되지 않으면, 요소는 그럼에도 불구하고 제2 실시예에 포함되는 바와 같이 청구될 수 있다. 따라서, 이하의 설명에서 불필요한 반복을 회피하기 위해, 일 실시예, 구현, 또는 응용과 연관하여 도시되고 설명되는 하나 이상의 요소는 달리 구체적으로 설명되지 않는 한, 하나 이상의 요소가 일 실시예 또는 구현을 비기능적이게 하지 않는 한, 또는 요소들 중 2개 이상이 충돌하는 기능들을 제공하지 않는 한 다른 실시예들, 구현들, 또는 양태들로 포함될 수 있다.
본 발명의 양태들은 캘리포니아주 서니베일 소재의 인튜이티브 서지컬 인크에 의해 상업화되는, da Vinci® Surgical System(구체적으로, da Vinci Xi® Surgical System으로 광고되는 모델 IS4000)을 사용하는 일 구현에 관해 주로 설명된다. 그러나, 지식이 있는 사람들은 본원에 개시되는 발명의 양태들이 로봇, 및 적용가능하다면, 비로봇 실시예들 및 구현들을 포함하는, 다양한 방식들로 구체화되고 구현될 수 있는 것을 이해할 것이다. da Vinci® Surgical Systems(예를 들어, da Vinci Xi® Surgical System, da Vinci Si® Surgical System)에 관한 구현들은 예시적일 뿐이고, 제한들이 하나 이상의 청구항에서 분명히 호출되지 않는 한, 그리고 호출될 정도까지, 본원에 개시되는 발명의 양태들의 범위를 임의의 특정 모델 또는 장치에 제한하는 것으로 간주되지 않아야 한다.
최소 침습 원격 조종 수술 시스템(TSS)
원격 조종은 조금 떨어진 곳에서의 머신의 동작을 언급한다. 최소 침습 원격 조종 의료 시스템에서, 외과의는 환자의 신체 내의 수술 부위를 보기 위해 카메라를 포함하는 내시경을 사용할 수 있다. 일부 실시예들에서, 입체 이미지들이 캡처될 수 있으며, 그들은 수술 절차 동안 깊이의 지각을 허용한다.
유사한 참조 번호들이 수개의 도면들 도처에서 유사한 부분들을 표현하는 도면들을 이제 참조하면, 도 1은 전형적으로 수술대(14)에 누워 있는 환자(12)에 최소 침습 진단 또는 수술 절차를 수행하기 위해 사용되는 최소 침습 TSS(10)의 평면도이다. 시스템은 절차 동안 외과의(18)에 의한 사용을 위한 외과의의 콘솔(16)을 포함한다. 하나 이상의 보조자(20)는 또한 절차에 참여할 수 있다. 최소 침습 TSS(10)는 환자 측 카트(들)(22) 및 전자 장치 카트(24)를 추가로 포함한다. 환자 측 카트(22)는 외과의(18)가 외과의의 콘솔(16)을 통해 수술 부위를 보면서 환자(12)의 신체에서 최소 침습 절개를 통해 적어도 하나의 수술 기구(26)를 조작할 수 있다. 수술 부위의 이미지는 입체 내시경과 같은 내시경(28)이 장착되는 카메라에 의해 획득될 수 있으며, 그것은 내시경(28)을 위치시키고 지향시키기 위해 환자 측 카트(22)에 의해 조작될 수 있다. 전자 장치 카트(24) 상에 위치되는 컴퓨터 프로세서들은 외과의(18)에게 외과의의 콘솔(16)을 통한 후속 디스플레이를 위해 수술 부위의 이미지들을 처리하는데 사용될 수 있다. 별개의 시스템 구성요소들(즉, 환자 측 카트(22), 전자 장치 카트(24), 및 외과의의 콘솔(16))이 예시적 목적들을 위해 도시되고 설명되지만, 다양한 실시예들에서 그 안에 포함되는 요소들이 조합되고 및/또는 분리될 수 있다는 점을 주목한다. 예를 들어, 일부 실시예들에서, 전자 장치 카트(24)의 컴퓨터 프로세서들은 외과의의 콘솔(16) 및/또는 환자 측 카트(22)로 포함될 수 있다. 한 번에 사용되는 수술 기구들(26)의 수는 일반적으로 다른 인자들 중에서 수술 부위 내의 진단 또는 수술 절차 및 공간 제약들에 의존할 것이다. 절차 동안 사용되는 수술 기구들(26) 중 하나 이상을 변경하는 것이 필요하면, 보조자(20)는 환자 측 카트(22)로부터 수술 기구(26)를 제거하고, 그것을 수술실 내의 트레이(30)로부터의 다른 수술 기구(26)로 대체할 수 있다.
도 2는 외과의의 콘솔(16)의 사시도이다. 외과의의 콘솔(16)은 깊이 지각을 가능하게 하는 수술 부위의 조정된 입체 뷰를 외과의(18)에게 제시하기 위해 좌안 디스플레이 스크린(32) 및 우안 디스플레이 스크린(34)를 포함하는 뷰어(31)를 포함한다. 다양한 다른 실시예에서, 비-입체 디스플레이는 외과의(18)에 대해 제공될 수 있다. 콘솔(16)은 하나 이상의 제어 입력(36)을 추가로 포함한다. 환자 측 카트(22)(도 1에 도시됨) 상의 사용을 위해 설치되는 하나 이상의 수술 기구는 하나 이상의 제어 입력(36)의 외과의(18)의 조작에 응답하여 이동된다. 제어 입력들(36)은 외과의가 기구들(26)을 직접 제어하는 강한 감지를 갖도록 제어 입력들(36)이 기구들(26)과 통합된 것이라는 지각, 또는 텔레프레젠스를 외과의(18)에게 제공하기 위해 그들의 연관된 수술 기구들(26)(도 1에 도시됨)과 동일하거나 더 큰 기계 자유도들을 제공할 수 있다. 이 때문에, 일부 실시예들에서, 위치, 힘, 및 촉각 피드백 센서들(도시되지 않음)은 수술 기구들(26)로부터의 위치, 힘, 및 촉각 감각들을 통신 지연 제약들을 받는 제어 입력들(36)을 통해 외과의의 손들에 다시 전달하기 위해 이용될 수 있다. 고정 뷰어(31) 및 기계적으로 결합된 제어 입력들(36)을 갖는 물리 콘솔(16)이 예시적 목적들을 위해 도시되고 설명되지만, 다양한 다른 실시예들에서, "비접지" 제어 입력들 및/또는 디스플레이 구조들이 사용될 수 있다는 점을 주목한다. 예를 들어, 일부 실시예들에서, 뷰어(31)는 머리 장착 디스플레이일 수 있고 및/또는 제어 입력들(36)은 임의의 베이스 구조(예를 들어, 무선, 유선, 또는 제스처 기반, 예컨대 마이크로소프트로부터의 키넥트)와 기계적으로 독립적일 수 있다.
외과의의 콘솔(16)은 외과의가 절차를 직접 감시하고, 필요하다면 실제로 참석하고, 전화 또는 다른 통신 매체를 통하는 것보다는 오히려 환자 측 보조원에게 직접 말할 수 있도록 환자와 동일한 룸에 통상 위치된다. 그러나, 외과의는 원격 수술 절차들을 허용하는 환자와 상이한 룸, 완전히 상이한 빌딩, 또는 다른 원격 위치에 위치될 수 있다.
도 3은 전자 장치 카트(24)의 사시도이다. 전자 장치 카트(24)는 내시경(28)과 결합될 수 있고 예컨대 외과의의 콘솔 상에, 또는 국부적으로 및/또는 원격으로 위치되는 다른 적절한 디스플레이 상에 외과의에 대한 후속 디스플레이를 위해 캡처된 이미지들을 처리하는 컴퓨터 프로세서를 포함한다. 예를 들어, 입체 내시경이 사용되면, 전자 장치 카트(24) 상의 컴퓨터 프로세서는 수술 부위의 조정된 스테레오 이미지들을 외과의에게 제시하기 위해 캡처된 이미지들을 처리할 수 있다. 그러한 조정은 대향 이미지들 사이의 정렬을 포함할 수 있고 입체 내시경의 입체 작동 거리를 조정하는 것을 포함할 수 있다. 다른 예로서, 이미지 처리는 이미지 캡처 디바이스의 이미징 에러들, 예컨대 광학 수차들을 보상하기 위해 이전에 결정된 카메라 교정 파라미터들의 사용을 포함할 수 있다. 임의로, 전자 장치 카트 내의 장비는 외과의의 콘솔 또는 환자 측 카트로 통합될 수 있거나, 수술실 내의 여러 가지 다른 위치들에 분배될 수 있다.
도 4는 TSS(50)(예컨대 도 1의 최소 침습 TSS(10))를 도표로 예시한다. 외과의의 콘솔(52)(예컨대, 도 1의 외과의의 콘솔(16))은 최소 침습 절차 동안 환자 측 카트(54)(예컨대, 도 1의 환자 측 카트(22))를 제어하기 위해 외과의에 의해 사용될 수 있다. 환자 측 카트(54)는 수술 부위의 이미지들을 캡처하고 캡처된 이미지들을 전자 장치 카트(56)(예컨대, 도 1의 전자 장치 카트(24)) 상에 위치되는 컴퓨터 프로세서에 출력하기 위해, 이미징 디바이스, 예컨대 입체 내시경을 사용할 수 있다. 컴퓨터 프로세서는 컴퓨터 프로세서의 비휘발성 메모리 디바이스에 저장되는 컴퓨터 판독가능 코드를 실행하기 위해 의도되는 하나 이상의 데이터 처리 보드를 전형적으로 포함한다. 일 양태에서, 컴퓨터 프로세서는 임의의 후속 디스플레이 전에 캡처된 이미지들을 다양한 방식들로 처리할 수 있다. 예를 들어, 컴퓨터 프로세서는 조합된 이미지들을 외과의의 콘솔(52)을 통해 외과의에게 디스플레이하기 전에 가상 제어 인터페이스에 의해 캡처된 이미지들을 오버레잉할 수 있다.
부가적으로 또는 대안으로, 캡처된 이미지들은 전자 장치 카트(56) 외부에 위치되는 컴퓨터 프로세서에 의해 이미지 처리를 겪을 수 있다. 일 양태에서, TSS(50)는 전자 장치 카트(56) 상에 위치되는 컴퓨터 프로세서와 유사한 임의적 컴퓨터 프로세서(58)(파선에 의해 표시된 바와 같음)를 포함하고, 환자 측 카트(54)는 외과의의 콘솔(52) 상의 디스플레이 전에 캡처된 이미지들을 이미지 처리를 위한 컴퓨터 프로세서(58)에 출력한다. 다른 양태에서, 캡처된 이미지들은 우선 전자 장치 카트(56) 상의 컴퓨터 프로세서에 의해 이미지 처리를 겪고 그 다음에 외과의의 콘솔(52) 상의 디스플레이 전에 컴퓨터 프로세서(58)에 의해 부가 이미지 처리를 겪는다. TSS(50)는 파선에 의해 표시된 바와 같이, 임의적 디스플레이(60)를 포함할 수 있다. 디스플레이(60)는 전자 장치 카트(56) 상에 위치되는 컴퓨터 프로세서와 결합되고 컴퓨터 프로세서(58)와 결합되며, 이러한 컴퓨터 프로세서들에 의해 처리되는 캡처된 이미지들은 외과의의 콘솔(52)의 디스플레이 상에 디스플레이되는 것에 더하여 디스플레이(60) 상에 디스플레이될 수 있다.
도 5a는 일부 실시예들에 따라 하나 이상의 기계 지지 아암(510)을 사용하여 수술 절차들을 수행하기 위해 원격 조종 수술 시스템(10)의 구성요소들의 배열을 도시하는 예시적인 간략한 블록도이다. 시스템(10)의 양태들은 로봇 보조 및 독자적으로 동작하는 특징들을 포함한다. 이러한 기계 지지 아암들(510)은 종종 수술 기구를 지지한다. 예컨대, 기계 수술 아암(예를 들어, 중심 기계 수술 아암(510C))은 스테레오 또는 삼차원 수술 이미지 캡처 디바이스(101C)를 갖는 내시경을 지지하기 위해 사용될 수 있다. 기계 수술 아암(510C)은 이미지 캡처 디바이스(101C)를 포함하는 내시경을 기계 아암에 기계적으로 고정하기 위해 살균 어댑터, 또는 클램프, 클립, 스크류, 슬롯/그루브, 또는 다른 파스너 메커니즘을 포함할 수 있다. 여러 가지 다른 실시예들에서, 이미지 캡처 디바이스(101C)(또는 임의의 다른 수술 기구)는 기계 수술 아암(510C)으로 통합될 수 있다.
사용자 또는 조작자 O(일반적으로 외과의)은 제어 입력 디바이스들(36), 예컨대 핸드 그립들 및 풋 페달들을 마스터 제어 콘솔(16)에서 조작함으로써 환자 P에 대해 수술 절차를 수행한다. 조작자는 스테레오 디스플레이 뷰어(31)를 통해 환자의 신체 내부의 수술 부위의 이미지들의 비디오 프레임들을 볼 수 있다. 콘솔(16)의 컴퓨터 프로세서(58)는 제어 라인들(159)을 통해 원격 조종 제어 내시경 수술 기구들(101A 내지 101C)의 이동을 명령해서, 환자 측 시스템(24)(또한 환자 측 카트로 언급됨)을 사용하여 기구들의 이동을 달성한다.
환자 측 시스템(24)은 하나 이상의 기계 지지 아암(510)을 포함한다. 전형적으로, 환자 측 시스템(24)은 대응하는 위치 결정 셋업 아암들(156)에 의해 지지되는 적어도 3개의 기계 수술 아암들(510A 내지 510C)(일반적으로 기계 수술 지지 아암들(510)로 언급됨)을 포함한다. 중심 기계 수술 아암(510C)은 카메라의 시야 내에서 이미지들의 캡처에 적절한 내시경 카메라(101C)를 지지하거나 포함할 수 있다. 중심의 좌측 및 우측에 대한 기계 수술 지지 아암들(510A 및 510B)은 기구들(101A 및 101B) 각각을 지지하거나 포함할 수 있으며, 이 기구들은 조직을 조작할 수 있다.
도 5b는 실시예들에 따라, 최소 침습 TSS(10)의 환자 측 카트(500)의 사시도이다. 환자 측 카트(500)는 하나 이상의 지지 아암 어셈블리(510)를 포함한다. 수술 기구 조작기(512)는 각각의 지지 아암 어셈블리(510)의 단부에 장착된다. 부가적으로, 각각의 지지 아암 어셈블리(510)는 수술을 위한 환자에 대해 부착된 수술 기구 조작기(512)를 위치시키기 위해 사용되는 하나 이상의 셋업 조인트(예를 들어, 무전원임 및/또는 잠금가능)를 임의로 포함할 수 있다. 도시된 바와 같이, 환자 측 카트(500)는 바닥에 의지한다. 다른 실시예들에서, 환자 측 카트의 동작 부분들은 벽에, 천장에, 또한 환자의 신체(522)를 지지하는 수술대(526), 또는 다른 수술실 장비에 장착될 수 있다. 게다가, 단일 환자 측 카트(500)가 4개의 수술 기구 조작기들(512)을 포함하는 것으로 도시되지만, 다수의 환자 측 카트들(500) 및/또는 환자 측 카트(들)(500) 상의 더 많거나 더 적은 수술 기구 조작기들(512)이 제공될 수 있다.
기능적 TSS는 일반적으로 TSS의 사용자가 환자의 신체(522) 외부로부터 수술 부위를 볼 수 있게 하는 시각 시스템 부분을 포함할 것이다. 시각 시스템은 비디오 이미지들을 캡처하는 카메라 기구(528) 및 캡처된 비디오 이미지들을 하는 디스플레이하는 하나 이상의 비디오 디스플레이를 전형적으로 포함한다. 일부 수술 시스템 구성들에서, 카메라 기구(528)는 카메라 기구(528)의 원위 단부로부터의 이미지들을 환자의 신체(522) 외부의 하나 이상의 이미징 센서(예를 들어, CCD 또는 CMOS 센서들)로 전송하는 옵틱스를 포함한다. 대안적으로, 이미징 센서(들)는 카메라 기구(528)의 원위 단부에 위치될 수 있고, 센서(들)에 의해 생성되는 신호들은 하나 이상의 비디오 디스플레이 상의 처리 및 디스플레이를 위해 리드를 따라 또는 무선으로 송신될 수 있다. 비디오 디스플레이의 일 예는 캘리포니아주 서니베일 소재의 인튜이티브 서지컬 인크에 의해 상업화되는 수술 시스템들 내의 외과의의 콘솔 상의 입체 디스플레이이다.
도 5a 내지 도 5b를 참조하면, 환자의 신체(522) 내의 수술 부위에서 동작하는 수술 기구(520)는 각각의 수술 기구 조작기(512)에 장착된다. 각각의 수술 기구 조작기(512)는 연관된 수술 기구가 하나 이상의 기계 자유도(예를 들어, 모든 6 데카르트 자유도들, 5 이하의 데카르트 자유도들 등)로 이동하는 것을 허용하는 다양한 형태들로 제공될 수 있다. 전형적으로, 기계 또는 제어 제약들은 환자에 대해 계속 정지해 있는 기구 상의 모션의 중심 주위에 그것의 연관된 수술 기구를 이동시키기 위해 각각의 조작기(512)를 제한하고, 이러한 모션의 중심은 기구가 신체에 들어가는 위치에 전형적으로 위치된다.
일 양태에서, 수술 기구들(520)은 컴퓨터 보조 원격 조종을 통해 제어된다. 기능적 최소 침습 TSS는 TSS의 사용자(예를 들어, 외과의 또는 다른 의료인)로부터 입력들을 수신하는 제어 입력을 포함한다. 제어 입력은 수술 기구(520)가 결합되는 하나 이상의 모터와 같은 하나 이상의 컴퓨터 제어 원격 조종 액추에이터와 통신한다. 이러한 방식으로, 수술 기구(520)는 제어 입력의 의료인의 이동들에 응답하여 이동한다. 일 양태에서, 하나 이상의 제어 입력은 외과의의 콘솔, 예컨대 도 2에 도시된 외과의의 콘솔(16)에 포함된다. 외과의는 환자 측 카트(500)의 원격 조종 액추에이터들을 동작시키기 위해 외과의의 콘솔(16)의 제어 입력 디바이스들(36)을 조작할 수 있다. 원격 조종 액추에이터들에 의해 발생되는 힘들은 구동렬 메커니즘들을 통해 전송되며, 이 메커니즘들은 원격 조종 액추에이터들로부터의 힘들을 수술 기구(520)에 전달한다.
도 5a 내지 도 5b를 참조하면, 일 양태에서, 수술 기구(520) 및 캐뉼러(524)는 수술 기구(520)가 캐뉼러(524)를 통해 삽입된 상태에서, 조작기(512)에 제거가능하게 결합된다. 조작기(512)의 하나 이상의 원격 조종 액추에이터는 수술 기구(512)를 전체로서 이동시킨다. 조작기(512)는 기구 캐리지(530)를 추가로 포함한다. 수술 기구(520)는 기구 캐리지(530)에 분리가능하게 연결된다. 일 양태에서, 기구 캐리지(530)는 수술 기구(520)가 수술 기구(520) 상의 엔드 이펙터의 다양한 이동들로 변환하는 다수의 컨트롤러 모션들을 제공하는 하나 이상의 원격 조종 액추에이터를 내부에 수용한다. 따라서, 기구 캐리지(530) 내의 원격 조종 액추에이터들은 기구보다는 오히려 수술 기구(520)의 하나 이상의 구성요소만을 전체로서 이동시킨다. 기구를 전체로서 또는 기구의 구성요소들을 제어하는 입력들은 외과의 또는 다른 의료인에 의해 제어 입력("마스터" 커맨드)에 제공되는 입력이 수술 기구에 의한 대응하는 액션("슬레이브" 응답)으로 변환되게 한다.
일부 실시예들에 따라, 수술 시스템(10)은 도킹, 이하, 기구 타입들, 헤드-인, 카메라 이동, 제3 아암 제어, 인체 공학적 조정들, 테이블 모션 조정 등을 포함하는 다수의 시스템 작동 상태들을 가질 수 있다. 도킹 시스템 상태 동안, 하나 이상의 조작기(512)는 캐뉼러(524)에 결합되었다. 이하의 시스템 상태 동안, 수술 기구("슬레이브")는 제어 입력("마스터" 커맨드)을 추적하고 있다. 기구 타입 시스템 상태 동안, 시스템은 특정 수술 절차의 수행에 적절하거나 수술 절차 동안 특정 수술 활동의 수행에 적절한 기구들의 세트를 그것에 설치했다. 헤드-인 시스템 상태 동안, 시스템은 그/그녀가 "마스터" 제어 입력 디바이스를 잡고 있었던 것을 표시하기 위해 외과의를 대기하고 있다.
대체 실시예에서, 기구 캐리지(530)는 원격 조종 액추에이터들을 수용하지 않는다. 수술 기구(520)의 엔드 이펙터의 다양한 이동들을 가능하게 하는 원격 조종 액추에이터들은 기구 캐리지(530)에서 떨어진 위치, 예를 들어 환자 측 카트(500) 상의 다른 곳에 수용된다. 케이블 기반 힘 전달 메카니즘 등은 원격으로 위치된 원격 조종 액추에이터들 각각의 모션들을 기구 캐리지(530) 상에 위치되는 대응하는 기구-인터페이싱 액추에이터 출력에 전달하기 위해 사용된다. 일부 실시예들에서, 수술 기구(520)는 제1 액추에이터에 기계 결합되며, 제1 액추에이터는 수술 기구의 제1 모션 예컨대 세로(z축) 회전을 제어한다. 수술 기구(520)는 제2 액추에이터에 기계 결합되며, 제2 액추에이터는 수술 기구의 제2 모션 예컨대 이차원(x, y) 모션을 제어한다. 수술 기구(520)는 제3 액추에이터에 기계 결합되며, 제3 액추에이터는 수술 기구의 제3 모션 예컨대 개방 및 폐쇄 또는 조스 엔드 이펙터(jaws end effector)를 제어한다.
도 5c는 일부 실시예들에 따라 수술 장면(550)을 표현하고 또한 장면을 기록하기 위해 사용되는 카메라(528)를 장착하는 내시경(101C)을 도시하는 예시적 도면이다. 장면(550)은 환자의 신체 캐비티 내에 배치된다. 장면(550)은 기하학적 윤곽들(554)을 포함하는 예시적 가상 구면 해부 구조(552)를 포함한다. 장면(550)은 수술 기구(556)를 포함한다. 내시경(101C) 상에 장착되는 카메라(528)는 장면을 캡처하며, 장면은 뷰어(31) 내에 디스플레이되고 나중의 재생을 위해 기록된다.
도 6은 수술 기구(520)의 측면도이며, 수술 기구는 원위 부분(650) 및 세장형 튜브 중심선 축(611)을 갖는 세장형 튜브(610)에 의해 결합되는 근위 제어 메커니즘(640)을 포함한다. 수술 기구(520)는 환자의 신체로 삽입되도록 구성되고 수술 또는 진단 절차들을 수행하기 위해 사용된다. 수술 기구(520)의 원위 부분(650)은 도시된 겸자, 니들 드라이버, 소작 디바이스, 절단 도구, 이미징 디바이스(예를 들어, 내시경 또는 초음파 프로브) 등과 같은, 다양한 엔드 이펙터들(654) 중 어느 것을 제공할 수 있다. 수술 엔드 이펙터(654)는 기능적 기계 자유도, 예컨대 개방하거나 폐쇄하는 조스(jaws), 또는 경로를 따라 병진하는 나이프를 포함할 수 있다. 도시된 실시예에서, 엔드 이펙터(654)는 엔드 이펙터가 세장형 튜브 중심선 축(611)에 대해 지향되는 것을 허용하는 리스트(wrist)(652)에 의해 세장형 튜브(610)에 결합된다. 수술 기구(520)는 또한 저장된(예를 들어, 기구와 연관되는 반도체 메모리 상에) 정보를 포함할 수 있으며, 이 정보는 영구적일 수 있거나 수술 기구(520)를 동작시키도록 구성되는 수술 시스템에 의해 갱신가능할 수 있다. 따라서, 수술 시스템은 수술 시스템의 수술 기구(520)와 하나 이상의 구성요소 사이에 일방향 또는 양방향 정보 통신을 제공할 수 있다.
도 7은 수술 기구 조작기(512)의 사시도이다. 기구 조작기(512)는 어떠한 수술 기구도 설치되지 않은 상태에서 도시된다. 기구 조작기(512)는 수술 기구(예를 들어, 수술 기구(520))가 분리가능하게 연결될 수 있는 기구 캐리지(530)를 포함한다. 기구 캐리지(530)는 복수의 원격 조종 액추에이터들을 수용한다. 각각의 원격 조종 액추에이터는 액추에이터 출력(705)을 포함한다. 수술 기구가 기구 조작기(512) 위로 설치될 때, 기구 근위 제어 메커니즘(예를 들어, 도 6에서의 근위 제어 메커니즘(640))의 하나 이상의 기구 입력(도시되지 않음)은 대응하는 액추에이터 출력들(705)과 기계 결합된다. 일 양태에서, 이러한 기계 결합은 액추에이터 출력들(705)이 대응하는 기구 입력들과 직접 접촉하는 상태에서, 직접적이다. 다른 양태에서, 이러한 기계 결합은 기구 조작기(512)와 연관된 수술 기구 사이에 살균 장벽을 제공하도록 구성되는 드레이프(drape)의 구성요소와 같은 중간 인터페이스를 통해 발생한다.
일 양태에서, 대응하는 원격 조종 액추에이터들에 의한 하나 이상의 기구 입력의 이동은 수술 기구 기계 자유도의 이동을 야기한다. 예를 들어, 일 양태에서, 기구 조작기(512) 상에 설치되는 수술 기구는 도 6에 도시된 수술 기구(520)이다. 도 6을 참조하면, 일 양태에서, 대응하는 원격 조종 액추에이터들에 의한 근위 제어 메커니즘(640)의 하나 이상의 기구 입력의 이동은 세장형 튜브 중심선 축(611) 주위에서 근위 제어 메커니즘(640)에 대해 세장형 튜브(610)(및 부착된 리스트(652) 및 엔드 이펙터(654))를 회전시킨다. 다른 양태에서, 대응하는 원격 조종 액추에이터들에 의한 하나 이상의 기구 입력의 이동은 리스트(652)의 이동을 야기하여, 세장형 튜브 중심선 축(611)에 대해 엔드 이펙터(654)를 지향시킨다. 다른 양태에서, 대응하는 원격 조종 액추에이터들에 의한 하나 이상의 기구 입력의 이동은 엔드 이펙터(654)의 하나 이상의 이동가능 요소(예를 들어, 조 부재, 나이프 부재 등)의 이동을 야기한다. 따라서, 기구 조작기(512) 위로 설치되는 수술 기구의 다양한 기계 자유도들은 기구 캐리지(530)의 원격 조종 액추에이터들의 동작에 의해 이동될 수 있다.
수술 계획 시스템
도 8은 예시적 수술 계획 도구(800)의 개략도를 도시한다. 일 양태에서, 수술 계획 도구(800)는 전자 의료 디바이스 기록 데이터베이스(830)와 데이터 통신하는 TSS(850)를 포함한다. 여기에 도시되는 TSS(850)는 도 4에 도시된 TSS(50)와 유사하다. 일 양태에서, 전자 의료 기록 데이터베이스(830)는 특정 병원 또는 복수의 병원들에서 치료를 받았던 환자들의 의료 기록들을 포함한다. 데이터베이스(830)는 병원에서의 현장에 위치되는 서버 상에 구현될 수 있다. 데이터베이스(830)에 포함되는 의료 기록 엔트리들은 병원 컴퓨터들로부터 인트라넷 네트워크를 통해 액세스될 수 있다. 대안적으로, 데이터베이스(830)는, 예를 들어 다수의 클라우드 데이터 저장 서비스들 중 하나를 사용하여, 병원에서 떨어져 위치되는 원격 서버 상에 구현될 수 있다. 이러한 경우에, 데이터베이스(830)의 의료 기록 엔트리들은 클라우드 서버 상에 저장되고, 인터넷 액세스를 갖는 컴퓨터 시스템에 의해 액세스될 수 있다.
일 양태에서, 수술 절차는 TSS(850)를 사용하여 제1 환자에 대해 수행된다. TSS(850)와 연관되는 이미징 디바이스는 수술 부위의 이미지들을 캡처하고 캡처된 이미지들을 비디오의 프레임들로서 외과의의 콘솔(52)의 디스플레이 상에 디스플레이한다. 일 양태에서, 외과의의 콘솔(52)에 있는 의료인은 외과의의 콘솔(52)의 입력 디바이스를 사용하여 디스플레이된 비디오에 도시되는 특정 환자 해부구조를 강조하거나 특정 환자 해부구조에 주석을 단다. 그러한 입력 디바이스의 일 예는 도 2에 도시된 좌측 및 우측 핸드그립 제어 입력(36, 38) 각각이며, 제어 입력은 디스플레이된 비디오 위로 오버레잉되는 그래픽 사용자 인터페이스와 함께 동작하는 커서에 결합된다. 그래픽 사용자 인터페이스는 데이터 또는 텍스트 입력 또는 음성 주석 / 또는 마이크로폰 및 프로세서를 통한 스피치 대 텍스트 변환을 위해 쿼티 키보드, 포인팅 디바이스, 예컨대 마우스 및 대화형 스크린 디스플레이, 터치 스크린 디스플레이, 또는 다른 수단을 포함할 수 있다. 따라서, 의료인은 디스플레이된 이미지에서 관심 있는 특정 조직을 강조하거나 텍스트 주석을 입력할 수 있다.
일 양태에서, 수술 부위 비디오는 전자 장치 카트(56) 상에 위치되는 디스플레이 상에 부가적으로 디스플레이된다. 일 양태에서, 전자 장치 카트의 디스플레이는 전자 장치 카트 상의 디스플레이를 보기하기 위해 디스플레이되는 이미지 상에 도시되는 환자 해부구조의 특정 부분들을 강조하고 특정 부분들에 주석을 달기 위해 의료인에 의해 사용가능한 터치 스크린 사용자 인터페이스이다. 사용자는 터치 스크린 사용자 인터페이스 상에 디스플레이되는 환자 해부구조의 부분들을 터치함으로써, 디스플레이된 이미지의 부분들을 강조할 수 있다. 부가적으로, 키보드를 포함하는 그래픽 인터페이스는 디스플레이된 이미지 상에 오버레잉될 수 있다. 사용자는 텍스트 주석들을 입력하기 위해 키보드, 또는 다른 입력 디바이스, 예컨대 마이크로폰 및 스피치 투 텍스 변환 드라이버를 사용할 수 있다.
일 양태에서, TSS(850)와 연관되는 이미징 디바이스에 의해 캡처되는 수술 부위 비디오는 실시간으로 또는 거의 실시간으로 사용자에게 디스플레이되는 것에 더하여, TSS(850)에 의해 기록되고, 데이터베이스(830)에 저장된다. 사용자에 의해 이루어진 기록된 비디오와 연관되는 강조들 및/또는 주석들은 또한 데이터베이스(830) 상에 저장될 수 있다. 일 양태에서, 사용자에 의해 이루어지는 강조들은 데이터베이스(830) 상의 그것의 저장 전에 기록된 비디오로 내장된다. 나중의 시간에, 기록된 비디오는 보기를 위해 검색될 수 있다. 일 양태에서, 기록된 비디오를 보는 사람은 강조들이 뷰로부터 디스플레이되거나 억제되는지를 선택할 수 있다. 유사하게, 기록된 비디오와 연관되는 주석들은 또한 데이터베이스(830) 상에 저장될 수 있다. 일 양태에서, 사용자에 의해 이루어지는 주석들은 기록된 비디오를 태깅하기 위해 사용되고, 기록된 비디오에 포함되는 주제를 식별하는 수단으로 제공되기 위해 사용될 수 있다. 예를 들어, 하나의 주석은 특정 질병 상태의 조건들을 설명할 수 있다. 이러한 주석은 기록된 비디오를 태깅하기 위해 사용된다. 나중의 시간에, 이러한 질병 상태에 관한 기록된 절차들을 보고 싶어하는 사람은 키 워드 검색을 사용하여 비디오를 위치시킬 수 있다.
저장된 비디오의 검색
일부 경우들에서, 의료인은 주어진 환자에 대해 수행되는 과거 수술 절차들의 비디오 레코딩들을 볼 수 있는 것이 바람직하다. 일 양태에서, 의료 조건을 치료하기 위해 제1 수술 절차를 이전에 겪은 환자는 동일한 의료 조건의 재발을 치료하거나 제1 수술 절차의 수술 부위의 인근에 위치되는 해부구조를 치료하기 위해 제2 수술 절차를 나중에 필요로 한다. 일 양태에서, 제1 수술 절차의 수술 부위 이벤트들은 수술 부위 비디오 레코딩에서 캡처되었고, 비디오 레코딩은 환자의 전자 의료 기록들의 일부로서 데이터베이스(830)에 보관되었다. 관련 실시예에서, 제1 수술 절차는 절차의 타입에 따라 인덱싱될 수 있다. 환자에 대해 제2 수술 절차를 수행하기 전에, 의료인은 환자의 더 이른 수술 절차의 비디오 레코딩을 위치시키기 위해 데이터베이스(830)의 검색을 수행할 수 있다.
일부 경우들에서, 환자에 대해 수술 절차를 수행할 계획인 의료인은 환자와 유사한 특정 특성들을 갖는 사람들에 대해 수행되는 유사한 수술 절차들의 비디오 레코딩들을 볼 수 있는 것이 바람직하다. 일 양태에서, 수술 절차들의 수술 부위 비디오 레코딩들은 각각의 비디오 레코딩이 데이터베이스(830)에 보관되기 전에, 메타데이터 정보 예컨대 환자의 나이, 성, 신체 질량 지수, 유전 정보, 환자가 겪은 절차의 타입 등으로 태깅될 수 있다. 일 양태에서, 비디오 레코딩을 태깅하기 위해 사용되는 메타데이터 정보는 환자의 당시 행해지고 있던 의료 기록들로부터 자동으로 검색되고, 그 다음에 비디오 레코딩이 데이터베이스(830)에 보관되기 전에 비디오 레코딩을 태깅하기 위해 사용된다. 따라서, 환자에 대해 의료 절차를 수행하기 위해, 의료인은 환자와 공통으로 특정 특성들을 공유하는 환자들에 대해 수행되는 유사한 절차들의 비디오 레코딩들을 위해 데이터베이스(830)를 검색할 수 있다. 예를 들어, 의료인이 상승된 신체 질량 지수를 갖는 65세 남자 환자에 대해 전립선절제를 수행하기 위해 TSS(850)를 사용할 계획이면, 의료인은 유사한 나이이고 유사하게 상승된 신체 질량 지수를 갖는 다른 남자들에 대해 TSS(850)를 사용하여 수행되는 전립선절제들의 수술 부위 비디오 레코딩들을 위해 데이터베이스(830)를 검색할 수 있다.
일 양태에서, 수술 절차의 비디오 레코딩은 (파선에 의해 표시된 바와 같이) 데이터베이스(830)에 의해 임의적 개인용 컴퓨팅 디바이스(820), 예컨대 개인용 컴퓨터, 태블릿, 스마트폰, 단말, 또는 다른 전자 액세스 디바이스에 통신되고, 수술 절차를 수행할 계획인 의료인에 의한 보기를 위해 이용 가능해진다. 부가적으로 또는 대안적으로, 더 이른 수술 절차의 비디오 레코딩은 데이터베이스(830)에 의해 TSS(850)에 통신되고, 수술 전 또는 수술 중 보기를 위해 이용 가능해질 수 있다. 일 양태에서, 비디오 레코딩은 TSS(850)에 의해 외과의의 콘솔(52) 상에 위치되는 디스플레이 상에 디스플레이된다. 다른 양태에서, 제1 수술 절차의 비디오 레코딩은 전자 장치 카트(56) 상에 위치되는 디스플레이 상에 디스플레이된다.
관련 실시예에서, 아래에 더 상세히 설명되는 바와 같이, 더 이른 절차의 비디오 레코딩은 현재 수술 절차와 단계 동기화되거나, 단계 큐잉가능할 수 있어, 현재 절차의 다음 단계에 사용되는 것과 같은, 관련 수술 작업들 또는 기술들의 즉시 배치를 용이하게 한다. 비디오 재생을 수술 절차의 본 단계로 큐잉하는 것은 외과의가 다음 또는 최근 단계들을 보기하기 위해 재생을 매우 효과적으로 스크롤링하는 것을 허용한다. 현저하게, 단계 동기화 또는 단계 큐잉가능성은 엄격히 시간 동기화되지 않고, 그래도 이전 및 현재 수술 절차들 사이에 일반적 시간 순서화 유사성이 있다. 오히려, 위에 논의된 바와 같이, 단계 동기화는 수술 프로세스 흐름에 관해 정렬된다. 비디오 매칭을 통한 직접적인 시각 특징들의 매칭은 (a) 메타데이터, (b) 단계 동기화, 및 (c) 시간 동기화 중 하나 이상을 통해 향상될 수 있다.
대안적으로, 현재 수술로부터의 비디오 시퀀스들은 시각 유사성(예를 들어, 컬러들, 시간, 에지들 등) 또는 내용이 컴퓨터 비전 방법들을 사용하여 인식될 수 있으면 내용 유사성(예를 들어, 기관들, 해부구조, 도구들 등)에 기초하여 매칭에 의한 숙련된 외과의에 의해 수행되는 대표적 수술로부터의 비디오 시퀀스들과 매칭될 수 있다.
클라우드 기반 비디오 데이터베이스
일 양태에서, 데이터베이스(830)는 클라우드 데이터 저장 서비스를 사용하여 원격 서버 상에 구현되고 다수의 건강 관리 제공자들에 의해 액세스 가능하다. 도 8을 참조하면, 파선에 의해 도시된 바와 같이, 수술 계획 도구(800)는 TSS(850)(파선에 의해 표시된 바와 같음) 및 개인용 컴퓨팅 디바이스(840)(파선에 의해 표시된 바와 같음)를 임의로 포함한다. 일 양태에서, TSS(850) 및 개인용 컴퓨팅 디바이스(820)가 제1 건강 관리 제공자에 위치되고 TSS(850) 및 개인용 컴퓨팅 디바이스(840)가 제2 위치에 또는 심지어 제2 건강 관리 제공자와 위치되는 것을 제외하고, TSS(850)는 TSS(850)와 유사하고 개인용 컴퓨팅 디바이스(840)는 개인용 컴퓨팅 디바이스(820)와 유사하다. 일 양태에서, 제1 환자는 의료 조건의 수술 치료를 필요로 하고, 제1 건강 관리 제공자에서 TSS(850)를 사용하여 수술 절차를 겪는다. 수술 절차의 비디오 레코딩은 데이터베이스(830) 상에 보관된다. 나중의 시간에, 제2 환자는 동일한 의료 조건의 수술 치료를 필요로 하고, 제2 건강 관리 제공자에서 TSS(850)를 사용하여 수술 치료를 수용할 계획이다. 제2 환자에 대해 수술 절차를 수행하기 전에, 의료인은 보안 인터넷 연결을 통해 데이터베이스(830)에 액세스하고 유사한 절차들의 수술 부위 비디오 레코딩들을 위해 데이터베이스(830)를 검색한다. 일 양태에서, 제2 환자를 치료하는 의료인은 제1 환자의 신원의 지식을 취득하는 것 없이, 데이터베이스(830)로부터 제1 환자의 수술 절차의 비디오 레코딩을 검색할 수 있다. 이러한 방식으로, 제1 환자의 사생활이 유지된다. 일 양태에서, 제1 환자의 수술 절차의 비디오 레코딩은 제1 환자를 치료한 의료인에 의해 이루어지는 강조들 및/또는 주석들을 포함한다.
컴퓨터 기반 패턴 매칭 및 분석
수술 계획 도구(800)는 컴퓨터 실행가능 코드의 형태로 구현되는 패턴 매칭 및 분석 알고리즘을 포함할 수 있다. 일 양태에서, 패턴 매칭 및 분석 알고리즘은 수술 계획 도구(800)의 비휘발성 메모리 디바이스에 저장되고, 데이터베이스(830)에 보관되는 비디오 레코딩들을 분석하도록 구성된다. 이전에 논의된 바와 같이, 데이터베이스(830)에 보관되는 비디오 레코딩들 각각은 특정 메타데이터 정보로 태깅되고 및/또는 내장될 수 있다. 이러한 메타데이터 정보는 환자 정보 예컨대 환자의 건강 또는 의료 이력을 설명하는 환자 나이, 성, 및 다른 정보를 포함할 수 있다. 부가적으로, 이전에 논의된 바와 같이, 메타데이터 정보는 의료인에 의해 이루어지는 강조들 또는 주석들을 포함할 수 있다. 일 양태에서, 이러한 강조들 및 주석들은 비디오 레코딩으로 내장되고 비디오와 함께 데이터베이스(830)에 보관된다.
일 양태에서, 패턴 매칭 및 분석 알고리즘은 데이터베이스(830) 상에 저장되는 다수의 비디오 레코딩들 사이에서 공유되는 형상들 및 컬러들로 패턴들을 식별하는 이미지 분석 구성요소를 포함한다. 그 다음, 패턴 매칭 및 분석 알고리즘은 임의의 단어들 또는 구들이 이러한 서브세트 내에서 비디오들과 자주 연관되는지를 결정하기 위해 이러한 서브세트의 비디오 레코딩들과 연관되는 태깅된 메타데이터를 재검토한다. 메타데이터는 예를 들어 텍스트에 주석을 달고, 오디오를 텍스트로 변환함으로써 태깅될 수 있다. 패턴 매칭 및 분석 알고리즘에 의해 수행되는 이러한 분석들은 환자 해부구조, 바람직한 수술 접근법들, 질병 상태들, 잠재적 합병증들 등에 관한 결정들을 할 시에 의료인들을 보조하기 위해 사용될 수 있다.
가상 수술 환경, 데이터 로깅, 및 외과의 평가기
TSS는 제어 콘솔을 통한 외과의의 입력들과 함께, 수행되는 수술 절차들의 비디오를 기록할 수 있다. 일반적으로, 그러한 수집된 데이터를 사용하여 외과의들을 훈련하고 보조하는 것이 바람직하다. 그러나, 시스템 설계자들은 거대한 양의 수집된 데이터를 관리하고, 데이터의 관련 부분들을 추출하고, 외과의들에 의해 환영받을 유용하고 방해받지 않는 보조를 제공할 시에 다수의 도전들에 직면한다.
다양한 실시예들에서, 아래에 상세히 설명되는 바와 같이, TSS가 증대되거나, 지원되며, 부가 특수 목적 머신은 TSS를 동작시키는 의료인을 위해, 평가, 및 보조를 제공한다. 도 9는 TSS(950)가 부가 지원 시스템들에 대한 적절한 인터페이스들을 포함하는 것을 제외하고, 도 4와 관련하여 상기 설명된 TSS(50)와 유사한 TSS(950)를 특징으로 하는 진보된 수술 시스템(900)을 예시하는 도해이며, 부가 지원 시스템들은 가상 수술 환경(virtual surgical environment)(VSE)(904), 데이터 로깅 시스템(906), 외과의 평가기(908), 및 보조 시스템(910)을 포함한다. 이러한 부가 지원 시스템들은 다양한 머신 구성들에서 각각 실현될 수 있다. 예컨대, 부가 시스템들 중 하나 이상은 전용 유닛으로 제공되거나, 프로그램 명령어들의 실행을 통한 컴퓨팅 플랫폼의 일부로 제공될 수 있다. 컴퓨팅 플랫폼은 하나의 물리 머신일 수 있거나, 다수의 물리 머신들 중에, 예컨대 역할 또는 기능에 의해, 또는 클라우드 컴퓨팅 분산 모델의 경우에 프로세스 스레드에 의해 분산될 수 있다. 컴퓨팅 플랫폼은 일부 실시예들에서 TSS(950)의 일부로서(예를 들어, 외과의의 콘솔(52), 전자 장치 카트(58) 등에서) 구현될 수 있거나, 그것은 TSS(예를 들어, 이동 컴퓨팅 디바이스 예컨대 태블릿, 개인용 컴퓨터 또는 랩톱 컴퓨터, 스마트폰, 또는 그것의 일부 조합)와 별개의 하드웨어를 사용하여 구현될 수 있다. 컴퓨팅 플랫폼은 시스템 또는 개인용 하드웨어 및 '클라우드' 상에서 국부 처리의 조합으로 구현될 수 있다.
다양한 실시예들에서, 특정 동작들은 차례로 하나 이상의 물리 머신 상에 실행되는 가상 머신들로 실행될 수 있다. 실시예들의 특징들이 여러 가지 상이한 적절한 머신 구현들에 의해 실현될 수 있다는 점은 본 기술분야의 통상의 기술자들에 의해 이해될 것이다.
다양한 실시예들에서, 이러한 구성요소들은 엔진들, 회로들, 구성요소들, 또는 모듈들로 구현되며, 그들은 일관성을 위해 엔진들로 불려지고, 그래도 이러한 용어들이 교환될 수 있다는 점이 이해될 것이다. 엔진들은 본원에 설명되는 동작들을 수행하기 위해 하나 이상의 프로세서에 통신 결합되는 하드웨어, 소프트웨어, 또는 펌웨어일 수 있다. 엔진들은 하드웨어 엔진들일 수 있고, 그와 같이 엔진들은 지정된 동작들을 수행할 수 있는 유형의 엔티티들로 간주될 수 있고 특정 방식으로 구성되거나 배열될 수 있다. 일 예에서, 회로들은 지정된 방식으로 엔진으로서(예를 들어, 내부적으로 또는 다른 회로들과 같은 외부 엔티티들에 대해) 배열될 수 있다. 일 예에서, 하나 이상의 하드웨어 프로세서의 전부 또는 일부는 지정된 동작들을 수행하기 위해 동작하는 엔진으로서 펌웨어 또는 소프트웨어(예를 들어, 명령어들, 애플리케이션 부분, 또는 애플리케이션)에 의해 구성될 수 있다. 일 예에서, 소프트웨어는 머신 판독가능 매체 상에 상주할 수 있다. 일 예에서, 소프트웨어는 엔진의 기본 하드웨어에 의해 실행될 때, 하드웨어로 하여금 지정된 동작들을 수행하게 한다. 따라서, 용어 하드웨어 엔진은 지정된 방식으로 동작하거나 본원에 설명되는 임의의 동작의 일부 또는 전부를 수행하도록 물리적으로 구성되거나, 구체적으로 구성되거나(예를 들어, 하드와이어링되거나), 일시적으로(예를 들어, 순식간에) 구성되는(예를 들어, 프로그래밍되는) 엔티티인 유형의 엔티티를 포함하는 것으로 이해된다.
엔진들이 일시적으로 구성되는 예들을 고려하면, 엔진들 각각은 어느 하나의 시간 순간에 인스턴스화될 필요가 없다. 예를 들어, 엔진들이 소프트웨어를 사용하여 구성되는 일반 목적 하드웨어 프로세서 코어를 포함하는 경우; 일반 목적 하드웨어 프로세서 코어는 상이한 시간들에 각각의 상이한 엔진들로 구성될 수 있다. 따라서, 소프트웨어는 예를 들어, 하나의 시간 인스턴스에 특정 엔진을 구성하고 상이한 시간 인스턴스에 상이한 엔진을 구성하기 위해 하드웨어 프로세서 코어를 구성할 수 있다.
TSS(950)는 환자 및 의료인이 용이하게 되는 수술 환경(902)과 인터페이스된다. 일반적으로 말하면, TSS(950)의 제어 입력들은 수술 환경(902)에서 실세계 효과를 야기하는 전기기계 시스템들에 공급된다. 다른 한편, VSE(904)는 일부 실시예들에 따른 가상 수술 환경을 생성하기 위해 실제 수술 환경의 하나 이상의 부분을 계산적으로 모델링한다. 따라서, TSS(950)의 동일한 제어 입력들은 VSE(904)에 공급될 수 있으며, 그들은 가상 수술 환경에서 계산적으로 모델링된 효과를 생성한다.
하나의 타입의 실시예에서, 가상 수술 환경은 TSS(950)의 출력을 표현하는 모델링된 전기기계 출력들의 환자 모델에 관한 효과들에 더하여, 생리 구조들, 체액들, 질병 상태들, 혈류동태들 등을 포함하는, 환자의 적어도 일부의 모델을 포함한다. 다른 타입의 실시예에서, 환자가 모델링되지 않으며; 오히려, TSS(950)의 전기기계 출력들이 표현된다. 다른 타입의 실시예에서, TSS(950)의 전기기계 시스템들에 공급되는 제어 시그널링은 VSE(904)에 의해 모델링된다.
관련 실시예에서, 가상 수술 환경(904)은 그것이 TSS(950)로부터 수신하는 수술 입력들의 평가에 기초하여 수술 절차의 단계, 또는 세그먼트를 결정하도록 프로그래밍되거나, 다른 방법으로 구성된다.
다른 관련 실시예에서, VSE(904)는 시뮬레이션된 환자에서의 효과들(예를 들어, 수술 부위, 혈류동태들 등에서의 조직의 효과들)을 포함하는, TSS에의 수술 입력들의 VSE-시뮬레이션된 효과들, 또는 수술 입력 자체들보다는 오히려, 수술 기구들과의 환자의 상호작용의 다른 시뮬레이션된 특징들에 기초하여 수술 절차의 단계, 또는 세그먼트를 결정하도록 프로그래밍되거나, 다른 방법으로 구성된다. 다른 관련 실시예에서, 수술 입력들의 조합, 및 그것의 시뮬레이션된 효과들은 수술 절차의 세그먼트의 평가에 사용된다.
도 10은 일 실시예에 따른 VSE(904)의 동작 구성요소들, 및 그들의 상호작용들을 예시하는 도해이다. 수술 입력 평가기(1002)는 TSS(950)로부터, 다른 것들 중에서, 이벤트 데이터, 예컨대 제어 입력들, 운동 정보, 센서 데이터, 시스템 이벤트들 또는 상태 표시들을 수집하고 수술 효과에 관한 그들의 의미를 해석하도록 프로그래밍되거나, 다른 방법으로 구성된다. 세그멘터(1004)는 그들이 수행되고 있음에 따라, 또는 후처리 모드에서 수술 절차들의 단계들을 분별하도록 프로그래밍되거나, 다른 방법으로 구성된다. 시뮬레이터(1006)는 TSS(950)로부터의 제어 입력들에 기초하여, 가상 수술 환경에서 수술 절차를 모델링하도록 프로그래밍되거나, 다른 방법으로 구성된다. 시뮬레이터(1006)는 실제 수술 절차가 수술 환경(902)에서 수행되고 있는 상태에서, 또는 수행되고 있는 대신에 병렬로 동작할 수 있고, 특정 절차들 또는 그것의 부분들을 실시하기 위해 외과의에 의해 사용될 수 있다. 일부 실시예들에서, 시뮬레이터(1006)는 외과의가 환자에 작업을 실제로 수행하기 전에 특정 작업을 실시하는 것을 허용하기 위해 절차의 특정 부분 동안 호출받을 수 있다. 더 일반적으로, 시뮬레이터(1006)는 외과의들, 학생들, 또는 다른 의료인에 의한 훈련 및 실시를 위해 사용될 수 있다.
도 11은 일 실시예에 따른 수술 입력 평가기(1002)의 동작 구성요소들, 및 그들의 상호작용들을 예시하는 도해이다. 이벤트 모니터(1102)는 TSS(950)로부터, 시스템 이벤트들, 운동들 및 외부 입력들을 포함할 수 있는 이벤트 데이터를 수신하고, 이벤트들의 시퀀스들에 로깅한다. 관련 실시예에서, 이벤트 모니터(1102)는 절차와 연관되는 보조원(들) 또는 다른 장비/기구들에 의한 액션들과 같은, TSS(950)를 사용한 것 또는 TSS(950)에 의한 것과 다른 수술 환경(902)에서 취해지는 부가 액션들에 관한 정보를 수신한다. 이러한 액션들은 예컨대, TSS(950)의 하나 이상의 센서에 의해 검출되거나, 환경 감시 센서들 예컨대 비디오 캡처 디바이스에 의해 검출되거나, 그러한 다른 장비/기구들 자체들에 의해 검출되고, TSS(950)에 전달될 수 있다. 상기 참조된 바와 같이, 이벤트들은 예를 들어, 외과의, 보조원들에 의해 제공되는 버튼 프레스들, 기구 이동 제어들, 기구 선택들, 비디오 시스템 제어들, 리스트 이동들, 카메라 이동 활성화들, 마스터 제스처들/활성화들 및 다른 입력들, 또는 임의의 다른 검출가능 액션들/입력들/출력들과 같은 기구 제어들의 활성화들 중 어느 것을 추가로 포함할 수 있다. 예를 들어, 이벤트들로 수집될 수 있는 다른 데이터는 운동 데이터, 눈 이동들, 사용자 인증(예를 들어, 홍채 인식), 근육 활동(예를 들어, 근전도 검사를 사용하여 측정됨), 감지된 외과의 자세, 내시경에 의해 촬영되는 이미지들, 시스템 상태(예를 들어, 다양한 기구들의 도킹된/전개된 상태들, 마스터 컨트롤러에 의한 아암들의 연결/분리 상태, 설치되는 기구 타입들, 설치되는 기구들의 양, 조작자의 머리 연결 상태, 마스터 컨트롤과 같은 컨트롤들에 인가되는 힘들, 로봇 기구들에 의해 검출되는 힘들, 카메라 이동 및 제어, 터치스크린 입력, 직원 위치(예를 들어, 수술 환경에서 센서들에 의해 제공되는 바와 같음), 및 이들 중 어느 것의 이력을 포함한다. 이벤트들의 시퀀스들은 시계열 데이터로 기록될 수 있고, 집합적으로, TSS(950)의 조작자(들) 및 수술 환경(902)에서의 임의의 직원의 조정된 액션들, 및/또는 수술 환경(902)으로부터 컴파일되는 임의의 다른 데이터를 표현할 수 있다.
일부 실시예들에서, 제스처 평가기(1104)는 이벤트들의 조합들이 임의의 정의된 제스처들을 구성하는지를 확인하기 위해 시계열 이벤트 데이터를 판독하고, 제스처 기준들(1106)을 적용한다. 본 맥락에서, 제스처는 도구들 및 컨트롤들의 복합 이동들을 구성하는 2개 이상의 이벤트의 시퀀스이다. 예시적 예로서, 봉합 작업과 연관되는 단일 스티칭 모션은 제스처로 간주될 수 있다. 이러한 예에서, 일반적으로 제어 입력 데이터가 제스처를 인식하기 위해 수집되고 분류될 수 있는 시퀀스 개별 이동들이 있다. 일 실시예에서, 제스처 기준들(1106)은 다양한 제스처들을 구성하는 이벤트들의 시퀀스들의 라이브러리를 포함한다. 더 기본적인 환경에서, 제스처 기준들(1106)은 모든 시간 증가 동안, 이벤트들의 시퀀스들의 시간 윈도우가 제스처인 것으로 간주되도록, 최근 이벤트들의 시간 윈도우(예를 들어, 가장 최근의 40 초)를 간단히 정의할 수 있다. 본 예에서의 시간 윈도우들, 또는 제스처들은 다른 제스처들과 오버래핑될 수 있다.
현저하게, 다른 실시예들에서, 제스처 평가기(1104)는 존재하지 않으며; 오히려, 감시된 이벤트들은 작업 평가기(1108)에 공급된다. 또 다른 타입의 실시예에서, 제스처 평가기(1104)가 이용가능한 경우, 검출된 제스처들, 및 감시된 이벤트들의 조합은 작업 평가기(1108)에 병렬로 공급된다.
작업 평가기(1108)는 수행되는 현재 수술 작업을 평가하도록, 프로그래밍되거나, 다른 방법으로 구성된다. 본 맥락에서, 작업은 정의된 수술 효과를 함께 생성하는, 일련의 이벤트들, 제스처들, 또는 그것의 조합이다. 작업은 절차의 임상적으로 포괄적인 조작(예를 들어, 절개 작업, 봉합 작업 등) 또는 임상적으로 관련된 단계(들)/세그먼트(들)(예를 들어, 전립선 절제의 UV 문합)일 수 있다. 작업 평가는 일련의 최근 이벤트들에 기초하고, 작업 기준 데이터베이스(1110)로부터의 데이터에 추가로 기초하며, 그것은 이벤트들의 어떤 정의된 시리즈를 작업들과 연관시킨다. 관련 실시예에서, 작업 기준 데이터베이스(1110)는 또한 그러한 작업들이 공통으로 수행되는 수술 절차들의 라이브러리를 포함할 수 있다. 이러한 타입의 실시예에서, 수술 절차의 식별은 작업-평가 알고리즘으로의 입력 자체일 수 있다. 이러한 맥락에서의 수술 절차는 예컨대, 전립선 절제, 제대 탈장 봉합, 유방 절제 등과 같은 고레벨 서술자이다.
다양한 실시예들에서, 제스처 평가기(1104) 및 작업 평가기(1108)는 적용가능한 경우 훈련 세트 데이터로 사용되는 각각의 기준들(1106, 1110)에 기초하여, 하나 이상의 분류 동작, 예컨대 K-최근접-이웃(K-nearest-neighbor)(KNN) 분류, 예컨대, 클러스터링 동작들, 예컨대 K-평균 클러스터링, 연관 규칙 마이닝 동작들, 서포트 벡터 머신(support vector machine)(SVM) 동작들, 인공 신경 네트워크(artificial neural network)(ANN) 동작들(예를 들어, 순환 신경 네트워크들, 콘볼루션 신경 네트워크 등) 등을 개별적으로 수행할 수 있다.
이벤트들, 제스처들, 및 작업들은 가변 파라미터 값들, 예컨대 조인트 각도들, 속도, 이전/후속 유휴 등을 각각 가질 수 있다. 원격 조종 수술 절차 동안, 수술 시스템 작동 상태의 변경들을 야기하는 제어 입력들이 발생할 수 있다는 점이 이해될 것이다. 예컨대, 외과의는 그 또는 그녀의 머리를 뷰어의 내외로 이동시킬 수 있어 헤드-인 상태의 변경을 야기한다. 외과의는 예를 들어, 제어 입력들과 접촉하고 접촉하지 않는 그 또는 그녀의 손들 또는 발들을 이동시킬 수 있어 이하의 상태의 변경을 야기한다. 사용 중인 기구들의 조합은 예를 들어, 변경될 수 있어, 기구 타입 상태의 변경을 야기한다.
하나 이상의 수술 상태에서 수술 활동을 지원하는 TSS(950)의 조작은 부가적으로 기구 모션을 표시하는 수술 시스템 내의 제어 입력 정보의 발생을 야기하며, 그것은 외과의가 수술 활동을 수행한 실제 방식을 나타낸다. 예를 들어, 외과의는, 예를 들어 기구를 빠르게 또는 느리게 이동시키기 위해 제어 입력들을 사용했을 수 있다. 외과의는, 예를 들어 수술 기구를 하나 또는 다른 경로를 따라 해부 구조를 향하는 방향 또는 해부 구조에서 떨어진 방향으로 이동시킬 수 있었다. 외과의는, 예를 들어 특정 기구를 작동시키기 전에, 제어 입력들을 사용하여 상이한 기구의 위치를 조정했을 수 있다.
도 19a 내지 도 19c는 수술 기구가 일부 실시예들에 따라 3개의 상이한 예시적 수술 기구 작동 상태로 도시되는, 예시적 수술 기구(1902) 및 액추에이터 어셈블리(1903)를 도시하는 예시적 도해들이다. 예시적 기구(1902)는 개방 및 폐쇄 상태들 및 그 사이의 부분 개방/부분 폐쇄 상태들의 연속체 사이에서 전이될 수 있는 조 엔드 이펙터(1904)를 포함한다. 예시적 기구(1902)는 또한 상이한 이차원(x, y) 위치 상태들 사이를 이동할 수 있는 2 자유도(2-dof) 리스트(1906)를 포함한다. 예시적 액추에이터 어셈블리(1903)는 제1 액추에이터(1908)를 포함하며, 그것은 일부 실시예들에서 조 엔드 이펙터(1904)를 작동하기 위해 사용되는 조 모터(jaw motor)(JM)를 포함한다. 예시적 액추에이터 어셈블리(1903)는 제2 액추에이터(1910)를 포함하며, 그것은 일부 실시예들에서 리스트(1906)를 작동하기 위해 사용되는 리스트 모터(wrist motor)(WM)를 포함한다. 수술 동안, 수술 기구(1902)는 수술 절차 동안 상이한 활동들에 대응하는 다수의 기구 작동 상태를 통해 전이될 수 있다. 각각의 전이는 하나의 상태에서의 그것의 물리적 위치 및 배치(예를 들어, 개방 또는 폐쇄)로부터 다음 상태에서의 그것의 물리적 위치 및 배치로 전이되도록 명령받는 바와 같이 이벤트 모니터(1102)에 의해 캡처되고 저장되고 기구의 모션을 나타내는 제어 입력 정보의 발생을 야기한다.
도 19a에 나타낸 바와 같이, 예를 들어, 제1 제스처는 제1 액추에이터(1908)(JM)가 조 엔드 이펙터(1904)를 완전 개방 상태로 배치하는 것 및 제2 액추에이터(1910)(WM)가 리스트(1906)를 제1 위치 상태(x1, y1)로 배치하는 것을 수반할 수 있다. 도 19b에 나타낸 바와 같이, 예를 들어, 수술 절차는 제1 액추에이터(1908)가 조 엔드 이펙터(1904)를 완전 폐쇄 상태로 전이시키고 제2 액추에이터(1910)가 리스트(1906)를 제2 위치 상태(x2, y2)로 전이시키는 제2 제스처를 수반할 수 있다. 도 19c에 나타낸 바와 같이, 예를 들어, 수술 절차는 제1 액추에이터(1908)가 조 엔드 이펙터(1104)를 부분 개방/부분 폐쇄 상태로 배치하고 제2 액추에이터(1910)가 리스트(1906)를 제3 위치 상태(x3, y3)로 전이시키는 제3 수술 활동을 수반할 수 있다.
일 실시예에 따르면, 수술 입력 평가기(1002)는 제어 입력 정보(예를 들어, 이벤트들, 제스처들, 또는 그것의 조합)에 응답하여 위치 상태들을 모델링하기 위해 시뮬레이터(1006)와 협력한다. 가상화된 이동들 및 위치 상태들은 적용가능 작업들을 식별하기 위해 작업 평가기(1108)에 의해 차례로 평가될 수 있다. 이러한 타입의 실시예에서, 모델링된 운동 정보는 처리된 제어 입력 데이터보다는 오히려, 또는 이 데이터에 더하여, 작업 평가를 수행하기 위해 사용될 수 있다.
이제 도 12로 돌아가면, 예시적 실시예에 따른 동작 구성요소들 및 그들의 상호작용들을 포함하는 세그멘터(1004)가 상세히 도시된다. 도시된 예에서, 세그멘터(1004)는 세그먼트화 평가를 위한 두 종류의 알고리즘들, 즉, 실시간 세그먼트화 평가기(1200), 및 후처리 기반 세그먼트화 평가기(1220) 중 하나를 선택적으로 적용하도록 구성된다.
실시간 세그먼트화 평가기(1200)는 외과의 또는 의료인이 지각할 수 있는 한 무시가능 레이턴시에서 세그먼트화 평가를 하기 위해 수술중에 적용될 수 있다. 예시적 실시예에서, 실시간 세그먼트화 평가기(1200)는 딥 러닝(deep learning)을 위한 장단기 메모리(long short-term memory)(LSTM) RNN 아키텍처를 사용하여, 순환 신경 네트워크(recurrent neural network)(RNN)로 구성된다. 도시된 바와 같이, 특징 추출기(1202)는 특징 벡터를 RNN(1204)에의 입력으로 생성하기 위해 필터링 또는 다른 선택 기준들을 평가된 작업들의 시퀀스 및 그들의 대응하는 파라미터들에 적용한다. 특징 벡터의 일 예는 액추에이터의 조인트 각도, 및 속도와 함께, 자세(예를 들어, 위치 및 회전 매트릭스 정보)를 포함할 수 있다. RNN(1204)은 양방향 RNN일 수 있으며, 여기서 실제로 2개의 RNN이 있고, 하나의 전향적이고, 다른 것은 퇴영적이다. 따라서, 예측된 장래 값들 및 과거 값들은 RNN 알고리즘에서 고려된다. 예시적 실시예에서, RNN(1204)은 2개의 층, 즉 양방향 LSTM, 및 게이트 반복 유닛(gated recurrent unit)(GRU) 층을 가지며, 숨겨진 노드들은 각각의 층에 있다.
훈련 데이터(1206)는 관련 기술분야의 통상의 기술자들에 의해 인식되는 바와 같이, 적절한 훈련 알고리즘을 사용하여 RNN(1204)을 훈련하기 위해 사용되는 분류된 특징 벡터들을 포함한다. 훈련 데이터는 수술 입력(예를 들어, 외과의 조작 컨트롤들로부터의 제어 입력 파라미터들, 또는 보조원 수정가능 기구 구성을 포함하는 이벤트들, 수술 환경에서 발생되는 이벤트들 등)에 기초할 수 있다. 관련 실시예에서, 훈련 데이터는 수술 입력의 시뮬레이션된 효과들에 기초할 수 있다. 이러한 후자 타입의 실시예에서, 시뮬레이터(1006)는 훈련 데이터의 소스일 수 있다.
후처리 세그먼트화 평가기는 세그먼트화 평가를 하는 동작으로부터 기록되는 모든 데이터를 사용하여 동작 후에 임의의 지점에 적용될 수 있다. 후처리 기반 세그먼트화 평가기(1220)의 일 예에서, 클러스터링은 도시된 실시예에 따른 계층 정렬 클러스터링 알고리즘(hierarchical-aligned clustering algorithm)(HACA)을 사용하여 수행된다. 예시적 세그먼트화 평가기(1220) 아키텍처는 도시된 실시예에 따른 특징 추출기(1222), 전처리기(1224), 프레임 커널 매트릭스(1226), 및 클러스터링 엔진(1228)을 포함한다. 특징 추출기(1222)는 특정 차원성을 갖고 파라미터들의 구체적 세트를 표현하는 특징 벡터들을 생성한다. 전처리기(1224)는 일 실시예에 따른 K-평균 클러스터링 알고리즘을 사용할 수 있다.
프레임 커널 매트릭스 연산(1226)은 모션 세그먼트화에 관련된 자기 유사성(또는 그램(Gram)) 매트릭스(
)를 계산하며, 각각의 엔트리(sij)는 커널 함수에 의해 2개의 샘플(xi 및 xj) 사이의 유사성을 정의한다:
HACA 클러스터링 엔진(1228)은 Zhou, Feng, Fernando De la Torre, 및 Jessica K. Hodgins, "Hierarchical aligned cluster analysis for temporal clustering of human 모션", IEEE Transactions on Pattern Analysis 및 Machine Intelligence 35, no.3(2013): 582-596과 일치하는 HACA 알고리즘을 수행한다.
관련 실시예에서, 후처리 기반 세그먼트화 평가기(1220)는 훈련 데이터(1206)를 갱신하고 실시간 세그먼트화 평가기(1200)의 세그먼트화 결정들을 재평가하기 위해 수술 후에 이용된다.
신뢰 측정 엔진(1230)은 정확한 세그먼트화의 확률을 표현하는 신뢰 점수를 계산하도록, 프로그래밍되거나, 다른 방법으로 구성된다. 신뢰 점수는 교차 엔트로피 및 로그-확률 계산들로 계산될 수 있다. 아래에 더 상세히 설명되는 바와 같이, 계산된 신뢰는 평가 정확도를 추가로 향상시키기 위해, 외과의 기술을 평가하는 메트릭으로 사용되거나, 또는 다른 메트릭들에 대한 가중, 예컨대 시간으로 사용될 수 있다.
도 13은 일 실시예에 따른 시뮬레이터(1006)의 동작 구성요소들, 및 그들의 상호작용들을 예시하는 도해이다. 환자 모델(1302)은 환자의 측정된 또는 평가된 신체 특성들(1304), 및 측정된 또는 진단된 질병 조건(1306)에 기초하여 환자를 표현하도록 프로그래밍되거나, 다른 방법으로 구성된다. 관련 신체 특성들(1304)의 일 예는 CT 스캔, MRI, 초음파, 또는 다른 테스트로 획득되는 것들과 같은, 임의의 이미지화된 해부 구조들뿐만 아니라, 크기, 체중, 성, 나이, 신체 질량 지수(body mass index)(BMI), 근육 긴장, 기관의 크기 및 위치 등을 포함한다. 유사하게, 질병 조건(1306)은 종양들, 낭종들, 탈장들, 찢어진 연결 조직, 절골들 등과 같은 그러한 특징들을 포함할 수 있다. TSS 모델러(1310)는 구성 정보(1312)에 의해 표현되는 바와 같이, 도구들, 엔드 이펙터들, 및 다른 구성된 부분들을 포함하는, TSS(950)를 표현하도록 프로그래밍되거나, 다른 방법으로 구성된다. TSS 모델러(1310)는 다양한 수술 도구들의 위치 결정 및 이동들이 가상 수술 환경에서 반영될 수 있도록 TSS(950)로부터 제어 입력 정보를 수신한다.
TSS 모델러(1310) 및 환자 모델(1302)은 가상 수술 절차가 시뮬레이션됨에 따라 시뮬레이션 동안 상태 정보를 교환할 수 있다. 따라서, 이러한 엔진들 중 하나 또는 둘 다는 변경들이 수술 절차로서 영향을 받음에 따라 환자의 현재 상태를 유지하고 갱신할 수 있다.
일 실시예에서, 시뮬레이터(1006)는 수술 절차 동안 TSS(950) 및 환자의 진행을 추적하기 위해 수술 환경(902)과 동시에 동작된다. 다른 실시예에서, 수술 절차의 주어진 세그먼트는 시뮬레이션 동안 외과의의 요청으로, 또는 트리거에 응답하여 개시될 수 있다. 이러한 수술중 시뮬레이션은 외과의가 절차에서 위험하거나 곤란한 순간에 직면하고, 실제의 환자에 그러한 액션들을 전개하기 전에 특정 이동들 또는 다양한 기술들을 실시하기를 원하면 호출받을 수 있다. 관련 실시예에서, 병렬 실행 시뮬레이션은 세그멘터(1004)를 사용하여 현재 수술 단계를 결정하기 위해 독자적으로 분석될 수 있으며, 그것은 특징 벡터들의 세트 내의 모델 기반 상황 데이터로 추가로 훈련될 수 있다.
다른 실시예에서, 시뮬레이터(1006)는 실제 환자 대신에 수술 훈련 또는 실시를 위해 사용될 수 있다. 일부 구현들에서, 외과의 및 다른 의료인에 대한 TSS(950)의 사용자 인터페이스들은 수술 환경을 현실적으로 시뮬레이션하고 머신 인터페이스 경험을 훈련 또는 실시 연습의 일부로 제공하기 위해 사용될 수 있다.
외과의 평가
도 14는 일 실시예에 따른 외과의 평가기(908)의 동작 구성요소들, 및 그들의 상호작용들을 더 상세히 예시하는 도해이다. 외과의 평가기(908)의 중심부에는 수술 절차 동안, 또는 실시 또는 훈련에 대한 시뮬레이션 동안 사용될 수 있든지간에, TSS(950)의 제어 입력들을 조작하는 외과의의 수술 수행의 품질을 표현하는 평가 또는 점수를 생성하기 위해, 제어 입력 시그널링, 및 세그멘터(1004)뿐만 아니라, 제스처 평가기(1104)(이용가능한 경우), 작업 평가기(1108)에 의한 평가들을 분석하도록 프로그래밍되거나, 다른 방법으로 구성되는 수술 기술 평가기(1402)가 있다.
수술 기술 평가기에의 입력들은 운동 데이터(K)와 함께, 비디오 정보(V), 이벤트 정보(E), 제스처들(G), 및 평가된 작업들(T)을 포함한다. 이러한 데이터는 TSS(950), 또는 VSE(904)에 의해 (예를 들어, 수술 입력 평가기(1002), 및 시뮬레이터(1006)로부터) 제공될 수 있다. 관련 실시예에서, 입력들은 RNN(1204)에 의한 세그먼트화 결정들에 기초한 세그멘터(1004)의 신뢰 측정 엔진(1230), 또는 클러스터링 엔진(1228)에 의해 결정되는 바와 같이, 세그먼트화 신뢰 점수(S-C)를 포함할 수 있다.
세그먼트는 수술 절차 부분에 대응하고 비디오, 이벤트들, 제스처들, 작업들 및 운동들 중 하나 이상의 조합을 표현하는 하나 이상의 특징의 조합에 관해 정의된다. 세그먼트는 제스처들/작업들로 표현될 수 있거나 중간 제스처/작업 표현들 없이 직접 표현될 수 있는 이벤트들/운동들/비디오의 조합을 포함한다.
일 실시예에서, 수술 기술 평가기(1402)는 다양한 시간 및 공간 메트릭들 각각에 대한 다양한 통계들을 계산한다. 예컨대, 다양한 수술 절차 세그먼트들의 시간 지속이 평가될 수 있다. 마찬가지로, 작업 레벨 시간 지속들은 예를 들어, 세그먼트 당, 일부 방식으로 계산되고 결집될 수 있다. 동작 경제 분석이 또한 수행될 수 있으며, 그것은 특정 작업들 또는 수술 세그먼트들의 완료돠 연관되는, 제스처들 또는 다른 이동들의 양, 이벤트들의 양, 또는 이러한 양들의 일부 조합을 조사한다. 유휴 시간(즉, 이동의 부재)이 또한 고려될 수 있다. 다른 메트릭들, 예컨대 모션의 속도, 입력 디바이스 손목 각도들, 유휴 시간(예를 들어, 정상성(stationarity)), 마스터 작업공간 범위, 마스터 클러치 카운트, 인가된 에너지, 및 다른 그러한 파라미터들은 또한 수술 기술의 평가에서 고려될 수 있다. 카메라 제어 메트릭들, 예컨대 카메라 이동 빈도, 카메라 이동 지속, 카메라 이동 간격은 또한 수술 기술의 평가에서 고려될 수 있다. 일부 실시예들에서, 카메라 클러치 이동(CMFrq)은 전체 이벤트 또는 세그먼트 동안 시간 증가 당(예를 들어, 초당) 외과의에 의해 이루어지는 평균 수의 내시경 이동들로 정의되고; 카메라 이동 지속(CMDur)은 전체 이벤트 또는 세그먼트 동안 모든 내시경 이동들의 평균 시간 증가들(예를 들어, 초들)로 정의되고; 카메라 클러치 간격(CMInt)은 전체 이벤트 또는 세그먼트 동안 내시경 이동들 사이의 평균 시간 증가로(예를 들어, 초들로) 정의된다. 비제한 예로서, 카메라의 사용의 지속, 카메라 사용의 일관성, 에너지 인가의 지속(예를 들어, 조직을 절단하는 것, 조직을 지지는 것, 인가된 에너지를 증대하는 것), 마스터 클러치의 사용의 빈도, 상이한 아암들의 시간 제어(예를 들어, 아암 1과 아암 3의 사용 사이의 지속), 엔드 이펙터 배향을 갖는 마스터 정렬의 빈도 등이 있다.
평가 기준들(1406)은 외과의의 수행 평가를 계산하는 하나 이상의 기준을 정의한다. 하나의 타입의 실시예에서, 수술 절차의 수행은 절차의 상이하게 식별된 단계들에 대응하는 일련의 점수들로 주어진다. 평가 기준들(1406)은 그들의 상대적 중요성을 조정하기 위해 다양한 메트릭들에 적용되는 필터링, 마스킹, 및 가중 정보를 포함할 수 있다. 현저하게, 상이한 가중들/조정들은 상이한 수술 절차들 동안 또는 주어진 수술 절차의 상이한 단계들 동안 메트릭들에 적용될 수 있다. 또한, 평가 기준들(1406)은 수술 수행 평가를 렌더링할 시에 적용되는 알고리즘 또는 공식(들)을 정의할 수 있다. 수술 기술 평가기(1402)가 머신 습득 알고리즘, 예컨대 ANN, 분류기, 클러스터링 에이전트, 서포트 벡터 머신 등을 사용하는 일 실시예에서, 평가 기준들(1406)은 메트릭들의 특징 벡터들을 구성하는 기준들을 포함할 수 있다.
벤치마크 기술 데이터베이스(1404)는 대응하는 수술 절차들에서 전문가들인 것으로 간주되는 외과의들 또는 다른 의료인에 의해 달성되는 점수들 및 메트릭들을 포함한다.
예를 들어, 일부 실시예들에서, 벤치마크 데이터베이스(1404)는 카메라 제어 시간들에 기초하여 외과의 기술 레벨에 대한 벤치마크들을 포함한다. 발명자는 카메라 제어 시간들이 원격 조종 수술 시스템들(TSSs)의 사용에서 능숙자, 중급자, 또는 초보자로 지정된 외과의들에 대한 상이한 수술 작업들(예를 들어, 카메라 타겟팅, 도트들 및 니들들, 에너지 절개, 매치 보드, 니들 타겟팅, 페그 보드, 픽 앤 플레이스, 링 및 레일, 링 워크, 스케일링, 봉합, 스펀지, 링들을 꿰는 것, 및 튜브들)을 표현하는 다수의 연습 각각에 대해 측정된 연구를 수행했다. 연습들의 결과들은 카메라 제어 시간들에 기초하여 외과의 기술 레벨에 대한 벤치마크들을 생성하기 위해 사용된다. 연구는 능숙한 외과의들이 새로운 외과의들보다 상당히 더 빠른 카메라 제어를 일반적으로 수행하는 것을 발견했다. 중간 외과의들은 새로운 외과의들보다 상당히 더 빠른 연습들을 자주 수행했다. 그러나, 연구는 중간 및 능숙한 외과의들 사이의 연습 완료 시간의 어떠한 상당한 차이들을 발견하지 못했다.
연구는 다수의 놀라운 발견들을 드러냈다. 예를 들어, 능숙한 외과의들이 대부분의 연습들 동안 새로운 외과의들보다 상당히 더 높은 CMFrq를 가졌고, 중간 외과의들이 대부분의 연습들 동안 새로운 외과의들보다 상당히 더 높은 CMFrq를 가졌고 중간 및 능숙한 외과의들 사이의 CMFrq의 어떤 상당한 차이들이 없었던 것으로 발견되었다. 연구는 또한 능숙한 외과의들이 대부분의 연습들에서 새로운 외과의들보다 상당히 더 짧은 CMDur을 가졌던 것을 발견했다. 대부분의 연습들에서, 중간 외과의들은 새로운 외과의들보다 상당히 더 짧은 CMDur을 가졌다. 대부분의 연습들에서, 능숙한 외과의들은 중간 외과의들보다 상당히 더 짧은 CMDur을 가졌다. 대부분의 연습들에서, 능숙한 외과의들은 새로운 외과의들보다 상당히 더 짧은 CMInt를 가졌던 반면에 중간 외과의들은 대부분의 연습들에서 새로운 외과의들보다 상당히 더 짧은 CMInt를 가졌다. 중간 및 능숙한 외과의들 사이의 CMInt의 어떤 상당한 차이들이 없었다.
관련 실시예에서, 또한 실시간으로 수행될 수 있는, 작업 당 또는 세그먼트 당 구성되는 특징 벡터들은 주어진 절차 동안 수술 절차의 작업 또는 세그먼트에 대응하는 하나 이상의 벤치마크 점수와 비교된다. 비교는 당해 특징 벡터와 벤치마크 특징 벡터 사이의 간단한 데카르트 거리 측정치, 또는 유사성의 일부 다른 측정치일 수 있다. 유사성의 결정된 정도는 작업, 세그먼트 등에 대응하는 수술 수행 점수로 반환될 수 있다.
각각의 외과의에 대한 주어진 수술 절차 동안 계산되는 다양한 점수들은 외과의 데이터베이스(1408)에 저장된다. 시간에 따른 점수들은 외과의가 TSS(950)의 사용에서, 그리고 특정 절차들을 수행할 시에 경험 및 전문지식을 얻음에 따라 개선의 비율과 같은, 임의의 추세들을 검출하기 위해 분석될 수 있다. 일부 실시예들에 따르면, 외과의 데이터베이스(1408)는 1414에서의 실제 환자들에 수행되는 절차들에 대응하는 것들로부터, 1412에서의 TSS(950)의 시뮬레이션 전용 동작 사이의 수행 스코어링을 구별한다.
데이터 로깅
도 15는 예시적 실시예에 따른 데이터 로깅 시스템(906)의 동작 구성요소들, 및 그들의 상호작용들을 예시하는 도해이다. 인덱서(1502)는 데이터 검색을 용이하게 하기 위해 착신 데이터를 다른 관련 데이터와 연관시키도록 프로그래밍되거나, 다른 방식으로 구성된다. 도시된 예에서, 다양한 데이터는 수술 절차 동안 로깅될 수 있다. 예를 들어, 캡처된 비디오 및 임의의 추가된 주석들(1504), 평가된 입력 로그(1506), 평가된 작업 로그(1508), 시뮬레이션 로그(1510), 및 실행 수술 기술 평가 로그(1512). 데이터의 각각의 아이템은 그것의 캡처의 날짜 및 시간, 환자, 외과의, TSS, 절차 타입, 및 다른 관련 데이터와 추가로 연관될 수 있다.
일 실시예에서, 캡처된 비디오 및 주석 데이터(1504)에 대해, 인덱서(1502)는 비디오들을 수술 절차의 평가된 세그먼트들에 대응하는 세그먼트들로 분해할 수 있다. 평가된 입력 로그(1506)는 평가된 제스처들뿐만 아니라, 시계열 이벤트들 및 다른 입력 정보를 저장한다. 평가된 작업 로그(1508)는 실시간으로 수행되었던 작업들 및 수술 절차 세그먼트들의 평가들을 포함한다. 일 실시예에서, 평가된 입력 로그(1506)는 단기 저장 부분 및 장기 저장 부분을 포함하며, 단기 저장 부분은 이벤트들을 포함하는 모든 착신 입력 정보를 저장하는 반면에; 장기 저장 부분은 작업-결정 판단들이 이루어졌던 그러한 입력들만을 저장한다.
시뮬레이션 로그(1510)는 시뮬레이터(1006)의 환자 모델(1302) 및 TSS 모델러(1310)를 설명하는 시계열 상태 정보를 포함한다. 일 실시예에서, 시뮬레이션 로그의 샘플링 속도는 세그먼트화 평가가 수행되는 속도(예를 들어, 4 내지 20 샘플/초)와 유사하다. 충분한 데이터는 수행된 수술 절차의 상세한 검토 및 분석을 가능하게 하기 위해 로깅된다.
실행 수술 기술 평가 로그(1512)는 수술 기술 평가기(1402)에 의해 생성되는 끊임없이 갱신된 외과의 수행 스코어링의 시계열 샘플들을 저장한다. 실행 수술 기술 평가 로그(1512)에서 로깅되는 데이터는 현재 환자에 수행되는 현재 수술 절차(또는 시뮬레이션)에 특정할 수 있다. 이러한 데이터 세트는 외과의 데이터베이스(1408)에서의 데이터와 오버래핑될 수 있으며(도 14), 이 데이터베이스는 다수의 상이한 환자들, 절차들, 및 날짜들에 걸쳐 외과의 특정 데이터를 저장한다.
보조 엔진
도 16은 일부 실시예들에 따른 보조 엔진(910)의 동작 구성요소들, 및 그들의 상호작용들을 예시하는 도해이다. 도시된 바와 같이, 보조 엔진(910)은 외과의 보조에 대한 호출을 검출하도록 프로그래밍되거나, 다른 방법으로 구성되는 보조 호출 검출기(1600)를 포함한다. 일부 실시예들에서, 보조 호출 검출기(1600) 절차 수행 센서(1602) 및 TSS 사용자 인터페이스(user interface)(UI) 인터페이스(1604), 즉 이러한 엔진들 중 어느 하나는 그들의 각각의 입력에 응답하여 보조 엔진(910)의 보조 동작을 개시할 수 있다. 절차 수행 센서(1602)는 VSE(904) 및 외과의 평가기(908)의 동작을 감시한다. 예를 들어, (예를 들어, 데이터베이스에 로깅되는 바와 같이(1512)) 실행 수술 기술 평가와 오버레이되는, 세그멘터(1004)의 출력은 수술 절차의 단계 상에 정보를 제공하고, 그러한 단계에서 외과의의 측정된 수행을 제공한다.
보조 기준들(1603)은 충족될 때, 아래에 설명되는 보조 렌더링 엔진들 중 하나 이상에 의해 보조 액션의 조작을 트리거링하는 다양한 임계 조건들을 포함한다. 현저하게, 상이한 임계치들은 상이한 타입들의 보조와 연관될 수 있다. 동작에서, 절차 수행 센서(1602)는 현재 수술 절차 및 그것의 세그먼트에 대한 현재 실행 수술 기술 평가를, 절차 및 단계에 대응하는 임계 조건과 비교한다. 임계 조건 비교가 충족되면 - 즉, 현재 실행 수술 기술 평가 점수가 임의의 주어진 임계치 아래로 내려가면, 대응하는 보조가 제안되고 그리고/또는 제공될 수 있다.
관련 실시예들에서, 보조 기준들(1603)의 임계 조건은 또한 외과의 특정, 또는 환자 특정일 수 있다. 예컨대, 상대적으로 더 능숙한 외과의는 더 초보 외과의보다, 보조가 제안되기 전에 더 높은 임계치를 갖는 시스템을 구성할 수 있다. 마찬가지로, 더 낮은 임계치는 더 위험한 조건에서의 환자(예를 들어, 심각한 외상 환자, 고령의 환자, 신생아 또는 조산 환자 등)에 대한 수술을 위해 선택될 수 있다.
부가적으로, 예를 들어, 보조 기준들(1603)은 절차의 특정 단계에서 전문지식을 갖는 특정 전문 외과의들로부터 입력을 선택적으로 요청하기 위해 사용될 수 있다. 예를 들어, 특정 외과의들은 복잡한 절개들에 실제로 능숙할 수 있고 따라서 그들은 누군가가 그러한 단계로 고심하면 "대기중인" 사람들이어야 한 반면에 다른 외과의들은 더 간단한 단계들을 위해 호출받을 수 있다.
TSS UI 인터페이스(1604)는 정보를 TSS(950)의 외과의의 콘솔과 교환한다. TSS UI 인터페이스(1604)는 구체적 보조를 위해 외과의로부터 요청을 수신할 수 있으며, 그 경우에, TSS UI 인터페이스는 보조 렌더링 엔진에게 대응하는 보조를 제공하도록 명령할 수 있다. 맥락 관련 보조 정보는 그러한 정보를 외과의의 콘솔에 공급하는 TSS UI 인터페이스를 통해 외과의에게 마찬가지로 디스플레이될 수 있다.
관련 실시예에서, 절차 수행 센서(1602)에 의한 보조를 위한 자동화된 호출에 응답하여, TSS UI 인터페이스(1604)는 시각 또는 가청 통지를 그러한 보조를 제안하는 외과의에게 제공하고, 외과의를 위한 제어 입력을 제공하여 보조를 수락하거나, 거절하거나, 연기한다.
도시된 실시예에 따르면, 다수의 상이한 보조 렌더링 엔진들은 외과의 또는 다른 의료인을 위한 대응하는 타입들의 보조를 제공하기 위해 이용가능하다. 여러 가지 다른 실시예들에서, 더 많거나 더 적은 보조 렌더링 엔진들이 제공된다. 도시된 바와 같이, 비디오 큐어(1606)는 재생을 위해 데이터베이스로부터 비디오 세그먼트(들)(1608)를 검색하도록 구성된다. 비디오 세그먼트들은 세그멘터(1004)에 의해 결정되는 바와 같이, 수술 절차의 현재 단계에 대한 특정 대응을 가질 수 있다. 예컨대, 큐잉되는 비디오 세그먼트는 수술 절차의 현재 단계, 또는 다음 단계를 표현할 수 있다.
통지기(1610)는 전문 접촉 정보(1612)에 따라 대기중인 외과의와의 통신들을 개시하도록 구성되며, 그것은 원격 콘솔 또는 다른 인터페이스를 통해, 직접 안내 및/또는 보조를 외과의에게 제공할 수 있다.
기술 어드바이저(1614)는 수술 기술 요건 데이터베이스(1616)에 기초하여, 현재 또는 다음 수술 단계에 응답하고 외과의의 평가된 실행 수술 기술 평가를 고려하여, 주어진 시나리오에 사용되는 특정 수술 기술을 추천할 수 있다. 관련 실시예에서, 기술 어드바이저(1614)는 적용가능 프롬프팅 또는 다른 명령어들 또는 권고들을 다른 의료인, 예컨대 수술 환경 내의 하나 이상의 보조원에게 제공할 수 있다.
관련 실시예에서, 기술 어드바이저(1614)는 그러한 외과의에 대응하는 이력 데이터에 임의로 기초할 뿐만 아니라, 단계들의 지속, 단계들의 순서, 단계들의 수행 레벨에 기초하여 - 현재 세그먼트 및 외과의 수행에 모두 기초하여 다음 수술 단계를 예측하는 예측 기능을 포함한다. 이러한 정보는 장래의 이벤트들, 예컨대 최적 또는 전환에 대한 절차의 끝, 다음 기구 교환 등을 예상하기 위해 사용될 수 있다.
시뮬레이션 구성기(1618)는 현재 또는 다음 수술 절차 단계에 대응하는 시뮬레이터(1006)에 의해 실행되는 시뮬레이션 시나리오를 독자적으로 셋업하도록 동작가능하다. 이러한 타입의 보조는 외과의가 실제 수술 환경으로 복귀하고 환자에 기술을 수행하기 전에, 가상 수술 환경에서 특정 기술을 수술 중에 실시하는 것을 허용할 수 있다.
제어 설정 조정기(1620)는 수술 작업을 용이하게 하기 위해 제어 입력에 응답하여 TSS의 하나 이상의 작용을 자동으로 변화시키도록 동작가능하다. 조정은 절차 특정, 작업 특정, 외과의 특정, 또는 그것의 일부 조합일 수 있는 제어 조정 규칙들(1622)에 따라 수행될 수 있다. 가변 TSS 작용들의 예들은 제어 입력 감도 조정(예를 들어, 주어진 입력 이벤트 또는 제스처에 대한 모션 속도의 감소), 제스처 필터링(예를 들어, 어떤 입력 이동들이 수술 효과를 야기하는 것을 허용하지만, 다른 것들을 허용하지 않음), 비디오 캡처 설정들에 대한 조정들 등을 포함한다. 다른 조정들은 카메라 수평선/줌/위치, 테이블 위치, 이미지 성질들(컬러, 색조, 오버레이들 등), 현재 환자 또는 관련 환자들로부터의 현재/다음 단계에 대한 수술 전 이미지들의 로딩, 마스터 도구 모션 스케일링, 힘 피드백 이득, 상황/세그먼트에 따라 상이한 제어 입력 버튼 프레스들의 매핑, 또는 그것의 일부 조합을 포함한다.
도 21a 내지 도 21c는 외과의가 원격 조종 수술 시스템(TSS)의 수술 장면 내에서 수술 기구들을 더 정확히 제어할 수 있는 관점을 달성할 시에 외과의를 보조하기 위해 제어 설정 조정기(1620)에 영향을 받는 수술 장면 수평선 변경들을 도시하는 예시적 도면들이다. 외과의는 좌안 디스플레이(32) 및 우안 디스플레이(34)를 통해 수술 기구들을 포함하는 수술 장면을 입체적으로 본다(입체적 외과의 뷰가 예시적 목적들을 위해 도시되고 설명되더라도, 여러 가지 다른 실시예들에서, 평면 뷰가 제공될 수 있다는 점을 주목함). 예를 들어, TSS가 3개의 상이한 수술 기구(2110, 2112, 2114), 플러스 내시경 장착 카메라(도시되지 않음)를 장착하는 것을 가정한다. 외과의는 좌측 및 우측 핸드그립 제어 입력들(36, 38)을 사용하여 수술 기구들 및 내시경을 둘씩 제어할 수 있다. 카메라의 시야 내에 있는 기구들은 수술 장면 뷰 내에서 외과의에게 가시적이다. 예를 들어, 외과의는 외과의가 변경하는 하나의 작업으로부터 다른 작업으로의 전이 동안 기구들을 변경하는 것을 추가로 가정한다. 더욱이, 기구로부터의 변경은 기구로의 변경과 수술 장면 내의 상이한 위치에 위치되는 것을 가정한다. 그러한 경우에, 좌측 및 우측 핸드그립 제어 입력들(36, 38) 상의 외과의 그립이 변경되지 않더라도, 외과의의 제어 하에 현재 있는 수술 장면 내의 수술 기구의 위치 및 배향이 변경되었다. 제어 설정 조정기(1620)는 수술 기구들의 정확도 및 제어를 개선하거나 최적화하기 위해 좌측 및 우측 핸드그립 제어 입력들(36, 38) 상의 외과의의 손 위치들을 갖는 수술 장면 내에서 외과의 제어 하에 현재 기구들의 외과의의 관점을 조화시키도록 수술 장면 수평선의 조정을 제공할 수 있다.
도 21a를 참조하면, 외과의의 제어 하에 현재 제1 및 제2 수술 기구들(2110, 2112)을 포함하는 수평 아이콘(2120)의 배향에 의해 표시되는 제1 수평선을 갖는 제1 수술 장면(2100)이 도시된다. 수평 아이콘(2120)은 스크린 내의 임의의 오버레이가 "레벨"인 수술 장면 수평선을 표시함에 따라 - 전형적으로 내시경이 환자 측 카트 상의 조작기에서 중립 위치에 있을 때 디스플레이될 수 있다. 레벨 수평선은 환자 측 아암 내의 중립 위치로 명목상 정의되며 - 이들이 위치를 결코 변경하지 않으므로 좌측 및 우측 디스플레이들에 대한 것은 아니라는 점이 이해될 것이다. 더욱이, 도 21a에 도시된 수술 기구들(2110, 2112) 및 제1 수술 장면 수평선의 배향들은 외과의의 눈들의 앞에 직접 배치되는 장면을 볼 때 좌측 및 우측 핸드그립 제어 입력들(36, 38) 상의 외과의의 손들의 자연적 해부 배향들과 일치한다는 점이 이해될 것이다. 외과의의 손들의 3D 데카르트 위치들이 TSS의 마스터 클러치 능력으로 인해 기구들의 3D 데카르트 위치와 상이할 수 있다는 점을 주목한다.
도 21b를 참조하면, 외과의의 제어 하에 현재 제1 및 제3 수술 기구들(2110, 2114)을 포함하는 수평 아이콘(2120)의 배향에 의해 표시되는 제1 수평선을 갖는 제2 수술 장면(2102)이 도시된다. 제1 장면(2100)으로부터 제2 장면(2102)으로의 전이 중에, 외과의는 제2 수술 기구를 사용하는 것(파선들로 도시됨)(2112)으로부터 제3 수술 기구(2114)를 사용하는 것으로 변경했던 것으로 가정된다. 따라서, 좌측 및 우측 핸드그립 제어 입력들(36, 38) 상의 외과의 외과의의 손들은 제1 장면(2100)에서 수행했던 바와 같이 제1 및 제2 수술 기구들(2110, 2112)을 제어하는 것보다는 오히려 제2 수술 장면(2102) 내에서 제1 및 제3 수술 기구들(2110, 2114)을 제어한다. 제2 및 제3 수술 기구들(2112, 2114)은 수술 장면 내의 상이한 위치들에 위치된다. 더욱이, 수평 아이콘(2120)은 좌 및 우안 디스플레이들(32, 34)의 관점에서의 제2 수술 장면(2102)의 뷰가 관점이 제1 장면(2100)에 대한 것과 동일한 것을 표시한다. 따라서, 외과의는 이제 제3 기구(2114)를 제어하며, 제3 기구는 제2 수술 장면(2102)에서 이전에 제어된 제2 기구(2112)의 것과 상이한 위치에 설치된다. 좌측 및 우측 핸드그립 제어 입력들(36, 38) 상의 외과의의 손 위치들이 변경되지 않을 수 있고 수술 장면 수평선이 변경되지 않더라도, 현재 제어된 기구들 중 하나, 즉 제3 기구(2114)의 위치가 변경된다. 부가적으로, 외과의가 그러한 기구를 통해 제어를 취득하기 전에 제3 기구(2114)의 자세를 미러링하도록 요구받으면, 우측 핸드그립 제어 입력(38)의 배향은 기구(2112)와 상이한 제3 기구(2114)의 새로운 배향과 매칭하기 위해 변경되어야 할 것이다. 이러한 그리고 잠재적으로 이유들로, 도 21b에 도시된 수술 기구들(2110, 2114) 및 제2 수술 장면 수평선의 위치들은 좌측 및 우측 핸드그립 제어 입력들(36, 38) 상의 외과의의 손들의 자연적 해부 위치들과 일치하지 않을 수 있다. 이러한 불일치의 결과로서, 외과의는 그 또는 그녀가 다른 방법으로 가질 수 있는 정확도 및/또는 재주로 제3 기구(2114)를 이동가능하지 않을 수 있다.
도 21c를 참조하면, 외과의의 제어 하에 현재 제1 및 제3 수술 기구들(2110, 2114)을 포함하는 수평 아이콘(2120)의 배향에 의해 표시되는 제2 수평선을 갖는 제3 수술 장면(2104)이 도시된다. 제3 장면(2104)은 수술 장면 수평선이 수평 아이콘의 배향에 의해 표시된 바와 같이 변경되는 것을 제외하고 제2 장면(2102)과 동일하다. 장면 배향의 변경의 결과로서, 도 21c에 도시된 수술 기구들(2110, 2114) 및 제3 수술 장면 수평선의 위치들/배향은 외과의의 눈들의 앞에 직접 배치되는 장면을 볼 때 좌측 및 우측 핸드그립 제어 입력들(36, 38) 상의 외과의의 손들의 자연적 해부 위치들과 더 밀접히 일치한다는 점이 이해될 것이다. 수술 장면 수평선의 배향의 변경의 결과로서, 외과의는 그 또는 그녀가 제2 장면(2102)의 수술 장면 수평선에서 할 수 있는 더 큰 정확도로 제3 기구(2114)를 더 쉽게 이동시킬 수 있다.
제어 설정 조정기(1620)는 수평 배향을 제2 수술 장면(2102)에 도시된 것으로부터 제3 수술 장면(2104)에 도시된 것으로 변경하기 위해 카메라 배향 제어 설정들의 변경들을 내시경 장착 카메라에 부여한다. 수술 기술 평가기(1402)는 예를 들어, 전문 외과의들이 제2 및 제3 장면들(2110, 2114)에 도시된 제1 및 제3 기구들(2100, 2104)의 위치들에서 기구들을 제어할 때 제3 장면(2114)의 수평 배향을 사용하는 것을 결정할 수 있다. 제어 설정 조정기(1620)는 초보 외과의를 대신하여 그러한 수평 배향 변경을 자동으로 구현할 수 있다. 따라서, 예를 들어, 초보 외과의는 기구 이동의 전문 외과의들의 정확도에 따라 수술 장면 수평선의 변경을 통해 개선될 수 있는 작업으로 전이할 때, 제어 설정 조정기(1620)는 장면 내의 수술 장면 수평선 배향 및 기구 위치들을 좌측 및 우측 핸드그립 제어 입력들(36, 38) 상의 외과의의 손 위치들과 더 잘 상관시키기 위해 수술 장면 수평선의 배향을 자동으로 변경할 수 있다.
도 22a 내지 도 22b는 외과의가 TSS의 수술 장면 내에서 관련 정보를 더 잘 관찰할 수 있는 관점을 달성할 시에 외과의를 보조하기 위해 제어 설정 조정기(1620)에 영향을 받는 수술 장면 이차원 위치 변경들을 도시하는 예시적 도면들이다. 도 22a를 참조하면, 제1 및 제2 수술 기구들(2110, 2112)이 수술 장면(2200)의 에지 근방에 배치되는 그들의 엔드 이펙터 부분들을 갖는 제4 수술 장면(2200)이 도시된다. 수술 기구들(2100, 2102)이 제4 수술 장면(2200)에서와 같이 장면 에지 근방에 배치된 상태에서, 신체 조직(도시되지 않음)과 같은, 그러한 장면 에지 근방에 배치되는 관심있는 아이템들이 가시 장면 외부에 배치되고, 따라서, 외과의에게 보여지지 않을 수 있다는 점이 이해될 것이다. 도 22b를 참조하면, 제1 및 제2 수술 기구들(2110, 2112)이 수술 장면(2202)의 중심에 더 가깝게 위치되는 그들의 엔드 이펙터 부분들을 갖는 제5 수술 장면(2202)이 도시된다. 제어 설정 조정기(1620)는 어느 기구들에서 엔드 이펙터들이 장면의 에지에 배치되는 제1 이차원 영역을 디스플레이하는 제2 수술 장면(2102)으로부터, 어느 기구들에서 엔드 이펙터들이 장면의 중심 근방에 배치되느 제2 이차원 영역을 디스플레이하는 제3 수술 장면(2104)으로 변경하기 위해 카메라 제어 설정들의 변경들을 내시경 장착 카메라에 부여한다. 수술 기술 평가기(1402)는 예를 들어, 기구들이 예를 들어 중심과 같은, 수술 장면 내의 특정 영역에 디스플레이되는 것을 전문 외과의들이 선호하는 것을 결정할 수 있다. 따라서, 예를 들어, 초보 외과의는 전문 외과의들에 따라, 장면의 중심을 향해 기구들을 이동시키기 위해 묘사되는 장면의 영역의 변경으로 더 잘 보여질 수 있는 장면을 수반하는 작업으로 전이할 때, 예를 들어, 제어 설정 조정기(1620)는 장면 내에 묘사되는 기구들 및 조직 구조들(도시되지 않음)의 위치를 변경하기 위해 카메라의 위치들을 자동으로 변경할 수 있다.
도 23a 내지 도 23b는 외과의가 TSS의 수술 장면 내에서 관련 정보를 더 잘 관찰할 수 있는 관점을 달성할 시에 외과의를 보조하기 위해 제어 설정 조정기(1620)에 영향을 받는 수술 장면 줌 레벨 변경들을 도시하는 예시적 도면들이다. 도 23a를 참조하면, 제1 및 제2 수술 기구들(2110, 2112)이 수술 장면(2200) 내에서 떨어져 있고 작게 나타나기 위해 줌 아웃으로 도시되는 제6 수술 장면(2300)이 도시된다. 제6 수술 장면(2300)에서의 수술 기구들(2100, 2102)의 떨어져 있고 작은 출현은 또한 신체 조직(도시되지 않음)과 같은, 관심있는 다른 아이템들을 야기하며, 그것과 수술 기구들(2100, 2102)이 상호작용하여 떨어져 있고 작은 것으로 나타나고, 따라서 외과의가 보기가 곤란하다는 점이 이해될 것이다. 도 23b를 참조하면, 제1 및 제2 수술 기구들(2110, 2112)이 상세히 보기 위해 더 가깝고 더 크고 더 쉽게 나타나기 위해 줌 인으로 도시되는 제7 수술 장면(2302)이 도시된다. 제어 설정 조정기(1620)는 제1 줌 아웃 줌 레벨을 디스플레이하는 제5 수술 장면(2300)으로부터 제2 줌 인 줌 레벨을 디스플레이하는 제7 수술 장면(2302)으로 변경하기 위해 카메라 제어 설정들의 변경들을 내시경 장착 카메라에 부여한다. 수술 기술 평가기(1402)는 예를 들어, 기구들이 특정 작업들에 대한 특정 줌 레벨에 디스플레이되는 것을 전문 외과의들이 선호하는 것을 결정할 수 있다. 따라서, 예를 들어, 초보 외과의는 전문 외과의들에 따라, 줌 레벨의 변경으로 더 잘 보여질 수 있는 장면을 수반하는 작업으로 전이할 때, 예를 들어, 제어 설정 조정기(1620)는 카메라의 줌 레벨을 자동으로 변경할 수 있다.
부가적으로, 카메라 조정들은 이동들 및 상호작용들에 대한 카메라 위치/배향을 최적화하기 위해 카메라의 환자의 해부 위치 및 배향의 추정치들을 수반할 수 있다. 예를 들어, 외과의가 해부학적 구조에 기초하여 니들을 특정 방향으로 구동할 필요가 있으면, 카메라는 자체를 이러한 환경 단서에 정렬할 수 있다.
일부 실시예들에서, 이러한 보조 엔진들 중 어느 것에 의한 보조는 단계 현재 평가에 기초하여, 현재 수술 절차 단계에 단계 동기화될 수 있다. 위에 논의된 바와 같이, 단계 동기화는 엄격한 시간 정렬보다는 오히려, 수술 프로세스 흐름에 관한 정렬을 언급한다. 일부 실시예들에서, 단계 동기화는 보조가 수술 절차의 다음 단계를 위한 외과의 또는 수술 팀을 준비하기 위해 제공될 수 있도록 단계 오프세팅을 지원한다.
보조는 세그멘터(1004), 시뮬레이터(1006), 외과의 평가기(908)에 의해, 또는 이러한 엔진들 중 2개 이상을 포함하는 조합에 의해 평가되는 바와 같이, 사용되는 평가된 타입의 수술 기술과 매칭하기 위해 추가로 선택될 수 있다.
도 17은 일반 목적 머신의 예시적 형태에서 컴퓨터 시스템을 예시하는 블록도이다. 특정 실시예들에서, 본원에 설명되는 하나 이상의 특정 동작 아키텍처 및 알고리즘에 따른 컴퓨터 시스템(1700)의 프로그래밍은 VSE(904), 데이터 로깅 엔진(906), 외과의 평가기(908), 보조 엔진(910), 또는 이러한 시스템들의 임의의 조합을 형성하기 위해, 그러한 프로그래밍의 실행 시에 특수 목적 머신을 생성한다. 네트워크화된 전개에서, 컴퓨터 시스템은 서버-클라이언트 네트워크 환경들에서 서버 또는 클라이언트 머신의 자격으로 동작할 수 있거나, 또는 피어-투-피어(또는 분산) 네트워크 환경들에서 피어 머신으로서의 역할을 할 수 있다.
예시적 컴퓨터 시스템(1700)은 적어도 하나의 프로세서(1702)(예를 들어, 중앙 처리 유닛(central processing unit)(CPU), 그래픽 처리 유닛(graphics processing unit)(GPU) 또는 둘 다, 프로세서 코어들, 컴퓨트 노드들 등), 메인 메모리(1704) 및 정적 메모리(1706)을 포함하며, 그들은 링크(1708)(예를 들어, 버스)를 통해 서로 통신한다. 컴퓨터 시스템(1700)은 비디오 디스플레이 유닛(1710), 영숫자 입력 디바이스(1712)(예를 들어, 키보드), 및 사용자 인터페이스(UI) 네비게이션 디바이스(1714)(예를 들어, 마우스)를 추가로 포함할 수 있다. 일 실시예에서, 비디오 디스플레이 유닛(1710), 입력 디바이스(1712) 및 UI 네비게이션 디바이스(1714)는 터치 스크린 디스플레이로 포함된다. 컴퓨터 시스템(1700)은 저장 디바이스(1716)(예를 들어, 드라이브 유닛), 신호 발생 디바이스(1718)(예를 들어, 스피커), 네트워크 인터페이스 디바이스(network interface device)(NID)(1720), 및 하나 이상의 센서(도시되지 않음)를 부가적으로 포함할 수 있다.
저장 디바이스(1716)는 본원에 설명되는 방법들 또는 기능들 중 어느 하나 이상을 구체화하거나 어느 하나 이상에 의해 이용되는 하나 이상의 세트의 데이터 구조들 및 명령어들(1724)(예를 들어, 소프트웨어)이 저장되는 머신 판독가능 매체(1722)를 포함한다. 명령어들(1724)은 또한 메인 메모리(1704), 정적 메모리(1706) 내에, 및/또는 컴퓨터 시스템(1700)에 의한 그것의 실행 동안 프로세서(1702) 내에, 전적으로 또는 적어도 부분적으로, 상주할 수 있으며, 메인 메모리(1704), 정적 메모리(1706), 및 프로세서(1702)는 또한 머신 판독가능 매체들을 구성한다.
머신 판독가능 매체(1722)가 예시적 실시예에서 단일 매체인 것으로 예시되더라도, 용어 "머신 판독가능 매체"는 하나 이상의 명령어(1724)를 저장하는 단일 매체 또는 다수의 매체(예를 들어, 중앙집중식 또는 분산 데이터베이스, 및/또는 연관된 캐시들 및 서버들)를 포함할 수 있다. 용어 "머신 판독가능 매체"는 또한 머신에 의한 실행을 위한 명령어들을 저장, 인코딩 또는 반송할 수 있고 머신으로 하여금 본 개시내용의 방법들 중 어느 하나 이상을 수행하게 하거나 그러한 명령어들에 의해 이용되거나 이 명령어들과 연관되는 데이터 구조들을 저장, 인코딩 또는 반송할 수 있는 임의의 유형의 매체을 포함하는 것으로 취해질 것이다. 따라서, 용어 "머신 판독가능 매체"는 고체 상태 메모리들, 및 광 및 자기 매체들을 포함하지만, 이들에 제한되지 않도록 취해질 것이다. 머신 판독가능 매체들의 구체적 예들은 예로서, 반도체 메모리 디바이스들(예를 들어, 전기적 프로그램가능 판독 전용 메모리(electrically programmable read-only memory)(EPROM), 전기적 소거가능 프로그램가능 판독 전용 메모리(electrically erasable programmable read-only memory)(EEPROM)) 및 플래시 메모리 디바이스들; 자기 디스크들 예컨대 내부 하드 디스크들 및 이동식 디스크들; 자기-광 디스크들; 및 CD-ROM 및 DVD-ROM 디스크들을 포함하지만 이들에 제한되지 않는 비휘발성 메모리를 포함한다.
다양한 실시예들에 따른 NID(1730)는 임의의 적절한 폼 팩터를 취할 수 있다. 하나의 그러한 실시예에서, NID(1720)는 링크(1708)를 통해 프로세서(1702)와 인터페이스되는 네트워크 인터페이스 카드(network interface card)(NIC)의 형태이다. 일 예에서, 링크(1708)는 NIC 폼 팩터가 제거가능하게 맞물릴 수 있는 슬롯을 포함하는 PCI 익스프레스(PCI Express)(PCIe) 버스를 포함한다. 다른 실시예에서, NID(1720)는 로컬 링크 회로, 프로세서 인터페이스 회로, 다른 입력/출력 회로, 메모리 회로, 저장 디바이스 및 주변 컨트롤러 회로 등과 함께 머더보드 상에 레이아웃되는 네트워크 인터페이스 회로이다. 다른 실시예에서, NID(1720)는 범용 직렬 버스(universal serial bus)(USB) 포트와 같은 주변 입력/출력 포트를 통해 링크(1708)와 인터페이스되는 주변 장치이다. NID(1720)는 송신 매체(1726)를 통해 데이터를 송신하고 수신하며, 송신 매체는 유선 또는 무선(예를 들어, 무선 주파수, 적외 또는 가시 광 스펙트럼들 등), 광섬유 등일 수 있다.
도 18은 도 17에 도시된 것과 같은 컴퓨팅 디바이스의 예시적 하드웨어 및 소프트웨어 아키텍처를 예시하는 도해이며, 여기서 하드웨어 구성요소들과 소프트웨어 구성요소들 사이의 다양한 인터페이스들이 도시된다. HW에 의해 표시되는 바와 같이, 하드웨어 구성요소들은 분할기 라인 아래에 표현되는 반면에, SW에 의해 표시되는 소프트웨어 구성요소들은 분할기 라인 위에 상주한다. 하드웨어 측 상에서, 처리 디바이스들(1802)(하나 이상의 프로세서 코어를 갖는 하나 이상의 마이크로프로세서, 디지털 신호 프로세서들 등을 포함할 수 있음)은 메모리 관리 디바이스(1804) 및 시스템 인터커넥트(1806)와 인터페이스된다. 메모리 관리 디바이스(1804)는 실행되고 있는 프로세스들에 의해 사용되는 가상 메모리와, 물리 메모리 사이에 매핑들을 제공한다. 메모리 관리 디바이스(1804)는 또한 처리 디바이스들(1802)을 포함하는 중앙 처리 유닛의 일체형 부분일 수 있다.
인터커넥트(1806)는 백플레이 예컨대 메모리, 데이터, 및 제어 라인들뿐만 아니라, 입력/출력 디바이스들과의 인터페이스, 예를 들어 PCI, USB 등을 포함한다. 메모리(1808)(예를 들어, 동적 랜덤 액세스 메모리 - DRAM) 및 비휘발성 메모리(1809) 예컨대 플래시 메모리(예를 들어, 전기적 소거가능 판독 전용 메모리 - EEPROM, NAND 플래시, NOR 플래시 등)는 메모리 컨트롤러(1810)를 통해 메모리 관리 디바이스(1804) 및 인터커넥트(1806)와 인터페이스된다. 이러한 아키텍처는 일부 실시예들에서 주변 장치들에 의해 직접 메모리 액세스(direct memory access)(DMA)를 지원할 수 있다. Wi-Fi 또는 LTE 계열 인터페이스들을 통해 통신하는 것들과 같은 네트워크 인터페이스 디바이스들뿐만 아니라, USB, 블루투스 등과 같은 비디오 및 오디오 어댑터들, 비휘발성 스토리지, 외부 주변 링크들을 포함하는, I/O 디바이스들은 I/O 디바이스들 및 네트워킹(1812)으로 집합적으로 표현되며, 그들은 대응하는 I/O 컨트롤러들(1814)을 통해 인터커넥트(1806)와 인터페이스된다.
소프트웨어 측 상에서, 프리-오퍼레이팅 시스템(pre-operating system)(pre-OS) 환경(1816)은 초기 시스템 시동에서 실행되고 운영 체제의 부트 업을 개시할 책임이 있다. 프리-OS 환경(1816)의 하나의 전통적인 예는 시스템 기본 입력/출력 시스템(basic input/output system)(BIOS)이다. 현대 시스템들에서, 통일 확장 펌웨어 인터페이스(unified extensible firmware interface)(UEFI)가 구현된다. Pre-OS 환경(1816)은 운영 체제의 론칭을 개시할 책임이 있지만, 또한 본 발명의 특정 양태들에 따른 내장된 애플리케이션들을 위한 실행 환경을 제공한다.
운영 체제(Operating system)(OS)(1818)는 하드웨어 디바이스들을 제어하는 커널을 제공하고, 메모리에서의 프로그램들에 대한 메모리 액세스를 관리하고, 작업들을 조정하고 다중 작업을 용이하게 하며, 저장되는 데이터를 조직화하고, 메모리 공간 및 다른 자원들을 할당하고, 프로그램 이진 코드를 메모리로 로딩하고, 이때 사용자 및 하드웨어 디바이스들과 상호작용하는 응용 프로그램의 실행을 개시하고, 다양하게 정의된 인터럽트들을 검출하고 이 인터럽트들에 응답한다. 또한, 운영 체제(1818)는 애플리케이션들이 그러한 공통 동작들의 상세들을 처리할 책임이 있을 필요가 없도록 응용 프로그램들을 위한 추상화를 제공하는, 주변 장치와의 인터페이싱 및 네트워킹을 용이하게 하는 것들과 같은 디바이스 드라이버들, 및 다양한 공통 서비스들을 제공한다. 운영 체제(1818)는 모니터, 키보드, 마우스, 마이크로폰, 비디오 카메라, 터치스크린 등과 같은 주변 디바이스들을 통해 사용자와의 상호작용을 용이하게 하는 그래픽 사용자 인터페이스(graphical user interface)(GUI)를 부가적으로 제공한다.
런타임 시스템(1820)은 함수 호출, 디스크 입력/출력(input/output)(I/O)의 작용, 및 병렬 실행 관련 작용들 전에 파라미터들을 스택 위로 두는 것과 같은 그러한 동작들을 포함하는, 실행 모델의 부분들을 구현한다. 런타임 시스템(1820)은 또한 타입 체킹, 디버깅, 또는 코드 발생 및 최적화와 같은 지원 서비스들을 수행할 수 있다.
라이브러리들(1822)은 응용 프로그램들을 위한 추가 추상화를 제공하는 프로그램 기능들의 집합들을 포함한다. 이들은, 예를 들어 공유 라이브러리들, 동적 링크된 라이브러리들(dynamic linked libraries)(DLLs)을 포함한다. 라이브러리들(1822)은 운영 체제(1818), 런타임 시스템(1820)에 일체로 될 수 있거나, 추가된 특징들일 수 있거나, 심지어 원격 호스팅될 수 있다. 라이브러리들(1822)은 운영 체제(1818)에 의해 제공되는 서비스들을 호출하기 위해 다양한 함수 호출들이 응용 프로그램들(1824)에 의해 이루어질 수 있는 응용 프로그램 인터페이스(application program interface)(API)를 정의한다. 응용 프로그램들(1824)은 컴퓨팅 디바이스 자체의 기본 동작성을 조정하는 저레벨 시스템 프로그래들에 의해 수행되는 작업들을 넘어, 사용자들에 대한 유용한 작업들을 수행하는 그러한 프로그램들이다.
프로세스 흐름
도 20은 시스템(900)과 같은 TSS 지원 시스템을 동작시키는 예시적 방법(2000)을 예시하는 프로세스 흐름도이다. 방법(2000)은 예시적 목적들을 위해 여러 가지 상이한 동작들을 결합하는 풍부한 특징이 있는 실시예인 점이 주목되어야 한다. 도 20에 도시된 예가 실제적 실시예일 수 있을지라도, 여러 가지 다른 실시예들에서, 특정 동작들이 수정되거나, 생략되거나, 재배열될 수 있다는 점이 이해될 것이다.
이하의 설명은 도 9 내지 도 16의 시스템 및 동작 구성요소 도해들과 함께, 도 20을 참조한다. 2002에서, 수술 입력 평가기(1002)의 이벤트 모니터(1102)는 수술 입력을 수신한다. 수술 입력은 TSS의 감시된 이벤트들을 포함한다. 게다가, 수술 입력은 시뮬레이터(1006)에서 TSS의 계산 모델에 대한 제어 입력들을 포함할 수 있다. 수술 입력은 또한 TSS의 계산 모델로부터의 모델링된 이벤트들을 포함할 수 있다.
2004에서, TSS 모델러(1310)는 가상 수술 환경에서 TSS를 모델링한다. 이것은 구성 정보(1312)에 정의된 바와 같이, 도구들, 엔드 이펙터들, 및 다른 구성된 부분들을 계산적으로 표현하는 것을 포함할 수 있다. TSS 모델러(1310)는 제어 입력들을 처리하고, 모델에서 그러한 제어 입력들에 응답하여 가상 상태 변경들을 성취한다. 가상 상태 변경들은 이벤트 모니터(1102)가 수신할 수 있는 이벤트의 타입을 자체로 구성할 수 있다.
2006에서, 환자 모델(1302)은 TSS 모델러(1310)의 조작의 효과들을 포함하여, 환자를 모델링한다. 2008에서, 수술 입력 평가기는 수행되는 현재 수술 작업을 결정한다. 2010에서, 세그멘터(1004)는 수술 입력에 기초하여, 그리고, 임의로, 평가된 작업에 기초하여 수술 절차의 현재 단계를 결정한다.
2012에서, 세그멘터(1004)의 신뢰 측정 엔진(1230)은 단계 평가의 신뢰 점수를 결정한다. 2014에서, 외과의 평가기(908)는 수술 기술 평가기(1402)를 사용하여 수술 입력의 시간 및 공간 메트릭들을 계산한다. 임의로, 신뢰 점수가 고려된다. 2016에서, 수술 기술 평가기는 외과의 또는 수술 직원에 대한 단계 특정 수행 점수를 발생시킨다.
2018에서, 수술 절차의 현재 단계, 수행 점수, 또는 이러한 아이템들의 일부 조합에 기초하여, 외과의 보조에 대한 호출이 검출될 수 있다. 보조에 대한 호출은 외과의 또는 다른 조작자에 의해 제공될 수 있다. 2020에서, 단계 동기화된 보조가 렌더링된다.
부가적 주석들 및 예들
예 1은 수술 절차를 수행하기 위해 전기기계 수술 시스템에 영향을 미치는 수술 제어 입력을 수락하는 외과의 입력 인터페이스를 포함하는 원격 조종 수술 시스템(TSS)을 위한 수술 지원 시스템이며, 수술 지원 시스템은 TSS의 감시된 이벤트들을 포함하는 수술 입력을 수신하는 수술 입력 평가기 엔진; 및 수술 입력에 기초하여 수술 절차의 현재 단계를 결정하는 세그멘터 엔진을 구현하도록 동작가능하게 구성되는 컴퓨팅 하드웨어를 포함하는 가상 수술 환경 엔진; 및 TSS의 외과의 입력 인터페이스에 통신 결합되는 TSS 인터페이스; 외과의 보조에 대한 호출을 검출하는 보조 호출 검출기; 및 외과의 보조에 대한 호출에 응답하여 TSS 인터페이스를 통해 맥락 관련 보조를 개시하는 보조 렌더링 엔진을 구현하도록 동작가능하게 구성되는 컴퓨팅 하드웨어를 포함하는 보조 엔진을 포함하며, 맥락 관련 보조는 수술 절차와 단계 동기화된다.
예 2에서, 예 1의 발명 대상은 TSS를 임의로 포함한다.
예 3에서, 예 1 내지 예 2 중 어느 하나 이상의 발명 대상은, 가상 수술 환경 엔진이 TSS의 수술 입력에 기초하여 수술 절차의 계산 모델을 처리하기 위해 시뮬레이터 엔진을 구현하도록 추가로 구성되는 것을, 임의로 포함한다.
예 4에서, 예 3의 발명 대상은, 시뮬레이터 엔진이 가상 수술 환경에서 TSS를 계산적으로 표현하는 TSS 모델; 및 환자의 신체 특성들, 및 TSS 모델의 조작에 영향을 받는 환자로의 변경들에 기초하여 환자를 계산적으로 표현하는 환자 모델을 포함하는 것을, 임의로 포함한다.
예 5에서, 예 3 내지 예 4 중 어느 하나 이상의 발명 대상은, 시뮬레이터 엔진이 TSS를 통해 수행되는 실제 수술 절차와 병렬로 조작되도록 구성되며, TSS에의 수술 제어 입력이 시뮬레이터 엔진의 계산 모델에서 가상 효과를 생성하는 것을, 임의로 포함한다.
예 6에서, 예 3 내지 예 5 중 어느 하나 이상의 발명 대상은, 수술 입력 평가기 엔진에 의해 수신되는 수술 입력이 시뮬레이터 엔진의 계산 모델로부터의 TSS 제어 입력의 시뮬레이션된 효과들을 포함하는 것을, 임의로 포함한다.
예 7에서, 예 3 내지 예 6 중 어느 하나 이상의 발명 대상은, 시뮬레이터 엔진이 현재 단계의 결정에 기초하여 수술 절차의 특정 단계를 시뮬레이션하도록 구성되고 개시되는 것을, 임의로 포함한다.
예 8에서, 예 1 내지 예 7 중 어느 하나 이상의 발명 대상은, 감시된 이벤트들이 TSS의 전기기계 수술 시스템을 제어하는 TSS 제어 입력을 포함하는 것을, 임의로 포함한다.
예 9에서, 예 1 내지 예 8 중 어느 하나 이상의 발명 대상은, 감시된 이벤트들이 TSS의 전기기계 수술 시스템의 시뮬레이션을 제어하는 TSS 제어 입력을 포함하는 것을, 임의로 포함한다.
예 10에서, 예 1 내지 예 9 중 어느 하나 이상의 발명 대상은, 감시된 이벤트들이 수술 보조원에 의한 TSS 검출된 액션들을 포함하는 것을, 임의로 포함한다.
예 11에서, 예 1 내지 예 10 중 어느 하나 이상의 발명 대상은, 세그멘터 엔진이 정확한 세그먼트화 결정의 확률을 표현하는 신뢰 점수를 결정하기 위해 신뢰 측정 엔진을 포함하는 것을, 임의로 포함한다.
예 12에서, 예 11의 발명 대상은, 신뢰 점수가 세그멘터 엔진의 딥 러닝 엔진을 훈련하기 위해 수술 입력의 대응하는 시퀀스의 적합성을 나타내는 것을, 임의로 포함한다.
예 13에서, 예 1 내지 예 12 중 어느 하나 이상의 발명 대상은, 세그멘터 엔진이 수술 절차 동안 수술 입력의 부분들을 처리하기 위해 훈련된 신경 네트워크를 구현하도록 구성되는 실시간 세그먼트화 평가기를 포함하는 것을, 임의로 포함한다.
예 14에서, 예 13의 발명 대상은, 세그멘터 엔진이 수술 입력의 부분들을 처리하기 위해 클러스터링 알고리즘을 구현하도록 구성되는 후처리 세그먼트화 평가기를 추가로 포함하는 것을, 임의로 포함한다.
예 15에서, 예 13 내지 예 14 중 어느 하나 이상의 발명 대상은, 훈련된 신경 네트워크가 복수의 사전 수술 절차들로부터의 사전 수술 입력에 기초하여 훈련되는 것을, 임의로 포함한다.
예 16에서, 예 13 내지 예 15 중 어느 하나 이상의 발명 대상은, 훈련된 신경 네트워크가 복수의 사전 시뮬레이션된 수술 절차들로부터의 사전 수술 입력에 기초하여 훈련되는 것을, 임의로 포함한다.
예 17에서, 예 1 내지 예 16 중 어느 하나 이상의 발명 대상은, 수술 입력 평가기 엔진이 수술 입력에 기초하여 수행되는 현재 수술 작업을 결정하도록 구성되는 작업 평가기 엔진을 포함하고, 현재 수술 작업이 정의된 수술 효과를 생성하는 일련의 이벤트들을 포함하는 것; 및 세그멘터 엔진이 현재 수술 작업에 추가로 기초하여 수술 절차의 현재 단계를 결정하는 것을, 임의로 포함한다.
예 18에서, 예 1 내지 예 17 중 어느 하나 이상의 발명 대상은 수술 기술 평가기 엔진을 구현하도록 동작가능하게 구성되는 컴퓨팅 하드웨어를 포함하는 외과의 평가기 엔진을 임의로 포함하며, 수술 기술 평가기 엔진은 수술 입력 및 수술 절차의 현재 단계에 액세스하고; 현재 단계를 포함하는 수술 절차의 복수의 상이한 단계에 대응하는 수술 입력의 복수의 시간 및 공간 메트릭들을 계산하고; 수술 제어 입력을 생성하는 외과의의 수술 수행의 품질을 표현하는 수술 단계 특정 수행 점수를 발생시키도록 구성된다.
예 19에서, 예 18의 발명 대상은, 수술 기술 평가기가 시간 및 공간 메트릭들과 수술 절차의 전문적으로 수행된 단계들에 기초하는 벤치마크 메트릭들 사이의 비교를 수행하도록 추가로 구성되는 것; 및 수행 점수가 비교의 결과에 기초하는 것을, 임의로 포함한다.
예 20에서, 예 18 내지 예 19 중 어느 하나 이상의 발명 대상은, 수술 기술 평가기가 세그멘터 엔진에 의해 정확한 세그먼트화 결정의 확률을 표현하는 신뢰 점수에 액세스하고; 신뢰 점수에 추가로 기초하여 수행 점수를 발생시키도록 추가로 구성되는 것을, 임의로 포함한다.
예 21에서, 예 18 내지 예 20 중 어느 하나 이상의 발명 대상은, 수행 점수가 수술 절차 동안 갱신되는 실행 점수인 것을, 임의로 포함한다.
예 22에서, 예 18 내지 예 21 중 어느 하나 이상의 발명 대상은, 보조 호출 검출기가 수행 점수에 기초하여 외과의 보조에 대한 호출을 검출하도록 구성되는 것을, 임의로 포함한다.
예 23에서, 예 1 내지 예 22 중 어느 하나 이상의 발명 대상은, 맥락 관련 보조가 수행되는 수술 절차의 단계 특정 부분의 증명을 포함하는 전문적 비디오 세그먼트를 포함하는 것을, 임의로 포함한다.
예 24에서, 예 1 내지 예 23 중 어느 하나 이상의 발명 대상은, 맥락 관련 보조가 수술 절차의 단계 특정 시뮬레이션의 구성 및 개시를 포함하는 것을, 임의로 포함한다.
예 25에서, 예 1 내지 예 24 중 어느 하나 이상의 발명 대상은, 맥락 관련 보조가 제어 설정들의 조정을 포함하는 것을, 임의로 포함한다.
예 26은 수술 절차를 수행하기 위해 전기기계 수술 시스템에 영향을 미치는 수술 제어 입력을 수락하는 외과의 입력 인터페이스를 포함하는 원격 조종 수술 시스템(TSS)을 지원하는 머신에 의해 구현되는 방법이며, 본 방법은 TSS의 감시된 이벤트들을 포함하는 수술 입력을 수신하는 단계; 수술 입력에 기초하여 수술 절차의 현재 단계를 결정하는 단계; 외과의 보조에 대한 호출을 검출하는 단계; 및 외과의 보조에 대한 호출에 응답하여 외과의 입력 인터페이스에 맥락 관련 보조를 개시하는 단계를 포함하고, 맥락 관련 보조는 수술 절차와 단계 동기화된다.
예 27에서, 예 26의 발명 대상은 TSS의 수술 입력에 기초하여 수술 절차를 계산 모델로서 시뮬레이션하는 단계를 임의로 포함한다.
예 28에서, 예 27의 발명 대상은, 수술 절차를 시뮬레이션하는 단계가 가상 수술 환경에서 TSS를 계산 모델의 일부로서 계산적으로 표현하는 단계; 및 환자의 신체 특성들, 및 계산 모델에서의 계산적으로 표현된 TSS의 모델링된 조작에 영향을 받는 환자로의 변경들에 기초하여 환자를 계산적으로 표현하는 단계를 포함하는 것을, 임의로 포함한다.
예 29에서, 예 27 내지 예 28 중 어느 하나 이상의 발명 대상은, 시뮬레이션하는 단계가 TSS를 통해 수행되는 실제 수술 절차와 병렬로 수행되며, TSS에의 수술 제어 입력은 계산 모델에서 가상 효과를 생성하는 것을, 임의로 포함한다.
예 30에서, 예 27 내지 예 29 중 어느 하나 이상의 발명 대상은, 수술 입력이 계산 모델로부터의 TSS 제어 입력의 시뮬레이션된 효과들을 포함하는 것을, 임의로 포함한다.
예 31에서, 예 27 내지 예 30 중 어느 하나 이상의 발명 대상은 현재 단계의 결정에 기초하여 계산 모델을 사용하여 수술 절차의 특정 단계를 시뮬레이션하는 단계를 임의로 포함한다.
예 32에서, 예 26 내지 예 31 중 어느 하나 이상의 발명 대상은, 감시된 이벤트들이 TSS의 전기기계 수술 시스템을 제어하는 TSS 제어 입력을 포함하는 것을, 임의로 포함한다.
예 33에서, 예 26 내지 예 32 중 어느 하나 이상의 발명 대상은, 감시된 이벤트들이 TSS의 전기기계 수술 시스템의 시뮬레이션을 제어하는 TSS 제어 입력을 포함하는 것을, 임의로 포함한다.
예 34에서, 예 26 내지 예 33 중 어느 하나 이상의 발명 대상은, 감시된 이벤트들이 수술 보조원에 의한 TSS 검출된 액션들을 포함하는 것을, 임의로 포함한다.
예 35에서, 예 26 내지 예 34 중 어느 하나 이상의 발명 대상은 정확한 세그먼트화 결정의 확률을 표현하는 신뢰 점수를 결정하는 단계를 임의로 포함한다.
예 36에서, 예 35의 발명 대상은, 신뢰 점수가 립 러닝 알고리즘을 훈련하기 위해 수술 입력의 대응하는 시퀀스의 적합성을 나타내는 것을, 임의로 포함한다.
예 37에서, 예 26 내지 예 36 중 어느 하나 이상의 발명 대상은, 수술 절차의 현재 단계를 결정할 시에, 훈련된 신경 네트워크가 수술 절차 동안 수술 입력의 부분들을 처리하기 위해 구현되는 것을, 임의로 포함한다.
예 38에서, 예 37의 발명 대상은, 수술 절차의 현재 단계를 결정할 시에, 클러스터링 알고리즘이 수술 입력의 부분들을 처리하기 위해 구현되는 것을, 임의로 포함한다.
예 39에서, 예 37 내지 예 38 중 어느 하나 이상의 발명 대상은, 훈련된 신경 네트워크가 복수의 사전 수술 절차들로부터의 사전 수술 입력에 기초하여 훈련되는 것을, 임의로 포함한다.
예 40에서, 예 37 내지 예 39 중 어느 하나 이상의 발명 대상은, 훈련된 신경 네트워크가 복수의 사전 시뮬레이션된 수술 절차들로부터의 사전 수술 입력에 기초하여 훈련되는 것을, 임의로 포함한다.
예 41에서, 예 26 내지 예 40 중 어느 하나 이상의 발명 대상은 수술 입력에 기초하여 수행되는 현재 수술 작업을 결정하는 단계를 임의로 포함하며, 현재 수술 작업은 정의된 수술 효과를 생성하는 일련의 이벤트들을 포함하고; 수술 절차의 현재 단계의 결정은 현재 수술 작업에 추가로 기초한다.
예 42에서, 예 26 내지 예 41 중 어느 하나 이상의 발명 대상은 현재 단계를 포함하는 수술 절차의 복수의 상이한 단계에 대응하는 수술 입력의 복수의 시간 및 공간 메트릭들을 계산하는 단계; 및 수술 제어 입력을 생성하는 외과의의 수술 수행의 품질을 표현하는 수술 단계 특정 수행 점수를 발생시키는 단계를 임의로 포함한다.
예 43에서, 예 42의 발명 대상은 시간 및 공간 메트릭들과, 수술 절차의 전문적으로 수행된 단계들에 기초하는 벤치마크 메트릭들 사이의 비교를 수행하는 단계를 임의로 포함하고; 수행 점수는 비교의 결과에 기초한다.
예 44에서, 예 42 내지 예 43 중 어느 하나 이상의 발명 대상은 정확한 세그먼트화 결정의 확률을 표현하는 신뢰 점수에 추가로 기초하여 수행 점수를 발생시키는 단계를 임으로 포함한다.
예 45에서, 예 42 내지 예 44 중 어느 하나 이상의 발명 대상은, 수행 점수가 수술 절차 동안 갱신되는 실행 점수인 것을, 임의로 포함한다.
예 46에서, 예 42 내지 예 45 중 어느 하나 이상의 발명 대상은, 외과의 보조에 대한 호출이 수행 점수에 기초하는 것을, 임의로 포함한다.
예 47에서, 예 26 내지 예 46 중 어느 하나 이상의 발명 대상은, 맥락 관련 보조가 수행되는 수술 절차의 단계 특정 부분의 증명을 포함하는 전문적 비디오 세그먼트를 포함하는 것을, 임의로 포함한다.
예 48에서, 예 26 내지 예 47 중 어느 하나 이상의 발명 대상은, 맥락 관련 보조가 수술 절차의 단계 특정 시뮬레이션의 구성 및 개시를 포함하는 것을, 임의로 포함한다.
예 49에서, 예 26 내지 예 48 중 어느 하나 이상의 발명 대상은, 맥락 관련 보조가 제어 설정들의 조정을 포함하는 것을, 임의로 포함한다.
예 50은 컴퓨팅 플랫폼 상에 실행될 때, 컴퓨팅 플랫폼으로 하여금 수술 절차를 수행하기 위해 전기기계 수술 시스템에 영향을 미치는 수술 제어 입력을 수락하는 외과의 입력 인터페이스를 포함하는 원격 조종 수술 시스템(TSS)을 지원하는 특수 목적 머신을 구현하게 하는 명령어들을 포함하는 적어도 하나의 비일시적 머신 판독가능 저장 매체이며, 명령어들은 TSS의 감시된 이벤트들을 포함하는 수술 입력을 수신하는 명령어들; 수술 입력에 기초하여 수술 절차의 현재 단계를 결정하는 명령어들; 외과의 보조에 대한 호출을 검출하는 명령어들; 및 외과의 보조에 대한 호출에 응답하여 외과의 입력 인터페이스에 맥락 관련 보조를 개시하는 명령어들을 포함하고, 맥락 관련 보조는 수술 절차와 단계 동기화된다.
예 51에서, 예 50의 발명 대상은 TSS의 수술 입력에 기초하여 수술 절차를 계산 모델로서 시뮬레이션하는 명령어들을 임의로 포함한다.
예 52에서, 예 51의 발명 대상은, 수술 절차를 시뮬레이션하는 명령어들이 가상 수술 환경에서 TSS를 계산 모델의 일부로서 계산적으로 표현하는 명령어들; 및 환자의 신체 특성들, 및 계산 모델에서의 계산적으로 표현된 TSS의 모델링된 조작에 영향을 받는 환자로의 변경들에 기초하여 환자를 계산적으로 표현하는 명령어들을 포함하는 것을, 임의로 포함한다.
예 53에서, 예 51 내지 예 52 중 어느 하나 이상의 발명 대상은, 시뮬레이션하는 단계가 TSS를 통해 수행되는 실제 수술 절차와 병렬로 수행되며, TSS에의 수술 제어 입력이 계산 모델에서 가상 효과를 생성하는 것을, 임의로 포함한다.
예 54에서, 예 51 내지 예 53 중 어느 하나 이상의 발명 대상은, 수술 입력이 계산 모델로부터의 TSS 제어 입력의 시뮬레이션된 효과들을 포함하는 것을, 임의로 포함한다.
예 55에서, 예 51 내지 예 54 중 어느 하나 이상의 발명 대상은 현재 단계의 결정에 기초하여 계산 모델을 사용하여 수술 절차의 특정 단계를 시뮬레이션하는 명령어들을 임의로 포함한다.
예 56에서, 예 50 내지 예 55 중 어느 하나 이상의 발명 대상은, 감시된 이벤트들이 TSS의 전기기계 수술 시스템을 제어하는 TSS 제어 입력을 포함하는 것을, 임의로 포함한다.
예 57에서, 예 50 내지 예 56 중 어느 하나 이상의 발명 대상은, 감시된 이벤트들이 TSS의 전기기계 수술 시스템의 시뮬레이션을 제어하는 TSS 제어 입력을 포함하는 것을, 임의로 포함한다.
예 58에서, 예 50 내지 예 57 중 어느 하나 이상의 발명 대상은, 감시된 이벤트들이 수술 보조원에 의한 TSS 검출된 액션들을 포함하는 것을, 임의로 포함한다.
예 59에서, 예 50 내지 예 58 중 어느 하나 이상의 발명 대상은 정확한 세그먼트화 결정의 확률을 표현하는 신뢰 점수를 결정하는 명령어들을 임의로 포함한다.
예 60에서, 예 59의 발명 대상은, 신뢰 점수가 립 러닝 알고리즘을 훈련하기 위해 수술 입력의 대응하는 시퀀스의 적합성을 나타내는 것을, 임의로 포함한다.
예 61에서, 예 50 내지 예 60 중 어느 하나 이상의 발명 대상은, 수술 절차의 현재 단계를 결정하는 명령어들이 훈련된 신경 네트워크로 하여금 수술 절차 동안 수술 입력의 부분들을 처리하기 위해 구현되게 하는 것을, 임의로 포함한다.
예 62에서, 예 61의 발명 대상은, 수술 절차의 현재 단계를 결정하는 명령어들이 클러스터링 알고리즘으로 하여금 수술 입력의 부분들을 처리하기 위해 구현되게 하는 것을, 임의로 포함한다.
예 63에서, 예 61 내지 예 62 중 어느 하나 이상의 발명 대상은, 훈련된 신경 네트워크가 복수의 사전 수술 절차들로부터의 사전 수술 입력에 기초하여 훈련되는 것을, 임의로 포함한다.
예 64에서, 예 61 내지 예 63 중 어느 하나 이상의 발명 대상은, 훈련된 신경 네트워크가 복수의 사전 시뮬레이션된 수술 절차들로부터의 사전 수술 입력에 기초하여 훈련되는 것을, 임의로 포함한다.
예 65에서, 예 50 내지 예 64 중 어느 하나 이상의 발명 대상은 수술 입력에 기초하여 수행되는 현재 수술 작업을 결정하는 명령어들을 임의로 포함하며, 현재 수술 작업은 정의된 수술 효과를 생성하는 일련의 이벤트들을 포함하고; 수술 절차의 현재 단계를 결정하는 명령어들은 현재 수술 작업에 관한 결정을 기초로 한다.
예 66에서, 예 50 내지 예 65 중 어느 하나 이상의 발명 대상은 현재 단계를 포함하는 수술 절차의 복수의 상이한 단계에 대응하는 수술 입력의 복수의 시간 및 공간 메트릭들을 계산하는 명령어들; 및 수술 제어 입력을 생성하는 외과의의 수술 수행의 품질을 표현하는 수술 단계 특정 수행 점수를 발생시키는 명령어들을 임의로 포함한다.
예 67에서, 예 66의 발명 대상은 시간 및 공간 메트릭들과, 수술 절차의 전문적으로 수행된 단계들에 기초하는 벤치마크 메트릭들 사이의 비교를 수행하는 명령어들을 임의로 포함하고; 수행 점수는 비교의 결과에 기초한다.
예 68에서, 예 66 내지 예 67 중 어느 하나 이상의 발명 대상은 정확한 세그먼트화 결정의 확률을 표현하는 신뢰 점수에 추가로 기초하여 수행 점수를 발생시키는 명령어들을 임의로 포함한다.
예 69에서, 예 66 내지 예 68 중 어느 하나 이상의 발명 대상은, 수행 점수가 수술 절차 동안 갱신되는 실행 점수인 것을, 임의로 포함한다.
예 70에서, 예 66 내지 예 69 중 어느 하나 이상의 발명 대상은, 외과의 보조에 대한 호출이 수행 점수에 기초하는 것을, 임의로 포함한다.
예 71에서, 예 50 내지 예 70 중 어느 하나 이상의 발명 대상은, 맥락 관련 보조가 수행되는 수술 절차의 단계 특정 부분의 증명을 포함하는 전문적 비디오 세그먼트를 포함하는 것을, 임의로 포함한다.
예 72에서, 예 50 내지 예 71 중 어느 하나 이상의 발명 대상은, 맥락 관련 보조가 수술 절차의 단계 특정 시뮬레이션의 구성 및 개시를 포함하는 것을, 임의로 포함한다.
예 73에서, 예 50 내지 예 72 중 어느 하나 이상의 발명 대상은, 맥락 관련 보조가 제어 설정들의 조정을 포함하는 것을, 임의로 포함한다.
예시적 실시예들이 도시되고 설명되었지만, 광범위한 수정, 변경 및 치환은 상술한 개시내용에서 생각되고, 일부 사례들에서, 실시예들의 일부 특징들은 다른 특징들의 대응하는 사용 없이 이용될 수 있다. 본 기술분야의 통상의 기술자는 많은 변화들, 대안들, 및 수정들을 인식할 것이다. 따라서, 본 개시내용의 범위는 이하의 청구항들에 의해서만 제한되어야 하고, 청구항들이 넓게 그리고 본원에 개시되는 실시예들의 범위와 일치하는 방식으로 해석되는 것이 적절하다.
Claims (55)
- 수술 절차를 수행하기 위해 전기기계 수술 시스템에 영향을 미치는 수술 제어 입력을 수락하는 외과의 입력 인터페이스를 포함하는 원격 조종 수술 시스템(teleoperated surgical system)(TSS)을 위한 수술 지원 시스템으로서, 상기 수술 지원 시스템은,
상기 TSS의 감시된 이벤트들을 포함하는 수술 입력을 수신하는 수술 입력 평가기 엔진; 및
상기 수술 입력에 기초하여 상기 수술 절차의 현재 단계를 결정하는 세그멘터 엔진
을 구현하도록 동작가능하게 구성되는 컴퓨팅 하드웨어를 포함하는 가상 수술 환경 엔진; 및
상기 TSS의 외과의 입력 인터페이스에 통신 결합되는 TSS 인터페이스;
외과의 보조에 대한 호출을 검출하는 보조 호출 검출기; 및
외과의 보조에 대한 상기 호출에 응답하여 상기 TSS 인터페이스를 통해 맥락 관련 보조(context-relevant assistance)를 개시하는 보조 렌더링 엔진
을 구현하도록 동작가능하게 구성되는 컴퓨팅 하드웨어를 포함하는 보조 엔진
을 포함하는 수술 지원 시스템. - 제1항에 있어서, 상기 TSS를 추가로 포함하는 수술 지원 시스템.
- 제1항에 있어서, 상기 가상 수술 환경 엔진은 상기 TSS의 수술 입력에 기초하여 수술 절차의 계산 모델을 처리하기 위해 시뮬레이터 엔진을 구현하도록 추가로 구성되는 수술 지원 시스템.
- 제3항에 있어서, 상기 시뮬레이터 엔진은,
상기 가상 수술 환경에서 상기 TSS를 계산적으로 표현하는 TSS 모델; 및
상기 환자의 신체 특성들, 및 상기 TSS 모델의 조작에 영향을 받는 상기 환자로의 변경들에 기초하여 상기 환자를 계산적으로 표현하는 환자 모델
을 포함하는 수술 지원 시스템. - 제3항에 있어서, 상기 시뮬레이터 엔진은 상기 TSS를 통해 수행되는 실제 수술 절차와 병렬로 조작되도록 구성되며, 상기 TSS에의 수술 제어 입력은 상기 시뮬레이터 엔진의 계산 모델에서 가상 효과를 생성하는 수술 지원 시스템.
- 제3항에 있어서, 상기 수술 입력 평가기 엔진에 의해 수신되는 상기 수술 입력은 상기 시뮬레이터 엔진의 계산 모델로부터의 상기 TSS 제어 입력의 시뮬레이션된 효과들을 포함하는 수술 지원 시스템.
- 제3항에 있어서, 상기 시뮬레이터 엔진은 상기 현재 단계의 결정에 기초하여 수술 절차의 특정 단계를 시뮬레이션하도록 구성되고 개시되는 수술 지원 시스템.
- 제1항에 있어서, 상기 감시된 이벤트들은 상기 TSS의 전기기계 수술 시스템을 제어하는 TSS 제어 입력을 포함하는 수술 지원 시스템.
- 제1항에 있어서, 상기 감시된 이벤트들은 상기 TSS의 전기기계 수술 시스템의 시뮬레이션을 제어하는 TSS 제어 입력을 포함하는 수술 지원 시스템.
- 제1항에 있어서, 상기 감시된 이벤트들은 수술 보조원에 의한 TSS 검출된 액션들을 포함하는 수술 지원 시스템.
- 제1항에 있어서, 상기 세그멘터 엔진은 정확한 세그먼트화 결정의 확률을 표현하는 신뢰 점수를 결정하기 위해 신뢰 측정 엔진을 포함하는 수술 지원 시스템.
- 제11항에 있어서, 상기 신뢰 점수는 상기 세그멘터 엔진의 딥 러닝 엔진을 훈련하기 위해 수술 입력의 대응하는 시퀀스의 적합성을 나타내는 수술 지원 시스템.
- 제1항에 있어서, 상기 세그멘터 엔진은 상기 수술 절차 동안 상기 수술 입력의 부분들을 처리하기 위해 훈련된 신경 네트워크를 구현하도록 구성되는 실시간 세그먼트화 평가기를 포함하는 수술 지원 시스템.
- 제13항에 있어서, 상기 세그멘터 엔진은 상기 수술 입력의 부분들을 처리하기 위해 클러스터링 알고리즘을 구현하도록 구성되는 후처리 세그먼트화 평가기를 추가로 포함하는 수술 지원 시스템.
- 제13항에 있어서, 상기 훈련된 신경 네트워크는 복수의 사전 수술 절차들로부터의 사전 수술 입력에 기초하여 훈련되는 수술 지원 시스템.
- 제13항에 있어서, 상기 훈련된 신경 네트워크는 복수의 사전 시뮬레이션된 수술 절차들로부터의 사전 수술 입력에 기초하여 훈련되는 수술 지원 시스템.
- 제1항에 있어서, 상기 수술 입력 평가기 엔진은 상기 수술 입력에 기초하여 수행되는 현재 수술 작업을 결정하도록 구성되는 작업 평가기 엔진을 포함하며, 상기 현재 수술 작업은 정의된 수술 효과를 생성하는 일련의 이벤트들을 포함하고;
상기 세그멘터 엔진은 상기 현재 수술 작업에 추가로 기초하여 상기 수술 절차의 현재 단계를 결정하는 수술 지원 시스템. - 제1항에 있어서,
수술 기술 평가기 엔진을 구현하도록 동작가능하게 구성되는 컴퓨팅 하드웨어를 포함하는 외과의 평가기 엔진을 추가로 포함하며,
상기 수술 기술 평가기 엔진은,
상기 수술 입력 및 상기 수술 절차의 현재 단계에 액세스하고;
상기 현재 단계를 포함하는 상기 수술 절차의 복수의 상이한 단계에 대응하는 상기 수술 입력의 복수의 시간 및 공간 메트릭들을 계산하고;
상기 수술 제어 입력을 생성하는 외과의의 수술 수행의 품질을 표현하는 수술 단계 특정 수행 점수를 발생시키도록
구성되는 수술 지원 시스템. - 제18항에 있어서, 상기 수술 기술 평가기는 상기 시간 및 공간 메트릭들과 상기 수술 절차의 전문적으로 수행된 단계들에 기초하는 벤치마크 메트릭들(benchmark metrics) 사이의 비교를 수행하도록 추가로 구성되고;
상기 수행 점수는 상기 비교의 결과에 기초하는 수술 지원 시스템. - 제18항에 있어서, 상기 수술 기술 평가기는,
상기 세그멘터 엔진에 의한 정확한 세그먼트화 결정의 확률을 표현하는 신뢰 점수에 액세스하고;
상기 신뢰 점수에 추가로 기초하여 상기 수행 점수를 발생시키도록
추가로 구성되는 수술 지원 시스템. - 제18항에 있어서, 상기 수행 점수는 상기 수술 절차 동안 갱신되는 실행 점수인 수술 지원 시스템.
- 제18항에 있어서, 상기 보조 호출 검출기는 상기 수행 점수에 기초하여 상기 외과의 보조에 대한 호출을 검출하도록 구성되는 수술 지원 시스템.
- 제1항에 있어서, 상기 맥락 관련 보조는 수행되는 상기 수술 절차의 단계 특정 부분의 증명(demonstration)을 포함하는 전문적 비디오 세그먼트를 포함하는 수술 지원 시스템.
- 제1항에 있어서, 상기 맥락 관련 보조는 상기 수술 절차의 단계 특정 시뮬레이션의 구성 및 개시를 포함하는 수술 지원 시스템.
- 제1항에 있어서, 상기 맥락 관련 보조는 제어 설정들의 조정을 포함하는 수술 지원 시스템.
- 제1항에 있어서, 상기 맥락 관련 보조는 상기 수술 절차와 단계 동기화되는 수술 지원 시스템.
- 제1항에 있어서,
수술 기술 평가기 엔진을 구현하도록 동작가능하게 구성되는 컴퓨팅 하드웨어를 포함하는 외과의 평가기 엔진을 추가로 포함하며:
상기 수술 기술 평가기 엔진은,
카메라 제어 입력에 액세스하고;
카메라 제어 입력의 복수의 시간 및 공간 메트릭들을 계산하고;
상기 카메라 제어 입력을 생성하는 외과의의 카메라 제어의 품질을 표현하는 카메라 수행 점수를 발생시키도록
구성되는 수술 지원 시스템. - 제1항에 있어서, 상기 맥락 관련 보조는 수술 장면의 시각 디스플레이의 수평 배향의 변경, 수술 장면의 시각 디스플레이 내에 도시되는 이차원 영역의 변경 및 수술 장면의 시각 디스플레이의 줌 레벨의 변경 중 적어도 하나를 포함하는 수술 지원 시스템.
- 수술 절차를 수행하기 위해 전기기계 수술 시스템에 영향을 미치는 수술 제어 입력을 수락하는 외과의 입력 인터페이스를 포함하는 원격 조종 수술 시스템(TSS)을 지원하는 머신에 의해 구현되는 방법으로서, 상기 방법은,
상기 TSS의 감시된 이벤트들을 포함하는 수술 입력을 수신하는 단계;
상기 수술 입력에 기초하여 상기 수술 절차의 현재 단계를 결정하는 단계;
외과의 보조에 대한 호출을 검출하는 단계; 및
외과의 보조에 대한 상기 호출에 응답하여 상기 외과의 입력 인터페이스에 맥락 관련 보조를 개시하는 단계
를 포함하며, 상기 맥락 관련 보조는 상기 수술 절차와 단계 동기화되는 머신에 의해 구현되는 방법. - 제29항에 있어서,
상기 TSS의 수술 입력에 기초하여 상기 수술 절차를 계산 모델로서 시뮬레이션하는 단계를 추가로 포함하는 머신에 의해 구현되는 방법. - 제30항에 있어서, 상기 수술 절차를 시뮬레이션하는 단계는,
가상 수술 환경에서 상기 TSS를 상기 계산 모델의 일부로서 계산적으로 표현하는 단계; 및
상기 환자의 신체 특성들, 및 상기 계산 모델에서의 상기 계산적으로 표현된 TSS의 모델링된 조작에 영향을 받는 상기 환자로의 변경들에 기초하여 상기 환자를 계산적으로 표현하는 단계
를 포함하는 머신에 의해 구현되는 방법. - 제30항에 있어서, 상기 시뮬레이션하는 단계는 상기 TSS를 통해 수행되는 실제 수술 절차와 병렬로 수행되며, 상기 TSS에의 수술 제어 입력은 상기 계산 모델에서 가상 효과를 생성하는 머신에 의해 구현되는 방법.
- 제30항에 있어서, 상기 수술 입력은 상기 계산 모델로부터의 상기 TSS 제어 입력의 시뮬레이션된 효과들을 포함하는 머신에 의해 구현되는 방법.
- 제30항에 있어서, 상기 현재 단계의 결정에 기초하여 상기 계산 모델을 사용하여 상기 수술 절차의 특정 단계를 시뮬레이션하는 단계를 추가로 포함하는 머신에 의해 구현되는 방법.
- 제29항에 있어서, 상기 감시된 이벤트들은 상기 TSS의 전기기계 수술 시스템을 제어하는 TSS 제어 입력을 포함하는 머신에 의해 구현되는 방법.
- 제29항에 있어서, 상기 감시된 이벤트들은 상기 TSS의 전기기계 수술 시스템의 시뮬레이션을 제어하는 TSS 제어 입력을 포함하는 머신에 의해 구현되는 방법.
- 제29항에 있어서, 상기 감시된 이벤트들은 수술 보조원에 의한 TSS 검출된 액션들을 포함하는 머신에 의해 구현되는 방법.
- 제29항에 있어서,
정확한 세그먼트화 결정의 확률을 표현하는 신뢰 점수를 결정하는 단계를 추가로 포함하는 머신에 의해 구현되는 방법. - 제38항에 있어서, 상기 신뢰 점수는 립 러닝 알고리즘을 훈련하기 위해 수술 입력의 대응하는 시퀀스의 적합성을 나타내는 머신에 의해 구현되는 방법.
- 제29항에 있어서, 상기 수술 절차의 현재 단계를 결정할 시에, 훈련된 신경 네트워크는 상기 수술 절차 동안 상기 수술 입력의 부분들을 처리하기 위해 구현되는 머신에 의해 구현되는 방법.
- 제40항에 있어서, 상기 수술 절차의 현재 단계를 결정할 시에, 클러스터링 알고리즘은 상기 수술 입력의 부분들을 처리하기 위해 구현되는 머신에 의해 구현되는 방법.
- 제40항에 있어서, 상기 훈련된 신경 네트워크는 복수의 사전 수술 절차들로부터의 사전 수술 입력에 기초하여 훈련되는 머신에 의해 구현되는 방법.
- 제40항에 있어서, 상기 훈련된 신경 네트워크는 복수의 사전 시뮬레이션된 수술 절차들로부터의 사전 수술 입력에 기초하여 훈련되는 머신에 의해 구현되는 방법.
- 제29항에 있어서,
상기 수술 입력에 기초하여 수행되는 현재 수술 작업을 결정하는 단계를 추가로 포함하며, 상기 현재 수술 작업은 정의된 수술 효과를 생성하는 일련의 이벤트들을 포함하고;
상기 수술 절차의 현재 단계의 결정은 상기 현재 수술 작업에 추가로 기초하는 머신에 의해 구현되는 방법. - 제29항에 있어서,
상기 현재 단계를 포함하는 상기 수술 절차의 복수의 상이한 단계에 대응하는 상기 수술 입력의 복수의 시간 및 공간 메트릭들을 계산하는 단계; 및
상기 수술 제어 입력을 생성하는 외과의의 수술 수행의 품질을 표현하는 수술 단계 특정 수행 점수를 발생시키는 단계
를 추가로 포함하는 머신에 의해 구현되는 방법. - 제45항에 있어서,
상기 시간 및 공간 메트릭들과, 상기 수술 절차의 전문적으로 수행된 단계들에 기초하는 벤치마크 메트릭들 사이의 비교를 수행하는 단계를 추가로 포함하며;
상기 수행 점수는 상기 비교의 결과에 기초하는 머신에 의해 구현되는 방법. - 제45항에 있어서,
정확한 세그먼트화 결정의 확률를 표현하는 신뢰 점수에 추가로 기초하여 상기 수행 점수를 발생시키는 단계를 추가로 포함하는 머신에 의해 구현되는 방법. - 제45항에 있어서, 상기 수행 점수는 상기 수술 절차 동안 갱신되는 실행 점수인 머신에 의해 구현되는 방법.
- 제45항에 있어서, 외과의 보조에 대한 상기 호출은 상기 수행 점수에 기초하는 머신에 의해 구현되는 방법.
- 제29항에 있어서, 상기 맥락 관련 보조는 수행되는 상기 수술 절차의 단계 특정 부분의 증명을 포함하는 전문적 비디오 세그먼트를 포함하는 머신에 의해 구현되는 방법.
- 제29항에 있어서, 상기 맥락 관련 보조는 상기 수술 절차의 단계 특정 시뮬레이션의 구성 및 개시를 포함하는 머신에 의해 구현되는 방법.
- 제29항에 있어서, 상기 맥락 관련 보조는 제어 설정들의 조정을 포함하는 머신에 의해 구현되는 방법.
- 제29항에 있어서, 상기 맥락 관련 보조는 상기 수술 절차와 단계 동기화되는 머신에 의해 구현되는 방법.
- 제29항에 있어서,
카메라 제어 입력의 복수의 시간 및 공간 메트릭들을 계산하는 단계; 및
상기 카메라 제어 입력을 생성하는 외과의의 카메라 제어의 품질을 표현하는 카메라 수행 점수를 발생시키는 단계
를 추가로 포함하는 머신에 의해 구현되는 방법. - 제29항에 있어서, 상기 맥락 관련 보조는 수술 장면의 시각 디스플레이의 수평 배향의 변경, 수술 장면의 시각 디스플레이 내에 도시되는 이차원 영역의 변경 및 수술 장면의 시각 디스플레이의 줌 레벨의 변경 중 적어도 하나를 포함하는 머신에 의해 구현되는 방법.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201562254556P | 2015-11-12 | 2015-11-12 | |
| US62/254,556 | 2015-11-12 | ||
| US201662374670P | 2016-08-12 | 2016-08-12 | |
| US62/374,670 | 2016-08-12 | ||
| PCT/US2016/061694 WO2017083768A1 (en) | 2015-11-12 | 2016-11-11 | Surgical system with training or assist functions |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20180068336A true KR20180068336A (ko) | 2018-06-21 |
Family
ID=58696195
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187016122A KR20180068336A (ko) | 2015-11-12 | 2016-11-11 | 훈련 또는 보조 기능들을 갖는 수술 시스템 |
Country Status (6)
| Country | Link |
|---|---|
| US (3) | US10912619B2 (ko) |
| EP (1) | EP3373834A4 (ko) |
| JP (3) | JP2018538037A (ko) |
| KR (1) | KR20180068336A (ko) |
| CN (2) | CN108472084B (ko) |
| WO (1) | WO2017083768A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102018125656A1 (de) | 2018-06-14 | 2019-12-19 | Hyundai Motor Company | Leistung-übertragung-vorrichtung für ein fahrzeug |
Families Citing this family (253)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11871901B2 (en) | 2012-05-20 | 2024-01-16 | Cilag Gmbh International | Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage |
| US9566414B2 (en) | 2013-03-13 | 2017-02-14 | Hansen Medical, Inc. | Integrated catheter and guide wire controller |
| US9283046B2 (en) | 2013-03-15 | 2016-03-15 | Hansen Medical, Inc. | User interface for active drive apparatus with finite range of motion |
| US10849702B2 (en) | 2013-03-15 | 2020-12-01 | Auris Health, Inc. | User input devices for controlling manipulation of guidewires and catheters |
| US11020016B2 (en) | 2013-05-30 | 2021-06-01 | Auris Health, Inc. | System and method for displaying anatomy and devices on a movable display |
| EP3079608B8 (en) | 2013-12-11 | 2020-04-01 | Covidien LP | Wrist and jaw assemblies for robotic surgical systems |
| EP2923669B1 (en) | 2014-03-24 | 2017-06-28 | Hansen Medical, Inc. | Systems and devices for catheter driving instinctiveness |
| WO2016025134A2 (en) | 2014-08-13 | 2016-02-18 | Covidien Lp | Robotically controlling mechanical advantage gripping |
| US11504192B2 (en) | 2014-10-30 | 2022-11-22 | Cilag Gmbh International | Method of hub communication with surgical instrument systems |
| CN107249498B (zh) | 2015-02-19 | 2024-04-23 | 柯惠Lp公司 | 机器人手术系统的输入装置的重定位方法 |
| CA2977413A1 (en) | 2015-03-10 | 2016-09-15 | Covidien Lp | Measuring health of a connector member of a robotic surgical system |
| WO2016196238A1 (en) | 2015-06-03 | 2016-12-08 | Covidien Lp | Offset instrument drive unit |
| KR102523779B1 (ko) | 2015-06-09 | 2023-04-20 | 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 | 수술 절차 아틀라스를 갖는 수술 시스템의 구성 |
| JP6761822B2 (ja) | 2015-06-16 | 2020-09-30 | コヴィディエン リミテッド パートナーシップ | ロボット外科用システムトルク変換検知 |
| EP3313315B1 (en) | 2015-06-23 | 2024-04-10 | Covidien LP | Robotic surgical assemblies |
| US10806454B2 (en) | 2015-09-25 | 2020-10-20 | Covidien Lp | Robotic surgical assemblies and instrument drive connectors thereof |
| WO2017070275A1 (en) | 2015-10-23 | 2017-04-27 | Covidien Lp | Surgical system for detecting gradual changes in perfusion |
| KR20180068336A (ko) | 2015-11-12 | 2018-06-21 | 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 | 훈련 또는 보조 기능들을 갖는 수술 시스템 |
| WO2017087439A1 (en) | 2015-11-19 | 2017-05-26 | Covidien Lp | Optical force sensor for robotic surgical system |
| US10991070B2 (en) | 2015-12-18 | 2021-04-27 | OrthoGrid Systems, Inc | Method of providing surgical guidance |
| WO2017173524A1 (en) | 2016-04-07 | 2017-10-12 | Titan Medical Inc. | Camera positioning method and apparatus for capturing images during a medical procedure |
| AU2017269374B2 (en) | 2016-05-26 | 2021-07-08 | Covidien Lp | Instrument drive units |
| WO2017205333A1 (en) | 2016-05-26 | 2017-11-30 | Covidien Lp | Robotic surgical assemblies |
| CN107735040B (zh) | 2016-06-03 | 2021-06-18 | 柯惠Lp公司 | 用于机器人手术系统的控制臂 |
| WO2017210074A1 (en) | 2016-06-03 | 2017-12-07 | Covidien Lp | Passive axis system for robotic surgical systems |
| EP3463163A4 (en) | 2016-06-03 | 2020-02-12 | Covidien LP | ROBOTIC SURGICAL SYSTEM WITH AN EMBEDDED IMAGER |
| US11612446B2 (en) | 2016-06-03 | 2023-03-28 | Covidien Lp | Systems, methods, and computer-readable program products for controlling a robotically delivered manipulator |
| US11037464B2 (en) * | 2016-07-21 | 2021-06-15 | Auris Health, Inc. | System with emulator movement tracking for controlling medical devices |
| AU2017302472A1 (en) * | 2016-07-25 | 2019-01-31 | Rush University Medical Center | Inanimate model for laparoscopic repair |
| US10568703B2 (en) | 2016-09-21 | 2020-02-25 | Verb Surgical Inc. | User arm support for use in a robotic surgical system |
| JP7061121B2 (ja) * | 2016-11-10 | 2022-04-27 | テレフオンアクチーボラゲット エルエム エリクソン（パブル） | 配信性能を改善するためのリソースセグメント化 |
| JP2020507377A (ja) | 2017-02-15 | 2020-03-12 | コヴィディエン リミテッド パートナーシップ | 医療用ロボット用途の圧砕防止のためのシステムおよび機器 |
| US9922172B1 (en) * | 2017-02-28 | 2018-03-20 | Digital Surgery Limited | Surgical guidance system based on a pre-coded surgical procedural map |
| US11259892B2 (en) | 2017-03-10 | 2022-03-01 | Asensus Surgical Us, Inc. | Instrument for optical tissue interrogation |
| US11341868B2 (en) * | 2017-04-18 | 2022-05-24 | Teleflex Medical Incorporated | Vascular access training simulator system and transparent anatomical model |
| CN110650705B (zh) | 2017-05-24 | 2023-04-28 | 柯惠Lp公司 | 机器人系统中的电外科工具的存在检测 |
| JP7130003B2 (ja) | 2017-05-25 | 2022-09-02 | コヴィディエン リミテッド パートナーシップ | 画像捕捉デバイスの視野内の物体の検出のためのシステムおよび方法 |
| JP2020520745A (ja) | 2017-05-25 | 2020-07-16 | コヴィディエン リミテッド パートナーシップ | 自動誘導付きロボット外科システム |
| WO2018217430A1 (en) | 2017-05-25 | 2018-11-29 | Covidien Lp | Robotic surgical systems and drapes for covering components of robotic surgical systems |
| JP7111242B2 (ja) * | 2017-05-29 | 2022-08-02 | 株式会社三洋物産 | 遊技機 |
| JP7111241B2 (ja) * | 2017-05-29 | 2022-08-02 | 株式会社三洋物産 | 遊技機 |
| JP6911536B2 (ja) * | 2017-05-29 | 2021-07-28 | 株式会社三洋物産 | 遊技機 |
| JP7111239B2 (ja) * | 2017-05-29 | 2022-08-02 | 株式会社三洋物産 | 遊技機 |
| US20200152190A1 (en) * | 2017-06-06 | 2020-05-14 | Intuitive Surgical Operations, Inc. | Systems and methods for state-based speech recognition in a teleoperational system |
| US11284955B2 (en) | 2017-06-29 | 2022-03-29 | Verb Surgical Inc. | Emulation of robotic arms and control thereof in a virtual reality environment |
| US11011077B2 (en) * | 2017-06-29 | 2021-05-18 | Verb Surgical Inc. | Virtual reality training, simulation, and collaboration in a robotic surgical system |
| US11270601B2 (en) | 2017-06-29 | 2022-03-08 | Verb Surgical Inc. | Virtual reality system for simulating a robotic surgical environment |
| JP2019022580A (ja) * | 2017-07-24 | 2019-02-14 | ソニー株式会社 | 手術システム、情報処理方法および情報処理装置 |
| CN107689076B (zh) * | 2017-08-28 | 2018-09-04 | 哈尔滨理工大学 | 一种用于虚拟手术系统切割时的高效渲染方法 |
| US11628022B2 (en) | 2017-09-05 | 2023-04-18 | Covidien Lp | Collision handling algorithms for robotic surgical systems |
| US20190069957A1 (en) * | 2017-09-06 | 2019-03-07 | Verily Life Sciences Llc | Surgical recognition system |
| EP3678573A4 (en) | 2017-09-06 | 2021-06-02 | Covidien LP | LIMIT SCALING OF SURGICAL ROBOTS |
| EP3698372A1 (en) | 2017-10-17 | 2020-08-26 | Verily Life Sciences LLC | Systems and methods for segmenting surgical videos |
| US11801098B2 (en) | 2017-10-30 | 2023-10-31 | Cilag Gmbh International | Method of hub communication with surgical instrument systems |
| US11911045B2 (en) | 2017-10-30 | 2024-02-27 | Cllag GmbH International | Method for operating a powered articulating multi-clip applier |
| US11141160B2 (en) | 2017-10-30 | 2021-10-12 | Cilag Gmbh International | Clip applier comprising a motor controller |
| US10932806B2 (en) | 2017-10-30 | 2021-03-02 | Ethicon Llc | Reactive algorithm for surgical system |
| US11510741B2 (en) | 2017-10-30 | 2022-11-29 | Cilag Gmbh International | Method for producing a surgical instrument comprising a smart electrical system |
| US11291510B2 (en) | 2017-10-30 | 2022-04-05 | Cilag Gmbh International | Method of hub communication with surgical instrument systems |
| US11229436B2 (en) | 2017-10-30 | 2022-01-25 | Cilag Gmbh International | Surgical system comprising a surgical tool and a surgical hub |
| US11564756B2 (en) | 2017-10-30 | 2023-01-31 | Cilag Gmbh International | Method of hub communication with surgical instrument systems |
| US11317919B2 (en) | 2017-10-30 | 2022-05-03 | Cilag Gmbh International | Clip applier comprising a clip crimping system |
| US11311342B2 (en) | 2017-10-30 | 2022-04-26 | Cilag Gmbh International | Method for communicating with surgical instrument systems |
| EP3716882A4 (en) | 2017-12-01 | 2021-08-25 | Covidien LP | DRAPE ADMINISTRATION ARRANGEMENTS FOR ROBOTIC SURGICAL SYSTEMS |
| EP3677208A4 (en) * | 2017-12-05 | 2020-09-09 | Sony Olympus Medical Solutions Inc. | MEDICAL INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING PROCESS |
| CN110831534B (zh) | 2017-12-08 | 2023-04-28 | 奥瑞斯健康公司 | 用于医疗仪器导航和瞄准的系统和方法 |
| US11883120B2 (en) * | 2017-12-18 | 2024-01-30 | Sony Corporation | Medical observation system, medical signal processing device, and medical signal processing device driving method |
| CN108053033A (zh) * | 2017-12-27 | 2018-05-18 | 中南大学 | 一种函数调用序列生成方法和系统 |
| US11273001B2 (en) | 2017-12-28 | 2022-03-15 | Cilag Gmbh International | Surgical hub and modular device response adjustment based on situational awareness |
| US11056244B2 (en) | 2017-12-28 | 2021-07-06 | Cilag Gmbh International | Automated data scaling, alignment, and organizing based on predefined parameters within surgical networks |
| US11419630B2 (en) | 2017-12-28 | 2022-08-23 | Cilag Gmbh International | Surgical system distributed processing |
| US12127729B2 (en) | 2017-12-28 | 2024-10-29 | Cilag Gmbh International | Method for smoke evacuation for surgical hub |
| US12062442B2 (en) | 2017-12-28 | 2024-08-13 | Cilag Gmbh International | Method for operating surgical instrument systems |
| US11432885B2 (en) | 2017-12-28 | 2022-09-06 | Cilag Gmbh International | Sensing arrangements for robot-assisted surgical platforms |
| US11832899B2 (en) | 2017-12-28 | 2023-12-05 | Cilag Gmbh International | Surgical systems with autonomously adjustable control programs |
| US12096916B2 (en) | 2017-12-28 | 2024-09-24 | Cilag Gmbh International | Method of sensing particulate from smoke evacuated from a patient, adjusting the pump speed based on the sensed information, and communicating the functional parameters of the system to the hub |
| US11903601B2 (en) | 2017-12-28 | 2024-02-20 | Cilag Gmbh International | Surgical instrument comprising a plurality of drive systems |
| US11324557B2 (en) | 2017-12-28 | 2022-05-10 | Cilag Gmbh International | Surgical instrument with a sensing array |
| US11304699B2 (en) | 2017-12-28 | 2022-04-19 | Cilag Gmbh International | Method for adaptive control schemes for surgical network control and interaction |
| US11234756B2 (en) | 2017-12-28 | 2022-02-01 | Cilag Gmbh International | Powered surgical tool with predefined adjustable control algorithm for controlling end effector parameter |
| US11026751B2 (en) | 2017-12-28 | 2021-06-08 | Cilag Gmbh International | Display of alignment of staple cartridge to prior linear staple line |
| US11540855B2 (en) | 2017-12-28 | 2023-01-03 | Cilag Gmbh International | Controlling activation of an ultrasonic surgical instrument according to the presence of tissue |
| US11424027B2 (en) | 2017-12-28 | 2022-08-23 | Cilag Gmbh International | Method for operating surgical instrument systems |
| US11389164B2 (en) | 2017-12-28 | 2022-07-19 | Cilag Gmbh International | Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices |
| US11051876B2 (en) | 2017-12-28 | 2021-07-06 | Cilag Gmbh International | Surgical evacuation flow paths |
| US10987178B2 (en) | 2017-12-28 | 2021-04-27 | Ethicon Llc | Surgical hub control arrangements |
| US11317937B2 (en) | 2018-03-08 | 2022-05-03 | Cilag Gmbh International | Determining the state of an ultrasonic end effector |
| US11446052B2 (en) | 2017-12-28 | 2022-09-20 | Cilag Gmbh International | Variation of radio frequency and ultrasonic power level in cooperation with varying clamp arm pressure to achieve predefined heat flux or power applied to tissue |
| US11559308B2 (en) | 2017-12-28 | 2023-01-24 | Cilag Gmbh International | Method for smart energy device infrastructure |
| US11109866B2 (en) | 2017-12-28 | 2021-09-07 | Cilag Gmbh International | Method for circular stapler control algorithm adjustment based on situational awareness |
| US11576677B2 (en) | 2017-12-28 | 2023-02-14 | Cilag Gmbh International | Method of hub communication, processing, display, and cloud analytics |
| US10695081B2 (en) | 2017-12-28 | 2020-06-30 | Ethicon Llc | Controlling a surgical instrument according to sensed closure parameters |
| US11857152B2 (en) | 2017-12-28 | 2024-01-02 | Cilag Gmbh International | Surgical hub spatial awareness to determine devices in operating theater |
| US11304763B2 (en) | 2017-12-28 | 2022-04-19 | Cilag Gmbh International | Image capturing of the areas outside the abdomen to improve placement and control of a surgical device in use |
| US20190201142A1 (en) | 2017-12-28 | 2019-07-04 | Ethicon Llc | Automatic tool adjustments for robot-assisted surgical platforms |
| US11257589B2 (en) | 2017-12-28 | 2022-02-22 | Cilag Gmbh International | Real-time analysis of comprehensive cost of all instrumentation used in surgery utilizing data fluidity to track instruments through stocking and in-house processes |
| US11633237B2 (en) | 2017-12-28 | 2023-04-25 | Cilag Gmbh International | Usage and technique analysis of surgeon / staff performance against a baseline to optimize device utilization and performance for both current and future procedures |
| US10849697B2 (en) | 2017-12-28 | 2020-12-01 | Ethicon Llc | Cloud interface for coupled surgical devices |
| US11832840B2 (en) | 2017-12-28 | 2023-12-05 | Cilag Gmbh International | Surgical instrument having a flexible circuit |
| US11744604B2 (en) | 2017-12-28 | 2023-09-05 | Cilag Gmbh International | Surgical instrument with a hardware-only control circuit |
| US11304745B2 (en) | 2017-12-28 | 2022-04-19 | Cilag Gmbh International | Surgical evacuation sensing and display |
| US11166772B2 (en) | 2017-12-28 | 2021-11-09 | Cilag Gmbh International | Surgical hub coordination of control and communication of operating room devices |
| US11284936B2 (en) | 2017-12-28 | 2022-03-29 | Cilag Gmbh International | Surgical instrument having a flexible electrode |
| US11311306B2 (en) | 2017-12-28 | 2022-04-26 | Cilag Gmbh International | Surgical systems for detecting end effector tissue distribution irregularities |
| US11969142B2 (en) | 2017-12-28 | 2024-04-30 | Cilag Gmbh International | Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws |
| US11278281B2 (en) | 2017-12-28 | 2022-03-22 | Cilag Gmbh International | Interactive surgical system |
| US11132462B2 (en) | 2017-12-28 | 2021-09-28 | Cilag Gmbh International | Data stripping method to interrogate patient records and create anonymized record |
| US11423007B2 (en) | 2017-12-28 | 2022-08-23 | Cilag Gmbh International | Adjustment of device control programs based on stratified contextual data in addition to the data |
| US11969216B2 (en) | 2017-12-28 | 2024-04-30 | Cilag Gmbh International | Surgical network recommendations from real time analysis of procedure variables against a baseline highlighting differences from the optimal solution |
| US11096693B2 (en) | 2017-12-28 | 2021-08-24 | Cilag Gmbh International | Adjustment of staple height of at least one row of staples based on the sensed tissue thickness or force in closing |
| US11771487B2 (en) | 2017-12-28 | 2023-10-03 | Cilag Gmbh International | Mechanisms for controlling different electromechanical systems of an electrosurgical instrument |
| US11376002B2 (en) | 2017-12-28 | 2022-07-05 | Cilag Gmbh International | Surgical instrument cartridge sensor assemblies |
| US11464535B2 (en) | 2017-12-28 | 2022-10-11 | Cilag Gmbh International | Detection of end effector emersion in liquid |
| US10755813B2 (en) | 2017-12-28 | 2020-08-25 | Ethicon Llc | Communication of smoke evacuation system parameters to hub or cloud in smoke evacuation module for interactive surgical platform |
| US11364075B2 (en) | 2017-12-28 | 2022-06-21 | Cilag Gmbh International | Radio frequency energy device for delivering combined electrical signals |
| US11253315B2 (en) | 2017-12-28 | 2022-02-22 | Cilag Gmbh International | Increasing radio frequency to create pad-less monopolar loop |
| US11678881B2 (en) | 2017-12-28 | 2023-06-20 | Cilag Gmbh International | Spatial awareness of surgical hubs in operating rooms |
| US11266468B2 (en) | 2017-12-28 | 2022-03-08 | Cilag Gmbh International | Cooperative utilization of data derived from secondary sources by intelligent surgical hubs |
| US10932872B2 (en) | 2017-12-28 | 2021-03-02 | Ethicon Llc | Cloud-based medical analytics for linking of local usage trends with the resource acquisition behaviors of larger data set |
| US10892899B2 (en) | 2017-12-28 | 2021-01-12 | Ethicon Llc | Self describing data packets generated at an issuing instrument |
| US11998193B2 (en) | 2017-12-28 | 2024-06-04 | Cilag Gmbh International | Method for usage of the shroud as an aspect of sensing or controlling a powered surgical device, and a control algorithm to adjust its default operation |
| US11786245B2 (en) | 2017-12-28 | 2023-10-17 | Cilag Gmbh International | Surgical systems with prioritized data transmission capabilities |
| US11419667B2 (en) | 2017-12-28 | 2022-08-23 | Cilag Gmbh International | Ultrasonic energy device which varies pressure applied by clamp arm to provide threshold control pressure at a cut progression location |
| US11786251B2 (en) | 2017-12-28 | 2023-10-17 | Cilag Gmbh International | Method for adaptive control schemes for surgical network control and interaction |
| US11304720B2 (en) | 2017-12-28 | 2022-04-19 | Cilag Gmbh International | Activation of energy devices |
| US11464559B2 (en) | 2017-12-28 | 2022-10-11 | Cilag Gmbh International | Estimating state of ultrasonic end effector and control system therefor |
| US11896443B2 (en) | 2017-12-28 | 2024-02-13 | Cilag Gmbh International | Control of a surgical system through a surgical barrier |
| US20190201140A1 (en) * | 2017-12-28 | 2019-07-04 | Ethicon Llc | Surgical hub situational awareness |
| US11308075B2 (en) | 2017-12-28 | 2022-04-19 | Cilag Gmbh International | Surgical network, instrument, and cloud responses based on validation of received dataset and authentication of its source and integrity |
| US11147607B2 (en) | 2017-12-28 | 2021-10-19 | Cilag Gmbh International | Bipolar combination device that automatically adjusts pressure based on energy modality |
| US10758310B2 (en) | 2017-12-28 | 2020-09-01 | Ethicon Llc | Wireless pairing of a surgical device with another device within a sterile surgical field based on the usage and situational awareness of devices |
| US20190201139A1 (en) | 2017-12-28 | 2019-07-04 | Ethicon Llc | Communication arrangements for robot-assisted surgical platforms |
| US20190201042A1 (en) | 2017-12-28 | 2019-07-04 | Ethicon Llc | Determining the state of an ultrasonic electromechanical system according to frequency shift |
| US20190201130A1 (en) * | 2017-12-28 | 2019-07-04 | Ethicon Llc | Communication of data where a surgical network is using context of the data and requirements of a receiving system / user to influence inclusion or linkage of data and metadata to establish continuity |
| US11612444B2 (en) | 2017-12-28 | 2023-03-28 | Cilag Gmbh International | Adjustment of a surgical device function based on situational awareness |
| US11410259B2 (en) | 2017-12-28 | 2022-08-09 | Cilag Gmbh International | Adaptive control program updates for surgical devices |
| US11291495B2 (en) | 2017-12-28 | 2022-04-05 | Cilag Gmbh International | Interruption of energy due to inadvertent capacitive coupling |
| US10943454B2 (en) | 2017-12-28 | 2021-03-09 | Ethicon Llc | Detection and escalation of security responses of surgical instruments to increasing severity threats |
| US11602393B2 (en) | 2017-12-28 | 2023-03-14 | Cilag Gmbh International | Surgical evacuation sensing and generator control |
| US10944728B2 (en) | 2017-12-28 | 2021-03-09 | Ethicon Llc | Interactive surgical systems with encrypted communication capabilities |
| US20190206569A1 (en) | 2017-12-28 | 2019-07-04 | Ethicon Llc | Method of cloud based data analytics for use with the hub |
| US11179208B2 (en) | 2017-12-28 | 2021-11-23 | Cilag Gmbh International | Cloud-based medical analytics for security and authentication trends and reactive measures |
| US11659023B2 (en) | 2017-12-28 | 2023-05-23 | Cilag Gmbh International | Method of hub communication |
| US11864728B2 (en) | 2017-12-28 | 2024-01-09 | Cilag Gmbh International | Characterization of tissue irregularities through the use of mono-chromatic light refractivity |
| US11589888B2 (en) | 2017-12-28 | 2023-02-28 | Cilag Gmbh International | Method for controlling smart energy devices |
| US11818052B2 (en) | 2017-12-28 | 2023-11-14 | Cilag Gmbh International | Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs |
| US11666331B2 (en) | 2017-12-28 | 2023-06-06 | Cilag Gmbh International | Systems for detecting proximity of surgical end effector to cancerous tissue |
| US10892995B2 (en) | 2017-12-28 | 2021-01-12 | Ethicon Llc | Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs |
| US11076921B2 (en) | 2017-12-28 | 2021-08-03 | Cilag Gmbh International | Adaptive control program updates for surgical hubs |
| US11937769B2 (en) | 2017-12-28 | 2024-03-26 | Cilag Gmbh International | Method of hub communication, processing, storage and display |
| US11069012B2 (en) | 2017-12-28 | 2021-07-20 | Cilag Gmbh International | Interactive surgical systems with condition handling of devices and data capabilities |
| US11160605B2 (en) | 2017-12-28 | 2021-11-02 | Cilag Gmbh International | Surgical evacuation sensing and motor control |
| US11559307B2 (en) | 2017-12-28 | 2023-01-24 | Cilag Gmbh International | Method of robotic hub communication, detection, and control |
| US11896322B2 (en) | 2017-12-28 | 2024-02-13 | Cilag Gmbh International | Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub |
| WO2019133144A1 (en) | 2017-12-28 | 2019-07-04 | Ethicon Llc | Detection and escalation of security responses of surgical instruments to increasing severity threats |
| US11202570B2 (en) | 2017-12-28 | 2021-12-21 | Cilag Gmbh International | Communication hub and storage device for storing parameters and status of a surgical device to be shared with cloud based analytics systems |
| US10595887B2 (en) | 2017-12-28 | 2020-03-24 | Ethicon Llc | Systems for adjusting end effector parameters based on perioperative information |
| US10898622B2 (en) | 2017-12-28 | 2021-01-26 | Ethicon Llc | Surgical evacuation system with a communication circuit for communication between a filter and a smoke evacuation device |
| US11571234B2 (en) | 2017-12-28 | 2023-02-07 | Cilag Gmbh International | Temperature control of ultrasonic end effector and control system therefor |
| US10966791B2 (en) | 2017-12-28 | 2021-04-06 | Ethicon Llc | Cloud-based medical analytics for medical facility segmented individualization of instrument function |
| US11529187B2 (en) | 2017-12-28 | 2022-12-20 | Cilag Gmbh International | Surgical evacuation sensor arrangements |
| US11100631B2 (en) | 2017-12-28 | 2021-08-24 | Cilag Gmbh International | Use of laser light and red-green-blue coloration to determine properties of back scattered light |
| AU2019205201B2 (en) | 2018-01-04 | 2020-11-05 | Covidien Lp | Systems and assemblies for mounting a surgical accessory to robotic surgical systems, and providing access therethrough |
| US12029510B2 (en) | 2018-01-10 | 2024-07-09 | Covidien Lp | Determining positions and conditions of tools of a robotic surgical system utilizing computer vision |
| CA3088004A1 (en) * | 2018-01-10 | 2019-07-18 | Covidien Lp | Guidance for positioning a patient and surgical robot |
| US12102397B2 (en) * | 2018-01-19 | 2024-10-01 | Verily Life Sciences Llc | Step-based system for providing surgical intraoperative cues |
| US12102403B2 (en) | 2018-02-02 | 2024-10-01 | Coviden Lp | Robotic surgical systems with user engagement monitoring |
| US11967422B2 (en) * | 2018-03-05 | 2024-04-23 | Medtech S.A. | Robotically-assisted surgical procedure feedback techniques |
| US11189379B2 (en) | 2018-03-06 | 2021-11-30 | Digital Surgery Limited | Methods and systems for using multiple data structures to process surgical data |
| EP3761900A4 (en) | 2018-03-08 | 2021-12-08 | Covidien LP | SURGICAL ROBOTIC SYSTEMS |
| US11337746B2 (en) | 2018-03-08 | 2022-05-24 | Cilag Gmbh International | Smart blade and power pulsing |
| US11534196B2 (en) | 2018-03-08 | 2022-12-27 | Cilag Gmbh International | Using spectroscopy to determine device use state in combo instrument |
| US11259830B2 (en) | 2018-03-08 | 2022-03-01 | Cilag Gmbh International | Methods for controlling temperature in ultrasonic device |
| US11207067B2 (en) | 2018-03-28 | 2021-12-28 | Cilag Gmbh International | Surgical stapling device with separate rotary driven closure and firing systems and firing member that engages both jaws while firing |
| US11096688B2 (en) | 2018-03-28 | 2021-08-24 | Cilag Gmbh International | Rotary driven firing members with different anvil and channel engagement features |
| US11406382B2 (en) | 2018-03-28 | 2022-08-09 | Cilag Gmbh International | Staple cartridge comprising a lockout key configured to lift a firing member |
| US11278280B2 (en) | 2018-03-28 | 2022-03-22 | Cilag Gmbh International | Surgical instrument comprising a jaw closure lockout |
| US11259806B2 (en) | 2018-03-28 | 2022-03-01 | Cilag Gmbh International | Surgical stapling devices with features for blocking advancement of a camming assembly of an incompatible cartridge installed therein |
| US10973520B2 (en) | 2018-03-28 | 2021-04-13 | Ethicon Llc | Surgical staple cartridge with firing member driven camming assembly that has an onboard tissue cutting feature |
| US11471156B2 (en) | 2018-03-28 | 2022-10-18 | Cilag Gmbh International | Surgical stapling devices with improved rotary driven closure systems |
| US11090047B2 (en) | 2018-03-28 | 2021-08-17 | Cilag Gmbh International | Surgical instrument comprising an adaptive control system |
| US11219453B2 (en) | 2018-03-28 | 2022-01-11 | Cilag Gmbh International | Surgical stapling devices with cartridge compatible closure and firing lockout arrangements |
| CN111989026B (zh) * | 2018-04-19 | 2024-08-30 | 富士胶片株式会社 | 内窥镜装置、内窥镜装置的工作方法及记录介质 |
| US11232556B2 (en) | 2018-04-20 | 2022-01-25 | Verily Life Sciences Llc | Surgical simulator providing labeled data |
| WO2019204013A1 (en) | 2018-04-20 | 2019-10-24 | Covidien Lp | Systems and methods for surgical robotic cart placement |
| US11647888B2 (en) | 2018-04-20 | 2023-05-16 | Covidien Lp | Compensation for observer movement in robotic surgical systems having stereoscopic displays |
| CA3092720A1 (en) * | 2018-05-05 | 2019-11-14 | Mentice, Inc. | Simulation-based training and assessment systems and methods |
| CN112218595A (zh) | 2018-05-18 | 2021-01-12 | 奥瑞斯健康公司 | 用于机器人使能的远程操作的系统的控制器 |
| US11250726B2 (en) * | 2018-05-24 | 2022-02-15 | Verily Life Sciences Llc | System for simulation of soft bodies |
| CN112352285A (zh) * | 2018-05-30 | 2021-02-09 | 直观外科手术操作公司 | 用于计算机辅助手术系统的上下文感知系统和方法 |
| WO2020009830A1 (en) | 2018-07-03 | 2020-01-09 | Covidien Lp | Systems, methods, and computer-readable media for detecting image degradation during surgical procedures |
| JP2021182950A (ja) * | 2018-08-17 | 2021-12-02 | ソニーグループ株式会社 | 情報処理装置および方法 |
| US11589928B2 (en) | 2018-09-12 | 2023-02-28 | Orthogrid Systems Holdings, Llc | Artificial intelligence intra-operative surgical guidance system and method of use |
| US11540794B2 (en) | 2018-09-12 | 2023-01-03 | Orthogrid Systesm Holdings, LLC | Artificial intelligence intra-operative surgical guidance system and method of use |
| US11998288B2 (en) | 2018-09-17 | 2024-06-04 | Covidien Lp | Surgical robotic systems |
| JP6902639B2 (ja) * | 2018-09-25 | 2021-07-14 | 株式会社メディカロイド | 手術システム |
| JP7325173B2 (ja) | 2018-10-06 | 2023-08-14 | シスメックス株式会社 | 手術支援ロボットの遠隔支援方法、および遠隔支援システム |
| US11109746B2 (en) | 2018-10-10 | 2021-09-07 | Titan Medical Inc. | Instrument insertion system, method, and apparatus for performing medical procedures |
| US20210386489A1 (en) * | 2018-10-12 | 2021-12-16 | Sony Corporation | Surgical support system, data processing apparatus and method |
| US11586106B2 (en) | 2018-12-28 | 2023-02-21 | Titan Medical Inc. | Imaging apparatus having configurable stereoscopic perspective |
| WO2020141468A1 (en) * | 2019-01-03 | 2020-07-09 | Ehe Innovations Private Limited | Method and system for detecting position of a target area in a target subject |
| US11605161B2 (en) | 2019-01-10 | 2023-03-14 | Verily Life Sciences Llc | Surgical workflow and activity detection based on surgical videos |
| US11717355B2 (en) | 2019-01-29 | 2023-08-08 | Covidien Lp | Drive mechanisms for surgical instruments such as for use in robotic surgical systems |
| US11576733B2 (en) | 2019-02-06 | 2023-02-14 | Covidien Lp | Robotic surgical assemblies including electrosurgical instruments having articulatable wrist assemblies |
| US11484372B2 (en) | 2019-02-15 | 2022-11-01 | Covidien Lp | Articulation mechanisms for surgical instruments such as for use in robotic surgical systems |
| US11369377B2 (en) | 2019-02-19 | 2022-06-28 | Cilag Gmbh International | Surgical stapling assembly with cartridge based retainer configured to unlock a firing lockout |
| US11357503B2 (en) | 2019-02-19 | 2022-06-14 | Cilag Gmbh International | Staple cartridge retainers with frangible retention features and methods of using same |
| US11298129B2 (en) | 2019-02-19 | 2022-04-12 | Cilag Gmbh International | Method for providing an authentication lockout in a surgical stapler with a replaceable cartridge |
| US11464511B2 (en) | 2019-02-19 | 2022-10-11 | Cilag Gmbh International | Surgical staple cartridges with movable authentication key arrangements |
| US11317915B2 (en) | 2019-02-19 | 2022-05-03 | Cilag Gmbh International | Universal cartridge based key feature that unlocks multiple lockout arrangements in different surgical staplers |
| US10943682B2 (en) * | 2019-02-21 | 2021-03-09 | Theator inc. | Video used to automatically populate a postoperative report |
| US20200273563A1 (en) | 2019-02-21 | 2020-08-27 | Theator inc. | Adjusting an operating room schedule |
| US10779890B2 (en) * | 2019-02-27 | 2020-09-22 | Jared Weir | System and method for performing joint replacement surgery using artificial neural network |
| US11540883B2 (en) * | 2019-03-08 | 2023-01-03 | Thomas Jefferson University | Virtual reality training for medical events |
| DE102019203192A1 (de) * | 2019-03-08 | 2020-09-10 | Siemens Healthcare Gmbh | Erzeugung eines digitalen Zwillings für medizinische Untersuchungen |
| US11348235B2 (en) * | 2019-03-22 | 2022-05-31 | Verily Life Sciences Llc | Improving surgical video consumption by identifying useful segments in surgical videos |
| CN110211650A (zh) * | 2019-05-30 | 2019-09-06 | 苏州爱医斯坦智能科技有限公司 | 手术富媒体电子病历自动监测识别记录的方法及装置 |
| US10791301B1 (en) | 2019-06-13 | 2020-09-29 | Verb Surgical Inc. | Method and system for synchronizing procedure videos for comparative learning |
| USD952144S1 (en) | 2019-06-25 | 2022-05-17 | Cilag Gmbh International | Surgical staple cartridge retainer with firing system authentication key |
| USD964564S1 (en) | 2019-06-25 | 2022-09-20 | Cilag Gmbh International | Surgical staple cartridge retainer with a closure system authentication key |
| USD950728S1 (en) | 2019-06-25 | 2022-05-03 | Cilag Gmbh International | Surgical staple cartridge |
| EP3989793A4 (en) | 2019-06-28 | 2023-07-19 | Auris Health, Inc. | CONSOLE OVERLAY ITS METHODS OF USE |
| CN114340538A (zh) * | 2019-07-15 | 2022-04-12 | 科林达斯公司 | 用于利用细长医疗装置的机器人手术的数据捕获和自适应引导 |
| CN111685895B (zh) * | 2019-10-29 | 2021-07-20 | 成都博恩思医学机器人有限公司 | 一种手术机器人的手术器械类型自动识别系统 |
| CN114730633A (zh) * | 2019-12-02 | 2022-07-08 | 直观外科手术操作公司 | 用于协调用户协助的方法和系统 |
| JP6754150B1 (ja) * | 2020-02-12 | 2020-09-09 | リバーフィールド株式会社 | 手術用ロボット |
| JP7128326B2 (ja) * | 2020-02-21 | 2022-08-30 | 株式会社メディカロイド | 手術システム |
| US11911120B2 (en) | 2020-03-27 | 2024-02-27 | Verb Surgical Inc. | Training and feedback for a controller workspace boundary |
| US20210312949A1 (en) | 2020-04-05 | 2021-10-07 | Theator inc. | Systems and methods for intraoperative video review |
| WO2021207016A1 (en) * | 2020-04-05 | 2021-10-14 | Theator inc. | Systems and methods for automating video data management during surgical procedures using artificial intelligence |
| EP4138701A4 (en) * | 2020-04-20 | 2024-11-06 | Mendaera Inc | VIDEO AND AUDIO ANALYSIS SYSTEMS AND METHODS |
| US12030195B2 (en) | 2020-05-27 | 2024-07-09 | Covidien Lp | Tensioning mechanisms and methods for articulating surgical instruments such as for use in robotic surgical systems |
| WO2022020057A2 (en) * | 2020-06-30 | 2022-01-27 | Purdue Research Foundation | Artificially intelligent medical procedure assessment and intervention system |
| USD963851S1 (en) | 2020-07-10 | 2022-09-13 | Covidien Lp | Port apparatus |
| JP2022020592A (ja) * | 2020-07-20 | 2022-02-01 | ソニーグループ株式会社 | 医療用アーム制御システム、医療用アーム制御方法、及びプログラム |
| US11871108B2 (en) * | 2020-09-15 | 2024-01-09 | Gopro, Inc. | Integrated internal and removable battery power management for image capture device |
| WO2022106989A1 (en) * | 2020-11-20 | 2022-05-27 | Auris Health, Inc. | Ai-assisted workflow segmentation |
| EP4247290A1 (en) * | 2020-11-20 | 2023-09-27 | Auris Health, Inc. | Automated procedure evaluation |
| US11948226B2 (en) | 2021-05-28 | 2024-04-02 | Covidien Lp | Systems and methods for clinical workspace simulation |
| US20220384016A1 (en) * | 2021-05-28 | 2022-12-01 | Cilag Gmbh International | Monitoring a health care professional movement relative to a virtual boundary in an operating room |
| JP2022190604A (ja) * | 2021-06-14 | 2022-12-26 | 株式会社メディカロイド | トレーニング装置およびトレーニングシステム |
| JP2024527624A (ja) * | 2021-07-19 | 2024-07-25 | オーリス ヘルス インコーポレイテッド | 経皮医療処置の段階セグメント化 |
| CN113779533B (zh) * | 2021-08-27 | 2024-05-14 | 上海微创医疗机器人（集团）股份有限公司 | 用于医用机器人的操作者身份识别方法、装置和系统 |
| CN118215914A (zh) * | 2021-11-10 | 2024-06-18 | 数字外科有限公司 | 从手术视频目录中移除冗余数据 |
| EP4430487A1 (en) * | 2021-11-10 | 2024-09-18 | Digital Surgery Limited | Query similar cases based on video information |
| US11389248B1 (en) * | 2021-12-14 | 2022-07-19 | Ix Innovation Llc | Surgical robot evolution and handoff |
| US11944508B1 (en) | 2022-01-13 | 2024-04-02 | Altair Innovations, LLC | Augmented reality surgical assistance system |
| WO2023178102A1 (en) * | 2022-03-16 | 2023-09-21 | Intuitive Surgical Operations, Inc. | Systems and methods for parameterizing medical procedures |
| US20230298336A1 (en) * | 2022-03-21 | 2023-09-21 | Verb Surgical Inc. | Video-based surgical skill assessment using tool tracking |
| US12076005B2 (en) * | 2022-03-23 | 2024-09-03 | Verb Surgical Inc. | Video-based analysis of stapling events during a surgical procedure using machine learning |
| WO2023185699A1 (zh) * | 2022-03-26 | 2023-10-05 | 深圳市精锋医疗科技股份有限公司 | 一种手术机器人和控制方法 |
| WO2024167823A1 (en) * | 2023-02-06 | 2024-08-15 | Stryker Corporation | Systems and methods for evaluating and aiding surgical performance |
| US11844585B1 (en) | 2023-02-10 | 2023-12-19 | Distalmotion Sa | Surgical robotics systems and devices having a sterile restart, and methods thereof |
Family Cites Families (79)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0820894B2 (ja) | 1987-07-01 | 1996-03-04 | 株式会社日立製作所 | 産業用ロボツトの動作制御方法 |
| EP1356781A3 (en) * | 1992-01-21 | 2013-07-24 | SRI International | Teleoperation surgical system |
| US5769640A (en) | 1992-12-02 | 1998-06-23 | Cybernet Systems Corporation | Method and system for simulating medical procedures including virtual reality and control method and system for use therein |
| US5882206A (en) * | 1995-03-29 | 1999-03-16 | Gillio; Robert G. | Virtual surgery system |
| US6074213A (en) * | 1998-08-17 | 2000-06-13 | Hon; David C. | Fractional process simulator with remote apparatus for multi-locational training of medical teams |
| US8527094B2 (en) * | 1998-11-20 | 2013-09-03 | Intuitive Surgical Operations, Inc. | Multi-user medical robotic system for collaboration or training in minimally invasive surgical procedures |
| US6659939B2 (en) | 1998-11-20 | 2003-12-09 | Intuitive Surgical, Inc. | Cooperative minimally invasive telesurgical system |
| US6493608B1 (en) | 1999-04-07 | 2002-12-10 | Intuitive Surgical, Inc. | Aspects of a control system of a minimally invasive surgical apparatus |
| US6573889B1 (en) | 1999-02-08 | 2003-06-03 | Adobe Systems Incorporated | Analytic warping |
| JP2000287986A (ja) | 1999-04-01 | 2000-10-17 | Olympus Optical Co Ltd | 手術具 |
| US7236618B1 (en) * | 2000-07-07 | 2007-06-26 | Chee-Kong Chui | Virtual surgery system with force feedback |
| JP4032410B2 (ja) | 2001-11-09 | 2008-01-16 | ソニー株式会社 | 情報処理システムおよび情報処理方法、プログラムおよび記録媒体、並びに情報処理装置 |
| US7831292B2 (en) | 2002-03-06 | 2010-11-09 | Mako Surgical Corp. | Guidance system and method for surgical procedures with improved feedback |
| US8010180B2 (en) | 2002-03-06 | 2011-08-30 | Mako Surgical Corp. | Haptic guidance system and method |
| US20100312129A1 (en) | 2005-01-26 | 2010-12-09 | Schecter Stuart O | Cardiovascular haptic handle system |
| EP3470040B1 (en) | 2005-02-22 | 2022-03-16 | Mako Surgical Corp. | Haptic guidance system and method |
| US8073528B2 (en) | 2007-09-30 | 2011-12-06 | Intuitive Surgical Operations, Inc. | Tool tracking systems, methods and computer products for image guided surgery |
| US8398541B2 (en) | 2006-06-06 | 2013-03-19 | Intuitive Surgical Operations, Inc. | Interactive user interfaces for robotic minimally invasive surgical systems |
| US8079950B2 (en) | 2005-09-29 | 2011-12-20 | Intuitive Surgical Operations, Inc. | Autofocus and/or autoscaling in telesurgery |
| US20090017430A1 (en) * | 2007-05-15 | 2009-01-15 | Stryker Trauma Gmbh | Virtual surgical training tool |
| JP5394622B2 (ja) * | 2007-07-31 | 2014-01-22 | オリンパスメディカルシステムズ株式会社 | 医用ガイドシステム |
| FR2920086A1 (fr) | 2007-08-24 | 2009-02-27 | Univ Grenoble 1 | Systeme et procede d'analyse pour une operation chirurgicale par endoscopie |
| US8317744B2 (en) | 2008-03-27 | 2012-11-27 | St. Jude Medical, Atrial Fibrillation Division, Inc. | Robotic catheter manipulator assembly |
| US9161817B2 (en) | 2008-03-27 | 2015-10-20 | St. Jude Medical, Atrial Fibrillation Division, Inc. | Robotic catheter system |
| US8155479B2 (en) | 2008-03-28 | 2012-04-10 | Intuitive Surgical Operations Inc. | Automated panning and digital zooming for robotic surgical systems |
| US8864652B2 (en) | 2008-06-27 | 2014-10-21 | Intuitive Surgical Operations, Inc. | Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the positioning and orienting of its tip |
| US20100248200A1 (en) * | 2008-09-26 | 2010-09-30 | Ladak Hanif M | System, Method and Computer Program for Virtual Reality Simulation for Medical Procedure Skills Training |
| EP2374090B1 (en) | 2009-01-06 | 2020-03-18 | Siemens Healthcare Diagnostics Inc. | Methods and apparatus for automated detection of the presence and types of caps on vials and containers |
| US8126736B2 (en) | 2009-01-23 | 2012-02-28 | Warsaw Orthopedic, Inc. | Methods and systems for diagnosing, treating, or tracking spinal disorders |
| CA2753485C (en) | 2009-02-25 | 2014-01-14 | Mohamed Rashwan Mahfouz | Customized orthopaedic implants and related methods |
| US9196176B2 (en) | 2009-03-20 | 2015-11-24 | The Johns Hopkins University | Systems and methods for training one or more training users |
| US8311791B1 (en) | 2009-10-19 | 2012-11-13 | Surgical Theater LLC | Method and system for simulating surgical procedures |
| US8521331B2 (en) | 2009-11-13 | 2013-08-27 | Intuitive Surgical Operations, Inc. | Patient-side surgeon interface for a minimally invasive, teleoperated surgical instrument |
| US8864761B2 (en) | 2010-03-10 | 2014-10-21 | Covidien Lp | System and method for determining proximity relative to a critical structure |
| US9341704B2 (en) | 2010-04-13 | 2016-05-17 | Frederic Picard | Methods and systems for object tracking |
| US20110295268A1 (en) * | 2010-05-28 | 2011-12-01 | Hansen Medical, Inc. | System and method for automated master input scaling |
| US20120178069A1 (en) * | 2010-06-15 | 2012-07-12 | Mckenzie Frederic D | Surgical Procedure Planning and Training Tool |
| JP2012065698A (ja) | 2010-09-21 | 2012-04-05 | Fujifilm Corp | 手術支援システムおよびそれを用いた手術支援方法 |
| CN103299355B (zh) * | 2010-11-04 | 2016-09-14 | 约翰霍普金斯大学 | 用于微创手术技能的评估或改进的系统和方法 |
| JP6106594B2 (ja) * | 2010-11-11 | 2017-04-05 | ザ・ジョンズ・ホプキンス・ユニバーシティ | ヒューマン・マシン連携ロボットシステム |
| EP3150113A1 (en) | 2010-12-13 | 2017-04-05 | Ortho Kinematics, Inc. | Methods, systems and devices for clinical data reporting and surgical navigation |
| US8900131B2 (en) | 2011-05-13 | 2014-12-02 | Intuitive Surgical Operations, Inc. | Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery |
| KR102109615B1 (ko) | 2011-05-31 | 2020-05-12 | 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 | 로봇 수술 기구 엔드 이펙터의 능동 제어 |
| US9498231B2 (en) * | 2011-06-27 | 2016-11-22 | Board Of Regents Of The University Of Nebraska | On-board tool tracking system and methods of computer assisted surgery |
| US20140228860A1 (en) | 2011-08-03 | 2014-08-14 | Conformis, Inc. | Automated Design, Selection, Manufacturing and Implantation of Patient-Adapted and Improved Articular Implants, Designs and Related Guide Tools |
| US9554866B2 (en) | 2011-08-09 | 2017-01-31 | Covidien Lp | Apparatus and method for using a remote control system in surgical procedures |
| US9268915B2 (en) | 2011-09-25 | 2016-02-23 | Theranos, Inc. | Systems and methods for diagnosis or treatment |
| US8992230B2 (en) * | 2012-01-23 | 2015-03-31 | Virtamed Ag | Medical training systems and methods |
| CN104203078B (zh) | 2012-02-29 | 2018-04-20 | 普罗赛普特生物机器人公司 | 自动化图像引导的组织切除和处理 |
| EP4140414A1 (en) * | 2012-03-07 | 2023-03-01 | Ziteo, Inc. | Methods and systems for tracking and guiding sensors and instruments |
| US9198714B2 (en) * | 2012-06-29 | 2015-12-01 | Ethicon Endo-Surgery, Inc. | Haptic feedback devices for surgical robot |
| US9220570B2 (en) | 2012-06-29 | 2015-12-29 | Children's National Medical Center | Automated surgical and interventional procedures |
| KR102603224B1 (ko) | 2012-08-03 | 2023-11-16 | 스트리커 코포레이션 | 로봇 수술을 위한 시스템 및 방법 |
| KR101997566B1 (ko) | 2012-08-07 | 2019-07-08 | 삼성전자주식회사 | 수술 로봇 시스템 및 그 제어방법 |
| US20140081659A1 (en) | 2012-09-17 | 2014-03-20 | Depuy Orthopaedics, Inc. | Systems and methods for surgical and interventional planning, support, post-operative follow-up, and functional recovery tracking |
| JP5719819B2 (ja) * | 2012-09-28 | 2015-05-20 | 日本光電工業株式会社 | 手術支援システム |
| EP2925250B1 (en) * | 2012-11-30 | 2017-07-26 | Olympus Corporation | Operation support system |
| US9643318B2 (en) * | 2012-12-03 | 2017-05-09 | Abb Schweiz Ag | Teleoperation of machines having at least one actuated mechanism |
| CN103077633A (zh) * | 2013-01-11 | 2013-05-01 | 深圳超多维光电子有限公司 | 一种立体虚拟培训系统和方法 |
| WO2014110069A1 (en) | 2013-01-11 | 2014-07-17 | The Cleveland Clinic Foundation | Alignment of manipulable sensor assembly |
| CN105009126A (zh) | 2013-01-16 | 2015-10-28 | 梅达器材 | 医疗资料库及系统 |
| CN103961178B (zh) | 2013-01-30 | 2016-05-11 | 深圳先进技术研究院 | 远程手术规划与导航系统 |
| CA2897861A1 (en) | 2013-03-13 | 2014-10-02 | Stryker Corporation | System for arranging objects in an operating room in preparation for surgical procedures |
| EP2996611B1 (en) | 2013-03-13 | 2019-06-26 | Stryker Corporation | Systems and software for establishing virtual constraint boundaries |
| WO2014152668A1 (en) * | 2013-03-15 | 2014-09-25 | Ratcliffe Mark B | System and method for performing virtual surgery |
| WO2014139021A1 (en) | 2013-03-15 | 2014-09-18 | Synaptive Medical (Barbados) Inc. | Intramodal synchronization of surgical data |
| JP6473919B2 (ja) | 2013-06-24 | 2019-02-27 | パナソニックＩｐマネジメント株式会社 | マスタスレーブロボットの制御装置及び制御方法、ロボット、マスタスレーブロボットの制御プログラム、並びに、マスタスレーブロボットの制御用集積電子回路 |
| FR3009271B1 (fr) | 2013-08-02 | 2016-11-04 | Thales Sa | Dispositif de remorquage a chaumard en deux parties |
| US10744646B2 (en) | 2013-08-29 | 2020-08-18 | Wayne State University | Camera control system and method |
| WO2015066565A1 (en) | 2013-10-31 | 2015-05-07 | Health Research, Inc. | System and method for a situation and awareness-based intelligent surgical system |
| CN106030683B (zh) * | 2013-12-20 | 2020-10-30 | 直观外科手术操作公司 | 用于医疗程序培训的模拟器系统 |
| CN106456258B (zh) | 2014-03-17 | 2019-05-10 | 直观外科手术操作公司 | 远程操作医疗系统中的具有预建立的臂位置的自动化结构 |
| KR102365191B1 (ko) | 2014-10-20 | 2022-02-18 | 삼성전자주식회사 | 사용자의 동작을 인식하기 위한 장치 및 방법 |
| KR20160066928A (ko) * | 2014-12-03 | 2016-06-13 | 삼성전자주식회사 | 컴퓨터 보조 진단 장치 및 방법, 프로브의 초음파 송신 패턴 조절 장치 |
| KR102523779B1 (ko) | 2015-06-09 | 2023-04-20 | 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 | 수술 절차 아틀라스를 갖는 수술 시스템의 구성 |
| KR20180068336A (ko) | 2015-11-12 | 2018-06-21 | 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 | 훈련 또는 보조 기능들을 갖는 수술 시스템 |
| CA3017983A1 (en) | 2016-03-14 | 2017-09-21 | Mohamed R. Mahfouz | Ultra-wideband positioning for wireless ultrasound tracking and communication |
| FR3059541B1 (fr) * | 2016-12-07 | 2021-05-07 | Bay Labs Inc | Navigation guidee d'une sonde ultrason |
| WO2018117311A1 (ko) | 2016-12-23 | 2018-06-28 | 한양로보틱스 주식회사 | 사출성형기의 원격관제시스템 |
-
2016
- 2016-11-11 KR KR1020187016122A patent/KR20180068336A/ko not_active Application Discontinuation
- 2016-11-11 CN CN201680076020.4A patent/CN108472084B/zh active Active
- 2016-11-11 JP JP2018524314A patent/JP2018538037A/ja active Pending
- 2016-11-11 US US15/772,531 patent/US10912619B2/en active Active
- 2016-11-11 EP EP16865162.8A patent/EP3373834A4/en active Pending
- 2016-11-11 CN CN202110899095.5A patent/CN113456241A/zh active Pending
- 2016-11-11 WO PCT/US2016/061694 patent/WO2017083768A1/en active Application Filing
-
2020
- 2020-12-29 US US17/137,342 patent/US11751957B2/en active Active
-
2021
- 2021-09-17 JP JP2021152466A patent/JP2021191519A/ja active Pending
-
2023
- 2023-07-14 JP JP2023115982A patent/JP2023126480A/ja active Pending
- 2023-07-31 US US18/228,650 patent/US12114949B2/en active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102018125656A1 (de) | 2018-06-14 | 2019-12-19 | Hyundai Motor Company | Leistung-übertragung-vorrichtung für ein fahrzeug |
Also Published As
| Publication number | Publication date |
|---|---|
| US12114949B2 (en) | 2024-10-15 |
| US11751957B2 (en) | 2023-09-12 |
| EP3373834A4 (en) | 2019-07-31 |
| US20240115333A1 (en) | 2024-04-11 |
| EP3373834A1 (en) | 2018-09-19 |
| JP2021191519A (ja) | 2021-12-16 |
| US20190090969A1 (en) | 2019-03-28 |
| US10912619B2 (en) | 2021-02-09 |
| JP2023126480A (ja) | 2023-09-07 |
| CN108472084B (zh) | 2021-08-27 |
| US20210186634A1 (en) | 2021-06-24 |
| WO2017083768A1 (en) | 2017-05-18 |
| CN113456241A (zh) | 2021-10-01 |
| JP2018538037A (ja) | 2018-12-27 |
| CN108472084A (zh) | 2018-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12114949B2 (en) | Surgical system with training or assist functions | |
| US11737841B2 (en) | Configuring surgical system with surgical procedures atlas | |
| JP7440262B2 (ja) | 患者健康記録ベース器具制御を備える遠隔操作手術システム | |
| KR102654065B1 (ko) | 스캔 기반 배치를 갖는 원격조작 수술 시스템 | |
| US11344374B2 (en) | Detection of unintentional movement of a user interface device | |
| KR102633401B1 (ko) | 외과의 숙련도 레벨 기반 기구 제어를 갖는 원격조작 수술 시스템 | |
| KR20150004726A (ko) | 최소 침습 수술 기량의 평가 또는 개선을 위한 시스템 및 방법 | |
| EP3413774A1 (en) | Database management for laparoscopic surgery | |
| Long et al. | Integrating artificial intelligence and augmented reality in robotic surgery: An initial dvrk study using a surgical education scenario | |
| JP2022519558A (ja) | コンピュータ支援手術システムのためのカメラ制御システム及び方法 | |
| US20240303506A1 (en) | Feature extraction via federated self-supervised learning | |
| WO2024123888A1 (en) | Systems and methods for anatomy segmentation and anatomical structure tracking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal |