Nothing Special   »   [go: up one dir, main page]

CN111278383B - 用于在远程操作系统的显示器中呈现增强现实感的系统和方法 - Google Patents

用于在远程操作系统的显示器中呈现增强现实感的系统和方法 Download PDF

Info

Publication number
CN111278383B
CN111278383B CN201880068682.6A CN201880068682A CN111278383B CN 111278383 B CN111278383 B CN 111278383B CN 201880068682 A CN201880068682 A CN 201880068682A CN 111278383 B CN111278383 B CN 111278383B
Authority
CN
China
Prior art keywords
image
user
surgical
gesture
surgical environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880068682.6A
Other languages
English (en)
Other versions
CN111278383A (zh
Inventor
B·D·伊特科维兹
S·P·迪马奥
P·W·莫尔
T·W·罗杰斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Priority to CN202410791308.6A priority Critical patent/CN118806424A/zh
Publication of CN111278383A publication Critical patent/CN111278383A/zh
Application granted granted Critical
Publication of CN111278383B publication Critical patent/CN111278383B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/02—Surgical instruments, devices or methods, e.g. tourniquets for holding wounds open; Tractors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/02—Surgical instruments, devices or methods, e.g. tourniquets for holding wounds open; Tractors
    • A61B17/0218—Surgical instruments, devices or methods, e.g. tourniquets for holding wounds open; Tractors for minimally invasive surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00973—Surgical instruments, devices or methods, e.g. tourniquets pedal-operated
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A61B2090/3614—Image-producing devices, e.g. surgical cameras using optical fibre
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Robotics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Endoscopes (AREA)

Abstract

本发明描述了一种包括显示手术环境图像的方法。手术环境图像包括用于控制手术系统的部件的虚拟控制元件。该方法还包括显示用于与虚拟控制元件交互的用户的身体部分的图像。该方法还包括在身体部分与虚拟控制元件交互时，使用基于姿势的输入装置接收来自用户的用户输入。该方法还包括基于接收的用户输入调节手术系统的部件的设置。

Description

用于在远程操作系统的显示器中呈现增强现实感的系统和 方法
相关申请的交叉引用
本申请要求获得2017年10月23日提交的美国临时申请62/575759的利益，该申请通过引用以其整体并入本文。
技术领域
本发明涉及用于执行远程操作医疗程序的系统和方法，尤其是用于在远程操作系统的显示器中呈现增强现实感的系统和方法。
背景技术
微创医疗技术旨在减少在有创医疗程序期间受损的组织量，从而减少患者的康复时间、不适和有害副作用。这种微创技术可以通过患者解剖结构中的自然孔口或通过一个或多个外科切口来执行。通过这些自然孔口或切口，临床医生可以插入医疗工具，以达到目标组织位置。微创医疗工具包括诸如治疗器械、诊断器械和手术器械之类的器械。微创医疗工具也可以包括成像器械，诸如内窥镜器械。成像器械为用户提供了患者解剖结构内的视场。一些微创医疗工具和成像器械可以是远程操作或以其他方式计算机辅助的。在现有的远程手术医疗系统中，外科医生对自己肢体的视线可能被手术控制台处的显示器遮挡，从而限制了外科医生相对于控制输入装置的身体方位意识。需要系统和方法来增强显示器上的图像，以创建更好的身体方位意识。
发明内容
本发明的实施例由要求保护的主题概括。
在一个实施例中，一种方法包括显示手术环境图像。手术环境图像包括用于控制手术系统的部件的虚拟控制元件。该方法还包括显示用于与虚拟控制元件进行交互的用户的身体部分的图像。该方法还包括当身体部分与虚拟控制元件交互时，利用基于姿势的输入装置从用户接收用户输入。该方法还包括基于所接收的用户输入来调节手术系统的部件的设置。
在另一个实施例中，一种方法包括显示包括虚拟标记元件的手术环境图像。该方法还包括显示用于与虚拟标记元件交互的用户的身体部分。该方法还包括当身体部分与虚拟标记元件交互时，利用基于姿势的输入装置从用户接收用户输入，并且基于接收到的用户输入在患者解剖结构上生成患者解剖结构标记。
在另一个实施例中，一种方法包括当患者位于手术环境中时在显示器上显示内部的患者解剖结构的图像。内部的患者解剖结构的图像从第一成像装置接收。该方法还包括当患者位于手术环境中时，在显示器上在患者解剖结构外部显示手术环境的图像。患者解剖结构外部的手术环境的图像从第二成像装置接收。内部的患者解剖结构的显示图像至少部分地被外部的患者解剖结构的显示图像包围。
应当理解，前面的一般描述和下面的详细描述在本质上都是示例性和说明性的，并且旨在提供对本公开的理解，而不限制本公开的范围。就这一点而言，根据以下详细描述，本公开的其他方面、特征和优点对于本领域技术人员将是显而易见的。
附图的简要说明
当与附图一起阅读时，从以下详细描述中最好地理解本公开的各方面。要强调的是，根据行业中的标准实践，各种特征未按比例绘制。事实上，为了便于讨论，可以任意增大或减小各种特征的尺寸。此外，本公开可以在各种示例中重复附图标记和/或字母。这种重复是为了简单和清晰的目的，其本身并不指示所讨论的各种实施例和/或配置之间的关系。
图1A是根据本公开实施例的远程操作医疗系统的示意图。
图1B是根据本文描述的原理的一个示例的远程操作操纵器的透视图。
图1C是根据许多实施例的用于远程操作医疗系统的外科医生控制台的透视图。
图2示出了用户肢体的图像增强的手术环境图像。
图3示出了利用用户肢体的光标图像来调节虚拟控制元件的方法。
图4A示出了用户肢体的光标图像与虚拟控制元件交互。
图4B示出了在手术环境中用户肢体的光标图像与部件的图像交互。
图5示出了用户肢体的光标图像与信息图标交互。
图6示出了使用基于姿势的输入装置进行患者标记的方法。
图7示出了手术环境的图像，其中用户肢体的光标图像与标记元件的图像交互。
图8示出了显示内部患者解剖结构的图像的方法，该图像至少部分地被外部患者解剖结构的显示图像包围。
图9示出了内部患者解剖结构的图像，至少部分地被外部患者解剖结构的显示图像包围。
详细说明
为了促进对本公开原则的理解，现在将参考附图中所示的实施例，并且将使用特定语言来描述它们。然而，将理解的是并不意在限制本公开的范围。在对本发明各方面的以下详细描述中，阐述了许多具体细节，以便提供对所公开实施例的透彻理解。然而，对于本领域技术人员将显而易见的是，可以在没有这些具体细节的情况下实践本公开的实施例。在其他情况下，未详细描述公知的方法、程序、部件和电路，以免不必要地模糊本发明的实施例的各方面。
如本公开所属领域的技术人员通常会想到的，对本公开的原理的描述的装置、器械、方法的任何改变和进一步的修改以及对本公开的原理的任何进一步的应用都是可以预期的。特别地，完全预期到关于一个实施例描述的特征、部件和/或步骤可以与关于本公开的其他实施例描述的特征、部件和/或步骤组合。另外，本文提供的尺寸用于特定示例，并且可以预期到可以利用不同的大小、尺寸和/或比率来实现本公开的概念。为了避免不必要的描述性重复，根据一个说明性实施例描述的一个或多个部件或动作可以根据其他说明性实施例的适用来使用或省略。为了简洁起见，将不单独描述这些组合的许多迭代。为了简单起见，在某些情况下，在所有附图中使用相同的附图标记指代相同或相似的部分。
下面的实施例将根据各种器械和器械的部分在三维空间中的状态来对其进行描述。如本文所使用的，术语“方位”是指对象或对象的一部分在三维空间中的位置(例如，沿笛卡尔X、Y、Z坐标的三个平移自由度)。如本文所使用的，术语“取向”是指对象或对象的一部分的旋转放置(三个旋转自由度，例如滚动、俯仰和偏转)。如本文所用，术语“姿态”是指对象或对象的一部分在至少一个平移自由度中的方位以及该对象或对象的一部分在至少一个旋转自由度中的取向(多达总共六个自由度)。
参考附图1A，通常由参考数字10表示远程操作医疗系统，其用于例如包括诊断、治疗或外科手术程序的医疗程序。如将要描述的，本公开的远程操作医疗系统处于外科医生的远程操作控制之下。在替代实施例中，远程操作医疗系统可以处于被编程为执行该程序或子程序的计算机的部分控制之下。在其他替代实施例中，在被编程以执行该程序或子程序的计算机的完全控制下的全自动医疗系统可以用于执行程序或子程序。如图1A所示，远程操作医疗系统10被定位在手术环境11中并且通常包括安装在患者P所在的手术台O上或附近的远程操作组件12。远程操作组件12可以被称为患者侧推车。医疗器械系统14和内窥镜成像系统15可操作地耦连到远程操作组件12。操作者输入系统16允许外科医生或其他类型的临床医生S查看手术部位的图像或代表手术部位的图像并且控制医疗器械系统14和/或内窥镜成像系统15的操作。
操作者输入系统16可以位于外科医生的控制台，该控制台通常与手术台O位于同一房间内。但是，应该理解，外科医生S可以位于与患者P不同的房间或完全不同的建筑物中。操作者输入系统16通常包括用于控制医疗器械系统14的一个或多个控制装置。(一个或多个)控制装置可以包括任意数量的各种输入装置中的一个或多个，诸如手柄、操纵杆、轨迹球、数据手套、触发枪、踏板、手动控制器、语音识别装置、触摸屏、身体运动或存在传感器和诸如此类。在一些实施例中，(一个或多个)控制装置将被提供有与远程操作组件的医疗器械相同的自由度，以向外科医生提供临场感/远程呈现，即这样一种感知——(一个或多个)控制装置与器械是一体的使得外科医生具有直接控制器械的强烈感觉，就像在外科手术部位一样。在其他实施例中，(一个或多个)控制装置可以具有比相关医疗器械更多或更少的自由度，并且仍然为外科医生提供远程呈现。在一些实施例中，(一个或多个)控制装置是手动输入装置，其以六个自由度移动并且还可以包括用于致动器械的可致动手柄(例如，用于闭合抓握夹具末端执行器、施加电势到电极、递送药物治疗和诸如此类)。
远程操作组件12在外科医生S通过控制台16观察手术部位时支持并操纵医疗器械系统14。手术部位的图像可以通过内窥镜成像系统15获得(诸如立体内窥镜)，其可以由远程操作组件12操纵以定向内窥镜15。一次使用的医疗器械系统14的数量通常取决于诊断或外科手术程序以及手术室内的空间限制以及其他因素。远程操作组件12可以包括一个或多个非伺服控制连杆(例如，可以手动定位并锁定在适当位置的一个或多个连杆，通常称为设置结构)的运动学结构和远程操作操纵器。远程操作组件12包括驱动医疗器械系统14上的输入的多个马达。这些马达响应于来自控制系统(例如控制系统20)的命令而移动。马达包括驱动系统，当其耦连到医疗器械系统14时可以将医疗器械推进到自然或手术创建的解剖孔口中。其他电动驱动系统可以以多个自由度移动医疗器械的远端，其可以包括三个线性运动度(例如，沿着X、Y、Z笛卡尔轴线的线性运动)和三个旋转运动度(例如，围绕X、Y、Z笛卡尔轴线的旋转)。另外，马达可以用于致动器械的可铰接末端执行器，以将组织抓取在活检装置或类似物的夹具中。器械14可以包括具有单个工作构件的末端执行器，诸如手术刀、钝刀片、光纤或电极。其他末端执行器可以包括例如镊子、抓取器、剪刀或施夹器。
远程操作医疗系统10还包括控制系统20。控制系统20包括至少一个存储器24和至少一个处理器22，并且通常包括多个处理器，用于实现医疗器械系统14、操作者输入系统16和其他辅助系统之间的控制，其他辅助系统可以包括例如成像系统、音频系统、流体递送系统、显示系统、照明系统、转向控制系统、冲洗系统和/或抽吸系统。控制系统20可以用于处理来自成像系统15的手术环境的图像，以便随后通过外科医生的控制台16显示给外科医生S。控制系统20还包括编程指令(例如，存储指令的计算机可读介质)以实现根据本文公开的各方面描述的一些或全部方法。虽然控制系统20在图1A的简化示意图中示为单个方框，但系统可以包括两个或更多个数据处理电路，其中一部分处理可选地在远程操作组件12上或附近执行，另一部分处理在操作者输入系统16处执行以及诸如此类。可以采用各种集中式或分布式数据处理架构中的任何一种。类似地，编程指令可以作为多个单独的程序或子例程实现，或者它们可以集成到本文所述的远程操作系统的许多其他方面中。在一个实施例中，控制系统20支持无线通信协议，诸如蓝牙、IrDA(红外数据通信)、HomeRF(家庭射频)、IEEE 802.11、DECT(数位加强式无线通信系统)和无线遥测。
在一些实施例中，控制系统20可以包括一个或多个伺服控制器，其接收来自医疗器械系统14的力和/或扭矩反馈。响应于反馈，伺服控制器将信号传输到操作者输入系统16。(一个或多个)伺服控制器还可以传输指示远程操作组件12移动(一个或多个)医疗器械系统14和/或内窥镜成像系统15的信号，该医疗器械系统14和/或内窥镜成像系统15通过身体中的开口延伸到患者体内的内部手术部位。可以使用任何合适的常规或专用伺服控制器。伺服控制器可以与远程操作组件12分离或集成。在一些实施例中，伺服控制器和远程操作组件被提供作为位于患者身体附近的远程操作臂推车的一部分。
控制系统20可以与内窥镜成像系统15耦连，并且可以包括处理器以处理捕获的图像用于后续显示，诸如在外科医生控制台上显示给外科医生，或显示在位于本地和/或远程的另一个合适的显示器上。例如，在使用立体内窥镜的情况下，控制系统20可以处理捕获的图像以向外科医生呈现手术部位的协调立体图像。这种协调可以包括相对图像之间的对准，并且可以包括调节立体内窥镜的立体工作距离。
包括一个或多个监测装置(诸如摄像机27a、27b、27c)的手术环境监测系统被定位在手术环境11中。摄像机27a-27c可以用于捕获患者P解剖结构外的手术环境11中的图像。例如并且如将进一步描述的，摄像机27a-27c可以用于在程序期间监测外科医生S的肢体。外科医生的手和脚的图像可以通过控制台16处的显示器呈现给外科医生，以在需要移动肢体以控制系统10的操作的过渡期间帮助外科医生。摄像机27a-27c还可以或可替代地用于捕获外部患者解剖结构、远程操作组件、手术环境中的其他器材以及手术环境中的人员的图像。摄像机27a-27c可以以各种方式安装，包括安装在分立的基座或三脚架上，从天花板安装，安装在手术环境中的器材(包括定向平台53)上，安装在患者解剖结构外部的器械14或内窥镜15的轴上，或者安装在外科医生S或其他人员佩戴的器材(诸如头戴式摄像机)上。
基于姿势的界面(GBI)29也可以位于手术环境11中。GBI可以是基于触摸的界面系统，诸如平板电脑，或者可以是三维跟踪界面系统，诸如可从加利福尼亚州旧金山的LeapMotion公司获得的Leap Motion系统或华盛顿州雷蒙德市的Microsoft Corporation(微软公司)获得的Kinect。附加地或可替代地，GBI可以是可穿戴装置，诸如头戴式装置。GBI 29可以用于跟踪来自外科医生S或其他外科人员的二维或三维用户输入。
患者侧界面(PSI)26可以位于或可定位在患者的床边附近。PSI 26可以允许外科医生S接近患者并且仍然可以访问控制台16的至少一些功能或控制台16处不可用的附加输入。PSI 26可以包括用于显示与控制台16处显示的图像相似或不同图像的显示器。PSI 26可以包括头戴式显示系统、悬臂式显示系统或圆顶型显示系统，其提供手术环境的主要图像和周围图像或360度图像。PSI 26还可以包括用户输入装置，诸如平板电脑、轨迹球或三维输入系统。在一些实施例中，PSI 26可以包括GBI 29的全部或部分部件。
在替代实施例中，远程操作系统可以包括多于一个远程操作组件和/或多于一个操作者输入系统。操纵器组件的确切数量将取决于手术程序和手术室内的空间限制以及其他因素。操作者输入系统可以位于同一位置，也可以位于单独的位置。多个操作者输入系统允许多于一个操作者以各种组合方式控制一个或多个操纵器组件。
图1B是远程操作组件12的一个实施例的透视图，其可以被称为患者侧推车。所示的患者侧推车12提供对三种手术工具30a、30b、30c(例如，器械系统14)和成像装置28(例如，内窥镜成像系统15)的操纵，成像装置28是诸如用于捕获程序部位的图像的立体内窥镜。成像装置可以将信号通过电缆56传输到控制系统20。操纵由具有多个接头的远程操作机构提供。成像装置28和手术工具30a-30c可以通过患者的切口被定位和操纵，以便运动学远程中心被维持在切口处以最小化切口的大小。当手术工具30a-30c的远端位于成像装置28的视场内时，患者解剖结构内的手术环境的图像可以包括手术工具30a-30c的远端的图像。
患者侧推车12包括可驱动基座58。可驱动基座58被连接到伸缩柱(telescopingcolumn)57，伸缩柱57允许调节臂54的高度。臂54可以包括旋转接头55，该旋转接头既旋转又上下移动。每个臂54可以被连接到定向平台53。定向平台53可以能够旋转360度。患者侧推车12还可以包括用于在水平方向上移动定向平台53的伸缩水平悬臂52。
在本示例中，每个臂54连接到操纵臂51。每个操纵臂51可以连接到医疗工具30a-30c中的相应一个或连接到成像装置28。操纵臂51可以远程操作。在一些示例中，连接到定向平台的臂54不可远程操作。相反，在外科医生18开始使用远程操作部件进行操作之前，这些臂54按照期望被定位。
内窥镜成像系统(例如，系统15、28)能够以多种配置提供，包括刚性或柔性内窥镜。刚性内窥镜包括刚性管，该刚性管容纳用于将图像从内窥镜的远端传输到近端的中继透镜系统。柔性内窥镜使用一个或多个柔性光纤传输图像。基于数字图像的内窥镜具有“尖端上的芯片”设计，其中远侧数字传感器(诸如一个或多个电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)器件)存储图像数据。内窥镜成像系统可以为观察者提供二维或三维图像。二维图像可能提供有限的深度感知。三维立体内窥镜图像可以为观察者提供更准确的深度感知。立体内窥镜器械使用立体摄像机捕获患者解剖结构的立体图像。内窥镜器械可以是完全可消毒的组件，内窥镜电缆、手柄和轴都是刚性耦连和气密密封的。
图1C是外科医生控制台16的透视图。外科医生控制台16包括左眼显示器32和右眼显示器34，用于向外科医生S呈现能够实现深度感知的手术环境的协调立体视图。手术环境的显示图像可以从诸如内窥镜成像系统的成像系统获得。另外或可替代地，手术环境的显示图像可以包括来自从术前或术中图像数据集创建的解剖模型的图像。患者解剖结构的术前或术中图像数据集可以使用外部或非侵入性成像技术来获得，外部或非侵入性成像技术是诸如计算机断层摄影术(CT)、磁共振成像(MRI)、荧光检查、温度记录法、超声、光学相干断层摄影术(OCT)、热成像、阻抗成像、激光成像、纳米管X射线成像或诸如此类。单独使用软件或与手动输入结合使用软件用于将记录的图像转换为表示部分或整个解剖器官或解剖区域的分段二维或三维复合模型。图像数据集与复合表示图相关联。用于生成复合表示图的图像可以在临床程序期间在术前或术中记录。术前或术中的图像数据可以被呈现为二维、三维或四维(包括例如基于时间或基于速度的信息)图像，或者呈现为来自从术前或术中的图像数据集创建的模型的图像。来自不同成像模式的图像可以一次显示一个(例如，外科医生可以切换不同成像模式的图像)，可以并行显示(例如，在复合显示的多个窗口中)，或者一个可以重叠或叠加在另一个上。
控制台16还包括一个或多个输入控制装置36，其继而使远程操作组件12操纵一个或多个器械或内窥镜成像系统。输入控制装置36可以提供与其相关联器械14相同的自由度，以为外科医生S提供远程呈现，或者提供一种感知，即输入控制装置36与器械14是一体的使得外科医生具有直接控制器械14的强烈感觉。为此，方位传感器、力传感器和触觉反馈传感器(未示出)可以被采用以通过输入控制装置36将来自器械14的方位、力和触感传递回外科医生的手。输入控制装置37是接收来自用户脚的输入的脚踏板。可选地，输入控制装置38可以包括基于触摸的输入装置，诸如平板电脑。可选地，基于姿势的界面可以被包括在控制台16中。
在远程操作程序期间，完整的虚拟图像和/或增强的现实图像可以被提供给外科医生S和/或其他手术人员，以提供更广泛的手术环境视图，提供关于患者或程序的附加信息，和/或提供在程序期间使用的附加控制。在远程操作程序期间提供虚拟图像或增强现实图像的各种系统和方法被公开以下文献中：2010年5月14日提交的公开了“Method andSystem of See-Through Console Overlay”的美国专利US8520027；2014年4月24日提交的公开了“Surgical Equipment Control Input Visualization Field”的国际公开号WO2014/176403；2008年8月11日提交的公开了“Interactive User Interfaces forRobotic Minimally Invasive Surgical Systems”的美国专利US8398541；2013年11月11日提交的公开了“Synthetic Representation of a Surgical Instrument”的美国专利US9788909；和2010年5月14日提交的公开了“Method and System of Hand Segmentationand Overlay Using Depth Data”的美国专利US9858475，上述文献通过引用以其整体并入本文。
图2是示出手术环境图像102的显示器100，其在该示例中是通过以用户肢体的实时图像的光标图像104增强的内窥镜成像系统(例如系统15、28)获得的内部患者解剖图像，用户肢体在该示例中是外科医生的右手。外科医生的手的图像可以通过摄像机27a-27c或GBI系统29获得并且用作光标以指示与图像102中的对象交互的当前方位。内窥镜图像102包括手术环境中的器械106的图像。在该示例中，器械106是牵开器。当远程操作系统处于调节模式时，外科医生S可以移动他的右手，从而移动光标104以与器械106(例如，牵开器)的图像交互，以引起牵开器在手术环境中的实际方位的调节。外科医生手的光标图像104允许外科医生可视化他实际上选择和移动牵开器106的手。牵开器在手术环境中的移动可以响应于外科医生的手的命令运动而由远程操作系统生成。在各种替代实施例中，光标图像可以是用户肢体(例如，手、手指、脚)的静态(即，先前捕获的)图像或描绘人体解剖结构的一部分的另一种类型的静态光标符号(例如，眼睛或头部的图像)。
图3示出了利用用户肢体的光标图像调节虚拟控制元件的方法150。方法150在图3中示出为一组操作或过程。并非所有说明的过程都可以在方法150的所有实施例中执行。另外，图3中未明确示出的一个或多个过程可以被包括在所示过程的之前、之后、之间或作为所示过程的一部分。在一些实施例中，方法150的一个或多个过程可以至少部分地以被存储在非暂时的有形的机器可读介质上的可执行代码的形式实现，该可执行代码在由一个或多个处理器(例如，控制系统20的处理器)运行时可以使一个或多个处理器执行一个或多个过程。
在过程152处，显示虚拟控制元件。虚拟控制元件可以是滑动调节器、切换开关、转盘或用于控制远程操作系统的部件或手术环境中的辅助器材部件的二进制系统功能(例如开/关)或可变系统功能(例如，功率水平、亮度水平、声级、频率水平)的其他元件。在过程154处，显示用于控制虚拟控制元件的用户(例如外科医生S)身体部分(例如外科医生S的手)的光标图像。在过程156处，当用户的手的实时光标图像与虚拟控制元件交互时，基于姿势的界面(例如GBI 29)通过记录(register)虚拟操纵虚拟控制元件的用户的手的移动来接收来自外科医生S的输入。在过程158处，基于用户手的移动来改变或调节二进制系统功能或可变系统功能。参考图4A、图4B和图5进一步说明方法150。
参照图4A，图像200包括用户肢体(例如右手)202的光标图像与虚拟控制元件204交互，虚拟控制元件204在该示例中包括虚拟滑块206。还可以包括由控制元件204控制的图形元件，诸如系统的图形标识符208。在该示例中，标识符208是文本描述，但是在其他示例中，标识符208可以是由控制元件控制的系统的图形表示图。在该示例中，虚拟控制元件204可以控制辅助系统的功率、声音、频率或其他特性的可变水平。辅助系统可以是例如发电机、扬声器，显示屏幕或冲洗系统。当用户的手将滑块206向右移动时，发电机的功率水平增加，并且随着滑块向左移动，功率水平降低。用户的手可以被GBI或基于触摸的输入系统跟踪。另外，用户手202的实时光标图像可以由摄像机27a-27c生成，以向用户提供其手相对于虚拟控制元件204的空间意识。可选地，图像202-208可以叠加在内部患者解剖结构的图像或患者解剖结构外部的手术环境的图像上、与其集成或以其他方式对其进行增强。
图4B示出了实时光标图像202的图像220，其与手术环境中的辅助部件222的实时图像交互。在该示例中，图像220捕获包括辅助部件222的手术环境。图像220中的辅助部件的图像用作手术环境中的实际辅助部件222的虚拟控制元件。例如，如果辅助部件222是高频发电机，则外科医生可以用他的手朝向外科手术环境中的辅助部件222的预定运动来做手势，以改变发电机的功率水平。向上的手或手指姿势可以对应于功率水平的增加，向下的手或手指姿势可以对应于功率水平的降低。可替代地，辅助部件222可以包括功率控制旋钮224，并且朝向旋钮224的顺时针手势可以对应于功率水平的增加，而逆时针手势可以对应于功率水平的降低。在替代实施例中，辅助系统可以是例如扬声器、显示器或冲洗系统。用户的手可以被GBI或基于触摸的输入系统跟踪。另外，用户手202的实时光标图像可以由摄像机27a-27c生成，以向用户提供其手相对于虚拟控制元件的空间意识。
图5示出了具有实时光标图像232的手术环境的图像230，实时光标图像232与手术环境上显示的信息图标234a交互。在该示例中，图像230捕获包括器械236a、236b和236c的手术环境。信息图标234a被显示在图标234a附近。信息图标234b被显示在图标234b附近。信息图标234c被显示在图标234c附近。当光标图像232接触或接近信息图标234a-234b中的一个时，有关相应器械236a-236c的信息被显示在信息云中。例如，当光标图像232与信息图标234a交互以提供有关工具236a的信息时，信息云238被显示。提供的信息可以包括例如器械类型、器械激活状态、关于器械的操作或故障排除的指令和/或可由光标232激活以实现器械236a的操作的按钮。
在替代实施例中，用户肢体的光标图像可以是用户脚在踏板输入37之间移动时的实时图像。脚和踏板的实时图像可以通过摄像机27a-27c获得，并且可以作为单独显示的图像呈现、作为当前内窥镜图像内的画中画或者呈现在半透明的当前内窥镜图像的后面以向外科医生提供他正在通过控制台16进行查看以在他的脚移向不同踏板时观察他的脚的感觉。在另一个替代实施例中，用户肢体的图像可以是当用户手从输入控制装置36中移出或与输入控制装置36接合时用户手的实时图像。手和控制装置36的实时图像可以由摄像机27a-27c获得，并且可以作为单独显示的图像呈现、作为当前内窥镜图像内的画中画或者呈现在半透明的当前内窥镜图像之后以向外科医生提供这样的感觉，即他正在通过控制台16进行查看以在他的手进入或离开控制装置36时观察他的手。允许外科医生在其手或脚在方位之间转换时看到其手或脚可以增强外科医生关于其手和脚正在与输入装置36、37正确接合的信心，其中由于控制台16阻挡住用户的视线无法直接看到他的手和脚。
图6示出了使用基于姿势的输入装置的患者标记的方法250。方法250在图6中示出为一组操作或过程。不是所有示出的过程都在方法250的所有实施例中执行。另外，图6中未明确示出的一个或多个处理可以被包括在示出的处理之前、之后、中间或作为示出的处理的一部分。在一些实施例中，方法250的一个或多个过程可以至少部分地以存储在非暂时性的有形的机器可读介质上的可执行代码的形式实现，该可执行代码当由一个或多个处理器(例如，控制系统20的处理器)运行时可以导致一个或多个处理器执行一个或多个过程。
在过程252处，显示包括虚拟标记元件的手术环境。虚拟标记元件可以用于例如指示外科医生的优选进入端口位置，或者可以标记患者的解剖特征。在过程254处，显示用于与虚拟标记元件交互的用户(例如，外科医生S)的身体部分(例如，外科医生S的手)的光标图像。在过程256处，基于姿势的接口(例如GBI 29)通过当用户的手的实时光标图像与虚拟标记元件交互时记录与标记元件虚拟地交互的用户的手的移动，来接收来自外科医生S的输入。例如，用户的手的移动可以用于创建新标记或从默认位置移动标记。在过程258处，基于标记元件的方位(例如，使用光、墨水或其他标记材料)标记患者解剖结构。参照图7进一步说明方法250。
参考图7，手术环境图像300包括患者解剖结构的外部图像301。用户肢体(例如，右手)202的光标图像与虚拟标记元件302、304、306交互。虚拟标记元件可以通过用户的手的姿势来创建，或者可以在默认位置中创建。用户的手可以与虚拟标记元件306交互以将标记元件移动到与最初创建标记的位置不同的位置。在该示例中，虚拟标记元件302、304、306可以用于标记患者解剖结构的图像301上的端口位置。虚拟标记元件通过用户手的跟踪运动来相对于患者解剖结构的图像301被虚拟地拖动。用户的手可以被GBI或基于触摸的输入系统跟踪。另外，用户的手202的实时光标图像可以由摄像机27a-27c生成，以向用户提供相对于虚拟标记元件302、304、306的空间意识。在相对于患者解剖结构的图像301建立虚拟标记元件302、304、306之后，可以在患者解剖结构上使用光、墨水或其他标记介质来制作对应的实际标记，以在外科程序之前标记进入端口的位置。例如，视觉标记元件可以指示候选切口位置，其可以由控制系统评估以通过评估可到达的工作空间以及内部或外部碰撞的可能性来提供关于切口位置的可行性的反馈。可以基于预测的可行性措施对虚拟标记元件和周围区域进行颜色编码。
图8示出了显示内部患者解剖结构的图像的方法450，该内部患者解剖结构的图像至少部分地被外部患者解剖结构的显示图像包围。方法450在图8中被示出为一组操作或过程。不是所有图示的过程都在方法450的所有实施例中执行。另外，在图示的过程之前、之后、之间或作为其一部分，可以包括图8中未明确图示的一个或多个过程。在一些实施例中，方法450的一个或多个过程可以至少部分地以存储在非暂时性的有形的机器可读介质上的可执行代码的形式来实现，该可执行代码在由一个或多个处理器(例如，控制系统20的处理器)运行时可以使一个或多个处理器执行一个或多个过程。
在过程452处，从第一成像装置接收第一图像。第一图像可以是例如从内窥镜装置接收的患者解剖结构的内部视图。在过程454处，从第二成像装置接收第二图像。第二图像可以是患者解剖结构和/或患者解剖结构周围的手术环境的外部视图。在过程456处，第一图像相对于第二图像在空间背景下显示。例如，如图9所示，显示器500包括内部患者解剖结构的图像502，其至少部分地被外部患者解剖结构的显示图像504包围。图像502可以由内窥镜成像系统(例如，系统15、28)获得，并且图像504可以由诸如摄像机27a-27c的成像系统获得。内部视图和外部视图的观察取向可以对齐。例如，外部视图可以被数字地旋转以与内部(例如，内窥镜)视图共享相同的滚动角度。附加地或可替代地，外部视图的俯仰和/或偏转可以与内部视图的观察方向对齐，使得可以从同一参考系直观地控制内部运动和外部运动。
本发明的实施例中的一个或多个元件可以用软件实现以在诸如控制处理系统的计算机系统的处理器上执行。当以软件实现时，本发明的实施例的元件本质上是用于执行必要任务的代码段。程序或代码段可以被存储在处理器可读存储介质或装置中，其可能已经通过在传输介质或通信链路上以载波形式体现的计算机数据信号的方式被下载。处理器可读存储装置可以包括能够存储信息的任何介质，包括光学介质、半导体介质和磁性介质。处理器可读存储装置的示例包括电子电路；半导体装置、半导体存储装置、只读存储器(ROM)、闪存、可擦除可编程只读存储器(EPROM)；软盘、CD-ROM、光盘、硬盘或其他存储装置。这些代码段可以经由诸如因特网、内联网等计算机网络下载。
注意，所呈现的处理和显示可能与任何特定计算机或其他装置本身不相关。各种通用系统可以与根据本文的教导的程序一起使用，或者可以证明构造更专用的设备来执行所描述的操作是方便的。各种此类系统所需的结构将作为要求保护的主题中的要素出现。此外，本发明的实施例不参照任何特定编程语言来描述。应当理解，可以使用各种编程语言来实现如本文所述的本发明的教导。
虽然本发明的某些示例性实施例已经在附图中描述和示出，但是应当理解，这些实施例仅仅是对广泛的本发明的说明而不是限制，并且本发明的实施例不限于所示出和描述的特定结构和布置，因为本领域技术人员可以进行各种其他修改。

Claims (10)

1.一种用于执行远程操作医疗程序的系统，其包括：
处理器；和
存储器，其具有存储在其上的计算机可读指令，当被所述处理器执行时所述计算机可读指令使所述系统：
显示手术环境图像，其中所述手术环境图像包括用于控制手术系统的部件的虚拟控制元件，并且其中所述虚拟控制元件包括在所述手术环境图像中的所述手术系统的所述部件的实时图像；
显示用户的身体部分的图像，所述身体部分用于与所述虚拟控制元件交互；
当所述身体部分的所述图像与所述虚拟控制元件交互时，经由基于姿势的输入装置记录所述用户的所述身体部分的移动来接收用户输入；以及
根据接收到的用户输入调节所述手术系统的所述部件的设置。
2.根据权利要求1所述的系统，其中所述虚拟控制元件包括叠加在所述手术环境图像上的图形元件。
3.根据权利要求1所述的系统，其中所述基于姿势的输入装置被配置为接收三维用户输入。
4.根据权利要求1至3中任一项所述的系统，其中所述基于姿势的输入装置包括平板装置。
5.根据权利要求1至3中任一项所述的系统，其中所述基于姿势的输入装置包括用户可穿戴装置。
6.根据权利要求1至3中任一项所述的系统，其中用于向所述基于姿势的输入装置提供输入的所述身体部分是用户手部。
7.根据权利要求1至3中任一项所述的系统，其中用于向所述基于姿势的输入装置提供输入的所述身体部分是用户脚部。
8.根据权利要求1所述的系统，其中所述部件是高频发生器。
9.根据权利要求1所述的系统，其中所述手术环境图像被显示在头戴式显示装置上。
10.根据权利要求1所述的系统，其中接收所述用户输入包括接收所述用户的所述身体部分以预定运动的姿势，并且其中调节所述手术系统的所述部件的所述设置包括基于所接收的姿势来调节所述设置。
CN201880068682.6A 2017-10-23 2018-10-18 用于在远程操作系统的显示器中呈现增强现实感的系统和方法 Active CN111278383B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410791308.6A CN118806424A (zh) 2017-10-23 2018-10-18 用于在远程操作系统的显示器中呈现增强现实感的系统和方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762575759P 2017-10-23 2017-10-23
US62/575,759 2017-10-23
PCT/US2018/056422 WO2019083805A1 (en) 2017-10-23 2018-10-18 SYSTEMS AND METHODS FOR PRESENTING ENHANCED REALITY ON A SCREEN OF A TELEOPERATION SYSTEM

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202410791308.6A Division CN118806424A (zh) 2017-10-23 2018-10-18 用于在远程操作系统的显示器中呈现增强现实感的系统和方法

Publications (2)

Publication Number Publication Date
CN111278383A CN111278383A (zh) 2020-06-12
CN111278383B true CN111278383B (zh) 2024-07-09

Family

ID=66246673

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202410791308.6A Pending CN118806424A (zh) 2017-10-23 2018-10-18 用于在远程操作系统的显示器中呈现增强现实感的系统和方法
CN201880068682.6A Active CN111278383B (zh) 2017-10-23 2018-10-18 用于在远程操作系统的显示器中呈现增强现实感的系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202410791308.6A Pending CN118806424A (zh) 2017-10-23 2018-10-18 用于在远程操作系统的显示器中呈现增强现实感的系统和方法

Country Status (4)

Country Link
US (3) US11351005B2 (zh)
EP (1) EP3700457A4 (zh)
CN (2) CN118806424A (zh)
WO (1) WO2019083805A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018097831A1 (en) 2016-11-24 2018-05-31 Smith Joshua R Light field capture and rendering for head-mounted displays
CN118806424A (zh) 2017-10-23 2024-10-22 直观外科手术操作公司 用于在远程操作系统的显示器中呈现增强现实感的系统和方法
JP6990292B2 (ja) * 2018-02-21 2022-01-12 オリンパス株式会社 医療システムおよび医療システムの作動方法
US10983604B2 (en) 2018-05-16 2021-04-20 Alcon Inc. Foot controlled cursor
US10623660B1 (en) 2018-09-27 2020-04-14 Eloupes, Inc. Camera array for a mediated-reality system
WO2020230852A1 (ja) * 2019-05-16 2020-11-19 Hoya株式会社 内視鏡用プロセッサ、プログラムおよび情報処理方法
US10949986B1 (en) 2020-05-12 2021-03-16 Proprio, Inc. Methods and systems for imaging a scene, such as a medical scene, and tracking objects within the scene
WO2021242681A1 (en) * 2020-05-29 2021-12-02 Covidien Lp System and method for integrated control of 3d visualization through a surgical robotic system
US20210401527A1 (en) * 2020-06-30 2021-12-30 Auris Health, Inc. Robotic medical systems including user interfaces with graphical representations of user input devices
US11295460B1 (en) 2021-01-04 2022-04-05 Proprio, Inc. Methods and systems for registering preoperative image data to intraoperative image data of a scene, such as a surgical scene
US12016642B2 (en) 2021-09-08 2024-06-25 Proprio, Inc. Constellations for tracking instruments, such as surgical instruments, and associated systems and methods
JP7401157B1 (ja) * 2022-02-09 2023-12-19 リバーフィールド株式会社 支援システム、支援装置、被支援装置
WO2023220108A1 (en) * 2022-05-13 2023-11-16 Intuitive Surgical Operations, Inc. Systems and methods for content aware user interface overlays
WO2024006492A1 (en) * 2022-07-01 2024-01-04 Vicarious Surgical Inc. Systems and methods for stereoscopic visualization in surgical robotics without requiring glasses or headgear

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017031132A1 (en) * 2015-08-17 2017-02-23 Intuitive Surgical Operations, Inc. Unground master control devices and methods of use

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6377011B1 (en) * 2000-01-26 2002-04-23 Massachusetts Institute Of Technology Force feedback user interface for minimally invasive surgical simulator and teleoperator and other similar apparatus
AU2003257309A1 (en) * 2002-08-13 2004-02-25 Microbotics Corporation Microsurgical robot system
US8398541B2 (en) 2006-06-06 2013-03-19 Intuitive Surgical Operations, Inc. Interactive user interfaces for robotic minimally invasive surgical systems
US20090192523A1 (en) 2006-06-29 2009-07-30 Intuitive Surgical, Inc. Synthetic representation of a surgical instrument
US9881520B2 (en) * 2008-01-08 2018-01-30 Immersion Medical, Inc. Virtual tool manipulation system
US8543240B2 (en) * 2009-11-13 2013-09-24 Intuitive Surgical Operations, Inc. Master finger tracking device and method of use in a minimally invasive surgical system
US8442806B2 (en) * 2010-03-03 2013-05-14 Immersion Medical, Inc. Systems and methods for simulations utilizing a virtual coupling
WO2011127379A2 (en) * 2010-04-09 2011-10-13 University Of Florida Research Foundation Inc. Interactive mixed reality system and uses thereof
CA2797072C (en) * 2010-04-22 2015-08-11 Constantinos Nikou Navigated freehand surgical tool and kit
US8520027B2 (en) * 2010-05-14 2013-08-27 Intuitive Surgical Operations, Inc. Method and system of see-through console overlay
US9858475B2 (en) 2010-05-14 2018-01-02 Intuitive Surgical Operations, Inc. Method and system of hand segmentation and overlay using depth data
US8381108B2 (en) * 2010-06-21 2013-02-19 Microsoft Corporation Natural user input for driving interactive stories
KR101798590B1 (ko) * 2011-02-28 2017-11-17 주식회사 미래컴퍼니 마스터 로봇, 이를 포함하는 수술 로봇 시스템 및 그 제어 방법과, 이를 기록한 기록매체
US9918681B2 (en) * 2011-09-16 2018-03-20 Auris Surgical Robotics, Inc. System and method for virtually tracking a surgical tool on a movable display
CN104137030A (zh) * 2011-12-28 2014-11-05 菲托尼克斯公司 通过包含激光扫描显微镜的测量装置测量三维样品的方法及该测量装置
DE102012205165A1 (de) * 2012-03-29 2013-10-02 Fiagon Gmbh Medizinisches System mit einer Lageerfassungseinrichtung zum Erfassen der Position und Orientierung eines Instruments
US11395706B2 (en) 2012-06-21 2022-07-26 Globus Medical Inc. Surgical robot platform
US10108266B2 (en) * 2012-09-27 2018-10-23 The Board Of Trustees Of The University Of Illinois Haptic augmented and virtual reality system for simulation of surgical procedures
CN105228550A (zh) 2013-04-25 2016-01-06 直观外科手术操作公司 外科手术设备的控制输入可视化视野
CN112201131B (zh) * 2013-12-20 2022-11-18 直观外科手术操作公司 用于医疗程序培训的模拟器系统
US10595716B2 (en) * 2014-05-09 2020-03-24 X-Biomedical Inc. Portable surgical methods, systems, and apparatus
DE102014212660A1 (de) * 2014-06-30 2015-12-31 Trumpf Medizin Systeme Gmbh + Co. Kg Steuerungsvorrichtung für ein Medizingerät
US9833254B1 (en) * 2014-10-03 2017-12-05 Verily Life Sciences Llc Controlled dissection of biological tissue
US10013808B2 (en) * 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
EP3258876B1 (en) * 2015-02-20 2023-10-18 Covidien LP Operating room and surgical site awareness
US9643314B2 (en) * 2015-03-04 2017-05-09 The Johns Hopkins University Robot control, training and collaboration in an immersive virtual reality environment
US20160324580A1 (en) * 2015-03-23 2016-11-10 Justin Esterberg Systems and methods for assisted surgical navigation
US20160331584A1 (en) * 2015-05-14 2016-11-17 Novartis Ag Surgical tool tracking to control surgical system
US20160349845A1 (en) * 2015-05-28 2016-12-01 Google Inc. Gesture Detection Haptics and Virtual Tools
WO2017066373A1 (en) * 2015-10-14 2017-04-20 Surgical Theater LLC Augmented reality surgical navigation
DE102015226669B4 (de) * 2015-12-23 2022-07-28 Siemens Healthcare Gmbh Verfahren und System zum Ausgeben einer Erweiterte-Realität-Information
US10646289B2 (en) * 2015-12-29 2020-05-12 Koninklijke Philips N.V. System, controller and method using virtual reality device for robotic surgery
WO2017151778A1 (en) * 2016-03-01 2017-09-08 ARIS MD, Inc. Systems and methods for rendering immersive environments
US10198861B2 (en) * 2016-03-31 2019-02-05 Intel Corporation User interactive controls for a priori path navigation in virtual environment
CN106293082A (zh) * 2016-08-05 2017-01-04 成都华域天府数字科技有限公司 一种基于虚拟现实的人体解剖交互系统
US10568703B2 (en) * 2016-09-21 2020-02-25 Verb Surgical Inc. User arm support for use in a robotic surgical system
US20180095542A1 (en) * 2016-09-30 2018-04-05 Sony Interactive Entertainment Inc. Object Holder for Virtual Reality Interaction
BR112019004139B1 (pt) * 2016-10-03 2023-12-05 Verb Surgical Inc Tela tridimensional imersiva para cirurgia robótica
US10499997B2 (en) * 2017-01-03 2019-12-10 Mako Surgical Corp. Systems and methods for surgical navigation
WO2018132804A1 (en) * 2017-01-16 2018-07-19 Lang Philipp K Optical guidance for surgical, medical, and dental procedures
CN118806424A (zh) 2017-10-23 2024-10-22 直观外科手术操作公司 用于在远程操作系统的显示器中呈现增强现实感的系统和方法
GB2589458B (en) * 2018-05-18 2022-08-24 Marion Surgical Inc A virtual reality surgical system including a surgical tool assembly with haptic feedback

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017031132A1 (en) * 2015-08-17 2017-02-23 Intuitive Surgical Operations, Inc. Unground master control devices and methods of use

Also Published As

Publication number Publication date
US11351005B2 (en) 2022-06-07
CN111278383A (zh) 2020-06-12
US11766308B2 (en) 2023-09-26
CN118806424A (zh) 2024-10-22
WO2019083805A1 (en) 2019-05-02
US20220249193A1 (en) 2022-08-11
US20210038340A1 (en) 2021-02-11
US20230380926A1 (en) 2023-11-30
EP3700457A1 (en) 2020-09-02
EP3700457A4 (en) 2021-11-17

Similar Documents

Publication Publication Date Title
CN111278383B (zh) 用于在远程操作系统的显示器中呈现增强现实感的系统和方法
US20230218356A1 (en) Systems and methods for projecting an endoscopic image to a three-dimensional volume
US11819301B2 (en) Systems and methods for onscreen menus in a teleoperational medical system
KR102577474B1 (ko) 직관적인 움직임을 위한 마스터/도구 정합과 제어를 위한 시스템 및 방법
US20200163731A1 (en) Systems and methods for switching control between multiple instrument arms
KR20230003408A (ko) 원격조작 의료 시스템에서 기구의 스크린상 식별을 위한 시스템 및 방법
US12011236B2 (en) Systems and methods for rendering alerts in a display of a teleoperational system
US20220211270A1 (en) Systems and methods for generating workspace volumes and identifying reachable workspaces of surgical instruments
US20240070875A1 (en) Systems and methods for tracking objects crossing body wallfor operations associated with a computer-assisted system
WO2023150449A1 (en) Systems and methods for remote mentoring in a robot assisted medical system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant