CN114901194B - 解剖特征识别和瞄准 - Google Patents

Abstract

定位外科手术器械的方法可涉及：将第一医疗器械前移到患者的治疗部位，该第一医疗器械包括相机；记录与该治疗部位处的目标解剖特征相关联的目标位置；使用该第一医疗器械的该相机生成该治疗部位的第一图像；使用预先训练的神经网络识别该第一图像中的该目标解剖特征；以及至少部分地基于该识别的目标解剖特征在该第一图像中的位置来调整该目标位置。

Description

解剖特征识别和瞄准

相关申请

本申请要求2019年12月31日提交的名称为解剖特征识别和瞄准(ANATOMICALFEATURE IDENTIFICATION AND TARGETING)的美国临时申请号62/955,991的优先权，该申请的公开内容在此以全文引用的方式并入。

背景技术

技术领域

本发明涉及医疗手术领域。

相关技术

各种医疗手术涉及使用配置有特定图像捕获功能性的一个或多个窥镜类型装置，可利用该一个或多个窥镜类型装置提供与相应的医疗手术相关联的特定解剖特征的可视化。特定操作过程可至少部分地通过使用此类装置捕获的图像数据来指导。

发明内容

本文描述了基于使用窥镜装置或其他医疗器械获得的此类特征的图像来促进识别和跟踪各种解剖特征的系统、装置和方法。例如，这种特征识别和/或跟踪可促进结合医疗手术对特定解剖特征的瞄准，该医疗手术诸如肾镜检查或接近肾解剖结构的其他手术。

在一些具体实施中，本公开涉及一种定位外科手术器械的方法。该方法包括：将第一医疗器械前移到患者的治疗部位，该第一医疗器械包括相机；记录与该治疗部位处的目标解剖特征相关联的目标位置；使用该第一医疗器械的该相机生成该治疗部位的第一图像；使用预先训练的神经网络识别该第一图像中的该目标解剖特征；以及至少部分地基于该第一图像中的该识别的目标解剖特征的位置来调整该目标位置。

该方法还可包括至少部分地基于该第一图像中的该识别的目标解剖特征的该位置来调整该第一医疗器械的取向。例如，调整该第一医疗器械的该取向可涉及使该识别的目标解剖特征在与该相机相关联的视野中居中。

在一些实施方案中，记录该目标位置涉及使该目标解剖特征与该第一医疗器械的远侧端部接触；生成指示该目标解剖特征的接触位置和该第一医疗器械的该远侧端部的位置数据；以及使该位置数据存储在一个或多个数据存储装置中。例如，该方法还可包括在该生成该第一图像之前将该第一医疗器械的该远侧端部缩回远离该目标解剖特征。

在一些实施方案中，该方法还包括在生成该第一图像之后使用该第一医疗器械的该相机生成该治疗部位的第二图像；使用该预先训练的神经网络识别该第二图像中的解剖特征；确定该第二图像的该解剖特征和该第一图像的该目标解剖特征表示相同特征；以及响应于该确定，至少部分地基于该第二图像中的该识别的解剖特征的位置来调整该目标位置。例如，确定该第二图像的该解剖特征和该第一图像的目标解剖特征表示相同特征可涉及确定该第二图像的该解剖特征的至少一部分与该第一图像的该目标解剖特征的至少一部分之间的重叠量；以及确定该重叠量大于预定阈值。该方法还可包括生成该第一图像的第一掩模，该第一掩模遮掩该第一图像的该目标解剖特征的该至少一部分；以及生成该第二图像的第二掩模，该第二掩模遮掩该第二图像的该解剖特征的该至少一部分，其中确定该重叠量是使用该第一掩模和该第二掩模执行。在一些实施方案中，确定该第二图像的该解剖特征和该第一图像的该目标解剖特征表示相同特征可涉及跟踪该第一图像与该第二图像之间的特征的移动。在一些实施方案中，该方法还包括至少部分地基于该第一图像和该第二图像来估计该第二图像的该解剖特征的三维位置。例如，估计该解剖特征的该三维位置是基于以下各项中的一者或多者：相机焦距、相机主点、第一医疗器械的相对运动、第一医疗器械的旋转以及电磁、结构化照明和/或飞行时间传感器读数。

在一些实施方案中，调整该目标位置进一步至少部分地基于第一医疗器械的所确定的移动。该方法还可包括将第二医疗器械朝向目标位置经皮引导通过患者的组织。例如，可使用由第一医疗器械和第二医疗器械两者的对准传感器提供的传感器数据来执行朝向目标位置引导第二医疗器械通过患者的组织。在一些实施方案中，该方法至少部分地由机器人系统执行。

在一些具体实施中，本公开涉及一种瞄准解剖特征的方法。该方法包括：接收指示与患者的目标解剖特征相关联的目标位置的目标位置数据；将该目标位置数据存储在一个或多个数据存储装置中；接收患者体内的外科手术部位的第一图像；使用人工神经网络识别该第一图像中表示该目标解剖特征的第一形态；以及基于该第一图像中的该识别的形态而存储指示该目标位置的更新后的目标位置数据。

该方法还可包括响应于该更新后的目标位置数据而致使医疗器械进行铰接。在一些实施方案中，该方法由医疗系统的控制电路系统执行，并且从该医疗系统的内窥镜接收该目标位置数据和该第一图像。该目标解剖特征可以是患者肾盏内的乳突的暴露部分。可基于已知图像和标记数据对该人工神经网络进行预先训练。例如，该人工神经网络可包括多层特征金字塔网络。

该更新后的目标位置数据可至少部分地基于与患者相关的已知呼吸信息。在一些实施方案中，该方法还包括：接收该外科手术部位的第二图像；使用人工神经网络识别该第二图像中表示该目标解剖特征的第二形态；以及至少部分地基于该第一形态和该第二形态而确定该目标解剖特征的三维位置。例如，确定该目标解剖特征的该三维位置可至少部分地基于该第二形态的相对大小。在一些实施方案中，确定该目标解剖特征的该三维位置是基于由一个或多个诸如结构化光传感器、飞行时间传感器等外部相机传感器生成的数据。

在一些实施方案中，本公开涉及一种医疗系统，该医疗系统包括：内窥镜，该内窥镜具有与该内窥镜的远侧端部相关联的相机和电磁位置传感器；机器人医疗子系统，该机器人医疗子系统包括多个铰接臂；以及控制电路系统，该控制电路系统通信地耦合到该内窥镜和该机器人医疗子系统。该控制电路系统被配置为：响应于用户输入而将该内窥镜前移到患者的治疗部位；记录该内窥镜的该远侧端部在电磁场内的位置；生成指示该位置作为目标解剖位置的用户界面数据；从该内窥镜的该相机接收第一图像；使用预先训练的神经网络来识别该第一图像中的该目标解剖特征；以及至少部分地基于该第一图像中的该识别的目标解剖特征的位置来调整该目标解剖位置。

该控制电路系统还可被配置为在电磁场中校准该内窥镜的该远侧端部。在一些实施方案中，该医疗系统还包括机器人肾镜，该机器人肾镜通信地耦合到该控制电路系统。

在一些具体实施中，本公开涉及一种计算装置，该计算装置包括内窥镜界面和控制电路系统，该控制电路系统包括一个或多个处理器和一个或多个数据存储装置。该控制电路系统被配置为在该内窥镜界面上接收指示耦合到该控制电路系统的内窥镜的远侧端部的位置的对准传感器数据；生成指示该内窥镜的该远侧端部的该位置作为目标肾镜检查位置的第一用户界面数据；在该内窥镜界面上接收医疗部位的第一图像；识别该第一图像中的第一解剖形态；在该内窥镜界面上接收该医疗部位的第二图像；识别该第二图像中的第二解剖形态；确定该第一解剖形态和该第二解剖形态表示相同的目标解剖特征；以及基于该确定而更新该目标肾镜检查位置。

该控制电路系统还可被配置为确定该第一图像和该第二图像的重叠中的该第一形态和该第二形态的重叠量大于预定阈值。在一些实施方案中，该控制电路系统被配置为响应于该更新该目标肾镜检查位置而生成指示更新后的目标肾镜检查位置的第二用户界面数据。

出于概括本公开的目的，已经描述了特定方面、优点和新颖特征。将理解，根据任何特定实施方案，可实现不一定所有此类优点。因此，可通过实现或优化本文教导的一个优点或一组优点而不一定实现本文可教导或提出的其他优点的方式执行所公开的实施方案。

附图说明

出于说明性目的在附图中描绘了各种实施方案，并且绝不应被解释为限制本发明的范围。另外，可组合不同的所公开的实施方案的各种特征以形成作为本公开的部分的附加实施方案。在整个附图中，可重复使用附图标记以指示参考元件之间的对应关系。

图1绘示了根据一个或多个实施方案的机器人医疗系统的实施方案。

图2绘示了根据一个或多个实施方案的可在图1的医疗系统中实施的示例性装置。

图3绘示了根据一个或多个实施方案的泌尿系统的输尿管镜安置部分。

图4是说明根据一个或多个实施方案的用于执行引导式经皮肾结石切除的过程的流程图。

图5示出了根据一个或多个实施方案的对应于与图4的过程相关联的各种块、状态和/或操作的某些图像。

图6是绘示根据一个或多个实施方案的用于瞄准解剖特征的过程的流程图。

图7绘示了根据一个或多个实施方案的目标识别和/或分类架构。

图8绘示了根据一个或多个实施方案的基于神经网络的图像分割架构。

图9是绘示根据一个或多个实施方案的用于跟踪目标解剖特征的过程的流程图。

图10-1和图10-2提供了绘示根据一个或多个实施方案的用于跟踪目标解剖特征的过程的流程图。

图11示出了根据一个或多个实施方案的对应于与图10-1和图10-2的过程相关联的各种块、状态和/或操作的某些图像。

图12绘示了根据一个或多个实施方案的三维位置估计框架。

具体实施方式

本文提供的标题仅出于方便起见，并且不一定影响要求保护的发明的范围或含义。尽管下文公开了某些优选实施方案和示例，但是本发明主题超出具体公开的实施方案延伸到其他替代实施方案和/或用途以及其修改和等同物。因此，本文可能出现的权利要求的范围不受下文描述的特定实施方案中的任一特定实施方案限制。例如，在本文公开的任何方法或过程中，方法或过程的动作或操作可以任何合适的序列执行，并且不一定限于任何特定公开的序列。继而可通过可能有助于理解某些实施方案的方式将各种操作描述为多个分立的操作。然而，描述的顺序不应被解释为暗示这些操作依赖于顺序。另外，本文描述的结构、系统和/或装置可体现为集成部件或单独部件。出于比较各种实施方案的目的，描述了这些实施方案的某些方面和优点。不一定通过任何特定实施方案实现所有此类方面或优点。因此，例如，可通过实现或优化本文教导的一个优点或一组优点而不一定实现本文也可能教导或提出的其他方面或优点的方式来执行各种实施方案。

在本文中使用某些标准的位置解剖术语来指代动物的解剖结构，并且该动物相对于优选实施方案即为人类。尽管在本文中使用某些空间相对术语，诸如“外部”、“内部”、“上部”、“下部”、“下方”、“上方”、“竖直”、“水平”、“顶部”、“底部”和类似术语来描述一个装置/元件或解剖结构与另一装置/元件或解剖结构的空间关系，但是应理解，在本文中是出于描述方便起见而使用这些术语，以描述元件/结构之间的位置关系，如附图中绘示。应当理解，空间相对术语旨在涵盖元件/结构在使用中或操作中的除了附图中所描绘的取向之外的不同取向。例如，描述为在另一元件/结构“上方”的元件/结构可表示相对于受试者患者或元件/结构的替代取向在此类其他元件/结构下方或旁边的位置，且反之亦然。

本公开涉及用于识别和跟踪患者的目标解剖特征以辅助某些医疗手术的系统、装置和方法。尽管本文中在肾、泌尿和/或肾脏手术(诸如肾结石去除/治疗手术)的背景中详细描述了本公开的某些方面，但是应当理解，提供这种背景是出于方便和清楚起见，并且本文公开的解剖特征识别和跟踪概念适用于任何合适的医疗手术。然而，如所述，下文呈现了对肾/泌尿解剖结构和相关联的医疗问题和手术的描述，以辅助描述本文公开的发明概念。

肾结石疾病，也称为尿石病，是相对常见的医学病症，涉及在泌尿道中形成一块固体材料，该固体材料被称为“肾结石(kidney stones)”、“尿结石”、“肾结石(renalcalculi)”、“肾结石(renal lithiasis)”或“肾结石(nephrolithiasis)”。可在肾、输尿管和膀胱(称为“膀胱结石”)中形成和/或发现尿结石。此类尿结石由于浓缩矿物质而形成，并且一旦它们达到足以阻止尿液流过输尿管或尿道的大小便可引起显著的腹痛。尿结石可由钙、镁、氨、尿酸、半胱氨酸或其他化合物形成。

为了从膀胱和输尿管去除尿结石，外科医生可通过尿道将输尿管镜插入到尿路中。通常，输尿管镜包括在其远侧端部处的内窥镜，该内窥镜被配置为使该尿路能够可视化。该输尿管镜还可包括截石机构来捕获或打散尿结石。在输尿管镜检查手术期间，一位医师/技术人员可控制输尿管镜的位置，同时另一位医师/技术人员可控制该截石机构。

为了从肾中去除相对较大的结石(即，“肾结石”)，医师可使用经皮肾镜取石术(“PCNL”)技术，该经皮肾镜取石术技术包括将肾镜插入穿过皮肤以打碎和/或去除结石。可使用荧光镜检查来实现肾结石的定位，以提供用于插入肾镜的目标。然而，由于荧光镜本身的成本以及技术人员操作荧光镜的成本，荧光镜检查增加了肾镜取石手术的成本。荧光镜检查还使患者长时间暴露于辐射。即使使用荧光镜检查，准确地形成经皮切口来接近肾结石也可能比较困难并且是不合意地不精确的。此外，一些肾镜取石术技术涉及两天或三天的住院。总之，某些肾镜取石术技术可能相对昂贵并且对患者而言是有困难的。

根据某些外科手术，内窥镜(例如，输尿管镜)可配备有位置传感器，其中该传感器的位置用作经皮接近的目标，诸如对于PCNL而言。例如，可使用配备有电磁传感器的输尿管镜和/或配备有电磁传感器的经皮进入针来引导经皮肾接近进行肾结石去除等。在此类手术中，外科医生/医师可将输尿管镜驱动到肾的目标盏，并且使用与输尿管镜的远侧端部/顶端相关联的电磁传感器(例如，信标)作为该针的经皮进入目标。一般来讲，到目标盏的经皮轴线的功效可至少部分地取决于医师相对于(例如)输尿管镜相对于可通过其对目标盏进行经皮接近的乳突的位置和/或前进方向在哪里定位/停泊输尿管镜。对于其中输尿管镜的远侧/顶端用作经皮接近目标的一些手术，可能期望输尿管镜的远侧顶端在经皮接近/逼近期间尽可能接近乳突/盏界面。

术语“窥镜”和“内窥镜”在本文中根据其广泛和普通含义来使用，并且可指具有图像生成、查看和/或捕获功能性并且被配置为引入到身体的任何类型的器官、腔、内腔、腔室或空间中的任何类型的细长医疗器械。例如，本文提及窥镜或内窥镜可指输尿管镜、膀胱镜、肾镜、支气管镜、关节镜、结肠镜、腹腔镜、管道镜等。在一些情况下，窥镜/内窥镜可包括刚性或柔性管，并且尺寸可被设定成在外护套、导管、导引器或其他内腔类型装置内通过，或者可在没有此类装置的情况下使用。

机器人辅助式经皮手术可结合诸如肾结石去除手术的各种医疗手术来实施，其中机器人工具可使医师/泌尿科医师能够执行内窥镜目标接近(例如，输尿管镜)以及经皮接近或治疗。然而，在操作医师依赖于固定的经皮接近目标位置的情况下，在操作期间移动目标解剖特征可成问题。有利的是，本公开的各方面涉及医疗手术中的实时目标跟踪/指导，操作医师可利用该实时目标跟踪/指导诸如通过响应于此类实时目标跟踪信息而自动调整内窥镜位置和/或对准来引导经皮接近器械(例如，针或其他刚性工具)和/或指导机器人仪表化。为了促进此类功能性，本公开的实施方案可有利地提供用于自动目标检测、跟踪和/或三维定位估计的机制，以辅助医师(例如，泌尿科医师)实现诸如肾镜检查的各种外科手术操作的相对高效且准确的经皮接近。尽管本文出于方便起见而在输尿管镜指导的肾镜检查的背景下描述本公开的各方面，但是应当理解，本公开的发明方面可在任何合适或期望类型的经皮和/或内窥镜医疗手术中实施，而无论是不是机器人。

医疗系统

图1绘示了根据本公开的各方面的用于执行各种医疗手术的示例性医疗系统10。医疗系统10包括机器人系统11，该机器人系统被配置为接合和/或控制医疗器械32以对患者13执行手术。医疗系统10还包括控制系统50，该控制系统被配置为与机器人系统11介接，提供关于该手术的信息和/或执行多种其他操作。例如，控制系统50可包括显示器42以呈现某些信息来辅助医师5。医疗系统10可包括被配置为托住患者130的台面15。系统10还可包括电磁(EM)场发生器(未示出；参见图3)，该电磁场发生器可由机器人系统11的机器人臂12中的一个或多个机器人臂保持，或者可以是独立装置。

在一些具体实施中，系统10可用于执行经皮手术，例如经皮肾镜取石术(PCNL)。为了说明，如果患者13具有太大而不能通过尿路去除的肾结石80，则医师可执行通过患者13身上的经皮进入点去除肾结石的手术。在一些实施方案中，医师可与控制系统50和/或机器人系统11交互以控制机器人系统11从尿道67前移和导航医疗器械32(例如，窥镜)，通过膀胱65，沿输尿管63向上并进入结石80所在的肾70中。控制系统50可经由显示器42提供关于医疗器械32的信息，诸如由该医疗器械捕获的实时内窥镜图像，以辅助医师5导航该医疗器械。

在此参考与本发明概念的方面相关的某些医疗手术来描述肾解剖结构。大致在图1中的典型解剖位置示出的肾一般包括在腹膜后腔位于左右的两个豆形器官。在成年人类中，肾的长度一般是约11cm。肾从成对的肾动脉接收血液；血液退出到成对的肾脏静脉中，出于视觉清晰起见而未示出该成对的肾静脉。每个肾70附接到输尿管63，该输尿管是将分泌出的尿液从肾载运到膀胱65的管子。

肾通常在腹腔中相对高地定位并且以轻微斜角位于腹膜后位置。由肝的位置引起的腹腔内的不对称性通常导致右肾略微低于且小于左肾，并且放置成比左肾略微更靠中间。每个肾的顶部是肾上腺。肾的上部部分被第11根肋骨和第12根肋骨部分地保护。每个肾，其肾上腺被两层脂肪包围：存在于肾筋膜与肾小囊之间的肾周围脂肪和在肾筋膜之上的肾旁脂肪。

肾参与控制各种体液隔室、流体渗透压、酸碱平衡、各种电解质浓度和毒素去除的量。肾通过分泌某些物质并再吸收其他物质来提供过滤功能性。分泌到尿液中的物质的示例是氢、铵、钾和尿酸。另外，肾还执行各种其他功能，诸如激素合成等。

肾70的凹边界上的凹入区域是肾门78，其中肾动脉(未示出)进入肾，并且肾静脉(未示出)和输尿管63离开。肾被坚韧的纤维组织包围，肾小囊74本身被肾周围脂肪、肾筋膜和肾旁脂肪包围。这些组织的前(前方)表面是腹膜，而后(后方)表面是腹横筋膜。

肾的功能物质或实质分为两个主要结构：外部肾皮质77和内部肾髓质87。这些结构采取多个锥形肾瓣的形状，每个锥形肾瓣包含包围被称为肾锥体72的髓质的一部分的肾皮质。在肾锥体72之间是被称为肾柱73的皮质突起。肾元(图1中未详细示出)(肾的尿液产生功能结构)跨越皮质和髓质。肾元的初始过滤部分是位于皮质中的肾丝球体。这之后是从皮质深入到延髓锥体中的肾小管。肾皮质的部分，髓射线是排入单个集尿管中的肾小管集合。

每个锥体的顶端或乳突79将尿液清空到相应的肾小盏75中；肾小盏75清空到肾大盏76中，并且肾大盏76清空到肾盂71中，该肾盂过渡到输尿管63。在肾门78处，输尿管63和肾静脉离开肾并且肾动脉进入。肾门脂肪和具有淋巴结的淋巴组织包围这些结构。肾门脂肪与被称为肾窦的充满脂肪的腔邻接。肾窦共同包含肾盂和肾盏并将这些结构与肾髓组织分离。

进一步参考医疗系统10，医疗器械(例如，窥镜)32可通过尿路前移到肾70中。一旦在肾结石80的部位处(例如，在结石80可进入的肾70的盏内)，便可使用医疗器械32指定/标识用于经皮进入肾70的目标位置。为了使对肾和/或周围解剖结构的损伤最小化，医师5可将肾70的特定乳突79指定为用于使用经皮进入器械(例如，针；未示出)进入肾中的目标位置。然而，可指定或确定其他目标位置。一旦经皮进入器械已经到达该目标位置(例如，肾盏)，就可使用所利用的经皮进入路径从患者13抽取肾结石80。

在图1的示例中，医疗器械32被实施为窥镜。然而，医疗器械32可各自被实施为任何合适类型的医疗器械，诸如导管、导丝、碎石机、篮取回装置等。在一些实施方案中，医疗器械是可操控装置，而其他实施方案，医疗器械是非可操控装置。在一些实施方案中，外科手术工具是指被配置为穿刺或插入通过人类解剖结构的装置，诸如针、解剖刀、导丝等。然而，外科手术工具可指其他类型的医疗器械。

诸如窥镜32的窥镜可被配置为在人类解剖结构内导航，诸如在人类解剖结构的天然孔口或内腔内导航。窥镜可包括(例如)输尿管镜(例如，用于进入尿路)、腹腔镜、肾镜(例如，用于进入肾)、支气管镜(例如，用于进入气道，诸如支气管)、结肠镜(例如，用于进入结肠)、关节镜(例如，用于进入关节)、膀胱镜(例如，用于进入膀胱)等。

机器人系统11可被配置为至少部分地促进执行医疗手术。机器人系统11可按照多种方式配置，这取决于特定手术。机器人系统11可包括一个或多个机器人臂12，该机器人臂被配置为接合和/或控制窥镜32以执行手术。如图所示，每个机械臂12可包括联接到关节的多个臂段，该多个臂段可提供多个移动度。在图1的示例中，机器人系统110被定位成靠近患者的腿，并且机器人臂12被致动以接合并定位窥镜32以便进入入口点，诸如患者13的尿道67。当机器人系统110正确定位时，可通过机器人使用机器人臂12、由医师5手动地或其组合将窥镜120插入患者13体内。

机器人系统11可联接到医疗系统100的任何部件，诸如控制系统50、台面15、EM场发生器(未示出；参见图3)、窥镜32和/或经皮进入器械(例如，针；参见图3)的水平。在一些实施方案中，机器人系统11通信地耦合到控制系统50。例如，机器人系统11可被配置为从控制系统50接收控制信号以执行操作，以便以特定方式定位机器人臂12，操纵窥镜32等。作为响应，机器人系统11可控制机器人系统11的部件以执行操作。在一些实施方案中，机器人系统11被配置为从窥镜32接收表示患者13的内部解剖结构的图像和/或图像数据，即，关于图1的特定描绘的泌尿系统，和/或将图像/图像数据发送到控制系统50(然后可在显示器43或其他输出装置上显示)。此外，在一些实施方案中，机器人系统11以允许从其接收流体、光学、电力等的方式联接到医疗系统10的部件，诸如控制系统50。在下文参考图2更详细地论述机器人系统的附加的示例性细节。

控制系统50可被配置为提供各种功能性以辅助执行医疗手术。在一些实施方案中，控制系统50可联接到机器人系统11并且与机器人系统11协同操作以对患者13执行医疗手术。例如，控制系统50可经由无线或有线连接与机器人系统11通信(例如，以控制机器人系统11和/或窥镜32、接收由窥镜32捕获的图像等)，经由一个或多个流体通道向机器人系统11提供流体，经由一个或多个电连接向机器人系统11提供电力，经由一根或多根光纤或其他部件向机器人系统11提供光学。此外，在一些实施方案中，控制系统50可与针和/或肾镜通信以从其接收位置数据。此外，在一些实施方案中，控制系统50可与台面15通信以将台面15定位成特定取向或以其他方式控制台面15。此外，在一些实施方案中，控制系统50可与EM场发生器(未示出)通信以控制患者13周围的区域中的EM场的生成。

控制系统50可包括各种I/O装置，该I/O装置被配置为辅助医师5或其他人执行医疗手术。例如，控制系统50可包括特定输入/输出(I/O)部件，该特定输入/输出部件被配置为允许用户输入控制窥镜32，以便在患者13体内导航窥镜32。在一些实施方案中，示例，医师5可向控制系统和/或机器人系统提供输入，其中，作为响应，可将控制信号发送到机器人系统11以操纵窥镜32。还如图1中所示，控制系统50可包括显示器42以提供关于手术的各种信息。例如，显示器42可提供关于窥镜32的信息。例如，控制系统50可接收由窥镜32捕获的实时图像，并且经由显示器42显示实时图像。另外或替代地，控制系统140可从与患者13相关联的医疗监控器和/或传感器接收信号(例如，模拟、数字、电、声学/声波、气动、触觉、液压等)，并且显示器42可呈现关于患者13的健康状况或环境的信息。此类信息可包括经由医疗监控器显示的信息，包括(例如)心率(例如，ECG、HRV等)、血压/血率、肌肉生物信号(例如，EMG)、体温、血氧饱和度(例如，SpO₂)、CO₂、脑波(例如，EEG)、环境和/或局部或核心体温等。)、CO2、脑波(例如，EEG)、环境和/或局部或核心体温等。

为了促进控制系统50的功能性，该控制系统可包括各种部件(有时称为“子系统”)。例如，控制系统50可包括控制电子器件/电路系统系统，以及一个或多个电源、气动装置、光源、致动器、数据存储装置和/或通信接口。在一些实施方案中，控制系统50包括控制电路系统，该控制电路系统包括基于计算机的控制系统，该基于计算机的控制系统被配置为存储在被执行时致使实施各种操作的可执行指令。在一些实施方案中，控制系统50是可移动的，而在其他实施方案中，控制系统50是基本上静止的系统。尽管将各种功能性和部件讨论为由控制系统50实施，但是这种功能性和/或部件中的任一者可被集成到诸如机器人系统11、台面15的其他系统和/或装置中和/或由该其他系统和/或装置执行。下文参考图2更详细地论述示例性机器人系统的部件。

医疗系统10可提供多种益处，诸如提供指导以辅助医师执行手术(例如，器械跟踪、器械对准信息等)，使得医师能够从人体工程学位置执行手术而不需要不方便的手臂运动和/或位置，使得单个医师能够用一个或多个医疗器械执行手术，避免辐射暴露(例如，与荧光镜检查技术相关联)，使得能够在单个操作设置中执行手术，提供连续吸力以更高效地去除物体(例如，去除肾结石)等。例如，医疗系统10可提供指导信息以辅助医师使用各种医疗器械进入目标解剖特征，同时最少化出血和/或对解剖结构(例如，关键器官、血管等)的损伤。此外，医疗系统10可提供非基于辐射的导航和/或定位技术，以减少医师和患者暴露于辐射和/或减少手术室中的设备的数量。此外，医疗系统10可提供分布在至少控制系统50与机器人系统11之间的功能性，该功能性可以能够独立地移动。功能性和/或移动性的这种分布可使控制系统50和/或机器人系统11能够放置在对于特定医疗手术最佳的位置处，该位置可最大化患者周围的工作区域，和/或提供让医师执行手术的优化位置。

系统10的各种部件可在网络上彼此通信地耦合，该网络可包括无线网络和/或有线网络。示例性网络包括一个或多个个人区域网络(PAN)、局域网(LAN)、广域网(WAN)、互联网区域网络(IAN)、蜂窝网络、互联网等。此外，在一些实施方案中，系统10的各种部件可经由一根或多根支撑电缆、管等进行连接以用于数据通信、流体/气体交换、电力交换等。

图2提供了在图1中示出的机器人系统11(例如，基于推车的机器人启用系统)和控制系统50的实施方案的详细图解。机器人系统11一般包括细长支撑结构14(还称为“柱”)、机器人系统基座25以及在柱14的顶部处的控制台16。柱14可包括用于支持一个或多个机器人臂12(在图2中示出三个)的部署的一个或多个肘支架17(还称为“托架”)。肘支架17可包括可单独配置的臂支座，该臂支座沿垂直轴线旋转以调整机器人臂12的基座，以便相对于患者更好地定位。肘支架17还包括柱接口19，该柱接口允许肘支架17沿着柱14竖直地平移。

柱接口19通过诸如狭槽20的狭槽连接到柱14，该狭槽定位在柱14的相对侧上以引导肘支架17的竖直平移。狭槽20包含竖直平移接口以将肘支架17相对于机器人系统基座25定位并保持在各种竖直高度处。肘支架17的竖直平移允许机器人系统11调整机器人臂12的范围以满足多种台面高度、患者体形和医师偏好。类似地，肘支架17上的可单独配置的臂支座允许机器人臂12的机器人臂基座21以多种配置成角度。

机器人臂12一般可包括被一系列连杆23分隔的机器人臂基座21和末端执行器22，该一系列连杆由一系列关节24连接，每个关节包括一个或多个独立的致动器。每个致动器可包括可独立控制的马达。每个可独立控制的关节24可提供或表示机器人臂可用的独立自由度。在一些实施方案中，该臂12中的每个臂具有七个关节，并且因此提供七个自由度，包括“冗余”自由度。冗余自由度允许机器人臂12使用不同的连杆方位和关节角度将其相应的端部执行器22定位在空间中的特定方位、取向和轨迹处。这允许系统从空间中的期望点定位和导向医疗器械，同时允许医师使臂关节运动到远离患者的临床有利方位，以产生更大的接近，同时避免臂碰撞。

机器人系统基座25在地板上平衡柱14、肘支架17和臂12的重量。因此，机器人系统基座25可容纳较重的部件，诸如电子器件、马达、电源以及选择性地使该机器人系统能够移动和/或固定的部件。例如，机器人系统基座25包括允许机器人系统在手术之前容易地围绕房间移动的轮形脚轮28。在到达适当位置之后，可使用轮锁将脚轮28固定，以在手术期间将机器人系统11保持在适当位置。

定位在柱14的上端处的控制台16允许用于接收用户输入的用户界面和向医师用户提供术前和术中数据的显示屏(或两用装置，诸如触摸屏26)两者。触摸屏26上的潜在术前数据可包括从术前计算机化断层摄影(CT)扫描导出的术前计划、导航和标测数据和/或来自术前患者面谈的记录。显示器上的术中数据可以包括从工具、传感器提供的光学信息和来自传感器的坐标信息以及重要的患者统计，诸如呼吸、心率和/或脉搏。控制台16可被定位和倾斜成允许医师从柱14的与肘支架17相对的侧面接近控制台。从此位置，医师可在从机器人系统11后面操作控制台16的同时查看控制台16、机器人臂12和患者。如图所示，控制台16还可包括辅助操纵和稳定机器人系统11的手柄27。

机器人臂12中的每个机器人臂的末端执行器22可包括器械装置操纵器(IDM)，该器械装置操纵器可使用机构转换器接口(MCI)附接。在一些实施方案中，可移除IDM并且替换成不同类型的IDM，例如，第一类型的IDM可操纵内窥镜，而第二类型的IDM可操纵腹腔镜。MCI可包括用于将气动压力、电力、电信号和/或光学信号从机器人臂12传递到IDM的连接器。IDM可被配置为使用包括(例如)直接驱动、谐波驱动、齿轮驱动、皮带和滑轮、磁驱动等的技术操纵诸如窥镜32的医疗器械(例如，外科手术工具/器械)。

在图2中示出的控制系统50可用作用于示例性外科手术机器人系统11的命令控制台。控制系统50可包括控制台基座51和一个或多个显示装置42。

系统10可包括特定控制电路系统60，该特定控制电路系统被配置为执行本文描述的特定功能性。控制电路系统60可以是机器人系统、控制系统50或以上两者的一部分。也就是说，本文提及控制电路系统可指体现在机器人系统、控制系统或诸如在图1中示出的医疗系统10的医疗系统的任何其他部件中的电路系统。术语“控制电路系统”在本文中根据其广泛和普通含义而使用，并且可指以下各项的任何集合：处理器、处理电路系统、处理模块/单元、芯片、管芯(例如，包括一个或多个有源和/或无源装置和/或连接性电路系统的半导体管芯)、微处理器、微控制器、数字信号处理器、微型计算机、中央处理单元、现场可编程门阵列、可编程逻辑装置、状态机(例如，硬件状态机)、逻辑电路系统、模拟电路系统、数字电路系统和/或基于电路系统和/或操作指令的硬编码来操纵信号的任何装置。本文提及的控制电路系统还可包括一个或多个电路衬底(例如，印刷电路板)、导电迹线和通孔和/或安装垫、连接器和/或部件。本文提及的控制电路系统还可包括一个或多个存储装置，该一个或多个存储装置可体现在单个存储器装置、多个存储器装置和/或装置的嵌入式电路系统中。此类数据存储装置可包括只读存储器、随机存取存储器、易失性存储器、非易失性存储器、静态存储器、动态存储器、闪存、缓存、数据存储寄存器和/或存储数字信息的任何装置。应当注意的是，在控制电路系统包括硬件和/或软件状态机、模拟电路系统、数字电路系统和/或逻辑电路系统的实施方案中，存储任何相关联的操作指令的数据存储装置/寄存器可嵌入在包括该状态机、该模拟电路系统、该数字电路系统和/或该逻辑电路系统的电路系统内或在该电路系统外部。

进一步参考图2，控制电路系统60可包括计算机可读介质，该计算机可读介质存储对应于在本图中的一个或多个图中绘示和/或在本文描述的步骤和/或功能中的至少一些步骤和/或功能的硬编码和/或操作指令。在一些情况下，此类计算机可读介质可包括在制品中。控制电路系统60可完全在本地维护/设置或者可至少部分地远程定位(例如，经由局域网和/或广域网间接地通信地耦合)。

在一些实施方案中，控制电路系统60的至少一部分与机器人系统11集成(例如，集成在基座25、柱14和/或控制台14中)或与通信地耦合到机器人系统11的另一系统集成。在一些实施方案中，控制电路系统60的至少一部分与控制系统50集成(例如，集成在控制台基座51和/或显示单元42中)。因此，本文对功能控制电路系统的任何描述可理解为体现于机器人系统11、控制系统50或以上两者中，和/或至少部分地体现于一个或多个其他本地或远程系统/装置中。

系统10还包括特定用户控件65，该特定用户控件可包括任何类型的用户输入(和/或输出)装置或装置接口，诸如一个或多个按钮、键、操纵杆、手持式控制器(例如，视频游戏类型控制器)、计算机鼠标、触控板、跟踪球、控制垫和/或捕获手势和手指姿势的传感器(例如，运动传感器或相机)，和/或为此的接口/连接器。用户控件65通信地和/或物理地耦合到控制电路系统60中的至少一些控制电路系统。

在一些实施方案中，用户控件65和/或控制电路系统60被配置为接收用户输入以允许用户控制医疗器械，诸如内窥镜或肾镜，诸如能够由机器人系统在速度模式或位置控制模式下至少部分地操纵的器械。在速度模式下，可准许用户使用控件65基于直接手动控制来直接控制(例如)内窥镜或其他器械的远侧端部的俯仰和偏航运动。例如，可将操纵杆上的移动映射到窥镜/装置的远侧端部中的偏航和俯仰运动。在一些实施方案中，用户控件65被配置为向用户提供触觉反馈。例如，操纵杆或其他控制机构可振动以指示无效或潜在有问题的输入。在一些实施方案中，控制系统50和/或机器人系统11还可提供视觉反馈(例如，弹出消息)和/或音频反馈(例如，蜂鸣声)以指示与机器人操作相关联的问题。

在位置控制模式下，控制电路系统60可使用患者的三维(3D)地图和患者的预先确定的计算机模型来控制医疗器械(例如，内窥镜)。例如，控制电路系统60可被配置为向机器人系统11的机器人臂12提供控制信号以操纵相关器械以在目标位置、位置和/或取向/对准下定位该相关器械。对于实施3D映射的实施方案，位置控制模式可能需要对患者解剖结构的充分准确的映射。

在一些实施方案中，用户可在不使用命令控件65的情况下手动地操纵机器人系统11的机器人臂12。例如，在外科手术手术室中的设置期间，用户可移动机器人臂12和/或任何其他医疗器械以提供对患者的期望的进入。机器人系统11可依赖来自用户的力反馈和惯性控制来确定机器人臂12和相关联器械的适当配置。

控制系统50的显示装置42可与用户控件65集成，例如，作为具有用于用户输入的触摸屏的平板计算机装置。显示装置42可被配置为使用集成的显示触摸控件向机器人系统11提供数据和输入命令。显示装置42可被配置为显示图形用户界面，该图形用户界面基于由一个或多个位置传感器提供的信息而示出关于在患者体内和/或系统内操作的各种器械的位置和取向的信息。在一些实施方案中，与医疗器械(例如，内窥镜)相关联的位置传感器可被配置为生成指示位置的信号并且在耦合到该传感器的电线和/或传输器上传输该信号。此类连接性部件可被配置为将位置信息传输到控制台基座51，以便由控制电路系统60对该位置信息进行处理并且经由显示装置呈现。

图3绘示了根据本公开的一个或多个实施方案的设置在患者的泌尿系统的部分中的输尿管镜340。如上文所提及，可实施输尿管镜手术以调查人类输尿管的异常和/或治疗该异常。例如，可实施输尿管镜手术以治疗和/或去除肾结石。可至少部分地手动地和/或至少部分地使用机器人技术来执行此类手术，该机器人技术诸如在图1和图2中示出的机器人系统11。例如，与完全手动手术相比，将机器人装置和/或系统用于特定内窥镜手术可提供相对较高的精度、控制和/或协调。在一些实施方案中，窥镜340包括用于部署医疗器械(例如，碎石机、装篮装置、镊子等)、冲洗和/或抽吸到窥镜的远侧端部处的操作区域的工作通道344。

窥镜340可诸如相对于该窥镜的至少远侧部分是可铰接的，使得可在人类解剖结构内使窥镜转向。在一些实施方案中，窥镜340被配置为使用(例如)五个自由度进行铰接，包括XYZ坐标移动，以及俯仰和偏航。在一些实施方案中，针传感器提供六个自由度，包括X、Y和Z坐标位置，以及俯仰、横滚和偏航。窥镜340的位置传感器可同样相对于该位置传感器产生/提供的位置信息具有相似的自由度。图绘示根据一些实施方案的窥镜340的多个运动程度。如图3中所示，窥镜340的顶端342可相对于其纵轴线306(还称为“横滚轴线”)定向为零偏转。

为了在顶端342的不同取向下捕获图像，机器人系统可被配置为在正偏航轴线302、负偏航轴线303、正俯仰轴线304、负俯仰轴线305或横滚轴线306上偏转顶端342。窥镜342的顶端342或主体345可在纵轴线306、x轴线308或y轴线309中伸长或平移。窥镜340可包括参考结构(未示出)以校准窥镜的位置。例如，机器人系统可测量窥镜340相对于参考结构的偏转。该参考结构可位于(例如)内窥镜340的近端上，并且可包括键、狭槽或凸缘。该参考结构可联接到第一驱动机构以用于初始校准并且联接到第二驱动机构以执行外科手术。

对于机器人具体实施，机器人系统的机器人臂可被配置为/能够被配置为使用细长移动构件来操纵窥镜340。该细长移动构件可包括一根或多根拉线((例如，拉线或推线)、缆线、纤维或柔性轴。例如，机器人臂可被配置为致动联接到窥镜340的多根拉线以使窥镜118的顶端342偏转。拉线可包括任何合适的或合意的材料，诸如金属和非金属材料，诸如不锈钢、Kevlar、钨、碳纤维等。在一些实施方案中，窥镜340被配置为响应于由细长移动构件施加的力而展现出非线性行为。该非线性行为可基于窥镜的刚度和压缩系数，以及不同的细长移动构件之间的松弛度或刚度的变化性。

窥镜(例如，内窥镜/输尿管镜)340可包括管状和柔性医疗器械，该管状和柔性医疗器械被配置为插入到患者的解剖结构中以捕获该解剖结构的图像。在一些实施方案中，窥镜340可容纳电线和/或光纤以传递去往/来自光学组件和窥镜340的远侧端部342的信号，该远侧端部可包括成像装置348，诸如光学相机。

相机/成像装置348可用于捕获内部解剖空间的图像，诸如肾70的目标盏/乳突。窥镜340还可被配置为容纳光纤，以将来自位于近侧的光源(诸如，发光二极管)的光载送到该窥镜的远侧端部342。窥镜340的远侧端部342可包括在使用相机/成像装置时供光源照亮解剖空间的端口。在一些实施方案中，窥镜340被配置为由机器人系统控制，该机器人系统在一个或多个方面类似于在图1和图2中示出的机器人系统11。成像装置可包括光纤、光纤阵列和/或镜头。光学部件与窥镜340的顶端一起移动，使得该窥镜的该顶端的移动导致由成像装置348捕获的图像的变化。

对于经皮肾镜取石术(PCNL)手术，通过患者的皮肤和中间组织进入目标盏。一般来讲，对肾的盏的优选进入是通过软组织乳突结构，其中通过此类组织进入一般可与出血和/或其他并发症的降低的风险相关联。在针通过乳突结构插入的情况下，除了免于出血之外，此类路径可提供对肾的互连内部通道(例如，盏)的完全进入。

尽管PCNL表示用于治疗较大的肾结石的相对有效的方法，但许多医师部分地由于难以准确地瞄准目标乳突/盏而选择其他手术。更具体地，执行PCNL涉及使用针通过患者的肋腹获得对肾的目标盏的经皮进入。此步骤对于手术的最终成功可被认为是极其重要的，因为医师必须选择到肾的针路径，该针路径不会横穿周围的器官并且还允许刚性器械到达和治疗尿结石。如果医师无法有效地进行，则他们会承受导致内脏或胸膜损伤或不能完全治疗结石的风险。由于这些挑战，与在合适的患者位置(例如，修改后的仰卧位置)处获得经皮针进入以执行PCNL相关联的学习曲线非常高。

在一些手术中，医师研究患者的术前计算机断层扫描(CT)图像以确定尿结石的位置、周围器官和骨性结构的位置，并且检查盏的形态测定。利用此知识，医师可在心里生成经皮针路径的术前计划。通常，医师必须识别进行穿刺以容纳刚性器械的后盏。具体地，后盏一般提供进入肾盂的相对笔直的途径。医师必须尝试通过乳突将针插入肾中，以避免损坏肾脉管系统并引起出血。在手术进行时，医师在一些手术中依赖于荧光镜检查或超声，以引导针与目标盏的对准和插入。然而，与此类成像技术相关联的分辨率和解译难题可导致相对比较困难地令人满意地执行针穿刺。因此，提供对诸如乳突和盏的目标解剖特征的改进的跟踪和可视化的本公开的实施方案可提高操作结果，并且与其他PCNL方法相比对更多的医师有吸引力。

在一些实施方案中，医疗器械(例如，窥镜)340包括传感器，该传感器被配置为生成传感器位置数据和/或将传感器位置数据发送到另一装置。传感器位置数据可指示医疗器械340(例如，其远侧端部342)的位置和/或取向，和/或可用于确定/推断医疗器械的位置/取向。例如，传感器(有时称为“位置传感器”)可包括具有导电材料线圈或天线的其他形式/实施方案的电磁(EM)传感器。

图3示出了EM场发生器315，该EM场发生器被配置为广播EM场90，由医疗器械上的EM传感器检测该EM场。磁场90可在EM位置传感器的线圈中感应出小电流，可对该小电流进行分析以确定EM传感器与EM场发生器315之间的距离和/或角度/取向。此外，医疗器械/窥镜340可包括其他类型的传感器，诸如形状感测光纤、加速度计、陀螺仪、基于卫星的定位传感器(例如，全球定位系统(GPS)传感器)、射频收发器等。在一些实施方案中，医疗器械上的传感器可向控制系统提供传感器数据，该传感器数据然后用于确定医疗器械的位置和/或取向。在一些实施方案中，位置传感器定位在医疗器械340的远侧端部342上，而在其他实施方案中，该传感器定位在医疗器械上的另一位置处。可将输尿管镜驱动到接近目标乳突的位置。

在一些实施方案中，如在下文更详细地描述，可将输尿管镜340的远侧端部前移以接触目标解剖特征(例如，乳突)。在与窥镜340的远侧端部相关联的位置传感器接触和/或接近目标解剖特征的情况下，可将窥镜340的远侧端部的位置记录为经皮进入器械(例如，针)可被引导通过乳突进入目标盏的目标经皮进入位置。

本公开的某些实施方案有利地帮助使医师自动化和引导医师经过用于获得对目标解剖特征的经皮进入的过程。例如，可一起使用电磁定位和窥镜图像以引导将针插入患者体内。此解决方案可允许非专家医师在例如修改后的仰卧位置获得对肾的进入并且能够执行PCNL。

本公开的某些实施方案涉及对目标治疗部位(诸如肾中的目标位置)的位置传感器引导式经皮进入。例如，在窥镜340装配有一个或多个电磁传感器并且肾镜进入针也包括一个或多个电磁传感器并且此类传感器经受由场发生器315产生的电磁场90的情况下，相关联的系统控制电路系统可被配置为检测和跟踪它们的位置。在一些实施方案中，输尿管镜340的顶端在用户插入经皮进入针时充当引导信标。此解决方案可允许用户从多种途径命中目标，从而避免需要依赖于荧光检查或超声成像模态。

在一些实施方案中，与窥镜340相关联的控制系统(在图3中未示出)被配置为实施定位(localization)/定位(positioning)技术以确定和/或跟踪诸如窥镜340和/或经皮进入针(未示出)的医疗器械的位置(location)/位置(position)。在一些示例中，如上所述，EM场发生器315被配置为在患者的环境内提供EM场90。窥镜340和/或经皮进入针可包括EM传感器，该EM传感器被配置为检测EM信号并将关于检测到的EM信号的传感器数据发送到控制系统。该控制系统可分析传感器数据以确定窥镜340的位置和/或取向(例如，EM传感器与EM场发生器315之间的距离和/或角度/取向)。替代地或另外地，在一些示例中，控制系统可使用其他技术来确定窥镜340的位置和/或取向。例如，窥镜340(和/或针)可包括形状感测光纤、加速度计、陀螺仪、加速度计、基于卫星的定位传感器(例如，全球定位系统(GPS))、射频收发器等。该控制系统可从窥镜340接收传感器数据并确定其位置和/或取向。在一些实施方案中，该控制系统可相对于患者的坐标系和/或解剖结构实时跟踪窥镜340的位置和/或取向。

窥镜340可以是能够基于用户输入或自动地以任何合适或合意的方式控制的。控件311、312提供可用于接收用户输入的示例。在一些实施方案中，窥镜340的控件位于窥镜的近侧手柄上，该近侧手柄可能相对难以在输尿管镜的取向改变时以一些手术姿势/位置抓握。在一些实施方案中，如图像312中，使用双手控制器控制窥镜340。尽管控制器311、312被示出为手持式控制器，但是可使用任何类型的I/O装置接收用户输入，该I/O装置诸如触摸屏/垫、鼠标、键盘、麦克风等。

图4(以部分4-1和4-2表示)是说明根据本公开的一个或多个实施方案的用于进入患者的目标盏或其他器官的过程400的流程图。图5(以部分5-1和5-2表示)示出了根据一个或多个实施方案的对应于与图4的过程相关联的各种块、状态和/或操作的特定图像。过程400可涉及经皮进入肾70以去除肾结石(例如，PCNL)。这种经皮进入对于抽取经由输尿管镜去除是不切实际的或不合意的充分大的结石可为合意的。例如，结石的直径可大于2cm，而某些输尿管镜具有可借以去除结石或碎片的直径为约1.2mm的工作通道。尽管在许多情况下将结石破裂为较小的碎片以经由输尿管镜检查进行去除是行之有效的，但研究已经表明，残留的结石碎屑常常是新结石形成源，从而需要将来的类似治疗。

在框402处，过程400涉及使用输尿管镜440通过患者的输尿管进入肾，如上文描述。具体地，框402的操作可涉及将窥镜440前移通过输尿管63，经过肾盂71，并且进入一个或多个盏处或附近的区域。

在框404处，过程400涉及使用与内窥镜的远侧端部442相关联的图像捕获装置(例如，相机)定位待治疗的患者的肾结石480。例如，可至少部分地抽取肾结石480作为过程400的目的。

在框406处，过程400涉及识别暴露于目标盏475内的目标乳突479，可通过该目标盏实现对肾结石480的接近。识别目标乳突479对于产生可经由经皮进入来接近肾结石480所通过的可行道可为重要的。例如，可能需要确定适合于通过相对刚性的肾镜进入的角度，以便进入可到达肾结石480所通过的盏(例如，肾小盏475)。在一些具体实施中，可能期望或需要通过后盏到达肾结石480，以便提供对输尿管肾盂结点71的充分笔直的通道。一般来讲，可将目标肾小盏视为相对小的目标。例如，这种盏的直径可以是大约4mm-8mm。因此，精确的瞄准可能是关键的，以便有效地抽取肾结石。

实现针/肾镜对目标盏475的进入所通过的路径可有利地尽可能直，以便避免碰到在与针/肾镜可穿过其定位的乳突479相关联的肾锥体476周围的血管。此外，患者的各种关键解剖结构的位置可能需要导航穿过患者的组织/解剖结构的受约束窗。例如，在第12根肋骨下方的下极盏可提供避开肺胸膜的合适的进入。此外，进入路径可有利地在后腋线的内侧(例如，在第12根肋骨的顶端下方大约1cm以及在该顶端内侧1cm)，以避开结肠和/或椎旁肌。另外，该进入路径可有利地避免紧密接近肋骨，以避开肋间神经。此外，通过瞄准在盏475的轴向中心的区域中的入口，在一些情况下可避开大动脉和/或其他血管。

在框408处，过程400涉及标识/记录将实现期望的进入所通过的目标盏479内的暴露乳突479的位置例如，可在诸如电磁场空间的三维空间中表示/识别位置信息/数据。

为了记录乳突179的位置，可将窥镜440前移以物理地触摸/接触目标乳突479，如前移的窥镜顶端443所示出，窥镜440和/或操作者可结合此将此类接触位置识别和/或以其他方式指示为目标位置。在一些具体实施中，与输尿管镜的远侧端部/顶端442相关联的电磁信标或其他传感器装置可指示目标位置，从而记录电磁场空间中的目标位置。在接触/触碰乳突479并记录位置之后，可缩回窥镜的端部442，并且以某种方式测量此类缩回的深度。在一些具体实施中，可通过监控一般在进行接触时会被遮挡/变黑的由此生成的相机图像而向操作者告知窥镜440的远侧端部443已经接触乳突479。

在框410处，过程400涉及将诸如针的医疗器械450经皮引入患者体内。例如，在一些具体实施中，可经由患者的肋腹进行此类进入。在框412处，过程400涉及将经皮前移的医疗器械450引导向目标位置以最终横穿目标乳突479并且穿过其进入目标盏475。

在一些实施方案中，可通过窥镜440的相机提供针450的顶端进入目标盏475的视觉确认。例如，如上文所描述，窥镜440可从目标位置后退，从而提供包括盏475内的乳突479的视野，使得针450的顶端在穿过乳突479的表面突出时可看到该顶端。

在记录了目标位置的情况下，经皮插入的医疗器械(例如，针450)可被引导向记录的位置。然而，在此类记录的位置是静态的情况下，在记录目标位置之后发生的解剖运动可能导致该目标位置未准确地反映与期望进入所通过的目标解剖特征相关联的实时位置。例如，将针450插入患者体内的动作可能导致目标器官(例如，肾70)周围的特定解剖结构和/或目标器官本身以某种方式迁移和/或变形/弄成畸形，从而使目标解剖特征(例如，乳突479)呈现与在记录目标进入位置时不同的位置/形状。关于肾手术，输尿管镜440可固定到肾盂71的位置，使得肾70相对于输尿管镜的变形和/或运动可能导致此类目标位置破坏。因此，一旦将解剖运动引入到系统中，就可能不准确地跟踪乳突479。

一旦针已进入盏475，就可为针450更换更大直径的装置以提供用于去除结石的更大端口。在一些具体实施中，针450包括管心针和套管。在针顶端前移到盏475中的情况下，可移除管心针，从而留下套管形成到肾结石位置的开放端口。通过该套管，可放置导丝并将该导丝用于执行去除结石480的过程的剩余部分。例如，可使用该导丝沿着该导丝传递无气球囊或扩张器。可使该球囊或扩张器膨胀以产生大到足以将中空抽吸管(诸如肾盂引流管)直接引入到盏475中的端口。此时，可将肾镜或许多其他器械中的任一者引入到抽吸管中以辅助去除结石480。例如，可使用碎石机、激光、超声、篮、抓手、引流管等去除结石或其碎片，和/或可沿着抽吸管部署诸如肾造口术导管的引流管以减小肾内压力。此类功能性的任何组合可体现于肾镜(未示出)和/或输尿管镜440中。

图像处理增强型器械指导和自动化

本文描述的过程虽然在输尿管镜的背景下进行了描述，但可应用于利用位置传感器(例如，电磁场传感器)和/或相机来跟踪诸如乳突或尿结石的目标解剖特征的任何其他类型的外科手术。如所描述，可配准/记录静态位置标志以识别与目标解剖特征/界标相关联的目标位置。在一些实施方案中，本公开提供了用于鉴于特定目标识别和/或目标跟踪图像处理技术至少部分地基于静态位置标志来引导和/或自动化内窥镜和/或经皮进入器械的系统、装置和方法。根据本公开的实施方案的目标识别和跟踪可应用于任何类型的机器人内窥镜手术。

在一些具体实施中，可收集特定图像数据并用于识别目标解剖特征。可至少部分地使用机器学习框架来实现此类识别。例如，本公开的系统、装置和方法可提供在实时内窥镜图像中对目标解剖特征的识别，其中识别图像中的目标解剖特征可促成特定响应动作。例如，通信地耦合到机器人内窥镜和/或经皮进入装置的控制电路系统可被配置为跟踪目标特征的移动并采取动作，诸如铰接内窥镜的一个或多个部分(例如，远侧端部部分)或调整目标位置数据。例如，该控制电路系统可被配置为使内窥镜铰接以便在内窥镜相机的界面和/或图像场的视野中心处或附近使目标位置/点居中。

通过利用机器人辅助式经皮进入，医师可能够执行操作目标进入和治疗。此外，根据在下文更详细地描述的本公开的方面，可利用自动目标识别和跟踪来进一步辅助经皮进入，可依赖此来准确地维持用于经皮进入引导的目标位置。根据本公开的方面的由窥镜赋能的目标跟踪引导的皮肤进入可以是相对不技能密集型的。在一些具体实施中，单个操作员或机器人系统可执行该过程。此外，可避免对荧光镜检查的需要。

自动目标检测

图6是说明根据一个或多个实施方案的用于瞄准解剖特征的过程600的流程图。类似于本文公开的某些其他过程，过程600涉及在框610处将医疗器械(诸如窥镜(例如，输尿管镜))前移到治疗部位，诸如至少部分地设置在目标器官内的内腔或腔室。例如，框610的操作可涉及将医疗器械前移到患者的肾的目标盏。医疗器械与目标之间的相对位置可由于解剖运动和/或在经皮针器械根据本文公开的某些过程接近目标时略微变化。位置上的此相对变化可导致用于跟踪目标器官的位置的需求或必要性。例如，可在二维空间中跟踪该位置，并且可在三维空间中恢复该位置，如下文更详细地描述。

如上文所提及，根据本公开的方面的机器人内窥镜引导式经皮进入可利用相对于实现对治疗部位的进入所通过的目标解剖特征的位置跟踪技术。例如，可实施与医疗器械的远侧端部(例如，窥镜)和/或经皮进入器械(例如，针)相关联的位置跟踪机构/传感器，以便指导医师/技术人员将经皮进入器械与治疗部位(例如，目标盏)对准。如通过本公开的方面赋能的准确、实时目标跟踪可赋能对治疗部位的相对精确的单棍进入。

在框620处，过程600涉及标识目标解剖结构的位置，这一点最好说清楚，当图像处理方法能够给出目标的3D位置时，不需要此手动标识过程。例如，标识目标解剖位置的位置可涉及确定和/或记录(例如，如本文所示出和描述，在特定控制电路系统的易失性和/或非易失性数据存储装置中捕获)。可通过任何合适或合意的方式，诸如使用至少部分手动标识的子过程622或至少部分基于图像的标识子过程621，来结合框620标识目标解剖特征的位置，在下文分别结合框624和623进行描述。

关于特定手动标识过程，在框622处，过程600涉及使用医疗器械的远侧端部接触治疗部位中的目标解剖特征。例如，该医疗器械可包括传感器装置，诸如电磁传感器/信标，该电磁传感器/信标可指示医疗器械的远侧端部的位置，并且因此，在该医疗器械的远侧端部抵靠着和/或邻近于目标解剖特征而安置的情况下，可依赖此类位置读数来指示目标解剖特征的位置。作为示例，用户可通过以某种方式标识/配准目标解剖特征的暴露面(例如，暴露于目标盏内的乳突面)来提供输入以向相关计算/医疗系统通知目标解剖特征的特征接触位置。此类标识可通过以某种方式提供用户输入来实施，或者可基于感知的组织接触等而是基本上自动的。

关于特定的基于图像的标识过程，在框623处，过程600涉及使用图像数据输入和特定神经网络功能性来确定目标解剖特征的位置，如下文关于图7和图8详细描述。在一些具体实施中，将卷积神经网络用于目标位置识别/标识。

结合框620的操作而记录的特征接触位置可被视为相对于目标解剖特征的潜在动态相对位置的静态位置，该潜在动态相对位置可随时间变化。可通过任何合适或合意的方式记录和/或维持该特征接触位置，诸如存储在一个或多个数据存储装置中。

过程600前进到子过程630，该子过程可涉及在手术时期内在目标解剖特征的方向上前移诸如针等的经皮进入器械的同时跟踪目标解剖特征。对目标解剖特征的动态相对位置的实时跟踪可有利地促进将经皮进入器械准确地引导到治疗部位。

可通过各种方式实施子过程630。例如，如子过程632所示，可实施实况器械(例如，窥镜)跟踪以提供对目标解剖特征的手术跟踪。例如，在整个相关手术时期内，可维持医疗器械的远侧端部与目标解剖特征接触(框634)，使得由医疗器械指示的位置传感器数据可提供目标解剖特征的实时准确位置。因此，如框636处所示，可瞄准医疗器械的实况位置以提供期望的经皮进入路径。然而，在医疗器械的远侧端部与目标解剖特征紧密接近/接触的情况下，由于特征本身在相机的视野中阻挡目标解剖特征，对目标解剖特征的实时可视化可能是不可能的或充分清晰的。也就是说，与局部器械相关联的相机可被大部分目标解剖特征充分阻挡或遮挡，从而阻止医师/用户对经皮进入器械(例如，针)穿透目标解剖特征进行视觉确认。

示出用于跟踪目标解剖特征同时仍然在经皮进入器械接近期间维持目标解剖特征的清晰视觉的替代性子过程631。此子过程631可利用目标解剖特征的静态标识位置，如结合框620的操作。例如，在框633处，子过程631可涉及记录与和上文描述的框620的操作结合实施的与目标解剖特征的接触相关联的特征接触位置。

不再继续将医疗器械维持成与目标解剖特征接触/接近以提供手术跟踪，与子过程632一样，子过程631可涉及将医疗器械从目标解剖特征缩回一定距离(例如，在近侧方向上)，从而允许医疗器械在如框635处所指示的与其相关联的相机的视野中清楚地捕获目标解剖特征。例如，在一些具体实施中，在医疗器械已经停放在远离目标解剖特征的期望距离处时，医师/用户可通过某种方式告知系统。

通过澄清的方式，应注意，子过程631、632表示子过程630的替代性具体实施。也就是说，过程600可大体上涉及子过程632或子过程631而不是两者的具体实施。例如，子过程632大体上说明一种解决方案，该解决方案涉及将与丝线或窥镜相关联的位置跟踪装置(例如，电磁信标)留在目标解剖特征(例如，乳突)的位置/表面处，其中可致使/允许位置跟踪装置在针插入期间与乳突一起移动。因此，当传感器与目标解剖特征一起移动时，可连续地更新目标位置。子过程632一般可不需要/需要任何实时图像数据。然而，由于遮挡，子过程632的解决方案可能提供不了对目标乳突的针穿刺的即时视觉确认。

在一些情况下，可假设窥镜保持在目标盏内部，并且保留乳突-窥镜的配准。在目标解剖特征相对于窥镜位置传感器不存在相对移动的情况下，可基于所确定的当前窥镜位置连续地更新目标位置。例如，与框634相关联的操作可涉及不连续地维持器械/传感器与目标解剖特征之间的接触，可将窥镜缩回远离目标以允许相机对目标的查看。可使用在缩回窥镜期间收集的位置数据(例如，EM数据)来配准/记录相对于窥镜的乳突位置。例如，根据一个用例，窥镜的缩回/定位可在乳突前面大约5mm并且向左2mm。此类位置偏移可用于确定相对于窥镜的当前位置的目标的位置。然而，目标解剖特征与窥镜之间的相对移动可导致位置偏移计算的不可靠性，并且因此，此类过程可能是不充分的，补偿不了相对移动。

在特定方面，子过程631可表示与子过程632相比之下的改进。例如，对静态位置数据和/或窥镜偏移数据的依赖一般可能自身提供不了稳健的解决方案来补偿相对于目标解剖特征和/或其他运动的解剖移位，这可能是由于例如插入经皮进入器械和/或其他因素。除了解剖移动之外，与在治疗部位处驱动/定位医疗器械相关联的机器人机构和/或其他部件的物理定位的变化还可能引入关于目标解剖特征和医疗器械的远侧端部的相对定位的不准确性。在目标解剖特征的非所要的移动的情况下，可能不安心地依赖其静态记录位置来提供目标解剖特征的实际跟踪位置。因此，可能需要对在框620处记录的静态目标位置进行更新以适应解剖运动和/或如上文描述的其他引入的不准确性。

在医疗器械不再与目标解剖特征接触/接近的情况下，医疗器械的远侧端部的实时位置因此可能自身不指示目标解剖特征的实时位置。而是，子过程631可实施用于基于结合框633的操作而记录/标识的静态位置来跟踪目标解剖特征的位置的各种解决方案。例如，在框637处，子过程631可涉及通过使用由根据本公开的实施方案的特定系统控制电路系统实施的神经网络电路系统和/或其他图像跟踪功能性来处理目标解剖特征的实时图像来跟踪目标解剖特征的位置。例如，该神经网络和/或其他图像跟踪机制可接收目标解剖特征的实时图像作为输入，其中该神经网络电路系统和/或其他图像跟踪机制被配置为在其中识别和确定目标解剖特征的位置。这种特征识别功能性可用于相对于结合框633而记录的静态位置来实时跟踪目标解剖特征。

子过程631可包括或不包括接触624步骤和缩回635步骤，其中用户物理地接触目标乳突位置并缩回窥镜以在窥镜的视野中示出乳突。例如，在结合框620实施基于图像的标识621的情况下，可能不需要物理地接触目标解剖特征以确定其位置/定位。而是，可使用本文公开的目标识别机制基于由窥镜/器械的一个或多个相机捕获/生成的图像数据来确定位置/定位。例如，在一些实施方案中，使用多个图像/视觉和/或位置(例如，EM)数据帧来识别和跟踪目标。在下文结合图12描述此类目标位置确定的示例。在一些具体实施中，通过从两个不同位置和/或比对观察目标解剖特征(例如，乳突)，可相对于三维空间估计/确定目标位置。

在框639处，子过程631涉及使用经皮进入器械瞄准目标解剖特征的跟踪位置。例如，可在经皮进入器械的目标位置处使用治疗部位的实时图像中的识别的乳突形状或形态的质心。

在框640处，过程600涉及对目标解剖特征进行穿刺，其中相对于子过程632没有对目标解剖特征的视觉确认，或者根据子过程631进行视觉确认，这取决于过程600的特定具体实施。

结合本公开的实施方案而使用的各种位置传感器，诸如用于在框633处记录特征接触位置或在框636处瞄准实况器械位置的位置传感器，可以是任何类型的位置传感器。作为示例，此类传感器可以是电磁(EM)传感器/探针。关于窥镜，该位置传感器可与其顶端附接或集成、在该顶端的近侧。替代地，传感器可包括线圈，该线圈连接到延伸了窥镜长度的电线，该线圈连接到外部控制电路系统，该外部控制电路系统被配置为解译在该线圈处生成的电信号并且沿该电线传递。可结合本公开的实施方案实施的位置传感器装置的类型的示例包括(但不限于)加速度计、陀螺仪、磁力计、光纤形状感测(例如，经由布拉格光栅、瑞利散射、干涉测量或相关技术)等。依据具体实施，对诸如CT扫描的单独形态的患者影像的配准可能需要或可能不需要提供用于在患者体内定位尿结石的参考系。

为了参考，描述了可在一些公开的实施方案中实施的特定位置确定/定位机制。关于EM型传感器，诸如线圈或其他天线，此类传感器装置可被配置为在EM传感器在场内(例如，在肾内)移动时检测EM场的变化。因此，使用被配置为发射由EM传感器拾取的EM场的一个或多个EM发生器来实施某些实施方案。可以任何合适或合意的方式调制EM发生器，使得当它们发射的场被EM传感器捕获并且由适当的控制电路系统处理时，来自不同EM发生器的信号可分离以提供位置信息的额外维度。EM发生器可在时间上或在频率上经过调制，并且可使用正交调制，使得每个信号尽管有可能在时间上重叠也可与每个其他信号完全分离。此外，单独的EM发生器可在笛卡尔空间中以非零非正交角度相对于彼此定向，使得EM传感器的取向的变化将导致EM传感器在任何时刻从EM发生器中的至少一个EM生成器接收至少某一信号。

进一步参考图6的框633处的对特征接触位置的记录，可将EM位置数据配准到使用除EM(或用于捕获对准传感器数据的任何机制)之外的不同技术(诸如CT扫描)捕获的患者的图像，以便为EM数据建立参考帧。除了窥镜之外，经皮进入针可包括一个或多个位置/对准传感器，诸如EM传感器。可与如上文描述的窥镜位置数据类似地接收和处理从针EM传感器接收的位置/对准数据。本文描述的各种过程可完全或部分手动地执行和/或完全或部分使用机器人来执行。

本文公开的过程可结合除肾结石去除手术之外的手术来实施，诸如胆囊结石去除、肺(肺部/经胸腔)肿瘤活检等。一般来讲，可通过使用根据本公开的实施方案的被配置为捕获图像数据以便使用神经网络处理进行特征识别和跟踪的内窥镜来执行任何类型的经皮手术。附加的示例包括胃手术、食道手术和肺手术等。此外，将要去除的物体不一定需要是尿结石，它们可以是任何物体，诸如外来物或在人体内产生的物体。

基于神经网络的解剖特征识别和跟踪

图7绘示了根据本公开的一个或多个实施方案的用于识别内窥镜相机图像中的一个或多个目标解剖特征以便动态地更新目标位置数据的特征识别框架。特征识别框架700可体现在特定控制电路系统中，该特定控制电路系统包括一个或多个处理器、数据存储装置、连接性特征、衬底、无源和/或有源硬件电路装置、芯片/管芯等。例如，框架700可体现于在图2中示出并且在上文描述的控制电路系统60中。特征识别框架700可采用机器学习功能性对例如内部肾解剖结构的输尿管镜图像执行自动目标检测。

特征识别框架700可被配置为对特定图像类型数据结构进行操作，诸如表示与一种或多种医疗手术相关联的治疗部位的至少一部分的图像数据。可通过与框架700的图像处理部分相关联的特定变换电路系统720以某种方式操作此类输入数据/数据结构。变换电路系统720可包括任何合适或合意的变换和/或分类架构，诸如任何合适或合意的人工神经网络架构。

可根据已知的解剖图像712和对应于相应图像712的作为输入/输出对的目标标记732来训练变换电路系统720，其中变换/分类框架720被配置为调整与其相关联的一个或多个参数或权重以使已知的输入和输出图像数据相关。例如，可使用标记的数据集和/或机器学习来训练变换电路系统720(例如，卷积神经网络)。在一些具体实施中，机器学习框架可被配置为以任何合适或合意的方式执行学习/训练。

可至少部分地通过在已知的解剖图像712中手动地标记解剖特征来生成已知的目标标记732。例如，可由相关医疗专家确定手动标记和/或应用该手动标记来标记例如乳突解剖结构在盏间解剖图像之间何处。已知的输入/输出对可指示变换电路系统720的参数，该参数能够在一些实施方案中动态地更新。

已知的目标标记732可描绘存在于其中的目标解剖特征的边界和/或内部区域。在一些实施方案中，框架700可被配置为通过以二进制方式指示实时解剖图像715的特定图像是否包括目标解剖特征的方式生成实时目标标记735，其中可对被识别为包含目标解剖特征的一个或多个实例的图像执行进一步处理以进一步识别目标解剖特征的位置和/或其他方面。在一些实施方案中，可执行进一步处理以确定识别的目标解剖特征和/或其一个或多个部分的三维位置。

框架700可进一步被配置为使用变换电路系统720的训练过的版本来生成与实时解剖图像715相关联的实时目标标记735。例如，在医疗手术期间，可使用变换电路系统720处理与设置在治疗部位处的内窥镜或其他医疗器械相关联的治疗部位的实时图像，以生成识别实时图像中的一个或多个目标解剖特征的存在和/或位置的实时目标标记735。例如，在一些实施方案中，可由变换电路系统720处理输尿管镜图像以识别目标乳突的存在、位置和/或形状，可如本文详细描述使用经皮进入器械瞄准该目标乳突。关于输尿管镜应用，乳突状解剖结构一般在受试者之间在外观上类似地呈现，并且因此可以能够在广泛的人口统计中识别乳突解剖结构。

在一些实施方案中，变换电路系统720可被配置为识别目标解剖特征(例如，乳突)以及包含识别的解剖特征和/或包围图像中的识别的解剖特征的段外区域。变换框架720可包括人工神经网络，诸如卷积神经网络。例如，框架720可实施接受输入图像的深度学习架构，将可学习的权重/偏差分配给图像中的各个方面/对象以将彼此区分。框架720的过滤器/特性可以是手工设计的或可通过机器学习来学习。

框架720可包括与覆盖输入图像的视觉区域的输入图像的重叠区域相对应的多个神经元(例如，神经元层，如图7中所示)。框架720可进一步操作以通过某种方式使输入图像或其部分整平。框架720可被配置为通过应用特定过滤器来捕获输入图像715中的空间和/或时间相依性。此类过滤器可在各种卷积操作中执行以实现期望的输出数据。此类卷积操作可用于提取特征，诸如边缘、轮廓等。框架720可包括任何数目个卷积层，其中更多的层可提供对更高级特征的识别。框架720还可包括一个或多个合并层，该一个或多个合并层可被配置为减小卷积特征的空间大小，这可用于提取旋转和/或位置不变的特征，如特定解剖特征。一旦通过整平、合并和/或其他过程制备，便可通过多级感知器和/或前馈神经网络处理图像数据。此外，可将反向传播应用于训练的每次迭代。框架可能够在输入图像中的主要和特定低级特征之间进行区分，并且使用任何合适或合意的技术对它们进行分类。在一些实施方案中，神经网络架构包括以下已知的卷积神经网络架构中的任一卷积神经网络架构：LeNet、AlexNet、VGGNet、GoogLeNet、ResNet或ZFNet。

框架720的输入可以是视频或静态图像。在一些实施方案中，输入包括视频，其中框架720被配置为产生指示该视频的特定特征如何变化(例如，实施时间模型)的输出。在一些实施方案中，一旦神经网络720已经被训练，神经网络框架的操作输入可包括多个(例如，两个)图像，其中输出735包括(例如，随时间)指示图像上的一个或多个目标的位置的数据。输入715可包括图像或图像数据，和/或可包括指示单独(例如，连续)图像之间的差异的数据。例如，框架720可检测像素之间的运动或空间变化，其中像素位置的变化指示图像之间和/或随时间的运动。输出可指示图像之间的差异。在一些实施方案中，对神经网络框架720进行训练以估计光流。

图8绘示了根据本公开的一个或多个实施方案的示例性神经网络特征-分类/识别框架800。框架800可表示卷积神经网络架构，并且可包括所绘示的部件中的一个或多个部件，该部件可表示特定功能部件，其中每个功能部件可体现在与本公开的系统、装置和/或方法中的任何系统、装置和/或方法相关联的控制电路系统的一个或多个部分或部件中。框架800可表示图7的变换电路系统720或其一部分的实施方案。

神经网络框架800可包括预训练的神经网络821，诸如ResNet 50神经网络等。框架800还可包括特征提取部件822(例如，特征提取网络(SDN))，诸如特征金字塔网络。特征提取部件822可被配置为提取输入图像和/或工程师特征-检测器轮廓的一个或多个特征图。在实施特征金字塔网络功能性的实施方案中，可在不同的分辨率水平下处理多个图像以提供输出变体。

框架800还可包括区域提议网络部件823。区域提议网络823可被配置为提议图像上的特定边界框，该边界框包封在由特征提取部件822生成和/或提供的特征图上指示/识别的目标。

在一些实施方案中，可执行粗细处理图以在图像中提取目标。可由一个或多个附加部件827使用由区域提议网络823提供的提议的边界框。例如，二元分类网络部件826可被配置为基于它们是否包含所关注的目标特征来对边界框进行分类。此外，框回归网络825可被定位和配置成细化由区域提议网络823提议的边界框。另外，掩模预测网络部件824可被配置为计算和/或表示识别的目标特征的体形或形状/形态。

目标解剖特征跟踪

正确识别目标解剖特征和其位置的能力可有利地允许医疗器械在医疗手术期间瞄准目标解剖特征。然而，在确定目标解剖特征的目标位置之后的解剖运动的发生可使目标解剖特征移动远离已知的目标位置。因此，提供目标位置数据的实时更新的本公开的实施方案可帮助避免与术间解剖运动相关联的问题。

在一些实施方案中，可实施定位系统(例如，如本文描述的电磁定位系统)以确定一个或多个医疗器械的位置。在一些实施方案中，可使用相机图像校准该定位系统，以确定相机图像中表示的特征在定位场中的位置。

可根据各种方法实现目标解剖特征跟踪。例如，在一些实施方案中，可通过比较治疗部位的两个连续或循序捕获的图像的神经网络(或其他图像处理)电路系统的输出来实现目标跟踪。例如，倘若目标解剖特征的体形或掩模作为神经网络或其他类型的目标识别电路系统相对于在不同时间捕获的图像的输出，可诸如在重叠百分比的背景下确定此类体形/掩模(例如，成对交-并(IOU))的重叠。一般来讲，可假设连续图像之间的内容差异至少相对于在足够高的采样率下的图像捕获无显著不同。因此，如果重叠百分比高于预定义/预定阈值，则连续捕获的图像的掩模可被视为表示相同的目标解剖特征，其中阈值涉及目标在采样上的最大移动。

图9是说明根据本公开的一个或多个实施方案的用于跟踪治疗部位处的目标解剖特征的过程900的流程图。在框902处，过程900涉及使用标记的图像数据训练神经网络。例如，该神经网络可包括在某些方面分别与在图7和图8中示出的框架700、800类似的框架。

在框904处，过程900涉及从设置在治疗部位处或附近的内窥镜或其他医疗器械接收该治疗部位的第一图像。在框906处，过程900涉及使用神经网络架构/框架来识别第一图像中的第一特征。例如，该第一特征可以是存在于治疗部位处的目标乳突。例如，可实施一个或多个机器学习部件或模块以执行相对于第一图像的第一特征的分割。

在框908处，过程900涉及接收治疗部位的第二图像。可相对于第一图像连续和/或循序地捕获该第二图像。在框910处，过程900涉及使用神经网络识别该第二图像中的第二特征。例如，该第二特征可以是目标盏治疗部位中的乳突。在框912处，过程900涉及确定第一特征和第二特征表示治疗部位处的相同目标解剖特征，诸如相同的目标乳突。可诸如通过比较第一特征和第二特征和/或其部分的所确定的重叠或移动来以任何方式作出该第一特征和该第二特征表示相同目标解剖特征的确定。

在框914处，过程900涉及基于识别的第二特征和/或器械位置数据而修改与目标解剖特征相关联的目标跟踪位置。例如，器械位置数据可对应于医疗器械和/或其铰接或相对移动的初始标识位置。对目标跟踪位置的修改可用于通过补偿目标解剖特征的动态相对移动来跟踪该目标解剖特征。此外，用于捕获第一图像和第二图像的内窥镜或其他医疗器械可具有与其相关联的电磁传感器或其他位置传感器。此类位置传感器可用于引入对医疗器械移动到目标跟踪位置数据的补偿。

基于目标解剖特征在捕获第一图像的时间与捕获第二图像的时间之间的相对运动，可需要和/或期望对目标跟踪位置的修改。如上文描述，此类运动可由在治疗部位的一般区域中插入和/或操纵诸如针的经皮进入器械引起。由于该运动，目标解剖特征(例如，乳突)一般可能不会相对于窥镜保持固定，该窥镜可用于确定初始目标位置。因此，结合本公开的系统、装置和方法而公开的特征识别和跟踪功能性可允许使用相机图像随时间跟踪目标解剖特征。此类跟踪可用于动态地预测目标解剖特征的三维位置，其中该三维位置可用作经皮进入器械的目标跟踪位置，如本文描述。如本文描述，动态目标估计可极大地辅助实现经皮进入器械与目标解剖特征之间的会合。

可相对于与医疗器械的远侧端部相关联的位置传感器的位置来确定医疗器械(例如，内窥镜)的相机的位置。利用此类相机位置信息，可相对于与位置传感器相关联的位置空间(例如，电磁场空间)来确定出现在图像空间中的对象/特征的位置。因此，可在三维空间中确定第二图像中的第二特征的位置，并且可提供该位置来引导经皮进入器械(例如，针)。

尽管图9描述了基于第二特征识别和/或位置来修改目标跟踪位置，但是应当理解，可至少部分地基于更新后的解剖特征识别来实施任何类型的响应动作。例如，可实施通信地耦合到控制内窥镜的位置的机器人的特定控制电路系统，从而基于目标解剖特征的移动来调整/铰接该窥镜。例如，可移动窥镜，使得目标解剖特征的质心或其他部分是相机、接口或治疗部位的其他视觉表示的视野的中心处或附近的位置。

本文公开的神经网络和掩蔽概念可根据公布“Mask R-CNN”(He、Kaiming、GeorgiaGkioxari、Piotr Dollár和Ross Girshick.“Mask r-cnn”In Computer Vision(ICCV),2017IEEE International Conference on，第2980-2988页。IEEE,2017)来实施，该公布的整个内容在此明确以引用的方式并入本文。

图10是说明根据本公开的一个或多个实施方案的用于在治疗部位处跟踪目标解剖特征的过程的流程图。图10的跟踪过程1000可被视为直接跟踪实施方案。图11示出了与在图10中示出的过程1000的各个步骤相关的特定特征掩模和相关图像。

在框1002处，过程1000涉及针对在第一时间(t)拍摄的治疗部位的第一图像121生成目标掩模122。如图像121中所示，该第一图像包括目标解剖特征111的至少一部分，该目标解剖特征可表示从盏/肾治疗部位可见的乳突。图像122表示目标解剖特征的掩模。尽管根据本公开的实施方案可使用任何掩模，但是所说明的掩模122是二元掩模，该二元掩模包括表示目标解剖特征111的可见部分的形状或形态的特征区域112，以及表示不对应于目标解剖特征111的图像121的区域的背景部分119。可使用任何类型的分割和/或机器学习机制来生成掩模122，其中分割区域分叉以提供区域掩模，如所示。

在框1004处，过程1000涉及为在捕获第一图像121时的时间(t)之后的时间(t+1)拍摄的第二图像123生成目标掩模124。通过根据本公开的各方面的神经网络图像处理或其他目标识别机制，可在图像123中识别目标解剖特征113。图像123相对于目标特征113的掩模124被示出为图像124，该图像包括表示目标解剖特征113和图像123的可见部分的形状/体形或形态的特征区域114，和表示不对应于目标解剖特征113的图像123的区域的背景部分127。

在框1006处，过程1000涉及使用其相应掩模122、124确定第一图像121和第二图像123中的目标或特征重叠。图像125表示第一掩模122和第二掩模124的重叠。所得图像125包括对应于第一图像121和第二图像123两者的背景的部分115、对应于相对于第一图像121的背景但相对于第二图像123的特征区域的部分116，和对应于相对于第二图像123的背景但相对于第一图像121的特征区域的部分117。剩余区域118表示识别的解剖特征111、113之间的重叠区域。出于清楚起见，重叠区域/形状被单独地示出为图像126，并且表示不大于掩模122、124的特征区域中的任一者的区域。

过程1000可前进到决策框1008，其中可相对于第一特征区域112、第二特征区域114或以上两者的区域确定重叠量118、126是否大于预定阈值重叠量。如果确定是肯定的，则过程1000前进到框1010，其中可采取响应动作。例如，在框1010处，可假设第一识别的解剖特征111和第二识别的解剖特征113表示相同的目标解剖特征。例如，两个识别的特征可表示患者肾内的相同乳突。因此，图像121与123之间的位置的任何变化可表示解剖移动，并且因此响应动作可涉及调整与目标解剖特征相关联的目标位置和/或调整所利用的医疗器械的位置，该医疗器械诸如用于捕获图像121、123的器械(例如，内窥镜和/或其相机)。例如，一个或多个机器人臂可被配置为通过调整臂和/或由机器人臂控制的内窥镜位置来作出响应。相关区域的重叠的确定可基于二维X/Y轴线。尽管图像121、123之间的差异被描述为归因于解剖移动，但是应当理解，此类差异可至少部分地归因于一个或多个操作工具或器械的移动。

如果特征重叠不符合预定阈值，则过程1000可前进到框1012，该框可与或可不与任何响应动作相关联。例如，在框1012处，可假设特征111、113表示单独的解剖特征和/或其部分。因此，可不依赖特征111、113之间的位置的差异来表示目标解剖特征的特定解剖移动。在一些实施方案中，预定阈值可以是能够动态调谐的，并且可被选择和/或确定为产生合意的或最佳的区分性能。例如，可基于对先前已知数据的分析来确定阈值，如本文描述。在一些实施方案中，可滤除可归因于循环性呼吸动作的移动，使得此类移动不归于目标解剖特征的移动。例如，可执行图像121、123的采样，使得它们对应于呼吸循环周期中的类似点。在一些具体实施中，以每秒约30帧或任何其他合适或合意的采样速率对图像进行采样。

除了如上文描述的直接跟踪方法之外，可根据本公开实施间接跟踪方法。例如，可实施光流跟踪，以便跨多个图像跟踪目标解剖特征部分和/或其对应像素表示的移动。例如，跟踪表示共同图像特征的像素可提供目标解剖特征移动信息。此外，可实施其他特征跟踪机制，诸如跟踪拐角、日志、像素组和/或任何其他图像特征。

尽管可使用如本文描述的包括神经网络框架等的图像处理方法来执行分割/掩蔽，但在一些具体实施中，由医师或其他技术人员/操作员至少部分地手动地执行分割/掩蔽。例如，技术人员可选择目标解剖特征并识别后续图像中的类似特征，其中根据本公开可通过任何合适或合意的方式考虑由连续特征识别/分割表示的移动。在一些实施方案中，特征描述符可在该识别的特征区域中局部运行，该识别的特征区域可被视为在后续图像中存在特征的高可能性的区域。

尽管在输尿管镜的背景下呈现了本发明公开的方面，但是应当理解，此类概念适用于任何类型的内窥镜应用。例如，可利用本文所描述的特征识别和跟踪技术来用于识别和跟踪息肉或其他目标解剖特征。关于支气管镜检查手术，可利用本公开的目标解剖特征识别和跟踪概念来识别肿瘤和/或管理窥镜位置以用于收集样品等。关于呼吸道手术，可利用根据本公开的特征识别和瞄准来识别和/或跟踪目标气道、气道本身和/或其他特征内部的结节。

关于本文公开的实施方案中的任一实施方案，应当理解，可相对于目标解剖特征识别和/或跟踪来补偿已知的窥镜移动数据。此外，位置传感器信息可进一步提供指示可为了目标特征跟踪目的而对其作出补偿的移动的信息。进一步参考图10，在一些实施方案中，在框1010处发起任何响应动作之前，过程1000可涉及确定用户发起的窥镜移动或无意的窥镜移动是否已发生。如果是，则可调整生成的掩模以补偿此类移动，使得在重叠确定和/或响应动作中不反映此类移动。

关于本文公开的各种实施方案，可使用任何合适或合意类型的传感器、装置或其组合来确定和/或生成位置信息。例如，本公开的位置传感器/装置可包括以下各项中的任一者中的一者或多者：电磁传感器、阻抗光谱传感器、同轴传感器、惯性测量传感器、加速度计、磁力计、陀螺仪和/或提供指示位置、距离、取向、加速度、对准等的信息的任何其他类型的传感器。

三维目标位置估计

根据本公开的各方面的用于跟踪目标解剖特征的三维(3D)位置估计可根据任何合适或合意的技术或机制来实施。例如，在一些实施方案中，可基于图像中的解剖特征的代表性大小来估计内窥镜相机与目标解剖特征之间的距离。

在一些实施方案中，可使用与窥镜和/或解剖特征的移动角度有关的信息来确定3D位置。例如，电磁场/空间中的电磁传感器/信标可提供此类移动角度信息。通过将电磁传感器数据与图像数据组合，在此距离的移动之后捕获的所得图像中的距目标解剖特征的距离与目标解剖特征的大小之间的映射可用于估计后续图像中的特征的深度/距离。在一些实施方案中，当接触目标解剖特征(例如，乳突)并将窥镜缩回远离此类特征以将窥镜停放在提供合意的视野的位置时，可使用例如电磁传感器数据对行进的距离进行配准。此外，后续图像和提供关于解剖特征在此类图像中显得有多大的信息，并且因此可确定特征大小与距离之间的关系/映射并用于将来的位置确定。在一些具体实施中，可利用机器学习对图像进行分类并且基于此类图像中的特征的大小来确定位置信息。

在一些实施方案中，可利用机器学习来训练神经网络框架以解译图像数据并产生指示图像像素的3D深度的输出。可根据本文描述的任何合适或合意的过程或机制来实施此类机器学习。在一些实施方案中，可利用与医疗器械相关联的外部相机传感器(例如，窥镜)来获得目标的3D位置。例如，结构化照明传感器和/或飞行时间传感器可用于确定3D定位。

根据一些实施方案，可实施几何平移方法以检测目标解剖特征的3D位置。例如，与本公开的某些其他实施方案一样，可捕获与单独的时间戳相关联的潜在图像。结合此类图像，可使用可基于来自任何合适或合意的传感器或装置的传感器信息而确定的相对于相机的旋转平移信息来进行三角测量和/或确定此类图像在3D空间中的位置，从而提供指示目标解剖特征在3D空间中的3D位置的信息。该旋转平移信息可基于机器人致动器移动和/或位置传感器信息，该机器人致动器移动和/或位置传感器信息诸如来自与相机和/或窥镜相关联的电磁信标装置，并且指示相机在电磁场空间中的位置。

图12是绘示了3D位置估计过程的方面的图，该3D位置估计过程涉及在单独的时间(即，分别对应于时间(t)和时间(t+1)的时间(被称为C_t和C_t+1))拍摄的第一图像91和第二图像92。

在给出相机的固有和非固有参数(主点、焦距和失真因子、相对运动)的情况下，然后可至少部分地基于图像上的跟踪的目标二维(2D)位置来计算目标解剖特征的3D位置。对于固有参数，可考虑相机主点和焦距。可考虑的额外数据可包括径向和切向失真因子。基于传感器读数(例如，基于机器人或EM的传感器读数)，还可获得非固有参数，包括窥镜在拍摄两个图像的位置之间的旋转R和平移T。出于方便起见，可将K表示为包含固有参数的矩阵，将H表示为包含C_t与C_t+1之间的非固有旋转和平移的4乘4矩阵。

对于C_t，可将3D-2D的投影关系表达为x_t＝KX，其中X是3D坐标w.r.t.C_t和x_t图像t上的2D坐标(目标的检测到的质心)。此处，K是可表达为下式的三乘4矩阵：

其中K_(n)是K中的第n行。

类似地，对于C_t+1，x_t+1＝K′X，其中：

因为x_t和KX是平行向量,所以x_t×KX＝0，并且类似地，x_t+1×K′X＝0。此处，‘×’是交叉乘积操作符。因此：

以上可产生：i(v_tK₍₃₎X-K₍₂₎X)-j(u_tK₍₃₎X-K₍₁₎X)+k(u_tK₍₂₎X-v_tK₍₁₎X)＝0，其中u_t和v_t是x_t的2D坐标。因此：

在此，仅可需要前两个方程，因为第三方程是前两个方程的线性组合。类似地，对于C_t+1，可获得以下两个方程：

在堆叠C_t和C_t+1的方程之后，可产生以下结果：

AX＝0，

其中，A是4乘4矩阵：

由于A中的元素是已知的(检测到的2D坐标、固有和非固有参数)，因此可通过对A执行单数值分解(SVD)来计算X：

A＝U∑V^T,

并且V的最后一列是X的解。

因此，鉴于前述公开内容，可利用本文公开的各种发明概念来执行自动目标检测、目标跟踪和/或三维位置估计。在一些实施方案中，本公开的方面有利地允许在不需要与目标解剖特征的物理接触的情况下跟踪目标解剖特征，这可促进输尿管镜使用的改进的人体工程学。

被配置为实施图12的系统的控制电路系统可有利地生成与两个(例如，时间上连续)图像中存在的目标相关联的三维(3D)位置信息。在一些具体实施中，可使用神经网络框架生成3D信息，该神经网络框架可在一个或多个方面类似于在图7中示出并且在上文作为上述计算具体实施的替代方案或补充而描述的框架720。例如，该神经网络的输入可包括指示目标解剖结构的3D大小、3D位置(例如，xyz坐标)或与图像参数有关的其他数据的图像、标记或其他数据。深度信息可从CT确定，或者可从其他信息得到。例如，深度和/或像素坐标信息可从神经网络输出。

附加实施方案

依据实施方案，可按照不同的顺序执行、可添加、合并或完全忽视本文描述的过程或算法中的任一者的特定动作、事件或功能。因此，在某些实施方案中，不是所有描述的动作或事件对于过程的实践都是必要的。

除非另外特别说明或在所使用的上下文内以其他方式理解，否则本文所用的条件语言，诸如“可”、“能够”、“可能”、“可以”、“例如”等，是指其普通意义，并且一般旨在传达某些实施方案包括而其他实施方案不包括某些特征、元件和/或步骤。因此，此类条件语言一般不旨在暗示一个或多个实施方案无论如何都需要特征、元件和/或步骤，或者一个或多个实施方案一定包括用于在有或没有作者输入或提示的情况下决定这些特征、元件和/或步骤是否包括在任何特定实施方案中或者是否将在任何特定实施方案中执行的逻辑。术语“包括”、“包含”、“具有”等是同义的，并且在它们的普通意义上使用，并且以开放式方式包含性地使用，并且不排除附加的元件、特征、动作、操作等。而且，术语“或”在其包含性意义上(而不是在其排他性意义上)使用，使得当用于例如连接一系列元件时，术语“或”是指该系列的元件中的一个、一些或全部。除非另有特别说明，否则诸如措辞“X、Y和Z中的至少一者”的结合语言在一般使用的背景下被理解为传达项目、术语、元件等可以是X、Y或Z。因此，此类结合语言一般不旨在暗示某些实施方案需要X中的至少一者、Y中的至少一者和Z中的至少一者各自都要存在。

应当理解，在以上对实施方案的描述中，为了简化本公开并辅助理解各种发明方面中的一个或多个发明方面，有时将各种特征在单个实施方案、图或其描述中分组在一起。然而，本公开的此方法不应理解为反映了以下意图：任何权利要求要求比那项权利要求中所明确叙述的特征更多的特征。此外，本文的特定实施方案中说明和/或描述的任何部件、特征或步骤可应用于任何其他实施方案或与任何其他实施方案一起使用。此外，对于每个实施方案，没有部件、特征、步骤或部件、特征或步骤的组是必需的或不可缺少的。因此，期望本文公开和下文要求保护的本发明的范围不受上文描述的特定实施方案限制，而是应仅通过公正地阅读随附权利要求书来确定。

应当理解，为了便于参考，可提供某些序数术语(例如，“第一”或“第二”)，并且不一定暗示物理特性或排序。因此，如本文所用，用于修改诸如结构、部件、操作等元件的序数术语(例如，“第一”、“第二”、“第三”等)不一定指示该元件相对于任何其他元件的优先级或顺序，而是可大体上将该元件与具有类似或相同名称(但是用于使用序数术语)的另一元件区分开来。另外，如本文所用，不定冠词(“一个(a)”和“一个(an)”)可指示“一个或多个”而不是“一个”。此外，“基于”某一条件或事件而执行的操作还可基于未明确叙述的一个或多个其他条件或事件来执行。

除非另有定义，否则本文所用的所有术语(包括技术和科技术语)具有与示例性实施方案所属领域的普通技术人员通常理解的相同含义。将进一步理解，术语，诸如在常用字典中定义的术语，应当被解释为具有与它们在相关领域的背景下的含义一致的含义，并且不以理想化或过于正式的意义进行解释，除非本文明确如此定义。

为了便于描述，在本文中可使用空间相对术语“外部”、“内部”、“上部”、“下部”、“下方”、“上方”、“竖直”、“水平”和类似术语来描述在附图中绘示的一个元件或部件与另一元件或部件之间的关系。应当理解，空间相对术语旨在涵盖装置在使用中或操作中的除附图中描绘的取向之外的不同取向。例如，在附图中示出的装置被翻转的情况下，位于另一装置“下方”或“之下”的装置可放置在另一装置“上方”。因此，说明性术语“下方”可包括下部位置和上部位置两者。装置还可在另一方向上定向，并且因此可依据取向不同地解释空间相对术语。

除非另有明确说明，否则比较和/或定量术语，诸如“更少”、“更多”、“更大”等，旨在涵盖等式概念。例如，“更少”可不仅是指在最严格的数学意义上的“较少”，而且可指“小于或等于”。

Claims (7)

1.一种医疗系统，包括：

内窥镜，所述内窥镜具有与所述内窥镜的远侧端部相关联的相机和电磁位置传感器；

机器人医疗子系统，所述机器人医疗子系统包括多个铰接臂；和

控制电路系统，所述控制电路系统通信地耦合到所述内窥镜和所述机器人医疗子系统，所述控制电路系统被配置为：

响应于用户输入而将所述内窥镜前移到患者的治疗部位；

记录所述内窥镜的所述远侧端部在电磁场内的位置；

生成指示所述位置作为目标解剖位置的用户界面数据；

从所述内窥镜的所述相机接收第一图像；

使用预先训练的神经网络来识别所述第一图像中的第一解剖特征；

从所述内窥镜的所述相机接收第二图像；

使用预先训练的神经网络来识别所述第二图像中的第二解剖特征；

确定所述第二图像中的第二解剖特征和所述第一图像中的第一解剖特征表示共同的特征；

至少部分地基于所述第一图像和所述第二图像来估计所述第二图像的所述第二解剖特征的三维位置；以及

至少部分地基于所述第二解剖特征在所述第二图像中的位置来调整所述目标解剖位置。

2.根据权利要求1所述的医疗系统，其中所述估计所述解剖特征的所述三维位置基于以下各项中的一者或多者：相机焦距、相机主点、所述内窥镜的相对运动、所述内窥镜的旋转和电磁传感器读数。

3.根据权利要求1所述的医疗系统，其中所述控制电路系统还被配置为在所述电磁场中配准所述内窥镜的所述远侧端部。

4.根据权利要求1所述的医疗系统，还包括通信地耦合到所述控制电路系统的机器人肾镜。

5.一种计算装置，包括：

内窥镜界面；和

控制电路系统，所述控制电路系统包括一个或多个处理器以及一个或多个数据存储装置，所述控制电路系统被配置为：

在所述内窥镜界面上接收指示耦合到所述控制电路系统的内窥镜的远侧端部的位置的传感器数据；

生成指示所述内窥镜的所述远侧端部的所述位置作为目标位置的第一用户界面数据；

在所述内窥镜界面上接收医疗部位的第一图像；

识别所述第一图像中的第一解剖形态；

在所述内窥镜界面上接收所述医疗部位的第二图像；

识别所述第二图像中的第二解剖形态；

确定所述第一图像和所述第二图像的重叠中的所述第一解剖形态和所述第二解剖形态的重叠量大于预定阈值；

确定所述第一解剖形态和所述第二解剖形态表示相同的目标解剖特征；以及

基于所述确定所述第一解剖形态和所述第二解剖形态表示相同的目标解剖特征而更新所述目标位置。

6.根据权利要求5所述的计算装置，其中所述控制电路系统被配置为响应于所述更新所述目标位置而生成指示更新后的目标位置的第二用户界面数据。

7.根据权利要求5所述的计算装置，其中所述目标位置是目标肾镜检查位置。