CN107847289A - 现实增强的形态学手术 - Google Patents

Abstract

将代表形态学受试者的物理特征的数据结合有待相对于该形态学受试者执行的手术进行接收。为该手术的从业者渲染由该物理特征的虚拟图像覆盖的该形态学受试者的视图，包括基于这些代表性数据生成该物理特征的该虚拟图像，并且根据该形态学受试者上的一个或多个参考点在该视图内渲染该物理特征的该虚拟图像，使得该虚拟图像能够进行关于该形态学受试者的该物理特征的原位可视化。

Description

现实增强的形态学手术

相关申请的交叉引用

本申请通过引用特此结合并且要求2015年3月1日提交的题为“Augmented-Reality Surgical Operation and Medical Evaluation[增强现实外科手术操作和医学评估]”的美国临时专利申请号62/126,624的优先权。

技术领域

本披露涉及在虚拟现实、增强的现实、投影的或其他虚拟空间中提供医疗覆盖。

附图说明

通过示例而非限制的方式在附图的图示中展示了本文披露的各种实施例，并且其中相似的参考数字是指类似的元件，并且其中：

图1展示示例性外科手术覆盖系统图；

图2展示外科手术覆盖程序流程；

图3展示示例性腹腔镜系统图；

图4展示腹腔镜程序流程；

图5展示具有二维和三维要素的示例性平视显示器(HUD)；

图6展示示例性图像和手术步骤的并行HUD显示；

图7展示使用具有跟踪器和监测器的手术刀的医生的实例；

图8展示示例性腹腔镜路径显示和HUD摄影机；

图9展示附接到患者的示例性HUD元件和呈现在HUD中的示例性视图；

图10展示示例性患者解剖学显示，其中解剖学元件被虚拟去除以允许以其他方式遮住的解剖学部分可见；

图11展示示例性有源解剖术[使用系统组件？]

图12展示具有明显症状(例如，皮疹或其他局部小病)的虚拟患者的实例；

图13展示增强现实中学生学习的实例；

图14展示急救手术的实例；

图15展示在增强现实中呈现的示例性IQ测试问题；

图16展示示例性胸部上升和其检测/图像捕获；

图17展示负空间探索的实例；

图18展示基于特征和/或周界的序列匹配的实例；

图19展示示例性帧偏移系统；

图20展示针对二维特征的示例性圆形测试；

图21展示针对三维特征的示例性球形测试。

具体实施方式

在各种实施例中披露了用于在外科手术之前和期间观察和准确地定位患者器官、动脉和其他特征由此降低由于与患者特征位置变化相关的外科手术误差导致的发病率和死亡率的方法、系统和系统组件。在许多实施例中，成像数据被解释为患者的增强现实(“AR”)或虚拟现实(“VR”)视图，以在手术期间向医生、外科医生或其他执业医师显示以提高手术的准确性和功效。方法和设备将成像数据解释为受试者(subject)的AR或VR视图，供其他用户使用，包括但不限于保险审计师、非外科医师、护士和法律专业人员。

还披露了在医疗手术期间提供用于显示腹腔镜摄影机的增强现实(“AR”)路径数据和摄影机影像的平视显示器(“HUD”)的方法和设备。在许多实施例中，在腹腔镜检查期间跟踪腹腔镜摄影机和/或承载管的位置，伴随将摄影机图像传输到装置，并且在增强现实中覆盖腹腔镜的位置和路径数据。

还披露了使用增强现实(“AR”)或虚拟现实(“VR”)来培训和测试外科和诊断技能并显示通过磁共振成像(“MRI”)收集的患者形态学数据的各种技术和设备。在许多实施例中，患者形态学数据(例如，由MRI、CT扫描、x射线或任何其他患者数据源构成)显示给从业者/受训者，并通过AR或VR进一步增强以模拟用于测试和培训的各种条件。

“手术(procedure)”在本文中被定义为包括但不限于在身体上进行的任何外科的、诊断的、捏脊的、物理治疗的、康复的和/或其他任务。

“从业者”被定义为包括但不限于执行手术的任何主体。

“形态学受试者”、“形态学图像”、“形态学数据”、“形态学”和其他变体被定义为包括但不限于磁共振成像(“MRI”)、计算机断层摄影(“CT”)、计算机轴向断层摄影(“CAT”)、正电子发射断层摄影-计算机断层摄影(“PET-CT”)、光学相干断层摄影(“OCT”)、扫频光学相干断层摄影(“SS-OCT”)、光学相干断层摄影血管造影(“OCTA”)、超声波、X射线、核磁共振、乳腺X线摄影、血管造影、盆腔超声、数码照相、摄影照相、原子探针断层摄影(“APT”)、计算机断层摄影成像光谱仪(“CTIS”)、激光扫描共聚焦显微镜(“LSCM”)、冷冻电子断层摄影(“Cryo-ET”)、电容断层摄影(“ECT”)、电阻断层摄影(“ERT”)、电阻抗断层摄影(“EIT”)、电子断层摄影(“ET”)、激光消融断层摄影(“LAT”)、磁感应断层摄影(“MIT”)、μ介子断层摄影、角膜地形图(角膜形貌图)、中子断层摄影、声学断层摄影、光学漫射断层摄影(“ODT”)、光学投影断层摄影(“OPT”)、光声成像(“PAT”)、正电子发射断层摄影(“PET”)、量子断层摄影、单光子发射计算机断层摄影(“SPECT”)、地震断层摄影、热声成像、超声调制光学断层摄影(“UOT”)、皮肤断层摄影、或动脉造影。

AR装置是包含能够在真实世界数据上显示透明图像的受计算机控制的显示器(例如具有嵌入式透明显示机构的眼镜)的任何装置，或者能够显示与覆盖的三维数据相耦合的来自摄影机或其他成像源的合成图像的装置。

VR装置是包含受计算机控制的显示器的任何装置，该显示器遮盖用户的视域并使其沉浸入虚拟环境中。

I.视觉AR/VR医疗覆盖

外科手术覆盖

一个实施例涉及用于在增强现实或虚拟现实外科手术环境中显示外科手术目标和其他相关医疗和/或解剖学数据的方法。

当进行外科手术时，存在患者的目标位置和/或解剖学部分。通过显示三维渲染图像，可以提高外科手术的功效，同时降低患者的发病率和死亡率。从业者可以任选地控制渲染图像，如下所述。

在增强现实中，渲染图像被一位或多位用户视为覆盖在物理患者上方的患者形态的三维模型。在虚拟现实的情况下，患者形态变为患者的三维模型，并且被作为用于本发明预期应用的患者来治疗。在投影环境中，使用安装有患者视野的一台或多台投影仪将渲染图像数据投影到受试者上。多台投影仪用于防止一位或多位用户中断图像，并允许呈现三维图像。

该系统最低限度地包括显示装置、医疗覆盖软件、患者形态学数据和摄影机。在此最小实施例中，显示装置显示来自摄影机的图像，并且软件解释图像并将患者形态学数据置于正确的位置。使用来自摄影机的图像，软件会如下所述更新渲染图像。

在另一个实施例[图1]中，该系统包括一对增强现实眼镜，平板电脑，显示屏，虚拟现实眼镜或头盔式显示器，用于跟踪AR或VR装置的运动的传感器，医疗覆盖软件，摄影机，音频捕获装置，用于位置跟踪特定对象例如解剖刀、手或其他仪器的传感器，任选的扬声器，和/或用于患者形态的数据存储器(其可以是预加载到装置上或按需经网络传送)。可以使用投影仪代替AR或VR显示器。

当系统被初始化时[图2，101]，用户首先选择要执行的手术。可选手术的列表来自当前准备的患者手术的数据库。从数据库检索的数据在本文称为“手术数据”，其可以包括但不限于患者形态学数据、患者信息、手术指令、手术时间/日期、和/或手术位置。

然后，从数据库加载手术数据并存储在用于使用数据接收接口执行该系统的程序存储器中[图2，102]。这可以是但不限于可以访问系统的随机存取存储器(“RAM”)、固态驱动器(“SSD”)、安全数字卡(“SD卡”)、和/或硬盘驱动器(“HDD”)。

任选地，然后从用户偏好的数据库检索当前一位或多位用户的偏好[图2，103]。加载的偏好在本文称为“从业者偏好”，并且可以包括但不限于显示亮度、HUD透明度、HUD元件位置偏好、音频音量和/或优选的输入方法。

然后在执行期间将系统连接到有待被监测和/或跟踪的传感器输入上。这些传感器可以是但不限于脉搏监测器、血压监测器、氧饱和度监测器和/或无线传感器，例如但不限于射频(“RF”)位置指示器。然后验证传感器输入，以确保它们正被正确读取[图2，104]。系统依次向一位或多位用户显示来自每个传感器的当前读取值，然后该一位或多位用户确认该值是正确的。如果验证失败，则系统执行停止，除非一位或多位用户专门覆写验证过程。

在验证之后，系统采集视觉目标，确认患者身份，并验证渲染图像位置、取向和/或尺度(图2，105)。

为了可视地跟踪增强现实空间中的外科手术仪器和其他对象，用户可以将仪器保持在摄影机可见的位置，并请求软件识别仪器。通过用户交互，确定软件是否正确识别了该器械。当用户满意该器械被正确识别时，他们则通过命令-声音或其他用户界面方法来指示跟踪所识别的仪器。或者，可以将跟踪标记附加到待跟踪的仪器上并显示给摄影机，然后通过用户界面向软件指示开始跟踪标记。可替代地或另外，可以将一个或多个基于射频(RF)的跟踪元件附接或内置到仪器中并被接合(例如，蓝牙配对或其他单向或双向通信链路)，在该点该软件将开始跟踪一个或多个跟踪元件。

患者的确认以两种方式完成。首先，将患者的信息编码在形态学数据中。用户将形态学信息与和患者相关的信息进行比较，无论在医院腕带上还是剪贴板和/或其他标识患者的标准方法上。形态学还将仅匹配正确的患者，因此，仅当正确的患者对系统可见时，渲染图像才会出现。

渲染图像作为整体被锚定到患者的位置。在本文中，渲染图像锚定是指渲染图像的定位特征，例如但不限于检测到的特征和/或周界位置，并且因此渲染图像作为整体，使得渲染图像特征相对于定位特征被固定在位。结合使用特征检测、周界检测和/或点云映射来确定患者的准确的三维位置、尺度和取向。这些度量随程序执行而不断更新，以确保渲染图像始终被正确地锚定。也可以使用标记，例如外科手术花纹或其他视觉标记，以确保形态学模型的正确锚定。

在开始手术之前，一位或多位用户围绕患者行走，以确保渲染图像被适当地确定大小并且与患者对齐。如果对齐不正确，一位或多位用户可以使用装置上可用的任何用户输入方法来纠正对齐。

将三维渲染图像渲染在装置上，在增强现实眼镜的情况下，该装置可以是嵌入在眼镜本身中的透明屏幕。在虚拟现实的情况下，渲染图像是渲染在不透明的VR显示器上。在投影系统的情况下，将渲染图像从为此目的安装的任何数量的投影仪投影到患者身上。多台投影仪允许投影不受一位或多位用户的运动的阻碍。

在手术期间，渲染图像不断更新以显示患者的当前形态[图2，106]。由于外科医生制造切口并打开解剖部分，所以渲染图像将实时更新，以呈现关于患者形态的逐渐更深的视图和渲染图像。显示器的这种深度跟踪操作也可以被一位或多位用户使用手势、语音命令或任何其他形式的用户输入来覆写。一位或多位用户还能够单独地选择和操作显示的形态的部分，例如从模型中移除器官以在器官后面或下方观察，或从各种视角和近距离观察器官(轨道运行、摇拍、缩放)。例如，一位或多位用户还可以旋转和重新定向已经被移除的部分以从不同角度看到它，并且调整显示深度以看到区段内部。所有这些观察控制可以通过例如手势、语音命令、滑动、轻拍、鼠标移动、键盘控制等用户输入来实现。一位或多位用户还能够在任何部分放大模型，无论它是已经从初级形态去除的部分还是从初级形态的一部分或所有形态本身中去除的部分。

可以按几种方式检测患者和一位或多位系统用户之间的相对运动，并且因此可以检测用于锚定渲染图像的标记的实际运动或感知的运动[图2，107]。一种这样的方法是下文描述的帧偏移方法。还在增强现实或虚拟现实装置中(例如，在AR/VR护目镜、显示屏蔽或其他渲染装置中)使用位置传感器来提供补充信息。在投影系统的情况下，投影仪处于固定位置，因此补充信息不可用。在一位或多位用户移动时，他或她在三维空间中的位置在软件中更新，该软件进而又更新可见的渲染图像模型或虚拟模型[图2，108]。还基于患者的位置变化来调整模型[图2，109]。使用四元数和/或矩阵运算来完成形态学数据的位置、取向和/或尺度的变换，以转换、平移和/或旋转数据集中的点[图2，110]。在患者移动时，形态学数据被转换以匹配患者的调整位置，如下文的实例所解释。

然后在三维空间中确定任何被跟踪对象的位置，并且为了渲染图像的目的而对它们的位置进行更新和存储[图2，111]。然后如上所述，对用户输入进行处理[图2，112]。一旦已经处理了输入并且已更新渲染图像，则使用渲染引擎渲染视图[图2，113]。

在使用外科手术覆盖时，如果外科医生正接近已经被注释为避免或谨慎使用的区域的区域，则给予外科医生声音和/或视觉提示。例如，如果外科医生正在肠道上进行外科手术，并且手术刀正接近患者的肠，可以产生视觉和/或听觉接近警告，以通知外科医生他们已经很接近了。例如，警告可以是增强现实中显示的红色区域。也可以播放录制的警告或警告声。

解剖学覆盖

另一个实施例还涉及用于在虚拟现实、增强现实或其他虚拟空间中提供解剖学显示的方法和设备。

解剖图、解剖模型和尸体解剖是医科生解剖学教学的实际标准。通过在虚拟空间中提供解剖学数据，可以三维地学习解剖学。此解剖学模型还可以包括要向一位或多位用户显示的注释。该模型不限于人类，也可用于使用动物和其他生物体的解剖模型的兽医目的。该模型还可以与一位或多位用户进行交互，允许对模型的各个部件进行解剖和操作。可以通过用户输入的任何方法来选择模型的特定部分，包括但不限于语音、手势和装置输入。所选模型的更多细节可以通过视觉或听觉提供给一位或多位用户。

在增强现实或虚拟现实中，三维解剖学模型显示在不存在实际模型的位置中。在增强现实中，模型可以任选地覆盖在标记或其他位置指示物上，或者甚至相对于一位或多位用户而言在可包含物理对象的固定位置处。该模型以三维呈现，并且模型的显示器也可以如下所概述的进行操作。

使用包括增强现实装置的系统来在增强现实中显示解剖学模型，该增强现实装置是例如平板电脑、眼镜、一台或多台投影仪或其他显示介质、摄影机、用于跟踪摄影机和/或一位或多位用户的位置运动的传感器、任选的分别用于音频反馈和输入的扬声器和音频捕获装置、以及用于患者形态的数据存储器(其可以预先加载到装置上或者按需经网络传送)。

还任选地向一位或多位用户显示注解，以及打开各个解剖部件的详细描述的能力。在检查或剖切解剖模型时，一位或多位用户能够操纵解剖部件并将其移离主模型，并三维地对其详细检查。一位或多位用户还能够放大特定部分或整个模型，以便进一步了解。一位或多位用户还能够将模型以及模型的单独部分旋转和重新定向。

用户能够使用用户输入控件来剖切虚拟解剖模型。也可以使用外科仪器(无论是真实的还是虚拟的)解剖模型。使用任何常见的用户输入方法在虚拟空间内预先创建和实例化虚拟仪器。可以跟踪和使用真实的仪器，如上所述。在一位或多位用户解剖虚拟模型时，他们看到解剖结构的每个单独部件，并且能够解剖单独部件。用户还能够使用任何用户输入方法来反转其活动，以顺序地撤消其操作。该模型也可以随时使用由用户输入发出的命令重置到原始位置。

一位或多位用户能够在三维空间内围绕虚拟模型移动。模型固定在三维空间中的某一点处，当模型初次初始化时选择。可以通过用户交互从该空间移动模型，否则将锚定到位。使用下述帧偏移方法以及由装置和/或摄影机给出的位置信息的组合来确定位置。在增强现实中，一位或多位用户能够通过相对于虚拟模型移动其身体来围绕模型进行导航。在虚拟现实中，一位或多位用户能够使用由用户输入发出的命令，结合头跟踪和任何其他可用的位置跟踪信息来移动通过虚拟空间。

腹腔镜覆盖

另一个实施例涉及用于在虚拟现实、增强现实或其他虚拟空间中提供腹腔镜信息的视觉显示的方法和设备。

腹腔镜手术涉及外科摄影机(腹腔镜)和外科工具。通过在增强现实或虚拟现实中显示覆盖在患者上的放射学图像，可以由从业者更准确地靶向和定位例如癌性生长的外手术目标。还可以显示腹腔镜和外科工具的位置。腹腔镜和外科工具的历史位置也可以显示为路径数据。从业者还可以通过语音或使用预先确定的命令、手势或其他预定的用户界面选项做笔记。

在腹腔镜外科手术中，外科医生不能看到腹腔镜装置的实际位置。增强现实装置显示出腹腔镜头的当前位置、腹腔镜头的历史位置(路径)和/或显示腹腔镜摄影机视图的HUD[见下文]。该装置还显示(任选地)形态学数据，如上所解释。

腹腔镜覆盖[图3]包括腹腔镜外科手术设置、增强现实或虚拟现实装置(包括摄影机和位置跟踪)、软件、位置跟踪器、位置接收器以及接收器和增强现实装置之间的接口。位置跟踪器与一个或多个接收器配对，并附接到腹腔镜仪器的末端。接收器优选地以无线方式连接到增强现实装置上。腹腔镜摄影机连接(优选无线地)到增强现实装置上。

当腹腔镜手术开始时，系统被接合[图4，201]。然后测试发送器，以验证发送器、接收器和软件之间的通信是正确的[图4，202]。然后显示渲染图像，其示出发送器的初始位置以及来自腹腔镜的初始摄影机视图[图4，203]。

如系统中最慢的部件能够处理的那样快地以规则的间隔传送腹腔镜头的位置[图4，204]。为了保持跟踪器的准确的和当前的位置定位，跟踪器和接收器如它们所能的频率那样快运行。然后，增强现实装置如它所能显示更新位置的频度那样从接收器请求更新的位置。仅最新的位置数据返回到增强现实装置进行显示。还请求来自腹腔镜摄影机的图像[图4，205]。

使用腹腔镜跟踪器的当前和历史位置以及摄影机图像来更新渲染图像[图4，206]。在增强现实中为一位或多位用户显示当前位置以及历史位置。这允许一位或多位用户观察当前位置和到达当前位置所取的轨迹。摄影机视图也显示在HUD中(见下文)。此过程重复[图4，202]，直到手术完成。

另一个实施例还涉及在激光眼外科手术中使用增强现实的方法。

例如，激光眼表面重修是通过重修眼睛的角膜表面以更准确地将光聚焦在患者视网膜上来改善患者视力的过程。

另一个实施例包括增强现实显示器、摄影机或其他成像装置、激光和/或切割工具[激光、机械等]。角膜的表面被扫描，并在AR中创建模型。此AR模型用于在外科医生使用激光来改变角膜的表面时帮助引导外科医生。AR模型显示为实际角膜上的覆盖，或HUD中的显示器(见下文)。

实时/平视显示器

在医疗手术期间，经常需要患者生命统计量、成像和其他患者数据以用于会诊。上述数据的实时更新显示允许从业者专注于患者或手头的任务，而不必咨询装置或纸源以监测或检索信息。也可以设置一个范围以触发警报，若某一重要值离开可接受的范围的话。

例如，使用平视显示器(HUD)执行阑尾切除术的外科医生可以具有增强现实中示出的患者生命统计量的显示器，允许外科医生专注于外科手术而不必转移目光以确保患者的血压保持稳定。

HUD包括AR装置或其他显示介质和源输入(例如生命体征监测器)。HUD可以提前自动配置，或可以通过用户交互来选择要显示的源数据类型。然后将数据显示在提前或通过用户交互自动确定的位置。还可以调整HUD元件的透明度(α通道值)，以允许更好地使HUD项目或底层细节可见。

一旦源输入已经连接到HUD，则这些值是以规则的间隔被读取，并且用新的值更新HUD元件。

另一个实施例涉及用于显示平视显示器(HUD)的方法和设备，该平视显示器由叠加在环境上的二维和/或三维图像构成。

平视显示器可用于各种各样的目的。在虚拟环境中，HUD为观察者提供一致的信息，无论观察环境如何，它都保持可见。可以将此数据配置为根据预设条件、用户偏好、环境因素和/或上下文数据显示不同的信息。

例如，看患者的医生可以具有显示由患者的面部识别触发的患者信息的HUD。此外，对于每位患者，医生可以配置哪些数据将是最有价值要看的，并且让特定数据显示于HUD中以进行单次访问或长期使用。

本文披露的各种实施例涉及用于提供增强现实或虚拟现实外科手术覆盖的方法，该增强现实或虚拟现实外科手术覆盖包括以下要素，这些要素包括但不限于平视显示器(HUD)、医学成像显示器、生命统计量显示器、患者信息显示器、手术信息以及其他数据。

使用二维或三维图像或模型创建平视显示器，其中自适应部分与有待显示的数据相关。在生命统计量的情况下，数据从连接到受试者的医疗装置传输。然后基于要显示的信息将数据输入到对其解析的软件中，并在适当时进行显示。对于患者O2饱和度，例如，以百分比表示的原始数据可以转换为整数百分比数以用于在HUD中显示。

在另一个实施例中，可以用另一种观察介质例如但不限于LCD或CRT屏幕替代HUD。此视图不一定包含虚拟空间。

图5示出样品HUD配置。被监测的四个生命体征，即体温、氧饱和度、脉率和血压分别显示在左上角、右上角、左下角和右下角。这些显示器是透明的并且处于固定位置，使得当一位或多位用户转动头部时，生命体征相对于摄影机保持在恒定的位置。

类似地，由软件识别的格式(包括但不限于DICOM、Jpeg、png、bitmap、raw和其他类似格式)的医学图像可以被覆盖为HUD的一部分，以允许从业人员在虚拟空间中随时看到它们。

也可以按类似的方式显示患者信息和生命统计量，其已从医疗数据库或其他预先存在的来源加载。还可以手动录入数据。

手术方向和信息也可从预先创建的来源获得。这些手术和方法可以通过使用例如语音控制、手势控制或其他控制方法的各种形式的用户交互来进行。

图6示出与图1相同的HUD，然而在体温统计值下方的左侧，可以示出指南，其向用户指示如何执行手术。每个步骤完成时，指南将自动更新或经用户交互进行更新。

另一个实施例涉及用于在增强现实或虚拟现实环境中显示外科手术目标和其他相关医疗数据和/或解剖学数据的方法。

可以通过三维虚拟空间来选择目标区域。目标区域也可由从业者在患者上使用覆盖来选择。目标区域也可使用笔、手指或其他定位装置来选择。目标也可以显示在常规显示器上，例如但不限于LCD或CRT屏幕。可以使用从外科器械或其他跟踪方法发送的位置跟踪信息来为从业者鉴别相对于CRT屏幕上的目标位置该器械或跟踪器在哪。即使当被现实世界的对象遮蔽时，也可以在增强现实中看到进行位置跟踪的对象或器械。例如，在增强现实中，手术刀的刀片在制造切口时是可见的，尽管被正被切割的肉体遮蔽。

图7示出配备有由外科医生使用的位置跟踪器(左)的手术刀。右侧示出显示装置，显示患者形态的实体模型。显示装置上的X代表手术刀的当前位置，而圆圈代表手术目标位置。通过观察显示装置，外科医生可以确定他们何时到达正确的位置开始他们的切除。

例如，外科医生回顾了患者腹部的MR图像。从图像中鉴别腹部外科手术的目标位置。使用患者图，外科医生标记目标区域。在外科手术期间，该图显示在患者旁边的监测器上。附接到解剖刀的位置跟踪器也在监测器上显示手术刀相对于患者的位置。当手术刀的位置与目标的位置匹配时，外科医生能够在监测器上看到这些位置是相同的。这向外科医生指示已经发现正确的位置以开始外科手术。

在另一个实例中，外科医生进行外科手术以去除患者心脏上的肿瘤，可以在增强现实中将患者的心脏与身体分离，将心脏远离患者，并在三维空间中检查心脏和相关的肿瘤。这允许外科医生更好地评估肿瘤的位置，并且计划最佳的接近途径以将肿瘤去除。这将为个体定制提供更多的外科手术准确性。此视图还可以通过网络与其他用户共享以用于咨询或其他用途。

在另一实例中，指导员使用附接到笔或其他器械上的位置跟踪器来测试学生的知识。指导员先前已经鉴定了外科手术的目标，并要求学生使用器械定位目标。戴着一对增强现实眼镜的指导员可以查看学生对实际目标的回答的接近程度。在这个实例的另一形式中，学生可以看到放射学图像，并被要求从图像中鉴别正确的目标位置。

在另一实例中，物理治疗师使用形态学图像显示脊柱损伤。使用这种覆盖，物理治疗师能够准确地帮助患者，而不会对脊柱造成进一步的损伤或伤害。

在另一实例中，患者在使用渲染图像的手术期间弯曲其右臂。然后更新形态学源数据以反映弯臂的新位置。分析摄影机图像，以确定在手臂中的各个点处弯曲的方向和度数。使用此方向和度数，更新形态学数据，以使用基于标准四元数和/或矩阵的转换方法反映已经移动的每个点的新位置。

另一个实施例涉及用于提供针对腹腔镜手术的增强现实或虚拟现实外科手术覆盖的方法，该增强现实或虚拟现实外科手术覆盖包括以下要素，这些要素包括但不限于腹腔镜装置路径的映射、腹腔镜装置位置的显示、腹腔镜成像数据的显示和/或用于做出总体上的并与特定点相关的笔记的系统。

腹腔镜目前配备有用于观察患者内部或其他区域的摄影机，以便非侵入性地进行外科手术。通过将发送器安装在腹腔镜的末端，并与连接到软件的接收器配合使用，可以在虚拟空间中跟踪和显示腹腔镜的位置和历史路径。发送器可以使用外科手术环境中可允许的任何频率，例如但不限于RF、蓝牙或WiFi。

来自摄影机的数据也可以被读取，并且在虚拟空间中作为主显示器或HUD实时显示。在整个手术过程中在查看中具有显示器允许降低手术过程中的发病率和死亡率。

图8示出正在进行的腹腔镜手术。左侧可以看到腹腔镜仪器的增强现实路径和提示。在右侧示出腹腔镜的摄影机视图，这在外科医生或其他用户的HUD中会是可见的。

另外，从业者可以使用包括语音识别、手势识别和/或其他形式的输入的用户界面来做笔记。从业者可以使用预定的手势来鉴别他们想要注解的位置。一旦手势已被识别，他们就可以说出他们想要做出的笔记，这将通过熟知的语音识别方法来解读，并转换为有待显示在HUD中的文本。这些笔记也被记录以用于将来参考。

例如，当规划阑尾切除术时，外科医生回顾了患者模型。在检查模型并规划外科手术路线时，外科医生注意到患者具有回肠后阑尾。由于阑尾的位置，外科医生在模型上注释要谨慎回肠，希望能降低意外伤害回肠的风险。

例如，在腹腔镜胆囊切除术(外科手术去除胆囊)中，腹腔镜用于定位胆囊以便去除。来自腹腔镜的显示器传统上显示在外科手术区旁边的屏幕上，并且外科医生不能看到腹腔镜的位置或路径。另外，外科医生在看患者时不能专注于腹腔镜输出。使用增强现实，腹腔镜位置及其通过患者身体的路径可以直接显示在患者身上。也可以在HUD中示出来自腹腔镜的摄影机视图，允许外科医生同时看到患者和摄影机。

另一个实施例涉及用于在增强现实或虚拟现实中显示平视显示器(HUD)的方法，该增强现实或虚拟现实由叠加在或集成到所查看的环境中的二维或三维图像构成。

HUD用于在虚拟空间中向用户显示数据。HUD的元件可以按位置固定在用户视图处，也可以固定在真实环境或虚拟环境中的位置处，也可以是两者的组合。例如，在将患者数据显示给用户时，可以将HUD的一些元件固定在患者的位置(例如心率，血压)，而可以将其他元件固定到从业者的视图处，例如放射学图像、患者信息或手术笔记。

图9示出两个单独的HUD元件。一，患者的脉率被锚定在患者的位置，并在三维空间上保持在与用户移动的相同的位置。二，包括患者姓名、年龄和血型，固定在视图的左下角。

例如，在医院病房之间巡视的医生可以具有用于显示患者生命体征的HUD。在医生从一个病房转到另一个病房时，HUD随着医生正在访问的患者更新。

在另一实例中，在麻醉期间，必须不断监测患者以确保其生命体征保持稳定并处于可接受的范围内。使用连接到生命体征监测器的增强现实装置，监测患者的人员可以随时使用增强HUD来将生命体征保持在视图内。这允许在继续监测处于麻醉中的患者时使监测器执行其他任务。多个患者生命体征也可以连接到单个增强现实装置上，允许单个监测器观察多位处于麻醉的患者。

在另一个实施例中，第一响应者(例如EMT)可以使用以早期救生过程编程的虚拟空间装置。可以将患者的生命体征传输到该装置，并且基于症状，启动方案以向第一响应者提供逐步的救生步骤。

在另一个实施例中，待命的护士或住院医生具有连接到患者的应急按钮的虚拟空间装置。当按下应急按钮时，患者的生命体征和位置与装置相连。该装置还可以连接到负责患者的医师，他们可能在医院或待命。然后，护士、住院医生或医师可以与患者及彼此进行通信，以确定正确的步骤，以确保患者的安全。

例如，在晚上观看病房楼层的护士在患者房间外的桌子旁。在填写文书工作时在增强现实中显示的HUD示于该护士。患者按紧急按钮。患者的生命体征立即显示在HUD中，并且护士看到患者是心动过速的。HUD中的患者病史示出没有出现心动过速或相关病史，所以护士通过增强现实装置开始呼叫待命医生。在家里的医生能够通过护士的增强现实装置上的摄影机查看情况，并在到达医院途中通过稳定患者的步骤协助护士。

另一个实施例涉及在激光眼外科手术中使用增强现实的方法。

通过在激光眼外科手术中使用增强现实覆盖，可以给外科医生更好的准确性。可以扫描眼睛，并且在眼睛上覆盖外科手术目标。此目标也可以被如下所述操作，包括将其移动到其他位置、缩放、旋转的能力，以及以其他方式操作它以便进行更仔细的检查和做笔记。

例如，在LASIK外科手术中可以通过高清晰摄影机或其他手段来扫描用户的角膜。将所需的角膜形状与扫描的角膜表面进行比较。在表面重修期间在受试者的角膜上显示差异的增强现实覆盖，随着外科医生重塑角膜，虚拟对象被更新。这允许外科医生在手术期间确定正确地重修角膜表面的所有部位，减少手术误差。

在另一实例中，扫描并映射患者眼睛的背面以在视网膜中发现撕裂。小撕裂被定位并加工成增强现实形态学模型。此形态学模型叠加在患者眼睛上，为从业者准确地示出视网膜撕裂的位置。然后可以使用氩激光器轻松且安全地修复撕裂。

另一个实施例涉及出于诊断目的用于对移动患者分析放射学图像的方法。

使用在不同运动点拍摄的放射学图像可以显示例如关节位置和可能的流体积累的变化。这也可用于诊断关节炎等病症。

II.AR/VR辅助的医学培训/学习/模拟/测试

另一个实施例涉及用于将大体解剖学与基于问题的学习(PBL)组合的方法。

大体解剖学和PBL是用于解剖学教学中的两种不同的方法。通过组合这两种方法，学生可以增强理解。

另一个实施例涉及用于在虚拟现实、增强现实或其他虚拟空间中提供医学模拟的方法和设备。

医学和诊断培训主要通过课堂学习提供，随后是学生通过查看真实患者进行学习的住院实习时间。然而目前缺乏外科手术和诊断程序中的培训能力。在虚拟空间中使用模拟，学生可以接受实践操作，而不会对患者造成风险，并且能够让指导员或同伴监测、评级和协助。也可以进行群模拟，允许多名学生和/或指导员一起观看和执行。这些模拟也可以用于学生的考试，以确定在现场实践的适用性。

在实践中，外科医生通常不使用最新的方法。外科手术知识通常通过学校教育和住院实习传授。当外科医生被教导如何执行特定手术时，他们将学习指导员使用的方法。指导员进而将教导他们最熟悉的方法，这可能不是当前的方法。使用增强现实或虚拟现实作为培训机制，从业人员可以随时了解执行手术中的最新技术。通过交互式模拟，外科医生可以使用最新的执行特定手术的方法进行培训。也可以定期更新软件，以确保最新的方法可用于培训，降低患者的发病率和死亡率。

另一个实施例涉及使用与虚拟现实和/或增强现实相耦合的人工智能进行教学和测试的方法和设备。

使用虚拟空间来向学生直观地呈现材料，可以应用人工智能算法来测试材料是否已经被用户学习，并且调整教学的速度和风格以匹配用户的需求和偏好。

另一个实施例涉及使用增强现实、虚拟现实或另一虚拟空间进行急救培训的方法和设备。

急救培训是对大部分人群可用的常见形式的医疗培训。然而，传统的急救培训不允许一位或多位用户体验真正需要急救的情况。通过使用虚拟空间，可以模拟急救情况，并且可以为一位或多位用户在执行所需救助的必要步骤方面提供指导和训练。模拟也可用于评估一位或多位用户的表现，并确定他们是否应被视为在急救情况下采取行动是胜任的。

另一个实施例包括使用增强现实、虚拟现实或其他虚拟空间进行智商(IQ)测试的方法和设备。

IQ测试是使用涉及智力的不同方面的各种测试来进行。这些测试可以在虚拟空间中进行管理，并且自动地或者伴随任何程度的评估者交互来评估结果。一般来说考官在测试期间对受试者进行监视以评估表现。这经常是被测试受试者焦虑的原因，可能导致并非最佳的表现。使用虚拟空间测试消除了考官监视受试者的需要。

另一个实施例是用于使用增强现实或虚拟现实结合人工智能来教导学生的方法。

另一个实施例是指导一位或多位用户从虚拟患者去除哪个模拟器官的游戏。如果用户成功地去除器官，他们会获得一分。如果没有，他们会获得声音或其他反馈机制。由多名用户轮流进行，达到最高分，并确定获胜者。

另一个实施例涉及用于提供增强现实或虚拟现实解剖学显示的方法，该增强现实或虚拟现实解剖学显示包括以下要素，这些要素包括但不限于解剖学图示和标记、兽医学解剖和解剖模拟。

可以使用预先创建的且任选地经注解的模型在增强现实或虚拟现实中进行解剖学显示。这些模型以三维显示，并且可以由一位或多位用户进行交互。通过使用语音、手势和其他用户控件，一位或多位用户可以操纵身体的各个部分。一位或多位用户还可以指定要显示解剖结构的哪些层和部分。可以将单独的部分(例如器官)与主模型分开，以便更仔细地检查，并提供有关所选特征的更多细节。

图10示出增强现实解剖学模型，其中去除了肾脏以进行更仔细的检查。肾脏已经被修改以显示横截面。

这些图可以是人类、动物或任何生物体的图。也可以准备模拟以便解剖，允许学生使用控制器、手势或用户界面的其他手段进行交互以尝试进行解剖，并给出反馈，告诉用户他们是否犯了错误。

图11示出用户在解剖虚拟尸体，去除表皮的一部分以露出下面的组织。

例如，在教室环境中，这减少了对大体解剖学的需要，由于卫生条例，大体解剖学已不受青睐。指导员和学生可以在虚拟身体中探索解剖学，而不是必须处理与使用尸体相关的成本和监管问题，并且是以比通过基于传统教科书的学习提供的方式更加亲身实践的方式。另一个优点是能够反转步骤，这在尸体的情况下显然是不可能的。

在另一实例中，在马的检查期间，可以在兽医的HUD中显示马解剖结构的增强现实显示，从而快速获得解剖学数据并改进检查和治疗的功效。

另一个实施例涉及用于将大体解剖学与基于问题的学习(PBL)组合的方法。

大体解剖学是通过使用尸体或其他解剖学教学方法对解剖结构的研究，而PBL是这样一种教学法，其中学生通过开放性问题学习科目。这两种方法可以组合，以创建这样一个学习范例，其中开放性问题与解剖学剖切结合在一起，以传授更彻底的理解。

例如，指导员可提出涉及已经去世的患者的问题。在死亡之前的几个小时内，患者再三重复同样的问题，尽管每次都收到对问题的回答。然后，学生可以使用虚拟的身体进行解剖，以确定死亡原因，在这种情况下是胰腺的分泌胰岛素的肿瘤。

另一个实施例涉及用于提供增强现实或虚拟现实医学模拟的方法，该增强现实或虚拟现实医学模拟包括以下要素，这些要素包括但不限于诊断模拟、外科手术模拟、手术模拟、基于患者成像预览手术和群模拟以用于教学等目的。

医学模拟可用于培训和测试从业者，而不会对患者造成风险。使用从真实患者采集、或使用3d建模程序或通过其他计算机生成的手段构建的数据，在虚拟空间中创建患者。

虚拟患者可以具有由软件自动选择的或经用户交互(例如由指导员进行)选择的病症。一位或多位用户可以与虚拟患者进行交互，以便诊断病症。可以对患者进行虚拟诊断测试，针对患者正显示的病症给出准确的结果。

图12示出具有可见皮疹的虚拟患者。患者应由用户进行检查和诊断。

作为涉及诊断的模拟的部分或单独地，用户还可以执行外科手术或手术。虚拟患者将像真实患者一样做出反应，并且可以任选地自动或交互地引入并发症。

也可以使用来自真实患者的成像数据进行外科手术预览。可将这些图像转换为可由模拟使用的模型，并使用实际患者的解剖结构模拟外科手术。

例如，模拟可以从医生办公室中的虚拟患者开始。用户必须询问虚拟患者，并确定适当的诊断测试以用于诊断。在这个实例中，由于肾结石，患者在下背部疼痛。为了对此进行诊断，医师命令进行腹部MRI。在模拟中，测试结果立即可用。使用MRI，用户正确诊断肾结石，并能够安排患者进行外科手术。模拟然后移动到外科手术环境，并且用户能够进行模拟外科手术来治疗患者。

在另一实例中，参加考试的从业者可经受技能的实证考试。外科医生例如是通过参加书面考试而不是实证考试来认证。通过在虚拟现实中执行手术，可以在现实情节下评估候选人的能力。该手术由指导员或其他有资格的个人监测，然后由这些人对候选人进行评级，并确定他们是否有资格执行正被考查的技能。可替代地，可以建立不同程度的成功或失败的标准，以便由模拟程序评估并呈现给候选人和/或指导员。

在另一实例中，准备在患者体内安装起搏器的外科医生在虚拟现实中回顾了患者的放射学数据。将患者的模型进行构建并放置在虚拟外科手术台上。在进行实际外科手术之前，外科医生能够使用真实患者放射学数据使用虚拟外科手术工具来在患者体内安装起搏器。这允许外科医生为患者生理学中的任何异常做准备，并且练习手术以求功效。

另一个实施例是创建用于解剖学用途、外科手术练习和其他手段的三维打印尸体模型的手段。使用用从放射学数据中解释的方法创建的三维模型，生成适用于三维打印的模型。此模型具有足够的细节和准确性，以用于代替尸体，用于解剖学研究、外科手术练习目的和其他常见用途。这也允许在外科手术修复之前打印有缺陷的器官，可用于技术的练习和研究。这也允许在真实和虚拟环境两者中基于问题的学习与大体解剖学相结合。

还可以创建动物和其他生物体的三维模型，允许兽医学和其他学科对不常见或以其他方式难以研究的物种进行解剖和解剖学研究。这种方法的另外的益处是受试者实际上并不需要被杀死。对于不可能进行解剖的濒危物种来说，这是特别有用的，但可能要收集放射照相成像。

例如，使用来自肿瘤患者的放射学数据为教室创建三维尸体模型。然后将每个尸体与一组症状和放射学报告相关联。然后学生必须正确鉴别问题，并对尸体进行外科手术以去除肿瘤。

在另一实例中，某人死于未知原因。家人不希望进行验尸，但是警方对这个人的死亡有疑问。通过在MRI中扫描身体，可以创建三维尸体模型，然后可以对其进行尸检，而不会违反家人意愿。

另一个实施例涉及使用增强现实或虚拟现实结合人工智能以用于测试和教导学生材料的目的的方法。

学生以许多不同的方式学习。使用人工智能和虚拟空间，可以将预编程材料以吸引人的方式呈现给学生。通过对学生持续测试课程材料的知识，可以确定对特定学生最有效的方法，并加快教学。

图13示出针对学生在增强现实中显示的多项选择问题。

虚拟空间也可用于测试预编程的材料。要求学生对问题进行响应，或执行任务，或以其他方式与程序中定义的虚拟空间进行交互。基于响应的成功或失败，可以分配级别，并鉴定改进领域。

例如，将具有学习障碍的儿童引入到虚拟现实或增强现实学习环境中。有关狗、猫和鱼的信息以不同的方式呈现。使用视觉提示讲解狗。使用音频方法讲解猫。使用可以被触摸和操纵的交互式显示来讲解鱼。然后测试儿童以确定材料的哪些部分被最佳地学习。在多个主题上将此进行重复，以提高准确性，并解释孩子对主题领域的先知的情况，并创建学习概览并对特定的儿童进行改编。然后使用改编的方法呈现新材料，并且使用测试来不断更新学习模型。

在另一实例中，可以使用被设计为测试发音和阅读的一系列词来诊断阅读障碍。每个词在增强现实或虚拟现实中呈现，并且要求用户大声读出该词。语音识别用于确定该词是否已正确重复。基于正确重复的词数，可以评估是否需要对阅读障碍进行另外的筛查。该测试也可以由具有不同装置的另一个用户远程监测。这允许在进行测试时，受试者不会担心在测试期间被监测，从而帮助他们更好地表现。

在另一实例中，给学生提供由二十一个问题组成的测试。给学生口头提供七个问题。视觉上给学生提供七个问题。七个问题需要学生与虚拟对象进行交互。针对整体级别以及每个个体学习类型的级别两者来分析测试的结果。建立学生简介，确定学生在特定风格下提出的问题上是否得分更高。当确定优选风格时，材料将更频繁地以该优选的形式呈现，以帮助学生学习。

在另一实例中，将具有学习障碍的儿童引入到虚拟现实或增强现实学习环境中。有关狗、猫和鱼的信息以不同的方式呈现。使用视觉提示讲解狗。使用音频方法讲解猫。使用可以被触摸和操纵的交互式显示来讲解鱼。然后测试儿童以确定材料的哪些部分被最佳地学习。在多个主题上将此进行重复，以提高准确性，并解释孩子对主题领域的先知的情况，并创建学习概览并对特定的儿童进行改编。然后使用改编的方法呈现新材料，并且使用测试来不断更新学习模型。

另一个实施例是使用增强现实或虚拟现实装置执行听力测试的手段。该测试是通过首先指导用户指示他们何时听到声音来执行。然后以增量播放声音，从远低于正常人听力范围的频率开始，直到用户指示他们可以听到声音。一旦听到声音，增量减小，频率降低，直到播放声音并且用户没有指示听到声音。对此进行重复，直到找到用户听到的最低频率。然后在高频率范围内测试用户，从远高于正常人听力范围的频率开始。频率渐减，直到用户指示他们可以听到声音。然后减小增量，并且增加频率，直到用户不再听到声音。对此进行重复，直到找到用户听到的最高频率。

例如，被认为是耳聋的儿童暴露于虚拟环境并与生命体征监测相连接。然后将孩子暴露于各种声音，并监测生命体征。孩子对声音的反应表明他们能够听到声音，并且可用于辅助诊断非言语自闭症等病症。

在另一实例中，年老的女人被认为可能重听。通过让她执行测试，可以验证其听觉范围，并且可以确定她是否需要听力装置。

另一个实施例涉及用于在急救中培训一位或多位用户的目的的增强现实或虚拟现实模拟的方法。

可以使用预编程的模拟在虚拟空间中进行急救培训。遵循由运行模拟的计算机给出的指令，或由现场指导员给出的指令，用户在虚拟空间中与三维模型进行交互。指导员和其他用户可以在培训用户的同时任选地查看虚拟空间。反馈由模拟提供。模拟也可用于测试用户和为用户评级。

图14示出接受止血带的患者的增强现实演示。演示由虚拟指导员给出，随后用户被邀请重复该手术。

例如，一群学生正在学习在急救情况下应用止血带。配有虚拟指导员的虚拟现实程序为该群学生给出了止血带如何绑定的演示。演示已经完成后，每个学生能够在自己的虚拟患者身上尝试止血带。当学生遇到麻烦时，他们可以要求程序协助。当学生完成止血带时，该程序评估其能力水平，并为其急救课程分配级别。

另一个实施例涉及用于使用增强现实或虚拟现实进行智商测试的方法。

IQ测试通常在考官的存在下进行，这可使一些受试者紧张并影响表现。通过在虚拟空间中给予测试，用户可以在没有因注视所致的注意力分散的情况下进行测试。测试的管理员可以任选地在虚拟空间中观看过程，而对用户是不可见的。

使用在书面/物理测试中使用的相同测试问题来管理该测试，然而在虚拟空间中询问和回答所有材料。这也允许在空间推理等领域进行更先进的测试。

图15示出在增强现实中针对IQ测试提出的问题。

例如，空间推理的测试可涉及一系列形状中的哪一个将正确地填充三维孔的问题。在增强现实中，用户能够以三维方式检查形状，操纵其取向和大小。这允许用户在作出他们的选择之前更好地分析问题的可能解决方案。

另一个实施例涉及用于使用增强现实或虚拟现实结合人工智能来教导学生的方法。

通过组合增强现实或虚拟现实与人工智能，可以创建用于主题教学的增强学习系统。不同的人以不同的方式学习，其中听觉、触觉和视觉是三种主要的方法。通过使用人工智能和所要教导的信息的数据库，可以测量和利用学生的最佳学习风格，以确保更好地理解教学材料。

通过定期评估学生，可以确定学生尚未充分学习材料的领域，并且可以在这些领域提供另外的教学和重点。使用上述方法的不同平衡的教学组合，可以在整个或不同的领域建立学生的最佳学习风格，并通过为学生改编教学方法，增强学习和记忆力。

例如，从书面指示中学习得很好的学生正在被教导如何进行科学实验。使用以下不同的教学方法向学生传授实验方法的不同部分：听觉、触觉和视觉。程序注意到，在视觉上呈现指示时，学生最能够遵循指示，因此开始以视觉方式呈现较高比例的指示。

III.生理学/解剖学映射、建模和位置标记

另一个实施例涉及用于扫描、映射和分析人体的方法和设备。

使用摄影机或其他视觉记录装置，可以对受试者进行扫描并映射成二维或三维模型。此模型可以由从业者用来鉴别感兴趣或关注的区域。该模型还可用于监测访问之间的区域。该模型还可以自动分析或与用户交互进行分析，以确定黑色素瘤、皮疹、牛皮癣和其他可见病症等病症的存在。

在二维映射的情况下，将摄影机指向受试者。然后受试者转360度，并且在受试者转动时记录图像。首先通过从一帧到下一帧比较相同数据来处理记录的图像以消除背景。弃掉相同的数据，只留下受试者。使用特征检测，然后将图像合在一起以形成受试者的二维模型。

在三维映射的情况下，将摄影机指向受试者。然后受试者转360度，并且在受试者转动时记录图像。首先通过从一帧到下一帧比较相同数据来处理记录的图像以消除背景。弃掉相同的数据，只留下受试者。如上所解释的，创建二维模型。然后从数据生成点云，创建受试者的三维模型。然后用二维模型(“皮肤”)覆盖点云，给出受试者的三维模型。

一旦建立了模型，就已知条件对二维模型(“皮肤”)进行分析。标记感兴趣的区域以便被一位或多位用户回顾。还将数据进行存储以便在将来访问时进行比较。

另一个实施例涉及用于基于受试者身体的位置对磁共振成像的脉冲序列进行定时以便确保在例如呼吸或搏动心脏的节律性运动的同一点拍摄图像的方法和设备。

使用传统MRI机器的磁共振成像(MRI)遇到与患者运动相关的成像问题。模糊图像和图像伪影是MRI检查期间患者移动时见到的两个常见问题。通过监测患者身体的位置，可以对成像序列定时，使得仅当患者处于正确位置时才拍摄图像。

例如，传感器或摄影机可用于监测患者胸部的高度，仅当胸部处于与最后图像相同的高度时触发成像序列以拍摄图像。使用这种技术，当胸部处于相同位置时，患者胸部的所有图像都会被拍摄。

另一个实施例涉及用于使用钆标记增强在增强现实中的位置定位的方法。

另一个实施例涉及用于控制虚拟现实、增强现实或其他虚拟空间中的三维对象的可视化的方法和设备。

存储在计算机中的三维对象由许多数据点组成。通过改变可视化，可以改变对象的视觉呈现，允许一位或多位用户以不同的方式查看可视化对象。

例如，从MRI数据创建的三维模型包含大量由模型外层覆盖的信息。通过改变可视化并去除数据外层，可以使模型的内部部分(如大脑)可见。

另一个实施例涉及用于在增强现实、虚拟现实或其他虚拟空间中可视化医学成像数据的方法和设备。

医学成像数据可以转换成适合于在三维虚拟空间中显示的格式。然后可以通过虚拟现实、增强现实或其他虚拟空间来显示此数据。

增强现实中的位置定位主要是通过视觉手段、特征检测和本文描述的其他方法来确定。

另一个实施例涉及用于构建三维模型的方法和设备，包括以下步骤：确定图像间隔距离，鉴别丢失的图像，对准源图像并构建丢失的图像数据，并且合并图像以形成三维模型。

另一个实施例包括用于映射和分析人体的方法，包括扫描身体，存储表面数据，标记重要特征如黑色素瘤、痣、皮疹、其他皮肤病症和明显特征(自动地或通过人类交互)。

可以使用摄影机或其他成像装置来扫描受试者或受试区域。然后可以存储和分析表面数据以用于当前和未来用途。通过分析表面特征，可以诊断常见病症，并且可以确定治疗的功效。可以测量并比较受影响区域的大小、颜色和其他指标，从而可以直接比较以前的访问和当前访问。此比较还给出了所提供的治疗的功效的清晰视图。这些比较可以由从业者以及例如保险公司来使用(但不限于此)，以确定他们是否愿意继续为患者报销给出的治疗。

例如，用增强现实眼镜进行患者的视觉记录，存储，所述眼镜配有自动或与用户交互作出的诊断的虚拟覆盖。然后可以将此记录用作患者文件的视觉报告，并用于在与患者约见之前回顾。记录也可以用作推荐给专家的一部分(包括所有AR/VR内容)。记录也可以用作推荐给专家的一部分。在医院环境中，可以使用视觉记录来防止在患者治疗的不同阶段对患者重新检查的需要。因此可以查看原始检查的记录。

在另一实例中，可以在初次咨询时扫描患有湿疹的患者。由于皮肤科医生使用处方治疗湿疹，因此可以在每次访问时对扫描进行比较，以验证治疗功效。软件可以自动确定受影响区域的大小和形状是否发生变化。

另一个实施例涉及基于患者身体的位置(例如使用胸部的高度)对成像序列定时的方法，以确保在呼吸过程期间在同一点拍摄图像以给出更稳定的图像。

在传统成像序列中，患者的运动可导致失败的成像序列、伪影、模糊图像和/或其他不期望的异常。通过使用传感器，例如摄影机、高度计或其他位置传感器，可以仅在患者处于正确的位置时，对成像序列定时以拍摄图像。

例如，在对患者胸部进行MR扫描时，可以使用摄影机来监测来自MR平台的患者胸部的高度。当患者胸部处于特定高度时，成像序列被触发。当患者胸部不再处于正确的高度时，暂停序列等待下次胸部位置正确。

图16示出MRI机器中的患者。图像中示出一条成像线，该线是由摄影机或其他成像装置跟踪的线，在该线处拍摄图像。当患者的胸部不与该线平齐时，不进行成像。

另一个实施例包括用于控制在虚拟现实、增强现实或其他虚拟空间中显示的三维对象的可视化的方法，包括以下步骤：确定可视化中必要的变化，并且更新三维对象。一种用于控制在虚拟现实、增强现实或其他虚拟空间中显示的三维对象的可视化的设备，包括确定可视化中必要的变化的器件、和更新三维对象的器件。该过程可以由系统自动执行，或者可以由操作者交互地引导。应用包括但不限于虚拟现实、增强现实和三维打印。

在本发明下，可以按各种不同的方式控制虚拟空间中的可视化。在本发明的一个实施例中，模型显示深度被自动控制或通过用户交互来控制，以显示模型起初不可见的部分。该模型可以是密集充满(包括所有信息)的模型，或是由仅到有限深度的周界信息组成的“中空”模型。此周界信息可以用负空间探索来计算。在用户指示他们想看到更深的模型的一部分时，模型的外部部分被隐藏并显示底层数据。

通过在模型的笛卡儿空间的边缘处，常常在(0,0,0)[x，y，z坐标]处，选择空起始点来进行负空间探索。如果坐标不满足搜索参数，例如最小颜色值阈值，则将每个相邻坐标添加到探索列表中。当遇到满足搜索参数的点时，将其添加到对象周界阵列，并且在深度大于一个坐标的情况下，角度的深度计数递减。满足搜索参数的坐标不会添加到搜索列表中。

图17示出二维负空间探索的实例。从左上角的点(0,0)开始探索。将点添加到搜索区域(参见图例)，并测试相邻点的非零(白色)值。沿着圆的左上周界(图像，参见图例)已找到非零点(周界，参见图例)。这些点满足非零搜索参数，并添加到周界阵列。因此，截至在此图中以时间描绘的点，周界阵列包含点：(8,3)、(8,4)、(7,4)、(6,4)、(6,5)、(6,6)、(5,6)、和(5,7)。

在更新中空模型的情况下，使用来自完整模型的数据来确定要在新的深度位置处显示的数据。例如，如果沿x平面的初始深度为0，并且用户将深度更新为10，则x值小于10的现有模型中的所有坐标将从模型中弃去。然后沿着模型的x＝10平面添加来自完整模型的数据。另外，可以添加到给定深度的数据。例如，如果要用于模型的深度为3，则范围为10<＝x<＝13的数据将被添加到可见模型中。

另一个实施例包括用于在增强现实、虚拟现实或其他虚拟环境中可视化医学成像数据的方法，包括以下步骤：定位受试者，确定受试者位置，确定受试者取向，并且渲染医学成像数据。一种用于在增强现实、虚拟现实或其他虚拟环境中可视化医学成像数据的设备，包括用于定位受试者的器件、用于确定受试者位置的器件、用于确定受试者取向的器件、以及用于渲染医学成像数据的器件。该过程可以由系统自动执行，或者可以由操作者交互地引导。应用包括但不限于用于外科手术目的的可视化，用于医学测试目的的可视化，用于外科手术培训目的的可视化，用于医学培训目的的可视化，用于物理治疗目的的可视化，用于激光外科手术目的的可视化，以及用于物理诊断目的的可视化。

定位受试者可以按各种不同的方式进行。在本发明的一个实施例中，将受试者区域中的特征与目标中检测到的特征进行比较。如果匹配特征的数量大于自动确定的或通过用户或程序指定确定的阈值，则认为目标与受试者匹配，并找到匹配位置。在另一个实施例中，可以将目标的周界形状与图像中检测到的边缘进行比较。如果匹配的周界点数超过自动确定的或由用户或程序指定的阈值，则认为目标与受试者匹配，并找到匹配位置。此过程可以使用例如针对目标的不同角度和尺度预先汇编的一组特征或周界数据在三维中应用。另外，可以在特征或周界比较期间实时地确定目标的旋转和尺度。

图18示出在图像中定位且匹配的目标对象(左下角，白色背景)。目标对象上的白色X标记表示特征。这些特征与受试者图像中的特征相匹配，以找到积极的鉴别。还将目标受试者的周界值与受试者图像进行比较，以找到和/或加强匹配。匹配区域显示有围绕它的黑色方块。

可以进一步减少受试者内的搜索区域，以便使目标的检测过程更快。本发明的一个实施例使用XOR(异或)方法来确定图像中已经改变的点，指示受试者内的对象的运动。这些运动点用于指导搜索受试者中的目标，减少需要检查的数据点数目。这些点可以任选地用作特征和/或周界数据的替代物。

为了确定基于XOR的图像，需要帧之间的偏移。为了确定帧之间的偏移，将当前受试者图像与先前所见的受试者图像进行比较。自动地由用户选择或作为程序的一部分选择多个点(n)。这些点是视图帧中的固定位置。通过将先前图像中的数据与当前图像中的数据进行比较，可以确定偏移量。选择一点作为起点。针对与先前图像的值的匹配，搜索预先确定的、自动确定的或由用户选择的区域。要比较的值可以是例如单个点值。该值也可以是高斯分布或其他计算手段的总和。如果发现在给定范围内当前图像中的值与先前图像的值相匹配，则记录偏移量。还记录了该范围内的其他可能的偏移。如果没有找到可能的偏移，则选择另一个点，直到找到匹配，或者针对偏移的后续匹配(见下文)不再是可能的。

图19示出帧偏移计算的流程图。流程从左上角的开始处开始。如果这是序列的第一帧(例如，从摄影机拍摄的第一幅图像)，我们只需保存当前帧并完成序列。如果这是任何后续帧，我们存储前一帧并添加当前帧。接下来，以预定义的坐标或通过某种其他选择手段选择多个参考点(N)。这些参考坐标用于从前一帧中检索值。存储值用于以后使用。然后将当前帧中参考坐标处的值与从前一帧获得的值进行比较。如果足够高数量的值不匹配，则将发生坐标转换。首先，测试转换值以确保它们没有超过阈值。如果它们超过阈值，则中止序列，且找不到匹配。如果它们没有超过阈值，则以逻辑方式调整平移和/或旋转值以测试阈值范围内的值。继续比较和调整周期，直到超过转换阈值，并且序列结束而无匹配，或足够高数量的值匹配并记录旋转和平移值。使用记录的平移和旋转值，然后使用XOR运算组合前一帧和当前帧，给出与原始帧相同大小的新帧。通过在XOR'd帧内找到超过给定阈值的坐标，图像中对象和其他运动部件的位置变得可见。

一旦可能的点的列表完成，则以相同的偏移比较剩余的n个点中的每一个。这些点也基于图像的中心旋转并进行测试。如果足够的点在指定的偏移和旋转处匹配，则确定找到匹配。在此时，目标图像中的所有像素值都与受试者图像进行XOR'd，通过确定的偏移和旋转进行修改。去除不超过阈值(由用户自动确定或预先确定)的点。此合成图像突出显示了受试者区域内对象和运动的位置。

如果在圆上在固定距离处的足够数量的连续点满足最小阈值标准，则确定存在特征。例如，如果连续点的最小数量被确定为16并且匹配要求是大于10的值，则圆上的一行中最少16个点(基于可变或固定距离计算)必须具有大于10的值。如果满足这个条件，则认为测试的中心点是特征。

图20示出在两个不同点上以二维执行的特征测试。使用最小数量为12个的连续点，左侧的点(左圆的中心)不通过。圆上有少于12个连续点，其中包含一个非白点。右侧的点(右圆的中心)通过。在该点周围的圆上有13个连续点。

可以使用平面或球体在三维空间中完成特征匹配。在平面的情况下，在三个不同的平面上对如上所述的圆进行计算。X-Y平面，X-Z平面和Y-Z平面。如果特征符合所有平面的标准，则确定存在匹配。

图21示出特征测试的三维模型。围绕圆的外部以环示出的平面圆代表在每个轴上使用的圆，以确定特征是否有效。在每个平面上进行测试-XY、XZ和YZ，并且如果在所有三个平面中的特征测试成功，则中心处的特征-图中在原点处的黑点，被确定为有效。

目标的位置被作为2D坐标数据存储以用于立即查看，并且作为3D坐标数据存储以用于运动的参考。使用目标的匹配旋转和尺度，可以在受试者视图中在匹配区域上准确地渲染目标。通过将位置三维地存储，可以在随后的帧中快速对对象进行测试，以在用户和目标移动时确定该对象的位置。

另一个实施例涉及用于使用钆标记增强在增强现实中的位置定位的方法。

钆是通常用于增强MR成像中的对比度的材料。通过将钆与载体混合，可以在MR扫描之前涂覆表面。这给出了适用于虚拟空间目标检测的涂覆表面的高对比度图像。

例如，患者正在进行MR扫描以寻找脑中的损伤。在MR扫描之前，钆输注载体分布在患者面部上，这在患者面部产生强烈的对比。来自患者面部的增强的对比度用于创建患者的数字图像，允许使用面部识别来鉴别患者，并且在随后的外科手术期间将MR扫描的三维模型定位在患者头上。

在另一实例中，将钆输注载体用作在受试者上绘制的标记，其在最终MR图像中可见并且可用于校准。

另一个实施例是用于构建三维模型的方法，包括以下步骤：确定图像间隔距离，鉴别丢失的图像，对准源图像并构建丢失的图像数据，并且合并图像以形成三维模型。

以DICOM格式提供的图像包含指示切片之间的间隔距离的数据。此数据用于确定所需的切片数量。没有这个数据时，图像的宽度和高度尺寸的较小者用于确定深度，创建出矩形模型。此值也可以被用户输入覆盖或设置，以将模型调整到正确的深度。

接着鉴别出丢失的图像。通过查看几个因素来完成自动识别，包括图像文件的编号、图像文件的内容和图像文件的有效性。序列中的图像文件通常按顺序编号。分析数字序列，并且将序列中任何丢失的数字标记为丢失的图像。分析图像的内容，并且将丢失充足数据的图像(例如，几乎或完全是空白的图像)标记为丢失的图像。无效的图像文件是并非作为所使用类型的有效图像打开的文件。自动生成三维图像将标记的图像视为丢失。可替代地，或结合在一起，用户可以查看并改变丢失的图像，并且将另外的图像标记为丢失。

然后在需要时在帧之间对齐图像。图像被确定为不对齐，如果周界的点与两个相邻的图像均不对齐的话。因此，如果针对尺度和形状变化进行调整使得三个连续图像的周界占据图像的相同区域，则确定图像对齐。如果中心的图像与相邻图像不对齐，则通过比较图像之间的特征并对齐它们来调整图像排整齐。此对齐使用完整的图像，而不仅仅是周界。

通过内插丢失的图像创建最终模型。确定所需图像的最终数量，以及每个现有图像对之间必须添加的图像数量。进行多次通过，以添加所需的图像。在每次通过中，通过内插图像中存在的数据，在每个现有对之间添加一个图像。因此，在包含5张图像的序列中，一次通过后将有9张图像。第二次通过后，将有16张图像。这样继续，直到满足或超过图像的所需数量。

在本文中披露了以下非穷尽性方法、系统和系统组件：

·一种用于提供增强现实或虚拟现实外科手术覆盖的方法，该增强现实或虚拟现实外科手术覆盖包括以下要素，这些要素包括但不限于平视显示器(HUD)、医学成像显示器、生命统计量显示器、患者信息显示器、手术信息以及其他数据。

·一种用于在增强现实或虚拟现实外科手术环境中显示外科手术目标和其他相关医疗和/或解剖学数据的方法。

·一种用于提供针对腹腔镜手术的增强现实或虚拟现实外科手术覆盖的方法，该增强现实或虚拟现实外科手术覆盖包括以下要素，这些要素包括但不限于腹腔镜装置路径的映射、腹腔镜装置位置的显示、腹腔镜成像数据的显示和用于做出总体上的并与特定点相关的笔记的系统。

·一种用于提供增强现实或虚拟现实解剖学显示的方法，该增强现实或虚拟现实解剖学显示包括以下要素，这些要素包括但不限于解剖学图示和标记、兽医学解剖和解剖模拟。

·一种用于将大体解剖学与基于问题的学习(PBL)组合的方法。

·一种用于提供增强现实或虚拟现实医学模拟的方法，该增强现实或虚拟现实医学模拟包括以下要素，这些要素包括但不限于诊断模拟、外科手术模拟、手术模拟、基于患者成像预览手术和群模拟以用于教学等目的。

·一种用于在增强现实或虚拟现实中显示平视显示器(HUD)的方法，该增强现实或虚拟现实由叠加在或集成到所查看的环境中的二维或三维图像构成。

·一种使用增强现实或虚拟现实结合人工智能以用于测试和教导学生材料的目的的方法。

·一种用于在急救中培训用户的目的的增强现实或虚拟现实模拟的方法。

·一种用于使用增强现实或虚拟现实进行智商测试的方法。

·一种用于控制在虚拟现实、增强现实或其他虚拟空间中显示的三维对象的可视化的方法，包括以下步骤：确定可视化中必要的变化，并且更新三维对象。一种用于控制在虚拟现实、增强现实或其他虚拟空间中显示的三维对象的可视化的设备，包括确定可视化中必要的变化的器件、和更新三维对象的器件。该过程可以由系统自动执行，或者可以由操作者交互地引导。应用包括但不限于虚拟现实、增强现实和三维打印。

·一种用于在增强现实、虚拟现实或其他虚拟环境中可视化医学成像数据的方法，包括以下步骤：定位受试者，确定受试者位置，确定受试者取向，并且渲染医学成像数据。一种用于在增强现实、虚拟现实或其他虚拟环境中可视化医学成像数据的设备，包括用于定位受试者的器件、用于确定受试者位置的器件、用于确定受试者取向的器件、以及用于渲染医学成像数据的器件。该过程可以由系统自动执行，或者可以由操作者交互地引导。应用包括但不限于用于外科手术目的的可视化，用于医学测试目的的可视化，用于外科手术培训目的的可视化，用于医学培训目的的可视化，用于物理治疗目的的可视化，用于激光外科手术目的的可视化，以及用于物理诊断目的的可视化。

·一种用于使用钆标记增强在增强现实中的位置定位的方法。

·一种用于构建三维模型的方法和设备，包括以下步骤：确定图像间隔距离，鉴别丢失的图像，对准源图像并构建丢失的图像数据，并且合并图像以形成三维模型。

·一种用于使用增强现实或虚拟现实结合人工智能来教导学生的方法。

可以通过机器执行一个或多个序列指令(包括适当的指令执行所需的相关数据)来实现本文披露的各种方法和/或用于配置和管理这些方法的用户界面中的任何一种。这样的指令可以被记录在一个或多个计算机可读介质上，以用于随后在专用或通用计算机系统或消费电子装置或器具(诸如上文所述的各种系统组件、装置和器具)的一个或多个处理器(例如，如图1所示的一个或多个编程处理器)内进行检索和执行。可以体现此类指令和数据的计算机可读介质包括但不限于处于各种非瞬时形式的非易失性存储介质(例如，光学、磁性或半导体存储介质)以及可以用于通过无线、光或有线信令介质来传送此类指令和数据的载波或其任何组合。通过载波传送此类指令和数据的实例包括但不限于经由一个或多个数据传送协议(例如HTTP、FTP、SMTP等)通过因特网和/或其他计算机网络的传送(上传、下载、电子邮件等)。

在前面的描述和附图中，已经阐述了具体的术语和附图符号以提供对披露的实施例的透彻理解。在一些情况下，术语和符号可意味着实践那些实施例不需要的具体细节。例如，具体尺寸、部件(摄影机、投影、传感器等)数目、组成电路或装置等可以与上文替代实施例中所述的不同。另外，系统组件或功能块之间的链路或其他互连可以显示为总线或单信号线。每个总线可以可替代地是单信号线，并且每个单信号线可以可替代地是总线。不论怎样示出或描述的信号和信令链路可以是单端或差分的。在本文中术语“耦合”用于表达直接连接以及通过一个或多个中间电路或结构的连接。装置“编程”可以包括例如但不限于响应于主机指令或通过一次性编程操作(例如在装置生产期间将保险丝吹入配置电路内)将控制值加载到装置或系统组件内的注册器或其他存储电路中(并且因此控制装置的操作方面和/或建立装置配置)，和/或将装置的一个或多个所选销或其他接触结构连接至基准电压线(也称作捆扎)以建立具体的装置配置或装置的操作方面。术语“示例性”和“实施例”用于表达实例，而不是偏好或要求。另外，术语“可”和“可以”可互换使用以表示任选的(可允许的)主题。任一术语的不存在不应被解释为意味着需要给定的特征或技术。

可以在不脱离本披露的更广泛的精神和范围的情况下对本文所呈现的实施例进行各种修改和改变。例如，实施例中的任何一个的特征或方面可以与实施例中的任何其他实施例组合或代替其对应特征或方面来应用。因此，应以说明意义而非以限制性意义看待本说明书和附图。

Claims (21)

1.一种协助关于形态学受试者的手术的方法，该方法包括：

接收代表该形态学受试者的物理特征的数据；并且

为该手术的从业者渲染由该物理特征的虚拟图像覆盖的该形态学受试者的视图，包括：

基于这些代表性数据生成该物理特征的该虚拟图像；并且

根据该形态学受试者上的一个或多个参考点在该视图内渲染该物理特征的该虚拟图像，使得该虚拟图像能够进行关于该形态学受试者的该物理特征的原位可视化。

2.如权利要求1所述的方法，其中接收代表该形态学受试者的该物理特征的数据包括接收磁共振成像(MRI)数据、断层成像数据、超声数据、x射线数据、核磁共振(NMR)数据、或摄影数据中的一个或多个。

3.如权利要求1所述的方法，其中渲染由该物理特征的该虚拟图像覆盖的该形态学受试者的视图包括经由一个或多个投影仪将该物理特征的该虚拟图像投影到该形态学受试者上。

4.如权利要求3所述的方法，其中经由该一个或多个投影仪将该物理特征的该虚拟图像投影到该形态学受试者上包括投影该物理特征的三维图像。

5.如权利要求1所述的方法，其中渲染由该物理特征的该虚拟图像覆盖的该形态学受试者的视图包括在至少部分透明的显示元件中显示该虚拟图像，该形态学受试者通过该至少部分透明的显示元件是可见的。

6.如权利要求5所述的方法，其中该至少部分透明的显示元件包括平视显示器。

7.如权利要求1所述的方法，其中渲染由该物理特征的该虚拟图像覆盖的该形态学受试者的视图包括在虚拟现实显示元件中显示由该物理特征的该虚拟图像覆盖的该形态学受试者的虚拟图像。

8.如权利要求1所述的方法，还包括检测该从业者和该形态学受试者之间的位置的相对变化，并且作为响应，根据该形态学受试者上的该一个或多个参考点在该视图内重新渲染该物理特征的该虚拟图像以解释该相对位置变化。

9.如权利要求8所述的方法，其中检测该位置的相对变化包括检测该从业者的运动或该形态学受试者的运动中的一个或多个。

10.如权利要求1所述的方法，还包括接收指示了强调其虚拟图像中的该物理特征的一个或多个方面的愿望的控制输入，并且响应于该控制输入，重新渲染该虚拟图像以强调该物理特征的该一个或多个方面。

11.如权利要求10所述的方法，其中该控制输入指定关于该物理特征的视图的点将被浸没或进一步浸没在该物理特征内，使得该重新渲染的虚拟图像包括在该浸没的视图的点或进一步浸没的视图的点处的该物理特征的虚拟细节。

12.如权利要求10所述的方法，其中该控制输入指定要改变该物理特征的该虚拟图像的取向，使得该重新渲染的虚拟图像包括来自该物理特征的不同透视图的虚拟细节。

13.如权利要求10所述的方法，其中该物理特征包括该形态学受试者的多个组成特征，并且其中该控制输入指定要改变这些组成特征中所选的一个相对于这些组成特征中的一个或多个其他者的布置，使得该重新渲染的虚拟图像允许包括先前被这些组成特征中该所选的一个遮住的这些组成特征中的该一个或多个其他者的虚拟细节。

14.如权利要求1所述的方法，还包括：

接收指示物理仪器相对于该形态学受试者的布置的信息；并且

在该物理特征的该虚拟图像内渲染该物理仪器的至少一部分的虚拟图像。

15.如权利要求15所述的方法，还包括接收指示该物理仪器相对于该形态学受试者的运动的信息，并且实时地重新渲染该虚拟图像以描绘该物理仪器的该运动。

16.如权利要求1所述的方法，还包括经由一个或多个传感器接收该形态学受试者的实时生命统计量，并且其中渲染由该物理特征的该虚拟图像覆盖的该形态学受试者的视图包括渲染另外由该实时生命统计量的显示覆盖的该形态学受试者的视图。

17.一种协助关于形态学受试者的手术的系统，该系统包括：

数据接收接口，用于接收代表该形态学受试者的物理特征的数据；和

渲染引擎，用于为该手术的从业者渲染由该物理特征的虚拟图像覆盖的该形态学受试者的视图，该渲染引擎包括一个或多个编程的处理器，以(i)基于这些代表性数据生成该物理特征的该虚拟图像，并且(ii)根据该形态学受试者上的一个或多个参考点在该视图内渲染该物理特征的该虚拟图像，使得该虚拟图像能够进行关于该形态学受试者的实际物理特征的原位可视化。

18.如权利要求18所述的系统，其中该数据接收接口包括网络接口，以经由计算机网络从一个或多个服务器计算机接收这些代表性数据。

19.如权利要求18所述的系统，其中该系统还包括数据存储器，并且其中该数据接收接口包括用以从该数据存储器请求和接收这些代表性数据的接口。

20.如权利要求18所述的系统，其中该渲染引擎包括以下中的至少一个：

一个或多个投影仪，以将该物理特征的该虚拟图像投影到该形态学受试者上；

增强现实显示元件，用以显示该虚拟图像并且是至少部分透明的，使得通过该显示元件该形态学受试者是可见的；或

虚拟现实显示元件，用以显示覆盖在该形态学受试者的虚拟图像上的该物理特征的该虚拟图像。

21.一种具有存储在其上的程序代码的非瞬时机器可读介质，当由一个或多个处理器执行时，使得该一个或多个处理器：

采集代表形态学受试者的物理特征的数据；并且

渲染由该物理特征的虚拟图像覆盖的该形态学受试者的视图，包括(i)基于这些代表性数据生成该物理特征的该虚拟图像，并且(ii)根据该形态学受试者上的一个或多个参考点在该视图内渲染该物理特征的该虚拟图像，使得该虚拟图像能够进行关于该形态学受试者的该实际物理特征的原位可视化。