CN106605257A - 医学成像中具有空间和时间约束的界标检测 - Google Patents

Abstract

自动检测（34）和/或实时检测诸如乳头肌的解剖结构。对于小解剖结构的自动检测（34），使用具有空间约束（32）和时间（例如，马尔可夫）约束（34）的机器学习分类。对于实时检测，使用与光流跟踪（38）交错的稀疏机器学习检测（34）。

Description

医学成像中具有空间和时间约束的界标检测

相关申请

本专利文档根据35 U.S.C §119(e)要求2015年3月4日提交的美国临时专利申请序列号62/128,177和2014年6月9日提交的美国临时专利申请序列号62/009,512的提交日权益，这两个申请通过引用被合并于此。

背景技术

本实施例涉及界标（例如，点、轮廓、表面或体积（volume））检测。具体地，在医学成像中检测解剖结构。

经食道超声心动描记术扫描患者的心脏。可能对二尖瓣特别感兴趣。确保从左心房到左心室的单向流动的二尖瓣可能遭受不充分的闭合。不充分的闭合允许血液在心脏收缩期间泄漏到心房中。为了治疗，将安装有导管的植入物递送到二尖瓣。任何二尖瓣治疗的计划和/或执行可以受益于医学成像中二尖瓣结构的检测和跟踪。

由于小尺寸和快速移动而导致二尖瓣结构的检测可能是困难的。可以使用自动化方法而不使用耗时的对二尖瓣结构的手动识别。边缘空间学习可以用于检测主动脉瓣和二尖瓣二者，但没有对乳头状界标的一致结果。可以添加机械约束，给出瓣下装置的更稳健的小叶（leaflet）跟踪和识别。

半自动机制通常组合初始用户输入以识别图像中的界标。然后，跨相邻帧跟踪该界标。在一种半自动方法中，用户具有20个平面，在其中手动识别乳头肌。这种方法是耗时的。

术中成像用于指导二尖瓣修复过程。检测可能没有足够快速地操作以用于实时指导。尽管可获得具有实时能力的四维（即，具有时间的三维空间）成像硬件，但通常使用有限的二维成像和一次单个心脏相位的分析。二尖瓣环可以实时地被检测以用于二维成像，但是具有有限空间分辨率、昂贵的磁性跟踪硬件，并且被限制为在同一心脏相位的图像上跟踪。

发明内容

通过介绍，下面描述的优选实施例包括用于自动和/或实时地检测诸如乳头肌的解剖结构的方法、计算机可读介质和系统。对于小的解剖结构的自动检测，使用具有空间和时间约束的机器学习分类。对于实时检测，使用与光流跟踪交错的稀疏机器学习检测。

在第一方面中，提供了一种用于在医学成像中稳健地检测和/或跟踪如乳头肌位置的点状界标的方法。获取医学成像数据的帧序列。帧中的每一个表示患者的心脏的体积。在帧的每一个中检测包围心脏的瓣膜的瓣膜边界框。在帧的每一个中，基于瓣膜边界框来检测包围瓣下界标（例如，乳头肌）位置的瓣下边界框。在帧的每一个中检测瓣下边界框内的瓣下界标位置的候选位置。移除空间约束外的候选位置。在帧的每一个中选择在移除之后剩余的候选位置中的一个作为瓣下界标位置。该选择是跨帧的候选位置的函数。瓣下界标位置在患者的心脏的图像中被突出显示。

在第二方面中，非瞬时性计算机可读存储介质已经在其中存储表示可由用于界标检​​测的编程处理器执行的指令的数据，其中界标可以是点、轮廓、表面或体积。存储介质包括用于下述操作的指令：利用机器学习分类器来定位候选解剖界标；利用空间约束来限制候选解剖界标；从在限制之后剩余的候选解剖界标中选择多个体积的每一个中的界标的位置，所述选择是候选界标随时间的函数；以及生成界标的图像。

在第三方面中，提供了一种用于检测解剖界标的系统，其中界标是包括点、曲线和网格或表面的通用术语。超声扫描仪被配置为扫描患者的心脏体积。扫描提供表示随着时间的心脏的至少一部分的医学诊断超声数据。处理器被配置为与扫描实时地确定解剖界标的位置，该位置是利用针对稀疏帧的机器学习分类以及针对插入在稀疏帧之间的帧的光流来确定的，顺序地确定为稀疏帧和交错帧的位置被获取。

本发明由所附权利要求限定，并且该部分中的任何内容不应当被视为对这些权利要求的限制。本发明的其他方面和优点在下面结合优选实施例讨论，并且可以随后独立地或组合地要求保护。

附图说明

部件和附图不一定是按比例的，相反地，重点放在图示本发明的原理。此外，在附图中，相似的附图标记遍及不同视图指示对应的部分。

图1-3是用于定位解剖结构的方法的不同实施例的流程图；

图4是把检测到的边界框示出为线框的示例性呈现图像；

图5A和图5B分别示出具有处于紧密图案和宽阔图案中的乳头状尖端的候选点的突出显示位置的示例性呈现图像；

图6示出使用时间约束选择的、在利用空间约束限制之后剩余的、由检测器输出的示例性候选乳头状尖端位置和真实（ground truth）乳头状尖端位置；

图7示出了具有二尖瓣的相应重叠图形的示例性超声图像；

图8和图9是用于利用机器学习分类器检测解剖结构并利用光流跟踪解剖结构的方法的不同实施例的流程图；

图10示出了检测到的与真实叠加的二尖瓣环的示例性图像；

图11A和图11B示出了在具有和不具有机器学习检测进行的位置的偶然更新的情况下光流跟踪的示例性误差；以及

图12是用于解剖检测的系统的一个实施例的框图。

具体实施方式

在美国每年执行约65,000个瓣膜修复和更换。二尖瓣狭窄和脱垂状况被修复。男性两倍那么多的女性受二尖瓣狭窄的影响。二尖瓣脱垂是心脏瓣膜最常见的状况，并且存在于大约2%的一般人群中。外科医生仔细审阅来自超声心动描记术的图像，并且在决定修复技术之前在视觉上评估瓣膜和周围结构。两种主要的外科手术选项是通过切除组织并且修复或更换腱索（chord）来固定瓣膜小叶的任何异常运动，以及通过植入环来减小二尖瓣环的尺寸。其他方法包括（1）重新定位乳头状突起以用于最佳瓣膜吸纳（cooptation），（2）经由人工腱索重新附连肌肉尖端以重新建立正确的瓣膜运动来进行腱索破裂修复，以及（3）修正由于腱索导致的导管或导丝缠结。

为了促进该类型的过程，乳头肌的位置被识别并呈现给外科医生。使用来自图像（如4D经食道（TEE）或计算机断层扫描术（CT）图像）的界标检测，可以识别前和后乳头肌。主要的困难是，目标界标在所有获取的帧中不总是可见的。这使得传统检测效率低下，因为没有足够的信息来作出准确的决定。利用时间数据和相对空间数据二者增加了检测器可用的知识。边缘空间学习与随机采样一致性（RANSAC）和在检测的不同阶段内的马尔可夫约束组合。结果是稳健和高效的界标检测机制，该机制可以在临床上被部署用于识别4D超声心动描记术采集中的乳头肌尖端的位置，从而为外科医生提供瓣下系统的定量和定性评估以用于最佳治疗计划。

在一个实施例中，检测心脏乳头肌界标。基于二尖瓣边界框来估计子解剖结构边界框位置。一旦两个界标而不是两个边界框在空间上相关（例如左心耳尖端和左心房），相同的过程就可以起作用。使用RANSAC算法对框估计在时间上进行细化。使用边缘空间学习分类器在框中检测界标。空间约束被应用于检测到的界标。检测到的界标的时间细化使用马尔可夫约束。

所提出的实施例被调整为考虑除了在界标检测中通常采用的之外的附加信息。附加信息补偿视场中的信号丢失或结构。通过首先确保整个瓣下复合物的正确估计并且然后进一步细化每个界标的检测，可以实现所提出的算法的准确性和稳健性。

在另一实施例中，从4D经食道超声心动描记术成像数据中自动地检测前和后乳头状界标的位置。系统在专家注释的图像数据库上被统计学地训练，并考虑在给定时刻的解剖结构位置以及不同时间样本之间的解剖结构运动。一旦被检测到，出于测量目的，系统就在图像上呈现界标。还使用界标和小叶模型来呈现腱索的模型。

在另一实施例中，提供了一种用于从4D经食道成像数据自动跟踪前和后乳头状界标的位置的系统。在第一帧中自动检测解剖结构，并且从第一帧中的检测得出后续检测。所呈现的界标和腱索随时间更新，以示出该解剖结构的动态。

对于实时跟踪，可以使用对任何解剖结构的任何检测，诸如检测二尖瓣结构。以足够高的帧速率从4D图像数据实时地建模动态器官以允许介入性使用。为了应对由于换能器探针运动而导致的可能大的变形，采用基于机器学习的检测算法和快速光流跟踪方法的组合。

二尖瓣回流是影响1.7%的美国人口的重要心脏病症。越来越多数量的病例利用夹具（两个二尖瓣小叶被夹在一起以闭合回流孔的疗法）经皮肤治疗。由于干预的复杂性，为计划和/或夹具部署提供了图像指导。二尖瓣环将以每秒许多（例如，18）帧被跟踪，以用于计划或部署监视。通过组合稳健的机器学习分类和基于图像的跟踪，提供实时检测。更稳健的机器学习分类可以用于有规律地初始化基于图像的跟踪。在4D医学成像中可以以每秒10帧或更多帧提供瓣膜解剖结构的实时跟踪。

以下4D经食道超声心动描记术中的二尖瓣环和/或乳头状尖端被用作示例。可以使用医学成像的其他解剖结构和/或类型。可以从动态图像数据（例如，其他超声或4D CT）建模的任何其他动态解剖结构（例如，其他心脏瓣膜、左心耳、肺静脉）可以受益于实时检测和/或利用空间和时间约束的检测。通过简单参数调整，该实施例可以适于检测遭受类似弱表示的任何其他界标。在其他实施例中，在同一时间或在同一成像阶段期间，识别和参数化多于一个的心脏瓣膜。例如，二尖瓣和主动脉瓣在生理学上被建模。可以对整个心脏、心脏的一半或心脏的其他子部分进行建模。

二尖瓣是小的并且相对快速地移动。因此，用于查看二尖瓣的成像类型可能受到限制，例如使用超声波。可以使用任何其他动态成像模式，如4D CT或MRI。在有限类型的成像的情况下，由于二尖瓣的速度和小尺寸而导致难以在给定时间和/或空间分辨率限制的情况下仅从图像进行诊断或计划。在一个实施例中，经食道超声心动描记术（TEE）用于扫描心血管形态以用于诊断、治疗计划和评估以及手术指导。高质量4D（随时间的体积）TEE成像允许不仅对二尖瓣的几何形状而且对动态特性的分析。

图1示出了用于在医学成像中检测乳头肌位置的方法的一个实施例。图1的方法包括具有空间和时间约束的自动乳头状尖端检测和实时跟踪二者。在其他实施例中，提供具有空间和时间约束（动作32和34）而没有实时跟踪（动作38和40）的自动检测，或反之。可以提供附加的、不同的或更少的动作。例如，在不使用边界框的情况下检测解剖结构时不提供动作26和28。作为另一示例，提供了用于配置超声扫描系统、与呈现交互或用于计划或干预的其他流程的动作。

图1示出了定位二尖瓣和乳头肌或乳头状尖端的具体实例。在其他实施例中，找到任何瓣膜或针对任何瓣膜的边界框。类似地，可以检测任何瓣下结构或界标边界框和结构或界标本身。例如，这种多边界框方法可以操作用于检测逐点（例如，单像素或多像素点状）界标。可以检测其他类型的界标，诸如线、曲线、区域、表面（例如，网格）或体积。

以所示的顺序或不同的顺序执行动作。例如，动作24-34与动作38和40交错。在动作34之后和/或动作40之后以正在进行的方式执行动作36。

该方法由医学诊断成像系统、审阅站、工作站、计算机、PACS站、服务器、他们的组合或用于图像处理医学数据的其他设备来实现。例如，图12中所示的系统或计算机可读介质实现该方法，但是可以使用其他系统。与存储器、用户输入、显示器和/或其他部件交互的任何类型的系统的处理器可以执行这些动作。

图2示出了用于检测一个或多个乳头状尖端的位置的方法的另一实施例。图2的方法类似于图1的方法，但是突出显示了流程的不同方面。对于图2的方法，使用时间和空间约束但没有光流跟踪来自动检测解剖界标。图3示出了图2的方法的又一实施例，但是具有一些动作的附加细节。

在图2和图3的实施例中可以提供附加的、不同的或更少的动作。图2和图3的动作可以以任何顺序执行。以上针对图1讨论的相同或不同的设备（例如，处理器）可以实现图2或图3。

图1-3的动作可以实时地（诸如在扫描期间）被执行。界标可以被检测、在不同的时间被重新检测和/或在扫描的同时随时间被跟踪，以获取表示体积的后续数据集或帧。从获取表示体积的数据开始，可以在分数秒（例如0.05秒或更少秒）内提供自动检测到的解剖结构的测量结果和/或图像。替代地，不论患者当前是在设施处还是正在被扫描，按照临床医生的需要执行动作。该动作可以在审阅时段中的约定或离线期间被执行。患者特定的数据可以与先前的获取而不是实时地相关联。

处理器可以自动地执行动作。用户使得患者被扫描或者从先前扫描获得针对患者的扫描数据。用户可以激活该过程。一旦被激活，就识别解剖结构，并且在不需要进一步的用户输入的情况下生成图像。可以避免对任何扫描数据中的解剖结构的位置的用户输入。可以提供某种用户输入，诸如用于改变建模参数值、校正所检测到的位置、改变成像（例如，改变用于呈现的查看方向）​​和/或确认准确性。

在动作22中，获取医学成像数据的帧序列。医学成像数据是TEE数据或另一类型。对于TEE数据，将超声TEE探针插入到患者的食道中并且被定向以声学扫描心脏。

可以使用任何扫描格式。在给定时段中表示患者的给定扫描可以使用一次或多次传输以及对应的声学回声的接收。来自视场的完整扫描的数据是数据帧。通过重复对视场的扫描，获得表示不同时段处的心脏的不同帧。可以提供任何帧速率，诸如每秒10个或更多个帧。通过在三个维度中扫描，每一个帧都表示患者的心脏的体积。在一个实施例中，获取4D（3D+t）超声数据。

超声扫描数据的帧被内插到规则3D网格、所显示的图像（例如，检测的和扫描转换的超声数据）、波束形成的数据、检测的数据和/或扫描转换的数据。成像数据可以是表示体积的帧或数据。成像数据可以是来自在生成图像之前得出的处理路径的数据或者针对作为图像的显示的数据。数据的帧或体积可以是图像格式的数据或不同格式的数据（例如，扫描格式或表示三维网格）。超声数据表示患者的体积或3D区域。

体积区域包括组织、流体或其他解剖结构。不同的结构或不同类型的结构对声能有不同的反应。结构或空间方面的形状可以以B模式或谐波数据来反映。流体流可以以彩色流、多普勒、频谱多普勒或多普勒流数据来反映。

在实时扫描中获取数据帧。当获取超声数据时，提供数据以用于界标的检测和图像的生成。替代地，数据通过传送来获取或者从存储器加载。

可以相同地处理数据帧，诸如应用于每一个数据帧的相同检测。替代地，一些帧用于机器学习检测，诸如每两个、三个、四个、五个或其他时段。所获取的序列的稀疏采样用于周期性地更新所检测到的界标的位置。其他数据帧用于在不应用更耗时的机器学习检测的情况下进行跟踪。对于光流实施例，机器学习检测可能没有被足够快速地执行以用于每秒10帧或更多帧的实时操作，而是可以以每秒3或4帧进行操作。对于其他帧，执行光流跟踪。光流过程可以对体积数据足够快速地执行以用于实时操作。

在动作24中，利用一个或多个机器学习分类器来定位一个或多个候选解剖界标。任何机器学习可以用于任何检测阶段。机器学习分类器是任何一个或多个分类器。可以使用单类或二进制分类器、不同分类器的集合、级联分类器、层级分类器、多类分类器、基于模型的分类器、基于机器学习的分类器或他们的组合。多类分类器包括CART、K-最近邻、神经网络（例如，多层感知器）、混合模型或其他。可以使用概率提升树（PBT）。可以使用纠错输出代码（ECOC）。在一个实施例中，边缘空间学习用来训练用于从医学成像数据检测的一个或多个分类器。

使用计算机从训练数据集训练分类器。使用任何数目的专家注释的数据集。例如，注释表示心脏并且包括一个或多个瓣膜的约200个体积序列。注释指示体积内的区域（例如，边界框）、瓣膜界标和/或表面。注释每个体积的不同解剖结构和/或边界框。这种大量注释允许使用概率提升树或其他机器学习来在大量的3-D哈尔（3D Haar）、可操纵、强度和/或其他特征上学习相关特征。每个分类器使用特定于被分类的边界框或解剖结构的数据集、特征和/或注释。

在一个实施例中，分类器是基于知识的概率模型，诸如使用层级搜索的边缘空间学习。收集已知案例的数据库用于机器学习，从而提供数据库驱动的基于知识的方法。为了训练数据，三维情境信息被保留并且指导检测过程。分类器学习各种特征向量以用于在期望的解剖结构和没有被检测的信息之间进行区分。在替代实施例中，对分类器手动地进行编程。

对于基于学习的方法，教导分类器基于特征进行区分。例如，概率模型算法基于类哈尔的局部矩形滤波器来选择性地将特征组合成弱学习器的强委员会（committee），通过使用整体图像来实现哈尔的局部矩形滤波器的快速计算。与解剖结构相关的特征基于专家的注释在机器算法中被提取和学习，从而产生概率模型。每个分类器选择用于将正目标与负目标进行区分的鉴别特征集合。这些特征是从大量特征中选择的。该大量特征由程序员确定，或者可以包括系统地确定的特征。

分类器可以用于将瓣膜模型拟合到患者特定的数据，从而提供各种瓣膜结构的位置。通过输入患者特定的数据，针对给定患者估计解剖模型。在给定时间（诸如舒张末期）内和/或在时间序列内（诸如在整个心脏周期中）估计解剖结构的位置。解剖模型可以包括基于所检测到的解剖结构拟合到瓣膜的网格（参见图7）。模型输出该网格，或者基于模型输出的解剖结构的位置形成网格。二尖瓣表面的点分布模型根据界标来绘制，并且根据通过PBT估计的边界检测器在已学习的形状空间内被变形。

使用其他分类器来检测。可以利用一个或多个机器学习分类器来执行区域（例如，边界框）和/或界标本身的定位。在一个实施例中，二尖瓣区域和乳头状尖端利用不同的机器学习分类器来定位。基于与二尖瓣区域的平均空间关系来找到乳头状尖端区域。

分类器可以提供单个候选位置。对于对超声体积数据使用分类而定位的小瓣膜结构，可能不会发生可靠地定位单个候选。相反地，分类定位任何数目的候选。通过定位多个候选，可以应用其他过程（例如，时间和/或空间约束）来选择最可能的候选。

对界标候选的检测可以是直接的。分类器从数据帧识别界标的位置。替代地，对界标候选的检测首先定位其他信息，诸如针对整体解剖结构的候选。在定位乳头状尖端的示例中，可以定位二尖瓣。找到针对二尖瓣的一个或多个候选。类似地，可以定位针对二尖瓣区域附近或部分的乳头状尖端的区域的一个或多个候选。然后，在乳头状区域内检测乳头状尖端候选。这种层级方法可以减少处理时间。

动作26-30提供该多个区域候选的示例以找到多个其他区域候选，以便然后找到多个乳头状尖端候选。针对每个阶段找到相同或不同数目的候选（例如，10个二尖瓣区域、10个乳头状尖端区域和50个乳头状尖端候选）。

在动作26中，检测二尖瓣边界框。边界框是围绕感兴趣的解剖结构的矩形棱柱或其他形状。边界框拟合到解剖结构的外部或包括关于解剖结构的任何尺寸的边缘。边界框标识解剖结构可能位于其中的区域，因此尺寸可以被调整为大于期望的解剖结构。边界框被定形为类似于典型的解剖结构，具有仅大体上类似于解剖结构的形状（例如，针对瓣膜的椭圆形），或者具有与解剖结构不同的形状。

边缘空间学习分类器或其他机器学习分类器检测边界框相对于多个数据帧中的每一个的位置。图4示出了作为边界框的示例性线框立方体。边界框检测包括位置、定向和/或尺度。在一个实施例中，三维哈尔小波特征和PBT用于在二尖瓣周围给出高级别响应。机器学习分类器指示在给定数据帧的情况下边界框的位置。可以检测到多于一个的二尖瓣边界框，诸如在每个数据帧中检测到5-10个边界框候选。

在动作28中，检测包围乳头肌位置的乳头状边界框。乳头状边界框具有与二尖瓣边界框相同或不同的尺寸和/或形状。乳头状边界框相对于二尖瓣边界框被定位、调整尺寸和定形，以包围乳头状尖端的可能位置。例如，检测与二尖瓣边界框相邻、分离或重叠的矩形棱柱。

虽然可以使用机器训练的分类器，但是乳头状尖端的小尺寸使得检测困难。相反地，基于二尖瓣边界框来检测乳头状边界框。二尖瓣是更可能用机器训练的分类器正确检测的更大的解剖结构。相对于二尖瓣边界框来检测包含两个乳头肌的边界框。在训练期间提供的专家注释的真实框可以用于没有机器训练情况下的检测。相对于二尖瓣边界框的平均尺寸、定向和/或位置被用于对瓣下边界框进行定位、定向和/或调整尺寸。通过考虑所有经注释的框，检测过程确保大的解剖变异性被纳入考虑。因此，乳头状边界框大得足以确保界标之间的各种距离、以及还确保相对于二尖瓣边界框的各种各样的定向。

在检测瓣膜边界框的多个候选时，检测瓣下边界框的类似的多个候选。在其他实施例中，可以从每个二尖瓣边界框候选中检测多于一个的瓣下边界框。

参考图2和图3，由于瓣膜和乳头肌的可变相对位置以及还由于在单次捕获期间发生的心脏运动，该仅乳头状边界框的检测不产生一致的结果。为了提供更一致的结果，在动作29中用随机样本一致性（RANSAC）来细化对乳头状边界框的估计。分析来自动作28的检测到的候选乳头状边界框，以丢弃作为误报的可能错误的候选。为了确保跨整个体积的解剖结构的位置是一致的，通过对用于机器学习检测的所有可用帧运行RANSAC算法来采用时间细化。增强对乳头状边界框位置的估计，以把检测器对相邻时间帧的结果纳入考虑。移除界外值并且从时间角度平滑化乳头状边界框运动。

RANSAC基于在输入变量的随机样本当中找到最佳拟合数据。该算法通过随机选择最小（例如，预配置）数目的候选以拟合特定模型来开始。落在特定阈值以下的界内值被计数。重复该过程，直到所找到的界内值得数目足够大或者找到更好的模型的概率低于指定的阈值。通常，迭代次数N可以如下获得：

其中ρ是候选的概率阈值，y是界内值比率（界内值数目除以候选总数），并且s是所选择的样本的数目。

例如，算法随机拾取6个帧并对其运行瓣下框检测，从而获得6个框。然后，调整当前帧中的框，以便获得所有候选之间的平滑运动。这种调整是通过把框中心之间的欧几里德（Euclidian）距离和复合轴角度差二者都纳入考虑同时把该距离和角度保持在每个帧对的特定阈值以下来完成的。作为另一示例，使用对不同候选的选择来代替调整。更可能满足标准的候选被选择为界内值。通过动作29的细化来输出每帧的任何数目的乳头状边界框候选。

如图3中所示，一旦针对每个帧检测到一个或多个乳头状边界框，数据体积或帧就被裁剪并作为对界标位置检测器的输入被给出。界标检测仅应用于由乳头状边界框指定的数据。该裁剪操作降低了接下来的操作的存储器占用，并且它还降低了针对任何操作的输入域。

在动作30中，检测乳头肌或乳头状尖端的候选位置。所检测到的候选位置在候选乳头状边界框内。

任何机器学习分类可以用于检测乳头肌。在一个实施例中，边缘空间学习的第一阶段，即位置检测产生特定界标位于其中的位置的多个候选。位置检测器输出期望界标的预配置数目的候选。可以使用不同或相同的分类器来检测不同的乳头肌。例如，流程被分裂成针对每个乳头肌（诸如前和后乳头状突起）的分支。所采用的算法对于前和后乳头状尖端二者是相同的，但是参数或特征以及所得到的训练的分类器针对不同解剖结构被定制。可以检测任何数目的乳头状突起或其他界标候选。

如图3中所表示的，坐标系被转换。乳头状边界框可以用于定义坐标系。来自表示边界框中的位置的帧的数据被变换到坐标系。在检测之后，坐标系可以被变换回到数据帧的显示器或扫描仪坐标系。

因为用于检测的特征可以是空间特征，所以边界框内的搜索范围被限制。搜索范围预测阶段是从体积裁剪开始的递增步骤，并且旨在利用为检测流程提供的训练数据。针对当前界标的所有可用注释被加载，并且在其周围拟合边界框。这通过对其三维坐标向量应用主要分量分析来进行。然后，将该搜索范围框以及经裁剪的体积数据供应给位置检测器（例如，边缘空间学习分类器的第一阶段）。

训练机器学习分类器以基于回声数据的强度来预测候选。把域限制为数据中的特定区域并且在特定搜索范围内使得分类能够高效地起作用并且产生可以从其中选择最终的界标的N个候选。可以检测任何数目N的候选，诸如N=60。

为了进一步减少所产生的界外值的数目，该元件在相同的域上运行第二时间，但是使用先前排除的候选作为负样本，因此在目标界标周围提供更紧密的拟合。在图5A和图5B中可以观察到在检测流程中该阶段输出的两个相反示例。在图5A中，因为界标在回声数据中清楚可见，并且框以及搜索范围是正确的，所以位置检测器容易将所有输出候选置于乳头状尖端周围。在图5B中，部分地由于数据中较大量的噪声以及可视化的解剖结构的性质，无法观察到乳头肌的清晰位置。因此，位置检测器不输出集群候选。不幸的是，每个候选的个体概率不是检测成功的良好指示符，因为一些候选可能终止于具有与乳头状突起类似的图像特征（如心脏壁）的位置。

在图1-3的动作32中，移除界外值候选。使用空间约束来限制在动作30中检测到的候选解剖界标。不满足空间约束的候选被移除或不被使用。如果在空间范围或有界区域（例如，距离、区或区域）外，则移除候选。处理器滤除界外值并且为界标选择最佳拟合位置。

可以使用任何数目的空间标准。在一个实施例中，使用候选与另一界标之间的距离。例如，检测二尖瓣的不同部分。乳头状尖端候选被限制到处于距该不同部分的给定距离内。在另一实施例中，乳头状候选的位置被限制到围绕另一先前检测到的界标的有界区域（例如，距离范围）。这确保乳头状界标候选既不太接近也不太远离解剖结构的另一关键点。目标是找到稳定的范围，与其他周围解剖元素相比，大多数候选应当驻留在该稳定范围中。该阶段用于在相同时间内或针对相同的数据帧进行空间选择。

在乳头状尖端检测示例中，前和后二尖瓣连合处用作另一解剖结构。选择这些界标以丢弃落在二尖瓣小叶上的乳头状尖端候选。类似地，如果乳头状尖端候选距离连合处过远，则候选在腔室的错误侧，或者已接收到来自心脏壁的内部的高响应。

在动作34中，针对每个帧选择候选位置中的一个。选择特定乳头肌的位置，例如尖端。针对患者体积的给定表示来选择利用空间约束限制之后剩余的候选中的一个。在检测到不同的乳头状突起时，针对每个帧选择每个不同乳头状突起中的一个。

所述选择使用时间约束。针对每个时间或帧提供候选集合。帧中的一个候选的选择使用来自其他帧的候选。帧到帧的空间位移是有限的。该选择依赖于在短时间内避免位移的突然或大的改变。基于相邻帧来滤除候选。例如，马尔可夫约束试图平滑化候选的运动。为了实现这一点，马尔可夫约束采用受空间约束的检测到的点（即，候选）并且将该点与在之前和/或之后的一个或多个帧中的类似结果作比较。仅选择在两个帧之间更近的候选。当然，该假设以解剖结构移动的速度和所获取的数据的时间分辨率为条件。在乳头肌的情况下，这两个限制都不适用，因为乳头肌在心动周期期间相对保持在相同区域中。因此，应用这种类型的约束解决了在尝试观察这种类型的解剖元素时所面临的另一问题：在某些情况下，心脏壁可能使其位置模糊。考虑界标位置的时间稳定性，约束将检测候选的分布限制到最可能的位置，即使其不是清晰可见的。

在一个实施例中，构造在直到当前帧的各帧上的所有空间上受约束的机器学习分类器检测到的候选的图形。选择随着时间在第一帧和最后或当前帧之间穿过候选的最短路径。该过程的实际结果是选择当前帧中更接近先前帧中的乳头状尖端的位置的候选。更精确地，迄今为止检测到的所有候选以图形模型的形式被组织。设V是顶点集合，并且E是边缘集合。x（v）是与图形节点v相关联的随机变量，并且φ(x_v)是由位置检测阶段输出的候选的相关概率所表示的局部可能性（例如，机器学习检测指示针对每个候选的正确检测的概率）。每个边缘的成对可能性φ(x_u, x_v)由在边缘的任一端的候选之间的欧几里德距离来定义。

基于这些注释，图形中所有变量的联合概率分布被表示为成对马尔可夫随机场：

为了能够从上述图形找到候选的最佳组合，在该图形上运行最大乘积置信传播。为了实现这一点，被定义为作为x_v的函数的在时间戳t处从图形节点u到图形节点v的最大乘积消息。

设μ_v(x_v)是x_v的最大边缘，定义为：

可以计算该最大边缘以定义如上定义的消息：

给定这些最大边缘，回溯可以用于计算MAP（最大后验估计）估计，使得：

该马尔可夫约束被应用于可从检测流程中的先前节点获得的所有检测到的候选，从而在每个帧中提供期望的结果或单个乳头状尖端位置。处理器选择当前帧中的具有距相邻帧中的类似候选的最接近欧几里德距离的候选。可以使用其他基于图形或非图形的方法来进行选择。

图6示出了空间和时间约束的组合效果。在左上画板中，看到由位置检测器输出的所有候选。在右上画板中，已经使用空间约束排除了在心脏壁的左下侧具有响应的多个候选。大约两个候选集群被散布在室和剩余壁之间的边界上。通过应用马尔可夫约束，进行正确的估计，并且该结果呈现在左下画板。当将所检测到的乳头状尖端位置与在右下画板中可见的专家注释的真实乳头状前尖端进行比较时，检测和选择的准确度是明显的。右下画板示出了真实。

在图1的动作36中，生成所选择的界标的图像。图像表示患者的瓣膜、心脏或其他区域，并且从一个或多个数据帧生成。图像序列可以从所述帧生成。

诸如尖端的乳头肌在图像中被突出显示。突出显示是通过添加图形、着色、增加相对亮度或以其他方式改变表示乳头状尖端的一个或多个像素来突出的。在图7中所示的一个实施例中，将拟合到二尖瓣的模型的图形添加到二尖瓣的超声图像。模型的图形包括两个放大的和/或着色的点作为检测到的乳头状尖端，其中腱索从尖端延伸到瓣膜小叶的网格。完整的二尖瓣模型包括瓣下装置。在图7的示例中，从两个不同的角度呈现数据帧和模型，其中乳头状尖端被呈现为视觉点。在另一示例中，显示乳头状尖端的图形，而没有针对其他瓣膜结构的图形。

可以使用任何成像。例如，生成一个或多个三维呈现。作为另一示例，提供了多平面重建。可以从帧序列生成图像序列。在每一个帧中检测到的位置用于突出显示解剖结构的位置。

在一个实施例中，结合二尖瓣的完整模型来使用给定帧中的两个检测到的乳头状界标。该模型还包括关键解剖界标，例如三角区、连合体和表示二尖瓣前小叶和后小叶的两个表面。在图7中，完整模型被呈现为重叠在来自数据帧的超声图像的呈现上。在替代实施例中，在没有超声图像的情况下提供具有所检测到的乳头状界标的相对位置的模型。

在瓣下装置的可视化中，以两个元素为目标。第一个是穿过置于从检测流程获得的坐标处的点的乳头肌界标的表示。所述点的尺寸和颜色可以由系统选择。第二个元素由腱索表示，腱索将乳头肌连接到瓣膜自由边缘。这些可视化向用户给出整个解剖结构如何相互作用的表示。可以使用任何腱索布置。例如，从每个乳头肌开始，将6个腱索附连到自由边缘，从相应的连合体开始并继续到每个小叶中点。为了给出在实际解剖结构上可以期望的可能构造的更好表示，每个腱索具有到自由边缘的五个连接点。而且，腱索具有朝自由边缘分支的趋势，一种通过引入分支点来模拟的特性。第一分支点被选择处于乳头肌和每个腱索的中心连接点之间的距离的一半处。针对每个先前获得的分支，第二分支点被选择处于第一分支点和自由边缘之间的距离的一半处。因此，双路和三路分裂促使腱索产生其连接点。可以使用其他腱索构造。

腱索以及完整瓣膜复合体的可视化（包括检测到的乳头状尖端的相对位置）给整个检测过程带来了附加的益处。可以推导出各种小叶构造或病状与乳头肌之间的关联。患者的整体模型可以指示哪个腱索可能需要修复或至少哪个乳头肌连接到自由边缘上的那个特定区域。

为了评估图3的方法的性能，提取用于机器训练的示例的数据库的子集以用作评估测试集合。该分布转换为用于训练的120个体积和用于评估的30个体积。表1报告了所获得的结果。测试机制基于测量注释的界标和从检测流程获得的界标之间的欧几里德距离。而且，对于瓣下装置边界框，也比较得到的尺寸。当收集到所有结果时，计算平均值、标准偏差和中值。而且，注意基于最高值的80%和90%的界外值信息以及总体最小和最大值。

可以评估其他技术以进一步提升所提出的机制的稳健性和正确性。可以采用如卡尔曼滤波的技术来改善跟踪结果。可以估计二尖瓣小叶的材料性质。由于使用对作用在解剖结构上的力的机械建模，腱索发挥重要作用，并且其分布与乳头肌的位置有关。通过检测乳头肌的位置，可以更好地估计机械性质。在术前模拟中，肌肉的位置可以帮助确定手术的结果。

参考图1，动作38和40对应于光流跟踪。在实时扫描期间针对序列中的帧的稀疏采样执行动作24-34的基于机器学习的检测。例如，每五帧检测乳头状尖端或其他解剖结构。可以使用对整个帧序列的其他重复时段或甚至不规则的稀疏采样。对于这些稀疏帧，确定解剖结构的位置。跨稀疏采样的帧而不是其他帧应用时间约束。

图8和图9是结合机器学习检测的该光流跟踪的流程图。用于光流的示例性解剖结构是二尖瓣环，但是诸如乳头状尖端的其他解剖结构可以使用光流跟踪。

在图1的动作38中，使用光流在其他帧中确定解剖结构的位置。不是针对每个帧重复机器学习检测，而是在不将机器学习分类器应用于其他帧的数据的情况下在其他帧中跟踪解剖结构。

参考图8和图9，并行运行确定解剖结构的位置的两个部件52、60（参见图9）。在系统初始化时，检测器部件52启动并确定在超声图像中瓣膜存在。如果找到瓣膜，则检测器估计或检测二尖瓣环曲线，二尖瓣环曲线被传送到流跟踪器部件60以用于高帧速率解剖结构跟踪。后续图像被并行处理，使得光流跟踪器处理每个新图像，同时检测器在单独的线程中运行以周期性地重新检测瓣膜存在和环。然后，将重新检测到的环重新馈送到跟踪器以实现对大的运动的稳健性，并且确保跟踪漂移的连续控制。

在动作52中，位置、定向和/或尺度（框检测器）对整个体积运行，直至至少三次连续迭代确定二尖瓣边界框的位置的高置信度估计。二尖瓣边界框用于减少计算负荷。感兴趣区域（ROI）位于边界框周围，并且在ROI内的框检测的每次迭代时被更新以计及探针运动。

在动作54中，确定ROI中的边界框的位置、定向和尺度。通过使用ROI，在少于整个体积的情况下执行检测。先前检测到的位置用于将搜索区域定义为ROI。在其他实施例中，先前计算的器官位置可以用于定义ROI。通过检测ROI中的值的边界框，在ROI内跟踪器官。

在动作56中，以细化尺度稳健地检测解剖部件（例如，检测二尖瓣环）。二尖瓣环检测器由一系列基于学习的元件组成，该一系列基于学习的元件诸如针对边界框、针对二尖瓣和/或针对边界框内和/或相对于二尖瓣的环。机器学习检测器D_rigid找到二尖瓣存在、位置、定向和/或尺寸。相同、不同或替代的机器学习检测在动作56中检测环界标和在动作58中检测曲线D_annulus。分类器或来自分类器的输出用于通过最大化由概率提升树（PBT）或其他分类建模的后验概率p来估计图像I(t)的模型参数φ_rigid(t)和φ_annulus(t)：

例如，利用类哈尔和可操纵特征来训练PBT分类器，类哈尔和可操纵特征来自手动生成的二尖瓣环和界标的真实位置的数据库。

在图8的方法的一个实施例中，在系统初始化时，对整个体积I(t₁)使用沿着采用边缘空间学习的框架的参数空间的增加的维数的高效搜索来评估D_rigid。针对后续图像I（t₂... t_n）重复对完整体积的搜索，直至在动作50中获得具有高置信度（例如，）的至少三个连续图像估计。然后，假设二尖瓣存在于体积内，并且根据最后三个估计计算感兴趣区域（ROI）φ_rigid(t)，以减少用于估计瓣膜位置的计算需求。对于后续迭代t>t_n，D_rigid仅在ROI内搜索，直至估计器置信度下降，诸如下降到低于0.85（即，p(φ_rigid(t))<0.85。

为了针对可能的换能器运动是稳健的，在每次迭代时，预测器P_rigid在动作54中估计瓣膜位置以用于下一次算法迭代，并且通过在最后六次迭代上对轨迹求平均来更新ROI中心：

在估计刚性参数φ_rigid之后，D_annulus在动作56中检测解剖学上定义的界标。例如， 通过在φ_rigid内的搜索范围上扫描相应的机器学习分类器来检测左和右三角区以及后环中点。最后，通过在动作58中使用薄板样条（TPS）变换将由58个或其他数目的点组成的平均环形拟合到先前检测到的界标，来将环初始化为闭合曲线。通过沿着在每个曲线点处与环曲线横向的平面对体积进行采样来评估特殊训练的PBT分类器。使用点分布形状或其他模型来对所得到的曲线φ_annulus(t)进行空间约束。

参考图1，动作40，并且如图9中所示的，检测到的解剖结构位置周期性地（例如，t₁，t₅，t₉ ...）被馈送到动作60的光流跟踪。例如，在光流跟踪中利用来自动作52和/或动作58的机器学习检测的位置周期性地更新乳头肌位置。

在动作60中，执行光流跟踪。光流跟踪具有较高的帧速率，但是可能不如机器学习检测稳健。这种光流跟踪被稳健的基于学习的环或其他解剖结构检测器周期性地重新初始化。二尖瓣位置、姿势和尺寸和/或其他解剖结构检测（例如，界标和环）的基于学习的检测器对于来自换能器运动（例如，由于探针或患者运动的图像平移和旋转）和伪像的图像改变是稳健的。能够以高帧速率运行的光流跟踪器实现用于漂移控制的关键帧方法。虽然获得了平滑运动并且比其补充检测器跨相邻帧更好地保留时间一致性，但是光流跟踪可能漂移。根据机器学习检测以新的参考位置重新初始化或开始校正了漂移。

光流跟踪是从I（t-1）到I（t）跟踪界标的顺序跟踪器T_seq和第二非顺序关键帧跟踪器T_key的合成，第二非顺序关键帧跟踪器T_key将在初始关键帧I(t_k)上定义的界标配准到当前帧I(t)。对两个跟踪器的估计结果进行平均以获得最终估计。以这种方式，跟踪器经由逐帧部件T_seq获得平滑运动，同时经由关键帧部件T_key减少跨心动周期的漂移。跟踪器通过如下方式来迭代地估计高阶项：通过在位置x应用先前估计的运动向量场u来从模板图像创建扭曲图像，表示如下：

其中M¹和b¹根据空间和时间的导数来计算。该方案通过6次或其他次数的迭代来重复。

为了实现高帧速率，跟踪器在超声数据的球面坐标表示上（即，在声学空间中）直接运行。虽然由于各向异性采样，预期误差随着到换能器阵列的距离而增加，但是该限制不妨碍应用，因为二尖瓣通常位于距离换能器阵列50-70mm处，在换能器阵列中，假定典型的角度分辨率为约1.3，则在球面坐标中体素距离通常为1.2mm。

当检测器D的运行时间超过光流跟踪器T的处理时间时，二者如图9中所示那样并行地运行。每当检测器完成处理时，通过设置相应的环检测器结果φ_annulus(t_key)和对应的图像I(t_key)作为用于T_key的关键帧来重新初始化跟踪器，而在D运行时所创建的图像缓冲上T_seq从t_key重新开始序列跟踪。在图9的图示之后，D在时间t₂开始处理，并在时间t₅完成。新的关键帧被设置为t_key=t₂，并且T重新开始在图像I（t₂ ... t₅）上进行跟踪，然后继续t₆，图像I（t₂ ... t₅）在D运行时被缓冲。

可以使用除光流跟踪之外的其他跟踪。周期性地使用检测器位置信息来刷新或重新初始化跟踪。

在一个实施例中，检测器部件使用CUDA版本3.2来实现，并且使用nVidia QuadroK2100M图形卡、Intel Core i7-4800MQ 2.70GHz处理器和16GB RAM在测试机器上执行。测试协议使用与适用于对所记录的数据起作用的实时检测流程相同的机制，所记录的数据由专家手动注释。为了评估系统的性能，组装测试集合，测试集合包含由专家在每个个体帧上注释的所记录的TEE数据。经注释的解剖结构是左和右二尖瓣三角区界标、后-前环中点界标和二尖瓣环。测试使用总共12个TEE体积，具有153个经注释的帧。

为了测试该方法，模拟探针运动。基于通常可以用TEE换能器观察到的探针自由度（即，沿滚转、偏航和俯仰角度高达45度的探针旋转以及与探针轴共线的移位），利用刚性变换（rigid transformation）来操纵数据以模拟探针运动。因此，所得到的序列是原始序列的26倍。该倍数用于每个图像变换，包括过渡到旋转/平移状态中的平移或沿滚转、俯仰或偏航的旋转、稳定状态和平滑过渡返回到初始位置和定向。因此，提供平均500帧，该500帧覆盖针对在90×90×92mm的视野的情况下以每秒15个体积记录的体积序列的30秒，覆盖左心室和右心室二者的瓣膜。

对于定量分析，通过在上述数据集上循环来作为整体以及每个部分分别分析算法流程。对于典型获取，结果可以在图10中被观察到。图10示出了具有1.25mm误差的二尖瓣环的检测结果。下表（表2）独立地示出了检测器和跟踪器部件的准确度以及在平均误差和标准偏差方面的完整机制。

表2. 以mm为单位的性能评估（平均值±标准偏差）。

对于三个界标，通过简单地计算所获得的结果和经注释的真实之间的欧几里德距离来获得误差。环曲线的误差通过测量检测到的曲线上的每个点与真实曲线的最近线段之间的距离来计算。表1独立地报告了所提出的方法以及检测器和跟踪器部件的总体准确度。所提出的方法的准确度的范围在检测器的准确度内变化，由于漂移，跟踪部件遭受较高误差。虽然检测器部件以恒定误差运行并跟随探针运动，但是跟踪器遭受随时间的误差累积，特别是在存在探针运动的情况下。

此外，为了分析跟踪器部件在漂移方面的稳定性，测量随时间或在每一帧处的跟踪误差。图11A和11B示出了两个示例的误差。与没有关键帧更新（策略0）情况下的标准光流跟踪相比，使用机器学习检测器来更新关键帧（策略2）示出了提高的准确度。

并行检测和光流跟踪可以在各种情况或实施例中使用。该算法可以与成像设备耦合以增强对于子体积的具有比扫描体积的其余部分更高质量成像的获取，或者与扫描体积的其余部分不同的处理。可以从被检测和跟踪的结构计算用于多平面重建的平面。可以针对3D体积呈现检测和跟踪切割平面以自动裁剪3D图像，从而移除周围结构并且仅显示感兴趣解剖结构。可以通过检测和跟踪相关界标（例如，可以从被检测和跟踪的结构计算二尖瓣或主动脉瓣环直径，使得直径可以在经导管介入期间用于优化瓣膜功能）来实时地提供瓣膜评估或其他量化。可以检测或手动放置和跟踪表示任意结构（诸如器官和医学设备或植入物）的任何界标或界标总体，以用于成像和/或量化和术中指导。可以检测和跟踪解剖结构或界标以用于实时可视化作为其他类型图像上的重叠物，诸如在示出导管或与器官相互作用的其他设备的荧光镜检查图像上基于实时检测重叠器官模型或界标。

图12示出了用于检测解剖界标的系统。该系统包括换能器18、超声扫描仪10和显示器16。超声扫描仪10包括处理器12和存储器14。在替代实施例中，该系统是CT扫描仪、MR扫描仪或其他成像系统。在又其他实施例中，系统是用于使用由单独系统实时获取的数据或使用存储在存储器中的先前获取的患者特定的数据来进行模拟的工作站、计算机或服务器。例如，超声扫描仪10被提供用于获取表示体积的超声数据，并且单独的数据库、服务器、工作站和/或计算机被提供用于检测和/或跟踪解剖结构。可以使用附加的、不同的或更少的部件。

超声扫描仪10包括发射波束形成器、接收波束形成器、B模式检测器、多普勒检测器、谐波响应检测器、造影剂检测器、扫描转换器、滤波器、他们的组合或其他现在已知或以后开发的医学诊断超声系统部件。作为另一示例，不提供换能器18，诸如在系统是用于离线或稍后测量瓣膜解剖结构的工作站的情况下。

超声扫描仪10被配置为扫描患者的心脏体积。操作者选择心脏成像应用和/或调整各种设置以提供期望的帧速率、视场、成像模式和/或成像呈现。作为响应，扫描仪10提供表示在一段时间内患者心脏的至少一部分的医学诊断超声数据。获取表示在一段时间内患者的体积的数据帧序列。

换能器18是可操作为在声能和电能之间转换的压电或电容设备。换能器18是元件的阵列，诸如多维或二维阵列。替代地，换能器18是用于在一个维度中机械扫描和在另一维度中电气扫描的摆动器。在另一实施例中，阵列是心脏导管或TEE探针上的一维阵列。可以在TEE探针上提供多维阵列或多个一维阵列。

超声扫描仪10使用换能器18来扫描患者的心脏体积。电气和/或机械操纵允许沿着体积中的不同扫描线进行发射和接收。可以使用任何扫描图案。例如，通过旋转TEE阵列、移动导管阵列或利用矩阵阵列的体积扫描来扫描穿过心脏的多个不同平面。在一个实施例中，发射波束宽度足以沿着多条扫描线进行接收。在另一实施例中，平面、准直或发散发射波形被提供用于沿着多个、大量（例如，16-64个接收波束）或所有扫描线进行接收。

扫描提供表示作为序列在不同时间的心脏、心脏部分或瓣膜体积（例如，二尖瓣）的医学诊断超声数据。重复扫描以在不同时间提供体积的数据。响应于扫描来提供表示体积的超声数据。超声数据是波束形成的、检测到的和/或扫描转换的。超声数据可以是任何格式，诸如极坐标、笛卡尔坐标、三维网格、平面之间具有极坐标间隔的笛卡尔坐标中的二维平面，或其他格式。超声数据可以具有任何类型，诸如B模式、流模式（例如，PW多普勒）、频谱模式（例如，CW多普勒）、多普勒模式、造影剂、谐波或成像的其他超声模式。

处理器12是通用处理器、数字信号处理器、三维数据处理器、图形处理单元、专用集成电路、现场可编程门阵列、数字电路、模拟电路、他们的组合或用于从扫描数据检测和/或跟踪解剖结构的其他现在已知的或以后开发的设备。处理器12是单个设备、多个设备或网络。对于多于一个设备，可以使用并行或顺序划分的处理。构成处理器12的不同设备可以执行不同的功能，诸如用于检测和跟踪解剖结构的自动化解剖结构检测器和用于呈现解剖结构的图像的单独的图形处理单元。在一个实施例中，处理器12是医学诊断成像系统的控制处理器或其他处理器，诸如医学诊断超声成像系统处理器。处理器12由所存储的指令配置或根据所存储的指令操作以执行本文所描述的各种动作，诸如图1-3和/或图8-9中的动作中的任一个或全部。

在一个实施例中，处理器12被软件、固件和/或硬件配置成利用机器训练的分类器来检测解剖结构（例如，将输入特征应用于学习矩阵以输出解剖结构在某一位置的概率）。处理器12可以检测一个边界框或边界框的层级，以更高效地检测界标。任何数目的分类器被应用于各种界标中的任何一个。处理器12被配置为应用空间和/或时间约束（例如，马尔可夫约束）来选择给定帧的给定界标。

在附加或替代实施例中，处理器12被配置为利用扫描实时地确定解剖界标的位置。处理器12利用针对扫描的稀疏组的机器学习分类以及利用针对插入稀疏扫描中的扫描的光流来确定位置。处理器12可以利用来自机器学习分类器的位置来周期性地重新初始化光流。

处理器12可以生成图像。所检测到的一个或多个界标用于生成图像。患者特定的扫描数据可以用于成像。该图像提供心脏或瓣膜的可视化，该可视化是检测到和/或跟踪的界标的函数，诸如基于检测或跟踪示出相对于医学图像定位的模型。

显示器16是CRT、LCD、等离子体、投影仪、打印机或用于示出图像的其他输出设备。显示器16显示所检测到的解剖结构的图像，诸如从医学数据呈现的并基于解剖结构位置、定向和/或尺度的估计被重叠或突出显示的瓣膜的图像。显示器16显示呈现序列以生成贯穿该序列始终的解剖结构运动的可视化。可以在与扫描相同的检查阶段期间（诸如利用扫描实时地）生成该可视化。检测到的解剖结构可以或可以不被分割，诸如仅显示解剖结构。

存储器14是缓冲器、高速缓存、RAM、可移除介质、硬盘驱动器、磁、光、数据库或其他现在已知或以后开发的存储器。存储器14是单个设备或两个或更多个设备的组。存储器14被示出在系统10内，但是可以在系统10的其他部件的外部或远离系统10的其他部件。

存储器14存储超声数据，诸如表示心搏周期中不同时间处的心脏或瓣膜体积的超声数据。心脏体积包括至少一个瓣膜，但是可以表示心脏的其他部分或其他解剖结构。存储器14存储流（例如，速度、能量或二者）、频谱和/或B模式超声数据。替代地，医学图像数据从另一设备被传送到处理器12。医学图像超声数据是三维数据集或这样的集合的序列。数据表示三维区域。可以使用任何格式，诸如内插到三维网格的体素或表示平行或非平行平面的数据。

对于实时成像，超声数据绕过存储器14，被临时存储在存储器14中或者从存储器14加载。实时成像可以允许数据的获取和利用检测和/或跟踪结果进行成像之间的分数秒或甚至几秒的延迟。例如，通过与借助扫描对数据的获取基本上同时地生成图像来提供实时成像。基本上允许从完成扫描到使用图像的扫描的三秒或更少秒的延迟。在进行扫描以获取下一或后续数据集合时，针对先前的数据集合生成图像和测量结果。成像在用于获取数据的相同成像阶段或患者约定期间发生。针对实时操作的获取和成像之间的延迟量可以变化，诸如用于初始定位瓣膜解剖结构的较大延迟与用于跟踪较少延迟。在替代实施例中，来自先前成像阶段并被使用的超声数据被存储在存储器14中。

存储器14附加地或替代地是具有处理指令的非瞬时性计算机可读存储介质。存储器14存储表示可由编程处理器12执行的用于检测解剖或其他界标的指令的数据。用于实现本文讨论的过程、方法和/或技术的指令被提供在计算机可读存储介质或存储器（诸如高速缓存、缓冲器、RAM、可移除介质、硬盘驱动器或其他计算机可读存储介质）上。计算机可读存储介质包括各种类型的易失性和非易失性存储介质。响应于存储在计算机可读存储介质中或计算机可读存储介质上的一个或多个指令集来执行图中所示或本文所述的功能、动作或任务。功能、动作或任务独立于指令集、存储介质、处理器或处理策略的具体类型，并且可以通过单独或组合操作的软件、硬件、集成电路、固件、微代码等来执行。同样，处理策略可以包括多处理、多任务、并行处理等。在一个实施例中，指令被存储在可移除介质设备上以供本地或远程系统读取。在其他实施例中，指令被存储在远程位置，以通过计算机网络或通过电话线传输。在又其他实施例中，指令被存储在给定计算机、CPU、GPU或系统内。

虽然以上已经参考各种实施例描述了本发明，但是应当理解，在不脱离本发明的范围的情况下可以进行许多改变和修改。因此，意图是，前述详细描述被认为是说明性的而不是限制性的，并且应当理解，意图限定本发明的精神和范围的是包括所有等同物的所附权利要求。

Claims (21)

1.一种用于在医学成像中检测瓣下位置的方法，所述方法包括：

获取（22）医学成像数据的帧序列，所述帧中的每一个表示患者的心脏的至少一个区域的体积；

检测（26）围绕所述帧中的每一个中的心脏瓣膜的瓣膜边界框；

基于所述瓣膜边界框在所述帧中的每一个中检测（28）包围所述瓣下结构位置的瓣下边界框；

在所述帧中的每一个中检测（30）在所述瓣下边界框内的瓣下位置的候选位置；

移除（32）空间约束之外的所述候选位置；

选择（34）在帧中的每一个中进行所述移除（32）之后剩余的候选位置之一作为所述瓣下位置，所述选择（34）是跨所述帧的所述候选位置的函数；以及

突出显示（36）患者的心脏的至少所述区域的图像中的瓣下位置。

2.根据权利要求1所述的方法，其中，获取（22）包括获取（22）经食道超声心动描记术数据。

3.根据权利要求1所述的方法，其中，检测（26）所述瓣膜边界框包括利用边缘空间学习分类器检测矩形棱柱。

4.根据权利要求1所述的方法，其中，检测（28）所述瓣下边界框包括基于所述瓣下边界框相对于所述瓣膜边界框的平均位置来检测矩形棱柱。

5.根据权利要求1所述的方法，其中，检测（26）所述瓣膜边界框包括检测每一个帧中的多个候选二尖瓣边界框，并且其中，检测（28）所述瓣下边界框包括检测每一个帧中的相应的多个候选乳头状边界框，并且针对每一个帧选择乳头状边界框作为跨帧的候选乳头状边界框的随机样本一致性。

6.根据权利要求1所述的方法，其中，检测（30）所述候选位置包括利用边缘空间学习分类器进行检测。

7.根据权利要求1所述的方法，其中，移除（32）包括将所述候选位置限制到相对于所述二尖瓣的界标的有界区域。

8.根据权利要求1所述的方法，其中，选择（34）包括利用马尔可夫约束来进行选择（34）。

9.根据权利要求1所述的方法，其中，选择（34）包括从不同的候选位置集合中选择（34）在每个帧中仅具有所述候选位置之一的集合，所述选择（34）是所述集合内的候选位置之间的时间位移的函数。

10.根据权利要求1所述的方法，其中，突出显示（36）包括：显示二尖瓣的模型的图形，所述二尖瓣的模型的图形包括乳头肌位置和将所述乳头肌位置连接到二尖瓣的小叶的腱索的表示；或者显示所述乳头状尖端的图形而不显示针对其他瓣膜结构的图形。

11.根据权利要求1所述的方法，其中，获取（22）包括选择表示在一段时间内的心脏的帧集合的序列的稀疏采样；

进一步包括使用光流将所述瓣下位置定位（38）在未处于所述稀疏采样中的帧中。

12.根据权利要求11所述的方法，进一步包括利用所选择的瓣下位置周期性地更新（40）针对所述光流的瓣下位置。

13.一种非瞬时性计算机可读存储介质，具有存储在其中的表示指令的数据，所述指令可由编程处理器（12）执行以用于界标检​​测，所述存储介质包括用于下述操作的指令：

利用机器学习分类器来定位（30）候选解剖界标；

利用空间约束来限制（32）所述候选解剖界标；

从进行所述限制之后剩余的候选解剖界标中选择（34）多个体积中的每一个中的所述界标的位置，所述选择是在一段时间内的所述候选界标的函数；以及

生成（36）所述界标的图像。

14.根据权利要求13所述的非瞬时性计算机可读存储介质，其中，定位（30）包括从较大解剖结构的边界框估计所述界标的边界框。

15.根据权利要求14所述的非瞬时性计算机可读存储介质，其中，定位（30）进一步包括利用随机样本一致性来细化所述估计。

16.根据权利要求13所述的非瞬时性计算机可读存储介质，其中，利用所述机器学习分类器来定位（30）包括利用边缘空间学习分类器来进行定位。

17.根据权利要求13所述的非瞬时性计算机可读存储介质，其中，选择（34）包括利用马尔可夫约束来进行选择（34）。

18.一种用于检测解剖界标的系统，所述系统包括：

超声扫描仪（10），所述超声扫描仪（10）被配置为扫描患者的心脏体积，所述扫描提供表示在一段时间内的心脏的至少一部分的医学诊断超声数据；以及

处理器（12），所述处理器（12）被配置为在所述扫描情况下实时地确定所述解剖界标的位置，所述位置利用针对稀疏帧的机器学习分类以及针对插入在所述稀疏帧之间的帧的光流来确定，随着稀疏帧和交错帧顺序地确定的所述位置被获取。

19.根据权利要求18所述的系统，其中，所述处理器（12）被配置为利用针对所述稀疏帧确定的来自所述机器学习分类器的位置来周期性地重新初始化所述光流。

20.根据权利要求18所述的系统，其中，所述处理器（12）被配置为使用空间约束和时间马尔可夫约束，利用所述机器学习分类来确定所述位置。

21.根据权利要求18所述的系统，其中，所述处理器（12）被配置为测量在一段时间内所述解剖界标的特性。