CN102883651A - 可应用于支气管镜引导的基于图像的全局配准系统和方法 - Google Patents

Abstract

一种全局配准系统和方法可识别支气管镜的位置，无需大量支气管镜操纵、技术人员介入或者电磁传感器。可以获得3D气管树形式的仿真支气管镜检查（VB）绘图，包括所述气管树中的分支位置的VB视图。从插入到所述气管树的支气管镜接收至少一幅真实支气管镜（RB）视频图像。在计算机上执行本发明的算法，以识别VB视图最接近所接收到的RB视图的几个最可能的支气管位置，并且根据在所述VB视图中识别的分支位置可确定支气管镜在所述气管树中的3D位置。优选的实施方案涉及对整个气管分岔搜索空间中的所有分支进行快速局部配准搜索，将加权归一化的距离度量值平方和用于发现最佳匹配。

Description

可应用于支气管镜引导的基于图像的全局配准系统和方法

政府支持

本发明是在美国国立卫生研究院国家癌症研究所资助的基金R01-CA074325下由美国政府支持完成的。美国政府享有本发明的某些权利。

相关专利申请的交叉引用

本申请要求2010年1月28日提交的第61/299,194号和2010年2月3日提交的第61/300,969号美国临时专利申请的优先权，这两个临时专利申请以引用的方式全文纳入本说明书。

技术领域

本发明主要涉及到支气管镜检查，具体地涉及到一种全局配准系统和方法，其可以用在基于图像的支气管镜引导系统及其他应用中，包括其他类型的内窥镜检查操作。

背景技术

支气管镜检查是一种通常用于肺癌评估的医疗操作[1]。肺癌评估包括两个主要阶段[2,3,4]：1）三维（3D）的多排计算断层照相法（MDCT）图像评估；2）实时支气管镜检查。在MDCT评估过程中，医生使用从患者的MDCT扫描获得的二维（2D）横向切片来识别感兴趣的具体诊断区域（ROI），例如淋巴结和可疑结节[5,6,7]。在这一步骤中，医生还可确定达每个ROI的最近路径并使用2D切片思考设计3D路径。在支气管镜检查过程中，医生操纵柔软的支气管镜沿着心中预先思考设计的确定路径穿过肺气管到达每个ROI。这是通过沿从所述支气管镜检查获得的实时腔内视频输送的路径识别分岔来完成的。这种基于人工的路径设计操作被证明很具挑战性，会在早至第二次气道分叉的时就导致支气管镜检查错误[8,9]。

图像引导的支气管镜检查引导系统使得支气管镜检查更精确[4,10,11,12,13]。这些系统受仿真支气管镜检查（VB）启发，其中以人胸部的3D MDCT图像作为“仿真环境”[14,15,16]。软件定义的虚拟照相机在所述仿真环境中穿过肺部并呈现出3D数据的腔内绘图，也称为VB图像。为了有利于支气管镜检查过程中的引导，所有支气管镜检查引导系统都要依赖某些方法，用于将3D外科手术空间的真实支气管镜图像对3D MDCT仿真空间进行配准。基于用于配准的传感器类型，支气管镜检查引导系统可以是电磁的（EM）或基于图像的[3,4,11,12,13,15,16,17,18]。

基于EM的引导系统由以下部分组成：1）EM场发生器；2）可操纵的EM探针；和3）引导软件[12,13,17]。所述EM场发生器可产生环绕患者胸部的EM场。然后通过所述支气管镜的工作通道插入所述可操纵的EM探针，并在外部EM场中对其进行跟踪。在支气管镜检查开始前，使用所述可操纵的探针对外部EM场的坐标系统和MDCT的坐标系统进行校准和同步。这样，在支气管镜检查过程中对EM探针进行追踪时，所述EM探针在所述MDCT坐标系统中的位置在名义上变得已知。这样系统可以实现即时确立支气管镜尖端在3D MDCT坐标系统中的全局位置。不过，附近的金属物体会产生铁磁性设备干扰，导致外部EM场的扭曲[19]。此外，患者呼吸产生的胸部运动会导致配准错误[20]。在外周气管中，因为气管分支会随患者呼吸变小并移动，这些错误会被放大。再者，一旦所述支气管镜被引导至所述ROI，所述可操纵的探针必须从所述支气管镜的工作通道缩回，使得所述活组织检查工具可以被插入以收集ROI组织样品。因此，基于EM的支气管镜检查引导系统虽然可隐含地提供全局配准，但是局部配准仍存在问题。已经有正在进行的研究想结合基于EM和图像的引导方法以试图减少这些问题[21,22]。

基于图像的支气管镜检查引导系统倚赖来自3D MDCT扫描的气管树的体积绘图[16,23]或表面绘图[3,4,24,25]的腔内图像，目的是确定所述支气管镜的位置。这一般通过将VB图像同真实支气管镜（RB）视频图像进行比较来完成。加权归一化的差分误差平方和（WNSSD）[24]以及归一化互信息（NMI）[3,4,26]是用来比较所述两种来源图像的度量。配准是使用Powell优化法、单纯形法或梯度法来实现的。所述基于图像的支气管镜检查引导方法倚赖分岔处的局部配准，因此可以较少受到患者呼吸运动的影响。不过，由于这些方法倚赖于支气管镜视频，因此它们会受到由患者咳嗽或粘液堵塞引起的支气管镜视频中的假象的影响。并且，大多数现有系统倚赖于人工配准来进行支气管镜位置的初始化。在实时支气管镜检查操作过程中，缺少全局配准算法会导致操作时间增加和支气管镜位置某种程度上不确定。这反过来又会导致引导错误。因此，基于图像的支气管镜检查引导方法隐含地可提供出色的局部配准，但无全局配准。

全局配准可用在多个领域中，例如图像融合[27,28]、遥感[29,30]、目标识别[31]和机器人导航[32]。在机器人导航中确立全局位置的问题同基于图像的计算机引导支气管镜检查领域中的全局配准最为相似。在机器人导航中，全局配准也被称为“机器人绑架问题”，其中，当机器人移动至任意姿态并且没有可用的运动估算值时，必须对机器人的位置进行估算[32]。Moreno等人提出了一种非线性滤波器，称为周期演进位置滤波器，其使用原始传感器数据并递归地判断目前的姿态[32]。其他的使用多假设卡尔曼（Kalman）滤波器[33,34]、网格随机滤波器[35]和Monte-Carlo定位[36]的方法也已经被用来解决机器人导航中全局配准的问题。

在医学成像领域，全局配准主要被用在多模态配准中。Zhang等人描述了一种自适应的基于区域强度的超声和计算机断层摄影配准[37]。Munim等人使用用于配准多患者的磁共振(MR)图像的向量距离函数[38]。Moghari等人描述了一种用于将多个骨折定位在统计学的解剖图谱模型的全局配准方法[39]。主成分分析和无迹卡尔曼滤波器在过去分别被用于局部和全局配准。Fookes等人也描述了一种方法，用于通过把所述问题公式化为将协方差加权的非线性最小二乘函数最小化，配准来自同一患者的多个MR图像[40]。

在基于图像的支气管镜检查引导中，研究者已致力于局部配准的问题。但是，很少人从事全局配准的工作，而通过全局配准才可以确立支气管镜的分支位置。Bricault等人提出了一种用来配准的多级策略[23]。在这项工作中，次级分壁从一个分岔到另一个分岔的相对位置改变被用来识别所述支气管镜的分支位置。Shinohara等人描述了一种使用特征空间图像匹配的分支识别方法[41]。不过，这种方法可解决支气管镜跟踪的问题，不能用于全局配准。而且，该方法需要人工初始化。

发明内容

本发明是一种全局配准系统和方法，可用于基于图像的支气管镜检查引导系统及其他应用，包括其他类型的内窥镜操作。通过识别目前的分支位置而恢复同步化，从而有利于全局的、不依赖技术人员的支气管镜检查引导，不需要任何外部设备例如电磁传感器。

获得3D气管树的仿真支气管镜检查（VB）绘图，这些中包括所述气管树中分支位置的VB视图。从插入到所述气管树中的支气管镜接收至少一幅真实支气管镜（RB）视频图像。在计算机上执行本发明的算法来识别VB视图最接近所接收到的RB视图的几个最可能支气管位置，并且依照VB视图中识别的分支位置来确定所述气管树中支气管镜的3D位置。

所述算法可以使用多种技术来加速运算，包括先进行分支内搜索然后进行分支间搜索。具体地，可以对全局气管分岔搜索空间中的所有分支进行快速搜索，以加权归一化的距离度量值平方和来确定最佳匹配。在优选实施方案中，分支内搜索使用预计算的管腔区域外接矩形，同时结合快速的局部配准微调。

分支内搜索由下式给出：

${\widehat{\mathrm{\θ}}}^{b_i}=\arg \underset{\mathrm{\χ}\∈b_i}{\max }C(I_V,I_{\mathrm{CT}}^{\mathrm{\χ}})$

其中C(·，·)是相似度函数，

是给定RB视频图像I_v中分支i的最佳观察点，b_i是K_tree的子集且含有分支I中所有的观察点。

分支间搜索由下式给出：

${\widehat{\mathrm{\θ}}}^o=\arg \underset{\mathrm{\χ}\∈K_{{\widehat{\mathrm{\θ}}}^{b_i}}}{\min }D(I_V,I_{\mathrm{CT}}^{\mathrm{\χ}})$

其中

是从分支内搜索获得的观察点的集合。

结果显示，所述算法目前对于每个搜索空间分支需要3秒，有准确度随着可视搜索空间减少而提高的趋势。当使用同一分岔的多个视图时，所述算法的准确率大约为90%。当使用所述气管剖视图时——其中测试图像的光照模式与用于所述VB图像的不同，得到89%的全局配准准确度。

附图说明

图1A和1B显示了支气管镜检查视频图像失真的校正；

图2A-2F显示了3D气管树和仿真支气管镜的实例；

图3图示了用于分支内搜索的预计算；

图4A显示了输入RB图像；

图4B-4F显示了在搜索空间的5个不同分支中通过所述分支内搜索发现的与最佳支气管镜位置相关的VB图像；

图5A-5E显示了用于气管剖视图的输入支气管镜视频图像；

图5F-5J显示了通过用于气管剖视图的算法估算的所述支气管镜位置处的VB图像。

具体实施方式

在支气管镜检查过程中，医生可操纵气管镜穿过气管树。基于图像的支气管镜引导系统在分岔处提供不连续的引导。为了将所述支气管镜视频中观察到的视图与多排检测器计算机断层扫描MDCT坐标系统进行配准，我们使用3D MDCT数据对通过支气管镜观察到的图像建立模型。

为了对所述VB视图建立模型，首先使用离线步骤将所述支气管镜照相机校准[42]。计算所述照相机的参数，例如焦距f和FOV角度。还要得到某些系数，目的是校正如图1所示的视频图像的桶形失真。图1A和1B显示了支气管镜视频图像失真的校正。具体地，图1A显示了含有桶形失真的支气管镜视频图像的实例，图1B显示了校正失真后的支气管镜视频图像。

为了产生VB视图，使用强的分段算法将所述气管树自动分段[43]。对所述3D分段运行移动立方体算法，以获得所述气管树的多边形表面表示[44]。所述仿真支气管镜被设计为针孔照相机样式，其焦距为f且具有和支气管镜照相机相同的图像尺寸。腔内气管表面被假定为朗伯体（Lambertian），其中光源位于焦点处。将次级反射忽略。使用这些假定，所述VB视图使用OpenGL绘制[45]，如图2A-2F所示。仿真支气管镜检查视图。图2A-2C显示的实例是所述3D气管树以及位于气管、左主支气管和右主支气管中的仿真支气管镜（黄色圆筒+图示的针）（在2D-2F中显示）和相应的VB视图。

全局配准问题

全局配准可以被定义为确定支气管镜在3D气管树中的当前分支位置。为了用公式表示全局配准问题，我们设想了一种情况：支气管镜被“盲目地”插入到所述气管中以使它位于某个分岔处。我们将从所述支气管镜获得的真实支气管镜（RB）视频图像表示为I_V(x,y)。将从所述仿真支气管镜获得的仿真支气管镜检查（VB）绘图表示为I_CT(x,y)。将目前未知的所述支气管镜观察点表示为θ＝(x，y，z，α，β，γ)，其中(x，y，z)给出了3D空间位置，(α，β，γ)指示出欧拉角。所述全局配准算法可发现包含所述观察点的分支，即该观察点有VB视图最接近于所给RB视图。

该问题可以被看作为最大后验（MAP）问题。第一部分是概率密度估算问题，其中我们可估算输入的支气管镜视频给出的可用支气管镜姿态空间上的后验密度。该问题公式表示类似于Moreno等人[32]的公式表示。在该论文中，迭代求解被用于进行全局配准，不过我们提出了一种使用单图像进行配准的方法，这同Wei β等人[46]的方法类似。从MAP的观点看，所述全局配准问题是最优化问题，这里我们可估算其中所述支气管镜给出使后验概率密度最大的姿态的分支

$\widehat{\mathrm{\θ}}=\arg \underset{\mathrm{\χ}\∈K_{\mathrm{tree}}}{\max }p\left(\mathrm{\χ}\right|I_V)---\left(1\right)$

其中

是估算的最优观察点，χ是观察点的搜索空间K_tree中的观察点之一，p(χ|I_V)是输入的支气管镜视频给出的可用支气管镜姿态空间上的后验密度。使用贝叶斯定理（Bayes theorem），我们得到

$p\left(\mathrm{\χ}\right|I_V)=\frac{p\left(I_V\right|\mathrm{\χ})\·p\left(\mathrm{\χ}\right)}{p\left(I_V\right)}---\left(2\right)$

在上式中，如果所有支气管镜姿态都被等可能性地考虑，那么p(χ)可以被认为是常数，p(I_V)是与χ相关的常数。这样，我们得到

argmax p(χ|I_V)＝argmax p(I_V|χ)   （3）

项p(I_V|χ)可以使用可得到I_V和χ处绘制的VB图像（由

给出）之间的相似度的相似度函数来估算。因此，式（3）变为

$\arg \max p\left(I_V\right|\mathrm{\χ})=\arg \max C(I_V,I_{\mathrm{CT}}^{\mathrm{\χ}})---\left(4\right)$

其中C(·，·)是可给出所述支气管镜视频图像I_V和在χ姿态处获得的绘图之间的相似度测量值的相似度函数。如果用不相似测量值来代替相似度函数C(·，·)，那么全局配准问题变为

$\widehat{\mathrm{\θ}}=\arg \underset{\mathrm{\χ}\∈K_{\mathrm{tree}}}{\min }D(I_V,I_{\mathrm{CT}}^{\mathrm{\χ}})---\left(5\right)$

这里D(·，·)是RB图像I_V和在观察点χ处的VB图像之间的不相似函数，K_tree是所述观察点的搜索空间。最优的分支由下式给出

$b^o=B\left(\widehat{\mathrm{\θ}}\right)---\left(6\right)$

其中B(·)是可发现含有所述观察点的分支的函数。

所提出的算法接受为输入一幅或多幅实时支气管镜视频图像并输出支气管镜在气管树中的3D位置。所述算法可以在不知道所述支气管镜位置的时候在实时支气管镜检查过程中调用。然后，所述算法将确定所述支气管镜在所述气管树中的位置。在调用所述算法前，医生放置好所述支气管镜以得到气管分岔的良好视图，以便很好地呈现腔内区域，如图4所示。在同一个分岔或在相关分岔（母子分岔）上多次运行所述算法可用于提高所述方法的总准确度。所述算法大体上可分为两个主要阶段：分支内搜索和分支间搜索。

图3图示了用于分支内搜索的预计算。该图显示了对用蓝线高亮的分支进行的预计算。红线是预先确定的穿过3D气管树的中心线导航路径。绿色三角形高亮了沿着选定分支的三个预先确定的观察点（A、B、C）。所述观察点右边的图是与各自观察点相关的VB绘图（A1、B1、C1）、阈值过滤管腔的图像（A2、B2、C2）以及最小外接矩形（A3、B3、C3）。所述最小外接矩形的较长边长度在预计算过程中被保存，在后面用于将给定RB图像定位于给定分支中。

分支内搜索

分支内搜索可以用公式表示为

${\widehat{\mathrm{\θ}}}^{b_i}=\arg \underset{\mathrm{\χ}\∈b_i}{\max }C(I_V,I_{\mathrm{CT}}^{\mathrm{\χ}})---\left(7\right)$

其中C(·，·)是相似度函数，

是对于给定RB视频图像I_v的分支i的最佳观察点，b_i是K_tree的子集，含有分支i中所有的观察点。

该最优化过程需要涵盖给定分支中所有可能的观察位置。这在实时算法中由于耗费的时间过长而是不现实的。因此，我们使用一种新的分支内搜索，其包括两个步骤。在第一步中，所述分支内搜索对沿所述分支中心线的所有预先定义的观察点进行快速扫描。第二步包括使用快速局部配准对绘图位置进行调整。由于所述支气管镜横滚角的不确定性，我们使用不同横滚角对每个分支使用了一组四个可能的位置。

如图3所示，当绘图位置沿所述中心线向所述分岔移动时，所述管腔区域的最小外接矩形的较长边有变化。这是沿所述中心线快速扫描搜索的基本思想。在该搜索中，首先，对所述输入真实图像I_V进行阈值过滤，以将所述管腔区域分段。值p=10的p率阈值化已经被凭经验发现可以给出对所述管腔分段的良好结果。一旦对所述管腔区域完成分段，就可以发现所述管腔区域的凸包。我们将Bentley-Faust-Preparata（BFP）快速近似2D凸包算法用于该目的[47]。这种凸包可用来发现如图3所示的管腔区域的最小外接矩形。所述外接矩形的较长边被保存为Dim_Max。在所有所述分支的所有预先定义中心线观察点处进行相同特征提取步骤，作为预计算步骤，并保存外接矩形的较长边。在实时全局配准中，在其特征值最接近Dim_Max的每个分支处，所述分支内搜索给出了最佳中心线观察点。所获得的最佳绘图位置具有固定的横滚角。但是，所述真实图像可能具有任何可能的横滚角。为解决这个问题，将90°、180°和270°的横滚角应用于该绘图位置，对于每个分支产生四个最佳绘图位置。

从具有多个自由度的支气管镜获得的真实图像。因此，前一步骤获得的四个最佳绘图位置可能不会给出与真实图像I_V类似的绘制图像I_CT。因此，对前一步骤获得的四个绘图位置使用用于局部配准的反向合成方法进一步进行调整[24]。所述局部配准使用WNSSD度量进行图像比较，并使用高斯-牛顿梯度法（Gauss-Newton gradient）更新参数（Θ_Δ），如下式（8）和（9）所给出。

$D_1=\left\{\underset{u,v}{\mathrm{\Σ}}{w}_{u,v}{[\frac{I_{\mathrm{CT}}(u,v)-{\mathrm{\μ}}_{\mathrm{CT}}}{{\mathrm{\σ}}_{\mathrm{CT}}}-\frac{I_V(u,v)-{\mathrm{\μ}}_V}{{\mathrm{\σ}}_V}]}^2\right\}---\left(8\right)$

其中μ_CT和μ_V是各自的加权图像均值，

和

是各自的加权图像方差，w_u，v是权重，可用于基于几何形状、灰度值、强度梯度或任何适合的置信度测量值对图像中像素任意分配较高重要性。这里，我们使用了极小加权的情况

w_u，r＝1，

${\mathrm{\Θ}}_{\mathrm{\Δ}}=H^{-1}{|}_{\mathrm{\Θ}=\stackrel{\→}{0}}\underset{u,v}{\mathrm{\Σ}}{\stackrel{\‾}{\left[\frac{\∂I_{\mathrm{CT}}}{\∂\mathrm{\Θ}}\right]}}_{\mathrm{\Θ}=\stackrel{\→}{0}}^T[{\stackrel{\‾}{I}}_V\left(W(u,v,Z;{\mathrm{\Θ}}_{\mathrm{eq}})\right)-{\stackrel{\‾}{I}}_{\mathrm{CT}}(u,v)]---\left(9\right)$

其中

是最速下降图像的6D行向量，

和

是归一化的图像，高斯-牛顿海赛函数H由下式计算

$H=\underset{u,v}{\mathrm{\Σ}}{w}_{u,v}{\stackrel{\‾}{\left[\frac{\∂I_V}{\∂\mathrm{\Θ}}\right]}}^T\stackrel{\‾}{\left[\frac{\∂I_V}{\∂\mathrm{\Θ}}\right]}---\left(10\right)$

参数更新运行200ms，这对于收敛是足够的，并且会限制对每个分支形成四个图像绘图位置的算法总运行时间。对在每一个这些位置处的绘制图像进行阈值过滤，以获得所述管腔区域。然后，将这些阈值过滤后的图像与使用方程式(11)中所述的度量C₁从所述真实图像获得的阈值过滤后的管腔图像进行比较。把方程式(11)代入方程式(7)，我们得到所述分支的最佳绘制位置。

$C_1(I_1,I_2)=\frac{n_{I_1\∩I_2}}{n_{I_1\∪I_2}}---\left(11\right)$

其中

并且

分支间搜索

分支间搜索由下式给出

${\widehat{\mathrm{\θ}}}^o=\arg \underset{\mathrm{\χ}\∈K_{{\widehat{\mathrm{\θ}}}^{b_i}}}{\min }D(I_V,I_{\mathrm{CT}}^{\mathrm{\χ}})---\left(12\right)$

其中

是从分支内搜索获得的一组观察点。在方程式(12)中，我们使用了方程式(8)中定义的WNSSD不相似性度量。使用方程式(6)，所述最佳观察点被用于发现目前的支气管镜分支位置。

以上的全局配准方法已经在方程式(12)中进行了概述。图4A-4F显示了对所述搜索空间的不同分支的最佳匹配，图4B显示了分支间搜索后正确识别的分支。图4A显示了输入RB图像，图4B-4F显示了与在所述搜索空间的五个不同分支中进行分支内搜索发现的最佳支气管镜位置相关的VB图像。分支间搜索正确识别了具有图4B中所示的绘图的分支作为最佳分支。

结果

为评估所述全局配准算法的准确度，我们进行了三组测试。在第一组中，我们使用仿真案例研究评估了所述全局配准算法。第二组测试使用从支气管镜探测气管剖视图获得的RB图像评估了全局配准算法的准确度。在第三组中，我们评估了当使用多个测试图像时所述算法准确度的提高。

使用仿真案例进行评估

使用来自如表Ⅰ中所述的自愿患者的CT数据的三个仿真案例，评估了所述全局配准算法。在使用仿真支气管镜案例时，使用了来自最初5次气管分叉的28个分支。通过改变所述算法的搜索空间进行了四次不同测试。在所有测试中，从所述分支搜索空间中随机地选择仿真支气管镜分岔视图——这作为所述测试中未知的“实时支气管镜视频”视图。该分岔视图通过沿分支随机移动到任一观察点获得。使用了0°-360°之间的随机横滚角，并且向所述仿真支气管镜位置施加最大为±5mm的扰动以使所述仿真支气管镜偏离中心线。在第一个测试组中，所有分支被用于所述搜索空间。第二组中，通过只使用左肺或右肺的分支将所述搜索空间分为两部分。第三组中，基于肺叶区域把所述搜索空间分为五个不同的部分。第四组中，在所述搜索空间中只使用了同一分支的子分支。这些测试的结果总结在表Ⅱ中。全局配准的准确度为71%到92%。可以注意到，从28个气管分支中随机选择仅得到3.6%的“准确度”。

表I.用于测试的案例的总结

表II：不同测试组的仿真支气管镜案例的全局配准准确度百分数

案例数	全树	半树	肺叶	分支对
						(第1组)	(第2组)	(第3组)	(第4组)
47	73％	76％	80％	92％
					49	75％	77％	83％	91％
61	71％	73％	80％	83％

使用剖视图案例进行评估

气管剖视图测试包括在预先构建的气管树剖视图上进行实时支气管镜检查[25]。所述剖视图在使用直径5.9mm的支气管镜时由5个不同的可达到的分支分岔组成。在进行所述全局配准时，来自所述支气管镜的每个输入的视频图像被用作输入，所述全局配准算法的输出是来自所述搜索空间的五个分支之一。为了进行测试，将所述支气管镜移动到所述五个不同分支的每一个，将该支气管镜操作采集的视频用于所述测试中。在所采集的视频中，本研究仅使用那些具有良好分岔视图的图像。总共获得了836幅这样的图像。所述全局配准算法对这836幅图像给出89%的准确度（见图5A-5J）。图5A-5J显示了气管剖视图的全局配准结果。上排（图5A-5E）是输入支气管镜视频图像，下排（5F-5J）是由所述算法估算出的支气管镜位置处的VB图像。

使用多个图像进行评估

为评估所述全局配准算法使用多个图像的性能，使用了表Ⅰ中所述的仿真案例。该测试设置与使用仿真案例进行评估时所使用的设置相同。我们进行了两组测试。在第一组中，将同一分岔的多个“随机视图”用于测试。在该测试方法中，每个图像都独立地通过所述全局配准算法进行估算。给出最低WNSSD度量值（来自式（12）的最佳值）的图像决定了所述图像的分支位置。在第二组中，使用了两个连续分岔的测试图像。所述两个分支均被独立地估算。在所述两个测试图像中，给出较低WNSSD度量值的图像确定所述分支对。该组测试的结果总结在表Ⅲ中。所述全局配准的准确度是82%到99%。在所有以上的测试中，对于每个搜索空间分支，所述算法运行的平均时间均被发现为2-3秒。

表III.对仿真支气管镜检查案例使用多个测试图像时的全局配准准确度百分数

案例数	3图像	5图像	两个连续分岔
					(第1组)	(第1组)	(第2组)
47	94％	98％	89％
				49	95％	99％	87％
61	85％	86％	82％

参考文献

1.K.P.Wang，A.C.Mehta，and J.F.Turner，eds.，Flexible Bronchoscopy，2nd，Ed.，BlackwellScience，Cambridge，MA，2003.

2.A.D.Sihoe and A.P.Yim，″Lung cancer staging，″J.Surgical Research，vol.117，no.1，pp.92-106，Mar.2004.

3.J.P.Helferty，A.J.Sherbondy，A.P.Kiraly，and W.E.Higgins，″Computer-based system forthe virtual-cndoscopic guidancc of bronchoscopy，″Comput.Vis.Image Underst.，vol.108，no.1-2，pp.171-187，Oct.-Nov.2007.

4.W.E.Higgins，J.P.Helferty，K.Lu，S.A.Merriu，L.Rai，and K.C.Yu，″3D CT-video fusionfor image-guided bronchoscopy，″Comput.Med.Imaging Graph.，vol.32，no.3，pp.159-173，April 2008.

5.E.A.Kazerooni，″High resolution CT of the lungs，″Am.J.Roentgenology，vol.177，no.3.pp.501-519，Sept.2001.

6.N.C.Dalrymple，S.R.Prasad，M.W.Freckleton，and K.N.Chintapalli，″Introduction to thelanguage of three-dimensional imaging with multidetector CT，″Radiographics，vol.25，no.5，pp.1409-1428，Sept.-Oct.2005.

7.J.Ueno，T.Murase，K.Yoneda，T.Tsujikawa，S.Sakiyama，and K.Kondoh，″Three-dimensional imaging of thoracic diseases with multi-detector row CT，″J.Med.Invest.，vol.51，no.3-4，pp.163-170，Aug.2004.

8.D.Osbornc，P.Vock，J.Godwin，and P.Silverman，″CT idcntification of bronchopulmonarysegments：50 normal subjects，″AJR，vol.142，no.1，pp.47-52，Jan.1984.

9.M.Y.Dolina，D.C.Cornish，S.A.Merritt，L.Rai，R.Mahraj，W.E.Higgins，and R.Bascom，″Interbronchoscopist variability in endobronchial path selection：a simulation study，″Chest，vol.133，no.4，pp.897-905，April 2008.

10.F.Asano，Y.Matsuno，A.Tsuzuku，M.Anzai，N.Shinagawa，H.Moriya，et al.，″Diagnosisof peripheral pulmonary lesions using a bronchoscopc insertion guidance system combined withendobronchial ultrasonography with a guide sheath，″Lung Cancer，vol.60，no.3，pp.366-373，June 2008.

11.S.B.Solomon，P.White，Jr.，C.M.Wiener，J.B.Orens，and K.P.Wang，″Three-dimensionsal CT-guided bronchoscopy with a real-time electromagnetic position sensor：acomparison of two image registration methods，″Chest，vol.118，no.6，pp.1783-1787，Dec.2000.

12.TR.Gildea，P.J.Mazzone，D.Karnak，M.Meziane，and A.C.Mehta，″Electromagneticnavigation diagnostic bronchoscopy：a prospectivc study，″Am.J.Resp.Crit.Care Med.，vol.174，no.9，pp.982-989，1 Nov.2006.

13.Y.Schwarz，J.Greif，H.D.Becker，A.Ernst，and A.Mehta，″Real-time electromagneticnavigation bronchoscopy to peripheral lung lesions using overlaid CT images：the first humanstudy，″Chest，vol.129，no.4，pp.988-994，April 2006.

14.W.E.Higgins，K.Ramaswamy，R.Swift，G.McLcnnan，and E.A.Hoffman，″Virtualbronchoscopy for 3D pulmonary image assessment：State of the art and future needs，″Radiographics，vol.18，no.3，pp.761-778，May-June 1998.

15.H.P.McAdams，P.C.Goodman，and P.Kussin，″Virtual bronchoscopy for directingtransbronchial needle aspiration of hilar and mediastinal lymph nodes：a pilot study，″Am.J.Roentgenology，vol.170，no.5，pp.1361-1364，May 1998.

16.K.Hopper，T.Lucas.K.Gleeson，J.Stauffer，R.Bascom，D.Mauger，and R.Mahraj，″Transbronchial biopsy with virtual CT bronchoscopy and nodal highlighting，″Radiology，vol.221，no.2，pp.531-536，Nov.2001.

17.H.D.Becker，F.Herth，A.Ernst，and Y.Schwarz，″Bronchoscopic biopsy of periphcral lunglesions under electromagnetic guidance：a pilot study，″J.Bronchology，vol.12，no.1，pp.9，Jan.2005.

18.N.Shinagawa，K.Yamazaki，Y.Onodera，K.Miyasaka，E.Kikuchi，H.Dosaka-Akita，andM.Nishimura，″CT-guided transbronehial biopsy using an ultrathin bronchoscope with virtualbronchoscopic navigation，″Chest，vol.125，no.3，pp.1138-1143，Mar.2004.

19.K.Mori，K.Ishitani，D.Deguchi，T.Kitasaka，Y.Sucnaga，H.Takabatake，M.Mori，and H.Natori，″Compensation of electromagnetic tracking system using an optical tracker and itsapplication to bronchoscopy navigation system，″2007，vol.6509，p.65090M，SPIE.

20.I.Wegner，J.Biederer，R.Tetzlaff，I.Wolf，and H.-P.Mcinzer，″Evaluation and extension ofa navigation system for bronchoscopy inside human lungs，″in SPIE Medical Imaging 2007：Visualization and Image-Guided Procedures，Kevin R.Cleary and Michael I.Miga，Eds.，2007，vol.6509，pp.65091H1-65091H12.

21.T.D.Soper，D.R.Haynor，R.W.Glenny，and E.J.Seibel，″Validation of CT-videoregistration for guiding a novel ultrathin bronchoscope to peripheral lung nodules usingelectromagnetic tracking，″in  Society of Photo-Optical Instrumentation Engineers(SPIE)Conference Series，Feb.2009，vol.7261 of Society of Photo-Optical Instrumentation Engineers(SPIE)Conference Series.

22.K.Mori，D.Deguchi，K.Akiyama，T.Kitasaka，C.R.Maurer，Y.Suenaga，H.Takabatake，M.Mori，and H.Natori，″Hybrid bronchoscope tracking using a magnetic tracking sensor andimage registration，″in Medical Image Computing and Computer Assisted Intervention 2005，J.Duncan and G.Gerig，Eds.，2005，vol.LNCS 3750，pp.543-550.

23.I.Bricault，G.Ferretti，and P.Cinquin，″Registration of real and CT-derived virtualbronchoscopic images to assist transbronchial biopsy，″IEEE Transactions on Medical Imaging，vol.17，no.5，pp.703-714，Oct.1998.

24.S.A.Merritt，L.Rai，and W.E.Higgins，″Real-time CT-video registration for continuousendoscopic guidance，″in SPIE Medical Imaging 2006：Physiology，Function，and Structurefrom Medical Images，A.Manduca and A.A.Amini，Eds.，2006，vol.6143，pp.370-384.

25.S.A.Merritt，J.D.Gibbs，K.C.Yu，V.Patel，L.Rai，D.C.Cornish，R.Bascom，and W.E.Higgins，″Real-time image-guided bronchoscopy for peripheral lung lesions：A phantom study.″Chest，vol.134，no.5，pp.1017-1026，Nov.2008.

26.J.P.Helferty and W.E.Higgins，″Technique for registering 3D virtual CT images toendoscopic video，″IEEE Int.Conf.Image Processing，vol.lI，pp.893-896，Oct.7-10 2001.

27.E-Y Kang，I.Cohen，and G.Medioni，″A graph-based global registration for 2D mosaics，″inICPR，2000，pp.1257-1260.

28.Y.Wang and Lu-ping L.Xu，″A global optimized registration algorithm for image stitching，″in Image and Signal Processing，2008.CISP′08.Congress on，May 2008，vol.3，pp.525-529.

29.Y.Li and C.Davis，″A combined global and local approach for automated registration ofhigh-resolution satellite images using optimum extrema points，″in Geoscience and RemoteSensing Symposium，2008.IGARSS 2008.IEEE International，July 2008，vol.2，pp.II-1032-II-1035.

30.A.Wong and D.Clausi，″ARRSI：Automatic registration of remote-sensing images，″Geoscience and Remote Sensing，IEEE Transactions on，vol.45，no.5，pp.1483-1493，May2007.

31.N.Gelfand，N.J.Mitra，L.J.Guibas，and H.Pottmann，″Robust global registration，″in SGP2005：Third

Eurographics Symposium on Geometry processing，Matthieu Desbrun and Helmut Pottmann，Eds.2005，pp.197-206，Eurographics Association.

32.L.Moreno，S.Garrido，and D.Blanco，″Mobile robot global localization using ancvolutionary MAP filter，″J，of Global Optimization，vol.37，no.3，pp.381-403，2007.

33.P.Jensfelt and S.Kristensen，″Active global localisation for a mobile robot using multiplehypothesis tracking，″IEEE Transactions on Robotics and Automation，vol.17，no.5，pp.748-760，Oct 2001.

34.K.O.Arras，J.A.Castellanos，M.Sehilt，and R.Siegwart，″Feature-based multi-hypothesislocalization and tracking using geometric constraints，″Robotics and Autonomous Systems，vol.44，no.l，pp.41-53，2003.

35.W.Burgard，D.Fox，D.Hennig，and T.Schmidt，″Estimating the absolute position of amobile robot using position probability grids.″in AAAI/IAAI，Vol.2，1996.

36.F.Dellaert，D.Fox，W.Burgard，and S.Thrun，″Monte Carlo localization for mobile robots，″in IEEE International Conference on Robotics and Automation(ICRA99)，May 1999.

37.Z.Zhang，″Adaptive region intensity based rigid ultrasound and CT image registration，″inComputer Vision and Pattern Recognition，2008.CVPR 2008.IEEE Conference on，June 2008，pp.1-7.

38.H.Munim and A.Farag，″A new global registration approach of medical imaging usingvector maps，″in Biomedical Imaging：From Nano to Macro，2007.ISBI 2007.4th IEEEInternational Symposium on，April 2007，pp.584-587.

39.M.H.Moghari and P.Abolmaesumi，″Global registration of multiple bone fragments usingstatistical atlas models：Feasibility experiments，″in Engineering in Medicine and BiologySociety，2008.EMBS 2008.30th Annual International Conference of the IEEE，Aug.2008，pp.5374-5377.

40.C.Fookes，J.Williams，and M.Bennamoun，″Global 3D rigid registration of medicalimages，″in Image Processing，2000.Proceedings.2000 International Conference on，2000，vol.2，pp.447-450.

41.R.Shinohara，K.Mori，D.Deguchi，T.Kitasaka，Y.Suenaga，H.Takabatake，M.Mori，andH.Natori，″Branch identification method for CT-Guided bronchoscopy based on eigenspaceimage matching between real and virtual bronchoscopic images，″in SPIF Medical Imaging2006：Physiology，Function，and Structure from Medical Images，A.Manduca and A.A.Amini，Eds.，Mar.2006，vol.6143，pp.385-396.

42.J.P.Helferty，C.Zhang，G.McLennan，and W.E.Higgins，″Videoendoscopic distortioncorrection and its application to virtual guidance of endoscopy，″IEEE Trans.Med.Imaging，vol.20，no.7，pp.605-617，July 2001.

43.M.W.Graham，J.D.Gibbs，D.C.Cornish，M.Khan，R.Bascom，and W.E.Higgins，″Image-guided peripheral bronchoscopy：A pilot human study，″Chest，under review，2009.

44.W.E.Lorensen and H.E.Cline，″Marching cubes：A high resolution 3D surface constructionalgorithm，″Computer Graphics，vol.21，no.4，pp.163-169，Jul.1987.

45.R.S.Wright，Jr.，and B.Lipchak，OpenGL Super Bible，3rd.Ed.，SAMS Publishing，2005.46.G.Weifi，C.Wetzler，and E.V.Puttkamer，″Keeping track of position and orientation ofmoving indoor systems by correlation of range-findcr scans，″in In Proc.1994 IEEE Int.Conf.on Intelligent Robots and Systems IROS′94，1994，pp.595-601.

47.J.L.Bentley，F.P.Preparata，and M.G.Faust，″Approximation algorithms for convexhulls，″Commun.ACM，vol.25，no.1，pp.64-68，1982.

Claims (28)

1.一种可用于支气管镜引导及其他应用的全局配准方法，所述方法包括以下步骤：

获得3D气管树的仿真支气管镜检查（VB）绘图，所述绘图包括所述气管树内分支位置的VB视图；

从插入到所述气管树中的支气管镜接收至少一幅真实支气管镜（RB）视图；

在计算机上提供并执行算法，所述计算机可运算以识别VB视图最接近所接收到的RB视图的最佳分支位置；并且

基于在所述VB视图中识别的分支位置输出所述支气管镜在所述气管树内的3D位置。

2.权利要求1所述的方法，其中所述RB视图是从视频图像获得的。

3.权利要求1所述的方法，其中所述算法可识别VB视图最接近所接收到的RB视图多个最可能的分支位置。

4.权利要求1所述的方法，其中所述算法使用关于所述气管树内总体支气管镜位置的区域特异性信息。

5.权利要求4所述的方法，其中所述区域特异性信息包括当前的肺标识或肺叶位置。

6.权利要求1所述的方法，包括以下步骤：

从所述支气管镜接收多个RB视图；并且

识别出VB视图最接近所接收到的RB视图的最佳分支位置。

7.权利要求6所述的方法，其中所述多个RB视图与气管树内的同一或多个分支位置相关。

8.权利要求1所述的方法，其中所述算法包括使用加权归一化的距离度量值平方和对整个气管分岔搜索空间中的所有分支进行快速搜索来确定最佳匹配的步骤。

9.权利要求1所述的方法，其中所述算法先进行分支内搜索然后进行分支间搜索。

10.权利要求9所述的方法，其中所述分支内搜索由下式给出：

${\widehat{\mathrm{\θ}}}^{b_i}=\arg \underset{\mathrm{\χ}\∈b_i}{\max }C(I_V,I_{\mathrm{CT}}^{\mathrm{\χ}})$

其中C(·，·)是相似度函数，是对于给定RB视频图像I_v的分支i的最佳观察点，b_i是K_tree的子集，含有分支I中所有的观察点；并且

所述分支间搜索由下式给出：

${\widehat{\mathrm{\θ}}}^o=\arg \underset{\mathrm{\χ}\∈K_{{\widehat{\mathrm{\θ}}}^{b_i}}}{\min }D(I_V,I_{\mathrm{CT}}^{\mathrm{\χ}})$

其中

是从分支内搜索获得的一组观察点。

11.权利要求9所述的方法，其中所述分支内搜索使用预计算的管腔区域外接矩形和快速局部配准微调。

12.一种可用于支气管镜引导及其他应用的全局配准方法，所述方法包括以下步骤：

获得3D气管树的仿真支气管镜检查（VB）绘图，所述绘图包括所述气管树内分支位置的VB视图；

从插入到所述气管树中的支气管镜接收至少一幅真实支气管镜（RB）视图；

在计算机上提供并执行算法来识别VB视图最接近所接收到的RB视图的分支位置，所述算法包括先进行分支内搜索然后进行分支间搜索；并且

基于在所述VB视图中识别的最可能的分支位置输出所述支气管镜在所述气管树内的3D位置。

13.权利要求12所述的方法，其中所述算法使用关于所述气管树内总体支气管镜位置的区域特征信息。

14.权利要求13所述的方法，其中所述区域特异性信息包括当前的肺标识或肺叶位置。

15.权利要求12所述的方法，其中所述算法包括使用加权归一化的距离度量值平方和对整个气管分岔搜索空间中的所有分支进行快速搜索来确定最佳匹配的步骤。

16.权利要求12所述的方法，其中分支内搜索由下式给出：

${\widehat{\mathrm{\θ}}}^{b_i}=\arg \underset{\mathrm{\χ}\∈b_i}{\max }C(I_V,I_{\mathrm{CT}}^{\mathrm{\χ}})$

其中C(·，·)是相似度函数，

是给定RB视频图像I_v中分支i的最佳观察点，b_i是K_tree的子集，含有分支I中所有的观察点；并且

所述分支间搜索由下式给出：

${\widehat{\mathrm{\θ}}}^o=\arg \underset{\mathrm{\χ}\∈K_{{\widehat{\mathrm{\θ}}}^{b_i}}}{\min }D(I_V,I_{\mathrm{CT}}^{\mathrm{\χ}})$

其中

是从分支内搜索获得的一组观察点。

17.权利要求12所述的方法，其中所述分支内搜索使用预计算的管腔区域外接矩形和快速局部配准微调。

18.一种可用于支气管镜引导及其他应用的全局配准系统，包括：

存储器，用于储存3D气管树的仿真支气管镜检查（VB）绘图，所述绘图包括所述气管树内分支位置的VB视图；

支气管镜，用于产生所述气管树的真实支气管镜（RB）视图；

计算机，可运算以使用所述RB视图来搜索并分析所述VB图像以识别与所接收到的RB视图最接近匹配的分支位置；和

显示器，可基于所述VB视图中识别的分支位置呈现出所述支气管镜在所述气管树内的3D位置。

19.权利要求18所述的系统，其中所述支气管镜以一幅或多幅视频图像的形式输出所述RB视图。

20.权利要求18所述的系统，其中所述计算机可运算以识别VB视图最接近所接收到的RB视图的多个最可能的分支位置。

21.权利要求18所述的系统，其中所述计算机使用关于所述气管树内总体支气管镜位置的区域特异性信息。

22.权利要求21所述的系统，其中所述区域特异性信息包括当前的肺标识或肺叶位置。

23.权利要求18所述的系统，其中：

所述支气管镜产生多个RB视图；并且

所述计算机可被操作以识别VB视图最接近所述RB视图的最佳分支位置。

24.权利要求23所述的系统，其中所述多个RB视图与气管树内的同一或多个分支位置相关。

25.权利要求18所述的系统，其中所述计算机使用加权归一化的距离度量值平方和对整个气管分岔搜索空间中的所有分支进行快速搜索来确定所述最佳匹配。

26.权利要求18所述的系统，其中所述计算机先进行分支内搜索然后进行分支间搜索。

27.权利要求26所述的系统，其中所述分支内搜索由下式给出：

${\widehat{\mathrm{\θ}}}^{b_i}=\arg \underset{\mathrm{\χ}\∈b_i}{\max }C(I_V,I_{\mathrm{CT}}^{\mathrm{\χ}})$

其中C(·，·)是相似度函数，

是对于给定RB视频图像I_v的分支i的最佳观察点，b_i是K_tree的子集，含有分支I中所有的观察点；并且

所述分支间搜索由下式给出：

${\widehat{\mathrm{\θ}}}^o=\arg \underset{\mathrm{\χ}\∈K_{{\widehat{\mathrm{\θ}}}^{b_i}}}{\min }D(I_V,I_{\mathrm{CT}}^{\mathrm{\χ}})$

其中

是从分支内搜索获得的一组观察点。

28.权利要求26所述的系统，其中所述分支内搜索使用预计算的管腔区域外接矩形和快速局部配准微调。

Images