CN103371870B - 一种基于多模影像的外科手术导航系统 - Google Patents

Abstract

本发明涉及一种基于多模影像的外科手术导航系统，其包括术前影像获取装置、超声波扫描装置、多模影像配准装置、内窥镜集成装置、术后评估装置。术前影像获取装置获取三维影像；超声波扫描装置实时获取超声影像；多模影像配准装置将三维影像与超声影像进行配准得到配准影像；内窥镜集成装置获取术中手术位置的当前影像信息，多模影像配准装置对配准影像以及当前影像信息进行融合得到融合影像。本发明融合了术前三维影像、术中超声影像以及术中当前影像，可为医生提供精确可靠、信息量丰富的实时影像信息；同时本发明还提供术后评估装置，为后续疾病诊断、跟踪或手术实施提供依据。

Description

一种基于多模影像的外科手术导航系统

【技术领域】

本发明涉及医疗器械领域，尤其涉及一种基于多模影像的外科手术导航系统。

【背景技术】

计算机断层扫描(Computed Tomography,CT)、磁共振成像(MagneticResonance Imaging,MRI)以及超声成像(Ultrasound,US)以其各自的特性和优点被广泛应用于在计算机辅助诊断和手术导航技术中。在传统的微创外科手术过程中，术前缺乏对病灶三维结构的准确描述，直接影响了术前计划的精确程度，术中的可视区域仅限于人体暴露表面，只能凭借医生的经验及空间构想和推测去综合判定判断病灶具体位置，其安全性和精确性会受到主观影响，严重者导致手术失败。

外科手术导航仪在计算机辅助下，对图像数据进行处理如图像分割、图像配准融合和三维重建等，再根据医生的临床经验以及术前对病灶区患病的病理特征和患病部位结构分析，规划手术路径，制定合理、定量和微创的手术方案并结合立体定位系统来辅助医生进行手术操作，从而有效降低手术的创伤、提高治疗精度，使患者及早康复，减少术后其他后遗症发生的可能性。

现有技术中的外科手术导航系统缺乏一套结合术前成像和术中成像复合检测导航方案，从而不能为医生提供精确可靠、信息量丰富的实时影像信息，手术的质量无法进一步提升。此外，现有技术中的手术导航仪并不是开放式的平台，软件系统和接口只能按照各厂家仪器使用标准进行操作，不能进行更新，而且基本上不具备术后跟踪分析评估功能，因此有必要建立一个建立影像引导开放和术后评估系统，不仅可以为医护人员提供一个术后历史数据参考平台，还可以提供一个基于历史手术数据、用于为后续的疾病诊断、跟踪或手术实施提供依据的平台。

【发明内容】

本发明旨在解决上述现有技术中存在的问题，提出一种基于多模影像的外科手术导航系统。

所述基于多模影像的外科手术导航系统包括：术前影像获取装置、超声波扫描装置、多模影像配准装置、内窥镜集成装置、术后评估装置。其中，所述术前影像获取装置获取病人术前病变区的三维影像；所述超声波扫描装置实时获取病人术中病变区的超声影像；所述多模影像配准装置将所述三维影像与超声影像进行多模配准，得到配准影像；所述内窥镜集成装置获取术中手术位置的当前影像信息，所述多模影像配准装置对所述配准影像以及当前影像信息进行融合，得到融合影像；所述术后评估装置根据所述配准影像以及融合影像信息进行机器学习，建立疾病预测模型。

本发明提出的基于多模影像的外科手术导航系统融合了术前MRI/CT三维影像、术中超声影像以及术中手术位置的当前影像，可以为医生提供更加精确可靠、信息量丰富的实时影像信息；同时本发明还提供用于存储和分析手术数据的术后评估装置，该评估装置可以根据手术数据进行机器学习，从而为后续的疾病诊断、跟踪或手术实施提供依据。

【附图说明】

图1为本发明一实施例的基于多模影像的外科手术导航系统结构图。

图2为本发明一实施例的多模影像配准装置工作原理图。

【具体实施方式】

为了使本发明的目的、技术方案及优点更加清晰，以下结合具体实施例及附图，对本发明作进一步详细说明。应当理解，文中所描述的具体实施例仅仅用以解释本发明的技术方案，而不应当理解为对本发明的限制。

本发明提供一种基于多模影像的外科手术导航系统，用于为术中医生提供实时、精确的病变区影像作为参考，从而引导医生实施手术。

如图1所示，在本发明一实施例中，所述基于多模影像的外科手术导航系统包括术前影像获取装置100、超声波扫描装置200、多模影像配准装置300、内窥镜集成装置400以及术后评估装置500。

下文将对所述基于多模影像的外科手术导航系统的各组成部分及其工作原理作进一步详细描述。

所述术前影像获取装置100用于术前对病人病变区进行扫描，从而获取病人病变区的三维影像。其中，所述术前影像获取装置100包括但不限于MRI扫描仪、CT扫描仪等医学扫描成像装置。优选地，所述术前影像获取装置100基于数字图像处理的相关算法对扫描获得的初始数据进行预处理，然后采用基于统计的组织/器官形状模型，对病人病变区组织/器官进行三维重建，最终获得准确的所述三维影像。所述三维影像可用于规划手术路径，例如，可通过碰撞算法计算最优的手术安全区，实现危险区域主动规避技术，用以约束术中手术器械的位移，避免误操作而伤及正常组织器官或致血管破裂。

所述超声波扫描装置200用于实时地获取病人术中病变区的超声影像。所述多模影像配准装置300将所述三维影像与超声影像进行多模配准，得到配准影像。

所述三维影像与超声影像为不同模态的医学影像，不同模态的医学影像对应体素的灰度值之间没有关联。因此，如图2所示，优选地，所述多模影像配准装置300进一步包括模态转换模块301以及配准模块302，所述模态转换模块301将所述三维影像转换为虚拟超声影像，所述配准模块302对所述虚拟超声影像与所述超声影像进行配准，得到所述配准影像。具体地，可根据两种不同模态的成像物理特征属性，采用基于感知器核函数的数学理论推导和建模，得出两种模态数据之间的内在的物理特征属性，并进一步推导出所述三维影像和超声影像双模态数据之间的转化关系，将所述三维影像转换为虚拟超声影像，然后再对所述虚拟超声影像与所述超声影像进行配准，得到所述配准影像。

所述配准影像结合了所述三维影像以及超声影像的特点，具有三维立体且实时呈现的优点，更加真实可靠地反映了病人病变区状况。

优选地，所述超声波扫描装置200包括基于旋量理论的机械臂以及设置于所述机械臂末端的超声波探头。所述基于旋量理论的机械臂为轻巧型多关节机械臂，其具有活动自如的优点；所述机械臂用于握持所述超声波探头。在手术中，所述超声波探头贴近病人病变区，用以获取病人病变区的超声图像。

在手术中，病人因呼吸往往会导致组织形变或器官微量偏移，因此在一优选实施例中，所述超声波扫描装置200可自适应地调整其与病人的相对位置，以防因贴近病人且保持固定位姿而挫伤病人组织。具体地，所述超声波扫描装置200进一步包括传感模块、命令控制模块以及机械臂控制箱。所述传感模块获取所述超声波扫描装置与病人之间的作用力数据，当所述作用力数据大于某一预设阈值T时，所述命令控制模块向所述机械臂控制箱发出控制命令，所述机械臂控制箱控制所述机械臂远离病人，防止挫伤病人。本发明中的机械臂辅助医生握持超声探头，还可采用正向运动学矩阵推算出末端超声探头位置参数，并通过自制尼龙平面网格体模型实现探头标定，得到超声图像空间到术前影像数据空间位置的变换关系，这样不仅可以根据已知的空间变换关系得到超声探头准确空间位置信息，还降低医生工作强度。

在手术中除使用所述超声波扫描装置200实时获取病人病变区的超声影像外，医生还需使用内窥镜集成装置400获取术中手术位置的当前影像信息。在现有技术中，电子内窥镜具有实时、高逼真成像的特性，其被广泛应用于微创外科手术，为医生提供可视手术视野，同时具有创口小、并发症少、恢复快和直视下操作和安全有效等优点。但内窥镜手术获取的医学图像缺乏层次感，术野狭小。在本发明中，所述内窥镜集成装置400获取术中手术位置的当前影像信息之后，所述多模影像配准装置300对所述配准影像以及当前影像信息进行进一步融合，得到融合影像。所述融合影像融合了术前三维影像、术中超声图像以及术中手术位置的当前影像，可以为医生提供更加精确可靠的图像信息用于手术实施参考。

优选地，所述内窥镜集成装置400还包括定位器，所述内窥镜集成装置400以及超声波扫描装置200均设有光学标记物，所述定位器根据所述光学标记物获取所述内窥镜集成装置400在所述超声影像中的位置。具体地，所述定位器作为参照物固定，其坐标位置已知。在手术中，所述内窥镜集成装置400以及超声波扫描装置200均可能发生实时位移，通过所述定位器分别获取所述内窥镜集成装置400相对于所述定位器的位置信息、以及所述超声波扫描装置200相对于所述定位器的位置信息，从而换算得到所述内窥镜集成装置400相对于所述超声波扫描装置200的位置。包含所述内窥镜集成装置400影像的所述融合影像可进一步为医生提供更加精确可靠的图像信息用于手术实施参考。

优选地，所述内窥镜集成装置400为基于CMOS的窄带光谱成像内窥镜集成装置。采用这种内窥镜集成装置除可获取病灶部位准确信息之外，还可通过结合健壮的自适应图像增强方法去除图像中的模糊、矫正光照信息并提高图像分辨率，解决光学图像中的噪声、模糊、反光、照度不足等问题。例如利用边缘驻留准则和各向异性扩散算法恢复图像的本质纹理，以及引入光滑约束来解决图像修复中的总变差问题，最终可获取真实视野内三维解剖结构对应的叠加显示与融合信息。

优选地，所述术后评估装置500可以是基于云计算的数据存储分析平台。所述术后评估装置500包括存储器以及数据处理器，所述存储器存储所述配准影像以及融合影像，所述数据处理器通过机器学习建立所述疾病预测模型，为后续的疾病诊断或手术实施提供依据。进一步优选地，所述数据处理器基于支持向量机原理或神经网络理论进行机器学习。本发明中的术后评估装置将大量影像数据和手术参数分布在虚拟云中，实现影像数据的高效安全存储和高速动态读写。采用基于云平台的数据分析统计可通过建立基于概率统计分析模型，对术后的影像数据和云平台上手术过程的图像进行分析，为医生对病人手术后情况进行全面跟踪评估，同时也为临床上对于影像引导的手术提供参考数据及教学资源。基于上述原理还可开发一套完整运行于Web客户端软件，为非编程用户提供享受云平台资源的服务。

本发明提出的基于多模影像的外科手术导航系统结合了术前MRI/CT三维影像、术中超声影像以及术中手术位置的当前影像的各自优点，并将其融合得到融合影像，为医生提供更加精确可靠、信息量丰富的实时影像信息用于手术实施参考，可实现：在穿刺过程中，结合定位跟踪系统，采用基于术中双超声正交图像的体内特征点跟踪及穿刺针定位，确保实现最佳的手术路径；在扩张过程中，结合增强现实的可视化方法，研究扩张管实时定位及预警；在手术操作过程中，采取基于光学与电磁混合定位技术的内窥镜定位方法及增强现实技术，最终实现手术过程的全三维实时导航。

此外，本发明还提供用于存储和分析手术数据的术后评估装置，该评估装置可以根据手术数据进行机器学习，从而为后续的疾病诊断、跟踪或手术实施提供依据。

虽然本发明参照当前的较佳实施方式进行了描述，但本领域的技术人员应能理解，上述较佳实施方式仅用来解释和说明本发明的技术方案，而并非用来限定本发明的保护范围，任何在本发明的精神和原则范围之内，所做的任何修饰、等效替换、变形、改进等，均应包含在本发明的权利要求保护范围之内。

Claims (9)

1.一种基于多模影像的外科手术导航系统，包括：术前影像获取装置、超声波扫描装置、多模影像配准装置、内窥镜集成装置、术后评估装置，其中，

所述术前影像获取装置获取病人术前病变区的三维影像；

所述超声波扫描装置实时获取病人术中病变区的超声影像；

所述多模影像配准装置将所述三维影像与超声影像进行多模配准，得到配准影像；

所述内窥镜集成装置获取术中手术位置的当前影像信息，所述多模影像配准装置对所述配准影像以及当前影像信息进行融合，得到融合影像；

所述术后评估装置根据所述配准影像以及融合影像信息进行机器学习，建立疾病预测模型；

所述多模影像配准装置包括模态转换模块以及配准模块，所述模态转换模块将所述三维影像转换为虚拟超声影像，所述配准模块对所述虚拟超声影像与所述超声影像进行配准，得到所述配准影像。

2.根据权利要求1所述的基于多模影像的外科手术导航系统，其特征在于，所述术前影像获取装置为MRI扫描仪或CT扫描仪。

3.根据权利要求1所述的基于多模影像的外科手术导航系统，其特征在于，所述术后评估装置为基于云计算的数据存储分析平台。

4.根据权利要求3所述的基于多模影像的外科手术导航系统，其特征在于，所述术后评估装置包括存储器以及数据处理器，所述存储器存储所述配准影像以及融合影像，所述数据处理器通过机器学习建立所述疾病预测模型。

5.根据权利要求4所述的基于多模影像的外科手术导航系统，其特征在于，所述数据处理器基于支持向量机原理或神经网络理论进行机器学习。

6.根据权利要求1所述的基于多模影像的外科手术导航系统，其特征在于，所述超声波扫描装置包括基于旋量理论的机械臂以及位于所述机械臂末端的超声波探头。

7.根据权利要求6所述的基于多模影像的外科手术导航系统，其特征在于，所述超声波扫描装置进一步包括传感模块、命令控制模块以及机械臂控制箱，所述传感模块获取所述超声波扫描装置与病人之间的作用力数据，当所述作用力数据大于预设阈值T时，所述命令控制模块向所述机械臂控制箱发出控制命令，所述机械臂控制箱控制所述机械臂远离病人。

8.根据权利要求1所述的基于多模影像的外科手术导航系统，其特征在于，所述内窥镜集成装置为基于CMOS的窄带光谱成像内窥镜集成装置。

9.根据权利要求8所述的基于多模影像的外科手术导航系统，其特征在于，所述内窥镜集成装置还包括定位器，所述内窥镜集成装置以及超声波扫描装置均设有光学标记物，所述定位器根据所述光学标记物获取所述内窥镜集成装置在所述超声影像中的位置。