Nothing Special   »   [go: up one dir, main page]

CN112488976B - 一种基于darts网络的多模态医学图像融合方法 - Google Patents

一种基于darts网络的多模态医学图像融合方法 Download PDF

Info

Publication number
CN112488976B
CN112488976B CN202011467496.5A CN202011467496A CN112488976B CN 112488976 B CN112488976 B CN 112488976B CN 202011467496 A CN202011467496 A CN 202011467496A CN 112488976 B CN112488976 B CN 112488976B
Authority
CN
China
Prior art keywords
network
fusion
darts
image
medical image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011467496.5A
Other languages
English (en)
Other versions
CN112488976A (zh
Inventor
张旭明
叶少壮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202011467496.5A priority Critical patent/CN112488976B/zh
Priority to US18/001,295 priority patent/US11769237B2/en
Priority to PCT/CN2021/074531 priority patent/WO2022121100A1/zh
Publication of CN112488976A publication Critical patent/CN112488976A/zh
Application granted granted Critical
Publication of CN112488976B publication Critical patent/CN112488976B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明公开了一种基于DARTS网络的多模态医学图像融合方法，属于图像处理与分析中的图像融合技术领域。本发明采用可微架构搜索(Differentiable Architecture Search,DARTS)网络对多模态医学图像进行特征提取，该网络在搜索阶段以网络权重的梯度作为损失函数来进行学习，在不同卷积操作、不同节点的连接之间选择出最适应于当前数据集的网络结构，使得网络提取得到的特征细节更加丰富；同时本发明采用能表征图像灰度信息、相关性、细节信息、结构特征及图像对比度的多种指标作为网络损失函数，可在无需金标准情况下，以无监督学习方式实现医学图像的有效融合，在图像细节保护及图像对比度提升等方面较现有方法具有更优的融合效果。

Description

一种基于DARTS网络的多模态医学图像融合方法
技术领域
本发明属于图像处理与分析中的图像融合技术领域，更具体地，涉及一种基于DARTS网络的多模态医学图像融合方法。
背景技术
随着医学成像技术的发展，越来越多的医学成像技术如超声成像(US)、计算机断层扫描(CT)、磁共振成像(MRI)、正电子发射断层扫描(PET)和单光子发射计算机断层扫描(SPECT)被应用于人体各个器官疾病的诊断与评估中。每种医学成像技术都有其优缺点，如CT成像可涵盖人体各个解剖部位，密度分辨率高，但是其空间分辨率低，关节肌肉显示差，存在伪影。而MR成像具有高度软组织分辨能力，无骨伪影及重叠伪影，缺点是扫描时间长，空间分辨率低于CT。多模态医学图像融合可将不同模态下图像特有的信息整合在一副图像里，便于医生观察诊断。因此，多模态医学图像融合在临床发挥着重要的作用，如在临床中将US与MRI融合实现前列腺穿刺活检，将PET与CT融合实现肺癌检测等。
传统的图像融合算法主要分为像素级、特征级和决策级的图像融合方法。其中像素级融合能获得较高的精度，实施简单，但是其抗干扰能力差，对噪声敏感，在医学图像融合中容易产生伪影，影响医生诊断准确率；特征级融合方法中特征提取主要来自人工设计的方法，因医学图像的复杂性，人工设计的特征很难适应不同的医学图像；决策级融合对噪声不敏感，但是其融合精度差，实施困难，并且获得的融合图像信息量少，用于医学图像融合很容易丢失重要信息。
深度学习可从大量样本中集中学习样本的特征信息，近年来被广泛用于图像处理和分析任务，如图像分割、图像配准和图像融合等。就图像融合而言，由于没有金标准，基于深度学习的图像融合方法可分为以下两类：第一类是利用深度学习方法来提取特征，然后基于提取的特征，采用传统的融合策略对图像进行融合；第二类是端对端的融合方法。第一类方法的具体做法是使用预训练的深度学习模型进行特征的提取，采取传统的策略进行特征融合以及后续的融合图像重建。第二类方法可分为有监督方法和无监督方法，其具体做法是提出一种端到端的网络结构，采用MSE以及SSIM等测度，对图像融合数据集进行训练，将训练好的模型直接用于图像融合。
对于第一类方法而言，其实现简单，直接用预训练的模型以及一些传统的融合、重建策略进行图像融合，省去了训练步骤，但是由于预训练模型是适用于某个特定数据集，因此此种方法泛化能力较差，不适用于多种数据集或者是多任务图像融合。对于第二类方法而言，其可通过使用合适的网络结构以及对数据集的训练，提升网络提取图像特征的能力，配合卷积升采样等一些步骤，较好地实现端到端的图像融合。在该类方法中，网络结构的设计和网络的损失函数至关重要，现有的此类融合方法在网络结构方面通常采用简单的CNN和ResNet网络结构，并采用简单的MSE和SSIM等测度，很难确保融合图像质量。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于DARTS网络的多模态医学图像融合方法，其目的在于提高多模态医学图像融合后的图像质量。
为实现上述目的，本发明提供了一种基于DARTS网络的多模态医学图像融合方法，包括：
S1.利用多模态医学图像数据对预先设置的DARTS模型进行网络结构搜索，得到适用于多模态医学图像数据的DARTS网络结构；DARTS网络结构包括一个或多个串接的胞体；每个胞体包括多个节点；各个节点与前两个胞体的输出或当前胞体内其他节点通过不同的卷积操作连接；各个节点的通道合并作为胞体的输出；
S2.构建多模态医学图像融合网络；多模态医学图像融合网络包括多通道DARTS网络模块、特征融合模块、升采样模块；其中，多通道DARTS网络模块由多个并列的DARTS网络结构构成；
DARTS网络结构，用于对输入图像进行降采样，得到对应的特征图；特征融合模块，用于对双通道DARTS网络模块输出的特征图进行特征融合；升采样模块，对融合后的特征进行卷积升采样，得到与输入图像尺寸相同的融合结果；
S3.利用多模态医学图像数据采用无监督学习方法对多模态医学图像融合网络进行训练；
S4.将待融合的多模态医学图像输入训练好的多模态医学图像融合模型，得到融合结果。
进一步地，采用结构相似性、多尺度结构相似性、边缘保护度、差值互相关、互信息及基于结构表征的互信息作为多模态医学图像融合网络训练的损失函数。
进一步地，训练多模态医学图像融合网络的损失函数为：
Figure BDA0002831873680000031
其中，LSSIM表示结构相似性损失，LSCD表示差值互相关损失，LMI表示互信息损失，LMS-SSIM表示多尺度结构相似性损失，
Figure BDA0002831873680000032
表示边缘保护度损失，LSR-MI表示基于结构表征的互信息损失，λ1、λ2分别为各组损失函数的权重。
进一步地，步骤S1中不同的卷积操作包括：卷积核大小为3的深度可分卷积，卷积核大小为5的深度可分卷积，卷积核大小为3的标准卷积，卷积核大小为5的标准卷积，卷积核大小为3的空洞卷积，卷积核大小为5的空洞卷积，跳跃连接。
进一步地，DARTS网络结构包括一个胞体。
进一步地，所述胞体包括四个节点。
进一步地，胞体中卷积步长置1，采用填充方式使特征图与输入图像大小一致。
进一步地，特征融合模块，对双通道DARTS网络模块输出的特征图进行特征融合，具体为，采用通道合并方式实现特征图的融合。
进一步地，所述方法还包括对多模态医学图像数据进行数据增强。
进一步地，所述数据增强包括平移、旋转和非刚性形变。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果。
本发明采用可微架构搜索(Differentiable Architecture Search,DARTS)网络对多模态医学图像进行特征提取，该网络在搜索阶段以网络权重的梯度作为损失函数来进行学习，在不同卷积操作、不同节点的连接之间选择出最适应于当前数据集的网络结构，使得网络提取得到的特征细节更加丰富；同时本发明采用能表征图像灰度信息、相关性、细节信息、结构特征及图像对比度的多种指标作为网络损失函数，可在无需金标准情况下，以无监督学习方式实现医学图像的有效融合，在图像细节保护及图像对比度提升等方面较现有方法具有更优的融合效果。
附图说明
图1是本发明提供的基于DARTS网络的多模态医学图像融合方法结构图；
图2是CIFAR-10数据集下DARTS模型的cell结构；
图3(a)为本发明实施例以及对比方法使用的源CT图像；
图3(b)为本发明实施例以及对比方法使用的源MR图像；
图4(a)为对比方法1NSCT-SR获得的融合图像；
图4(b)为对比方法2DTCWT-SR获得的融合图像；
图4(c)为对比方法3NSST-PAPCNN获得的融合图像；
图4(d)为对比方法4DenseFuse获得的融合图像；
图4(e)为对比方法5VIFNet获得的融合图像；
图4(f)为对比方法6Nestfuse获得的融合图像；
图5为本发明方法获得的融合图像。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
参考图1，本发明提供的一种基于DARTS网络的多模态医学图像融合方法，包括：
S1.利用多模态医学图像数据对预先设置的DARTS模型进行网络结构搜索，得到适用于多模态医学图像数据的DARTS网络结构；DARTS网络结构包括多个串接的胞体cell；每个胞体包括多个节点；各个节点与前两个胞体的输出或当前胞体内其他节点通过不同的卷积操作连接；各个节点的通道合并作为胞体的输出；
本发明实施例中DARTS网络为经过数据集CIFAR-10预训练的DARTS模型，但DARTS网络的全连接层以及分类器部分被去掉，为保证提取图像特征的同时大幅减少网络参数，cell的数量设置为1，每个cell中节点的数量设置为4，具体结构如图2所示，节点通过深度可分卷积、跳跃连接、空洞卷积实现连接，除了这几种卷积操作，节点连接可选地卷积操作还可为节点连接可选地卷积操作还可为卷积核大小为5的深度可分卷积，卷积核大小为3的标准卷积，卷积核大小为5的标准卷积。目前这些卷积方式能够在端到端的网络结构中对图像特征有好的表征。
下采样输出为四个节点的通道合并；cell中卷积步长置1，采用填充方式使特征图与输入图像大小一致，以避免信息丢失。
S2.构建多模态医学图像融合网络；多模态医学图像融合网络包括多通道DARTS网络模块、特征融合模块、升采样模块；其中，多通道DARTS网络模块由多个并列的DARTS网络结构构成；DARTS网络结构，用于对输入图像进行降采样，得到对应的特征图；特征融合模块，用于对双通道DARTS网络模块输出的特征图进行特征融合，可选地，本发明采用通道合并方式实现特征图的融合，通道合并可以使得源图像的特征通过后面的卷积进行有权重的融合，在网络损失函数设计得当的情况下，通道合并的方式实现特征融合效果更好，能更大程度的保留源图像的有用信息。升采样模块，对融合后的特征进行卷积升采样，得到与输入图像尺寸相同的融合结果；升采样操作中，采用3×3的卷积，步长1的有填充方式，将卷积神经网络的通道数从128递减为1。
图1所示的两通道DARTS网络仅作为便于呈现网络整体结构所采取的的一个可实施的实例，根据融合图像的模态数量，还可设置多个并列的通道。
S3.利用多模态医学图像数据采用无监督学习方法对多模态医学图像融合网络进行训练；
为实现网络训练，本发明采用的损失函数包括结构相似性(SSIM)，多尺度结构相似性(MS-SSIM)，边缘保护度
Figure BDA0002831873680000061
差值互相关(SCD)，互信息(MI)及基于结构表征的互信息(SR-MI)。
本发明将上述评价指标以如下方式组合作为损失函数：
Figure BDA0002831873680000062
上述损失函数包含三组函数，第一组MI和SCD与图像灰度信息和相关性有关，第二组与图像边缘和结构信息有关，第三组则是约束边缘的附加项。其中λ1、λ2分别为各组损失函数的权重。
SCD反映融合图像与源图像的相关性之和，其计算公式如下：
LSCD＝-(R(F-S2,S1)+R(F-S1,S2))
其中R代表相关性计算，具体公式如下：
Figure BDA0002831873680000071
MI表征融合图像包含两源图像的信息量大小，其具体公式为：
LMI＝-(I(S1,F)+I(S2,F))
其中,互信息I公式如下：
Figure BDA0002831873680000072
其中，p(s)与p(f)为边缘分布，p(s,f)为s与f的联合分布。
SSIM损失的公式如下：
Figure BDA0002831873680000073
其中SSIM为结构相似性，利用两幅图像之间的亮度、对比度和结构等信息进行计算，具体公式如下：
Figure BDA0002831873680000074
其中，μS和μF分别是S和F的平均值。
Figure BDA0002831873680000075
和
Figure BDA0002831873680000076
分别是S和F的方差，σSF是S和F的协方差，c1和c2是较小的常数。
MS-SSIM为多层级的结构相似性，是以2的幂次为因子对图像进行不同尺度的缩小，然后计算出不同尺度下的结构相似性而得到的指标。
Figure BDA0002831873680000077
利用局部度量来估计来自输入的显著信息(即边缘信息)在融合图像中的表现程度，计算公式如下：
Figure BDA0002831873680000081
其中，
Figure BDA0002831873680000082
分别代表了融合图像相对于两源图像边缘的保护程度，其计算公式如下：
Figure BDA0002831873680000083
其中，
Figure BDA0002831873680000084
与
Figure BDA0002831873680000085
分别代表了边缘的长度保护值与边缘的方向保护值，其计算公式如下：
Figure BDA0002831873680000086
Figure BDA0002831873680000087
其中Γα，Γg，κα，κg，σg和σα是常数，ASF与GSF分别是源图像S与融合图像F的方向相关值与长度相关值，其计算公式如下：
Figure BDA0002831873680000088
Figure BDA0002831873680000089
其中gS、αS、gF和αF分别是源图像与融合图像的边缘长度与角度。
Figure BDA00028318736800000810
的计算式中
Figure BDA00028318736800000811
(其中L是一个常数)，它们作为融合图像相对于源图像的边缘保护度的权重用于
Figure BDA00028318736800000812
的计算。
SR-MI代表基于结构表征结果的互信息，这里结构表征结果利用PCANet网络来获得。
本发明实施例选取ATLAS(来自哈佛医学院的主办的网站：http://www.med.harvard.edu/aanlib/home.html，其中搜集了正常情况以及不同疾病状态下的人脑CT,MRI,PET,SPECT图片)数据集中的脑部CT与MR图像，对其进行平移、旋转和非刚性变换，将得到的30000对图像作为训练集；同时，选择不属于训练集的脑部CT与MR图像，以构建测试集，对多模态医学图像融合网络训练和测试；
S4.将待融合的多模态医学图像输入训练好的多模态医学图像融合模型，得到融合结果。
为了证明本发明方法的优越性，使用6种对比算法与本发明方法进行对比试验。6种对比算法介绍：
1、NSCT-SR：基于稀疏表征的NSCT变换图像融合算法。
2、DTCWT-SR：基于稀疏表征的DWTCT变换图像融合算法。
3、NSST-PAPCNN：基于非下采样的Shearlet变换域的参数自适应神经网络的医学图像融合方法。
4、DenseFuse：利用基于DenseNet的编码解码结构，利用相加，L1正则化等融合策略进行融合的图像融合算法。
5、VIFNet：一种无监督的DenseNet编码，卷积解码的深度学习图像融合方法，采用了MSE与加权的SSIM作为损失函数。
6、NestFuse：一种基于新型鸟巢网络结构的深度学习图像融合方法。
选取一些可信度较高的客观评价指标(EN、FMI_pixel、MI、MS_SSIM、
Figure BDA0002831873680000091
SCD)来对融合结果进行评估，在上述评价指标中，FMI_pixel代表像素级特征互信息，是基于图像特征进行的互信息计算，图像特征可由梯度，Sobel边缘算子等来表征。
EN(Entropy)代表信息熵，EN的值越大，代表图像包含的信息量更加丰富。公式如下：
Figure BDA0002831873680000101
H(X)表示图像的信息熵，P(xi)表示灰度为i的像素出现的概率，I(xi)表示概率P(xi)的不确定性函数。
不同方法对ATLAS同一对图像融合评估结果如表1所示，由表可知，DARTS图像融合在SCD，
Figure BDA0002831873680000102
EN指标上明显高于其他方法，并且在MI，MS_SSIM等指标上也有一定的优势，这说明本方法在比较大程度上保留了两幅源图像的信息，并且在边缘信息等结构方面也具有一定优势。
表1
Figure BDA0002831873680000103
为更直观地显示本发明相对于其余方法的优越性，本发明实施例还提供了本发明方法与各种对比方法对应融合图像的视觉效果图，图3(a)为源CT图像，图3(b)为源MR图像，图4(a)为对比方法1获得的融合图像，图4(b)为对比方法2获得的融合图像，图4(c)为对比方法3获得的融合图像，图4(d)为对比方法4获得的融合图像，图4(e)为对比方法5获得的融合图像，图4(f)为对比方法6获得的融合图像，图5为本发明方法获得的融合图像；由图可看出，本发明方法在对比度方面表现优秀，特别是细节，边缘信息丰富，也说明了本发明方法具有获得图像细节多，信息量大的优点。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于DARTS网络的多模态医学图像融合方法，其特征在于，包括：
S1.利用多模态医学图像数据对预先设置的DARTS模型进行网络结构搜索，得到适用于多模态医学图像数据的DARTS网络结构；DARTS网络结构包括一个或多个串接的胞体；每个胞体包括多个节点；各个节点与前两个胞体的输出或当前胞体内其他节点通过不同的卷积操作连接；各个节点的通道合并作为胞体的输出；
S2.构建多模态医学图像融合网络；多模态医学图像融合网络包括多通道DARTS网络模块、特征融合模块、升采样模块；其中，多通道DARTS网络模块由多个并列的DARTS网络结构构成；
DARTS网络结构，用于对输入图像进行降采样，得到对应的特征图；特征融合模块，用于对双通道DARTS网络模块输出的特征图进行特征融合；升采样模块，对融合后的特征进行卷积升采样，得到与输入图像尺寸相同的融合结果；
S3.利用多模态医学图像数据采用无监督学习方法对多模态医学图像融合网络进行训练；训练多模态医学图像融合网络的损失函数为：
Figure FDA0003556404120000011
其中，LSSIM表示结构相似性损失，LSCD表示差值互相关损失，LMI表示互信息损失，LMS–SSIM表示多尺度结构相似性损失，
Figure FDA0003556404120000012
表示边缘保护度损失，LSR-MI表示基于结构表征的互信息损失，结构表征结果利用PCANet网络来获得，λ1、λ2分别为各组损失函数的权重；
差值互相关SCD反映融合图像与源图像的相关性之和，其计算公式如下：
LSCD＝-(R(F-S2，S1)+R(F-S1，S2))
S1与S2分别表示两幅源图像，F表示融合图像，R代表图像相关性计算；
互信息MI表征融合图像包含两源图像的信息量大小，其具体公式为：
LMI＝-(I(S1，F)+I(S2，F))
I表示两幅图像的互信息计算；
结构相似性SSIM损失的公式如下：
Figure FDA0003556404120000021
边缘保护度损失计算公式如下：
Figure FDA0003556404120000022
Figure FDA0003556404120000023
表示融合图像F对两幅源图像S1与S2的边缘保留程度；
S4.将待融合的多模态医学图像输入训练好的多模态医学图像融合模型，得到融合结果。
2.根据权利要求1所述的一种基于DARTS网络的多模态医学图像融合方法，其特征在于，步骤S1中不同的卷积操作包括：卷积核大小为3的深度可分卷积，卷积核大小为5的深度可分卷积，卷积核大小为3的标准卷积，卷积核大小为5的标准卷积，卷积核大小为3的空洞卷积，卷积核大小为5的空洞卷积，跳跃连接。
3.根据权利要求1所述的一种基于DARTS网络的多模态医学图像融合方法，其特征在于，DARTS网络结构包括一个胞体。
4.根据权利要求3所述的一种基于DARTS网络的多模态医学图像融合方法，其特征在于，所述胞体包括四个节点。
5.根据权利要求4所述的一种基于DARTS网络的多模态医学图像融合方法，其特征在于，胞体中卷积步长置1，采用填充方式使特征图与输入图像大小一致。
6.根据权利要求1所述的一种基于DARTS网络的多模态医学图像融合方法，其特征在于，特征融合模块，对双通道DARTS网络模块输出的特征图进行特征融合，具体为，采用通道合并方式实现特征图的融合。
7.根据权利要求1-6任一项所述的一种基于DARTS网络的多模态医学图像融合方法，其特征在于，所述方法还包括对多模态医学图像数据进行数据增强。
8.根据权利要求7所述的一种基于DARTS网络的多模态医学图像融合方法，其特征在于，所述数据增强包括平移、旋转和非刚性形变。
CN202011467496.5A 2020-12-11 2020-12-11 一种基于darts网络的多模态医学图像融合方法 Active CN112488976B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011467496.5A CN112488976B (zh) 2020-12-11 2020-12-11 一种基于darts网络的多模态医学图像融合方法
US18/001,295 US11769237B2 (en) 2020-12-11 2021-01-30 Multimodal medical image fusion method based on darts network
PCT/CN2021/074531 WO2022121100A1 (zh) 2020-12-11 2021-01-30 一种基于darts网络的多模态医学图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011467496.5A CN112488976B (zh) 2020-12-11 2020-12-11 一种基于darts网络的多模态医学图像融合方法

Publications (2)

Publication Number Publication Date
CN112488976A CN112488976A (zh) 2021-03-12
CN112488976B true CN112488976B (zh) 2022-05-17

Family

ID=74916879

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011467496.5A Active CN112488976B (zh) 2020-12-11 2020-12-11 一种基于darts网络的多模态医学图像融合方法

Country Status (3)

Country Link
US (1) US11769237B2 (zh)
CN (1) CN112488976B (zh)
WO (1) WO2022121100A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114974518A (zh) * 2022-04-15 2022-08-30 浙江大学 多模态数据融合的肺结节影像识别方法及装置
CN115222724B (zh) * 2022-08-05 2023-05-23 兰州交通大学 一种基于nsst域混合滤波与ed-pcnn的医学图像融合方法
CN115906935B (zh) * 2022-10-23 2024-10-29 西北工业大学 一种并行可微分神经网络架构搜索方法
CN115767040B (zh) * 2023-01-06 2023-04-25 松立控股集团股份有限公司 基于交互式持续学习的360度全景监控自动巡航方法
CN116563189B (zh) * 2023-07-06 2023-10-13 长沙微妙医疗科技有限公司 一种基于深度学习的医学图像跨对比度合成方法及系统
CN117710227B (zh) * 2023-12-14 2024-06-11 北京长木谷医疗科技股份有限公司 一种基于多模态医学图像的模态融合方法及装置
CN117788314B (zh) * 2023-12-29 2024-10-22 广东海洋大学 基于多分支多尺度特征和语义信息的ct与mri图像融合方法
CN117611473B (zh) * 2024-01-24 2024-04-23 佛山科学技术学院 一种同步去噪的图像融合方法及其相关设备
CN118797562B (zh) * 2024-09-13 2024-12-06 中国科学院自动化研究所 基于多模态多形式统一的多轮图文理解与定位方法及装置
CN118965121A (zh) * 2024-10-12 2024-11-15 深圳市中医院 一种监测肌肉痉挛以及相关健康指标的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102867296A (zh) * 2012-08-20 2013-01-09 华中科技大学 基于脉冲发送皮层模型的医学图像融合方法
CN108416802A (zh) * 2018-03-05 2018-08-17 华中科技大学 一种基于深度学习的多模医学图像非刚性配准方法及系统
CN111612754A (zh) * 2020-05-15 2020-09-01 复旦大学附属华山医院 基于多模态图像融合的mri肿瘤优化分割方法及系统
CN111860495A (zh) * 2020-06-19 2020-10-30 上海交通大学 一种层级化网络结构搜索方法、设备及可读存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9158965B2 (en) * 2012-06-14 2015-10-13 The Board Of Trustees Of The Leland Stanford Junior University Method and system for optimizing accuracy-specificity trade-offs in large scale visual recognition
US9922272B2 (en) 2014-09-25 2018-03-20 Siemens Healthcare Gmbh Deep similarity learning for multimodal medical images
CN106682424A (zh) * 2016-12-28 2017-05-17 上海联影医疗科技有限公司 医学图像的调节方法及其系统
GB201709672D0 (en) * 2017-06-16 2017-08-02 Ucl Business Plc A system and computer-implemented method for segmenting an image
US10699414B2 (en) * 2018-04-03 2020-06-30 International Business Machines Corporation Image segmentation based on a shape-guided deformable model driven by a fully convolutional network prior
US11756160B2 (en) * 2018-07-27 2023-09-12 Washington University ML-based methods for pseudo-CT and HR MR image estimation
CN110852168A (zh) * 2019-10-11 2020-02-28 西北大学 基于神经架构搜索的行人重识别模型构建方法及装置
CN110827200B (zh) * 2019-11-04 2023-04-07 Oppo广东移动通信有限公司 一种图像超分重建方法、图像超分重建装置及移动终端
DE202020101012U1 (de) * 2020-02-25 2020-03-08 Robert Bosch Gmbh Vorrichtung zum Vorhersagen einer geeigneten Konfiguration eines maschinellen Lernsystems für einen Trainingsdatensatz
CN111553480B (zh) * 2020-07-10 2021-01-01 腾讯科技（深圳）有限公司 图像数据处理方法、装置、计算机可读介质及电子设备
CN111882514B (zh) * 2020-07-27 2023-05-19 中北大学 一种基于双残差超密集网络的多模态医学图像融合方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102867296A (zh) * 2012-08-20 2013-01-09 华中科技大学 基于脉冲发送皮层模型的医学图像融合方法
CN108416802A (zh) * 2018-03-05 2018-08-17 华中科技大学 一种基于深度学习的多模医学图像非刚性配准方法及系统
CN111612754A (zh) * 2020-05-15 2020-09-01 复旦大学附属华山医院 基于多模态图像融合的mri肿瘤优化分割方法及系统
CN111860495A (zh) * 2020-06-19 2020-10-30 上海交通大学 一种层级化网络结构搜索方法、设备及可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的医学图像分割算法研究;赵向明;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;20200315;全文 *

Also Published As

Publication number Publication date
CN112488976A (zh) 2021-03-12
WO2022121100A1 (zh) 2022-06-16
US11769237B2 (en) 2023-09-26
US20230196528A1 (en) 2023-06-22

Similar Documents

Publication Publication Date Title
CN112488976B (zh) 一种基于darts网络的多模态医学图像融合方法
CN109584254B (zh) 一种基于深层全卷积神经网络的心脏左心室分割方法
Li et al. Surface-based single-subject morphological brain networks: effects of morphological index, brain parcellation and similarity measure, sample size-varying stability and test-retest reliability
CN108629816B (zh) 基于深度学习进行薄层磁共振图像重建的方法
US20230342918A1 (en) Image-driven brain atlas construction method, apparatus, device and storage medium
Lavdas et al. Fully automatic, multiorgan segmentation in normal whole body magnetic resonance imaging (MRI), using classification forests (CF s), convolutional neural networks (CNN s), and a multi‐atlas (MA) approach
CN110276736B (zh) 一种基于权值预测网络的磁共振图像融合方法
CN114926477B (zh) 一种基于深度学习的脑肿瘤多模态mri影像分割方法
CN109447976B (zh) 一种基于人工智能的医学图像分割方法及系统
CN109035263A (zh) 基于卷积神经网络的脑肿瘤图像自动分割方法
CN111597946B (zh) 图像生成器的处理方法、图像生成方法及装置
JP2023540910A (ja) 病変検出のための共同訓練を伴う接続機械学習モデル
CN111047589A (zh) 一种注意力增强的脑肿瘤辅助智能检测识别方法
CN110619635B (zh) 基于深度学习的肝细胞癌磁共振图像分割系统和方法
CN114565816A (zh) 一种基于全局信息融合的多模态医学图像融合方法
CN112036506A (zh) 图像识别方法及相关装置、设备
CN115456927A (zh) 一种脑部医学图像合成方法、系统、电子设备及存储介质
CN110782427A (zh) 基于可分离空洞卷积的磁共振脑肿瘤自动分割方法
CN115312198B (zh) 结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法及系统
CN116402865A (zh) 一种利用扩散模型的多模态影像配准方法、装置和介质
Yan et al. Cine MRI analysis by deep learning of optical flow: Adding the temporal dimension
CN117710681A (zh) 基于数据增强策略的半监督医学影像分割方法
CN113436128B (zh) 一种双鉴别器多模态mr图像融合方法、系统及终端
CN116385329B (zh) 基于特征融合的多层知识蒸馏医学影像生成方法和装置
CN113160256A (zh) 一种多任务生成对抗模型的mr影像胎盘分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant