CN109472817A - 一种基于循环生成对抗网络的多序列磁共振图像配准方法 - Google Patents

Abstract

一种基于循环生成对抗网络的多序列磁共振图像配准方法，包括以下步骤：1)对输入的序列1和序列2的磁共振原始图像，用CycleGAN进行训练，输出序列1和序列2的磁共振生成图像；2)对同序列的生成图像和原始图像进行单模态配准，计算变换矩阵及同序列两图之间的相似性度量；3)比较两个序列的相似性度量，选择对应策略，输出最终变换矩阵；4)使用最终变换矩阵对浮动图进行变换，获得最终的结果图。本发明对已配准样本的依赖较小，网络可训练性较高，抗干扰能力较强，配准精度较高。

Description

一种基于循环生成对抗网络的多序列磁共振图像配准方法

技术领域

本发明涉及一种多序列磁共振图像配准方法。

背景技术

磁共振图像在采集时所用加权像不同，导致不同序列的磁共振的图像表示不同，若直接对图像寻找特征，往往无法匹配到一致的特征。因此，在多序列核磁共振图像配准过程中寻找一致性的特征成为该类型配准的关键问题，即将不同序列的核磁共振图像转换成同一序列的图像，之后可使用单模态的图像配准方法进行配准。在传统的机器学习图像生成技术中，往往需要大量的已配准的数据进行训练，如基于结构化随机森林的图像生成技术。而引入生成对抗网络的方法来实现多序列磁共振图像之间相互转换能有效减少了对已匹配的多序列的数据的依赖，成为医学图像配准研究领域中比较热门的话题，如基于GAN的配准方法、基于条件GAN的配准方法及基于DCGAN的配准方法等。但这些方法在训练时很难保持两个子网络的平衡，易出现网络难以训练的问题。

存在的技术缺陷为：生成对抗网络可训练性较弱，抗干扰能力较弱。

发明内容

为了克服现有生成对抗网络在多序列磁共振图像的转换过程中抗干扰能力不足、易出现网络难以训练的问题，本发明提供了一种易于训练网络，抗干扰能力较强的结合循环生成对抗网络的转换方法进行多序列磁共振图像配准。

本发明解决其技术问题所采用的技术方案是：

一种基于循环生成对抗网络的多序列磁共振图像配准方法，包括如下步骤：

1)对输入的序列1和序列2的磁共振原始图像，用CycleGAN进行训练，输出序列1和序列2的磁共振生成图像；

2)对同序列的生成图像和原始图像进行单模态配准，计算变换矩阵及同序列两图之间的相似性度量，过程如下：

2.1)对序列1的原始图像X和生成图像X*，寻找两图的特征点及其映射关系，计算序列1磁共振图像的变换矩阵1；

2.2)计算生成图和原图的归一化互信息，作为序列1生成图和原图的相似性度量1；

2.3)采用与序列1相同的方法，计算序列2磁共振图像的变换矩阵2及生成图和原图的相似性度量2；

3)比较两个序列的相似性度量，选择对应策略，输出最终变换矩阵，过程如下：

3.1)设置相似度比较标准值，若相似性度量1和相似性度量2的差距小于该值，则两序列的相似性度量差距较小，反之较大；

3.2)若两序列的相似性度量差距较小，则计算变换矩阵1和变换矩阵2的均值作为最终变换矩阵并输出；

3.3)若两序列的相似性度量差距较大，则选取相似性度量更优的变换矩阵作为最终变换矩阵并输出。

4)使用最终变换矩阵对浮动图进行变换，获得最终的结果图。

进一步，所述步骤1)的过程如下：

1.1)将序列1的磁共振原始图像X输入生成器G_XY，生成序列2的磁共振生成图像Y*；

1.2)将Y*与序列2的磁共振原始图像Y输入判别器D_Y，判断输入数据的真伪；

1.3)生成器G_XY接受判别器D_Y的判别反馈，调整参数权值，生成新的Y*进行判别，直到判别器D_Y无法判别输入数据真伪性；

1.4)输出序列2的磁共振生成图像Y*；

1.5)序列1的磁共振生成图像X*获得方式与上述同理；

1.6)约束对两个子网络的训练进行平衡，使得不会出现损失消失的情况，损失函数用以下公式表示：

其中，P_data(x)是真实样本的分布，P_data(y)是合成样本的分布，F是生成器G_XY的映射函数，G是生成器G_YX的映射函数。

本发明的技术构思为：该方法针对获取的未匹配多序列磁共振图像在生成对抗网络中难以训练且易产生噪声点的应用场景。首先利用利用循环生成对抗网络增加的循环一致性约束，使网络在训练中不易出现损失消失等情况，使网络更容易被训练，生成精度较高的多序列磁共振生成图。为减小生成图像的误差点对配准过程的影响，增强配准结果的鲁棒性，对同序列的磁共振生成图像和原始图像进行单模态配准，获得两组变换矩阵和相似性度量，然后比较两序列生成图与原始图像之间的相似性度量，选择相应的加权策略，获得最终的输出矩阵。最后将该变换矩阵映射到原始图像中进行配准。

本发明的有益效果主要表现在：1、循环生成对抗网络可训练性较强，可生成精度较高的多序列磁共振图像；2、减小了生成图像的误差点对配准的影响，提高了配准结果的鲁棒性；3、提高了配准的精度。

附图说明

图1是一种基于循环生成对抗网络的多序列磁共振图像配准方法的流程图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1，一种基于循环生成对抗网络的多序列磁共振图像配准方法，包括如下步骤：

1)将序列1和序列2的磁共振原始图像输入CycleGAN进行训练，输出序列1和序列2的磁共振生成图像；

2)对同序列的生成图像和原始图像进行单模态配准，计算变换矩阵及同序列两图之间的相似性度量，过程如下：

2.1)对序列1的原始图像X和生成图像X*，寻找两图的特征点及其映射关系，计算序列1磁共振图像的变换矩阵1；

2.2)计算生成图和原图的归一化互信息，作为序列1生成图和原图的相似性度量1；

2.3)采用与序列1相同的方法，计算序列2磁共振图像的变换矩阵2及生成图和原图的相似性度量2；

3)比较两个序列的相似性度量，选择对应策略，输出最终变换矩阵：

3.1)设置相似度比较标准值，若相似性度量1和相似性度量2的差距小于该值，则两序列的相似性度量差距较小，反之较大；

3.2)若两序列的相似性度量差距较小，则计算变换矩阵1和变换矩阵2的均值作为最终变换矩阵并输出；

3.3)若两序列的相似性度量差距较大，则选取相似性度量更优的变换矩阵作为最终变换矩阵并输出；

4)使用最终变换矩阵对浮动图进行变换，获得最终的结果图。

进一步，所述步骤1)的过程如下：

1.1)将序列1的磁共振原始图像X输入生成器G_XY，生成序列2的磁共振生成图像Y*；

1.2)将Y*与序列2的磁共振原始图像Y输入判别器D_Y，判断输入数据的真伪；

1.3)生成器G_XY接受判别器D_Y的判别反馈，调整参数权值，生成新的Y*进行判别，直到判别器D_Y无法判别输入数据真伪性；

1.4)输出序列2的磁共振生成图像Y*；

1.5)序列1的磁共振生成图像X*获得方式与上述同理；

1.6)约束对两个子网络的训练进行平衡，使得不会出现损失消失的情况，损失函数用以下公式表示：

其中，P_data(x)是真实样本的分布，P_data(y)是合成样本的分布，F是生成器G_XY的映射函数，G是生成器G_YX的映射函数。

Claims (2)

1.一种基于循环生成对抗网络的多序列磁共振图像配准方法，其特征在于，所述方法包括如下步骤：

1)对输入的序列1和序列2的磁共振原始图像，用CycleGAN进行训练，输出序列1和序列2的磁共振生成图像：

2)对同序列的生成图像和原始图像进行单模态配准，计算变换矩阵及同序列两图之间的相似性度量，过程如下：

2.1)对序列1的原始图像X和生成图像X*，寻找两图的特征点及其映射关系，计算序列1磁共振图像的变换矩阵1；

2.2)计算生成图和原图的归一化互信息，作为序列1生成图和原图的相似性度量1；

2.3)序列2磁共振图像的变换矩阵2及生成图和原图的相似性度量2计算方式同上。

3)比较两个序列的相似性度量，选择对应策略，输出最终变换矩阵，过程如下：

3.1)设置相似度比较标准值，若相似性度量1和相似性度量2的差距小于该值，则两序列的相似性度量差距较小，反之较大；

3.2)若两序列的相似性度量差距较小，则计算变换矩阵1和变换矩阵2的均值作为最终变换矩阵并输出；

3.3)若两序列的相似性度量差距较大，则选取相似性度量更优的变换矩阵作为最终变换矩阵并输出；

4)使用最终变换矩阵对浮动图进行变换，获得最终的结果图。

2.如权利要求1所述的一种基于循环生成对抗网络的多序列磁共振图像配准方法，其特征在于，所述步骤1)的过程如下：

1.1)将序列1的磁共振原始图像X输入生成器G_XY，生成序列2的磁共振生成图像Y*；

1.2)将Y*与序列2的磁共振原始图像Y输入判别器D_Y，判断输入数据的真伪；

1.3)生成器G_XY接受判别器D_Y的判别反馈，调整参数权值，生成新的Y*进行判别，直到判别器D_Y无法判别输入数据真伪性；

1.4)输出序列2的磁共振生成图像Y*；

1.5)序列1的磁共振生成图像X*获得方式与上述同理；

1.6)约束对两个子网络的训练进行平衡，使得不会出现损失消失的情况，损失函数用以下公式表示：

其中，P_data(x)是真实样本的分布，P_data(y)是合成样本的分布，F是生成器G_XY的映射函数，G是生成器G_YX的映射函数。