CN112116674A - 图像重建方法、装置、终端及存储介质 - Google Patents

Abstract

本申请涉及图像重建方法方法、装置、终端及存储介质，通过完全采样的频域空间图像数据训练构建图像重建模型，并在输入数据为欠采样频域空间图像数据时，输出残差图像数据，再通过将输入的欠采样频域空间图像数据与输出的残差图像数据相加，获得重建的磁共振图像。本申请实施例预测未采样频域空间数据的模型简单，加快训练以及预测的过程，同时在频域空间数据采集的比例过低时，使重建的图像具有更好的效果。

Description

图像重建方法、装置、终端及存储介质

技术领域

本申请实施例涉及但不限于磁共振成像技术领域，尤其涉及一种图像重建方法、系统、终端及存储介质。

背景技术

磁共振成像(Magnetic Resonance Imaging，MRI)现代医疗影像中重要的成像方式之一。磁共振成像利用磁共振现象，采用射频激励激发生物体中的氢原子，并利用其电磁特性来产生清晰准确的图像。

虽然磁共振成像有诸多优点，但是磁共振图像的数据采集时间过长限制了采样数据的完整性，例如通过减少相位编码数以减少数据采样时间，或采集部分回波以减少回波时间都会造成频域空间数据的部分缺失。而当使用逆傅里叶变换直接对频域空间数据进行重建，得到的图像将会受到伪影影响。因此，在图像重建过程中，需要对未采样的部分的频域空间数据进行预测。

目前，通常使用凸集投影(Projections Onto Convex Sets，POCS)方法来预测未采样的频域空间数据，但是此种方法大大降低了图像信噪比，并且在图像相位变化剧烈的情况下，未采样的频域空间数据预测效果不佳；同时，当频域空间数据采集的比例过低时，采集的数据不足以预测相位信息，进而影响图像重建效果。

发明内容

以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

本申请实施例提供了一种图像重建方法、装置、终端及存储介质，基于深度学习模型，通过完全采样的频域空间图像数据训练构建图像重建模型，并在输入数据为欠采样频域空间图像数据时，输出残差图像数据，再通过将输入的欠采样频域空间图像数据与输出的残差图像数据相加，获得重建的磁共振图像。采用上述方法预测未采样频域空间数据的模型简单，加快了训练以及预测的过程，同时在频域空间数据采集的比例过低时，使图像重建具有更好的效果。

第一方面，本申请的实施例提供了一种图像重建方法，应用于磁共振成像，包括：获取完全采样的频域空间图像数据作为训练数据；使用所述训练数据训练并获得图像重建模型；使用所述图像重建模型，重建获得磁共振图像，所述图像重建模型的输入为欠采样频域空间图像数据，所述图像重建模型的输出为残差图像数据，所述磁共振图像为所述欠采样频域空间图像数据与所述残差图像数据加和。

第二方面，本申请的实施例提供了一种图像重建装置，用于执行第一方面所述的图像重建方法。

第三方面，本申请的实施例还提供了一种终端，至少包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面的图像重建方法。

第四方面，本申请的实施例还提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如上所述第一方面的图像重建方法。

本申请实施例基于深度学习模型，通过完全采样的频域空间图像数据训练构建图像重建模型，并在输入数据为欠采样频域空间图像数据时，输出残差图像数据，并通过将输入的欠采样频域空间图像数据与输出的残差图像数据相加，获得重建的磁共振图像。本申请实施例预测未采样频域空间数据的模型简单，加快了训练以及预测的过程，同时在频域空间数据采集的比例过低时，使图像重建具有更好的效果。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本申请技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。

图1为本申请实施例提供的图像重建方法方法的流程示意图；

图2为本申请一实施例中采用图像重建方法获得的磁共振图像的示意图；

图3为本申请一实施例中采用凸集投影方法获得的磁共振图像的示意图；

图4为本申请另一实施例中采用图像重建方法获得的磁共振图像的示意图；

图5为本申请另一实施例中采用凸集投影方法获得的磁共振图像的示意图；

图6为本申请另一实施例中采用图像重建方法获得的磁共振图像的示意图；

图7为本申请另一实施例中采用凸集投影方法获得的磁共振图像的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

本申请实施例的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本申请实施例中的具体含义。

在磁共振成像中，受到磁共振物理特性及被扫描人体的限制，往往需要很长的时间来采集足够的频域空间数据进行图像重建。过长的扫描时间，导致扫描诊断的效率较低，而且在扫描过程中容易引起病人不适。另外，较长的扫描时间，导致磁共振扫描难以处理人体运动组织，例如腹部、心脏等部位的成像。因此，使用多种方法减少数据采集时间，而减少扫描时间必然导致采集的数据存在部分缺失。对于已采集的数据比例，叫做傅里叶分数。由于用逆傅里叶变换直接对频域空间数据进行重建得到的图像将不可避免地遭受伪影的影响。因此，在图像重建过程中，需要先对未采集的频域空间数据进行预测。

基于此，本申请实施例提供了一种图像重建方法、装置、终端及存储介质，能够基于深度学习模型，通过完全采样的频域空间图像数据训练构建图像重建模型，并在输入数据为欠采样频域空间图像数据时，输出残差图像数据，并通过将输入的欠采样频域空间图像数据与输出的残差图像数据相加，获得重建的磁共振图像。本申请实施例预测未采样频域空间数据的模型简单，加快了训练以及预测的过程，同时在频域空间数据采集的比例过低时，使图像重建具有更好的效果。

下面结合附图，对本申请实施例作进一步阐述。

第一方面，本申请实施例提供了一种图像重建方法。

图1为本申请实施例提供的图像重建方法的流程示意图。如图1所示，本实施例提供的图像重建方法至少包括：

步骤S100：获取完全采样的频域空间图像数据作为训练数据。

完全采样的频域空间数据不仅可以来自真实的磁共振成像扫描仪扫描获得数据，也可以来自使用仿真方法获得的完整数据。完全采样的频域空间图像数据作为训练数据，用于构造图像重建模型。值得注意的是，无论是完全采样的频域空间数据，还是欠采样的频域空间数据，其数据源的参数可以不相同甚至不相似，例如，完全采样的频域空间数据与欠采样的频域空间数据可以来自不同的物体或解剖结构，而在进行数据采集时，不同的磁共振成像对比度、不同的磁共振成像扫描仪以及不同的磁共振成像磁场强度均不会对本实施例公开的图像重建方法造成影响。

步骤S200：使用训练数据训练并获得图像重建模型。

在使用训练数据训练图像重建模型时，重建模型可以为一种深度学习模型或两种及以上深度学习模型的组合。常用的深度学习模型包括卷积神经网络模型、生成对抗网络模型、循环神经网络模型、长短期记忆网络模型、自动编码器网络模型、深度信念网络模型、深度残差网络模型、门循环单元网络模型、回声状态网络模型等。使用单一模型的训练过程往往会比组合模型的训练过程更为快速，但是组合模型往往能够带来更准确的预测效果。

因此，基于现有的深度学习模型，可以通过完全采样的频域空间图像数据训练获得性能优异的图像重建模型。

步骤S300：使用图像重建模型，重建获得磁共振图像。

其中，图像重建模型的输入为欠采样频域空间图像数据，图像重建模型的输出为残差图像数据，而磁共振图像为欠采样频域空间图像数据与残差图像数据加和。其中，可以通过对完全采样的频域空间图像数据进行欠采样处理，得到欠采样频域空间图像数据，将欠采样频域空间图像数据作为图像重建模型的输入，通过图像重建模型预测输出残差图像数据，并对欠采样频域空间图像数据及残差图像数据进行加和运算，得到加和运算后的图像数据，可以通过傅里叶变换变换到图像域，然后在图像域进行插值，重建得到磁共振图像。

本实施例通过将欠采样频域空间图像数据作为图像重建模型的输入，将残差图像数据作为图像重建模型的输出，将输入的欠采样频域空间图像数据与输出的残差图像数据相加，获得重建的磁共振图像，从而实现了预测未采样频域空间数据的模型简单，加快了训练以及预测的过程，同时在频域空间数据采集的比例过低时，使图像重建具有更好的效果。并且，本实施例中，图像重建模型的输出为残差图数据，能够降低神经网络的要求，从而使得神经网络的结构变得简单，进而提高了对神经网络进行训练的效果。

图像重建模型的输入对应两个及以上通道，图像重建模型的输出对应两个及以上通道。在一实施例中，图像重建模型为卷积神经网络模型，欠采样频域空间图像数据为傅里叶二维频域空间数据为例，对卷积神经网络模型的结构及图像重建方法进行解释说明。具体地，该卷积神经网络模型的输入是复数图像数据，例如大小为256×256×2的复数图像数据，该复数图像数据通过两个通道输入，即实部通道与虚部通道。该卷积神经网络模型包括五个卷积层，每个卷积层还包括批量规范化层和激活函数，卷积神经网络模型的输入分别对应傅里叶二维频域空间数据的实部与虚部，卷积神经网络模型的输出分别对应残差图像数据的实部与虚部，其中，五个卷积层的卷积核大小分别是9×9、7×7、5×5、5×5和3×3，对应的每个卷积层的卷积核个数分别为128、64、32、32和2，预测输出的残差图像数据为256×256×2的三维矩阵。通过完全采样的频域空间图像数据对卷积神经网络进行训练，得到卷积神经网络模型，将欠采样频域空间图像数据与残差图像数据进行加和运算，重建得到磁共振成像的图像。本实施例中，并没有对图像重建模型的通道数量及空间数据的维度作具体限定，该通道数量可以是两个及以上，该空间数据可以是三维空间数据、四维空间数据甚至更高维度。

在另一实施例中，可以通过频率编码方法在笛卡尔频域空间进行采样，欠采样频域空间图像数据通过在一个或多个方向上部分采样获得，例如，对沿频率编码方向(垂直方向)的部分傅里叶进行重建。参照图2，在本实施例中，通过在笛卡尔频域空间进行采样获得欠采样数据，将欠采样数据输入到训练后的图像重建模型中，输出残差图像数据，将输入的欠采样图像数据与残差图像数据相加，获得重建图像。图3为传统凸集投影方法得到的磁共振图像。图2与图3分别包括了欠采样的三种情形，其傅里叶分数分别为0.51、0.55和0.65，在傅立叶分数为0.51时，欠采样程度最为严重，未采集数据的预测难度最大。通过对比图2与图3可以看出，与现有技术中凸集投影方法相比，在傅立叶分数为0.65时，两者图像重建效果相似；当傅里叶分数为0.55时，通过本实施例提供的图像重建方法得到的磁共振图像明显优于现有技术中凸集投影方法得到的磁共振图像；当傅里叶分数为0.51时，凸集投影方法遭受显著的高频信息丢失，而本实施例提供的图像重建方法保留了清晰的边缘信息，且没有明显的噪声。

在一实施例中，可以通过相位编码在笛卡尔频域空间进行采样，欠采样频域空间图像数据通过在一个或多个方向上部分采样获得，参照图4与图5，图4为采用本实施例公开的图像重建方法获得的磁共振图像，图5为传统凸集投影方法得到的磁共振图像，可以看出在傅里叶分数沿相位编码方向(水平方向)为0.60或0.55时，采用本申请提供的图像重建方法获得的重建图像的效果均优于传统凸集投影方法，即本图像重建方法能够在恢复高频信息的同时保持高信噪比。

在其他实施例中，可以通过投影编码方法在极性频域空间进行采样，该欠采样频域空间图像数据通过在角度方向上部分采样获得，还可以通过螺旋采样方法进行采样，该欠采样频域空间图像数据通过非笛卡尔和非极性频域空间的轨迹部分采样获得。

在一实施例中，本申请还可以通过对不同器官或者部位的频域空间图像数据进行训练，从而得到图像重建模型，该图像重建模型适用于具有不同对比度的其它器官图像。参照图6，图6为本申请图像重建方法中通过相位编码(垂直方向)在笛卡尔频域空间进行采样得到的磁共振图像，图7为传统凸集投影方法得到的磁共振图像，例如，使用膝关节图像的图像数据作为训练数据对卷积神经网络进行训练，得到卷积神经网络模型，通过该卷积神经网络模型对脑T2加权FSE(Fast Spin Echo，快速自旋回波)和T1加权GE(Gradient Echo，梯度回波)图像进行部分傅里叶重建。其中，T2加权图像沿相位编码方向(垂直方向)的部分傅里叶分数为0.55，T1加权图像沿频率编码方向(水平方向)的部分傅里叶分数为0.55。与现有的凸集投影方法相比，由于凸集投影方法不能适应图像的快速局部相位变化，因此得到的磁共振模型中会出现伪影，如图7所示，图中a、b、c、d处为通过凸集投影方法得到的磁共振图像中的伪影部分，而本申请的图像重建方法得到的磁共振图像不会出现伪影。

第二方面，本申请的实施例还提供了一种图像重建装置，用于执行上述第一方面的图像重建方法。

第三方面，本申请的实施例还提供了一种终端，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该所述处理器执行上述第一方面的图像重建方法。

第四方面，本申请的实施例还提供了一种计算机可读存储介质，存储有计算机可执行指令，该计算机可执行指令用于执行如上述第一方面的图像重建方法。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。移动终端设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载终端设备、可穿戴设备、超级移动个人计算机、上网本、个人数字助理、CPE、UFI(无线热点设备)等；本申请实施方案不作具体限定。

以上是对本申请的较佳实施进行了具体说明，但本申请并不局限于上述实施方式，熟悉本领域的技术人员在不违背本申请精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种图像重建方法，应用于磁共振成像，包括：

获取完全采样的频域空间图像数据作为训练数据；

使用所述训练数据训练并获得图像重建模型；

使用所述图像重建模型，重建并获得磁共振图像，所述图像重建模型的输入为欠采样频域空间图像数据，所述图像重建模型的输出为残差图像数据，所述磁共振图像为所述欠采样频域空间图像数据与所述残差图像数据加和。

2.根据权利要求1所述的图像重建方法，其特征在于，所述图像重建模型的输入对应两个及以上通道，所述图像重建模型的输出对应两个及以上通道。

3.根据权利要求1所述的图像重建方法，其特征在于，所述欠采样频域空间图像数据包括：

通过相位编码或/和频率编码方法在笛卡尔频域空间进行采样，所述欠采样频域空间图像数据通过在一个或多个方向上部分采样获得。

4.根据权利要求1所述的图像重建方法，其特征在于，所述欠采样频域空间图像数据包括：

通过投影编码方法在极性频域空间进行采样，所述欠采样频域空间图像数据通过在角度方向上部分采样获得。

5.根据权利要求1所述的图像重建方法，其特征在于，所述欠采样频域空间图像数据包括：

通过螺旋采样方法进行采样，所述欠采样频域空间图像数据通过非笛卡尔和非极性频域空间的轨迹部分采样获得。

6.根据权利要求1-5任一项所述的图像重建方法，其特征在于，所述图像重建模型包括以下一种深度学习模型或两种及以上深度学习模型的组合：

卷积神经网络模型、生成对抗网络模型、循环神经网络模型、长短期记忆网络模型、自动编码器网络模型、深度信念网络模型、深度残差网络模型、门循环单元网络模型、回声状态网络模型。

7.根据权利要求6所述的图像重建方法，其特征在于，所述卷积神经网络模型的输入对应所述欠采样频域空间图像数据的实部与虚部，所述卷积神经网络模型包括五个卷积层，所述卷积神经网络模型的输出对应所述残差图像数据的实部与虚部。

8.一种图像重建装置，用于执行权利要求1-7任一项所述的图像重建方法。

9.一种终端，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的图像重建方法。

10.一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如权利要求1至7任意一项所述的图像重建方法。

Images