CN114565626A

CN114565626A - 基于PSPNet改进的肺部CT图像分割算法

Info

Publication number: CN114565626A
Application number: CN202210221919.8A
Authority: CN
Inventors: 王灏睿; 宋博
Original assignee: Jiangsu Normal University
Current assignee: Jiangsu Normal University
Priority date: 2022-03-07
Filing date: 2022-03-07
Publication date: 2022-05-31

Abstract

发明公开一种基于PSPNet改进的肺部CT图像分割算法，步骤包括：在Kaggle上收集肺部CT图像数据，将图像进行预处理，例如图像增强、几何变换、图像裁剪等操作，随后将样本根据比例划分成训练集和测试集；构建一种改进的PSPNet的网络模型，使用轻量级网络Mobilenet系列的最新MobilenetV3算法来提取特征信息，随后引入核心模块金字塔池化模块，提高获取全局信息的能力，最后经过上采样等操作使分类出来的图像更逼近目标的真实轮廓。本发明旨在采用改进的PSPNet算法应用于肺部CT分割领域，引入MobilenetV3作为PSPNet的主干提取网络，使网络趋于轻量化的同时进一步提高精度，更快的网络处理速度使得医生专家分析诊疗效率提升。

Description

基于PSPNet改进的肺部CT图像分割算法

技术领域

本发明涉及深度学习医学影像分割技术领域，特别是涉及一种基于PSPNet改进的肺部CT图像分割算法。

背景技术

传统的医学影像分割方法包括阈值分割、区域生长法、边缘分割等图像分割算法。但这些分割算法对样本的要求极高，简单地从图像的灰度、对比度等信息进行手动分割，对于复杂场景下的图像效果很差。随着深度学习在各个领域的不断发展与应用，卷积神经网络也逐渐应用在图像处理领域中。卷积神经网络在图像识别和特征提取中有很好的效果，大幅提升了传统算法在医学影像分割的精度和准确率。其中，PSPNet是一种改良过后的卷积神经网络，利用金字塔池化模块和金字塔场景解析网络聚合基于不同区域的上下文信息，来提高获取全局上下文信息的能力。而MobileNet是一类定位于移动端和嵌入式装置的轻量化神经网络，经过几年的发展我们发现它在提高特征提取精度和减少运行时间方面效果很好，因此将其引入PSPNet有着很好的分割效果。

发明内容

为提高现有神经网络在医学图像分割中的分割能力，本发明提供一种基于PSPNet改进的肺部CT图像分割算法，提高医学图像骨骼分割方面的性能并且减少了预测速度。

为了达到上述目的，本发明提供的一种基于PSPNet改进的肺部CT图像分割算法，包括如下步骤：

步骤一，制作肺部CT图像数据集，并通过数据集预处理程序，用代码划分出不同比例的训练集和测试集；

步骤二，将处理过的肺部CT图像样本，输入到一种轻量级的深层神经网络MobileNetV3进行特征提取，进行4次下采样过后得到全局特征层(Feature Map)；

步骤三，将提取到的特征层继续获取到的特征层划分成不同大小的区域，将输入进来的特征层划分成6x6，3x3，2x2，1x1的区域，然后每个区域内部各自进行平均池化，得到局部特征层；

步骤四，将局部不同维度的特征层，利用1×1卷积进行上采样得到和步骤二得到的全局特征层相同维度的四种特征层，最后将全局和局部特征层进行堆叠；

步骤五，将步骤四得到的特征层利用一个3x3卷积进行整合，再利用一个1x1卷积进行通道调整，调整成2类，输出预测结果，最后利用resize进行上采样使得最终输出层，宽高和输入图片一样。

优选的，本发明基于PSPNet改进的肺部CT图像分割算法，使用MobileNetV3预训练权重进行训练，使得在背景复杂的CT图像下，预测结果依然不受影响，能够达到相对较好的准确率。

优选的，步骤一中，可以使用现有的公开医学影像数据集，也可以和医疗机构进行合作，通过专业的医生或专家对于肺部部位进行手动分割标注，再进行图像预处理制作成数据集。

优选的，步骤一中，我们采用了一种图像预处理的方法letterbox_image，将输入进来不同尺寸的图像上下增加灰条，使得resize后的图片不会失真。

优选的，在步骤二中将图片输入MobileNetV3进行特征提取的时候，采用的Invertedresidualblock结构，会先进行升维操作，然后用3×3depthwiseconvolution方式做卷积运算，传入SE模块（通道数为膨胀层通道的1/4），随后用一个轻量级注意力模型调整各通道的权重，最后用1×1卷积进行升维，再通过一个线性单元输出全局特征FeatureMap。

优选的，在步骤二的MobileNetV3模块的构建中，在倒数第三个block输出引出辅助Loss，与总Loss一起传播，共同优化参数，有效加快了收敛速度。

优选的，在步骤三中该PSP模块融合了4种不同金字塔尺度的特征，利用1×1卷积核的是全局池化生成单个bin输出，后面三种是不同尺度的池化特征，为了保证全局特征的权重，如果金字塔共有N个级别，则在每个级别后使用1×1的卷积将对于级别通道降为原本的1/N，再通过双线性插值获得未池化前的大小，最终concat到一起，该特征包含了全局和局部的上下文信息。

本发明能够取得下列有益效果：

（1）本发明采用MobileNetV3作为PSPNet的主干特征提取网络，在保证精度的同时，降低了参数量，减少了预测时间；

（2）本发明将提取得到的全局特征图通过金字塔自适应平均池化模块进行划分，不同的区域内进行池化得到局部特征图，使得到的特征图不仅包含局部特征还包含全局特征。

附图说明

图1为本发明的一种基于PSPNet改进的肺部CT图像分割算法的流程图；

图2为本发明的MobileNetV3模型网络结构的示意图；

图3为本发明的一种基于PSPNet改进的肺部CT图像分割算法的整体网络结构的示意图；

图4为本发明的一种基于PSPNet改进的肺部CT图像分割算法的识别结果的示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明针对现有的问题，提出了一种基于PSPNet改进的肺部CT图像分割方法。本发明为基于神经网络的语义分割的方法，通过改进PSPNet网络模型进行CT图像中对于肺部部位的分割，将图片输入到改进的PSPNet的网络模型，经过编码器模块，通过不同大小的卷积层逐步降低特征图大小，提取高层次的语义信息，然后再经过解码器模块，通过上采样等操作逐渐恢复特征图的大小，完成空间信息的提取，得到从临床3D计算机断层扫描中分割出肺部的预测结果。本发明的一种基于PSPNet改进的肺部CT图像分割方法包括如下步骤：

步骤一，准备肺部CT图像数据集，可以选用Kaggle上公开的数据集，也可以通过医疗机构获得肺部CT扫描图，用Labelme、LabelImage、Photoshop等工具进行手动标注肺部部位。将处理好的样本放入Sample文件夹，将手动标注好的标签文件放入Label文件夹，运行Image_annotation.py文件，以9：1的比例划分好训练集和验证集；

步骤二，利用letterbox_image函数对肺部CT图像进行不失真的resize，本发明中对输入图片的尺寸规定为473×473，通道数为3，即随后根据所需分割的种类设定num_classes，这里设定为2，并且更改self.color的数值，根据数据集的格式将背景和分割区域的像素值调整为[255,255,255]和[0,0,0]；根据电脑配置自行设定下采样倍数downsample_factor，采集的特征大小为，更改其他参数比如：迭代次数Epoch、batch_size、学习率learning_rate等等。

步骤三，构建MobileNetV3所独特的bneck结构：利用1×1卷积进行通道数调整，随后进行标准化和激活函数，在前6个bneck结构中所用到的激活函数为ReLU6，具体形式为：

，

即输入大于6的时候返回值为6，作为一个非线性函数，保证在后续计算的鲁棒性。在后8个bneck结构中采用h-swish函数，具体形式为：

h-swish函数让计算成本降低，减少了参数量，在返回像素点分类表现更好。

利用深度可分离卷积进行特征提取，标准化后施加注意力机制：首先利用公式

进行squeeze操作，即全局平均池化得到其中一个特征长条，随后根据公式

进行excitation操作，即两次全连接后得到的另一个特征长条，将

和

相乘，完成注意力机制的构建。随后利用1×1卷积进行降维和标准化操作，判断是否使用了残差边，使用残差边那么必须将残差边加入返回出的特征中，至此bneck结构搭建完成；按照MobileNetV3 Large结构搭建网络，我们取出在倒数第三个bneck结构得到的特征作为辅助训练分支aux_branch，进行标准化和dropout操作，将特征resize后与标签进行比对计算loss来训练。

步骤四，将图片输入我们构建好的MobileNetV3中进行全局特征提取，最后我们取得全局特征图将提取到的特征层继续获取到的特征层划分成不同大小的区域，将输入进来的全局特征层用6x6，3x3，2x2，1x1的卷积核生成各部分的局部特征层；将局部不同维度的特征层，利用1×1卷积进行上采样得到和全局特征层相同维度的四种特征层，最后将全局和局部特征层进行通道堆叠；得到的特征层利用一个3x3卷积进行整合，再利用一个1x1卷积进行通道调整，调整成2类，输出预测结果，最后利用resize进行上采样使得最终输出层的宽、高和输入图片一样。

步骤五，可以采用网络上公开的MobileNetV3的预训练权重文件运行train.py文件，也可以将model_path设置为空格，从头开始训练，采用Cross Entropy Loss和DiceLoss进行训练，Cross Entropy Loss即交叉熵函数，公式如下：

为标签值，

为预测值，Dice Loss的公式为：

，

利用上述公式计算生成总Loss进行训练，将训练好生成的.pth权重文件，放入PSPNet.py文件中，运行它再运行predict.py文件，输入想要预测的图片路径，得到经过算法分割生成的肺部图像。

步骤六，运行get_miou文件，根据公式

,

其中TP(真正)：预测结果为正类,实则为正类；FP(假正)：预测结果是正类, 实则为负类；FN(假负)：预测结果是负类, 实则为正类；TN(真负)：预测为负类, 真实则为负类。根据公式

计算平均像素准确率。查看本次训练成果的评价指标，根据指标优化调整参数，找到最合适的参数。

通过测试，相比于原始的PSPNet网络，本发明实例在Kaggle数据集上有很好的肺部CT图像分割效果，类别平均像素准确率（MPA）达到了92.68%，在肺部CT图像的语义分割上有更好的效果。

本发明设计了一种基于PSPNet改进的肺部CT图像分割方法，精简PSPNet模型参数，选用轻量级神经网络MobileNetV3进行特征提取，改进后的轻量级神经网络算法可以应用于移动端或者小型嵌入式设备，以辅助专业医生进行及时的诊断，提高诊断效率。

Claims

1.一种基于PSPNet改进的肺部CT图像分割算法，其特征在于引入MobilenetV3作为网络主干提取网络，方法步骤如下：

步骤二，将处理过的肺部CT图像样本，输入到一种轻量级的深层神经网络（MobileNetV3）进行特征提取，进行4次下采样过后得到全局特征层(Feature Map)；

2.根据权利要求1所述的一种基于PSPNet改进的肺部CT图像分割算法，其特征在于，步骤二中利用了Google最新提出的轻量化网络MobileNetV3作为主干特征提取网络，替换掉原先的ResNet101网络，大大增快了提取速度，同时增高了特征提取的精度。

3.根据权利要求2所述的一种基于PSPNet改进的肺部CT图像分割算法，其特征在于，在了Depthwise卷积后面引入SE（Squeeze-and-Excite）模块。

4.根据权利要求1所述的一种基于PSPNet改进的肺部CT图像分割算法，其特征在于，在网络中引入了ReLU6和h-swish激活函数，ReLU6 就是普通的 ReLU 但是限制最大输出为6，为了在移动端设备 float16/int8 的低精度的时候也能有很好的数值分辨率，其公式如下：

h-swish是最近的swish非线性函数的改进版本，其中Swish激活函数的公式如下：

其中

使sigmoid函数，而H-swish函数公式如下：

h-swish函数将Sigmoid函数替换为分段线性函数，使用的ReLU6在众多深度学习框架都可以实现，同时在量化时降低了数值的精度损失。

5.根据权利要求1所述的一种基于PSPNet改进的肺部CT图像分割算法，其特征在于，本文所使用的LOSS由两部分组成：Cross Entropy Loss和Dice Loss，

并对每个像素进行评估，其中Cross Entropy Loss就是交叉熵函数，Dice Loss是将语义分割的评价指标作为Loss，Dice系数是一种集合相似度度量函数，通常用于计算两个样本的相似度，取值范围在[0,1]，计算公式如下：

，

其中X是预测结果，Y是真实结果。