CN112651375A - 基于深度学习模型的幽门螺杆菌胃部图像识别分类系统 - Google Patents

Abstract

本发明公开了一种基于深度学习模型的幽门螺杆菌胃部图像识别分类系统。所述基于深度学习模型的幽门螺杆菌胃部图像识别分类系统，包括图像采集装置和计算主机，所述计算主机包括图像预处理模块、深度学习模型模块，图像采集模块、图像预处理模块和深度学习模型模块按顺序连接；所述图像采集装置用于获取胃部待检测位置的图像数据；所述图像预处理模块用于对图像进行预处理；所述深度学习模型模块用于进行图像的特征提取，然后根据提取的特征对图像进行分类。

Description

基于深度学习模型的幽门螺杆菌胃部图像识别分类系统

技术领域

本发明涉及医学信号与图像处理领域，具体涉及一种基于深度学习模型的幽门螺杆菌胃部图像识别分类系统。

背景技术

幽门螺杆菌或幽门螺旋菌，英文名Helicobacterpylori，简称Hp。是革兰氏阴性、微需氧的细菌，生存于胃部及十二指肠的各区域内。Hp感染是最常见的细菌感染之一，目前我国感染率约50％。而它与慢性胃炎，胃及十二指肠溃疡与胃癌等疾病的发病有关。若幽门螺杆菌感染者及时有效的根除杀灭Hp，可快速消除胃粘膜活动性炎症，有效阻滞胃萎缩，对预防和控制胃癌也有重大意义。现有的幽门螺杆菌检测方法可以分为侵袭性和非侵袭性两大类。侵袭性方法主要指必需通过胃镜取活检标本检查的方法，是目前消化病学科的常规方法，包括细菌的分离培养和直接涂片、快速尿素酶试验，药敏试验等方法。非侵袭性方法主要指不通过胃镜取活检标本诊断Hp标本感染的方法，这类方法包括血清学和同位素踪两大类。

消化道内镜医师根据多年的工作经验可根据内窥镜图像判断幽门螺杆菌感染情况。Hp感染者表现为：粘膜萎缩、弥漫性发红、肿胀、皱褶肿大，伴或不伴白色浑浊粘液；Hp阴性者(未感染幽门螺杆菌)表现为：存在规律的集合静脉(RAC)、胃底腺息肉、胃黏膜脊状发红；Hp感染后已经治愈表现为：地图样发红、萎缩、肠上皮化生。三种情况的胃部症状不同，内窥镜采集的图像的表现特征也不同。因此可以根据感染Hp、未感染和感染后已经治愈三种情况下，内窥镜检查时胃内图像表现不同，将胃部内窥镜图像分为感染、感染后已经治愈和未感染三个类别。若仅靠医师判断图像类别，对医师的要求高，且效率低下。

发明内容

本发明的目的在于克服现有技术中所存在的医师人工判断胃部图像所述类别难度大，效率低的不足，提供一种智能高效准确的基于深度学习模型的幽门螺杆菌胃部图像识别分类系统。

为了实现上述发明目的，本发明提供了以下技术方案：

一种基于深度学习模型的幽门螺杆菌胃部图像识别分类系统，包括图像采集装置和计算主机，所述计算主机包括图像预处理模块、深度学习模型模块，图像采集模块、图像预处理模块和深度学习模型模块按顺序连接；所述图像采集装置用于获取胃部待检测位置的图像数据；所述图像预处理模块用于对图像进行预处理；所述深度学习模型模块用于进行图像的特征提取，然后根据提取的特征对图像进行分类。

优选地，所述深度学习模型模块包括特征提取网络单元和分类网络单元，分类网络单元包括感染分类网络单元；感染分类网络单元用于拼接特征提取网络单元提取的特征向量，并将将图像分为感染、感染后已经治愈和未感染三个类别；

优选地，分类网络单元还包括位置分类网络单元，位置分类网络单元用于拼接特征提取网络单元提取的特征向量，并识别图像所采集的胃部位置。

优选地，所述图像采集装置包括内窥镜和双路脚踏开关；所述计算主机还包括视频流处理模块、脚踏信号接收模块和格式化输出模块；所述双路脚踏开关分别连接内窥镜和脚踏信号接收模块的输入端，内窥镜和脚踏信号接收模块的输出端分别连接视频流处理模块，视频流处理模块经图像预处理模块、深度学习模型模块后与格式化输出模块连接。

优选地，所述计算主机还包括深度学习模型训练模块，深度学习模型训练模块的输入端与图像预处理模块连接，深度学习模型训练模块的输出端与深度学习模型模块连接。

优选地，所述预处理模块用于执行以下操作：图像裁剪、图像缩放、图像标准化和图像归一化。

优选地，所述特征提取网络单元包括去掉顶层的全连接层的ResNet50、InceptionV3、EfficientNetB3、EfficientNetB0和DenseNet121之一或组合；

优选地，所述感染分类网络单元和位置分类网络单元均由全连接层、Dropout层和softmax激活函数组成。

优选地，所述深度学习模型训练模块通过以下步骤进行训练：

A1，采集大量图像数据，并将图像数据进行标注以及预处理操作；

A2，将预处理后的图像数据输入到深度学习模型中，调整深度学习模型中的参数，得到训练后的深度学习模型。

与现有技术相比，本发明的有益效果：

1、通过深度学习模型提取内窥镜图像的特征，判断图像的类别，将图像分为感染、感染后已经治愈和未感染三个类别。

2、通过深度学习模型提取内窥镜图像的特征，识别图像所采集的胃部位置，根据识别的胃部位置对图像进行分类，以检测是否存在位置漏检的情况，避免内窥镜检测失误。

附图说明：

图1为本发明示例性实施例1的基于深度学习模型的幽门螺杆菌胃部图像识别分类系统的系统框图；

图2为本发明示例性实施例1的基于深度学习模型的幽门螺杆菌胃部图像识别分类系统的具体的系统框图一；

图3为本发明示例性实施例1的基于深度学习模型的幽门螺杆菌胃部图像识别分类系统的具体的系统框图二；

图4为本发明示例性实施例2的基于深度学习模型的幽门螺杆菌胃部图像识别分类方法的流程图；

图5为本发明示例性实施例2的深度学习模型的结构图。

具体实施方式

下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

实施例1

如图1所示，本实施例提供一种基于深度学习模型的幽门螺杆菌胃部图像识别分类系统，包括图像采集装置和计算主机，所述计算主机包括图像预处理模块、深度学习模型模块，图像采集模块、图像预处理模块和深度学习模型模块按顺序连接。

其中，深度学习模型模块包括特征提取网络单元和分类网络单元，分类网络单元包括感染分类网络单元和位置分类网络单元。

通过图像采集装置获取胃部待检测位置的图像数据，然后通过图像预处理模块对图像进行预处理，预处理后的图像数据输入到深度学习模型模块中，深度学习模型模块进行图像的特征提取，然后根据提取的特征对图像进行分类，感染分类网络单元用于将图像分为感染、感染后已经治愈和未感染三个类别；位置分类网络单元用于根据提取的特征识别图像所采集的胃部位置。

其中，如图2所示，图像采集装置包括内窥镜和双路脚踏开关；所述计算主机还包括视频流处理模块、脚踏信号接收模块和格式化输出模块；所述双路脚踏开关分别连接内窥镜和脚踏信号接收模块的输入端，内窥镜和脚踏信号接收模块的输出端分别连接视频流处理模块，视频流处理模块经图像预处理模块、深度学习模型模块后与格式化输出模块连接。

所述双路脚踏开关用于启动内窥镜，并向脚踏信号接收模块发送采图信号；所述视频流处理模块用于在接收到脚踏信号接收模块的信号时，截取当前帧内窥镜采集的视频流数据；所述格式化输出模块图像输出检查报告，该报告包括病人是否存在幽门螺杆菌感染、感染部位以及检查过程中漏留图部位等信息。

其中，如图3所示，所述计算主机还包括深度学习模型训练模块，深度学习模型训练模块的输入端与图像预处理模块连接，深度学习模型训练模块的输出端与深度学习模型模块连接。深度学习模型训练模块根据大量内窥镜采集的图像数据对深度学习模型进行训练，调整深度学习模型的参数。

本发明设备通过视频信号线和医院内镜设备相连，并且将医院的单路脚踏开关换为本设备采用的双路脚踏开关，双路脚踏开关分别连接内窥镜设备和计算主机。当内窥镜设备进行幽门螺杆菌手术时，视频流影像和医师每一次的采图信号都会传入计算主机，计算主机经过运算推理后会在手术结束后给出一份检查报告，该报告包含该病人是否存在幽门螺杆菌感染，感染部位以及检查过程中漏留图部位等信息。

实施例2

如图4所示，本实施例提供一种基于深度学习模型的幽门螺杆菌胃部图像识别分类系统的工作实例，基于深度学习模型的幽门螺杆菌胃部图像识别分类系统按照以下步骤运行：

S1，获取胃部待检测位置的图像数据，对图像进行预处理；

S2，将预处理后的图像数据输入到已训练的深度学习模型中进行图像的特征提取，深度学习模型根据提取的特征对图像进行分类，将图像分为感染、感染后已经治愈和未感染三个类别。

幽门螺杆菌感染、感染后已经治愈和未感染时，内窥镜采集的胃部图像所提取的特征具有差异。本申请采用基于大量的有标签样本进行学习后的深度学习模型来进行特征提取，并将图像分为感染、感染后已经治愈和未感染三个类别，即识别胃部图像具体属于感染幽门螺杆菌的胃部图像、幽门螺杆菌感染后已经治愈的胃部图像和未感染幽门螺杆菌的胃部图像三种中的哪一种。

其中，获取胃部各位置的图像数据具体包括以下步骤：采集胃部的视频流数据，当接收到采图信号时，截取当前帧的视频流数据，以获得当前时刻胃部各位置的图像数据。本实施例通过内窥镜获得实时的视频流数据，当计算机主机接收到医师通过脚踏开关发送的采图信号，截取当前帧的视频流数据，得到内镜医师的留图，即当前时刻胃部各位置的图像数据。

其中，对图像进行预处理具体包括以下步骤：图像裁剪、图像缩放、图像标准化和图像归一化。图像预处理以提高模型训练精度和泛化能力。本实施中具体过程为：

图像裁剪：对图像的边框进行裁剪，留取组织区域图像。具体的，可采用人工手工裁剪，也可采用现有的感兴趣区域(ROI)提取算法提取出组织区域图像。原始胃肠镜图像其中有用图像区域仅仅是中间有组织区域，周围边框需要裁剪，通过图像裁剪可以减少后续的图像处理时间，增加分类精度。

图像缩放：将待处理的图像缩放至统一尺寸，便于后续深度学习模型进行图像处理。本实施例中，将裁剪后的图像缩放为输入网络中的尺寸511x511。

图像标准化：计算图像缩放后整个胃镜图像数据库的平均图和标准差图，根据平均图与标准差图对每一张输入深度学习模型的图像进行标准化处理。

标准化处理的具体计算方式为：

其中mean为平均图；X_i为图像缩放后第i张图像的数据矩阵，本实施例中是一个大小为(511，511，3)的图像矩阵；N为数据库中图像数量；std为标准差图。

X′_j＝(X_j-mean)/std

其中，X_j为图像缩放后第j张图像的数据矩阵，X′_j为标准化处理后的第j张图像的数据矩阵。

图像归一化：将标准化处理后的图像X′_j的像素值变换到0到1之间。

其中，所述深度学习模型通过以下步骤进行构建：

构建深度学习网络的特征提取网络和分类网络；所述特征提取网络包括去掉顶层的全连接层的ResNet50、InceptionV3、EfficientNetB3、EfficientNetB0和DenseNet121之一或组合；所述分类网络包括感染分类网络；感染分类网络由全连接层和Dropout层和softmax激活函数组成；

将特征提取网络提取的特征向量或提取的特征向量拼接后输入感染分类网络。

本实施例中，同时采用ResNet50、InceptionV3、EfficientNetB3、EfficientNetB0和DenseNet121提取图像特征。其中ResNet50用于提供基础的卷积特征；InceptionV3用于拼接融合不同尺度的卷积特征，更好地提取特征(Inception采用的不同大小的卷积核意味着不同大小的感受野，最后拼接意味着不同尺度卷积特征的融合)；EfficientNetB0和EfficientNetB3虽然网络模型很深但是计算量相对较少，用于在网络中加入注意力机制，提升模型特征表达；DenseNet121用于解决过拟合的问题(当前数据集约图像1万多张图像的小数据集，小数据集的时候容易产生过拟合，而DenseNet由于具有非常好的抗过拟合性能，尤其适合于训练数据相对匮乏的应用)。经过实验验证，组合这几个模型的特征可以更全面提取图像的特征，达到更好的分类效果。

本实施例中特征拼接方式如下所示：例如ResNet50输出的特征向量维度为2048；InceptionV3输出的特征向量维度为2048；EfficientNetB3和EfficientNetB0输出的特征向量维度均为1280；DenseNet121输出的特征向量维度为1024，则提取的特征向量拼接后得到7680维度的特征向量。

本实施例中，分类网络的Dropout层用于防止模型新过拟合；softmax用于多分类的模型的最后一层中，它将多个神经元的输出，映射到(0,1)区间内，相当于对神经网络的输出结果进行了一次换算，将输出结果用概率的形式表现。

其中，基于深度学习模型的胃部图像识别分类方法的步骤S2还包括对图像采集位置进行识别分类；深度学习模型根据提取的特征向量识别图像所采集的胃部位置，根据识别的胃部位置对图像进行分类。

幽门螺杆菌在胃部的生存位置不一定，因此检测是否感染幽门螺杆菌时，需检测胃部的幽门、胃窦、胃角、贲门、胃小弯、胃体大弯上部、胃体大弯中部、胃体大弯下部等8个解剖位置，若8个位置采集的图像均表明未感染幽门螺杆菌则才可判断未感染。若实际检测过程中漏检某一个解剖位置，会导致幽门螺杆菌感染检测结果不准确。本实施例通过对某一次检测的图像组所采集的胃部位置进行判断，可以得到该次检测是否存在漏检的情况，避免检测失误。

此时，构建的深度学习模型中，分类网络还包括位置分类网络；位置分类网络由全连接层和Dropout层和softmax激活函数组成；特征提取网络提取的特征向量或提取的特征向量拼接后输入位置分类网络。

如图5所示，本实施例采用去掉顶层的全连接层的ResNet50、InceptionV3、EfficientNetB3、EfficientNetB0和DenseNet121等5个基础网络来提取胃部推向的特征向量；将特征提取网络提取的特征拼接后输入感染分类网络和位置分类网络。感染分类网络将图像分为感染、感染后已经治愈和未感染三个类别(本实施例具体的指感染幽门螺杆菌的胃部图像、幽门螺杆菌感染后已经治愈的胃部图像和未感染幽门螺杆菌的胃部图像)；位置分类网络识别图像所采集的胃部位置，根据识别的胃部位置对图像进行分类。

其中，训练深度学习模型具体包括以下步骤：

A1，采集大量图像数据，并将图像数据进行标注以及预处理操作；

A2，将预处理后的图像数据输入到深度学习模型中，调整深度学习模型中的参数，得到训练后的深度学习模型。

本实施例需要大量内窥镜采集的图像数据进行模型训练，所有的内窥镜数据需要进行人工标注。参与标注人员是由多名多年工作经验的消化道内镜医师进行交叉验证标注。标注数据包括胃的8个解剖位置或幽门螺杆菌感染情况分类；幽门螺杆菌感染分为感染、感染后已经治愈和未感染三个类别；胃的8个解剖位置分别为：幽门、胃窦、胃角、贲门、胃小弯、胃体大弯上部、胃体大弯中部、胃体大弯下部。

其中，训练过程对图像进行预处理具体包括以下步骤：图像裁剪、图像缩放、图像标准化、图像归一化以及数据增广操作；所述数据装操作包括图像亮度或对比度变换，图像缩放变换，图像旋转变换，图像镜像变换以及局部扭曲变换之一或组合。深度学习模型训练时需要大量的图像数据，通过数据增广操作，可以扩大训练的数据，提高训练后深度学习模型的准确度。

本实施例通过深度学习模型提取内窥镜图像的特征，判断图像的类别和图像所采集的胃部位置，将图像分为感染、感染后已经治愈和未感染三个类别，并根据识别的胃部位置，检测是否存在位置漏检的情况，避免内窥镜检测失误。本实施例所述的基于深度学习模型的胃部图像识别分类方法，识别准确率高，在幽门螺杆菌感染识别上敏感性、特异性、准去率表现较好。

以上所述，仅为本发明具体实施方式的详细说明，而非对本发明的限制。相关技术领域的技术人员在不脱离本发明的原则和范围的情况下，做出的各种替换、变型以及改进均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于深度学习模型的幽门螺杆菌胃部图像识别分类系统，其特征在于，包括图像采集装置和计算主机，所述计算主机包括图像预处理模块、深度学习模型模块，图像采集模块、图像预处理模块和深度学习模型模块按顺序连接；所述图像采集装置用于获取胃部待检测位置的图像数据；所述图像预处理模块用于对图像进行预处理；所述深度学习模型模块用于进行图像的特征提取，然后根据提取的特征对图像进行分类。

2.根据权利要求1所述的基于深度学习模型的幽门螺杆菌胃部图像识别分类系统，其特征在于，所述深度学习模型模块包括特征提取网络单元和分类网络单元，分类网络单元包括感染分类网络单元；感染分类网络单元用于拼接特征提取网络单元提取的特征向量，并将将图像分为感染、感染后已经治愈和未感染三个类别。

3.根据权利要求1所述的基于深度学习模型的幽门螺杆菌胃部图像识别分类系统，其特征在于，分类网络单元还包括位置分类网络单元，位置分类网络单元用于拼接特征提取网络单元提取的特征向量，并识别图像所采集的胃部位置。

4.根据权利要求1所述的基于深度学习模型的幽门螺杆菌胃部图像识别分类系统，其特征在于，所述图像采集装置包括内窥镜和双路脚踏开关；所述计算主机还包括视频流处理模块、脚踏信号接收模块和格式化输出模块；所述双路脚踏开关分别连接内窥镜和脚踏信号接收模块的输入端，内窥镜和脚踏信号接收模块的输出端分别连接视频流处理模块，视频流处理模块经图像预处理模块、深度学习模型模块后与格式化输出模块连接。

5.根据权利要求1所述的基于深度学习模型的幽门螺杆菌胃部图像识别分类系统，其特征在于，所述计算主机还包括深度学习模型训练模块，深度学习模型训练模块的输入端与图像预处理模块连接，深度学习模型训练模块的输出端与深度学习模型模块连接。

6.根据权利要求2所述的基于深度学习模型的幽门螺杆菌胃部图像识别分类系统，其特征在于，所述预处理模块用于执行以下操作：图像裁剪、图像缩放、图像标准化和图像归一化。

7.根据权利要求2所述的基于深度学习模型的幽门螺杆菌胃部图像识别分类系统，其特征在于，所述特征提取网络单元包括去掉顶层的全连接层的ResNet50、InceptionV3、EfficientNetB3、EfficientNetB0和DenseNet121之一或组合。

8.根据权利要求2所述的基于深度学习模型的幽门螺杆菌胃部图像识别分类系统，其特征在于，所述感染分类网络单元和位置分类网络单元均由全连接层、Dropout层和softmax激活函数组成。

9.根据权利要求5所述的基于深度学习模型的幽门螺杆菌胃部图像识别分类系统，其特征在于，所述深度学习模型训练模块通过以下步骤进行训练：

A1，采集大量图像数据，并将图像数据进行标注以及预处理操作；

A2，将预处理后的图像数据输入到深度学习模型中，调整深度学习模型中的参数，得到训练后的深度学习模型。

Images