CN112365471B - 基于深度学习的宫颈癌细胞智能检测方法 - Google Patents

Abstract

基于深度学习的宫颈癌细胞智能检测方法。本发明涉及深度学习方法对细胞核的分类。本发明的目的是为了解决现有传统诊断方式检测癌细胞准确率低、耗时长等问题。为解决此问题，本发明提出了一种基于深度学习的智能宫颈癌细胞筛查方法。方法的具体过程为：一、数据准备；二、细胞核分割；三、细胞核分类；四、筛选癌细胞。在细胞核分类部分，数据上利用主动学习的方法进行数据的扩充和类别的细分；模型上以ResNeSt为基础模型，引入医生诊断经验，提取诊断指标共同作用训练出更加准确的模型。实验表明，本文细胞核分类方法准确率比原模型准确率更高，另外，本发明还提供了一种更有效的扩充数据和类别细分的数据准备方法。本发明应用于医学图像分类领域。

Description

基于深度学习的宫颈癌细胞智能检测方法

技术领域

本发明涉及深度学习方法对细胞核的分类

背景技术

宫颈癌是女性的第二大杀手，其发病率和死亡率仅次于乳腺癌。癌症只有在早发现的情况下才有被治愈的希望，在晚期发生转移后是无法治愈的。因此早发现早诊断早治疗是应对癌症爆发的唯一途径。目前的宫颈癌诊断主要依赖于医生的人工阅片，工作量大、误诊率高，也无法推行大面积筛查。随着人工智能技术的发展，近年来出现的宫颈癌细胞智能检测方法，通过自动拍摄病理图像，自动分析和识别癌细胞，能有效减少医生诊断的工作量，并提高诊断准确率。但是病理自动诊断系统目前还没有做到真正的实际应用，并且很多方法仅依靠深度学习来实现。没有更多的考虑医生真实诊断时的诊断经验。这些问题给宫颈癌细胞智能检测方法的应用带来了很大的挑战。

本文主要研究可以应用到实际的宫颈癌细胞智能检测方法，有效的辅助医生的诊断工作。只有这样，才能够减少医生的阅片时间，从而防止因为医生眼疲劳造成的误诊，并且可以帮助医生更加精准的全盘掌握病人的细胞数据信息。近年来深度学习、计算机视觉、模式识别等技术取得突破性进展，人工智能技术在医疗影像和病理图像领域的探索逐步深入。随着人工智能技术的不断发展和成熟，国家近年来亦不断颁布鼓励人工智能+医疗的政策制度。目前，人工智能检测宫颈癌细胞有两种途径，一种是先分割细胞核再分类得到癌细胞，另一种是直接分类识别出癌细胞，其余正常细胞不考虑。这两种方法其重要的关键技术为细胞分割、细胞检测与识别。

目前，应用在医学图像上经典的分割方法是U-Net。并且这几年也有不少学者对U-Net分割模型进行进一步改进。其改进主要在损失函数、添加注意力机制、跳跃链接这三个方向改进。还有一些分割方法如FCN、ACNet等。图像分类的方法也有很多，最常见的如ResNet、VGG、AlexNet等方法。其中，ResNet模型现已经成为很多目标检测网络的骨干网络。2019年李沐团队在ResNet基础网络进一步进行改进，加入split-Attention注意力机制，提出ResNeSt网络，在分割和分类领域都有更强的效果。

另一种直接检测宫颈癌细胞的方法有YOLO系列方法和Mask R-CNN等。YOLO系列图像识别主要是利用整张图作为网络的输入，直接在输出层回归bounding box的位置及其所属的类别的方法，是最快速的检测方法。Mask R-CNN是一个两阶段的框架，第一个阶段扫描图像并生成提议(proposals，即有可能包含一个目标的区域)，第二阶段分类提议并生成边界框和掩码，是一种既可以实例分割又可以物体检测的方法。

第一种先分割再分类的方法可以全面分析病人的每一个细胞，但是效率低，检测时间长；直接识别癌细胞方法虽然效率快、但是不能全盘把握病人的所有细胞信息，会发生漏检等情况。所以根据医生具体需求，本文采取先分割再分类的检测方法，并且引入医生的诊断经验，将深度学习提取的特征和人工提取特征连接起来共同作用于分类模型，从而更好的分类宫颈细胞，因此本发明中的方法的提出具有重要意义。

发明内容

本发明的目的是为了解决医生诊断准确率低、主观性强、以及诊断耗时长的问题，从而做到智能化快速准确的检测出癌细胞。本发明共分为四个阶段：数据准备、细胞核分割、细胞核分类、癌细胞筛查。首先利用改进的U-Net分割方法检测细胞核，然后对检测出的细胞核进行分类，最后根据医生经验并结合各个类别的特点，对细胞类别进行癌细胞的筛选，总流程如图1所示。

上述发明主要通过以下技术方案实现：

步骤一、采集显微镜下病人的玻片图像，将所有图像转成模型需要的尺寸；

步骤二、对病人所有图像进行分割。在本步骤中，本发明提供了改进的U-Net分割方法：

首先，对U-Net分割模型加入注意力机制，然后将对称卷积改为非对称卷积，提高网络分割的效率和精度。对U-Net分割模型改进的网络设计如图2所示；

步骤三、利用主动学习的方法进行分类数据扩充和类别细分。具体方法如下：

本步骤利用主动学习方法对分类数据进行扩充和类别细分。首先准备形态各异的病人细胞图像，利用步骤二分割模型方法对细胞图像进行分割。然后对分割后的细胞核以细胞核轮廓的最小外接矩形向外扩展10px的矩形切割保存，得到一批初始数据D1。先人工大致粗分为四类。然后利用初始数据D1训练一个mlp分类模型，用它对大量新细胞图像进行切割并初步粗分类。粗分类以后根据具体每类的分类情况一方面对该类数据进行清洗，另一方面对类别进行错误分析并做一些改进，如将类别细分或合并。最后人工调整错误分类结果或重新分为新类，扩充到训练数据集D1。如此循环细分直到数据集各类达到2000。

数据集各类达到2000以后，重新利用新调整后的训练数据集D1训练ResNeSt分类模型，观察分类效果，若达到预期效果，则停止。没有达到，则对训练数据集进行扩充和平衡数据，并调整类别。具体方法为继续利用ResNeSt分类模型分类新图像，对分得的细胞核图像进行清洗并纠错，观察是否类别划分不合理或数据不平衡，然后进行人工调整。再次训练ResNeSt分类模型，直到达到预期效果。

最终确定分类效果最好的类别和各类别数量。其扩充分类数据和类别细分流程如图3所示。

步骤四、利用引入医生诊断经验的ResNeSt分类模型进行细胞核分类。将步骤二分割的细胞核，按其外接矩形向外扩展10px将细胞核切割出来，即保持细胞核的完整性，又带有一些细胞浆的信息。然后对细胞核进行分类。引入医生诊断经验的ResNeSt分类模型进行细胞核分类，具体方法如下：

首先利用在ImageNet数据集上迁移的ResNeSt分类模型自动提取图像特征CFeature，然后根据《子宫颈细胞学Bethesda报告系统》一书，从中提取出可以进行量化的诊断标准作为特征MFeature，提取诊断标准如下：

(1)核深染，伴大小和形状的变化。

(2)核染色质均匀分布，常呈粗颗粒状，有时染色质呈煤球样或浓缩不透明。

(3)细胞核增大，增大为中层细胞核的2.5-3倍。

根据以上标准提炼成细胞特征MFeature如下：

(1)细胞核面积

Area_n＝细胞核的像素点数

其中，Area_n为细胞核面积。

(2)细胞核面积系数

其中，A_mean为本层细胞核面积均值，A_n为细胞核面积。

(3)细胞核异形性

核圆度

椭圆度

抻长度

由核圆度、椭圆度和抻长度总结得出核异形程度计算公式：

其中，L为细胞核长度，D为细胞核直径，A_n为细胞核面积。

(4)细胞核灰度方差

其中，x_i为细胞核每一个像素的灰度值，M为细胞核灰度均值。n为细胞核像素点个数。

最后，将特征CFeature和特征MFeature进行特征连接，然后通过全连接层进行进一步的分类,分类模型网络设计如图4所示。选取使模型准确率最高的MFeature的特征组合。

步骤五、根据上述步骤我们得到病人所有细胞核的类别。以病人为单位，按照类别进行不同策略的癌细胞筛选。癌细胞类别直接推荐为癌细胞BC1。其余细胞类别如表层细胞、中层细胞核、非典型细胞三类分别计算各类面积均值M₀,M₁,M₂，并挑选出大于面积均值2.5倍的细胞推荐为癌细胞BC2。其筛选方式如下：

BC2＝CArea0>2.5*M₀ or CArea1>2.5*M₁ or CArea2>2.5*M₂

其中CAreai是第i类某细胞核的面积，M₀,M₁,M₂分别为表层细胞核、中层细胞核、非典型细胞核三类细胞核的面积均值。

BC1和BC2的分数计算公式如下：

Score＝Area_n/10000+Area_index

Area_n为该细胞核的面积，Area_index为该细胞核的面积系数。

最终将两类癌细胞合起来为推荐癌细胞BC，公式如下：

BC＝BC1+BC2。

步骤六、对推荐癌细胞BC按其分数进行降序排序，前30个癌细胞推荐给医生，医生也可以设置推荐癌细胞个数。

至此，癌细胞筛查完毕。

发明效果

本发明提供了一种基于深度学习的智能宫颈癌细胞筛查方法。首先，利用改进的U-Net分割模型进行细胞核分割，然后以细胞核轮廓像外扩10px的最小外接矩形将细胞核切割出来，然后对细胞核进行分类，在这部分本发明采用主动学习的方法对数据集进行扩充和类别细分。并在ResNeSt分类模型中引入医生诊断经验的提炼出来的特征，使模型分类更加准确。最后按类别筛选符合标准的癌细胞。实验表明本发明可以使医生更好的掌握病人每个细胞的信息，根据各类别细胞特征筛选宫颈癌细胞也更加准确。具体分类准确率效果如表1所示。

附图说明

图1是整个检测方法的流程；

图2是分割模型方法的网络结构；

图3是主动学习方法扩充分类数据并进行类别细分；

图4是分类模型方法的网络结构。

表1是分类模型方法的分类准确率对比表。

具体实施方法

本实施例，基于深度学习的智能宫颈癌细胞筛查方法具体是按照以下步骤实施的：

此发明应用到我们自订研发的“癌细胞自动检测系统”中，该系统由PC机、全自动显微镜、全高清摄像机以及软件组成。

该系统中的自动癌细胞识别部分应用的是上述的发明“宫颈癌细胞筛查方法”，首先使用者先将准备好的带有细胞样本的载玻片放置在载物台上进行扫描，然后获取到病人的所有细胞图像，然后再对图像进行识别的具体识别步骤如下：

步骤一、读取病人文件夹下所有图片放入待分割图片队列中，然后读取分割队列放入U-Net分割模型，获得细胞核面积、外接矩形等信息并以细胞核轮廓像外扩10px的最小外接矩形切割出细胞核放入分类队列中。并记录该图像所有细胞的细胞轮廓、细胞核面积、细胞外接矩形等信息记为B₀,B₁,…B_N。

步骤二、在模型训练阶段才用到此步骤去准备和扩充分类数据。具体方法如下：

首先准备形态各异的病人细胞图像，利用U-Net分割模型方法对细胞图像进行分割。然后对分割后的细胞核以细胞核轮廓的最小外接矩形向外扩展10px的矩形切割保存，得到一批初始数据D1。先人工大致粗分为四类M4。然后利用初始数据D1训练一个mlp分类模型，用它对大量新细胞图像进行切割并初步粗分类。粗分类以后根据具体每类的分类情况一方面对该类数据进行清洗，另一方面对类别进行错误分析并做一些改进，如将类别细分或合并。最后人工调整错误分类结果或重新分为新类，扩充到训练数据集D1。如此循环细分直到数据集各类达到2000。

数据集各类达到2000以后，重新利用新调整后的训练数据集D1训练ResNeSt分类模型，观察分类效果，若达到预期效果，则停止。没有达到，则对训练数据集进行扩充和平衡数据并调整类别。具体方法为继续利用ResNeSt分类模型分类新图像，对分得的细胞核图像进行清洗并纠错，观察是否类别划分不合理或数据不平衡，然后进行人工调整。再次训练ResNeSt分类模型，直到达到预期效果。

最终确定类别为10类，分别是：表层细胞、中层细胞核、非典型细胞、基底细胞、中性粒、中性粒大团、2个细胞的团、2个以上细胞团、异常细胞类、杂质，各类数据量为8000。

实际应用模型时，模型已经训练好，无需准备分类数据，则跳过本步骤二。

步骤三、读取分类队列获取细胞核图像，一方面计算每个细胞核的面积、面积系数、细胞核异形性、灰度方差四个特征记为MFeature。另一方面利用ResNeSt分类模型对细胞核图像进行特征提取记为CFeature，最后连接两类特征，利用全连接层进行分类，并给出类别和分数。

步骤四、对细胞核图像进行分类后，将类别信息B_N+1加入统计信息.先将每张图像的细胞核信息组合起来，然后将整个病人图像的细胞核信息统计组合起来。

步骤五、以该病人为单位，按照类别进行不同策略的癌细胞筛选。如异常细胞类别直接推荐为癌细胞并按类别分数排序BC1。其余细胞类别如表层细胞、中层细胞核、非典型细胞三类分别计算各类面积均值M₀,M₁,M₂，并挑选出大于面积均值2.5倍的细胞推荐为癌细胞BC2。其筛选方式和分数公式如下：

BC2＝CArea0>2.5*M₀ or CArea1>2.5*M₁ or CArea2>2.5*M₂

其中CAreai是第i类某细胞的面积，M₀,M₁,M₂分别为表层细胞核、中层细胞核、非典型细胞核三类细胞的面积均值。

BC1和BC2的分数计算公式如下：

Score＝Area/10000+Area_index

Area为该细胞的面积，Area_index为该细胞的面积系数。

最终将两类癌细胞合起来为推荐癌细胞BC，公式如下：

BC＝BC1+BC2。

步骤六、对推荐癌细胞BC按分数进行降序排序，并筛选前30个癌细胞推荐给医生，医生也可以设置推荐癌细胞个数。

算法总流程图，如图1所示。

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (4)

1.基于深度学习的宫颈癌细胞智能检测方法，其特征在于，数据准备和细胞核分类，具体检测方法包含的步骤如下：

S1、利用U-Net分割模型分割细胞核；

S2、利用主动学习的方法进行分类数据的扩充和类别细分；

S3、利用引入医生诊断经验的ResNeSt分类模型进行细胞核分类：将ResNeSt分类模型自动提取特征CFeature和人工特征指标特征MFeature进行特征连接，然后通过全连接层进行进一步的分类；选取使模型准确率最高的MFeature的特征组合；

S4、统计各项指标，制定分类策略筛选癌细胞：以病人为单位，按照类别进行不同策略的癌细胞筛选；分类为癌细胞的直接推荐为癌细胞BC1；分类为表层细胞、中层细胞核、非典型细胞的细胞分别计算其面积均值M_0,M_1,M_2，并挑选出大于面积均值2.5倍的细胞推荐为癌细胞BC2；然后利用公式计算两类癌细胞的分数，再按其分数降序排序，前30个癌细胞推荐给医生。

2.如权利要求1所述的基于深度学习的宫颈癌细胞智能检测方法，其特征在于，步骤S2中所述的主动学习的方法进行数据扩充和类别细分，方法如下：

首先，准备形态各异的病人细胞图像，利用U-Net分割模型对细胞图像进行分割；对分割后的细胞核以细胞核轮廓的最小外接矩形向外扩展10px的矩形切割保存，得到一批初始数据D1；先人工大致粗分为异常细胞、表层细胞、中层细胞、非典型细胞四类；然后，利用初始数据D1训练一个mlp分类模型，用它对大量新细胞图像进行切割并初步粗分类；粗分类以后根据具体每类的分类情况一方面对该类数据进行清洗，另一方面对类别进行错误分析并做一些改进，将类别细分或合并；最后人工调整错误分类结果或重新分为新类，扩充到训练数据集D1；如此循环训练调整直到数据集各类达到2000；数据集各类达到2000以后，重新利用新调整后的训练数据集D1训练ResNeSt分类模型，观察分类效果，若达到预期效果，则停止；若没有达到，则对训练数据集进行扩充和平衡数据，并调整类别，具体方法为利用ResNeSt分类模型分类新图像，对分得的细胞核图像进行清洗并纠错，观察是否类别划分不合理或数据不平衡，然后进行人工调整；再次训练ResNeSt分类模型，直到达到预期效果；最终确定分类效果最好的类别和各类别数量。

3.如权利要求1所述的基于深度学习的宫颈癌细胞智能检测方法，其特征在于，步骤S3中所述的引入医生诊断经验的ResNeSt分类模型的细胞核分类方法如下：

首先，利用在ImageNet预训练的ResNeSt分类模型自动提取特征CFeature；然后，根据医生的诊断经验，设计人工特征指标MFeature；MFeature各特征和公式设计如下：

(1)细胞面积

Area_n＝细胞核的像素点数,

其中，Area_n为细胞核面积；

(2)细胞核面积系数

其中，A_mean为本层细胞核面积均值，Area_n为细胞核面积；

(3)细胞异形性

核圆度：

椭圆度：

抻长度：

由核圆度、椭圆度和抻长度总结得出核异形程度计算公式：

其中，L为细胞核长度，D为细胞核直径，Area_n为细胞核面积；

(4)细胞核灰度方差

其中，x_i为细胞核每一个像素的灰度值，M为细胞核灰度均值；n为细胞核像素点个数；

最后，将特征CFeature和特征MFeature进行特征连接，然后通过全连接层进行进一步的分类；选取使模型准确率最高的MFeature的特征组合。

4.如权利要求1所述的基于深度学习的宫颈癌细胞智能检测方法，其特征在于，步骤S4中所述的统计各项指标，制定分类策略筛选癌细胞方法如下：

该方法以病人为单位检测癌细胞，图像分析以病人图像为单位；首先，读取病人全部图像，对图像进行细胞核分割，并以细胞核轮廓向外扩展10px的外接矩形将细胞核切割出来；对细胞核图像进行预处理，统计该图像的细胞轮廓、细胞核面积、细胞外接矩形信息记为B₀,B₁,…B_N；利用步骤S3的分类模型对细胞核图像进行分类，将类别信息B_N+1加入统计信息；先将每张图像的细胞核信息组合起来，然后将病人图像的细胞核信息统计组合起来；最后，以病人为单位，按照类别进行不同策略的癌细胞筛选；癌细胞类别直接推荐为癌细胞BC1；其余细胞类别为表层细胞、中层细胞核、非典型细胞三类分别计算各类面积均值M₀,M₁,M₂，并挑选出大于面积均值2.5倍的细胞推荐为癌细胞BC2，其筛选方式如下：

BC2＝CArea0>2.5*M₀ or CArea1>2.5*M₁ or CArea2>2.5*M₂

其中CAreai是第i类某细胞核的面积，M₀,M₁,M₂分别为表层细胞核、中层细胞核、非典型细胞核三类细胞核的面积均值；

BC1和BC2的分数计算公式如下：

Score＝Area_n/10000+Area_index

Area_n为该细胞核的面积，Area_index为该细胞核的面积系数；最后将两类癌细胞合起来为推荐癌细胞BC；公式如下：

BC＝BC1+BC2

对推荐癌细胞BC按其分数进行降序排序，前30个癌细胞推荐给医生。

Images