CN108305253B - 一种基于多倍率深度学习的病理图像分类方法 - Google Patents

Abstract

一种基于多倍率深度学习的病理全切片诊断方法，将病理切片扫描到电子计算中，将病理图像在RGB颜色空间中进行表示，得到RGB病理图像；对病理图像进行标记，建立多倍率病理图像训练数据集；建立多倍率CNN病理图像分类模型,使用RGB病理图像对多倍CNN病理图像分类模型进行深度学习训练；利用深度学习训练后的CNN病理图像分类模型对病理全切片进行癌症区域检测。本发明的方法减少了现有基于多倍率病理图像的癌变区域检测算法的计算量，同时保证了辅助诊断精度。

Description

一种基于多倍率深度学习的病理图像分类方法

技术领域

本发明涉及图像处理与深度学习领域，尤其是指一种基于多倍率深度学习的病理图像分类方法。

背景技术

数字病理全切片是通过专用的扫描成像系统将病理切片转换为可供计算机显示、传输及处理的高倍率大规模数字图像。随着数字病理图像成像技术不断成熟，基于数字病理图像的计算机辅助诊断方法发展迅速。近年来，以卷积神经元网络(convolutionalneural network，简称CNN)为代表的深度学习方法成为了病理图像分类的主流方法。

根据现有研究，高倍率数字病理图像(如20倍)建立的CNN模型与低倍率(如2倍)下建立的CNN模型在病理图像分类上具有互补的关系。为了获得更高的分类精度，有学者提出在不同倍率下建立 CNN模型检测癌变区域，然后将各倍率下获得的图像分类结果进行融合，得到最终图像分类结果。但是，在多高倍率下进行重复检测需要更多的计算资源；尤其是在高倍率下对病理全切片中所有区域进行判断将产生很高的计算量。

发明内容

本发明要解决的技术问题是提供一种基于多倍率深度学习的病理图像分类方法，能够发挥基于不同倍率建立的CNN病理图像癌变区域检测模型的优势，减少了现有基于多倍率病理图像的癌变区域检测算法的计算量，同时满足病理图像分类精度和速度上的要求。

为了解决上述技术问题，本发明的技术方案为：一种基于多倍率深度学习的病理图像分类方法，其特征在于，包括以下步骤：

步骤1：将病理切片扫描到电子计算机 中，将病理图像在RGB颜色空间中进行表示，得到RGB病理图像；

步骤2：对病理图像进行标记，建立多倍率病理图像训练数据集，用集合X_20×表示；

步骤3：建立多倍率CNN病理图像分类模型,使用步骤1所得到的 RGB病理图像对多倍CNN病理图像分类模型进行深度学习训练；

步骤4：利用深度学习训练后的CNN病理图像分类模型对病理图像分类。

进一步的，所述的步骤3包括以下步骤：

步骤3.1:建立多倍率CNN病理图像分类模型包括多个CNN网络，表示为CNN_2×、CNN_5×、CNN_20×，将多个CNN网络按照倍率从低到高的顺序依次训练；

步骤3.2：从多倍率病理图像训练数据集X_20×中每张病理图像降采样 10倍，生成包含2倍病理图像的训练数据集

中第i个样本表示为(I_i,2×,y_i)，使用所述

训练分类网络CNN_2×；

步骤3.3：用CNN_2×对X_20×中的所有病理图像进行预测，X_20×中包含的第i个病理图像的预测结果表示为p_i,2×，其中p_i,2×∈[0,1]，代表第i个病理图像中包含癌变区域的概率，预测结果p_i,2×存储；

步骤3.4：定义用于筛选

中的难样本的阈值T_2×∈(0,1)，将所述难样本组成2倍下难样本数据集

用公式表示如下：

步骤3.5：在20倍数据集X_20×中提取所述

中包含的病理图像对应的20倍病理图像，并降采样4倍，组成5倍下训练本数据集

X_5×中第i个样本表示为(I_i,5×,y_i)；

步骤3.6：使用所述

训练分类网络CNN_5×；训练完成后，用CNN_5×对

中的所有病理图像进行预测，将

中包含的第i个病理图像的预测结果表示为p_i,5×，其中p_i,5×∈[0,1]，预测结果pi,5×存储；

步骤3.7：定义用于筛选

中的难样本的阈值T_5×∈(0,1)，将所述难样本组成5倍下难样本数据集

用公式表示如下：

步骤3.8：在所述20倍数据集X_20×中提取所述

中包含的病理图像对应的20倍病理图像，组成20倍下训练数据集

步骤3.9：使用所述

训练分类网络CNN_20×；训练完成后，完成深度学习训练。

进一步的，所述的步骤4包括以下步骤：

步骤4.1：将待诊断病理全切片在2倍下用滑窗法裁剪为与训练集

中所包含图像大小相等的子图像，组成2倍病理图像测试集，用

表示，其中N_2×表示

中包含的子图像数量；

步骤4.2：使用已训练的CNN_2×模型对

中的图像进行预测，得到预测结果集，用P_2×＝{p_k,2×|k＝1,2,...,N_2×}表示；

步骤4.3：用阈值T_2×和集合P_2×判断上述

中的难样本，并采集难样本在全切片中对应位置的5倍病理图像，组成5倍病理图像测试集，用到公式如下：

使用已训练的CNN_5×模型对

中的图像进行预测，得到预测结果集，用P_5×＝{p_k,5×|k＝1,2,...,N_5×}表示，其中N_5×代表

中包含的病理图像数量；

步骤4.4：用阈值T_5×和集合P_5×判断上述

中的难样本，并采集难样本在全切片中对应位置的20倍病理图像，组成20倍病理图像测试集，用到公式如下：

使用已训练的CNN_20×模型对

中的图像进行预测，得到预测结果集，用P_20×＝{p_k,20×|k＝1,2,...,N_20×}表示，其中N_20×代表

中包含的病理图像数量；

步骤4.5：设定阈值T_20×判断I_k,20×是否包含癌变区域，用到公式如下：

步骤4.6：全切片癌变区域检测结束，使用上述预测结果判断切片中子区域是否包含癌变区域，达到病理图像分类的效果，用到公式如下：

进一步的，所述的步骤1具体为：由切片扫描仪将病理切片扫描并存储在计算机中，通过通道分解获取图像每个像素点在R、G、B 三个通道的像素值，从而获得了图像的数据信息，用到公式如下：

其中I_r(x,y)、I_g(x,y)、I_b(x,y)分别表示I(x,y)的红绿蓝三个颜色通道。

进一步的，步骤2中所述的多倍率病理图像训练数据集X_20×由病理专家筛选适合开发辅助诊断方法的病例，并对病例包含的病理切片中的病变区域进行标注；根据病理专家的标注，在20倍病理切片中裁取带标签的子区域病理图像，组成数据集。

本发明按照全切片倍率从小到大的顺序检测癌变区域，在2倍全切片图像中判定为包含癌症的区域不再参与后续计算，在5倍全切片图像中判定为包含癌症的区域不再参与后续计算，使得只有切片中小部分区域需要依赖20倍图像进行判断，从而极大的减少了计算量，缩短图像分类时间。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细的说明。

图1是本发明流程图；

图2是本发明所述方法的训练阶段示意图；

图3是本发明所述方方法的图像分类阶段示意图。

具体实施方式

下面结合附图和具体实施方式，对本发明做进一步说明。

图1为本发明提供了一种基于多倍率深度学习的病理图像分类方法，具体包括以下步骤：

步骤1：将病理切片扫描到电子计算中，将病理图像在RGB颜色空间中进行表示，得到RGB病理图像；

步骤2：对病理图像进行标记，建立多倍率病理图像训练数据集，用集合X_20×表示；

步骤3：建立多倍率CNN病理图像分类模型,使用步骤1所得到的 RGB病理图像对多倍CNN病理图像分类模型进行深度学习训练；；步骤4：利用深度学习训练后的CNN病理图像分类模型对病理图像分类。

具体的，步骤1是由切片扫描仪将病理切片扫描并存储在计算机中，通过通道分解获取图像每个像素点在R、G、B三个通道的像素值，从而获得了图像的数据信息，用到公式如下：

其中I_r(x,y)、I_g(x,y)、I_b(x,y)分别表示I(x,y)的红绿蓝三个颜色通道。步骤1通过通道分解获取图像每个像素点在R、G、B三个通道的像素值，从而获得了图像的数据信息，为辅助诊断提供基础。

步骤2：中所述的多倍率病理图像训练数据集X_20×由病理专家筛选适合开发图像分类方法的病例，并对病例包含的病理切片中的病变区域进行标注；根据病理专家的标注，在20倍病理切片中裁取带标签的子区域病理图像，组成数据集。所述X_20×中的第i个样本表示为 (I_i,20×,y_i)，其中I_i,20×表示一个子区域病理图像，y_i∈{0,1}表示I_i,20×对应的标签。具体的，y_i＝1表示病理图像I_i中包含癌变区域，y_i＝0表示病理图像I_i中不包含癌变区域。

如图2所示，步骤3具体包括如下步骤：

步骤3.1:建立多倍率CNN病理图像分类模型包括多个CNN网络，表示为CNN_2×、CNN_5×、CNN_20×，将多个CNN网络按照倍率从低到高的顺序依次训练；

步骤3.2：从多倍率病理图像训练数据集X_20×中每张病理图像降采样10倍，生成包含2倍病理图像的训练数据集

中第i个样本表示为(I_i,2×,y_i)，使用所述

训练分类网络CNN_2×；

步骤3.3：用CNN_2×对X_20×中的所有病理图像进行预测，X_20×中包含的第i个病理图像的预测结果表示为p_i,2×，其中p_i,2×∈[0,1]，代表第 i个病理图像中包含癌变区域的概率，预测结果p_i,2×存储；

步骤3.4：定义用于筛选

中的难样本的阈值T_2×∈(0,1)，将所述难样本组成2倍下难样本数据集

用公式表示如下：

步骤3.5：在所述20倍数据集X_20×中提取所述

中包含的病理图像对应的20倍病理图像，并降采样4倍，组成5倍下训练本数据集

X_5×中第i个样本表示为(I_i,5×,y_i)；

步骤3.6：使用所述

训练分类网络CNN_5×；训练完成后，用 CNN_5×对

中的所有病理图像进行预测，将

中包含的第i个病理图像的预测结果表示为p_i,5×，其中p_i,5×∈[0,1]，预测结果p_i,5×存储；

步骤3.7：定义用于筛选

中的难样本的阈值T_5×∈(0,1)，将所述难样本组成5倍下难样本数据集

用公式表示如下：

步骤3.8：在所述20倍数据集X_20×中提取所述

中包含的病理图像对应的20倍病理图像，组成20倍下训练数据集

步骤3.9：使用所述

训练分类网络CNN_20×；训练完成后，完成深度学习训练。

在训练CNN_5×时，训练集中只包含CNN_2×分类困难的样本，使训练过程中CNN_5×模型专注于区分对于CNN_2×来说较难的样本，不受简单样本的影响，从而获得更好的分类能力。同理，在训练CNN_20×时，训练集中只包含CNN_5×分类困难的样本，使训练过程中CNN_20×模型专注于区分对于CNN_5×来说较难的样本，不受简单样本的影响，从而获得更好的分类能力。

如图3，步骤4包括以下步骤：

步骤4.1：将待诊断病理全切片在2倍下用滑窗法裁剪为与训练集

中所包含图像大小相等的子图像，组成2倍病理图像测试集，用

表示，其中N_2×表示

中包含的子图像数量；

步骤4.2：使用已训练的CNN_2×模型对

中的图像进行预测，得到预测结果集，用P_2×＝{p_k,2×|k＝1,2,...,N_2×}表示；

步骤4.3：用阈值T_2×和集合P_2×判断上述

中的难样本，并采集难样本在全切片中对应位置的5倍病理图像，组成5倍病理图像测试集，用到公式如下：

使用已训练的CNN_5×模型对

中的图像进行预测，得到预测结果集，用P_5×＝{p_k,5×|k＝1,2,...,N_5×}表示，其中N_5×代表

中包含的病理图像数量；

步骤4.4：用阈值T_5×和集合P_5×判断上述

中的难样本，并采集难样本在全切片中对应位置的20倍病理图像，组成20倍病理图像测试集，用到公式如下：

使用已训练的CNN_20×模型对

中的图像进行预测，得到预测结果集，用P_20×＝{p_k,20×|k＝1,2,...,N_20×}表示，其中N_20×代表

中包含的病理图像数量；

步骤4.5：设定阈值T_20×判断I_k,20×是否包含癌变区域，用到公式如下：

步骤4.6：全切片癌变区域检测结束，使用上述预测结果判断切片中子区域是否包含癌变区域，达到图像分类的效果，用到公式如下：

该方法在乳腺淋巴转移癌变图像上进行验证，验证中设定阈值 T_2×＝0.92，T_5×＝0.85，T_20×＝0.5。以“切片子图像是否包含癌变区域”这一分类问题的分类精度作为指标，对一张数字病理全切片图像(20 倍下约50000×50000像素)进行分析的平均时间作为计算复杂度指标，结果如表1所示。

表1特征提取网络性能对比

可见，该发明方法较在多倍率(2倍、5倍、20倍)下分别分类的方法速度提升近10倍，而精度仅下降0.67％。

尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上对本发明做出各种变化，均为本发明的保护范围。

Claims (4)

1.一种基于多倍率深度学习的病理图像分类方法，其特征在于，包括以下步骤：

步骤1：将病理切片扫描到电子计算机 中，将病理图像在RGB颜色空间中进行表示，得到RGB病理图像；

步骤2：对病理图像进行标记，建立多倍率病理图像训练数据集，用集合X20×表示；

步骤3：建立多倍率CNN病理图像分类模型,使用步骤1所得到的RGB病理图像对多倍CNN病理图像分类模型进行深度学习训练，所述步骤3包括以下步骤；

步骤3.1:建立多倍率CNN病理图像分类模型包括多个CNN网络，表示为CNN2×、CNN5×、CNN20×，将多个CNN网络按照倍率从低到高的顺序依次训练；

步骤3.2：从多倍率病理图像训练数据集X20×中每张病理图像降采样10倍，生成包含2倍病理图像的训练数据集

中第i个样本表示为(Ii,2×,yi)，使用所述

训练分类网络CNN2×；

步骤3.3：用CNN2×对X20×中的所有病理图像进行预测，X20×中包含的第i个病理图像的预测结果表示为pi,2×，其中pi,2×∈[0,1]，代表第i个病理图像中包含癌变区域的概率，预测结果pi,2×存储；

步骤3.4：定义用于筛选

中的难样本的阈值T2×∈(0,1)，将所述难样本组成2倍下难样本数据集

用公式表示如下：

步骤3.5：在20倍数据集X20×中提取所述

中包含的病理图像对应的20倍病理图像，并降采样4倍，组成5倍下训练本数据集

X5×中第i个样本表示为(Ii,5×,yi)；

步骤3.6：使用所述

训练分类网络CNN5×；训练完成后，用CNN5×对

中的所有病理图像进行预测，将

中包含的第i个病理图像的预测结果表示为pi,5×，其中pi,5×∈[0,1]，预测结果pi,5×存储；

步骤3.7：定义用于筛选

中的难样本的阈值T5×∈(0,1)，将所述难样本组成5倍下难样本数据集

用公式表示如下：

步骤3.8：在所述20倍数据集X20×中提取所述

中包含的病理图像对应的20倍病理图像，组成20倍下训练数据集

步骤3.9：使用所述

训练分类网络CNN20×；训练完成后，完成深度学习训练；

步骤4：利用深度学习训练后的CNN病理图像分类模型对病理全切片进行癌症区域检测。

2.根据权利要求1或所述的一种基于多倍率深度学习的病理图像分类方法，其特征在于，所述的步骤4包括以下步骤：

步骤4.1：将待诊断病理全切片在2倍下用滑窗法裁剪为与训练集

中所包含图像大小相等的子图像，组成2倍病理图像测试集，用

表示，其中N2×表示

中包含的子图像数量；

步骤4.2：使用已训练的CNN2×模型对

中的图像进行预测，得到预测结果集，用P2×＝{pk,2×|k＝1,2,...,N2×}表示；

步骤4.3：用阈值T2×和集合P2×判断上述

中的难样本，并采集难样本在全切片中对应位置的5倍病理图像，组成5倍病理图像测试集，用到公式如下：

使用已训练的CNN5×模型对

中的图像进行预测，得到预测结果集，用P5×＝{pk,5×|k＝1,2,...,N5×}表示，其中N5×代表

中包含的病理图像数量；

步骤4.4：用阈值T5×和集合P5×判断上述

中的难样本，并采集难样本在全切片中对应位置的20倍病理图像，组成20倍病理图像测试集，用到公式如下：

使用已训练的CNN20×模型对

中的图像进行预测，得到预测结果集，用P20×＝{pk,20×|k＝1,2,...,N20×}表示，其中N20×代表

中包含的病理图像数量；

步骤4.5：设定阈值T20×判断Ik,20×是否包含癌变区域，用到公式如下：

步骤4.6：全切片癌变区域检测结束，使用上述预测结果判断切片中子区域是否包含癌变区域，达到图像分类的效果，用到公式如下：

第k个子图像对应切片中的位置：

3.根据权利要求1所述的一种基于多倍率深度学习的病理图像分类方法，其特征在于，所述的步骤1具体为：由切片扫描仪将病理切片扫描并存储在计算机中，通过通道分解获取图像每个像素点在R、G、B三个通道的像素值，从而获得了图像的数据信息，用到公式如下：

其中Ir(x,y)、Ig(x,y)、Ib(x,y)分别表示I(x,y)的红绿蓝三个颜色通道。

4.根据权利要求1所述的一种基于多倍率深度学习的病理图像分类方法，其特征在于，步骤2中所述的多倍率病理图像训练数据集X20×由病理专家筛选适合开发图像分类方法的病例，并对病例包含的病理切片中的病变区域进行标注；根据病理专家的标注，在20倍病理切片中裁取带标签的子区域病理图像，组成数据集。

Images