CN110705565A - 淋巴结肿瘤区域识别方法与装置 - Google Patents
淋巴结肿瘤区域识别方法与装置 Download PDFInfo
- Publication number
- CN110705565A CN110705565A CN201910857766.4A CN201910857766A CN110705565A CN 110705565 A CN110705565 A CN 110705565A CN 201910857766 A CN201910857766 A CN 201910857766A CN 110705565 A CN110705565 A CN 110705565A
- Authority
- CN
- China
- Prior art keywords
- tumor
- lymph node
- area
- region
- local
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 208000022766 lymph node neoplasm Diseases 0.000 title claims abstract description 19
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 181
- 210000001165 lymph node Anatomy 0.000 claims abstract description 101
- 239000013598 vector Substances 0.000 claims abstract description 27
- 238000013135 deep learning Methods 0.000 claims abstract description 20
- 238000003062 neural network model Methods 0.000 claims abstract description 18
- 238000003708 edge detection Methods 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 4
- 201000011510 cancer Diseases 0.000 description 11
- 230000000875 corresponding effect Effects 0.000 description 11
- 206010027476 Metastases Diseases 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 230000009401 metastasis Effects 0.000 description 6
- 230000001575 pathological effect Effects 0.000 description 6
- 208000007433 Lymphatic Metastasis Diseases 0.000 description 5
- 230000004083 survival effect Effects 0.000 description 4
- 238000010200 validation analysis Methods 0.000 description 4
- 210000004027 cell Anatomy 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000004324 lymphatic system Anatomy 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000001394 metastastic effect Effects 0.000 description 2
- 206010061289 metastatic neoplasm Diseases 0.000 description 2
- 230000007170 pathology Effects 0.000 description 2
- 238000004393 prognosis Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Radiology & Medical Imaging (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了淋巴结肿瘤区域识别方法及装置。涉及图像处理领域，其中，方法通过获取待检测淋巴结图像的多个局部切片，将每一个局部切片输入已训练的深度学习神经网络模型进行分类预测，得到局部切片的肿瘤概率特征矢量，将肿瘤概率特征矢量输入条件随机场模型得到局部切片的肿瘤置信度，然后将局部切片映射到待检测淋巴结图像中，根据肿瘤置信度得到待检测淋巴结区域的肿瘤区域热图，最后根据肿瘤区域热图生成肿瘤区域掩码图像，通过边缘检测提取肿瘤区域掩码图像中肿瘤区域轮廓，计算肿瘤区域面积在淋巴结中面积占比。自动识别淋巴结上的肿瘤区域，能够快速准确地计算每个淋巴结的肿瘤区域占比，同时减轻医生的负担，节约时间成本和人工成本。
Description
技术领域
本发明涉及图像处理领域，尤其是一种淋巴结肿瘤区域识别方法与装置。
背景技术
淋巴结转移是肿瘤转移的常见形式，当癌细胞脱离肿瘤时，可以通过血液或淋巴系统到达身体的其他部位，癌细胞可以通过血液到达远处器官，如果它们通过淋巴系统扩散，癌细胞可能会最终留在淋巴结中，并且以此为中心生长出同样肿瘤的现象。
现阶段，医生对于癌症的治疗基于一个人患有的癌症类型和癌症的阶段，例如医生选择一个分期标准为癌症指定相应的发展阶段，目前最常见的分期系统是TNM系统，在TNM中的T代表肿瘤，M代表转移，N代表淋巴结。可见淋巴结转移这一因素对癌症的分期有着极大的影响，因此进行淋巴结转移分类可以为准确评估癌症患者的预后提供保证。例如国际抗癌联盟提出淋巴结受累应根据转移淋巴结的数量进行分类。
但是通过医生观察癌症患者转移淋巴结的数量非常的费时费力，且医生并不能准确地估计肿瘤区域在整个淋巴结上的面积占比，而且短期内阅读大量组织病理图像，可能会因为疲劳而导致诊断准确率下降，同时人工诊断过程还存在工作量大、主观性强以及效率低等问题。因此需要提出一种利用深度学习的方法识别淋巴结上肿瘤区域，同时计算淋巴结上肿瘤转移的面积占比来减轻医生的工作量并提高识别准确度的方法。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的目的是提供一种利用深度学习的方法识别淋巴结上肿瘤区域，同时计算淋巴结上肿瘤转移的面积占比来减轻医生的工作量并提高识别准确度的方法。
本发明所采用的技术方案是：
第一方面，本发明提供一种淋巴结肿瘤区域识别方法，包括：
获取待检测淋巴结图像的淋巴结掩码图像并切割生成多个局部切片；
将每一个所述局部切片输入已训练的深度学习神经网络模型进行分类预测，得到所述局部切片的肿瘤概率特征矢量；
将所述肿瘤概率特征矢量输入条件随机场模型得到所述局部切片的肿瘤置信度；
将所述局部切片映射到所述待检测淋巴结图像中，根据所述肿瘤置信度得到所述待检测淋巴结区域的肿瘤区域热图；
根据所述肿瘤区域热图生成肿瘤区域掩码图像，通过边缘检测提取所述肿瘤区域掩码图像中肿瘤区域轮廓，计算肿瘤区域面积在淋巴结中面积占比。
进一步地，所述分类预测的过程为：将输入的所述局部切片划分成多个大小相同的小切片，获取所述小切片的中心像素，根据所述中心像素的类别得到肿瘤概率特征矢量。
进一步地，所述条件随机场模型满足Gibbs分布，并通过余弦相似性判断所述肿瘤概率特征矢量中特征的相似性。
进一步地，所述条件随机场模型的能量函数表示为：
其中，
表示一元电位，用于衡量小切片xi分类为标签yi的成本，
表示成对电位，用于衡量小切片xi和小切片xj分类为同一个标签的成本，wij表示训练控制参数，当yi＝yj时，满足条件μ(yi＝yj)＝1。
进一步地，通过边缘检测提取所述肿瘤区域掩码图像中肿瘤区域轮廓，并计算肿瘤区域面积在淋巴结中面积占比的过程具体为：
提取所述淋巴结掩码图像和所述肿瘤区域掩码图像中淋巴结轮廓的像素坐标和肿瘤区域轮廓的像素坐标；
分别进行拟合得到肿瘤区域轮廓和淋巴结区域轮廓；
统计所述肿瘤区域轮廓内非零像素点个数，计算得到肿瘤区域在淋巴结区域的面积占比。
进一步地，还包括：当检测所述淋巴结掩码图像中淋巴结轮廓面积小于预设阈值时，排除所述淋巴结轮廓对应的淋巴结区域。
进一步地，训练所述深度学习神经网络模型时，通过ImageNet数据集进行模型预训练。
第二方面，本发明还提供一种淋巴结肿瘤区域识别装置，包括：
获取模块，用于获取待检测淋巴结图像的淋巴结掩码图像并切割生成多个局部切片；
分类预测模块：用于将每一个所述局部切片输入已训练的深度学习神经网络模型进行分类预测，得到所述局部切片的肿瘤概率特征矢量；
获取肿瘤置信度模块：用于将所述肿瘤概率特征矢量输入条件随机场模型得到所述局部切片的肿瘤置信度；
生成肿瘤区域热图模块：用于将所述局部切片映射到所述待检测淋巴结图像中，根据所述肿瘤置信度得到所述待检测淋巴结区域的肿瘤区域热图；
计算面积占比模块：用于根据所述肿瘤区域热图生成肿瘤区域掩码图像，通过边缘检测提取所述肿瘤区域掩码图像中肿瘤区域轮廓，计算肿瘤区域面积在淋巴结中面积占比。
第三方面，本发明提供一种淋巴结肿瘤区域识别设备，包括：
至少一个处理器，以及与所述至少一个处理器通信连接的存储器；
其中，所述处理器通过调用所述存储器中存储的计算机程序，用于执行如第一方面任一项所述的方法。
第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第一方面任一项所述的方法。
本发明的有益效果是：
本发明通过获取待检测淋巴结图像的多个局部切片，将每一个局部切片输入已训练的深度学习神经网络模型进行分类预测，得到局部切片的肿瘤概率特征矢量，将肿瘤概率特征矢量输入条件随机场模型得到局部切片的肿瘤置信度，然后将局部切片映射到待检测淋巴结图像中，根据肿瘤置信度得到待检测淋巴结区域的肿瘤区域热图，最后根据肿瘤区域热图生成肿瘤区域掩码图像，通过边缘检测提取肿瘤区域掩码图像中肿瘤区域轮廓，计算肿瘤区域面积在淋巴结中面积占比。本发明通过输入数字化的组织病理图像到深度学习神经网络模型和条件随机场模型中，得到肿瘤区域热图，自动识别出的肿瘤区域，能够快速准确地计算每个淋巴结的肿瘤区域占比，同时减轻医生的负担，节约了时间成本和人工成本。
可广泛应用于医疗病理图像处理领域。
附图说明
图1是本发明中淋巴结肿瘤区域识别方法的一具体实施例的实现流程图；
图2是本发明中淋巴结肿瘤区域识别装置的一具体实施例的结构框图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
实施例一：
本发明实施例一提供一种淋巴结肿瘤区域识别方法，图1为本发明实施例提供的一种淋巴结肿瘤区域识别方法的实现流程图，如图1所示，该方法包括以下步骤：
S1：获取待检测淋巴结图像的淋巴结掩码图像并切割生成多个局部切片。
本实施例中使用高分辨率(例如40倍放大)的整体切片扫描设备，将病理切片扫描成数字化的tiff格式的组织病理图像，实现对病理图像肿瘤区域进行观察和标注。然后将高分辨率的图像进行对应倍数的缩放得到下采样后的原始图像。
根据原始图像中淋巴结区域得到淋巴结掩码图像，进行淋巴结区域区分，可选的一种方式中，将淋巴结区域标记为白色，然后将白色部分的每个像素点坐标映射到20倍放大的组织病理切片上，并以该坐标为中心进行局部切片分割，即每一个淋巴结区域的像素点均进行一次局部切片分割，得到一张以该像素点为中心的局部切片，可选的，考虑识别效率和精度设置局部切片大小为768x768。
S2：将每一个局部切片输入已训练的深度学习神经网络模型进行分类预测，得到局部切片的肿瘤概率特征矢量。
S3：将肿瘤概率特征矢量输入条件随机场模型得到局部切片的肿瘤置信度，条件随机场模型满足Gibbs分布，并通过余弦相似性判断肿瘤概率特征矢量中特征的相似性。
S4：将局部切片映射到待检测淋巴结图像中，根据肿瘤置信度得到待检测淋巴结区域的肿瘤区域热图。
S5：根据肿瘤区域热图生成肿瘤区域掩码图像，通过边缘检测提取肿瘤区域掩码图像中肿瘤区域轮廓，计算肿瘤区域面积在淋巴结中面积占比。
具体的，步骤S2中，进行识别之前需要对深度学习神经网络模型进行训练，得到最优化参数的深度学习神经网络模型，可选的是卷积神经网络，例如resnet-18模型、resnet-34模型等，但是不做限定，能够实现本实施例中分类识别功能的深度学习模型均属于本发明的保护范围，下面描述深度学习神经网络模型训练过程。
生成用于训练模型的样本集，在一种具体实施方式中，使用900个标记的病理切片对深度学习神经网络模型进行训练和验证，病理切片即WSI(whole slide images全视野数字病理切片)，并且随机选择500个具有肿瘤转移的WSI和200个无肿瘤转移的WSI作为训练集进行训练，其余200个WSI作为验证集用于验证网络性能。
首先基于得到的淋巴结掩码图像排除每个WSI的背景区域，即非淋巴结区域，然后按顺序在20倍放大倍率下在每张病理切片上进行局部切片分割，得到768x768像素的局部切片，该过程总共产生了761753个局部切片，其中作为训练集的有633862个局部切片，作为测试集的有127891个局部切片。
在一种可选方式中，通过ImageNet数据集进行模型预训练，初始化网络参数，同时选择交叉熵损失函数，使用预测概率和实际标签之间的交叉熵来计算损失，利用随机梯度下降方式，其动量为0.9，1e-4的重量衰减，实际训练期间将批量大小设置为1024，设置网络的初始学习率为0.001，迭代次数为80000次，在训练过程中学习率随迭代次数进行衰减。
进一步地，在验证过程和测试过程中，使用0.5作为分类阈值对淋巴结区域中，肿瘤区域和正常区域进行区分，同时计算召回率、准确率以及模型评估指标AUC，实际验证过程中，在验证集上模型分类识别的效率和准确度非常高，召回率能够达到96.4％，准确率达到96.3％，AUC达到0.990。
本实施例中，将局部切片输入已训练的深度学习神经网络模型中进行分类预测，得到局部切片的肿瘤概率特征矢量，分类预测用于提取局部切片的特征，过程为：将输入的局部切片划分成多个大小相同的小切片，获取小切片的中心像素，根据中心像素的类别得到肿瘤概率特征矢量，可选的设置小切片大小为256x256，即将768x768大小的局部切片划分成3x3网格的256x256大小的小切片，对应的肿瘤概率特征矢量为3x3的矩阵，矩阵的特征表示当前小切片中心像素是肿瘤对应的标签或者正常淋巴结对应的标签。
步骤S3中，条件随机场模型(表示为CRF)用于对局部切片进行空间相关性建模，条件随机场模型是给定随机变量X条件下，随机变量Y的马尔科夫随机场，在条件概率模型P(Y/X)中，Y是输出变量表示标记序列，X是输入变量表示观测序列。用于将所有特征进行全局归一化，即将局部特征转化为全局特征，从而得到全局最优解。
本实施例中，使用满足Gibbs分布的条件随机场来建模条件分布P(Y|X)，其中Y是每个随机变量X的标签，输入为3x3网格形式编码的固定长度肿瘤概率特征矢量，能量函数表示为：
其中，
表示一元电位，用于衡量小切片xi分类为标签yi的成本，表示成对电位，用于衡量小切片xi和小切片xj分类为同一个标签的成本，wij表示训练控制参数，当yi＝yj时，满足条件μ(yi＝yj)＝1，否则为0。
使用余弦相似性来度量两个特征之间的距离，对于标签相同而相似度较低的小切片施以相应惩罚，以鼓励相同标签的小切片具有更高的相似性，另外，通过上述一元电位、成对电位计算求得E(y,x)的值，从而求得需要的P(Y|X)的值，最后通过平均场推断过程使得P(Y|X)最大，获取P(Y|X)最大时Y的输出作为最终的肿瘤置信度，即得到这张局部切片属于肿瘤区域的概率。
步骤S4中，将局部切片映射到待检测淋巴结图像中，是根据每个局部切片的坐标信息映射到原始图像上，选择每个局部切片划分后处于中心的小切片的肿瘤置信度作为原始图像中该局部切片对应的像素点的肿瘤概率，得到一张原始图像肿瘤区域的概率图，然后根据不同概率分配不同的颜色生成肿瘤区域热图，例如红色代表该区域为肿瘤概率高，蓝色代表该区域为肿瘤的概率低。类似于医生查看肿瘤周边区域来辅助分类，本实施例通过条件随机场模型建立相邻小切片的空间相关性，提高中心小切片的分类准确性。
步骤S5中，首先根据上述肿瘤区域热图生成肿瘤区域掩码图像，可选的，以0.5作为分类阈值，将肿瘤区域标记为白色，其他区域标记为黑色，进行边缘检测提取肿瘤区域掩码图像中肿瘤区域轮廓，计算肿瘤区域面积在淋巴结中面积占比。
边缘检测过程是：首先提取淋巴结掩码图像和肿瘤区域掩码图像中淋巴结轮廓的像素坐标和肿瘤区域轮廓的像素坐标，分别进行拟合得到肿瘤区域轮廓和淋巴结区域轮廓，即沿着目标对象的边缘周围提取坐标点，边缘周围包括：边缘和边缘附近区域，选取的坐标点可以是目标对象边缘上的坐标点也可以是边缘附近区域的坐标点，选取的坐标点越多，拟合得到的区域越接近目标对象，然后根据像素坐标将淋巴结区域和该淋巴结区域内的肿瘤区域绘制在原始图像上。
利用掩码相与的方式计算得到每个淋巴结上的肿瘤区域占比，即统计肿瘤区域轮廓内和淋巴结区域轮廓内的非零像素点个数，相除得到每个淋巴结上的肿瘤区域占比，将该值标记在原始图像中对应的淋巴结上。
进一步地，当检测淋巴结掩码图像中淋巴结轮廓面积小于预设阈值时，排除淋巴结轮廓对应的淋巴结区域，目的是去除不具有计算意义的数据，提高检测效率和准确度。
临床研究统计发现，淋巴结上的肿瘤区域面积占比越大，患者的术后五年存活率越小，例如癌症分期较为严重的患者，如果其淋巴结转移的肿瘤区域面积占比较小，其五年存活率统计意义上比分期较轻但是肿瘤区域面积占比大的患者高很多，因此淋巴结转移的肿瘤区域面积占比与患者存活期存在负相关影响，淋巴结转移的肿瘤区域面积占比可以在一定程度上量化患者的存活率，在肿瘤治疗及预后方面有非常重要的应用前景。
本实施例通过输入数字化的组织病理图像到深度学习神经网络模型和条件随机场模型中，得到肿瘤区域热图，自动识别出的肿瘤区域，能够快速准确地计算每个淋巴结的肿瘤区域占比，同时减轻医生的负担，节约了时间成本和人工成本。
实施例二：
本实施例提供一种淋巴结肿瘤区域识别装置，用于执行如实施例一所述的方法。如图2所示，为本实施例的淋巴结肿瘤区域识别装置结构框图，包括：
获取模块10，用于获取待检测淋巴结图像的淋巴结掩码图像并切割生成多个局部切片；
分类预测模块20：用于将每一个局部切片输入已训练的深度学习神经网络模型进行分类预测，得到局部切片的肿瘤概率特征矢量；
获取肿瘤置信度模块30：用于将肿瘤概率特征矢量输入条件随机场模型得到局部切片的肿瘤置信度；
生成肿瘤区域热图模块40：用于将局部切片映射到待检测淋巴结图像中，根据肿瘤置信度得到待检测淋巴结区域的肿瘤区域热图；
计算面积占比模块50：用于根据肿瘤区域热图生成肿瘤区域掩码图像，通过边缘检测提取肿瘤区域掩码图像中肿瘤区域轮廓，计算肿瘤区域面积在淋巴结中面积占比。
另外，本发明还提供一种淋巴结肿瘤区域识别设备，包括：
至少一个处理器，以及与所述至少一个处理器通信连接的存储器；
其中，所述处理器通过调用所述存储器中存储的计算机程序，用于执行如实施例一所述的方法。
另外，本发明还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，其中计算机可执行指令用于使计算机执行如实施例一所述的方法。
本发明通过获取待检测淋巴结图像的多个局部切片，将每一个局部切片输入已训练的深度学习神经网络模型进行分类预测，得到局部切片的肿瘤概率特征矢量，将肿瘤概率特征矢量输入条件随机场模型得到局部切片的肿瘤置信度，然后将局部切片映射到待检测淋巴结图像中，根据肿瘤置信度得到待检测淋巴结区域的肿瘤区域热图，最后根据肿瘤区域热图生成肿瘤区域掩码图像，通过边缘检测提取肿瘤区域掩码图像中肿瘤区域轮廓，计算肿瘤区域面积在淋巴结中面积占比。可广泛应用于医疗病理图像处理领域。
以上各实施例仅用以说明本发明的技术方案，而非对其限制，尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (10)
1.一种淋巴结肿瘤区域识别方法，其特征在于，包括：
获取待检测淋巴结图像的淋巴结掩码图像并切割生成多个局部切片；
将每一个所述局部切片输入已训练的深度学习神经网络模型进行分类预测，得到所述局部切片的肿瘤概率特征矢量；
将所述肿瘤概率特征矢量输入条件随机场模型得到所述局部切片的肿瘤置信度；
将所述局部切片映射到所述待检测淋巴结图像中，根据所述肿瘤置信度得到所述待检测淋巴结区域的肿瘤区域热图；
根据所述肿瘤区域热图生成肿瘤区域掩码图像，通过边缘检测提取所述肿瘤区域掩码图像中肿瘤区域轮廓，计算肿瘤区域面积在淋巴结中面积占比。
2.根据权利要求1所述的一种淋巴结肿瘤区域识别方法，其特征在于，所述分类预测的过程为：将输入的所述局部切片划分成多个大小相同的小切片，获取所述小切片的中心像素，根据所述中心像素的类别得到肿瘤概率特征矢量。
3.根据权利要求2所述的一种淋巴结肿瘤区域识别方法，其特征在于，所述条件随机场模型满足Gibbs分布，并通过余弦相似性判断所述肿瘤概率特征矢量中特征的相似性。
4.根据权利要求3所述的一种淋巴结肿瘤区域识别方法，其特征在于，所述条件随机场模型的能量函数表示为：
其中，
表示一元电位，用于衡量小切片xi分类为标签yi的成本，
表示成对电位，用于衡量小切片xi和小切片xj分类为同一个标签的成本，wij表示训练控制参数，当yi＝yj时，满足条件μ(yi＝yj)＝1。
5.根据权利要求1所述的一种淋巴结肿瘤区域识别方法，其特征在于，通过边缘检测提取所述肿瘤区域掩码图像中肿瘤区域轮廓，并计算肿瘤区域面积在淋巴结中面积占比的过程具体为：
提取所述淋巴结掩码图像和所述肿瘤区域掩码图像中淋巴结轮廓的像素坐标和肿瘤区域轮廓的像素坐标；
分别进行拟合得到肿瘤区域轮廓和淋巴结区域轮廓；
统计所述肿瘤区域轮廓内非零像素点个数，计算得到肿瘤区域在淋巴结区域的面积占比。
6.根据权利要求5任一项所述的一种淋巴结肿瘤区域识别方法，其特征在于，还包括：当检测所述淋巴结掩码图像中淋巴结轮廓面积小于预设阈值时，排除所述淋巴结轮廓对应的淋巴结区域。
7.根据权利要求1所述的一种淋巴结肿瘤区域识别方法，其特征在于，训练所述深度学习神经网络模型时，通过ImageNet数据集进行模型预训练。
8.一种淋巴结肿瘤区域识别装置，其特征在于，包括：
获取模块，用于获取待检测淋巴结图像的淋巴结掩码图像并切割生成多个局部切片；
分类预测模块：用于将每一个所述局部切片输入已训练的深度学习神经网络模型进行分类预测，得到所述局部切片的肿瘤概率特征矢量；
获取肿瘤置信度模块：用于将所述肿瘤概率特征矢量输入条件随机场模型得到所述局部切片的肿瘤置信度；
生成肿瘤区域热图模块：用于将所述局部切片映射到所述待检测淋巴结图像中，根据所述肿瘤置信度得到所述待检测淋巴结区域的肿瘤区域热图；
计算面积占比模块：用于根据所述肿瘤区域热图生成肿瘤区域掩码图像，通过边缘检测提取所述肿瘤区域掩码图像中肿瘤区域轮廓，计算肿瘤区域面积在淋巴结中面积占比。
9.一种淋巴结肿瘤区域识别设备，其特征在于，包括：
至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；
其中，所述处理器通过调用所述存储器中存储的计算机程序，用于执行如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910857766.4A CN110705565A (zh) | 2019-09-09 | 2019-09-09 | 淋巴结肿瘤区域识别方法与装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910857766.4A CN110705565A (zh) | 2019-09-09 | 2019-09-09 | 淋巴结肿瘤区域识别方法与装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110705565A true CN110705565A (zh) | 2020-01-17 |
Family
ID=69194726
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910857766.4A Pending CN110705565A (zh) | 2019-09-09 | 2019-09-09 | 淋巴结肿瘤区域识别方法与装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110705565A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111340128A (zh) * | 2020-03-05 | 2020-06-26 | 上海市肺科医院（上海市职业病防治院） | 一种肺癌转移性淋巴结病理图像识别系统及方法 |
| CN111784637A (zh) * | 2020-06-04 | 2020-10-16 | 复旦大学附属中山医院 | 一种预后特征可视化方法，系统、设备和存储介质 |
| CN111862021A (zh) * | 2020-07-13 | 2020-10-30 | 中山大学 | 基于深度学习的头颈部淋巴结及引流区自动勾画方法 |
| CN111967465A (zh) * | 2020-07-07 | 2020-11-20 | 广州金域医学检验中心有限公司 | 肿瘤细胞含量评估方法、系统、计算机设备及存储介质 |
| CN112102332A (zh) * | 2020-08-30 | 2020-12-18 | 复旦大学 | 基于局部分类神经网络的癌症wsi的分割方法 |
| CN112233123A (zh) * | 2020-09-21 | 2021-01-15 | 广州金域医学检验中心有限公司 | 病理图片中肿瘤间质分类方法、装置、计算机设备及存储介质 |
| CN112801939A (zh) * | 2020-12-31 | 2021-05-14 | 杭州迪英加科技有限公司 | 一种用于提高病理图像ki67指标准确性的方法 |
| CN114140639A (zh) * | 2021-11-04 | 2022-03-04 | 杭州医派智能科技有限公司 | 一种基于深度学习的图像中肾脏血管极尿极分类方法、计算机设备及计算机可读存储介质 |
| CN118314156A (zh) * | 2024-05-07 | 2024-07-09 | 西南医科大学附属医院 | 基于影像组学评分特征图的ct图像肿瘤区域分割方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110060245A (zh) * | 2019-04-15 | 2019-07-26 | 青岛大学 | 一种基于深度神经网络的胃癌淋巴结染色病理图像自动识别方法 |
-
2019
- 2019-09-09 CN CN201910857766.4A patent/CN110705565A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110060245A (zh) * | 2019-04-15 | 2019-07-26 | 青岛大学 | 一种基于深度神经网络的胃癌淋巴结染色病理图像自动识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| 《实体瘤病理数据集建设和数据标注质量控制专家共识》筹备组: ""实体瘤病理数据集建设和数据标注质量控制专家意见（2019）"", 《第二军医大学学报》 * |
| F. G. ZANJANI: ""Cancer detection in histopathology whole-slide images using conditional random fields on deep embedded spaces"", 《SPIE MEDICAL IMAGING》 * |
| YI LI: ""Cancer Metastasis Detection With Neural Conditional Random Field"", 《ARXIV:1806.07064V1》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111340128A (zh) * | 2020-03-05 | 2020-06-26 | 上海市肺科医院（上海市职业病防治院） | 一种肺癌转移性淋巴结病理图像识别系统及方法 |
| CN111784637A (zh) * | 2020-06-04 | 2020-10-16 | 复旦大学附属中山医院 | 一种预后特征可视化方法，系统、设备和存储介质 |
| CN111967465A (zh) * | 2020-07-07 | 2020-11-20 | 广州金域医学检验中心有限公司 | 肿瘤细胞含量评估方法、系统、计算机设备及存储介质 |
| CN111862021B (zh) * | 2020-07-13 | 2022-06-24 | 广州柏视医疗科技有限公司 | 基于深度学习的头颈部淋巴结及引流区自动勾画方法 |
| CN111862021A (zh) * | 2020-07-13 | 2020-10-30 | 中山大学 | 基于深度学习的头颈部淋巴结及引流区自动勾画方法 |
| CN112102332A (zh) * | 2020-08-30 | 2020-12-18 | 复旦大学 | 基于局部分类神经网络的癌症wsi的分割方法 |
| CN112233123A (zh) * | 2020-09-21 | 2021-01-15 | 广州金域医学检验中心有限公司 | 病理图片中肿瘤间质分类方法、装置、计算机设备及存储介质 |
| CN112233123B (zh) * | 2020-09-21 | 2024-05-14 | 广州金域医学检验中心有限公司 | 病理图片中肿瘤间质分类方法、装置、计算机设备及存储介质 |
| CN112801939A (zh) * | 2020-12-31 | 2021-05-14 | 杭州迪英加科技有限公司 | 一种用于提高病理图像ki67指标准确性的方法 |
| CN112801939B (zh) * | 2020-12-31 | 2022-07-22 | 杭州迪英加科技有限公司 | 一种用于提高病理图像ki67指标准确性的方法 |
| CN114140639A (zh) * | 2021-11-04 | 2022-03-04 | 杭州医派智能科技有限公司 | 一种基于深度学习的图像中肾脏血管极尿极分类方法、计算机设备及计算机可读存储介质 |
| CN118314156A (zh) * | 2024-05-07 | 2024-07-09 | 西南医科大学附属医院 | 基于影像组学评分特征图的ct图像肿瘤区域分割方法 |
| CN118314156B (zh) * | 2024-05-07 | 2024-12-31 | 西南医科大学附属医院 | 基于影像组学评分特征图的ct图像肿瘤区域分割方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110705565A (zh) | 淋巴结肿瘤区域识别方法与装置 | |
| US10127675B2 (en) | Edge-based local adaptive thresholding system and methods for foreground detection | |
| CN107506761B (zh) | 基于显著性学习卷积神经网络的脑部图像分割方法及系统 | |
| CN108229509B (zh) | 用于识别物体类别的方法及装置、电子设备 | |
| CN108564085B (zh) | 一种自动读取指针式仪表读数的方法 | |
| CN112784869B (zh) | 一种基于注意力感知与对抗学习的细粒度图像识别方法 | |
| Song et al. | Segmentation, splitting, and classification of overlapping bacteria in microscope images for automatic bacterial vaginosis diagnosis | |
| CN110705403A (zh) | 细胞分类方法、装置、介质及电子设备 | |
| Pan et al. | Cell detection in pathology and microscopy images with multi-scale fully convolutional neural networks | |
| CN111640120A (zh) | 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法 | |
| CN108537751B (zh) | 一种基于径向基神经网络的甲状腺超声图像自动分割方法 | |
| JP2017016593A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| CN113989662A (zh) | 一种基于自监督机制的遥感图像细粒度目标识别方法 | |
| CN113129281B (zh) | 一种基于深度学习的小麦茎秆截面参数检测方法 | |
| CN107633226A (zh) | 一种人体动作跟踪识别方法及系统 | |
| CN105389821B (zh) | 一种基于云模型和图割相结合的医学图像分割方法 | |
| CN111461121A (zh) | 一种基于yolov3网络的电表示数识别方法 | |
| CN110021019A (zh) | 一种aga临床图像的ai辅助毛发的粗细分布分析方法 | |
| CN113096080A (zh) | 图像分析方法及系统 | |
| CN116189220A (zh) | 建筑构件检测识别方法、装置、计算机设备及存储介质 | |
| CN104933723A (zh) | 基于稀疏表示的舌图像分割方法 | |
| CN115019163A (zh) | 基于多源大数据的城市要素识别方法 | |
| KR101821770B1 (ko) | 특징 추출을 위한 기법들 | |
| CN104050674A (zh) | 一种显著性区域检测方法及装置 | |
| Yancey | Deep Feature Fusion for Mitosis Counting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200117 |