Nothing Special   »   [go: up one dir, main page]

CN112102332A - 基于局部分类神经网络的癌症wsi的分割方法 - Google Patents

基于局部分类神经网络的癌症wsi的分割方法 Download PDF

Info

Publication number
CN112102332A
CN112102332A CN202010891178.5A CN202010891178A CN112102332A CN 112102332 A CN112102332 A CN 112102332A CN 202010891178 A CN202010891178 A CN 202010891178A CN 112102332 A CN112102332 A CN 112102332A
Authority
CN
China
Prior art keywords
image
image blocks
classification
blocks
cancer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010891178.5A
Other languages
English (en)
Inventor
颜波
高强
谭伟敏
丁光宇
凌宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202010891178.5A priority Critical patent/CN112102332A/zh
Publication of CN112102332A publication Critical patent/CN112102332A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20032Median filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于医学图像智能处理技术领域,具体为一种基于局部分类神经网络的癌症全视野数字病理切片的分割方法,本发明方法包括,将病理切片划分为若干个固定大小且不重叠的图像块,将每个图像块送入基于卷积神经网络的分类模型,通过前向传播判断该块的类别,再将各块的分类结果按其在原图上的位置进行拼接,从而得出整个切片中不同组织分布的热图,最后对热图进行中值滤波并去除面积过小的区域后可得到分割图,并辅助医生进行诊断。本发明方法能够快速地将整个病理切片中不同组织所在的区域标出,有效辅助医生进行诊断,提升诊断的准确率与效率。

Description

基于局部分类神经网络的癌症WSI的分割方法
技术领域
本发明属于医学图像智能处理技术领域,具体涉及一种病理切片分割方法,更具体地说,涉及一种基于局部分类神经网络的癌症全视野数字病理切片的分割方法。
背景技术
随着全切片扫描技术的发展,大量组织切片被扫描为全视野数字病理切片(Wholeslide image, WSI),以数字化的形式存储,并广泛应用于癌症病理诊断之中。专业医生虽然能够通过对WSI进行分析完成诊断,但由于WSI尺寸极大,医生难以关注到其中的所有细节。同时,影响癌症预后的因素非常多,医生也难以通过病理切片对病人预后的相关信息进行分析。
而通过使用机器学习算法,将计算机运用于病理切片分析之中,能够借助计算机的算力优势在大量WSI上进行学习,并使用训练所得的模型对WSI进行分析,将结果可视化后辅助医生进行诊断,从而充分利用WSI中包含的丰富图像信息。
深度卷积神经网络(Deep convolutional neural network, DCNN)是一种机器学习技术,可以有效避免人为因素,自动从有标记的大量数据中学习如何提取丰富的具有代表性的视觉特征。该技术使用反向传播优化算法,让机器更新其内部参数,学习输入图像到标签的映射关系。近年来,DCNN大大提高了计算机视觉中各项任务的性能。
2012年,Krizhevsky等人[1]首次在ImageNet[2]图像分类比赛中应用深度卷积神经网络,并以15.3%的Top-5错误率获得冠军,引起了深度学习的热潮。2015年,Simonyan等人[3]提出了16和19层的神经网络VGG-16和VGG-19,增加了网络的参数量,进一步提升了ImageNet图像分类任务的结果。2016年,He等人[4]使用152层的残差网络ResNet取得了超过了人眼的分类效果。
DCNN不仅在图像分类任务中有卓越的表现,在一些结构化输出的任务中,如物体检测[5-7]、语义分割[8,9]中也同样取得了卓越的效果。如果将DCNN应用在计算机辅助诊断(computer aided diagnosis,CAD)中,则可以辅助医生做出更好的医疗诊断,早发现、早治疗,提高治疗效果。
本发明基于He等人[4]提出的ResNet,提出了一个新的基于局部分类神经网络的癌症全视野数字病理切片的分割方法,它能够充分结合训练切片的特点,提取丰富的特征,同时实现对WSI的分析。
发明内容
为了克服现有技术的不足,本发明的目的在于提供一种基于局部分类神经网络(DCNN)的癌症全视野数字病理切片(WSI)的分割方法,排除人为因素影响,实现对全视野数字病理切片的自动分割。
本发明提出基于局部分类神经网络的癌症全视野数字病理切片(WSI)的分割方法,具体步骤包括:
(1)病理切片分块;
首先对病理切片图像根据RGB三通道中的G通道(绿色通道)使用大津法[10]作阈值分割去除白色背景,得到需要分析的组织大致位置的掩膜;随后对全图进行分块,分为长宽皆为256个像素的不重叠图像块,仅取位于掩膜中的图像块作为分析的对象;
(2)构建局部图像分类网络模型,对图像块进行分类;
所述局部图像分类网络模型是在ResNet18基础上去除后两个卷积块及全连接层,再加上一层全连接层构建得到;利用此网络对所裁剪的图像块进行分类,得到分类的输出;
本发明中,将执行分类任务的模型分为两个独立的部分:一是用于区分肿瘤区域、癌旁区域的二分类器;另一个是用于区分淋巴聚集区域、坏死区域、其它区域的三分类器;二分类器输出为一个值,激活函数为sigmoid函数,表示癌旁区域的置信度,置信度高则表示该图像块属于癌旁区域,反之则属于肿瘤区域;三分类器的全连接层输出为长度为3的向量,激活函数为softmax函数,最终输出得到的3维向量中的每个元素依次对应其它区域、淋巴密集区域、坏死区域的置信度,取置信度高者作为分类结果;
(3)病理切片全局热图后处理;
对所得分类结果按图像块在病理切片中的坐标位置组合为两幅热图,分别对应二分类器与三分类器的结果;对两幅热图分别进行中值滤波,随后去除热图中面积小的区块,滤波器的大小及面积阈值视需求与实际情况而定。
本发明中,分类网络模型的训练流程如下:
首先,根据标注对每张病理切片的不同区域裁剪若干不重合的图像块,图像块长宽皆为256个像素,存储后作为数据集。随后使用上述图像块构成的数据集分别对二分类器及三分类器进行训练;
其中,二分类器训练样本至少包括240张病理切片,裁剪出肿瘤区域图像块10万张,癌旁区域图像块14万张;三分类器训练样本至少包括80张病理切片,裁剪出淋巴密集区域24万张,坏死区域图像块18万张,其它区域图像块38万张。图像块长宽皆为256个像素。
相应于上述分割方法,本发明还涉及基于局部分类神经网络的癌症全视野数字病理切片的分割系统。该系统包括3个模块,分别为:病理切片分块模块,局部图像分类网络模型,病理切片全局热图后处理模块,对应执行上述三个步骤的操作。
本发明中单个分类器对WSI处理的平均时间为734.22秒,测试所使用显卡为GeForce GTX 1080 Ti。分割效果如图2、图3所示,本发明能够准确分割出淋巴密集区域、坏死区域,并区分癌旁区域、肿瘤区域,从而帮助医生快速定位细微的组织区域,并且各个区域的分布及面积大小也可帮助医生对切片进行分析及诊断。
附图说明
图1为本发明的流程图示。
图2为一张病理切片的淋巴密集区域及坏死区域的分割效果图。
图3为一张病理切片的癌旁区域的分割效果图。
具体实施方式
下面对本发明实施方案进行详细说明,但是本发明的保护范围不局限于所述实施例。
采用图1中的流程框架,用86张标注了淋巴密集区域、坏死区域的病理切片,及241张标注癌旁、肿瘤区域的病理切片分别训练两个目标检测神经网络,获得自动检测及诊断模型。
具体流程为:
(1)训练前,在病理切片的绿色通道上使用大津法进行阈值分割以区分背景,从而获得组织所在区域的掩膜。将WSI划分为若干个长宽为256个像素的不重叠图像块,再根据人工标注,从掩膜中各个不同区域随机采样若干图像块作为训练样本。采样所得的图像块要求其中所有像素都位于标注的同一区域内,且相互之间不重叠;
(2)训练时,设初始学习率为0.00005,用小批量随机梯度下降的方法,最小化损失函数。批的大小设为256;
(3)训练前,在病理切片的绿色通道上使用大津法进行阈值分割以区分背景,从而获得组织所在区域的掩膜。将WSI划分为若干个长宽为256个像素的不重叠图像块,仅取位于掩膜中的图像块作为分析的对象送入网络中进行分类。根据网络所得置信度大小确定每个图像块对应的类别。将图像块的分类结果按其在病理切片中的位置坐标组合为热图。对热图进行中值滤波,并去除面积过小的区域以获得最终的分割结果。其中,中值滤波的滤波器大小以及去除区域的面积阈值越大,越易去除细小的、离群的区域,具体的大小与阈值视实际需求而定。
图2为本发明在一张病理切片上分割淋巴密集区域及坏死区域的效果图。其中绿线范围内为预测为淋巴密集区域的部分;蓝线范围内为预测为坏死区域的部分。
图3为本发明在一张病理切片上分割癌旁区域的效果图。其中红线范围内为预测为癌旁区域的部分,除背景外的其余区域可认为是肿瘤区域。
参考文献
[1] Krizhevsky, A., Sutskever, I. & Hinton, G. E. ImageNet classificationwith deep convolutional neural networks. Advances in Neural InformationProcessing Systems, 1097-1105 (2012).
[2] Russakovsky, O., Deng, J., Su, H. et al. ImageNet Large Scale VisualRecognition Challenge. International Journal of Computer Vision 115, 211-252(2015).
[3] Simonyan, K. & Zisserman A. Very deep convolutional networks forlarge-scale image recognition. International Conference on RepresentationLearning, (2014).
[4] He, K., Zhang, X., Ren, S. & Sun, J. Deep residual learning for imagerecognition. IEEE Conference on Computer Vision and Pattern Recognition, 770-778 (2016).
[5] Girshick, R., Donahue, J., Darrell, T. & Malik, J. Rich featurehierarchies for accurate object detection and semantic segmentation. IEEEConference on Computer Vision and Pattern Recognition, 580-587 (2014).
[6] Girshick, R. Fast R-CNN. IEEE International Conference on ComputerVision, 1440-1448 (2015).
[7] Ren, S., He, K., Girshick, R. & Sun, J. Faster R-CNN: Towards real-time object detection with region proposal networks. Neural InformationProcessing Systems, (2015).
[8] Long, J., Shelhamer, E. & Darrell, T. Fully convolutional networksfor semantic segmentation. IEEE International Conference on Computer Vision,3431-3440 (2015).
[9] Chen, L., Papandreou, G., Kokkinos, I., Murphy, K. & Yuille, A. L.DeepLab: Semantic image segmentation with deep convolutional nets, atrousconvolution, and fully connected CRFs. IEEE Transactions on Pattern Analysisand Machine Intelligence 40, 834-848 (2018).
[10] Otsu, N. A Threshold Selection Method from Gray-Level Histograms.IEEE Transactions on Systems, Man, and Cybernetics, 9(1), 62-66(1979).。

Claims (2)

1.一种基于局部分类神经网络的癌症全视野数字病理切片的分割方法,其特征在于,具体步骤为:
(1)病理切片分块;
首先对病理切片图像根据RGB三通道中的G通道使用大津法作阈值分割去除白色背景,得到需要分析的组织大致位置的掩膜;随后对全图进行分块,分为长宽皆为256个像素的不重叠图像块,仅取位于掩膜中的图像块作为分析的对象;
(2)构建局部图像分类网络模型,对图像块进行分类;
所述局部图像分类网络模型是在ResNet18基础上去除后两个卷积块及全连接层,再加上一层全连接层构建得到;利用此网络对所裁剪的图像块进行分类,得到分类的输出;
其中,将执行分类任务的模型分为两个独立的部分:一是用于区分肿瘤区域、癌旁区域的二分类器;另一个是用于区分淋巴聚集区域、坏死区域、其它区域的三分类器;二分类器输出为一个值,激活函数为sigmoid函数,表示癌旁区域的置信度,置信度高则表示该图像块属于癌旁区域,反之则属于肿瘤区域;三分类器的全连接层输出为长度为3的向量,激活函数为softmax函数,最终输出得到的3维向量中的每个元素依次对应其它区域、淋巴密集区域、坏死区域的置信度,取置信度高者作为分类结果;
(3)病理切片全局热图后处理;
对所得分类结果按图像块在病理切片中的坐标位置组合为两幅热图,分别对应二分类器与三分类器的结果;对两幅热图分别进行中值滤波,随后去除热图中面积小的区块,滤波器的大小及面积阈值视需求与实际情况而定。
2.根据权利要求1所述的的分割方法,其特征在于,分类网络模型的训练流程如下:
首先,根据标注对每张病理切片的不同区域裁剪若干不重合的图像块,图像块长宽皆为256个像素,存储后作为数据集;使用上述图像块构成的数据集分别对二分类器及三分类器进行训练;
其中,二分类器训练样本至少包括240张病理切片,裁剪出肿瘤区域图像块10万张,癌旁区域图像块14万张;三分类器训练样本至少包括80张病理切片,裁剪出淋巴密集区域24万张,坏死区域图像块18万张,其它区域图像块38万张;图像块长宽皆为256个像素。
CN202010891178.5A 2020-08-30 2020-08-30 基于局部分类神经网络的癌症wsi的分割方法 Pending CN112102332A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010891178.5A CN112102332A (zh) 2020-08-30 2020-08-30 基于局部分类神经网络的癌症wsi的分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010891178.5A CN112102332A (zh) 2020-08-30 2020-08-30 基于局部分类神经网络的癌症wsi的分割方法

Publications (1)

Publication Number Publication Date
CN112102332A true CN112102332A (zh) 2020-12-18

Family

ID=73756651

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010891178.5A Pending CN112102332A (zh) 2020-08-30 2020-08-30 基于局部分类神经网络的癌症wsi的分割方法

Country Status (1)

Country Link
CN (1) CN112102332A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819768A (zh) * 2021-01-26 2021-05-18 复旦大学 基于dcnn的癌症全视野数字病理切片生存分析方法
CN113450381A (zh) * 2021-06-16 2021-09-28 上海深至信息科技有限公司 一种图像分割模型的准确度评价系统及方法
CN114406502A (zh) * 2022-03-14 2022-04-29 扬州市振东电力器材有限公司 激光金属切割方法及系统
CN116596926A (zh) * 2023-07-17 2023-08-15 成都交大光芒科技股份有限公司 烟丝参配均匀性检测方法与系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108334909A (zh) * 2018-03-09 2018-07-27 南京天数信息科技有限公司 基于ResNet的宫颈癌TCT数字切片数据分析方法
CN108665454A (zh) * 2018-05-11 2018-10-16 复旦大学 一种内镜图像智能分类及不规则病变区域检测方法
CN109118485A (zh) * 2018-08-13 2019-01-01 复旦大学 基于多任务神经网络的消化道内镜图像分类及早癌检测系统
CN110188767A (zh) * 2019-05-08 2019-08-30 浙江大学 基于深度神经网络的角膜病图像序列化特征提取与分类方法及装置
CN110570421A (zh) * 2019-09-18 2019-12-13 上海鹰瞳医疗科技有限公司 多任务的眼底图像分类方法和设备
CN110705565A (zh) * 2019-09-09 2020-01-17 西安电子科技大学 淋巴结肿瘤区域识别方法与装置
CN111079862A (zh) * 2019-12-31 2020-04-28 西安电子科技大学 基于深度学习的甲状腺乳头状癌病理图像分类方法
CN111462036A (zh) * 2020-02-18 2020-07-28 腾讯科技(深圳)有限公司 基于深度学习的病理图像处理方法、模型训练方法及装置
CN111462076A (zh) * 2020-03-31 2020-07-28 湖南国科智瞳科技有限公司 一种全切片数字病理图像模糊区域检测方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108334909A (zh) * 2018-03-09 2018-07-27 南京天数信息科技有限公司 基于ResNet的宫颈癌TCT数字切片数据分析方法
CN108665454A (zh) * 2018-05-11 2018-10-16 复旦大学 一种内镜图像智能分类及不规则病变区域检测方法
CN109118485A (zh) * 2018-08-13 2019-01-01 复旦大学 基于多任务神经网络的消化道内镜图像分类及早癌检测系统
CN110188767A (zh) * 2019-05-08 2019-08-30 浙江大学 基于深度神经网络的角膜病图像序列化特征提取与分类方法及装置
CN110705565A (zh) * 2019-09-09 2020-01-17 西安电子科技大学 淋巴结肿瘤区域识别方法与装置
CN110570421A (zh) * 2019-09-18 2019-12-13 上海鹰瞳医疗科技有限公司 多任务的眼底图像分类方法和设备
CN111079862A (zh) * 2019-12-31 2020-04-28 西安电子科技大学 基于深度学习的甲状腺乳头状癌病理图像分类方法
CN111462036A (zh) * 2020-02-18 2020-07-28 腾讯科技(深圳)有限公司 基于深度学习的病理图像处理方法、模型训练方法及装置
CN111462076A (zh) * 2020-03-31 2020-07-28 湖南国科智瞳科技有限公司 一种全切片数字病理图像模糊区域检测方法及系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819768A (zh) * 2021-01-26 2021-05-18 复旦大学 基于dcnn的癌症全视野数字病理切片生存分析方法
CN112819768B (zh) * 2021-01-26 2022-06-17 复旦大学 基于dcnn的癌症全视野数字病理切片生存分析方法
CN113450381A (zh) * 2021-06-16 2021-09-28 上海深至信息科技有限公司 一种图像分割模型的准确度评价系统及方法
CN113450381B (zh) * 2021-06-16 2022-10-18 上海深至信息科技有限公司 一种图像分割模型的准确度评价系统及方法
CN114406502A (zh) * 2022-03-14 2022-04-29 扬州市振东电力器材有限公司 激光金属切割方法及系统
CN114406502B (zh) * 2022-03-14 2022-11-25 扬州市振东电力器材有限公司 激光金属切割方法及系统
CN116596926A (zh) * 2023-07-17 2023-08-15 成都交大光芒科技股份有限公司 烟丝参配均匀性检测方法与系统

Similar Documents

Publication Publication Date Title
CN111985536B (zh) 一种基于弱监督学习的胃镜病理图像分类方法
CN110232383B (zh) 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统
CN112102332A (zh) 基于局部分类神经网络的癌症wsi的分割方法
Liu et al. A framework of wound segmentation based on deep convolutional networks
Chen et al. Discriminative cervical lesion detection in colposcopic images with global class activation and local bin excitation
CN112819768B (zh) 基于dcnn的癌症全视野数字病理切片生存分析方法
CN110490892A (zh) 一种基于USFaster R-CNN的甲状腺超声图像结节自动定位识别方法
CN112308827A (zh) 基于深度卷积神经网络的毛囊检测方法
CN116563533A (zh) 基于目标位置先验信息的医学图像分割方法及系统
CN117036288A (zh) 一种面向全切片病理图像的肿瘤亚型诊断方法
CN110021019A (zh) 一种aga临床图像的ai辅助毛发的粗细分布分析方法
CN118334336A (zh) 阴道镜图像分割模型构建方法、图像分类方法和装置
CN117036905A (zh) 一种基于hsv色彩空间颜色注意力的胶囊内窥镜图像病灶识别方法
Liu et al. Automated classification and measurement of fetal ultrasound images with attention feature pyramid network
CN113554668B (zh) 一种皮肤镜图像黑色素瘤分割方法、装置及相关组件
CN110992309A (zh) 基于深层信息传递网络的眼底图像分割方法
CN112102234B (zh) 基于目标检测神经网络的耳硬化病灶检测及诊断系统
CN112419246B (zh) 量化食管粘膜IPCLs血管形态分布的深度检测网络
CN109816665A (zh) 一种光学相干断层扫描图像的快速分割方法及装置
CN111401102A (zh) 深度学习模型训练方法及装置、电子设备及存储介质
CN110739051B (zh) 利用鼻息肉病理图片建立嗜酸性粒细胞占比模型的方法
CN118552563A (zh) 一种基于窗口注意力语义流对齐的乳腺超声图像分割方法
CN117809030A (zh) 一种基于人工神经网络的乳腺癌ct图像识别及分割方法
CN114565762B (zh) 基于roi和分裂融合策略的弱监督肝脏肿瘤分割方法
CN117095173A (zh) 一种结直肠癌h&e染色病理图像语义分割方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201218