CN109191426A - 一种平面图像显著性检测方法 - Google Patents
一种平面图像显著性检测方法 Download PDFInfo
- Publication number
- CN109191426A CN109191426A CN201810820639.2A CN201810820639A CN109191426A CN 109191426 A CN109191426 A CN 109191426A CN 201810820639 A CN201810820639 A CN 201810820639A CN 109191426 A CN109191426 A CN 109191426A
- Authority
- CN
- China
- Prior art keywords
- layer
- path
- network model
- output
- convolutional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 25
- 238000005070 sampling Methods 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 12
- 230000004913 activation Effects 0.000 claims description 12
- 238000003475 lamination Methods 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000008602 contraction Effects 0.000 claims description 2
- 238000000034 method Methods 0.000 abstract description 17
- 238000012545 processing Methods 0.000 abstract description 3
- 238000011176 pooling Methods 0.000 abstract 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 238000000611 regression analysis Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种平面图像显著性检测方法，其可以输出准确度更高的显著图，方法更简单，易于理解，适于应用。其包括以下步骤：S1：构件网络模型；S2：训练网络模型，得到训练后的网络模型；S3：将图像数据输入到S2中得到的训练后的网络模型，进行显著性检测，输出显著图，用于后续图像处理；在步骤S1中网络模型的结构包括一个左侧的收缩路径和一个右侧的扩张路径；收缩路径用来捕捉上下文，其包括一个输入层、多个卷积层和池化层；由输入层输入的被检测图像传入第一个卷积层进行卷积操作；每两个连续的卷积层之后跟着一个池化层；扩张路径用来精确定位，其包括多个上采样层和卷积层、一个输出层；每个上采样层之后跟着两个连续的卷积层。
Description
技术领域
本发明涉及计算机视觉与数字图像处理技术领域，具体为一种平面图像显著性检测方法。
背景技术
显著性检测作为图像处理的一个预处理过程，被广泛应用于图像质量评价、目标跟踪、目标检测、图像分割等领域。例如：显著性检测在图像质量评价中的应用主要有两个方面，在特征提取阶段，计算出待评价图像的显著性区域，作为待评价图像的一个特征；在特征融合阶段，将显著图中像素的值作为各特征图融合的权值；显著性检测方法通常被分为两类：自上而下和自底向上，由于自底向上的方法不需要人工注释作为先验知识，所以目前的研究都集中在自底向上的方法上；现有研究中，用于显著性检测的方法很多，如：Frequency-tuned salient region detection （以下简称FT）、Saliency detection viagraph-based manifold ranking （以下简称GMR）、Hierarchical saliency detection（以下简称HS），然而这些算法在具体应用中，当显著性物体出现在图像边缘、或者当显著物体和部分背景信息相似时，容易丢失目标信息，会出现准确性不够的问题。
发明内容
为了解决显著性检测方法中输出的显著图准确性不够的问题，本发明提出一种平面图像显著性检测方法，其可以输出准确度更高的显著图，方法更简单，易于理解，适于应用。
本发明的技术方案是这样的：一种平面图像显著性检测方法，其包括以下步骤：
S1：构件网络模型；
S2：训练所述网络模型，得到训练后的网络模型；
S3：将图像数据输入到S2中得到的所述训练后的网络模型，进行显著性检测，输出显著图，用于后续图像处理；
其特征在于：在步骤S1中所述网络模型的结构包括一个左侧的收缩路径和一个右侧的扩张路径；
所述收缩路径用来捕捉上下文，其包括一个输入层、多个卷积层和池化层；由所述输入层输入的被检测图像传入第一个所述卷积层进行卷积操作；每两个连续的所述卷积层之后跟着一个所述池化层，每个所述卷积层后都跟着一个激活函数；
所述扩张路径用来精确定位，其包括多个上采样层和所述卷积层、一个输出层；每个所述上采样层之后跟着两个连续的所述卷积层，每个所述卷积层后都跟着一个所述激活函数；
所述收缩路径中最后一个所述池化层的池化操作完成后得到的特征图，再输入两个所述卷积层，进行两次连续的所述卷积操作，然后把得到的特征图输入进所述扩张路径的第一个所述上采样层进行上采样操作；
所述扩张路径中的所述上采样层的个数与所述收缩路径中的所述池化层的个数相同；
所述扩张路径中的所述卷积层的个数与所述收缩路径中的所述卷积层的个数相同；
每次所述上采样层中的所述上采样操作之后输出的特征图，需要与同级的所述收缩路径中的所述池化层输出的特征图连接，然后再输入所述扩张路径中后续的所述卷积层进行所述卷积操作；
所述输出层之前是一个反卷积层，所述反卷积层将前一个所述卷积层输出的特征图进行反卷积操作，再进行裁剪、归一化操作后，通过所述输出层输出所需的显著图。
其进一步特征在于：
所述反卷积层之前的两个所述卷积层的卷积核的尺寸设置为1×1，其余所述卷积层的卷积核的尺寸全部设置为3×3；
所述池化层为2×2的步长为2的最大池化操作；
所述激活函数为Leaky Rectified Linear Units函数，计算公式为：
a为常数；
所述归一化操作中使用Sigmoid函数将显著图归一化到[0,1]；
在步骤S2中，训练网络模型过程中，对所述输出层输出的显著图，通过函数Euclideanloss进行显著性回归分析。
本发明提供的技术方案中的网络模型，本网络模型中由收缩路径和扩张路径组成，收缩路径用于获取上下文信息，扩张路径用于精确的定位，且两条路径相互对称，形成U形；在本方法中使用反卷积层生成显著图，对特征图进行反卷积操作，再对显著图进行裁剪和归一化操作，则得到最终输出的是人眼感兴趣的物体，使本网络模型更适用于显著性测检测方法；因为池化操作会丢失图像信息和降低图像分辨率且是不可逆的操作，影响特征图的最终精确度，右半部分在做卷积操作之前，将左半部分同级的池化操作输出的分辨率比较高的特征图与上采样操作之后输出特征图相连接起来，高分辨率的特征图与更抽象的特征图相结合，可以补足一些图片的信息，用以得到更准确的显著图。
附图说明
图1为本发明的网络模型结构示意图。
具体实施方式
本发明包括的技术方案包括以下步骤：
S1：构件网络模型；
S2：使用THUS数据集训练网络模型，得到训练后的网络模型；
S3：将图像数据输入到S2中得到的训练后的网络模型，进行显著性检测，输出显著图，用于后续图像处理；
如图1所示，S1中的网络模型是基于Convolutional Networks for Biomedical ImageSegmentation（以下简称U-Net）网络模型而设计的，其结构包括一个左侧的收缩路径和一个右侧的扩张路径；本网络模型属于端到端的网络，输入是一幅图像，输出也是一幅图像。
在本网络图形中，收缩路径用来捕捉上下文，其包括一个输入层、多个卷积层和池化层；由输入层输入的被检测图像传入第一个卷积层进行卷积操作；每两个连续的卷积层之后跟着一个池化层，每个卷积层后都跟着一个激活函数；收缩路径中的卷积操作的卷积核设置为3×3；池化操作为2×2的步长为2的最大池化操作。
激活函数为Leaky Rectified Linear Units(以下简称L-ReLU)函数，计算公式为：
在L-ReLU函数中，当输入x>0输出为x，当x<0时输出为a*x ，a为常数，本实施例中取0.1；原U-net网络中的激活函数采用Rectified Linear Unit（以下简称ReLU）函数，ReLU函数对大梯度激活后将不再更新，L-ReLU可以解决这个问题，使得轴心点周围的值得以保留，激活函数L-ReLU可以大大提高训练速度，并且可以减小过拟合的可能，使得本发明的性能更好。
池化层、卷积层的个数在构件网络之前根据实际情况进行设置，如图1所示的本实施例中设置4个池化层，以及对应的4个上采样层。
扩张路径用来精确定位，其包括多个上采样层和卷积层、一个输出层；每个上采样层之后跟着两个连续的卷积层，每个卷积层后都跟着一个激活函数；
收缩路径中最后一个池化层的池化操作完成后，再输入两个卷积层，进行两次连续的卷积操作，然后把得到的特征图输入进扩张路径的第一个上采样层进行上采样操作；
扩张路径中的上采样层的个数与收缩路径中的池化层的个数相同；
扩张路径中的卷积层的个数与收缩路径中的卷积层的个数相同；
每次上采样层中的上采样操作之后输出的特征图，与同级的收缩路径中的池化层输出的特征图连接，然后再输入扩张路径中后续的卷积层进行卷积操作；收缩路径中池化层输出的分别率比较高的特征图经过复制和裁剪（Copy and Crop）之后，与上采样操作之后输出的特征图结合，高分辨率的特征图与更抽象的特征图相结合，可以补足一些图片的信息，得到定位更准确的特征图；
由于本方法提供的技术方案的目标是从图像中找到人眼感兴趣的物体，因此将原始U-Net网络的最后一个卷积层改为反卷积层，即输出层之前是一个反卷积层，反卷积层将前一个卷积层输出的特征图进行反卷积操作，再进行裁剪、使用Sigmoid函数将显著图归一化到[0,1]后，通过输出层输出所需的显著图；
反卷积层之前的两个卷积层的卷积核的尺寸设置为1×1，其余卷积层的卷积核的尺寸全部设置为3×3；
通过上述的上采样操作和反卷积操作，特征图的尺寸被还原，使其与原始被检测图像的尺寸相同，使输出图像与原始图像更接近，确认起来更加直观。
在步骤S2中，训练网络模型过程中采用THUS数据集训练模型，对通过输出层输出的显著图，使用函数Euclidean loss进行显著性回归分析，从数据中学习显著性。
为了测试本发明的技术方案的效果，通过两个公共数据集ASD和ECSSD，以及两种评测指标来进行评估：
(1)Area Under roc Curve (以下简称AUC)，评估显著物体检测性能；
(2)Mean absolute error(以下简称MAE)，表示模型输出的显著图与基准图像（Ground-truth） 之间的平均绝对误差；
AUC和MAE的值在0-1的范围之内，AUC值越接近1，说明性能越好，MAE值越接近0，说明显著性越好。最终测试结果显示在表1，从表中可以看出，跟传统的几个方法相比，本发明提出的方法在ASD和ECSSD数据集上，性能和显著性目标都非常好，具有与基准图像（Ground-truth）更高的相似度。
表1 是各个模型在ASD和ECSSD数据集上的性能指标。
使用本发明的技术方案后，能够利用较少的图像端对端进行训练，与其他的神经网络模型相比，在本发明的网络模型中扩张路径中的池化操作被上采样操作替代，增加了特征图的分辨率，将收缩路径的高分辨率特征图与上采样操作输出的特征图结合，基于结合后的图像信息，之后的连续的卷积操可以聚集更精准的输出；通过评估的结果可以知道，跟传统的几个方法相比，本发明提出的方法具有与基准图像（Ground-truth）更高的相似度。
Claims (6)
1.一种平面图像显著性检测方法，其包括以下步骤：
S1：构件网络模型；
S2：训练所述网络模型，得到训练后的网络模型；
S3：将图像数据输入到S2中得到的所述训练后的网络模型，进行显著性检测，输出显著图，用于后续图像处理；
其特征在于：在步骤S1中所述网络模型的结构包括一个左侧的收缩路径和一个右侧的扩张路径；
所述收缩路径用来捕捉上下文，其包括一个输入层、多个卷积层和池化层；由所述输入层输入的被检测图像传入第一个所述卷积层进行卷积操作；每两个连续的所述卷积层之后跟着一个所述池化层，每个所述卷积层后都跟着一个激活函数；
所述扩张路径用来精确定位，其包括多个上采样层和所述卷积层、一个输出层；每个所述上采样层之后跟着两个连续的所述卷积层，每个所述卷积层后都跟着一个所述激活函数；
所述收缩路径中最后一个所述池化层的池化操作完成后得到的特征图，再输入两个所述卷积层，进行两次连续的所述卷积操作，然后把得到的特征图输入进所述扩张路径的第一个所述上采样层进行上采样操作；
所述扩张路径中的所述上采样层的个数与所述收缩路径中的所述池化层的个数相同；
所述扩张路径中的所述卷积层的个数与所述收缩路径中的所述卷积层的个数相同；
每次所述上采样层中的所述上采样操作之后输出的特征图，需要与同级的所述收缩路径中的所述池化层输出的特征图连接，然后再输入所述扩张路径中后续的所述卷积层进行所述卷积操作；
所述输出层之前是一个反卷积层，所述反卷积层将前一个所述卷积层输出的特征图进行反卷积操作，再进行裁剪、归一化操作后，通过所述输出层输出所需的显著图。
2.根据权利要求1所述一种平面图像显著性检测方法，其特征在于：所述反卷积层之前的两个所述卷积层的卷积核的尺寸设置为1×1，其余所述卷积层的卷积核的尺寸全部设置为3×3。
3.根据权利要求1所述一种平面图像显著性检测方法，其特征在于：所述池化层为2×2的步长为2的最大池化操作。
4.根据权利要求1所述一种平面图像显著性检测方法，其特征在于：所述激活函数为Leaky Rectified Linear Units函数，计算公式为：
a为常数。
5.根据权利要求1所述一种平面图像显著性检测方法，其特征在于：所述归一化操作中使用Sigmoid函数将显著图归一化到[0,1] 。
6.根据权利要求1所述一种平面图像显著性检测方法，其特征在于：在步骤S2中，训练网络模型过程中，对所述输出层输出的显著图，通过函数Euclidean loss进行显著性回归分析。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810820639.2A CN109191426A (zh) | 2018-07-24 | 2018-07-24 | 一种平面图像显著性检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810820639.2A CN109191426A (zh) | 2018-07-24 | 2018-07-24 | 一种平面图像显著性检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109191426A true CN109191426A (zh) | 2019-01-11 |
Family
ID=64936733
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810820639.2A Pending CN109191426A (zh) | 2018-07-24 | 2018-07-24 | 一种平面图像显著性检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109191426A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109635882A (zh) * | 2019-01-23 | 2019-04-16 | 福州大学 | 一种基于多尺度卷积特征提取和融合的显著物体检测方法 |
| CN110910364A (zh) * | 2019-11-16 | 2020-03-24 | 应急管理部沈阳消防研究所 | 基于深度神经网络的三切面火场易引发起火电器设备检测方法 |
| CN110946566A (zh) * | 2019-12-16 | 2020-04-03 | 成都天奥电子股份有限公司 | 一种基于U-Net网络的心拍分类方法、装置、设备及存储介质 |
| CN111914850A (zh) * | 2019-05-07 | 2020-11-10 | 百度在线网络技术（北京）有限公司 | 图片特征提取方法、装置、服务器和介质 |
| CN113327304A (zh) * | 2021-05-28 | 2021-08-31 | 北京理工大学重庆创新中心 | 一种基于端到端神经网络的高光谱图像显著图生成方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106296692A (zh) * | 2016-08-11 | 2017-01-04 | 深圳市未来媒体技术研究院 | 基于对抗网络的图像显著性检测方法 |
| CN106909924A (zh) * | 2017-02-18 | 2017-06-30 | 北京工业大学 | 一种基于深度显著性的遥感影像快速检索方法 |
| CN107229918A (zh) * | 2017-05-26 | 2017-10-03 | 西安电子科技大学 | 一种基于全卷积神经网络的sar图像目标检测方法 |
| CN108171701A (zh) * | 2018-01-15 | 2018-06-15 | 复旦大学 | 基于u网络和对抗学习的显著性检测方法 |
-
2018
- 2018-07-24 CN CN201810820639.2A patent/CN109191426A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106296692A (zh) * | 2016-08-11 | 2017-01-04 | 深圳市未来媒体技术研究院 | 基于对抗网络的图像显著性检测方法 |
| CN106909924A (zh) * | 2017-02-18 | 2017-06-30 | 北京工业大学 | 一种基于深度显著性的遥感影像快速检索方法 |
| CN107229918A (zh) * | 2017-05-26 | 2017-10-03 | 西安电子科技大学 | 一种基于全卷积神经网络的sar图像目标检测方法 |
| CN108171701A (zh) * | 2018-01-15 | 2018-06-15 | 复旦大学 | 基于u网络和对抗学习的显著性检测方法 |
Non-Patent Citations (5)
| Title |
|---|
| OLAF RONNEBERGER 等: "U-Net: Convolutional Networks for Biomedical Image Segmentation", 《NAVAB N., HORNEGGER J., WELLS W., FRANGI A. (EDS) MEDICAL IMAGE COMPUTING AND COMPUTER-ASSISTED INTERVENTION – MICCAI 2015. MICCAI 2015. LECTURE NOTES IN COMPUTER SCIENCE》 * |
| 张顺 等: "深度卷积神经网络的发展及其在计算机视觉领域的应用", 《计算机学报》 * |
| 毋立芳 等: "局部聚类分析的FCN-CNN云图分割方法", 《软件学报HTTP://KNS.CNKI.NET/KCMS/DETAIL/11.2560.TP.20171204.0646.010.HTML》 * |
| 田娟秀 等: "医学图像分析深度学习方法研究与挑战", 《自动化学报》 * |
| 肖朝霞 等: "图像语义分割问题研究综述", 《软件导刊》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109635882A (zh) * | 2019-01-23 | 2019-04-16 | 福州大学 | 一种基于多尺度卷积特征提取和融合的显著物体检测方法 |
| CN109635882B (zh) * | 2019-01-23 | 2022-05-13 | 福州大学 | 一种基于多尺度卷积特征提取和融合的显著物体检测方法 |
| CN111914850A (zh) * | 2019-05-07 | 2020-11-10 | 百度在线网络技术（北京）有限公司 | 图片特征提取方法、装置、服务器和介质 |
| CN111914850B (zh) * | 2019-05-07 | 2023-09-19 | 百度在线网络技术（北京）有限公司 | 图片特征提取方法、装置、服务器和介质 |
| CN110910364A (zh) * | 2019-11-16 | 2020-03-24 | 应急管理部沈阳消防研究所 | 基于深度神经网络的三切面火场易引发起火电器设备检测方法 |
| CN110946566A (zh) * | 2019-12-16 | 2020-04-03 | 成都天奥电子股份有限公司 | 一种基于U-Net网络的心拍分类方法、装置、设备及存储介质 |
| CN110946566B (zh) * | 2019-12-16 | 2022-06-17 | 成都天奥电子股份有限公司 | 一种基于U-Net网络的心拍分类方法、装置、设备及存储介质 |
| CN113327304A (zh) * | 2021-05-28 | 2021-08-31 | 北京理工大学重庆创新中心 | 一种基于端到端神经网络的高光谱图像显著图生成方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | Multistage GAN for fabric defect detection | |
| CN109191426A (zh) | 一种平面图像显著性检测方法 | |
| WO2021249233A1 (zh) | 一种图像处理方法、目标识别模型训练方法和目标识别方法 | |
| Raza et al. | Mimo-net: A multi-input multi-output convolutional neural network for cell segmentation in fluorescence microscopy images | |
| Fujita et al. | Basic investigation on a robust and practical plant diagnostic system | |
| CN104573731B (zh) | 基于卷积神经网络的快速目标检测方法 | |
| CN110852383B (zh) | 基于注意力机制深度学习网络的目标检测方法及装置 | |
| CN110852316B (zh) | 一种采用密集结构卷积网络的图像篡改检测和定位方法 | |
| CN110263705A (zh) | 面向遥感技术领域两期高分辨率遥感影像变化检测方法 | |
| CN111898432B (zh) | 一种基于改进YOLOv3算法的行人检测系统及方法 | |
| CN112560968B (zh) | 一种基于卷积和残差网络的her2图像分类方法及系统 | |
| CN104992177A (zh) | 基于深层卷积神经网络的网络色情图像检测方法 | |
| CN114283158A (zh) | 一种视网膜血管图像分割方法、装置及计算机设备 | |
| CN114820579A (zh) | 一种基于语义分割的图像复合缺陷的检测方法及系统 | |
| CN107657281A (zh) | 一种基于改进的卷积神经网络的图像识别方法 | |
| CN111738994A (zh) | 一种轻量级的pcb缺陷检测方法 | |
| CN112001928A (zh) | 一种视网膜血管分割方法及系统 | |
| Srivastava et al. | GMSRF-Net: An improved generalizability with global multi-scale residual fusion network for polyp segmentation | |
| CN108875826A (zh) | 一种基于粗细粒度复合卷积的多分支对象检测方法 | |
| Yuan et al. | M $^ 3$ Net: Multilevel, Mixed and Multistage Attention Network for Salient Object Detection | |
| CN110765960A (zh) | 一种自适应多任务深度学习的行人再识别方法 | |
| CN116071676A (zh) | 一种基于注意力导向金字塔融合的红外小目标检测方法 | |
| CN110866938A (zh) | 一种全自动视频运动目标分割方法 | |
| CN116958537A (zh) | 一种基于U-Net模型的肺结节分割方法 | |
| CN113537119B (zh) | 基于改进Yolov4-tiny的输电线路连接部件检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190111 |