CN110097129A - 基于轮廓波分组特征金字塔卷积的遥感目标检测方法 - Google Patents
基于轮廓波分组特征金字塔卷积的遥感目标检测方法 Download PDFInfo
- Publication number
- CN110097129A CN110097129A CN201910376741.2A CN201910376741A CN110097129A CN 110097129 A CN110097129 A CN 110097129A CN 201910376741 A CN201910376741 A CN 201910376741A CN 110097129 A CN110097129 A CN 110097129A
- Authority
- CN
- China
- Prior art keywords
- convolution
- layer
- grouping
- feature pyramid
- remote sensing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于轮廓波分组特征金字塔卷积的遥感目标检测方法,解决了光学遥感图像飞机与舰船在边缘模糊时召回率低、虚警率高的问题。实现步骤:构建测试数据集;构建训练数据集;对数据集进行非轮廓下采样变换;构建基于分组特征金字塔卷积目标检测网络;利用数据集训练基于分组特征金字塔卷积的目标检测网络;用训练好的基于分组特征金字塔卷积的目标检测网络对测试数据集进行目标检测;输出测试结果。本发明用非下采样轮廓边缘加强图像边缘特征,并构建分组卷积和特征金字塔网络,更适于光学遥感图像目标检测,针对边缘模糊的小目标检测准确率明显提高。用于光学遥感图像的地物目标检测。
Description
技术领域
本发明属于图像处理技术领域,更进一步涉及光学遥感图像目标检测技术,具体是一种基于轮廓波分组卷积的光学遥感图像目标检测方法。本发明可应用于对光学遥感图像的不同区域内的飞机与舰船的地物目标检测。
背景技术
目标检测任务是计算机视觉领域的一个重要的分支,遥感图像目标检测是指使用遥感图像作为数据获取源,采用图像处理算法对图像中感兴趣的目标进行定位并分类。遥感目标检测作为遥感图像应用中的关键技术,可以应用在军事监测,城市规划,农林建设等领域,能提供精确的位置与类别信息,具备重要的工业应用价值和研究价值。
Jifeng Dai在其发表的论文“R-FCN:Object Detection via Region-basedFully Convolutional Networks”(神经信息处理系统进展大会NIPS(Neural InformationProcessing Systems蒙特利尔国际会议论文2015年)中提出了一种基于位置得分映射的目标检测方法。该方法首先利用骨架网络ResNet50卷积特征来生成候选区域RPN(RegionProposal Networks),然后根据预测的高质量的候选框,在卷积的高级语义特征上进行位置敏感卷积和位置得分池化,池化后的结果分别使用卷积,分别预测候选框的类别和位置偏移,最后根据位置偏移、候选框以及类别进行非极大值抑制NMS(Non MaximumSuppression),得到最后的检测结果。该方法能够准确丰富的表示目标的特征,并且使用位置敏感映射学习目标的不同位置,通过设计的全卷积网络减轻了网络头部计算量等优点,但是,该方法由于大尺寸分辨率低的光学遥感图像存在的目标尺寸小且边缘模糊,导致在进行光学遥感图像目标检测时常常会漏检船只等小目标。
专利文献“基于深度学习FCN网络的遥感舰船目标轮廓分割与检测方法”(专利申请号:CN201710675694.2,公开号:CN107527352A)中提出了一种深度学习的FCN全卷积网络的遥感图像舰船目标检测方法。首先构建遥感舰船目标数据库,对其中遥感舰船目标进行逐像素标注,随后设计一种更深的6层全卷积网络6-FCN结构通过卷积与反卷积进行参数训练,最终对宽幅遥感检测图像进行重叠切分,检测后合并得到最终遥感影像舰船检测结果。但是,该方法仍然存在的不足之处是,无法有效的处理由于图像分辨率低所造成的舰船目标边缘模糊的问题。
目前目标检测算法在分辨率低的光学遥感图像进行目标检测时,存在的目标尺寸小且边缘模糊的问题,以及因此导致的光学遥感图像目标检测时常常会出现漏检小目标的问题。
发明内容
本发明的目的是针对上述现有技术的不足,提出一种提高小目标检测准确率的基于轮廓波分组卷积的光学遥感图像飞机和舰船目标检测方法。
本发明是一种基于轮廓波分组卷积的深度卷积网络光学遥感图像目标检测方法,其特征在于,包括如下步骤:
(1)构造测试数据集:
(1a)用窗口大小为512×512×3像素,且步长为300×300×3像素的划窗,对多幅待检测光学遥感图像进行逐一切割,得到多个大小为512×512×3像素的切割数据块,保存每一个切割数据块对应划窗步数。
(1b)按照测试数据集命名规则,对每个切割数据块进行命名。
(1c)利用归一化公式,对命名后的每一个切割数据块进行归一化处理,得到测试数据集。
(2)构造训练数据集:
(2a)选取多幅标注陆地飞机和水中舰船坐标的光学遥感图像,以每个飞机和舰船目标为切割中心点,切割得到大小为512×512×3像素的训练数据。
(2b)对得到的训练数据块进行数据增强处理,形成完整的训练数据集。
(3)对训练数据集及测试数据集分别进行非轮廓下采样变换数据增强。
(3a)分别对切割好的训练数据及测试数据,依次进行非轮廓下采样变换,使用NSCT变换得到低频子带及高频子带。
(3b)对(3a)中得到的低频子带进行线性变换。
(3c)对(3a)中的高频子带使用自适应阈值函数,使其有效抑制噪声并减轻高频子带对图像细节信息的影响。
(3d)对(3b)和(3c)中得到的线性变化后的低频子带和经自适应阈值函数过滤的高频子带结果进行NSCT反变换,得到数据增强后的训练数据集和测试数据集。
(4)构建基于分组卷积金字塔特征的目标检测网络:
(4a)构建用于分别以增强前图像和增强后图像作为输入的分组卷积模块。
(4b)构建残差连接卷积模块。
(4c)构建用于增强小目标表达能力并融合各层特征的特征金字塔卷积模块。
(4d)使用(4b)中的残差连接卷积模块和(4c)的特征金字塔卷积模块构建残差金字塔网络。
(4e)使用(4a)的分组卷积模块、(4d)的残差金字塔网络建基于分组特征金字塔卷积的目标检测网络。
(5)用增强前的训练数据集及增强后的训练数据集作为输入对基于分组特征金字塔卷积的深度卷积神经网络进行训练,得到训练好的基于分组特征金字塔卷积的深度卷积神经网络。
(6)对测试数据集进行检测:
(6a)将增强前的测试数据集及增强后的测试数据集中的数据块,依次输入到训练好的基于分组特征金字塔卷积的目标检测网络中,得到测试数据集中每个数据块的候选框、候选框对应的得分、候选框对应的目标类别。
(6b)保留所有得分高于0.5的目标类别的候选框,丢弃其余候选框。
(6c)对所有保留候选框的坐标进行映射,映射到完整的光学遥感图像上面并进行非极大值抑制NMS处理,得到光学遥感图像的检测结果。
本发明与现有其他光学遥感图像目标检测方法相比,能够利用非轮廓波下采样方法进行边缘增强,将分组卷积模块加入到深度特征金字塔卷积目标检测网络中增加边缘模糊的小目标的特征表达能力以提高检测准确率,并通过融合多层网络特征以提高小目标检测准确率。
本发明与现有的技术相比具有以下优点:
第一,由于基于分组特征金字塔卷积的深度卷积神经网络目标检测方法使用非下采样轮廓变换边缘增强方法,并结合分组卷积,并同时使用增强前的图像和增强后的图像作为输入,增强后的图像能强化目标的边缘信息,增强前的图像能保留目标更丰富的纹理信息,使用分组卷积的方法使网络在学习时自动学习特征组合,克服了现有技术的使用中无法有效利用非下采样轮廓变换的边缘信息与原始图像更丰富的纹理信息的缺点,使得网络特征的输入更为丰富,使得本发明更适用于目标检测网络,提高了飞机和舰船目标检测的准确率。
第二,由于基于分组特征金字塔卷积的深度卷积神经网络目标检测方法,网络中的特征金字塔卷积模块,能有效的以分组卷积作为输入并逐阶段提取特征,并通过上采样的方法结合来自更高层的语义特征,使得网络可以将深层特征与浅层特征有效结合并克服不同阶段特征图的语义鸿沟,使得深层特征及浅层特征能更有效地同时应用于分类和回归,从而整体的提高光学遥感图像所以小目标(小型飞机与舰船)的目标检测与分类的准确率。
附图说明
图1是本发明的流程图;
图2是本发明中的分组卷积模块和使用分组卷积和特征金字塔网络的模块图。
图3是本发明中的特征金字塔单层结构示意图。
图4是本发明中基于分组特征金字塔卷积的目标检测网络图。
具体实施方式
下面结合附图对本发明的作详细描述。
实施例1
现有技术中由于光学遥感图像尺寸大、分辨率低,目标尺寸小,且目标的边缘模糊,导致现有的方法在进行光学遥感图像目标检测时常常无法较好的学习到小目标的特征,进而导致小目标的准确率低。
本发明针对这种现状展开了研究,提出一种轮廓波分组特征金字塔卷积的遥感目标检测方法,参见图1,本发明是首先使用非轮廓波下采样变换进行边缘增强,并使用分组卷积及通道打散技术使网络可同时输入增强前的图像和增强后的图像并自动学习特征组合,以此作为深度特征金字塔卷积网络的输入,所提取特征更适用于目标检测任务,能够提高光学遥感图像目标检测的准确率,包括如下步骤:
(1)构造测试数据集:
(1a)用窗口大小为512×512×3像素,且步长为300×300×3像素的划窗,对多幅待检测光学遥感图像进行逐一切割,得到多个大小为512×512×3像素的切割数据块,保存每一个切割数据块对应划窗步数;
(1b)按照测试数据集命名规则,对每个切割数据块进行命名。
(1c)利用归一化公式,对命名后的每一个切割数据块进行归一化处理,得到测试数据集。
(2)构造训练数据集:
(2a)选取多幅标注陆地飞机和水中舰船坐标的光学遥感图像,以每个飞机和舰船目标为切割中心点,切割得到大小为512×512×3像素的训练数据。
(2b)对得到的训练数据块进行数据增强处理,形成完整的训练数据集。
(3)对训练数据集及测试数据集分别进行非轮廓下采样变换数据增强:
(3a)分别对切割好的训练数据及测试数据,依次进行非轮廓下采样变换,使用NSCT变换得到低频子带及高频子带。
(3b)对(3a)中得到的低频子带进行线性变换。
(3c)对(3a)中的高频子带使用自适应阈值函数,使其有效抑制噪声并减轻高频子带对图像细节信息的影响。
(3d)对(3b)和(3c)中得到的线性变化后的低频子带和经自适应阈值函数过滤的高频子带结果进行NSCT反变换,得到数据增强后的训练数据集和测试数据集。
(4)构建基于分组卷积金字塔特征的目标检测网络:
(4a)构建用于分别以增强前图像和增强后图像作为输入的分组卷积模块。
(4b)构建残差连接卷积模块。
(4c)构建用于增强小目标表达能力并融合各层特征的特征金字塔卷积模块。
(4d)使用(4b)中的残差链接卷积模块和(4c)的特征金字塔卷积模块构建残差金字塔网络。
(4e)使用(4a)的分组卷积模块、(4d)的残差金字塔网络建基于分组特征金字塔卷积的目标检测网络。
(5)用增强前的训练数据集及增强后的训练数据集作为输入对基于分组特征金字塔卷积的深度卷积神经网络进行训练,得到训练好的基于分组特征金字塔卷积的深度卷积神经网络。
(6)对测试数据集进行检测:
(6a)将增强前的测试数据集及增强后的测试数据集中的数据块,依次输入到训练好的基于分组特征金字塔卷积的目标检测网络中,得到测试数据集中每个数据块的候选框、候选框对应的得分、候选框对应的目标类别。
(6b)保留所有得分高于0.5的目标类别的候选框,丢弃其余候选框。
(6c)对所有保留候选框的坐标进行映射,映射到完整的光学遥感图像上面并进行非极大值抑制NMS处理,得到光学遥感图像的检测结果。
本发明的思路是通过利用非负采样轮廓波对图像中的目标边缘进行增强,并使用分组卷积和多特征融合,提取出更适合于目标检测任务的特征,,能够提高光学遥感图像目标检测的准确率。
本发明与现有其他光学遥感图像目标检测方法相比,能够利用非轮廓波下采样方法进行边缘增强,将分组卷积模块加入到深度特征金字塔卷积目标检测网络中增加边缘模糊的小目标的特征表达能力以提高检测准确率,并通过融合多层网络特征以提高小目标检测准确率。
实施例2
基于轮廓波分组特征金字塔卷积的光学遥感图像目标检测方法同实施例1,图2(a)展示了本发明分组卷积实施卷积的详细过程,图2(b)展示了本发明的分组卷积模块的示意图,该分组卷积模块使用1×1的分组卷积和3×3可分卷积的卷积核构建分组卷积模块,分组卷积模块为三层,其模块结构为:输入层→第一个1x1分组卷积→第一个3x3可分卷积层→第二个1x1分组卷积→输出层。
本例中,该分组卷积模块的具体参数设置如下:
分组卷积模块中第一个1x1分组卷积,组个数为2,不同的组分别以边缘增强前图像与边缘增强后图像作为输入,每组的通道数均为32,并连接批量归一化层及relu激活函数。
分组卷积模块中的通道打散层,使用CUDA随机稀疏卷积模块实现。
分组卷积模块中第二个3x3可分卷积,通道数为128,并连接批量归一化层。
分组卷积模块中第二个1x1分组卷积,组个数为64,每组的通道数均为2,并连接批量归一化层及relu激活函数。
本发明基于轮廓波分组特征金字塔卷积的遥感目标检测方法,分组卷积模块使用分组的1×1、3×3卷积核,在执行分组卷积的同时减少了网络的参数,缩短了网络检测的时间,同时通道打散操作有助于网络自动选择特征。
由于本发明提出的基于分组特征金字塔卷积的深度卷积神经网络目标检测方法使用非下采样轮廓变换边缘增强方法对图像进行增强,使用增强前的图像和增强后的图像作为输入,使用分组卷积的方法使网络在学习时自动学习特征组合,克服了现有技术的使用中无法有效利用非下采样轮廓变换的边缘信息与原始图像更丰富的纹理信息的缺点,使得网络特征的输入更为丰富,本发明更适用于目标检测网络,提高了飞机和舰船目标检测的准确率。
实施例3
基于轮廓波分组特征金字塔卷积的遥感目标检测方法同实施例1-2,步骤(4b)中所述的残差连接卷积模块是指:上一阶段特征图输入层→第一个卷积层→第二个卷积层→第三个卷积层→与来自特征图输入层的输出进行逐点相加→当前阶段特征图输出层。
实施例4
基于轮廓波分组特征金字塔卷积的遥感目标检测方法同实施例1-3,参见图3,步骤(4c)中所述特征金字塔卷积模块是指:选取网络某阶段的特征图作为输入→第一个3x3卷积层→第一个1x1卷积层→输出特征图1,选取相对此阶段更高阶段的输出作为输入→上采样→输出特征图2,输出特征图1与输出特征图2进行逐点相加→第一个池化层→当前阶段特征金字塔子网络输出。
实施例5
基于轮廓波分组特征金字塔卷积的遥感目标检测方法同实施例1-4,步骤(4d)中所述的残差金字塔网络是指:使用步骤(4a)的输出作为(4d)网络结构的输入,其块结构为,输入层→第一个卷积层→第一个最大值池化层→第一残差连接卷积阶段S1→第二残差连接卷积阶段S2→第一个特征金字塔卷积层→第三个残差连接卷积阶段S3→第二个特征金字塔卷积层→第四个残差连接卷积阶段S4→第三个特征金字塔卷积层→第五残差连接卷积阶段S5→第四个特征金字塔卷积层→最大池化阶段S6→第五个特征金字塔卷积层。
由于本发明基于分组特征金字塔卷积的深度卷积神经网络目标检测方法,目标检测网络中使用特征金字塔卷积模块,能通过上采样的方法结合来自更高层的语义特征,使得网络可以将深层特征与浅层特征有效结合并克服不同阶段特征图的语义鸿沟,使得深层特征及浅层特征能更有效地融合并应用于分类和回归,从整体上提高了光学遥感图像重小目标的检测与分类的准确率。
实施例6
基于轮廓波分组特征金字塔卷积的遥感目标检测方法同实施例1-5,参见图4,步骤(4e)中所述用于图像目标检测的基于轮廓波分组特征金字塔卷积网络结构是指:原始图像层及NSCT变换后图像层→分组卷积模块→基于残差连接卷积模块的基础网络→RPN提取候选框层→ROI池化层→两个全连接层→分类回归层。本例中,其参数设置如下:
将第一个池化层的特征映射图的尺寸设置为3×3个节点,划窗步长为2。
将ROI池化层的特征映射图的输出尺寸设置为6×6个节点。
将每一个全连接层的特征映射图的总数设置为4096。
将每一个分类回归层中的分类特征映射图的尺寸设置为24×24个节点,总数为18个,回归特征映射图的尺寸设置为24×24个节点,总数设置为36。
由于本发明基于分组特征金字塔卷积的深度卷积神经网络目标检测方法使用非下采样轮廓变换边缘增强方法,并结合分组卷积和特征金字塔卷积模块,对图像目标进行增强使用分组卷积的方法和金字塔网络,在自动学习特征组合的同时将深层特征与浅层特征有效融合,使得本发明更适用于目标检测网络,提高了飞机和舰船目标检测的准确率。
实施例7
基于轮廓波分组特征金字塔卷积的遥感目标检测方法同实施例1-6,步骤(5c)中所述非极大值抑制NMS处理是指:对所有检测框,按照得分从高到低进行排序,保留检测框之间重叠度低和得分高的候选框,丢弃检测框之间重叠度高和得分低的候选框。使得网路的检测结果准确率更高、虚警率更低。
下面给出一个更加完整详尽的例子,对本发明作进一步描述。
实施例8
基于轮廓波分组特征金字塔卷积的遥感目标检测方法同实施例1-7,参照图1,
步骤1,构造测试数据集。
用窗口大小为512×512×3像素,且步长为400×400×3像素的划窗,对待检测多幅光学遥感图像进行逐一切割,每一幅光学遥感图像切割后得到多个大小为512×512×3像素的切割数据块,保存每一个切割数据块对应划窗步数。
步骤2,构造训练数据集。
从遥感卫星上实时接收的光学遥感图像中,选取多幅标注陆地飞机和水中舰船坐标的光学遥感图像,以每个飞机和舰船目标为切割中心点,切割出大小为512×512×3像素的切割数据块,得到多个切割数据块。对切割数据块依次进行图像尺度变换、图像平移、图像旋转、图像镜像、图像对比度与亮度调整以及图像加入噪声等数据增强处理操作,形成训练数据集。
步骤3,针对训练数据集及测试数据集进行非轮廓下采样变换数据增强:
对切割好的训练数据及测试数据,依次进行非轮廓下采样变换,非轮廓下采样变换将得到低频子带及若干的高频子带;(1)所得到的低频子带,进行线性变换;(2)所得到的若干高频子带,使用自适应阈值函数,使其有效抑制噪声并同时能减轻对图像细节信息的影响;对(1)(2)所得到的结果进行非轮廓下采样反变换,反变换后的图像在不同目录下保存为与训练数据或测试数据同名的副本,得到增强后的训练集和验证集。
步骤4,构建用于结合非下采样变换图像特征及原图特征的基于分组卷积金字塔特征的目标检测网络:
构建用于提取结合非下采样变换图像特征及原图特征的分组卷积模块,基础卷积模块为三层,其块结构为:输入层→第一个1x1分组卷积→第一个3x3可分卷积层→第二个1x1分组卷积→输出层。
该分组卷积模块的具体参数设置如下:
分组卷积模块中第一个1x1分组卷积,组个数为2,不同的组分别以边缘增强前图像与边缘增强后图像作为输入,每组的通道数均为32,并连接批量归一化层及relu激活函数。
分组卷积模块中的通道打散层,使用CUDA随机稀疏卷积模块实现。
分组卷积模块中第二个3x3可分卷积,通道数为128,并连接批量归一化层。
分组卷积模块中第二个1x1分组卷积,组个数为64,每组的通道数均为2,并连接批量归一化层及relu激活函数。
构建用于结合多层特征改善小目标检测的特征金字塔网络结构,其块结构为,输入→第一个卷积层→第一个最大值池化→第一残差连接卷积阶段S1→第二残差连接卷积阶段S2→→第一个特征金字塔子网络→第三残差连接卷积阶段S3→第二个特征金字塔子网络→第四个残差连接卷积阶段S4→第三个特征金字塔子网络→第五残差连接卷积阶段S5→第四个特征金字塔子网络→最大池化阶段S6→第五个特征金字塔子网络,其中特征金字塔子网络的结构为残差连接阶段→可变形卷积→第一个1x1卷积→来自更高阶段的特征图上采样→逐点相加,每个特征金字塔的输出均连接RPN子网络及分类回归网络,分类回归网络由第二章所介绍的基于可变形池化的位置得分映射所组成。
使用构建的分组卷积模块与特征金字塔卷积模块搭建用于结合非下采样变换图像特征及原图特征的基于分组卷积金字塔特征的目标检测网络;
本发明目标检测网络由1个分组卷积模块,5个残差连接卷积模块、5个特征金子塔子网络模块以及1个共享的RPN网络以及1个共享的分类回归网络所组成,参见图4,本例中,该目标检测网络由于使用特征融合,其具有两个单独的分类回归层输出,其结构是从输入到第一个分类回归层输出依次为:输入层→第一个1x1分组卷积→第一个3x3可分卷积层→第二个1x1分组卷积→第一个卷积层→第一个最大值池化→第一残差连接卷积阶段S1→第二残差连接卷积阶段S2→第一个特征金字塔子网络→第三残差连接卷积阶段S3→第二个特征金字塔子网络→第四个残差连接卷积阶段S4→第三个特征金字塔子网络→第五残差连接卷积阶段S5→第四个特征金字塔子网络→最大池化阶段S6→第五个特征金字塔子网络→共享的RPN提取候选框层(输入来自五个特征金字塔子网络)→共享的第一个ROI池化层→共享的第一个全连接层→共享的第二个全连接层→共享的第一个分类回归层(输入来自五个特征金字塔子网络)实现特征融合,提高检测精度。
步骤5,用训练数据集对基于轮廓波分组残差卷积的深度卷积神经网络进行训练,得到训练好的基于轮廓波分组特征金字塔深度卷积神经网络。
步骤6,对测试数据集进行检测。将测试数据集中的数据块,依次输入到训练好的轮廓波分组特征金字塔卷积的遥感目标检测中,得到测试数据集中每个数据块的候选框、候选框对应的得分、候选框对应的目标类别。保留所有得分高于0.5的目标类别的候选框,丢弃其余候选框。对所有保留候选框的坐标进行映射,映射到完整的光学遥感图像上面并进行非极大值抑制NMS处理,得到光学遥感图像的检测结果。非极大值抑制NMS处理是指:对所有检测框按照得分从高到低进行排序,保留检测框之间重叠度低和得分高的候选框,丢弃检测框之间重叠度高和得分低的候选框。
下面通过仿真及实验结果对本发明的技术效果再做说明。
实施例9
基于轮廓波分组特征金字塔卷积的遥感目标检测方法同实施例1-8,
仿真条件:
本发明仿真实验的硬件平台为:Intel(R)Xeon(R)GPU Z840,2.40GHz,内存为64G,Nvidia GTX 1080。
本发明仿真实验的软件平台为:Caffe。
仿真内容与结果:
本发明的仿真实验是分别采用本发明的方法与现有技术的FPN的方法,对QuickBird卫星中接收的珠江三角洲地区光学遥感图像进行目标检测。
表1是仿真实验中本发明方法与现有技术的FPN的学习率、迭代次数等实验网络参数设置:
表1实验网络参数设置一览表
网络参数 | FPN | 本发明方法 |
学习率 | 0.001 | 0.001 |
迭代次数 | 30000 20000 30000 20000 | 30000 20000 30000 20000 |
下面采用准确率和平均精度mAP(mean average precision)两个指标,分别对本发明与现有技术FPN的两种光学遥感图像目标检测结果进行评价,利用下式,分别计算本发明与现有技术FPN的光学遥感图像目标检结果的准确率和平均精度mAP:
召回率=总检测正确目标数/总实际目标数
准确率=总检测正确目标数/总检测目标数
绘制准确率-召回率曲线,根据曲线的面积得到目标检测的检测精度AP,将多个类别的AP求均值得到平均精度mAP。
表2仿真实验测试结果一览表
FPN | 本发明方法 | |
飞机 | 0.9672 | 0.9763 |
舰船 | 0.6653 | 0.6962 |
mAP | 0.8163 | 0.8363 |
表2中分别列出了本发明与现有技术FPN的飞机测试准确率、舰船测试准确率、mAP指标。
从表2可见现有技术FPN的检测飞机的精度为96.72%,检测舰船的精度为66.53%,平均精度为81.63%。本发明方法的检测飞机的精度为97.63%,检测舰船的精度为69.62%,平均精度为83.63%。由表2可见本发明的方法在检测飞机与舰船检测结果以及整体性能上均优于现有技术FPN的检测结果。
本发明通过在深度卷积神经网络目标检测与分类的基础上添加了用于融合非下采样轮廓变换的边缘特征的分组卷积模块并使用特征金子塔结构的网络进行融合,有效的提高了光学遥感图像飞机舰船检测与分类的精度。
综上所述,本发明公开的基于轮廓波分组特征金字塔卷积的遥感图像目标检测方法,主要解决现有技术中光学遥感图像中飞机与舰船检测由于目标尺寸小且边缘模糊而引起的召回率低虚警率高的技术问题。具体步骤如下:(1)构造测试数据集;(2)构造训练数据集;(3)搭建用于改善小目标边缘特征提取的基于轮廓波分组特征金字塔卷积的目标检测网络;(4)利用训练数据集训练基于轮廓波分组特征金字塔卷积的目标检测网络;(5)利用训练好的基于轮廓波分组特征金字塔卷积的目标检测网络对测试数据集进行目标检测;(6)输出测试结果。本发明构建的网络,使用非轮廓下采样变换改善图像的边缘特征,使用分组卷积模块分别提取原图的纹理特征和变换后的与特征融合,更适用于光学遥感图像目标检测,不仅提高了普通目标准确率,而且针对光学遥感图像小目标检测准确率有明显提高。用于光学遥感图像的地物目标检测。
Claims (7)
1.一种基于轮廓波分组特征金字塔卷积的遥感目标检测方法,其特征在于,包括如下步骤:
(1)构造测试数据集:
(1a)用窗口大小为512×512×3像素,且步长为300×300×3像素的划窗,对多幅待检测光学遥感图像进行逐一切割,得到多个大小为512×512×3像素的切割数据块,保存每一个切割数据块对应划窗步数;
(1b)按照测试数据集命名规则,对每个切割数据块进行命名;
(1c)利用归一化公式,对命名后的每一个切割数据块进行归一化处理,得到测试数据集;
(2)选取多幅标注陆地飞机和水中舰船坐标的光学遥感图像,以每个飞机和舰船目标为切割中心点,切割得到大小为512×512×3像素的训练数据,并对训练数据块进行数据增强处理,形成训练数据集;
(3)对训练数据集及测试数据集分别进行非轮廓下采样变换:
(3a)分别对切割好的训练数据及测试数据,依次进行非轮廓下采样变换,使用NSCT变换得到低频子带及高频子带;
(3b)对得到的低频子带进行线性变换;
(3c)对高频子带使用自适应阈值函数,使其有效抑制噪声并减轻高频子带对图像细节信息的影响;
(3d)对线性变化后的低频子带和经自适应阈值函数过滤的高频子带结果进行NSCT反变换,得到数据增强后的训练数据集和测试数据集;
(4)构建基于分组卷积金字塔特征的目标检测网络:
(4a)构建用于分别以增强前图像和增强后图像作为输入的分组卷积模块;
(4b)构建残差连接卷积模块;
(4c)构建用于增强小目标表达能力并融合各层特征的特征金字塔卷积模块;
(4d)使用残差连接卷积模块和特征金字塔卷积模块构建残差金字塔网络;
(4e)使用分组卷积模块、残差金字塔网络构建基于分组特征金字塔卷积的目标检测网络;
(5)用增强前的训练数据集及增强后的训练数据集作为输入对基于分组特征金字塔卷积的深度卷积神经网络进行训练,得到训练好的基于分组特征金字塔卷积的深度卷积神经网络;
(6)对测试数据集进行检测:
(6a)将增强前的测试数据集及增强后的测试数据集中的数据块,依次输入到训练好的基于分组特征金字塔卷积的目标检测网络中,得到测试数据集中每个数据块的候选框、候选框对应的得分、候选框对应的目标类别;
(6b)保留所有得分高于0.5的目标类别的候选框,丢弃其余候选框;
(6c)对所有保留候选框的坐标进行映射,映射到完整的光学遥感图像上面并进行非极大值抑制NMS处理,得到光学遥感图像的检测结果。
2.根据权利要求1所述的基于轮廓波分组特征金字塔卷积网络的光学遥感图像目标检测方法,其特征在于,步骤(4a)中所述分组卷积模块是指:使用1×1的分组卷积和3×3可分卷积的卷积核构建分组卷积模块,分组卷积模块为三层,其块结构为:输入层→第一个1x1分组卷积→第一个3x3可分卷积层→第二个1x1分组卷积→输出层;
该分组卷积模块的具体参数设置如下:
分组卷积模块中第一个1x1分组卷积,组个数为2,不同的组分别以边缘增强前图像与边缘增强后图像作为输入,每组的通道数均为32,并连接批量归一化层及relu激活函数;
分组卷积模块中的通道打散层,使用CUDA随机稀疏卷积模块实现;
分组卷积模块中第二个3x3可分卷积,通道数为128,并连接批量归一化层;
分组卷积模块中第二个1x1分组卷积,组个数为64,每组的通道数均为2,并连接批量归一化层及relu激活函数。
3.根据权利要求1所述的基于轮廓波分组特征金字塔卷积的光学遥感图像目标检测方法,其特征在于,步骤(4b)中所述的残差连接卷积模块是指:上一阶段特征图输入层→第一个卷积层→第二个卷积层→第三个卷积层→与来自特征图输入层的输出进行逐点相加→当前阶段特征图输出层。
4.根据权利要求1所述的基于轮廓波分组特征金字塔卷积的光学遥感图像目标检测方法,其特征在于,步骤(4c)中所述特征金字塔卷积模块是指:选取网络某阶段的特征图作为输入→第一个3x3卷积层→第一个1x1卷积层→输出特征图1,选取相对此阶段更高阶段的输出作为输入→上采样→输出特征图2,输出特征图1与输出特征图2进行逐点相加→第一个池化层→当前阶段特征金字塔子网络输出。
5.据权利要求1所述的基于轮廓波分组特征金字塔卷积的光学遥感图像目标检测方法,其特征在于,步骤(4d)中所述的残差金字塔网络是指:其块结构为,输入层→第一个卷积层→第一个最大值池化层→第一残差连接卷积阶段S1→第二残差连接卷积阶段S2→第一个特征金字塔卷积层→第三个残差连接卷积阶段S3→第二个特征金字塔卷积层→第四个残差连接卷积阶段S4→第三个特征金字塔卷积层→第五残差连接卷积阶段S5→第四个特征金字塔卷积层→最大池化阶段S6→第五个特征金字塔卷积层。
6.根据权利要求1所述的基于轮廓波分组特征金字塔卷积网络的光学遥感图像目标检测方法,其特征在于,步骤(4e)中所述用于图像目标检测的基于轮廓波分组特征金字塔卷积网络结构是指:原始图像层及NSCT变换后图像层→分组卷积模块→基于残差连接卷积模块的基础网络→RPN提取候选框层→ROI池化层→两个全连接层→分类回归层。其参数设置如下:
将第一个池化层的特征映射图的尺寸设置为3×3个节点,划窗步长为2;
将ROI池化层的特征映射图的输出尺寸设置为6×6个节点;
将每一个全连接层的特征映射图的总数设置为4096;
将每一个分类回归层中的分类特征映射图的尺寸设置为24×24个节点,总数为18个,回归特征映射图的尺寸设置为24×24个节点,总数设置为36。
7.根据权利要求1所述的基于基于轮廓波分组特征金字塔卷积网络的光学遥感图像目标检测方法,其特征在于,非极大值抑制NMS处理是指:对所有检测框,按照得分从高到低进行排序,保留检测框之间重叠度低和得分高的候选框,丢弃检测框之间重叠度高和得分低的候选框。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910376741.2A CN110097129B (zh) | 2019-05-05 | 2019-05-05 | 基于轮廓波分组特征金字塔卷积的遥感目标检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910376741.2A CN110097129B (zh) | 2019-05-05 | 2019-05-05 | 基于轮廓波分组特征金字塔卷积的遥感目标检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110097129A true CN110097129A (zh) | 2019-08-06 |
CN110097129B CN110097129B (zh) | 2023-04-28 |
Family
ID=67447190
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910376741.2A Active CN110097129B (zh) | 2019-05-05 | 2019-05-05 | 基于轮廓波分组特征金字塔卷积的遥感目标检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110097129B (zh) |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110807372A (zh) * | 2019-10-15 | 2020-02-18 | 哈尔滨工程大学 | 一种基于深度特征重组的快速光学遥感目标识别方法 |
CN111126202A (zh) * | 2019-12-12 | 2020-05-08 | 天津大学 | 基于空洞特征金字塔网络的光学遥感图像目标检测方法 |
CN111178149A (zh) * | 2019-12-09 | 2020-05-19 | 中国资源卫星应用中心 | 一种基于残差金字塔网络的遥感影像水体自动提取方法 |
CN111210443A (zh) * | 2020-01-03 | 2020-05-29 | 吉林大学 | 基于嵌入平衡的可变形卷积混合任务级联语义分割方法 |
CN111401418A (zh) * | 2020-03-05 | 2020-07-10 | 浙江理工大学桐乡研究院有限公司 | 一种基于改进Faster r-cnn的员工着装规范检测方法 |
CN111461217A (zh) * | 2020-03-31 | 2020-07-28 | 华南理工大学 | 一种基于特征融合和上采样的航拍图像小目标检测方法 |
CN111563414A (zh) * | 2020-04-08 | 2020-08-21 | 西北工业大学 | 一种基于非局部特征增强的sar图像舰船目标检测方法 |
CN111798530A (zh) * | 2020-07-15 | 2020-10-20 | 南京信息工程大学 | 一种遥感图像分类方法 |
CN112102241A (zh) * | 2020-08-11 | 2020-12-18 | 中山大学 | 一种单阶段遥感图像目标检测算法 |
CN112270366A (zh) * | 2020-11-02 | 2021-01-26 | 重庆邮电大学 | 基于自适应多特征融合的微小目标检测方法 |
CN112508958A (zh) * | 2020-12-16 | 2021-03-16 | 桂林电子科技大学 | 一种轻量多尺度的生物医学图像分割方法 |
CN112906549A (zh) * | 2021-02-07 | 2021-06-04 | 同济大学 | 一种基于时空胶囊网络的视频行为检测方法 |
CN113160234A (zh) * | 2021-05-14 | 2021-07-23 | 太原理工大学 | 基于超分辨率和域自适应的无监督遥感图像语义分割方法 |
CN113256704A (zh) * | 2021-03-26 | 2021-08-13 | 上海师范大学 | 一种谷粒长宽测量方法 |
CN113642667A (zh) * | 2021-08-30 | 2021-11-12 | 重庆紫光华山智安科技有限公司 | 一种增强策略确定方法、装置、电子设备及存储介质 |
CN113793371A (zh) * | 2021-08-23 | 2021-12-14 | 北京航空航天大学杭州创新研究院 | 目标分割追踪方法、装置、电子设备和存储介质 |
CN113850129A (zh) * | 2021-08-21 | 2021-12-28 | 南京理工大学 | 一种旋转等变的空间局部注意力遥感图像目标检测方法 |
CN116310734A (zh) * | 2023-04-25 | 2023-06-23 | 慧铁科技有限公司 | 基于深度学习的铁路货车走行部的故障检测方法及系统 |
CN117113066A (zh) * | 2023-10-25 | 2023-11-24 | 南昌大学 | 一种基于计算机视觉的输电线路绝缘子缺陷检测方法 |
CN117173568A (zh) * | 2023-09-05 | 2023-12-05 | 北京观微科技有限公司 | 目标检测模型训练方法和目标检测方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107239751A (zh) * | 2017-05-22 | 2017-10-10 | 西安电子科技大学 | 基于非下采样轮廓波全卷积网络的高分辨sar图像分类方法 |
CN107944353A (zh) * | 2017-11-10 | 2018-04-20 | 西安电子科技大学 | 基于轮廓波bspp网络的sar图像变化检测方法 |
CN107944470A (zh) * | 2017-11-03 | 2018-04-20 | 西安电子科技大学 | 基于轮廓波fcn‑crf的sar图像分类方法 |
CN108596248A (zh) * | 2018-04-23 | 2018-09-28 | 上海海洋大学 | 一种基于改进深度卷积神经网络的遥感影像分类模型 |
CN108764287A (zh) * | 2018-04-24 | 2018-11-06 | 东南大学 | 基于深度学习和分组卷积的目标检测方法及系统 |
CN109711288A (zh) * | 2018-12-13 | 2019-05-03 | 西安电子科技大学 | 基于特征金字塔和距离约束fcn的遥感船舶检测方法 |
-
2019
- 2019-05-05 CN CN201910376741.2A patent/CN110097129B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107239751A (zh) * | 2017-05-22 | 2017-10-10 | 西安电子科技大学 | 基于非下采样轮廓波全卷积网络的高分辨sar图像分类方法 |
CN107944470A (zh) * | 2017-11-03 | 2018-04-20 | 西安电子科技大学 | 基于轮廓波fcn‑crf的sar图像分类方法 |
CN107944353A (zh) * | 2017-11-10 | 2018-04-20 | 西安电子科技大学 | 基于轮廓波bspp网络的sar图像变化检测方法 |
CN108596248A (zh) * | 2018-04-23 | 2018-09-28 | 上海海洋大学 | 一种基于改进深度卷积神经网络的遥感影像分类模型 |
CN108764287A (zh) * | 2018-04-24 | 2018-11-06 | 东南大学 | 基于深度学习和分组卷积的目标检测方法及系统 |
CN109711288A (zh) * | 2018-12-13 | 2019-05-03 | 西安电子科技大学 | 基于特征金字塔和距离约束fcn的遥感船舶检测方法 |
Cited By (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110807372A (zh) * | 2019-10-15 | 2020-02-18 | 哈尔滨工程大学 | 一种基于深度特征重组的快速光学遥感目标识别方法 |
CN111178149A (zh) * | 2019-12-09 | 2020-05-19 | 中国资源卫星应用中心 | 一种基于残差金字塔网络的遥感影像水体自动提取方法 |
CN111178149B (zh) * | 2019-12-09 | 2023-09-29 | 中国四维测绘技术有限公司 | 一种基于残差金字塔网络的遥感影像水体自动提取方法 |
CN111126202A (zh) * | 2019-12-12 | 2020-05-08 | 天津大学 | 基于空洞特征金字塔网络的光学遥感图像目标检测方法 |
CN111210443A (zh) * | 2020-01-03 | 2020-05-29 | 吉林大学 | 基于嵌入平衡的可变形卷积混合任务级联语义分割方法 |
CN111401418A (zh) * | 2020-03-05 | 2020-07-10 | 浙江理工大学桐乡研究院有限公司 | 一种基于改进Faster r-cnn的员工着装规范检测方法 |
CN111461217A (zh) * | 2020-03-31 | 2020-07-28 | 华南理工大学 | 一种基于特征融合和上采样的航拍图像小目标检测方法 |
CN111461217B (zh) * | 2020-03-31 | 2023-05-23 | 华南理工大学 | 一种基于特征融合和上采样的航拍图像小目标检测方法 |
CN111563414B (zh) * | 2020-04-08 | 2022-03-01 | 西北工业大学 | 一种基于非局部特征增强的sar图像舰船目标检测方法 |
CN111563414A (zh) * | 2020-04-08 | 2020-08-21 | 西北工业大学 | 一种基于非局部特征增强的sar图像舰船目标检测方法 |
CN111798530A (zh) * | 2020-07-15 | 2020-10-20 | 南京信息工程大学 | 一种遥感图像分类方法 |
CN112102241B (zh) * | 2020-08-11 | 2023-10-20 | 中山大学 | 一种单阶段遥感图像目标检测算法 |
CN112102241A (zh) * | 2020-08-11 | 2020-12-18 | 中山大学 | 一种单阶段遥感图像目标检测算法 |
CN112270366A (zh) * | 2020-11-02 | 2021-01-26 | 重庆邮电大学 | 基于自适应多特征融合的微小目标检测方法 |
CN112270366B (zh) * | 2020-11-02 | 2022-08-26 | 重庆邮电大学 | 基于自适应多特征融合的微小目标检测方法 |
CN112508958B (zh) * | 2020-12-16 | 2022-07-19 | 桂林电子科技大学 | 一种轻量多尺度的生物医学图像分割方法 |
CN112508958A (zh) * | 2020-12-16 | 2021-03-16 | 桂林电子科技大学 | 一种轻量多尺度的生物医学图像分割方法 |
CN112906549A (zh) * | 2021-02-07 | 2021-06-04 | 同济大学 | 一种基于时空胶囊网络的视频行为检测方法 |
CN113256704A (zh) * | 2021-03-26 | 2021-08-13 | 上海师范大学 | 一种谷粒长宽测量方法 |
CN113256704B (zh) * | 2021-03-26 | 2024-04-05 | 上海师范大学 | 一种谷粒长宽测量方法 |
CN113160234B (zh) * | 2021-05-14 | 2021-12-14 | 太原理工大学 | 基于超分辨率和域自适应的无监督遥感图像语义分割方法 |
CN113160234A (zh) * | 2021-05-14 | 2021-07-23 | 太原理工大学 | 基于超分辨率和域自适应的无监督遥感图像语义分割方法 |
CN113850129A (zh) * | 2021-08-21 | 2021-12-28 | 南京理工大学 | 一种旋转等变的空间局部注意力遥感图像目标检测方法 |
CN113793371A (zh) * | 2021-08-23 | 2021-12-14 | 北京航空航天大学杭州创新研究院 | 目标分割追踪方法、装置、电子设备和存储介质 |
CN113793371B (zh) * | 2021-08-23 | 2023-10-24 | 北京航空航天大学杭州创新研究院 | 目标分割追踪方法、装置、电子设备和存储介质 |
CN113642667B (zh) * | 2021-08-30 | 2024-02-02 | 重庆紫光华山智安科技有限公司 | 一种图片增强策略确定方法、装置、电子设备及存储介质 |
CN113642667A (zh) * | 2021-08-30 | 2021-11-12 | 重庆紫光华山智安科技有限公司 | 一种增强策略确定方法、装置、电子设备及存储介质 |
CN116310734A (zh) * | 2023-04-25 | 2023-06-23 | 慧铁科技有限公司 | 基于深度学习的铁路货车走行部的故障检测方法及系统 |
CN116310734B (zh) * | 2023-04-25 | 2023-12-15 | 慧铁科技股份有限公司 | 基于深度学习的铁路货车走行部的故障检测方法及系统 |
CN117173568A (zh) * | 2023-09-05 | 2023-12-05 | 北京观微科技有限公司 | 目标检测模型训练方法和目标检测方法 |
CN117113066B (zh) * | 2023-10-25 | 2024-03-29 | 南昌大学 | 一种基于计算机视觉的输电线路绝缘子缺陷检测方法 |
CN117113066A (zh) * | 2023-10-25 | 2023-11-24 | 南昌大学 | 一种基于计算机视觉的输电线路绝缘子缺陷检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110097129B (zh) | 2023-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110097129A (zh) | 基于轮廓波分组特征金字塔卷积的遥感目标检测方法 | |
CN109271856A (zh) | 基于扩张残差卷积的光学遥感图像目标检测方法 | |
CN114202696B (zh) | 基于上下文视觉的sar目标检测方法、装置和存储介质 | |
CN112270249B (zh) | 一种融合rgb-d视觉特征的目标位姿估计方法 | |
CN112434745B (zh) | 基于多源认知融合的遮挡目标检测识别方法 | |
CN110111345B (zh) | 一种基于注意力网络的3d点云分割方法 | |
CN102800074B (zh) | 基于轮廓波变换的sar图像变化检测差异图生成方法 | |
CN108491854B (zh) | 基于sf-rcnn的光学遥感图像目标检测方法 | |
CN102521818B (zh) | 一种基于nsct的sar图像和可见光图像的融合方法 | |
CN107239751B (zh) | 基于非下采样轮廓波全卷积网络的高分辨sar图像分类方法 | |
CN103413151B (zh) | 基于图正则低秩表示维数约简的高光谱图像分类方法 | |
CN108427912A (zh) | 基于稠密目标特征学习的光学遥感图像目标检测方法 | |
CN108229425A (zh) | 一种基于高分辨率遥感图像的水体识别方法 | |
CN109087274A (zh) | 基于多维融合及语义分割的电子器件缺陷检测方法及装置 | |
CN108573276A (zh) | 一种基于高分辨率遥感影像的变化检测方法 | |
CN107341488A (zh) | 一种sar图像目标检测识别一体化方法 | |
CN106296638A (zh) | 显著性信息取得装置以及显著性信息取得方法 | |
CN106462771A (zh) | 一种3d图像的显著性检测方法 | |
CN106228201A (zh) | 一种基于阴影特性的合成孔径雷达抗欺骗式干扰方法 | |
CN108960404B (zh) | 一种基于图像的人群计数方法及设备 | |
CN110232389A (zh) | 一种基于绿色作物特征提取不变性的立体视觉导航方法 | |
CN106611423B (zh) | 基于脊波滤波器和反卷积结构模型的sar图像分割方法 | |
CN105205453A (zh) | 基于深度自编码器的人眼检测和定位方法 | |
CN105869166A (zh) | 一种基于双目视觉的人体动作识别方法及系统 | |
CN108052909B (zh) | 一种基于心血管oct影像的薄纤维帽斑块自动检测方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |