Nothing Special   »   [go: up one dir, main page]

CN108133226A - 一种基于harris改进的三维点云特征提取方法 - Google Patents

一种基于harris改进的三维点云特征提取方法 Download PDF

Info

Publication number
CN108133226A
CN108133226A CN201711200042.XA CN201711200042A CN108133226A CN 108133226 A CN108133226 A CN 108133226A CN 201711200042 A CN201711200042 A CN 201711200042A CN 108133226 A CN108133226 A CN 108133226A
Authority
CN
China
Prior art keywords
point
harris
neighborhood
function
sampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711200042.XA
Other languages
English (en)
Other versions
CN108133226B (zh
Inventor
王毅
黄晶靖
郭哲
樊养余
齐敏
吕国云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN201711200042.XA priority Critical patent/CN108133226B/zh
Publication of CN108133226A publication Critical patent/CN108133226A/zh
Application granted granted Critical
Publication of CN108133226B publication Critical patent/CN108133226B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/15Correlation function computation including computation of convolution operations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Algebra (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于HARRIS改进的三维点云特征提取方法,涉及图像领域,本发明提供一种三维点云邻域定义方法,并对邻域进行处理,应用主成分分析法分析点集,选择具有最小向量特征值的向量作为拟合平面法线,使用最小二乘法将转换后的点集拟合成二次曲面,然后采用Harris算法进行处理,筛选出特征点。本发明由于采用主成分分析法分析点集,选择具有最小向量特征值的向量作为拟合平面法线,使用最小二乘法将转换后的点集拟合成二次曲面,将这个二次曲面视为局部图像,从而将三维转为二维处理,计算出各点的Harris响应,解决了传统多尺度思想的特征提取方法存在需要在多个尺度上进行计算、算法效率低的问题。

Description

一种基于HARRIS改进的三维点云特征提取方法
技术领域
本发明涉及图像领域,尤其是一种对三维点云的提取方法。
背景技术
文献“基于多尺度张量分解的点云结构特征提取,2012年中国机械工程,2012年15期,1833-1839”公开了一种基于多尺度张量分解的点云结构特征提取方法,该方法以张量分析理论为基础,对采样点特征进行显著性编码,实现了采样点特征的初步提取;通过法向一致性测度和切向一致性测度定义了采样点最优邻域;在最优邻域内对采样点进行多个尺度的张量分解,统计不同尺度下的显著性编码实现采样点特征属性的精确识别;利用罗曼诺夫斯基准则检测法向(切向)一致性测度突变,实现最优邻域的自动选取;利用最小二乘森林进行特征点遍历,并通过将伪特征点向邻近特征点圆弧进行投影实现特征曲线平滑,实现点云结构特征提取。但是基于多尺度思想的方法,虽然能有效提高算法的鲁棒性和抗噪能力,由于其需要在多个尺度上进行计算,因此算法效率较低。
HARRIS算子是HarrisC和Stephens MJ首次提出来的。其主要思想就是利用图像的自相关性和微分运算来检测图像特征点,具有较强的鲁棒性和稳定性。通过自相关函数来确定像素点位置,再构造一个与之相关的矩阵M,通过比较矩阵特征值大小来确定该像素点是否为角点。Harris算法是二维图像检测识别算法中非常重要的一个算法,其对物体姿态变化鲁棒性好,对旋转不敏感,可以很好的检测出物体的角点,但在三维点云的特征点检测中应用较少。
发明内容
为了克服现有技术的不足,本发明提供一种三维点云邻域定义方法,并对邻域进行处理,应用主成分分析法分析点集,选择具有最小向量特征值的向量作为拟合平面法线,使用最小二乘法将转换后的点集拟合成二次曲面,这个表面是该邻域的很好的表征,认为它是一个局部的图像,然后采用Harris算法进行处理,筛选出特征点。
本发明解决其技术问题所采用的技术方案的详细步骤如下:
步骤1:使用C++编程库PCL(Point Cloud Library)中VoxelGrid滤波器对点云进行采样,在采样点周围定义一个本地邻域,设某一采样点p为待分析采样点,Pk(p)为围绕采样点p的分布的距离最近的k个采样点,其中,k≥6,k个采样点构成了p的邻域点集Pk(p);
步骤2:调用C++编程库PCL(Point Cloud Library)中Eigen::Vector4f xyz_centroid函数,计算出采样点p及其本地邻域Pk(p)的质心,以质心作为三维坐标原点,将采样点p及其本地邻域Pk(p)转换到以质心为原点的坐标系下,形成转换后的邻域域点集P'k(p),应用主成分分析法分析采样点p的本地邻域P'k(p),首先构造所给点集的协方差矩阵S如下:
其中,n=k+1,为邻域中所有点的个数,即包含待分析点p, 是待分析点p及其邻域的几何中心,(xi,yi,zi)为待分析点p的邻域中第i个点的三维坐标,x,y和z是待分析点p及其邻域的几何中心的三维坐标;
对协方差矩阵S,采用雅可比方法求特征值,并按从大到小的排列为λmax、λmid、λmin,并求出相应的特征向量选择具有最小向量特征值的向量作为拟合平面法线,使用最小二乘法将转换后的点集P'k(p)拟合成光滑的二次曲面:
z=f(x,y)=q1x2+q2xy+q3y2+q4x+qy+q6 (2)
式(2)中包含6个未知系数,只要具备6组以上满足式(2)的坐标值即可求得6个系数;
步骤3:根据步骤2中获得的光滑的表面z计算导数,用导数计算每个采样点的Harris响应,由步骤2得到的局部图像灰度变化程度的自相关函数E(u,v)表示为:
其中,u和v分别为x和y方向上的坐标平移量,f为灰度函数,w(x,y)为高斯窗口函数,在式(3)中,通过Taylor展开式,用微分算子重新定义灰度强度变化的公式,得到:
其中,M是自相关函数E(u,v)的近似Hessian矩阵,表示为:
其中,表示张量积,fx,fy分别为公式(2)中函数f对于x和y的偏导数;
设λ1和λ2分别是M的两个特征值,由此,定义角点的响应函数:
RHarris=detM-l(traceM)2 (6)
其中,det表示矩阵的行列式值,且detM=λ1λ2,traceM表示矩阵的迹且traceM=λ12,l为经验常数;
对选取的某一采样点p点求导,即对函数f(x,y)在原点处进行求导,得到:
式(7)、(8)会受到噪声的影响,采用高斯窗口函数以提高抗噪能力:
其中,A、B、C均为M的元素,σ为高斯函数尺度参数,将式(9)~(11)代入式(4),可求得选取的某一点p的相关矩阵如下:
将式(12)代入式(6)可求得待分析点p的Harris响应函数值;
步骤4:对每个采样点按照步骤1到步骤3的方法计算Harris响应函数值,遍历所有采样点,若某一采样点的Harris响应值为局部极大值,即RHarris(p)>RHarris(ui),其中,ui∈Pk(p),i=1,2,…,k,ui表示p的邻域中第i个点,RHarris表示对应的Harris响应值,即RHarris(p)为p点的Harris响应值,则该点即为所求特征点,最终得出满足条件RHarris(p)>RHarris(ui)(ui∈Pk(p))的所有特征点。
本发明的有益效果在于由于采用主成分分析法分析点集,选择具有最小向量特征值的向量作为拟合平面法线,使用最小二乘法将转换后的点集拟合成二次曲面,将这个二次曲面视为局部图像,从而将三维转为二维处理,计算出各点的Harris响应,解决了传统多尺度思想的特征提取方法存在需要在多个尺度上进行计算、算法效率低的问题。
附图说明
图1是基于HARRIS改进的三维点云特征提取方法流程图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
针对传统多尺度思想的特征提取方法存在人工调参、需要在多个尺度上进行计算、算法效率低的问题,提出一种基于Harris改进的三维点云特征提取方法。为了加快数据处理的时间并快速提取三维点云特征点,本发明提出一种自适应技术来确定顶点的邻域并对顶点进行Harris计算,该方法可以获得较高的描述基准。
实施例:在Window7系统下,安装Visual Studio 2013,配置好opencv-2.4.10、PCL1.8.0、qt-opensource-windows-x86-msvc2013_64-5.7.0。
步骤1:如图1所示,使用C++编程库PCL(Point Cloud Library)中VoxelGrid滤波器对点云进行采样,在采样点周围定义一个本地邻域,设某一采样点p为待分析采样点,Pk(p)为围绕采样点p的分布的距离最近的k个采样点,其中,k≥6,k个采样点构成了p的邻域点集Pk(p);
步骤2:调用C++编程库PCL(Point Cloud Library)中Eigen::Vector4f xyz_centroid函数,计算出采样点p及其本地邻域Pk(p)的质心,以质心作为三维坐标原点,将采样点p及其本地邻域Pk(p)转换到以质心为原点的坐标系下,形成转换后的邻域域点集P'k(p),应用主成分分析法分析采样点p的本地邻域P'k(p),首先构造所给点集的协方差矩阵S如下:
其中,n=k+1,为邻域中所有点的个数,即包含待分析点p, 是待分析点p及其邻域的几何中心,(xi,yi,zi)为待分析点p的邻域中第i个点的三维坐标,是待分析点p及其邻域的几何中心的三维坐标;
对协方差矩阵S,采用雅可比方法求特征值,并按从大到小的排列为λmax、λmid、λmin,并求出相应的特征向量选择具有最小向量特征值的向量作为拟合平面法线,使用最小二乘法将转换后的点集P'k(p)拟合成光滑的二次曲面:
z=f(x,y)=q1x2+q2xy+q3y2+q4x+qy+q6 (2)
这个表面是该邻域的很好的表征,认为它是一个局部的图像,式(2)中包含6个未知系数,只要具备6组以上满足式(2)的坐标值即可求得6个系数;
步骤3:根据步骤2中获得的光滑的表面z计算导数,用导数计算每个采样点的Harris响应,由步骤2得到的局部图像灰度变化程度的自相关函数E(u,v)表示为:
其中,u和v分别为x和y方向上的坐标平移量,f为灰度函数,w(x,y)为高斯窗口函数,以提高抗噪能力,在式(3)中,通过Taylor展开式,用微分算子重新定义灰度强度变化的公式,得到:
其中,M是自相关函数E(u,v)的近似Hessian矩阵,表示为:
其中,表示张量积,fx,fy分别为公式(2)中函数f对于x和y的偏导数;
设λ1和λ2分别是M的两个特征值,当λ1和λ2都很小说明局部自相关函数很平坦,当λ1和λ2相差很大则处于图像的边缘区域,当λ1和λ2都比较大且为基本相等的正数则该处存在角点,由此,定义角点的响应函数:
RHarris=detM-l(traceM)2 (6)
其中,det表示矩阵的行列式值,且detM=λ1λ2,traceM表示矩阵的迹且traceM=λ12,l为经验常数,本发明取0.04,detM在边缘处较小而在角点处较大,traceM在边缘和角点处保持一致,
对选取的某一采样点p点求导,即对函数f(x,y)在原点处进行求导,得到:
式(7)、(8)会受到噪声的影响,采用高斯窗口函数以提高抗噪能力:99
其中,A、B、C均为M的元素,σ为高斯函数尺度参数,将式(9)~(11)代入式(4),可求得选取的某一点p的相关矩阵如下:
将式(12)代入式(6)可求得待分析点p的Harris响应函数值;
步骤4:对每个采样点按照步骤1到步骤3的方法计算Harris响应函数值,遍历所有采样点,若某一采样点的Harris响应值为局部极大值,即RHarris(p)>RHarris(ui),其中,ui∈Pk(p),i=1,2,…,k,其中ui表示p的邻域中第i个点,RHarris表示对应的Harris响应值,即RHarris(p)为p点的Harris响应值,则该点即为所求特征点,最终得出满足条件RHarris(p)>RHarris(ui)(ui∈Pk(p))的所有特征点。

Claims (1)

1.一种基于HARRIS改进的三维点云特征提取方法,其特征在于包括下述步骤:
步骤1:使用C++编程库PCL中VoxelGrid滤波器对点云进行采样,在采样点周围定义一个本地邻域,设某一采样点p为待分析采样点,Pk(p)为围绕采样点p的分布的距离最近的k个采样点,其中,k≥6,k个采样点构成了p的邻域点集Pk(p);
步骤2:调用C++编程库PCL中Eigen::Vector4f xyz_centroid函数,计算出采样点p及其本地邻域Pk(p)的质心,以质心作为三维坐标原点,将采样点p及其本地邻域Pk(p)转换到以质心为原点的坐标系下,形成转换后的邻域域点集P'k(p),应用主成分分析法分析采样点p的本地邻域P'k(p),首先构造所给点集的协方差矩阵S如下:
其中,n=k+1,为邻域中所有点的个数,即包含待分析点p,
是待分析点p及其邻域的几何中心,(xi,yi,zi)为待分析点p的邻域中第i个点的三维坐标,是待分析点p及其邻域的几何中心的三维坐标;
对协方差矩阵S,采用雅可比方法求特征值,并按从大到小的排列为λmax、λmid、λmin,并求出相应的特征向量选择具有最小向量特征值的向量作为拟合平面法线,使用最小二乘法将转换后的点集P'k(p)拟合成光滑的二次曲面:
z=f(x,y)=q1x2+q2xy+q3y2+q4x+qy+q6 (2)
式(2)中包含6个未知系数,只要具备6组以上满足式(2)的坐标值即可求得6个系数;
步骤3:根据步骤2中获得的光滑的表面z计算导数,用导数计算每个采样点的Harris响应,由步骤2得到的局部图像灰度变化程度的自相关函数E(u,v)表示为:
其中,u和v分别为x和y方向上的坐标平移量,f为灰度函数,w(x,y)为高斯窗口函数,在式(3)中,通过Taylor展开式,用微分算子重新定义灰度强度变化的公式,得到:
其中,M是自相关函数E(u,v)的近似Hessian矩阵,表示为:
其中,表示张量积,fx,fy分别为公式(2)中函数f对于x和y的偏导数;
设λ1和λ2分别是M的两个特征值,由此,定义角点的响应函数:
RHarris=detM-l(traceM)2 (6)
其中,det表示矩阵的行列式值,且detM=λ1λ2,traceM表示矩阵的迹且traceM=λ12,l为经验常数;
对选取的某一采样点p点求导,即对函数f(x,y)在原点处进行求导,得到:
式(7)、(8)会受到噪声的影响,采用高斯窗口函数以提高抗噪能力:
其中,A、B、C均为M的元素,σ为高斯函数尺度参数,将式(9)~(11)代入式(4),可求得选取的某一点p的相关矩阵如下:
将式(12)代入式(6)可求得待分析点p的Harris响应函数值;
步骤4:对每个采样点按照步骤1到步骤3的方法计算Harris响应函数值,遍历所有采样点,若某一采样点的Harris响应值为局部极大值,即RHarris(p)>RHarris(ui),其中,ui∈Pk(p),i=1,2,…,k,ui表示p的邻域中第i个点,RHarris表示对应的Harris响应值,即RHarris(p)为p点的Harris响应值,则该点即为所求特征点,最终得出满足条件RHarris(p)>RHarris(ui)(ui∈Pk(p))的所有特征点。
CN201711200042.XA 2017-11-27 2017-11-27 一种基于harris改进的三维点云特征提取方法 Expired - Fee Related CN108133226B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711200042.XA CN108133226B (zh) 2017-11-27 2017-11-27 一种基于harris改进的三维点云特征提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711200042.XA CN108133226B (zh) 2017-11-27 2017-11-27 一种基于harris改进的三维点云特征提取方法

Publications (2)

Publication Number Publication Date
CN108133226A true CN108133226A (zh) 2018-06-08
CN108133226B CN108133226B (zh) 2021-07-13

Family

ID=62388875

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711200042.XA Expired - Fee Related CN108133226B (zh) 2017-11-27 2017-11-27 一种基于harris改进的三维点云特征提取方法

Country Status (1)

Country Link
CN (1) CN108133226B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109285163A (zh) * 2018-09-05 2019-01-29 武汉中海庭数据技术有限公司 基于激光点云的车道线左右轮廓线交互式提取方法
CN113042939A (zh) * 2021-03-22 2021-06-29 山东大学 基于三维视觉信息的工件焊缝定位方法及系统
CN113808050A (zh) * 2021-09-26 2021-12-17 北京有竹居网络技术有限公司 3d点云的去噪方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104851094A (zh) * 2015-05-14 2015-08-19 西安电子科技大学 一种基于rgb-d的slam算法的改进方法
CN105046694A (zh) * 2015-07-02 2015-11-11 哈尔滨工程大学 一种基于曲面拟合系数特征的点云快速配准方法
US20160027208A1 (en) * 2014-07-25 2016-01-28 Kabushiki Kaisha Toshiba Image analysis method
US20170046840A1 (en) * 2015-08-11 2017-02-16 Nokia Technologies Oy Non-Rigid Registration for Large-Scale Space-Time 3D Point Cloud Alignment
CN107016646A (zh) * 2017-04-12 2017-08-04 长沙全度影像科技有限公司 一种基于改进的逼近投影变换图像拼接方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160027208A1 (en) * 2014-07-25 2016-01-28 Kabushiki Kaisha Toshiba Image analysis method
CN104851094A (zh) * 2015-05-14 2015-08-19 西安电子科技大学 一种基于rgb-d的slam算法的改进方法
CN105046694A (zh) * 2015-07-02 2015-11-11 哈尔滨工程大学 一种基于曲面拟合系数特征的点云快速配准方法
US20170046840A1 (en) * 2015-08-11 2017-02-16 Nokia Technologies Oy Non-Rigid Registration for Large-Scale Space-Time 3D Point Cloud Alignment
CN107016646A (zh) * 2017-04-12 2017-08-04 长沙全度影像科技有限公司 一种基于改进的逼近投影变换图像拼接方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
JACOPO SERAFIN等: "NICP: Dense normal based point cloud registration", 《2015 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS)》 *
JI SHIJUN等: "An improved method for registration of point cloud", 《OPTIK》 *
刘迎等: "特征提取的点云自适应精简", 《光学精密工程》 *
单梦园: "基于结构光立体视觉的三维测量技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
杨斌杰: "基于特征点提取的点云配准算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109285163A (zh) * 2018-09-05 2019-01-29 武汉中海庭数据技术有限公司 基于激光点云的车道线左右轮廓线交互式提取方法
CN109285163B (zh) * 2018-09-05 2021-10-08 武汉中海庭数据技术有限公司 基于激光点云的车道线左右轮廓线交互式提取方法
CN113042939A (zh) * 2021-03-22 2021-06-29 山东大学 基于三维视觉信息的工件焊缝定位方法及系统
CN113808050A (zh) * 2021-09-26 2021-12-17 北京有竹居网络技术有限公司 3d点云的去噪方法、装置、设备及存储介质
CN113808050B (zh) * 2021-09-26 2024-02-20 北京有竹居网络技术有限公司 3d点云的去噪方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN108133226B (zh) 2021-07-13

Similar Documents

Publication Publication Date Title
Filipe et al. A comparative evaluation of 3D keypoint detectors in a RGB-D object dataset
Ahmadi et al. Automatic urban building boundary extraction from high resolution aerial images using an innovative model of active contours
CN109658398B (zh) 一种基于三维测量点云的零件表面缺陷识别与评估方法
Broadwater et al. Hybrid detectors for subpixel targets
CN109919960B (zh) 一种基于多尺度Gabor滤波器的图像连续边缘检测方法
JP6899189B2 (ja) ビジョンシステムで画像内のプローブを効率的に採点するためのシステム及び方法
CN113139453A (zh) 一种基于深度学习的正射影像高层建筑基底矢量提取方法
CN108133226B (zh) 一种基于harris改进的三维点云特征提取方法
CN106709943B (zh) 一种基于最优传输的点云配准方法
CN108401565B (zh) 基于改进的KAZE特征和Pseudo-RANSAC算法的遥感图像配准方法
CN110378924A (zh) 基于局部熵的水平集图像分割方法
Deschaud et al. Point cloud non local denoising using local surface descriptor similarity
Filipe et al. A comparative evaluation of 3d keypoint detectors
Liu et al. Fast dimensional measurement method and experiment of the forgings under high temperature
Lee et al. A new approach to detect surface defects from 3D point cloud data with surface normal Gabor filter (SNGF)
CN115100116A (zh) 一种基于三维点云的板材缺陷检测方法
Calderón et al. Crack detection in concrete elements from RGB pictures using modified line detection kernels
CN114549780A (zh) 一种基于点云数据的大型复杂构件智能化检测方法
US20210256254A1 (en) Image matching device
Ghorpade et al. Performance evaluation of 3d keypoint detectors for time-of-flight depth data
Boerner et al. Brute force matching between camera shots and synthetic images from point clouds
CN115184362B (zh) 一种基于结构光投影的快速缺陷检测方法
JP2011022084A (ja) 三次元姿勢測定装置および三次元姿勢測定方法
Zhang et al. A 3D measurement method with accurate boundaries based on mutation feature detection of laser stripes
CN104182971B (zh) 一种高精度图像矩定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210713

Termination date: 20211127