CN109696663A - 一种车载三维激光雷达标定方法和系统 - Google Patents
一种车载三维激光雷达标定方法和系统 Download PDFInfo
- Publication number
- CN109696663A CN109696663A CN201910129953.0A CN201910129953A CN109696663A CN 109696663 A CN109696663 A CN 109696663A CN 201910129953 A CN201910129953 A CN 201910129953A CN 109696663 A CN109696663 A CN 109696663A
- Authority
- CN
- China
- Prior art keywords
- laser radar
- data
- vehicle
- reference frame
- dimensional laser
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000007613 environmental effect Effects 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 10
- 238000006073 displacement reaction Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 7
- 230000007704 transition Effects 0.000 claims description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 4
- 230000007812 deficiency Effects 0.000 claims description 3
- 239000000686 essence Substances 0.000 claims 1
- 230000004927 fusion Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 6
- 238000012790 confirmation Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007598 dipping method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明实施例提供了一种车载三维激光雷达标定方法和系统，标定方法不依赖特殊设施，利用路面作为基准平面，利用自然环境的特征有效地求解一台或多台三维激光雷达相对车体坐标系的外部标定参数，可极大地提高标定参数的准确性，为多模态传感器的数据融合处理提供基础。车载三维激光雷达系统包括一台安装于车辆顶部的主激光雷达和零至多台安装于车辆其它位置的辅激光雷达。
Description
技术领域
本发明涉及三维激光雷达技术领域，尤其涉及一种车载三维激光雷达标定方法和系统。
背景技术
随着自动驾驶技术的迅猛发展，三维激光雷达作为一种主要的感知设备被广泛应用于自动驾驶系统中，在交通运输、国防安全等领域有着重要的应用需求。三维激光雷达为路面提取、障碍物检测跟踪、地图创建、高精度定位等模块提供重要传感器数据输入，其处理结果用于实施合理的导航规划与车辆控制，从而完成自主驾驶任务。
目前国内外主流的自动驾驶原型系统是使用一台安装于车辆顶部的32线、40线或64线三维激光雷达，而有些系统为了提高在城市道路、越野路面等复杂环境下的感知能力，组合使用了多台安装于车辆不同位置角度上的三维激光雷达。然而软件处理中往往需要将三维激光雷达与其它传感器数据进行融合处理，其结果也需要融合到车体坐标系，从而有效地服务于导航规划和控制模块。这些融合处理的基础是车载三维激光雷达标定，即求解三维激光雷达相对车体坐标系的3个位移量(△x，△y，△z)和3个姿态角(横滚角α，俯仰角β，航向角κ)，共6个自由度的外部标定参数。
与三维激光雷达在自动驾驶系统中的广泛应用相比，其标定方法的研究则非常少，主要集中于三维激光雷达与摄像头的标定方法，而未发现三维激光雷达与车体坐标系标定方法的公开资料。在实际应用中，三维激光雷达与车体坐标系的标定大多采用手工测量的方法，缺乏精确性。
发明内容
本发明的实施例提供了一种车载三维激光雷达标定方法和系统，以克服现有技术的缺陷。
为了实现上述目的，本发明采取了如下技术方案。
一种车载三维激光雷达系统的标定方法，所述车载三维激光雷达系统包括一台安装于车辆顶部的主激光雷达和零至多台安装于车辆其它位置的辅激光雷达，所述方法包括：
S1、以地面为基准水平面，以地面为水平基准构建车体坐标系，提取三维激光雷达地面数据并拟合地平面，使得三维激光雷达数据拟合的地平面与基准水平面重合，标定激光雷达相对于车体坐标系的横滚角、俯仰角和高度；
S2、将标定的激光雷达相对于车体坐标系的横滚角、俯仰角和高度△z转换到车体坐标系，调整主激光雷达航向角参数，使得车辆行驶轨迹与道路两侧建筑物立面平行，标定激光雷达的航向角；
S3、去除每台三维激光雷达的地面数据，获得建筑立面的环境数据，以主激光雷达为基准，固定主激光雷达的标定参数，调整辅激光雷达的水平位移△x，△y和航向角，向主激光雷达配准，使得环境数据中的建筑物立面重合，标定辅激光雷达的水平位移△x，△y和航向角。
优选地，所述S1包括：
S11、采集一帧三维激光雷达数据；
S12、将三维激光雷达数据转换到车体坐标系；
S13、提取转换到车体坐标系的三维激光雷达数据的地面数据并拟合地平面；
S14、匹配三维激光雷达数据拟合的地平面与基准水平面重合；
S15、更新标定参数横滚角、俯仰角、高度。
优选地，所述S13包括：
S131、采集一帧三维激光数据作为输入数据；
S132、获取采集到的三维激光数据中任意激光点的扫描顺序，即根据该激光点坐标信息计算所述激光点所在的扫描线角度及在该扫描线上的扫描顺序，判断相邻的两个激光点的连续性；
S133、根据三维激光数据的扫描结果，提取在阈值(相对于激光雷达高度)范围内的地面高度、水平、长度的连续数据段；
S134、若提取得到的连续数据段点云数目不足，即重复步骤S131-S133；否则，进行下一步骤；
S135、对获得的最大的连续数据段进行平面拟合，若拟合平面的平均残差距离大于阈值，即重复步骤S131-S134；否则，即输出拟合结果；
假设拟合地平面为
A0*x+A1*y+A2*z+A3＝0
则横滚角i、俯仰角i和△zi计算如下
ax＝asin(-A1)；
cx＝cos(ax)；
ay＝atan2(A0/cx，A2/cx)；
d＝A3；
横滚角i＝ax；
俯仰角i＝ay；
△zi＝d
x，y，z表示平面所在三维空间的三个维度，A0，A1，A2，A3为平面表达式参数，i表示激光雷达编号，ax，ay，cx，d为计算中间变量。
优选地，所述S2包括：
S21、得到一帧三维激光雷达数据；
S22、将三维激光雷达数据转换到车体坐标系，即将主或辅激光雷达横滚角、俯仰角和高度标定结果转换到车体坐标系；
S23、将转换到车体坐标系的三维激光雷达数据的俯视图在视窗可视化；
S24、提取当前帧到今后100帧的无人平台行驶轨迹，将其转换到当前帧车体坐标系；
S25、将转换到车体坐标系的行驶轨迹在视窗可视化；
S26、选择主激光雷达，调整主激光雷达的航向角，使得环境数据中的建筑物立面与行驶轨迹平行，标定激光雷达的航向角。
优选地，所述方法还包括精标定整体点云与车体坐标系关系，具体步骤包括：
S41、采集连续多帧车辆直行或连续转弯条件下的各激光雷达点云以及车体坐标系下的GPS/IMU组合惯导数据；
S42、使用采集的连续多帧车辆直行数据按照S1-S3粗标定各激光雷达位姿；
S43、使用粗标定各激光雷达位姿数据进行降采样车辆转弯数据，得到各帧整体点云；
S44、在整体点云与车体坐标系的标定关系邻域内进行采样，得到标定信息搜索表；
S45、逐一使用标定信息搜索表的标定结果，使用组合惯导数据进行点云累计，获得车辆转弯区域局部地图；
S46、评价各个局部地图平整度，挑选最优地图对应的标定信息作为精标定结果。
一种车载三维激光雷达系统，包括一台安装于车辆顶部的主激光雷达和零至多台安装于车辆其它位置的辅激光雷达，所述主或者辅激光雷达采用上述的方法对车体坐标系的外部参数标定。
由上述本发明的实施例提供的技术方案可以看出，本发明实施例本发明使用原始整帧激光点作为算法输入，根据激光点邻域平滑度信息自动提取地面激光点，且能够通过迭代过程删除误选的非地面激光点，大大降低了手工提取地面激光点的负担，提取精度。此外，本发明仅利用城市环境中随处可见的具有平面的建筑物即可完成标定，该类建筑物常在多个方向分布广泛，有效提高了各个自由度的标定精度。本发明使用多帧整体建图结果作为与车体坐标系精确标定的评价指标，标定精度直接反映在地图精度中，更加直观可靠。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种三维激光雷达配置方案示意图；
图2为本发明实施例提供的车体坐标系示意图；
图3为本发明实施例提供的一种车载三维激光雷达系统的标定流程示意图；
图4为本发明实施例提供的主/辅激光雷达横滚角、俯仰角和高度标定流程示意图；
图5为本发明实施例提供的三维激光雷达的地面数据提取流程示意图；
图6本发明实施例提供的主/辅激光雷达航向角与相对位置标定流程示意图；
图7本发明实施例提供的精标定整体点云与车体坐标系关系示意图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。
图1为本发明实施例提供的一种三维激光雷达配置方案示意图。如图1所示，包括一台正立安装于车辆顶部的三维激光雷达，称为主激光雷达，为了提高在复杂环境中的传感器感知能力，车辆增加了多台安装于车辆不同位置姿态的三维激光雷达，称为辅激光雷达。
图2为本发明实施例提供的车体坐标系示意图。如图2所示，在平坦路面环境，以地面为水平基准构建车体坐标系。车体坐标系的y轴为车头方向、x轴为车体正右方向、z轴垂直向上、原点为主激光雷达到地面的垂点、xy坐标面与地面重合。
图3为本发明实施例提供的一种车载三维激光雷达系统的标定流程示意图。如图3所示，
S1、以地面为基准水平面，以地面为水平基准构建车体坐标系，提取三维激光雷达地面数据并拟合地平面，使得三维激光雷达数据拟合的地平面与基准水平面重合，标定激光雷达相对于车体坐标系的横滚角、俯仰角和高度△z；
S2，将标定的激光雷达相对于车体坐标系的横滚角、俯仰角和高度△z转换到车体坐标系，调整主激光雷达航向角参数，使得车辆行驶轨迹与道路两侧建筑物立面平行，标定激光雷达的航向角；
S3，去除每台三维激光雷达的地面数据，获得建筑立面的环境数据，以主激光雷达为基准，固定主激光雷达的标定参数，调整辅激光雷达的水平位移△x，△y和航向角，向主激光雷达配准，使得环境数据中的建筑物立面重合，获取辅激光雷达的水平位移△x，△y和航向角。
主/辅激光雷达横滚角、俯仰角和高度标定条件：平坦路面、激光测距范围内有较多大型建筑物立面，标定流程如图4所示，
S11、采集一帧三维激光雷达数据；
S12、将三维激光雷达数据转换到车体坐标系；
其中，三维激光雷达数据中的激光点的车体坐标系下坐标即根据初始标定参数进行三维投影得到(该投影过程已有大量的开源实现，可进行大规模点云的并行矩阵运算)，初始标定参数可通过小型激光测距仪手工测量得到。
S13、提取转换到车体坐标系的三维激光雷达数据的地面数据并拟合地平面，
其中，三维激光雷达的地面数据提取流程如图5所示，包括：
S131、采集一帧三维激光数据作为输入数据；
S132、获取采集到的三维激光数据中任意激光点的扫描顺序，即根据该激光点坐标信息计算其所在的扫描线角度及在该扫描线上的扫描顺序(如对64线三维激光雷达，即将其扫描点云按照扫描角度分为64线，并按照扫描顺序排序)，判断相邻的两个激光点的连续性；
S133、根据三维激光数据的扫描结果，提取在阈值(相对于激光雷达高度)范围内的地面高度、水平、一定长度以上的连续的数据段，即使用先验地面所在高度，筛选种子点，如地面相对于激光雷达高度为-2.0m左右，即选取-1.8～-2.2m高度激光点作为种子点，使用区域生长方法获取空间连续的激光数据段(区域生长的条件主要包括相邻扫描点的欧式距离,俯仰角等)；
S134、若提取得到的连续数据段点云数目不足，即重复步骤S131-S133；否则，进行下一步骤；
S135、对获得的最大的连续数据段进行平面拟合，若拟合平面的平均残差距离大于阈值(平整公路应小于2cm，依路况适当调整即可)，即重复步骤S131-S134；否则，即输出拟合结果；
假设拟合地平面为
A0*x+A1*y+A2*z+A3＝0
则横滚角i、俯仰角i和△zi计算如下
ax＝asin(-A1)；
cx＝cos(ax)；
ay＝atan2(A0/cx，A2/cx)；
d＝A3；
横滚角i＝ax；
俯仰角i＝ay；
△zi＝d
x，y，z表示平面所在三维空间的三个维度，A0，A1，A2，A3为平面表达式参数，i表示激光雷达编号，ax，ay，cx，d为计算中间变量。
S14、匹配三维激光雷达数据拟合的地平面与基准水平面重合；
S15、更新标定参数横滚角i、俯仰角i和高度△zi。
主/辅激光雷达航向角与相对位置标定条件：直路，沿路有平行于道路行驶方向的路障或建筑物立面，车辆沿路直线行驶，标定流程如图6所示，
S21、得到一帧三维激光雷达数据；
S22、将三维激光雷达数据转换到车体坐标系，即将主/辅激光雷达横滚角、俯仰角和高度标定结果转换到车体坐标系；
S23、将转换到车体坐标系的三维激光雷达数据的俯视图在视窗可视化；
S24、提取当前帧到今后100帧的无人平台行驶轨迹，将其转换到当前帧车体坐标系；
S25、将转换到车体坐标系的行驶轨迹在视窗可视化；
S26、选择主激光雷达，调整主激光雷达的航向角，使得环境数据中的建筑物立面与行驶轨迹平行，其中，标定参数的调整为手工操作，确认建筑物立面与行驶轨迹平行、建筑物立面数据重合为人工确认。
S27、选定主激光雷达为基准，固定其标定参数，调整其他激光雷达△x，△y和航向角，使得环境数据中的建筑物立面重合，更新每台激光雷达的标定参数△x，△y和航向角，完成标定，其中，调整其它三维激光雷达△x，△y和航向角为手工操作，环境数据中的建筑物立面重合的确认由人工完成。
上述主激光雷达与辅激光雷达的标定实际将各个激光雷达配准至统一坐标系，其与车体坐标系已经基本配准，可以用于无人车感知算法。但考虑需精确测量的建图任务，仍可进一步精标定该整体点云与车体坐标系关系，如图7所示其流程如下：
S41、在结构化建筑(包括大量朝向不同方向的建筑物平面)场景下,采集连续多帧车辆直行/连续转弯条件下的各激光雷达点云以及车体坐标系下的GPS/IMU(全球卫星定位系统/惯性测量单元)组合惯导数据,去除地面点云数据,做为数据输入准备；
S42、按照标定流程中步骤S1-S3进行各个激光雷达向主激光雷达的标定，将任意时刻所有激光雷达获取的点云均配准至于主激光雷达的外参数条件下，即得到整体点云，此时该整体点云与车体坐标系的标定关系即与主激光雷达相同；
S43、降采样车辆转弯数据，按照步骤S42中各激光雷达标定参数，得到各帧整体点云，即对每一帧的整体点云进行降采样，该降采样过程在各类点云数据处理库(如PCL)内已有大量实现，目的即减小后续计算量；
S44、在整体点云与车体坐标系的标定关系邻域内进行采样，得到标定信息搜索表，即当前整体点云与车体坐标系的标定关系值已经基本正确，其精确值应在该粗值的小邻域内，故在该标定关系的小邻域内进行多次随机采样，将所有采样值汇总为一个搜索表)；
S45、逐一使用标定信息搜索表的可能标定结果，使用组合惯导数据进行点云累计，获得车辆转弯区域局部地图，即对搜索表内的所有采样值逐个评估，即对任意标定关系样本，使用车体坐标系的GPS信息投影至世界坐标系，累计各帧点云绘制局部地图，本步骤主要使用转弯部分数据以获得最佳的航向角标定结果；
S46、评价各个局部地图平整度，挑选最优地图对应的标定信息作为精标定结果，即对每个标定关系样本得到的局部地图，评价地图的局部平滑度，即任意激光点到其邻域平面的距离残差的和，平滑度越高则该残差和越小，本步骤即可获得平滑度最高的局部地图所对应的标定关系样本值，该样本即可输出为精确标定结果。
综上所述，本发明实施例提供了一种车载三维激光雷达标定方法和系统，不依赖特殊设施，利用路面作为基准平面，利用自然环境的特征有效地求解一台或多台三维激光雷达相对车体坐标系的外部标定参数，可极大地提高标定参数的准确性，为多模态传感器的数据融合处理提供基础。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (6)
1.一种车载三维激光雷达系统的标定方法，其特征在于，所述车载三维激光雷达系统包括一台安装于车辆顶部的主激光雷达和零至多台安装于车辆其它位置的辅激光雷达，所述方法包括：
S1、以地面为基准水平面，以地面为水平基准构建车体坐标系，提取三维激光雷达地面数据并拟合地平面，使得三维激光雷达数据拟合的地平面与基准水平面重合，标定激光雷达相对于车体坐标系的横滚角、俯仰角和高度；
S2、将标定的激光雷达相对于车体坐标系的横滚角、俯仰角和高度△z转换到车体坐标系，调整主激光雷达航向角参数，使得车辆行驶轨迹与道路两侧建筑物立面平行，标定激光雷达的航向角；
S3、去除每台三维激光雷达的地面数据，获得建筑立面的环境数据，以主激光雷达为基准，固定主激光雷达的标定参数，调整辅激光雷达的水平位移△x，△y和航向角，向主激光雷达配准，使得环境数据中的建筑物立面重合，标定辅激光雷达的水平位移△x，△y和航向角。
2.根据权利要求1所述的标定方法，其特征在于，所述S1包括：
S11、采集一帧三维激光雷达数据；
S12、将三维激光雷达数据转换到车体坐标系；
S13、提取转换到车体坐标系的三维激光雷达数据的地面数据并拟合地平面；
S14、匹配三维激光雷达数据拟合的地平面与基准水平面重合；
S15、更新标定参数横滚角、俯仰角、高度。
3.根据权利要求2所述的标定方法，其特征在于，所述S13包括：
S131、采集一帧三维激光数据作为输入数据；
S132、获取采集到的三维激光数据中任意激光点的扫描顺序，即根据该激光点坐标信息计算所述激光点所在的扫描线角度及在该扫描线上的扫描顺序，判断相邻的两个激光点的连续性；
S133、根据三维激光数据的扫描结果，提取在阈值(相对于激光雷达高度)范围内的地面高度、水平、长度的连续数据段；
S134、若提取得到的连续数据段点云数目不足，即重复步骤S131-S133；否则，进行下一步骤；
S135、对获得的最大的连续数据段进行平面拟合，若拟合平面的平均残差距离大于阈值，即重复步骤S131-S134；否则，即输出拟合结果；
假设拟合地平面为A0*x+A1*y+A2*z+A3＝0
则横滚角i、俯仰角i和△zi计算如下
ax＝asin(-A1)；
cx＝cos(ax)；
ay＝atan2(A0/cx，A2/cx)；
d＝A3；
横滚角i＝ax；
俯仰角i＝ay；
△zi＝d
x，y，z表示平面所在三维空间的三个维度，A0，A1，A2，A3为平面表达式参数，i表示激光雷达编号，ax，ay，cx，d为计算中间变量。
4.根据权利要求1所述的标定方法，其特征在于，所述S2包括：
S21、得到一帧三维激光雷达数据；
S22、将三维激光雷达数据转换到车体坐标系，即将主或辅激光雷达横滚角、俯仰角和高度标定结果转换到车体坐标系；
S23、将转换到车体坐标系的三维激光雷达数据的俯视图在视窗可视化；
S24、提取当前帧到今后100帧的无人平台行驶轨迹，将其转换到当前帧车体坐标系；
S25、将转换到车体坐标系的行驶轨迹在视窗可视化；
S26、选择主激光雷达，调整主激光雷达的航向角，使得环境数据中的建筑物立面与行驶轨迹平行，标定激光雷达的航向角。
5.根据权利要求1-4任一所述的标定方法，其特征在于，所述方法还包括精标定整体点云与车体坐标系关系，具体步骤包括：
S41、采集连续多帧车辆直行或连续转弯条件下的各激光雷达点云以及车体坐标系下的GPS/IMU组合惯导数据；
S42、使用采集的连续多帧车辆直行数据按照S1-S3粗标定各激光雷达位姿；
S43、使用粗标定各激光雷达位姿数据进行降采样车辆转弯数据，得到各帧整体点云；
S44、在整体点云与车体坐标系的标定关系邻域内进行采样，得到标定信息搜索表；
S45、逐一使用标定信息搜索表的标定结果，使用组合惯导数据进行点云累计，获得车辆转弯区域局部地图；
S46、评价各个局部地图平整度，挑选最优地图对应的标定信息作为精标定结果。
6.一种车载三维激光雷达系统，其特征在于，包括一台安装于车辆顶部的主激光雷达和零至多台安装于车辆其它位置的辅激光雷达，所述主或者辅激光雷达采用权利要求5所述的方法对车体坐标系的外部参数标定。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910129953.0A CN109696663B (zh) | 2019-02-21 | 2019-02-21 | 一种车载三维激光雷达标定方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910129953.0A CN109696663B (zh) | 2019-02-21 | 2019-02-21 | 一种车载三维激光雷达标定方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109696663A true CN109696663A (zh) | 2019-04-30 |
| CN109696663B CN109696663B (zh) | 2021-02-09 |
Family
ID=66233500
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910129953.0A Expired - Fee Related CN109696663B (zh) | 2019-02-21 | 2019-02-21 | 一种车载三维激光雷达标定方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109696663B (zh) |
Cited By (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110497373A (zh) * | 2019-08-07 | 2019-11-26 | 大连理工大学 | 一种移动作业机器人的三维激光雷达与机械臂间的联合标定方法 |
| CN110568423A (zh) * | 2019-09-10 | 2019-12-13 | 广州文远知行科技有限公司 | 激光雷达角度标定方法、装置、终端设备及存储介质 |
| CN110837080A (zh) * | 2019-10-28 | 2020-02-25 | 武汉海云空间信息技术有限公司 | 激光雷达移动测量系统的快速标定方法 |
| CN110907948A (zh) * | 2019-11-19 | 2020-03-24 | 宁波展海电子科技有限公司 | 应用于船用避碰系统的红外线信号滤波方法 |
| CN111007485A (zh) * | 2020-03-09 | 2020-04-14 | 中智行科技有限公司 | 一种图像处理方法、装置、以及计算机存储介质 |
| CN111060132A (zh) * | 2019-11-29 | 2020-04-24 | 苏州智加科技有限公司 | 行车定位坐标的标定方法和装置 |
| CN111157965A (zh) * | 2020-02-18 | 2020-05-15 | 北京理工大学重庆创新中心 | 车载毫米波雷达安装角度自校准方法、装置及存储介质 |
| CN111289957A (zh) * | 2020-03-10 | 2020-06-16 | 上海高仙自动化科技发展有限公司 | 外参标定方法及装置、智能机器人及计算机可读存储介质 |
| CN111427026A (zh) * | 2020-02-21 | 2020-07-17 | 深圳市镭神智能系统有限公司 | 激光雷达的标定方法、装置、存储介质及自移动设备 |
| CN111796258A (zh) * | 2020-08-20 | 2020-10-20 | 三一机器人科技有限公司 | 雷达参数标定场的构建方法、构建装置及可读存储介质 |
| CN111932637A (zh) * | 2020-08-19 | 2020-11-13 | 武汉中海庭数据技术有限公司 | 一种车身相机外参自适应标定方法和装置 |
| CN111983616A (zh) * | 2020-07-31 | 2020-11-24 | 嘉善新石器智牛科技有限公司 | 无人车雷达的自动调节系统、方法以及无人车 |
| CN112102418A (zh) * | 2020-09-16 | 2020-12-18 | 上海商汤临港智能科技有限公司 | 一种标定方法、装置、电子设备及存储介质 |
| CN112099494A (zh) * | 2020-09-02 | 2020-12-18 | 西安交通大学 | 一种面向全地形车及其自动检测楼梯与攀爬方法 |
| CN112241007A (zh) * | 2020-07-01 | 2021-01-19 | 北京新能源汽车技术创新中心有限公司 | 自动驾驶环境感知传感器的标定方法、布置结构及车辆 |
| CN112346037A (zh) * | 2020-11-19 | 2021-02-09 | 中国第一汽车股份有限公司 | 车载激光雷达的标定方法、装置、设备及车辆 |
| CN112558044A (zh) * | 2020-11-26 | 2021-03-26 | 英博超算(南京)科技有限公司 | 一种车载激光雷达俯仰角自动矫正方法 |
| CN112614189A (zh) * | 2020-12-09 | 2021-04-06 | 中国北方车辆研究所 | 一种基于摄像头和3d激光雷达的联合标定方法 |
| CN112630751A (zh) * | 2019-10-09 | 2021-04-09 | 中车时代电动汽车股份有限公司 | 一种激光雷达的标定方法 |
| CN112748421A (zh) * | 2019-10-30 | 2021-05-04 | 陕西汽车集团有限责任公司 | 一种基于直行路段自动驾驶的激光雷达校准方法 |
| CN112946612A (zh) * | 2021-03-29 | 2021-06-11 | 上海商汤临港智能科技有限公司 | 外参标定方法、装置、电子设备及存储介质 |
| CN112946591A (zh) * | 2021-02-26 | 2021-06-11 | 商汤集团有限公司 | 外参标定方法、装置、电子设备及存储介质 |
| CN113093130A (zh) * | 2021-04-15 | 2021-07-09 | 武汉理工大学 | 基于全球定位系统标靶的雷达二维安装姿态标定方法及系统 |
| CN113109791A (zh) * | 2021-03-15 | 2021-07-13 | 上海交通大学 | 一种车载激光雷达标定结果评价系统及方法 |
| CN113359105A (zh) * | 2021-06-15 | 2021-09-07 | 武汉米佳信息技术有限公司 | 一种基于二维激光雷达生成三维点云数据的方法及系统 |
| CN113376617A (zh) * | 2020-02-25 | 2021-09-10 | 北京京东乾石科技有限公司 | 雷达标定结果准确性的评价方法、装置、存储介质及系统 |
| WO2021189468A1 (zh) * | 2020-03-27 | 2021-09-30 | 深圳市速腾聚创科技有限公司 | 激光雷达的姿态校正方法、装置和系统 |
| CN113469871A (zh) * | 2020-03-30 | 2021-10-01 | 长沙智能驾驶研究院有限公司 | 基于三维激光的车厢可装载空间检测方法和装置 |
| CN113495255A (zh) * | 2020-03-20 | 2021-10-12 | 阿里巴巴集团控股有限公司 | 一种确定车辆上搭载的激光雷达姿态的方法和装置 |
| CN113625299A (zh) * | 2021-07-26 | 2021-11-09 | 北京理工大学 | 基于三维激光雷达的装车物料高度与偏载检测方法及装置 |
| CN113702928A (zh) * | 2021-08-05 | 2021-11-26 | 青岛海信网络科技股份有限公司 | 一种路口雷达标定方法和设备 |
| WO2022160879A1 (zh) * | 2021-01-26 | 2022-08-04 | 华为技术有限公司 | 一种转换参数的确定方法和装置 |
| CN115267707A (zh) * | 2022-07-29 | 2022-11-01 | 北京经纬恒润科技股份有限公司 | 一种点云的标定方法和装置 |
| WO2023028774A1 (zh) * | 2021-08-30 | 2023-03-09 | 华为技术有限公司 | 一种激光雷达的标定方法、装置及存储介质 |
| CN116381633A (zh) * | 2023-06-05 | 2023-07-04 | 南京隼眼电子科技有限公司 | 雷达横滚角的自标定方法、装置及存储介质 |
| WO2023123890A1 (zh) * | 2021-12-30 | 2023-07-06 | 上海禾赛科技有限公司 | 激光雷达位姿的诊断方法、激光雷达及自动驾驶车辆 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160120467A (ko) * | 2015-04-08 | 2016-10-18 | 국방과학연구소 | 차량용 2차원 레이더의 방위각 보정 장치 및 방법 |
| CN106556826A (zh) * | 2016-11-24 | 2017-04-05 | 国网山东省电力公司电力科学研究院 | 变电站巡检机器人定位导航用二维激光雷达标定装置及方法 |
| CN106643805A (zh) * | 2016-12-30 | 2017-05-10 | 上海交通大学 | 激光定位传感器在agv小车中位置标定方法 |
| CN107024687A (zh) * | 2016-02-01 | 2017-08-08 | 北京自动化控制设备研究所 | 一种离线快速实现pos/激光雷达安装误差标定的方法 |
| CN108564630A (zh) * | 2018-05-02 | 2018-09-21 | 吉林大学 | 基于激光雷达和相机摄像头融合的标定装置及其标定方法 |
| CN108562889A (zh) * | 2018-07-20 | 2018-09-21 | 苏州艾吉威机器人有限公司 | 一种激光雷达坐标校正方法 |
| CN109001711A (zh) * | 2018-06-05 | 2018-12-14 | 北京智行者科技有限公司 | 多线激光雷达标定方法 |
-
2019
- 2019-02-21 CN CN201910129953.0A patent/CN109696663B/zh not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160120467A (ko) * | 2015-04-08 | 2016-10-18 | 국방과학연구소 | 차량용 2차원 레이더의 방위각 보정 장치 및 방법 |
| CN107024687A (zh) * | 2016-02-01 | 2017-08-08 | 北京自动化控制设备研究所 | 一种离线快速实现pos/激光雷达安装误差标定的方法 |
| CN106556826A (zh) * | 2016-11-24 | 2017-04-05 | 国网山东省电力公司电力科学研究院 | 变电站巡检机器人定位导航用二维激光雷达标定装置及方法 |
| CN106643805A (zh) * | 2016-12-30 | 2017-05-10 | 上海交通大学 | 激光定位传感器在agv小车中位置标定方法 |
| CN108564630A (zh) * | 2018-05-02 | 2018-09-21 | 吉林大学 | 基于激光雷达和相机摄像头融合的标定装置及其标定方法 |
| CN109001711A (zh) * | 2018-06-05 | 2018-12-14 | 北京智行者科技有限公司 | 多线激光雷达标定方法 |
| CN108562889A (zh) * | 2018-07-20 | 2018-09-21 | 苏州艾吉威机器人有限公司 | 一种激光雷达坐标校正方法 |
Non-Patent Citations (1)
| Title |
|---|
| 程金龙； 冯莹； 曹毓； 雷兵； 魏立安: "车载激光雷达外参数的标定方法", 《光电工程》 * |
Cited By (54)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110497373A (zh) * | 2019-08-07 | 2019-11-26 | 大连理工大学 | 一种移动作业机器人的三维激光雷达与机械臂间的联合标定方法 |
| CN110568423A (zh) * | 2019-09-10 | 2019-12-13 | 广州文远知行科技有限公司 | 激光雷达角度标定方法、装置、终端设备及存储介质 |
| CN110568423B (zh) * | 2019-09-10 | 2020-07-24 | 广州文远知行科技有限公司 | 激光雷达角度标定方法、装置、终端设备及存储介质 |
| CN112630751A (zh) * | 2019-10-09 | 2021-04-09 | 中车时代电动汽车股份有限公司 | 一种激光雷达的标定方法 |
| CN110837080A (zh) * | 2019-10-28 | 2020-02-25 | 武汉海云空间信息技术有限公司 | 激光雷达移动测量系统的快速标定方法 |
| CN110837080B (zh) * | 2019-10-28 | 2023-09-05 | 武汉海云空间信息技术有限公司 | 激光雷达移动测量系统的快速标定方法 |
| CN112748421B (zh) * | 2019-10-30 | 2023-09-08 | 陕西汽车集团股份有限公司 | 一种基于直行路段自动驾驶的激光雷达校准方法 |
| CN112748421A (zh) * | 2019-10-30 | 2021-05-04 | 陕西汽车集团有限责任公司 | 一种基于直行路段自动驾驶的激光雷达校准方法 |
| CN110907948B (zh) * | 2019-11-19 | 2023-08-29 | 宁波展海电子科技有限公司 | 应用于船用避碰系统的红外线信号滤波方法 |
| CN110907948A (zh) * | 2019-11-19 | 2020-03-24 | 宁波展海电子科技有限公司 | 应用于船用避碰系统的红外线信号滤波方法 |
| CN111060132A (zh) * | 2019-11-29 | 2020-04-24 | 苏州智加科技有限公司 | 行车定位坐标的标定方法和装置 |
| CN111157965A (zh) * | 2020-02-18 | 2020-05-15 | 北京理工大学重庆创新中心 | 车载毫米波雷达安装角度自校准方法、装置及存储介质 |
| CN111427026A (zh) * | 2020-02-21 | 2020-07-17 | 深圳市镭神智能系统有限公司 | 激光雷达的标定方法、装置、存储介质及自移动设备 |
| CN113376617B (zh) * | 2020-02-25 | 2024-04-05 | 北京京东乾石科技有限公司 | 雷达标定结果准确性的评价方法、装置、存储介质及系统 |
| CN113376617A (zh) * | 2020-02-25 | 2021-09-10 | 北京京东乾石科技有限公司 | 雷达标定结果准确性的评价方法、装置、存储介质及系统 |
| CN111007485A (zh) * | 2020-03-09 | 2020-04-14 | 中智行科技有限公司 | 一种图像处理方法、装置、以及计算机存储介质 |
| CN111289957A (zh) * | 2020-03-10 | 2020-06-16 | 上海高仙自动化科技发展有限公司 | 外参标定方法及装置、智能机器人及计算机可读存储介质 |
| CN111289957B (zh) * | 2020-03-10 | 2022-08-16 | 上海高仙自动化科技发展有限公司 | 外参标定方法及装置、智能机器人及计算机可读存储介质 |
| CN113495255A (zh) * | 2020-03-20 | 2021-10-12 | 阿里巴巴集团控股有限公司 | 一种确定车辆上搭载的激光雷达姿态的方法和装置 |
| CN113748357B (zh) * | 2020-03-27 | 2023-06-30 | 深圳市速腾聚创科技有限公司 | 激光雷达的姿态校正方法、装置和系统 |
| CN113748357A (zh) * | 2020-03-27 | 2021-12-03 | 深圳市速腾聚创科技有限公司 | 激光雷达的姿态校正方法、装置和系统 |
| WO2021189468A1 (zh) * | 2020-03-27 | 2021-09-30 | 深圳市速腾聚创科技有限公司 | 激光雷达的姿态校正方法、装置和系统 |
| CN113469871B (zh) * | 2020-03-30 | 2023-07-14 | 长沙智能驾驶研究院有限公司 | 基于三维激光的车厢可装载空间检测方法和装置 |
| CN113469871A (zh) * | 2020-03-30 | 2021-10-01 | 长沙智能驾驶研究院有限公司 | 基于三维激光的车厢可装载空间检测方法和装置 |
| CN112241007A (zh) * | 2020-07-01 | 2021-01-19 | 北京新能源汽车技术创新中心有限公司 | 自动驾驶环境感知传感器的标定方法、布置结构及车辆 |
| CN111983616A (zh) * | 2020-07-31 | 2020-11-24 | 嘉善新石器智牛科技有限公司 | 无人车雷达的自动调节系统、方法以及无人车 |
| CN111932637A (zh) * | 2020-08-19 | 2020-11-13 | 武汉中海庭数据技术有限公司 | 一种车身相机外参自适应标定方法和装置 |
| CN111796258A (zh) * | 2020-08-20 | 2020-10-20 | 三一机器人科技有限公司 | 雷达参数标定场的构建方法、构建装置及可读存储介质 |
| CN112099494A (zh) * | 2020-09-02 | 2020-12-18 | 西安交通大学 | 一种面向全地形车及其自动检测楼梯与攀爬方法 |
| CN112102418B (zh) * | 2020-09-16 | 2022-02-11 | 上海商汤临港智能科技有限公司 | 一种标定方法、装置、电子设备及存储介质 |
| CN112102418A (zh) * | 2020-09-16 | 2020-12-18 | 上海商汤临港智能科技有限公司 | 一种标定方法、装置、电子设备及存储介质 |
| CN112346037A (zh) * | 2020-11-19 | 2021-02-09 | 中国第一汽车股份有限公司 | 车载激光雷达的标定方法、装置、设备及车辆 |
| CN112346037B (zh) * | 2020-11-19 | 2023-10-31 | 中国第一汽车股份有限公司 | 车载激光雷达的标定方法、装置、设备及车辆 |
| CN112558044A (zh) * | 2020-11-26 | 2021-03-26 | 英博超算(南京)科技有限公司 | 一种车载激光雷达俯仰角自动矫正方法 |
| CN112614189B (zh) * | 2020-12-09 | 2024-05-31 | 中国北方车辆研究所 | 一种基于摄像头和3d激光雷达的联合标定方法 |
| CN112614189A (zh) * | 2020-12-09 | 2021-04-06 | 中国北方车辆研究所 | 一种基于摄像头和3d激光雷达的联合标定方法 |
| WO2022160879A1 (zh) * | 2021-01-26 | 2022-08-04 | 华为技术有限公司 | 一种转换参数的确定方法和装置 |
| CN112946591A (zh) * | 2021-02-26 | 2021-06-11 | 商汤集团有限公司 | 外参标定方法、装置、电子设备及存储介质 |
| CN112946591B (zh) * | 2021-02-26 | 2024-09-20 | 商汤集团有限公司 | 外参标定方法、装置、电子设备及存储介质 |
| CN113109791A (zh) * | 2021-03-15 | 2021-07-13 | 上海交通大学 | 一种车载激光雷达标定结果评价系统及方法 |
| CN113109791B (zh) * | 2021-03-15 | 2022-11-22 | 上海交通大学 | 一种车载激光雷达标定结果评价系统及方法 |
| CN112946612B (zh) * | 2021-03-29 | 2024-05-17 | 上海商汤临港智能科技有限公司 | 外参标定方法、装置、电子设备及存储介质 |
| CN112946612A (zh) * | 2021-03-29 | 2021-06-11 | 上海商汤临港智能科技有限公司 | 外参标定方法、装置、电子设备及存储介质 |
| CN113093130A (zh) * | 2021-04-15 | 2021-07-09 | 武汉理工大学 | 基于全球定位系统标靶的雷达二维安装姿态标定方法及系统 |
| CN113359105A (zh) * | 2021-06-15 | 2021-09-07 | 武汉米佳信息技术有限公司 | 一种基于二维激光雷达生成三维点云数据的方法及系统 |
| CN113625299B (zh) * | 2021-07-26 | 2023-12-01 | 北京理工大学 | 基于三维激光雷达的装车物料高度与偏载检测方法及装置 |
| CN113625299A (zh) * | 2021-07-26 | 2021-11-09 | 北京理工大学 | 基于三维激光雷达的装车物料高度与偏载检测方法及装置 |
| CN113702928B (zh) * | 2021-08-05 | 2024-04-05 | 青岛海信网络科技股份有限公司 | 一种路口雷达标定方法和设备 |
| CN113702928A (zh) * | 2021-08-05 | 2021-11-26 | 青岛海信网络科技股份有限公司 | 一种路口雷达标定方法和设备 |
| WO2023028774A1 (zh) * | 2021-08-30 | 2023-03-09 | 华为技术有限公司 | 一种激光雷达的标定方法、装置及存储介质 |
| WO2023123890A1 (zh) * | 2021-12-30 | 2023-07-06 | 上海禾赛科技有限公司 | 激光雷达位姿的诊断方法、激光雷达及自动驾驶车辆 |
| CN115267707A (zh) * | 2022-07-29 | 2022-11-01 | 北京经纬恒润科技股份有限公司 | 一种点云的标定方法和装置 |
| CN116381633B (zh) * | 2023-06-05 | 2023-08-15 | 南京隼眼电子科技有限公司 | 雷达横滚角的自标定方法、装置及存储介质 |
| CN116381633A (zh) * | 2023-06-05 | 2023-07-04 | 南京隼眼电子科技有限公司 | 雷达横滚角的自标定方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109696663B (zh) | 2021-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109696663A (zh) | 一种车载三维激光雷达标定方法和系统 | |
| CN111522043B (zh) | 一种无人车激光雷达快速重新匹配定位方法 | |
| CN109341706B (zh) | 一种面向无人驾驶汽车的多特征融合地图的制作方法 | |
| Alonso et al. | Accurate global localization using visual odometry and digital maps on urban environments | |
| CN110411462B (zh) | 一种gnss/惯导/车道线约束/里程计多源融合方法 | |
| CN100494900C (zh) | 适用于自主移动车辆的环境感知的单目视觉导航方法 | |
| CN113945206A (zh) | 一种基于多传感器融合的定位方法及装置 | |
| CN106980657A (zh) | 一种基于信息融合的车道级电子地图构建方法 | |
| CN111426320B (zh) | 一种基于图像匹配/惯导/里程计的车辆自主导航方法 | |
| CN109911188A (zh) | 非卫星导航定位环境的桥梁检测无人机系统 | |
| CN112629522B (zh) | 一种反光板与激光slam融合的agv定位方法及系统 | |
| CN104808685A (zh) | 用于无人机自主降落的视觉辅助装置及视觉辅助方法 | |
| CN106226780A (zh) | 基于激光扫描雷达的多旋翼室内定位系统及实现方法 | |
| CN110187375A (zh) | 一种基于slam定位结果提高定位精度的方法及装置 | |
| CN114485654A (zh) | 一种基于高精地图的多传感器融合定位方法及装置 | |
| Si et al. | A novel positioning method of anti-punching drilling robot based on the fusion of multi-IMUs and visual image | |
| CN114119752A (zh) | 基于gnss和视觉的室内外衔接的机器人定位方法 | |
| CN116242372B (zh) | 一种gnss拒止环境下的uwb-激光雷达-惯导融合定位方法 | |
| Guo et al. | Novel Trajectory Optimization Algorithm of Vehicle-borne LiDAR Mobile Measurement System. | |
| CN116202538A (zh) | 地图匹配融合方法、装置、设备及存储介质 | |
| CN117554989A (zh) | 视觉融合激光雷达slam定位导航的方法及其无人机系统 | |
| CN113777589A (zh) | 一种基于点特征的lidar与gps/imu联合标定方法 | |
| Ishii et al. | Autonomous UAV flight using the Total Station Navigation System in Non-GNSS Environments | |
| Gim et al. | Drivable road recognition by multilayered LiDAR and Vision | |
| Gavrilov et al. | Solving the problem of autonomous navigation using underlying surface models tolerant to survey conditions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210209 |