CN112365534B - 一种基于单目相机三维重建的大型煤堆体积测量方法 - Google Patents

Abstract

本发明涉及一种基于单目相机三维重建的大型煤堆体积测量方法，该方法使用无人机搭载单目相机，实现无人机的自主定位及导航，对煤堆进行数据采样并三维重建以计算体积，同时在煤堆中布置用于煤堆尺度还原的二维码。与现有技术相比，本发明具有可以实现整个操作流程的自动化，节约较多的人力物力，短时间内可以获取煤堆的真实体积，且可以保证测量精度满足实际生产需要等优点。

Description

一种基于单目相机三维重建的大型煤堆体积测量方法

技术领域

本发明涉及一种大型煤堆体积测量方法，尤其是涉及一种基于单目相机三维重建的大型煤堆体积测量方法。

背景技术

在火力发电厂中，经常需要对大型煤堆的体积测量，在测绘方面存在较大的难度。较为传统的方法采用人工丈量的方式，需要先花费大量的人力物力和时间对煤堆进行整形，其后人工测量估算出体积，方法较为笨拙，且误差较大，难以提供较为有效的参考值。目前一些较为优越的发明可以更加准确的获取煤堆的体积。

经过检索中国专利公开号CN1022441C公开了一种大煤堆体积的自动测量装置，其对大型煤堆表面高度进行逐点采样测距，其包括机械扫描系统和光电探测系统，能够迅速的测量出大型煤堆的体积，但该方法的精度随采样点的数量而变化，若想获取较为准确的真值，需要多次采样，且搭载激光器和摄像机的装置机械较为笨重，操作维护困难。

中国专利公开号CN 101858730 A公开了一种自动测量煤堆体积的方法及其专用装置，使用巡航小车搭载激光测距仪，使用激光测距仪对煤堆顶部多处进行测距采样，以此建立该煤堆场景的三维图，进行体积测量，但该方法在激光测距采样时需在煤堆顶部布置相应的标志物，若想精确的拟合出接近于实际煤堆的三维图，需要布置足够多的标志物，这不仅需要消耗大量的时间，人力，且无法保证三维重建及煤堆体积测量的精度。

中国专利公开号CN 106875440 A公开了一种煤堆体积的计算方法及装置，其通过相机对煤堆进行大量的数据采样，使用满足要求的图像数据进行三维重建，可以准确获取煤堆的三维模型进行体积估算，但在估算体积时需要实际的煤堆尺度，在使用单目相机进行采样重建时，无法获取重建模型的真实尺度，给煤堆的体积估算造成一定的影响，基于双目相机的三维重建可以获取重建模型的真实尺度，但双目相机的标定精度无法保证，会进一步影响测量精度，且设备价格较高。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于单目相机三维重建的大型煤堆体积测量方法。

本发明的目的可以通过以下技术方案来实现：

一种基于单目相机三维重建的大型煤堆体积测量方法，该方法使用无人机搭载单目相机，实现无人机的自主定位及导航，对煤堆进行数据采样并三维重建以计算体积，同时在煤堆中布置用于煤堆尺度还原的二维码。

优选地，该方法具体包括以下步骤：

步骤1)数据收集；

步骤2)获取有效3D点集；

步骤3)空间变换，将所有三维点云投影至二维平面上获取2D点集；

步骤4)获取Delaunay三角网，对2D点集进行三角剖分，获得Delaunay三角网；

步骤5)通过以上步骤，将三维重建后点云体积的求解转化成对多个三棱柱积分的求解，对于部分偏差超过设定阈值的三棱柱体积值通过算法进行剔除。

优选地，所述的步骤1)数据收集具体为：

采用单目相机对场景进行连续采集，将采集到的图像作为输入，通过三维重建得到场景的点云。

优选地，所述的步骤2)获取有效3D点集具体为：

在生成点云的过程中把部分非感兴趣区域的内容和一些离散的误差噪音点添加至点云结果中，通过以下方法进行剔除：

201)针对非感兴趣区域，通过三维空间平面方程对非感兴趣区域直接进行切割剔除；

202)针对随机误差噪音点，通过离群点检测算法进行剔除。

优选地，所述的201)具体为：

在三维重建后的点云中，只需要收集感兴趣区域内的3D点集，通过求出的水平面方程和场景中的已知三维点坐标共同约束求出空间切面方程对场景进行切割，从而将非感兴趣区域直接进行剔除。

优选地，所述的202)中的离群点检测算法具体为：

对每一个点，计算它到所有临近点的平均距离，将平均距离在标准范围之外的点，被定义为离群点并从数据中去除。

优选地，所述的步骤3)空间变换具体为：

301)获取点云水平面和参考坐标系中的xy平面方程的法向量分别P(A,B,C)和Q(0,0,1)；

302)将所有的3D点集O(x₀,y₀,z₀)根据以下公式投影水平面上，获取新的3D点集P(x_p,y_p,z_p)

其中D为水平面方程的第四个参数；

同时根据下式计算出每一个三维空间点到水平面的方程的距离d

303)计算旋转角度：按照下式计算出两个向量之间的旋转角θ

其中P和Q为两个三维向量；

304)计算旋转轴：在计算旋转角时可知角所在的平面为由P和Q所构成的平面，那么旋转轴必垂直该平面，假定旋转前向量为a(a₁,a₂,a₃)，旋转后向量为b(b₁,b₂,b₃)，由叉乘定义得旋转轴c(c₁,c₂,c₃)为

305)根据罗德里格旋转公式将旋转角，旋转轴的表达转化为旋转矩阵R；

306)将3D点集P(x_p,y_p,z_p)右乘上述旋转矩阵R得到一系列在同一平面上的3D点集，提取所有3D点的x,y值构成2D点集p(x,y)。

优选地，所述的步骤4)获取Delaunay三角网具体为：

401)构造一个超级三角形，包含所有散点，放入三角形链表；

402)将点集中的散点依次插入，在三角形链表中找出其外接圆包含插入点的三角形(称为该点的影响三角形)，删除影响三角形的公共边，将插入点同影响三角形的全部顶点连接起来，从而完成一个点在Delaunay三角形链表中的插入；

403)根据优化准则对局部新形成的三角形进行优化，将形成的三角形放入Delaunay三角形链表；

404)循环执行上述402)，直到所有散点插入完毕。

优选地，通过以上流程获得三角形的集合以及三角形中每个顶点对应的距离，取三个顶点距离的平均值作为三棱柱的高，每个三角形的面积按照以下公式计算，即可获得所有三棱柱的体积：

优选地，所述的对于部分偏差超过设定阈值的三棱柱体积值通过算法进行剔除采用箱形图的方法进行剔除，具体为：

需要求解出数据中的5个特征数据值，包括下四分位Q₁，上四分位数Q₃，四分位距IQR＝Q₃-Q₁，以及上限Q₃+1.5IQR和下限Q₁-1.5IQR，对于上下限之外的内容需要剔除，最终结合所估算出的尺度，以及所有有效三棱柱的体积按照下式即可估计出物体中感兴趣区域的实际体积值，

其中K为点云处理过程中恢复的尺度因子，d_j为三棱柱侧棱的长度，此处

为求取三棱柱的侧棱平均长度作为高度求取体积。

与现有技术相比，本发明使用无人机搭载单目相机，实现无人机的自主定位及导航，对煤堆进行数据采样并三维重建以计算体积，本发明需在煤堆中布置少量二维码，便于煤堆的尺度还原。经实际场景测量，本发明可以实现整个操作流程的自动化，节约较多的人力物力，短时间内可以获取煤堆的真实体积，且可以保证测量精度满足实际生产需要。

附图说明

图1为三维重建点云结果示意图；

图2为三维重建感兴趣区域示意图；

图3为对点云统计滤波后示意图；

图4为Delaunay三角网示意图；

图5为箱形图示意图；

图6为本发明的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

为了解决三维重建后煤堆的体积测量问题，本发明提出了一套结合计算机视觉和几何计算的流程，在获取到三维重建后点云的水平面和比例尺度后，在此基础上就可以求解出煤堆的实际体积。

本发明的创新点包括：

1)在计算煤堆体积时，将点云体积的计算转化为多个三棱柱体积的积分

2)在计算煤堆体积时，通过线形图提出异常值。

本发明为解决其技术问题而采用的技术方案是：

首先将所有点云结果投影在水平面上，根据场景的实际空间约束和过滤方法剔除异常点。

进一步的，通过空间变换，将三维空间点转化为水平面上的2D点集。

进一步的，对所有点集求Delaunay三角网，计算每个三角形的面积和对应的水平高度，得到三棱柱体积

最终剔除异常三棱柱，将所有有效的三棱柱积分求和得到总体积。

如图6所示，本发明基于单目相机三维重建的大型煤堆体积测量方法，具体过程如下：

1、数据收集：可以通过单目相机对场景进行连续采集，将采集到的图像作为输入，通过三维重建得到场景的点云，点云结果如图1所示。

2、获取有效3D点集：在生成点云的过程中会把部分非感兴趣区域的内容和一些离散的误差噪音点添加至点云结果中。针对这两种情况，本发明分别提出以下对应的解决方法：

1)针对非感兴趣区域，本发明通过三维空间平面方程对非感兴趣区域直接进行切割剔除；

2)针对随机误差噪音点，本发明通过离群点检测算法进行剔除。

对于方案1)，在三维重建后的点云中，只需要收集感兴趣区域内的3D点集，如图2所示，只有红色框图内区域是感兴趣区域，可以通过求出的水平面方程和场景中的已知三维点坐标共同约束求出空间切面方程对场景进行切割。

对于方案2)，本发明采用统计滤波器即为对每个点的邻域进行一个统计分析，并修剪掉一些不符合标准的点，具体方法为在输入数据中对点到临近点的距离分布的计算，对每一个点，计算它到所有临近点的平均距离(假设得到的结果是一个高斯分布，其形状是由均值和标准差决定)，那么平均距离在标准范围之外的点，可以被定义为离群点并从数据中去除。采用统计滤波对点云中的离散点进行滤波后，如图3所示。

3、空间变换：通过上步骤，可以求出有效的3D点集，在本小节中需要将所有三维点云投影至二维平面上获取2D点集，简略步骤如下：

1)获取点云水平面和参考坐标系中的xy平面方程的法向量分别P(A,B,C)和Q(0,0，1)

2)将所有的3D点集O(x₀,y₀,z₀)根据以下公式投影水平面上，获取新的3D点集P(x_p,y_p,z_p)

同时也可以根据下式计算出每一个三维空间点到水平面的方程的距离

3)计算旋转角度：按照下式计算出两个向量之间的旋转角

4)计算旋转轴：在计算旋转角时可知角所在的平面为由P和Q所构成的平面，那么旋转轴必垂直该平面。假定旋转前向量为a(a₁,a₂,a₃),旋转后向量为b(b₁,b₂,b₃)，由叉乘定义得旋转轴c(c₁,c₂,c₃)为

5)根据罗德里格旋转公式将旋转角，旋转轴的表达转化为旋转矩阵R

6)将3D点集P(x_p,y_p,z_p)右乘上述旋转矩阵R可以得到一系列在同一平面上(所有转变后的点z值都相同)的3D点集，提取所有3D点的x,y值构成2D点集p(x,y)。

通过上述步骤可以得到由在同一平面上的3D点集转化成的2D点集和每一个2D点集对应的距离值d。

4、获取Delaunay三角网：对2D点集进行三角剖分，获得Delaunay三角网，Delaunay三角网是一系列相连的但不重叠的三角形的集合，而且这些三角形的外接圆不包含这个面域的其他任何点，如图4所示。获取Delaunay三角网格的一般步骤为：

1)构造一个超级三角形，包含所有散点，放入三角形链表；

2)将点集中的散点依次插入，在三角形链表中找出其外接圆包含插入点的三角形(称为该点的影响三角形)，删除影响三角形的公共边，将插入点同影响三角形的全部顶点连接起来，从而完成一个点在Delaunay三角形链表中的插入；

3)根据优化准则对局部新形成的三角形进行优化，将形成的三角形放入Delaunay三角形链表；

4)循环执行上述第2步，直到所有散点插入完毕。

由于Delaunay剖分具备最接近(以最近的三点形成三角形，且各线段都不相交)和区域性(新增、删除、移动某一个顶点时只会影响临近的三角形)的特性，本发明采用该方法对点集所构成的平面进行拟合。通过以上流程可以获得三角形的集合以及三角形中每个顶点对应的距离，取三个顶点距离的平均值作为三棱柱的高，每个三角形的面积按照以下公式计算，即可获得所有三棱柱的体积。

5、积分三棱柱：通过以上步骤，可以将三维重建后点云体积的求解转化成对多个三棱柱积分的求解，因为所有三棱柱的体积值都分布在某一个区间内(并不完全服从正太分布)，对于部分偏差较大的三棱柱体积值应该通过算法进行剔除。本发明采用箱形图的方法来处理这一问题，箱形图不受异常值的影响，能够准确稳定地描绘出数据的离散分布情况，同时也利于数据的清洗。箱形图如图5所示，主要需要求解出数据中的5个特征数据值，包括下四分位Q₁，上四分位数Q₃，四分位距IQR＝Q₃-Q₁，以及上限Q₃+1.5IQR和下限Q₁-1.5IQR，对于上下限之外的内容需要剔除，最终结合所估算出的尺度，以及所有有效三棱柱的体积按照下式即可估计出物体中感兴趣区域的实际体积值。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种基于单目相机三维重建的大型煤堆体积测量方法，其特征在于，该方法使用无人机搭载单目相机，实现无人机的自主定位及导航，对煤堆进行数据采样并三维重建以计算体积，同时在煤堆中布置用于煤堆尺度还原的二维码；

该方法具体包括以下步骤：

步骤1)数据收集；

步骤2)获取有效3D点集；

步骤3)空间变换，将所有三维点云投影至二维平面上获取2D点集；

步骤4)获取Delaunay三角网，对2D点集进行三角剖分，获得Delaunay三角网；

步骤5)通过以上步骤，将三维重建后点云体积的求解转化成对多个三棱柱积分的求解，对于部分偏差超过设定阈值的三棱柱体积值通过算法进行剔除；

所述的步骤3)空间变换具体为：

301)获取点云水平面和参考坐标系中的xy平面方程的法向量分别P(A,B,C)和Q(0,0,1)；

302)将所有的3D点集O(x₀,y₀,z₀)根据以下公式投影水平面上，获取新的3D点集P(x_p,y_p,z_p)

其中D为水平面方程的第四个参数；

同时根据下式计算出每一个三维空间点到水平面的方程的距离d

303)计算旋转角度：按照下式计算出两个向量之间的旋转角θ

其中P和Q为两个三维向量；

304)计算旋转轴：在计算旋转角时可知角所在的平面为由P和Q所构成的平面，那么旋转轴必垂直该平面，假定旋转前向量为a(a₁,a₂,a₃)，旋转后向量为b(b₁,b₂,b₃)，由叉乘定义得旋转轴c(c₁,c₂,c₃)为

305)根据罗德里格旋转公式将旋转角，旋转轴的表达转化为旋转矩阵R；

306)将3D点集P(x_p,y_p,z_p)右乘上述旋转矩阵R得到一系列在同一平面上的3D点集，提取所有3D点的x,y值构成2D点集p(x,y)。

2.根据权利要求1所述的一种基于单目相机三维重建的大型煤堆体积测量方法，其特征在于，所述的步骤1)数据收集具体为：

采用单目相机对场景进行连续采集，将采集到的图像作为输入，通过三维重建得到场景的点云。

3.根据权利要求1所述的一种基于单目相机三维重建的大型煤堆体积测量方法，其特征在于，所述的步骤2)获取有效3D点集具体为：

在生成点云的过程中把部分非感兴趣区域的内容和一些离散的误差噪音点添加至点云结果中，通过以下方法进行剔除：

201)针对非感兴趣区域，通过三维空间平面方程对非感兴趣区域直接进行切割剔除；

202)针对随机误差噪音点，通过离群点检测算法进行剔除。

4.根据权利要求3所述的一种基于单目相机三维重建的大型煤堆体积测量方法，其特征在于，所述的201)具体为：

在三维重建后的点云中，只需要收集感兴趣区域内的3D点集，通过求出的水平面方程和场景中的已知三维点坐标共同约束求出空间切面方程对场景进行切割，从而将非感兴趣区域直接进行剔除。

5.根据权利要求3所述的一种基于单目相机三维重建的大型煤堆体积测量方法，其特征在于，所述的202)中的离群点检测算法具体为：

对每一个点，计算它到所有临近点的平均距离，将平均距离在标准范围之外的点，被定义为离群点并从数据中去除。

6.根据权利要求1所述的一种基于单目相机三维重建的大型煤堆体积测量方法，其特征在于，所述的步骤4)获取Delaunay三角网具体为：

401)构造一个超级三角形，包含所有散点，放入三角形链表；

402)将点集中的散点依次插入，在三角形链表中找出其外接圆包含插入点的三角形(称为该点的影响三角形)，删除影响三角形的公共边，将插入点同影响三角形的全部顶点连接起来，从而完成一个点在Delaunay三角形链表中的插入；

403)根据优化准则对局部新形成的三角形进行优化，将形成的三角形放入Delaunay三角形链表；

404)循环执行上述402)，直到所有散点插入完毕。

7.根据权利要求6所述的一种基于单目相机三维重建的大型煤堆体积测量方法，其特征在于，通过以上流程获得三角形的集合以及三角形中每个顶点对应的距离，取三个顶点距离的平均值作为三棱柱的高，每个三角形的面积按照以下公式计算，即可获得所有三棱柱的体积：

8.根据权利要求7所述的一种基于单目相机三维重建的大型煤堆体积测量方法，其特征在于，所述的对于部分偏差超过设定阈值的三棱柱体积值通过算法进行剔除采用箱形图的方法进行剔除，具体为：

需要求解出数据中的5个特征数据值，包括下四分位Q₁，上四分位数Q₃，四分位距IQR＝Q₃-Q₁，以及上限Q₃+1.5IQR和下限Q₁-1.5IQR，对于上下限之外的内容需要剔除，最终结合所估算出的尺度，以及所有有效三棱柱的体积按照下式即可估计出物体中感兴趣区域的实际体积值，

其中K为点云处理过程中恢复的尺度因子，d_j为三棱柱侧棱的长度，此处

d_j为求取三棱柱的侧棱平均长度作为高度求取体积。

Images