CN110648359A

CN110648359A - 一种果实目标定位识别方法及系统

Info

Publication number: CN110648359A
Application number: CN201910901551.8A
Authority: CN
Inventors: 贾伟宽; 田玉宇; 郑元杰; 侯素娟; 闫兴超
Original assignee: Shandong Normal University
Current assignee: Shandong Normal University
Priority date: 2019-09-23
Filing date: 2019-09-23
Publication date: 2020-01-03
Anticipated expiration: 2039-09-23
Also published as: CN110648359B

Abstract

本发明公开了一种果实目标定位识别方法及系统，解决了采摘机器人的视觉系统定位与识别效率较差的问题，该方法简单、实践速度快，能够得到相对精准的识别结果，适用于采摘机器人的实时作业；该方法包括以下步骤：获取相机采集的果实目标的RGB图像和深度图像；绘制果实目标深度图像的等高线图，将等高线图进行量化处理，得到向量梯度场，旋转向量梯度场中所有向量形成旋涡，将涡度最大位置定位为果实目标的圆心；基于图论的分割方法对果实目标的RGB图像进行分割；利用果实目标的圆心和RGB图像分割后的图像区域，识别果实目标区域。

Description

一种果实目标定位识别方法及系统

技术领域

本发明涉及农业机械技术领域，具体涉及一种适用于果实采摘机器人的果实目标定位识别方法及系统。

背景技术

农业机器人的机器视觉系统，用来感知环境信息以及目标物的识别和定位，已广泛应用于采摘机器人目标识别。实现目标物的快速、精准识别与定位，直接影响着采摘机器人可靠性与实时性。

目标物的精准识别与定位是视觉系统的关键所在。近年来，在静态果实目标识别，动态果实目标识别，遮挡或重叠果实目标识别等都取得比较大的进展，果实目标的高效识别，直接影响着农业机器人的作业效率。当前的方法大都采用先识别再定位的方法，而对于目标果实的识别又大都采取分割、特征提取、分类器识别等步骤，尽管学者们提出诸如基于各种优化聚类、神经网络等分割算法；各种支持向量机、深度网络的优化识别算法等。这些算法更注重目标果实的识别效果，却忽略了识别或定位的效率，导致大多相关研究难以达到实时作业需求。

发明内容

为了克服上述现有技术的不足，本发明提供了一种果实目标定位识别方法及系统，解决了采摘机器人的视觉系统定位与识别效率较差的问题，该方法简单、实践速度快，能够得到相对精准的识别结果，适用于采摘机器人的实时作业。

本发明一方面提供的一种果实目标定位识别方法的技术方案是：

一种果实目标定位识别方法，该方法包括以下步骤：

获取相机采集的果实目标的RGB图像和深度图像；

绘制果实目标深度图像的等高线图，将等高线图进行量化处理，得到向量梯度场，旋转向量梯度场中所有向量形成旋涡，将涡度最大位置定位为果实目标的圆心；

基于图论的分割方法对果实目标的RGB图像进行分割；

利用果实目标的圆心和RGB图像分割后的图像区域，识别果实目标区域。

本发明另一方面提供的一种果实目标定位识别系统的技术方案是：

一种果实目标定位识别系统，该系统包括：

图像获取模块，用于获取相机采集的果实目标的RGB图像和深度图像；

果实目标定位模块，用于绘制果实目标深度图像的等高线图，将等高线图进行量化处理，得到向量梯度场，旋转向量梯度场中所有向量形成旋涡，将涡度最大位置定位为果实目标的圆心；

图像分割模块，用于基于图论的分割方法对果实目标的RGB图像进行分割；

果实目标识别模块，用于基于果实目标的圆心和RGB图像分割后的图像区域，识别果实目标区域。

本发明另一方面提供的一种计算机可读存储介质的技术方案是：

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如下步骤：

获取相机采集的果实目标的RGB图像和深度图像；

基于图论的分割方法对果实目标的RGB图像进行分割；

本发明另一方面提供的一种处理装置的技术方案是：

一种处理装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如下步骤：

获取相机采集的果实目标的RGB图像和深度图像；

基于图论的分割方法对果实目标的RGB图像进行分割；

通过上述技术方案，本发明的有益效果是：

(1)本发明可以快速精准的识别较为复杂背景下果实目标，快速稳定，识别率较高，可用于采摘机器人的实时识别，改善了在采摘机器人作业过程中识别效率问题；

(2)本发明在深度图像的基础上定位果实，利用果实的三维形状特征，不受限于果实的颜色特征，仅考虑目标的形状特征，不需要反复修改颜色阈值，可以应用到各种果实采摘或预产的机器人视觉系统中。

(3)本发明先实现目标果实的定位，再进行目标区域识别，大幅度提高目标果实的识别与定位效率，能够更好地适应采摘机器人实时作业需求。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本申请，并不构成对本发明的不当限定。

图1是实施例一提供的果实目标定位识别方法的流程图；

图2(a)是实施例一中对同一采样点拍摄的深度图像；

图2(b)是实施例一中对同一采样点拍摄的RGB图像

图3是实施例一中根据深度图像三维特性得到的等高线图；

图4是实施例一中将深度图量化映射到二维平面中得到沿苹果表面方向呈现向外发散状的方向向量；

图5是实施例一中将图4中向量旋转90°得到涡度中心图；

图6是实施例一中RGB图像经过分割后的分割图像；

图7是实施例一中区域识别结果图；

图8是实施例一中图像分割过程具体实施流程图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一

图1是本实施例涉及的果实目标定位识别方法的流程图。如图1所示，所示果实目标定位识别方法包括以下步骤：

S101，获取果实目标的RGB图像和对应的深度图像。

在本实施例中，采用装有Kinect摄像头的相机，在同一环境下，对同一采样点，在同一角度拍摄RGB图像和对应的深度图像。

在本实施例中，所述RGB图像和深度图像在自然光环境下采集，包括顺光、逆光情况。图像采集使用镜头：Kinect V2(Microsoft)，RGB图像采集分辨率1920×1080，深度图像分辨率为512×424，输出格式为JPG。每一个样本采样点，同时输出果实目标的RGB图像和深度图像。RGB图像如图2(b)所示，深度图像如图2(a)所示。

本实施例采用装有Kinect摄像头的相机拍摄得到深度图像的工作原理为：

通过一个红外散斑发射器向果实目标发射红外光束，当光束到达果实目标后反射回深度摄像头，利用返回散斑之间的几何关系计算摄像头到果实目标之间的距离。深度摄像头通过黑白光谱的方式来感知周围环境，在得到的深度图像中，黑色深度越深代表目标越远，白色颜色越浅代表距离目标越近。黑白间的灰色地带表示目标物与传感器间的物理距离，从而可以从深度图像上反映出果实目标的三维形状信息。

S102，对得到果实目标的深度图像进行预处理。

具体地，由于Kinect摄像头直接得到果实目标的深度图像噪声比较大，边缘相对比较模糊，首先，对果实目标的深度图像的缘信息进行平滑处理，然后，采用均值滤波器对果实目标的深度图像进行去燥处理。

S103，利用等深信息解析果实目标深度图像的三维梯度场信息，将三维梯度场信息进行二维投影，旋转得到果实目标深度图像的涡度，每个聚集的涡度中心即为果实目标的圆心。

具体地，所述步骤103的具体实现方法如下：

(1)根据深度图像的三维信息绘制二维果实目标距相机距离的等高线图。

利用映射的深度信息计算果实目标深度图像的三维几何特征，并由此绘制果实目标距相机的距离等高线图。

由深度传感器原理可知，距离摄像头较近的像素具有较小的距离值，如图3所示，因为果实目标表面呈凸球面，则果实目标中心的距离值较小，而周边距离值相对较大。

(2)对等高线图的深度信息进行量化处理。

在等高线图中建立向量梯度场。

表示三维空间中在向量梯度场上的一组向量(u,v)，u,v分别表示深度D在三维坐标中x,y方向的偏导，即得到果实目标的梯度方向。

由于果实目标表面呈凸抛物线，做向量

沿着深度D在平面(x,y)方向上的偏导数，将向量梯度场中向量组映射到二维平面，得到的方向向量在梯度场中沿果实目标表面方向呈现向外发散状，即垂直于等高线向外发散的方向向量，如图4所示。

(3)定位果实目标的圆心。

将图4中所有向量统一固定原点沿顺时针方向旋转90°，则相邻向量引用的像素角速度(仅方向)为：

其中，为一个在x,y,z方向的偏导算子，

表示在z轴方向向量。由于旋涡大小的变化速率由边缘向圆心增大，在梯度场中向量所拼接成类似圆弧形状。如若向量大小相同，则角速度为：

其中，φ表示弧长大小(类似于向量大小)，t表示相同时间。使得原来呈凸抛物线面的梯度向量顺时针旋转；而原凹抛物线面的梯度向量呈现逆时针旋转，呈现混乱状。在深度图像中，距离变化最快处可获得最大涡度，因此角速度变化最大处即为果实目标的圆心，如图5所示。

旋转后的向量在果实目标表面处呈顺时针旋涡状，将涡度最大的地方定位为果实目标中心。

本实施例在深度图像模式下，根据果实目标深度图像的梯度信息，通过涡度中心寻找果实目标的圆心，实现果实目标的快速精准定位。

S104，将果实目标的RGB图像进行基于图论的分割，得到果实目标的超像素区域。

请参阅附图8，所述步骤104的具体实现方式如下：

S104-1，在进行分割前对果实目标的RGB图像进行高斯滤波降噪，其中sigma＝0.8。

S104-2，基于图论的概念，对于输入图片G(V,E)，具有M个顶点v和N条边e，对边进行权重减小的排序，排序得到e₁,e₂,…e_N。

S104-3，定义了一个分割的评估机制来控制像素点是否合并，从e₁开始，若边上的两个顶点不在同一区域内，且满足合并条件：不相似度不大于二者内部的不相似度，即w_i,j≤Mint(C_i,C_j)，则合并两个像素。

所述超像素区域内部的差异定义为：

即此区域内每个顶点连接的边中不相似度最大值。

所述超像素区域内两个区域之间的差异定义为：

即v_i,v_j分别为两个区域内的顶点，它们的连线之间不相似度的最小值。

区域比较：通过检查两个区域Dif(C₁,C₂)之间的差异相对于至少一个区域Int(C₁)和Int(C₂)内部的差异是否较大来评估两个区域之间是否存在边界。阈值函数用于控制两个区域之间的差异必须大于最小内部差异的程度，即：

其中，最小内部差异MInt定义为：

M Int(C₁,C₂)＝min(Int(C₁)+τ(C₁),Int(C₂)+τ(C₂)

S104-4，若不满足，则更新阈值和区域标号直到满足条件，合并至所有边都遍历结束。得到的分割图像如图6所示。

本实施例在RGB图像模式下，通过构造评估约束机制优化基于图论的分割算法，对果实目标的RGB图像进行高效分割，寻找果实目标区域。

S105，确定果实目标的区域。

把果实目标看作一个类圆形，步骤103采用深度图像梯度场的方式已知果实目标的圆心，然后步骤104对获取的果实目标RGB图像使用基于图论的分割，采用不同的RGB色彩去标注不同的分割区域，得到了超像素区域。

将存在果实目标的圆心的超像素区域确定为存在果实目标的区域。对这一块超像素区域进行扫描，得到超像素区域的面积，以与该超像素区域面积相等的圆形的半径为半径，以得到果实目标的圆心为圆心，拟合出果实目标区域。

具体地，所述步骤105的具体实现方式如下：

S105-1，对步骤104得到的分割图像进行遍历，找出包含步骤103标定的果实目标的中心点的超像素区域。

S105-2，扫描果实目标的中心点所在的超像素区域，得到该超像素区域的面积。

S105-3，以果实目标的中心点为圆心，以与超像素区域面积相等的圆的半径为半径，对果实目标轮廓进行拟合，得到果实目标区域。

本实施例结合两种图像模式，从圆心向果实目标区域边界扫描，寻求最大半径，对果实目标轮廓进行拟合，最终实现果实目标的识别与定位。

本实施例提出的果实目标定位识别方法，使用kinect相机在自然光源下对同一采样点分别同时拍摄深度图像和RGB图像；在深度图像的基础上基于图像深度信息将三维信息进行二维映射，实现果实目标中心定位，首先将采集到的果实目标深度图像，利用深度图像的梯度场信息，将梯度向量顺时针旋转90度，旋涡中心即为果实目标圆心，以确定果实目标位置；然后引入基于图论的分割算法，通过构造自适应阈值，寻找果实目标区域；最后根据果实目标圆心所在超像素区域的面积，拟合出果实目标区域，实现果实目标的识别与定位。

本实施例提出的果实目标定位识别方法针对的果实目标可为苹果、橘子、梨等绿色果实。

实施例二

本实施例提供一种果实目标定位识别系统，该系统包括：

在本实施例中，果实目标定位模块的具体实现方法为：

利用果实目标与相机之间的距离值计算果实目标深度图像的三维几何特征信息；

根据目标深度图像的三维几何特征信息绘制果实目标距相机的距离等高线图；

在等高线图中建立向量梯度场，将向量梯度场中任意一组向量沿着设定深度在二维平面方向上做偏导数，将向量梯度场中所有向量组映射到二维平面，得到的向量在梯度场中沿果实目标表面方向呈现向外发散状；

将向量梯度场中所有向量统一按照固定原点沿顺时针方向旋转设定角度；

旋转后的向量在果实目标表面方向呈顺时针旋涡状，将涡度最大位置定位为果实目标的圆心。

在本实施例中，所述图像分割模块的具体实现方法为：

对果实目标的RGB图像进行高斯滤波降噪处理；

基于图论，对RGB图像的多条边按照权重减小进行排序，

定义分割评估机制，包括超像素区域内部的差异和两个区域之间的差异；

按照排序结果，从权重最大的边开始遍历，判断该边上的两个顶点是否在同一区域内，是否满足合并条件；若不在同一区域内，且满足合并条件，则合并两个像素点，若不满足合并条件，则更新阈值和区域标号直到满足条件，直至所有边遍历结束，得到分割后图像。

在本实施例中，所述果实目标识别模块的具体实现方法为：

对RGB图像分割后的图像进行遍历，找出包含果实目标的圆心的超像素区域；

扫描果实目标的圆心所在的超像素区域，得到该超像素区域的面积；

以果实目标的圆心为圆心，与超像素区域面积相等的圆的半径为半径，对果实目标轮廓进行拟合，得到果实目标区域。

实施例三

本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如下步骤：

获取相机采集的果实目标的RGB图像和深度图像；

基于图论的分割方法对果实目标的RGB图像进行分割；

实施例四

本实施例提供一种处理装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如下步骤：

获取相机采集的果实目标的RGB图像和深度图像；

基于图论的分割方法对果实目标的RGB图像进行分割；

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims

1.一种果实目标定位识别方法，其特征是，该方法包括以下步骤：

获取相机采集的果实目标的RGB图像和深度图像；

基于图论的分割方法对果实目标的RGB图像进行分割；

2.根据权利要求1所述的果实目标定位识别方法，其特征是，还包括对果实目标深度图像的边缘信息进行平滑处理，采用均值滤波器对果实目标深度图像进行去燥处理的步骤。

3.根据权利要求1所述的果实目标定位识别方法，其特征是，所述等高线图的绘制方法为：

根据目标深度图像的三维几何特征信息绘制果实目标距相机的距离等高线图。

4.根据权利要求1所述的果实目标定位识别方法，其特征是，所述将等高线图进行量化处理的方法为：

在等高线图中建立向量梯度场，将向量梯度场中任意一组向量沿着设定深度在二维平面方向上做偏导数，将向量梯度场中所有向量组映射到二维平面，得到的向量在梯度场中沿果实目标表面方向呈现向外发散状。

5.根据权利要求1所述的果实目标定位识别方法，其特征是，所述果实目标的圆心的定位方法为：

分别将向量梯度场中所有向量统一按照固定原点沿顺时针方向旋转设定角度；

6.根据权利要求1所述的果实目标定位识别方法，其特征是，所述基于图论的分割方法对果实目标的RGB图像进行分割的步骤包括：

对果实目标的RGB图像进行高斯滤波降噪处理；

基于图论，将RGB图像的多条边按照权重由大到小顺序进行排序，

7.根据权利要求1所述的果实目标定位识别方法，其特征是，所述果实目标区域的识别方法为：

对RGB图像分割后的图像进行遍历，寻找包含果实目标的圆心的超像素区域；

8.一种果实目标定位识别系统，其特征是，该系统包括：

9.一种计算机可读存储介质，其上存储有计算机程序，其特征是，该程序被处理器执行时实现如权利要求1-7中任一项所述的果实目标定位识别方法中的步骤。

10.一种处理装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征是，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的果实目标定位识别方法中的步骤。