CN102096927A - 自主林业机器人目标跟踪方法 - Google Patents

Abstract

本发明公开了一种自主林业机器人目标跟踪方法，该方法应用于包括计算机视觉、数字控制云台和中央控制计算机的自主林业机器人的目标跟踪，包括运动目标检测部分和云台实时运动控制部分，运动目标检测部分包括图像预处理模块、多帧差分法的运动信息获取模块、运动目标判别模块、目标中心坐标计算模块，运动目标检测部分检测运动目标信息，并记录目标的外接矩形及目标中心坐标；云台实时运动控制部分控制目标的中心位于图像中心的附近区域。能使自主林业机器人在作业过程中，始终使作业目标始终位于林业机器人视觉系统的图像中心位置或附近区域。

Description

自主林业机器人目标跟踪方法

技术领域

本发明涉及一种机器人目标跟踪技术，尤其涉及一种自主林业机器人目标跟踪方法。

背景技术

自主作业型林业机器人属于特种机器人的一种，其研究日益引人注目，这主要是由于林区这个特定的环境所决定的。自主林业机器人在作业过程中希望作业目标始终位于林业机器人视觉系统的图像中心位置或附近区域。由于目标和林业机器人都可能出于运动状态，所与林业机器人作业目标相对机器人而言处于运动状态，并且作业目标的形状大小都不确定，为了保证作业目标始终位于林业机器人视觉系统的图像中心位置或者附近区域，需要实时检测运动目标，计算目标的中心坐标，并根据目标中心坐标与图像中心位置的差别实时调整云台的方向和角度。

现有技术中，由于检测的目标具有不确定性，尤其当运动的目标较复杂，不易于进行图像颜色，形状的描述时，目标在图像视频序列中的实时检测则有一定困难；同时云台的实时自适应控制算法鲜见报道。

发明内容

本发明的目的是提供一种能使自主林业机器人在作业过程中，始终使作业目标位于林业机器人视觉系统的图像中心位置或附近区域的自主林业机器人目标跟踪方法。

本发明的目的是通过以下技术方案实现的：

本发明的自主林业机器人目标跟踪方法，该方法应用于包括计算机视觉、数字控制云台和中央控制计算机的自主林业机器人的目标跟踪，包括运动目标检测部分和云台实时运动控制部分；

所述的运动目标检测部分包括图像预处理模块、多帧差分法的运动信息获取模块、运动目标判别模块、目标中心坐标计算模块；

所述图像预处理用于对多帧图像进行图像滤波、图像灰度化和图像分段线性分段变换；

所述多帧差分法的运动信息获取模块首先对所有图像进行两两差分，并对每一差分图像进行图像分割，然后对分割后的差分图像进行累积求和，获得运动目标信息；

所述运动目标判别模块根据设定的阈值来判断是否存在运动目标；

若存在运动目标，则所述目标中心坐标计算模块记录目标的外接矩形及目标中心坐标；

所述云台实时运动控制部分控制所述目标的中心位于图像中心的附近区域。

由上述本发明提供的技术方案可以看出，本发明实施例提供的自主林业机器人目标跟踪方法，由于包括运动目标检测部分和云台实时运动控制部分，运动目标检测部分检测运动目标信息，并记录目标的外接矩形及目标中心坐标；云台实时运动控制部分控制目标的中心位于图像中心的附近区域。能使自主林业机器人在作业过程中，始终使作业目标位于林业机器人视觉系统的图像中心位置或附近区域。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的自主林业机器人目标跟踪任务示意图；

图2为本发明实施例中基于计算机视觉的云台实时控制系统结构示意图；

图3为本发明实施例中自主林业机器人目标跟踪整体流程图；

图4为本发明实施例中运动目标实时检测流程图；

图5为本发明实施例中云台实时运动控制流程图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

下面将结合附图对本发明实施例作进一步地详细描述。

本发明的自主林业机器人目标跟踪方法，该方法应用于包括计算机视觉、数字控制云台和中央控制计算机的自主林业机器人的目标跟踪，其较佳的具体实施方式是：

包括运动目标检测部分和云台实时运动控制部分；

所述的运动目标检测部分包括图像预处理模块、多帧差分法的运动信息获取模块、运动目标判别模块、目标中心坐标计算模块；

所述图像预处理用于对多帧图像进行图像滤波、图像灰度化和图像分段线性分段变换；

所述多帧差分法的运动信息获取模块首先对所有图像进行两两差分，并对每一差分图像进行图像分割，然后对分割后的差分图像进行累积求和，获得运动目标信息；

所述运动目标判别模块根据设定的阈值来判断是否存在运动目标；

若存在运动目标，则所述目标中心坐标计算模块记录目标的外接矩形及目标中心坐标；

所述云台实时运动控制部分控制所述目标的中心位于图像中心的附近区域。

所述多帧差分法的运动信息获取模块获得运动目标信息包括步骤：

A、图像差分计算：对视频图像序列以及采样速率进行设置，以适用于准确提取不同运动速率的目标；

B、差分图像的阈值分割：针对每一个差分图像进行阈值分割，得到二值图像；

C、对所有二值图像进行求和，定位持续运动的区域，得到运动目标边界信息。

所述步骤A中，默认设置为：每组图像序列n＝3幅灰度图片，采样速率为0.2s。即每200ms秒采集一帧图片，共连续获取3帧图片为一组，利用3幅图像进行两两差分运算，得到差分图像共n_Δf＝3*(3-1)/2幅；

所述步骤B中，利用最大类间方差阈值法计算得到分割阈值，具体是利用随机阈值将像素灰度分成两类，这两类灰度均值距离最远的阈值为最佳分割阈值；

所述步骤C中，对于求和后的图像，利用数学形态学的先腐蚀后膨胀的处理方法去除噪声和干扰点，获得运动目标的边界信息。

所述设定的阈值为运动目标的面积阈值；

所述目标中心坐标为目标图像的一阶矩和零阶矩的比值。

所述云台实时运动控制部分根据所述目标中心坐标控制数字控制云台的水平、垂直两个方向的角度调整度量，并构成闭环控制系统。

所述云台实时运动控制部分的控制算法包括：

令目标的外接矩形水平方向长度为W，垂直方向长度为H，目标中心坐标为(x，y)，图像中心坐标为(x₀，y₀)，数字控制云台的调整步骤如下：

D、计算目标中心与图像中心位置差别(Δx，Δy)，Δx＝x₀-x，Δy＝y₀-y；

E、若

则目标已经出于图像中心或附近区域，云台不需要调整，转向步骤D；若

云台需要进行调整，转向步骤F；

F、若|Δx|＞δ，云台水平方向调整角度Δθ_x＝k_xΔx，其中

当Δθ_x＞0云台在水平方向应该沿着逆时针方向调整，当Δθ_x＜0云台在水平方向应该沿着顺时针方向调整；若|Δy|＞δ，云台垂直方向调整角度Δθ_y＝k_yΔy，其中

当Δθ_y＞0云台在水平方向应该向下调整，当Δθ_y＜0云台在水平方向应该向上调整；云台水平、垂直两个方向调整结束后转入步骤D；

上式中，δ为设定的阈值。

本发明主要用于自主林业机器人在林区作业时自动检测目标，并实时调整云台的角度，让林业机器人的作业目标的中心坐标始终处于图像中心或附近区域，属于林业智能装备领域。

本发明的自主林业机器人，包括摄像机、数字控制云台和控制计算机等组成的基于计算机视觉的云台实时控制系统的硬件支持，包括摄像机、数字控制云台和控制计算机等三个部分。摄像机架设在数字控制云台上，摄像机与监控计算机通过IEEE1394接口相连接，通过监控计算机实时读取摄像机获取的图像，并根据本法明提出的相关算法进行图像处理与分析。数字控制云台通过RS232接口与计算机连接并进行通讯，计算机通过RS232接口向数值控制云台发送云台实时姿态控制命令，云台按照控制命令改变自身的姿态实现自主林业机器人目标跟踪。该系统中硬件类型和硬件之间连接的接口并不局限于此。

本发明具有以下优点：

本发明的自主林业机器人目标跟踪方法不依赖于特定的硬件系统，使用于基于计算机视觉的云台实时控制系统，只要该系统包括监控计算机、数字控制云台和摄像机，这些硬件的具体型号和接口类型并不局限于前面描述的IEEE1394接口和RS232接口，不同类型的接口只是驱动方法不同；

本发明中自动实时跟踪的目标通过运动目标自动检测获取，并不需要与目标相关的先验知识，比如目标大小形状类型等。该发明的可以应用于不同作业类型的自主林业机器人；

本发明中云台的自适应实时控制是一个闭环控制，控制算法能够根据目标位置与图像中心的距离自适应调整云台水平、垂直两个方向角度调量的大小，在目标位置与图像中心位置较大的时候，云台方向角度调量大，在目标位置与图像中心位置较小的时候云台方向角度调量小。同时设计了一个容差余量δ，并不需要目标中心与图像中心完全重合，只需要目标在图像中心附近区域即可，这样可以避免当目标已经非常接近图像中心时云台还一直处于调节状态的情况。

具体实施例，如图1至图5所示：

图1给出的林业机器人目标跟踪任务示意图反映了目标跟踪具体和跟踪过程；图2给出了基于计算机视觉的云台实时控制系统结构图，也就是实现本发明提出的一种自主林业机器人目标跟踪方法的硬件系统；图3、图4和图5是一种自主林业机器人目标跟踪方法的软件流程图。

如图1所示，自主林业机器人目标跟踪就是在自主林业机器人行走或者静止的情况下自动控制云台的水平垂直方向的角度，让目标始终位于图像的中心位置或者附近区域；

如图2所示，是一种基于计算机视觉的云台实时控制系统，其中对摄像机、云台监控计算以及它们之间的接口没有特别的要求；

再参见图1，在摄像机采集图像及检测到目标之后，计算目标中心坐标和图像中心位置的差别(Δx，Δy)，监控计算机根据本发明提出的云台实时运动控制方法调整云台的姿态，让目标始终位于图像的中心位置或者附近区域。

如图3所示，是自主林业机器人目标跟踪整体流程图，摄像机、云台初始化分别需要利用摄像机和云台厂家提供的摄像机和云台的应用程序接口函数库中相关函数对摄像机和云台进行初始化，然后摄像机的应用程序接口函数库中相关函数进行图像采集。对采集图像进行处理分析，先检测图像中是否存在目标，若存在目标，计算目标的中心位置并判断目标是否在图像中心及其附近区域，若目标中心不在图像中心及其附近区域，根据目标中心坐标和云台实时控制算法调整云台姿态，让目标中心始终处于图像中心及其附近区域。

如图4所示，是运动目标检测程序流程图，算法详细实现步骤包括：①图像差分计算，可以对视频图像序列以及采样速率进行设置，以适用于准确提取不同运动速率的目标。默认设置为：每组图像序列n＝3幅灰度图片，采样速率为0.2s。即每200ms秒采集一帧图片，共连续获取3帧图片为一组。利用3幅图像进行两两差分运算，那么差分图像共n_Δf＝3*(3-1)/2。②差分图像的阈值分割，针对每一个差分图像进行阈值分割，得到二值图像。利用基于最大类间方差准则计算差分图像分割的阈值，其基本思想是利用随机阈值Z′将像素灰度分成两类，使这两类灰度均值距离最远的Z为最佳分割阈值。③对所有经过图像阈值化处理后的差分图像进行求和，定位持续运动的区域，得到运动目标边界信息。对于求和后的图像，利用数学形态学的先腐蚀后膨胀的处理方法去除噪声和干扰点，最终可获得较理想的运动目标的边界。

如图5所示，是云台实时运动控制流程图，给出了云台姿态调整的具体过程。令目标的外接矩形水平方向长度为W，垂直方向长度为H，目标中心坐标为(x，y)，图像中心坐标为(x₀，y₀)。数字控制云台的调整算法具体实现步骤如下：(1)计算目标中心与图像中心位置差别(Δx，Δy)，Δx＝x₀-x，Δy＝y₀-y。(2)若

则目标已经出于图像中心或附近区域，云台不需要调整，转向步骤(1)；若云台需要进行调整，转向步骤(3)。(3)若|Δx|＞δ，云台水平方向调整角度Δθ_x＝k_xΔx，其中

当Δθ_x＞0云台在水平方向应该沿着逆时针方向调整，当Δθ_x＜0云台在水平方向应该沿着顺时针方向调整；若|Δy|＞δ，云台垂直方向调整角度Δθ_y＝k_yΔy，其

当Δθ_y＞0云台在水平方向应该向下调整，当Δθ_y＜0云台在水平方向应该向上调整；云台水平、垂直两个方向调整结束后转入步骤(1)。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (6)

1.一种自主林业机器人目标跟踪方法，该方法应用于包括计算机视觉、数字控制云台和中央控制计算机的自主林业机器人的目标跟踪，其特征在于，包括运动目标检测部分和云台实时运动控制部分；

所述的运动目标检测部分包括图像预处理模块、多帧差分法的运动信息获取模块、运动目标判别模块、目标中心坐标计算模块；

所述图像预处理用于对多帧图像进行图像滤波、图像灰度化和图像分段线性分段变换；

所述多帧差分法的运动信息获取模块首先对所有图像进行两两差分，并对每一差分图像进行图像分割，然后对分割后的差分图像进行累积求和，获得运动目标信息；

所述运动目标判别模块根据设定的阈值来判断是否存在运动目标；

若存在运动目标，则所述目标中心坐标计算模块记录目标的外接矩形及目标中心坐标；

所述云台实时运动控制部分控制所述目标的中心位于图像中心的附近区域。

2.根据权利要求1所述的自主林业机器人目标跟踪方法，其特征在于，所述多帧差分法的运动信息获取模块获得运动目标信息包括步骤：

A、图像差分计算：对视频图像序列以及采样速率进行设置，以适用于准确提取不同运动速率的目标；

B、差分图像的阈值分割：针对每一个差分图像进行阈值分割，得到二值图像；

C、对所有二值图像进行求和，定位持续运动的区域，得到运动目标边界信息。

3.根据权利要求2所述的自主林业机器人目标跟踪方法，其特征在于：

所述步骤A中，默认设置为：每组图像序列n＝3幅灰度图片，采样速率为0.2s。即每200ms采集一帧图片，共连续获取3帧图片为一组，利用3幅图像进行两两差分运算，得到差分图像共n_Δf＝3*(3-1)/2幅；

所述步骤B中，利用最大类间方差阈值法计算得到分割阈值，具体是利用随机阈值将像素灰度分成两类，这两类灰度均值距离最远的阈值为最佳分割阈值；

所述步骤C中，对于求和后的图像，利用数学形态学的先腐蚀后膨胀的处理方法去除噪声和干扰点，获得运动目标的边界信息。

4.根据权利要求1所述的自主林业机器人目标跟踪方法，其特征在于，所述设定的阈值为运动目标的面积阈值；

所述目标中心坐标为目标图像的一阶矩和零阶矩的比值。

5.根据权利要求1至4任一项所述的自主林业机器人目标跟踪方法，其特征在于，所述云台实时运动控制部分根据所述目标中心坐标控制数字控制云台的水平、垂直两个方向的角度调整度量，并构成闭环控制系统。

6.根据权利要求5所述的自主林业机器人目标跟踪方法，其特征在于，所述云台实时运动控制部分的控制算法包括：

令目标的外接矩形水平方向长度为W，垂直方向长度为H，目标中心坐标为(x，y)，图像中心坐标为(x₀，y₀)，数字控制云台的调整步骤如下：

D、计算目标中心与图像中心位置差别(Δx，Δy)，Δx＝x₀-x，Δy＝y₀-y；

E、若

则目标已经出于图像中心或附近区域，云台不需要调整，转向步骤D；若

云台需要进行调整，转向步骤F；

F、若|Δx|＞δ，云台水平方向调整角度Δθ_x＝k_xΔx，其中

当Δθ_x＞0云台在水平方向应该沿着逆时针方向调整，当Δθ_x＜0云台在水平方向应该沿着顺时针方向调整；若|Δy|＞δ，云台垂直方向调整角度Δθ_y＝k_yΔy，其中

当Δθ_y＞0云台在水平方向应该向下调整，当Δθ_y＜0云台在水平方向应该向上调整；云台水平、垂直两个方向调整结束后转入步骤D；

上式中，δ为设定的阈值。

Images