CN103707300A - 机械手装置 - Google Patents

Abstract

本发明提供了一种的机械手装置，其特征在于，包括：机械手；成像部，对机械手和目标物进行成像，得到含有二者的图像，并将图像进行传递；以及处理控制部，分别与成像部和机械手相连，用于接收和处理图像，并控制机械手到达预定位置进行抓取或搬运。根据本发明所提供的机械手装置，由于成像部能够对机械手与目标物成像，得到二者的图像，处理控制部能够接收图像并对图像进行处理，得到机械手到达预定位置所需的运动矢量，然后根据该运动矢量控制机械手到达预定位置，对目标物进行抓取或搬运，从而使机械手能够根据目标物或环境的变化进行准确定位，并自动调整位置和姿势，准确的抓取或搬运目标物。

Description

机械手装置

技术领域

本发明属于机械设备自动控制领域，具体涉及一种能够自动定位和控制的机械手装置。 

背景技术

机器人是自动执行工作的机器，能够协助或取代人类的进行工作，在工业及非工业领域均有着广泛的应用，如手术、水果采摘、枝叶修剪、巷道掘进、侦查及排雷等。 

机械手作为工业机器人的一种，是最早出现的工业机器人，也是最早出现的现代机器人。它不仅能够代替工作人员进行繁重的劳动以实现生产的机械化和自动化，也能够在有害环境下进行工作以保护工作人员的人身安全，因而广泛的应用于机械制造、冶金、电子、轻工和原子能等领域。 

目前，国内外的机械手大都采用示教控制方式工作，即机械手按照事先编好的程序工作，若其工作对象或工作环境发生变化，机械手就无法准确定位，导致其难以正常工作，自动化程度不高。 

发明内容

本发明的目的是提供一种机械手装置，以解决上述问题。 

为了实现上述目的，本发明采用了以下技术方案： 

一种机械手装置，其特征在于，包括：机械手；成像部，对机械手和目标 物进行成像，得到含有二者的图像，并将图像进行传递；以及处理控制部，分别与成像部和机械手相连，用于接收和处理图像，并控制机械手到达预定位置进行抓取或搬运。其中，处理控制部具有与成像部相连的图像采集单元、与机械手相连的控制单元以及安装有图像采集单元和控制单元的处理单元。图像采集单元用于接收图像，并将图像转化为数字信号传递到处理单元；处理单元对图像进行处理并计算，得出机械手到达预定位置的运动矢量，并将运动矢量的信息传递给控制单元；控制单元根据运动矢量的信息对机械手发出相应的工作指令，机械手根据该工作指令运动到预定位置抓取或搬运目标物。 

另外，本发明所涉及的机械手装置还可以具有这样的特征：其中，成像部为两个摄像头，机械手及目标物均位于摄像头的视野内。 

另外，上述摄像头还可以具有这样的特征：其中，摄像头为CMOS摄像头。 

另外，本发明所涉及的机械手装置还可以具有这样的特征：其中，机械手具有多个执行部件、多个执行关节以及多个分别与执行部件相连的驱动部件，各个执行部件之间通过执行关节相连，并能够沿执行关节相互转动，驱动部件均与控制单元相连，接收控制单元发送的工作指令，并驱动各个执行部件转动到达预定位置。 

发明的作用与效果 

根据本发明所提供的机械手装置，由于成像部能够对机械手与目标物成像，得到二者的图像，处理控制部能够接收图像并对图像进行处理，得到机械手到达预定位置所需的运动矢量，然后根据该运动矢量控制机械手到达预定位置，对目标物进行抓取或搬运，从而使机械手能够根据目标物或环境的变化进行准 确定位，并自动调整位置和姿势，准确的抓取或搬运目标物。 

另外，由于处理单元能够对图像的几何失真进行校正，并能起到平滑滤波、图像增强、及立体匹配的作用，从而可以精确的得到机械手和目标物的位置信息。 

另外，本发明所提供的机械手装置结构简单，成本较低。 

附图说明

图1是本发明所涉及的机械手装置的框图；以及 

图2是本发明所涉及的机械手装置在实施例中的结构示意图。 

具体实施方式

以下结合附图，对本发明所涉及的机械手装置的具体实施形态做进一步说明。 

<实施例> 

图1是本发明所涉及的机械手装置的框图。 

如图1所示，本实施例所涉及的机械手装置10具有机械手11、含有两个CMOS摄像头的成像部12以及处理控制部13。处理控制部13包括与成像部12相连的图像采集单元131、与机械手11相连的控制单元133、以及安装有图像采集单元131和控制单元133的处理单元132。 

成像部12对机械手11及周边环境进行成像，图像采集单元131将成像部12得到的图像的模拟信号转化为易于处理的数字信号，并将其传递到处理单元132，处理单元132中设定有图像处理程序及用来计算机械手11的运动矢量的 插补算法程序，能够对图像进行处理及运算，得到机械手11需要运动的运动矢量，并将该运动矢量传递到控制单元133，控制单元133根据该运动矢量给机械手11发送相应的工作指令，控制其工作。 

其中，图像处理程序主要包括以下五个步骤： 

步骤一：对几何失真进行校正： 

由于成像部的镜头部件的精度有限，光敏元件系列分布不可能绝对一致，所得图像不可避免的存在几何畸变。 

设g(x’,y’)是实际获得的图像，f(x,y)是理想情况下的图像，对几何失真进行校正有如下变换： 

$\left\{\begin{array}{c}x=T_1(x^{\&prime;},y^{\&prime;})\\ y=T_2(x^{\&prime;},y^{\&prime;})\end{array}\right.---\left(1\right)$

对畸变图像g(x’,y’)逐点进行校正，并把g(x’,y’)的值(灰度)赋到正确的(x,y)上,得到经过几何校正的图像f(x,y)。以上赋值的过程就称为再采样。 

畸变图像中的坐标(x_i’,y_i’)和理想图像中的坐标(x_i,y_i)已知，可以通过已知的图像坐标求出校正函数T₁和T₂，校正函数如式（2）所示： 

$\left\{\begin{array}{c}x=a_{11}{x}^{\&prime;}+a_{12}{y}^{\&prime;}+a_{13}{x}^{\&prime;}{y}^{\&prime;}+a_{14}\\ y=a_{21}{x}^{\&prime;}+a_{22}{y}^{\&prime;}+a_{23}{x}^{\&prime;}{y}^{\&prime;}+a_{24}\end{array}\right.---\left(2\right)$

以上的校正函数足以满足小范围局部畸变的准确校正，对于大范围的复杂畸变可以选用高阶多项式校正函数进行校正，或者将图像分成若干个小区域，在每一个小区域上使用以上线性校正函数校正。 

将已知图像点带入式（2）中，得到如下方程组： 

$\left\{\begin{array}{c}{x}_i=a_{11}{x}^{\&prime;}+a_{12}{y}^{\&prime;}+a_{13}{x}^{\&prime;}{y}^{\&prime;}+a_{14}\\ y_i=a_{21}{x}^{\&prime;}+a_{22}{y}^{\&prime;}+a_{23}{x}^{\&prime;}{y}^{\&prime;}+a_{24}\end{array}\right.---\left(3\right)$

其中，i=1，2，...，N。 

方程组写成矩阵形式:QA=C，其中，A的最优解为:A=(Q^TQ)^-1Q^TC。 

$\begin{array}{c}A={\left[\begin{array}{cccccccc}a11& a12& a13& a14& a21& a22& a23& a24\end{array}\right]}^T\\ C={\left[\begin{array}{ccccccc}{x}_1& y_1& x_2& y_2& ...& x_N& y_N\end{array}\right]}^T\end{array}---\left(4\right)$

步骤二：平滑滤波： 

任何采集到的未经处理的图像都会不同程度的受到噪声的影响,噪声的干扰使图像模糊，甚至掩盖图像特征，对于图像质量影响很大，也给图像后处理和图像信息的计算带来不便。图像除噪的过程就称为图像平滑或滤波。根据需要选择方形的3×3的滤波窗口,首先对图像进行灰度化再利用中值滤波完成图像的平滑处理。 

步骤三：图像增强： 

为了将图像中所需的特征信息（边缘或轮廓）有选择地进行突出，在图像质量下降可接受的范围内衰减其他无用的特征信息进行，此类方法称为图像增强。采用灰度直方图修正的方法来实现对比度增强，突出目标物体轮廓。 

步骤四：特征提取 

采用Canny算子对图像的轮廓进行提取。 

坎尼(Canny)算子一个重要的特点是其试图将独立边的候选像素拼装成轮廓，通过对这些像素运用滞后性阈值来形成轮廓，这意味着有两个阈值，上限和下限。若一个像素的梯度大于上限阈值就认为是边缘像素，低于下限阈值则被抛弃，如果介于两者中间，当其与高于上限阈值的像素连接时会被接受，否 则被抛弃。 

步骤五：立体匹配 

在双摄像头立体视觉系统中，立体匹配是其关键部分。双目视觉测量原理是利用空间中同一点在两个摄像机成像平面上的视差来计算空间点的三维坐标。为了完成空间点坐标的测量,首先要确知空间点在两摄像机像面上的像点坐标，这两个像点就称为匹配像点，在两幅图像中找到匹配的像点坐标的过程被称为特征匹配。因此立体匹配的本质是给定一幅图像中的特征点，寻找其在另一幅图像中的对应点，使得这些点为空间同于物体的投影。 

立体匹配的基本步骤:首先从图相对中的一幅图像上选择与实际物体结构对应的图像特征；然后在另一幅图像中确定同一物体结构对应的图像特征；最后确定两幅图像特征之间的相对位置，得到视差。 

采用稀疏点立体匹配，特征点为轮廓点。稀疏点匹配主要是针对图像对中的强特征点(比如角点，轮廓点等待)进行匹配，然后对这些点进行插值运算，来得到比较完整的匹配结果。 

图2是本发明所涉及的机械手装置在实施例中的结构示意图。 

如图2所示，成像部12为两个CMOS摄像头，两个CMOS摄像头安装在幕墙15上。机械手11固定在与幕墙15垂直的底板14上，两个CMOS摄像头对机械手11和待抓取或搬运的目标物16进行实时监控，分别获得机械手11及目标物16的图像，并将所获得的图像传递到图像采集单元131。 

机械手11具有四个执行部件17、三个执行关节及四个分别控制各个执行部件17的步进电机。通过三个执行关节将四个执行部件17连接起来，执行部件17能够沿相应的执行关节相互转动。四个步进电机与控制单元133相连，作为 驱动部件驱动执行部件17转动，使执行部件17到达预定位置A，将目标物16抓取并搬运至目标位置B，其中预定位置A为执行部件17能够抓取到目标物16机械手11需到达的位置，目标位置B为目标物16需被搬运到的位置。 

使用本实施例所涉及的机械手装置10时，两个CMOS摄像头对机械手11及目标物16进行实时监控，分别得到含有机械手11及目标物16的图像，并将所获得的图像传递到图像采集单元131，图像采集单元131将图像从模拟信号转化为数字信号，并将其传递到处理单元132的图像处理程序将其校正、平滑滤波、及图像增强，得到机械手11及目标物16的三维坐标。 

在操作中，通过对图像进行一系列预处理，利用Canny边缘检测算子得到轮廓效果图，最后利用极线约束完成立体图像对的轮廓点匹配，得到匹配点后，通过直线线性插值得到匹配后的视差效果图，知道了图像的视差。根据式（5）： 

式中，Disparity=X_left-X_right,X_left和X_right分别表示左右摄像机获得目标点的图像坐标横坐标值，计算得到机械手11及目标物16的特征点在摄像机坐标系下的三维坐标，进而得到二者的三维坐标。 

所得到的三维坐标通过插补算法程序进行计算，得到四个执行部件17到达预定位置A的转动矢量，处理单元132将所得到的转动矢量传递到控制单元133，控制单元133根据该转动矢量发送相应的工作指令到各个步进电机，各个步进电机根据该工作指令驱动各个执行部件17转动，使各个执行部件17到达预定 位置A，将目标物16抓取并搬运至目标位置B。 

实施例的作用与效果 

根据本实施例所提供的机械手装置，由于具有两个CMOS摄像头，能够对机械手与目标物进行实时监控，分别得到含有二者的图像并将其传递到图像采集单元，图像采集单元将图像转化为数字信号并传递到处理单元进行处理，得到机械手到达预定位置所需的运动矢量，然后控制单元根据运动矢量控制机械手到达预定位置，对目标物进行抓取或搬运，从而使机械手能够根据目标物或环境的变化进行准确定位，并自动调整位置和姿势，准确的抓取或搬运目标物。 

采用两个摄像头进行实时监控，可以从不同方位获得两幅图像，根据空间中同一点在两个摄像机成像平面上的视差将两幅图像进行匹配后，可以得到机械手和目标物的三维坐标，能够更精确的进行定位。 

采用CMOS摄像头功耗小，成本低，整合度高。 

另外，由于设置有图像处理程序，能够对图像的几何失真进行校正，并能起到平滑滤波、图像增强、及立体匹配的作用，从而可以精确的得到机械手和目标物的位置信息。该处理程序由于特征点数量少，具有特征性强，匹配效率高，结果可靠的优点。 

另外，本发明所提供的机械手装置结构简单，成本较低。 

当然本发明所涉及的机械手装置并不仅仅限定于上述实施例中的结构。以上内容仅为本发明构思下的基本说明，而依据本发明的技术方案所作的任何等效变换，均应属于本发明的保护范围。 

另外，本发明所涉及的成像部还可以为两个CCD摄像头。 

Claims (4)

1.一种机械手装置，用于对目标物进行抓取或搬运，其特征在于，包括：

机械手；

成像部，对所述机械手和所述目标物进行成像，得到含有二者的图像，并将所述图像进行传递；以及

处理控制部，分别与所述成像部和所述机械手相连，用于接收和处理所述图像，并控制所述机械手到达预定位置进行所述抓取或搬运，

其中，所述处理控制部具有与所述成像部相连的图像采集单元、与所述机械手相连的控制单元以及安装有所述图像采集单元和所述控制单元的处理单元，

所述图像采集单元用于接收所述图像，并将所述图像转化为数字信号传递到所述处理单元，

所述处理单元对所述图像进行处理，得出所述机械手到达所述预定位置的运动矢量，并将所述运动矢量的信息传递给所述控制单元，

所述控制单元根据所述运动矢量的信息对所述机械手发出相应的工作指令，所述机械手根据该工作指令运动到所述预定位置抓取或搬运所述目标物。

2.根据权利要求1所述的机械手装置，其特征在于：

其中，所述成像部为两个摄像头，

所述机械手及所述目标物均位于所述摄像头的视野内。

3.根据权利要求2所述的机械手装置，其特征在于：

其中，所述摄像头为CMOS摄像头。

4.根据权利要求1所述的机械手装置，其特征在于：

其中，所述机械手具有多个执行部件、多个执行关节以及多个分别与所述执行部件相连的驱动部件，

各个所述执行部件之间通过所述执行关节相连，并能够沿所述执行关节相互转动，

所述驱动部件均与所述控制单元相连，接收所述控制单元发送的所述工作指令，并驱动各个所述执行部件转动到达所述预定位置。

Images