CN112614191A - 基于双目深度相机的装卸位置检测方法、装置和系统 - Google Patents

Abstract

本发明提供了一种基于双目深度相机的装卸位置检测方法，属于位置检测技术领域，包括如下步骤：采集装卸区域内待检测物的图像和深度；基于双目深度相机的畸变参数，对所述图像进行去畸变处理；利用训练好的深度学习模型识别经去畸变处理后的图像，获取所述待检测物的中心点像素坐标；根据所述畸变参数、采集的所述深度和获取的所述中心点像素坐标，计算所述待检测物的空间三维坐标；根据待检测物的真实空间三维坐标、计算得到的空间三维坐标和影响坐标精度的误差项，构建待检测物的坐标误差模型；根据所述坐标误差模型获得经误差纠正的空间三维坐标。本发明能够提高装卸位置检测的自动化水平、工作效率和安全性。

Description

基于双目深度相机的装卸位置检测方法、装置和系统

技术领域

本发明涉及无人行车装卸位置检测技术领域，尤其涉及基于双目深度相机的装卸位置检测方法、装置和系统。

背景技术

随着自动化技术的日益发展，现代工业对行车的高效性、安全性提出了越来越高的需求。行车已从单一的搬运工具逐步演变成自动化柔性化生产中的重要组成部分。全自动行车将成为现代生产制造执行管理系统中必需的执行构件，其利用先进的计算机控制技术，根据接收到的上层网络作业指令进行对物料的检测、行车各机构的精确定位完成卸料、上料、移库等作业，实现物料的全自动存储及装卸。其中，物料经由无人行车或者框架车入库、出库时，通过全自动无人行车实现对其自动、精确、高效的装车和卸车成为整个全自动无人行车系统研究的核心之一。

目前，国内外对于行车的装卸区域的货物检测方法的主要有如下方案：

(1)半自动方式。无人行车在装卸物料区域时，由装卸区域的操作人员，利用遥控器控制行车来完成货物的装卸。在这种情况下，无人行车作业的自动化水平较低，人为干预的因素较多，降低了无人行车作业的安全性和作业效率；

(2)固定位置的全自动模式。所有入库、出库的无人行车的垛位位置固定以及无人行车上物料位置固定，在这种情况下，无人行车可以精确地获得物料以及垛位的位置，从而实现自动走行、装卸物料。在该模式下，由于对无人行车的要求过高，在实际生产作业中可行性较低；

(3)相对位置的全自动模式。无人行车出库时，司机通过手动控制激光扫描装置定位无人行车上的物料或垛位位置；无人行车入库时，激光扫描装置自动定位无人行车上的物料或垛位位置。从而无人行车可以获得物料以及垛位的位置，从而实现自动走行、装卸物料。在该模式下，无人行车司机需要肉眼观察落在无人行车上的可见红光线，当无人行车的车架高于司机的观察范围时，司机需要借助辅助平台才能观察到扫描线，这就给该模式的实施带来了不便；同时可见红光线对人眼的危害较大。另外，由于激光扫描装置价格比较昂贵，大大增加了无人行车作业的成本。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种基于双目深度相机的装卸位置检测方法、装置和系统，能够提高装卸位置检测的自动化水平、工作效率和安全性，并且操作简便，有助于减少作业成本。

为达到上述目的，本发明是采用下述技术方案实现的：

第一方面，本发明提供了一种基于双目深度相机的装卸位置检测方法，包括如下步骤：

采集装卸区域内待检测物的图像和深度；

基于双目深度相机的畸变参数，对所述图像进行去畸变处理；

利用训练好的深度学习模型识别经去畸变处理后的图像，获取所述待检测物的中心点像素坐标；

根据所述畸变参数、采集的所述深度和获取的所述中心点像素坐标，计算所述待检测物的空间三维坐标；

根据待检测物的真实空间三维坐标、计算得到的空间三维坐标和影响坐标精度的误差项，构建待检测物的坐标误差模型；

根据所述坐标误差模型获得经误差纠正的空间三维坐标。

进一步的，对所述图像进行去畸变处理的方法包括如下步骤：

利用双目深度相机的畸变系数并调用视觉opencv库中的函数对采集的图像进行去畸变处理。

进一步的，训练深度学习模型的方法包括如下步骤：

利用标注工具对经去畸变处理的图像进行待检测物标注，构建包含待检测物的边缘和范围的训练集；

利用深度学习模型和物体检测算法对构建的训练集进行训练，获得模型收敛的深度学习模型。

进一步的，所述待检测物包括无人行车和货物，获取所述待检测物的中心点像素坐标的方法包括如下步骤：

利用训练好的深度学习模型实时识别装卸区域中的无人行车图像和货物图像，获取无人行车区域像素坐标集和货物区域像素坐标集；

对获取的无人行车区域像素坐标集和货物区域像素坐标集分别取中值，计算获得无人行车和货物的中心像素坐标。

进一步的，计算所述待检测物的空间三维坐标的方法包括如下步骤：

根据相机成像模型求得待检测物的四维归一化坐标，然后对求得的四维归一化坐标进行去除归一化处理得到待检测物的空间三维坐标；其中，

所述相机成像模型表示如下：

Zp＝K[R|t]P

其中，p为中心像素坐标，K为相机内参数，R,t为相机外参数，P为四维归一化坐标[X,Y,Z,1]^T，(X,Y,Z)为空间三维坐标。

进一步的，构建待检测物的坐标误差模型的方法包括如下步骤：

测量得到待检测物的真实空间三维坐标；

根据真实空间三维坐标和计算得到的空间三维坐标，计算获得坐标误差值；

根据影响坐标精度的误差项，建立坐标误差值和误差项之间的坐标误差模型关系；

根据多组所述坐标误差值，计算确定坐标误差模型中参数。

进一步的，还包括对双目深度相机进行相机标定，具体方法包括如下步骤：

制作黑白标定板；

采集一定数量的标定板图像；

利用经筛选去除后的标定板图像和张氏相机标定法对双目深度相机进行相机标定；

根据所述相机标定获取双目深度相机的内参数和外参数以及畸变参数。

第二方面，本发明提供了一种装卸位置检测装置，包括双目深度相机，包括如下模块：

数据采集模块，用于采集装卸区域内的待检测物的图像和深度；

畸变处理模块，用于基于双目深度相机的畸变参数，对所述图像进行去畸变处理；

中心坐标模块，用于利用训练好的深度学习模型识别经去畸变处理后的图像，获取所述待检测物的中心点像素坐标；

计算坐标模块，用于根据所述畸变参数、采集的所述深度和获取的所述中心点像素坐标，计算所述待检测物的空间三维坐标；

误差模型模块，用于根据待检测物的真实空间三维坐标、计算得到的空间三维坐标和影响坐标精度的误差项，构建待检测物的坐标误差模型；

误差纠正模块，用于根据所述坐标误差模型获得经误差纠正的空间三维坐标。

第三方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现第一方面中任一项所述方法的步骤。

第四方面，本发明提供了一种装卸位置检测系统，包括第二方面中所述的装卸位置检测装置；

所述系统利用所述装卸位置检测装置对装卸区域内的待检测物进行位置检测。

与现有技术相比，本发明所达到的有益效果：

本发明的基于双目深度相机的装卸位置检测方法、装置和系统，能够实时获取待检测物无人行车和货物等的位置数据，提高了无人行车和货物在装卸区域内作业自动化水平和工作效率；避免了人为因素较大干扰，可靠性高；同时解决了现有技术中采用可见红外光带来的安全性问题；能够适应多种应用场合，降低了制造和应用成本。

附图说明

图1是本发明实施例提供的一种基于双目深度相机的装卸位置检测方法的流程图；

图2是本发明实施例提供的一种基于双目深度相机的装卸位置检测方法中无人行车和货物中心像素坐标的示意图；

图3是本发明实施例提供的一种装卸位置检测装置的结构框图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。

实施例一：

如图1所示，本发明提供了一种基于双目深度相机的装卸位置检测方法，包括如下步骤：

步骤1：采集装卸区域内待检测物的图像和深度，所述待检测物包括无人行车和货物；

步骤2：基于双目深度相机的畸变参数，对所述图像进行去畸变处理；

步骤3：利用训练好的深度学习模型识别经去畸变处理后的图像，获取所述待检测物的中心点像素坐标；

步骤4：根据所述畸变参数、采集的所述深度和获取的所述中心点像素坐标，计算所述待检测物的空间三维坐标；

步骤5：根据待检测物的真实空间三维坐标、计算得到的空间三维坐标和影响坐标精度的误差项，构建待检测物的坐标误差模型；

步骤6：根据所述坐标误差模型获得经误差纠正的空间三维坐标。

为了更好地进行位置检测作业，可以提前单独获取所采用双目深度相机的内参数、外参数和畸变参数，也可以对内参数、外参数和畸变参数进行现场测量确定。在本实施例中，基于双目深度相机的装卸位置检测方法在步骤1或步骤2之前还包括对双目深度相机进行相机标定，具体方法包括如下步骤：

制作黑白标定板；

采集一定数量的标定板图像，去除不能用于相机标定的标定板图像；

利用经筛选去除后符合条件的标定板图像和张氏相机标定法对双目深度相机进行相机标定；

利用最小二乘法和非线性优化方法来最小化标定板图像中的特征点的重投影误差，计算得到相机的内参数和外参数，以及畸变参数，以方便用于对待检测物图像去进行去畸变处理和计算物体空间三维坐标。

其中，相机标定的具体实现方式有两种，一种是利用matlab中集成的相机标定工具进行相机标定；另一种是利用视觉opencv库中的一些相关函数进行相机标定。

待相机标定获得内参数、外参数和畸变参数后，将双目深度相机安置于无人行车装卸区域的正上方，便于对整个装卸区域获取相关图像。

如图1所示，本发明装卸位置检测方法中利用双目深度相机的畸变系数并调用视觉opencv库中的函数对采集的图像进行去畸变处理，相机畸变模型具体如下：

x_corrected＝x(1+k₁r²+k₂r⁴+k₃r³)+2p₁xy+p₂(r²+2x²)

y_corrected＝y(1+k₁r²+k₂r⁴+k₃r³)+2p₂xy+p₁(r²+2y²)

式中，k₁、k₂、k₃、p₁、p₂为均为畸变系数，均可由相机标定得到，利用批量采集装卸区域的包含无人行车和货物的图像，在采集的同时利用相机的畸变系数并调用视觉opencv中的函数对图像进行去畸变处理，进而获得大量无畸变的无人行车和货物图像。

如图2所示，在步骤2中对去畸变处理后的无人行车的图像和货物的图像，利用标注工具进行无人行车和货物的位置标注，确定无人行车和货物的边缘和范围，可以得到无人行车区域像素坐标集Car(Xmin,Ymin,Xmax,Ymax)和货物区域像素坐标集Goods(Xmin,Ymin,Xmax,Ymax)，然后构建训练集；

利用深度学习框架Tensorflow和物体检测算法YOLOV3，根据误差模型e＝e₁-e₂对训练集进行训练，其中，e₂＝k*input+b，e为误差，e₁为期望输出，e₂为模型输出，input为模型输入，这里模型输入为上述步骤2中的训练集中的图片。在训练过程中，当模型参数k,b都趋于稳定，且误差e比较小且保持稳定时，可以判定模型收敛，结束训练，从而获得模型收敛的深度学习模型，用于获取无人行车区域像素坐标集和货物区域像素坐标集。

在步骤3中，利用训练好的深度学习模型实时识别装卸区域中的无人行车图像和货物图像，获取无人行车区域像素坐标集Car(Xmin,Ymin,Xmax,Ymax)和货物区域像素坐标集Goods(Xmin,Ymin,Xmax,Ymax)。

对获取的无人行车区域像素坐标集和货物区域像素坐标集分别取中值，计算获得无人行车的中心像素坐标和货物的中心像素坐标，即计算出无人行车的中心像素坐标Car(X,Y)和货物的中心像素坐标Goods(X,Y)，如图2所示。

同时，根据无人行车的区域像素坐标集可以知道无人行车停靠位置，进而可以判断无人行车停靠位置是否合格。

在本实施例的步骤4中，根据所述畸变参数、采集的所述深度和获取的所述中心点像素坐标，计算待检测物无人行车和货物的空间三维坐标的方法包括如下步骤：

根据相机成像模型求得待检测物的四维归一化坐标，然后对求得的四维归一化坐标进行去除归一化处理得到待检测物的空间三维坐标；

其中，相机成像模型表示如下：

Zp＝K[R|t]P

其中，p为中心像素坐标，K为相机内参数，R,t为相机外参数，P为四维归一化坐标[X,Y,Z,1]^T，(X,Y,Z)为空间三维坐标，其中Z高度距离(深度)可以通过双目深度相机直接获得。

在本实施例的步骤5中，根据待检测物的真实空间三维坐标、计算得到的空间三维坐标和影响坐标精度的误差项，构建待检测物的坐标误差模型，具体操作如下：

测量得到待检测物真实的空间三维坐标P₁，与计算得到的待检测物空间三维坐标P₂进行对比，计算得到坐标误差值e；

根据实际环境考虑整个过程中存在的误差项,待检测物与相机的垂直距离H，利用数学建模，建立坐标误差值e和误差项之间的坐标误差模型关系；e＝P₁-P₂ e＝aP₁+bH²+c。

其中，H为上述步骤4中的深度Z，已经得到，然后，根据多组真实的空间三维坐标P₁和计算得到的待检测物空间三维坐标P₂计算出的坐标误差值e来确定坐标误差模型中的参数a、b和c。

最后，利用确定参数的坐标误差模型获得经误差纠正的空间三维坐标，达到缩小检测误差的目的，使位置检测结果误差达到可接受的精度范围。

在本实施例中，将实时获的经误差纠正的货物空间三维坐标发送给无人行车系统，无人行车在实时获取自身经误差纠正的空间三维坐标的指引下，对货物的装卸进行相应作业，以达到提高装卸作业自动化水平、提高作业效率的目的。

实施例二：

如图3所示，本发明实施例提供了一种装卸位置检测装置，包括安装于装卸区域上方的双目深度相机，该装置包括如下模块：

数据采集模块，用于采集装卸区域内的待检测物的图像和深度；

畸变处理模块，用于基于双目深度相机的畸变参数，对所述图像进行去畸变处理；

中心坐标模块，用于利用训练好的深度学习模型识别经去畸变处理后的图像，获取所述待检测物的中心点像素坐标；

计算坐标模块，用于根据所述畸变参数、采集的所述深度和获取的所述中心点像素坐标，计算所述待检测物的空间三维坐标；

误差模型模块，用于根据待检测物的真实空间三维坐标、计算得到的空间三维坐标和影响坐标精度的误差项，构建待检测物的坐标误差模型；

误差纠正模块，用于根据所述坐标误差模型获得经误差纠正的空间三维坐标。

实施例三：

本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现实施例一中所述方法的步骤。

实施例四：

本发明实施例提供了一种装卸位置检测系统，该系统包括实施例二中所述的装卸位置检测装置；

其中，系统利用装卸位置检测装置对装卸区域内的待检测物进行位置检测。

综上，本发明的基于双目深度相机的装卸位置检测方法、装置和系统，能够实时获取待检测物无人行车和货物等的位置数据，提高了无人行车和货物在装卸区域内作业自动化水平和工作效率；避免了人为因素较大干扰，可靠性高；同时解决了现有技术中采用可见红外光带来的安全性问题；能够适应多种应用场合，且所用设备材料简单易得，降低了制造和应用成本。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.基于双目深度相机的装卸位置检测方法，其特征在于，包括如下步骤：

采集装卸区域内待检测物的图像和深度；

基于双目深度相机的畸变参数，对所述图像进行去畸变处理；

利用训练好的深度学习模型识别经去畸变处理后的图像，获取所述待检测物的中心点像素坐标；

根据所述畸变参数、采集的所述深度和获取的所述中心点像素坐标，计算所述待检测物的空间三维坐标；

根据待检测物的真实空间三维坐标、计算得到的空间三维坐标和影响坐标精度的误差项，构建待检测物的坐标误差模型；

根据所述坐标误差模型获得经误差纠正的空间三维坐标。

2.根据权利要求1所述的基于双目深度相机的装卸位置检测方法，其特征在于，对所述图像进行去畸变处理的方法包括如下步骤：

利用双目深度相机的畸变系数并调用视觉opencv库中的函数对采集的图像进行去畸变处理。

3.根据权利要求2所述的基于双目深度相机的装卸位置检测方法，其特征在于，训练深度学习模型的方法包括如下步骤：

利用标注工具对经去畸变处理的图像进行待检测物标注，构建包含待检测物的边缘和范围的训练集；

利用深度学习模型和物体检测算法对构建的训练集进行训练，获得模型收敛的深度学习模型。

4.根据权利要求1所述的基于双目深度相机的装卸位置检测方法，其特征在于，所述待检测物包括无人行车和货物，获取所述待检测物的中心点像素坐标的方法包括如下步骤：

利用训练好的深度学习模型实时识别装卸区域中的无人行车图像和货物图像，获取无人行车区域像素坐标集和货物区域像素坐标集；

对获取的无人行车区域像素坐标集和货物区域像素坐标集分别取中值，计算获得无人行车和货物的中心像素坐标。

5.根据权利要求1所述的基于双目深度相机的装卸位置检测方法，其特征在于，计算所述待检测物的空间三维坐标的方法包括如下步骤：

根据相机成像模型求得待检测物的四维归一化坐标，然后对求得的四维归一化坐标进行去除归一化处理得到待检测物的空间三维坐标；其中，

所述相机成像模型表示如下：

Zp＝K[R|t]P

其中，p为中心像素坐标，K为相机内参数，R,t为相机外参数，P为四维归一化坐标[X,Y,Z,1]^T，(X,Y,Z)为空间三维坐标。

6.根据权利要求1所述的基于双目深度相机的装卸位置检测方法，其特征在于，构建待检测物的坐标误差模型的方法包括如下步骤：

测量得到待检测物的真实空间三维坐标；

根据真实空间三维坐标和计算得到的空间三维坐标，计算获得坐标误差值；

根据影响坐标精度的误差项，建立坐标误差值和误差项之间的坐标误差模型关系；

根据多组所述坐标误差值，计算确定坐标误差模型中参数。

7.根据权利要求1所述的基于双目深度相机的装卸位置检测方法，其特征在于，还包括对双目深度相机进行相机标定，具体方法包括如下步骤：

制作黑白标定板；

采集一定数量的标定板图像；

利用经筛选去除后的标定板图像和张氏相机标定法对双目深度相机进行相机标定；

根据所述相机标定获取双目深度相机的内参数和外参数以及畸变参数。

8.一种装卸位置检测装置，包括双目深度相机，其特征在于，包括如下模块：

数据采集模块，用于采集装卸区域内的待检测物的图像和深度；

畸变处理模块，用于基于双目深度相机的畸变参数，对所述图像进行去畸变处理；

中心坐标模块，用于利用训练好的深度学习模型识别经去畸变处理后的图像，获取所述待检测物的中心点像素坐标；

计算坐标模块，用于根据所述畸变参数、采集的所述深度和获取的所述中心点像素坐标，计算所述待检测物的空间三维坐标；

误差模型模块，用于根据待检测物的真实空间三维坐标、计算得到的空间三维坐标和影响坐标精度的误差项，构建待检测物的坐标误差模型；

误差纠正模块，用于根据所述坐标误差模型获得经误差纠正的空间三维坐标。

9.计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1～7任一项所述方法的步骤。

10.一种装卸位置检测系统，其特征在于，包括权利要求8所述的装卸位置检测装置；

所述系统利用所述装卸位置检测装置对装卸区域内的待检测物进行位置检测。

Images