Nothing Special   »   [go: up one dir, main page]

CN107918939B - 用于板式家具生产线上的层叠板材大视野定位方法 - Google Patents

用于板式家具生产线上的层叠板材大视野定位方法 Download PDF

Info

Publication number
CN107918939B
CN107918939B CN201711135275.6A CN201711135275A CN107918939B CN 107918939 B CN107918939 B CN 107918939B CN 201711135275 A CN201711135275 A CN 201711135275A CN 107918939 B CN107918939 B CN 107918939B
Authority
CN
China
Prior art keywords
roi
rectc
region
rectd
plate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711135275.6A
Other languages
English (en)
Other versions
CN107918939A (zh
Inventor
李力
杨世杰
黄坤山
王华龙
李志鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan Nanhai Guangdong Technology University CNC Equipment Cooperative Innovation Institute
Foshan Guangdong University CNC Equipment Technology Development Co. Ltd
Original Assignee
Foshan Nanhai Guangdong Technology University CNC Equipment Cooperative Innovation Institute
Foshan Guangdong University CNC Equipment Technology Development Co. Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan Nanhai Guangdong Technology University CNC Equipment Cooperative Innovation Institute, Foshan Guangdong University CNC Equipment Technology Development Co. Ltd filed Critical Foshan Nanhai Guangdong Technology University CNC Equipment Cooperative Innovation Institute
Priority to CN201711135275.6A priority Critical patent/CN107918939B/zh
Publication of CN107918939A publication Critical patent/CN107918939A/zh
Application granted granted Critical
Publication of CN107918939B publication Critical patent/CN107918939B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B27—WORKING OR PRESERVING WOOD OR SIMILAR MATERIAL; NAILING OR STAPLING MACHINES IN GENERAL
    • B27M—WORKING OF WOOD NOT PROVIDED FOR IN SUBCLASSES B27B - B27L; MANUFACTURE OF SPECIFIC WOODEN ARTICLES
    • B27M3/00—Manufacture or reconditioning of specific semi-finished or finished articles
    • B27M3/18—Manufacture or reconditioning of specific semi-finished or finished articles of furniture or of doors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/168—Segmentation; Edge detection involving transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Manufacturing & Machinery (AREA)
  • Wood Science & Technology (AREA)
  • Forests & Forestry (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供用于板式家具生产线上的层叠板材大视野定位方法，基于RGBD深度传感器的层叠板材三维坐标检测系统，包括获得板材彩色图像及板材深度信息的RGBD深度传感器、提供照明功能的辅助电源、用于图像处理位置检测的PC机、主控PLC、抓取板材的机械手；该系统的检测步骤如下：获取原始深度数据，对深度数据中值滤波，提取深度数据记为RectDroi，提取RectDroi的有效特征(Px，Py，PZ，α0)为定位结果，将RectDroi通过坐标映射变换到彩色图像区域得到彩色图像记为RectDroi，对RectCroi进行二维码提取处理，最后整合得出最终的计算结果，本发明实现了家具行业的大范围板材自动上料，实现了大视野范围的精确定位，且成像范围可以通过增加传感器数量进行城北拓展。

Description

用于板式家具生产线上的层叠板材大视野定位方法
技术领域
本发明涉及板式家具生产技术领域，具体涉及一种用于板式家具生产线上的层叠板材大视野定位方法。
背景技术
当前板式家具生产过程中，开料后需要人工将开料后的板材搬运到传送带上，这个过程的非自动化降低了企业的生产效率，增加了人工成本。利用机械手抓取板材需要实时检测到板材的三维坐标，提供位置信息给机械手进行准确抓取。目前在家具生产行业尚未发现有利用视觉系统来引导机器人进行自动拆垛上料的应用。如中国专利申请号为CN201710628731.4一种橱柜门板造型自动生产工艺及装置，其公开了一种自动化程度高且加工精准度高的家具生产方法，并具体公开了有若干个门板分拣加工系统，但其门板的分拣加工并无应用任何的定位方法，门板在输送过程中产生的偏转错误也就无法纠正，容易导致后续的工艺产生混乱，从而降低整体的生产效率。
发明内容
针对现有技术的不足，本发明提供了用于板式家具生产线上的层叠板材大视野定位方法，能够精准检测板材三维坐标及板材上二维码方向，检测到板材三维坐标能够使机械手的抓取精准，检测二维码方向能够保证板材在运输加工的过程中保持一致性，且本方法检测精度高、检测算法简单、成本低。
为实现上述目的，本发明采用如下技术方案：
用于板式家具生产线上的层叠板材大视野定位方法，包括：RGBD深度传感器、辅助光源、PC机、主控PLC、机械手，所述RGBD深度传感器连接PC机，所述PC机连接主控PLC，所述主控PLC连接机械手；其特征在于，包括以下步骤：
步骤一，通过RGBD深度传感器获取板材成像区域内的彩色图像Ic及最上层板材的深度数据矩阵Md；
步骤二，对深度数据Md采用中值滤波器进行滤波，获得当前Md中最大值的位置(minx，miny)，然后通过公式Id＝Md/255将深度数据矩阵转化为可以显示和处理的灰度图像矩阵Id；
步骤三，以(minx，miny)为种子生长点，在Id中用区域生长算法进行图像分割，分割结果即为当前最上层板材的有效区域，记为RectDroi，提取RectDroi的有效特征(Px，Py，PZ，α0)为定位结果；
步骤四，将RectDroi通过坐标映射变换到彩色图像区域，得到当前彩色图像ROI,记做RectCroi；
步骤五，对RectCroi进行二维码提取处理；
步骤六，整合计算结果，通过无线网络通讯将计算结果发送到机械手,机械手根据接收到的数据对板材进行纠偏上料。
优选的，所述对RectCroi进行二维码提取处理，具体步骤如下：首先将GRB彩色空间转换为HSV空间，并提取其中对比度较大的V通道，得到V_RectCroi,通过对V_RectCroi进行Gamma增强，提升图像对比度后进行自适应阈值二值分割，在V_RectCroi得到二维码的区域QR_RectCroi；按如下公式计算二维码区域QR_RectCroi的中心点坐标(QRx，QRy)与V_RectCroi中心点坐标(Vx，Vy)的差值，得到二维码的方位信息
Figure BDA0001468009100000024
；
Figure BDA0001468009100000021
其中n的具体取值需要根据视觉系统与机器人的相对位置进行修改和校正，
Figure BDA0001468009100000022
优选的，所述整合计算结果，得到目标位置及纠偏角度
Figure BDA0001468009100000023
优选的，所述中值滤波器采用模板为5×5大小的。
优选的，所述步骤二中采用区域生长算法进行图像分割的具体步骤如下：以(minx，miny)为种子生长点，针对Id已有区域，如果其周围存在未划分到已知区域的像素点，使用相似性准则对其进行判断，如果该像素与该区域相似，则对该像素进行生长，将其纳入该区域中，重复以上步骤，直到图像中所有像素都被划分到已有区域中。
本发明提供的用于板式家具生产线上的层叠板材大视野定位方法的有益效果在于：
1)实现了家具加工的大范围板材自动上料以及大视野范围的精确定位；
2)通过增加传感器数量可对成像范围进行成倍拓展；
3)检测精确率高、算法简单、成本低。
附图说明
图1为本发明方法整体流程图。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，均属于本发明的保护范围。
实施例：用于板式家具生产线上的层叠板材大视野定位方法。
本实施例中，采用RGBD深度传感器获得板材彩色图像以及深度数据，PC机用于图像处理位置的检测，主控PLC对数据进行计算，并将计算结果传送给机械手进行抓取板材，RGBD深度传感器获取彩色图像分辨率最大可达1920×1080，获得物体深度图像的分辨率最大可达512×484。具体检测方法步骤如下：
步骤一：图像采集，通过RGBD深度传感器获取板材成像区域内的彩色图像Ic及最上层板材的深度数据矩阵Md。
步骤二：深度数据处理。对深度数据Md采用大小为5×5的中值滤波器进行滤波，获得当前Md中最大值的位置(minx，miny)，然后通过公式Id＝Md/255将深度数据矩阵转化为可以显示和处理的灰度图像矩阵Id。
步骤三：以(minx，miny)为种子生长点，在Id中用区域生长算法进行图像分割，以(minx，miny)为种子生长点，针对Id已有区域，如果其周围存在未划分到已知区域的像素点，使用相似性准则对其进行判断，如果该像素与该区域相似，则对该像素进行生长，将其纳入该区域中，重复以上步骤，直到图像中所有像素都被划分到已有区域中，分割结果即为当前最上层板材的有效区域，记为RectDroi，提取RectDroi的有效特征(Px，Py，PZ，α0)为定位结果。
步骤四：将RectDroi通过坐标映射变换到彩色图像区域，得到当前彩色图像ROI,记做RectCroi
步骤五：对RectCroi进行二维码提取处理。首先将GRB彩色空间转换为HSV空间，并提取其中对比度较大的V通道，得到V_RectCroi,通过对V_RectCroi进行Gamma增强，提升图像对比度后进行自适应阈值二值分割，在V_RectCroi得到二维码的区域OR_RectCroi。按如下公式计算二维码区域QR_RectCroi的中心点坐标(QRx，QRy)与V_RectCroi中心点坐标(Vx，Vy)的差值，得到二维码的方位信息
Figure BDA0001468009100000031
。
Figure BDA0001468009100000041
其中n的具体取值需要根据视觉系统与机器人的相对位置进行修改和校正。
Figure BDA0001468009100000042
步骤六：整合计算结果，得到目标位置及纠偏角度
Figure BDA0001468009100000043
通过以太网通讯将计算结果发送到机器人控制器，机器人控制器根据接收到的数据对板材进行纠偏上料。
以上所述为本发明的较佳实施例而已，但本发明不应局限于该实施例和附图所公开的内容，所以凡是不脱离本发明所公开的精神下完成的等效或修改，都落入本发明保护的范围。

Claims (4)

1.用于板式家具生产线上的层叠板材大视野定位方法，包括：RGBD深度传感器、辅助光源、PC机、主控PLC、机械手，所述RGBD深度传感器连接PC机，所述PC机连接主控PLC，所述主控PLC连接机械手；其特征在于，包括以下步骤：
步骤一，通过RGBD深度传感器获取板材成像区域内的彩色图像Ic及最上层板材的深度数据矩阵Md；
步骤二，对深度数据Md采用中值滤波器进行滤波，获得当前Md中最大值的位置(minx，miny)，然后通过公式Id＝Md/255将深度数据矩阵转化为可以显示和处理的灰度图像矩阵Id；
步骤三，以(minx，miny)为种子生长点，在Id中用区域生长算法进行图像分割，分割结果即为当前最上层板材的有效区域，记为RectDroi，提取RectDroi的有效特征(Px，Py，PZ，α0)为定位结果；
步骤四，将RectDroi通过坐标映射变换到彩色图像区域，得到当前彩色图像ROI，记做RectCroi；
步骤五，对RectCroi进行二维码提取处理；
步骤六，整合计算结果，通过无线网络通讯将计算结果发送到机械手，机械手根据接收到的数据对板材进行纠偏上料；
所述对RectCroi进行二维码提取处理，具体步骤如下：首先将GRB彩色空间转换为HSV空间，并提取其中对比度较大的V通道，得到V_RectCroi，通过对V_RectCroi进行Gamma增强，提升图像对比度后进行自适应阈值二值分割，在V_RectCroi得到二维码的区域QR_RectCroi：
按如下公式计算二维码区域QR_RectCroi的中心点坐标(QRx，QRy)与V_RectCroi中心点坐标(Vx，Vy)的差值，得到二维码的方位信息
Figure FDA0002202104330000011
Figure FDA0002202104330000012
其中n的具体取值需要根据视觉系统与机器人的相对位置进行修改和校正，
Figure FDA0002202104330000013
2.如权利要求1所述的用于板式家具生产线上的层叠板材大视野定位方法，其特征在于：所述整合计算结果，得到目标位置及纠偏角度
Figure FDA0002202104330000021
3.如权利要求1所述的用于板式家具生产线上的层叠板材大视野定位方法，其特征在于：所述中值滤波器采用模板大小可调。
4.如权利要求1所述的用于板式家具生产线上的层叠板材大视野定位方法，其特征在于：所述步骤三中采用区域生长算法进行图像分割的具体步骤如下：以(minx，miny)为种子生长点，针对Id已有区域，如果其周围存在未划分到已知区域的像素点，使用相似性准则对其进行判断，如果该像素与该区域相似，则对该像素进行生长，将其纳入该区域中，重复以上所述步骤三中采用区域生长算法进行图像分割的具体步骤，直到图像中所有像素都被划分到已有区域中。
CN201711135275.6A 2017-11-14 2017-11-14 用于板式家具生产线上的层叠板材大视野定位方法 Active CN107918939B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711135275.6A CN107918939B (zh) 2017-11-14 2017-11-14 用于板式家具生产线上的层叠板材大视野定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711135275.6A CN107918939B (zh) 2017-11-14 2017-11-14 用于板式家具生产线上的层叠板材大视野定位方法

Publications (2)

Publication Number Publication Date
CN107918939A CN107918939A (zh) 2018-04-17
CN107918939B true CN107918939B (zh) 2020-03-13

Family

ID=61896461

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711135275.6A Active CN107918939B (zh) 2017-11-14 2017-11-14 用于板式家具生产线上的层叠板材大视野定位方法

Country Status (1)

Country Link
CN (1) CN107918939B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103455984A (zh) * 2013-09-02 2013-12-18 清华大学深圳研究生院 一种Kinect深度图像获取方法与装置
CN103706571A (zh) * 2013-12-27 2014-04-09 西安航天精密机电研究所 一种视觉定位分拣方法
CN105096259A (zh) * 2014-05-09 2015-11-25 株式会社理光 深度图像的深度值恢复方法和系统
KR101714224B1 (ko) * 2015-09-21 2017-03-08 현대자동차주식회사 센서 융합 기반 3차원 영상 복원 장치 및 방법
CN106826815A (zh) * 2016-12-21 2017-06-13 江苏物联网研究发展中心 基于彩色图像与深度图像的目标物体识别与定位的方法
CN107248159A (zh) * 2017-08-04 2017-10-13 河海大学常州校区 一种基于双目视觉的金属工件缺陷检测方法
CN107322740A (zh) * 2017-07-27 2017-11-07 南京帝鼎数控科技有限公司 一种橱柜门板造型自动生产工艺及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016096838A (ja) * 2014-11-18 2016-05-30 株式会社東芝 情報処理装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103455984A (zh) * 2013-09-02 2013-12-18 清华大学深圳研究生院 一种Kinect深度图像获取方法与装置
CN103706571A (zh) * 2013-12-27 2014-04-09 西安航天精密机电研究所 一种视觉定位分拣方法
CN105096259A (zh) * 2014-05-09 2015-11-25 株式会社理光 深度图像的深度值恢复方法和系统
KR101714224B1 (ko) * 2015-09-21 2017-03-08 현대자동차주식회사 센서 융합 기반 3차원 영상 복원 장치 및 방법
CN106826815A (zh) * 2016-12-21 2017-06-13 江苏物联网研究发展中心 基于彩色图像与深度图像的目标物体识别与定位的方法
CN107322740A (zh) * 2017-07-27 2017-11-07 南京帝鼎数控科技有限公司 一种橱柜门板造型自动生产工艺及装置
CN107248159A (zh) * 2017-08-04 2017-10-13 河海大学常州校区 一种基于双目视觉的金属工件缺陷检测方法

Also Published As

Publication number Publication date
CN107918939A (zh) 2018-04-17

Similar Documents

Publication Publication Date Title
CN110648367A (zh) 一种基于多层深度与彩色视觉信息的几何体目标定位方法
US11227405B2 (en) Determining positions and orientations of objects
CN110779928B (zh) 缺陷检测装置及方法
CN111784655B (zh) 一种水下机器人回收定位方法
WO2017012581A1 (zh) 二维码加权平均灰度法解码方法及系统
CN111721259A (zh) 基于双目视觉的水下机器人回收定位方法
US11972589B2 (en) Image processing device, work robot, substrate inspection device, and specimen inspection device
CN109493313B (zh) 一种基于视觉的钢卷定位方法及设备
CN102422832B (zh) 喷雾视觉定位系统及定位方法
CN117689716B (zh) 板件视觉定位识别抓取方法、控制系统及板件生产线
CN113822810A (zh) 一种基于机器视觉的三维空间中工件的定位方法
CN115830018A (zh) 基于深度学习与双目视觉的碳素块检测方法及系统
CN106097323B (zh) 一种基于机器视觉的发动机气缸体铸件的定位方法
CN107918939B (zh) 用于板式家具生产线上的层叠板材大视野定位方法
CN115384052A (zh) 一种智能化的覆膜机自动控制系统
CN111267094A (zh) 一种基于双目视觉的工件定位与抓取方法
CN112484680B (zh) 一种基于圆检测的蓝宝石晶片定位跟踪方法
CN111275756B (zh) 线轴定位方法及装置
CN110899147A (zh) 一种基于激光扫描的传输带石头在线分拣方法
CN110516725A (zh) 基于机器视觉的木板条纹间距和颜色的检测方法
CN105069781B (zh) 一种显著目标的空间三维定位方法
CN114800494A (zh) 一种基于单目视觉的搬箱机械手
CN110569682A (zh) 龙门吊末端的三维定位方法
CN112200821A (zh) 一种用于流水线多隔分装目标的检测和定位方法
CN113112541A (zh) 基于图像处理的蚕蛹蛹体位姿测算方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant