Nothing Special   »   [go: up one dir, main page]

CN113119073A - 面向3c装配场景基于计算机视觉及机器学习的机械臂系统 - Google Patents

面向3c装配场景基于计算机视觉及机器学习的机械臂系统 Download PDF

Info

Publication number
CN113119073A
CN113119073A CN202110411690.XA CN202110411690A CN113119073A CN 113119073 A CN113119073 A CN 113119073A CN 202110411690 A CN202110411690 A CN 202110411690A CN 113119073 A CN113119073 A CN 113119073A
Authority
CN
China
Prior art keywords
mechanical arm
target
learning
computer vision
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110411690.XA
Other languages
English (en)
Inventor
李智军
徐梁睿
李琴剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202110411690.XA priority Critical patent/CN113119073A/zh
Publication of CN113119073A publication Critical patent/CN113119073A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0081—Programme-controlled manipulators with master teach-in means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/08—Gripping heads and other end effectors having finger members
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J18/00—Arms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)

Abstract

本发明提供了一种面向3C装配场景基于计算机视觉及机器学习的机械臂系统，包括：基于具有多自由度高精度工业机械臂，运动灵活，可完成多种复杂3C装配任务；具有安装于机械臂前端的单目相机，采用ORB跟踪算法，配合IMU单元，实时精准地测算机械臂前端运动轨迹与位姿；具有可观测全局的固定位置结构光式深度相机，采用基于MobileNet的YoloV4‑Lite卷积神经网络，识别定位待装配物体，确定其位姿及形状特征。本发明能够解决传统3C装配机械臂智能化程度低，工作能力单一；严重依赖经验数据，数据利用率很低、学习速度缓慢；缺乏形成目标导向策略的能力，泛化能力差等一系列问题，具有很高的实际应用价值。

Description

面向3C装配场景基于计算机视觉及机器学习的机械臂系统
技术领域
本发明涉及机械臂智能控制领域，具体地，涉及一种面向3C装配场景基于计算机视觉及机器学习的机械臂系统，尤其涉及一种面向复杂3C装配场景的基于深度视觉及机器学习的多自由度机械臂系统。
背景技术
3C装配场景具有环境复杂、任务复杂的特点，这要求3C自动化生产线上不仅机需要具有极高精度的机械臂，还要求机械臂完成多种复杂的动作。然而，目前工业场景中应用的机械臂系统，一般是按照内置程序以固定模式工作，因此不同工艺流程需要采购不同的机械臂；此外，当生产工艺发生改变时，需要重新编写内置程序或者采购新型机械臂。这些将耗费大量人力、物力，极大提高了3C自动化生产线建造与运维成本。
在复杂环境与任务条件下，机器人如何通过自主学习和推理获取知识，并进行精确、高效和快速的高级学习与决策，是当前机器人智能技术亟待解决的关键问题之一。这技术的突破将极大提高工业机器人自主运动与灵巧操作的快速性、高效性和准确性，对智能制造和国民生活产生重大而深远的影响。近年来，随着人工智能、机器人学和神经科学等多学科的发展，基于计算机视觉与机器学习的智能体学习与决策理论方法，在机器人知识和技能学习任务中取得了巨大的性能突破，这些理论方法也逐渐被应用的实际工业生产过程中。
专利文献CN112223283A公开了一种机械臂、机器人、机械臂的控制方法、处理设备及介质。机械臂包括机械臂主体、机械臂末端、力传感器、至少一个距离传感器及处理设备；力传感器设置于机械臂末端，用于检测机械臂与接触面之间的受力信息；距离传感器设置于机械臂末端，用于检测距离传感器所在位置与接触面之间的距离信息。处理设备根据受力信息采用导纳控制调整机械臂末端的位置，并根据受力信息及距离信息采用反向导纳控制调整机械臂末端的姿态。利用距离传感器能够检测出机械臂末端前进方向上前侧与接触面上目标点之间的距离，有效感知到该方向上的形状变化，使得机械臂末端的接触情况更加清晰，从而及时对机械臂末端姿态进行调整，以满足较为精确的姿态变化。该专利在结构和技术性能上仍然有待提高的空间。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种面向3C装配场景基于计算机视觉及机器学习的机械臂系统。
根据本发明提供的一种面向3C装配场景基于计算机视觉及机器学习的机械臂系统，包括：机械臂部件；所述机械臂部件包括：机械臂手腕、五指手部件；所述五指手部件包括：五指手外壳、五指指尖部件；所述机械臂部件采用3D打印ABS树脂材料；所述机械臂手腕、五指手部件采用1060铝合金；所述五指指尖部件采用3D软胶覆膜以模仿人手指腹。
优选地，使用Maxon电机及驱动器；
机械臂手腕具备屈伸及外旋/内翻两个主动自由度；
五指手部件具备4个主动自由度；
所述手部件包括：中大拇指具、食指指具及三指指具；
中大拇指具有外展/内收与屈伸两个主动自由度，食指指具及三指指具有屈伸两个自由度。
优选地，还包括：单目摄像机、深度摄像机；
所述单目摄像机位于机械臂的前端并随之运动，用于机械臂轨迹追踪；
所述单目摄像机的配置为：640*480分辨率、30帧/秒采样率；
所述深度摄像机能够采集人体示教数据与目标RGB-D信息
深度摄像机位置固定可观测操作台全局，用于采集人体示教数据与目标RGB-D信息，其配置为：1280*1080彩色分辨率、30帧/秒彩色采样率、1280*720主动双目深度分辨率、90帧/秒深度采样率。
优选地，还包括：动作学习模块；
所述动作学习模块采用基于监督学习的视觉示教迁移学习算法；
所述动作学习模块学习具有目标类型和操作成败标签的人体手臂装配目标物体的视频，对于训练视频中出现的各类物体，确定操作成功率最高位置作为最佳位点，获取运动轨迹策略信息。
并初步生成机械臂针对此类目标操作的运动轨迹策略。
优选地，还包括：机械臂前端轨迹跟踪模块、轨迹规划模块；
所述机械臂前端轨迹跟踪模块采用640*480分辨率、30帧/秒采样率的单目相机实时采集机械臂前端环境图像数据，使用ORB算法提取并匹配不同图片中特征向量近似相同的特征点，计算单目相机在拍摄相邻时间序列图片时位姿变化的欧式变换矩阵(三维旋转矩阵与平移向量)，配合IMU单元采集数据，实时精准地测算机械臂前端运动轨迹与位姿，将数据流输入轨迹规划模块。
优选地，还包括：目标识别定位模块；
所述目标识别定位模块采用可观测全局的固定位置结构光式深度相机采集目标彩色和深度数据，在彩色图像中，使用经过训练并优化的基于MobileNet的YoloV4-Lite卷积神经网络，识别待装配目标，应用图像分割技术，提取彩色图像中目标的轮廓，结合识别到的目标类型，确定目标位姿，通过动作学习模块得到的最佳操作位点经验，划分出机械臂前端操作位点在彩色图像中所在像素区域，结合彩色和深度相机外参数信息将上述像素区域像素坐标与对应的深度信息耦合，得到待操作位点三维空间坐标。
优选地，所述轨迹规划模块对输入的目标类型与操作位点三维坐标数据，基于通过运动学习模块与自身迭代所建立的运动轨迹策略模型，结合机械臂结构D-H运动学模型，向执行机构机械臂输出点位控制和连续轨迹控制策略。
基于Oja强化学习准则，建立循环神经网络模型，对机械臂前端轨迹跟踪模块所采集的历史运动轨迹信息进行学习，不断优化运动轨迹策略计算模型。
与现有技术相比，本发明具有如下的有益效果：
1、本发明实现了对高精度3C装配生产线的智能优化提升，整个系统精度高，学习与泛化能力强，功能可通过学习扩展；
2、本发明能够高效完成复杂环境下各类3C装配任务；
3、本发明结构合理，使用方便，能够克服现有技术的缺陷。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明中的面向3C装配场景基于计算机视觉及机器学习的机械臂系统结构示意图。
图2为本发明中的多自由度3C装配机械臂示意图。
图3为本发明中的深度可分离卷积示意图。
图4为本发明中的YOLOV4网络结构示意图。
图5为本发明中的手眼标定流程示意图。
图6为本发明中的运动学习结构示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
如图1-6所示，本发明的目的是为了解决现有工业场景中机械臂系统泛化能力差，不同工艺流程需要采购不同的机械臂，当生产工艺发生改变时，需要重新编写内置程序或者采购新型机械臂，从而耗费大量人力、物力，极大提高了3C自动化生产线建造与运维成本等一系列问题，进而提供面向复杂3C装配场景的基于深度视觉及机器学习的多自由度机械臂系统。
本发明基于的硬件平台为多自由度高精度机械臂、单目摄像机与深度摄像机。
本发明采用的机械臂分为机械臂手腕及五指手：机械臂及五指手外壳采用3D打印ABS树脂材料，可以有效减少重量并保证美观；手腕及五指手的结构件采用1060铝合金，可以提供足够强度与合理的重量；五指指尖均采用3D软胶覆膜，模仿人手的指腹，增加抓握能力；驱动方面，使用Maxon电机及驱动器，手腕具备屈伸及外旋/内翻两个主动自由度，五指手具备4个主动自由度，其中大拇指具有外展/内收与屈伸两个主动自由度，食指及其余三指具有屈伸两个自由度。
本发明采用的单目摄像机位于机械臂前端，用于机械臂轨迹追踪，其配置为：640*480分辨率、30帧/秒采样率；深度摄像机位置固定可观测操作台全局，用于采集人体示教数据与目标RGB-D信息，其配置为：1280*1080彩色分辨率、30帧/秒彩色采样率、1280*720主动双目深度分辨率、90帧/秒深度采样率。
本发明所述的面向3C装配场景基于计算机视觉及机器学习的机械臂系统，包括动作学习模块、机械臂前端轨迹跟踪模块、目标识别定位模块和轨迹规划模块。
动作学习模块，采用基于监督学习的视觉示教迁移学习算法，学习具有目标类型和操作成败标签的人体手臂装配目标物体的视频，对于训练视频中出现的各类物体，确定操作成功率最高位置作为最佳位点，并初步生成机械臂针对此类目标操作的运动轨迹策略。
机械臂前端轨迹跟踪模块，采用640*480分辨率、30帧/秒采样率单目相机实时采集机械臂前端环境图像数据，使用ORB算法提取并匹配不同图片中特征向量近似相同的特征点，计算相机在拍摄相邻时间序列图片时位姿变化的欧式变换矩阵(三维旋转矩阵与平移向量)，配合IMU单元采集数据，实时精准地测算机械臂前端运动轨迹与位姿，将数据流输入轨迹规划模块。
目标识别定位模块，采用可观测全局的固定位置结构光式深度相机采集目标彩色和深度数据，在彩色图像中，使用经过训练并优化的基于MobileNet的YoloV4-Lite卷积神经网络，识别待装配目标，应用图像分割技术，提取彩色图像中目标的轮廓，结合识别到的目标类型，确定目标位姿，通过动作学习模块得到的最佳操作位点经验，划分出机械臂前端操作位点在彩色图像中所在像素区域，结合彩色和深度相机外参数信息将上述像素区域像素坐标与对应的深度信息耦合，得到待操作位点三维空间坐标。
轨迹规划模块，对输入的目标类型与操作位点三维坐标数据，基于通过运动学习模块与自身迭代所建立的运动轨迹策略模型，向执行机构机械臂输出点位控制和连续轨迹控制策略：使用D-H逆运动学模型完成机械臂关键操作点的点位控制规划；使用情绪调控的Oja强化学习准则，建立循环神经网络模型，对机械臂历史装配运动轨迹信息进行学习，不断优化运动轨迹策略，完成机械臂连续控制的轨迹规划。
本发明的多自由度3C装配机械臂技能学习与智能控制系统，实现了对高精度3C装配生产线的智能优化提升，整个系统精度高，学习与泛化能力强，功能可通过学习扩展，能够高效完成复杂环境下各类3C装配任务。
具体地，在一个实施例中，面向3C装配场景基于计算机视觉及机器学习的机械臂系统；
基于的硬件平台为多自由度高精度机械臂、单目摄像机与深度摄像机；技能迁移与智能控制系统包括动作学习模块、机械臂前端轨迹跟踪模块、目标识别定位模块和轨迹规划模块。
多自由度3C装配机械臂分为机械臂手腕及五指手。机械臂及五指手外壳采用3D打印ABS树脂材料，可以有效减少重量并保证美观；手腕及五指手的结构件采用1060铝合金，可以提供足够强度与合理的重量；五指指尖均采用3D软胶覆膜，模仿人手的指腹，增加抓握能力。在驱动上，使用Maxon电机及驱动器，手腕具备屈伸及外旋/内翻两个主动自由度，五指手具备4个主动自由度，其中大拇指具有外展/内收与屈伸两个主动自由度，食指及其余三指具有屈伸两个自由度。机械臂配置有一个单目相机和IMU，用于前端轨迹跟踪。
动作学习模块使用监督学习与基于视觉示教的迁移学习算法，对不同类型目标形状特征信息分类，并学习其对应人体手臂装配运动轨迹视频数据，根据构建模型完成末端执行器对不同目标类型的操作动作规划。
视觉的间接示教是通过机器人观察操作者的图像学习技能，示教获取方式快捷，本发明聚焦在观测模仿学习中示教者仅仅提供视觉信息或者状态信息，在不提供动作监督信号的前提下，实现模仿学习过程。这样的方法一定程度上考虑了示教者与机器人之间的域自适应情况。
本发明在技能模仿与增强方面，采用观测模仿学习方法，对灵巧机器人的操作技能实现泛化和增强。观测模仿学习是智能体示教学习的前沿发展方向，目前的示教学习是在给出一定数量的专家(称为示教者)示教轨迹的前提下，通过监督学习、强化学习等机器学习方法训练智能体(称为学习者)控制策略，让智能体的行为尽可能与专家相似，进而使得智能体表现出专家行为的过程。
目标物识别定位模块，需要进行细粒度图像检测，设计并搭建基于深度卷积神经网络的实时性好、准确率高的检测框架，通过卷积神经网络，完成目标物品的类别和位置的确定。收集目标物品的检测数据集，完成人工标注，进行训练集、验证集、测试集划分，以及数据预处理等工作。设计并搭建合适结构的深度卷积神经网络，并设计合适的损失函数，在数据集上训练深度卷积神经网络。根据训练结果不断调试超参数和网络结构，旨在训练出实时性好、识别准确率高的深度卷积神经网络。识别出这些物品的位置及类别信息后，将物品的种类信息和位置信息进行记录。项目中使用改进后的基于Mobilenet的YoloV4-Lite进行圆柱体和长方体的识别，Mobilenet最大的特点是使用了深度可分离卷积，这种逐通道的线性卷积可以在保证特征提取效果的前提下，极大幅度的减少参数量。
原始YOLOV4网络的输入为高416宽416的RGB图片，并通过CSPDarknet-53主干网络提取特征。使用了三个不同大小的特征层，实现多尺度的特征融合，对目标位置相对于默认矩形框(default box)的偏移进行回归，同时输出一个分类的置信度。原始的YOLOV4网络结构较复杂，预测速度较慢，为了满足手眼协调中检测速度的要求，需要对网络的结构进行调整。考虑到精度和速度之间的权衡，使用MobileNet网络作为主干网络提取特征，但不改变输入图片的分辨率，并且使用相同数量的特征进行目标检测。
网络的训练过程采用迁移学习的思路，即整个训练过程分为两个阶段，第一阶段的目的是在大型数据集的基础上训练出具备较强图像特征提取能力的模型，在本系统的训练上将采用MSCOCO目标检测数据集来进行训练，从而获得一个较好的初始模型。第二阶段的则是在初始模型的基础上，使用自制的各类物体标志数据集进行fine-tuning，以获得一个具备较强泛化能力的最终分类模型。深度相机获得的图像信息角度多变，为了准确的进行物体识别，我们使用多种CV处理方法进行数据增强，对原始数据的亮度、扭曲程度、对比度进行变化，满足不同光照条件下的检测要求，并且对图片进行旋转，满足不同视角的检测要求，同时使用最新的mosaic数据增强方法，将不同图片进行拼接，增加环境复杂度，加强对小目标的检测能力。
为了使机器人准确抓取工作台上的物体，需要获得物体在工作台的位置，即物体在机器人基坐标系的坐标。本发明使用RealSense D435i获取工作环境的RGBA图像和深度图像，并通过手眼标定方法将物体在图像上的像素坐标和深度值转换成在基坐标系中描述。手眼标定是机器人精确抓取目标物体不可或缺的步骤，其目的是将视觉系统中的像素信息映射到机器人坐标系下，再由机器人抓取物体。
轨迹规划模块，训练一个循环神经网络完成轨迹规划，神经网络包含N＝400个神经元，循环权重矩阵W中的每个元素以1-p的概率初始化为0，其余元素被初始化为高斯分布(均值为0，方差为g/pN)。其中g是循环突触权重的谱半径，p循环突触权重初始化概率。初始输入权重U和输出权重V被初始化为均匀分布。另外，假设每个神经元的初始膜电位服从[0,0.1]均匀分布。假设目标点是y’，实际到达的点是y，那么目标函数由欧氏距离误差和激活的能量项两部分组成。
在本申请的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (7)

1.一种面向3C装配场景基于计算机视觉及机器学习的机械臂系统，其特征在于，包括：机械臂部件；
所述机械臂部件包括：机械臂手腕、五指手部件；
所述五指手部件包括：五指手外壳、五指指尖部件；
所述机械臂部件采用3D打印ABS树脂材料；
所述机械臂手腕、五指手部件采用1060铝合金；
所述五指指尖部件采用3D软胶覆膜。
2.根据权利要求1所述的面向3C装配场景基于计算机视觉及机器学习的机械臂系统，其特征在于，使用Maxon电机及驱动器；
机械臂手腕具备屈伸及外旋/内翻两个主动自由度；
五指手部件具备4个主动自由度；
所述手部件包括：中大拇指具、食指指具及三指指具；
中大拇指具有外展/内收与屈伸两个主动自由度，食指指具及三指指具有屈伸两个自由度。
3.根据权利要求1所述的面向3C装配场景基于计算机视觉及机器学习的机械臂系统，其特征在于，还包括：单目摄像机、深度摄像机；
所述单目摄像机位于机械臂的前端并随之运动，用于机械臂轨迹追踪；
所述深度摄像机能够采集人体示教数据与目标RGB-D信息。
4.根据权利要求1所述的面向3C装配场景基于计算机视觉及机器学习的机械臂系统，其特征在于，还包括：动作学习模块；
所述动作学习模块采用基于监督学习的视觉示教迁移学习算法；
所述动作学习模块学习具有目标类型和操作成败标签的人体手臂装配目标物体的视频，对于训练视频中出现的各类物体，确定操作成功率最高位置作为最佳位点，获取运动轨迹策略信息。
5.根据权利要求1所述的面向3C装配场景基于计算机视觉及机器学习的机械臂系统，其特征在于，还包括：机械臂前端轨迹跟踪模块、轨迹规划模块；
所述机械臂前端轨迹跟踪模块采用640*480分辨率、30帧/秒采样率的单目相机实时采集机械臂前端环境图像数据，使用ORB算法提取并匹配不同图片中特征向量近似相同的特征点，计算单目相机在拍摄相邻时间序列图片时位姿变化的欧式变换矩阵，配合IMU单元采集数据，实时测算机械臂前端运动轨迹与位姿，将数据流输入轨迹规划模块。
6.根据权利要求1所述的面向3C装配场景基于计算机视觉及机器学习的机械臂系统，其特征在于，还包括：目标识别定位模块；
所述目标识别定位模块采用能够观测全局的固定位置结构光式深度相机采集目标彩色和深度数据，在彩色图像中，使用经过训练并优化的基于MobileNet的YoloV4-Lite卷积神经网络，识别待装配目标，应用图像分割技术，提取彩色图像中目标的轮廓，结合识别到的目标类型，确定目标位姿，通过动作学习模块得到的最佳操作位点经验，划分出机械臂前端操作位点在彩色图像中所在像素区域，结合彩色和深度相机外参数信息将像素区域像素坐标与对应的深度信息耦合，得到待操作位点三维空间坐标。
7.根据权利要求5所述的面向3C装配场景基于计算机视觉及机器学习的机械臂系统，其特征在于，所述轨迹规划模块对输入的目标类型与操作位点三维坐标数据，基于通过运动学习模块与自身迭代所建立的运动轨迹策略模型，结合机械臂结构D-H运动学模型，向执行机构机械臂输出点位控制和连续轨迹控制策略。
CN202110411690.XA 2021-04-16 2021-04-16 面向3c装配场景基于计算机视觉及机器学习的机械臂系统 Pending CN113119073A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110411690.XA CN113119073A (zh) 2021-04-16 2021-04-16 面向3c装配场景基于计算机视觉及机器学习的机械臂系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110411690.XA CN113119073A (zh) 2021-04-16 2021-04-16 面向3c装配场景基于计算机视觉及机器学习的机械臂系统

Publications (1)

Publication Number Publication Date
CN113119073A true CN113119073A (zh) 2021-07-16

Family

ID=76776795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110411690.XA Pending CN113119073A (zh) 2021-04-16 2021-04-16 面向3c装配场景基于计算机视觉及机器学习的机械臂系统

Country Status (1)

Country Link
CN (1) CN113119073A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114219745A (zh) * 2021-12-03 2022-03-22 地平线(上海)人工智能技术有限公司 图像修正方法和装置、电子设备和存储介质
CN114882113A (zh) * 2022-05-23 2022-08-09 大连理工大学 基于同类物体形状对应性的五指机械灵巧手抓取迁移方法
CN115741079A (zh) * 2022-11-18 2023-03-07 航宇救生装备有限公司 高精度头盔跟踪定位阵列装配与监控方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN206690104U (zh) * 2017-03-15 2017-12-01 南昌航空大学 一种运动模仿仿生机械手
CN108972494A (zh) * 2018-06-22 2018-12-11 华南理工大学 一种仿人机械手抓取控制系统及其数据处理方法
CN110202583A (zh) * 2019-07-09 2019-09-06 华南理工大学 一种基于深度学习的仿人机械手控制系统及其控制方法
JP6792230B1 (ja) * 2019-12-12 2020-11-25 株式会社エクサウィザーズ 情報処理装置、方法およびプログラム
CN112518748A (zh) * 2020-11-30 2021-03-19 广东工业大学 面向运动物品的视觉机械臂自动抓取方法与系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN206690104U (zh) * 2017-03-15 2017-12-01 南昌航空大学 一种运动模仿仿生机械手
CN108972494A (zh) * 2018-06-22 2018-12-11 华南理工大学 一种仿人机械手抓取控制系统及其数据处理方法
CN110202583A (zh) * 2019-07-09 2019-09-06 华南理工大学 一种基于深度学习的仿人机械手控制系统及其控制方法
JP6792230B1 (ja) * 2019-12-12 2020-11-25 株式会社エクサウィザーズ 情報処理装置、方法およびプログラム
CN112518748A (zh) * 2020-11-30 2021-03-19 广东工业大学 面向运动物品的视觉机械臂自动抓取方法与系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114219745A (zh) * 2021-12-03 2022-03-22 地平线(上海)人工智能技术有限公司 图像修正方法和装置、电子设备和存储介质
CN114882113A (zh) * 2022-05-23 2022-08-09 大连理工大学 基于同类物体形状对应性的五指机械灵巧手抓取迁移方法
CN114882113B (zh) * 2022-05-23 2024-09-27 大连理工大学 基于同类物体形状对应性的五指机械灵巧手抓取迁移方法
CN115741079A (zh) * 2022-11-18 2023-03-07 航宇救生装备有限公司 高精度头盔跟踪定位阵列装配与监控方法

Similar Documents

Publication Publication Date Title
Li et al. Vision-based teleoperation of shadow dexterous hand using end-to-end deep neural network
Tang et al. A framework for manipulating deformable linear objects by coherent point drift
CN108972494B (zh) 一种仿人机械手抓取控制系统及其数据处理方法
Li et al. A mobile robot hand-arm teleoperation system by vision and imu
CN113119073A (zh) 面向3c装配场景基于计算机视觉及机器学习的机械臂系统
JP5209751B2 (ja) ロボットの駆動システム、ロボットの駆動方法、及び、ロボットの駆動プログラム
Lopes et al. Visual learning by imitation with motor representations
Aleotti et al. Grasp recognition in virtual reality for robot pregrasp planning by demonstration
Chella et al. A cognitive framework for imitation learning
JP2022542239A (ja) 視角エンベディングに基づいた自律タスク実行
CN106023211A (zh) 基于深度学习的机器人图像定位方法及系统
Hueser et al. Learning of demonstrated grasping skills by stereoscopic tracking of human head configuration
CN112109074A (zh) 一种机器人目标图像抓取方法
Bohg et al. Task-based grasp adaptation on a humanoid robot
CN115139315B (zh) 一种采摘机械臂抓取运动规划方法
Vasile et al. Grasp pre-shape selection by synthetic training: Eye-in-hand shared control on the hannes prosthesis
CN116276998A (zh) 基于强化学习的免手眼标定的机械臂抓取方法及系统
CN116852347A (zh) 一种面向非合作目标自主抓取的状态估计与决策控制方法
Arsenic Developmental learning on a humanoid robot
CN112257655B (zh) 一种机器人识别人体缝纫动作的方法
Infantino et al. A cognitive architecture for robotic hand posture learning
CN115446835A (zh) 一种基于深度学习的刚软仿人手自主抓取方法
CN115194774A (zh) 一种基于多目视觉的双机械臂抓握系统控制方法
Sepahvand et al. Image-to-Joint Inverse Kinematic of a Supportive Continuum Arm Using Deep Learning
CN114882113A (zh) 基于同类物体形状对应性的五指机械灵巧手抓取迁移方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210716