CN117120220A - 用于确定预定交互机器的至少一个元件的交互机器位置的机器人设备和方法 - Google Patents

Abstract

本发明涉及一种机器人设备(1)，其设置用于确定预定交互机器(4a、4b、4c)的至少一个元件相对于机器人设备(1)的交互机器位置(5a、5b、5c)，所述机器人设备(1)具有光学检测装置(6)和控制装置(3)，在该控制装置中存储有预定的参考标记(8a、8b、8c)和参考标记(8a、8b、8c)的预定参考位置(9a、9b、9c)。所述控制装置(3)设置用于检测预定的参考标记(8a、8b、8c)并且由参考标记(8a、8b、8c)的失真确定参考标记(8a、8b、8c)的空间位置(10)。所述控制装置(3)设置用于由空间位置(10)和参考标记(8a、8b、8c)的参考位置(9a、9b、9c)确定交互机器(4a、4b、4c)的交互机器位置(5a、5b、5c)，以及调节和/或控制机器人设备(1)，以便执行预定交互操作。

Description

用于确定预定交互机器的至少一个元件的交互机器位置的机 器人设备和方法

技术领域

本发明涉及一种用于确定预定交互机器的至少一个元件相对于机器人设备的交互机器位置的机器人设备以及一种用于确定预定交互机器的至少一个元件相对于机器人设备的交互机器位置的方法。

背景技术

为了实现机器人设备与机器的交互，根据当前现有技术需要对机器人设备进行手动训练。典型的交互过程例如包括将容器从输送技术设备中取出或将构件提供给机器。在这种训练过程期间，向机器人设备训练机器的精确的交互机器位置。这种手动训练阶段与人的大量手动劳动消耗相关。这种额外的劳动消耗通过以下方式加剧，即每次随着机器人设备相对于相应机器的位置改变都要重复该劳动消耗。这种情况例如当机器人设备必须与多个不同机器交互时可能是必要的。

在US9465390B2中公开了一种位置受控的机器人队。在其中描述了一种控制系统设置用于基于第一机器人设备和第二机器人设备之间的相对定位识别待由第一机器人设备和第二机器人设备执行的协作操作。第一机器人设备和第二机器人设备设置用于执行视觉握手，该视觉握手指示第一机器人设备和第二机器人设备之间的相对定位，以进行协作操作。握手可以包括相互检测机器人设备的视觉标记。

US9916506B1公开了一种控制系统，所述控制系统设置用于至少检测机器人设备上的不可见的基准标记的位置并确定机器人设备的位置。

发明内容

因此，本发明的任务是提供一种解决方案，其能够为机器人设备简单地检测交互机器及交互机器的位置。

根据本发明，该任务通过具有根据独立权利要求1的特征的机器人设备和具有根据独立权利要求10的特征的方法来解决。本发明的有利实施方式是从属权利要求和说明书以及附图的技术方案。

本发明的第一方面涉及一种机器人设备，其设置用于确定预定交互机器的至少一个元件相对于机器人设备的交互机器位置。换言之，机器人设备设置用于确定交互机器的位置或交互机器的至少一个元件的位置。机器人设备例如可以是运输机器人，其设置用于从交互机器接收物体或将物体提供给交互机器。交互机器例如可以是传送带或移动式运输机器人，其应与机器人设备交互。所述至少一个元件例如可以是交互机器的容器、臂或输出元件。机器人设备设置用于借助于光学检测装置检测机器人设备的环境的环境图像。光学检测装置例如可以具有摄像机，所述摄像机可以设置用于拍摄可见光谱范围内的环境图像或拍摄红外线或紫外线范围内的摄像。

规定，机器人设备具有控制装置。控制装置例如可以是电子部件，该电子部件可以具有微处理器和/或微控制器。在控制装置中存储有预定的参考标记和参考标记相对于预定交互机器的所述至少一个元件的预定参考位置。换言之，在该控制装置中存储有预定的参考标记，所述参考标记可以是光学标记，其可以施加在交互机器上或交互机器的所述至少一个元件上。预定参考位置也存储在控制装置中，参考标记在交互机器上施加在所述预定参考位置处。控制装置设置用于在机器人设备的环境的环境图像中检测交互机器的再现参考标记的图像部分。换言之，机器人设备可以从拍摄的环境图像中确定参考标记所在的图像部分。这例如可以通过简单地检测交互机器来进行，在第二步骤中创建图像部分，该图像部分显示交互机器的设置有预定的参考标记的区域。控制装置设置用于在图像部分中检测预定的参考标记并且确定预定的参考标记在图像部分中的失真。换言之，控制装置设置用于识别图像部分中的参考标记并且确定所识别的参考标记在图像部分中具有何种失真。控制装置设置用于由参考标记的失真确定参考标记相对于机器人设备的空间位置。换言之，检测到的参考标记的失真用于确定参考标记相对于机器人设备位于哪个位置。

空间位置例如可以包括参考标记相对于机器人设备的距离或定向。控制装置设置用于由参考标记相对于机器人设备的空间位置和参考标记相对于交互机器的参考位置确定交互机器相对于机器人设备的交互机器位置。换言之，控制装置设置用于由检测到的参考标记的空间位置和所存储的参考位置(所述参考位置说明参考标记在预定交互机器上所在的位置)确定交互机器或交互机器的所述至少一个元件相对于机器人设备位于哪个位置处。控制装置设置用于调节和/或控制机器人设备，以便执行与在交互机器位置处的交互机器的至少一个元件的预定交互操作。

预定交互操作例如可以包括将预定目标物体放置在交互机器的预定接收位置处和/或从交互机器的预定存放位置接收预定目标物体。换言之，规定，控制装置使用推导出的交互机器位置来控制机器人设备，使得通过机器人设备执行与交互机器的预定交互操作。尤其是可以规定，将预定目标物体放置在交互机器的预定接收位置处或从交互机器的预定存放位置接收预定目标物体。预定目标物体例如可以是机动车的构件，其应由机器人设备放置在预定接收位置处。

通过本发明产生以下优点：当交互机器相对于机器人设备的位置改变时，不再需要重新对机器人设备进行训练。只需对待执行的过程进行一次教授。通过经由参考标记间接检测交互机器的位置可以更简单且无误地确定交互机器的位置。

本发明还包括可选的扩展方案，通过这些扩展方案得到其它优点。

本发明的一种扩展方案规定，控制装置设置用于通过机器学习方法检测图像部分和/或预定的参考标记的失真。换言之，控制装置设置用于通过使用机器学习方法来检测交互机器上的参考标记所在的图像部分和/或参考标记的失真。机器学习方法尤其可以是通过机器视觉的自动图像识别。换言之，借助于人工智能的表现形式即机器学习识别参考标记所在的图像部分并且此外随后在该区域中确定参考标记及其失真。机器学习例如可以通过一种尤其是具有学习能力的算法实现。通过使用机器学习例如可以特别有利地执行该方法并且此外以简单的方式适配于新的参考标记和交互机器。

本发明的一种扩展方案规定，控制装置设置用于使用包括神经网络的机器学习方法。机器学习主要可以采用两种方案：第一种是符号方案，例如命题逻辑系统，在其中明确地表示知识(实例和诱导规则)，其例如可以通过算法表达。第二种是子符号系统，例如尤其是人工神经网络，其根据人脑的模型工作并且在其中隐含地表示知识。在此也可以想到所述至少一个算法和所述至少一个神经网络的组合。在此算法可以具有学习能力、尤其是自学能力并且例如通过神经网络实施或者神经网络根据学习算法获得用于其预测和/或用于识别和/或用于评估的指示，识别和/或评估例如可以借助于模式识别实现，所述模式识别可通过神经网络或算法学习。由此得到的优点是，机器学习例如不必通过算法在传统的处理器架构上进行，而是基于神经网络的使用可以在识别方面获得特定的优势。

本发明的一种扩展方案规定，所述参考标记包括条形码和/或平面码。换言之，参考标记具有构造为条形码的区域或平面码，所述平面码可以是二维码。二维码尤其可以是AprilTag、ARtag、ArUco或QR码。通过该扩展方案得到的优点是，用于控制装置的参考标记具有可简单识别的区域，所述区域的失真可以通过控制单元简单且精确地确定。通过使用条形码和/或平面码也可以单独标记交互机器的安置位置。

本发明的一种扩展方案规定，所述预定交互操作包括通过机器人设备将目标物体移交到交互机器和/或通过交互机器将目标物体移交到机器人设备。换言之，控制装置设置用于控制机器人设备，以便在交互操作期间将目标物体移交到交互机器和/或从交互机器接收目标物体。该移交例如可以包括通过机器人设备在交互机器的输出口处抓取目标物体。也可以规定，机器人设备设置用于通过抓取臂接收移交的目标物体。

本发明的一种扩展方案规定，所述预定交互操作包括使机器人设备行驶到交互机器上和/或中。换言之，控制装置设置用于控制机器人设备，使得机器人设备行驶到交互机器上和/或中。例如可以规定，交互机器是升降台、传送带、运输车辆或升降机，其位置可以通过参考标记推导出。可以规定，控制装置设置用于检测参考标记，由此机器人设备在预定交互操作期间可以占据升降机上的预定位置。

本发明的一种扩展方案规定，机器人设备设置为叉车。换言之，机器人设备为叉车。该叉车可以设置用于借助于叉子来提升、运输或降低预定目标物体。机器人设备尤其是可以设置用于借助于检测到的目标物体位置来确定用于保持或提升目标物体的点。

本发明的一种扩展方案规定，机器人设备设置为抓取机器人或起重机。换言之，机器人设备具有抓取臂或设置为起重机。机器人设备可以设置用于抓取目标物体，以便提升或移动它。

本发明的一种扩展方案规定，机器人设备具有光学检测装置，该光学检测装置具有至少两个摄像机。所述摄像机分别设置用于由相应摄像机的至少两个子图像生成机器人设备的环境的环境图像，所述至少两个摄像机设置用于从相应的不同视角拍摄子图像。由此得到的优点是，与仅具有一个摄像机的光学检测装置相比可以实现更大的环境图像。

本发明的第二方面涉及一种用于确定预定交互机器相对于机器人设备的交互机器位置的方法。在该方法中，通过机器人设备的光学检测装置检测机器人设备的环境的环境图像。规定，通过机器人设备的控制装置存储预定的参考标记和参考标记相对于预定交互机器的预定参考位置。在下一步骤中，通过控制装置在机器人设备的环境的环境图像中检测交互机器的再现参考标记的图像部分。通过控制装置在图像部分中检测预定的参考标记并且确定预定的参考标记在图像部分中的失真。通过控制装置由参考标记的失真确定参考标记相对于机器人设备的视觉位置/空间位置并且由参考标记相对于机器人设备的空间位置和参考标记相对于交互机器的参考位置确定交互机器相对于机器人设备的交互机器位置。最后，通过控制装置调节和/或控制机器人设备，以便通过机器人设备执行与交互机器的预定交互操作。

本发明的其它特征由权利要求、附图和附图说明得出。以上在说明书中提到的特征和特征组合以及以下在附图说明中提到的和/或在附图中单独示出的特征和特征组合不仅可以以分别给出的组合、而且也可以以其它组合或单独地使用。

附图说明

现在根据优选实施例并且参考附图详细阐述本发明。附图如下：

图1示出示意性透视图；

具体实施方式

图1示出机器人设备的示意图。机器人设备1例如可以设置用于在仓库或生产车间中执行与交互机器4的预定交互操作。机器人设备1例如可以是叉车或具有抓取臂2的抓取机器人。机器人设备1可以具有控制装置3，该控制装置可以是电子装置，该电子装置可以具有微处理器和/或微控制器。控制装置3可以设置用于控制机器人设备1。交互机器4例如可以是传送带输出装置4a、运输机器人4b或其它机器人设备4c。可以规定，交互机器4相对于机器人设备1的相应交互机器位置5在运行期间可以改变。这例如可以通过机器人设备1和/或交互机器4的运动来实现。为了能够检测环境并因此也检测交互机器4a、4b及其位置5a、5b，机器人设备1可以具有光学检测装置6，该光学检测装置可以具有一个或多个摄像机7。摄像机7可以设置用于检测可见光、红外线或紫外线辐射。由于直接检测交互机器4a、4b的精确的交互机器位置5a、5b可能计算成本高且容易出错，因此可以规定，以间接方式检测交互机器4a、4b的交互机器位置5a、5b。为了能够间接检测交互机器4a、4b的交互机器位置5a、5b，可以规定，每个所述交互机器4a、4b通过相应的参考标记8a、8b标记。参考标记8a、8b可以存储在机器人设备1的控制装置3中。可以规定，参考标记8a、8b相对于相应的交互机器4a、4b设置在相应的参考位置9a、9b处。换言之，可以规定，参考标记8a、8b设置在交互机器4a、4b的预定参考位置9a、9b处。相应的参考位置9a、9b也可以存储在控制装置3中。由于参考位置9a、9b可以是已知的，因此可以在检测和/或确定相应参考标记8a、8b的位置的情况下推导出相应交互机器4a、4b的交互机器位置5a、5b。为此目的可以规定，通过控制装置3从环境图像13中选择预定图像部分，在该图像部分中可以看到相应的参考标记8a、8b。控制装置3可以识别相应的参考标记8a、8b并确定由参考标记8a、8b相对于光学检测装置6的空间位置10产生的失真。控制装置3可以由检测到的失真确定相应的参考标记8a、8b相对于机器人设备1的空间位置10a、10b。控制装置3可以由参考标记8a、8b的已知空间位置10a、10b和参考位置9a、9b确定交互机器4a、4b相对于机器人设备1位于哪个交互机器位置5a、5b处。通过经由检测参考标记8a、8b、8c间接确定交互机器位置5a、5b、5c，可以比在通过光学检测交互机器4a、4b、4c直接确定交互机器位置5a、5b的情况下更精确并且同时更简单地确定交互机器4a、4b、4c的位置。这还归因于已经有由参考标记8a、8b、8c和用于检测参考标记8a、8b、8c的算法构成的有效系统可供使用。参考标记也可以具有可以保持为黑色和白色的一维码或二维码。因此，参考标记8a、8b、8c可以具有简单且对比度高的图案，所述图案允许简单地确定失真。交互操作尤其是可以包括目标物体12的移交。机器人设备1在此可以是目标物体11的移交设备或接收设备。目标物体11例如可以是车辆的构件或包裹。在交互操作期间可以规定，由机器人设备1应在相对于交互机器4a、4b、4c的预定目标物体位置12a、12b、12c处接收或交出目标物体。目标物体位置12a可以是设置为输送装置的交互机器4a的端部、设置为运输机器人的交互机器4b的存放区域或设置为抓取机器人的交互机器4c的保持区域。

也可以规定，交互机器位置5可以涉及交互机器4之一的一个或多个元件。因此，例如可以规定，设计为抓取机器人的交互机器4在作为元件的抓取臂2上具有参考标记8，以便能够通过机器人设备1检测相对于抓取臂2的交互机器位置5。这例如在机器人设备1应将目标物体11移交到交互机器4c上使得交互机器4c应借助于抓取臂将目标物体保持在预定目标物体位置12c处时可以是有利的。为此，机器人设备1可能需要了解抓取臂2的精确的交互机器位置5c并且因此能够通过机器人设备1移交目标物体11。

图2示出用于确定预定交互机器4相对于机器人设备1的交互机器位置5的方法。在第一步骤中，在控制装置3中存储预定的参考标记8和参考标记8相对于预定交互机器4的预定参考位置9(S1)。通过机器人设备1的光学检测装置6检测机器人设备1的环境的环境图像13(S2)。通过控制装置3在机器人设备1的环境的环境图像13中检测交互机器4的再现参考标记8的图像部分(S3)。通过控制装置3在图像部分中检测预定的参考标记8并且确定预定的参考标记8在图像部分中的失真(S4)。通过控制装置3由参考标记8的失真确定参考标记8相对于机器人设备1的空间位置10a、10b(S5)并且由参考标记8相对于机器人设备1的空间位置10a、10b和参考标记8相对于交互机器4的参考位置9确定交互机器4相对于机器人设备1的交互机器位置5(S6)。通过控制装置3可以调节和/或控制机器人设备1，以便通过机器人设备3执行与交互机器4a的预定交互操作。

附图标记列表

1 机器人设备

2 抓取臂

3 控制装置

4a交互机器

4b交互机器

4c交互机器

5a交互机器位置

5b交互机器位置

5c交互机器位置

6 检测装置

7 摄像机

8a参考标记

8b参考标记

8c参考标记

9a参考位置

9b参考位置

9c参考位置

10a 空间位置

10b 空间位置

10c 空间位置

11目标物体

12a 目标物体位置

12b 目标物体位置

12c 目标物体位置

13环境图像

S1-S6方法步骤

Claims (10)

1.机器人设备(1)，所述机器人设备设置用于确定预定交互机器(4a、4b、4c)的至少一个元件相对于机器人设备(1)的交互机器位置(5a、5b、5c)，所述机器人设备(1)具有光学检测装置(6)，所述光学检测装置设置用于检测机器人设备(1)的环境的环境图像(13)，其特征在于，

所述机器人设备(1)具有控制装置(3)，在所述控制装置中存储有预定的参考标记(8a、8b、8c)以及所述参考标记(8a、8b、8c)相对于预定交互机器(4a、4b、4c)的所述至少一个元件的预定参考位置(9a、9b、9c)，

所述控制装置(3)设置用于

-在机器人设备(1)的环境的环境图像(13)中检测交互机器(4a、4b、4c)的再现参考标记(8a、8b、8c)的图像部分，

-在图像部分中检测预定的参考标记(8a、8b、8c)并且确定预定的参考标记(8a、8b、8c)在图像部分中的失真，

-由参考标记(8a、8b、8c)的失真确定参考标记(8a、8b、8c)相对于机器人设备(1)的空间位置(10)，

-由参考标记(8a、8b、8c)相对于机器人设备(1)的空间位置(10)和参考标记(8a、8b、8c)相对于交互机器(4a、4b、4c)的所述至少一个元件的参考位置(9a、9b、9c)确定交互机器(4a、4b、4c)的所述至少一个元件相对于机器人设备(1)的交互机器位置(5a、5b、5c)，以及

-调节和/或控制机器人设备(1)，以便执行与交互机器的在交互机器位置(5a、5b、5c)处的所述至少一个元件的预定交互操作。

2.根据权利要求1所述的机器人设备(1)，其特征在于，所述控制装置(3)设置用于通过机器学习方法检测图像部分和/或预定的参考标记(8a、8b、8c)的失真。

3.根据权利要求2所述的机器人设备(1)，其特征在于，所述控制装置(3)设置用于使用包括神经网络的机器学习方法。

4.根据前述权利要求中任一项所述的机器人设备(1)，其特征在于，所述参考标记(8a、8b、8c)包括条形码和/或平面码。

5.根据前述权利要求中任一项所述的机器人设备(1)，其特征在于，所述预定交互操作包括通过机器人设备(1)将目标物体(11)移交到交互机器(4a、4b、4c)和/或通过交互机器(4a、4b、4c)将目标物体(11)移交到机器人设备(1)。

6.根据前述权利要求中任一项所述的机器人设备(1)，其特征在于，所述预定交互操作包括使机器人设备(1)行驶到交互机器(4a、4b、4c)上和/或中。

7.根据前述权利要求中任一项所述的机器人设备(1)，其特征在于，所述机器人设备(1)设置为叉车。

8.根据前述权利要求中任一项所述的机器人设备(1)，其特征在于，所述机器人设备(1)设置为抓取机器人或起重机。

9.根据前述权利要求中任一项所述的机器人设备(1)，其特征在于，所述光学检测装置(6)具有至少两个摄像机(7)，所述至少两个摄像机设置用于由相应摄像机(7)的至少两个子图像生成机器人设备(1)的环境的环境图像(13)，所述至少两个摄像机(7)设置用于从相应的不同视角拍摄子图像。

10.用于确定预定交互机器(4a、4b、4c)的至少一个元件相对于机器人设备(1)的交互机器位置(5a、5b、5c)的方法，其中，通过机器人设备(1)的光学检测装置(6)检测机器人设备(1)的环境的环境图像(13)，其特征在于，通过机器人设备(1)的控制装置(3)

-存储预定的参考标记(8a、8b、8c)和参考标记(8a、8b、8c)相对于预定交互机器(4a、4b、4c)的所述至少一个元件的预定参考位置(9a、9b、9c)，

-在机器人设备(1)的环境的环境图像(13)中检测交互机器(4a、4b、4c)的再现参考标记(8a、8b、8c)的图像部分，

-在图像部分中检测预定的参考标记(8a、8b、8c)并且确定预定的参考标记(8a、8b、8c)在图像部分中的失真，

-由参考标记(8a、8b、8c)的失真确定参考标记(8a、8b、8c)相对于机器人设备(1)的空间位置(10)，

-由参考标记(8a、8b、8c)相对于机器人设备(1)的空间位置(10)和参考标记(8a、8b、8c)相对于交互机器(4a、4b、4c)的所述至少一个元件的参考位置(9a、9b、9c)确定交互机器(4a、4b、4c)的所述至少一个元件相对于机器人设备(1)的交互机器位置(5a、5b、5c)，以及

-调节和/或控制机器人设备(1)，以便执行与交互机器(4a、4b、4c)的交互机器位置(5a、5b、5c)的所述至少一个元件的预定交互操作。