DE102021114264A1

DE102021114264A1 - Robotervorrichtung eingerichtet zur Ermittlung einer Interaktionsmaschinenlage zumindest eines Elements einer vorbestimmten Interaktionsmaschine und Verfahren

Info

Publication number: DE102021114264A1
Application number: DE102021114264.4A
Authority: DE
Inventors: Christian Poss; Thomas Irrenhauser
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2021-06-02
Filing date: 2021-06-02
Publication date: 2022-12-08
Also published as: CN117120220A; WO2022253536A1; US20240238981A1

Abstract

Die Erfindung betrifft eine Vorrichtung Robotervorrichtung (1) eingerichtet zur Ermittlung einer Interaktionsmaschinenlage (5a, 5b, 5c) zumindest eines Elements einer vorbestimmten Interaktionsmaschine (4a, 4b, 4c) in Bezug auf die Robotervorrichtung (1), wobei die Robotervorrichtung (1) eine optische Erfassungseinrichtung (6) und eine Steuereinrichtung (3) aufweist, in der eine vorbestimmte Referenzmarkierung (8a, 8b, 8c) und eine vorbestimmte Referenzlage (9a, 9b, 9c) der Referenzmarkierung (8a, 8b, 8c) gespeichert sind, aufweist. Die Steuereinrichtung (3) ist dazu eingerichtet, die vorbestimmte Referenzmarkierung (8a, 8b, 8c) zu erfassen, und aus einer Verzerrung der Referenzmarkierung (8a, 8b, 8c) eine Raumlage (10) der Referenzmarkierung (8a, 8b, 8c) zu ermitteln. Die Steuereinrichtung (3) ist dazu eingerichtet, aus der Raumlage (10) und der Referenzlage (9a, 9b, 9c) der Referenzmarkierung (8a, 8b, 8c) die Interaktionsmaschinenlage (5a, 5b, 5c) der Interaktionsmaschine (4a, 4b, 4c) zu ermitteln, und die Robotervorrichtung (1) zur Durchführung einer vorbestimmten Interaktionshandlung zu regeln und oder zu steuern.

Description

Die Erfindung betrifft eine Robotervorrichtung, eingerichtet zur Ermittlung einer Interaktionsmaschinenlage zumindest eines Elements einer vorbestimmten Interaktionsmaschine in Bezug auf die Robotervorrichtung und ein Verfahren zur Ermittlung einer Interaktionsmaschinenlage zumindest eines Elements einer vorbestimmten Interaktionsmaschine in Bezug auf eine Robotervorrichtung.
Um eine Interaktion von Robotervorrichtungen mit Maschinen zu ermöglichen, ist es nach derzeitigem Stand der Technik erforderlich, dass die Robotervorrichtungen manuell angelernt werden. Typische Interaktionsprozesse umfassen beispielsweise eine Entnahme von Behältern aus einer Fördertechnik oder ein Bereitstellen von Bauteilen für eine Maschine. Während eines solchen Anlernprozesses wird der Robotervorrichtung eine exakte Interaktionsmaschinenlage der Maschine angelernt. Diese manuelle Anlernphase ist mit einem hohen manuellen Aufwand durch Menschen verbunden. Dieser zusätzliche Aufwand wird dadurch verstärkt, dass er jedes Mal zu wiederholen ist, sobald sich die Position der Robotervorrichtung zu der jeweiligen Maschine ändert. Dies kann beispielsweise erforderlich sein, wenn die Robotervorrichtung mit mehreren unterschiedlichen Maschinen interagieren muss.
In der US 9465390 B2 ist eine positionsgesteuerte Roboterflotte offenbart. Darin wird beschrieben, dass ein Steuersystem dazu eingerichtet ist, eine kooperative Operation zu identifizieren, die von einer ersten Robotervorrichtung und einer zweiten Robotervorrichtung auszuführen ist, die auf einer relativen Positionierung zwischen der ersten Robotervorrichtung und der zweiten Robotervorrichtung basiert.
Die erste Robotervorrichtung und die zweite Robotervorrichtung sind dazu eingerichtet, einen visuellen Handshake durchführen, der die relative Positionierung zwischen der ersten Robotervorrichtung und der zweiten Robotervorrichtung für einen kollaborativen Betrieb anzeigt. Der Handshake kann eine gegenseitige Erfassung von visuellen Markern der Robotervorrichtungen umfassen.
Die US 9916506 B1 offenbart ein Steuersystem, das dazu eingerichtet ist, mindestens eine Position einer unsichtbaren Passermarke auf einer Robotervorrichtung zu erfassen und eine Position der Robotervorrichtung zu bestimmen.
Es ist somit eine Aufgabe der Erfindung, eine Lösung bereitzustellen, welche eine einfache Erfassung von Interaktionsmaschinen und deren Lage für Robotervorrichtungen ermöglicht.
Diese Aufgabe wird erfindungsgemäß durch eine Robotervorrichtung mit den Merkmalen gemäß dem unabhängigen Patentanspruch 1 und einem Verfahren mit den Merkmalen gemäß dem unabhängigen Patentanspruch 10 gelöst. Vorteilhafte Ausführungen der Erfindung sind Gegenstand der abhängigen Patentansprüche und der Beschreibung, sowie der Figuren.
Ein erster Aspekt der Erfindung betrifft eine Robotervorrichtung, die zur Ermittlung einer Interaktionsmaschinenlage zumindest eines Elements einer vorbestimmten Interaktionsmaschine in Bezug auf die Robotervorrichtung eingerichtet ist. Mit anderen Worten ist die Robotervorrichtung dazu eingerichtet, eine Lage der Interaktionsmaschine oder zumindest eines Elements der Maschinenlage zu ermitteln. Bei der Robotervorrichtung kann es sich beispielsweise um einen Transportroboter handeln, der dazu eingerichtet ist, Objekte von der Interaktionsmaschine entgegenzunehmen oder der Interaktionsmaschine Objekte bereitzustellen. Die Interaktionsmaschine kann beispielsweise ein Förderband sein oder ein mobiler Transportroboter, der mit der Robotervorrichtung interagieren soll. Das zumindest eine Element kann beispielsweise ein Behälter, ein Arm oder ein Ausgabeelement der Interaktionsmaschine sein. Die Robotervorrichtung ist dazu eingerichtet, mittels einer optischen Erfassungseinrichtung ein Umgebungsbild einer Umgebung der Robotervorrichtung zu erfassen. Die optische Erfassungseinrichtung kann beispielsweise Kameras aufweisen, die dazu eingerichtet sein können, das Umgebungsbild im sichtbaren Lichtspektrum zu fotografieren, oder auch Aufnahmen im Infrarot- oder Ultraviolettbereich aufzunehmen.
Es ist vorgesehen, dass die Robotervorrichtung eine Steuereinrichtung aufweist. Bei der Steuereinrichtung kann es sich beispielsweise um eine elektronische Komponente handeln, welche einen Mikroprozessor und/oder einen Mikrocontroller aufweisen kann. In der Steuereinrichtung sind eine vorbestimmte Referenzmarkierung und eine vorbestimmte Referenzlage der Referenzmarkierung in Bezug auf das zumindest eine Element der vorbestimmten Interaktionsmaschine gespeichert. Mit anderen Worten ist in dieser Steuereinrichtung die vorbestimmte Referenzmarkierung gespeichert, wobei es sich um einen optischen Marker handeln kann, der auf der Interaktionsmaschine oder dem zumindest einem Element der Interaktionsmaschine aufgebracht sein kann. Die vorbestimmte Referenzlage, an der die Referenzmarkierung auf dem Interaktionsmaschine angebracht ist, ist ebenfalls in der Steuereinrichtung gespeichert. Die Steuereinrichtung ist dazu eingerichtet, einen die Referenzmarkierung wiedergebenden Bildausschnitt der Interaktionsmaschine in dem Umgebungsbild der Umgebung der Robotervorrichtung zu erfassen. Mit anderen Worten kann die Robotervorrichtung aus dem aufgenommenen Umgebungsbild einen Bildausschnitt ermitteln, in welchem sich die Referenzmarkierung befindet. Dies kann beispielsweise über eine einfache Erfassung des Interaktionsmaschine erfolgen, wobei in einem zweiten Schritt der Bildausschnitt erstellt wird, welcher einen Bereich des Interaktionsmaschine abbildet, in welchem die vorbestimmte Referenzmarkierung angeordnet ist. Die Steuereinrichtung ist dazu eingerichtet, die vorbestimmte Referenzmarkierung im Bildausschnitt zu erfassen und eine Verzerrung der vorbestimmten Referenzmarkierung in dem Bildausschnitt zu ermitteln. Mit anderen Worten ist die Steuereinrichtung dazu eingerichtet, die Referenzmarkierung in dem Bildausschnitt zu erkennen und zu ermitteln, welche Verzerrung die erkannte Referenzmarkierung in dem Bildausschnitt aufweist. Die Steuereinrichtung ist dazu eingerichtet, aus der Verzerrung der Referenzmarkierung eine Raumlage der Referenzmarkierung in Bezug auf die Robotervorrichtung zu ermitteln. Mit anderen Worten wird die erfasste Verzerrung der Referenzmarkierung verwendet, um zu bestimmen, an welchem Ort sich die Referenzmarkierung in Bezug auf die Robotervorrichtung befindet.
Die Raumlage kann beispielsweise ein Abstand oder eine Ausrichtung der Referenzmarkierung in Bezug auf die Robotervorrichtung umfassen. Die Steuereinrichtung ist dazu angelegt, aus der Raumlage der Referenzmarkierung in Bezug auf die Robotervorrichtung und der Referenzlage der Referenzmarkierung in Bezug auf die Interaktionsmaschine die Interaktionsmaschinelage der Interaktionsmaschine in Bezug auf die Robotervorrichtung zu ermitteln. Mit anderen Worten ist die Steuereinrichtung dazu eingerichtet, aus der erfassten Raumlage der Referenzmarkierung und der gespeicherten Referenzlage, welche angibt, an welchem Ort sich die Referenzmarkierung auf der vorbestimmten Interaktionsmaschine befindet, zu ermitteln, an welchem Ort sich die Interaktionsmaschine oder das zumindest eine Element der Interaktionsmaschine in Bezug auf die Robotervorrichtung befindet. Die Steuereinrichtung ist dazu eingerichtet, die Robotervorrichtung die Robotervorrichtung zur Durchführung einer vorbestimmten Interaktionshandlung mit dem an der Interaktionsmaschinenlage zumindest einem Element der Interaktionsmaschine zu regeln und oder zu steuern.
Die vorbestimmte Interaktionshandlung kann beispielsweise ein Ablegen eines vorbestimmten Zielobjekts an einer vorbestimmten Annahmeposition der Interaktionsmaschine und/oder ein Aufnehmen des vorbestimmten Zielobjekts von einer vorbestimmten Ablageposition der Interaktionsmaschine umfassen. Mit anderen Worten ist es vorgesehen, dass die Steuereinrichtung die abgeleitete Interaktionsmaschinelage verwendet, um die Robotervorrichtung so anzusteuern, dass durch die Robotervorrichtung die vorbestimmte Interaktionshandlung mit der Interaktionsmaschine durchgeführt wird. Es kann insbesondere Vorgesehen sein, dass das vorbestimmte Zielobjekt an der vorbestimmten Annahmeposition der Interaktionsmaschine abgelegt wird, oder von der vorbestimmten Ablageposition des Interaktionsmaschine aufgenommen wird. Das vorbestimmte Zielobjekt kann beispielsweise ein Bauteil eines Kraftfahrzeugs sein, welches an der vorbestimmten Annahmeposition durch die Robotervorrichtung abgelegt werden soll.
Durch die Erfindung ergibt sich der Vorteil, dass ein erneutes Anlernen der Robotervorrichtung nicht mehr erforderlich ist, wenn sich die Lage der Interaktionsmaschine in Bezug auf die Robotervorrichtung geändert hat. Die durchzuführenden Prozesse müssen lediglich einmal beigebracht werden. Die Lage der Interaktionsmaschine kann durch die indirekte Erfassung der Lage des Interaktionsmaschine über die Referenzmarkierung einfacher und fehlerfreier bestimmt werden.
Die Erfindung umfasst auch optionale Weiterbildungen, durch die sich weitere Vorteile ergeben.
Eine Weiterbildung der Erfindung sieht vor, dass die Steuereinrichtung dazu eingerichtet ist, den Bildausschnitt und/oder die Verzerrung der vorbestimmten Referenzmarkierung durch Methoden maschinellen Lernens zu erfassen. Mit anderen Worten ist die Steuereinrichtung dazu eingerichtet, den Bildausschnitt, in welchem sich die Referenzmarkierung auf der Interaktionsmaschine befindet und/oder die Verzerrung der Referenzmarkierung mittels einer Anwendung von Methoden maschinellen Lernens zu erfassen. Bei den Methoden maschinellen Lernens kann es sich insbesondere um automatische Bilderkennung über maschinelles Sehen handeln. Mit anderen Worten wird mittels einer Ausprägung künstlicher Intelligenz, dem maschinellen Lernen, der den Bildausschnitt, in welchem sich die Referenzmarkierung befindet, identifiziert und darüber hinaus in diesem Bereich anschließend die Referenzmarkierung und deren Verzerrung ermittelt. Das maschinelle Lernen kann beispielsweise durch einen, insbesondere lernfähigen, Algorithmus ausgebildet sein. Durch das Verwenden des maschinellen Lernens kann das Verfahren beispielsweise besonders vorteilhaft durchgeführt werden und darüber hinaus auf einfache Weise an neue Referenzmarkierungen und Interaktionsmaschinen angepasst werden.
Eine Weiterbildung der Erfindung sieht vor, dass die Steuereinrichtung dazu eingerichtet ist, die Methoden maschinellen Lernens unter Einbeziehung eines neuronalen Netzes anzuwenden. Bei dem maschinellen Lernen können im Wesentlichen zwei Ansätze verfolgt werden: Erstens symbolische Ansätze, wie aussagenlogische Systeme, in denen das Wissen - sowohl die Beispiele als auch die induzierten Regeln - explizit repräsentiert ist, welche beispielsweise durch den Algorithmus ausgedrückt werden können. Zweitens subsymbolische Systeme wie, insbesondere künstliche, neuronale Netze, die nach dem Vorbild des menschlichen Gehirns funktionieren und in denen das Wissen implizit repräsentiert ist. Dabei sind auch Kombinationen des wenigstens einen Algorithmus und des wenigstens einen neuronalen Netz denkbar. Dabei kann der Algorithmus lernfähig, insbesondere selbstlernfähig, sein und beispielsweise durch das neuronale Netz ausgeführt werden bzw. erhält das neuronale Netz entsprechend des lernenden Algorithmus Anweisungen für seine Vorhersage und/oder für das Identifizieren und/oder Auswerten, welches beispielsweise mittels einer Mustererkennung, welche durch das neuronale Netz oder den Algorithmus erlernbar ist, realisiert werden kann. Dadurch ergibt sich der Vorteil, dass das maschinelle Lernen beispielsweise nicht durch einen Algorithmus auf eine konventionelle Prozessorarchitektur durchgeführt werden muss, sondern sich aufgrund der Verwendung des neuronalen Netzes bestimmte Vorteile bei der Erkennung ergeben können.
Eine Weiterbildung der Erfindung sieht vor, dass die Referenzmarkierung einen Strichcode und/oder einen Flächencode umfasst. Mit anderen Worten weist die Referenzmarkierung einen als Strichcode ausgebildeten Bereich auf oder einen Flächencode, wobei es sich um einen zweidimensionalen Code handeln kann. Bei dem zweidimensionalen Code kann es sich insbesondere um einen AprilTag-, ARtag-, ArUco- oder QR-Code handeln. Durch die Weiterbildung ergibt sich der Vorteil, dass die Referenzmarkierung für die Steuereinrichtung einfach zu erkennende Bereiche aufweist, deren Verzerrung durch die Steuereinheit einfach und genau ermittelt werden kann. Durch die Verwendung eines Strichcodes und/oder eines Flächencodes können auch Stellplätze der Interaktionsmaschinen individuell gekennzeichnet sein.
Eine Weiterbildung der Erfindung sieht vor, dass die vorbestimmte Interaktionshandlung eine Übergabe eines Zielobjekts durch die Robotervorrichtung an die Interaktionsmaschine und/oder eine Übergabe des Zielobjekts durch die Interaktionsmaschine an die Robotervorrichtung umfasst. Mit anderen Worten ist die Steuereinrichtung dazu eingerichtet, die Robotervorrichtung anzusteuern, um während der Interaktionshandlung das Zielobjekt an die Interaktionsmaschine zu übergeben und/oder um das Zielobjekt von der Interaktionsmaschine anzunehmen. Die Übergabe kann beispielsweise ein Greifen des Zielobjekts durch die Robotervorrichtung an einer Ausgabeöffnung der Interaktionsmaschine umfassen. Es kann auch vorgesehen sein, dass die Robotervorrichtung dazu eingerichtet ist, ein durch einen Greifarm übergebenes Zielobjekt entgegenzunehmen.
Eine Weiterbildung der Erfindung sieht vor, dass die vorbestimmte Interaktionshandlung ein Fahren der Robotervorrichtung auf und/oder in die Interaktionsmaschine umfasst. Mit anderen Worten ist die Steuereinrichtung dazu eingerichtet, die Robotervorrichtung so anzusteuern, dass diese auf und/oder in die Interaktionsmaschine fährt. Es kann beispielsweise vorgesehen sein, dass die Interaktionsmaschine eine Hebebühne, ein Förderband, ein Transportfahrzeug oder ein Aufzug ist, deren Position über die Referenzmarkierung abgeleitet werden kann. Es kann vorgesehen sein, dass die Steuereinrichtung dazu vorgesehen ist, die Referenzmarkierung zu erfassen, damit die die Robotervorrichtung während der vorbestimmten Interaktionshandlung eine vorbestimmte Lage auf dem Aufzug einnehmen kann.
Eine Weiterbildung der Erfindung sieht vor, dass die Robotervorrichtung als Gabelstapler eingerichtet ist. Mit anderen Worten handelt es sich bei der Robotervorrichtung um einen Gabelstapler. Dieser kann dazu eingerichtet sein, das vorbestimmte Zielobjekt mittels einer Gabel zu heben, zu transportieren oder abzusenken. Die Robotervorrichtung kann insbesondere dazu eingerichtet sein, mittels der erfassten Zielobjektlage einen Punkt zum Halten oder Heben des Zielobjekts zu ermitteln.
Eine Weiterbildung der Erfindung sieht vor, dass die Robotervorrichtung als Greifroboter oder Kran eingerichtet ist. Mit anderen Worten weist die Robotervorrichtung einen Greifarm auf oder ist als Kran eingerichtet. Die Robotervorrichtung kann dazu eingerichtet sein, das Zielobjekt zu greifen, um es zu heben oder zu bewegen.
Eine Weiterbildung der Erfindung sieht vor, dass die Robotervorrichtung eine optische Erfassungseinrichtung aufweist, die zumindest zwei Kameras aufweist. Die Kameras sind jeweils dazu eingerichtet, das Umgebungsbild der Umgebung der Robotervorrichtung aus zumindest zwei Teilbildern der jeweiligen Kameras zu generieren, wobei die zumindest zwei Kameras dazu eingerichtet sind, die Teilbilder aus jeweiligen unterschiedlichen Perspektiven aufzunehmen. Dadurch ergibt sich der Vorteil, dass ein größeres Umgebungsbild ermöglicht wird, als es mit einer optischen Erfassungseinrichtung mit nur einer Kamera möglich wäre.
Ein zweiter Aspekt der Erfindung betrifft ein Verfahren zur Ermittlung einer Interaktionsmaschinenlage einer vorbestimmten Interaktionsmaschine in Bezug auf eine Robotervorrichtung. In dem Verfahren wird durch eine optische Erfassungseinrichtung der Robotervorrichtung ein Umgebungsbild einer Umgebung der Robotervorrichtung erfasst. Es ist vorgesehen, dass durch eine Steuereinrichtung der Robotervorrichtung eine vorbestimmte Referenzmarkierung und eine vorbestimmte Referenzlage der Referenzmarkierung in Bezug auf die vorbestimmte Interaktionsmaschine gespeichert werden. In einem nächsten Schritt wird ein die Referenzmarkierung wiedergebender Bildausschnitt der Interaktionsmaschine in dem Umgebungsbild der Umgebung der Robotervorrichtung durch die Steuereinrichtung erfasst. Durch die Steuereinrichtung wird die vorbestimmte Referenzmarkierung in dem Bildausschnitt erfasst und eine Verzerrung der vorbestimmten Referenzmarkierung in dem Bildausschnitt ermittelt. Durch die Steuereinrichtung wird aus der Verzerrung der Referenzmarkierung eine Augenlage der Referenzmarkierung in Bezug auf die Robotervorrichtung ermittelt und aus der Raumlage der Referenzmarkierung in Bezug auf die Robotervorrichtung und der Referenzlage der Referenzmarkierung in Bezug auf die Interaktionsmaschine die Interaktionsmaschinenlage der Interaktionsmaschine in Bezug auf die Robotervorrichtung ermittelt. Abschließend wird durch die Steuereinrichtung die Robotervorrichtung geregelt und/oder angesteuert, um eine vorbestimmte Interaktionshandlung durch die Robotervorrichtung mit der Interaktionsmaschine durchzuführen.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar.
Die Erfindung wird nun anhand eines bevorzugten Ausführungsbeispiels sowie unter Bezugnahme auf die Zeichnungen näher erläutert. Es zeigen:

1 eine schematische Perspektivansicht;

1 zeigt eine schematische Darstellung einer Robotervorrichtung. Die Robotervorrichtung 1 kann beispielsweise dazu vorgesehen sein, in einer Lager- oder Produktionshalle die vorbestimmten Interaktionshandlungen mit den Interaktionsmaschinen 4 durchzuführen. Es kann sich bei der Robotervorrichtung 1 beispielsweise um einen Gabelstapler, oder einen Greifroboter mit einem Greifarm 2 handeln. Die Robotervorrichtung 1 kann eine Steuereinrichtung 3 aufweisen, wobei es sich um eine elektronische Einrichtung handeln kann, die einen Mikroprozessor und/oder einen Mikrocontroller aufweisen kann. Die Steuereinrichtung 3 kann dazu eingerichtet sein, die Robotervorrichtung 1 zu steuern. Bei den Interaktionsmaschinen 4 kann es sich beispielsweise um eine Förderbandausgabe 4a, einen Transportroboter 4b oder eine andere Robotervorrichtung 4c handeln. Es kann vorgesehen sein, dass sich eine jeweilige Interaktionsmaschinenlage 5 der Interaktionsmaschinen 4 in Bezug auf die Robotervorrichtung 1 während des Betriebs ändern kann. Dies kann beispielsweise durch ein Bewegen der Robotervorrichtung 1 und/oder der Interaktionsmaschine 4 erfolgen. Um die Umgebung und somit auch die Interaktionsmaschinen 4a, 4b und deren Lage 5a, 5b erfassen zu können, kann die Robotervorrichtung 1 eine optische Erfassungseinrichtung 6 aufweisen, welche eine oder mehrere Kameras 7 aufweisen kann. Die Kameras 7 können dazu eingerichtet sein, sichtbares Licht, Infrarot- oder ultraviolette Strahlung zu erfassen. Da ein direktes Erfassen der genauen Interaktionsmaschinenlage 5a, 5b der Interaktionsmaschinen 4a, 4b rechenaufwendig und fehleranfällig sein kann, kann es vorgesehen sein, die Interaktionsmaschinenlagen 5a, 5b der Interaktionsmaschinen 4a, 4b auf einem indirekten Weg zu erfassen. Um die indirekte Erfassung der Interaktionsmaschinenlagen 5a, 5b der Interaktionsmaschinen 4a, 4b zu ermöglichen, kann es vorgesehen sein, dass jede der Interaktionsmaschinen 4a, 4b durch eine jeweilige Referenzmarkierung 8a, 8b gekennzeichnet ist. Die Referenzmarkierungen 8a, 8b können in der Steuereinrichtung 3 der Robotervorrichtung 1 gespeichert sein. Es kann vorgesehen sein, dass die Referenzmarkierungen 8a, 8b an einer jeweiligen Referenzlage 9a, 9b in Bezug auf die jeweilige Interaktionsmaschine 4a, 4b angeordnet sind. Mit anderen Worten kann es vorgesehen sein, dass die Referenzmarkierungen 8a, 8b an einer vorbestimmten Referenzlage 9a, 9b der Interaktionsmaschinen 4a, 4b angeordnet sind. Die jeweiligen Referenzlagen 9a, 9b können ebenfalls in der Steuereinrichtung 3 gespeichert sein. Dadurch, dass die Referenzlagen 9a, 9b bekannt seien können, kann im Fall einer Erfassung und/oder Bestimmung der Lage der jeweiligen Referenzmarkierungen 8a, 8b die Interaktionsmaschinenlage 5a, 5b der jeweiligen Interaktionsmaschine 4a, 4b abgeleitet werden. Zu diesem Zweck kann es vorgesehen sein, dass durch die Steuereinrichtung 3 ein vorbestimmter Bildausschnitt aus dem Umgebungsbild 13 ausgewählt wird, in welchem die jeweilige Referenzmarkierung 8a, 8b zu sehen ist. Die Steuereinrichtung 3 kann die jeweilige Referenzmarkierung 8a, 8b identifizieren und eine Verzerrung, die sich aus der Raumlage 10 der Referenzmarkierung 8a, 8b in Bezug auf die optische Erfassungseinrichtung 6 ergibt, ermitteln. Aus der erfassten Verzerrung kann die Steuereinrichtung 3 die Raumlage 10a, 10b der jeweiligen Referenzmarkierung 8a, 8b in Bezug auf die Robotervorrichtung 1 ermitteln. Aus der bekannten Raumlage 10a, 10b der Referenzmarkierung 8a, 8b und der Referenzlage 9a, 9b kann die Steuereinrichtung 3 ermitteln, an welcher Interaktionsmaschinenlage 5a, 5b sich die Interaktionsmaschine 4a, 4b in Bezug auf die Robotervorrichtung 1 befindet.. Durch die indirekte Bestimmung der Interaktionsmaschinenlage 5a, 5b, 5c über die Erfassung der Referenzmarkierungen 8a, 8b, 8c kann eine genauere und zugleich einfachere Bestimmung der Lage der Interaktionsmaschinen 4a, 4b, 4c erfolgen, als es bei einer direkten Ermittlung der Interaktionsmaschinenlagen 5a, 5b mittels einer optischen Erfassung der Interaktionsmaschinen 4a, 4b, 4c möglich wäre. Dies ist unter anderem darauf zurückzuführen, dass bereits effiziente Systeme aus Referenzmarkierungen 8a, 8b, 8c und Algorithmen zur Erfassung der Referenzmarkierung 8a, 8b, 8c verfügbar sind. Die Referenzmarkierungen können auch eindimensionale oder zweidimensionale Codes aufweisen, welche in Schwarz und Weiß gehalten sein können. Somit können die Referenzmarkierungen 8a, 8b, 8c simple und kontrastreiche Muster aufweisen, welche eine einfache Ermittlung der Verzerrung ermöglichen. Die Interaktionshandlungen können insbesondere Übergaben eines Zielobjekts 12 umfassen. Die Robotervorrichtung 1 kann hierbei entweder Übergeber oder Empfänger des Zielobjekts 11 sein. Das Zielobjekt 11 kann beispielsweise ein Bauteil eines Fahrzeugs oder ein Paket sein. Es kann während der Interaktionshandlung vorgesehen sein, dass das Zielobjekt an einer vorbestimmten Zielobjektlage 12a, 12b, 12c in Bezug auf die Interaktionsmaschine 4a, 4b, 4c durch die Robotervorrichtung 1 durch die Robotervorrichtung 1 aufgenommen oder abgegeben werden soll. Die Zielobjektlage 12a kann ein Ende einer als Fördervorrichtung eingerichteten Interaktionsmaschine 4a, ein Ablagebereich einer als Transportroboter eingerichteten Interaktionsmaschine 4b oder ein Haltebereich einer als Greifroboter eingerichteten Interaktionsmaschine 4c sein.
Es kann auch vorgesehen sein, dass die Interaktionsmaschinenlage 5 sich auf ein oder mehrere Elemente einer der Interaktionsmaschinen 4 beziehen kann. So kann es beispielsweise vorgesehen sein, dass eine als Greifroboter gestaltete Interaktionsmaschine 4 einen Referenzmarker 8 an einem Greifarm 2 als Element aufweist, um eine Erfassung der Interaktionsmaschinenlage 5 in Bezug auf den Greifarm 2 durch die Robotervorrichtung 1 zu ermöglichen. Dies kann beispielsweise vorteilhaft sein, wenn die Robotervorrichtung 1 ein Zielobjekt 11 an die Interaktionsmaschine 4c derart übergeben soll, dass die Interaktionsmaschine 4c das Zielobjekt mittels des Greifarms an einer vorbestimmten Zielobjektlage 12c halten soll. Hierfür kann es für die Robotervorrichtung 1 erforderlich sein, die genaue Interaktionsmaschinenlage 5c des Greifarms 2 zu kennen und somit eine Übergabe des Zielobjekts 11 durch die Robotervorrichtung 1 zu ermöglichen.
2 zeigt ein Verfahren zur Ermittlung einer Interaktionsmaschinenlage 5 einer vorbestimmten Interaktionsmaschine 4 in Bezug auf eine Robotervorrichtung 1. In einem ersten Schritt werden eine vorbestimmte Referenzmarkierung 8 und eine vorbestimmte Referenzlage 9 der Referenzmarkierung 8 in Bezug auf die vorbestimmte Interaktionsmaschine 4 in der Steuereinrichtung 3 gespeichert (S1). Durch eine optische Erfassungseinrichtung 6 der Robotervorrichtung 1 wird ein Umgebungsbild 13 einer Umgebung der Robotervorrichtung 1 erfasst (S2). Durch die Steuereinrichtung 3 wird der die Referenzmarkierung 8 wiedergebende Bildausschnitt der Interaktionsmaschine 4 in dem Umgebungsbild 13 der Umgebung der Robotervorrichtung 1 erfasst (S3). Durch die Steuereinrichtung 3 wird die vorbestimmte Referenzmarkierung 8 in dem Bildausschnitt erfasst, und eine Verzerrung der vorbestimmten Referenzmarkierung 8 in dem Bildausschnitt ermittelt (S4). Durch die Steuereinrichtung 3 wird aus der Verzerrung der Referenzmarkierung 8 eine Raumlage 10a, 10b der Referenzmarkierung 8 in Bezug auf die Robotervorrichtung 1 ermittelt (S5), und aus der Raumlage 10a, 10b der Referenzmarkierung 8 in Bezug auf die Robotervorrichtung 1 und der Referenzlage 9 der Referenzmarkierung 8 in Bezug auf die Interaktionsmaschine 4 die Interaktionsmaschinelage 5 der Interaktionsmaschine 4 in Bezug auf die Robotervorrichtung 1 ermittelt (S6). Durch die Steuereinrichtung 3 kann die Robotervorrichtung 1 geregelt und/oder angesteuert, um ein vorbestimmtes Interaktionshandlung durch die Robotervorrichtung 3 mit der Interaktionsmaschine 4a durchzuführen.
Bezugszeichenliste

1: Robotervorrichtung
2: Greifarm
3: Steuereinrichtung
4a: Interaktionsmaschine
4b: Interaktionsmaschine
4c: Interaktionsmaschine
5a: Interaktionsmaschinenlage
5b: Interaktionsmaschinenlage
5c: Interaktionsmaschinenlage
6: Erfassungseinrichtung
7: Kameras
8a: Referenzmarkierung
8b: Referenzmarkierung
8c: Referenzmarkierung
9a: Referenzlage
9b: Referenzlage
9c: Referenzlage
10a: Raumlage
10b: Raumlage
10c: Raumlage
11: Zielobjekt
12a: Zielobjektlage
12b: Zielobjektlage
12c: Zielobjektlage
13: Umgebungsbild
S1-S6: Verfahrensschritte

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 9465390 B2 [0003]
US 9916506 B1 [0004]

Claims

Robotervorrichtung (1) eingerichtet zur Ermittlung einer Interaktionsmaschinenlage (5a, 5b, 5c) zumindest eines Elements einer vorbestimmten Interaktionsmaschine (4a, 4b, 4c) in Bezug auf die Robotervorrichtung (1), wobei die Robotervorrichtung (1) eine optische Erfassungseinrichtung (6) aufweist, die dazu eingerichtet ist, ein Umgebungsbild (13) einer Umgebung der Robotervorrichtung (1) zu erfassen, dadurch gekennzeichnet, dass die Robotervorrichtung (1) eine Steuereinrichtung (3) aufweist, in der eine vorbestimmte Referenzmarkierung (8a, 8b, 8c) und eine vorbestimmte Referenzlage (9a, 9b, 9c) der Referenzmarkierung (8a, 8b, 8c) in Bezug auf das zumindest eine Elements der vorbestimmten Interaktionsmaschine (4a, 4b, 4c) gespeichert sind, wobei die Steuereinrichtung (3) dazu eingerichtet ist, - einen die Referenzmarkierung (8a, 8b, 8c) wiedergebenden Bildausschnitt der Interaktionsmaschine (4a, 4b, 4c) in dem Umgebungsbild (13) der Umgebung der Robotervorrichtung (1) zu erfassen, - die vorbestimmte Referenzmarkierung (8a, 8b, 8c) in dem Bildausschnitt zu erfassen, und eine Verzerrung der vorbestimmten Referenzmarkierung (8a, 8b, 8c) in dem Bildausschnitt zu ermitteln, - aus der Verzerrung der Referenzmarkierung (8a, 8b, 8c) eine Raumlage (10) der Referenzmarkierung (8a, 8b, 8c) in Bezug auf die Robotervorrichtung (1) zu ermitteln, - aus der Raumlage (10) der Referenzmarkierung (8a, 8b, 8c) in Bezug auf die Robotervorrichtung (1) und der Referenzlage (9a, 9b, 9c) der Referenzmarkierung (8a, 8b, 8c) in Bezug auf das zumindest eine Element der Interaktionsmaschine (4a, 4b, 4c) die Interaktionsmaschinenlage (5a, 5b, 5c) des zumindest einen Elements der Interaktionsmaschine (4a, 4b, 4c) in Bezug auf die Robotervorrichtung (1) zu ermitteln, und - die Robotervorrichtung (1) zur Durchführung einer vorbestimmten Interaktionshandlung mit dem an der Interaktionsmaschinenlage (5a, 5b, 5c) zumindest einem Element der Interaktionsmaschine (4a, 4b, 4c) zu regeln und oder zu steuern.
Robotervorrichtung (1) nach Anspruch 1, dadurch gekennzeichnet, dass die Steuereinrichtung (3) dazu eingerichtet ist, den Bildausschnitt und/oder die Verzerrung der vorbestimmten Referenzmarkierung (8a, 8b, 8c) durch Methoden maschinellen Lernens zu erfassen.
Robotervorrichtung (1) nach Anspruch 2, dadurch gekennzeichnet, dass die Steuereinrichtung (3) dazu eingerichtet ist, die Methoden maschinellen Lernens unter Einbeziehung eines neuronalen Netzes anzuwenden.
Robotervorrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Referenzmarkierung (8a, 8b, 8c) einen Strichcode und/oder einen Flächencode umfasst.
Robotervorrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die vorbestimmte Interaktionshandlung eine Übergabe eines Zielobjekts (11) durch die Robotervorrichtung (1) an die Interaktionsmaschine (4a, 4b, 4c) und/oder eine Übergabe des Zielobjekts (11) durch die Interaktionsmaschine (4a, 4b, 4c) an die Robotervorrichtung (1) umfasst.
Robotervorrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die vorbestimmte Interaktionshandlung ein Fahren der Robotervorrichtung (1) auf und/oder in die Interaktionsmaschine (4a, 4b, 4c) umfasst.
Robotervorrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Robotervorrichtung (1) als Gabelstapler eingerichtet ist.
Robotervorrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Robotervorrichtung (1) als Greifroboter oder Kran eingerichtet ist.
Robotervorrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die optische Erfassungseinrichtung (6) zumindest zwei Kameras (7) aufweist, die dazu eingerichtet sind, das Umgebungsbild (13) der Umgebung der Robotervorrichtung (1) aus zumindest zwei Teilbildern der jeweiligen Kameras (7) zu generieren, wobei die zumindest zwei Kameras (7) dazu eingerichtet sind, die Teilbilder aus jeweiligen, unterschiedlichen Perspektiven aufzunehmen.
Verfahren zur Ermittlung einer Interaktionsmaschinenlage (5a, 5b, 5c) zumindest eines Elements einer vorbestimmten Interaktionsmaschine (4a, 4b, 4c) in Bezug auf eine Robotervorrichtung (1), wobei durch eine optische Erfassungseinrichtung (6) der Robotervorrichtung (1), ein Umgebungsbild (13) einer Umgebung der Robotervorrichtung (1) erfasst wird, dadurch gekennzeichnet, dass durch eine Steuereinrichtung (3) der Robotervorrichtung (1) - eine vorbestimmte Referenzmarkierung (8a, 8b, 8c) und eine vorbestimmte Referenzlage (9a, 9b, 9c) der Referenzmarkierung (8a, 8b, 8c) in Bezug auf das zumindest eine Element der vorbestimmten Interaktionsmaschine (4a, 4b, 4c) gespeichert werden, - ein die Referenzmarkierung (8a, 8b, 8c) wiedergebender Bildausschnitt der Interaktionsmaschine (4a, 4b, 4c) in dem Umgebungsbild (13) der Umgebung der Robotervorrichtung (1) erfasst wird, - die vorbestimmte Referenzmarkierung (8a, 8b, 8c) in dem Bildausschnitt erfasst wird, und eine Verzerrung der vorbestimmten Referenzmarkierung (8a, 8b, 8c) in dem Bildausschnitt ermittelt wird, - aus der Verzerrung der Referenzmarkierung (8a, 8b, 8c) eine Raumlage (10) der Referenzmarkierung (8a, 8b, 8c) in Bezug auf die Robotervorrichtung (1) ermittelt wird, - aus der Raumlage (10) der Referenzmarkierung (8a, 8b, 8c) in Bezug auf die Robotervorrichtung (1) und der Referenzlage (9a, 9b, 9c) der Referenzmarkierung (8a, 8b, 8c) in Bezug auf das zumindest eine Element der Interaktionsmaschine (4a, 4b, 4c) die Interaktionsmaschinenlage (5a, 5b, 5c) des zumindest einen Elements der Interaktionsmaschine (4a, 4b, 4c) in Bezug auf die Robotervorrichtung (1) ermittelt wird, und - die Robotervorrichtung (1) zur Durchführung einer vorbestimmten Interaktionshandlung mit dem zumindest einen Element der Interaktionsmaschine (4a, 4b, 4c) der Interaktionsmaschinenlage (5a, 5b, 5c) geregelt und/oder gesteuert wird.