DE102022124061A1

DE102022124061A1 - System und Verfahren zur optischen Prüfung wenigstens eines Merkmals wenigstens eines Objekts mit einer reflektierenden Oberfläche sowie ein Fahrzeug

Info

Publication number: DE102022124061A1
Application number: DE102022124061.4A
Authority: DE
Inventors: Florian Schlather; Christian Patron
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2022-09-20
Filing date: 2022-09-20
Publication date: 2024-03-21

Abstract

Die Erfindung betrifft ein System (18) zur optischen Prüfung wenigstens eines Merkmals wenigstens Objekts (15) mit einer reflektierenden Oberfläche, aufweisend eine Detektionseinrichtung (20), die eingerichtet ist, Lichtstrahlen (26), die von einer der Detektionseinrichtung (20) abgewandten Oberfläche des Objekts (15) reflektiert werden, zu erfassen und Bilddaten zu erzeugen, und eine Datenverarbeitungseinrichtung (22), die eingerichtet ist, die Bilddaten hinsichtlich des Merkmals auszuwerten. Des Weiteren ein Verfahren zur optischen Prüfung wenigstens eines Objekts mit einer reflektierenden Oberfläche mittels eines derartigen Systems, ein Computerprogrammprodukt sowie ein Fahrzeug.

Description

Die Erfindung betrifft ein System zur optischen Prüfung wenigstens eines Merkmals wenigstens eines Objekts mit einer reflektierenden Oberfläche. Des Weiteren betrifft die Erfindung ein Verfahren zur optischen Prüfung wenigstens eines Objekts mit einer reflektierenden Oberfläche mittels eines derartigen Systems, ein Computerprogrammprodukt sowie ein Fahrzeug.
Im Fahrzeugbau ist es bekannt, Karosserieteile durch Verschweißen miteinander zu verbinden. Die Schweißpunkte müssen hinsichtlich ihrer Qualität überprüft werden, um den Sicherheitsanforderungen zu genügen.
Zur Prüfung der Schweißpunkte ist es bekannt, eine optische Qualitätsprüfung mittels Kameratechnik und geeigneter, auf künstlicher Intelligenz basierender Computeralgorithmen durchzuführen. Dazu wird ein Bild der zu bewertenden Schweißverbindung aufgenommen, welches dann mittels des Computeralgorithmus ausgewertet wird. Dies erfordert Kameras an allen relevanten Positionen, da Schweißpunkte an einer Karosserie von beiden Seiten bewertet werden müssen. Dadurch muss an beiden Seiten der Schweißverbindung jeweils eine Kamera installiert werden, um Bilder aufzunehmen. Die beidseitige Zugänglichkeit zur Bildaufnahme erfordert jedoch Platz und zusätzliche Hardware, was mit Kosten und technischen Restriktionen verbunden ist.
Aus DE 10 2010 023 663 A1 ist eine Prüfeinrichtung zur Online-Prüfung einer durch eine Schweiß- und/oder Lötvorrichtung hergestellten Schweiß- und/oder Lötverbindung auf einem Bauteil offenbart. Die Prüfeinrichtung weist eine Messeinrichtung, die zwei unabhängig voneinander arbeitende Messmodule umfasst, welche ein erstes, elektrische Signale der Schweiß- und/oder Lötprozesse analysierendes Messmodul und ein zweites, die hergestellte Schweiß-/Lötverbindung optisch analysierendes Messmodul und eine Auswerteeinrichtung zur Auswertung und Klassifizierung der von der Messeinrichtung ermittelten Werte auf.
DE 10 2017 125 033 A1 offenbart ein Verfahren zur Prüfung von Schweißverbindungen von Werkstücken mittels eines Industrieroboters, wobei der Industrieroboter ein Messwerkzeug trägt, das eine optische Einrichtung zur Aufnahme einer Abbildung einer zu prüfenden Schweißverbindung und einen Messkopf zur Prüfung der Schweißverbindung aufweist. Bei dem Verfahren wird der Industrieroboter so positioniert, dass die optische Einrichtung die zu prüfende Schweißverbindung aufnimmt. Dann werden die realen Lagekoordinaten, die in der Schweißverbindung liegen, bestimmt. Anschließend wird der Messkopf auf die realen Lagekoordinaten der Schweißverbindung ausgerichtet, und die Schweißverbindung wird induktiv oder akustisch geprüft.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein System, ein Verfahren, ein Computerprogrammprodutk sowie ein Fahrzeug zu schaffen, die eine kostengünstige optische Prüfung eines Merkmals eines Objekts ermöglichen.
Zur Lösung der Aufgabe wird ein System mit den Merkmalen des Anspruchs 1, ein Verfahren mit den Merkmalen des Anspruchs 6, ein Computerprogrammprodukt mit den Merkmalen des Anspruchs 7 und ein Fahrzeug mit den Merkmalen des Anspruchs 8 vorgeschlagen.
Vorteilhafte Ausgestaltungen des Systems sind Gegenstand der abhängigen Ansprüche.
Gemäß einem ersten Aspekt der Erfindung wird ein System zur optischen Prüfung wenigstens eines Merkmals wenigstens eines Objekts mit einer reflektierenden Oberfläche, insbesondere zur computergestützten optischen Prüfung wenigstens eines Merkmals wenigstens Objekts mit einer reflektierenden Oberfläche vorgeschlagen. Das System weist eine Detektionseinrichtung, die eingerichtet ist, Lichtstrahlen, die von einer der Detektionseinrichtung abgewandten Oberfläche des Objekts reflektiert werden, zu erfassen und Bilddaten zu erzeugen, und eine Datenverarbeitungseinrichtung, die eingerichtet ist, die Bilddaten hinsichtlich des Merkmals auszuwerten, auf.
Das System ermöglicht die Beurteilung eines Merkmals, insbesondere hinsichtlich der Qualität des Merkmals nur auf Basis der Reflexionen einer Oberfläche eines Objekts. Dadurch muss nur noch eine Detektionseinrichtung an den Stellen installiert werden, die den indirekten Blick auf die Reflexion eine Rückseite des Objekts erfasst. Infolgedessen ist somit weniger Hardware zur optischen Beurteilung eines Objekts erforderlich, so dass die Kosten des Systems reduziert sind.
Unter einem Objekt wird vorliegend eine Schraubverbindung, eine Schweißverbindung und/oder eine Lötverbindung verstanden. Unter einem Merkmal des Objekts wird vorliegend die Vollständigkeit der Schweiß-, Schraub- und/oder Lötverbindung und/oder eine Qualität der Schweiß-, Schraub- und/oder Lötverbindung, das heißt, die Schweiß-, Schraub- und/oder Lötverbindung wird in Hinblick auf Unterbrechungen, Form und Breite überprüft, verstanden. Unter der der Detektionseinrichtung abgewandten Oberfläche des Objekts wird vorliegend eine Rückseite des Objekts verstanden, welche von der Detektionseinrichtung abgewandt ist.
Die von der Detektionseinrichtung erfassten Lichtstrahlen können Lichtstrahlen im sichtbaren Spektralbereich sein, das heißt, Lichtstrahlen mit einer Wellenlänge zwischen 400 nm und 700 nm.
Wenn wenigstens ein Merkmal einer Vielzahl an Objekte mittels des optischen Systems geprüft werden soll, so kann entweder die Detektionseinrichtung derart positioniert werden, dass diese alle von den der Detektionseinrichtung abgewandten Oberflächen der Objekte reflektierten Lichtstrahlen erfasst, oder es können mehrere Detektionseinrichtungen vorgesehen sein, wobei jeweils eine Detektionseinrichtung die von der Rückseite dieses Objekts reflektierten Lichtstrahlen erfasst.
In einer vorteilhaften Ausgestaltung ist die Detektionseinrichtung mit der Datenverarbeitungseinrichtung verbunden. Hierzu kann die Detektionseinrichtung über ein Kabel oder über eine Funkverbindung, beispielsweise über WLAN, mit der Datenverarbeitungseinrichtung verbunden sein. Die Detektionseinrichtung erzeugt auf Basis der erfassten, von der pastösen Masse emittierten Lichtstrahlen Bilddaten und übermittelt diese an die Datenverarbeitungseinrichtung. Hierzu kann die Detektionseinrichtung eine Schnittstelle aufweisen, welche mit der Datenverarbeitungseinrichtung beispielsweise über ein Kabel oder eine Funkverbindung verbunden sein kann.
Die Datenverarbeitungseinrichtung kann eine Speichereinrichtung zum Speichern von Bilddaten, eine Recheneinheit zum Auswerten der Bilddaten und eine Schnittstelle zum Verbinden der Datenverarbeitungseinrichtung mit der Detektionseinrichtung über ein Datenkabel oder eine Funkverbindung, wie beispielsweise W-LAN, aufweisen.
In einer vorteilhaften Ausgestaltung ist die Detektionseinrichtung eingerichtet, neben den von der Detektionseinrichtung abgewandten Oberfläche reflektierten Lichtstrahlen von einer der Detektionseinrichtung zugewandten Oberfläche zu erfassen. Dadurch kann die Detektionseinrichtung sowohl die von einer Rückseite eines Objektes reflektierten Lichtstrahlen als auch die von einer Vorderseite des Objekts reflektierten Lichtstrahlen erfassen. Infolgedessen muss die Detektionseinrichtung nur noch an der Stelle positioniert werden, dass die Lichtstrahlen von einer Rück- und einer Vorderseite des Objekts erfasst werden. Wenn die erfassten Lichtstrahlen in der Detektionseinrichtung in Bilddaten umgewandelt werden, so enthalten die aufgenommenen Bilder den direkten Blick auf die Vorderseite des Objekts sowie den indirekten Blick auf die Reflexion der Rückseite des Objekts. Dadurch ist es nicht mehr erforderlich, eine Detektionseinrichtung für die Vorderseite und eine Detektionseinrichtung für die Rückseite zu positionieren. Die von der Rückseite reflektierten Rückstrahlen können zunächst an einer dem Objekt gegenüberliegenden Oberfläche eines Bauteils oder Objekts reflektiert werden und dann von der Detektionseinrichtung erfasst werden.
In einer vorteilhaften Ausgestaltung nutzt die Datenverarbeitungseinrichtung eine künstliche Intelligenz (KI), die eingerichtet ist, die Bilddaten hinsichtlich des Merkmals auszuwerten. Vorteilhaft wird die künstliche Intelligenz mit Trainingsdaten angelernt. Die künstliche Intelligenz kann ein Deep Learning System sein, insbesondere ein auf künstlicher Intelligenz basierender Bildverarbeitungs-Algorithmus, beispielsweise ein Object-Detection-Algorithmus, sein. Beispielsweise können mittels eines Object Detection Algorithmus die Bilddaten hinsichtlich der Qualität des Auftrags der ersten pastösen Masse und/oder der zweiten pastösen Masse ausgewertet werden.
In einer vorteilhaften Ausgestaltung weist die Detektionseinrichtung wenigstens eine Kamera auf. Mittels der Kamera werden die reflektierten Lichtstrahlen aufgenommen und wenigstens ein Bild wird davon erzeugt. Das Bild wird in Bilddaten umgewandelt und an die Datenverarbeitungseinrichtung zur Weiterverarbeitung übersandt. Die Kamera nimmt somit Bilder auf, welche den direkten Blick auf die Vorderseite des Objekts enthalten sowie den indirekten Blick auf die Reflexion der Rückseite des Objekts enthalten. Dadurch muss zur Auswertung von mehreren Merkmalen nur noch ein Bild statt mehrere Bilder aufgenommen werden. Wenn Merkmale mehrerer Objekte optisch geprüft werden sollen, dann kann die Detektionseinrichtung mehrere Kameras aufweisen, wobei jede Kamera entweder die Lichtstrahlen eines Objekts oder die Lichtstrahlen zweier oder mehrerer Objekte erfasst.
In einer vorteilhaften Ausgestaltung ist wenigstens eine Lichtquelle vorgesehen, die die der Detektionseinrichtung abgewandten Oberfläche und/oder die der Detektionseinrichtung zugewandten Oberfläche bestrahlt. Dadurch kann die Intensität der von der Oberfläche reflektierten Lichtstrahlen erhöht werden, was die Auflösung der Bilddaten erhöht. Vorteilhaft ist die Lichtquelle ein Licht, das Lichtstrahlen im sichtbaren Spektralbereich emittiert. In einer vorteilhaften Ausgestaltung ist die Lichtquelle über ein Datenkabel oder eine Funkverbindung, wie beispielsweise W-LAN, mit der Datenverarbeitungseinrichtung verbunden. Dadurch kann die Lichtquelle über die Datenverarbeitungseinrichtung angesteuert werden.
Gemäß einem weiteren Aspekt der Erfindung wird ein Verfahren zur optischen Prüfung wenigstens eines Merkmals wenigstens eines Objekts mit einer reflektierenden Oberfläche mittels eines erfindungsgemäßen Systems vorgeschlagen. Bei dem Verfahren werden zunächst mittels einer Detektionseinrichtung Lichtstrahlen, die von einer der Detektionseinrichtung abgewandten Oberfläche des Objekts reflektiert werden, erfasst, und Bilddaten erzeugt. Anschließend werden die Bilddaten an eine Datenverarbeitungseinrichtung übermittelt, die eingerichtet ist, die Bilddaten hinsichtlich des Merkmals auszuwerten.
Gemäß einem weiteren Aspekt der Erfindung wird ein Computerprogrammprodukt vorgeschlagen. Das Computerprogrammprodukt umfasst Befehle, die bewirken, dass das erfindungsgemäße System das erfindungsgemäße Verfahren ausführt.
Gemäß einem weiteren Aspekt der Erfindung wird ein Fahrzeug vorgeschlagen, das wenigstens ein Objekt mit einer reflektierenden Oberfläche aufweist, wobei ein Merkmal des Objekts mit einem erfindungsgemäßen System, einem erfindungsgemäßen Verfahren und/oder einem erfindungsgemäßen Computerprogrammprodukt geprüft ist.
Nachfolgend werden ein Fahrzeug, ein System und ein Verfahren zur optischen Prüfung wenigstens eines Merkmals wenigstens eines Objekts mit einer reflektierenden Oberfläche sowie weitere Merkmale und Vorteile anhand eines Ausführungsbeispiels näher erläutert, das in den Figuren schematisch dargestellt ist. Hierbei zeigen:

1 eine schematische Darstellung eines Fahrzeugs mit einer Karosserie; und
2 eine schematische Darstellung eines Systems zur optischen Prüfung eines Merkmals der Schweißverbindungen der Karosserie.

In 1 ist ein Fahrzeug 10 gezeigt, das eine Fahrzeugkarosserie 12 aufweist. Die Fahrzeugkarosserie 12 ist aus einer Vielzahl an Karosserieteilen 14 gebildet, die mittels Objekten 15 in Form von Schweißverbindungen 16 miteinander verbunden sind, wie in 2 dargestellt ist.
Zur optischen Prüfung eines Merkmals der Schweißverbindungen 16 ist ein System 18 vorgesehen, die eine Detektionseinrichtung 20 und eine Datenverarbeitungseinrichtung 22 aufweist. Insbesondere wird die Vollständigkeit, die Form und/oder die Breite der Schweißverbindung 16 überprüft und/oder ob die Schweißverbindung 16 Unterbrechungen aufweist.
Die Detektionseinrichtung 20 ist eine Kamera 24, die von einer Rückseite 28 der Schweißverbindungen 16 und einer Vorderseite 30 der Schweißverbindungen 16 reflektierten Lichtstrahlen 26 (s. Pfeile in 2) erfasst. Wie in 2 ersichtlich ist, werden die von der Rückseite 28 der Schweißverbindungen 16 reflektierten Lichtstrahlen 26 zunächst an der Fahrzeugkarosserie 12 reflektiert und erst dann werden die von der Rückseite 28 reflektierten Lichtstrahlen 26 von der Kamera 24 erfasst.
Die Kamera 24 wandelt die von der Vorder- 30 und der Rückseite 28 der Schweißverbindungen 16 reflektierten Lichtstrahlen 26 in Bilddaten um, welche von der Datenverarbeitungseinrichtung 22 ausgewertet werden. Hierzu ist die Kamera 24 über eine Verbindung 32, die in 2 schematisch dargestellt ist, mit der Datenverarbeitungseinrichtung 22 verbunden. Die Verbindung 32 kann ein Datenkabel oder eine Funkverbindung, wie beispielsweise WLAN, sein.
Die Datenverarbeitungseinrichtung 22 weist eine Speichereinrichtung 34 zum Speichern der Bilddaten, eine Recheneinheit 36 zum Auswerten der Bilddaten und eine Schnittstelle 38 zum Verbinden der Verbindung 32 mit der Kamera 24 auf. In der Speichereinrichtung 34 kann ein auf künstlicher Intelligenz basierender Bildverarbeitungsalgorithmus, wie beispielsweise ein Object Detection Algorithmus, gespeichert sein, der zum Auswerten der Bilddaten in die Recheneinheit 36 geladen wird.
Die übermittelten Bilddaten werden von der Recheneinheit 36 mittels des in der Speichereinrichtung 34 gespeicherten, auf künstlicher Intelligenz basierenden Bildverarbeitungsalgorithmus dahingehend ausgewertet, ob die Schweißverbindung 16 vorhanden ist und/oder ob die Schweißverbindung 16 Unterbrechungen, die richtige Breite oder Form aufweist.
In einer nicht dargestellten Ausführungsform weist das System 18 eine Lichtquelle auf, die Rückseite 28 und/oder die Vorderseite 30 der Schweißverbindung 16 mit Licht, insbesondere mit sichtbaren Licht bestrahlt.
Das System 18 und das Verfahren zur optischen Prüfung wenigstens eines Merkmals wenigstens Objekts 15 mit einer reflektierenden Oberfläche ermöglichen die Beurteilung der Vollständigkeit und/oder der Qualität der Schweißverbindungen 16 auf Basis der Reflexionen der Oberflächen der Schweißverbindungen 16. Dadurch ist es nur noch erforderlich, die Kamera 24 an der Stelle zu positionieren, die den indirekten Blick auf die Reflexion der Rückseite 28 der Schweißverbindung 16 erfasst. Infolgedessen ist somit weniger Hardware zur optischen Beurteilung der Schweißverbindung erforderlich. Dadurch weist das System 18 und das Verfahren reduzierte Kosten auf.
Bezugszeichenliste

10: Fahrzeug
12: Fahrzeugkarosserie
14: Karosserieteil
15: Objekt
16: Schweißverbindung
18: System
20: Detektionseinrichtung
22: Datenverarbeitungseinrichtung
24: Kamera
26: reflektierender Lichtstrahl
28: Rückseite
30: Vorderseite
32: Verbindung
34: Speichereinrichtung
36: Recheneinheit
38: Schnittstelle

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102010023663 A1 [0004]
DE 102017125033 A1 [0005]

Claims

System (18) zur optischen Prüfung wenigstens eines Merkmals wenigstens Objekts (15) mit einer reflektierenden Oberfläche, aufweisend eine Detektionseinrichtung (20), die eingerichtet ist, Lichtstrahlen (26), die von einer der Detektionseinrichtung (20) abgewandten Oberfläche des Objekts (15) reflektiert werden, zu erfassen und Bilddaten zu erzeugen, und eine Datenverarbeitungseinrichtung (22), die eingerichtet ist, die Bilddaten hinsichtlich des Merkmals auszuwerten.
System nach Anspruch 1, dadurch gekennzeichnet, dass die Detektionseinrichtung (20) eingerichtet ist, neben den von der Detektionseinrichtung (20) abgewandten Oberfläche reflektierten Lichtstrahlen (26) Lichtstrahlen (26) von einer der Detektionseinrichtung (20) zugewandten Oberfläche zu erfassen.
System nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Datenverarbeitungseinrichtung (22) eine künstliche Intelligenz (KI) nutzt, die eingerichtet ist, die Bilddaten hinsichtlich des Merkmals auszuwerten.
System nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Detektionseinrichtung (20) wenigstens eine Kamera (24) aufweist.
System nach einem der vorhergehenden Ansprüche, gekennzeichnet durch wenigstens eine Lichtquelle, die die der Detektionseinrichtung (20) abgewandten Oberfläche und/oder die der Detektionseinrichtung (20) zugewandten Oberfläche bestrahlt.
Verfahren zur optischen Prüfung wenigstens eines Merkmals wenigstens eines Objekts (15) mit einer reflektierenden Oberfläche mittels eines Systems (18) nach einem der Ansprüche 1 bis 5, das folgende Schritte aufweist: a. Erfassen von Lichtstrahlen (26) mittels einer Detektionseinrichtung (20), die von einer der Detektionseinrichtung (20) abgewandten Oberfläche des Objekts (15) reflektiert werden, und Erzeugen von Bilddaten; und b. Übermitteln der Bilddaten an eine Datenverarbeitungseinrichtung (22), die eingerichtet ist, die Bilddaten hinsichtlich des Merkmals auszuwerten.
Computerprogrammprodukt umfassend Befehle, die bewirken, dass das System nach einem der Ansprüche 1 bis 5 das Verfahren nach Anspruch 6 ausführt.
Fahrzeug (10) aufweisend wenigstens ein Objekt mit einer reflektierenden Oberfläche, wobei ein Merkmal des Objekts (15) mit einem System (18) nach einem der Ansprüche 1 bis 5, einem Verfahren nach Anspruch 6 und/oder einem Computerprogrammprodukt nach Anspruch 7 optisch geprüft ist.