Maschinelles Sehen und Robotik synergisieren für Next-Gen-Automatisierung

Das nächste „dynamische Duo“ könnte ganz ohne Menschen auskommen. „Maschinelles Sehen und Roboter sind eine perfekte Ehe“, erklärte Klas Bengtsson, Global Product Manager Vision Systems für ABB Robotics (Auburn Hills, MI). Das ist nicht neu. Sehen und Robotik gehen seit Jahren Hand in Hand. Aber anders als andere Ehen gedeiht diese, da maschinelles Sehen an Fähigkeiten zunimmt und neue Anwendungen findet. Die „perfekte“ Ehe der Vergangenheit beinhaltete das Führen des Roboters. Aber neue Anwendungen – wie Kinder aus einer guten Ehe – umfassen jetzt das Prüfen von Teilen, das Lesen von Strich- oder QR-Codes für Rückverfolgbarkeit und neue Wege zum Verpacken und Entpacken von Teilen.

Letztlich kommt es auf die Flexibilität an, die maschinelles Sehen bietet. „Sehen hat ABB geholfen, die Fähigkeiten vieler robotischer Anwendungen zu erweitern“, sagte er.

Der Bedarf an flexibler Roboterführung wurde durch zunehmende Produktvielfalt und die Notwendigkeit verkürzter Lieferzeiten in vielen Branchen getrieben. Warum ist Flexibilität so wichtig? „Wenn man die Roboterautomatisierung hardcodet, muss man im Moment, in dem man ein Produkt oder etwas in der Produktionslinie ändert, das Programm ändern“, sagte Bengtsson. Das bedeutet auch, Präzisionsvorrichtungen oder die Art der Teileplatzierung zu ändern, damit ein hardcodiertes Roboterführungsprogramm das Teil zuverlässig greifen, polieren oder anderweitig bearbeiten kann. Die Kosten summieren sich.

Maschinelles Sehen hilft, diese Kosten einzudämmen, indem es dem Roboter erlaubt, Variationen in Teilen und Ausrichtung zu „sehen“. 3D-Scansensoren eröffnen noch mehr neue Anwendungen. Sagte Bengtsson: „Die Frage vor 15 Jahren war ‚Warum maschinelles Sehen nutzen?‘. Die Frage heute ist: ‚Warum nicht?‘“

Menschen und Roboter kollaborieren

Rethink Robotics (Boston), 2008 gegründet, baut kollaborative Roboter, oder Cobots. Sein Flaggschiffprodukt ist Sawyer. „Ein Cobot wie unser Sawyer-Roboter eignet sich am besten für repetitive, banale Aufgaben, die menschlicher Skala entsprechen“, sagte Mike Fair, Produktmanager. Das bedeutet, mit Produkten oder Bewegungen zu arbeiten, die replizieren, was ein Mensch tut, was aber betäubend repetitiv und banal ist.

„Anwendungen wie diese umfassen Verpacken, Maschinenbestückung, Linienbe- und -entladen, Inspektion und Leiterplattentests“, sagte er. Materialhandling für CNC-Maschinen ist eine weitere Anwendung, die einen Menschen ersetzt, der eine CNC-Maschine bestückt, sie taktet, auf das Ende der Bearbeitung wartet und sie dann entlädt.

Rethink glaubt so sehr an maschinelles Sehen, dass es eine Kamera in das Handgelenk jedes Sawyer einbaut. „Das eingebettete Sehsystem [macht] unseren Cobot schneller und einfacher zu implementieren, beseitigt Ärger und kostspielige Integrationszeit typischer Maschinensehsysteme. Wir fügen Software hinzu, um es einfach zu machen, [diese] Sehsysteme zu implementieren“, sagte Fair. Auf der ATX West 2018 Messe demonstrierte er, dass sogar ein Journalist eine einfache Aufgabe in wenigen Minuten programmieren kann. In Verbindung mit codierten Aufklebern, die wie QR-Codes aussehen, hilft ihre Software dem Roboter, sich zu positionieren, um sich an Variabilität in der Arbeitszelle anzupassen. Dies erleichtert auch das Versetzen von Sawyer-Robotern von Aufgabe zu Aufgabe und von Standort zu Standort.

Universal Robots USA Inc. (UR; Ann Arbor, MI) widmet sich ebenfalls kollaborativen Robotern. Seine drei Roboter, mit Traglasten von 3 bis 10 kg, operieren innerhalb eines „Ökosystems“ von Drittanbietern. Es bietet ein kostenloses Entwicklerprogramm namens Universal Robots+ an, um Drittanbieter von Endeffektoren, Sehsystemen und anderen Peripheriegeräten zu ermöglichen, Add-ons zu entwickeln, die Plug-and-Play mit seinen Cobots funktionieren.

Die Website des Unternehmens zeigt sechs verschiedene Sehoptionen innerhalb dieses Ökosystems, die für Pick-and-Place, CNC-Maschinenautomatisierung, Verpacken und Palettieren, Montage, Schrauben und Maschinenbestückung geeignet sind. Sowohl 2D- als auch 3D-Scanner sind verfügbar. Mehrere Robotik-Bewegungssteuerungs- und Simulationssoftware-Pakete sind verfügbar.

Integration, Benutzerfreundlichkeit

Damit maschinelles Sehen nützlich ist, muss es zugänglich sein, ein wichtiges Element von UR's Ökosystem. Beispielsweise ist eines ihrer Drittanbieter-Pakete Universal Metrology Automation, angeboten von 3D Infotech. Es liefert Integration von Bewegungssteuerungssystemen, 3D-Scannern und Inspektionssoftware, um eine konfigurierbare, automatisierte Messtechnik-Lösung zu schaffen. Andere Programme bieten Online- oder Offline-Programmierung, Robotik-Simulationssoftware und Überwachungsfunktionen.

„Heute gibt es viel bessere Integration mit Robotern und Sehsystemen“, sagte Rob Antonides, Präsident von Apex Motion Control (Surrey, BC). Apex ist ein Integrator, der vollen Vorteil von UR's Ökosystem-Ansatz gezogen hat. „Früher musste man Sehsysteme mit Robotersteuerungen zusammenhacken, aber heute sind sie nahtloser Plug-and-Play, über Ethernet IP oder jede Art von Netzwerk. Vor zwanzig Jahren brauchte ich eine Woche, um ein sehgeführtes Robotersystem und die Kommunikation einzurichten; heute sind es 15–20 Minuten.“

Maschinelles Sehen hat sich für Apex als besonders nützlich erwiesen. Automatisierte Aufgaben umfassen eine Vielzahl von Backoperationen, einschließlich Kuchendekoration. „Sehsysteme erlauben es, mit Unregelmäßigkeiten und weniger als perfekter Präsentation und Positionierung von Produkten umzugehen. Wir scannen die Oberfläche eines Kuchens mit einem 3D-Sensor, damit wir ihn schnell und einfach dekorieren können“, sagte Antonides.

FANUC betont ebenfalls einfache Integration. „Wir haben Ende letzten Jahres einen brandneuen Controller veröffentlicht, der prominente Funktionen für integriertes robotisches Sehen bietet“, erklärte David Dechow, Staff Engineer Intelligent Robotics/Machine Vision für FANUC America Corp. (Rochester Hills, MI). „Bei FANUC sind all unsere Sehsysteme jetzt im Controller eingebettet.“ FANUC war eine der ersten Roboterfirmen, die Sehen für die Roboterführung einschloss und bot es vor 30 Jahren als Option in seinen Roboterführungssystemen an.

Dechow beobachtete auch, dass Sehsystem-Unternehmen sich auf die Entwicklung einfacherer Schnittstellen zu Robotern konzentriert haben. „Die Sehsystem-Lieferer unterstützen diesen Markt spürbar“, sagte er. „Die Schwerstarbeit, um Kollaboration zum Laufen zu bringen, liegt auf der Sehseite. Der Roboter erwartet einen Punkt. Der Trick ist, maschinelles Sehen zu nutzen, um den richtigen Punkt zu finden, das Koordinatensystem des Maschinensehsystems mit dem des Roboters zu verschmelzen.“ Er stimmte anderen zu, die für diesen Artikel interviewt wurden, dass maschinelles Sehen in vielen Automatisierungsaufgaben unvergleichliche Flexibilität bietet. Heute beginnt das Kosten-Nutzen-Verhältnis, Sehen gegenüber Präzisionsvorrichtungen und Hardcoding zu bevorzugen, sagte er.

KI: Positionierung und Diskriminierung

Eine Diskussion über Sehen, Daten und Roboter führt natürlich zur Frage, wie nützlich Künstliche Intelligenz (KI) für sehende Roboter wäre. Dechow merkte einen Haken an – KI ist nicht besonders anwendbar auf Roboterführung. „KI-Lernen ist außergewöhnlich gut in Kategorisierung und Differenzierung. Was es nicht gut kann, ist diskrete Analyse“, erklärte er. Ein Roboter muss zu einem diskreten Punkt bewegen. In Kombination mit Messtechniksystemen misst er diskrete geometrische Größen. „Da gibt es nichts zu lernen“, sagte er.

Aber es endet nicht dort. Wenn nicht anwendbar auf Führung, gibt es Roboteraufgaben, wo KI Wert bietet. „Zum Beispiel das Identifizieren und Klassifizieren eines Objekts vor seinem Hintergrund, um das Objekt zu bestimmen, an dem der Roboter arbeiten soll, kombiniert mit robotischer Führung, wäre eine gute Hybridanwendung“, sagte er. Ein weiteres ist Pick-and-Grip-Optimierung. „Die ideale Orientierung des Arms im Raum und der Anfahrpfad zu finden, fällt in einen Lernbereich statt [deterministisch] zu sein. Es gibt viele Orientierungen, die sowohl gut als auch schlecht sind“, erklärte er. „KI ist besonders nützlich, wo Teile zufällig und nicht homogen in Platzierung und Größe sind.“

Peter Cavallo von Denso Products and Services Americas Inc. (Long Beach, CA) stimmte zu, dass der erhebliche Anstieg der Sehsystemfähigkeit sowohl real ist als auch neue Möglichkeiten für Roboteranwendungen eröffnet hat. „In seiner einfachsten Form [findet Sehen] ein Teil oder Objekt und operiert daran. In seiner komplexesten Form, die wir jetzt sehen, kann es Dinge sehen, interpretieren, erkennen und das Teil als das sehen, was es ist – sogar in verschiedenen Konfigurationen oder Positionen – ohne das Teil oder den Roboter zu bewegen.“

Er sieht 3D-Scanning als besonders wichtige Entwicklung, die zuvor schwierige Aufgaben wie Bin Picking unkompliziert macht. Densos neuestes System nutzt ein strukturiertes Licht-Sehsystem, um in 3D mit einem CMOS-Detektor zu sehen.

Seine Sicht auf die Anwendung von KI in der Robotik basiert auf einem breiteren Systemkontext. „Wenn wir in die nächste Generation von Robotern eintreten, beginnen wir, in Dinge wie Deep Learning einzusteigen, wo Sehen Teil eines gesamten Systems wird“, erklärte er. „Wir zeigten etwas auf der Tokyo Robot Show, das Deep Learning in einem System mit 28 Freiheitsgraden zeigte, das zwei Roboter mit Händen beinhaltete, die einen Salat zusammenstellten.“ Warum sollten industrielle Anwender beeindruckt sein? Der Roboter wählte Salat, Obst und Gemüse nur mit dem vorgegebenen Wissen. „Wir haben den Roboter nicht programmiert; stattdessen haben wir ihm gesagt, was wir wollen“, sagte er. Denken Sie an die Anzahl unstrukturierter Aufgaben auf dem Shopfloor, die ideal für solche Automatisierung wären.

Nicht nur für die Großen

Maschinelles Sehen, Integration, Software, sogar KI könnte den Eindruck erwecken, dass dieses Niveau robotischer Automatisierung nur für Fortune-500-Unternehmen ist. Das ist nicht der Fall. „Es ist hoch anwendbar für kleine und mittlere Unternehmen, weil Sehen heute vernünftig im Preis ist. Was früher 50.000–100.000 $ kostete, ist jetzt unter 5.000 $. Es gibt keinen Grund, schüchtern zu sein“, sagte Cavallo.

Rick Brookshire, Produktmanager für Epson America Inc. (Carson, CA), stimmte zu, dass robotische Automatisierung ideal für kleine und mittlere Unternehmen (KMU) ist. „Zusätzlich zu größeren Kunden, die 50, 100 oder sogar 1000 Roboter kaufen, haben wir viele kleinere Kunden, die ein, zwei oder drei Roboter kaufen“, sagte er. Epson spezialisiert sich auf kleinere Roboter, optimiert für Hochpräzisionsaufgaben, und baute sein Roboter-Geschäft aus den eigenen Bedürfnissen beim Bau von Hochpräzisions-Uhren aus. „Alle unsere Roboter sind mit integrierter Sehführung verfügbar, eine Funktion, die an Akzeptanz zunimmt. Sie wird auch zuverlässiger. Menschen sind eher bereit, sie zu nutzen“, sagte er.

Wie andere, die für diese Geschichte interviewt wurden, glaubt er, dass Einfachheit entscheidend ist – besonders um die Bedürfnisse von KMUs zu erfüllen. Das Epson Vision Guide Programm nutzt eine objektbasierte Point-and-Click-GUI-Schnittstelle, die es Entwicklern ermöglicht, schnell Anwendungen zu entwickeln, so das Unternehmen. Während die ideale sehgeführte Roboteranwendung etwas ist, wo Teile nicht gut innerhalb eines vernünftigen Toleranzniveaus positioniert sind, oder nicht konsistent präsentiert werden können, öffnet die Präzision, die Epson-Roboter bieten, eine weitere Verwendungsdomäne.

Toleranzen werden enger. Teile werden kleiner. Präzisionsplatzierung wird immer schwieriger. „Da können Präzisionsroboter wie Epsons helfen“, sagte er. „Das passiert in kleineren Unternehmen immer mehr. Und diese Roboter werden so einfach zu bedienen, dass viele unserer Kunden die Integration selbst durchführen.“ Die Roboter platzieren sogar Schrauben unter 0,7 mm Durchmesser. Da die Belegschaft altert, könnte dies ein kritischer Faktor werden.

James Cooper, Vice President of Sales für Applied Manufacturing Technologies (AMT; Orion, MI), hat eine einzigartige Perspektive basierend auf seiner Erfahrung in der Automobilfertigungsindustrie. AMT ist ein Systemintegrator, spezialisiert auf sehgeführte Robotersysteme. Mehrere Teilenummern mit komplexen Systemen, wie in Getriebegehäusen, werden verbreitet. Ein Getriebegehäuse ist ein großes Objekt mit vielen Bohrungen und komplexen Oberflächen – ideal für Sehen, aber teuer für Präzisions-Hard-Fixturing. „Losgrößen werden auch kleiner mit häufigeren Wechseln. Deshalb werden Roboter-geführte Sehsysteme in vielen Anwendungen so kritisch.“ Er beobachtete auch das Wachstum von 3D-Sehsystemen, besonders in Bin- und Tote-Picking-Anwendungen.

Es geht über Führung hinaus. „Qualitätsinspektion ist eine ideale Anwendung, um das Vorhandensein und Fehlen von Bohrungen und anderen Merkmalen zu prüfen oder zu bestimmen, ob eine Komponente ordnungsgemäß montiert wurde“, sagte er. Ein weiterer reichhaltiger Bereich ist Messtechnik-Inspektion. „Wir bauten ein System mit unserem Partner Hexagon, das auf einem kollaborativen Roboter basiert, der ein Kundenprodukt inspiziert. Das wurde früher auf einer KMG in einem separaten temperaturkontrollierten Raum gemacht. Seit vielen Jahren wollten Hersteller das auf dem Produktionsboden machen. Jetzt ist es möglich, ein komplett tragbares System zu haben, ohne Schutzzäune, ideal für Erstmusterprüfungen, direkt an der Produktionsmaschine“, sagte er.

Er stimmte zu, dass diese Anwendungen in KMUs wachsen. Er merkte auch an, dass diese Betriebe Schwierigkeiten haben, qualifizierte Arbeitskräfte zu finden, was den Bedarf an mehr Automatisierung antreibt.

ABB hat auch ein robotisches Inspektionssystem durch eine Zusammenarbeit mit NUB3D entwickelt (das es später übernahm), einem führenden Innovator für digitale 3D-Inspektions- und Qualitätskontrolllösungen. Das Komplettsystem besteht aus einem 3D-Weißlicht-Scansensor, der am Arm eines ABB-Roboters montiert ist.

Stäubli Corp. (Duncan, SC) ist ein Roboterunternehmen, das eine Vielzahl von Maschinensehen von Drittanbietern nutzt, um Anwendungen für Roboter-Sehführung zu bauen. Aber es bietet auch einen weiteren Einsatz von Sehsystemen mit Industrierobotern, die menschliche Interaktion benötigen: einen virtuellen Sicherheitszaun um Roboter.

Wie von Olivier Cremoux, Business Development Manager, North America Robotics für Stäubli erklärt, kann Mensch/Roboter-Kollaboration in fünf verschiedene Stufen eingeteilt werden. Die niedrigste Stufe 1, üblich bei den meisten Industrierobotern, ist kein direkter Kontakt, wo jede Interaktion zwischen Mensch und Maschine gefährlich ist. „Roboter und Bediener werden durch harte Zäune getrennt“, sagte er. Die höchste, Stufe 5, ist dort, wo Kontakt gewünscht und erforderlich ist, beispielsweise wenn ein Roboter von einem Bediener handgeführt wird, um ein schweres Werkzeug oder andere simultane Bewegungen mit einem Roboter auszuführen. Es gibt Stufen dazwischen, wo etwas Kontakt auf verschiedenen Ebenen gewünscht ist, und wo der Roboter oft anhalten und den Menschen etwas tun lassen muss. „Dieses Dazwischen repräsentiert 95 % der kollaborativen Anwendungen“, sagte er.

In diesen intermediären Stufen kann ein 3D-Scanning-Sehsystem, das nach außen vom Arbeitsbereich scannt, einen sich nähernden Menschen erkennen. Innerhalb einer bestimmten Distanz signalisiert es dem Arbeitsbereich, den Roboter abzubremsen, um Kontakt und mögliche Verletzung zu verhindern. Nähert sich der Mensch noch mehr, stoppt es die Zelle vollständig. Dies erlaubt dem Menschen, eine Aktion durchzuführen, wie Inspektion oder Platzierung, dann wegzugehen, woraufhin die Zelle automatisch neu startet.

HNJ Solutions Inc. (Carson, CA) ist ein Integrationsunternehmen, gegründet um Sehsysteme für die Fertigung bereitzustellen, einschließlich mit Robotern, so Präsident Greg McEntyre. Während er anerkannte, dass Sehsysteme tatsächlich einfacher zu bedienen und zu installieren werden, sagt er, es bleibe eine Klasse von Anwendungen, wo Integratoren wie HNJ gebraucht werden. „In komplexen Anwendungen mit mehreren Farben, Größen, Ausrichtungen und allgemeiner Unsicherheit ist es wichtig zu wissen, wie Kameras funktionieren und warum sie funktionieren, um ein gutes System zu installieren“, sagte er.

Er betonte, wie 3D-Kameras relevante Anwendungen erweitern, wie Bin Picking. „Heute importieren wir sogar das CAD-Modell unserer Objekte, damit das Sehsystem in 3D das Objekt versteht, das es greifen oder bearbeiten muss“, sagte er. „Kameras geben vollständige Freiheit.“

Welchen Rat könnte er als Integrator komplexer Seh- und Robotik-Systeme geben? „Auch wenn es nicht so einfach aussieht, würde ich sagen: einfach einsteigen“, sagte er. „Es gibt so viel nützliche Hardware, dass Sehführung und Sehanwendungen immer nützlicher werden.“ Mit anderen Worten: einfach machen.