Produktivität entfesseln: UI-Automatisierung mit LLM-basierter Automatisierung kombinieren

Kürzlich haben mehrere führende KI-Unternehmen neue Fähigkeiten eingeführt, die ihre leistungsstarken foundational Large Language Models (LLMs) nutzen, um viele Aktionen, die Menschen auf Bildschirmen ausführen, schnell zu automatisieren. Anthropics Computer Use, Amazon Q Business und der kommende OpenAI „Operator“ können Bildschirme schnell verstehen, die verwendete Software bedienen und die gewünschten Aktionen des Benutzers emulieren – ohne jegliches Coding oder Modelltraining.

LLM-basierte Automatisierung ist ein neuer Weg zu automatisieren. Sie unterscheidet sich signifikant von UI-Automatisierung, die auf trainierten Modellen und regelbasierten Ansätzen beruht, um Informationen zu extrahieren und mit Bildschirmen, Systemen und Software zu interagieren. Da LLM-basierte Automatisierung so viel einfacher zu bedienen ist, haben einige Branchenbeobachter vorgeschlagen, dass sie UI-Automatisierung ablösen könnte.

Wir haben umfangreiche Evaluierungen dieser neuen Technologien durchgeführt und sind begeistert von ihrem Potenzial, die Auswirkungen der Automatisierung auf Unternehmen und Nutzer zu erweitern. Tatsächlich integrieren wir das Beste davon in unsere Plattform. Da sie es KI erlauben, mit Software so zu interagieren wie Menschen, glauben wir, dass sie Interaktionen zwischen Menschen und Bildschirmen wirklich revolutionieren können. Sie haben das Potenzial, persönliche Produktivität auf neue Höhen zu heben und praktisch jedem zu ermöglichen, ein Citizen Developer zu werden, um ihre lästigen, repetitiven Aufgaben zu automatisieren.

Doch LLM-basierte Automatisierung wird UI-Automatisierung in nicht jedem Prozess vollständig ersetzen. Zum Beispiel ist UI-Automatisierung eine weitaus bessere Wahl für hochvolumige, missionskritische automatisierte Prozesse, die den Zugriff auf mehrere Systeme und die Arbeit mit sensiblen oder proprietären Daten beinhalten. Diese Arten von Prozessen sind in Unternehmen allgegenwärtig – und sie werden im Allgemeinen besser durch UI-Automatisierung gehandhabt.

Um zu verstehen, warum das so ist, lassen Sie uns kurz eintauchen, wie jeder Ansatz funktioniert.

UI-Automatisierung und LLM-basierte Automatisierung funktionieren anders – und das ist entscheidend

LLM-basierte Ansätze setzen typischerweise ein multimodales LLM (Verständnis von Bildern, Wörtern, Audio etc.) ein, um einen Bildschirm zu „lesen“ und Aktionen zu unternehmen. Der Ansatz hängt davon ab, dass ein LLM die Informationen auf dem Bildschirm (Daten, Felder etc.) versteht, die in der Cloud gehostet sind. Das Modell sagt dann die Aktionen voraus, die der Mensch unternehmen würde, und sendet Anweisungen, die Aktion auszuführen (Kopieren und Einfügen von Daten etc.).

Im Gegensatz dazu folgen Roboter in der UI-Automatisierung einer vorab entwickelten Anweisungsmenge, um definierte Aufgaben zu erledigen. Sie können in der Umgebung des Kunden und/oder Benutzers laufen. Daten können nur lokal interpretiert werden, und Roboter folgen einem klaren, deterministischen Anweisungssatz. Jüngste KI-gestützte Fortschritte haben Stabilität und Zuverlässigkeit erheblich verbessert und viele der ursprünglichen Probleme von UI-Automatisierung mit Brüchigkeit und Abbrüchen adressiert.

Die klaren Vorteile der UI-Automatisierung

Die Unterschiede zwischen diesen beiden Ansätzen machen ALLE den Unterschied bei der Automatisierung komplexer, hochvolumiger, multisystemischer Prozesse, die hohe Sicherheit und Genauigkeit erfordern. Für diese Arten von Workflows ist UI-Automatisierung eine viel bessere Option. Hier ist der Grund:

Genauigkeit und Vollständigkeit: Missionskritische Prozesse wie Order-to-Cash hängen von der genauen Extraktion, Bewegung und Buchung von Daten von einem Ort zum anderen ab, sowie von der Dokumentation und Kommunikation rund um diese Aktivitäten. In diesem Bereich können LLM-basierte Ansätze die Leistung der UI-Automatisierung nicht erreichen.

Zum Beispiel zeigt eine Analyse von UiPath-Daten, dass 96,5 % aller Automatisierungen unserer Kunden erfolgreich mit unseren UI-Automatisierungsansätzen laufen. Öffentlich verfügbare Daten zu KI-basierter Automatisierung deuten darauf hin, dass sie signifikant weniger zuverlässig ist. Zum Beispiel berichtete Anthropic eine Genauigkeitsrate von 14,9 % in einem Test, der Entwicklerversuche bewertete, Modelle Computer nutzen zu lassen – weit unter dem menschlichen Fähigkeitsniveau von 70-75 %. Während die Genauigkeit sich sicherlich im Laufe der Zeit verbessern wird, gibt es noch einen langen Weg, bevor Parität mit UI-Automatisierung erreicht wird.

Es gibt auch andere Probleme. Alle LLMs neigen zu Halluzinationen und können unvorhersehbare Aktionen ausführen. Zum Beispiel bemerkten Anthropic-Forscher Fälle, in denen ihr LLM plötzlich vom Task abwich – falsche Bildschirme anklickte oder unerklärlicherweise Fotos von Nationalparks herunterlud. UI-Automatisierungs-Roboter mit deterministischem Verhalten haben einfach nicht die Kapazität, so abzuweichen.

Dann gibt es die Frage der Vollständigkeit. Ein Ansatz, der Bilder des sichtbaren Bildschirms macht, kann Daten in Dropdown-Listen verpassen, die unter den Rändern hinausragen. Und er könnte kurzlebige Aktionen übersehen, die nicht stattfanden, als die Bilder aufgenommen wurden. UI-Automatisierung hat diese Probleme nicht.

Sicherheit und Governance: Wenn es darum geht, Privatsphäre zu gewährleisten, böswillige Angriffe abzuwehren und proprietäre Daten innerhalb von Firewalls zu halten, ist UI-Automatisierung eine signifikant weniger riskante Wahl. Zum Beispiel werden bei UI-Automatisierung nur die benötigten Daten gesammelt. Im Gegensatz zu LLM-basierter Automatisierung involviert UI-Automatisierung keine großflächige Extraktion von Screenshots, die versehentlich sensible Daten enthalten könnten. Zudem können die UiPath-Software-Roboter, die unsere UI-Automatisierung ausführen, mit Berechtigungen versehen werden und ihr Zugriff auf sensible Daten kontrolliert werden. Dieses Sicherheitsniveau ist mit LLM-basierter Automatisierung derzeit nicht verfügbar.

Für uns ist es nicht Entweder/Oder – es ist Beides

Wenn wir in die Zukunft blicken, ist klar, dass der Aufstieg LLM-basierter Automatisierung einen großen Sprung nach vorne für bestimmte Arten von Prozessen und Aktivitäten darstellt. Die Welt ist nah dran, den Traum von On-the-Fly, No-Code, Prompt-gesteuerter Automatisierung in die Hände praktisch aller zu legen, die Bildschirme und Software nutzen – und damit eine neue Ära persönlicher Produktivität und Leistung einzuläuten, wie wir sie noch nie gesehen haben.

Wir ergreifen bereits Schritte, um diese Arten von Fähigkeiten in die UiPath Platform™ zu bringen. Insbesondere werden wir sie bald in unsere End-User-Erfahrungen wie Autopilot™ for Everyone integrieren – sowie LLM-basierte Automatisierung als zusätzliche Option für Citizen Developers und Automatisierungsexperten bereitstellen.

Wir wissen, dass Unternehmen diese neuen Fähigkeiten nutzen wollen – aber sicher und mit voller Kontrolle. Daher haben wir die Fähigkeiten unserer Plattform erweitert, um die notwendige Orchestrierung, Verwaltung und Governance bereitzustellen, die Unternehmen benötigen, unabhängig davon, welches Modell oder welche Modelle sie übernehmen.

Aber auch während wir Funktionalität und Support für LLM-basierte Automatisierung erweitern, führen wir unsere UI-Automatisierungsfähigkeiten weiter fort – weil UI-Automatisierung die beste Lösung für eine breite Palette kritischer Unternehmensprozesse sein wird. Wir werden weiterhin aufkommende KI-Fortschritte nutzen, um unsere UI-Automatisierung noch intelligenter, noch besser im Verstehen und Handeln ohne signifikantes Coding und Training und noch widerstandsfähiger zu machen. Ein Paradebeispiel: der neue UiPath Healing Agent (jetzt in Public Preview), der fehlschlagende Automatisierungen selbst heilen kann.

Kurz gesagt: UiPath glaubt an eine Zukunft LLM-gestützter Automatisierung in all ihren Formen, einschließlich sowohl UI- als auch LLM-basierter Ansätze. Jeder hat einzigartige Stärken; jeder ist die bessere Wahl für eine bestimmte Menge an Automatisierungsmöglichkeiten. Unser Ziel ist es, beide verfügbar zu machen – zusammen mit allen neuen KI-Ansätzen, die entstehen – über eine Enterprise-Plattform, die das gesamte Panorama der heute und in Zukunft verfügbaren Automatisierungsoptionen orchestrieren, regieren und verwalten kann.