Entfesseln Sie die Produktivität:Kombinieren Sie UI-Automatisierung mit LLM-basierter Automatisierung

Vor kurzem haben eine Reihe führender KI-Unternehmen neue Funktionen auf den Markt gebracht, die ihre leistungsstarken grundlegenden Large Language Models (LLMs) nutzen, um viele Aktionen, die Menschen auf Bildschirmen ausführen, schnell zu automatisieren. Anthropics Computer Use, Amazon Q Business und der kommende OpenAI „Operator“ können Bildschirme schnell verstehen, die verwendete Software bedienen und die gewünschten Aktionen des Benutzers emulieren – ohne Programmier- oder Modellschulung.

LLM-basierte Automatisierung ist eine neue Art der Automatisierung. Sie unterscheidet sich erheblich von der UI-Automatisierung, die auf trainierten Modellen und regelbasierten Ansätzen zur Extraktion von Informationen und zur Interaktion mit Bildschirmen, Systemen und Software basiert. Da die LLM-basierte Automatisierung so viel einfacher zu verwenden ist, haben einige Branchenbeobachter vorgeschlagen, dass sie die UI-Automatisierung ersetzen könnte.

Wir haben diese neuen Technologien umfassend evaluiert und sind begeistert von ihrem Potenzial, die Auswirkungen der Automatisierung auf Unternehmen und Benutzer auszuweiten. Tatsächlich integrieren wir die besten davon in unsere Plattform. Da sie es der KI ermöglichen, mit Software so zu interagieren, wie es Menschen tun, glauben wir, dass sie die Interaktionen zwischen Menschen und Bildschirmen wirklich revolutionieren können. Sie bergen das Potenzial, die persönliche Produktivität auf ein neues Niveau zu heben und ermöglichen es praktisch jedem, Bürgerentwickler zu werden und mühsame, sich wiederholende Aufgaben zu automatisieren. 

Allerdings wird die LLM-basierte Automatisierung niemals die UI-Automatisierung in jedem Prozess vollständig ersetzen. Beispielsweise ist die UI-Automatisierung eine weitaus bessere Wahl für hochvolumige, geschäftskritische automatisierte Prozesse, die den Zugriff auf mehrere Systeme und die Arbeit mit sensiblen oder proprietären Daten erfordern. Diese Art von Prozessen gibt es in allen Unternehmen – und sie werden im Allgemeinen besser durch UI-Automatisierung gehandhabt.

Um zu verstehen, warum das so ist, werfen wir einen kurzen Blick auf die Funktionsweise der einzelnen Ansätze.

UI-Automatisierung und LLM-basierte Automatisierung funktionieren unterschiedlich – und das ist wichtig

LLM-basierte Ansätze nutzen typischerweise ein multimodales LLM (Verstehen von Bildern, Wörtern, Audio usw.), um einen Bildschirm zu „lesen“ und Maßnahmen zu ergreifen. Der Ansatz hängt davon ab, dass ein LLM die in der Cloud gehosteten Informationen auf dem Bildschirm (Daten, Felder usw.) versteht. Das Modell sagt dann die Aktionen voraus, die der Mensch ausführen würde, und sendet Anweisungen zum Ausführen der Aktion (Kopieren und Einfügen von Daten usw.).

Umgekehrt befolgen Roboter bei der UI-Automatisierung einen vorab entwickelten Satz von Anweisungen, um definierte Aufgaben auszuführen. Sie können innerhalb der Umgebung des Kunden und/oder Benutzers ausgeführt werden. Daten können nur lokal interpretiert werden und Roboter folgen einem klaren, deterministischen Satz von Anweisungen. Jüngste KI-gestützte Fortschritte haben die Stabilität und Zuverlässigkeit erheblich verbessert und viele der anfänglichen Probleme der UI-Automatisierung wie Sprödigkeit und Bruch behoben.

Die klaren Vorteile der UI-Automatisierung

Die Unterschiede zwischen diesen beiden Ansätzen machen den entscheidenden Unterschied bei der Automatisierung komplexer, hochvolumiger Multisystemprozesse, die hohe Sicherheit und Genauigkeit erfordern. Für diese Art von Workflows ist die UI-Automatisierung eine viel bessere Option. Hier ist der Grund:

Genauigkeit und Vollständigkeit:Geschäftskritische Prozesse wie Order-to-Cash hängen von der genauen Extraktion, Bewegung und Buchung von Daten von einem Ort zum anderen sowie von der Dokumentation und Kommunikation im Zusammenhang mit diesen Aktivitäten ab. In diesem Bereich können LLM-basierte Ansätze nicht mit der Leistung der UI-Automatisierung mithalten.

Eine Analyse der UiPath-Daten zeigt beispielsweise, dass 96,5 % aller Automatisierungen unserer Kunden mit unseren UI-Automatisierungsansätzen erfolgreich laufen. Öffentlich verfügbare Daten zur KI-basierten Automatisierung deuten darauf hin, dass diese deutlich weniger zuverlässig ist. Anthropic meldete beispielsweise eine Genauigkeitsrate von 14,9 % in einem Test, der die Versuche von Entwicklern bewerten sollte, Modelle dazu zu bringen, Computer zu nutzen – weit unter dem menschlichen Fähigkeitsniveau von 70–75 %. Auch wenn sich die Genauigkeit mit der Zeit sicherlich verbessern wird, ist es noch ein langer Weg, bis eine Parität mit der UI-Automatisierung erreicht wird.

Es gibt auch andere Probleme. Alle LLMs neigen zu Halluzinationen und können unvorhersehbare Maßnahmen ergreifen. Anthropic-Forscher haben beispielsweise Fälle festgestellt, in denen das LLM plötzlich aus dem Ruder gelaufen ist – es hat auf die falschen Bildschirme geklickt oder aus unerklärlichen Gründen Fotos von Nationalparks heruntergeladen. Den deterministischen Robotern der UI-Automatisierung fehlt einfach die Fähigkeit, auf solche Art und Weise unkontrolliert zu agieren.

Dann ist da noch die Frage der Vollständigkeit. Bei einem Ansatz, bei dem Bilder des sichtbaren Bildschirms aufgenommen werden, fehlen möglicherweise Daten in Dropdown-Listen, die über die Ränder hinausgehen. Und es übersieht möglicherweise kurzlebige Aktionen, die zum Zeitpunkt der Aufnahme der Bilder nicht stattfanden. Bei der UI-Automatisierung gibt es diese Probleme nicht.

Sicherheit und Governance:Wenn es darum geht, den Datenschutz zu gewährleisten, böswillige Eindringlinge zu blockieren und proprietäre Daten innerhalb von Firewalls zu halten, ist die UI-Automatisierung eine deutlich weniger riskante Wahl. Beispielsweise werden bei der UI-Automatisierung nur die Daten erfasst, die tatsächlich benötigt werden. Im Gegensatz zur LLM-basierten Automatisierung umfasst die UI-Automatisierung keine umfassende Extraktion von Screenshots, die versehentlich vertrauliche Daten enthalten könnten. Darüber hinaus können die UiPath-Softwareroboter, die unsere UI-Automatisierung durchführen, angemeldet und ihr Zugriff auf sensible Daten kontrolliert werden. Dieses Maß an Sicherheit ist derzeit mit der LLM-basierten Automatisierung nicht verfügbar.

Für uns ist es nicht entweder/oder – es ist beides

Wenn wir in die Zukunft blicken, wird deutlich, dass der Aufstieg der LLM-basierten Automatisierung einen großen Fortschritt für bestimmte Arten von Prozessen und Aktivitäten darstellt. Die Welt steht kurz vor der Verwirklichung des Traums, praktisch jedem, der Bildschirme und Software verwendet, spontane, programmfreie und durch Eingabeaufforderungen gesteuerte Automatisierung in die Hände zu geben – und damit eine neue Ära persönlicher Produktivität und Leistung einzuläuten, wie wir sie noch nie zuvor gesehen haben.

Wir unternehmen bereits Schritte, um diese Art von Funktionen in die UiPath Platform™ zu integrieren. Insbesondere werden wir es bald in unsere Endbenutzererlebnisse wie Autopilot™ for Everyone integrieren und LLM-basierte Automatisierung als zusätzliche Option für Bürgerentwickler und Automatisierungsexperten bereitstellen.

Wir wissen, dass Unternehmen diese neuen Funktionen nutzen möchten – aber dies auf sichere Weise und mit vollständiger Kontrolle. Aus diesem Grund haben wir die Fähigkeiten unserer Plattform erweitert, um die notwendige Orchestrierung, Verwaltung und Governance bereitzustellen, die Unternehmen benötigen, unabhängig davon, welches Modell oder welche Modelle sie verwenden.

Aber auch wenn wir die Funktionalität und Unterstützung für LLM-basierte Automatisierung erweitern, entwickeln wir unsere UI-Automatisierungsfunktionen weiter weiter – denn UI-Automatisierung wird die beste Lösung für eine Vielzahl kritischer Unternehmensprozesse sein. Wir werden weiterhin die neuen KI-Fortschritte nutzen, um unsere UI-Automatisierung noch intelligenter, einfacher zu verstehen und zu handeln, ohne dass umfangreiche Programmierung und Schulung erforderlich sind, und belastbarer zu machen. Ein Paradebeispiel:der neue UiPath Healing Agent (jetzt in der öffentlichen Vorschau), der fehlerhafte Automatisierungen selbst reparieren kann.

Kurz gesagt, UiPath glaubt an eine Zukunft der LLM-gestützten Automatisierung in all ihren Formen, einschließlich sowohl UI- als auch LLM-basierter Ansätze. Jeder hat einzigartige Stärken; Jedes ist die bessere Wahl für bestimmte Automatisierungsmöglichkeiten. Unser Ziel ist es, beides – zusammen mit allen neu entstehenden KI-Ansätzen – über eine Unternehmensplattform verfügbar zu machen, die das gesamte Spektrum der heute und in Zukunft verfügbaren Automatisierungsoptionen orchestrieren, steuern und verwalten kann.