KI Glossar
Computer Use
Kurz erklärt
Computer Use bezeichnet die Fähigkeit eines KI-Modells oder Agenten, grafische Benutzeroberflächen über Bildschirmbilder sowie Maus- und Tastaturaktionen zu bedienen.
Computer Use
Definition
Computer Use bezeichnet die Fähigkeit eines KI-Modells oder KI-Agenten, eine grafische Computeroberfläche ähnlich wie ein Mensch zu bedienen. Das System erhält Bildschirmbilder oder andere visuelle Zustandsinformationen, interpretiert die sichtbare Oberfläche und führt Aktionen wie Klicken, Tippen, Scrollen, Ziehen oder Tastatureingaben aus.
Computer Use ermöglicht die Automatisierung von Anwendungen, die keine geeignete Programmierschnittstelle besitzen. Dazu gehören ältere Unternehmenssoftware, browserbasierte Portale, Desktopprogramme und Arbeitsabläufe, die mehrere voneinander getrennte Systeme umfassen.
Typischer Ablauf
Ein Computer-Use-Agent arbeitet meist in einer wiederholten Wahrnehmungs- und Aktionsschleife. Zuerst erhält das Modell einen Screenshot oder eine strukturierte Beschreibung des aktuellen Bildschirms. Es erkennt relevante Elemente wie Schaltflächen, Eingabefelder, Menüs und Dialoge. Danach wählt es eine Aktion und übergibt diese an eine kontrollierte Ausführungsumgebung.
Nach der Aktion wird der neue Bildschirmzustand aufgenommen und erneut bewertet. Der Agent wiederholt diesen Prozess, bis das Ziel erreicht ist, ein Fehler auftritt oder eine Freigabe durch einen Menschen benötigt wird. Dieser Ablauf ist eine konkrete Form von Loop-Engineering.
Computer Use und Tool Use
Computer Use ist eine spezielle Form der Werkzeugnutzung. Bei klassischen Tools ruft das Modell eine klar definierte Funktion oder API mit strukturierten Parametern auf. Bei Computer Use interagiert es dagegen mit der visuellen Benutzeroberfläche, deren Zustand sich dynamisch verändern kann.
Strukturierte APIs sind häufig schneller, günstiger und zuverlässiger. Computer Use ist besonders nützlich, wenn keine API vorhanden ist, wenn ein Prozess nur über die Oberfläche zugänglich ist oder wenn ein Agent Anwendungen übergreifend bedienen muss. In der Praxis werden beide Ansätze kombiniert. Das Model Context Protocol kann strukturierte Werkzeuge und Datenquellen bereitstellen, während Computer Use die verbleibenden visuellen Schritte übernimmt.
Anwendungsfälle
Typische Anwendungsfälle sind Dateneingabe, Recherche in internen Portalen, Übertragung von Informationen zwischen Systemen, Erstellung wiederkehrender Berichte, Bedienung von Testumgebungen und Unterstützung bei administrativen Aufgaben.
Auch Softwaretests können über Computer Use ausgeführt werden. Ein Agent kann eine Anwendung öffnen, typische Nutzerpfade durchlaufen, sichtbare Fehler dokumentieren und Ergebnisse mit erwarteten Zuständen vergleichen. Für präzise Code-Navigation oder Diagnosen sind strukturierte Entwicklungswerkzeuge wie das Language Server Protocol jedoch meist geeigneter als reine Bildschirmsteuerung.
Sicherheitsrisiken
Computer Use besitzt höhere Risiken als eine reine Textantwort. Ein Agent kann Dateien verändern, Nachrichten versenden, Bestellungen auslösen oder sensible Informationen sehen. Deshalb sollte die Ausführung in einer isolierten virtuellen Maschine oder einem Container mit minimalen Berechtigungen erfolgen.
Besonders gefährlich sind Prompt-Injection-Angriffe über Webseiten, Dokumente oder Bilder. Sichtbarer Inhalt kann Anweisungen enthalten, die den Agenten zu unerwünschten Aktionen bewegen sollen. Ein System darf solche Inhalte nicht automatisch als vertrauenswürdige Befehle behandeln.
Sinnvolle Schutzmaßnahmen sind erlaubte Domainlisten, getrennte Konten, begrenzte Dateizugriffe, sichere Geheimnisverwaltung, Protokollierung und verbindliche menschliche Bestätigungen für folgenreiche Aktionen. Finanztransaktionen, Veröffentlichungen, Vertragsannahmen, Löschungen und Änderungen an Produktionssystemen sollten nicht ohne geeignete Freigaben automatisiert werden.
Zuverlässigkeit
Grafische Oberflächen sind für Menschen gestaltet und ändern sich häufig. Pop-ups, Ladezeiten, unterschiedliche Bildschirmgrößen, kleine Schaltflächen und unerwartete Dialoge können einen Agenten aus dem Ablauf bringen. Computer Use ist daher meist weniger deterministisch als eine API-Integration.
Zuverlässige Systeme prüfen nach jeder wichtigen Aktion, ob der erwartete Zustand tatsächlich eingetreten ist. Sie verwenden Wiederholungsgrenzen, Zeitlimits, Screenshots, Audit-Logs und klare Abbruchbedingungen. Ein Agent sollte nicht allein aufgrund seiner eigenen Beschreibung annehmen, dass eine Aufgabe erfolgreich abgeschlossen wurde.
Abgrenzung
Computer Use ist nicht dasselbe wie Browser-Automatisierung mit festen Selektoren und nicht dasselbe wie Robotic Process Automation. Klassische Automatisierung folgt vorab definierten Regeln. Ein KI-Agent kann Oberflächen flexibler interpretieren und auf neue Situationen reagieren, ist dafür aber probabilistischer und benötigt stärkere Kontrollen.
Der Begriff beschreibt außerdem eine Fähigkeit und keine einzelne Software. Verschiedene Anbieter implementieren Computer Use mit unterschiedlichen Modellen, Werkzeugen, Sicherheitsmechanismen und Ausführungsumgebungen.