Computer Use: Wenn KI-Agenten Maus und Tastatur übernehmen

Dieser Beitrag ist eine fachliche Einordnung aus der Praxis und keine Rechtsberatung.

KI-Agenten können Software über den Bildschirm bedienen: Anwendungen öffnen, Schaltflächen anklicken, Informationen eingeben und zwischen Systemen wechseln. Damit lassen sich mehr alltägliche Aufgaben automatisieren. Es verändert aber auch, was Beschäftigte wissen müssen, um die Arbeit zu delegieren und zu prüfen.

Von der Antwort zur erledigten Aufgabe

Mit Computer Use kann ein KI-Agent mehr, als nur zu erklären, wie eine Aufgabe zu erledigen ist. Er kann versuchen, die Schritte selbst auszuführen.

Zum Beispiel kann jemand im Team einen Agenten bitten, ein Lieferantenportal zu öffnen, die Bestellungen des Vormonats zu suchen und ihren Status in eine Tabelle zu übertragen. Der Agent bewegt sich dabei durch dieselbe Oberfläche, die sonst ein Mensch benutzen würde.

Anthropic dokumentiert Computer-Use-Fähigkeiten seit 2024. Für Unternehmen ist die entscheidende Frage, wie zuverlässig ein Agent eine nützliche Aufgabe erledigt, einschließlich der Prüfungen und Korrekturen, die er unterwegs braucht.

Ein Agent, der zwanzig oder vierzig Schritte durchläuft, mag beeindrucken. Ob er Arbeit spart, hängt vom Ergebnis ab: Wurde die Aufgabe richtig erledigt, und wie viel Hilfe brauchte er dafür?

Was ist Computer Use?

Ein KI-Agent erhält Informationen darüber, was auf dem Bildschirm zu sehen ist, und nutzt Werkzeuge, um zu klicken, zu tippen und zu navigieren. Danach prüft er den aktualisierten Bildschirm und entscheidet, was als Nächstes zu tun ist.

Die Computer-Use-Dokumentation von Anthropic beschreibt die Grundfunktionen: Bildschirmfotos aufnehmen, die Maus steuern und Text eingeben. Der Agent arbeitet innerhalb der Rechnerumgebung und der Berechtigungen, die man ihm gegeben hat.

Ein Agent kann auf zwei Wegen mit Software arbeiten.

Beide Wege lassen sich kombinieren. Ein Agent kann Daten über eine Schnittstelle abrufen und den Bildschirm für einen Schritt nutzen, den die Schnittstelle nicht abdeckt.

Welche Arbeit wird damit möglich?

Computer Use kann Automatisierung auf Anwendungen ausweiten, die Beschäftigte heute noch von Hand bedienen, zum Beispiel:

• Portale von Versicherern und Krankenkassen
• Lieferanten- und Ausschreibungsportale
• Ältere interne Software ohne passende API
• Werbe- und Kampagnen-Dashboards
• Systeme einzelner Anbieter
• Behördenportale, sofern automatisierter Zugriff erlaubt ist

Die Prognose betrifft KI-Agenten allgemein, nicht speziell Computer Use. Sie zeigt aber die breitere Entwicklung hin zu Software, die Aufgaben im Auftrag ihrer Nutzer ausführt.

Computer Use kann den Bedarf verringern, für jede Aufgabe eine eigene Schnittstelle zu bauen. Der Zugang muss aber trotzdem freigegeben werden. Bevor ein Agent in einem fremden Portal arbeitet, sollten Sie die Regeln der Plattform, die betroffenen Daten und die erlaubten Aktionen des Agenten prüfen.

Was passieren kann, wenn Teams KI-Werkzeuge ohne die IT einführen, beschreibt unser Beitrag zu Schatten-KI.

Dass ein Agent ein System erreichen kann, heißt nicht, dass er darin handeln darf.

Wo es in der Praxis schwierig wird

Die Anmeldung

Mehr-Faktor-Authentifizierung, abgelaufene Sitzungen und Geräteeinschränkungen können die Arbeit eines Agenten unterbrechen.

Die Einrichtung sollte mit IT und Informationssicherheit abgestimmt werden. Je nach System kann das ein eigenes Konto mit eingeschränkten Rechten sein, eine verwaltete Browsersitzung oder ein Mensch, der die Anmeldung übernimmt.

Das Team sollte wissen, welches Konto der Agent nutzt, worauf er zugreifen kann und wann ein Mensch übernehmen muss. Diese Regeln lassen sich in der KI-Richtlinie des Unternehmens festhalten.

Unerwartete Situationen

Eine Aufgabe, die in der Vorführung funktioniert, trifft im Alltag auf andere Bedingungen. Eine Schaltfläche verschiebt sich, ein Pflichtfeld erscheint, oder die Informationen auf dem Bildschirm sind unvollständig.

Der Agent braucht einen klaren Haltepunkt. Und die Beschäftigten müssen wissen, wie sie ein unvollständiges Ergebnis erkennen und die Aufgabe fortsetzen, ohne bereits erledigte Schritte zu wiederholen.

Zeit und Kosten

Arbeit über den Bildschirm kann wiederholte Bildschirmfotos, Modellaufrufe und neue Anläufe erfordern. Die Kosten hängen vom Werkzeug, von der Aufgabe und von der Zahl der nötigen Schritte ab.

Aussagekräftig ist der Vergleich der Gesamtkosten für eine korrekt erledigte Aufgabe. Dazu gehört auch die Zeit der Beschäftigten für die Anweisungen, die Prüfung des Ergebnisses und das Korrigieren von Fehlern.

Auch das ist eine Prognose für agentische KI-Projekte allgemein. Für ein Computer-Use-Pilotprojekt unterstreicht sie eine praktische Frage: Bringt der gesamte Ablauf genug Nutzen, um Kosten und Aufsicht zu rechtfertigen?

Was ändert sich für die Beschäftigten?

Wenn ein Agent die Software bedient, verbringen Beschäftigte weniger Zeit mit einzelnen Ausführungsschritten und mehr Zeit damit, die Arbeit zu steuern und zu prüfen.

Vier Aufgaben werden dabei besonders wichtig.

Anweisungen erkennen, die nicht zur Aufgabe gehören

Ein Agent kann in einer Webseite oder einem Dokument, das er lesen soll, auf Anweisungen stoßen. Der Text fordert ihn vielleicht auf, die ursprüngliche Aufgabe zu ignorieren oder Unternehmensdaten an eine externe Adresse zu schicken.

Das nennt man Prompt Injection: Inhalte versuchen, das Verhalten des Agenten umzulenken.

Anthropic beschreibt Schutzmechanismen, die Inhalte aus Computer-Use-Werkzeugen, einschließlich Bildschirmfotos, auf mögliche Angriffe prüfen. Sie senken das Risiko, machen eingeschränkte Zugänge und passende Freigaben aber nicht überflüssig.

Beschäftigte sollten wissen, dass Anweisungen auf einer Seite nicht automatisch eine neue Aktion erlauben. Unerwartete Aufforderungen, Informationen weiterzugeben, Berechtigungen zu ändern oder über die vereinbarte Aufgabe hinauszugehen, sind ein Grund, innezuhalten und eine Prüfung anzustoßen. Man sollte aber nicht von ihnen erwarten, jeden Angriff selbst zu erkennen.

Vier Beispiele aus dem Arbeitsalltag

Was Beschäftigte prüfen müssen, hängt von der Aufgabe ab.

Diese Prüfungen gehören zur Aufgabe dazu. Beschäftigte brauchen genug Fachwissen, um das Ergebnis zu beurteilen, und genug KI-Wissen, um zu verstehen, wo es schiefgehen kann.

Auch die Vorgaben der KI-Verordnung der EU zur KI-Kompetenz machen relevant, wie gut Beschäftigte die Systeme verstehen, die sie nutzen. Was das in der Praxis bedeutet, zeigt unser Leitfaden zur KI-Kompetenz.

Was Sie diese Woche ausprobieren können

Ein kleiner Versuch zeigt, wo Computer Use hilft und wo es noch Unterstützung braucht.

1. Eine klar abgegrenzte Aufgabe wählen

   Nehmen Sie eine wiederkehrende Aufgabe in einem Portal oder einer Anwendung ohne passende Schnittstelle. Beginnen Sie mit etwas, dessen Ergebnis sich leicht prüfen lässt und bei dem ein Fehler begrenzte Folgen hat.

   Datensätze abzurufen ist als erster Test oft überschaubarer, als einen Antrag einzureichen oder Kundendaten zu ändern.

2. Den Zugang vorher klären

   Legen Sie fest, welches Konto der Agent nutzt, auf welche Informationen er zugreifen und welche Aktionen er ausführen darf.

   Beziehen Sie die Verantwortlichen für das System und seine Sicherheit ein, bevor der Test läuft.

3. Mit dem bisherigen Ablauf vergleichen

   Erledigen Sie die Aufgabe einmal von Hand und einmal mit dem Agenten. Halten Sie Zeitaufwand, Qualität des Ergebnisses und alle Eingriffe oder Korrekturen fest.

   Wiederholen Sie den Vergleich mit einigen unterschiedlichen Fällen. Ein erfolgreicher Durchlauf zeigt nicht, wie der Agent mit Ausnahmen umgeht.

4. Festlegen, wo eine Freigabe nötig ist

   Schreiben Sie auf, welche Schritte der Agent selbstständig erledigen darf und welche eine benannte Person freigeben muss.

   Legen Sie die Haltepunkte fest, bevor die Aufgabe beginnt.

Was das für die KI-Kompetenz bedeutet

Computer Use macht es möglich, Aufgaben in Software zu delegieren, die bisher Handarbeit am Bildschirm verlangten. Der Nutzen hängt davon ab, geeignete Aufgaben zu wählen, den richtigen Zugang bereitzustellen und die Ergebnisse zu prüfen.

Für die Beschäftigten werden dadurch mehrere Fähigkeiten wichtiger: einen klaren Auftrag formulieren, passende Grenzen setzen, Fehler erkennen und wissen, wann sie eingreifen müssen.

Diese Fähigkeiten lassen sich an praktischer Arbeit beobachten. Jemand kann wissen, wie man einen Agenten startet, und trotzdem Mühe haben, einen unvollständigen Auszug oder eine unbelegte Schlussfolgerung zu erkennen. Zu sehen, wie jemand mit solchen Situationen umgeht, ist eine gute Grundlage für Schulung.

Quellen und weiterführende Links

1. Anthropic: Developing a computer use model
2. Anthropic: Computer use tool
3. Anthropic: Mitigating the risk of prompt injections in browser use
4. Gartner: 40 % of enterprise apps will feature task-specific AI agents by 2026
5. Gartner: Over 40 % of agentic AI projects will be canceled by end of 2027
6. Europäische Kommission: AI Literacy, Questions & Answers