Gemini Computer Use: KI-Agenten bedienen jetzt Browser

Google hat ein Werkzeug fertiggestellt, an dem es seit gut einem Jahr arbeitet: KI-Agenten, die eine Benutzeroberfläche so bedienen wie ein Mensch. Sie klicken, tippen und scrollen. Für kleine Teams klingt das nach der Lösung für lästige Klickarbeit in Webportalen. Ganz so einfach ist es nicht. Hier steht, was neu ist, wie es funktioniert und wo du aufpassen musst.

Was passiert ist

Am 30. Oktober 2026 hat Google das Computer-Use-Tool allgemein verfügbar gemacht (General Availability), und zwar laut Gemini-API-Changelog in der Interactions API und in der GenerateContent API. Am selben Tag melden die Google-Cloud-Release-Notes die allgemeine Verfügbarkeit in der Gemini Enterprise Agent Platform.

Die Vorgeschichte steht ebenfalls im Changelog:

• 7. Oktober 2025: Start von „Gemini 2.5 Computer Use Preview“.
• 29. Januar 2026: Computer Use kommt in gemini-3-pro-preview und gemini-3-flash-preview.
• 24. Juni 2026: Public Preview in Gemini 3.5 Flash. Neu sind vereinfachte Aktionen über Intents, eingebaute Umgebungen für Browser, Mobilgeräte und Desktop, konfigurierbare Sicherheitsrichtlinien und eine bessere Erkennung von Prompt Injection.

Mit dem Schritt zu GA ist das Tool kein Experiment mehr, sondern ein reguläres Produkt.

Wie funktioniert Gemini Computer Use?

Das Prinzip beschreibt die Dokumentation zu Computer Use: Das Modell bekommt einen Screenshot und antwortet mit einer Aktion für die Oberfläche, etwa einem Klick oder einer Texteingabe. Ausführen muss diese Aktion deine eigene Anwendung, ähnlich wie beim Function Calling. Danach macht sie einen neuen Screenshot, und die Schleife beginnt von vorn.

Google unterstützt drei Umgebungen (Dokumentation):

Umgebung	Beispiele für Aktionen
Browser	Klicken, Tippen, Scrollen, Drag and Drop, Tastenkürzel, zu einer URL navigieren, vor und zurück
Desktop	wie im Browser, aber ohne Navigieren, Vor und Zurück
Mobilgerät	App öffnen, Apps auflisten, Tippen, langes Drücken, Zurück

Klickpunkte gibt das Modell als Koordinaten von 0 bis 999 an. Deine Software rechnet sie auf die echte Bildschirmgröße um (Dokumentation).

Diese Modelle unterstützen Computer Use laut Dokumentation (Stand: November 2026):

• Gemini 3.8 Flash: von Google als empfohlenes Modell für Computer Use bezeichnet.
• Gemini 4 Argon: laut Google das leistungsstärkste Modell.
• Gemini 3.5 Flash-Lite: auf niedrige Latenz und geringe Kosten ausgelegt.
• Gemini 3 Flash Preview: als Vorschaumodell gekennzeichnet.

Die Codebeispiele auf der Seite nutzen alle die Interactions API.

Welche Sicherheitsfunktionen bringt das Tool mit?

Ein Agent, der selbst klickt, kann auch falsch klicken. Google hat deshalb Sicherheitsrichtlinien eingebaut. Die Dokumentation nennt diese Kategorien: Finanztransaktionen, Änderung sensibler Daten, Kommunikationswerkzeuge, Kontoerstellung, Datenänderung, Einwilligungen sowie rechtliche Bedingungen und Vereinbarungen.

Zahlungen: Die Kategorie FINANCIAL_TRANSACTIONS blockiert Aktionen rund um Zahlungen, Checkouts im Onlinehandel oder regulierte Waren oder verlangt dafür eine Bestätigung (Dokumentation).

Rückfragen: Liefert das Modell die Entscheidung require_confirmation, soll deine Anwendung den Menschen fragen. Stimmt er zu, schickt die Anwendung eine Bestätigung zurück. Eigene Einstellungen gelten dabei nur als Wunsch. Das Modell kann trotzdem eine Bestätigung verlangen, und deine Software muss damit umgehen können (Dokumentation).

Prompt Injection: Webseiten können versteckte Anweisungen enthalten, die einen Agenten umlenken sollen. Die Erkennung dafür musst du selbst einschalten, sie steht standardmäßig auf aus (Dokumentation).

Für Unternehmen: In der Gemini Enterprise Agent Platform können Entwickler die Bestätigungsregeln etwa für Finanztransaktionen oder Datenänderungen anpassen. Admins können über eine Organisationsrichtlinie (configurableComputerUseToolSafetyPolicies) Vorgaben für die ganze Organisation erzwingen (Release Notes).

Was es für dich bedeutet

Für Selbstständige und kleine Teams ist das spannend, sobald eine Aufgabe nur über eine Weboberfläche geht. Typische Fälle sind Daten aus einer Tabelle in ein Portal übertragen, das keine Schnittstelle hat, immer gleiche Webformulare ausfüllen oder Informationen von mehreren Seiten zusammentragen. Genau da stoßen klassische Automatisierungen an ihre Grenzen.

Drei Dinge solltest du vorher wissen.

Erstens: Computer Use ist eine Schnittstelle, kein fertiges Tool. Du bekommst kein Programm, in dem du „mach das für mich“ eintippst. Jemand muss die Schleife aus Screenshot, Aktion und Ausführung programmieren und betreiben. Ohne Programmierkenntnisse brauchst du Hilfe. Wenn das Portal eine API hat, ist eine Lösung mit Make, n8n oder Zapier meist robuster. Einen Überblick dazu findest du im Ratgeber KI-Automatisierung mit Make, n8n oder Zapier für Einsteiger.

Zweitens: Google warnt selbst vor Fehlern. Laut Dokumentation kann Computer Use Fehler und Sicherheitslücken enthalten. Google rät, wichtige Aufgaben eng zu überwachen und Aufgaben mit kritischen Entscheidungen, sensiblen Daten oder nicht korrigierbaren Fehlern zu vermeiden. Unerwartete Pop-ups oder ein geändertes Layout können das Modell durcheinanderbringen. Für Buchhaltung, Bankgeschäfte oder Kundendaten ist das ein klares Stoppschild.

Drittens: Sandbox und Freigaben sind Pflicht, nicht Kür. Google empfiehlt, den Agenten in einer abgeschotteten Umgebung laufen zu lassen, etwa in einer virtuellen Maschine, einem Container wie Docker oder einem Browserprofil mit eingeschränkten Rechten. Dazu kommen Allow- und Blocklists für Websites, ausführliche Protokolle und eigene Regeln in der Systemanweisung, zum Beispiel eine Bestätigung vor Zahlungen, vor dem Akzeptieren von Bedingungen oder bei CAPTCHAs (Dokumentation).

So würde ich an ein erstes Projekt herangehen:

1. Eine Aufgabe wählen, die oft vorkommt, wenig Schaden anrichten kann und sich leicht prüfen lässt, etwa ein internes Formular.
2. Den Agenten in einem eigenen Browserprofil ohne gespeicherte Passwörter und ohne Zahlungsdaten laufen lassen.
3. Eine Liste der Websites festlegen, die er besuchen darf.
4. Jede Rückfrage des Modells an einen Menschen weiterleiten und jeden Lauf protokollieren.
5. Erst nach einigen sauberen Durchläufen die Freigaben lockern, falls überhaupt.

Bei meinem eigenen KI-Agenten Sokrates gilt dasselbe Prinzip: Was nach außen geht, läuft über ein Studio mit Freigabe. Wie das im Alltag aussieht, beschreibe ich in Sokrates: Wie mein KI-Agent sieben Marken steuert.

Zu den Kosten: Die Computer-Use-Dokumentation nennt keine Preise. Was ein Lauf kostet, hängt vom gewählten Modell ab. Bedenke, dass jeder Schritt einen neuen Screenshot an das Modell schickt. Lange Klickstrecken werden dadurch schnell zu vielen Anfragen. Prüf deshalb vor dem Start die Preisübersicht der Gemini API.

Google ist nicht der einzige Anbieter, der Agenten an den Bildschirm lässt. Zum Vergleich lies GPT-6.1 Terra: OpenAIs günstiges Modell für Computer Use. Wenn du erst verstehen willst, was einen KI-Agenten von einem Chatbot unterscheidet, hilft der Ratgeber Was ist ein KI-Agent?

Quellen

• Gemini API Changelog: Eintrag vom 30. Oktober 2026 zur allgemeinen Verfügbarkeit in der Interactions API und der GenerateContent API, dazu frühere Preview-Einträge
• Gemini API Dokumentation: Computer Use: Funktionsweise, Modelle, Umgebungen, Sicherheitsrichtlinien, Empfehlungen und Grenzen
• Google Cloud Release Notes: Eintrag vom 30. Oktober 2026 zur Gemini Enterprise Agent Platform

Häufige Fragen

Was ist Gemini Computer Use?

Ein Tool in der Gemini API, mit dem ein KI-Agent Browser, Desktops oder Mobilgeräte bedient. Das Modell bekommt Screenshots und gibt Aktionen wie Klicks, Tastatureingaben oder Scrollen zurück. Ausführen muss diese Aktionen deine eigene Anwendung.

Ist Gemini Computer Use kostenlos?

Auf der Dokumentationsseite zu Computer Use stehen keine Preise. Was es kostet, hängt vom gewählten Modell ab. Schau vor dem Start in die Preisübersicht der Gemini API.

Kann ein Gemini-Agent ohne meine Zustimmung bezahlen?

Über die Sicherheitsrichtlinie FINANCIAL_TRANSACTIONS kann das Tool Zahlungen und Checkouts blockieren oder vorher eine Bestätigung verlangen. Gibt das Modell require_confirmation zurück, soll deine Anwendung den Menschen fragen. Diese Rückfrage musst du selbst einbauen.

Brauche ich Programmierkenntnisse für Gemini Computer Use?

Ja. Computer Use ist kein fertiges Klick-Werkzeug, sondern eine Schnittstelle für Entwickler. Die Aktionen des Modells führt Code aus, den du selbst schreibst, ähnlich wie beim Function Calling.

Welches Gemini-Modell eignet sich für Computer Use?

Google nennt Gemini 3.8 Flash als empfohlenes Modell für Computer Use. Unterstützt werden außerdem Gemini 4 Argon, Gemini 3.5 Flash-Lite und Gemini 3 Flash Preview (Stand: November 2026).