Zum Hauptinhalt springenZum Inhalt springen
Deep Dive

Computersteuerung auf dem Mac: Lass einen KI-Agenten deine Apps bedienen

Schalte in Foxl die Computersteuerung ein, gib macOS zwei Berechtigungen, und ein KI-Agent drückt mit seinem eigenen Zeiger Schaltflächen und tippt in deinen Mac-Apps. Welche Modelle das gut können, gemessen, auch über OpenRouter und kostenlose Modelle.

Foxl TeamAktualisiert am 7 Min. Lesezeit

Ein echter Lauf in Foxl für Mac mit Claude Sonnet 5.5 auf Amazon Bedrock: Es drückte im Rechner 186,40 × 1,18 ÷ 4 und tippte dann die Gruppennachricht in TextEdit. Frames ohne Änderung wurden entfernt, der Rest läuft mit 1,25-facher Geschwindigkeit; nichts auf dem Bildschirm wurde bearbeitet. GIF
Auf dieser Seite
Am 27. Oktober 2026 anhand der ausgelieferten Implementierung und der erhaltenen Tests geprüft.

Computersteuerung heißt, dass ein KI-Agent sich eine App auf deinem Mac ansehen und sie bedienen kann: Schaltflächen drücken, tippen, scrollen und das Ergebnis zurücklesen. Foxl ist ein kostenloser KI-Agent für den Desktop, der das mit jedem Modell kann, das Bilder lesen kann, ob von Amazon Bedrock, OpenRouter oder den anderen unterstützten Anbietern. Schalte in der Konfiguration Computersteuerung erlauben ein, gib macOS zwei Berechtigungen und frag in ganz normalen Worten. Foxl fragt, bevor es eine App verwendet, arbeitet mit seinem eigenen Zeiger, sodass deiner frei bleibt, und sieht sich immer nur das Fenster der App an, die es gerade verwendet.

Das Video oben ist ein echter Lauf. Gebeten, eine Restaurantrechnung aufzuteilen, öffnete Foxl den Rechner, drückte auf dessen Tastenfeld 186,40 × 1,18 ÷ 4, las 54,988 vom Display ab und tippte eine Nachricht mit dem Anteil jeder Person, 54,99 $, in eine Notiz in TextEdit, in einer Minute und sechs Sekunden.

Was du brauchst

  • Einen Mac mit macOS 13 oder neuer. Foxl beherrscht die Computersteuerung auch unter Windows und unter Linux in einer X11-Sitzung; die Schritte und Messungen hier stammen vom Mac.
  • Foxl, kostenlos auf foxl.ai. Ein Foxl-Konto brauchst du dafür nicht.
  • Ein Modell, das Bilder lesen kann. Eingerichtet wird es unter Konfiguration > Modell & Anbieter; OpenRouter in einer Desktop-App nutzen und die Anleitung zu Amazon Bedrock zeigen Schritt für Schritt die beiden, die hier verwendet werden.

Schritt 1: Die Computersteuerung einschalten

  1. Öffne die Konfiguration und dann Computersteuerung.
  2. Schalte Computersteuerung erlauben ein. Bis du das tust, ist sie aus.
  3. Drück unter macOS-Berechtigungen neben Bildschirmaufnahme und Bedienungshilfen jeweils auf Einstellungen öffnen und schalte Foxl dort ein. macOS braucht die erste, damit Foxl einen Screenshot vom Fenster der App machen kann, und die zweite, damit es darin klicken, tippen und scrollen kann. Beende Foxl danach und öffne es neu, dann zeigen beide Zeilen Erteilt.
Die Konfiguration von Foxl auf „Computer use“. „Allow computer use“ ist eingeschaltet, mit dem Hinweis, dass der Agent zuerst im Chat fragt, nur Screenshots vom Fenster dieser App macht und seinen eigenen Foxl-Zeiger verwendet. Unter „macOS permissions“ zeigen „Screen Recording“ und „Accessibility“ beide „Granted“. „Always-allowed apps“ ist noch leer.
Konfiguration > Computersteuerung, nachdem beide Berechtigungen erteilt wurden. Immer erlaubte Apps füllt sich, wenn du in einem Chat Immer erlauben wählst.

Schritt 2: Fragen und die App erlauben

Starte einen neuen Chat und sag, was in welcher App erledigt werden soll. Wenn ein Chat zum ersten Mal eine App braucht, fragt Foxl im Chat: Foxl erlauben, Rechner zu verwenden?, mit Verweigern, Erlauben und Immer erlauben.

Ein Chat in Foxl. Die Anfrage bittet Foxl, die App Rechner zu öffnen, mit ihren Tasten 18 % Trinkgeld auf 186,40 $ aufzuschlagen und den Betrag durch vier zu teilen und dann eine Nachricht in das Fenster „Dinner split“ in TextEdit zu tippen. Darunter wartet Foxl auf eine Freigabe: „Allow Foxl to use Calculator?“, mit den Schaltflächen „Deny“, „Allow“ und „Always allow“.
Die erste Verwendung einer App in einem Chat wartet auf dich. TextEdit bekam dieselbe Frage, als Foxl dort ankam.
  • Erlauben lässt diesen Chat die App verwenden, bis du auf Stoppen drückst, die Computersteuerung ausschaltest, Foxl beendest oder die App eine Stunde lang nicht verwendet wird.
  • Immer erlauben speichert die App unter Immer erlaubte Apps in der Konfiguration, und Foxl fragt dafür nicht mehr. Entfernst du sie dort, wirst du wieder gefragt.
  • Verweigern beendet diesen Schritt, und der Agent erfährt, dass du Nein gesagt hast.

Während es arbeitet, zeigt sich im Fenster und in der Menüleiste von macOS eine Leiste Foxl verwendet Rechner mit einer Schaltfläche Stoppen, die die Arbeit sofort beendet. Der Agent führt außerdem einen kurzen Plan über dem Nachrichtenfeld und hakt jeden Schritt ab.

Welche Modelle beherrschen die Computersteuerung?

Jeder Schritt der Computersteuerung antwortet mit einem Screenshot, also muss das Modell Bilder lesen und Tools aufrufen können. Foxl prüft das selbst: Ein Modell, das keine Bilder ansehen kann, bekommt die Tools der Computersteuerung nicht, und bittest du es, eine App zu verwenden, sagt es dir, dass du zu einem Modell wechseln sollst, das es kann. Bei OpenRouter-Modellen liest Foxl den Katalog von OpenRouter selbst; an dem Tag, an dem wir nachgesehen haben, nahmen dort 272 Modelle sowohl Bilder als auch Tools an.

Sehen zu können heißt aber noch nicht, gut darin zu sein. Wir haben die Aufgabe aus dem Video am 8. Oktober 2026 auf demselben Mac mehreren Modellen gegeben:

ModellÜberWas es gemacht hat
Claude Sonnet 5.5Amazon BedrockBeide Apps in 1 Min. 6 s erledigt, auf den Cent genau (das Video)
Claude Haiku 5.5OpenRouterDie richtigen Tasten im Rechner gedrückt und die richtige Nachricht in TextEdit getippt
Qwen3.7 FlashOpenRouterDrückte immer wieder die falschen Tasten im Rechner und wich aufs Tippen aus
dots-3 note preview (free)OpenRouterAntwortete, drückte aber zehn Minuten lang dieselben paar Tasten im Rechner
Gemma 4 31B und 26B (free)OpenRouterMehr als zwei Stunden lang vom vorgelagerten Anbieter ausgebremst (429)
Free Models RouterOpenRouterWählte aus den kostenlosen Modellen oben, mit denselben Ergebnissen

Die Claude-Modelle sind vorerst die sichere Wahl. Bei OpenRouter ist Claude Haiku 5.5 das günstigste davon; bei Bedrock laufen dieselben Modelle über dein eigenes AWS-Konto.

Funktioniert die Computersteuerung mit kostenlosen OpenRouter-Modellen?

Manchmal, aber noch nicht zuverlässig. OpenRouter hat sieben kostenlose Modelle, die Bilder und Tools annehmen, und sein Free Models Router wählt eines, das unterstützt, was eine Anfrage braucht; Free Models Router in Foxl zu wählen ist also der einfache Weg, es auszuprobieren. Drei Dinge stehen dabei im Weg, und auf alle drei sind wir bei dieser Anleitung gestoßen:

  • Jeder Schritt ist eine Anfrage. Die Aufgabe oben brauchte 24 Schritte, und kostenlose Modelle erlauben 50 Anfragen pro Tag, bis du 10 Credits gekauft hast (danach 1000).
  • Der kostenlose Pool wird geteilt. Die beiden Gemma-4-Modelle antworteten mehr als zwei Stunden lang mit 429, und die kostenlosen Modelle, die antworteten, trafen die richtige Taste nicht gut.
  • Ein Schlüssel ohne Guthaben kann keine langen kostenpflichtigen Anfragen ausführen. OpenRouter prüft jede Anfrage vor dem Ausführen gegen dein Guthaben, und ein Schritt der Computersteuerung trägt einen Screenshot und das bisherige Gespräch mit, weit über 10.000 Tokens. Mit einem Schlüssel ohne Guthaben wurde er mit 402 Prompt tokens limit exceeded abgelehnt, selbst wenn die Anfrage über unseren eigenen Anbieterschlüssel lief.

Siehst du bei einer kurzen Anfrage nur die Meldung, dass das Guthaben nicht reicht, kann es genügen, unter Konfiguration > Modell & Anbieter > OpenRouter die Maximale Antwortlänge (Tokens) zu senken, weil OpenRouter diese ganze Länge vorab reserviert. Für regelmäßige Computersteuerung kaufst du besser ein paar Credits oder nutzt ein Modell, für das du schon bezahlst.

Was macht die Computersteuerung mit meiner Maus und meinem Bildschirm?

Nichts, wofür du innehalten müsstest. Foxl drückt Schaltflächen, füllt Textfelder aus und scrollt über die Bedienungshilfen von macOS, denselben Kanal, den Bildschirmleser nutzen, deshalb bewegt sich dein Zeiger nie, und du kannst in einer anderen App weiterarbeiten. Ein kleiner grauer Zeiger, der Foxl gehört, gleitet zu jedem Element, damit du verfolgen kannst, was es tut. Die App, die es verwendet, wird nicht bei jedem Schritt nach vorn geholt; nur ein Tastaturkurzbefehl mit Command, Control oder Option braucht die App im Vordergrund, also holt Foxl sie kurz nach vorn und stellt danach deine App wieder zurück.

Foxl macht Screenshots nur vom vordersten Fenster der App, die es verwendet, nie von deinem ganzen Bildschirm. Manche Apps können gar nicht verwendet werden: Terminal und andere Terminals, Skripteditor, Automator, Kurzbefehle, Systemeinstellungen, Schlüsselbundverwaltung, Passwörter und Foxl selbst. Befehle laufen stattdessen über die eigenen Tools von Foxl, und diese Apps verwahren Passwörter und Sicherheitseinstellungen.

Am besten funktionieren native Mac-Apps, die ihre Elemente den Bedienungshilfen beschreiben, wie hier Rechner und TextEdit. Apps auf Basis von Chromium oder Electron beschreiben wenig von ihren Seiten, deshalb werden viele Klicks innerhalb einer Webseite abgelehnt, und der Agent weicht auf die Tastatur aus. Für Websites ist die Browsererweiterung von Foxl das bessere Werkzeug.

Häufige Fragen

Ist die Computersteuerung in Foxl kostenlos?

Foxl ist kostenlos, und die Funktion kostet auf seiner Seite nichts. Du bezahlst das Modell, zu den Preisen des jeweiligen Anbieters. Kostenlose OpenRouter-Modelle schaffen es an einem guten Tag, mit den Grenzen oben.

Funktioniert das unter Windows oder Linux?

Ja. Foxl beherrscht die Computersteuerung unter Windows seit v0.8.5 und unter Linux in einer X11-Desktop-Sitzung seit v0.8.4, und zwar genauso: Es fragt im Chat, bevor es eine App benutzt, und arbeitet nur mit dem Fenster dieser App. Die Schritte und Messungen in dieser Anleitung stammen von einem Mac.

Kann es meinen ganzen Bildschirm sehen?

Nein. Es macht Screenshots vom Fenster der App, die es verwendet, und erst, nachdem du diese App im Chat erlaubt hast.

Kann ich das vom Handy aus nutzen?

Du kannst den Chat in der Foxl-App auf dem iPhone starten, und die Arbeit läuft auf deinem Mac. Eine App zu erlauben ist der eine Schritt, der in Foxl auf dem Mac passieren muss: Das Handy zeigt Warte auf Freigabe an deinem Mac, bis sie dort erlaubt wird.

Quellen und weiterführende Lektüre

  1. OpenRouter: Free Models RouterDokumentation
  2. OpenRouter: API-RatenlimitsDokumentation
  3. Foxl-Dokumentation: ComputersteuerungDokumentation