L’utilisation de l’ordinateur sur Mac : laissez un agent IA utiliser vos apps

L’utilisation de l’ordinateur, c’est la possibilité pour un agent IA de regarder une app sur votre Mac et de s’en servir : appuyer sur des boutons, taper du texte, faire défiler et lire le résultat. Foxl est un agent IA gratuit pour ordinateur qui le fait avec n’importe quel modèle capable de lire des images, via Amazon Bedrock, OpenRouter et les autres fournisseurs qu’il prend en charge. Activez Autoriser l’utilisation de l’ordinateur dans Configuration, accordez deux autorisations à macOS, et formulez votre demande avec vos propres mots. Foxl demande avant d’utiliser chaque app, travaille avec son propre pointeur pour laisser le vôtre libre, et ne regarde jamais que la fenêtre de l’app qu’il utilise.

La vidéo ci-dessus est une exécution réelle. Invité à partager l’addition d’un dîner, Foxl a ouvert Calculette, a tapé 186,40 × 1,18 ÷ 4 sur son clavier, a lu 54,988 sur l’affichage, puis a tapé dans une note TextEdit un message indiquant les 54,99 $ de chacun, le tout en une minute et six secondes.

Ce qu’il vous faut

• Un Mac sous macOS 13 ou version ultérieure. Foxl sait aussi utiliser l’ordinateur sous Windows et sous Linux dans une session X11 ; les étapes et les mesures de ce guide sont celles du Mac.
• Foxl, gratuit sur foxl.ai. Vous n’avez pas besoin de compte Foxl pour cela.
• Un modèle capable de lire des images. Configuration > Modèle et fournisseur permet de le configurer ; Utiliser OpenRouter dans une app pour ordinateur et le guide Amazon Bedrock détaillent les deux utilisés ici.

Étape 1 : activer l’utilisation de l’ordinateur

1. Ouvrez Configuration, puis Utilisation de l’ordinateur.
2. Activez Autoriser l’utilisation de l’ordinateur. L’option reste désactivée tant que vous ne l’activez pas.
3. Sous Autorisations macOS, appuyez sur Ouvrir les réglages à côté d’Enregistrement de l’écran et d’Accessibilité, et activez Foxl dans chacun. macOS exige la première pour que Foxl puisse faire une capture de la fenêtre de l’app, et la seconde pour qu’il puisse y cliquer, taper et faire défiler. Quittez puis rouvrez Foxl ensuite : les deux lignes indiquent Accordée.

Étape 2 : demandez, et autorisez l’app

Lancez un nouveau chat et dites ce que vous voulez faire, et dans quelle app. La première fois qu’un chat a besoin d’une app, Foxl pose la question dans le chat : Autoriser Foxl à utiliser Calculette ?, avec Refuser, Autoriser et Toujours autoriser.

• Autoriser laisse ce chat utiliser l’app jusqu’à ce que vous appuyiez sur Arrêter, désactiviez l’utilisation de l’ordinateur, quittiez Foxl, ou laissiez l’app inutilisée pendant une heure.
• Toujours autoriser enregistre l’app sous Apps toujours autorisées dans Configuration, et Foxl cesse de demander pour elle. Retirez-la de cette liste pour que la question revienne.
• Refuser arrête cette étape, et l’agent est informé de votre refus.

Pendant qu’il travaille, une barre Foxl utilise Calculette s’affiche dans la fenêtre et dans la barre des menus de macOS, avec un bouton Arrêter qui y met fin immédiatement. L’agent tient aussi un court plan au-dessus de la zone de message et coche chaque étape au fur et à mesure.

Quels modèles savent utiliser l’ordinateur ?

Chaque étape de l’utilisation de l’ordinateur renvoie une capture d’écran : le modèle doit donc lire des images et appeler des outils. Foxl le vérifie lui-même : un modèle qui ne sait pas lire les images ne reçoit pas les outils d’utilisation de l’ordinateur, et si vous lui demandez d’utiliser une app, il vous dit de passer à un modèle qui en est capable. Pour les modèles OpenRouter, Foxl lit le catalogue d’OpenRouter lui-même, où 272 modèles acceptaient à la fois les images et les outils le jour où nous avons regardé.

Savoir voir ne veut pas dire savoir bien faire. Nous avons confié la tâche de la vidéo à plusieurs modèles, sur le même Mac, le 8 octobre 2026 :

Les modèles Claude sont pour l’instant le choix sûr. Sur OpenRouter, Claude Haiku 5.5 est le moins cher d’entre eux ; sur Bedrock, les mêmes modèles tournent sur votre propre compte AWS.

Peut-on utiliser l’ordinateur avec les modèles gratuits d’OpenRouter ?

Parfois, mais pas encore de façon fiable. OpenRouter propose sept modèles gratuits qui acceptent les images et les outils, et son Free Models Router en choisit un qui prend en charge ce dont la requête a besoin : choisir Free Models Router dans Foxl est donc la façon la plus simple d’essayer. Trois obstacles se dressent, et nous les avons tous rencontrés en préparant ce guide :

• Chaque étape est une requête. La tâche ci-dessus a pris 24 étapes, et les modèles gratuits permettent 50 requêtes par jour tant que vous n’avez pas acheté 10 crédits (1000 ensuite).
• Le réservoir gratuit est partagé. Les deux modèles Gemma 4 ont répondu 429 pendant plus de deux heures, et les modèles gratuits qui ont répondu n’étaient pas doués pour appuyer sur le bon bouton.
• Une clé sans crédits ne peut pas exécuter de longues requêtes payantes. OpenRouter vérifie chaque requête par rapport à votre solde avant de l’exécuter, et une étape d’utilisation de l’ordinateur transporte une capture d’écran et toute la conversation jusque-là, bien plus de 10 000 tokens. Avec une clé sans crédits, elle a été refusée avec 402 Prompt tokens limit exceeded, même quand la requête passait par notre propre clé de fournisseur.

Si vous voyez seulement n’a pas assez de crédits sur une requête courte, réduire Longueur maximale de réponse (jetons) dans Configuration > Modèle et fournisseur > OpenRouter peut suffire, car OpenRouter réserve d’emblée toute cette longueur. Pour une utilisation régulière de l’ordinateur, achetez quelques crédits ou utilisez un modèle que vous payez déjà.

Qu’est-ce que l’utilisation de l’ordinateur fait à ma souris et à mon écran ?

Rien qui vous oblige à vous arrêter. Foxl appuie sur les boutons, remplit les champs de texte et fait défiler via l’Accessibilité de macOS, le canal qu’utilisent les lecteurs d’écran : votre pointeur ne bouge jamais et vous pouvez continuer à travailler dans une autre app. Un petit pointeur gris, propre à Foxl, glisse vers chaque commande pour que vous puissiez suivre ce qu’il fait. L’app qu’il utilise n’est pas ramenée au premier plan à chaque étape ; seul un raccourci avec Commande, Contrôle ou Option exige l’app au premier plan, alors Foxl l’amène devant un instant, puis remet votre app en place.

Foxl ne fait de captures que de la fenêtre au premier plan de l’app qu’il utilise, jamais de tout votre écran. Certaines apps ne peuvent jamais être utilisées : Terminal et les autres terminaux, Éditeur de script, Automator, Raccourcis, Réglages Système, Trousseaux d’accès, Mots de passe et Foxl lui-même. Les commandes passent plutôt par les propres outils de Foxl, et ces apps contiennent des mots de passe et des réglages de sécurité.

Les apps Mac natives qui décrivent leurs commandes à l’Accessibilité, comme Calculette et TextEdit ici, fonctionnent le mieux. Les apps construites sur Chromium ou Electron décrivent peu de leurs pages : de nombreux clics dans une page web sont donc refusés, et l’agent se rabat sur le clavier. Pour les sites web, l’extension de navigateur Foxl est le meilleur outil.

Les questions qu’on se pose

L’utilisation de l’ordinateur est-elle gratuite dans Foxl ?

Foxl est gratuit, et la fonction ne coûte rien de son côté. Vous payez le modèle, aux tarifs de son fournisseur. Les modèles gratuits d’OpenRouter peuvent y arriver les bons jours, avec les limites décrites plus haut.

Est-ce que ça fonctionne sous Windows ou Linux ?

Oui. Foxl sait utiliser l’ordinateur sous Windows depuis la v0.8.5 et sous Linux, dans une session de bureau X11, depuis la v0.8.4, de la même façon : il demande dans le chat avant d’utiliser une app et ne travaille qu’avec la fenêtre de cette app. Les étapes et les mesures de ce guide viennent d’un Mac.

Peut-il voir tout mon écran ?

Non. Il fait des captures de la fenêtre de l’app qu’il utilise, et seulement après que vous avez autorisé cette app dans le chat.

Puis-je l’utiliser depuis mon téléphone ?

Vous pouvez lancer le chat depuis l’app Foxl pour iPhone, et le travail s’exécute sur votre Mac. Autoriser une app est la seule étape qui doit se faire dans Foxl sur le Mac : le téléphone affiche En attente d’approbation sur votre Mac tant que l’app n’y a pas été autorisée.