Macでコンピュータの操作: AIエージェントにアプリを使ってもらう

コンピュータの操作（Computer Use）とは、AIエージェントがMacのアプリを見て操作できることです。ボタンを押し、文字を入力し、スクロールし、その結果を読み取ります。Foxlは無料のデスクトップAIエージェントで、Amazon Bedrock、OpenRouter、そのほか対応しているプロバイダーの、画像を読めるモデルならどれでもこれができます。「設定」でコンピュータの操作を許可をオンにし、macOSに2つの権限を与えたら、あとはふだんの言葉で頼むだけです。Foxlはアプリを使う前にそのつど確認し、専用のポインターで作業するのであなたのポインターは自由なままで、見るのも使っているアプリのウインドウだけです。

上の動画は実際の実行です。夕食の割り勘を頼まれたFoxlは計算機を開き、キーパッドで186.40 × 1.18 ÷ 4を押して、表示された54.988を読み取り、1人あたり$54.99というメッセージをテキストエディットのメモに入力しました。かかった時間は1分6秒です。

必要なもの

• macOS 13以降のMac。FoxlはWindowsと、X11セッションのLinuxでもコンピュータの操作ができますが、この記事の手順と測定はMacのものです。
• foxl.aiから無料で入手できるFoxl。この用途にFoxlアカウントは要りません。
• 画像を読めるモデル。「設定 > モデル/プロバイダー」で設定します。ここで使った2つについては、デスクトップアプリでOpenRouterを使うとAmazon Bedrockのガイドで手順を説明しています。

ステップ1: コンピュータの操作をオンにする

1. 「設定」を開き、コンピュータの操作を開きます。
2. コンピュータの操作を許可をオンにします。オンにするまではオフのままです。
3. macOS の権限で、画面収録とアクセシビリティの横にある設定を開くを押し、それぞれでFoxlをオンにします。1つ目はFoxlがアプリのウインドウのスクリーンショットを撮るために、2つ目はそのウインドウでクリック、入力、スクロールをするために、macOSが求める権限です。そのあとFoxlを終了して開き直すと、両方の行が許可済みになります。

ステップ2: 頼んで、アプリを許可する

新しいチャットを始め、どのアプリで何をしてほしいかを伝えます。チャットで初めてアプリが必要になると、Foxlはチャットの中でFoxl に計算機の使用を許可しますか?と尋ね、拒否、許可、常に許可を表示します。

• 許可を選ぶと、「停止」を押すか、コンピュータの操作をオフにするか、Foxlを終了するか、そのアプリを1時間使わずにおくまで、このチャットでそのアプリを使えます。
• 常に許可を選ぶと、そのアプリが「設定」の常に許可するアプリに保存され、Foxlはそのアプリについて確認しなくなります。また確認してほしくなったら、そこから削除してください。
• 拒否を選ぶとそのステップは止まり、エージェントにはあなたが断ったことが伝わります。

作業中は、ウインドウとmacOSのメニューバーにFoxl が計算機を操作中のバーが表示され、その停止ボタンを押せばすぐに終わります。エージェントはメッセージ欄の上に短い計画も表示し、ステップごとにチェックを入れていきます。

コンピュータの操作ができるモデルは？

コンピュータの操作では、どのステップもスクリーンショットで結果が返ってくるので、モデルは画像を読めて、ツールを呼び出せる必要があります。Foxlはこれを自分で確認します。画像を見られないモデルにはコンピュータの操作のツールを渡さず、そのモデルにアプリを使うよう頼むと、対応するモデルに切り替えるよう案内します。OpenRouterのモデルについては、FoxlはOpenRouter自身のカタログを読みます。私たちが確認した日には、画像とツールの両方に対応したモデルが272ありました。

見えることと、うまく使いこなせることは別です。2026年10月8日に、同じMacで、動画と同じタスクを複数のモデルに与えました。

今のところ、安心して選べるのはClaudeのモデルです。OpenRouterではClaude Haiku 5.5がその中でいちばん安く、Bedrockなら同じモデルをあなた自身のAWSアカウントで動かせます。

OpenRouterの無料モデルでコンピュータの操作は使えますか？

使えることもありますが、まだ安定はしていません。OpenRouterには画像とツールに対応した無料モデルが7つあり、Free Models Routerはリクエストに必要な機能を持つモデルを選ぶので、FoxlでFree Models Routerを選ぶのが手軽な試し方です。ただ、妨げになることが3つあり、このガイドを作るあいだに私たちはそのすべてに出くわしました。

• 1ステップが1リクエスト。上のタスクには24ステップかかりましたが、無料モデルは10クレジットを購入するまで1日50リクエストまでです（購入後は1000）。
• 無料の枠はみんなで共有。2つのGemma 4モデルは2時間以上429を返し続け、応答した無料モデルも正しいボタンを押すのは苦手でした。
• クレジットのないキーでは、長い有料リクエストを実行できない。OpenRouterは実行前に各リクエストを残高と照らし合わせます。コンピュータの操作の1ステップにはスクリーンショットとそれまでの会話が含まれ、優に10,000トークンを超えます。クレジットのないキーでは、リクエストが私たち自身のプロバイダーキーで実行される場合でも、402 Prompt tokens limit exceededで拒否されました。

短いリクエストでクレジットはこのリクエストには足りませんとだけ表示される場合は、「設定 > モデル/プロバイダー > OpenRouter」の返信の最大長（トークン）を下げれば済むことがあります。OpenRouterはその長さ全体のぶんを先に確保するからです。コンピュータの操作を日常的に使うなら、クレジットを少し購入するか、すでに料金を払っているモデルを使ってください。

コンピュータの操作は、マウスや画面にどう影響しますか？

手を止める必要はありません。FoxlはmacOSのアクセシビリティ、つまりスクリーンリーダーと同じ経路を通じてボタンを押し、テキスト欄に入力し、スクロールするので、あなたのポインターは動かず、別のアプリで作業を続けられます。Foxl専用の小さなグレーのポインターが各コントロールへすべるように移動するので、何をしているかを目で追えます。使っているアプリがステップごとに前面に出てくることもありません。Command、Control、Optionを使うショートカットだけはアプリが前面にある必要があるため、Foxlがそのアプリを一瞬だけ前面に出し、あなたのアプリを元に戻します。

Foxlがスクリーンショットを撮るのは使っているアプリの最前面のウインドウだけで、画面全体を撮ることはありません。また、決して使えないアプリもあります。ターミナルをはじめとするターミナルアプリ、スクリプトエディタ、Automator、ショートカット、システム設定、キーチェーンアクセス、パスワード、そしてFoxl自身です。コマンドは代わりにFoxl自身のツールで実行しますし、これらのアプリはパスワードやセキュリティ設定を扱っているからです。

ここで使った計算機やテキストエディットのように、コントロールの情報をアクセシビリティに伝えるネイティブのMacアプリがいちばんうまく動きます。ChromiumやElectronで作られたアプリはページの中身をあまり伝えないため、Webページ内のクリックの多くは拒否され、エージェントはキーボード操作に切り替えます。Webサイトを扱うなら、Foxlのブラウザ拡張機能のほうが向いています。

よくある質問

Foxlのコンピュータの操作は無料ですか？

Foxlは無料で、この機能にFoxl側の費用はかかりません。料金がかかるのはモデルで、そのプロバイダーの価格です。OpenRouterの無料モデルでも、調子のいい日にはこなせますが、上に書いた制限があります。

WindowsやLinuxでも使えますか？

使えます。FoxlはWindowsではv0.8.5から、X11デスクトップセッションのLinuxではv0.8.4からコンピュータの操作ができ、仕組みも同じです。アプリを使う前にチャットで確認し、そのアプリのウィンドウだけを扱います。この記事の手順と測定はMacで行ったものです。

画面全体が見られてしまいますか？

いいえ。スクリーンショットを撮るのは使っているアプリのウインドウだけで、それもチャットでそのアプリを許可したあとに限られます。

スマートフォンから使えますか？

FoxlのiPhoneアプリからチャットを始めることができ、作業はMacで実行されます。アプリの許可だけはMacのFoxlで行う必要があり、そこで許可されるまで、スマートフォンにはお使いのMacで承認を待っていますと表示されます。