跳到正文跳到正文
深度解析

Mac 上的电脑操作:让 AI 智能体使用你的应用

在 Foxl 中打开电脑操作,给 macOS 授予两项权限,AI 智能体就会用它自己的指针,在你的 Mac 应用里按按钮、打字。哪些模型做得好,我们做了实测,包括 OpenRouter 和免费模型。

Foxl Team更新于 阅读约 6 分钟

在 Mac 版 Foxl 中通过 Amazon Bedrock 使用 Claude Sonnet 5.5 的一次真实运行:它在计算器上按下 186.40 × 1.18 ÷ 4,然后在文本编辑里写下发给群里的消息。画面没有变化的帧已删去,其余部分以 1.25 倍速播放;屏幕上的内容没有经过任何编辑。 GIF
本页内容
已于 2026年10月27日 对照已发布的实现和保留的测试复核。

电脑操作(computer use)是指 AI 智能体可以查看你 Mac 上的应用并操作它:按按钮、打字、滚动,再把结果读回来。Foxl 是一款免费的桌面 AI 智能体,只要模型能读图,无论来自 Amazon Bedrock、OpenRouter 还是它支持的其他提供商,都能这样做。在“设置”中打开允许电脑操作,给 macOS 授予两项权限,然后用平常的话提出要求即可。Foxl 每使用一个应用前都会先问你,用它自己的指针操作,让你的指针保持空闲,而且只看它正在使用的那个应用的窗口。

上面的视频是一次真实运行。被要求分摊一顿晚餐的账单时,Foxl 打开计算器,在键盘上按下 186.40 × 1.18 ÷ 4,从显示屏读出 54.988,再在文本编辑的一份笔记里写下一条消息,告诉每个人应付 $54.99,全程用了一分零六秒。

你需要准备什么

  • 一台运行 macOS 13 或更高版本的 Mac。Foxl 在 Windows 和使用 X11 会话的 Linux 上也能进行电脑操作;本文的步骤和测量都来自 Mac。
  • Foxl,可从 foxl.ai 免费下载。做这件事不需要 Foxl 账户。
  • 一个能读图的模型。在“设置 > 模型和提供商”中配置;在桌面应用中使用 OpenRouter和 Amazon Bedrock 指南分别介绍了这里用到的两种方式。

第 1 步:打开电脑操作

  1. 打开“设置”,然后进入电脑操作。
  2. 打开允许电脑操作。在你打开之前,它一直是关闭的。
  3. 在macOS 权限下,分别点屏幕录制和辅助功能旁边的打开设置,并在两处都为 Foxl 打开开关。macOS 需要前者,Foxl 才能给应用窗口截图;需要后者,Foxl 才能在里面点击、输入和滚动。之后退出并重新打开 Foxl,两行都会显示已授权。
Foxl 设置打开在“Computer use”页面。Allow computer use 已打开,旁边的说明写着智能体会先在聊天中询问、只截取该应用的窗口,并使用自己的 Foxl 指针。在 macOS permissions 下,Screen Recording 和 Accessibility 都显示 Granted。Always-allowed apps 还是空的。
两项权限都授予后的“设置 > 电脑操作”。在聊天中选择“始终允许”后,“始终允许的应用”里就会出现条目。

第 2 步:提出要求,并允许应用

新建一个聊天,说清楚你想在哪个应用里做什么。聊天第一次需要某个应用时,Foxl 会在聊天中询问:允许 Foxl 使用计算器吗?下面有拒绝、允许和始终允许三个选项。

一段 Foxl 聊天。请求让 Foxl 打开计算器应用,按它的按钮给 $186.40 加上 18% 的小费并分成四份,再在文本编辑的“Dinner split”窗口里写一条消息。下方 Foxl 正在等待批准:“Allow Foxl to use Calculator?”,并有 Deny、Allow 和 Always allow 三个按钮。
在一个聊天中第一次使用某个应用时,会等你确认。Foxl 用到文本编辑时,也问了同样的问题。
  • 允许:这个聊天可以使用该应用,直到你点“停止”、关闭电脑操作、退出 Foxl,或者该应用闲置一小时为止。
  • 始终允许:把该应用保存到设置中的始终允许的应用,Foxl 之后不再为它询问。在那里移除它,就会重新询问。
  • 拒绝:停止这一步,并告诉智能体你拒绝了。

工作期间,窗口和 macOS 菜单栏中会显示一条Foxl 正在使用计算器的提示栏,上面的停止按钮可以立即结束操作。智能体还会在消息框上方保留一份简短的计划,并逐项勾掉完成的步骤。

哪些模型能做电脑操作?

电脑操作的每一步都会返回一张截图,所以模型必须能读图并调用工具。Foxl 会自己检查这一点:不能查看图片的模型拿不到电脑操作工具;如果你让它使用某个应用,它会提示你换一个能读图的模型。对于 OpenRouter 模型,Foxl 读取的是 OpenRouter 自己的模型目录,在我们查看的那天,有 272 个模型同时支持图片和工具。

能看见,不等于做得好。2026 年 10 月 8 日,我们在同一台 Mac 上把视频里的任务交给了几个模型:

模型接入方式表现
Claude Sonnet 5.5Amazon Bedrock1 分 6 秒内完成两个应用的操作,精确到分(即视频中的运行)
Claude Haiku 5.5OpenRouter按对了计算器的按钮,也在文本编辑里写对了消息
Qwen3.7 FlashOpenRouter不断按错计算器的按钮,最后退回到直接输入
dots-3 note preview(免费)OpenRouter有回应,但十分钟里一直在按计算器上同样几个按钮
Gemma 4 31B 和 26B(免费)OpenRouter被上游提供方限流(429)超过两个小时
Free Models RouterOpenRouter从上面这些免费模型中挑选,结果相同

目前 Claude 模型是稳妥的选择。在 OpenRouter 上,Claude Haiku 5.5 是其中最便宜的;在 Bedrock 上,同样的模型在你自己的 AWS 账户上运行。

可以用 OpenRouter 的免费模型做电脑操作吗?

有时可以,但目前还不可靠。OpenRouter 有七个同时支持图片和工具的免费模型,它的 Free Models Router 会挑选一个支持请求所需功能的模型,所以在 Foxl 中选择 Free Models Router 是最省事的尝试方式。不过有三个障碍,我们在制作这篇指南时全都遇到了:

  • 每一步都是一次请求。上面的任务用了 24 步,而在你累计购买 10 个额度之前,免费模型每天只允许 50 次请求(之后为 1000 次)。
  • 免费资源是共享的。两个 Gemma 4 模型连续两个多小时都返回 429,而那些有回应的免费模型,又不太擅长按对按钮。
  • 没有额度的密钥跑不了较长的付费请求。OpenRouter 会在每个请求运行前,先拿它和你的余额比对;而电脑操作的每一步都带着一张截图和此前的对话,远超 10,000 个 token。在没有额度的密钥上,它被以 402 Prompt tokens limit exceeded 拒绝,即使请求走的是我们自己的提供方密钥也一样。

如果你只是在一个短请求上看到额度不足,在“设置 > 模型和提供商 > OpenRouter”中调低回复最大长度(令牌)可能就够了,因为 OpenRouter 会预先预留这一整段长度。如果要经常使用电脑操作,买一点额度,或者用一个你已经在付费的模型。

电脑操作会对我的鼠标和屏幕做什么?

不会做任何需要你停下手头工作的事。Foxl 通过 macOS 的辅助功能来按按钮、填写文本框和滚动,这和屏幕阅读器使用的是同一个通道,所以你的指针从不移动,你可以继续在另一个应用里工作。Foxl 自己的一个灰色小指针会滑到每个控件上,让你看清它在做什么。它使用的应用并不会每一步都被调到前台;只有带 Command、Control 或 Option 的快捷键需要应用在前台,这时 Foxl 会把它短暂调到前面,然后再把你的应用放回去。

Foxl 只截取它正在使用的应用的最前面那个窗口,从不截取你的整个屏幕。有些应用永远不能被使用:“终端”和其他终端、“脚本编辑器”、“自动操作”、“快捷指令”、“系统设置”、“钥匙串访问”、“密码”以及 Foxl 本身。命令改由 Foxl 自己的工具执行,而这些应用里存放着密码和安全设置。

会向辅助功能描述自身控件的原生 Mac 应用效果最好,比如这里的计算器和文本编辑。基于 Chromium 或 Electron 构建的应用对页面内容描述得很少,所以网页里的很多点击会被拒绝,智能体只好改用键盘。对于网站,Foxl 浏览器扩展是更合适的工具。

常见问题

在 Foxl 里使用电脑操作免费吗?

Foxl 是免费的,这项功能在 Foxl 这边不收任何费用。你需要按提供商的价格为模型付费。运气好的时候,OpenRouter 的免费模型也能做到,但受上面提到的限制。

在 Windows 或 Linux 上能用吗?

可以。Foxl 从 v0.8.5 起支持在 Windows 上进行电脑操作,从 v0.8.4 起支持在 X11 桌面会话的 Linux 上进行,方式相同:使用某个应用前会先在聊天里询问,并且只处理该应用的窗口。本文的步骤和测量都是在 Mac 上完成的。

它能看到我的整个屏幕吗?

不能。它只截取正在使用的应用的窗口,而且要在你于聊天中允许了该应用之后。

可以在手机上使用吗?

你可以从 Foxl iPhone 应用发起聊天,工作在你的 Mac 上进行。允许应用是唯一必须在 Mac 上的 Foxl 里完成的步骤:在那里允许之前,手机上会显示正在等待你 Mac 上的批准。

参考资料与延伸阅读

  1. OpenRouter:Free Models Router文档
  2. OpenRouter:API 速率限制文档
  3. Foxl 文档:电脑操作文档