Tabbit博客

如何让 AI Agent 操控浏览器?从连接到第一次点击

接入浏览器工具,用无账号练习页完成一次只读点击,并通过真实 Tabbit 回执核对结果。

本文目录
  1. 分清模型、Agent 和浏览器工具
  2. 在当前客户端接入浏览器
  3. 选择浏览器运行的位置
  4. 连接成功只是第一步
  5. 用一个低风险任务确认接入
  6. 把授权范围限制在任务所需
  7. 从网页读回实际结果
  8. 单独回读操作结果
  9. 按失败步骤排查
  10. 有回执后再扩展任务

AI Agent 要点击网页,客户端先要有浏览器工具。模型理解指令,Agent 选择和调用工具,工具在获准访问的浏览器中操作。第一次只给一个页面、一个可恢复动作和一个可回读结果。本例点击 Show source details 后,页面显示了准确的来源编号 DEMO-A01。

一位 Windows 用户说 Agent 能打开搜索页,却常在点击时超时。另一条讨论中,有用户在比较浏览器工具,回复指出资料读取和集成测试需要不同能力。首次任务可以先要求一个可见结果。 r/AI_Agents · r/ClaudeAI

分清模型、Agent 和浏览器工具

聊天回答可以告诉你该点哪里。实际点击需要客户端有导航、观察和操作网页的能力。浏览器内置的 Agent 可能直接具备这些能力,外部客户端则可能通过技能、扩展或 MCP 服务接入。先核对当前客户端实际列出的工具。

Agent 通过 Tabbit CLI 连接练习页并回读结果

什么是 AI Agent · 适合 Agent 的浏览器 · 浏览器 Agent

在当前客户端接入浏览器

先在工具或技能列表中确认是否已有浏览器能力。如果 Tabbit 技能已配置,输入 /tabbit 并提供练习页地址。使用 MCP 时,按连接器文档配置,在工具列表出现后重跑同一只读检查。还没有浏览器工具时,聊天可以给出操作说明,由你手动完成。

选择浏览器运行的位置

要访问已知桌面标签、经授权的登录页面或电脑本地服务,可以考虑本地连接。后台任务若需要干净会话,可以让执行器启动专属远程浏览器。远程浏览器有自己的回环地址和配置。连接前明确浏览器归属和允许访问的网页。

连接方式适用情况先核对什么
本地已知桌面标签或回环网页读取目标 URL 和标题
远程执行器专属的干净浏览器确认执行器能访问目标网址

Tabbit CLI 发布文 · Playwright 连接文档

接入现有浏览器 · Codex Cloud 与 localhost

连接成功只是第一步

界面显示已连接,说明客户端建立了连接。核对实际 URL 和页面标题,尤其是同一浏览器里有多个标签或配置时。先留下这一步的证据,再信任后续动作。

用一个低风险任务确认接入

打开练习页,请 Agent 读取标题,确认 Show source details 按钮恰好一个,再点击一次。页面显示来源编号就结束。点击只展开页面文字,不提交表单、不保存偏好、不发送信息,也不更改账号。

打开练习页

打开练习页并读取标题。确认 Show source details 按钮恰好一个,点击一次。返回页面标题、准确的可见来源编号和 URL 是否变化。页面或按钮不符时停止。不登录、不提交。

展开来源编号前的练习页

把授权范围限制在任务所需

练习只用一个标签页,也不需要已登录配置。先验证这条短流程,再考虑连接含工作账号的浏览器。后台任务用独立配置运行。目标页面有访问要求时,另外核对授权。

从网页读回实际结果

我们在 Tabbit CLI 任务中打开本地练习页。HTTP 状态为 200,标题是 First browser task,初始状态为 Source ID hidden。按可见名称和按钮角色定位,点击一次后读到 Source ID: DEMO-A01。URL 保持原样,两张截图分别记录操作前后。

步骤已验证结果
打开网页HTTP 200 · First browser task
点击前Source ID hidden
点击后 · Show source detailsSource ID: DEMO-A01
显示 DEMO-A01 后的练习页

单独回读操作结果

工具报告点击成功后,再读取一次页面状态。如果值不符,就返回实际可见内容。网页可以接受输入,但拒绝业务变更或继续显示旧内容。

按失败步骤排查

打不开网页时核对浏览器运行位置与可访问地址。打开错页时核对标签与 URL。找不到按钮时重新观察当前页面。点击回执成功但没有预期编号时,停止并报告当前状态。确认哪一步失败后再继续。

浏览器自动化 · 首次任务设置清单

有回执后再扩展任务

在回执中保留页面、按钮、实际结果和访问限制。下一轮可增加一条只读操作或另一个公开页,继续用同样的方法回读。登录、发帖、发送、购买和持久写入应当单独授权,并各自验证操作后状态。

浏览器 Agent 安全 · 浏览器自动化 Agent

常见问题

聊天模型能自己点击网页吗?

客户端需要能访问实际会话的浏览器工具。

第一次应该连接哪个浏览器?

选择自有或获准使用的会话,从公开页或本地测试页开始。

远程浏览器有我的本地登录态吗?

远程配置独立。只有明确连接获准的现有会话时,才可能复用其登录状态。

什么适合做第一次任务?

一个页面、一个可恢复的交互和一个能核对的可见结果。

怎么知道点击生效了?

读取页面上的准确状态,例如来源编号或成功提示。

页面要求登录怎么办?

停止并说明访问要求。得到授权后再使用获准的会话。

下一步

让 Tabbit 与你并肩工作。

跨标签页调研、自动化重复的浏览器工作,让每一处上下文都触手可及。