Tabbit部落格

如何讓 AI Agent 操控瀏覽器?從連接到第一次點擊

接入瀏覽器工具,用無賬號練習頁完成一次只讀點擊,並通過真實 Tabbit 回傳結果核對結果。

本文目錄
  1. 分清模型、Agent 和瀏覽器工具
  2. 在目前的用戶端接上瀏覽器
  3. 選擇瀏覽器運行的位置
  4. 連接成功只是第一步
  5. 用一個低風險任務確認接入
  6. 依任務限制授權範圍
  7. 從網頁讀回實際結果
  8. 單獨回讀操作結果
  9. 按失敗步驟排查
  10. 有回傳結果後再擴展任務

AI Agent 要點擊網頁,用戶端先要有瀏覽器工具。模型理解指令,Agent 選擇和調用工具,工具在獲准訪問的瀏覽器中操作。第一次只給一個頁面、一個可恢復動作和一個可回讀結果。本例點擊 Show source details 後,頁面顯示了準確的來源編號 DEMO-A01。

一位 Windows 用戶說 Agent 能打開搜索頁,卻常在點擊時逾時。另一條討論中,有用戶在比較瀏覽器工具,回復指出資料讀取和集成測試需要不同能力。首次任務可以先要求一個可見結果。 r/AI_Agents · r/ClaudeAI

分清模型、Agent 和瀏覽器工具

聊天回答可以告訴你該點哪裡。實際點擊需要用戶端有導航、觀察和操作網頁的能力。瀏覽器內置的 Agent 可能直接具備這些能力,外部用戶端則可能通過技能、擴展或 MCP 服務接入。先核對當前用戶端實際列出的工具。

Agent 通過 Tabbit CLI 連接練習頁並回讀結果

甚麼是 AI Agent · 適合 Agent 的瀏覽器 · 瀏覽器 Agent

在目前的用戶端接上瀏覽器

先到工具或技能清單確認是否已有瀏覽器功能。Tabbit 技能已設定時,可輸入 /tabbit 並提供練習頁網址。若使用 MCP,依連接器文件設定,待工具出現在清單後再跑同樣的唯讀檢查。缺少瀏覽器工具時,聊天仍可提供操作步驟,由你手動完成。

選擇瀏覽器運行的位置

要訪問已知桌面標籤、經授權的登入頁面或電腦本地服務,可以考慮本地連接。後台任務若需要乾淨會話,可以讓執行器啓動專屬遠程瀏覽器。遠程瀏覽器有自己的本機回送地址和設定檔。連接前明確瀏覽器歸屬和允許訪問的網頁。

連接方式適用情況先核對甚麼
本地已知桌面標籤或本機回送網頁讀取目標 URL 和標題
遠程執行器專屬的乾淨瀏覽器確認執行器能訪問目標網址

Tabbit CLI 發佈文 · Playwright 連接文件

接入現有瀏覽器 · Codex Cloud 與 localhost

連接成功只是第一步

界面顯示已連接,說明用戶端建立了連接。核對實際 URL 和頁面標題,尤其是同一瀏覽器里有多個標籤或設定檔時。先留下這一步的證據,再信任後續動作。

用一個低風險任務確認接入

打開練習頁,請 Agent 讀取標題,確認 Show source details 按鈕恰好一個,再點擊一次。頁面顯示來源編號就結束。點擊只展開頁面文字,不提交表單、不保存偏好、不發送信息,也不更改賬號。

打開練習頁

打開練習頁並讀取標題。確認 Show source details 按鈕恰好一個,點擊一次。返回頁面標題、準確的可見來源編號和 URL 是否變化。頁面或按鈕不符時停止。不登入、不提交。

展開來源編號前的練習頁

依任務限制授權範圍

練習只用一個分頁,也無須已登入的設定檔。先驗證短流程,再考慮連接包含工作帳號的瀏覽器。背景工作用獨立設定檔。若頁面限制存取,請另行核對授權。

從網頁讀回實際結果

我們在 Tabbit CLI 任務中打開本地練習頁。HTTP 狀態為 200,標題是 First browser task,初始狀態為 Source ID hidden。按可見名稱和按鈕角色定位,點擊一次後讀到 Source ID: DEMO-A01。URL 保持原樣,兩張截圖分別記錄操作前後。

步驟已驗證結果
打開網頁HTTP 200 · First browser task
點擊前Source ID hidden
點擊後 · Show source detailsSource ID: DEMO-A01
顯示 DEMO-A01 後的練習頁

單獨回讀操作結果

工具報告點擊成功後,再讀取一次頁面狀態。如果值不符,就返回實際可見內容。網頁可以接受輸入,但拒絕業務變更或繼續顯示舊內容。

按失敗步驟排查

打不開網頁時核對瀏覽器運行位置與可訪問地址。打開錯頁時核對標籤與 URL。找不到按鈕時重新觀察當前頁面。點擊回傳結果成功但沒有預期編號時,停止並報告當前狀態。確認哪一步失敗後再繼續。

瀏覽器自動化 · 首次任務設置清單

有回傳結果後再擴展任務

在回傳結果中保留頁面、按鈕、實際結果和訪問限制。下一輪可增加一條只讀操作或另一個公開頁,繼續用同樣的方法回讀。登入、發帖、發送、購買和持久寫入應當單獨授權,並各自驗證操作後狀態。

瀏覽器 Agent 安全 · 瀏覽器自動化 Agent

常見問題

聊天模型能自己點擊網頁嗎?

用戶端需要能訪問實際會話的瀏覽器工具。

第一次應該連接哪個瀏覽器?

選擇自有或獲准使用的會話,從公開頁或本地測試頁開始。

遠程瀏覽器有我的本地登入態嗎?

遠程設定檔獨立。只有明確連接獲准的現有會話時,才可能復用其登入狀態。

甚麼適合做第一次任務?

一個頁面、一個可恢復的交互和一個能核對的可見結果。

怎麼知道點擊生效了?

讀取頁面上的準確狀態,例如來源編號或成功提示。

頁面要求登入怎麼辦?

停止並說明訪問要求。得到授權後再使用獲准的會話。

下一步

讓 Tabbit 與你並肩工作。

跨分頁調研、自動化重複的瀏覽器工作,讓每一處上下文都觸手可及。