任務能在瀏覽器里完成時,先用 Browser Use(瀏覽器操作)。如果還要打開原生應用或處理系統視窗,再考慮 Computer Use(電腦操作)。區分兩者要看授權範圍。瀏覽器也能送出座標點擊,桌面工具也能操作瀏覽器視窗。
一位 Reddit 使用者 表示,自己常在需要登入的網站遇到阻擋,較長的流程也會中途失敗。可先用範圍小的任務確認自己的工作階段。
很多任務只在最後一步跨出瀏覽器。先用瀏覽器 Agent擷取網頁資料或下載文件,再把結果交給人或文件工具,通常就能完成。Tabbit Browser 適合用來說明瀏覽器內的讀取與委派如何銜接。
要點
先找能夠交付結果的最小操作環境。
把工具能操作哪裡,與工具如何找到按鈕分開判斷。瀏覽器可以同時提供網頁結構和螢幕擷取。
瀏覽器權限也可能包含已登入帳戶,先確認設定檔或遠端工作階段。
頁面跳轉、尺寸變化或出現彈窗後,重新取得螢幕擷取再按座標操作。
根據目標核對頁面狀態或文件,別只看 Agent 的完成提示。
兩類工具一覽
| 比較項 | 瀏覽器操作 | 電腦操作 |
|---|---|---|
| 操作範圍 | 已授權的工作階段、頁面或分頁群組 | 已授權的圖形桌面 |
| 可讀取內容 | 網頁元素、可訪問名稱、文字或螢幕擷取 | 螢幕擷取,部分工具還能讀取無障礙信息或視窗控件 |
| 常見動作 | 導航、點擊、填表、擷取、切換分頁 | 移動指針、打字、滾動、切應用 |
| 重點權限 | 設定檔、站點、分頁、登入狀態 | 桌面工作階段、應用、文件、系統權限 |
| 示例 | 打開網頁上的條款並複製原文 | 在原生 PDF 閱讀器里打開列印彈窗 |
先看按鈕能不能被定位
網頁上如果有名稱明確的按鈕,瀏覽器工具可以按角色和名稱找到它。使用定位器發起動作時,工具可以重新查找當下的網頁元素。這適用於普通按鈕。如果圖表或編輯器直接把控件畫在畫布上,網頁可能沒有對應的可訪問元素。此時可以嘗試瀏覽器內螢幕擷取與座標操作,權限仍留在網頁內。Playwright 定位器文件和網頁自動化指南說明瞭結構化操作的方式。
電腦操作工具可以觀察授權的顯示區域。例如模型先讀取螢幕擷取,返回移動和點擊的指令,再看新的畫面確認結果。原生文件選擇視窗和獨立 PDF 閱讀器處在網頁之外,網頁定位器找不到裡面的按鈕。需要上傳已知文件時,先檢查瀏覽器工具是否能向網頁輸入框直接提供文件。只是讀取下載的文件時,也可以檢查文件工具是否能完成。Anthropic 電腦操作文件說明瞭螢幕擷取與輸入工具的執行循環。
假設取消條款藏在一個按鈕後面。如果按鈕有穩定的無障礙名稱,就按角色與名稱查找。檢視區縮窄、按鈕移位時,Playwright 會在下次操作前重新解析定位器。如果頁面只提供畫面,就先更新截圖,再確認按鈕位置。兩種方式都要查核展開的條款和來源網址。
操作範圍與輸入方式是兩回事。Anthropic 的瀏覽器工具同時提供頁面元素參照與檢視區座標。定期讀取同一欄位時,先找官方匯出功能或 API。如果兩者都沒有,再用穩定的網頁定位器,並在重試前確認結果。送出表單後若狀態不明,直接重試可能會產生重複紀錄。 Anthropic 瀏覽器操作文件, 瀏覽器代理的控制方式.
哪一步會離開瀏覽器
假設任務是讀取保修網頁、下載 PDF,再在原生列印視窗裡只列印第二頁。先核對保修條款和來源連結,再核對下載的是不是對應文件。最後檢查列印機和頁碼。前兩項可以交給瀏覽器與文件工具,最後一步要由能操作列印界面的工具或人工確認。
如果實際需求只是擷取第二頁,文件工具就可能完成。如果必須使用指定的列印設置,先讓桌面工具停在預覽界面,把最終送出留到核對之後。共享列印機一旦收到任務,撤回就麻煩了。桌面助手指南解釋了桌面環境的覆蓋範圍。
授權前先確認工作階段
讓 Agent “唯讀發票”,不會自動把登入帳戶變成唯讀。如果工作階段能打開賬單,也可能能進入設置或修改支付偏好。首次運行優先用公開網頁或單獨設定檔,限制允許訪問的域名,並說清遇到登入、權限彈窗、帳戶修改和陌生下載時該怎麼處理。瀏覽器 Agent 安全指南和虛擬瀏覽器指南介紹了這些邊界。
另一位 Codex 使用者 提到,曾用瀏覽器操作在複雜介面中測試和除錯。這是他的個人經驗。
桌面權限還可能帶出無關視窗和文件。能用單獨桌面或虛擬環境時就隔離開,只保留當前任務需要的應用和數據。網頁和文件中的文字是待檢查的數據。頁面可以寫著“忽略之前的要求”,但它不能代表你擴大授權。
在 Tabbit 裡試一段網頁交接
以保修任務為例,從來源頁面開始,告訴 Agent 你要的是哪條條款。Tabbit 國際官網展示了用分頁或螢幕擷取提供上下文,並由 Agent 規劃與執行的流程。如果只是解釋當前段落,可以用網頁對話。如果需要打開條款頁並給出可核對的原文,可以在任務模式里給出下面的限制。
閱讀當前公開網頁連結到的條款。返回準確的取消期限、簡短原文與來源 URL。
如果頁面要求登入,停止並指出是哪一頁。不要提交信息或下載文件。結果需要本機列印或導出時,把來源和輸出交給對應工具或人工。Tabbit 瀏覽器解析介紹了上下文與執行入口。

按交付結果選工具
| 目標 | 優先工具 | 如何驗收 |
|---|---|---|
| 比較公開網頁條款 | 瀏覽器操作 | 每行有來源與原文 |
| 在畫布型網頁編輯器里修改內容 | 瀏覽器內視覺操作(如支持) | 核對畫布狀態或目標值 |
| 從本機 PDF 擷取文字 | 文件工具 | 核對頁碼和原文 |
| 操作原生列印視窗 | 桌面工具或人工 | 送出前核對列印機、頁碼和授權 |
| 檢查跨網頁和桌面的流程 | 在應用邊界拆開 | 每次交接和最終結果都有依據 |
Terra 瀏覽器操作和Terra 電腦操作進一步解釋了模型與工具權限的區別。第一次試用時,選一項幾秒內就能核對結果的任務。如果確實需要更大的權限,先指出哪一個動作需要它。
需要在同一個瀏覽器收集和查核網頁資料時,可以用 Tabbit 完成前半段。
常見問題
Browser Use 和 Computer Use 有什麼差異?
Browser Use 的操作範圍是瀏覽器或指定工作階段。Computer Use 可以操作已授權的圖形環境,可能包括桌面應用程式和系統對話框。
Computer Use 一定要用螢幕擷取和滑鼠嗎?
以螢幕擷取為輸入的工具會讀取畫面,再透過滑鼠和鍵盤執行操作。有些桌面工具也能使用無障礙樹或應用介面,具體要看它請求的權限。
瀏覽器 Agent 可以操作已經登入的網站嗎?
有些 Agent 能連線至支援的現有瀏覽器設定檔,有些會啟動乾淨工作階段或遠端工作階段。授權前確認它會使用哪個工作階段,以及繼承了哪些帳戶權限。
只授權瀏覽器也可以點擊座標嗎?
可以。瀏覽器自動化工具能向網頁送出座標點擊,這個動作仍限於已授權的瀏覽器範圍。
什麼時候要改用電腦操作?
當結果必須透過原生應用或系統對話框完成,且沒有合適的 API 或文件交接方式時,可以使用桌面工具。前面的網頁步驟仍可獨立完成。
怎麼核對 Agent 完成了任務?
看實際結果,例如頁面顯示了目標條款,連結確實指向原文,或文件出現在約定位置。點擊成功或任務結束提示只能說明流程運行過。