Tabbit部落格

用 Perceptron Mk1 輔助已登入的瀏覽器任務

先用 Perceptron Mk1 判讀畫面,再交由可操作 Tabbit Browser 的本機 Agent 執行已核對的步驟。

本文目錄
  1. 讓 Mk1 判讀視覺資訊
  2. 由本機 Agent 執行操作
  3. 先存草稿,再由人覆核
  4. 提示詞
  5. 延伸閱讀

Perceptron Mk1 是視覺與影片模型,不是瀏覽器操作者。先用它判讀截圖或影片,再把核對過的短步驟交給可執行 Tabbit CLI 的本機 Agent。Perceptron API 的模型 ID 是 perceptron-mk1;OpenRouter 使用命名空間 ID perceptron/perceptron-mk1,但該端點不支援函式呼叫。讓 Mk1 負責視覺判讀,由具名本機 Agent 在獨立的 Tabbit 任務分頁操作網頁。Perceptron 發布說明 · OpenRouter 模型頁

讓 Mk1 判讀視覺資訊

Perceptron 將 Mk1 定位為影片與具身推理模型,官方介紹包含圖片與影片理解、視覺定位、OCR 和結構化標註。它可協助讀取畫面中的狀態,或找出影片中的特定時刻,但不會因此成為瀏覽器 Agent。

OpenRouter 對這個託管模型的頁面指出不支援函式呼叫。點、框、多邊形與影片片段時間戳都是模型輸出資料,不是點擊動作。操作已登入網頁時,應使用另一個能呼叫本機瀏覽器工具的 Agent。

任務方式先確認
判讀截圖或影片Perceptron Mk1模型路由接受媒體輸入
導覽或填寫網頁本機 Agent + Tabbit CLI本機工具權限與網站登入
判讀後接著操作Mk1 讀取,Agent 執行每個欄位都回網頁核對
遠端 Agent受支援的本機交接(如有)用戶端確實支援交接

由本機 Agent 執行操作

依用戶端自己的方式載入 Tabbit skill。Pi 使用 /skill:tabbit,部分用戶端使用 /skills 或自動探索。載入技能不代表 Tabbit CLI 啟動器可用、模型路由可用或網站已登入,必須分別檢查。

Tabbit CLI 可在現有 Tabbit Browser 環境重用網站登入狀態,前提是帳號有權限。使用獨立且具名的任務分頁,其他工作可繼續開著。遠端執行器需要另有本機交接支援。

能力Mk1 的角色瀏覽器流程
圖片與影片理解官方定位能力判讀視覺證據
空間結構化標註指定輸出模式資料,不是操作
OpenRouter 函式呼叫不支援不負責點擊
網站登入狀態模型不提供使用本機 Tabbit CLI

先存草稿,再由人覆核

先用示意測試頁。讓 Mk1 讀取版本說明截圖,再由本機 Agent 開啟頁面比對標題與版本,並儲存名為 Mk1 版本說明草稿 的草稿。草稿要列出來源網址、擷取欄位和不確定處。分享前由人員確認。

這只是示意流程,並非宣稱已進行即時測試。若資料看不清或頁面與截圖不符,應暫停並交由人員確認。

提示詞

請判讀這張截圖作為版本說明草稿的依據。回傳 JSON:visible_title、visible_version、exact_visible_status、evidence_text、confidence(0 到 1)、needs_human_check(布林值)。不要推測畫面未顯示的資訊。看不清的欄位請回傳 null。

延伸閱讀

閱讀 Tabbit CLI 完整指南、了解如何連接 Agent 與現有瀏覽器、查看首次瀏覽器 Agent 任務清單,或比較browser MCP 與 CLI。Codex Tabbit CLI 設定指南介紹用戶端設定。另可參考重用登入工作階段、驗證本機網頁應用程式和附上來源進行研究。

常見問題

Perceptron Mk1 能點擊網頁按鈕嗎?

OpenRouter 的 `perceptron/perceptron-mk1` 路由不支援函式呼叫。網頁操作應交由另一個本機 Agent。

應設定哪個模型 ID?

OpenRouter 列出的 ID 是 `perceptron/perceptron-mk1`。開始前先確認用戶端能使用這個模型路由。

結構化輸出代表模型能操作瀏覽器嗎?

不是。結構化標註只是模型回應,不會提供瀏覽器控制或已登入狀態。

Tabbit CLI 能重用網站登入狀態嗎?

可以在同一個 Tabbit Browser 環境重用,但網站帳號必須有權限。

如何檢查瀏覽器任務?

儲存附有來源網址和欄位的具名草稿。逐項核對內容,送出或發布前由人員檢查。

下一步

讓 Tabbit 與你並肩工作。

跨分頁調研、自動化重複的瀏覽器工作,讓每一處上下文都觸手可及。