Tabbit部落格

用 Seed Evolving 操作已登入的瀏覽器

將官方 Seed Evolving API 接到本機 Agent,以 Tabbit CLI 讀取已登入的頁面,並在儲存或送出前核對欄位。

本文目錄
  1. 重點整理
  2. 模型、用戶端與瀏覽器的分工
  3. 將本機用戶端連到已登入頁面
  4. 將可見欄位填入測試表單
  5. 檢查草稿再採取動作

要讓 Seed Evolving 操作已登入的瀏覽器,請透過本機 Agent 用戶端執行官方 API 模型,再以 Tabbit CLI 連接 Tabbit Browser。火山引擎方舟目前的模型 ID 是 doubao-seed-evolving。模型負責產生工具呼叫,本機用戶端與 CLI 才執行網頁操作。本文以從授權頁面擷取可見欄位、填入測試表單為例,並在送出前停止。

模型目錄中的 bytedance-seed/seed-evolving 不等於方舟 API ID。方舟模型列表將 doubao-seed-evolving 標示為支援函式呼叫與 GUI 任務。實際可用性取決於地區和帳戶是否開通。本文沒有實際呼叫 Seed Evolving,以下設定流程請在自己的用戶端驗證。

兩篇騰訊雲開發者社群的第一手紀錄提到,不同用戶端的接入表現有差異,開發者也需要手動修正提示詞和程式碼。另一篇開發者專案紀錄寫到,一項功能幾輪對話就完成,另一項上傳問題仍要人排查。這些是程式開發經驗,不是瀏覽器測試;應先驗證自己的用戶端,並保留人工檢查。

方舟說明 Seed Evolving 使用固定 API ID持續滾動更新。版本變化可能影響模型行為,但不會更換 ID。若要重現流程,記錄日期、API ID、提示詞和工具定義,並在服務更新後重新跑一次無風險範例。詳見官方 Seed Evolving 指南。

重點整理

  • 使用方舟服務商下的 doubao-seed-evolving,不要未經核實就把目錄識別碼貼進 API 欄位。

  • 本機 Agent 用戶端必須同時能呼叫模型 API 和本機工具。

  • 透過 Tabbit CLI 只讀取登入頁面中需要的欄位。

  • 每個欄位都保留來源 URL,並與網頁逐項比對。

  • 將結果存為命名草稿供人檢查,送出表單前停止。

模型、用戶端與瀏覽器的分工

部分任務中的角色開始前確認無法證明
Seed Evolving API規劃步驟並回傳工具呼叫服務商帳戶列出 doubao-seed-evolving可以存取瀏覽器分頁或 Cookie
本機 Agent 用戶端將模型輸出交給本機工具支援方舟 API 並可執行本機工具Tabbit 已登入
Tabbit CLI在連接的 Tabbit 環境讀取頁面tabbit-cli diagnose 能連上執行中的控制器已獲准編輯或送出表單
人工審核者檢查欄位對照與草稿看得到來源頁、欄位值和目的地尚未核對的值正確無誤

方舟的工具相容說明列出 OpenCode、Pi、Codex CLI、Cline 等用戶端,並記載 OpenAI 相容 API 位址 https://ark.cn-beijing.volces.com/api/v3。這是可設定的路徑,不代表本文已測試某個用戶端組態或帳戶。OpenCode 可在模型設定中自訂服務商與工具能力。

例如,OpenCode 服務商可使用官方 API 位址和模型 ID。金鑰透過本機環境變數提供,不要提交到程式庫。模型限制請以方舟最新列表為準,不要沿用過時目錄數值。

{
  "$schema": "https://opencode.ai/config.json",
  "model": "ark/doubao-seed-evolving",
  "providers": {
    "ark": {
      "name": "Volcengine Ark",
      "env": ["ARK_API_KEY"],
      "package": "@opencode/ai/providers/openai-compatible",
      "settings": {"baseURL": "https://ark.cn-beijing.volces.com/api/v3"},
      "models": {
        "doubao-seed-evolving": {
          "name": "Seed Evolving",
          "modelID": "doubao-seed-evolving",
          "capabilities": {"tools": true, "input": ["text", "image"], "output": ["text"]},
          "limit": {"context": 1048576, "output": 262144}
        }
      }
    }
  }
}

請依方舟最新模型列表校準 ID 與能力。OpenCode 自訂模型需要準確宣告工具能力。服務商文件也建議不要把 API 金鑰寫入程式碼。

將本機用戶端連到已登入頁面

安裝 Tabbit Browser,自行登入網站並開啟獲准讀取的頁面。再把 tabbit skill 安裝到本機用戶端能找到的位置。Tabbit 的 CLI 快速入門記載相容的 skill 指令可使用 /tabbit。Pi 使用 /skill:tabbit;其他用戶端可能透過 /skills 或技能選單呼叫。先確認 skill 能被探索,再在同一裝置執行 tabbit-cli diagnose。這兩項檢查彼此獨立:找得到 skill 不代表啟動器連得到瀏覽器;控制器正在執行也不代表網站已登入。

為這項工作建立新的命名任務。CLI 使用任務專屬分頁,你可以繼續使用其他分頁。專案本機測試夾具顯示,設定測試 Cookie 後,第二個任務能讀取測試頁,看到 Release notes review 與 GEO-104。這只驗證測試夾具的 Tabbit 工作階段流程,不代表測過 Seed Evolving、OpenCode 或第三方帳戶。設定可參考 Tabbit CLI 指南、連接既有瀏覽器和沿用登入工作階段指南。

將可見欄位填入測試表單

先要求用戶端做小範圍唯讀擷取。列出欄位名稱和目的地標籤,不要讓 Agent 猜測缺漏值或送出表單。

在目前的 Tabbit Browser 設定中使用 Tabbit CLI。讀取已登入的來源頁面,只把我列出的可見欄位對應到測試表單。每個欄位各一列,包含來源標籤、頁面顯示的原值、來源頁標題和來源 URL。值缺漏或有歧義時留白並加上覆核標記。不要點擊儲存、送出、傳送或任何會變更紀錄的控制項。

建立瀏覽器草稿,名稱為「Seed Evolving field map — GEO-104 test fixture」。顯示欄位對照並等候我審核。

提示詞交代了動作、輸出和停止位置。建議測試夾具的預期範例如下:

來源標籤可見值目的欄位來源證據覆核方式
Fixture recordGEO-104Record IDRelease notes review、測試頁 URL複製前先在頁面核對編號

這是示意測試資料,不是 Seed Evolving 的輸出。實際任務須附上瀏覽器顯示的精確 URL 和標題。用首次任務檢查清單界定允許動作。選擇本機整合方式時可比較 Browser MCP 與 CLI;Codex 設定指南、Tabbit 瀏覽器介紹與 Agent 瀏覽器說明提供其他背景。

檢查草稿再採取動作

將命名草稿和來源頁並排開啟。逐項檢查欄位拼字、日期、單位和狀態,再開啟來源 URL 確認頁面仍顯示該值。不清楚的欄位就留白,請有權限的人確認。

檢查點通過條件應停止的情況
帳戶與頁面顯示預期帳戶和頁面標題網站已登出或帳戶錯誤
欄位對照每個值都有可見標籤和 URL值是推測所得或沒有來源
命名草稿表單改動前,審核者能看見對照用戶端已儲存或送出測試表單
最終動作人工確認目的地並核准來源值或目的地不確定

分工很直接:Seed Evolving 產生模型輸出,本機用戶端執行工具,Tabbit CLI 連接瀏覽器。先用安全頁面和測試表單驗證流程。如果帳戶無法選取 doubao-seed-evolving,不要改填目錄識別碼;先確認方舟地區和帳戶是否已開通。

常見問題

Seed Evolving 的 API 模型 ID 是什麼?

火山引擎方舟目前使用 `doubao-seed-evolving`。`bytedance-seed/seed-evolving` 是 Models.dev 目錄識別碼,設定用戶端前請核對服務商和帳戶權限。

Seed Evolving 能自行開啟我的登入瀏覽器嗎?

不能。模型可回傳工具呼叫,但不持有瀏覽器工作階段或 Cookie。本機 Agent 用戶端必須在執行 Tabbit Browser 的裝置上呼叫 Tabbit CLI。

哪些用戶端能執行 Seed Evolving 和 Tabbit CLI?

方舟文件說明其 API 相容 OpenAI,並列出 OpenCode、Pi、Codex CLI、Cline 等用戶端。開始前要確認用戶端可使用正確的方舟模型 ID,並能執行本機工具。

如何將用戶端連接到 Tabbit?

將 Tabbit skill 安裝在用戶端可探索的位置,再執行 `tabbit-cli diagnose` 檢查啟動器。部分用戶端使用 `/tabbit`,Pi 使用 `/skill:tabbit`,其他用戶端可能透過 `/skills` 或技能選單呼叫。

獨立任務會沿用網站登入狀態嗎?

Tabbit CLI 任務可使用所連接 Tabbit 瀏覽器環境的登入工作階段。請自行確認帳戶和頁面,若遠端 Agent 沒有受支援的本機交接方式,就不要假設它能存取本機分頁。

Agent 可以送出測試表單嗎?

讓任務維持唯讀,並在送出前停止。先在命名草稿中核對每個值和來源 URL,再由人確認目標與資料都正確後手動送出。

下一步

讓 Tabbit 與你並肩工作。

跨分頁調研、自動化重複的瀏覽器工作,讓每一處上下文都觸手可及。