Nemotron VoiceChat 本身無法開啟已登入的瀏覽器。若要搭配瀏覽器使用,先選定 NVIDIA VoiceChat 的確切權重,在支援其音訊與函式呼叫輸出的宿主中執行,再把白名單內的本機工具接到 Tabbit CLI。Tabbit Browser 可提供獨立的任務分頁;頁面存取和命名草稿仍須由人確認。這是需要測試的整合方式,不是 VoiceChat 或 Tabbit 內建的連線功能。
這項區別很重要,因為 NVIDIA 目前列出多個相關的 VoiceChat 項目。Nemotron 3 VoiceChat Early Access 頁面介紹一款提供給合格開發者的 12B 語音轉語音模型。NGC 的 NemotronLabs Voicechat 模型卡則介紹一款 11B 研究模型,並使用獨立的工具呼叫輸出。選擇執行環境前,先確認帳號實際能存取的模型名稱和版本。
先掌握這些重點
VoiceChat 負責處理串流語音;瀏覽器工具須由其他宿主執行。
12B Early Access 頁面和 11B NGC 研究模型是不同項目。不要假設兩者共用權重、存取條件或服務商支援。
有開發者展示過本機 MCP 工具呼叫實驗,但未展示 Tabbit CLI 整合。
瀏覽器讀取應限制在具名的本機任務中,使用確切網址並保持唯讀。
將帶有來源的草稿交由人工審核,不要讓語音模型發布或修改原始頁面。
確認你實際能執行的 VoiceChat 模型
模型名稱無法說明宿主是否支援串流音訊、解析函式呼叫,以及將工具結果傳回對話。請從模型卡和宿主文件分別確認這些能力。
| 項目 | NVIDIA 的說明 | 可用性線索 | 還要確認什麼 |
|---|---|---|---|
| Nemotron 3 VoiceChat | 12B,全雙工語音轉語音 | 合格開發者可申請 Early Access | 帳號權限、權重、部署容器、宿主支援 |
| NGC 上的 NemotronLabs Voicechat | 11B,語音輸入與輸出,工具呼叫使用獨立通道 | NIM 可下載,限研究用途 | 授權、版本、GPU 要求、工具呼叫轉接器 |
models.dev 上的 nvidia/nemotron-voicechat | 第三方目錄標示開放權重與工具支援 | 第三方模型目錄項目 | 上游權重版本,以及所選執行環境是否提供該模型 |
NVIDIA 技術部落格也將 Nemotron 3 VoiceChat 描述為 Early Access。這不能證明服務商目前提供一般用途 API。設定遠端宿主前,請搜尋其現行模型清單,確認確切識別碼、音訊輸入、輸出格式、工具呼叫解析和使用條款。
在 VoiceChat 和瀏覽器之間加入本機工具執行器
在執行本機任務的電腦上安裝 Tabbit Browser。
建議的流程如下:
VoiceChat 接收語音並提出工具要求
-> 宿主檢查函式名稱與參數
-> 本機 Agent 確認允許的網址與唯讀範圍
-> Tabbit CLI 在獨立任務分頁中讀取頁面
-> 宿主將結果回傳給 VoiceChat
-> Agent 建立命名草稿,交由人審核模型只應要求範圍明確的操作,例如 read_authorized_page。是否執行應由執行器決定。不要把一般 Shell 指令、任意網址瀏覽或提交按鈕設為不受限制的工具。
一則第一手紀錄有助於說清楚界線。一位將 Nemotron VoiceChat 接到 Apple Reminders 的開發者寫道:「模型提出工具呼叫;執行環境執行它,再把結果傳回模型。」該實驗在 Apple Silicon 上使用本機 MCP 提供者。它展示了一種本機工具交接方式,沒有驗證瀏覽器或 Tabbit 整合。請見原始 Reddit 貼文。
該貼文的留言者還指出另一項風險:工具呼叫送出後若重試,可能建立「重複記錄」。可行時讓讀取操作具備冪等性;如果呼叫結果不明,先檢查任務回執再重試。這是個別使用者提出的疑慮,不是實測失敗率。
執行一次唯讀瀏覽器任務
先在本機 Agent 用戶端安裝 Tabbit skill,再分別檢查用戶端能否找到 skill、CLI 能否連上瀏覽器,以及目標網站是否已登入。在 Pi 中,呼叫方式是 /skill:tabbit;有 skills 選擇器的用戶端則選取已安裝的 tabbit skill。不要假設所有用戶端都有相同捷徑。安裝方式見 Tabbit CLI 快速入門。
在安裝 Tabbit 的電腦上執行不會更改內容的連線檢查:
"$HOME/.local/bin/tabbit-cli" --version
"$HOME/.local/bin/tabbit-cli" diagnoseCLI 能連上瀏覽器,不代表網站已登入。請在預定的 Tabbit 設定檔中手動開啟確切頁面,確認頁面標題和你有權讀取的記錄,再要求 Agent 在獨立任務分頁中讀取:
使用已安裝的 tabbit skill 和本機 Tabbit CLI。
在一個新的任務分頁中,只開啟這個已授權網址:[完整網址]。
讀取頁面上顯示的標題和 ID 為 [穩定 ID] 的記錄。
只回傳來源網址和頁面上可見的欄位。
建立一份名為「VoiceChat 瀏覽器審核 - [記錄 ID]」的草稿。
不要點擊、提交、下載或修改來源頁面。
若需要登入或找不到該 ID,請停止並說明原因。這是提示詞範例。請替換方括號中的內容,並確認自己有權存取該頁面與識別碼。本機 Agent 還必須能解析 VoiceChat 的工具呼叫格式,並呼叫已安裝的 CLI;提示詞不會自行增加這項能力。
設定期間也可以直接呼叫 CLI。任務名稱和請求 ID 用來標記這次讀取:
這項檢查使用測試頁。頁面需要一個可見標題,以及帶有 data-testid="sample-record-id" 的欄位。
"$HOME/.local/bin/tabbit-cli" nodejs \
--task "VoiceChat authorized page read" \
--request-id voicechat-read-001 <<'JS'
const url = 'https://example.com/authorized-record';
await page.goto(url, {waitUntil: 'domcontentloaded'});
if (page.url() !== url) return {status: 'unexpected URL'};
const heading = page.getByRole('heading', {level: 1});
const id = page.getByTestId('sample-record-id');
if (await heading.count() !== 1 || await id.count() !== 1 ||
!(await heading.isVisible()) || !(await id.isVisible())) {
return {status: 'review required'};
}
return {url, heading: await heading.innerText(), id: await id.innerText()};
JS每次新執行都使用新的請求 ID,並替換示範網址。將回傳文字與一般 Tabbit 分頁中的頁面逐項比較。Agent 在獨立分頁讀取時,你可以繼續使用瀏覽器。
各項檢查能證明什麼
| 檢查 | 應保留的證據 | 無法證明的事 |
|---|---|---|
| 模型存取 | 確切模型卡、版本、存取狀態 | 宿主支援音訊或工具呼叫 |
| 宿主工具測試 | 一次無副作用的函式呼叫與結果 | 工具可安全地存取瀏覽器 |
Tabbit CLI diagnose | 本機啟動器可連到指定瀏覽器 | 網站已登入 |
| 已授權頁面讀取 | 正確標題、穩定 ID、來源網址 | 可安全編輯或提交該頁面 |
| 命名草稿審核 | 人工將欄位與頁面核對 | 後續發布已獲批准 |
既有的 Codex 與 Tabbit CLI 設定檢查使用了合成的受保護頁面。第一個任務得到 HTTP 401;另一個任務建立短期測試工作階段後,後續任務才能讀取測試資料。這只驗證該設定檔和測試頁面的工作階段重用,不代表 VoiceChat 能呼叫 Tabbit,也不保證真實網站的登入狀態持續有效。
保留清楚的草稿審核點
要求 Agent 回傳草稿名稱、來源網址、穩定記錄 ID、擷取欄位和缺漏值。人工應先將每個欄位與來源頁面核對,再決定是否重用。若後續需要寫入,請另設批准步驟,並在提交後重新檢查頁面。
| 情況 | 建議做法 | 以下情況應停止 |
|---|---|---|
| 宿主能解析 VoiceChat 工具呼叫並執行本機工具 | 使用 Tabbit CLI 測試一項白名單讀取 | 工具呼叫格式錯誤或返回頁面不符 |
| 宿主支援 VoiceChat,但沒有本機工具橋接 | 用 VoiceChat 對話,瀏覽器任務由人另行執行 | 直接交接必須依賴未驗證的連接程式碼 |
| 只有 API 端點可用 | 先確認模型和音訊、工具支援 | 端點提供其他模型或只有文字介面 |
| 瀏覽器任務需要寫入 | 建立命名草稿,另行要求人工批准 | 審核前不要提交 |
可接著閱讀將 Agent 連接到現有瀏覽器、Tabbit CLI 完整指南和瀏覽器 Agent 首次任務檢查表。要選擇瀏覽器傳輸方式,可比較 MCP 與 CLI 流程和 Codex Browser 與 Tabbit CLI 指南。Tabbit AI 瀏覽器介紹、網頁搜尋與瀏覽器控制的差異及Agentic Browser 說明可補充背景。CMS 草稿流程說明如何在發布前保留人工審核。
確認確切模型和宿主後,再用 Nemotron VoiceChat 處理語音互動。瀏覽器讀取交給本機白名單工具,在獨立 Tabbit 任務中進行,最後由人員對照頁面審核命名草稿。
常見問題
Nemotron VoiceChat 能自行開啟已登入的瀏覽器嗎?
不能。VoiceChat 是語音模型,瀏覽器工具必須由宿主應用提供並執行。將它接到本機 Tabbit CLI 是需要自行設定和驗證的整合方式,不是 NVIDIA 或 Tabbit 內建功能。
Nemotron VoiceChat 是 11B 還是 12B?
NVIDIA 目前的 Early Access 頁面將 Nemotron 3 VoiceChat 列為 12B。NGC 另有一款 11B 的 NemotronLabs VoiceChat 研究模型。設定宿主前,請核對你實際能存取的模型卡與權重版本。
這套流程可以使用託管 API 嗎?
只有在所選服務商目前提供確切的 VoiceChat 模型,且保留宿主所需的音訊與函式呼叫介面時才可以。本文核對的 NVIDIA 頁面說明了 Early Access 和研究用途 NIM,但無法證明一般託管 API 已經開放。
Tabbit CLI 會沿用網站登入狀態嗎?
只要所選 Tabbit 瀏覽器環境中的登入工作階段仍有效,任務就能使用該工作階段。請分別確認瀏覽器設定檔和頁面權限,也不要把密碼或 Cookie 放進提示詞。
應該讓語音模型直接控制瀏覽器嗎?
瀏覽器操作應交給有明確白名單的本機工具執行器。模型只能要求一個命名的讀取任務,執行器先檢查網址和範圍,再呼叫 Tabbit CLI。
Agent 可以自動發布結果嗎?
這套流程應停在草稿階段。請 Agent 回傳命名草稿和來源連結,再與已授權頁面逐項核對;後續寫入需另行人工審核和批准。