TabbitBlog

Como usar o Nemotron VoiceChat com um navegador conectado

O Nemotron VoiceChat não controla um navegador sozinho. Confira o modelo exato da NVIDIA e conecte suas chamadas de ferramentas a um agente local e ao Tabbit CLI.

Neste artigo
  1. O que lembrar
  2. Confira qual modelo VoiceChat você pode executar
  3. Coloque um executor local entre o VoiceChat e o navegador
  4. Execute uma tarefa de leitura
  5. O que cada verificação demonstra
  6. Deixe a revisão humana visível no rascunho

O Nemotron VoiceChat não abre sozinho um navegador conectado. Para usá-lo com um navegador, escolha um checkpoint específico da NVIDIA, execute-o em um hospedeiro que aceite suas saídas de áudio e chamadas de função e conecte uma ferramenta local autorizada ao Tabbit CLI. O Tabbit Browser pode fornecer uma aba de tarefa separada. Uma pessoa deve confirmar o acesso à página e revisar o rascunho. Esse é um padrão de integração a testar, não uma conexão integrada do VoiceChat ou do Tabbit.

Essa diferença importa porque a NVIDIA lista mais de uma entrada relacionada. A página de acesso antecipado do Nemotron 3 VoiceChat descreve um modelo de voz para voz de 12B para desenvolvedores qualificados. O cartão NGC do NemotronLabs Voicechat descreve um modelo de pesquisa de 11B com saída separada para chamadas de ferramentas. Confira o nome e a versão que sua conta consegue acessar antes de escolher um runtime.

O que lembrar

  • O VoiceChat processa áudio em streaming. Outro hospedeiro precisa executar as ferramentas do navegador.

  • A página de acesso antecipado de 12B e o cartão de pesquisa NGC de 11B são entradas distintas. Não presuma que compartilhem pesos, regras de acesso ou suporte por provedores.

  • Um desenvolvedor testou chamadas locais de ferramentas via MCP. Ele não demonstrou integração com o Tabbit CLI.

  • Restrinja a leitura no navegador a uma tarefa local nomeada, com URL exata e escopo somente de leitura.

  • Retorne um rascunho com fontes para revisão humana. Não deixe o modelo publicar ou alterar a página de origem.

Confira qual modelo VoiceChat você pode executar

O nome do modelo não informa se o hospedeiro aceita áudio em streaming, interpreta chamadas de função e envia o resultado de uma ferramenta de volta à conversa. Confirme esses pontos no cartão do modelo e na documentação do hospedeiro.

EntradaInformação da NVIDIASinal de disponibilidadeO que conferir
Nemotron 3 VoiceChat12B, voz para voz full-duplexAcesso antecipado para desenvolvedores qualificadosAcesso da conta, checkpoint, contêiner e suporte do hospedeiro
NemotronLabs Voicechat na NGC11B, entrada e saída de voz, canal separado para ferramentasNIM disponível para pesquisaLicença, versão, GPU e adaptador de chamada
nvidia/nemotron-voicechat no models.devDiretório de terceiros indica pesos abertos e suporte a ferramentasEntrada de catálogo de terceirosCheckpoint upstream exato e suporte no runtime escolhido

O blog técnico da NVIDIA também descreve o Nemotron 3 VoiceChat como acesso antecipado. Isso não prova que um provedor ofereça uma API geral do modelo hoje. Antes de configurar um hospedeiro remoto, procure o identificador exato no catálogo atual e confirme áudio, formato de saída, interpretação das chamadas e termos de uso.

Coloque um executor local entre o VoiceChat e o navegador

Instale o Tabbit Browser na máquina que vai executar a tarefa local.

O fluxo recomendado é:

VoiceChat recebe áudio e solicita uma ferramenta
  -> o hospedeiro valida o nome da função e os argumentos
  -> o agente local confere a URL permitida e o escopo de leitura
  -> o Tabbit CLI lê a página em uma aba de tarefa separada
  -> o hospedeiro retorna o resultado ao VoiceChat
  -> o agente cria um rascunho nomeado para revisão humana

O modelo deve pedir uma operação limitada, como read_authorized_page. O executor decide se pode executá-la. Não exponha um comando de shell genérico, navegação para qualquer URL ou botão de envio como ferramenta sem restrições.

Um exemplo de primeira mão ajuda a definir esse limite. Um desenvolvedor que conectou o Nemotron VoiceChat ao Apple Reminders escreveu que “o modelo propõe uma chamada de ferramenta; o runtime a executa e devolve o resultado ao modelo”. O experimento usou um provedor MCP local no Apple Silicon. Ele demonstra uma transferência local de ferramenta, não uma conexão testada com navegador ou Tabbit. Veja a publicação original no Reddit.

Um comentarista apontou outro risco: repetir uma chamada depois de enviá-la pode criar “duplicatas”. Torne a leitura idempotente quando possível e confira o recibo da tarefa antes de repetir uma chamada de resultado incerto. É a preocupação de uma pessoa, não uma taxa de falhas medida.

Execute uma tarefa de leitura

Instale primeiro a skill do Tabbit no cliente do agente local. Confira separadamente se o cliente encontra a skill, se o CLI chega ao navegador e se o site está conectado. No Pi, invoque a skill com /skill:tabbit; em clientes com seletor de skills, escolha a skill instalada tabbit. Não presuma que todos os clientes tenham o mesmo atalho. Consulte o guia rápido do Tabbit CLI.

Execute uma verificação de conexão sem alterações na máquina com Tabbit:

"$HOME/.local/bin/tabbit-cli" --version
"$HOME/.local/bin/tabbit-cli" diagnose

O CLI alcançar o navegador não comprova que o site esteja conectado. Abra a URL exata no perfil desejado do Tabbit e confira o título e o registro autorizado. Depois peça ao agente local para ler em uma aba de tarefa separada:

Use a skill tabbit instalada e o Tabbit CLI local.
Em uma nova aba de tarefa, abra somente esta URL autorizada: [URL exata].
Leia o título visível e o registro com ID [ID estável].
Retorne apenas a URL de origem e esses campos visíveis.
Crie um rascunho chamado "Revisão de navegador VoiceChat - [ID]".
Não clique, envie, baixe nem altere a página de origem.
Se for necessário entrar ou o ID estiver ausente, pare e informe isso.

Este é um exemplo. Troque os campos entre colchetes por uma página e um identificador que você possa acessar. O agente local também precisa interpretar as chamadas de ferramenta do VoiceChat e executar o CLI instalado. O prompt não adiciona essa capacidade.

Se você chamar o CLI diretamente durante a configuração, identifique a leitura com um nome de tarefa e um ID de solicitação novo:

Para este teste, use uma página com um título visível e um campo data-testid="sample-record-id".

"$HOME/.local/bin/tabbit-cli" nodejs \
  --task "VoiceChat authorized page read" \
  --request-id voicechat-read-001 <<'JS'
const url = 'https://example.com/authorized-record';
await page.goto(url, {waitUntil: 'domcontentloaded'});
if (page.url() !== url) return {status: 'unexpected URL'};
const heading = page.getByRole('heading', {level: 1});
const id = page.getByTestId('sample-record-id');
if (await heading.count() !== 1 || await id.count() !== 1 ||
    !(await heading.isVisible()) || !(await id.isVisible())) {
  return {status: 'review required'};
}
return {url, heading: await heading.innerText(), id: await id.innerText()};
JS

Use um ID novo em cada execução e substitua a URL de exemplo. Compare o texto retornado com a página na sua aba normal do Tabbit. A aba separada permite continuar usando o navegador enquanto o agente lê.

O que cada verificação demonstra

VerificaçãoEvidência a guardarO que ela não demonstra
Acesso ao modeloCartão exato, versão e status de acessoQue o hospedeiro aceite áudio ou chamadas de ferramentas
Teste de ferramenta do hospedeiroUma chamada sem alteração e seu resultadoQue a ferramenta possa acessar o navegador com segurança
Tabbit CLI diagnoseO launcher local alcança o navegador escolhidoQue o site esteja conectado
Leitura autorizadaTítulo, ID estável e URL de origem corretosQue seja seguro editar ou enviar a página
Revisão do rascunho nomeadoUma pessoa compara os campos com a páginaQue uma publicação posterior foi aprovada

A verificação de configuração do Codex e Tabbit CLI usou uma página sintética protegida. Uma primeira tarefa recebeu HTTP 401. Depois de outra tarefa estabelecer uma sessão de teste curta, uma tarefa seguinte leu os dados fictícios. Isso confirma a reutilização da sessão apenas naquele perfil e naquela página de teste. Não prova que o VoiceChat consiga chamar o Tabbit nem que a sessão de um site real permaneça ativa.

Deixe a revisão humana visível no rascunho

Peça ao agente um rascunho nomeado com URL de origem, ID estável, campos extraídos e valores ausentes. Uma pessoa deve comparar cada campo com a página antes de reutilizá-lo. Se a etapa seguinte exigir gravação, solicite outra aprovação e confira a página após o envio.

SituaçãoCaminho recomendadoPare quando
O hospedeiro interpreta chamadas do VoiceChat e executa ferramentas locaisTeste uma leitura permitida pelo Tabbit CLIA chamada estiver malformada ou a página retornada for diferente
O hospedeiro aceita VoiceChat, mas não tem ponte localUse o VoiceChat para conversar e deixe a pessoa executar a tarefa de navegadorA transferência direta exigir código não verificado
Há somente um endpoint de APIConfirme o modelo exato e o suporte a áudio e ferramentasO endpoint oferecer outro modelo ou apenas texto
A tarefa precisa gravar dadosPrepare um rascunho e solicite aprovação humana separadaAntes da revisão, não envie a alteração

Leia também como conectar um agente a um navegador existente, o guia completo do Tabbit CLI e a lista da primeira tarefa de agente de navegador. Para escolher o transporte, compare os fluxos MCP e CLI e o guia Codex Browser ou Tabbit CLI. A visão geral do navegador de IA do Tabbit, a diferença entre busca na web e controle do navegador e a explicação sobre navegadores agentes cobrem o contexto. O fluxo de rascunho para CMS mostra como manter uma revisão humana antes da publicação.

Use o Nemotron VoiceChat para a interação por voz depois de confirmar o modelo e o hospedeiro exatos. Deixe a leitura do navegador com uma ferramenta local permitida, em uma tarefa separada do Tabbit, e peça a uma pessoa para conferir o rascunho na página.

Perguntas frequentes

O Nemotron VoiceChat consegue abrir um navegador conectado sozinho?

Não. O VoiceChat é um modelo de voz, e o aplicativo hospedeiro precisa fornecer e executar as ferramentas do navegador. Conectá-lo ao Tabbit CLI local é uma integração que você configura e verifica, não um recurso nativo da NVIDIA ou do Tabbit.

O Nemotron VoiceChat tem 11B ou 12B?

A página atual de acesso antecipado da NVIDIA descreve o Nemotron 3 VoiceChat como um modelo de 12B. A NGC lista separadamente o NemotronLabs VoiceChat, um modelo de pesquisa de 11B. Confira a ficha e a versão do checkpoint disponível para você.

Posso usar uma API hospedada nesse fluxo?

Somente se o provedor oferecer agora o modelo exato do VoiceChat e mantiver as interfaces de áudio e chamadas de função necessárias ao seu hospedeiro. As páginas da NVIDIA analisadas descrevem acesso antecipado e um NIM para pesquisa, mas não comprovam a disponibilidade de uma API hospedada geral.

O Tabbit CLI reutiliza a sessão do meu site?

Uma tarefa pode usar a sessão iniciada no ambiente Tabbit selecionado enquanto ela estiver válida. Confira o perfil e o acesso à página separadamente. Nunca coloque senhas ou cookies no prompt.

O modelo de voz deve controlar o navegador diretamente?

Deixe a execução do navegador com um executor local de ferramentas permitidas. O modelo pode pedir uma leitura nomeada, enquanto o executor confere a URL e o escopo antes de chamar o Tabbit CLI.

O agente pode publicar o resultado automaticamente?

Mantenha esse fluxo na etapa de rascunho. Peça um rascunho nomeado com links das fontes, compare-o às páginas autorizadas e aprove separadamente qualquer gravação posterior.

Dê o próximo passo

Deixe o Tabbit trabalhar ao seu lado.

Pesquise entre abas, automatize o trabalho repetitivo do navegador e mantenha todo o contexto ao alcance.