Para comparar agentes de navegador, divida o custo de todas as tentativas pelas tarefas distintas que passaram na verificação. Inclua falhas e repetições. A recuperação conta uma vez. Assim é possível comparar uma tentativa barata com uma configuração que precise de menos tentativas.
Defina o resultado antes de medir
Em uma leitura, compare os campos com a fonte. Em uma escrita, releia o registro e o novo valor. A lista inicial e o tutorial de CLI mostram verificações que podem ser adaptadas.
Usamos o Codex CLI 0.166.0 com o rótulo solicitado gpt-6.1-sol e o Tabbit CLI 1.22.6.0 em uma página local de leitura. O sucesso exigia HTTP 200 e o título mais dois IDs gerados no teste, tanto na saída da ferramenta quanto na resposta. A tarefa B recebeu um 503 intencional e foi repetida com os mesmos IDs após a recuperação.
| Tarefa e tentativa | Tokens de entrada | Entrada em cache | Saída | Resultado |
|---|---|---|---|---|
| A · 1 | 49.710 | 24.576 | 62 | 200, verificado |
| B · 1 | 50.120 | 37.376 | 56 | 503, falha |
| B · 2 | 50.288 | 24.832 | 61 | 200, verificado |
As tentativas levaram 13,56, 17,04 e 11,96 segundos corridos. Esse tempo é separado da revisão humana. Todas chamaram a ferramenta esperada uma vez e retornaram código de saída zero. Duas tarefas foram verificadas em três tentativas. O erro controlado serve para demonstrar a conta da repetição.
Separe consumo e preços
Quando o cache está incluído na entrada, use ((entrada − cache) × tarifa comum + cache × tarifa de cache + saída × tarifa de saída) ÷ 1.000.000, com preços por milhão. Confira outras categorias no contrato. Documentação de cache da OpenAI · Guia de preços · Benchmark da CLI
As tarifas abaixo são hipóteses em dólares aplicadas ao consumo observado.
| Item | Hipótese | Total das três tentativas |
|---|---|---|
| Modelo | Por milhão: US$ 2 de entrada, US$ 0,20 de cache, US$ 12 de saída | US$ 0,1461728 |
| Navegador e ferramentas | US$ 0,01 por tentativa | US$ 0,03 |
| Revisão | 30 segundos no total a US$ 30 por hora | US$ 0,25 |
| Por tarefa verificada | Total dividido por 2 | US$ 0,2130864 |
A tentativa que falhou contribui com US$ 0,0336352 de modelo nesses termos. Distribua assinaturas pelo mesmo lote e registre o tempo humano separadamente do tempo automático.
Compare lotes equivalentes
Mantenha entradas, permissões, limite de repetições e critérios de aprovação. Informe tentativas, tarefas, verificações, falhas e gasto total. Com zero sucessos, a razão fica indefinida. Com uma tentativa por tarefa e sem outros custos, US$ 0,03 a 60% de sucesso custa US$ 0,05 por resultado. US$ 0,04 a 90% custa cerca de US$ 0,0444.
Registre o tamanho das respostas de ferramentas e o número de capturas. MCP e CLI podem usar volumes diferentes. O guia de automação separa verificações e raciocínio. Se depender de login, meça a recuperação da sessão. Conectar um navegador existente · Baixar o Tabbit
Perguntas frequentes
Como calculo o custo por tarefa concluída?
Some modelo, navegador, ferramentas e revisão de todas as tentativas do lote. Divida pelas tarefas distintas com resultado verificado.
Incluo falhas e novas tentativas?
Sim. Elas entram no custo. Uma tarefa concluída após várias tentativas conta uma vez.
Como conto o cache?
Quando o cache faz parte do total de entrada, subtraia essa parte e aplique separadamente as tarifas de entrada comum e de cache.
E quando nenhuma tarefa dá certo?
Informe o custo total, quantas tarefas foram tentadas e zero verificações bem-sucedidas. O custo por sucesso fica indefinido.
O código de saída zero indica sucesso?
Indica que o cliente terminou. Em um teste houve saída zero com HTTP 503. Confira o resultado da tarefa.