Para comparar agentes de navegador, divide el coste de todos los intentos por las tareas distintas que pasaron la comprobación. Incluye fallos y reintentos. Una tarea recuperada cuenta una vez. Así puedes comparar una opción barata por intento con otra que necesite menos repeticiones.
Define el resultado antes de medir
Para leer datos, compara los campos solicitados con la fuente. Para escribir, comprueba el registro guardado y su valor. La lista inicial y la guía de CLI ofrecen comprobaciones adaptables.
Probamos Codex CLI 0.166.0 con la etiqueta solicitada gpt-6.1-sol y Tabbit CLI 1.22.6.0. Leímos una página local de solo lectura. Exigimos HTTP 200 más el título y dos identificadores generados durante la prueba en la salida de la herramienta y en la respuesta. La tarea B recibió HTTP 503 deliberadamente. Después restauramos la página y repetimos con los mismos identificadores.
| Tarea e intento | Tokens de entrada | Entrada en caché | Salida | Resultado |
|---|---|---|---|---|
| A · 1 | 49 710 | 24 576 | 62 | 200, verificado |
| B · 1 | 50 120 | 37 376 | 56 | 503, fallido |
| B · 2 | 50 288 | 24 832 | 61 | 200, verificado |
Los tiempos transcurridos fueron 13,56, 17,04 y 11,96 segundos. No equivalen a tiempo de revisión humana. Cada intento llamó a la herramienta esperada una vez y salió con código cero. Dos tareas quedaron verificadas en tres intentos. El fallo provocado demuestra cómo contabilizar un reintento.
Separa consumo y tarifas
Si la caché está incluida en la entrada, usa ((entrada − caché) × tarifa normal + caché × tarifa de caché + salida × tarifa de salida) ÷ 1 000 000, con tarifas por millón. Revisa otras categorías en tu contrato. Documentación de caché de OpenAI · Guía de precios · Benchmark de CLI
Estas tarifas en USD son supuestos para presupuestar el consumo observado.
| Partida | Supuesto | Total de tres intentos |
|---|---|---|
| Modelo | Por millón: $2 de entrada, $0,20 de caché, $12 de salida | $0,1461728 |
| Navegador y herramientas | $0,01 por intento | $0,03 |
| Revisión | 30 segundos en total a $30 por hora | $0,25 |
| Por tarea verificada | Total dividido por 2 | $0,2130864 |
El intento fallido aporta $0,0336352 en modelo bajo esos supuestos. Reparte las cuotas recurrentes en el mismo grupo y registra por separado los minutos de revisión y el tiempo automático.
Compara grupos equivalentes
Mantén entradas, permisos, límite de reintentos y criterios. Publica intentos, tareas, verificadas, motivos de fallo y gasto. Con cero completadas, no hay cociente. Como ejemplo, con un intento por tarea y sin otros cargos, $0,03 al 60 % de éxito supone $0,05 por resultado. $0,04 al 90 % supone unos $0,0444.
Guarda el tamaño de las respuestas de herramientas y cuántas capturas se usan. MCP y CLI pueden generar entradas distintas. La guía de automatización ayuda a separar comprobaciones deterministas y razonamiento. Si hay inicio de sesión, mide su recuperación. Conectar un navegador existente · Descargar Tabbit
Preguntas frecuentes
¿Cómo calculo el coste por tarea completada?
Suma los costes de modelo, navegador, herramientas y revisión de todos los intentos del mismo conjunto. Divide por las tareas distintas verificadas.
¿Cuentan los fallos y los reintentos?
Sí. Su consumo va en el numerador. Una tarea completada tras varios intentos cuenta una sola vez.
¿Cómo contabilizo la caché?
Si la caché forma parte de la entrada total, réstala de la entrada normal y aplica las dos tarifas por separado.
¿Qué pasa si no se completa ninguna tarea?
Indica el gasto, cuántas tareas se intentaron y que hubo cero verificadas. El cociente queda sin definir.
¿Un código de salida cero indica éxito?
Solo indica que terminó el cliente. En nuestra prueba hubo una salida cero con HTTP 503. Comprueba el resultado.