Pour comparer deux agents de navigation, divisez le coût de toutes les tentatives par le nombre de tâches distinctes vérifiées. Incluez échecs et relances. Une tâche récupérée compte une seule fois. Vous pouvez ainsi comparer un essai moins cher à une méthode qui aboutit plus souvent.
Fixer le résultat avant de mesurer
Pour une lecture, comparez les champs demandés à la source. Pour une écriture, relisez l’enregistrement et sa nouvelle valeur. La liste de contrôle initiale et le guide CLI proposent des vérifications à adapter.
Nous avons utilisé Codex CLI 0.166.0 avec l’étiquette demandée gpt-6.1-sol et Tabbit CLI 1.22.6.0 sur une page locale en lecture seule. Pour réussir, il fallait HTTP 200, le titre et deux identifiants générés au moment du test, présents dans la sortie de l’outil et la réponse. La tâche B a reçu volontairement un 503, puis a été relancée avec les mêmes identifiants après rétablissement.
| Tâche et essai | Entrée | Entrée en cache | Sortie | Résultat |
|---|---|---|---|---|
| A · 1 | 49 710 | 24 576 | 62 | 200, vérifié |
| B · 1 | 50 120 | 37 376 | 56 | 503, échec |
| B · 2 | 50 288 | 24 832 | 61 | 200, vérifié |
Les durées étaient de 13,56, 17,04 et 11,96 secondes. Il s’agit du temps écoulé, distinct de la relecture humaine. Chaque essai a appelé l’outil attendu une fois et a renvoyé un code de sortie zéro. Deux tâches ont réussi en trois tentatives. Le 503 injecté sert à montrer comment comptabiliser une relance.
Distinguer les volumes et les prix
Si le cache fait partie de l’entrée, calculez ((entrée − cache) × tarif ordinaire + cache × tarif cache + sortie × tarif sortie) ÷ 1 000 000 avec les tarifs par million. Reportez-vous à votre contrat pour les autres catégories. Documentation du cache OpenAI · Guide des tarifs · Benchmark CLI
Voici des hypothèses en dollars appliquées au volume observé. Les montants illustrent un budget.
| Poste | Hypothèse | Total des trois essais |
|---|---|---|
| Modèle | Par million : 2 $ en entrée, 0,20 $ en cache, 12 $ en sortie | 0,1461728 $ |
| Navigateur et outils | 0,01 $ par tentative | 0,03 $ |
| Relecture | 30 secondes au total à 30 $ par heure | 0,25 $ |
| Par tâche vérifiée | Total divisé par 2 | 0,2130864 $ |
L’essai échoué représente 0,0336352 $ de modèle sous ces hypothèses. Répartissez les abonnements sur le même lot et consignez le temps humain indépendamment du délai automatique.
Comparer des lots équivalents
Fixez les entrées, les permissions, la limite de relances et les critères. Notez les tentatives, les tâches, les réussites, les causes d’échec et le total. Sans réussite, le ratio est indéfini. Avec un seul essai par tâche et aucun autre coût, 0,03 $ à 60 % de réussite donne 0,05 $ par résultat. 0,04 $ à 90 % donne environ 0,0444 $.
Enregistrez la taille des retours d’outils et le nombre de captures. MCP et CLI peuvent produire des volumes différents. Le guide d’automatisation aide à séparer vérification et raisonnement. Mesurez la récupération de session si une connexion est nécessaire. Connecter un navigateur existant · Télécharger Tabbit
Questions fréquentes
Comment calculer le coût par tâche réussie ?
Additionnez modèle, navigateur, outils et relecture pour toutes les tentatives d’un lot. Divisez par les tâches distinctes dont le résultat a été vérifié.
Faut-il inclure les échecs et les relances ?
Oui. Ils entrent dans le coût total. Une tâche réussie après plusieurs essais ne compte qu’une fois.
Comment compter le cache ?
Si les jetons mis en cache font partie de l’entrée totale, retirez-les de l’entrée ordinaire avant d’appliquer les deux tarifs.
Que faire si aucune tâche ne réussit ?
Indiquez la dépense totale, le nombre de tâches tentées et zéro résultat vérifié. Le coût par réussite n’est pas défini.
Un code de sortie zéro suffit-il ?
Il confirme que le client a terminé. Dans notre essai, une sortie zéro a accompagné un HTTP 503. Vérifiez le résultat réel.