Une étude portant sur 2 848 exécutions facturées par le fournisseur de Claude Code révèle que la réduction du contexte récupéré ou de la sortie des outils n'abaisse pas de manière fiable le coût facturé réel des agents de codage. La recherche remet en question la métrique d'évaluation courante de la suppression de texte en analysant une campagne de 2 908 exécutions sur trois modèles et sept dépôts.
- Le trafic du cache des invites a dominé les coûts, représentant environ 87 % des coûts reconstitués et 80 % de la facture réelle.
- Un bras qui a supprimé 38 % des jetons bruts estimés de sortie des outils a entraîné un coût apparié 6,8 % plus élevé par rapport à la référence.
- La compression s'est avérée nuire à l'achèvement de la tâche en supprimant des preuves critiques pour l'action, réduisant le taux de réussite de l'application du correctif de 27/40 à 15/40 dans les tâches Go dérivées de SWE-bench.
Les auteurs proposent d'utiliser le coût facturé ajusté au succès comme norme plus précise pour évaluer l'efficacité que la seule réduction des jetons.