Un estudio de 2.848 ejecuciones de Claude Code facturadas por el proveedor revela que reducir el contexto recuperado o la salida de herramientas no reduce de manera confiable el costo facturado real de los agentes de codificación. La investigación cuestiona la métrica común de eliminación de texto analizando una campaña de 2.908 ejecuciones en tres modelos y siete repositorios.

  • El tráfico de caché de prompts dominó los costos, representando aproximadamente el 87% de los costos reconstruidos y el 80% de la factura real.
  • Un brazo que eliminó el 38% de los tokens de salida de herramientas estimados en bruto incurrió en un costo emparejado un 6,8% mayor en comparación con la línea base.
  • Se encontró que la compresión perjudicaba la finalización de tareas al eliminar evidencia crítica para la acción, reduciendo el éxito de aplicación de parches de 27/40 a 15/40 en tareas Go derivadas de SWE-bench.

Los autores proponen utilizar el costo facturado ajustado por éxito como un estándar más preciso para evaluar la eficiencia que la reducción de tokens por sí sola.