Исследование 2848 запусков Claude Code, оплачиваемых провайдерами, выявило, что уменьшение объема извлекаемого контекста или вывода инструментов не гарантирует снижения фактической оплачиваемой стоимости работы кодовых агентов. Исследование ставит под сомнение распространенный метрический подход удаления текста путем анализа кампании из 2908 выполнений на трех моделях и семи репозиториях.
- Трафик кэш-памяти промптов доминировал в затратах, составляя около 87% восстановленных затрат и 80% фактического счета.
- Вариант, удаливший 38% оценочных сырых токенов вывода инструментов, фактически понес на 6,8% более высокую сопоставимую стоимость по сравнению с базовым уровнем.
- Сжатие оказалось вредным для завершения задач, поскольку оно удаляло критически важные для действий доказательства, снижая успешность применения патчей с 27/40 до 15/40 в задачах Go, полученных из SWE-bench.
Авторы предлагают использовать скорректированную по успеху оплачиваемую стоимость как более точный стандарт оценки эффективности, чем простое сокращение токенов.