Индекс отходов агентов (Agent Waste Index) оценил 341 054 траектории агентов из 11 публичных наборов данных, чтобы выявить неэффективности, такие как циклы, слепые повторные попытки, избыточный вывод инструментов и заброшенные запуски. Анализ показывает, что поведение с циклами и повторными попытками широко распространено в более слабых моделях, таких как агенты на базе Llama, но редко встречается у Claude 3.7 Sonnet и Qwen3-Coder-480B.
- Объем вывода инструментов значительно варьируется в зависимости от каркаса: OpenHands и SWE-agent передают наблюдения объемом более 20 тысяч символов в более чем половине запусков.
- Самая длинная пятая часть запусков по количеству шагов потребляет 40% от оценочных затрат, при этом завершается с меньшей частотой, чем самая короткая пятая часть.
- Проект предоставляет конвейер и детекторы для восстановления Индекса из репозитория; таблицы доступны онлайн для проверки сообществом.
Авторы предлагают механизмы коррекции для издателей наборов данных и стремятся повысить прозрачность работы кодовых агентов.