Исследователи предлагают цикл самосовершенствования, управляемый ошибками, для агентов компьютерного использования, который использует неудачные траектории для повышения производительности модели. Метод применяет LLM для диагностики режимов сбоев и генерации патчей кода, которые проходят легкую проверку человеком для обновления агента.

  • Подход ориентирован на мультимодальные большие языковые модели (MLLM), работающие в проверяемых средах.
  • Он дополняет стандартные конвейеры, основанные на успехе, извлекая информацию из отброшенных неудачных траекторий.
  • Валидация на бенчмарке OSWorld с использованием модели OpenCUA-72B показала улучшение показателя успеха с 42,3% до 48,9%.
  • Улучшение представляет собой прирост в 6,6 процентных пункта без дополнительных затрат на обучение и лишь умеренными накладными расходами на вывод.

Эта работа демонстрирует, что самосовершенствование, управляемое ошибками, является жизнеспособным дополнением к существующим конвейерам, обеспечивая более эффективное улучшение агентов.