Les chercheurs proposent une boucle d'auto-amélioration pilotée par l'échec pour les agents d'utilisation informatique, qui utilise des trajectoires échouées pour améliorer les performances du modèle. La méthode emploie un LLM pour diagnostiquer les modes d'échec et générer des correctifs de code, qui sont légèrement vérifiés par des humains pour mettre à niveau l'agent.

  • L'approche cible les grands modèles de langage multimodaux (MLLM) fonctionnant dans des environnements vérifiables.
  • Elle complète les pipelines standard basés sur le succès en extrayant des informations des trajectoires échouées rejetées.
  • Validée sur le benchmark OSWorld avec le modèle OpenCUA-72B, la méthode a amélioré le taux de réussite de 42,3 % à 48,9 %.
  • L'amélioration représente un gain de 6,6 points de pourcentage sans coût d'entraînement supplémentaire et avec une surcharge d'inférence modeste.

Ce travail démontre que l'auto-amélioration pilotée par l'échec est un complément viable aux pipelines existants, permettant une amélioration plus efficace des agents.