Les chercheurs proposent CurateEvo, un cadre d'évolution dynamique piloté par les échecs conçu pour améliorer la prise de décision à long terme des agents de grands modèles de langage grâce à un curage itératif des données. Contrairement aux méthodes traditionnelles qui traitent le curage comme une étape de prétraitement fixe, CurateEvo représente les stratégies sous forme de code exécutable et les réécrit en utilisant des trajectoires échouées issues d'un ensemble de développement maintenu à l'écart.

  • Le cadre réécrit itérativement les stratégies de curage pour diagnostiquer les modes d'échec récurrents, augmentant, filtrant ou affinant les données en conséquence.
  • Il transforme les corpus bruts en données de fine-tuning supervisé, en données d'apprentissage par renforcement et en une banque de mémoire au moment de l'inférence à chaque époque.
  • Un objectif conscient des coûts élimine les tours d'entraînement redondants ou à faible utilité pour améliorer l'efficacité.
  • Les expériences sur ACEBench-Agent, BFCL-V4 et τ^2-Bench montrent que CurateEvo surpasse les méthodes antérieures, améliorant les scores moyens de 3,2 et 2,7 points respectivement.

Les auteurs notent que CurateEvo est compatible avec différentes recettes post-entraînement et réduit considérablement la surcharge de curage.