Los investigadores proponen CurateEvo, un marco de evolución dinámica impulsado por fallos diseñado para mejorar la toma de decisiones a largo plazo en agentes de modelos de lenguaje grandes mediante la curación iterativa de datos. A diferencia de los métodos tradicionales que tratan la curación como un paso fijo de preprocesamiento, CurateEvo representa las estrategias como código ejecutable y las reescribe utilizando trayectorias fallidas de un conjunto de desarrollo retenido.

  • El marco reescribe iterativamente las estrategias de curación para diagnosticar modos de fallo recurrentes, aumentando, filtrando o refinando los datos en consecuencia.
  • Transforma corpus sin procesar en datos de ajuste fino supervisado, datos de aprendizaje por refuerzo y un banco de memoria en tiempo de inferencia en cada época.
  • Un objetivo consciente del costo poda vueltas de entrenamiento redundantes o de baja utilidad para mejorar la eficiencia.
  • Los experimentos en ACEBench-Agent, BFCL-V4 y τ^2-Bench muestran que CurateEvo supera a los métodos anteriores, mejorando las puntuaciones promedio en 3.2 y 2.7 puntos respectivamente.

Los autores señalan que CurateEvo es compatible con diferentes recetas de post-entrenamiento y reduce sustancialmente la sobrecarga de curación.