Os pesquisadores propõem o CurateEvo, um framework de evolução dinâmica orientado por falhas projetado para melhorar a tomada de decisão de longo prazo em agentes de modelos de linguagem grandes por meio da curadoria iterativa de dados. Diferente dos métodos tradicionais que tratam a curadoria como uma etapa fixa de pré-processamento, o CurateEvo representa as estratégias como código executável e as reescreve usando trajetórias falhas de um conjunto de desenvolvimento retido.

  • O framework reescreve iterativamente as estratégias de curadoria para diagnosticar modos de falha recorrentes, aumentando, filtrando ou refinando os dados conforme apropriado.
  • Ele transforma corpora brutos em dados de ajuste fino supervisionado, dados de aprendizado por reforço e um banco de memória em tempo de inferência a cada época.
  • Um objetivo consciente do custo poda voltas de treinamento redundantes ou de baixa utilidade para melhorar a eficiência.
  • Experimentos no ACEBench-Agent, BFCL-V4 e τ^2-Bench mostram que o CurateEvo supera métodos anteriores, melhorando as pontuações médias em 3,2 e 2,7 pontos respectivamente.

Os autores observam que o CurateEvo é compatível com diferentes receitas de pós-treinamento e reduz substancialmente a sobrecarga de curadoria.