Исследователи предлагают CurateEvo — фреймворк динамической эволюции, управляемый ошибками, предназначенный для улучшения принятия решений на длинных горизонтах в агентах больших языковых моделей посредством итеративного курирования данных. В отличие от традиционных методов, рассматривающих курирование как фиксированный этап предварительной обработки, CurateEvo представляет стратегии в виде исполняемого кода и переписывает их на основе неудачных траекторий из выделенного набора разработки.

  • Фреймворк итеративно переписывает стратегии курирования для диагностики повторяющихся режимов ошибок, соответственно дополняя, фильтруя или уточняя данные.
  • Он преобразует сырые корпусы в данные для контролируемого тонкого настраивания (SFT), данные для обучения с подкреплением (RL) и банк памяти во время вывода на каждой эпохе.
  • Целевая функция, учитывающая затраты, отбрасывает избыточные или малоэффективные обучающие шаги для повышения эффективности.
  • Эксперименты на ACEBench-Agent, BFCL-V4 и τ^2-Bench показывают, что CurateEvo превосходит предыдущие методы, улучшая средние баллы на 3,2 и 2,7 очка соответственно.

Авторы отмечают, что CurateEvo совместим с различными рецептами постобучения и существенно снижает накладные расходы на курирование.