AFTER представляет бенчмарк из 382 задач предприятий по шести ролям и 22 навыкам для оценки передачи навыков между задачами, ролями и моделями. Результаты показывают, что память о процедурах повышает производительность на 3,7–6,7 баллов за каждую итерацию и достигает точности 73,1% между моделями, при этом некоторые навыки обобщаются широко, а другие специализируются на рабочих процессах конкретных ролей.
AFTER оценивает память о процедурах в агентах на основе ЛЛМ
Переведено с English → Русский