Исследователи предлагают OAT, легковесную модель для несупервизированного атрибутирования сбоев в агентных системах на базе LLM, которая обучается исключительно на успешных траекториях. Представляя задачу как обучение с одним классом с помощью нейронных контролируемых дифференциальных уравнений, OAT выявляет шаги с ошибками во время вывода, основываясь на их отклонении от изученной динамики.
- Обучается только на 100 успешных траекториях без пошагового контроля.
- Присваивает аномальные оценки шагам траектории сбоя на основе отклонений в латентном пространстве.
- Достигает улучшения F1-меры на +20% и +7% по сравнению с базовыми методами на основе промптов внутри распределения и вне его соответственно.
- Работает в 200–5000 раз быстрее существующих подходов, основанных на промптах.
OAT предоставляет перспективное и эффективное направление для диагностики сбоев агентных систем, устраняя необходимость в дорогостоящих аннотациях ошибок.