OAT utilise l'apprentissage par une seule classe pour retracer les échecs des agents à partir de flux de succès

Les chercheurs proposent OAT, un modèle léger pour l'attribution non supervisée des échecs dans les systèmes agents basés sur les LLM, qui s'entraîne exclusivement sur des trajectoires réussies. En formulant le problème comme un apprentissage par une seule classe avec des équations différentielles contrôlées par des réseaux neuronaux, OAT identifie les étapes d'erreur au moment de l'inférence en se basant sur leur déviation par rapport à la dynamique apprise.

• S'entraîne uniquement sur 100 trajectoires réussies sans supervision au niveau des étapes.
• Attribue des scores d'anomalie aux étapes des trajectoires échouées en fonction des écarts dans l'espace latent.
• Obtient des améliorations du score F1 de +20 % et +7 % par rapport aux bases de référence basées sur le prompting, respectivement en domaine et hors domaine.
• Fonctionne 200 à 5000 fois plus rapidement que les approches existantes basées sur le prompting.

OAT offre une direction prometteuse et efficace pour diagnostiquer les échecs des systèmes agents en éliminant le besoin d'annotations d'erreur coûteuses.