Les chercheurs introduisent un benchmark pour évaluer comment les agents LLM s'adaptent lorsque la fiabilité des outils disponibles change silencieusement pendant une session en cours. Le framework monte des bibliothèques de compétences-outils avec des redondances et utilise un calendrier ramifié pour déplacer le groupe d'outils fiables à des frontières cachées.
- Les agents ont tendance à se stabiliser sur une routine récurrente courte dans les quelques tours suivant chaque frontière, en concentrant les parts d'appels sur des valeurs discrètes.
- La précision du changement d'ensemble est notée comme la probabilité conjointe de router vers le groupe d'outils cible dans chaque fenêtre post-changement.
- Le test de LLMs à poids ouverts dans un harnachement agentique open-source révèle des modes d'échec qualitativement distincts sur les mêmes routines.
- L'étude constate que le cadrage de l'ensemble, en présentant les outils comme concurrents ou complémentaires, modifie la dynamique de routage.
Cette évaluation met en lumière des modes d'échec spécifiques et l'impact de la présentation des outils sur le comportement des agents face à des changements de fiabilité cachés.