Les chercheurs ont publié Terminal-Bench 2.0, un benchmark conçu pour évaluer les agents IA sur des tâches d'interface en ligne de commande difficiles et réalistes que les métriques actuelles ne parviennent pas à capturer de manière significative.
Le benchmark se compose de 89 tâches soigneusement sélectionnées au sein d'environnements de terminal informatique, chacune présentant des configurations uniques, des solutions écrites par des humains et des tests de vérification complets. Les résultats d'évaluation montrent que les modèles et agents de pointe obtiennent moins de 65 % sur ces tâches. Les auteurs ont mené une analyse des erreurs pour identifier des domaines spécifiques à améliorer dans les capacités des modèles et des agents.
Le jeu de données et le harnais d'évaluation sont publiés pour aider les développeurs et les chercheurs à faire progresser l'accomplissement autonome de tâches dans les environnements de terminal.