Benchmark · agentic
OSWorld
OSWorld est un benchmark qui évalue les agents d'utilisation d'ordinateur sur des tâches réelles d'un système d'exploitation de bureau, couvrant des applications du quotidien (gestionnaires de fichiers, navigateurs web, suites bureautiques). Il indique le pourcentage de tâches que l'agent accomplit avec succès.
En savoir plus
- Exemple
- Une tâche peut demander à l'agent d'ouvrir un tableur, de modifier une valeur ou de reformater des données et d'enregistrer le fichier, ou de trouver un fichier dans le gestionnaire de fichiers et de changer un paramètre système, en manipulant l'interface graphique (GUI) réelle comme le ferait une personne.
- Notation
- La métrique est le taux de réussite des tâches (task success rate), exprimé en pourcentage. Chaque tâche est réussie ou échouée, et le score est la fraction de tâches réussies sur l'ensemble complet.
- Vérification
- Les résultats sont vérifiés automatiquement par des scripts basés sur l'exécution qui inspectent l'état final de la machine (par exemple, si le bon fichier, la bonne valeur ou le bon paramètre existe désormais), plutôt que par correspondance de texte ou vote humain.
- Pourquoi c'est important
- Il mesure si les agents d'IA peuvent réellement piloter un vrai ordinateur à travers de nombreuses applications — un test d'autonomie bien plus difficile et réaliste que répondre à des questions ou des tâches sur une seule application.
Exemple résolu
Tâche
Un GNOME Terminal est ouvert sur le bureau Ubuntu. Dans le dossier ~/project, recherche de façon récursive tous les fichiers .log de plus de 10 MB et supprime-les, en laissant intacts tous les autres fichiers.
Solution
find ~/project -type f -name '*.log' -size +10M -deleteExplication
find parcourt ~/project de façon récursive, sélectionne les fichiers ordinaires nommés *.log dépassant 10 MB, et -delete supprime exactement ceux-là en épargnant le reste. OSWorld évalue avec un vérificateur propre à chaque tâche sur l'état final du système de fichiers de la machine virtuelle (VM) et n'accorde reward 1 que si les logs visés ont disparu et que les autres fichiers subsistent.