Simular a annoncé que son framework agentique open source, Agent S, a atteint un taux de réussite de 72,6 % sur le benchmark OSWorld, utilisé pour évaluer les agents multimodaux effectuant des tâches informatiques réelles. Ce score dépasse la performance humaine du benchmark de 72,36 %, marquant la première fois qu'un agent IA franchit ce seuil dans ce domaine.
- Agent S a atteint 72,6 % sur OSWorld, battant le seuil humain de 72,36 %.
- Cette percée a été rendue possible par Behavior Best-of-N (bBoN), une méthode utilisant plusieurs agents pour sélectionner le meilleur résultat.
- Cela représente un progrès significatif par rapport aux scores oscillant autour de 20 % il y a seulement un an.
- Simular a récemment levé 21,5 millions de dollars et teste actuellement Windows 365 for Agents de Microsoft.
Simular vise à rendre cette technologie largement accessible pour débloquer des cas d'utilisation réels pour les consommateurs sur des ordinateurs réels.