OpenAI a présenté une prévisualisation de recherche d'Operator, un agent alimenté par Computer-Using Agent (CUA), qui combine les capacités de vision de GPT-4o avec l'apprentissage par renforcement pour interagir avec des interfaces graphiques. CUA traite les données brutes de pixels et utilise une souris et un clavier virtuels pour naviguer dans des tâches multi-étapes à travers divers environnements numériques sans dépendre d'APIs spécifiques au système d'exploitation.

  • CUA atteint des résultats de pointe, obtenant 38,1 % sur OSWorld, 58,1 % sur WebArena et 87 % sur WebVoyager.
  • L'agent fonctionne via une boucle itérative de perception, de raisonnement par chaîne de pensée et d'action, s'adaptant aux changements inattendus.
  • Les mesures de sécurité incluent des refus pour les tâches nuisibles, des listes noires pour les sites interdits, une modération en temps réel et des confirmations utilisateur pour les actions sensibles.

La prévisualisation de recherche est disponible pour les utilisateurs du niveau Pro aux États-Unis à operator.chatgpt.com afin de recueillir des commentaires et d'affiner les mesures de sécurité au fur et à mesure que la technologie évolue.