OpenAI a publié une version préliminaire de son nouveau modèle de raisonnement, OpenAI o1-preview, utilisable dans ChatGPT et via l'API. Le modèle utilise l'apprentissage par renforcement à grande échelle pour développer des capacités de chaîne de pensée productives, surpassant significativement GPT-4o sur des tâches complexes.
- Lors de l'examen de mathématiques AIME 2024, o1 a obtenu une moyenne de 74 % avec un seul échantillon et 93 % lors du réordonnancement de 1000 échantillons, le plaçant parmi les 500 meilleurs élèves au niveau national.
- Le modèle a dépassé la précision des humains de niveau doctorat sur le benchmark GPQA diamond en physique, biologie et chimie.
- Une version entraînée sur o1 a obtenu 213 points à l'Olympiade Internationale d'Informatique et a atteint un classement Elo de 1807 dans des compétitions simulées Codeforces.
- Les entraîneurs humains préfèrent o1-preview à GPT-4o dans les catégories nécessitant beaucoup de raisonnement, comme l'analyse de données, la programmation et les mathématiques.
- L'intégration des politiques de sécurité dans la chaîne de pensée a amélioré la robustesse contre les jailbreaks, bien que les chaînes brutes ne soient pas affichées aux utilisateurs pour éviter les risques potentiels de manipulation.
Cette publication met en évidence un tournant vers des modèles capables de réfléchir aux problèmes avant de répondre, offrant des améliorations substantielles des capacités de raisonnement tout en maintenant les normes de sécurité.