OpenAI ha lanzado una versión temprana de su nuevo modelo de razonamiento, OpenAI o1-preview, para su uso en ChatGPT y a través de la API. El modelo utiliza aprendizaje por refuerzo a gran escala para desarrollar capacidades productivas de cadena de pensamiento, superando significativamente a GPT-4o en tareas complejas.
- En el examen de matemáticas AIME 2024, o1 promedió un 74% con una sola muestra y un 93% al reordenar 1000 muestras, situándolo entre los 500 mejores estudiantes a nivel nacional.
- El modelo superó la precisión de nivel doctorado humano en el benchmark GPQA diamond para física, biología y química.
- Una versión entrenada con o1 obtuvo 213 puntos en la Olimpiada Internacional de Informática y alcanzó una calificación Elo de 1807 en competiciones simuladas de Codeforces.
- Los entrenadores humanos prefieren o1-preview sobre GPT-4o en categorías que requieren mucho razonamiento, como análisis de datos, programación y matemáticas.
- Integrar políticas de seguridad en la cadena de pensamiento mejoró la robustez frente a jailbreaks, aunque las cadenas crudas no se muestran a los usuarios para prevenir riesgos potenciales de manipulación.
El lanzamiento destaca un cambio hacia modelos que pueden pensar a través de los problemas antes de responder, ofreciendo mejoras sustanciales en capacidades de razonamiento mientras mantienen estándares de seguridad.