El nuevo sistema o3 de OpenAI, entrenado con el conjunto de entrenamiento público ARC-AGI-1, ha obtenido un 75,7% en el conjunto de evaluación semi-privada dentro de un límite de cómputo de $10k y un 87,5% con configuración de alto cómputo.

  • La puntuación de alta eficiencia se clasifica como 1er lugar en el ranking público bajo las reglas de ARC-AGI-Pub.
  • Las pruebas se realizaron en dos niveles de cómputo: 6 muestras para alta eficiencia y 1024 muestras (172x cómputo) para baja eficiencia.
  • OpenAI confirmó que la versión probada difiere de la o3 oficialmente lanzada, con resultados actualizados por venir.

ARC Prize ve esto como un aumento significativo en las capacidades de IA, demostrando habilidades novedosas de adaptación a tareas no vistas en modelos anteriores de la familia GPT.