La competición Premio ARC 2025 se centró en el recién lanzado conjunto de datos ARC-AGI-2, atrayendo a 1.455 equipos y resultando en una puntuación máxima del 24% en el conjunto de evaluación privado. El tema definitorio de los resultados de 2025 es la emergencia de bucles de refinamiento, que implican optimización iterativa de programas por tarea guiada por señales de retroalimentación.

  • Los métodos de mayor rendimiento utilizaron síntesis evolutiva de programas o refinamientos a nivel de aplicación para sistemas de IA comerciales.
  • Los métodos de aprendizaje profundo sin preentrenamiento lograron un rendimiento competitivo con redes pequeñas de 7M parámetros utilizando refinamiento en el espacio de pesos.
  • Cuatro laboratorios de vanguardia (Anthropic, Google DeepMind, OpenAI y xAI) informaron del rendimiento ARC-AGI en tarjetas de modelos públicas, estableciéndolo como un estándar de la industria.
  • El análisis indica que el razonamiento actual de la IA de vanguardia sigue estando limitado por la cobertura de conocimientos, lo que lleva a nuevas formas de contaminación de benchmarks.

El informe analiza estos métodos y presenta una vista previa de ARC-AGI-3, que introducirá desafíos de razonamiento interactivo que requerirán capacidades de exploración, planificación, memoria, adquisición de objetivos y alineación.