Benchmark · reasoning
ARC-AGI 2
ARC-AGI 2 (Abstraction & Reasoning Corpus, versión 2, realizado como ARC Prize 2025) mide el razonamiento fluido: inferir una regla abstracta a partir de unos pocos ejemplos y aplicarla a un caso nuevo. La puntuación es el porcentaje de acertijos resueltos correctamente en un conjunto de evaluación reservado y semiprivado.
Leer más
- Ejemplo
- Una tarea muestra unos pocos pares de entrada→salida en cuadrículas de colores (una pequeña cuadrícula de celdas de colores transformada de una forma coherente), y quien resuelve debe deducir la transformación oculta y producir la cuadrícula de salida correcta para una entrada nueva.
- Puntuación
- Cada acertijo es aprobado o no: la cuadrícula de salida producida se compara con la cuadrícula correcta exacta, y la puntuación informada es el porcentaje de acertijos resueltos en el conjunto de evaluación semiprivado.
- Verificación
- Los resultados se verifican automáticamente por coincidencia exacta de la cuadrícula de salida —la cuadrícula predicha debe coincidir con la respuesta celda por celda— en un conjunto de prueba semiprivado que no se publica para evitar la memorización.
- Por qué importa
- Se centra en acertijos fáciles para las personas pero difíciles para la AI, por lo que es una medida muy observada de la abstracción real y el razonamiento general, no del conocimiento memorizado.
Ejemplo resuelto
Tarea
Rompecabezas de rejilla ARC-AGI-2: deduce la transformación a partir de los pares de entrenamiento y luego da la rejilla de salida para la entrada de prueba (los dígitos 0–9 son colores; 0 = fondo negro). Entrenamiento 1: [[4,0,0,0],[0,0,6,0],[4,0,0,0],[0,0,6,0]] → [[0,0,0,0],[0,0,0,0],[4,0,6,0],[4,0,6,0]]. Entrenamiento 2: [[0,3,0,0],[0,0,0,8],[0,3,0,0],[0,0,0,0]] → [[0,0,0,0],[0,0,0,0],[0,3,0,0],[0,3,0,8]]. Prueba: [[0,0,2,0],[5,0,0,0],[0,0,2,0],[5,0,0,0]] → ?
Solución
[[0, 0, 0, 0],
[0, 0, 0, 0],
[5, 0, 2, 0],
[5, 0, 2, 0]]
Explicación
Cada par de entrenamiento muestra una sola regla, la 'gravedad': cada celda de color cae en línea recta hacia las celdas libres más bajas de su columna, conservando su color y su cantidad, mientras el fondo (0) sube. En la prueba, los dos 5 de la columna 0 y los dos 2 de la columna 2 se asientan en las dos filas inferiores. ARC-AGI-2 califica por coincidencia exacta de la rejilla —dimensiones correctas y el valor de cada celda— con puntuación pass@2 en dos intentos permitidos.