Benchmark · reasoning
ARC-AGI 1
ARC-AGI 1 mide el razonamiento abstracto y la generalización: cada tarea muestra unos pocos ejemplos de cuadrículas de entrada→salida, y quien resuelve debe inferir la regla de transformación oculta y producir la cuadrícula de salida correcta para una nueva entrada. La métrica es el porcentaje de tareas resueltas con una cuadrícula de salida que coincide exactamente.
Leer más
- Ejemplo
- Una tarea puede presentar dos o tres pequeñas cuadrículas de colores donde cada entrada se convierte en su salida siguiendo una misma regla —por ejemplo, rellenar cada región cerrada o reflejar una figura— y hay que aplicar esa regla inferida a una cuadrícula nueva que no se ha visto.
- Puntuación
- Una tarea cuenta como resuelta solo si la cuadrícula producida coincide celda por celda con la respuesta de referencia; la puntuación final es la fracción (porcentaje) de tareas resueltas en todo el conjunto de evaluación.
- Verificación
- La comprobación es automática y exacta: la cuadrícula de salida enviada se compara celda por celda con la cuadrícula correcta, sin crédito parcial ni votación humana.
- Por qué importa
- Los acertijos están diseñados para ser fáciles para las personas pero difíciles para los modelos que dependen de patrones memorizados, así que el benchmark evalúa la abstracción real y la generalización con pocos ejemplos en lugar del conocimiento memorizado, lo que lo convierte en una medida muy seguida del progreso hacia una IA más general.
Ejemplo resuelto
Tarea
ARC-AGI 1 muestra unas pocas demostraciones de rejillas entrada→salida y luego una entrada de prueba oculta; debes inferir la transformación y dibujar la rejilla de salida exacta (las celdas son colores 0-9, 0=negro). Aquí las demos revelan una regla autofractal: cada rejilla 3×3 se expande a 9×9, estampando una copia de toda la rejilla donde una celda tiene color y un bloque 3×3 vacío donde vale 0. Entrada de prueba (3×3):
0 8 0 / 8 8 8 / 0 8 0 (una cruz de color 8).Solución
0 0 0 0 8 0 0 0 0
0 0 0 8 8 8 0 0 0
0 0 0 0 8 0 0 0 0
0 8 0 0 8 0 0 8 0
8 8 8 8 8 8 8 8 8
0 8 0 0 8 0 0 8 0
0 0 0 0 8 0 0 0 0
0 0 0 8 8 8 0 0 0
0 0 0 0 8 0 0 0 0
Explicación
Las celdas de color 8 están en los puntos medios de los cuatro lados y en el centro de la cruz; estampar la cruz exactamente en esos cinco bloques 3×3 (y dejar vacías las cuatro esquinas) construye el fractal 9×9. ARC-AGI puntúa solo una coincidencia exacta celda por celda: una sola celda equivocada falla la tarea, con hasta 2 intentos permitidos.