Un investigador independiente ha logrado una nueva puntuación de estado del arte del 29,4% en el benchmark ARC-AGI v2, superando el mejor resultado anterior del 25%, al reemplazar la generación de código Python con instrucciones en lenguaje natural evolucionadas mediante una arquitectura de cómputo en tiempo de prueba basada en evolución.
El sistema utiliza Grok-4 para generar instrucciones en inglés sencillo para resolver tareas de reconocimiento abstracto de patrones, las cuales se prueban y refinan a través de ciclos de revisión individuales y agrupados. Este enfoque produce una puntuación del 79,6% en ARC-AGI v1 a $8,42 por tarea, lo que lo hace 25 veces más eficiente que la versión preliminar o3 de OpenAI.
El autor argumenta que los LLM tienen dificultades con la generalización debido a "zonas de razonamiento muertas" donde la lógica falla fuera de las distribuciones de entrenamiento, y propone evolucionar instrucciones en lenguaje natural como un método para cerrar la brecha entre el razonamiento abstracto similar al humano y las capacidades actuales de IA.