Um pesquisador independente alcançou uma nova pontuação de estado da arte de 29,4% no benchmark ARC-AGI v2, superando o melhor resultado anterior de 25%, ao substituir a geração de código Python por instruções em linguagem natural evoluídas por meio de uma arquitetura de computação em tempo de teste baseada em evolução.
O sistema usa Grok-4 para gerar instruções em inglês simples para resolver tarefas de reconhecimento abstrato de padrões, que são então testadas e refinadas por meio de ciclos de revisão individuais e agrupados. Essa abordagem resulta em uma pontuação de 79,6% no ARC-AGI v1 a $8,42 por tarefa, tornando-o 25 vezes mais eficiente que a versão preliminar o3 da OpenAI.
O autor argumenta que os LLMs têm dificuldades com generalização devido a "zonas de raciocínio mortas" onde a lógica falha fora das distribuições de treinamento, e propõe evoluir instruções em linguagem natural como um método para preencher a lacuna entre o raciocínio abstrato semelhante ao humano e as capacidades atuais de IA.