Независимый исследователь достиг нового рекордного результата в 29,4% на бенчмарке ARC-AGI v2, превзойдя предыдущий лучший показатель в 25%, заменив генерацию кода на Python естественными языковыми инструкциями, эволюционировавшими через архитектуру вычислений во время тестирования с использованием эволюционного подхода.
Система использует Grok-4 для создания простых английских инструкций по решению задач абстрактного распознавания паттернов, которые затем тестируются и дорабатываются в ходе индивидуальных и объединенных циклов пересмотра. Этот подход дает результат 79,6% на ARC-AGI v1 при стоимости $8,42 за задачу, что делает его в 25 раз более эффективным, чем предварительная версия o3 от OpenAI.
Автор утверждает, что LLM испытывают трудности с обобщением из-за «мертвых зон рассуждений», где логика дает сбои вне обучающих распределений, и предлагает эволюцию естественных языковых инструкций как метод преодоления разрыва между человеческим абстрактным мышлением и текущими возможностями ИИ.