一位独立研究人员在ARC-AGI v2基准测试中取得了29.4%的新最高分,超越了此前25%的最佳成绩,其方法是将Python代码生成替换为通过进化测试时计算架构进化的自然语言指令。

该系统使用Grok-4生成用于解决抽象模式识别任务的纯英文指令,然后通过个体和池化修订周期进行测试和优化。该方法在ARC-AGI v1上取得了79.6%的分数,每任务成本为8.42美元,使其比OpenAI的o3预览版高效25倍。

作者认为,由于“死推理区域”(逻辑在训练分布之外失效),LLM在泛化方面存在困难,并提出进化自然语言指令作为弥合人类式抽象推理与当前AI能力之间差距的方法。