杰里米·伯曼通过在OpenAI的Sonnet 3.5模型上应用进化算法，在ARC-AGI-Pub排行榜上创造了53.6%准确率的新公开记录，超越了此前43%的最高分。该方法将大语言模型视为进化引擎，用于生成和细化Python转换函数，而非直接输出网格。

该方法涉及生成候选Python函数的波次，并使用两层适应度评估根据提供的训练示例对其进行评分。

  • 表现最佳的函数被选为父代，以创建后续世代的修订提示。
  • 该过程迭代多个世代，可能利用31个动态提示为每个挑战生成多达500个函数。
  • 最终解决方案来自所有世代中排名前两位的函数，作为候选输出网格提交。

伯曼认为，通过进化原则指导扩展测试时计算量，可以使大语言模型弥补泛化能力的不足，并可能指向通向通用人工智能的路径。