ARC Prize 2025 竞赛针对新发布的 ARC-AGI-2 数据集,吸引了 1,455 支团队参赛,并在私有评估集上取得了 24% 的最高分数。2025 年结果的核心主题是精炼循环的出现,这涉及由反馈信号引导的按任务迭代程序优化。
- 表现最佳的方法利用了进化程序合成或针对商业 AI 系统的应用层精炼。
- 零预训练的深度学习方法使用具有 7M 参数的小型网络并通过权重空间精炼实现了具有竞争力的性能。
- 四家前沿实验室(Anthropic、Google DeepMind、OpenAI 和 xAI)在公开模型卡片中报告了 ARC-AGI 性能,将其确立为行业标准。
- 分析表明,当前前沿 AI 推理仍受知识覆盖范围的制约,导致基准测试出现新的污染形式。
该报告调查了这些方法,并预览了 ARC-AGI-3,它将引入需要探索、规划、记忆、目标获取和对齐能力的交互式推理挑战。