Конкурс ARC Prize 2025 был направлен на недавно выпущенный датасет ARC-AGI-2, привлек 1455 команд и завершился достижением лучшего результата в 24% на закрытом наборе для оценки. Главной темой результатов 2025 года стало появление циклов уточнения, которые включают итеративную оптимизацию программ для каждой задачи, направляемую сигналами обратной связи.
- Лучшие методы использовали эволюционный синтез программ или уточнения на уровне приложений для коммерческих ИИ-систем.
- Методы глубокого обучения без предварительного обучения достигли конкурентоспособных результатов с небольшими сетями из 7M параметров, используя уточнение в пространстве весов.
- Четыре ведущие лаборатории (Anthropic, Google DeepMind, OpenAI и xAI) опубликовали показатели ARC-AGI в публичных карточках моделей, утвердив его как отраслевой стандарт.
- Анализ показывает, что текущее рассуждение передовых ИИ ограничено охватом знаний, что приводит к новым формам загрязнения бенчмарков.
В отчете рассматриваются эти методы и делается предварительный обзор ARC-AGI-3, который представит интерактивные задачи на рассуждение, требующие способностей к исследованию, планированию, памяти, достижению целей и выравниванию.