Организация ARC Prize объявила победителей конкурса 2024 года и опубликовала соответствующий Технический отчет, в котором указано, что лучший результат на бенчмарке ARC-AGI-1 увеличился с 33% до 55,5% в ходе мероприятия.

  • Всего 1 430 команд представили 17 789 заявок на участие в конкурсе.
  • Главный приз остался нераспределенным, так как ни одна команда не решила закрытый набор данных для оценки.
  • Прогресс на вторичном лидерборде ARC-AGI-Pub тесно коррелировал с результатами на Kaggle, несмотря на доступ к более мощным LLM и значительно большим вычислительным ресурсам.
  • Все победившие решения и статьи являются открытыми и воспроизводимыми.

Конкурс считается катализатором сдвига в исследованиях ИИ в сторону новых идей, выходящих за рамки простого масштабирования глубокого обучения, что подтверждается недавними релизами от DeepMind и OpenAI, включающими синтез программ или поиск.