Живое исследование, опубликованное в марте 2026 года, анализирует 82 подхода к трём версиям бенчмарка Abstraction and Reasoning Corpus (ARC-AGI). Исследование показывает, что, хотя топовые модели, такие как Opus 4.6, достигают точности 93,0% на ARC-AGI-1, производительность падает до 68,8% на ARC-AGI-2 и до 13% на ARC-AGI-3.
- Падение производительности в 2–3 раза наблюдается последовательно для парадигм синтеза программ, нейро-символических и нейросетевых подходов при переходе от версии 1 к версии 2.
- Стоимость тестирования снизилась в 390 раз за один год: с $4500/задача для o3 до $12/задача для GPT-5.2, хотя это отражает снижение параллелизма во время тестирования.
- Работы, ограниченные правилами Kaggle и имеющие от 660M до 8B параметров, показывают конкурентоспособные результаты, что подтверждает тезис о том, что интеллект — это эффективность приобретения навыков.
- Победителям ARC Prize 2025 потребовались сотни тысяч синтетических примеров, чтобы достичь лишь 24% на ARC-AGI-2.
Авторы приходят к выводу, что композиционное рассуждение и интерактивное обучение остаются нерешёнными задачами, а текущие системы остаются привязанными к знаниям, не демонстрируя истинного подвижного интеллекта.