A competição do Prêmio ARC 2025 teve como alvo o recém-lançado conjunto de dados ARC-AGI-2, atraindo 1.455 equipes e resultando em uma pontuação máxima de 24% no conjunto de avaliação privado. O tema definidor dos resultados de 2025 é o surgimento de loops de refinamento, que envolvem otimização iterativa de programas por tarefa guiada por sinais de feedback.
- Os métodos de melhor desempenho utilizaram síntese evolutiva de programas ou refinamentos na camada de aplicação para sistemas de IA comerciais.
- Métodos de aprendizado profundo sem pré-treinamento alcançaram desempenho competitivo com pequenas redes de 7M parâmetros usando refinamento no espaço de pesos.
- Quatro laboratórios de ponta (Anthropic, Google DeepMind, OpenAI e xAI) relataram o desempenho ARC-AGI em cartões de modelo públicos, estabelecendo-o como um padrão da indústria.
- A análise indica que o raciocínio atual da IA de ponta continua sendo limitado pela cobertura de conhecimento, levando a novas formas de contaminação de benchmarks.
O relatório surveya esses métodos e antecipa o ARC-AGI-3, que introduzirá desafios de raciocínio interativo exigindo capacidades de exploração, planejamento, memória, aquisição de objetivos e alinhamento.