Benchmark · reasoning
ARC-AGI 2
O ARC-AGI 2 (Abstraction & Reasoning Corpus, versão 2, realizado como ARC Prize 2025) mede o raciocínio fluido: inferir uma regra abstrata a partir de poucos exemplos e aplicá-la a um caso novo. A pontuação é a porcentagem de quebra-cabeças resolvidos corretamente em um conjunto de avaliação reservado e semiprivado.
Saiba mais
- Exemplo
- Uma tarefa apresenta alguns pares de entrada→saída em grades coloridas (uma pequena grade de células coloridas transformada de uma forma consistente), e quem resolve precisa deduzir a transformação oculta e produzir a grade de saída correta para uma nova entrada.
- Pontuação
- Cada quebra-cabeça é aprovado ou não: a grade de saída produzida é comparada com a grade correta exata, e a pontuação relatada é a porcentagem de quebra-cabeças resolvidos no conjunto de avaliação semiprivado.
- Verificação
- Os resultados são verificados automaticamente por correspondência exata da grade de saída — a grade prevista precisa bater com a resposta célula por célula — em um conjunto de teste semiprivado que não é divulgado publicamente para evitar memorização.
- Por que importa
- Ele foca em quebra-cabeças fáceis para pessoas, mas difíceis para a AI, por isso é uma medida bastante acompanhada de abstração real e raciocínio geral, e não de conhecimento memorizado.
Exemplo resolvido
Tarefa
Quebra-cabeça de grade ARC-AGI-2: deduza a transformação a partir dos pares de treino e depois forneça a grade de saída para a entrada de teste (dígitos 0–9 são cores; 0 = fundo preto). Treino 1: [[4,0,0,0],[0,0,6,0],[4,0,0,0],[0,0,6,0]] → [[0,0,0,0],[0,0,0,0],[4,0,6,0],[4,0,6,0]]. Treino 2: [[0,3,0,0],[0,0,0,8],[0,3,0,0],[0,0,0,0]] → [[0,0,0,0],[0,0,0,0],[0,3,0,0],[0,3,0,8]]. Teste: [[0,0,2,0],[5,0,0,0],[0,0,2,0],[5,0,0,0]] → ?
Solução
[[0, 0, 0, 0],
[0, 0, 0, 0],
[5, 0, 2, 0],
[5, 0, 2, 0]]
Explicação
Cada par de treino mostra uma única regra — a 'gravidade': cada célula colorida cai em linha reta para as células livres mais baixas de sua coluna, mantendo cor e quantidade, enquanto o fundo (0) sobe. No teste, os dois 5 da coluna 0 e os dois 2 da coluna 2 se assentam nas duas linhas de baixo. O ARC-AGI-2 avalia por correspondência exata da grade — dimensões corretas e o valor de cada célula — com pontuação pass@2 em duas tentativas permitidas.