Benchmark · reasoning
ARC-AGI 1
O ARC-AGI 1 mede o raciocínio abstrato e a generalização: cada tarefa mostra alguns exemplos de grades de entrada→saída, e quem resolve precisa inferir a regra de transformação oculta e produzir a grade de saída correta para uma nova entrada. A métrica é a porcentagem de tarefas resolvidas com uma grade de saída que corresponde exatamente.
Saiba mais
- Exemplo
- Uma tarefa pode apresentar duas ou três pequenas grades coloridas em que cada entrada vira sua saída por uma mesma regra — por exemplo, preencher cada região fechada ou espelhar uma forma — e você precisa aplicar essa regra inferida a uma grade nova, nunca vista.
- Pontuação
- Uma tarefa só conta como resolvida quando a grade produzida coincide célula por célula com a resposta de referência; a pontuação final é a fração (porcentagem) de tarefas resolvidas em todo o conjunto de avaliação.
- Verificação
- A verificação é automática e exata: a grade de saída enviada é comparada célula por célula com a grade correta, sem crédito parcial e sem votação humana.
- Por que importa
- Os quebra-cabeças são feitos para serem fáceis para pessoas, mas difíceis para modelos que dependem de padrões memorizados, então o benchmark avalia abstração real e generalização com poucos exemplos, e não conhecimento memorizado — o que o torna uma medida bastante acompanhada do progresso rumo a uma IA mais geral.
Exemplo resolvido
Tarefa
O ARC-AGI 1 mostra algumas demonstrações de grades entrada→saída e depois uma entrada de teste reservada; você infere a transformação e desenha a grade de saída exata (as células são cores 0-9, 0=preto). Aqui as demos revelam uma regra autofractal: cada grade 3×3 se expande para 9×9, carimbando uma cópia da grade inteira onde a célula tem cor e um bloco 3×3 vazio onde vale 0. Entrada de teste (3×3):
0 8 0 / 8 8 8 / 0 8 0 (uma cruz na cor 8).Solução
0 0 0 0 8 0 0 0 0
0 0 0 8 8 8 0 0 0
0 0 0 0 8 0 0 0 0
0 8 0 0 8 0 0 8 0
8 8 8 8 8 8 8 8 8
0 8 0 0 8 0 0 8 0
0 0 0 0 8 0 0 0 0
0 0 0 8 8 8 0 0 0
0 0 0 0 8 0 0 0 0
Explicação
As células de cor 8 ficam nos pontos médios dos quatro lados e no centro da cruz; carimbar a cruz exatamente nesses cinco blocos 3×3 (e deixar os quatro cantos vazios) constrói o fractal 9×9. O ARC-AGI pontua apenas a correspondência exata célula por célula — uma única célula errada reprova a tarefa, com até 2 tentativas permitidas.