lab ARC Prize · há 514 d

Fundação ARC Prize lança benchmark ARC-AGI-2 e Prêmio ARC 2025

Traduzido do English → Português (BR)

A Fundação ARC Prize lançou o ARC-AGI-2, um novo benchmark projetado para medir inteligência fluida por meio de tarefas que são fáceis para humanos, mas difíceis para os sistemas atuais de IA. Junto com o benchmark, a organização anunciou a competição do Prêmio ARC 2025 para impulsionar o progresso de código aberto na inteligência geral eficiente.

O ARC-AGI-2 eleva significativamente a barra de dificuldade em comparação ao seu antecessor, com LLMs puros marcando 0% e sistemas de raciocínio públicos alcançando apenas porcentagens de um dígito. O benchmark consiste em 120 tarefas por conjunto de avaliação (contra 100 anteriores) que exigem interpretação simbólica, raciocínio composicional e aplicação de regras contextuais. Participantes humanos resolveram todas as tarefas em duas tentativas ou menos, destacando a lacuna entre a adaptabilidade humana e as capacidades atuais da IA.

A iniciativa visa servir como uma estrela do norte para a pesquisa de AGI, focando nas lacunas de capacidade que não emergem do aumento de escala, inspirando pesquisadores a desenvolver ideias inovadoras para inteligência geral.

Importância 2/3 ARC Prize Evaluation & benchmarks Reasoning models

Benchmarks

Benchmark	Modelo	Pontuação
ARC-AGI 2	public AI reasoning systems	9%

Artigos relacionados

media Hugging Face Forums · há 17 d · 25 visualizações

GPT-5.6 recupera 95% das mensagens ocultas em benchmark de criptografia literária inédito

Um artigo pré-publicado de Joseph JM Walker avalia modelos de linguagem de ponta em um benchmark de criptografia literária multi-canal inédito, embutido no romance físico "I Wrote a Book and Made a Million Dollars (I.B. Wryten)." O estudo descobre que o GPT-5.6 reconheceu independentemente o canal de comunicação secundário e recuperou aproximadamente 95% do material embutido em sua primeira passagem, enquanto modelos anteriores demonstraram capacidade efetivamente de 0%.

arxiv arXiv cs.CL · há 35 d · 29 visualizações

GSM-Plus-BN apresenta benchmark baseado em perturbação para raciocínio matemático em bangla

O estudo introduz o GSM-Plus-BN, um novo conjunto de dados matemáticos bengalis perturbados derivado do benchmark GSM-Plus em inglês e verificado por tradutores humanos. Este recurso aborda a falta de benchmarks sistemáticos para avaliar a robustez de modelos em regiões linguisticamente diversas como Bangladesh.

arxiv arXiv cs.AI · há 37 d · 20 visualizações

WILDTRACE apresenta benchmark para trilhas de evidências naturais em raciocínio de contexto longo

Os autores apresentam o WILDTRACE, um novo benchmark projetado para avaliar quão bem os modelos integram evidências dispersas ao longo de passagens distantes em documentos longos. Diferente dos benchmarks existentes que dependem de fatos plantados ou cadeias reengenheiradas, o WILDTRACE utiliza 481 tarefas derivadas de 214 fontes de ocorrência natural, como relatórios técnicos de incidentes e narrativas literárias.

arxiv arXiv cs.CL · há 38 d · 20 visualizações

Benchmark WILDTRACE introduz 481 tarefas para trilhas de evidência natural em raciocínio de contexto longo

Os autores apresentam o WILDTRACE, um novo benchmark projetado para avaliar quão bem os modelos integram evidências dispersas naturalmente por passagens distantes em documentos longos. Diferente dos benchmarks existentes que usam fatos plantados ou cadeias reengenheiradas, o WILDTRACE baseia-se na lógica causal, temporal e narrativa interna à fonte.

lab OpenAI News · há 51 d · 25 visualizações

Apresentando o GeneBench-Pro

O GeneBench-Pro é um benchmark de nível de pesquisa projetado para medir como agentes de IA lidam com ambiguidade e tomam decisões impactantes em biologia computacional, expandindo o GeneBench original. Ele aborda a limitação das avaliações atuais ao testar capacidades de ordem superior, como lidar com ruído nos dados, revisar suposições e determinar quando os resultados estão prontos para decisão.