lab ARC Prize · há 611 d

Vencedores do ARC Prize 2024 publicados; SOTA no ARC-AGI-1 sobe para 55,5%

Traduzido do English → Português (BR)

A organização do Prêmio ARC anunciou os vencedores da competição de 2024 e publicou o Relatório Técnico associado, revelando que a pontuação de estado da arte (SOTA) no benchmark ARC-AGI-1 aumentou de 33% para 55,5% durante o evento.

Um total de 1.430 equipes enviaram 17.789 entradas para a competição.
O Grande Prêmio permaneceu sem dono, pois nenhuma equipe resolveu o conjunto de avaliação privado.
O progresso no leaderboard secundário ARC-AGI-Pub acompanhou de perto as pontuações do Kaggle apesar do acesso a LLMs de fronteira maiores e significativamente mais computação.
Todas as soluções vencedoras e artigos são de código aberto e reproduzíveis.

A competição é creditada por catalisar uma mudança na pesquisa de IA em direção a novas ideias além do simples escalonamento do deep learning, evidenciado pelos lançamentos recentes da DeepMind e OpenAI que incorporam síntese de programas ou busca.

Importância 1/3 ARC Prize Evaluation & benchmarks Research paper

Benchmarks

Benchmark	Modelo	Pontuação
ARC-AGI 1	MindsAI	55.5%

Ler original

M$^3$R-Bench apresenta benchmark fundamentado em evidências para compreensão de metáforas multimodais

Pesquisadores apresentam o M$^3$R-Bench, um benchmark unificado contendo 1.000 instâncias de imagem-texto com anotações verificadas por humanos, projetado para avaliar a compreensão fundamentada em evidências de metáforas multimodais. O benchmark fornece anotações conjuntas para ocorrência de metáfora, mapeamento Alvo-Fonte, sentimento e explicações etapa a etapa baseadas na Teoria da Metáfora Conceitual.

arxiv arXiv cs.CL · há 12 d

Framework Zing melhora a inteligência social de LLMs por meio do benchmark SoMBench e fundamentação Actio

O relatório apresenta o Zing, um framework integrado projetado para aprimorar a inteligência social de grandes modelos de linguagem ao medir, internalizar e fundamentar capacidades sociais. Os autores apresentam o SoMBench, um benchmark fundamentado na psicologia que abrange 17 dimensões secundárias e 3.481 instâncias verificadas por especialistas, revelando que os LLMs atuais têm uma margem significativa de melhoria, sem nenhum modelo alcançar desempenho próximo ao teto.

media Hugging Face Forums · há 15 d · 2 visualizações

Benchmark SRRM revela que Qwen2.5-1.5B supera o 3B em memória de contexto longo

Um pesquisador está buscando um aval do arXiv cs.CL para um artigo que apresenta a Simple Retrieval-Reconstruction Memory (SRRM), um benchmark leve projetado para avaliar a memória de contexto longo em Small Language Models.

arxiv arXiv cs.CL · há 24 d

Ajuste fino de LLM com traços melhora a pontuação de ensaios em múltiplas rúbricas

Pesquisadores abordam o desafio da pontuação automática de ensaios quando educadores revisam ou introduzem novas rúbricas, um cenário conhecido como generalização cruzada de rúbricas. Eles propõem um framework de ajuste fino para Grandes Modelos de Linguagem que utiliza representações intermediárias independentes da rúbrica chamadas "traços" juntamente com a supervisão do ensário-alvo durante o treinamento.

arxiv arXiv cs.CL · há 24 d

Acompanhamento ao vivo de Gurbani: Benchmark e sistema de referência para legendagem de Kirtan sikh

Os autores apresentam um benchmark e um sistema de referência para a legendagem ao vivo do Kirtan sikh, que envolve a recitação cantada contínua de versos do Sri Guru Granth Sahib Ji. Diferente da transcrição com vocabulário aberto, esta tarefa requer correspondências exatas palavra por palavra do texto canônico para evitar erros ortográficos religiosamente inadequados.