arxiv Moonshot AI (arXiv) · há 797 d

MMLU-Pro apresenta um benchmark mais robusto com 10 opções e perguntas focadas em raciocínio

Traduzido do English → Português (BR)

Pesquisadores apresentam o MMLU-Pro, uma versão aprimorada do benchmark Massive Multitask Language Understanding, projetado para abordar a saturação de desempenho e a instabilidade nos atuais modelos de linguagem grandes. O novo conjunto de dados expande o conjunto de opções de quatro para dez, integra perguntas desafiadoras de raciocínio de nível universitário e elimina itens ruidosos por meio de revisão especializada.

A queda na precisão é de 16% a 33% em comparação com o MMLU, com o modelo principal GPT-4o marcando apenas 72,6%.
A sensibilidade da pontuação do modelo às variações de prompt diminui de 4-5% no MMLU para apenas 2% no MMLU-Pro em 24 estilos.
O raciocínio Chain of Thought aumenta significativamente o desempenho no MMLU-Pro, melhorando o GPT-4o em 19%, enquanto prejudica os resultados no benchmark original.
O benchmark abrange 14 domínios com mais de 12.000 perguntas, oferecendo maior poder discriminativo entre modelos como GPT-4o e GPT-4-Turbo.

O MMLU-Pro serve como uma métrica mais confiável e difícil para acompanhar o progresso nas capacidades de compreensão e raciocínio de linguagem em nível de especialista.

Importância 1/3 Moonshot AI (arXiv) Benchmark results Evaluation & benchmarks

Benchmarks

Benchmark	Modelo	Pontuação
MMLU-Pro	GPT-4o	72.6%
MMLU-Pro	GPT-4-Turbo	63.7%

Artigos relacionados

arxiv arXiv cs.AI · há 3 d

SciCode-Verified corrige defeitos de benchmark para revelar a verdadeira capacidade de codificação científica dos modelos

Os autores identificam que a estagnação das pontuações no benchmark SciCode decorre de defeitos significativos no instrumento de avaliação, e não de limitações na capacidade dos modelos. Uma auditoria realizada por especialistas de domínio em 65 problemas de teste revelou 263 defeitos, dos quais 192 causavam a rejeição incorreta de soluções corretas devido a problemas como respostas padrão não reproduzíveis e tolerâncias excessivamente restritivas.

media Hugging Face Forums · há 7 d · 8 visualizações

Levent Bulut avalia a confiabilidade da anotação de LLMs em projeção objetiva

Levent Bulut publicou um benchmark com três estudos avaliando a confiabilidade das anotações geradas por máquinas para um corpus narrativo turco, revelando discrepâncias significativas entre os classificadores automatizados e o julgamento humano. O estudo testou seis características de ofício binárias em 120 e 100 cenas usando detectores baseados em regras e modelos incluindo Gemini 2.5 Flash, Grok, ChatGPT 5.5 e Claude Fable 5 High.

arxiv τ²-bench (tau2-bench) · há 17 d · 1 visualização

τ-bench 1.0.1 corrige a avaliação de banking_knowledge para evitar penalizar comportamento cauteloso do agente

A Sierra Research lançou o τ-bench 1.0.1, que corrige o esquema de avaliação da tarefa `banking_knowledge` para parar de penalizar agentes por leituras prudentes de verificação e corrige várias inconsistências nos dados. A atualização garante que a reavaliação das trajetórias do ranking apenas aumente as pontuações, sem que simulações anteriormente aprovadas falhem.

arxiv arXiv cs.CL · há 24 d · 1 visualização

A decomposição da variância revela que a linguagem da consulta domina o ruído nas respostas das marcas de LLM

Um estudo decompõe a não determinística nas recomendações de marca de modelos de linguagem grande (LLM) em quatro fontes separáveis: resampling dentro do prompt, paráfrase do prompt, identidade do modelo e linguagem da consulta. Usando uma análise de efeitos aleatórios cruzados em 12.933 respostas entre três modelos e oito idiomas, os autores identificam a linguagem da consulta como a maior fonte de variância em 26,5%, enquanto a identidade da marca responde por apenas 1,5%.

arxiv arXiv cs.CL · há 26 d · 8 visualizações

AdvancedMathBench apresenta ProverBench e VerifierBench para avaliação de provas matemáticas avançadas

Pesquisadores introduzem o AdvancedMathBench, um conjunto de benchmarks projetado para avaliar as capacidades de raciocínio matemático avançado de grandes modelos de linguagem, abordando lacunas no escopo disciplinar e na granularidade da avaliação encontradas em benchmarks existentes.