arxiv arXiv cs.AI · há 2 h · research

SciCode-Verified corrige defeitos de benchmark para revelar a verdadeira capacidade de codificação científica dos modelos

Traduzido do English → Português (BR)

Os autores identificam que a estagnação das pontuações no benchmark SciCode decorre de defeitos significativos no instrumento de avaliação, e não de limitações na capacidade dos modelos. Uma auditoria realizada por especialistas de domínio em 65 problemas de teste revelou 263 defeitos, dos quais 192 causavam a rejeição incorreta de soluções corretas devido a problemas como respostas padrão não reproduzíveis e tolerâncias excessivamente restritivas.

A equipe corrigiu todos os defeitos confirmáveis para criar o SciCode-Verified, adicionando especificações necessárias e reparando a lógica de avaliação.
A reavaliação de doze instantâneos de modelos de ponta no benchmark corrigido mostrou que a precisão por subproblema aumentou de 45–60% para 84–98%.
A precisão em problemas principais aumentou significativamente de 9–27% para 69–92%, demonstrando que os modelos de última geração são muito mais proficientes do que anteriormente sugerido.

Os autores lançam o SciCode-Verified com seu histórico completo de auditoria como o padrão público corrigido, estabelecendo que o gargalo anterior era a qualidade do instrumento de avaliação.

Importância 2/3 Novo ambiente de avaliação com diferenciais arXiv cs.AI Benchmark results Evaluation & benchmarks

Artigos relacionados

media Hugging Face Forums · há 4 d · 8 visualizações

Levent Bulut avalia a confiabilidade da anotação de LLMs em projeção objetiva

Levent Bulut publicou um benchmark com três estudos avaliando a confiabilidade das anotações geradas por máquinas para um corpus narrativo turco, revelando discrepâncias significativas entre os classificadores automatizados e o julgamento humano. O estudo testou seis características de ofício binárias em 120 e 100 cenas usando detectores baseados em regras e modelos incluindo Gemini 2.5 Flash, Grok, ChatGPT 5.5 e Claude Fable 5 High.

arxiv τ²-bench (tau2-bench) · há 14 d · 1 visualização

τ-bench 1.0.1 corrige a avaliação de banking_knowledge para evitar penalizar comportamento cauteloso do agente

A Sierra Research lançou o τ-bench 1.0.1, que corrige o esquema de avaliação da tarefa `banking_knowledge` para parar de penalizar agentes por leituras prudentes de verificação e corrige várias inconsistências nos dados. A atualização garante que a reavaliação das trajetórias do ranking apenas aumente as pontuações, sem que simulações anteriormente aprovadas falhem.

arxiv arXiv cs.CL · há 21 d · 1 visualização

A decomposição da variância revela que a linguagem da consulta domina o ruído nas respostas das marcas de LLM

Um estudo decompõe a não determinística nas recomendações de marca de modelos de linguagem grande (LLM) em quatro fontes separáveis: resampling dentro do prompt, paráfrase do prompt, identidade do modelo e linguagem da consulta. Usando uma análise de efeitos aleatórios cruzados em 12.933 respostas entre três modelos e oito idiomas, os autores identificam a linguagem da consulta como a maior fonte de variância em 26,5%, enquanto a identidade da marca responde por apenas 1,5%.

arxiv arXiv cs.CL · há 23 d · 8 visualizações

AdvancedMathBench apresenta ProverBench e VerifierBench para avaliação de provas matemáticas avançadas

Pesquisadores introduzem o AdvancedMathBench, um conjunto de benchmarks projetado para avaliar as capacidades de raciocínio matemático avançado de grandes modelos de linguagem, abordando lacunas no escopo disciplinar e na granularidade da avaliação encontradas em benchmarks existentes.

arxiv arXiv cs.CL · há 29 d · 6 visualizações

DataGovBench avalia LLMs contra as complexidades de dados do mundo real

Os benchmarks atuais para avaliar Grandes Modelos de Linguagem (LLMs) em análise de dados frequentemente falham em refletir configurações do mundo real, focando na recuperação de fatos de tabelas pequenas enquanto ignoram desafios como conjuntos de dados multi-tabulares grandes e a descoberta de insights exploratórios. Para abordar isso, os autores introduzem o DataGovBench, um benchmark derivado de dados abertos governamentais projetado para avaliar LLMs em cenários práticos.