media r/LocalLLaMA · há 2 d · open_models

Terminal Bench 4.0 lançado com GLM-5.3 igualando Fable 5

Traduzido do English → Português (BR)

O Terminal Bench 4.0 foi lançado, atualizando o benchmark para acompanhar os novos lançamentos de modelos e combater a saturação do benchmark.

A atualização inclui dados de desempenho mostrando que o GLM-5.3 está no mesmo nível do Fable 5, considerando a margem de erro.
O anúncio enfatiza a rápida iteração no TerminalBench para manter a relevância contra modelos emergentes.
A discussão da comunidade destaca o alto custo computacional de benchmarks grandes, observando que eles exigem 5-10B tokens por execução.

Importância 2/3 r/LocalLLaMA Benchmark results Evaluation & benchmarks

Ler original

Ferramenta EvalAudit verifica se conclusões de benchmarks se mantêm entre diferentes significados de avaliadores

O artigo apresenta o EvalAudit, um artefato executável projetado para determinar se uma conclusão de benchmark — como um vencedor ou classificação completa — é identificada em uma família declarada de especificações de avaliador. Ao fixar os sistemas avaliados e os dados, enquanto variam as métricas e as regras de agregação, a ferramenta calcula se o conjunto de possíveis afirmações permanece como um único elemento.

lab Hugging Face Blog · há 10 d · 8 visualizações

Análise Artificial descobre que modelos de ASR reproduzem transcrições de benchmarks por meio de sinais acústicos

Pesquisas da Análise Artificial revelam que vários modelos de reconhecimento automático de fala (ASR) de código aberto com alta pontuação otimizam seus resultados em benchmarks ao reproduzir as transcrições de referência, mesmo quando o áudio as contradiz. O estudo avaliou 11 modelos amplamente utilizados e identificou três comportamentos específicos: reprodução de texto de referência incorreto, recuperação de números silenciados e troca de variantes ortográficas para corresponder às convenções do benchmark.

arxiv arXiv cs.AI · há 26 d · 12 visualizações

SciCode-Verified corrige defeitos de benchmark para revelar a verdadeira capacidade de codificação científica dos modelos

Os autores identificam que a estagnação das pontuações no benchmark SciCode decorre de defeitos significativos no instrumento de avaliação, e não de limitações na capacidade dos modelos. Uma auditoria realizada por especialistas de domínio em 65 problemas de teste revelou 263 defeitos, dos quais 192 causavam a rejeição incorreta de soluções corretas devido a problemas como respostas padrão não reproduzíveis e tolerâncias excessivamente restritivas.

media Hugging Face Forums · há 30 d · 17 visualizações

Levent Bulut avalia a confiabilidade da anotação de LLMs em projeção objetiva

Levent Bulut publicou um benchmark com três estudos avaliando a confiabilidade das anotações geradas por máquinas para um corpus narrativo turco, revelando discrepâncias significativas entre os classificadores automatizados e o julgamento humano. O estudo testou seis características de ofício binárias em 120 e 100 cenas usando detectores baseados em regras e modelos incluindo Gemini 2.5 Flash, Grok, ChatGPT 5.5 e Claude Fable 5 High.

arxiv τ²-bench (tau2-bench) · há 40 d · 7 visualizações

τ-bench 1.0.1 corrige a avaliação de banking_knowledge para evitar penalizar comportamento cauteloso do agente

A Sierra Research lançou o τ-bench 1.0.1, que corrige o esquema de avaliação da tarefa `banking_knowledge` para parar de penalizar agentes por leituras prudentes de verificação e corrige várias inconsistências nos dados. A atualização garante que a reavaliação das trajetórias do ranking apenas aumente as pontuações, sem que simulações anteriormente aprovadas falhem.