media Hugging Face Forums · há 2 h · open_models

Levent Bulut avalia a confiabilidade da anotação de LLMs em projeção objetiva

Traduzido do English → Português (BR)

Levent Bulut publicou um benchmark com três estudos avaliando a confiabilidade das anotações geradas por máquinas para um corpus narrativo turco, revelando discrepâncias significativas entre os classificadores automatizados e o julgamento humano. O estudo testou seis características de ofício binárias em 120 e 100 cenas usando detectores baseados em regras e modelos incluindo Gemini 2.5 Flash, Grok, ChatGPT 5.5 e Claude Fable 5 High.

As pontuações de kappa de Cohen estiveram próximas do acaso para cinco dos seis classificadores, variando de 0,000 a 0,027.
Para a regra que exigia inferência sobre estados abstratos, os avaliadores humanos identificaram 9 positivos enquanto o ChatGPT 5.5 identificou 40 e o detector identificou 72.
O ChatGPT 5.5 alcançou a maior concordância bruta de 84,5%, principalmente porque cinco das seis regras tinham distribuições desequilibradas favorecendo rótulos negativos.
O autor observa que quatro das seis regras eram efetivamente intestáveis devido a defeitos no conjunto de avaliação em vez de falhas do modelo.

Os resultados sugerem que ou a característica requer inferência além dos modelos atuais ou que a definição não é operacional o suficiente para uma aplicação consistente. Bulut disponibilizou como código aberto o dataset, os prompts e os scripts para buscar um segundo avaliador humano independente.

Importância 1/3 Confiança 1/3 Hugging Face Forums Benchmark results Evaluation & benchmarks

Artigos relacionados

arxiv τ²-bench (tau2-bench) · há 10 d

τ-bench 1.0.1 corrige a avaliação de banking_knowledge para evitar penalizar comportamento cauteloso do agente

A Sierra Research lançou o τ-bench 1.0.1, que corrige o esquema de avaliação da tarefa `banking_knowledge` para parar de penalizar agentes por leituras prudentes de verificação e corrige várias inconsistências nos dados. A atualização garante que a reavaliação das trajetórias do ranking apenas aumente as pontuações, sem que simulações anteriormente aprovadas falhem.

arxiv arXiv cs.CL · há 17 d

A decomposição da variância revela que a linguagem da consulta domina o ruído nas respostas das marcas de LLM

Um estudo decompõe a não determinística nas recomendações de marca de modelos de linguagem grande (LLM) em quatro fontes separáveis: resampling dentro do prompt, paráfrase do prompt, identidade do modelo e linguagem da consulta. Usando uma análise de efeitos aleatórios cruzados em 12.933 respostas entre três modelos e oito idiomas, os autores identificam a linguagem da consulta como a maior fonte de variância em 26,5%, enquanto a identidade da marca responde por apenas 1,5%.

arxiv arXiv cs.CL · há 19 d · 2 visualizações

AdvancedMathBench apresenta ProverBench e VerifierBench para avaliação de provas matemáticas avançadas

Pesquisadores introduzem o AdvancedMathBench, um conjunto de benchmarks projetado para avaliar as capacidades de raciocínio matemático avançado de grandes modelos de linguagem, abordando lacunas no escopo disciplinar e na granularidade da avaliação encontradas em benchmarks existentes.

arxiv arXiv cs.CL · há 25 d · 3 visualizações

DataGovBench avalia LLMs contra as complexidades de dados do mundo real

Os benchmarks atuais para avaliar Grandes Modelos de Linguagem (LLMs) em análise de dados frequentemente falham em refletir configurações do mundo real, focando na recuperação de fatos de tabelas pequenas enquanto ignoram desafios como conjuntos de dados multi-tabulares grandes e a descoberta de insights exploratórios. Para abordar isso, os autores introduzem o DataGovBench, um benchmark derivado de dados abertos governamentais projetado para avaliar LLMs em cenários práticos.

arxiv arXiv cs.CL · há 26 d

MORE: benchmark multilíngue de análise de documentos cobrindo 149 idiomas

Pesquisadores apresentam o MORE, um benchmark em larga escala projetado para avaliar o desempenho de Vision-Language Models na análise de documentos multilíngues. O conjunto de dados aborda a falta de ground truth para low-resource languages por meio da curadoria de amostras de documentos do mundo real através de um pipeline de anotação assistido por modelos e refinado por humanos.