media Hugging Face Forums · há 1 h · open_models

Claude Fable 5 e ChatGPT 5.5 avaliados na detecção de 'mostrar, não contar'

Traduzido do English → Português (BR)

Um estudo de acompanhamento testou Claude Fable 5 e ChatGPT 5.5 contra um anotador humano na característica inferencial da metáfora materializada usando 100 cenas. A análise revelou discrepâncias significativas nos limiares de detecção entre LLMs, com Claude identificando 78 instâncias e ChatGPT 40, em comparação a contagens próximas de zero para outros modelos.

Nas metáforas materializadas, os anotadores humanos encontraram 9/100 instâncias, enquanto Grok encontrou 0, Gemini ~2, ChatGPT 40 e Claude 78.
As pontuações de concordância (κ) foram aproximadamente zero para as características mais difíceis, sugerindo que a própria definição contribui para a variância.
O estudo corrige afirmações anteriores de que a contradição atmosférica era à prova de máquina, mostrando concordância mensurável para Claude (κ 0.27) e ChatGPT (κ 0.18).

O conjunto de dados e o script de pontuação determinístico estão disponíveis no Hugging Face para recomputação sem envolvimento do modelo.

Importância 1/3 Confiança 1/3 Hugging Face Forums Evaluation & benchmarks

Artigos relacionados

media Hugging Face Forums · há 7 h

Benchmark SRRM revela que Qwen2.5-1.5B supera o 3B em memória de contexto longo

Um pesquisador está buscando um aval do arXiv cs.CL para um artigo que apresenta a Simple Retrieval-Reconstruction Memory (SRRM), um benchmark leve projetado para avaliar a memória de contexto longo em Small Language Models.

media Hugging Face Forums · há 13 h

Jeanbosange lança protótipo de auditoria em tempo real do LIMEN para inspecionar trajetórias de ativação por camada

Jeanbosange publicou o primeiro protótipo público do LIMEN Runtime Audit, um kit de ferramentas de código aberto projetado para inspecionar trajetórias de ativação por camada em modelos de linguagem de peso aberto. A ferramenta trata a sequência de estados ocultos entre as camadas como uma trajetória mensurável, fornecendo uma camada de observabilidade reproduzível para comparar o comportamento interno em tempo de execução.

media Hugging Face Forums · há 3 d

John6666 lança a primeira implementação de referência independente para REO v1.5

John "John6666" desenvolveu a primeira implementação de referência independente do protocolo Reference Evaluation Object (REO v1.5), cumprindo um objetivo-chave do programa de pesquisa EPE para permitir benchmarks reproduzíveis por contribuidores externos.

arxiv τ²-bench (tau2-bench) · há 3 d

τ-bench 1.0.1 corrige a avaliação de banking_knowledge para evitar penalizar comportamento cauteloso do agente

A Sierra Research lançou o τ-bench 1.0.1, que corrige o esquema de avaliação da tarefa `banking_knowledge` para parar de penalizar agentes por leituras prudentes de verificação e corrige várias inconsistências nos dados. A atualização garante que a reavaliação das trajetórias do ranking apenas aumente as pontuações, sem que simulações anteriormente aprovadas falhem.

media Hugging Face Forums · há 3 d

Autor propõe registro aberto de k para saturação de evidência em LLMs locais

O autor publicou um artigo piloto e um registro aberto no Hugging Face para medir o ponto de saturação de evidência (k*) dos modelos de linguagem. Esta métrica determina o número ideal de fragmentos de evidência a injetar nos prompts, pois adicionar mais contexto não melhora monotonicamente a correção e pode aumentar o custo ou a contaminação epistêmica.