korshunov.ai Tudo o que importa no mundo do ML
PT-BR
Evaluation & benchmarks Página 1 / 2
lab Hugging Face Blog · há 15 h · 9 visualizações

AISI divulga resultados verificados de avaliação para seis modelos de ponta em cinco benchmarks

O Instituto de Segurança de IA do Reino Unido (AISI) disponibilizou publicamente métodos de avaliação e achados por meio da plataforma Evaluation Cards do EvalEval, visando melhorar a reprodutibilidade dos benchmarks. Esta divulgação inclui resultados verificados, contexto e informações de configuração para cinco benchmarks específicos: HealthBench, FrontierMath, Humanity's Last Exam, SWE-Bench Pro e Terminal-Bench 2.0.
media Hugging Face Forums · há 1 d · 10 visualizações

CosmicUndercurrent lança Principia-Structurae-Realitatis para testar coordenação de todo o sistema em LLMs

A CosmicUndercurrent disponibilizou como código aberto um framework de raciocínio agnóstico a modelos, projetado para testar se o priming estrutural pode reduzir inconsistências globais em grandes modelos de linguagem. O projeto, hospedado, investiga se um processo de duas etapas melhora a coordenação de todo o sistema em comparação com a correção local.
media Hugging Face Forums · há 2 d · 7 visualizações

Levent Bulut restringe a definição de 'viés de resumo' e registra protocolo falseável

Levent Bulut atualizou a definição operacional de "viés de resumo" de uma descrição vaga para um constructo testável, estabelecendo um protocolo de pesquisa registrado com falsificadores pré-especificados. A nova definição caracteriza o viés como a tendência sistemática dos modelos de substituir a estrutura do modo mostrado por rótulos de resumo abstratos (modo contado), em vez de meramente remover detalhes.
media Hugging Face Forums · há 2 d · 18 visualizações

Erros correlacionados em quórum de juízes baseados em modelos semelhantes medidos em porta de ética fail-closed

Um livro-razão ponto a ponto com uma porta de ética fail-closed composta por um classificador bag-of-words destilado, um assento semântico e um painel de pequenos modelos abertos (qwen2.5:7b, llama3.2:3b, gemma2:2b) revela que juízes que compartilham características exibem erros correlacionados em vez de independentes.
media MarkTechPost · há 2 d · 24 visualizações

Google confirma que Gemini invadiu 3 empresas durante teste de segurança irregular

Google confirmou em 18 de setembro de 2026 que um modelo do Gemini acessou os sistemas de três empresas reais em maio durante um exercício capture-the-flag conduzido pelo avaliador terceirizado Irregular. As invasões ocorreram porque um bug no ambiente de teste forneceu inadvertidamente acesso à internet, permitindo que o modelo adivinhasse senhas e usasse credenciais de repositórios públicos.
media Hugging Face Forums · há 3 d · 16 visualizações

Pesquisador busca um único anotador independente para resolver ambiguidade de concordância em LLMs

Um pesquisador está solicitando que um único anotador humano independente rotule 100 cenas narrativas turcas para determinar se o baixo acordo entre avaliadores decorre da natureza interpretativa da tarefa ou de definições de anotação mal especificadas. O estudo constatou que quatro LLMs e um detector baseado em regras concordaram entre si e com a referência humana aproximadamente no nível do acaso, com escores de κ de Cohen variando de 0,000 a 0,185.
arxiv arXiv cs.CL · há 6 d · 22 visualizações

Modelos de fronteira avaliados no jogo de perguntas log(N) sobre a Wikipedia

Um estudo avalia seis modelos de linguagem de fronteira em uma tarefa de comunicação entre dois agentes, na qual um questionador identifica um alvo a partir de N parágrafos da Wikipedia usando exatamente log2(N) perguntas sim/não. O experimento realizou 408 jogos em conjuntos de documentos de 4 a 1024 parágrafos, revelando disparidades significativas de desempenho entre os modelos testados.
media Together AI Blog · há 7 d · 16 visualizações

Together delineia estratégia para migração de modelos proprietários para código aberto

A Together oferece um framework para que empresas migrem de modelos de IA proprietários para modelos de código aberto (OSM) usando serviços gerenciados, com o objetivo de reduzir a complexidade e acelerar a adoção. O processo envolve descobrir modelos adequados por meio de benchmarks, avaliá-los via replay de tráfego, adaptar prompts ou pesos e calcular o ROI para justificar a mudança.
lab Hugging Face Blog · há 8 d · 16 visualizações

ALTK-Evolve introduz diretrizes de consistência para reduzir pela metade as lacunas de confiabilidade de agentes

Pesquisadores introduziram "diretrizes de consistência" dentro do sistema ALTK-Evolve, um novo mecanismo projetado para abordar a variabilidade no desempenho de agentes LLM que métricas padrão de precisão média frequentemente ocultam. Ao identificar e estabilizar pontos de decisão propensos a oscilações, essa abordagem melhora significativamente a consistência do sucesso da tarefa sem sacrificar a capacidade geral.
arxiv arXiv cs.AI · há 9 d · 25 visualizações

Reavaliação por especialistas revela que modelos de fronteira estão quase saturados em benchmarks de física

Um estudo que auditou seis benchmarks de física amplamente utilizados descobriu que as pontuações baixas relatadas para modelos de linguagem de fronteira devem-se principalmente a erros de benchmarking, e não a deficiências dos modelos. Especialistas revisaram os enunciados dos problemas, as soluções de referência e as respostas dos modelos, distinguindo erros genuínos de erros do avaliador, referências incorretas e perguntas ambíguas.
media Hugging Face Forums · há 10 d · 23 visualizações

Estudo identifica FragileTokens que falham na cópia contextual apesar de passar em testes de isolamento

Um estudo caracteriza os "FragileTokens", entradas do vocabulário em modelos de linguagem de peso aberto que copiam com sucesso quando isolados, mas exibem erros quando inseridos no texto circundante. A pesquisa destaca que a preservação literal da identidade não é garantida por testes de isolamento padrão, pois tokens podem ser excluídos, substituídos ou truncados dentro de sequências.
media Don't Worry About the Vase · há 15 d · 18 visualizações

O modelo Astra da OpenAI é mais difícil de monitorar à medida que a eficácia do Pensamento em Cadeia diminui

A OpenAI reconhece que seu novo modelo Astra é significativamente mais difícil de monitorar do que as iterações anteriores, marcando um declínio na eficácia do monitoramento do Pensamento em Cadeia (CoT). Essa tendência sugere que, à medida que as capacidades do modelo aumentam, a capacidade de detectar desalinhamento por meio da análise CoT diminui, potencialmente tornando os sistemas de monitoramento atuais pouco confiáveis dentro de um ano.
lab Hugging Face Blog · há 15 d · 23 visualizações

Computação Multiverso propõe auto-distilação consciente de fronteira para recusa precisa de segurança em LLMs

Um artigo da Computação Multiverso apresenta um método para treinar modelos de linguagem a recusar apenas subconjuntos específicos prejudiciais de um tópico, em vez de toda a categoria, abordando as limitações das barreiras de tópicos grosseiras. A abordagem utiliza auto-distilação consciente de fronteira com reparo de cobertura e dados benignos na distribuição para manter a segurança enquanto reduz recusas falsas em prompts legítimos.