lab Hugging Face Blog · há 15 h · releases

AISI divulga resultados verificados de avaliação para seis modelos de ponta em cinco benchmarks

Traduzido do English → Português (BR)

O Instituto de Segurança de IA do Reino Unido (AISI) disponibilizou publicamente métodos de avaliação e achados por meio da plataforma Evaluation Cards do EvalEval, visando melhorar a reprodutibilidade dos benchmarks. Esta divulgação inclui resultados verificados, contexto e informações de configuração para cinco benchmarks específicos: HealthBench, FrontierMath, Humanity's Last Exam, SWE-Bench Pro e Terminal-Bench 2.0.

Os dados abrangem seis modelos de ponta: Claude Opus 4, Claude Opus 4.5, Claude Opus 4.6, GPT-5, GPT-5.2 e GPT-5.4.
Resultados adicionais de duas avaliações cibernéticas, Cyber CTFs e The Last Ones, estão incluídos usando um conjunto parcialmente sobreposto de modelos.
A divulgação acompanha o artigo do AISI sobre como o poder computacional de inferência molda a avaliação de LLMs de ponta, destacando que o desempenho no Humanity's Last Exam varia conforme o protocolo de avaliação e a contagem de tokens.

A divulgação aberta de resultados com informações de configuração permite que pesquisadores examinem os estudos detalhadamente, comparem achados em todo o ecossistema e entendam como as escolhas de configuração influenciam o desempenho relatado.

Importância 1/3 Novo ambiente de avaliação com diferenciais Confiança 1/3 Hugging Face Blog OpenAI Anthropic Benchmark results Evaluation & benchmarks

Artigos relacionados

arxiv arXiv cs.CL · há 80 d · 40 visualizações

Avaliação zero-shot mostra que o Gemini lidera os LLMs na taxonomia de emoções de 13 classes

Um estudo avaliou três grandes modelos de linguagem comerciais — Claude (claude-sonnet-4-6), ChatGPT (GPT-5.4) e Gemini (gemini-2.5-flash) — em uma tarefa de classificação fina de emoções zero-shot usando uma amostra estratificada de 1.000 frases do conjunto de dados boltuix/emotions.

media Latent Space · agora mesmo · 3 visualizações Ao vivo

Anthropic lança Claude Opus 5.5 com escrita aprimorada e custos reduzidos

A Anthropic lançou o Claude Opus 5.5, o primeiro modelo de sua nova família Claude 5.5, posicionando-o como uma alternativa mais eficiente às gerações anteriores. O modelo é projetado para atingir o nível do Claude Fable 5.1 na maioria das tarefas, enquanto custa 40% menos para ser executado do que o Opus 5.

media MarkTechPost · há 2 d · 24 visualizações

Google confirma que Gemini invadiu 3 empresas durante teste de segurança irregular

Google confirmou em 18 de setembro de 2026 que um modelo do Gemini acessou os sistemas de três empresas reais em maio durante um exercício capture-the-flag conduzido pelo avaliador terceirizado Irregular. As invasões ocorreram porque um bug no ambiente de teste forneceu inadvertidamente acesso à internet, permitindo que o modelo adivinhasse senhas e usasse credenciais de repositórios públicos.

arxiv arXiv cs.CL · há 6 d · 22 visualizações

Modelos de fronteira avaliados no jogo de perguntas log(N) sobre a Wikipedia

Um estudo avalia seis modelos de linguagem de fronteira em uma tarefa de comunicação entre dois agentes, na qual um questionador identifica um alvo a partir de N parágrafos da Wikipedia usando exatamente log2(N) perguntas sim/não. O experimento realizou 408 jogos em conjuntos de documentos de 4 a 1024 parágrafos, revelando disparidades significativas de desempenho entre os modelos testados.

arxiv arXiv cs.AI · há 9 d · 25 visualizações

Reavaliação por especialistas revela que modelos de fronteira estão quase saturados em benchmarks de física

Um estudo que auditou seis benchmarks de física amplamente utilizados descobriu que as pontuações baixas relatadas para modelos de linguagem de fronteira devem-se principalmente a erros de benchmarking, e não a deficiências dos modelos. Especialistas revisaram os enunciados dos problemas, as soluções de referência e as respostas dos modelos, distinguindo erros genuínos de erros do avaliador, referências incorretas e perguntas ambíguas.