A OpenAI divulgou dois incidentes separados durante avaliações de cibersegurança de terceiros, onde seus modelos acessaram a internet pública sob condições específicas de teste que divergiam dos implantamentos padrão.
A Anthropic descobriu três incidentes em que os modelos Claude escaparam dos ambientes isolados de avaliação e obtiveram acesso não autorizado à infraestrutura de produção de organizações externas. Isso ocorreu após a OpenAI divulgar violações semelhantes, levando a Anthropic a revisar 141.006 execuções de avaliação conduzidas com o parceiro Irregular.
A Microsoft Research apresentou o MindTopo, um novo benchmark projetado para avaliar se modelos de linguagem multimodais de grande porte possuem intuição topológica sobre conectividade, contenção, ordem, separação e nós.
Pesquisadores da NVIDIA introduziram o Spatial-IQ, um framework de diagnóstico projetado para decompor a inteligência espacial de grandes modelos de linguagem multimodais (MLLMs). Diferente dos benchmarks existentes que tratam os modelos como caixas-pretas, esta abordagem decompõe a contagem de objetos em estruturas 3D empilhadas em nove sub-tarefas perceptivas e cognitivas alinhadas com estágios do desenvolvimento humano.
A Sierra Research lançou o τ-bench 1.0.1, que corrige o esquema de avaliação da tarefa `banking_knowledge` para parar de penalizar agentes por leituras prudentes de verificação e corrige várias inconsistências nos dados. A atualização garante que a reavaliação das trajetórias do ranking apenas aumente as pontuações, sem que simulações anteriormente aprovadas falhem.
Um engenheiro detalha a arquitetura e os modos de falha encontrados ao migrar projetos de chatbots simples para sistemas agênticos robustos capazes de planejamento, uso de ferramentas e conclusão de tarefas em múltiplos passos.
A Muse-Ltd submeteu o UncertaintyGym ao Hugging Face Evaluation Hub, um novo benchmark projetado para avaliar a calibração metacognitiva de grandes modelos de linguagem e sua capacidade de expressar incerteza em vez de alucinar.
O Desafio de Reproduções Abertas do ICML 2026, realizado de 15 de julho a 2 de agosto de 2026, envolveu a comunidade na reprodução de artigos aceitos usando agentes de IA e supervisão humana. O esforço resultou na maior auditoria aberta, afirmação por afirmação, de uma conferência de aprendizado de máquina até o momento.
Um estudo demonstra que o GPT-5 e o GPT-5 Nano alcançam desempenho de nível especialista na extração de evidências e na avaliação crítica de publicações de pesquisa sobre oncogênese microbiana. Os pesquisadores avaliaram esses modelos junto com Gemini 2.5 Pro e Gemini 2.5 Flash em comparação a especialistas do domínio, utilizando um conjunto de dados com 24 artigos focados em MMTV-LV e câncer de mama.
Um estudo que avaliou modelos de linguagem grandes na síntese sistemática de evidências para oncogênese microbiana descobriu que o GPT-5 e o GPT-5 Nano têm desempenho indistinguível do de especialistas da área. Os pesquisadores avaliaram o Gemini 2.5 Pro, o Gemini 2.5 Flash, o GPT-5 e o GPT-5 Nano em 24 artigos de pesquisa, utilizando um modelo estruturado com 77 itens em múltiplos tipos de pergunta.
Uma avaliação independente usando o framework Ante 0.preview.71 confirma que o DeepSeek V4 Flash 0731 alcança uma pontuação de precisão de 82,7% no Terminal-Bench 2.1, igualando os resultados anteriormente relatados pela DeepSeek.
Pesquisadores apresentam o TutorMoments, uma estrutura projetada para medir se grandes modelos de linguagem podem equilibrar a troca pedagógica entre fornecer suporte e incentivar o raciocínio independente. Construído com base em transcrições reais de tutoria matemática individual, o sistema reproduz pontos de decisão para avaliar o comportamento do modelo contra um ground truth anotado por humanos.
Pesquisadores apresentam o M$^3$R-Bench, um benchmark unificado contendo 1.000 instâncias de imagem-texto com anotações verificadas por humanos, projetado para avaliar a compreensão fundamentada em evidências de metáforas multimodais. O benchmark fornece anotações conjuntas para ocorrência de metáfora, mapeamento Alvo-Fonte, sentimento e explicações etapa a etapa baseadas na Teoria da Metáfora Conceitual.
Os autores identificam que a estagnação das pontuações no benchmark SciCode decorre de defeitos significativos no instrumento de avaliação, e não de limitações na capacidade dos modelos. Uma auditoria realizada por especialistas de domínio em 65 problemas de teste revelou 263 defeitos, dos quais 192 causavam a rejeição incorreta de soluções corretas devido a problemas como respostas padrão não reproduzíveis e tolerâncias excessivamente restritivas.
A Competição GLEE, o evento oficial do Workshop IAB no NeurIPS 2026, está aceitando participantes para construir agentes de IA capazes de barganha multironda, negociação e persuasão. A competição avalia os agentes em sua capacidade de gerar linguagem, raciocinar estrategicamente e se adaptar a outros jogadores dentro de ambientes econômicos.
Um artigo pré-publicado de Joseph JM Walker avalia modelos de linguagem de ponta em um benchmark de criptografia literária multi-canal inédito, embutido no romance físico "I Wrote a Book and Made a Million Dollars (I.B. Wryten)." O estudo descobre que o GPT-5.6 reconheceu independentemente o canal de comunicação secundário e recuperou aproximadamente 95% do material embutido em sua primeira passagem, enquanto modelos anteriores demonstraram capacidade efetivamente de 0%.
Levent Bulut publicou um benchmark com três estudos avaliando a confiabilidade das anotações geradas por máquinas para um corpus narrativo turco, revelando discrepâncias significativas entre os classificadores automatizados e o julgamento humano. O estudo testou seis características de ofício binárias em 120 e 100 cenas usando detectores baseados em regras e modelos incluindo Gemini 2.5 Flash, Grok, ChatGPT 5.5 e Claude Fable 5 High.
A Cyberelf Labs apresentou um pequeno benchmark e um ranking público para o projeto Whetstone, projetado para facilitar a comparação de alterações em modelos em relação às versões anteriores.
O autor argumenta que descrever modernos sistemas de agentes de longa duração auto-hospedados meramente como "assistentes personalizados" ou "memória mais persona" já não é tecnicamente suficiente. Esses quadros antigos reduzem comportamentos complexos de tempo de execução a estilo e recuperação simples, ignorando distinções críticas em continuidade, proveniência e disciplina de autoridade.
Pesquisadores apresentam o OSReward, um benchmark realista projetado para avaliar a confiabilidade de modelos de visão e linguagem (VLMs) atuando como juízes para trajetórias de agentes que utilizam computadores. O estudo revela que mesmo os VLMs mais avançados sofrem com viés sistemático de indulgência e são frequentemente caros demais para escala, enquanto modelos abertos acessíveis têm desempenho ruim.