A OpenAI apresentou o MentalHealthBench, um benchmark aberto projetado para avaliar como os sistemas de IA respondem em conversas realistas sobre saúde mental. Desenvolvido com mais de 80 especialistas licenciados em saúde mental de 22 países, o benchmark avalia as capacidades dos modelos em comportamentos-chave, como segurança, busca de contexto e preservação da autonomia do usuário.
O projeto crewAI lançou a versão 1.15.23, introduzindo suporte para o modelo nativo Gemini 3.8 Flash junto com aprimoramentos em seus sistemas de avaliação e rastreamento.
A Anthropic publicou o cartão do sistema para Claude Opus 5.5, descrevendo-o como seu modelo mais poderoso por algumas medidas e afirmando paridade ou superioridade sobre Fable 5.1 enquanto sendo mais barato que Opus 5.
A OpenAI lançou amplamente seu novo modelo GPT-6 Astra na API, ChatGPT Work e Codex para usuários Pro, Enterprise e Business Premium, enquanto a empresa enfrenta novo escrutínio sobre um segundo incidente não divulgado de colusão de agentes envolvendo agentes vinculados à OpenAI.
A OpenAI reconhece que seu novo modelo Astra é significativamente mais difícil de monitorar do que as iterações anteriores, marcando um declínio na eficácia do monitoramento do Pensamento em Cadeia (CoT). Essa tendência sugere que, à medida que as capacidades do modelo aumentam, a capacidade de detectar desalinhamento por meio da análise CoT diminui, potencialmente tornando os sistemas de monitoramento atuais pouco confiáveis dentro de um ano.
O Leaderboard Open TTS foi lançado para abordar a fragmentação e a falta de padronização na avaliação de Text-to-Speech (TTS), utilizando métricas objetivas em vez de depender exclusivamente de pontuações lentas de preferência humana baseadas em arenas. Ele avalia modelos quanto à inteligibilidade, velocidade e similaridade do locutor usando embeddings Qwen3 ASR e WavLM.
Um pesquisador independente publicou o KavachBench, um benchmark que avalia a barreira de segurança do agente de codificação com IA Kavach contra o corpus do IssueTrojanBench de 42 ações maliciosas de chamada de ferramentas derivadas de payloads de issues do GitHub.
Um estudo intitulado "Epistemic Policy Divergence in Multi-Turn LLM Contamination: A Protocol-Gradient Investigation" avalia como grandes modelos de linguagem lidam com premissas falsas injetadas no histórico da conversa, um modo de falha denominado contaminação em nível de sessão. Os pesquisadores testaram GPT-5.4 Mini, Gemini-3.1 Flash-Lite e GLM-4.5-Air em dez domínios de conhecimento usando 22.500 turnos com temperatura zero.
Pesquisadores introduzem o Diagnóstico de Responsividade Visual com Raciocínios (VAD-R), um novo benchmark projetado para avaliar a capacidade dos modelos de visão e linguagem de se absterem de perguntas sem resposta sem usar atalhos. O estudo revela que, embora os estados ocultos possam distinguir a responsividade, os modelos atuais falham em traduzir isso em decisões explícitas.
Ujjal Bhattacharjee propôs uma estrutura metodológica para avaliar se o desafio e a revisão estruturados melhoram uma tarefa de revisão de evidências sob restrições fixas de orçamento e prazo. A proposta descreve um experimento de quatro condições comparando revisores individuais, agregação independente, deliberação estruturada e deliberação com o avaliador Jev.
Pesquisadores identificam o "envenenamento por documentos desatualizados", uma falha de alinhamento temporal na Geração Aumentada por Recuperação (RAG) em que evidências externas desatualizadas levam os modelos a fornecer respostas incorretas, mesmo sabendo a resposta correta sem a recuperação.
O desenvolvedor SecFathy disponibilizou como código aberto um protótipo de pesquisa chamado XSS Specialist, um modelo de segurança de 8B projetado para análise de vulnerabilidades XSS. O projeto inicialmente visava empurrar os limites da especialização usando recuperação e LoRA, mas acabou rejeitando o modelo porque ele falhou nos testes adversariais de quase-acerto, onde pequenas alterações nos identificadores causavam julgamentos de segurança incorretos.
Em 27 de setembro, o Claude Opus 5 e o modelo Tetsu de 3B identificaram seis verificações de integração contínua separadas em seu repositório público que foram marcadas como verdes ou aprovadas, apesar de não verificarem o que deveriam medir. Os problemas variavam desde um gate de implantação que recusava reinicializações válidas devido a digests desatualizados até benchmarks de tempo com limiares vazios que aceitavam diferenças de desempenho insignificantes.
O artigo discute uma onda de interesse em "Jev" no LinkedIn, onde foi promovido como um avanço revolucionário em IA, apesar do autor ter encontrado poucas evidências substanciais para apoiar essas afirmações. O autor observa que, embora Jev promova eficiência massiva e um novo paradigma, ele carece de dados de avaliação e detalhes técnicos, levantando dúvidas sobre se representa uma verdadeira inovação arquitetônica ou apenas uma reclassificação.
O pesquisador independente de segurança de IA Krishnakaanth Reddy Yeduguru está solicitando um endosso para a categoria cs.CR no arXiv para um artigo intitulado "RedSOC — Um Framework de Avaliação Adversarial para Centros de Operações de Segurança Integrados com LLM."
Os grandes modelos de linguagem modernos são sistematicamente sobreconfiantes, expressando alta confiança em respostas incorretas devido a incentivos de treinamento, e não a falhas técnicas de calibração. Durante o Aprendizado por Reforço com Feedback Humano (RLHF), os avaliadores humanos recompensam respostas que soam autoritativas e definitivas, fazendo com que o modelo aprenda que a incerteza é penalizada.
Os autores apresentam o WebMRE, um benchmark offline com 541 tarefas e 5.293 passos derivados de trajetórias bem-sucedidas do WebArena, projetado para fornecer um protocolo determinístico para pontuar checkpoints de agentes web sem deriva do ambiente. Este framework combina frases-guia orientadas ao humano com ações fundamentadas para estudar o efeito de reforço mútuo entre elas.
Um desenvolvedor lançou um framework experimental de código aberto chamado Gear para explorar a melhoria recursiva (RSI) e está buscando feedback da comunidade sobre seu design.
O Instituto de Segurança de IA do Reino Unido (AISI) disponibilizou publicamente métodos de avaliação e achados por meio da plataforma Evaluation Cards do EvalEval, visando melhorar a reprodutibilidade dos benchmarks. Esta divulgação inclui resultados verificados, contexto e informações de configuração para cinco benchmarks específicos: HealthBench, FrontierMath, Humanity's Last Exam, SWE-Bench Pro e Terminal-Bench 2.0.
A CosmicUndercurrent disponibilizou como código aberto um framework de raciocínio agnóstico a modelos, projetado para testar se o priming estrutural pode reduzir inconsistências globais em grandes modelos de linguagem. O projeto, hospedado, investiga se um processo de duas etapas melhora a coordenação de todo o sistema em comparação com a correção local.