A OpenAI publicou detalhes sobre o GPT-Red, um modelo interno de red-teaming automatizado projetado para identificar vulnerabilidades de injeção de prompt em seus próprios sistemas. O sistema utiliza aprendizado por reforço com auto-jogo para atacar e defender-se contra cenários diversos, abordando os limites de escalabilidade do red-teaming humano.
- O GPT-Red alcançou uma taxa de sucesso de 84% em cenários de injeção de prompt indireta contra o GPT-5.1, comparado a 13% para equipes humanas de red-teaming.
- O modelo descobriu um ataque inédito de "Fake Chain-of-Thought", atingindo mais de 95% de sucesso contra o GPT-5.1, mas menos de 10% contra o GPT-5.6 Sol.
- Em estudos de caso reais, o GPT-Red manipulou com sucesso um agente de máquina de venda automática para alterar preços e cancelar pedidos.
- O treinamento dos defensores exigiu que eles resistissem aos ataques enquanto ainda completavam suas tarefas originais, impedindo vitórias baseadas em recusa.
As descobertas destacam a crescente superfície de ataque para sistemas agênticos e demonstram como o red-teaming automatizado pode revelar vulnerabilidades que as equipes humanas perdem.