A OpenAI desenvolveu o GPT-Red, um modelo automatizado de red-teaming de segurança treinado por meio de aprendizado por reforço com auto-jogo para descobrir vulnerabilidades e gerar dados adversariais para melhorar modelos futuros.
- O GPT-Red é treinado na escala de computação de grandes execuções de pós-treinamento, usando um sistema de recompensa em que ele tem sucesso ao provocar falhas nos LLMs defensores.
- O modelo foi usado para treinar adversarialmente o GPT-5.6 Sol, resultando em 6x menos falhas em benchmarks de injeção direta de prompt em comparação com o melhor modelo de produção de quatro meses antes.
- O GPT-Red alcança uma taxa de sucesso de ataque de 84% contra o GPT-5.1 em cenários novos, superando significativamente os red-teamers humanos que alcançaram 13%.
- Ele comprometeu com sucesso uma máquina de venda automática simulada com IA ao alterar preços e cancelar pedidos, e demonstrou alta eficiência de tokens contra agentes do Codex CLI.
- Os ganhos de robustez são verificados para derivar da resistência a instruções maliciosas em vez do aumento da recusa de solicitações legítimas, com o GPT-5.6 Sol falhando apenas 0,05% das injeções diretas do GPT-Red.
Esta abordagem estabelece uma "roda-voadora" escalável para a segurança, permitindo que os modelos de hoje melhorem diretamente a robustez e o alinhamento dos lançamentos de amanhã.