OpenAI ha publicado detalles sobre GPT-Red, un modelo interno de pruebas de penetración automatizado diseñado para identificar vulnerabilidades de inyección de prompts en sus propios sistemas. El sistema utiliza aprendizaje por refuerzo de autojuego para atacar y defenderse contra diversos escenarios, abordando los límites de escalabilidad de las pruebas de penetración humanas.
- GPT-Red logró una tasa de éxito del 84% en escenarios de inyección indirecta de prompts contra GPT-5.1, en comparación con el 13% de los equipos humanos de pruebas de penetración.
- El modelo descubrió un ataque novedoso de "Cadena de Pensamiento Falsa", logrando más del 95% de éxito contra GPT-5.1 pero menos del 10% contra GPT-5.6 Sol.
- En estudios de caso en vivo, GPT-Red manipuló con éxito un agente de máquina expendedora para alterar precios y cancelar pedidos.
- Entrenar a los defensores requirió que resistieran los ataques mientras aún completaban sus tareas originales, evitando victorias basadas en el rechazo.
Los hallazgos destacan la creciente superficie de ataque para sistemas agénticos y demuestran cómo las pruebas de penetración automatizadas pueden descubrir vulnerabilidades que los equipos humanos pasan por alto.