OpenAI ha desarrollado GPT-Red, un modelo automatizado de pruebas de penetración en seguridad entrenado mediante aprendizaje por refuerzo de auto-juego para descubrir vulnerabilidades y generar datos adversariales que mejoren los modelos futuros.
- GPT-Red se entrena a la escala de cómputo de las principales ejecuciones post-entrenamiento, utilizando un sistema de recompensas donde tiene éxito al provocar fallos en los LLM defensores.
- El modelo se utilizó para entrenar adversarialmente a GPT-5.6 Sol, lo que resultó en 6 veces menos fallos en benchmarks de inyección directa de prompts en comparación con el mejor modelo de producción de cuatro meses atrás.
- GPT-Red logra una tasa de éxito del ataque del 84% contra GPT-5.1 en escenarios novedosos, superando significativamente a los equipos humanos de pruebas de penetración que lograron un 13%.
- Comprometió exitosamente una máquina expendedora simulada con IA al cambiar precios y cancelar pedidos, y demostró alta eficiencia en tokens contra agentes Codex CLI.
- Las ganancias de robustez se verifican como derivadas de la resistencia a instrucciones maliciosas en lugar del aumento del rechazo de solicitudes legítimas, con GPT-5.6 Sol fallando solo el 0.05% de las inyecciones directas de GPT-Red.
Este enfoque establece un "volante" escalable para la seguridad, permitiendo que los modelos actuales mejoren directamente la robustez y alineación de las versiones futuras.