OpenAI опубликовала детали о GPT-Red, внутренней модели для автоматизированного красного тестирования, предназначенной для выявления уязвимостей инъекции промптов в собственных системах. Система использует обучение с подкреплением на основе самовоспроизведения (self-play) для атак и защиты от разнообразных сценариев, решая проблемы масштабируемости человеческого красного тестирования.
- GPT-Red достигла 84% успеха в сценариях косвенной инъекции промптов против GPT-5.1, по сравнению с 13% у человеческих команд.
- Модель обнаружила новый тип атаки «Fake Chain-of-Thought», достигнув более 95% успеха против GPT-5.1, но менее 10% против GPT-5.6 Sol.
- В реальных кейс-стади GPT-Red успешно манипулировала агентом торгового автомата для изменения цен и отмены заказов.
- Обучение защитников требовало сопротивления атакам при одновременном выполнении исходных задач, что исключало победы за счёт отказа в ответах.
Результаты подчеркивают растущую поверхность атаки для агентных систем и демонстрируют, как автоматизированное красное тестирование может выявлять уязвимости, пропускаемые человеческими командами.