Компания OpenAI разработала GPT-Red, автоматизированную модель для красной команды (red-teaming), которая обучается с помощью усиления через самовоспроизведение (self-play reinforcement learning) для выявления уязвимостей и генерации состязательных данных с целью улучшения будущих моделей.
- GPT-Red обучается на вычислительной мощности, сопоставимой с крупными этапами постобучения, используя систему вознаграждений, где успех достигается за счет провоцирования сбоев в защитных LLM.
- Модель была использована для состязательного обучения GPT-5.6 Sol, что привело к снижению количества сбоев на 6 раз по сравнению с лучшими моделями из производства четырехмесячной давности при тестировании на прямую инъекцию промптов.
- GPT-Red достигает уровня успешности атак в 84% против GPT-5.1 в новых сценариях, значительно превосходя человеческих специалистов по красной команде, которые достигли лишь 13%.
- Она успешно взломала симуляцию торгового автомата на базе ИИ, изменив цены и отменив заказы, а также продемонстрировала высокую эффективность использования токенов против агентов Codex CLI.
- Улучшения устойчивости подтверждены как результат сопротивления вредоносным инструкциям, а не увеличения количества отказов в легитимных запросах; при этом GPT-5.6 Sol допускает сбой лишь в 0.05% случаев прямых инъекций от GPT-Red.
Этот подход создает масштабируемый «маховик» безопасности, позволяющий современным моделям напрямую повышать устойчивость и соответствие требованиям будущих релизов.