OpenAI는 자동화된 보안 레드팀 모델인 GPT-Red를 개발했으며, 이는 자체 플레이 강화 학습을 통해 훈련되어 취약점을 발견하고 향후 모델을 개선하기 위한 적대적 데이터를 생성합니다.

  • GPT-Red는 주요 사후 훈련 실행의 컴퓨팅 규모로 훈련되며, 방어자 LLM에서 실패를 유도하여 성공하는 보상 시스템을 사용합니다.
  • 이 모델은 GPT-5.6 Sol에 대해 적대적 훈련에 사용되었으며, 그 결과 4개월 전 최고의 프로덕션 모델과 비교하여 직접 프롬프트 인젝션 벤치마크에서 실패가 6배 감소했습니다.
  • GPT-Red는 새로운 시나리오에서 GPT-5.1에 대해 84%의 공격 성공률을 달성했으며, 이는 13%의 성공률을 기록한 인간 레드팀원들을 크게 상회합니다.
  • 가격은 변경하고 주문은 취소하여 시뮬레이션된 AI 기반 자판기를 성공적으로 침해했으며, Codex CLI 에이전트에 대해 높은 토큰 효율성을 입증했습니다.
  • 견고성 향상은 정당한 요청에 대한 거부 증가가 아니라 악의적인 지시에 대한 저항에서 비롯됨이 검증되었으며, GPT-5.6 Sol은 GPT-Red의 직접 인젝션에 대해 단 0.05%만 실패했습니다.

이 접근 방식은 안전성을 위한 확장 가능한 "플라이휠"을 확립하여 오늘의 모델이 내일의 릴리스의 견고성과 정렬을 직접적으로 향상시킬 수 있게 합니다.