OpenAI는 자체 시스템에서 프롬프트 인젝션 취약점을 식별하도록 설계된 내부 전용 자동화 레드팀 모델인 GPT-Red에 대한 세부 사항을 게시했습니다. 이 시스템은 다양한 시나리오에 대한 공격과 방어를 위해 셀프플레이 강화학습을 사용하며, 인간 레드팀의 확장성 한계를 해결합니다.
- GPT-Red는 GPT-5.1에 대한 간접 프롬프트 인젝션 시나리오에서 84%의 성공률을 달성했으며, 이는 인간 레드팀원의 13%와 비교됩니다.
- 이 모델은 GPT-5.1에 대해 95% 이상의 성공률을 보이지만 GPT-5.6 Sol에 대해서는 10% 미만의 성공률을 보이는 새로운 "가상 사고 과정(Fake Chain-of-Thought)" 공격을 발견했습니다.
- 실시간 사례 연구에서 GPT-Red는 자판기 에이전트를 조작하여 가격을 변경하고 주문을 취소하는 데 성공했습니다.
- 방어자를 훈련시키는 과정에서 원본 작업을 완료하면서도 공격에 저항하도록 요구함으로써, 거부 기반의 승리를 방지했습니다.
이 결과는 에이전트 시스템의 공격 표면이 확대되고 있음을 강조하며, 자동화 레드팀이 인간 팀이 놓칠 수 있는 취약점을 어떻게 발견할 수 있는지 보여줍니다.