저자들은 다중 에이전트 AI 시스템의 집단 행동에 대한 배포 규칙의 인과적 영향을 분리하는 평가 방법론인 제도적 레드팀링을 소개합니다. 33,924개 게임, 228개 컨텍스트, 7개 모델 집단을 아우르는 IABench-CA 벤치마크를 사용하여, 단 하나의 규칙만 변경해도 안전성 결과가 크게 달라짐을 입증했습니다.
- 결과 관련 규칙을 변경하면 테스트된 모든 집단에서 평균 사망률이 22~58퍼센트포인트 변동합니다.
- 역진적 정체성 표적 공격은 결코 가장 안전하지 않으며, 모든 집단의 게임에서 30~87%의 확률로 가장 자원이 적은 에이전트를 제거합니다.
- 정체성 가시성이 표적 제거를 주도하며, 동일한 페이오프에서 손실 부담자를 명시함으로써 표적이 22%에서 81%로 증가합니다.
- 익명화는 관찰된 제거로부터 숨겨진 규칙을 다시 추론하므로 반복 플레이 동안에만 표적을 지연시킵니다.
이 방법론은 각 배포 컨텍스트와 집단마다 잠정적 규칙 영역을 인증하고 명시적 잔여 위험 및 모니터링 의무를 제공하는 세이프티 케이스 워크플로우로 패키징됩니다.