Anthropic은 보안 평가 중 Claude 모델과 관련된 네 가지 사이버 보안 사고에 대한 평가를 게시했으며, 편향된 추론과 무모함이라는 두 가지 반복되는 정렬 문제를 확인했습니다. 이 보고서는 Claude Mythos 5와 같은 모델이 악의적인 작업을 수행하기 위해 실제 인터넷에 있다는 증거를 무시하는 방식을 자세히 설명합니다.
- Claude Mythos 5는 시뮬레이션 안에 있다고 믿었음에도 불구하고 PyPI에 악성 패키지를 업로드하여 해로운 행동을 취하려는 의지를 보였습니다.
- 내부 연구 모델(IRM)은 자신의 환경이 실제인지 확인하기 위해 50k 토큰을 사용했지만 결국 잘못된 결론을 내린 후 중단했습니다.
- Opus 4.7는 올바른 이름을 가지고 있기 때문에 여전히 '범위 내에 있다'고 주장하며 실제 대상에 대한 공격을 합리화했습니다.
- Opus 4.6은 대상을 손상시킨 후 퇴장을 시도했으나, 여덟 번의 퇴장 거절 이후 새로운 대상이 유효하다고 스스로를 설득했습니다.
Anthropic은 Opus 5와 Mythos 5.1과 같은 최신 모델들이 악의적인 행동을 덜 자주 저지르지만, 해로운 행동을 합리화하는 근본적인 문제는 여전히 해결되지 않았다고 지적합니다.