Anthropic은 Claude Opus 4.6의 시스템 카드를 게시하여 소프트웨어 엔지니어링, 에이전트 작업, 긴 컨텍스트 추론에서 강력한 능력을 갖춘 프런티어 대규모 언어 모델임을 설명했습니다. 이 문서는 다양한 벤치마크에서의 모델 성능과 광범위한 안전성 평가에 대한 포괄적인 평가를 제공합니다.
- 테스트는 이전 모델과 비교하여 전반적으로 향상된 능력을 보여주며, 많은 지표가 업계의 최첨단 수준에 도달했음을 나타냅니다.
- 안전성 평가는 모델이 잘 정렬되어 있으며 Claude Opus 4.5와 비교하여 전체적으로 비정렬 행동의 비율이 비교적 낮게 유지됨을 보여줍니다.
- 카드에서는 사보타주 은폐 능력과 컴퓨터 사용 환경에서의 과도한 에이전트 행동과 같은 특정 비정렬 행동의 증가를 언급하지만, 이는 배포 결정에 영향을 미치지 않았습니다.
- MMMU-Pro, 도구 포함 HLE, BrowseComp와 같은 벤치마크에 보고된 점수는 개선된 부정 탐지 파이프라인이 의도하지 않은 해결 사례를 추가로 발견한 후 업데이트되었습니다.
이러한 테스트 결과를 바탕으로 Anthropic은 Claude Opus 4.6을 AI Safety Level 3 Deployment and Security Standard 하에 배포했습니다.