Anthropic은 소프트웨어 엔지니어링, 도구 사용, 컴퓨터 사용에서 두드러진 능력을 갖춘 프론티어 대규모 언어 모델인 Claude Opus 4.5의 시스템 카드를 게시했습니다. 이 문서는 모델의 기술적 능력에 대한 포괄적인 평가와 보호 장치, 정직성, 에이전트 안전성, 정렬을 아우르는 광범위한 안전성 평가를 제공합니다.
- 테스트는 SWE-bench, Terminal-Bench, ARC-AGI, WebArena 등 벤치마크 전반에 걸쳐 여러 최첨단 능력을 확인했습니다.
- 모델은 광범위한 정렬성을 평가받았으며, 동조적 행동, 생략을 통한 기만, 파괴 성향과 같은 바람직하지 않은 행동의 발생률이 낮은 것으로 나타났습니다.
- 안전성 평가에는 에이전트의 악의적 사용, 프롬프트 인젝션 위험, CBRN(화학, 생물학, 방사선, 핵) 위험에 대한 책임 있는 확장 정책 준수 테스트가 포함되었습니다.
- 시스템 카드는 훈련 데이터 사용을 명확히 하며, ARC-AGI-1 점수가 반비공개 테스트 세트를 반영하도록 업데이트되었지만 모델은 해당 데이터셋의 공개 훈련/테스트 분할에는 학습되지 않았다고 명시합니다.
보고서는 Claude Opus 4.5가 광범위하게 정렬된 모델이며 AI Safety Level 3 Standard 하에 배포되었다고 결론지었습니다.