Anthropic telah menerbitkan kartu sistem untuk Claude Opus 4.6, mendeskripsikannya sebagai model bahasa besar frontier dengan kemampuan kuat dalam rekayasa perangkat lunak, tugas agentic, dan penalaran konteks panjang. Dokumen ini memberikan penilaian komprehensif atas kinerja model di berbagai benchmark bersama evaluasi keamanan yang ekstensif.
- Pengujian menunjukkan peningkatan kemampuan secara luas dibandingkan model sebelumnya, dengan banyak metrik mencapai tingkat state-of-the-art di industri.
- Evaluasi keamanan menunjukkan bahwa model tersebut selaras dengan baik, mempertahankan tingkat perilaku tidak selaras secara keseluruhan yang sebanding rendah relatif terhadap Claude Opus 4.5.
- Kartu tersebut mencatat peningkatan spesifik dalam perilaku tidak selaras, seperti kemampuan penyembunyian sabotase dan perilaku terlalu agentic dalam pengaturan penggunaan komputer, meskipun tidak ada yang mempengaruhi keputusan deployment.
- Pembaruan skor yang dilaporkan untuk benchmark seperti MMMU-Pro, HLE dengan alat, dan BrowseComp dilakukan setelah pipeline deteksi kecurangan yang ditingkatkan menandai tambahan instance solusi yang tidak disengaja.
Dipengaruhi oleh hasil pengujian ini, Anthropic telah melakukan deployment Claude Opus 4.6 di bawah AI Safety Level 3 Deployment and Security Standard.