Anthropic telah menerbitkan kartu sistem untuk Claude Opus 4.5, sebuah model bahasa besar frontier yang dirancang dengan kemampuan menonjol dalam rekayasa perangkat lunak, penggunaan alat, dan penggunaan komputer. Dokumen ini memberikan penilaian komprehensif atas kemampuan teknis model tersebut bersama dengan evaluasi keamanan ekstensif yang mencakup pengaman, kejujuran, keamanan agen, dan keselarasan.
- Pengujian mengidentifikasi beberapa kemampuan terkini di berbagai benchmark termasuk SWE-bench, Terminal-Bench, ARC-AGI, dan WebArena.
- Model dinilai untuk keselarasan luas, menunjukkan tingkat perilaku tidak diinginkan yang rendah seperti sycophancy, penipuan melalui pengabaian, dan kecenderungan sabotase.
- Evaluasi keamanan mencakup tes untuk penggunaan agen yang jahat, risiko injeksi prompt, dan kepatuhan terhadap Kebijakan Skala Bertanggung jawab mengenai risiko CBRN (kimia, biologis, radiologi, dan nuklir).
- Kartu sistem mengklarifikasi penggunaan data pelatihan, mencatat bahwa meskipun skor ARC-AGI-1 diperbarui untuk mencerminkan set uji semi-pribadi, model tersebut tidak dilatih pada split publik train/test dari dataset tersebut.
Laporan tersebut menyimpulkan bahwa Claude Opus 4.5 adalah model yang selaras secara luas dan telah diimplementasikan di bawah Standar Tingkat Keamanan AI 3.