Anthropic a publié la fiche système pour Claude Opus 4.5, un modèle de langage large de pointe conçu avec des capacités remarquables en ingénierie logicielle, utilisation d'outils et utilisation informatique. Le document fournit une évaluation complète des capacités techniques du modèle ainsi que des évaluations de sécurité extensives couvrant les garde-fous, l'honnêteté, la sécurité agentique et l'alignement.
- Les tests ont identifié plusieurs capacités de pointe à travers des benchmarks incluant SWE-bench, Terminal-Bench, ARC-AGI et WebArena.
- Le modèle a été évalué pour un alignement large, montrant de faibles taux de comportements indésirables tels que la sycophantie, la tromperie par omission et la propension à la sabotage.
- Les évaluations de sécurité comprenaient des tests pour l'utilisation malveillante d'agents, les risques d'injection de prompt et la conformité à la Politique d'échelle responsable concernant les risques CBRN (chimiques, biologiques, radiologiques et nucléaires).
- La fiche système clarifie l'utilisation des données d'entraînement, notant que bien que les scores ARC-AGI-1 aient été mis à jour pour refléter des ensembles de test semi-privés, le modèle n'a pas été entraîné sur la division publique train/test de cet ensemble de données.
Le rapport conclut que Claude Opus 4.5 est un modèle largement aligné et a été déployé sous la norme AI Safety Level 3.