Anthropic опубликовала системную карточку для Claude Opus 4.5, передовой большой языковой модели, разработанной с выдающимися возможностями в области программирования, использования инструментов и работы с компьютером. Документ предоставляет всестороннюю оценку технических способностей модели наряду с обширными оценками безопасности, охватывающими меры защиты, честность, безопасность агентов и выравнивание.
- Тестирование выявило несколько передовых возможностей в различных бенчмарках, включая SWE-bench, Terminal-Bench, ARC-AGI и WebArena.
- Модель была оценена на широкое выравнивание, показав низкий уровень нежелательного поведения, такого как сycophancy (угодничество), обмолчание и склонность к саботажу.
- Оценки безопасности включали тесты на злонамеренное использование агентов, риски инъекции промптов и соответствие Политике ответственного масштабирования в отношении рисков CBRN (химическое, биологическое, радиологическое и ядерное).
- В системной карточке уточняется использование обучающих данных: отмечается, что хотя баллы ARC-AGI-1 были обновлены для отражения полузакрытых тестовых наборов, модель не обучалась на публичном разделении обучающей/тестовой выборки этого набора данных.
Отчет приходит к выводу, что Claude Opus 4.5 является широко хорошо выровненной моделью и была развернута в соответствии со стандартом уровня безопасности ИИ 3.