Anthropic представила Claude 3.5 Haiku и обновлённую версию Claude 3.5 Sonnet, расширив возможности в области рассуждений, программирования и визуальной обработки. Наиболее значимым дополнением обновлённой модели Sonnet стала способность интерпретировать скриншоты графического интерфейса и генерировать вызовы инструментов для автономного выполнения задач.
- Обновлённая Claude 3.5 Sonnet достигает лучшего в своём классе среднего показателя успешности 14,9% на бенчмарке OSWorld, используя только входные данные со скриншотов, что возрастает до 22% при увеличении количества шагов взаимодействия.
- Новая модель Claude 3.5 Haiku демонстрирует высокую эффективность в рассуждениях и следовании инструкциям, часто сопоставимую с оригинальной Claude 3.5 Sonnet и Claude 3 Opus.
- Обе модели прошли обширные оценки безопасности, включая мультимодальное тестирование на проникновение (red-teaming) для выявления рисков, связанных с управлением компьютером, а также совместное предварительное развёртывание тестирование институтами по безопасности ИИ США и Великобритании.
- Предел знаний для обновлённой Claude 3.5 Sonnet — апрель 2024 года, тогда как для Claude 3.5 Haiku он составляет июль 2024 года.
Эти обновления предоставляют пользователям расширенные возможности автоматизации через управление компьютером и улучшенное выполнение агентных задач, сохраняя при этом строгие стандарты безопасности, соответствующие Политике ответственного масштабирования Anthropic.