Anthropic a introduit Claude 3.5 Haiku et une version mise à jour de Claude 3.5 Sonnet, faisant progresser les capacités en raisonnement, codage et traitement visuel. L'ajout le plus significatif au modèle Sonnet mis à jour est sa capacité à interpréter des captures d'écran d'interface graphique et à générer des appels d'outils pour effectuer des tâches de manière autonome.
- Le Claude 3.5 Sonnet mis à jour atteint un taux de réussite moyen de pointe de 14,9 % sur le benchmark OSWorld en utilisant uniquement des entrées de capture d'écran, montant à 22 % avec des étapes d'interaction accrues.
- Le nouveau modèle Claude 3.5 Haiku démontre de solides performances en raisonnement et en suivi des instructions, souvent comparables à celles de Claude 3.5 Sonnet original et Claude 3 Opus.
- Les deux modèles ont subi des évaluations de sécurité approfondies, y compris des tests de pénétration multimodaux pour les risques liés à l'utilisation de l'ordinateur, et des tests conjoints avant déploiement par les instituts de sécurité de l'IA des États-Unis et du Royaume-Uni.
- La date limite de connaissances pour le Claude 3.5 Sonnet mis à jour est avril 2024, tandis que Claude 3.5 Haiku a une date limite de juillet 2024.
Ces mises à jour offrent aux utilisateurs des capacités d'automatisation améliorées grâce à l'utilisation de l'ordinateur et une meilleure réalisation de tâches agentic, tout en maintenant des normes de sécurité rigoureuses alignées sur la Politique d'évolution responsable d'Anthropic.