Anthropic a annoncé un modèle Claude 3.5 Sonnet amélioré, un nouveau modèle léger appelé Claude 3.5 Haiku, et la sortie en version bêta publique des capacités "computer use" pour les développeurs.
- Le Claude 3.5 Sonnet amélioré améliore les scores SWE-bench Verified de 33,4 % à 49,0 % et les scores TAU-bench dans les domaines du commerce de détail et de l'aviation, tout en maintenant le même prix et la même vitesse que son prédécesseur.
- Claude 3.5 Haiku égale ou dépasse Claude 3 Opus sur de nombreux benchmarks d'intelligence à une vitesse similaire à la génération précédente de Haiku, avec un prix fixé à 0,80 $ par million de tokens d'entrée et 4 $ par million de tokens de sortie.
- Computer use permet à Claude d'interagir avec les interfaces informatiques en visualisant des écrans et en exécutant des commandes comme cliquer et taper ; il a obtenu un score de 14,9 % sur les tâches OSWorld uniquement basées sur des captures d'écran, surpassant le système suivant au meilleur score qui affiche 7,8 %.
- Les nouveaux modèles sont disponibles via l'API Anthropic, Amazon Bedrock et Vertex AI de Google Cloud, avec computer use actuellement en version bêta publique expérimentale pour recueillir les retours des développeurs.