Anthropicは、アップグレードされたClaude 3.5 Sonnetモデル、新しい軽量モデルであるClaude 3.5 Haiku、および開発者向けの「コンピュータ操作」機能の公開ベータ版を発表した。

  • アップグレードされたClaude 3.5 Sonnetは、SWE-bench Verifiedのスコアを33.4%から49.0%に向上させ、小売および航空分野でのTAU-benchスコアも改善しつつ、前世代と同じ価格と速度を維持している。
  • Claude 3.5 Haikuは、多くの知能ベンチマークでClaude 3 Opusと同等またはそれ以上の性能を発揮し、以前のHaiku世代と同様の速度を実現。価格は入力トークン100万個あたり0.80ドル、出力トークン100万個あたり4ドルに設定されている。
  • コンピュータ操作機能により、Claudeは画面を表示してクリックやタイピングなどのコマンドを実行することでコンピュータインターフェースと対話可能になり、OSWorldのスクリーンショットのみによるタスクで14.9%のスコアを記録し、次点のシステム（7.8%）を上回った。
  • 新モデルはAnthropic API、Amazon Bedrock、Google CloudのVertex AIを通じて利用可能であり、コンピュータ操作機能は現在、開発者からのフィードバックを得るための実験的な公開ベータ版として提供されている。