Anthropic은 업그레이드된 Claude 3.5 Sonnet 모델, 'Claude 3.5 Haiku'라는 새로운 경량 모델, 그리고 개발자를 위한 'computer use' 기능의 공개 베타 릴리스를 발표했습니다.
- 업그레이드된 Claude 3.5 Sonnet은 SWE-bench Verified 점수를 33.4%에서 49.0%로 향상시키고 소매 및 항공 분야에서의 TAU-bench 점수도 개선했으며, 이전 세대와 동일한 가격과 속도를 유지합니다.
- Claude 3.5 Haiku는 여러 지능 벤치마크에서 Claude 3 Opus의 성능에 필적하거나 이를 능가하며, 속도는 이전 Haiku 세대와 유사합니다. 가격은 입력 토큰 백만 개당 $0.80, 출력 토큰 백만 개당 $4로 책정되었습니다.
- Computer use 기능은 화면을 보고 클릭 및 타이핑과 같은 명령을 실행하여 컴퓨터 인터페이스와 상호작용할 수 있게 하며, OSWorld 스크린샷 전용 작업에서 14.9%의 점수를 기록해 두 번째로 우수한 시스템의 7.8%를 능가했습니다.
- 새로운 모델들은 Anthropic API, Amazon Bedrock, Google Cloud의 Vertex AI를 통해 이용 가능하며, computer use 기능은 현재 개발자 피드백을 위해 실험적 공개 베타 상태로 제공됩니다.