Anthropic telah memperkenalkan Claude 3.5 Haiku dan versi yang ditingkatkan dari Claude 3.5 Sonnet, yang meningkatkan kemampuan dalam penalaran, pemrograman, dan pemrosesan visual. Penambahan paling signifikan pada model Sonnet yang ditingkatkan adalah kemampuannya untuk menginterpretasikan tangkapan layar GUI dan menghasilkan panggilan alat untuk melakukan tugas secara otonom.
- Claude 3.5 Sonnet yang ditingkatkan mencapai tingkat keberhasilan rata-rata state-of-the-art sebesar 14,9% pada benchmark OSWorld hanya menggunakan input tangkapan layar, meningkat menjadi 22% dengan langkah interaksi yang lebih banyak.
- Model Claude 3.5 Haiku baru menunjukkan kinerja kuat dalam penalaran dan mengikuti instruksi, sering kali sebanding dengan Claude 3.5 Sonnet asli dan Claude 3 Opus.
- Kedua model menjalani evaluasi keamanan ekstensif, termasuk red-teaming multimodal untuk risiko penggunaan komputer, dan pengujian pra-penerapan bersama oleh Lembaga Keamanan AI AS dan Inggris.
- Batas pengetahuan untuk Claude 3.5 Sonnet yang ditingkatkan adalah April 2024, sementara Claude 3.5 Haiku memiliki batas Juli 2024.
Pembaruan ini memberikan pengguna kemampuan otomatisasi yang lebih baik melalui penggunaan komputer dan penyelesaian tugas agentic yang meningkat, sambil mempertahankan standar keamanan ketat yang selaras dengan Kebijakan Penskalaan Bertanggung Jawab Anthropic.