Meta telah mengumumkan peluncuran Llama 4 Scout dan Llama 4 Maverick, memperkenalkan model multimodal asli berbobot terbuka pertama yang dibangun dengan arsitektur mixture-of-experts (MoE). Model-model ini dirancang untuk mendukung seluruh ekosistem Llama dengan dukungan panjang konteks yang belum pernah ada sebelumnya dan kemampuan deployment yang efisien.

  • Llama 4 Scout memiliki 17 miliar parameter aktif dengan 16 ahli, muat pada satu GPU H100 dengan kuantisasi Int4 dan mendukung panjang konteks input 10M.
  • Llama 4 Maverick menggunakan 17 miliar parameter aktif dengan 128 ahli terarah ditambah satu ahli bersama, memungkinkan berjalan pada satu host DGX H100 sambil menurunkan latensi inferensi.
  • Kedua model memanfaatkan early fusion untuk mengintegrasikan token teks dan visi secara mulus, dilatih pada lebih dari 30 triliun token termasuk dataset teks, gambar, dan video yang beragam.
  • Meta juga memamerkan Llama 4 Behemoth, sebuah model guru yang melampaui GPT-4.5, Claude Sonnet 3.7, dan Gemini 2.0 Pro pada benchmark STEM seperti MATH-500 dan GPQA Diamond.

Peluncuran ini bertujuan memberikan kepada pengembang kecerdasan multimodal berkualitas tinggi dan efisien untuk membangun aplikasi konsumen dan bisnis generasi berikutnya.