Meta telah secara publik merilis Llama 3.1, memperkenalkan model andalan mereka dengan 405B parameter bersama versi yang ditingkatkan dari 8B dan 70B. Perusahaan menempatkan model 405B sebagai model fondasi yang paling besar dan tersedia secara terbuka di dunia, mengklaim bahwa model ini setara dengan model AI tertutup terkemuka dalam kemampuan seperti pengetahuan umum, matematika, dan penggunaan alat.

  • Llama 3.1 405B dilatih menggunakan lebih dari 15 triliun token dengan lebih dari 16.000 GPU H100 dan dikuantisasi ke numerik 8-bit (FP8) untuk inferensi yang efisien.
  • Model 8B dan 70B yang ditingkatkan memiliki panjang konteks 128K, dukungan multibahasa, dan kemampuan penalaran yang lebih baik.
  • Meta memperbarui lisensinya untuk memungkinkan pengembang menggunakan keluaran model guna meningkatkan model lain, termasuk melalui generasi data sintetis dan distilasi.
  • Evaluasi kinerja menunjukkan daya saing dengan GPT-4, GPT-4o, dan Claude 3.5 Sonnet di lebih dari 150 dataset benchmark.
  • Rilis ini mencakup Llama Guard 3, Prompt Guard, dan proposal untuk "Llama Stack" guna menstandarisasi antarmuka komponen.

Rilis ini bertujuan menurunkan hambatan bagi pengembang dengan menyediakan bobot yang dapat dikustomisasi, yang dapat dijalankan di lokasi atau secara lokal tanpa membagikan data kepada Meta.