Meta a publiquement publié Llama 3.1, introduisant son modèle phare de 405 milliards de paramètres aux côtés des versions améliorées de 8B et 70B. L'entreprise positionne le modèle 405B comme le plus grand modèle fondamental ouvertement disponible au monde, affirmant qu'il rivalise avec les meilleurs modèles IA fermés en termes de capacités telles que la connaissance générale, les mathématiques et l'utilisation d'outils.
- Llama 3.1 405B a été entraîné sur plus de 15 billions de tokens en utilisant plus de 16 000 GPU H100 et quantifié en précision 8-bit (FP8) pour une inférence efficace.
- Les modèles améliorés 8B et 70B offrent une longueur de contexte de 128K, un support multilingue et des capacités de raisonnement améliorées.
- Meta a mis à jour la licence pour permettre aux développeurs d'utiliser les sorties du modèle afin d'améliorer d'autres modèles, y compris par génération de données synthétiques et distillation.
- Les évaluations de performance suggèrent une compétitivité avec GPT-4, GPT-4o et Claude 3.5 Sonnet sur plus de 150 ensembles de données de référence.
- La publication inclut Llama Guard 3, Prompt Guard et une proposition pour « Llama Stack » afin de standardiser les interfaces des composants.
La publication vise à réduire les barrières pour les développeurs en fournissant des poids personnalisables qui peuvent être exécutés sur site ou localement sans partager de données avec Meta.