मेटा ने Llama 4 Scout और Llama 4 Maverick के रिलीज़ की घोषणा की है, जो मिक्सचर-ऑफ़-एक्सपर्ट्स (MoE) आर्किटेक्चर का उपयोग करके बनाए गए पहले ओपन-वेट नेटिवली मल्टीमोडल मॉडल हैं। इन मॉडल्स को अविश्वसनीय संदर्भ लंबाई समर्थन और कुशल डिप्लॉयमेंट क्षमताओं के साथ पूरे Llama इकोसिस्टम का समर्थन करने के लिए डिज़ाइन किया गया है।
- Llama 4 Scout में 17 बिलियन सक्रिय पैरामीटर और 16 विशेषज्ञ हैं, जो Int4 क्वांटीकरण के साथ एकल H100 GPU पर फिट बैठते हैं और 10M इनपुट संदर्भ लंबाई का समर्थन करते हैं।
- Llama 4 Maverick में 17 बिलियन सक्रिय पैरामीटर, 128 राउटेड विशेषज्ञ और एक शेयर किया गया विशेषज्ञ शामिल है, जिससे यह एकल H100 DGX होस्ट पर चल सकता है और इनफरेंस लेटेंसी को कम करता है।
- दोनों मॉडल टेक्स्ट और विज़न टोकन को सहज रूप से एकीकृत करने के लिए अर्ली फ्यूजन का उपयोग करते हैं, जिनका प्रशिक्षण विविध टेक्स्ट, छवि और वीडियो डेटासेट सहित 30 ट्रिलियन से अधिक टोकन पर किया गया है।
- मेटा ने Llama 4 Behemoth को भी प्रीव्यू किया, एक टीचर मॉडल जो MATH-500 और GPQA Diamond जैसे STEM बेंचमार्क्स पर GPT-4.5, Claude Sonnet 3.7 और Gemini 2.0 Pro से बेहतर प्रदर्शन करता है।
इस रिलीज़ का उद्देश्य अगली पीढ़ी के उपभोक्ता और व्यापार अनुप्रयोगों को बनाने के लिए डेवलपर्स को कुशल, उच्च-गुणवत्ता वाले मल्टीमोडल इंटेलिजेंस प्रदान करना है।