मेटा ने अपने फ्लैगशिप 405B पैरामीटर मॉडल के साथ अपग्रेडेड 8B और 70B वर्जन को पेश करते हुए Llama 3.1 को सार्वजनिक रूप से जारी किया है। कंपनी 405B मॉडल को दुनिया का सबसे बड़ा ओपनली उपलब्ध फाउंडेशन मॉडल के रूप में स्थापित करती है, और दावा करती है कि यह सामान्य ज्ञान, गणित और टूल यूज़ जैसे क्षमताओं में शीर्ष क्लोज्ड एआई मॉडल्स से मुकाबला करता है।
- Llama 3.1 405B का प्रशिक्षण 16,000 से अधिक H100 GPUs पर 15 ट्रिलियन से अधिक टोकन का उपयोग करके किया गया था और कुशल इनफरेंस के लिए इसे 8-बिट (FP8) न्यूमेरिक्स में क्वांटाइज़ किया गया है।
- अपग्रेडेड 8B और 70B मॉडल्स में 128K कॉन्टेक्स्ट लेंथ, बहुभाषी समर्थन और बेहतर रीजनिंग क्षमताएं शामिल हैं।
- मेटा ने लाइसेंस को अपडेट किया है ताकि डेवलपर्स अन्य मॉडल्स को सुधारने के लिए मॉडल आउटपुट का उपयोग कर सकें, जिसमें सिंथेटिक डेटा जनरेशन और डिस्टिलेशन शामिल हैं।
- प्रदर्शन मूल्यांकन 150 से अधिक बेंचमार्क डेटासेट्स में GPT-4, GPT-4o और Claude 3.5 Sonnet के साथ प्रतिस्पर्धात्मकता का सुझाव देते हैं।
- रिलीज में Llama Guard 3, Prompt Guard और घटक इंटरफेस को मानकीकृत करने के लिए "Llama Stack" का प्रस्ताव शामिल है।
इस रिलीज का उद्देश्य डेटा को मेटा के साथ शेयर किए बिना ऑन-प्रेमिस या लोकल पर चलाए जा सकने वाले कस्टमाइज़ेबल वेट्स प्रदान करके डेवलपर्स के लिए बाधाओं को कम करना है।