Falcon टीम ने Falcon3 ओपन मॉडल परिवार जारी किया है, जो विस्तारित विज्ञान, गणित और कोड क्षमताओं पर जोर देने वाला एक नया संस्करण है। इस रिलीज में पांच बेस मॉडल शामिल हैं: Falcon3-1B, 3B, 7B, और 10B (ट्रांसफ़ॉर्मर-आधारित), साथ ही Falcon3-Mamba-7B (SSM)।
मुख्य नवाचारों में 14 ट्रिलियन टोकन का उपयोग करके 7B मॉडल के लिए एकल बड़े पैमाने पर प्री-ट्रेनिंग, एक स्टेट-ऑफ़-द-आर्ट 10B मॉडल बनाने के लिए गहराई स्केलिंग, और कुशल टाइन मॉडल्स के लिए ज्ञान डिस्टिलेशन शामिल हैं। इस परिवार 32k टोकन तक संदर्भ लंबाई का समर्थन करता है और यह Instruct, GGUF, और क्वांटाइज्ड वेरिएंट्स सहित विभिन्न प्रारूपों में उपलब्ध है।
बेंचमार्क परिणाम दिखाते हैं कि Falcon3-10B-Base 13B पैरामीटर के तहत स्टेट-ऑफ़-द-आर्ट प्रदर्शन हासिल कर रहा है, जिसमें MATH-Lvl5 (22.9) और GSM8K (83.0 पर मजबूत स्कोर हैं। मॉडल Falcon LLM लाइसेंस के तहत जारी किए गए हैं, और जनवरी 2025 में मल्टी-मोडल वेरिएंट्स की योजना है।