Thinking Machines ने Inkling जारी किया है, जो Hugging Face पर उपलब्ध एक बड़ा ओपन-सोर्स मल्टीमोडल भाषा मॉडल है जो टेक्स्ट, छवि और ऑडियो इनपुट को नेटिवली प्रोसेस करता है। मॉडल में लगभग 1 ट्रिलियन कुल पैरामीटर और 41 बिलियन सक्रिय पैरामीटर हैं, जिसका प्रशिक्षण तर्क को मॉडेलिटीज़ के बीच सपोर्ट करने के लिए 45 ट्रिलियन टोकन पर किया गया था।
- आर्किटेक्चर: 256 एक्सपर्ट्स के साथ एक डिकोडर-ओनली मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) मॉडल, जो रिलेटिव एटेंशन, हाइब्रिड ग्लोबल/स्लाइडिंग विंडो एटेंशन और छोटी 1D कनवोल्यूशंस का उपयोग करता है।
- संदर्भ और इनफरेंस: 1 मिलियन टोकन संदर्भ विंडा का समर्थन करता है और तेज़ इनफरेंस के लिए स्पेकुलेटिव MTP लेयर्स शामिल हैं; BF16 और NVFP4 वेरिएंट में उपलब्ध।
- डिप्लॉयमेंट: Hugging Face Transformers, SGLang, vLLM और llama.cpp के लिए डे-0 सपोर्ट प्रदान करता है, BF16 के लिए 2 TB VRAM और NVFP4 के लिए 600 GB की आवश्यकता होती है।
मल्टीमोडल रीजनिंग एप्लिकेशन बनाने के लिए फाइन-ट्यूनिंग के माध्यम से डोमेन एडाप्शन के लिए मॉडल को डिज़ाइन किया गया है।