थिंकिंग मशीन्स लैब ने इंकलिंग जारी किया है, जो फाइन-ट्यूनिंग के लिए उपलब्ध ओपन वेट्स के साथ शून्य से प्रशिक्षित किया गया उनका पहला मॉडल है। यह मॉडल 975B कुल पैरामीटर और 41B सक्रिय पैरामीटर वाले मिक्सचर-ऑफ-एक्सपर्ट्स ट्रान्सफ़ॉर्मर है, जो 1M टोकन तक के संदर्भ विंडो का समर्थन करता है।
- प्रीट्रेनिंग में पाठ, छवियों, ऑडियो और वीडियो डेटा के 45 ट्रिलियन टोकन का उपयोग किया गया।
- यह पाठ, छवि और ऑडियो इनपुट स्वीकार करता है लेकिन केवल UTF-8 पाठ आउटपुट देता है।
- इसमें DeepSeek-V3 डिज़ाइन का पालन करने वाले स्पार्स MoE फ़ीड-फॉरवर्ड परतों वाला 66-परत डिकोडर-ओनली ट्रान्सफ़ॉर्मर शामिल है।
- इंकलिंग में नियंत्रित सोचने की प्रयास क्षमता है, जिससे उपयोगकर्ता सिस्टम संदेशों या API तर्कों के माध्यम से टोकन बजट समायोजित कर सकते हैं।
- यह Terminal Bench 2.1 प्रदर्शन के लिए Nemotron 3 Ultra की तुलना में एक-तिहाई कम टोकन खर्च करता है।
- एक छोटा संस्करण, इंकलिंग-स्मॉल (कुल 276B, सक्रिय 12B), परीक्षण में है और बाद में इसके वेट्स जारी किए जाएंगे।
इस मॉडल की नियंत्रित प्रयास तंत्र के माध्यम से कॉल प्रति लागत और विलंबता समायोज्य है, जिससे इसे अनुकूलन और एजेंटिक पाइपलाइन के लिए आधार के रूप में स्थापित किया गया है।