Thinking Machines Lab ने Inkling जारी किया है, एक नया मल्टीमोडल मिक्स्चर-ऑफ-एक्सपर्ट्स मॉडल जो टोकन-कुशल रीजनिंग और टेक्स्ट, इमेज और ऑडियो इनपुट की नेटिव समझ के लिए डिज़ाइन किया गया है। Together AI अपने इन्फरेंस प्लेटफ़ॉर्म पर मॉडल को डे-ज़ीरो एक्सेस के साथ उपलब्ध करा रहा है।
- Inkling में 975B कुल पैरामीटर हैं, प्रति टोकन 40B सक्रिय पैरामीटर और 1M संदर्भ विंडो।
- आर्किटेक्चर कुशल निष्पादन के लिए क्वेरी-कंडीश्ड रिलेटिव एटेंशन, शॉर्ट कैजुअल कॉन्वोल्यूशंस और शेयर्ड एक्सपर्ट सिंक का उपयोग करता है।
- यह नियंत्रित इन्फरेंस एफ़र्ट को सपोर्ट करता है, जिससे डेवलपर्स रीजनिंग गहराई, लेटेंसी और टोकन उपयोग को समायोजित कर सकते हैं।
- प्रारंभिक मूल्यांकन वैज्ञानिक रीजनिंग, गणित, कोडिंग और फ़ोरकास्टिंग कार्यों में मजबूत प्रदर्शन दिखाते हैं।
- मॉडल टेक्स्ट, इमेज और ऑडियो इनपुट को एक एकीकृत डिकोडर स्टैक के माध्यम से स्वीकार करता है ताकि टेक्स्ट आउटपुट उत्पन्न किया जा सके।
डेवलपर्स OpenAI-कम्पैटिबल APIs के साथ Together AI Serverless के माध्यम से Inkling तक पहुंच सकते हैं, जिससे इंफ्रास्ट्रक्चर प्रबंधित किए बिना मल्टीमोडल एप्लिकेशन बनाए जा सकते हैं।