Moonshot ने Hugging Face पर अपने Kimi K3 मॉडल के वजन जारी किए हैं, जिनमें 2.8 ट्रिलियन पैरामीटर और mixture-of-experts आर्किटेक्चर है जिसमें प्रति टोकन 16 सक्रिय विशेषज्ञ हैं। टीम इस सप्ताह के अंत तक A100, H200 और B300 GPU पर मॉडल तैनात करने की योजना बना रही है, और बेंचमार्क परिणाम इस सप्ताह की उम्मीद है।
- Kimi K3 MXFP4 में क्वांटीज़ेशन-अवेयर ट्रेनिंग का उपयोग करता है, जिसके परिणामस्वरूप लगभग 1.4 TB वजन बनते हैं।
- मेमोरी सीमाओं के कारण और FP4 के लिए नेटिव सपोर्ट न होने के कारण 8x A100s पर तैनाती के लिए तीन नोड्स की आवश्यकता होती है।
- 8x H200s सेटअप के लिए भी कम से कम दो नोड्स की आवश्यकता होती है, जिसमें इंटरकनेक्ट लागत आती है।
- केवल 8x B300 कॉन्फ़िगरेशन ही पूरे मॉडल को एकल नोड में KV cache के साथ फिट करता है।
लेखक इस सप्ताह के अंत तक सभी तीन GPU कॉन्फ़िगरेशन के लिए टोकन प्रति सेकंड, पहले टोकन तक का समय और लागत मेट्रिक्स प्रदान करेंगे।