Hugging Face पर एक प्रस्ताव AI में दो जुड़े हुए समस्याओं पर चर्चा करता है: अलग-अलग बड़े मॉडल के प्रशिक्षण पर निर्भरता और इकोसिस्टम की सामान्य उद्देश्य GPU पर निर्भरता।
- लेखक "प्रोग्रेसिव मॉडल ग्रोथ" का सुझाव देते हैं, जहाँ एक मॉडल संरचनात्मक रूप से विस्तारित होता है (उदाहरण के लिए, 4B से 8B तक) सीखी गई प्रतिनिधित्व को बनाए रखते हुए, प्रत्येक आकार के लिए शून्य से शुरू करने के बजाय।
- यह दृष्टिकोण फिक्स्ड-साइज़ ज्ञान ट्रांसफर को पूरा करता है, मॉडल को संरचनात्मक विस्तार की आवश्यकता होने से पहले अधिक क्षमता अवशोषित करने देता है।
- हार्डवेयर सीमाओं को संबोधित करने के लिए, लेखक ट्रान्सफॉर्मर्स के लिए एक "AI हार्डवेयर प्रोफाइल" का प्रस्ताव करते हैं, विशेष ASIC निर्माताओं के लिए सामान्य ऑपरेशन (जैसे GEMM और एटेंशन) का एक स्थिर सेट परिभाषित करते हुए।
- प्रस्ताव तर्क देता है कि मॉडल रिलीज़ को पैरामीटर गिनती के साथ-साथ जूल प्रति टोकन और मेमोरी आवश्यकताओं जैसे दक्षता मेट्रिक्स का बेंचमार्किंग करना चाहिए।
लेखक मानते हैं कि ये बदलाए स्थानीय AI उपयोगकर्ताओं को VRAM सीमाओं से पार पाने में मदद कर सकते हैं और हार्डवेयर निर्माताओं को एक स्पष्ट अनुकूलन लक्ष्य प्रदान कर सकते हैं।