UCTF (Universal Compressed Training Format) नामक एक नया अवधारणा बहुभाषी LLM प्रशिक्षण में अर्थव्यवस्था की अतिरेक को दूर करने के लिए एक मध्यस्थ परत का प्रस्ताव देती है, जिसमें विविध भाषाओं को एक एकीकृत, भाषा-अज्ञेय टोकन प्रारूप में संकुचित किया जाता है।
- पाइपलाइन कच्चे डेटा को इनगेस्ट करती है, क्रॉस-भाषिक एम्बेडिंग्स के माध्यम से अर्थ निकालती है, और प्रशिक्षण के लिए एक घन मशीन-अनुकूलित प्रतिनिधित्व में इसे एन्कोड करती है।
- UCTF बाइट लेटेंट ट्रान्सफॉर्मर अवधारणाओं को क्रॉस-भाषिक रूप से विस्तारित करता है और अर्थ वेक्टर मैपिंग के लिए LaBSE या mE5 जैसे मौजूदा उपकरणों का उपयोग करता है।
- संभावित लाभों में संग्रहण और कंप्यूट बर्बादी में कमी, तेज प्रशिक्षण चक्र, और कम संसाधन वाली भाषाओं के लिए बेहतर समर्थन शामिल हैं।
लेखक उच्च संकुचन अनुपात प्राप्त करने की व्यवहार्यता पर तकनीकी आलोचना चाहते हैं, जिससे प्रशिक्षण सिग्नल खराब न हों, और क्या मानक फाइन-ट्यूनिंग पाइपलाइनें संगत रहती हैं।