लेखक का तर्क है कि ओपन-सोर्स समुदाय को घर पर GPU पर विकेंद्रीकृत LLM प्रशिक्षण की समन्वय करने के प्रयास के बजाय, एक विशाल, उच्च-गुणवत्ता वाले प्री-ट्रेनिंग डेटासेट बनाने पर प्राथमिकता देनी चाहिए। यह बदलाव हालिया सरकारी प्रतिबंधों और छोटे-से-मध्यम ओपन-वेट रिलीज की कमी के लिए एक अधिक व्यावहारिक और तत्काल प्रतिक्रिया के रूप में पेश किया गया है।
- लेखक उपभोक्ता हार्डवेयर पर निकट भविष्य में वितरित प्रशिक्षण की संभावना को खारिज करते हैं, उच्च-लेटेंसी नेटवर्क के लिए एल्गोरिदम पर प्राथमिक शोध की आवश्यकता का हवाला देते हुए।
- एक सुझाई गई समाधान में इंटरनेट से डेटा को स्क्रेप, साफ और होस्ट करने के लिए BitTorrent डाउनलोडर के समान क्लाइंट बनाना शामिल है।
- लक्ष्य एक वैश्विक डेटाबेस है जिसमें ट्रिलियन टोकन हैं जो खुले तौर पर उपलब्ध है और व्यक्तिगत कंप्यूटरों पर होस्ट किया गया है।
ऐसे डेटासेट का अस्तित्व डेटा और VRAM को जमा करने वाली बड़ी कंपनियों के खिलाफ एक महत्वपूर्ण बयान के रूप में कार्य करेगा, जिसके साथ ही भविष्य के वितरित प्रशिक्षण प्रयासों को भी तेज करेगा।