Pluralis Research ने सफलतापूर्वक पहला RL पोस्ट-ट्रेनिंग रन निष्पादित किया जहाँ पूरी rollout फ्लीट खुले इंटरनेट के माध्यम से जुड़े उपभोक्ता Macs पर काम कर रही थी। सेटअप में MLX के साथ int8 इनफरेंस के लिए चार देशों में 14 Macs का उपयोग किया गया, जबकि एक अकेला B200 bf16 ग्रेडिएंट अपडेट संभाल रहा था।
- Cloudflare R2 के माध्यम से साधारण होम इंटरनेट पर rollout सिंक किए गए, बिना डेटासेंटर इंटरकनेक्ट्स के।
- off-policy अंतर को प्रबंधित करने के लिए PULSE ने पूर्ण चेकपॉइंट्स के बजाय int8 वेट डेल्टा (लगभग 82 MB) ट्रांसफर किए।
- DPPO-शैली की प्रायिकता गेट ने rollout और trainer मॉडल्स के बीच महत्वपूर्ण प्रायिकता विचलण वाले टोकन को फ़िल्टर किया।
- PaperSearchQA पर, cover pass@1 29% से बढ़कर 63% हो गया, और सर्च दर 22% से बढ़कर 84% हो गई।
यह दृष्टिकोण दिखाता है कि वितरित उपभोक्ता हार्डवेयर पर ट्रेनिंग करना संभव है, जिससे फ्रंटियर मॉडल्स बंद APIs के पीछे जाने पर भी ओपन मॉडल्स की पहुंच बनाए रखने में मदद मिल सकती है।