जैसन वान फाम ने Niodoo जारी किया है, जो फ्रोज़न बड़े भाषा मॉडलों को उनकी छिपी हुई स्थितियों के माध्यम से स्टीयर करने के लिए डिज़ाइन किया गया एक स्थानीय रनटाइम है। परियोजना टोकन लूप को तोड़ने के लिए इनफरेंस के दौरान शोर या "भौतिक बल" इंजेक्ट करके अंतिम-चूक त्रुटियों को ठीक करने का लक्ष्य रखती है। यह दृष्टिकोण छोटे मॉडलों को फाइन-ट्यूनिंग के बिना प्रदर्शन में सुधार करने की अनुमति देता है, विशेष रूप से Llama स्ट्रॉबेरी प्रॉम्प्ट बेंचमार्क जैसे विशिष्ट विफलता मामलों को निशाना बनाता है। सिस्टम अपने स्वयं के टेलीमेट्री टैग उत्पन्न करता है और लूपिंग व्यवहार के लिए आंतरिक मॉडल स्थितियों की निगरानी करने के लिए TDA विश्लेषण का उपयोग करता है। वान फाम ने महीनों की स्व-निर्देशित शोध और रेड-टीमिंग के माध्यम से इस उपकरण को जैविक रूप से विकसित किया, पिं किए गए हैश से पुनरुत्पादक परिणामों पर जोर देते हुए। कोड Ruffian-L/niodoo-hidden-state-steering रिपॉजिटरी के तहत GitHub पर उपलब्ध है।
Niodoo: फ्रोज़न LLMs के लिए छिपी हुई स्थिति स्टीयरिंग का एक स्थानीय रनटाइम
अनुवादित English → हिन्दी