JLens-GGUF नामक एक नया टूल llama.cpp पर चलने वाले GGUF मॉडल्स के लिए इंटरैक्टिव जैकोबियन-लेंस विज़ुअलाइज़ेशन और लाइव स्टीयरिंग क्षमताएं लाता है। Anthropic के शोध से प्रेरित, यह परियोजना GGUF-आधारित इनफरेंस इंजनों के लिए एक खाली जगह को भरती है, जिससे उपयोगकर्ता अपने मॉडल्स की आंतरिक स्थिति का अवलोकन और हेरफेर कर सकते हैं।
- इसमें llama.cpp पर क्लोजली आधारित एक नेटिव GGUF सर्वर शामिल है जो मॉडल अवलोकन और j-space स्विपिंग, abliteration, और स्टीयरिंग का समर्थन करता है।
- टूल घने और मिक्स्चर-ऑफ-एक्सपर्ट्स (MoE) GGUF फॉर्मेट दोनों के साथ काम करता है।
- जबकि यह चल रहे llama-server मॉडल्स का अवलोकन कर सकता है, यह उन्हें सीधे स्टीयर नहीं कर सकता; स्टीयरिंग के लिए नेटिव सर्वर की आवश्यकता होती है।
- लेंस के लिए मेमोरी आवश्यकताएं मॉडल के आकार के साथ लगभग मॉडल के फुटप्रिंट का 1/8 वृद्धि पाती हैं।
यह कार्यान्वयन स्थानीय उपयोगकर्ताओं को पहले PyTorch या Hugging Face वातावरण तक सीमित उन्नत इंटरप्रेटेबिलिटी और कंट्रोल फीचर्स तक पहुंच प्रदान करता है।