Jeanbosange ने LIMEN Runtime Audit का पहला सार्वजनिक प्रोटोटाइप प्रकाशित किया, जो एक ओपन-सोर्स टूलकिट है जो ओपन-वेट भाषा मॉडल में परत-वार सक्रियण पथों का निरीक्षण करने के लिए डिज़ाइन किया गया है। यह उपकरण परतों भर में छिपी हुई अवस्थाओं की श्रृंखला को एक मापने योग्य पथ मानता है, आंतरिक रनटाइम व्यवहार की तुलना के लिए एक पुनरुत्पादनीय निगरानी परत प्रदान करता है।
- संस्करण 0.1 छिपी हुई अवस्थाओं और वैकल्पिक लॉगिट्स वाले निर्यातित NumPy सरहणों को स्वीकार करता है।
- यह पथ की लंबाई, विस्थापन, जटिलता, औसत गति, गति में परिवर्तनशीलता, औसत त्वरण, मुड़ने का कोण, एन्ट्रॉपी और टॉप-1/टॉप-2 मार्जिन सहित मेट्रिक्स की गणना करता है।
- टूलकिट सरहण आयामों की जांच करता है, निष्कर्षण मेटाडेटा रिकॉर्ड करता है, SHA-256 चेकसम उत्पन्न करता है, और मशीन-पठनीय JSON और Markdown ऑडिट रिपोर्ट आउटपुट करता है।
- यह Python 3.10, 3.11, और 3.12 पर स्वचालित परीक्षण चलाता है।
लेखक पर जोर देते हैं कि यह एक वर्णनात्मक ऑडिट उपकरण है, न कि तर्क या अर्थव्यवस्था की अवस्थाओं का पूर्वानुमानक, जिसका उद्देश्य उपयोगकर्ताओं को मॉडल आर्किटेक्चर की तुलना करने, रीग्रेशन का पता लगाने और प्रॉम्प्ट परिवारों के बीच गतिशील अंतरों का अध्ययन करने में मदद करना है।