लेखक ने eqx-zoo बनाया है, एक लाइब्रेरी जो Hugging Face Hub चेकपॉइंट्स को सीधे सादे Equinox मॉड्यूल के रूप में लोड करती है और transformers लाइब्रेरी के खिलाफ प्रत्येक मॉडल की सत्यापन करता है। परियोजना वर्तमान में जनरेशन के लिए Llama, Qwen2, Qwen3, Qwen3-MoE और एम्बेडिंग्स के लिए BERT, RoBERTa, XLM-RoBERTa का समर्थन करती है।
- सत्यापन सुनिश्चित करता है कि float32 आउटपुट परत-दर-परत transformers से मेल खाते हैं और greedy जनरेशन टोकन्स को बिल्कुल पुन: उत्पन्न करता है।
- लेखक ने पाया कि bf16 कार्यान्वयनों की सीधी तुलना राउंडिंग अंतर के कारण दोषपूर्ण है, जिसके परिणामस्वरूप स्रोत त्रुटि के सापेक्ष float32 के खिलाफ तुलना आवश्यक होती है।
- XXL में एक decoder को JIT-कंपाइल करना eager execution की तुलना में मापनीय रूप से कम सटीक पाया गया, जबकि encoders ने इस समस्या को नहीं दिखाया।
- bf16 में LayerNorm का एक सूक्ष्म बग केवल ब्लॉक स्तर पर ही पता चला, जिससे ग्रैन्युलर टेस्टिंग की आवश्यकता उजागर हुई।
सत्यापित चेकपॉइंट्स Hugging Face संग्रह में उपलब्ध हैं, और लाइब्रेरी pip के माध्यम से इंस्टॉल करने योग्य है।