قام المؤلف ببناء eqx-zoo، وهي مكتبة تحمّل نقاط التفتيش من Hugging Face Hub مباشرةً كوحدات عادية من Equinox وتتحقق من كل نموذج مقابل مكتبة transformers. يدعم المشروع حاليًا Llama و Qwen2 و Qwen3 و Qwen3-MoE للتوليد، و BERT و RoBERTa و XLM-RoBERTa للتضمينات.

  • يضمن التحقق تطابق مخرجات float32 مع transformers طبقة بطبقة وإعادة إنتاج greedy للرموز بدقة.
  • اكتشف المؤلف أن المقارنة المباشرة لتنفيذات bf16 بها عيب بسبب اختلافات التقريب، مما يستلزم المقارنة مقابل float32 بالنسبة لخطأ المصدر.
  • وُجد أن تجميع JIT لمفكك الشفرة في XXL أقل دقة بشكل قابل للقياس من التنفيذ eager، بينما لم تُظهر المشفرات هذه المشكلة.
  • كان عيب LayerNorm الدقيق في bf16 قابلاً للكشف فقط على مستوى الكتلة، مما يبرز الحاجة إلى اختبار دقيق.

نقاط التفتيش المُتحقّق منها متاحة في مجموعة Hugging Face، ويمكن تثبيت المكتبة عبر pip.