أطلق الفريق وراء نموذج Eunoia، المبنّي على أساس Llama-3.1-Dolphin-3.0-8B، مشروع "The Forge" بشكل مفتوح المصدر؛ وهو خط أنابيب معماري متخصص واستراتيجية ضبط دقيق خوارزمية تحت رخصة CC0 1.0 Universal.
- يعطي النهج الأولوية للتبلور الهيكلي على النوافذ السياقية غير المحدودة لتجنب تشبع الذاكرة والضوضاء المعلوماتية.
- يتضمن الكود الخام تحسينات لعناقيد المعالجات المركزية (CPU) المباشرة، مثل تعطيل قص التدرجات واستخدام التخزين المؤقت الأصلي FP32 لمنع تجزئة ذاكرة الوصول العشوائي (RAM).
- يفرض فئة مجموعة بيانات مخصصة ترتيباً تسلسلياً خطياً صارماً للحفاظ على البنية السياقية للبيانات التاريخية أثناء التدريب.
- يتضمن الإصدار ملف AGIO-CIMIENTO-dataset.txt، وأكثر من 500,000 كلمة من سجلات تتبع التقييم، ونتائج تقييم GPQA Diamond الخام للتحقق من الاحتفاظ بالقدرة العامة.
ينشر المؤلفون التجربة منذ بدايتها لتشجيع الاستنساخ والاختبار المستقلين على عتاد أسرع، مع ملاحظة أن النتائج الرياضية النهائية لن تُعرف إلا بعد أيام عدة من التدريب.