Janas-LLM هو C-based, GPL-3.0 inference engine جديد مصمم لتشغيل نماذج Mixture-of-Experts الأكبر من RAM على آلات Linux العادية بدون GPUs عن طريق بث الخبراء من SSD.
يطور المطور اختبارات مجتمعية لضبط الأداء عبر تكوينات الأجهزة المتنوعة، مستهدفًا بشكل خاص AMD CPUs، معالجات Intel بدون AVX-VNNI، أنظمة بـ 16 GB أو أقل من الذاكرة، و SATA SSDs. يقوم السكربت المقدم بأتمتة بناء engine، تنزيل نماذج Qwen، التحقق من نتائج حسابية bit-identical، قياس السرعة على آلة خاملة، والإبلاغ عن النتائج عبر GitHub issues.
يهدف هذا الجهد إلى تحسين self-tuning capabilities للـ engine للخيط، استخدام GPU، واستراتيجيات تحميل الخبراء عبر مجموعة أوسع من الأجهزة مقارنة بآلة الاختبار الوحيدة للمطور.