نشر لورد نيل كميات GGUF لنموذج Agents-A1 الخاص بـ InternScience، وهو نموذج وكيل MoE بحجم 35B يعتمد على Qwen3.5-MoE. يتضمن الإصدار تنسيق NVFP4 المحسّن لوحات Blackwell GPUs ويكامل فك التشفير التخميني متعدد الرموز (MTP) لتحسين سرعة الاستدلال.
- يتميز النموذج بـ ~3B معامل نشط عبر 256 خبيرًا مع نافذة سياق بحجم 256K، ومصمم للبحث طويل المدى واستدعاء الأدوات.
- تم قياس الجودة باستخدام تباعد KL على توزيعات الرموز الـ 64 التالية الأعلى على 32 مطالبة، مقارنة بمستويات كمّية مختلفة ضد BF16.
- تتطلب بناءات NVFP4 لوحات Blackwell GPUs مع بناءات تدعم FP4، بينما تقدم تنسيقات أخرى مثل IQ4_XS و Q5_K_M دقة قريبة من BF16 أو حجمًا مضغوطًا.
- تم استنبات فك التشفير التخميني MTP من نقطة فحص جانبية منفصلة، مما أدى إلى زيادة في الإنتاجية تصل إلى 1.22× على خدمة مستخدم واحد.
- وصلت معدلات قبول المسودة إلى 91.5% لـ Q4_K_M-MTP مع n_max=1، مع الحفاظ على وظيفة النص فقط دون دعم الرؤية.
يوفر الإصدار للمستخدمين خيارات محسّنة لتشغيل نموذج Agents-A1 محليًا، مع موازنة الحجم والجودة والسرعة من خلال تقنيات كمّية محددة وفك التشفير التخميني.