يشارك مستخدم ملاحظات شخصية حول نموذج InternScience/Agents-A1-Q8_0-GGUF يعمل على جهاز Mac M1 Max بذاكرة وصول عشوائي سعة 64 جيجابايت. يحقق النموذج حوالي 500 رمز في الثانية للتهيئة المسبقة و40 رمزًا في الثانية للتوليد باستخدام نافذة سياق كاملة بسعة 262K.
- يتم الوصول إلى النموذج عبر Hugging Face باستخدام llama-server مع المعلمات الموصى بها بما في ذلك درجة حرارة 0.85 و top-p 0.95.
- تشير مقاييس الأداء إلى سرعات تبلغ حوالي 500 t/s pp و40 t/s tg على الأجهزة المحددة.
- يشير الاستخدام المبكر إلى قدرة قابلة للمقارنة مع نماذج Qwen، على الرغم من أن المستخدم يلاحظ أنه مبكر جدًا لإجراء مقارنات قاطعة.
يدعو المنشور الآخرين إلى مشاركة تجاربهم مع النموذج، مما يبرز جدواه لعمليات سير العمل القائمة على الوكلاء المحليين.