نموذج PrismML Bonsai 27B يعمل على Jetson Orin Nano 8GB بسرعة 4.31 توك/ث وذاكرة وصول عشوائي 6.2 جيجابايت

يُبلغ عن أن نموذج PrismML Bonsai 27B يمكن استخدامه على جهاز Jetson Orin Nano 8GB، مستهلكًا حوالي 25 واط من الطاقة.

• تصل سرعة معالجة المطالبات إلى 27 توك في الثانية.
• سرعة التوليد هي 4.31 توك في الثانية بحجم سياق قدره 48k.
• استخدام الذاكرة العشوائية هو 6.2 جيجابايت عند التشغيل البارد بدون تعيين ذاكرة.

يُوصف الإعداد بأنه قادر على التعامل مع المهام المعقدة بفعالية على الرغم من مقاييس الأداء المتواضعة.