تشهد نماذج Bonsai-27B و Ternary-Bonsai-27B زيادة في التكامل مع مستودع llama.cpp الرئيسي، حيث أصبح دعم الثنائي Q1_0 متاحًا الآن بشكل افتراضي عبر خلفيات المعالج (CPU) و Metal و CUDA و Vulkan. يدعم التريوناري حاليًا مرحلة انتقالية، حيث تم دمج خلفيات CPU و Metal بينما لا تزال تنفيذات CUDA و Vulkan قيد المراجعة أو معلقة.
- يتم دعم تنسيق الثنائي Q1_0 بالكامل في llama.cpp الرئيسي؛ ولا يزال دعم MLX معلقًا عبر طلب سحب منفصل.
- توجد ثلاثة متغيرات GGUF تريوناري: مجموعة-128 Q2_0 الخاصة بالعرض التوضيحي (للشوكة فقط)، ومجموعة-64 Q2_0 الرسمية (CPU/Metal الرئيسية)، وتنسيق PQ2_0 المخطط له.
- يحتفظ Bonsai-27B بـ 89.5% من جودة الدقة الكاملة، بينما يحتفظ Ternary-Bonsai-27B بـ 94.6%، مع ملاحظة أن البرمجة الوكيلية ليست محور تركيز أساسي بعد.
- يتجاوز حجم النموذج التريوناري حوالي 7.2 جيجابايت ميزانية ذاكرة iOS، مما يتطلب متغير MLX ذو البت الواحد للنشر على الأجهزة المحمولة.
توضح هذه التحديثات مشهد التوافق الحالي للمستخدمين الذين يشغلون نماذج الضغط المتطرفة هذه عبر خلفيات الأجهزة المختلفة.