يقدم مشروع llama.cpp دعمًا لبنية Granite-Switch، وهي نسخة كثيفة من النموذج تحتوي على N من محولات Loira المضمنة التي يتم اختيارها لكل رمز عبر رموز التحكم. تستبدل هذه التنفيذ فهرسًا عالميًا ثابتًا سابقًا كان مجرد مفهوم أولي، بآلية انتباه "موزّع" سببي داخل الرسم البياني لحل مؤشرات المحوّل.
- يستخدم الموزّع الجديد طبقة انتباه سببي برأس واحد لاستعادة مؤشر المحوّل داخل الرسم البياني، مما يصلح مشكلات التزامن حيث كانت تسرب حالات المحوّل بين المتتاليات المتعددة سابقًا.
- من خلال تخزين مفاتيح وقيم الموزّع في ذاكرة KV الخاصة بكل متتالية، أصبحت الطلبات المتزامنة معزولة الآن دون الحاجة إلى إدارة حالة عالمية.
- تدعم البنية التبديل أثناء تسلسل العمليات، مما يسمح بتفعيل محوّلين مختلفين لمهام محددة مثل الإجابة أو إعادة صياغة الاستفسار ضمن تسلسل واحد.
- لا يزال قيد معروف يتمثل في أن المحوّل يظل نشطًا بمجرد تفعيله داخل تسلسل حتى نهاية التسلسل، لأن كسب الموزّع مسطح ويفتقر إلى تحيز الحداثة.
يُمكّن هذا التغيير الاستدلال متعدد المهام بكفاءة على وحدة المعالجة المركزية من خلال التبديل الديناميكي بين محوّلين متخصصين دون إعادة تحميل النماذج، مع الحفاظ على العزل للطلبات المتزامنة في دفعات.