أطلقت AKMessi النسخة v0.1 alpha من Kivarro، وهي منصة استنتاج نماذج محلية مفتوحة المصدر مُبنية باستخدام Rust وTauri. صُممت الأداة لتقديم تحكم شامل في وقت التشغيل لتشغيل نماذج GGUF محليًا عبر llama.cpp.
- تشمل الميزات سجل نماذج GGUF، وملفات تعريف المطالبات (متوازن، استخراج JSON، مراجعة الكود، سياق طويل)، وتحكمات ضبط وقت التشغيل.
- توفر واجهة مستخدم على طراز مركز القيادة تعرض حالة API المحلي، والسجلات، والاختبارات المرجعية، وقراءات العتاد/الذاكرة.
- يتضمن الإصدار الحالي بناءً لنظام Windows، بينما لا يزال تغليف macOS وLinux قيد الاختبار.
يسعى المؤلف للحصول على ملاحظات من مجتمع r/LocalLLaMA لتحديد الميزات أو الإعدادات المفقودة التي ستحسن الفائدة لعمليات عمل النماذج المحلية اليومية.