أطلق مطوّر تطبيق سطح المكتب Kivarro، وهو تطبيق متاح المصدر مصمم لتوحيد استنتاج النماذج اللغوية الكبيرة محليًا في واجهة واحدة. يهدف الأداة إلى استبدال سير العمل المجزأ من خلال دمج إدارة النماذج، وضبط وقت التشغيل، والمراقبة في مكان واحد.
- يدعم تنسيقات الملفات GGUF و safetensors و bin و MLX مع قراءة تلقائية للبيانات الوصفية.
- يوفر إشرافًا لـ llama.cpp/llama-server وخلفية mistral.rs اختيارية.
- يتضمن تخطيط توافق الأجهزة، ورؤية سياق الذاكرة، وعروض المعايير لمعدل الرموز/ثانية.
- يتميز بمنصة عمل لقاعدة المعرفة RAG المحلية وعرض واجهة برمجة التطبيقات المتوافقة مع OpenAI.
- يوفر إصدارات عبر المنصات لأنظمة Windows و macOS و Linux عبر بنية x64 و ARM64.
يسعى المؤلف للحصول على ملاحظات من المستخدمين الذين يشغلون النماذج محليًا لتحديد عناصر سير العمل المفقودة وتحديد أي دعم للخلفية يجب إعطاؤه الأولوية التالية.