एक डेवलपर ने Kivarro जारी किया है, जो एक स्रोत-उपलब्ध डेस्कटॉप एप्लिकेशन है जिसे एकल इंटरफ़ेस में स्थानीय बड़े भाषा मॉडल इनफरेंस को संघबद्ध करने के लिए डिज़ाइन किया गया है। यह टूल मॉडल प्रबंधन, रनटाइम ट्यूनिंग और निगरानी को एक ही जगह पर जोड़कर बिखरे हुए वर्कफ़्लो को बदलने का लक्ष्य रखता है।
- स्वचालित मेटाडेटा पढ़ने के साथ GGUF, safetensors, bin, और MLX फ़ाइल प्रारूपों का समर्थन करता है।
- llama.cpp/llama-server के लिए निगरानी और एक वैकल्पिक mistral.rs बैकएंड प्रदान करता है।
- हार्डवेयर फिट प्लानिंग, मेमोरी कॉन्टेक्स्ट दृश्यता, और टोकन/सेक के लिए बेंचमार्क व्यूज़ शामिल हैं।
- स्थानीय RAG ज्ञान-भंडार वर्कबेंच और OpenAI-संगत API व्यू प्रदान करता है।
- x64 और ARM64 आर्किटेक्चर के लिए Windows, macOS, और Linux के लिए क्रॉस-प्लेटफ़ॉर्म बिल्ड्स पेश करता है।
लेखक स्थानीय रूप से मॉडल चलाते हुए उपयोगकर्ताओं से फीडबैक की तलाश में हैं ताकि गायब वर्कफ़्लो तत्वों की पहचान की जा सके और निर्धारित किया जा सके कि अगले किस बैकएंड समर्थन को प्राथमिकता दी जानी चाहिए।