AKMessi ने Rust और Tauri के साथ बनाई गई एक खुले स्रोत की स्थानीय मॉडल इनफरेंस वर्कबेंच, Kivarro v0.1 alpha जारी की है। यह टूल llama.cpp के माध्यम से स्थानीय रूप से GGUF मॉडल चलाने के लिए व्यापक रनटाइम नियंत्रण प्रदान करने के लिए डिज़ाइन किया गया है।
- इसमें GGUF मॉडल रजिस्ट्री, प्रॉम्प्ट प्रोफ़ाइल (संतुलित, JSON निष्कर्षण, कोड समीक्षा, लंबा संदर्भ) और रनटाइम ट्यूनिंग नियंत्रण शामिल हैं।
- यह स्थानीय API स्थिति, लॉग्स, बेंचमार्क्स और हार्डवेयर/मेमोरी रीडआउट के साथ एक कमांड-सेंटर शैली का UI प्रदान करता है।
- वर्तमान रिलीज में Windows बिल्ड शामिल है, जबकि macOS और Linux पैकेजिंग अभी भी परीक्षण के अधीन हैं।
लेखक दैनिक स्थानीय मॉडल कार्यप्रवाहों के लिए उपयोगिता को बेहतर बनाने वाले गुम हुए फीचर्स या सेटिंग्स की पहचान करने के लिए r/LocalLLaMA समुदाय से प्रतिक्रिया चाहते हैं।