Metallama एक ओपन-सोर्स Python FastAPI टूल है जो llama.cpp सर्वर इंस्टेंसों को प्रबंधित करने के लिए एक वेब इंटरफ़ेस प्रदान करता है। यह उपयोगकर्ताओं को Hugging Face से GGUF मॉडल खोजने और डाउनलोड करने, सर्वरों को कॉन्फ़िगर और मॉनिटर करने, और UI से सीधे मॉडल वेट्स को प्रबंधित करने की अनुमति देता है।
- Hugging Face API से GGUF खोजें और डाउनलोड करें
- llama.cpp सर्वरों को कॉन्फ़िगर, स्पॉन और मॉनिटर करें
- वेब इंटरफ़ेस के माध्यम से मॉडल वेट्स लाइब्रेरी को प्रबंधित करें
- /ollama पर Ollama संगत प्रॉक्सी गेटवे प्रदान करें
- होस्ट RAM और VRAM उपयोग की निगरानी करें
- /models पर Ollama प्रॉक्सी के तहत रिमोट llama.cpp सर्वर प्लग इन करें
- एक इंस्टेंस के कुल मेमोरी फुटप्रिंट का अनुमान लगाएं (WIP)
परियोजना का उद्देश्य मैन्युअल टर्मिनल जगलिंग की आवश्यकता के बिना इन्फरेंस पैरामीटर और मॉडल प्रबंधन के प्रक्रिया को सरल बनाना है।