Metallama هو أداة Python FastAPI مفتوحة المصدر توفر واجهة ويب لإدارة مثيلات خوادم llama.cpp. يتيح للمستخدمين البحث عن نماذج GGUF وتنزيلها من Hugging Face، وتكوين الخوادم ومراقبتها، وإدارة أوزان النماذج مباشرةً من الواجهة.
- البحث عن ملفات GGUF وتنزيلها عبر واجهة برمجة تطبيقات Hugging Face
- تكوين وتشغيل ومراقبة خوادم llama.cpp
- إدارة مكتبة أوزان النماذج عبر الواجهة الويب
- توفير بوابة بروكسي متوافقة مع Ollama عند المسار /ollama
- مراقبة استخدام ذاكرة الوصول العشوائي (RAM) وذاكرة الفيديو (VRAM) للمضيف
- ربط خوادم llama.cpp البعيدة تحت بروكسي Ollama عند المسار /models
- تقدير إجمالي حجم الذاكرة المثيل (قيد التنفيذ)
يهدف المشروع إلى تبسيط عملية معالجة معاملات الاستدلال وإدارة النماذج دون الحاجة إلى التعامل اليدوي مع سطر الأوامر.