Metallama adalah UI web untuk mengelola instance llama.cpp

Metallama adalah alat Python FastAPI open-source yang menyediakan antarmuka web untuk mengelola instance server llama.cpp. Alat ini memungkinkan pengguna mencari dan mengunduh model GGUF dari Hugging Face, mengonfigurasi dan memantau server, serta mengelola bobot model langsung dari UI.

• Cari dan unduh GGUF dari API Hugging Face
• Konfigurasi, jalankan, dan pantau server llama.cpp
• Kelola pustaka bobot model melalui antarmuka web
• Sediakan gateway proxy kompatibel Ollama di /ollama
• Pantau penggunaan RAM dan VRAM host
• Sambungkan server llama.cpp jarak jauh di bawah proxy Ollama di /models
• Perkirakan total jejak memori sebuah instance (WIP)

Proyek ini bertujuan untuk menyederhanakan proses penanganan parameter inferensi dan manajemen model tanpa memerlukan manuver terminal manual.