Metallama est une interface web pour gérer les instances de llama.cpp

Metallama est un outil Python FastAPI open-source qui fournit une interface web pour gérer les instances de serveurs llama.cpp. Il permet aux utilisateurs de rechercher et de télécharger des modèles GGUF depuis Hugging Face, de configurer et de surveiller les serveurs, et de gérer les poids des modèles directement depuis l'interface.

• Rechercher et télécharger des GGUF via l'API Hugging Face
• Configurer, lancer et surveiller les serveurs llama.cpp
• Gérer la bibliothèque de poids de modèles via l'interface web
• Fournir une passerelle proxy compatible Ollama sur /ollama
• Surveiller l'utilisation de la RAM et de la VRAM de l'hôte
• Connecter des serveurs llama.cpp distants sous le proxy Ollama sur /models
• Estimer l'empreinte mémoire totale d'une instance (WIP)

Le projet vise à simplifier la gestion des paramètres d'inférence et des modèles sans nécessiter de jonglerie manuelle avec le terminal.