Metallama es una herramienta de código abierto en Python FastAPI que proporciona una interfaz web para gestionar instancias del servidor llama.cpp. Permite a los usuarios buscar y descargar modelos GGUF desde Hugging Face, configurar y monitorear servidores, y gestionar los pesos del modelo directamente desde la interfaz.
- Buscar y descargar GGUF desde la API de Hugging Face
- Configurar, iniciar y monitorear servidores llama.cpp
- Gestionar la biblioteca de pesos del modelo a través de la interfaz web
- Proporcionar una puerta de enlace proxy compatible con Ollama en /ollama
- Monitorear el uso de RAM y VRAM del host
- Conectar servidores remotos de llama.cpp bajo el proxy de Ollama en /models
- Estimar la huella total de memoria de una instancia (en desarrollo)
El proyecto tiene como objetivo simplificar el proceso de manejo de parámetros de inferencia y gestión de modelos sin requerir manipulación manual del terminal.