Metallama é uma interface web para gerenciar instâncias do llama.cpp

O Metallama é uma ferramenta de código aberto em Python FastAPI que fornece uma interface web para gerenciar instâncias do servidor llama.cpp. Ele permite que os usuários pesquisem e baixem modelos GGUF do Hugging Face, configurem e monitorem servidores, e gerenciem os pesos do modelo diretamente pela interface.

• Pesquise e baixe GGUFs da API do Hugging Face
• Configure, inicie e monitore servidores llama.cpp
• Gerencie a biblioteca de pesos do modelo via interface web
• Forneça um gateway proxy compatível com Ollama em /ollama
• Monitore o uso de RAM e VRAM do host
• Conecte servidores remotos do llama.cpp sob o proxy do Ollama em /models
• Estime a pegada total de memória de uma instância (em desenvolvimento)

O projeto visa simplificar o processo de manipulação de parâmetros de inferência e gerenciamento de modelos sem exigir manipulação manual do terminal.