Metallama — это инструмент с открытым исходным кодом на Python FastAPI, предоставляющий веб-интерфейс для управления экземплярами сервера llama.cpp. Он позволяет пользователям искать и скачивать GGUF-модели с Hugging Face, настраивать и мониторить серверы, а также управлять весами моделей непосредственно из интерфейса.
- Поиск и скачивание GGUF через API Hugging Face
- Настройка, запуск и мониторинг серверов llama.cpp
- Управление библиотекой весов моделей через веб-интерфейс
- Предоставление прокси-шлюза, совместимого с Ollama, по адресу /ollama
- Мониторинг использования оперативной памяти и VRAM хоста
- Подключение удаленных серверов llama.cpp под прокси Ollama по адресу /models
- Оценка общего объема потребляемой памяти экземпляром (в разработке)
Проект стремится упростить процесс обработки параметров вывода и управления моделями, не требуя ручного переключения в терминале.