Metallama 是一个开源 Python FastAPI 工具，提供 Web 界面以管理 llama.cpp 服务器实例。它允许用户从 Hugging Face 搜索和下载 GGUF 模型，配置和监控服务器，并直接从 UI 管理模型权重。

  • 通过 Hugging Face API 搜索和下载 GGUF
  • 配置、启动和监控 llama.cpp 服务器
  • 通过 Web 界面管理模型权重库
  • 在 /ollama 提供与 Ollama 兼容的代理网关
  • 监控主机 RAM 和 VRAM 使用情况
  • 在 /models 下的 Ollama 代理下接入远程 llama.cpp 服务器
  • 估算实例的总内存占用（进行中）

该项目旨在简化推理参数处理和模型管理的过程，无需手动操作终端。