Metallama는 llama.cpp 인스턴스를 관리하기 위한 웹 UI입니다

Metallama는 llama.cpp 서버 인스턴스를 관리하기 위한 웹 인터페이스를 제공하는 오픈소스 Python FastAPI 도구입니다. Hugging Face에서 GGUF 모델을 검색하고 다운로드하며, 서버를 구성하고 모니터링하고, UI에서 직접 모델 가중치를 관리할 수 있습니다.

• Hugging Face API에서 GGUF 검색 및 다운로드
• llama.cpp 서버 구성, 시작 및 모니터링
• 웹 인터페이스를 통해 모델 가중치 라이브러리 관리
• /ollama에 Ollama 호환 프록시 게이트웨이 제공
• 호스트 RAM 및 VRAM 사용량 모니터링
• /models의 Ollama 프록시 아래에 원격 llama.cpp 서버 연결
• 인스턴스의 총 메모리 발자국 추정 (WIP)

이 프로젝트는 수동 터미널 조작 없이 추론 매개변수 처리 및 모델 관리 프로세스를 단순화하는 것을 목표로 합니다.