Metallamaは、llama.cppサーバーインスタンスを管理するためのWebインターフェースを提供するオープンソースのPython FastAPIツールです。Hugging FaceからGGUFモデルを検索およびダウンロードし、サーバーの設定と監視を行い、UIから直接モデルウェイトを管理することができます。
- Hugging Face APIからGGUFを検索およびダウンロード
- llama.cppサーバーの設定、起動、監視
- ウェブインターフェース経由でモデルウェイトライブラリを管理
- /ollamaにOllama互換のプロキシゲートウェイを提供
- ホストのRAMおよびVRAMの使用状況を監視
- /modelsのOllamaプロキシの下にリモートllama.cppサーバーを接続
- インスタンスの総メモリフットプリントの見積もり（WIP）
このプロジェクトは、手動のターミナル操作を必要とせずに、推論パラメータの処理とモデル管理のプロセスを簡素化することを目的としています。