Seorang pengembang telah merilis Kivarro, aplikasi desktop dengan sumber yang tersedia yang dirancang untuk mengonsolidasikan inferensi model bahasa besar lokal ke dalam satu antarmuka. Alat ini bertujuan untuk menggantikan alur kerja yang terfragmentasi dengan menggabungkan manajemen model, penyetelan runtime, dan pemantauan di satu tempat.
- Mendukung format file GGUF, safetensors, bin, dan MLX dengan pembacaan metadata otomatis.
- Menyediakan pengawasan untuk llama.cpp/llama-server dan backend mistral.rs opsional.
- Termasuk perencanaan kecocokan perangkat keras, visibilitas konteks memori, dan tampilan benchmark untuk token/detik.
- Dilengkapi dengan bench kerja basis pengetahuan RAG lokal dan tampilan API yang kompatibel dengan OpenAI.
- Menawarkan build lintas platform untuk Windows, macOS, dan Linux di seluruh arsitektur x64 dan ARM64.
Penulis mencari umpan balik dari pengguna yang menjalankan model secara lokal untuk mengidentifikasi elemen alur kerja yang hilang dan menentukan dukungan backend mana yang harus diprioritaskan selanjutnya.