AKMessi merilis Kivarro, bench inferensi LLM lokal open-source berbasis Rust/Tauri

AKMessi telah merilis Kivarro v0.1 alpha, sebuah bench inferensi model lokal open-source yang dibangun dengan Rust dan Tauri. Alat ini dirancang untuk memberikan kontrol runtime komprehensif untuk menjalankan model GGUF secara lokal melalui llama.cpp.

• Fitur mencakup registri model GGUF, profil prompt (Seimbang, Ekstraksi JSON, Tinjauan kode, Konteks panjang), dan kontrol penalaan runtime.
• Ini menyediakan UI bergaya pusat komando dengan status API lokal, log, benchmark, dan pembacaan hardware/memori.
• Rilis saat ini mencakup build Windows, sementara pengemasan untuk macOS dan Linux masih dalam tahap pengujian.

Penulis mencari umpan balik dari komunitas r/LocalLLaMA untuk mengidentifikasi fitur atau pengaturan yang hilang yang akan meningkatkan utilitas untuk alur kerja model lokal sehari-hari.