AKMessi lance Kivarro, un atelier d'inférence LLM local open-source en Rust/Tauri

AKMessi a publié Kivarro v0.1 alpha, un atelier d'inférence de modèles locaux open-source construit avec Rust et Tauri. L'outil est conçu pour fournir un contrôle runtime complet pour l'exécution de modèles GGUF localement via llama.cpp.

• Les fonctionnalités incluent un registre de modèles GGUF, des profils de prompt (Équilibré, Extraction JSON, Revue de code, Long contexte) et des contrôles de réglage du runtime.
• Il offre une interface utilisateur de style centre de commande avec l'état de l'API locale, les journaux, les benchmarks et les relevés matériels/mémoire.
• La version actuelle inclut un build pour Windows, tandis que le packaging pour macOS et Linux est encore en cours de test.

L'auteur sollicite les retours de la communauté r/LocalLLaMA afin d'identifier les fonctionnalités ou paramètres manquants qui amélioreraient l'utilité pour les flux de travail quotidiens de modèles locaux.