Un développeur a publié Kivarro, une application de bureau à code source disponible conçue pour consolider l'inférence des grands modèles de langage locaux en une seule interface. L'outil vise à remplacer les workflows fragmentés en combinant la gestion des modèles, le réglage du runtime et la surveillance en un seul endroit.
- Prend en charge les formats de fichiers GGUF, safetensors, bin et MLX avec lecture automatique des métadonnées.
- Fournit une supervision pour llama.cpp/llama-server et un backend mistral.rs optionnel.
- Inclut la planification de l'adéquation matérielle, la visibilité du contexte mémoire et des vues de benchmark pour les tokens/seconde.
- Comprend un poste de travail de base de connaissances RAG local et une vue API compatible OpenAI.
- Propose des builds multiplateformes pour Windows, macOS et Linux sur les architectures x64 et ARM64.
L'auteur cherche à recueillir des retours d'utilisateurs qui exécutent des modèles localement afin d'identifier les éléments de workflow manquants et de déterminer quels supports backend devraient être prioritaires par la suite.