一位开发者发布了 Kivarro，这是一款源码可用的桌面应用程序，旨在将本地大型语言模型推理整合到单一界面中。该工具旨在通过在一个地方结合模型管理、运行时调优和监控，来取代碎片化的工作流程。

  • 支持 GGUF、safetensors、bin 和 MLX 文件格式，并自动读取元数据。
  • 提供对 llama.cpp/llama-server 的监督以及可选的 mistral.rs 后端。
  • 包括硬件适配规划、内存上下文可视化和每秒 token 数的基准测试视图。
  • 提供本地 RAG 知识库工作台和兼容 OpenAI 的 API 视图。
  • 为 Windows、macOS 和 Linux 提供跨平台构建，支持 x64 和 ARM64 架构。

作者正在寻求运行本地模型的用户反馈，以识别缺失的工作流程元素，并确定接下来应优先支持哪些后端。