AKMessi 发布了 Kivarro v0.1 alpha,这是一个使用 Rust 和 Tauri 构建的开源本地模型推理工作台。该工具旨在通过 llama.cpp 为在本地运行 GGUF 模型提供全面的运行时控制。
- 功能包括 GGUF 模型注册表、提示词配置文件(平衡、JSON 提取、代码审查、长上下文)以及运行时调优控件。
- 它提供了一个指挥中心风格的 UI,包含本地 API 状态、日志、基准测试和硬件/内存读数。
- 当前版本包含 Windows 构建,而 macOS 和 Linux 的打包仍在测试中。
作者正在寻求 r/LocalLLaMA 社区的反馈,以识别能改善日常本地模型工作流的缺失功能或设置。