Разработчик выпустил Kivarro, десктопное приложение с открытым исходным кодом, предназначенное для объединения локального вывода больших языковых моделей в едином интерфейсе. Инструмент призван заменить фрагментированные рабочие процессы, объединив управление моделями, настройку времени выполнения и мониторинг в одном месте.
- Поддерживает форматы файлов GGUF, safetensors, bin и MLX с автоматическим чтением метаданных.
- Обеспечивает контроль за llama.cpp/llama-server и предоставляет опциональный бэкенд mistral.rs.
- Включает планирование подбора оборудования, видимость контекста памяти и представления бенчмарков для токенов/сек.
- Предлагает локальную рабочую среду RAG для базы знаний и представление API, совместимое с OpenAI.
- Предоставляет кроссплатформенные сборки для Windows, macOS и Linux для архитектур x64 и ARM64.
Автор просит пользователей, работающих с моделями локально, предоставить обратную связь, чтобы выявить недостающие элементы рабочих процессов и определить, какие поддержки бэкендов следует приоритизировать в первую очередь.