AKMessi выпустил Kivarro v0.1 alpha, открытую рабочую среду для локального вывода моделей, созданную на Rust и Tauri. Инструмент предназначен для обеспечения всестороннего контроля времени выполнения при запуске GGUF-моделей локально через llama.cpp.
- Включает реестр GGUF-моделей, профили промптов (сбалансированный, извлечение JSON, проверка кода, длинный контекст) и элементы управления тонкой настройкой времени выполнения.
- Предоставляет интерфейс в стиле командного центра с локальным статусом API, журналами, бенчмарками и показателями оборудования/памяти.
- Текущий релиз включает сборку для Windows, тогда как упаковка для macOS и Linux всё ещё проходит тестирование.
Автор просит сообщество r/LocalLLaMA предоставить обратную связь, чтобы выявить отсутствующие функции или настройки, которые улучшат удобство использования в ежедневных рабочих процессах с локальными моделями.