AKMessi lanza Kivarro, una caja de herramientas de inferencia LLM local de código abierto en Rust/Tauri

AKMessi ha lanzado Kivarro v0.1 alpha, una caja de herramientas de inferencia de modelos locales de código abierto construida con Rust y Tauri. La herramienta está diseñada para proporcionar un control integral del tiempo de ejecución para ejecutar modelos GGUF localmente a través de llama.cpp.

• Las características incluyen un registro de modelos GGUF, perfiles de prompt (Equilibrado, extracción JSON, revisión de código, contexto largo) y controles de ajuste en tiempo de ejecución.
• Proporciona una interfaz de usuario estilo centro de mando con estado de API local, registros, benchmarks y lecturas de hardware/memoria.
• La versión actual incluye una compilación para Windows, mientras que el empaquetado para macOS y Linux aún está en pruebas.

El autor busca comentarios de la comunidad r/LocalLLaMA para identificar funciones o configuraciones faltantes que mejorarían la utilidad para los flujos de trabajo diarios de modelos locales.