AKMessi lança Kivarro, uma bancada de inferência LLM local de código aberto em Rust/Tauri

AKMessi lançou o Kivarro v0.1 alpha, uma bancada de inferência de modelos locais de código aberto construída com Rust e Tauri. A ferramenta é projetada para fornecer controle abrangente do tempo de execução para executar modelos GGUF localmente via llama.cpp.

• Os recursos incluem um registro de modelos GGUF, perfis de prompt (Equilibrado, extração JSON, revisão de código, contexto longo) e controles de ajuste em tempo de execução.
• Fornece uma interface de usuário estilo centro de comando com status da API local, logs, benchmarks e leituras de hardware/memória.
• A versão atual inclui uma compilação para Windows, enquanto o empacotamento para macOS e Linux ainda está em testes.

O autor está buscando feedback da comunidade r/LocalLLaMA para identificar recursos ou configurações ausentes que melhorariam a utilidade para fluxos de trabalho diários de modelos locais.