AKMessi는 Rust와 Tauri로 구축된 오픈소스 로컬 모델 추론 워크벤치인 Kivarro v0.1 alpha를 출시했습니다. 이 도구는 llama.cpp를 통해 GGUF 모델을 로컬에서 실행하기 위한 포괄적인 런타임 제어를 제공하도록 설계되었습니다.
- 기능에는 GGUF 모델 레지스트리, 프롬프트 프로필(균형, JSON 추출, 코드 검토, 긴 컨텍스트) 및 런타임 튜닝 컨트롤이 포함됩니다.
- 로컬 API 상태, 로그, 벤치마크, 하드웨어/메모리 읽기 출력을 보여주는 명령 센터 스타일 UI를 제공합니다.
- 현재 릴리스에는 Windows 빌드가 포함되어 있으며, macOS 및 Linux 패키징은 아직 테스트 중입니다.
저자는 r/LocalLLaMA 커뮤니티로부터 피드백을 받고 있으며, 일상적인 로컬 모델 워크플로우의 유용성을 향상시킬 수 있는 누락된 기능이나 설정을 식별하기 위함입니다.