AKMessiは、RustとTauriで構築されたオープンソースのローカルモデル推論ワークベンチであるKivarro v0.1 alphaをリリースしました。このツールは、llama.cpp経由でGGUFモデルをローカルで実行するための包括的なランタイム制御を提供することを目的としています。

  • 機能には、GGUFモデルレジストリ、プロンプトプロファイル（バランス、JSON抽出、コードレビュー、長文脈）、およびランタイム調整コントロールが含まれます。
  • ローカルAPIのステータス、ログ、ベンチマーク、ハードウェア/メモリ読み取りを表示するコマンドセンタースタイルのUIを提供します。
  • 現在のリリースにはWindowsビルドが含まれていますが、macOSとLinuxのパッケージングは現在テスト中です。

著者は、r/LocalLLaMAコミュニティからのフィードバックを求めています。これは、日常のローカルモデルワークフローの有用性を向上させるために欠けている機能や設定を特定するためです。