llama.cpp プロジェクトはバージョン 0.1.2 をリリースしました。これには ggml との同期(0.20.2 にアップグレード)およびサーバーと UI コンポーネントのいくつかの更新が含まれています。
- CUDA: DGX Spark 上の密集モデル向けに bs=1 で MMVQ nwarps=8。
- mtmd: 入力ハッシュに sha256 を使用。
- vocab: 整数トークナイザースコアをサポート。
- mtmd: タイル化されていない LFM2 画像のサムネイルをスキップ。
- server: 処理された mtmd チャンクをプレースホルダーとして保存。
- ui: 列挙メンバのアルファベット順を強制し、組み込みツールの名前付けをリファクタリング。
今回のリリースでは、xcframework + cmake のビルドクリーンアップと、プレリリース生成用の CI プロセスの更新も対応しています。