llama.cpp プロジェクトはバージョン b10514 をリリースし、IBM's GraniteSWAForCausalLM および GraniteMoeSWAForCausalLM アーキテクチャの変換インフラストラクチャを導入しました。このアップデートにより、ユーザーはこれらの特定のモデルタイプを llama.cpp で使用するために GGUF フォーマットに変換できるようになります。

  • GraniteSWAForCausalLM および GraniteMoeSWAForCausalLM の feat(convert) サポートを追加。
  • rope_pattern 配列および層ごとの rope 決定の変換インフラストラクチャを実装。
  • non-rope 層をサポートするように SWA パターンロジックを修正し、ffn gate inp の命名を修正。
  • has_rope 定数で llama_hparams を更新し、hacky な rope_finetuned フォールバックを削除。
  • CPU、CUDA、Vulkan、OpenCL、その他のバックエンドに対応する macOS、Linux、Windows、Android 用のバイナリを含める。

このリリースにより、llama.cpp エコシステムは IBM's sliding window attention モデルをネイティブにサポートし、ローカル推論のために利用可能な互換性のあるアーキテクチャの範囲が拡大します。