llama.cpp プロジェクトはビルド b10142 をリリースし、MiniMax-M3 モデルのプレビュー版の視覚サポートを導入しました。このアップデートは、既存の MiniMax-M2 のコンポーネントを再利用するテキスト専用のポートを実装しています。これには、ヘッドごとの QK ノーマライゼーションと部分的な回転位置エンコーディングを備えた GQA、DeepSeek-V3 スタイルのエクスパート、および swigluoai 活性化関数が含まれます。

  • 実装には MiniMax-M3 の視覚タワー (mmproj + clip グラフ) が含まれていますが、MTP ヘッドとスパースアテンションのサポートは削除されました。
  • パフォーマンスの最適化には、遅い CPU 演算を GPU/CPU 演算に分解して長いコンテキストで大幅な高速化を実現することや、インデクサー演算を CUDA ネイティブに書き直すことが含まれます。
  • 統合された 4-way + decode パスにより、レイヤーあたりのノード数が約 50 から約 25 に減少し、計算バッファが約 20% 縮小しました。
  • 測定された効果として、エクスパートオフロード設定においてデコード速度が 6.2–7.15 t/s から 7.7–7.8 t/s に増加し、prefill が約 10% 高速化しました。

この変更の前に生成されたすべての GGUF は、新しいアーキテクチャおよび変換ロジックとの互換性を確保するために再生成する必要があります。