llama.cppプロジェクトは、DeepSeek V3.2およびV4モデルで使用されるライトニングインデクサを実装するために、ggmlに新しい`GGML_OP_LIGHTNING_INDEXER`演算を導入しました。

  • 実装では、演算子からスケールパラメータを削除し、f16マスクパラメータを追加しました。
  • ライトニングインデクサのマスクブロードキャストの修正と、入力テンソルが転置されていないことのチェックが含まれています。
  • 新しい演算を検証するためのテストが追加され、帯域幅ではなくFLOPsをカウントしています。
  • `llama`コンポーネントは現在、DeepSeek V3.2およびDeepSeek V4モデルに対してこの新しい演算子を利用しています。

このアップデートにより、llama.cppフレームワーク内でDeepSeekの最新アーキテクチャの効率的な推論サポートが有効になります。