Le projet llama.cpp a introduit une nouvelle opération `GGML_OP_LIGHTNING_INDEXER` dans ggml pour implémenter l'indexeur éclair utilisé par les modèles DeepSeek V3.2 et V4.

  • L'implémentation supprime les paramètres d'échelle de l'opérateur et ajoute un paramètre de masque f16.
  • Elle inclut des corrections pour la diffusion du masque de l'indexeur éclair et vérifie que les tenseurs d'entrée ne sont pas transposés.
  • Des tests ont été ajoutés pour vérifier la nouvelle opération, en comptant les FLOPs au lieu de la bande passante.
  • Le composant `llama` utilise désormais cet nouvel opérateur pour les modèles DeepSeek V3.2 et DeepSeek V4.

Cette mise à jour permet une prise en charge efficace de l'inférence pour les dernières architectures de DeepSeek au sein du framework llama.cpp.