O projeto llama.cpp introduziu uma nova operação `GGML_OP_LIGHTNING_INDEXER` no ggml para implementar o indexador de relâmpago usado pelos modelos DeepSeek V3.2 e V4.

  • A implementação remove parâmetros de escala do operador e adiciona um parâmetro de máscara f16.
  • Inclui correções para a difusão da máscara do indexador de relâmpago e verifica se os tensores de entrada não estão transpostos.
  • Testes foram adicionados para verificar a nova operação, contando FLOPs em vez de largura de banda.
  • O componente `llama` agora utiliza este novo operador para os modelos DeepSeek V3.2 e DeepSeek V4.

Esta atualização habilita o suporte eficiente de inferência para as últimas arquiteturas da DeepSeek dentro do framework llama.cpp.