El proyecto llama.cpp ha introducido una nueva operación `GGML_OP_LIGHTNING_INDEXER` en ggml para implementar el indexador de relámpago utilizado por los modelos DeepSeek V3.2 y V4.

  • La implementación elimina los parámetros de escala del operador y añade un parámetro de máscara f16.
  • Incluye correcciones para la difusión de la máscara del indexador de relámpago y verifica que los tensores de entrada no estén transpuestos.
  • Se añadieron pruebas para verificar la nueva operación, contando FLOPs en lugar de ancho de banda.
  • El componente `llama` ahora utiliza este nuevo operador para los modelos DeepSeek V3.2 y DeepSeek V4.

Esta actualización habilita el soporte de inferencia eficiente para las últimas arquitecturas de DeepSeek dentro del marco llama.cpp.