Проект llama.cpp ввёл новую операцию `GGML_OP_LIGHTNING_INDEXER` в ggml для реализации светового индексатора, используемого моделями DeepSeek V3.2 и V4.

  • Реализация удаляет параметры масштабирования из оператора и добавляет параметр маски f16.
  • Включены исправления для трансляции маски светового индексатора и проверки того, что входные тензоры не транспонированы.
  • Были добавлены тесты для проверки новой операции, подсчитывающие FLOPs вместо пропускной способности.
  • Компонент `llama` теперь использует этот новый оператор для моделей DeepSeek V3.2 и DeepSeek V4.

Это обновление обеспечивает эффективную поддержку вывода для последних архитектур DeepSeek в рамках фреймворка llama.cpp.