Проект llama.cpp выпустил версию b10032, которая представляет новую реализацию CUDA для операции GGML_OP_LIGHTNING_INDEXER. Это обновление включает как общие векторные ядра, так и WMMA-ядра для обработки задач индексирования на оборудовании NVIDIA.
- CUDA lightning indexer использует общие векторные и WMMA-ядра.
- Шаблонные параметры WARPS_PER_BLOCK и K_VECS_PER_BLOCK были добавлены для уменьшения дублирования констант.
- Требования к архитектуре MMA были смягчены для поддержки GPU Turing.
- В реализацию добавлены проверки выравнивания для тензоров Q и K.
- Функция ggml_cuda_op_lightning_indexer была переименована в ggml_cuda_lightning_indexer.
Этот релиз предоставляет бинарные файлы для macOS, Linux, Windows, Android и openEuler для CPU, CUDA, Vulkan, ROCm, OpenVINO, SYCL и других бэкендов.