El proyecto llama.cpp lanzó la versión b10032, que introduce una nueva implementación de CUDA para la operación GGML_OP_LIGHTNING_INDEXER. Esta actualización incluye tanto núcleos vectoriales genéricos como núcleos WMMA para manejar tareas de indexación en hardware NVIDIA.

  • El indexador lightning de CUDA utiliza núcleos vectoriales genéricos y WMMA.
  • Se añadieron los parámetros de plantilla WARPS_PER_BLOCK y K_VECS_PER_BLOCK para reducir la duplicación de constantes.
  • Se relajaron los requisitos de la arquitectura MMA para admitir GPUs Turing.
  • Se añadieron comprobaciones de alineación para los tensores Q y K a la implementación.
  • La función ggml_cuda_op_lightning_indexer se renombró a ggml_cuda_lightning_indexer.

Esta versión proporciona binarios para macOS, Linux, Windows, Android y openEuler en CPU, CUDA, Vulkan, ROCm, OpenVINO, SYCL y otros backends.