llama.cpp b10032 adiciona CUDA GGML_OP_LIGHTNING_INDEXER

O projeto llama.cpp lançou a versão b10032, que introduz uma nova implementação de CUDA para a operação GGML_OP_LIGHTNING_INDEXER. Esta atualização inclui núcleos vetoriais genéricos e núcleos WMMA para lidar com tarefas de indexação em hardware NVIDIA.

• O indexador lightning do CUDA usa núcleos vetoriais genéricos e WMMA.
• Os parâmetros de modelo WARPS_PER_BLOCK e K_VECS_PER_BLOCK foram adicionados para reduzir a duplicação de constantes.
• Os requisitos da arquitetura MMA foram relaxados para suportar GPUs Turing.
• Verificações de alinhamento para os tensores Q e K foram adicionadas à implementação.
• A função ggml_cuda_op_lightning_indexer foi renomeada para ggml_cuda_lightning_indexer.

Este lançamento fornece binários para macOS, Linux, Windows, Android e openEuler em CPU, CUDA, Vulkan, ROCm, OpenVINO, SYCL e outros backends.