llama.cpp b10032 menambahkan GGML_OP_LIGHTNING_INDEXER CUDA

Proyek llama.cpp merilis versi b10032, yang memperkenalkan implementasi CUDA baru untuk operasi GGML_OP_LIGHTNING_INDEXER. Pembaruan ini mencakup kernel vektor umum dan WMMA untuk menangani tugas pengindeksan pada perangkat keras NVIDIA.

• Pengindeks petir CUDA menggunakan kernel vektor umum dan WMMA.
• Parameter templat WARPS_PER_BLOCK dan K_VECS_PER_BLOCK ditambahkan untuk mengurangi duplikasi konstanta.
• Persyaratan arsitektur MMA dilonggarkan untuk mendukung GPU Turing.
• Pemeriksaan penyesuaian untuk tensor Q dan K ditambahkan ke implementasi.
• Fungsi ggml_cuda_op_lightning_indexer diubah namanya menjadi ggml_cuda_lightning_indexer.

Rilis ini menyediakan biner untuk macOS, Linux, Windows, Android, dan openEuler di atas CPU, CUDA, Vulkan, ROCm, OpenVINO, SYCL, dan backend lainnya.