Proyek llama.cpp merilis versi b9948, yang mencakup optimasi kunci untuk pustaka ggml untuk CUDA. Pembaruan ini memodifikasi `ggml_top_k()` dan `ggml_argsort()` untuk memproses data dalam potongan-potongan lebih kecil, sehingga mengurangi penggunaan memori buffer sementara.
- Mengimplementasikan pemrosesan chunked dalam implementasi top-k dan argsort CUDA CUB.
- Mengalokasikan `tmp_dst` hanya sekali sebelum loop untuk mengoptimalkan memori lebih lanjut.
- Mengganti operator ternary dengan fungsi min/max untuk kejelasan kode.
- Melepaskan biner untuk macOS (Apple Silicon dan Intel), Linux, Windows, Android, dan openEuler di berbagai backend CPU, CUDA, Vulkan, ROCm, OpenVINO, SYCL, dan HIP.
Rilis ini memberikan kepada pengguna build yang diperbarui untuk berbagai platform sambil mengatasi efisiensi memori dalam operasi CUDA tertentu.