El proyecto llama.cpp lanzó la versión b9948, que incluye una optimización clave para la biblioteca ggml en CUDA. La actualización modifica `ggml_top_k()` y `ggml_argsort()` para procesar datos en fragmentos más pequeños, reduciendo así el uso de memoria de los búferes temporales.
- Implementado procesamiento por fragmentos tanto en las implementaciones de top-k como de argsort de CUDA CUB.
- Se asignó `tmp_dst` solo una vez antes del bucle para optimizar aún más la memoria.
- Se reemplazaron los operadores ternarios con funciones min/max para mayor claridad del código.
- Se publicaron binarios para macOS (Apple Silicon e Intel), Linux, Windows, Android y openEuler a través de los backends CPU, CUDA, Vulkan, ROCm, OpenVINO, SYCL y HIP.
Esta versión proporciona a los usuarios compilaciones actualizadas para varias plataformas mientras aborda la eficiencia de memoria en operaciones específicas de CUDA.