El proyecto llama.cpp lanzó la versión b9948, que incluye una optimización clave para la biblioteca ggml en CUDA. La actualización modifica `ggml_top_k()` y `ggml_argsort()` para procesar datos en fragmentos más pequeños, reduciendo así el uso de memoria de los búferes temporales.

  • Implementado procesamiento por fragmentos tanto en las implementaciones de top-k como de argsort de CUDA CUB.
  • Se asignó `tmp_dst` solo una vez antes del bucle para optimizar aún más la memoria.
  • Se reemplazaron los operadores ternarios con funciones min/max para mayor claridad del código.
  • Se publicaron binarios para macOS (Apple Silicon e Intel), Linux, Windows, Android y openEuler a través de los backends CPU, CUDA, Vulkan, ROCm, OpenVINO, SYCL y HIP.

Esta versión proporciona a los usuarios compilaciones actualizadas para varias plataformas mientras aborda la eficiencia de memoria en operaciones específicas de CUDA.