Le projet llama.cpp a publié la version b9948, qui inclut une optimisation clé pour la bibliothèque ggml destinée à CUDA. La mise à jour modifie `ggml_top_k()` et `ggml_argsort()` afin de traiter les données en chunks plus petits, réduisant ainsi l'utilisation de la mémoire des tampons temporaires.
- Implémentation du traitement par chunks dans les implémentations top-k et argsort de CUDA CUB.
- Allocation de `tmp_dst` une seule fois avant la boucle pour optimiser davantage la mémoire.
- Remplacement des opérateurs ternaires par des fonctions min/max pour plus de clarté du code.
- Publication des binaires pour macOS (Apple Silicon et Intel), Linux, Windows, Android et openEuler sur les backends CPU, CUDA, Vulkan, ROCm, OpenVINO, SYCL et HIP.
Cette version fournit aux utilisateurs des builds mis à jour pour diverses plateformes tout en traitant l'efficacité mémoire dans certaines opérations CUDA spécifiques.