Le projet llama.cpp a publié la version b10043, introduisant le support des CUDA Virtual Devices. Cette mise à jour désactive le chemin NCCL lorsque les dispositifs virtuels sont utilisés et inclut un refactorisation de code ainsi que des descriptions de dispositifs virtuels étiquetées.
- Le support des CUDA Virtual Devices est ajouté au backend.
- Le chemin de communication NCCL est désactivé lorsque les dispositifs virtuels sont utilisés.
- Les dispositifs virtuels sont désormais étiquetés dans les descriptions, et des jobs CI serveur GPUx2 ont été ajoutés.
- Des binaires sont fournis pour macOS (Apple Silicon et Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) et openEuler.
Cette version permet aux utilisateurs d'exécuter llama.cpp sur des systèmes utilisant des CUDA Virtual Devices tout en maintenant la compatibilité avec une large gamme d'architectures matérielles et de systèmes d'exploitation.