El proyecto llama.cpp lanzó la compilación b10043, introduciendo soporte para Dispositivos Virtuales de CUDA. Esta actualización desactiva la ruta NCCL cuando se utilizan dispositivos virtuales e incluye refactorización de código junto con descripciones de dispositivos virtuales etiquetadas.
- Se añade soporte para Dispositivos Virtuales de CUDA al backend.
- La ruta de comunicación NCCL se desactiva cuando se usan dispositivos virtuales.
- Los dispositivos virtuales ahora están etiquetados en las descripciones, y se añadieron trabajos CI para servidores GPUx2.
- Se proporcionan binarios para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) y openEuler.
Esta versión permite a los usuarios ejecutar llama.cpp en sistemas que utilizan Dispositivos Virtuales de CUDA mientras mantienen la compatibilidad en una amplia gama de arquitecturas de hardware y sistemas operativos.