El proyecto llama.cpp ha lanzado la versión b9874, que introduce una nueva implementación de CUDA para concatenar tipos cuantizados. Esta actualización es parte del desarrollo continuo de las capacidades del backend de la biblioteca.
- El cambio principal en el código implica agregar soporte de CUDA para concatenar tipos de datos cuantizados.
- La versión incluye binarios para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) y openEuler.
- También se proporciona un XCFramework de iOS y una compilación independiente de la interfaz de usuario en esta versión.
Esta actualización permite a los usuarios acceder a las últimas funciones y soporte de plataforma disponibles en la compilación b9874.