La versión llama.cpp b10034 aborda un problema crítico donde los compiladores para dispositivos Adreno A7x compilan incorrectamente los núcleos repack, lo que lleva a pesos corruptos y salida de basura en modelos Mixture of Experts (MoE). Para resolverlo, la actualización excluye a los dispositivos Adreno A7x del uso de estos núcleos MoE específicos.
- Excluye a Adreno A7x del uso de núcleos MoE de Adreno debido a problemas de compilación incorrecta.
- También excluye a A6x y GPUs Adreno desconocidas del repack de pesos MoE para garantizar la estabilidad.
- Desactiva el soporte de KleidiAI para compilaciones de macOS Apple Silicon.
- Proporciona binarios para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) y openEuler.
Este cambio previene la corrupción de la salida del modelo en el hardware Adreno afectado, asegurando una inferencia confiable para usuarios con estas GPUs.