A versão llama.cpp b10034 aborda um problema crítico onde os compiladores para dispositivos Adreno A7x compilam incorretamente os kernels repack, levando a pesos corrompidos e saída de lixo em modelos Mixture of Experts (MoE). Para resolver isso, a atualização exclui dispositivos Adreno A7x do uso desses kernels MoE específicos.

  • Exclui Adreno A7x do uso de kernels MoE Adreno devido a problemas de compilação incorreta.
  • Também exclui A6x e GPUs Adreno desconhecidas do repack de pesos MoE para garantir estabilidade.
  • Desativa o suporte ao KleidiAI para builds do macOS Apple Silicon.
  • Fornece binários para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) e openEuler.

Esta alteração previne a corrupção da saída do modelo em hardware Adreno afetado, garantindo inferência confiável para usuários com essas GPUs.