O projeto llama.cpp lançou a versão b9949, introduzindo um novo recurso OpenCL para GPUs Adreno. Esta atualização implementa Flash Attention (FA) com decodificação em paralelo por cluster para melhorar o desempenho em hardware compatível.

  • Binários para macOS Apple Silicon e Intel estão disponíveis.
  • Um XCFramework para iOS está incluído no lançamento.
  • As compilações para Linux cobrem variantes de CPU, Vulkan, ROCm 7.2, OpenVINO e SYCL para as arquiteturas x64, arm64 e s390x.
  • O suporte para Windows inclui binários de CPU, Vulkan, HIP, OpenVINO, SYCL e CUDA 12/13.
  • Compilações de CPU arm64 para Android estão disponíveis.
  • O suporte ao KleidiAI no macOS Apple Silicon está desativado nesta versão.