O projeto llama.cpp lançou a versão b9925, que inclui uma atualização específica para seu backend CUDA. Este lançamento adiciona suporte à operação GGML_OP_SET_ROWS de f16 para f16, preenchendo uma lacuna na cobertura de kernels de GPU.

  • Binários para macOS Apple Silicon e Intel são fornecidos, com KleidiAI explicitamente desabilitado no Apple Silicon.
  • As compilações para Linux cobrem CPU (x64, arm64, s390x) e vários aceleradores, incluindo Vulkan, ROCm 7.2, OpenVINO e SYCL FP32/FP16.
  • As versões para Windows incluem CPU, OpenCL Adreno, Vulkan, HIP, OpenVINO, SYCL e variantes de CUDA 12/13.
  • Binários para Android arm64 (CPU) e iOS XCFramework estão disponíveis para implantação móvel.
  • O suporte ao openEuler está parcialmente desabilitado, com compilações específicas mantidas para as arquiteturas x86 e aarch64 usando ACL Graph.

Esta atualização garante uma compatibilidade de hardware mais ampla para os usuários do llama.cpp, habilitando a operação set rows ausente em dispositivos CUDA e fornecendo binários pré-compilados em principais sistemas operacionais e fornecedores de GPU.