O projeto llama.cpp lançou a versão b10064, que inclui uma alteração no backend do OpenCL. Esta atualização modifica o formato de quantização q4_K transpondo as escalas noshuffle para habilitar leituras coalescidas.

  • O lançamento fornece binários para macOS (Apple Silicon e Intel), Linux (Ubuntu x64, arm64, s390x), Windows (CPU, CUDA 12/13, Vulkan, ROCm, SYCL, HIP), Android e iOS.
  • O suporte ao OpenCL Adreno está disponível para Windows arm64.
  • O suporte ao KleidiAI no macOS Apple Silicon permanece desativado nesta compilação.
  • A atualização aborda o desempenho otimizando os padrões de acesso à memória para camadas de quantização específicas.