O projeto llama.cpp lançou a compilação b9974, que inclui uma correção crítica para as compilações do CUDA. A atualização impede travamentos fatais que ocorriam quando a biblioteca consultava informações de memória da GPU em dispositivos com zero ou pouca memória disponível.

  • Corrige um travamento em cudaMemGetInfo() tornando o erro não fatal e atribuindo total/livre de memória igual a zero ao dispositivo afetado.
  • Impede que o algoritmo de ajuste tente colocar camadas em dispositivos sem memória livre, evitando travamentos graves durante a inicialização ou ao usar '-dev none'.
  • Compilações para macOS Apple Silicon (arm64) estão disponíveis, enquanto o suporte do KleidiAI para esta plataforma está desabilitado.
  • Binários para Linux fornecidos para Ubuntu x64 e arm64 (CPU), Vulkan, ROCm 7.2, OpenVINO e SYCL FP32/FP16.
  • Compilações para Android arm64 (CPU) estão incluídas.
  • Binários para Windows cobrem CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL e HIP.
  • O suporte ao openEuler está parcialmente desabilitado, com compilações específicas para as arquiteturas x86 e aarch64 disponíveis.

Esta alteração garante que o llama.cpp permaneça estável em sistemas onde os recursos de memória da GPU estão esgotados ou indisponíveis, permitindo que o software lide graciosamente com essas condições em vez de encerrar inesperadamente.