O projeto llama.cpp lançou a compilação b10017, que inclui uma atualização específica para o backend SYCL. A alteração aumenta o limite do tamanho mínimo do buffer para alocações de sistema de Memória Compartilhada Unificada (USM) de 1 GiB para 4 GiB.

  • Este ajuste é baseado em experimentos do mundo real envolvendo sobrecarga da memória do dispositivo com pesos de modelos maiores que a VRAM disponível, como executar Qwen3.5-35B-A3B-Q8 em um B70.
  • Uma mensagem de depuração também foi adicionada para rastrear melhor as alocações de sistema USM.
  • O lançamento fornece binários para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) e openEuler.

A modificação visa melhorar a estabilidade ao lidar com modelos grandes que excedem a VRAM disponível em hardware compatível com SYCL.