El proyecto llama.cpp lanzó la compilación b10017, que incluye una actualización específica para el backend de SYCL. El cambio aumenta el umbral del tamaño mínimo del búfer para las asignaciones del sistema de Memoria Compartida Unificada (USM) de 1 GiB a 4 GiB.

  • Este ajuste se basa en experimentos del mundo real que implican sobrecargar la memoria del dispositivo con pesos de modelos más grandes que la VRAM disponible, como ejecutar Qwen3.5-35B-A3B-Q8 en un B70.
  • También se agregó un mensaje de depuración para rastrear mejor las asignaciones del sistema USM.
  • El lanzamiento proporciona binarios para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) y openEuler.

La modificación tiene como objetivo mejorar la estabilidad al manejar modelos grandes que exceden la VRAM disponible en hardware compatible con SYCL.