La versión b9673 de llama.cpp introduce asignaciones de sistema USM opcionales para búferes de GPU ≥1GB, lo que permite el sobrecompromiso de VRAM cuando el dispositivo lo soporta. La función requiere la variable de entorno GGML_SYCL_USM_SYSTEM y está desactivada por defecto, volviendo a las asignaciones regulares si no es compatible.
llama.cpp lanza b9673 con asignaciones de sistema USM y binarios multiplataforma
Traducido del English → Español