Proyek llama.cpp merilis build b10017, yang mencakup pembaruan spesifik pada backend SYCL. Perubahan ini meningkatkan ambang batas ukuran buffer minimum untuk alokasi sistem Unified Shared Memory (USM) dari 1 GiB menjadi 4 GiB.

  • Penyesuaian ini didasarkan pada eksperimen dunia nyata yang melibatkan penggunaan memori perangkat secara berlebihan dengan bobot model yang lebih besar dari VRAM yang tersedia, seperti menjalankan Qwen3.5-35B-A3B-Q8 pada B70.
  • Pesan debug juga ditambahkan untuk melacak alokasi sistem USM dengan lebih baik.
  • Rilis ini menyediakan biner untuk macOS (Apple Silicon dan Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP), dan openEuler.

Modifikasi ini bertujuan untuk meningkatkan stabilitas saat menangani model besar yang melebihi VRAM yang tersedia pada perangkat keras yang kompatibel dengan SYCL.