Проект llama.cpp выпустил версию b10670, которая включает специфическую оптимизацию для архитектуры Intel Xe2. Обновление перенаправляет операцию декодирования квантованных ключей и значений (KV) исключительно на бэкенд TILE для оборудования BMG, сохраняя бэкенд VEC для других архитектур до их валидации.
- Декодирование квантованного KV теперь направляется на TILE для Xe2 (BMG).
- Другие архитектуры продолжают использовать бэкенд VEC до завершения валидации.
- Бинарные файлы предоставлены для macOS (Apple Silicon и Intel), Linux (CPU, Vulkan, ROCm 7.14, OpenVINO, SYCL FP32/FP16), Android, Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 7.14) и openEuler.
Это изменение оптимизирует шаблоны доступа к памяти для конкретных поколений оборудования Intel.