Проект llama.cpp выпустил сборку b11284, которая включает исправление бэкенда OpenVINO для корректной обработки операций GET_ROWS на представлениях квантованных весов.

  • Обновление устраняет проблему с view_src при сборе констант весов, предотвращая превращение представлений над квантованными весами в параметры динамического типа.
  • Смещение строки представления теперь интегрируется в индексы сбора вместо нарезки подграфа деквантования.
  • Это изменение снимает запрет на представление src0 с ненуковыми смещениями, позволяя им работать с OpenVINO.

Релиз предоставляет бинарные файлы для macOS, Linux, Windows, Android и openEuler для бэкендов CPU, GPU (CUDA, Vulkan, ROCm, SYCL) и NPU.