Проект llama.cpp выпустил версию b11070, в которой значительным образом переработан бэкенд Hexagon для поддержки 64-битных отображений памяти и расширенной обработки буферов. Это обновление обеспечивает корректную поддержку DMA (прямого доступа к памяти) для больших моделей и сложных операций на DSP Qualcomm Hexagon.

  • Включены расширенные отображения буферов и 64-битный DMA через модуль `hex-dma64`.
  • Расширены бинарные операции для поддержки большего числа сценариев DMA, а SSM_CONV обновлён для использования DMA с поддержкой 64 бит.
  • Увеличено количество отображений памяти (mmaps) до 64, чтобы предотвратить вытеснение в больших моделях.
  • Переписаны циклы softmax и GDN для использования DMA, что улучшило использование регистров HVX.
  • Добавлено вторичное кольцо как резервный вариант для слишком крупных транзакций DMA.

Релиз включает бинарные файлы для macOS, Linux, Windows, Android и openEuler для бэкендов CPU, GPU (CUDA, Vulkan, ROCm) и NPU.