Проект llama.cpp выпустил сборку b10052, содержащую значительные внутренние изменения в бэкенде Hexagon. Обновление включает переработку обработки L2-кэша с отслеживанием битов чистоты и отложенной очисткой, а также различные обновления ядер умножения матриц.
- hex-mm: устраняет искусственное ограничение в решателе, которое ограничивало количество потоков подготовки активаций
- hmx-mm: добавляет поддержку обработки активаций с тайлингом для лучшего распределения нагрузки Hvx
- hex-l2: оптимизирует очистку L2 на уровне opbatch и отслеживает алиасы тензоров для отсрочки или пропуска очистки
- hex-work: переделывает устаревший API пула рабочих потоков, чтобы соответствовать hmx-queue и dma-queue
- hex-main: вводит режим резервирования для обратных вызовов dspqueue и удаляет логику раннего пробуждения, вызывавшую ошибки
Этот релиз предоставляет обновленные бинарные файлы для macOS, Linux, Windows, Android и iOS для CPU, GPU и специализированных аппаратных бэкендов.