Проект llama.cpp выпустил версию b11120, которая устраняет критическую ошибку во внутреннем интерфейсе Vulkan путём скрытия внутренних символов. Это изменение предотвращает проблемы с разрушением состояния из-за дублирующего dlopen, возникавшие при экспорте внутренних символов.
Проект llama.cpp выпустил сборку b11118, которая включает новую функцию hex-dma, внедряющую кэш DMA с прямым отображением, более подходящий для обработки маски HVX FA (Hexagon Vector eXtended).
Проект llama.cpp выпустил сборку b11111, которая внедряет основанные на Vulkan ядра оптимизации flash attention для путей split k в архитектурах Xe-LPG Plus, Xe2 и Xe3.
Проект llama.cpp добавил поддержку спекулятивного декодирования DFlash с моделью HunyuanOCR, открывая тензоры входных данных слоёв в целевом графе. Это изменение позволяет модели-черновику считывать остаточные потоки, что обеспечивает успешное выполнение запросов на распознавание текста с уровнем принятия черновика около 0.5 и байтово идентичным выводом OCR по сравнению с неспекулятивными запусками.
Проект llama.cpp выпустил версию b11104, внедряющую новую функцию, позволяющую компоненту llama-server одновременно привязываться к нескольким сетевым адресам.
Проект llama.cpp выпустил сборку b11102, которая добавляет поддержку преобразования моделей MiMo-V2.6.
Проект llama.cpp выпустил версию b11101, которая включает исправление системы сборки, позволяющее многократные вызовы find_package для библиотеки llama.
Проект llama.cpp выпустил сборку b11100, которая устраняет конкретную проблему с парсингом модели Muse Glimmer. Основное изменение заключается в исправлении первой ошибки парсера, возникающей при выполнении вызова инструмента для этой модели.
Проект llama.cpp выпустил версию b11097, которая вводит бинарное ядро OpenCL для формата A8 Q4_0 non-MoE dp4a.
Выпуск llama.cpp b11095 представляет новую реализацию GATED_DELTA_NET (GDN), оптимизированную для HMX, а также различные оптимизации для ядер Hexagon и Flash Attention.
Проект llama.cpp выпустил версию b11090, которая включает исправление ошибки компиляции тайлов sm_70. Обновление обобщает форму тайла функции load_ldmatrix с 5 аргументами для устранения несоответствий с архитектурами Volta.
Проект llama.cpp выпустил сборку b11081, которая включает несколько обновлений инфраструктуры тестирования `test-llama-archs`. Ключевые изменения включают возможность настройки стандартного отклонения данных тензоров, расширение примеров использования и добавление поддержки регулярных выражений для архитектур.
Проект llama.cpp выпустил сборку b11078, которая внедряет поддержку переменных окружения для настройки ключевых параметров генерации в компоненте `llama-server`. Это обновление позволяет пользователям устанавливать температуру, top-p, min-p и различные штрафы через переменные `LLAMA_ARG_*`.
Выпуск llama.cpp b11080 обновляет операции тестового бэкенда для поддержки регулярных выражений в фильтре `-o`, позволяя сопоставлять шаблоны с именами операций, сохраняя точное совпадение для обычных имён. Он также изменяет инструмент `cont`, чтобы прекратить вывод журналов срезов векторов Fast Attention, когда они не нужны.
Выпуск llama.cpp b11077 устраняет ошибку в режиме роутера, при которой аргумент `--api-key-file` неверно передавался дочерним экземплярам, порожденным роутером. Это приводило к тому, что клиенты, использующие `--api-key`, получали ошибки 401 при завершении чата и предотвращало работу внутренних потоковых вызовов роутера.
Проект llama.cpp выпустил сборку b11074, которая включает исправление обработки JSON enum. Обновление добавляет поддержку common_json_value для значений enum и упрощает код, делегируя конструктор enum конструктору базового типа.
Проект llama.cpp выпустил версию b11073, которая включает изменение в бэкенде SYCL. Это обновление объединяет загрузки softmax MKL-FA вместо назначения одного work-item на строку.
Проект llama.cpp выпустил версию b11070, в которой значительным образом переработан бэкенд Hexagon для поддержки 64-битных отображений памяти и расширенной обработки буферов. Это обновление обеспечивает корректную поддержку DMA (прямого доступа к памяти) для больших моделей и сложных операций на DSP Qualcomm Hexagon.
Проект llama.cpp выпустил сборку b11067, которая внедряет объединённую операцию GDN + копирование для бэкенда WebGPU.
Проект llama.cpp выпустил сборку b11064, которая изменяет бэкенд metal для поддержки произвольного количества голов (hc) в ядре dsv4_hc_pre. Ранее эти ядра жестко задавали hc = 4, что приводило к выполнению операций с другим количеством голов на CPU.