github llama.cpp · 2 д назад · inference

llama.cpp b11232 включает tiled flash attention для x86

Переведено с English → Русский

Проект llama.cpp выпустил сборку b11232, включающую обновления бэкенда ggml-cpu. Релиз сосредоточен на включении tiled flash attention для измерений голов без кратности вектору на архитектурах x86.

Включено tiled flash attention для измерений голов без кратности вектору на x86.
Добавлена поддержка AVX2 для маскированной загрузки и сохранения в simd_gemm_ukernel_tail.
Исправлена обработка softcap FA для заполненных KV тайлов.

Это обновление предоставляет бинарные файлы для macOS, Linux, Windows, Android и openEuler для бэкендов CPU, GPU и NPU.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency

Оригинал

llama.cpp добавляет поддержку GLM-5.3-Flash с исправлениями k-pool и MTP

Проект llama.cpp добавил начальную поддержку архитектуры модели GLM-5.3-Flash (GLM5-Next), включая миграцию на гибридную индексацию памяти и ранние возможности Multi-Token Prediction (MTP).

github llama.cpp · 20 ч назад · 2 просмотра

llama.cpp b11266 загружает матрицу F32 A по 2 элемента за раз для Vulkan на Intel

Проект llama.cpp выпустил сборку b11266, которая включает оптимизацию Vulkan, загружающую матрицы F32 A по два элемента за раз, когда они выровнены по границе 2. Это изменение решает проблемы производительности на оборудовании Intel, где последовательная загрузка чисел с плавающей точкой неэффективна, а также исправляет отсутствующую проверку выравнивания `a_offset` в исходном патче.

github llama.cpp · 22 ч назад · 1 просмотр

llama.cpp b11265 исправляет выбор тайлов MOE matmul в Vulkan

Выпуск llama.cpp b11265 включает исправление обработки моделей Mixture of Experts (MoE) бэкендом Vulkan. Обновление корректирует, как `mat_mul_id` выбирает тайлы матричного умножения, устраняя проблему производительности, при которой рабочие потоки оставались простаивать во время диспетчеризации.

github llama.cpp · 2 д назад · 4 просмотра

llama.cpp b11238 добавляет ggml_pad_ext для левого дополнения и пропускает отводы DFlash2

Проект llama.cpp выпустил сборку b11238, внедрив унифицированную реализацию левого дополнения через новую функцию `ggml_pad_ext`. Это изменение объединяет предыдущие методы, используемые аудиоэнкодерами, такими как Parakeet, LFM2-Audio, Granite Speech и Gemma 4, обеспечивая битово идентичные эмбеддинги для Gemma 4 и одновременно упрощая поддержку бэкендов.

github llama.cpp · 2 д назад · 3 просмотра

llama.cpp b11228 добавляет поддержку левого и кругового дополнения в Metal GGML_OP_PAD

Выпуск llama.cpp b11228 добавляет поддержку левого и кругового дополнения в операции GGML_OP_PAD бэкенда Metal, согласуя её с реализациями для CPU, CUDA и Vulkan. Это изменение устраняет проблемы с правым дополнением для переставленных источников и обеспечивает согласованное поведение на разных аппаратных бэкендах.