github llama.cpp · 2 ч назад · inference

llama.cpp b10517 добавляет оптимизации деquant для Vulkan FA и исправления

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10517, внедряя несколько улучшений, специфичных для Vulkan, в путь деквантования flash attention (FA). Ключевые изменения включают деквантование q8_0 KV один раз в coopmat1, пропуск пути FA dequant на coopmat2 и исключение Intel Xe1 из пути FA dequant.

Vulkan теперь переходит к резервному варианту вместо аварийного завершения, когда scratch для FA превышает maxStorageBufferRange.
Для выпуска требуется специфическая структура KV-cache в пути FA dequant.
Ужесточены проверки перестановок для пути FA и исправлено время prealloc_x_need_sync.
Добавлены тесты для сценариев K/V FA с непрерывно выделенной памятью.

Это обновление повышает стабильность и производительность для пользователей Vulkan, устраняя крайние случаи в управлении памятью и совместимости оборудования.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Оригинал

Похожие статьи

github llama.cpp · 20 д назад · 34 просмотра

llama.cpp b10208 добавляет oneMKL GEMM flash attention для ускорения обработки промптов на XMX

Релиз llama.cpp b10208 вводит поддержку SYCL для oneMKL GEMM flash attention, обеспечивая аппаратное ускорение XMX при обработке промптов. Это изменение значительно повышает скорость вывода на графических процессорах Intel Arc за счёт использования ядер MKL вместо стандартного пути TILE.

github llama.cpp · 29 д назад · 26 просмотров

llama.cpp b10089 добавляет полную поддержку k-quant и i-quant для CUDA GET_ROWS

Релиз llama.cpp b10089 расширяет операции CUDA GET_ROWS для поддержки форматов квантования k-quants, i-quants и mxfp4. Это изменение гарантирует, что все квантованные типы GGML теперь могут использовать прямой путь устройства для поиска встраиваний.

media r/LocalLLaMA · 7 ч назад · 2 просмотра

Модель MoE G9v3-39A5B демонстрирует сильные результаты на artificialanalysis

Модель G9v3-39A5B привлекает внимание благодаря своей производительности на artificialanalysis, где она, по сообщениям, занимает позицию выше Qwen 3.6 27B.

media Hugging Face Forums · 7 ч назад · 1 просмотр

Конвейер Celestium позволяет запускать SDXL на GPU с 4–8 ГБ памяти благодаря адаптивному FP16 и резервному режиму CPU

Диагностика с использованием аппаратно-независимого конвейера вывода Celestium показывает, что Stable Diffusion XL может стабильно работать на GPU с малым объёмом VRAM (4 ГБ, 6 ГБ и 8 ГБ) за счёт адаптивной точности FP16 и автономной очистки памяти. Этот подход предотвращает скачки фрагментации при многоэтапных конвейерах и использует аварийный режим CPU для поддержания генерации при исчерпании VRAM GPU.

github llama.cpp · 12 ч назад · 1 просмотр

llama.cpp b10509 добавляет поддержку ggml_rope_set_offset для Metal, CUDA и Vulkan

Проект llama.cpp выпустил сборку b10509, которая добавляет поддержку функции `ggml_rope_set_offset` на нескольких аппаратных бэкендах. Это обновление включает реализации CPU, Metal, CUDA и Vulkan для новой операции.