github llama.cpp · только что · inference

llama.cpp b11140 включает sparse-fa для prefill dsv4 на CUDA

Переведено с English → Русский

Проект llama.cpp выпустил версию b11140, включающую оптимизацию CUDA, обеспечивающую использование sparse-fa для prefill dsv4. Это обновление решает проблемы производительности в процессе сканирования маски flash attention путем шаблонизации ядер для разворачивания циклов на этапе компиляции.

Цикл запросов `flash_attn_mask_to_sparse_indices` теперь ограничен на этапе компиляции, что сокращает время сканирования с 46 до 17 микросекунд для разреженных форм декодирования с 49k столбцов.
Проверки выхода за границы для сканирования разреженной маски перенесены в код хоста, что позволяет снизить время выполнения пакетной разреженной операции на контексте 49k с 586 до 244 микросекунд.

Этот релиз предоставляет бинарные файлы для macOS, Linux, Windows, Android и openEuler для бэкендов CPU, GPU и NPU.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · 1 ч назад · 5 просмотров Live

llama.cpp b11138 разбирает унарные +/- перед переменными

Проект llama.cpp выпустил сборку b11138, которая обновляет парсер шаблонов Jinja для обработки унарных операторов плюса и минуса перед переменными.

github llama.cpp · 2 ч назад · 12 просмотров

llama.cpp b11136 добавляет поддержку video_url по стандарту OpenAI в llama-server

Проект llama.cpp выпустил сборку b11136, которая обновляет llama-server для приёма типа контента "video_url" по стандарту OpenAI для видеовходов. Ранее сервер принимал только нестандартный тип "input_video" и отклонял data URI, что вызывало проблемы совместимости с клиентами, соответствующими спецификации OpenAI.

github llama.cpp · 3 ч назад · 12 просмотров

llama.cpp b11132 добавляет поддержку бэкбона черновиков Gemma 4 DSpark

Проект llama.cpp выпустил версию b11132, добавив поддержку бэкбона черновиков Gemma 4 DSpark. Это обновление включает возможности конвертации GGUF и выполнения для полных механизмов внимания и SWA в черновиках Gemma 4, включая связанные выходные веса и метаданные бэкбона типа boolean.

github llama.cpp · 8 ч назад · 12 просмотров

llama.cpp b11122 расширяет слияние MMVQ GLU и добавляет новые слияния SYCL

Проект llama.cpp выпустил версию b11122, которая включает значительные обновления бэкенда SYCL. Релиз расширяет слияние MMVQ GLU для поддержки смешанных типов квантования и вводит новые слияния для операций rms_norm+scale и ssm_conv+silu.

github llama.cpp · 10 ч назад · 12 просмотров

llama.cpp b11120 скрывает внутренние символы Vulkan для исправления разрушения состояния

Проект llama.cpp выпустил версию b11120, которая устраняет критическую ошибку во внутреннем интерфейсе Vulkan путём скрытия внутренних символов. Это изменение предотвращает проблемы с разрушением состояния из-за дублирующего dlopen, возникавшие при экспорте внутренних символов.